CN109727292B - 基于多摄像头-投影仪的互动投影系统及自动化标定方法 - Google Patents

Abstract

本发明公开的一种基于多摄像头‑投影仪的互动投影系统及自动化标定方法，采用多个投影仪匹配多个摄像头的互动投影系统，利用折反射模型对鱼眼摄像头进行标定，获得鱼眼摄像头内参数，并进行摄像机坐标转换；对多摄像头进行联合标定，将多摄像头转换后的屏幕坐标转换至统一坐标系下，以实现全屏幕的互动投影操作。本发明通过对鱼眼摄像头的标定、多摄像头联合标定的自动化处理，无需额外增加摄像头数量，即可在保证标定精度的同时，实现对互动操作区域面积的扩大。

Description

基于多摄像头-投影仪的互动投影系统及自动化标定方法

技术领域

本发明涉及互动投影标定技术领域，特别涉及一种基于多摄像头-投影仪的互动投影系统及自动化标定方法。

背景技术

随着科技的发展，信息的传播方式也越来越多样化，传统的信息展示方案主要有电子显示屏与投影展示。电子显示屏作为最常见的展示方式，由于受到硬件条件的限制，往往尺寸有限，同时成本较高；相较于前者投影展示成本则相对较低，近些年更将手势识别融入到投影展示中形成了互动投影系统。

互动投影系统目前主要有基于触摸式和基于视觉识别两种方案：触摸式互动投影需要一套专门的硬件设备，同时尺寸固定造价昂贵；基于视觉的则可根据需求进行屏幕尺寸的调节，同时利用摄像头进行手势的定位识别来进行互动操作使硬件成本大大降低。

为了使互动投影的操作准确流畅，需要对互动投影进行标定。在现有的互动投影标定方案中，通常是采用单一投影仪搭配单一摄像头，单一投影仪则限制了屏幕的尺寸，近些年出现的投影仪融屏方案虽然解决了这个问题，但是在摄像头方面仍然采用的是单一摄像头，这样使得可以进行互动操作的区域大大减小，同时目前主要采用的摄像头多为非广角无畸变摄像头，摄像头的视场角较小，限制了整个投影区域的互动操作，并且标定过程无法适用于任意多个摄像头，标定自动化程度低，用户操作不便。

因此，提供一种基于多摄像头-投影仪的互动投影系统及自动化标定方法是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于设计一种针对多摄像头-投影仪的互动投影系统的自动化标定方法，通过对鱼眼摄像头的标定、多摄像头联合标定的自动化处理，实现了对多摄像头的自动化坐标变换和坐标融合，增大了互动操作区域面积。为实现上述目的其具体方案如下：

本发明公开了一种多摄像头-投影仪的互动投影系统，包括多个投影仪，与所述投影仪相匹配的鱼眼摄像头，以及与所述投影仪和所述鱼眼摄像头电连接的控制器，所述控制器用于对所述鱼眼摄像头进行自动化标定。

本发明的互动投影系统支持设置多个投影仪，并且如果想要增加互动操作区域的面积，无需额外增加摄像头的个数，目前通常两个投影仪的互动投影往往需要三到四个摄像头，而互动投影系统的标定也是通过在屏幕四角设置四个靶标点通过透视变换来进行标定，本发明仅需设置与投影仪数量相同的鱼眼摄像头就可以满足需求，并且对于多个摄像头的标定考虑鱼眼摄像头的广角视场，结合多摄像头的自动化标定方法，在不增加摄像头数量的前提下，增大了互动操作区域范围。

为了实现广角的鱼眼摄像头的坐标标定，本发明还提出了一种自动化标定方法，包括如下步骤：

步骤1，投影仪投射出鱼眼摄像头一标定板，鱼眼摄像头一拍摄得到一张标定板一图像，发送至控制器；

步骤2，投影仪投射出鱼眼摄像头二标定板，鱼眼摄像头二拍摄得到一张标定板二图像，发送至控制器；

步骤3，投影仪投射出融屏标定板，分别用鱼眼摄像头一和鱼眼摄像头二拍摄融屏标定板一图像和融屏标定板二图像，发送至控制器；

步骤4，控制器基于折反射模型，对所述标定板一图像和所述标定板二图像标定出所述鱼眼摄像头一和所述鱼眼摄像头二的内参数；

步骤5：对所述融屏标定板一图像和所述融屏标定板二图像进行阈值分割，并提取标定点的重心坐标，将每个标定点的重心坐标利用内参数变换至摄像机坐标；

步骤6：利用标定点的摄像机坐标和相对应的屏幕坐标建立透视变换方程，计算透视变换矩阵；

步骤7：保存标定参数畸变中心、缩放矩阵、映射系数和透视变换矩阵，标定结束。

优选的，所述步骤5具体包括：

提取所述融屏标定板一图像的四个标定点重心坐标(1,2,3,4)，提取所述融屏标定板二图像的四个标定点重心坐标(5,6,7,8)，将每个标定点的重心坐标利用内参数变换至摄像机坐标，变换公式如下，

其中，(u,v)为重心坐标；(c_x,c_y)为畸变中心；S为缩放矩阵；(α₀,α₂,α₃,α₄)为映射系数，α₁＝0；

优选的，所述步骤6中的透视变换方程如下,

其中，(x_s/z_s,y_s/z_s)为标定点的屏幕坐标，T为透视变换矩阵。

经由上述的技术方案可知，本发明提供一种基于多摄像头-投影仪的互动投影系统及自动化标定方法，与现有技术相比的优点在于：

针对单一摄像头导致的互动操作区域面积小问题，通过增加摄像头的数目来增大互动操作区域；针对非广角无畸变摄像头视场角小需要布置大量摄像头的问题，采用超大视角的鱼眼摄像头(视场角170度)来替换非广角无畸变摄像头。同时针对多个鱼眼摄像头设计了自动化标定的方法，在鱼眼摄像头标定时采用Scaramuzza的折反射模型，在鱼眼摄像头的标定精度方面折反射模型要高于小孔成像模型，并且通过对多摄像头进行联合标定，实现了全屏幕，即整个投影区域，的互动投影操作，提升了广角摄像头坐标融合后的用户体验，同时自动化的标定流程，提高了用户使用的方便性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明基于多摄像头-投影仪的互动投影系统的自动化标定方法的流程图；

图2附图为本发明提供的鱼眼摄像头的折反射模型；

图3附图为本发明提供的鱼眼摄像头坐标变换示意图；

图4附图为本发明鱼眼摄像头标定点分布示意图；

图5附图为本发明多摄像头联合标定示意图；

图6附图为本发明实施例提供的标定板图像；

图7附图为本发明实施例提供的标定误差结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的一种多摄像头-投影仪的互动投影系统，包括多个投影仪，与所述投影仪相匹配的鱼眼摄像头，以及与所述投影仪和所述鱼眼摄像头电连接的控制器，所述控制器用于对所述鱼眼摄像头进行自动化标定。

为了进一步优化上述技术方案，本发明不仅限于两个摄像头-两个投影仪，可根据需求扩展至多个摄像头-多个投影仪。

参见附图1，为基于多摄像头-投影仪的互动投影系统及自动化标定方法的流程图，

根据本发明要解决的技术问题，本发明主要包括三部分内容，分别为鱼眼摄像头的标定、多摄像头联合标定以及自动化标定流程。

(1)鱼眼摄像头标定

在鱼眼摄像头标定方面，并未采用以往的张正友标定算法，这是由于张正友标定算法中所采用的摄像头成像模型为小孔成像模型，鱼眼摄像头视场角大，若采用小孔成像模型必须扩大感光芯片的面积，特别是视场角越大，感光芯片的面积就越大，这显然与实际的鱼眼镜头不符。本发明在鱼眼摄像头标定时采用Scaramuzza的折反射模型，在鱼眼摄像头的标定精度方面折反射模型要高于小孔成像模型，折反射模型示意图如图2所示。

Scaramuzza的折反射模型主要包含内参数(缩放矩阵、畸变中心和映射系数)和外参数(旋转矩阵和平移矩阵)，鱼眼摄像头的坐标变换示意图如图3所示。本发明为了实现自动化标定，考虑到投影仪每次安装无法保证位置一致，所以相邻标定点之间的物理距离(单位：毫米)并不能保证一致，但是投影仪的分辨率是一个定值，与安装位置无关，所以标定点的坐标以投影仪投射到屏幕上的像素坐标衡量为定值，相当于标定点在屏幕上的像素坐标已知，方便计算，进一步利用屏幕上的像素坐标等价于世界坐标来标定摄像头的内参数，具体的，将标定点对应的图像坐标与屏幕坐标带入Scara-muzza的折反射模型得到关于内参数的非线性方程组，利用最优化算法迭代计算出非线性方程组的最优解，该最优解即为摄像头的内参数。在获得内参数后利用内参数进行鱼眼摄像头的第一次畸变校正，将坐标转换为摄像机坐标。

本发明中的标定板采用圆形标定板，标定点圆心之间的像素距离为120像素，标定点的半径为10像素，标定点数目为16列9行，其中标定点的分布位置只占整个融屏区域的一部分，且保证单一摄像头能够获取全部的标定点，标定点分布示意图如图4所示。

(2)多摄像头联合标定

为了实现全屏幕的互动投影操作，需要对多摄像头进行联合标定，联合标定包含两个部分，分别是鱼眼摄像头的透视变换标定和多摄像头的坐标融合。透视变换的目的是将摄像机坐标转换至屏幕坐标即第二次畸变校正，透视变换矩阵采用四个标定点的图像坐标与屏幕坐标建立透视变换方程，通过求解方程组得到透视变换矩阵；坐标融合的目的是将多摄像头转换后的屏幕坐标转换至统一坐标系下。在本发明中为了简化计算步骤，将上述两部分合二为一，多摄像头联合标定示意图如图5所示。

摄像头内参数的计算过程包含非线性，因此标定板图像中的标定点要覆盖摄像头的大于二分之一视场，因此需要等间隔均匀排列，如图4所示。融合标定板用于计算透视变换，这一步计算主要为线性计算，即各个区域畸变一致，因此只需要分别确定融屏标定板一图像和融屏标定板二图像的四个标定点的圆心坐标。

在本实施例的多摄像头联合标定中，每个标定点在屏幕坐标系的半径为10个像素，1-3-6-8四个标定点的圆心坐标分别为(10,10)、(10,n-10)、(m-10,10)、(m-10,n-10),5-7-2-4四个标定点的圆心坐标分别为(m/2-d/2,10)、(m/2-d/2,n-10)、(m/2+d/2,10)、(m/2+d/2,n-10)，其中m和n分别为投影屏幕的横向分辨率和纵向分辨率，d为5-2(或7-4)两个标定点圆心之间的距离。5-7-2-4四个标定点形成的融合带，目的是将两个摄像头转换后的坐标统一到同一个坐标系下。

在获取到标定点的屏幕坐标后，在鱼眼摄像头一1中提取1-2-3-4四点的融屏标定板一图像坐标，利用融屏标定板一图像坐标与屏幕坐标建立透视变换方程组计算鱼眼摄像头一1的透视矩阵；同理利用5-6-7-8计算鱼眼摄像头二2的透视矩阵。至此同时完成了透视变换标定与坐标融合。

(3)自动化标定流程

本实施例提供了一套完整的基于多摄像头-投影仪的互动投影系统的自动化标定方法，以两个摄像头-两个投影仪的自动化标定流程为例：

步骤1：投影仪投射出鱼眼摄像头一1标定板，鱼眼摄像头一1拍摄一张标定板一图像，如图6左上；

步骤2：投影仪投射出鱼眼摄像头二1标定板，鱼眼摄像头二1拍摄一张标定板二图像，如图6右上；

步骤3：投影仪投射出融屏标定板，分别用鱼眼摄像头一1和鱼眼摄像头二2拍摄融屏标定板一图像和融屏标定板二图像，分别为图6左下和图6右下所示；

步骤4：分别利用图6左上图像和图6右上图像并基于Scaramuzza的折反射模型标定出鱼眼摄像头一1和鱼眼摄像头二1的内参数；

步骤5：对融屏标定板图像进行阈值分割，提取四个标定点重心坐标，其中，鱼眼摄像头一1为1-2-3-4四点，鱼眼摄像头二2为5-6-7-8四点，将每个标定点的重心坐标利用内参数变换至摄像机坐标，变换公式如下，

其中(u,v)为重心坐标；(c_x,c_y)为畸变中心；缩放矩阵

(α₀,α₂,α₃,α₄)为映射系数，α₁＝0；

(u’,v’)为未进行中心平移的图像坐标，由于在图像中坐标原点位于图像的左上角，而摄像机坐标转换通常原点并不位于左上角，(u’,v’)就是摄像机坐标转换后的图像坐标。

步骤6：每个鱼眼摄像头利用四个标定点的摄像机坐标和相对应的屏幕坐标建立透视变换方程，并计算透视变换矩阵，透视变换公式如下,其中(x_s/z_s,y_s/z_s)为标定点的屏幕坐标，T为透视变换矩阵，

透视变换矩阵T具体的值取决于融屏标定板中四个点的摄像机坐标与屏幕坐标；

步骤7：保存标定参数畸变中心、缩放矩阵、映射系数和透视变换矩阵，至此标定结束。

以鱼眼摄像头2为例，首先对其进行内参数标定，得到缩放矩阵

畸变中心：c_x＝1044.574c_y＝514.768

映射系数：

α₀＝923.8129α₂＝-4.0202×10^-4

α₃＝-8.007×10^-8α₄＝2.8434×10^-11

结合四个标定点的图像重心坐标(u,v)、内参数和理想屏幕坐标(x_s/z_s,y_s/z_s)如下表：

表1标定点坐标比对

计算得到透视变换矩阵

为了进一步验证本发明所述自动化标定方法的准确性，计算10个测试点的屏幕坐标标定误差。具体计算数据如下：

利用上述标定参数和10组测试点图像重心坐标(u,v)，计算得到10组测试点屏幕坐标，并对比10组测试点理想屏幕坐标，计算对比结果如下表：

表2测试点坐标比对

可知，本标定方法的误差范围在：水平误差在10个像素以内，垂直误差在5个像素以内

参见说明书附图7，为利用本发明对16*9组标定点进行标定的误差结果示意图，可以看出，误差值均在水平方向10个像素，垂直方向5个像素内，标定精度高，满足互动投影系统的投影识别精度要求。

以上对本发明所提供的一种基于多摄像头-投影仪的互动投影系统及自动化标定方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (2)

1.一种基于多摄像头-投影仪的互动投影系统的自动化标定方法，其特征在于，所述系统包括多个投影仪，与所述投影仪相匹配的鱼眼摄像头，以及与所述投影仪和所述鱼眼摄像头电连接的控制器，所述控制器用于对所述鱼眼摄像头进行自动化标定，包括对鱼眼摄像头的内参数标定和对多摄像头进行联合标定，其中内参数标定基于Scaramuzza的折反射模型标定出鱼眼摄像头的内参数；联合标定包含两个部分，分别是鱼眼摄像头的透视变换标定和多摄像头的坐标融合；透视变换是将摄像机坐标转换至屏幕坐标，屏幕坐标为像素坐标，透视变换矩阵采用四个标定点的图像坐标与屏幕坐标建立透视变换方程，通过求解方程组得到透视变换矩阵；坐标融合是将多摄像头转换后的屏幕坐标转换至统一坐标系下；

所述自动化标定方法包括如下步骤：

步骤1，投影仪投射出鱼眼摄像头一标定板，鱼眼摄像头一拍摄得到一张标定板一图像，发送至控制器；

步骤2，投影仪投射出鱼眼摄像头二标定板，鱼眼摄像头二拍摄得到一张标定板二图像，发送至控制器；

步骤3，投影仪投射出融屏标定板，分别用鱼眼摄像头一和鱼眼摄像头二拍摄融屏标定板一图像和融屏标定板二图像，发送至控制器；

步骤4，控制器基于折反射模型，对所述标定板一图像和所述标定板二图像标定出所述鱼眼摄像头一和所述鱼眼摄像头二的内参数；

步骤5：对所述融屏标定板一图像和所述融屏标定板二图像进行阈值分割，并提取标定点的重心坐标，将每个标定点的重心坐标利用内参数变换至摄像机坐标；

步骤6：利用标定点的摄像机坐标和相对应的屏幕坐标建立透视变换方程，计算透视变换矩阵；透视变换公式为

其中，(x_s/z_s，y_s/z_s)为标定点的屏幕坐标，T为透视变换矩阵，

透视变换矩阵T的值取决于融屏标定板中四个点的摄像机坐标与屏幕坐标；

步骤7：保存标定参数畸变中心、缩放矩阵、映射系数和透视变换矩阵，标定结束。

2.根据权利要求1所述的一种基于多摄像头-投影仪的互动投影系统的自动化标定方法，其特征在于，所述步骤5具体包括：

提取所述融屏标定板一图像的四个标定点重心坐标(1,2,3,4)，提取所述融屏标定板二图像的四个标定点重心坐标(5,6,7,8)，将每个标定点的重心坐标利用内参数变换至摄像机坐标，变换公式如下，

其中，(u，v)为重心坐标；(c_x，c_v)为畸变中心；S为缩放矩阵；(α₀，α₂，α₃，α₄)为映射系数，α₁＝0；

Images