CN104469340A - 一种立体视频共光心成像系统及其成像方法 - Google Patents

Abstract

本发明公开了一种立体视频共光心成像系统及其成像方法，系统包括共光心镜头模块和摄像机模块；所述共光心镜头模块，包括若干组镜头单元，每组镜头单元包括按照设定角度放置的反射镜面和半反射半透射镜面，入射光线经过所述反射镜面反射到达所述半反射半透射镜面，所述半反射半透射镜面将入射光按照预设比例进行反射和透射；所述摄像机模块，包括至少两个第一摄像机和至少两个第二摄像机，所述第一摄像机接收从所述半反射半透射镜面反射的光线，所述第二摄像机接收从所述半反射半透射镜面透射的光线，所述至少两个第二摄像机的虚拟光心位置重合在一点。本系统能够实现宽视角、全景的立体视频采集，获取更大视角的立体视频画面。

Description

一种立体视频共光心成像系统及其成像方法

技术领域

本发明涉及信息处理技术领域，尤其涉及一种立体视频共光心成像系统及其成像方法。

背景技术

随着信息处理技术的发展，视频成像与远程呈现技术拓展了人的视觉认知能力。但在当前，人们已经不满足对场景画面的简单感知，在图像细节方面追求更佳的色彩还原，在空间维度上追求有深度距离的感知，在观看视野上追求全景呈现的能力，甚至在光谱维度上追求能够超越人眼观测的极限。然而现有的单一摄像头成像以及传统的监控方式无法实现远程呈现在视觉宽度、深度的需求。只有在成像端应用更宽视角、更多视点的视频采集及图像处理方法，才能形成新型的远程呈现技术。

人眼对场景深度距离的感知，是通过左右眼从两个具有微小差异的视角观看的结果。立体视频成像技术相比传统平面视觉技术，能够更加完整地进行视觉信息呈现，获得真实的视觉效果。在立体视频成像中，至少需要两个视点的成像设备对场景进行同步拍摄，同时根据场景的变化，调整设备之间光心的距离和汇聚角等参数，从而与人眼的立体视觉效果保持一致。由于拍摄设备自身结构的限制，传统的立体拍摄设备光心距离会聚角等参数很难做到与人眼视觉一致，突出表现在光心距离较大，很难将光心距离缩小。这种缺点导致采集设备采集的立体影像立体效果不强，同时加重用户不适感。

宽视角视频成像系统的特点在于对场景的全景采集。传统通过阵列式相机拍摄与图像融合的方法，由于相机的光心并没有重合，所得到图像的重叠区域存在视差问题，无法将具有一定景深范围内的图像进行完整的融合拼接。

发明内容

本发明目的在于提出一种立体视频共光心成像系统及其成像方法，以解决上述现有技术存在的不能同时满足图像具有宽视角和优秀的深度感知的技术问题。

为此，本发明提出一种立体视频共光心成像系统，包括共光心镜头模块和摄像机模块；其中：

所述共光心镜头模块，包括若干组镜头单元，每组镜头单元包括按照设定角度放置的反射镜面和半反射半透射镜面，入射光线经过所述反射镜面反射到达所述半反射半透射镜面，所述半反射半透射镜面将入射光按照预设比例进行反射和透射；

所述摄像机模块，包括至少两个第一摄像机和至少两个第二摄像机，所述第一摄像机接收从所述半反射半透射镜面反射的光线，所述第二摄像机接收从所述半反射半透射镜面透射的光线，所述至少两个第二摄像机的虚拟光心位置重合在一点。

优选地，所述成像系统还包括机械控制模块，用于改变所述第一摄像机虚拟光心与所述第二摄像机的虚拟光心之间的距离，以得到不同的视觉效果。

优选地，所述成像系统还包括颜色处理模块，用于检测所述摄像机模块中的不同摄像机获得的视频中的特定区域，获取所述不同摄像机获得的视频之间颜色的差异，并对所述不同摄像机获得的视频进行颜色补偿处理。

优选地，所述成像系统还包括几何处理模块，用于检测所述摄像机模块中的不同摄像机获得的视频所对应成像几何关系，获得所述不同摄像机获得的视频之间的摄像机参数，并对所述不同摄像机获得的视频进行几何补偿处理。

优选地，所述成像系统还包括渲染输出模块，用于将所述摄像机模块中的不同摄像机获得的视频融合拼接，形成立体视频数据。

优选地，所述共光心镜头模块中的反射镜面和半反射镜面为整体的棱镜。

优选地，所述预设比例为50％，所述半反射半透射镜面将入射光按照反射：投射为50％：50％的比例射出。

本发明还提出一种使用上述的立体视频共光心成像系统的成像方法，包括：一部分入射光线经过所述反射镜面的反射进入相应的所述第一摄像机，另一部分入射光线经过所述半反射半透射镜面进入相应的所述第二摄像机。

优选地，改变所述第一摄像机与所述第二摄像机的虚拟光心的距离，以得到不同的视觉效果。

本发明提出的宽视角立体视频共光心成像系统能够实现宽视角、全景的立体视频采集，获取更大视角的立体视频画面，提高远程呈现的观测能力及真实还原能力。

附图说明

图1是本发明实施方式一的同一视向不同视点的摄像机结构示意图；

图2是本发明实施方式一的同一视点不同视向的摄像机结构示意图；

图3是本发明实施方式一的反射镜面与半反射半透射镜面组合形成的镜头结构；

图4是本发明实施方式一的不同摄像机获得的视频的同步控制与实施获取示意图；

图5是本发明实施方式二的不同摄像机获得的视频颜色处理流程示意图；

图6是本发明实施方式二的不同摄像机获得的视频几何处理流程示意图；

图7是本发明实施方式二的宽视角立体视频渲染处理流程示意图。

具体实施方式

为便于准确理解，以下是后文中将出现的技术术语的准确定义：

“不同视向”是指：光心在同一个位置，但光轴方向(视野方向)不同。

“不同视点”是指：光轴方向平行，但光心不在同一位置。

下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参照以下附图，将描述非限制性和非排他性的实施例，其中相同的附图标记表示相同的部件，除非另外特别说明。

实施例一：

本发明提出一种宽视角立体视频共光心成像系统，包括：

1、立体共光心成像单元，用于对所拍摄场景的数字成像，得到多个视点的共光心拍摄的立体视频画面，该立体共光心成像单元包括共光心镜头模块和摄像机模块：

1.1、共光心镜头模块，包括若干组镜头单元，每组镜头单元包括按照设定角度放置的反射镜面和半反射半透射镜面，形成不同视向与不同视点的成像光路系统。入射光线经过反射镜面后，到达半反射半透射镜面，由于半反射半透射镜面上镀有半反射半透射膜，在半反射半透射膜作用下，入射光按照一定比例将入射光分为两部分，部分通过反射改变原有的方向，部分通过透射继续传播；

1.2、摄像机模块，包括至少两个第一摄像机和至少两个第二摄像机，与共光心镜头模块对应，第一摄像机接收从半反射半透射镜面反射的光线，第二摄像机接收从半反射半透射镜面透射的光线，至少两个第二摄像机的光心位置重合在一点；摄像机模块中所有摄像机通过特定的方式进行同步控制，驱动不同摄像机同时拍摄；

1.3、机械控制模块，在本发明的具体实施例中，成像系统还包括机械控制模块，用于摄像机模块中摄像机的安装固定与位置调节，调节摄像机模块中的第一摄像机和第二摄像机的虚拟光心之间的距离，以得到不同的视觉效果；位置调节可以通过机械控制模块的手动与电动方式实现，位置调整的自由度与精度按照光学系统设计的要求设定。

本发明实施例提出的立体共光心成像单元包含了同一视向不同视点成像光路与同一视点不同视向的成像光路。

其中，同一视向不同视点的成像光路能够实现在相同视觉方向上多视点的差异化观测，是获得立体视觉效果的关键技术，参见图1是本发明实施方式一的同一视向不同视点的摄像机结构示意图。光线经过半反射半透射镜面101后，在镜面上所镀的半反射半透射膜的作用下，入射光按照一定比例，部分通过反射改变原有的方向，部分通过透射继续传播。通过反射的光线进入与之对应的摄像机102，通过透射的光线进入与之对应的摄像机103，摄像机102、103分别将反射和透射光线采集，形成多路视频图像输出。摄像机104为摄像机103在反射光路中的等效虚像位置，该位置的特点为：在高度y方向与深度z方向上，摄像机104与摄像机102相同；在x方向上，摄像机104与摄像机102具有水平的距离差，且该距离差大于等于0，可以通过机械机构调整摄像机102与摄像机104的位置来实现调节。

另外，同一视点不同视向的成像光路能够实现同一个视点在共光心基础上改变观看方向的差异化观测，是获得宽视角或全景图像的关键技术，参见图2是本发明实施方式一的同一视点不同视向的摄像机结构示意图。包括：

反射镜面201、202和203，用于将对应视向的光线进行完全反射，其中，反射镜面202所对应的视向与反射镜面201有第一夹角，反射镜面203所对应的视向与反射镜面202有第二夹角，可选地，第一夹角和第二夹角都为60°；

半反射半透射镜面204、205和206，分别对应反射镜面201、202和203；

摄像机207、208和209，分别与同一视点不同视向光路对应，将同一个视点在不同视觉方向上的光线采集，形成多路视频图像输出；摄像机207-209的光心位置重合在该点路中的虚像位置211处；

摄像机210为与摄像机207在同一视向不同视点光路中所配对的摄像机，进行立体拍摄。

优选地，反射镜面与半反射半透射镜面可为一个整体的棱镜，参见图3是本发明实施方式一的反射镜面与半反射半透射镜面组合形成的镜头结构，镜头结构为菱形棱镜301，该菱形棱镜包括反射镜面303以及半反射半透射镜面304。反射镜面303能将入射光完全反射；半反射半透射镜面304能将入射光按比例部分反射部分透射，本发明的具体实施例中，该比例值取50％，即50％反射，50％透射。由图3可看出，当场景的入射光线方向302为沿菱形棱镜301底面方向入射时，光依次经过反射镜面303、半反射半透射镜面304的作用后，一部分光进入透射光线对应的摄像机305，另一部分光进入反射光线对应的摄像机306，摄像机305、306采集入射光线形成多路视频图像。

2、立体共光心图像处理单元，用于成像的源图像数据进行同步变换处理及输出视频的渲染处理，源图像数据包含了不同视向的共光心视频图像和同一视向上的不同视点图像。在本发明的具体实施例中，立体共光心图像处理单元包括：

2.1、源视频图像获取模块，用于接收摄像机模块中的不同摄像机输出的视频数据，实现对不同摄像机输出的视频的同步控制与实时获取。在本发明的具体实施例中，采用硬件触发与单服务器并发采集的方式，参见图4为本发明实施方式一的不同摄像机输出的视频的同步控制与实施获取示意图，包括：

2.1a、控制装置，用于上电后MCU向摄像机的控制接口发送脉冲信号，摄像机按照控制信号持续以设定的帧率(25fps)进行同步采集，直到MCU断开电源；

2.1b、采集装置，包括4张1394b双总线采集卡(PCI-E接口，带宽可达160MB/s)，与4个视向2个视点共8台摄像机的数据口进行串联，用于采集高清视频图像。

2.2、颜色处理模块：用于检测不同摄像机输出的视频图像中的特定区域，获取不同视频之间颜色差异，并对视频图像进行颜色补偿处理。特定区域为视频中由算法设定的画面区域，可以是不同视频在图像边缘的重叠区域。不同视频包含了不同视向的共光心视频图像和同一视向上的不同视点图像。颜色差异为算法中设定的指标，可以是亮度、色度等表征颜色的变量；

2.3、几何处理模块：用于检测不同摄像机输出的视频图像所对应成像几何关系，获得不同视频之间的摄像机参数，并对视频图像进行几何补偿处理。不同视频包含了不同视向的共光心视频图像和同一视向上的不同视点图像。摄像机参数包含了摄像机光心的三维坐标、光轴的三维矢量坐标和光心间基线的三维矢量坐标。几何补偿处理为根据实际的摄像机参数与理想的摄像机参数的差异，对源视频图像进行几何变换，使得变换后图像的参数与理想参数一致。理想的摄像机参数，包含了全景拼接中的共光心模型，和立体视频的多视点模型；

2.4、渲染输出模块：用于将不同摄像机输出的视频图像融合拼接，形成宽视角的立体视频数据，并按照输出要求设定，选取相应的图像内容输出。融合拼接，将不同视向同一视点的视频画面，对边缘的重合部分进行融合，从而得到完整的宽视角视频画面。选取相应的图像内容输出，包括单一视点的宽视角视频、宽视角立体视频画面中的部分画幅内容等形式。

本发明实施例提出一种立体视频共光心成像系统，通过该系统能够实现对场景的全景立体拍摄，获得不同方向的共光心图像以及同方向的立体图像，经过图像的融合处理方法，形成具有宽视角的立体视频图像，提供给相应的立体显示设备进行立体呈现，从而满足观众在宽观测视角、有深度感的视觉感知需求。

实施例二：

本发明还提出一种立体视频共光心的成像方法，包括以下步骤：

S1、入射光线经过实施例一中描述的成像系统后按比例分为两部分射出，一部分光线经过反射镜面进入相应的第一摄像机，另一部分光线经过半反射半透射镜面进入相应的第二摄像机；

S2、对摄像机模块中的不同摄像机获得的视频数据进行处理并按需求输出视频，不同摄像机获得的视频数据视频数据包含了不同视向的共光心视频图像和同一视向上的不同视点图像。在本发明的具体实施例中，包括以下步骤：

S21、对不同摄像机获得的视频数据图像的同步控制与实时获取。本发明具体实施方式的不同摄像机获得的视频数据的同步控制与实施获取流程包括：

MCU发送脉冲信号控制摄像机采集动作。具体的，上电后MCU开始向摄像机的控制接口发送脉冲信号，摄像机按照控制信号持续以设定的帧率(25fps)进行同步采集，直到为MCU断开电源；

采集服务器通过4张1394b双总线采集卡(PCI-E接口，带宽可达160MB/s)，与4个视向2个视点共8台摄像机的数据口进行串联，采集高清视频图像。

S22、对图像进行颜色、几何补偿处理，获得理想状态下的共光心立体采集数据；

本发明实施例提出的不同视向与不同视点视频之间的颜色与几何处理，包含了系统的参数标定以及实时补偿两个部分，参见图5和图6所示的方法，包括：

S221、系统对不同视向与不同视点视频的自检。在设备启动时，对采集到的画面进行自检。本发明实施例中的自检，通过对不同视向相邻视频之间的特征点匹配，理论上匹配特征点的颜色与坐标应该保持一致。因此通过颜色与坐标与理论值的差异，设定阈值进行判断。

S222、当设备处于初始化系统，以及当前自检不合格时，需要进行参数标定。步骤如下：

(1)对每个摄像机进行几何标定，获得摄像机的内、外参矩阵；

具体的，几何标定用以获取各摄像机的内、外参矩阵{K,R,T}，可通过张正友几何标定法获得。下文中各摄像机n(n∈{1,...,N})的参数以{K_n，R_n，T_n}表示(其中R_n＝[X_n,Y_n,Z_n]^T)，虚拟参数以表示。

(2)确定虚拟基线方向及虚拟光心位置与虚拟内参矩阵

本发明实施例中，虚拟基线方向为两个虚拟视点对应光心之间的连线，基线位于反射镜面组所形成的多边形横切面中心，基线中点与多边形横切面中心重合，基线两端光心关于多边形对称分布；

如果用f_u,f_v表示在光学水平轴和竖直轴上的归一化焦距。f_un,f_vn表示第n个摄像机在光学水平轴和竖直轴上的归一化焦距，(u₀,v₀)表示光学中心，即摄像机光轴与图像平面的交点坐标。(u_0n,v_0n)表示第n个摄像机的光学中心。本发明实施例中所有摄像机的虚拟内参矩阵保持一致，记为取的 ${\hat{f}}_u={\hat{f}}_v=\underset{n}{\max }\{f_{\mathrm{um}},f_{\mathrm{vn}}\},\widehat{\mathrm{\γ}}=0,({\hat{u}}_0,{\hat{v}}_0)$ 为所有(u_0n,v_0n)平均值，从而得到：

${\hat{K}}_n=\hat{K}=\left[\begin{array}{ccc}{\hat{f}}_u& 0& {\hat{u}}_0\\ 0& {\hat{f}}_v& {\hat{v}}_0\\ 0& 0& 1\end{array}\right],$

(3)分别计算各摄像机对应源图像与校正后图像的透视变换矩阵，进而得到像素对应表并存储；

具体的，利用原参数{K_n,R_n,T_n}和虚拟参数可以得到大量空间点W在各摄像机n上的投影坐标和即

$\left\{\begin{array}{c}{\tilde{w}}_n\≅K_n\left[R_n\right|T_n]W\\ {\stackrel{\widetilde{^}}{w}}_n\≅{\hat{K}}_n\left[{\hat{R}}_n\right|{\hat{T}}_n]W\end{array}\right.$

然后选择位于图像内的多组和求得原图像与校正后图像的透视变换矩阵H_n。在该透视变换下，原图像坐标与校正后图像坐标间有的近似关系。从而得到像素对应表即校正后图像上的点与原图像上的点成一一映射关系(可以不为整数坐标)。最后将此对应表存储为文件。

(4)本发明实施例中，系统的颜色校正采用硬件调节方法。使用标准的颜色标定板，对多个摄像机进行颜色图像采集，并通过比对标准色值与图像像素颜色值的差异，反馈修改不同摄像机的红、蓝分量的数值配置，直到标准色值与图像像素颜色值之间的差异最小。

S223、当设备正常工作中，对不同摄像机输出的视频流进行实时补偿，包括颜色与几何的校正。本发明实施例中，颜色补偿通过摄像机硬件参数调节实现；几何补偿采用像素映射的方法实现，如下：

读取像素对应表，进行实时几何校正。对校正后坐标为的像素，其对应到原图像上的点为由于不一定为整数，这里采用最近邻插值方法，找到离最近的整数坐标点，将其RGB颜色值赋给当前位置的像素。这种查表赋值的方式并行度很高，所以还可利用OpenMP多CPU并行处理，极大的提高校正速度。

S23、按照输出格式进行相应的渲染，形成宽视角的立体视频；

本发明实施例提出的宽视角立体视频渲染处理，包含了对不同视向多路视频在边缘重叠区域的融合，以及不同视点立体视频的视差调节处理，参见图6是本发明实施方式二的宽视角立体视频渲染处理流程示意图，包括：

不同视向的相邻视频的边缘融合：本发明实施例中，不同视向的相邻视频图像，经过坐标变换映射到同一个图像坐标系中，即同一宽视角图像上。在融合的过程中，相邻视频图像映射后边缘部分存在一定的重合区域，对于重合区域的像素，可以采用线性插值的方式，由不同视频图像上的像素插值得到宽视角图像上对应的像素值。

不同视点立体视频的视差调节处理：本发明实施例中，不同视向的相邻视频图像经过融合得到统一的宽视角图像，设备得到不同视点的宽视角图像。为了满足用户对宽视角立体视频的深度感调节，本发明实施例可通过机械同步调节同一视点对应摄像机的位置，从而改变不同视点虚拟光心的实际距离；也可以设定几何标定部分虚拟光心的位置，并重新计算校正的像素对应表；也可以采用融合后图像的平移变换，改变视觉上的立体效果。

不同输出格式对应的渲染模式：本发明实施例中，处理后的宽视角立体视频数据可以根据用户选定的模式进行相应的渲染输出，包括：任意单一视点的宽视角视频、宽视角立体视频画面中的部分画幅内容等形式。

本发明实施例提出的立体视频共光心成像系统，通过特定设计的多视点共光心光学系统，采集得到不同视向、不同视点的多路视频图像，并进一步通过颜色、几何补偿处理，获得理想状态下的共光心立体采集数据，最后通过边缘融合、视差调节，按照输出格式进行相应的渲染，形成宽视角的立体视频，可以使观看者既能感受到场景的立体深度感，同时具备更大的观测视野，满足了用户在视野、深度等方面的需求。

本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。

尽管已经描述和叙述了被看作本发明的示范实施例，本领域技术人员将会明白，可以对其作出各种改变和替换，而不会脱离本发明的精神。另外，可以做出许多修改以将特定情况适配到本发明的教义，而不会脱离在此描述的本发明中心概念。所以，本发明不受限于在此披露的特定实施例，但本发明可能还包括属于本发明范围的所有实施例及其等同物。

Claims (9)

1.一种立体视频共光心成像系统，其特征在于，包括共光心镜头模块和摄像机模块；其中：

所述共光心镜头模块，包括若干组镜头单元，每组镜头单元包括按照设定角度放置的反射镜面和半反射半透射镜面，入射光线经过所述反射镜面反射到达所述半反射半透射镜面，所述半反射半透射镜面将入射光按照预设比例进行反射和透射；

所述摄像机模块，包括至少两个第一摄像机和至少两个第二摄像机，所述第一摄像机接收从所述半反射半透射镜面反射的光线，所述第二摄像机接收从所述半反射半透射镜面透射的光线，所述至少两个第二摄像机的虚拟光心位置重合在一点。

2.如权利要求1所述的立体视频共光心成像系统，其特征在于，所述成像系统还包括机械控制模块，用于改变所述第一摄像机虚拟光心与所述第二摄像机的虚拟光心之间的距离，以得到不同的视觉效果。

3.如权利要求1或2所述的立体视频共光心成像系统，其特征在于，所述成像系统还包括颜色处理模块，用于检测所述摄像机模块中的不同摄像机获得的视频中的特定区域，获取所述不同摄像机获得的视频之间颜色的差异，并对所述不同摄像机获得的视频进行颜色补偿处理。

4.如权利要求1或2所述的立体视频共光心成像系统，其特征在于，所述成像系统还包括几何处理模块，用于检测所述摄像机模块中的不同摄像机获得的视频所对应成像几何关系，获得所述不同摄像机获得的视频之间的摄像机参数，并对所述不同摄像机获得的视频进行几何补偿处理。

5.如权利要求1或2所述的立体视频共光心成像系统，其特征在于，所述成像系统还包括渲染输出模块，用于将所述摄像机模块中的不同摄像机获得的视频融合拼接，形成立体视频数据。

6.如权利要求1所述的立体视频共光心成像系统，其特征在于，所述共光心镜头模块中的反射镜面和半反射镜面为整体的棱镜。

7.如权利要求1所述的立体视频共光心成像系统，其特征在于，所述预设比例为50％，所述半反射半透射镜面将入射光按照反射：投射为50％：50％的比例射出。

8.一种使用如权利要求1所述的立体视频共光心成像系统的成像方法，其特征在于，包括：一部分入射光线经过所述反射镜面的反射进入相应的所述第一摄像机，另一部分入射光线经过所述半反射半透射镜面进入相应的所述第二摄像机。

9.如权利要求8所述的立体视频共光心成像系统的成像方法，其特征在于，改变所述第一摄像机与所述第二摄像机的虚拟光心的距离，以得到不同的视觉效果。