CN103337069B - 基于复合摄像机的高质量三维彩色图像获取方法及装置 - Google Patents

Abstract

本发明公开了一种基于复合摄像机的高质量三维彩色图像获取方法及装置，该装置包括二维摄像机、三维摄像机、主固定板、扩展应用接口板和三维摄像机固定连接板。本发明将三维摄像机与二维摄像机对同一场景同时获取的成像信息进行融合，将三维摄像机的深度图像插补成期望的高分辨率图像,完成二维摄像机的高质量二维彩色图像与插补后的三维摄像机深度图像的匹配关联，实现同一场景的高精度彩色图像和对应三维空间信息的实时同步获取,同时保留了二维摄像机的高质量彩色二维成像和三维摄像机的快速三维信息获取的优势.本发明可广泛应用于工业视觉装配、检测、机器人视觉导航等领域，能提高对三维空间场景视觉理解与识别的速度、准确度和可靠性。

Description

基于复合摄像机的高质量三维彩色图像获取方法及装置

技术领域

本发明涉及一种基于复合摄像机的高质量三维彩色图像获取方法及装置。

背景技术

目前，在移动机器人智能导航、无人驾驶车辆、极限或危险环境下自主探测车、精密工业生产线加工装配、自动焊接等领域，摄像机等图像传感器已成为相关设备或机器人的基本配置，获取相应工作场景或工件的图像信息，以辅助进行决策。随着智能化需求的逐步提高，为实现机器人或相应装置的全自动化智能处理，不仅需要高精度高质量二维图像信息，还需同步获取二维图像对应的高精度高质量三维空间信息。

当前获取空间三维信息和二维图像的技术主要有立体视觉系统、激光扫描仪与二维摄像机融合方案、三维摄像机等获取方案，其主要特性对比如表1所示。

表1当前三维信息获取技术方案对比

从表1可以看出，现有技术无法同时高速获取场景的高质量三维信息和匹配对应的二维彩色图像信息。空间场景三维信息和二维彩色图像信息的不匹配性，以及上述两者信息获取的时滞性和不完整性，使得对场景理解和动态目标信息的提取受到限制，导致机器人在复杂环境和任务前自主决策与反应能力明显不足，严重制约了机器人与实时环境的交互能力和工作性能。

而三维摄像机与传统二维摄像机信息具有良好的互补性。如图1所示，TOF三维摄像机可同时获取同一场景的相同分辨率的场景灰度图像和深度图像，从而获得场景以摄像机为坐标系的三维信息。TOF三维摄像机获取的三维信息质量高，对环境和光线的依赖性不大，如图1(b)所示；而TOF三维摄像机灰度图像质量比较差，造成很多图像细节损失，且容易受噪声污染，对环境光线非常敏感，成像不稳定。因此很难直接利用TOF三维摄像机提供的灰度图像进行后续的场景分析和目标识别处理。而目前二维摄像机具有成像清晰、分辨率高、畸变小优势，易于获取目标纹理、色彩特征。

如何有效融合三维摄像机与传统二维摄像机信息，是本领域急需解决的技术问题。

发明内容

本发明所要解决的技术问题是提供一种基于复合摄像机的高质量三维彩色图像获取方法及装置，该基于复合摄像机的高质量三维彩色图像获取方法及装置将三维摄像机与二维摄像机对同一场景同时获取的成像信息进行融合，具有精度高、易于实施、构思巧妙的突出优点。

发明的技术解决方案如下：

一种基于复合摄像机的高质量三维彩色图像获取方法，包括以下步骤：

步骤1：对三维摄像机和二维摄像机组成的立体视觉系统进行标定；

离线标定获取三维摄像机内参数矩阵M_3D、二维摄像机内参数矩阵M_2D，以及二维摄像机坐标系和三维摄像机坐标系之间对应的相对三维空间变换参数：空间旋转关系变换矩阵R和空间平移关系变换矩阵T，其中，

$M_{3D}=\left[\begin{array}{cccc}{\mathrm{\α}}_x^{3D}& 0& u_0^{3D}& 0\\ 0& {\mathrm{\α}}_y^{3D}& v_0^{3D}& 0\\ 0& 0& 1& 0\end{array}\right],$ $M_{2D}=\left[\begin{array}{cccc}{\mathrm{\α}}_x^{2D}& 0& u_0^{2D}& 0\\ 0& {\mathrm{\α}}_y^{2D}& v_0^{2D}& 0\\ 0& 0& 1& 0\end{array}\right];$

其中 f^3D为三维摄像机焦距，dx^3D,dy^3D分别表示三维摄像机中每一个像素在X轴和Y轴方向上的物理尺寸； 分别表示用像素量纲表示的三维摄像机主点的X轴和Y轴方向坐标值；

其中 f^2D为二维摄像机焦距，dx^2D,dy^2D分别表示二维摄像机中每一个像素在X轴和Y轴方向上的物理尺寸； 分别表示用像素量纲表示的二维摄像机主点的X轴和Y轴方向坐标值；

步骤2：同步成像步骤；

由三维摄像机和二维摄像机对空间场景同步成像，三维摄像机获取的信息包括二维灰度图像GI和深度图像DI，其中深度图像信息与灰度图像信息按像素坐标一一对应；二维摄像机同步获取同一空间场景的二维彩色图像CI；

步骤3：插补三维摄像机深度图像；

将分辨率为U×V的深度图像DI插补成分辨率为M×N的插补后深度图像D^I，其中M=K_x×U,N=K_y×V，K_x为横向X方向插补系数，K_y为纵向Y方向插补系数；

插补深度图像D^I中任意一点在原深度图像DI中对应的亚像素坐标的计算关系为：

$u^{3D}=u_I^{3D}/K_x,$ $v^{3D}=v_I^{3D}/K_y;$

步骤4：计算插补后深度图像D^I中任一像素点对应的三维信息 $(X_C^{3D},Y_C^{3D},Z_C^{3D});$

计算方法为：对于插补后深度图像D^I中的任一像素点其深度信息为该像素点的图像值；

该像素点对应的和按以下公式获得：

$X_C^{3D}=\frac{Z_C^{3D}(u_I^{3D}/K_x-u_0^{3D})}{{\mathrm{\α}}_x^{3D}},$ $Y_C^{3D}=\frac{Z_C^{3D}(v_I^{3D}/K_y-v_0^{3D})}{{\mathrm{\α}}_y^{3D}};$

步骤5：建立插补后深度图像D^I与二维彩色图像CI的映射关系；

即求取D^I中的任一像素点对应的在二维彩色图像CI中的映射点坐标

具体方法为：

步骤a：将像素点对应的三维信息代入如下公式求得u^2D,v^2D：

$\left[\begin{array}{c}{X}_C^{2D}\\ Y_C^{2D}\\ Z_C^{2D}\\ 1\end{array}\right]=\left[\begin{array}{cc}{R}^T& T^T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_C^{3D}\\ Y_C^{3D}\\ Z_C^{3D}\\ 1\end{array}\right];$

$Z_C^{2D}\left[\begin{array}{c}{u}^{2D}\\ v^{2D}\\ 1\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{\α}}_x^{2D}& 0& u_0^{2D}& 0\\ 0& {\mathrm{\α}}_y^{2D}& v_0^{2D}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_C^{2D}\\ Y_C^{2D}\\ Z_C^{2D}\\ 1\end{array}\right]=M_{2D}\left[\begin{array}{c}{X}_C^{2D}\\ Y_C^{2D}\\ Z_C^{2D}\\ 1\end{array}\right];$

步骤b：对计算值u^2D,v^2D取整，获得插补后深度图像D^I中的任一像素点在二维彩色图像CI中的映射匹配点p_2D的坐标

自此，对于插补后深度图像D^I中的任一像素点均能获得其对应的三维信息和彩色图像信息(r_pI,g_pI,b_pI)；其中(r_pI,g_pI,b_pI)为二维彩色图像CI中像素点的彩色图像信息，即建立了以下映射关系：

其中3D表示三维信息，color表示彩色图像信息。

步骤b中的取整是指四舍五入处理。

所述的由p_2D点对应的彩色图像信息赋值得到，其中，按以下公式计算：

一种基于复合摄像机的高质量三维彩色图像获取装置，将三维摄像机和二维摄像机左右并排固定在基座上，且镜头都对准被摄视场，构成立体摄像机系统。

一种基于复合摄像机的高质量三维彩色图像获取装置，其特征在于，其电气控制模块包括二维摄像机电源模块、三维摄像机电源模块和图像融合匹配控制器；

其中图像融合匹配控制器包括二维摄像机数据接口、三维摄像机数据接口和2D/3D摄像机数据匹配关联模块；

二维摄像机和三维摄像机均与图像融合匹配控制器相连接，二维摄像机电源模块通过电缆与二维摄像机相连接，三维摄像机通过电缆与三维摄像机电源模块相连接；

2D/3D摄像机数据匹配关联模块为基于前述的基于复合摄像机的高质量三维彩色图像获取方法的计算模块，实现二维彩色图像和三维信息的匹配关联，2D/3D摄像机数据匹配关联模块采用PC处理器或DSP处理器实现。

所述的基座包括主固定板和三维摄像机固定连接板；三维摄像机固定连接板固定在主固定板上；三维摄像机的底部与主固定板的上表面接触，三维摄像机固定连接板由水平板和竖直板对接而成；

二维摄像机通过主固定板上的螺孔固定于主固定板（1）上；

三维摄像机通过主固定板上的螺孔与三维摄像机固定连接板（3）固接；

三维摄像机固定在所述的竖直板上；

主固定板设有用于为三维摄像机散热的散热孔以及三脚架螺孔。

主固定板底部还连接有扩展应用接口板，扩展应用接口板上设有三脚架螺孔和用于连接外部设备的螺孔。

一种基于复合摄像机的高质量三维彩色图像获取装置，将三维摄像机和二维摄像机左右并排固定在基座上，且镜头都对准被摄视场，构成立体摄像机系统，采用前述的基于复合摄像机的高质量三维彩色图像获取方法进行信息匹配融合。

有益效果：

本发明的基于复合摄像机的高质量三维彩色图像获取装置，是集机械、电气和控制技术为一体的综合性高科技系统，其机械、电气和控制部分相互协调工作，共同构成一个有机的整体，能实时同步提供场景高质量三维信息和匹配的高质量二维彩色图像信息。

本发明采用专用机械机构和电气控制系统，使二维摄像机和三维TOF三维摄像机对空间场景同步成像，并引入二维图像插补算法提高三维摄像机深度图像精度问题，建立高精度二维彩色图像与TOF三维摄像机插补后深度图像像素点之间的准确、高可靠实时映射模型，结合三维摄像机工作特性，计算获取高精度三维信息和匹配对应的高质量二维彩色图像信息。本发明有效解决了实时场景三维信息和高质量二维彩色图像信息的融合匹配难题，完全有效的保留了二维摄像机图像质量好、三维摄像机三维信息获取简易的优势，最终可实时提供场景的高质量二维彩色图像信息及其相应的高可靠三维信息。

本发明将三维摄像机的深度图像插补成期望的高分辨率图像,完成二维摄像机的高质量二维彩色图像与插补后的三维摄像机深度图像的匹配关联，实现同一场景的高精度彩色图像和对应三维空间信息的实时同步获取,同时保留了二维摄像机的高质量彩色二维成像和三维摄像机的快速三维信息获取的优势.本发明可广泛应用于工业视觉装配、工业视觉检测、机器人视觉导航等领域，提高对三维空间场景视觉理解与识别的速度、准确度和可靠性

该发明机械装置简单易于实现，算法仅涉及立体摄像机系统的标定处理和简单代数运算，其中对应点匹配的精度和准确度完全取决于二维摄像机和三维摄像机自身性能和摄像机标定参数精度，不会引入新的运算误差；插补精度取决于应用需求和插补算法。由于本发明中立体摄像机装置中的三维摄像机和二维摄像机空间关系固定，焦距等成像参数固定，因此本发明的立体摄像机系统的标定参数仅需一次离线标定处理。因此本发明在实时性和可靠性方面具有显著的优势。

由于本发明可同时高速获取高质量的场景二维彩色图像信息和对应的完整三维信息，从而可利用完整的三维信息、颜色和纹理信息解决场景目标的分割、识别和三维测量等难题。该发明可有效满足移动机器人、无人驾驶车辆、极限或危险环境下自主探测车、精密工业生产线加工装配机器人、自动焊接等领域中对高速高质量三维图像信息获取的迫切要求。

附图说明

图1为二维摄像机和TOF三维摄像机(SR3000)获取的图像；其中(a)为TOF三维摄像机灰度图像，(b)为TOF三维摄像机三维信息，(c)为二维摄像机彩色图像。

图2为基于复合摄像机的高质量三维彩色图像获取方法的流程图；

图3为基座的总体结构示意图；

图4为三维摄像机固定连接板的结构示意图；

图5为主固定板的结构示意图；

图6为扩展应用接口板的结构示意图；

图7为电气控制模块的结构框图；

图8为二维摄像机和三维摄像机组成的立体视觉系统成像模型示意图；

图9为三维摄像机插补深度图像和二维摄像机图像像素点的映射关系示意图；

图10为本发明涉及的原始图像及处理过程中得到的图像，其中，(a)为TOF三维摄像机灰度图像；（b）为二维摄像机获取的场景高质量二维彩色图像；(c)为TOF三维摄像机深度信息图；（d）为基于本发明算法的三维摄像机灰度图像对应的关联匹配二维彩色图像（未插补）；(e)为基于三维摄像机三维信息和灰度信息的三维场景重建示意图；(f)为基于匹配的二维彩色图像和三维摄像机的三维场景重建示意图；(g)为插补后的深度图像；(h)为插补后对应的匹配彩色图像；(I)为插补后的三维彩色图像。

标号说明：

1-主固定板，2-扩展应用接口板，3-三维摄像机固定连接板，301-第1螺孔（用于三维摄像机固定连接板3与主固定板1的固接）；302-第2螺孔（用于三维摄像机固定连接板3与主固定板1的固接）；

311-第3螺孔（用于三维摄像机固定连接板3与三维摄像机的固接）；

312-第4螺孔（用于三维摄像机固定连接板3与三维摄像机的固接）；

101～106-第5～10螺孔（用于主固定板1与扩展应用接口板2的固接）；

111～112-第11～12螺孔（用于三维摄像机固定连接板3与主固定板1的固接）；

121-第13螺孔（用于二维摄像机与主固定板1的固接）；

141～142-第14～15螺孔（用于二维摄像机与主固定板1的固接）；

131-第1三角架螺孔；

151-三维摄像机散热孔；

201～206-第16～21螺孔（用于主固定板1与扩展应用接口板2的固接）；

211～215-第22～26螺孔（用于扩展应用接口板2与机械手的固接）；

221-226装置主固定板接口端

23-扩展接口固定面板

231-第2三脚架螺孔。

具体实施方式

以下将结合附图和具体实施例对本发明做进一步详细说明：

实施例1：

本发明基于计算机视觉技术和自动化技术，提出一种高速高可靠性的三维摄像机（TOF三维摄像机）和二维摄像机的融合匹配方法和装置，可实时提供任意空间环境下的高分辨率空间三维信息及其对应的高质量的二维彩色图像信息。

工作过程：

本发明采用三维摄像机和二维摄像机组成的立体视觉系统进行实时同步采集同一场景信息；二维摄像机将采集的高质量二维彩色图像传输到融合匹配控制器，三维摄像机将采集的二维灰度图像和深度图像传输到融合匹配控制器；融合匹配控制器采用所述的2D/3D图像匹配融合算法，实现二维彩色图像和三维信息的匹配关联，实时提供场景的高质量彩色图像及其对应的三维信息。

本发明的TOF三维摄像机和二维摄像机的融合匹配方法，如图2所示，首先对三维摄像机和二维摄像机组成的立体视觉系统进行离线标定，分别获取获取三维摄像机内参数矩阵M_3D、二维摄像机内参数矩阵M_2D，以及二维摄像机坐标系和三维摄像机坐标系之间对应的相对三维空间变换参数（空间旋转关系变换矩阵R和空间平移关系变换矩阵T）。采用二维图像插补算法对三维摄像机的深度图像进行插补成高分辨率深度图像。对插补后的深度图像，基于三维摄像机成像模型，计算插补后深度图像像素点对应的三维信息；采用高质量高精度二维彩色图像与TOF三维摄像机深度图像像素点之间的匹配映射模型，计算深度图像点对应的二维彩色图像信息，从而完成场景的高质量彩色图像及其对应的三维信息的同步获取。

为实现上述方法而设计的高速高精度二维彩色图像和三维信息同步获取装置由机械部分和电气控制部分组成。

本发明中由二维摄像机和三维摄像机组成的特殊立体视觉系统，适用于已有的立体视觉技术，但是与传统立体视觉系统也存在很多不同，主要表现在：1）摄像机参数配置完全不同。普通立体双目视觉系统中的两摄像机基本为同类型二维摄像机，其参数相近或相同，而本发明中的两摄像机为完全不同类型摄像机，摄像机参数完全不同；2）装置设计目的不同。传统立体双目视觉系统的目的是通过寻找空间点在左右两图像中的对应点，然后通过相关立体视觉技术求取该点对应的三维信息。本发明的目的是实现TOF三维摄像机中场景的三维信息和二维摄像机的高精度高质量彩色图像的匹配和融合处理。

如图3所示，本发明机械部分包括：主固定板1、扩展应用接口板2、三维摄像机固定连接板3、TOF三维摄像机和二维摄像机。其中二维摄像机通过螺孔固定于主固定板1上，TOF三维摄像机通过螺孔与三维摄像机固定连接板3固接，三维摄像机的底部与主固定板1的上表面接触，三维摄像机固定连接板3通过螺孔与主固定板1固接，主固定板1可通过三脚架螺孔直接与外部应用设备端连接。作为扩展应用，主固定板1可通过螺孔与扩展应用接口板2固接，扩展应用接口板2可通过螺孔与外部机械手固接，扩展应用接口板2也可通过三脚架螺孔与外部应用设备端连接。电气控制部分分别与TOF三维摄像机、二维摄像机电连接。

所述的二维摄像机为定焦摄像机，二维摄像机焦距与三维摄像机焦距参数相同或尽量接近，二维摄像机视野成像范围要求稍大于三维摄像机，保证三维摄像机的成像范围在二维摄像机成像范围内。二维摄像机和三维摄像机空间水平方向保持平行关系，同时保证成像不相互遮挡和电子干扰，在此条件下尽量减小两摄像机的空间相对平移量，以保证尽可能大比例的重合成像区域。其原因在于为实现三维摄像机的三维信息与二维彩色摄像机的图像信息的完全匹配关联，即TOF三维摄像机中的成像区域中的任一点均能在二维摄像机图像中找到唯一匹配关联点，因此本发明设计的装置可保证三维摄像机的成像范围完全包含于二维摄像机成像范围中，并且两者尽可能大的比例重合，以充分利用两者信息。

如图3和图4所示，所述三维摄像机固定连接板3为平台固定面（水平板）和三维摄像机固定面（竖直板）组成的双面垂直L型固定连接板，其中三维摄像机固定连接板3的平台固定面通过第1螺孔301和第2螺孔302与装置主固定板相固接，三维摄像机固定连接板3通过第3螺孔311和第4螺孔312与TOF三维摄像机固接，以满足TOF三维摄像机后背面方向（固定面的法线方向与镜头方向相同）特殊安装需求。第3螺孔311和第4螺孔312中心距离平台固定面下表面的距离要求等同于三维摄像机固定孔至三维摄像机下底面的距离，从而保证三维摄像机通过三维摄像机固定连接板3与主固定板1固接后，三维摄像机水平放置于装置上固定板表面，并由其承担重量，紧固螺丝只起固定作用，而不承担重量，从而保证了装置的稳定性。同时由于二维摄像机为底部固定模式（固定面的法线方向与镜头方向垂直），因此二维摄像机通过螺孔（即第13螺孔121、第14螺孔141、第15螺孔142）直接水平固定于主固定板1的上表面。从而装置装配完成后，本发明可保证二维摄像机和三维摄像机的光轴保持平行。

如图3和图5所示，所述主固定板1包括主固定板1与扩展应用接口板2的固接螺孔(即第16螺孔201、第17螺孔202、第18螺孔202、第19螺孔204、第20螺孔205、第21螺孔206)、三维摄像机固定连接板3与主固定板1的固接螺孔（即第11螺孔111和第12螺孔112）、二维摄像机与主固定板1的固接螺孔（即第13螺孔121、第14螺孔141、第15螺孔142）、第1三角架螺孔131和三维摄像机散热孔151。三维摄像机散热孔151的设计是满足三维摄像机底部散热的特殊需求，如图4所示，在三维摄像机与主固定板1表面固接区域，以散热风扇为半径对主固定板1进行开圆孔（即三维摄像机散热孔151）处理，以保证通风散热正常进行，同时不影响考虑主固定板1对三维摄像机的支撑作用。二维摄像机通过螺孔（即第13螺孔121、第14螺孔141、第15螺孔142）水平固定于主固定板1上。主固定板1预留第2三脚架螺孔131直接与外部应用设备端连接。作为扩展应用，主固定板1预留扩展螺孔（即第5螺孔101、第6螺孔102、第7螺孔103、第8螺孔104、第9螺孔105、第10螺孔106）与扩展应用接口板2固接。第5～10螺孔均匀分布于主固定板1边界，保证受力均匀。

如图6所示，所述扩展应用接口板2包括装置主固定板接口端（221-226）、扩展接口固定面板23、第2三脚架螺孔231、扩展应用接口板2外界应用设备端固接的螺孔（即第22螺孔211、第23螺孔212、第24螺孔213、第25螺孔214、第26螺孔215）。该设计是为满足特殊环境下的装配和固定要求而设计。装置主固定板1采用平角螺丝通过第5-10螺孔（101-106）和装置主固定板接口端（221-226）实现与扩展应用接口板2固接，扩展接口固定面板可根据具体应用需求，设计相应的连接端口，从而保证装置机械装置连接的灵活性和适应性。作为应用实例，图6中设计了本装置与日本Denso机械手的固定接口（即第22螺孔211、第23螺孔212、第24螺孔213、第25螺孔214、第26螺孔215），以及常用摄像机三脚架接口（即第2三脚架螺孔231）。

所述的电气控制部分：电气控制模块包括二维摄像机电源模块、三维摄像机电源模块、图像融合匹配控制器、数据存储器等部分，其中图像融合匹配控制器包括2D/3D数据匹配关联软件模块和硬件电路部分，如图7所示。二维摄像机通过数据接口与图像融合匹配控制器相连接，三维摄像机通过数据接口与图像融合匹配控制器相连接，二维摄像机电源模块通过电缆与二维摄像机相连接，三维摄像机通过电缆与三维摄像机电源模块相连接。2D/3D数据匹配关联模块采用本发明提出的2D/3D图像匹配融合算法，实现二维彩色图像和三维信息的匹配关联，实时提供场景的高质量彩色图像及其对应的三维信息，并将三维彩色数据信息存储至数据存储器。本发明电气控制中的硬件电路部分可采用PC处理器、DSP处理器等处理器实现设计。

本发明所述方法涉及的变量定义和术语说明如下：

如图8所示，左摄像机系统为TOF三维摄像机，其获取的灰度图像表示为GI；右摄像机系统对应于高精度彩色二维摄像机，其对应的高精度彩色图像表示为CI。对于三维摄像机和二维摄像机组成的立体视觉系统定义3个三维空间坐标系和2个二维图像坐标系：1）世界坐标系，其选择空间任一点为世界坐标系中心坐标，也称为全局坐标系；2）三维摄像机坐标系是以三维摄像机光心为坐标系中心，以三维摄像机光轴为坐标系Z轴构建的三维空间坐标系；3）二维摄像机坐标系是以二维摄像机光心为坐标系中心，以二维摄像机光轴为坐标系Z轴构建的三维空间坐标系；4）三维摄像机图像坐标系是指对三维摄像机获取的灰度图像和深度图像，以像素为单位，以图像的左上方顶点为坐标原点的二维直角坐标系；5）二维摄像机图像坐标系是指对二维摄像机获取的数字图像，以像素为单位，以图像的左上方顶点为坐标原点的二维直角坐标系。

（1）对三维摄像机和二维摄像机组成的立体视觉系统进行标定；

本发明中所述的二维摄像机和三维摄像机均为定焦摄像机，两摄像机相对空间关系保持固定，因此本发明中由二维摄像机和三维摄像机组成特殊的立体视觉系统的内参数和外参数均保持不变，只需进行一次离线标定处理获得该装置的内参数和外参数。

本发明采用线性摄像机成像模型，采用文献【1】中立体摄像机标定算法，离线标定获取三维摄像机内参数矩阵M_3D、二维摄像机的内参数矩阵M_2D，以及二维摄像机坐标系和三维摄像机坐标系之间对应的相对空间变换参数：R（三维空间旋转关系变换矩阵）和T（空间平移关系变换矩阵）。

$M_{3D}=\left[\begin{array}{cccc}{\mathrm{\α}}_x^{3D}& 0& u_0^{3D}& 0\\ 0& {\mathrm{\α}}_y^{3D}& v_0^{3D}& 0\\ 0& 0& 1& 0\end{array}\right],$ $M_{2D}=\left[\begin{array}{cccc}{\mathrm{\α}}_x^{2D}& 0& u_0^{2D}& 0\\ 0& {\mathrm{\α}}_y^{2D}& v_0^{2D}& 0\\ 0& 0& 1& 0\end{array}\right]---\left(1\right)$

$R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right],T=\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right]---\left(2\right)$

其中 f^3D为三维摄像机焦距，dx^3D,dy^3D分别表示三维摄像机中每一个像素在X轴和Y轴方向上的物理尺寸； 分别表示用像素量纲表示的三维摄像机主点的X轴和Y轴方向坐标值；

其中 f^2D为二维摄像机焦距，dx^2D,dy^2D分别表示二维摄像机中每一个像素在X轴和Y轴方向上的物理尺寸； 分别表示用像素量纲表示的二维摄像机主点的X轴和Y轴方向坐标值。

（2）同步成像步骤；

由TOF三维摄像机和二维摄像机对空间场景同步成像，其中TOF三维摄像机获取的信息包括二维灰度图像GI和深度图像DI，其对应图像分辨率为U×V,其中深度图像信息与灰度图像信息按像素坐标一一对应；二维摄像机同步获取同一空间场景的二维彩色图像CI。

（3）插补三维摄像机深度图像，获得高分辨率深度信息。

由于三维摄像机提供的深度图像分辨率较低，本发明对获取的深度图像进行二维插补计算，以获取高分辨率的深度信息。由于深度图像与传统二维灰度图像数据结构类似，可根据实际需要选择已有的二维灰度图像插补算法。设定横向X方向插补系数为K_x，纵向Y方向插补系数为K_y，插补后深度图像表示为D^I，其分辨率为M×N，其中M=K_x×U,N=K_y×V。插补深度图像D^I中任意一点在原深度图像DI中对应的亚像素坐标p_3D(u^3D,v^3D)计算关系为：

$u^{3D}=u_I^{3D}/K_x,v^{3D}=v_I^{3D}/K_y---\left(3\right)$

作为本发明的一个典型实现，本发明设定插补倍率为k=2，横向和纵向插补倍率相同，插补算法选用双三次插值算法【参见参考文献2】。插补效果如图10（g）所示。

（4）计算插补后深度图像D^I中任一像素点对应的三维信息 $(X_C^{3D},Y_C^{3D},Z_C^{3D});$

对插补深度图像D^I中任意一点假定其对应空间场景中某一三维点P，P点在三维摄像机坐标系下的三维坐标记为由于三维摄像机获取的灰度图像和深度图像在图像坐标上按像素坐标值一一对应，因此点在原深度图像DI中对应的亚像素坐标p_3D(u^3D,v^3D)即等同为在灰度图像GI中对应的亚像素坐标p_3D(u^3D,v^3D)。

根据线性摄像机成像模型，采用齐次坐标表示，三维摄像机灰度图像像素点p_3D的图像坐标[u^3D,v^3D,1]^T与对应的以三维摄像机坐标系为参考的空间三维信息 ${[X_C^{3D},Y_C^{3D},Z_C^{3D},1]}^T$ 关系为：

$Z_C^{3D}\left[\begin{array}{c}{u}^{3D}\\ v^{3D}\\ 1\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{\α}}_x^{3D}& 0& u_0^{3D}& 0\\ 0& {\mathrm{\α}}_y^{3D}& v_0^{3D}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_C^{3D}\\ Y_C^{3D}\\ Z_C^{3D}\\ 1\end{array}\right]=M_{3D}\left[\begin{array}{c}{X}_C^{3D}\\ Y_C^{3D}\\ Z_C^{3D}\\ 1\end{array}\right]---\left(4\right)$

对（4）进行进一步展开计算可得公式（5）：

$Z_C^{3D}\left[\begin{array}{c}{u}^{3D}\\ v^{3D}\\ 1\end{array}\right]=\left[\begin{array}{c}{\mathrm{\α}}_x^{3D}*X_C^{3D}+u_0^{3D}*Z_C^{3D}\\ {\mathrm{\α}}_y^{3D}*Y_C^{3D}+v_0^{3D}*z_C^{3D}\\ z_C^{3D}\end{array}\right]---\left(5\right)$

对于插补后深度图像D^I中的任一像素点其深度信息为该像素点的插补深度图像值：

$Z_C^{3D}=D^I(u_I^{3D},v_I^{3D})---\left(6\right)$

将深度信息坐标点和标定参数M_3D带入公式（3）-（5）,可求得三维空间X方向坐标和三维空间Y方向坐标

$X_C^{3D}=\frac{Z_C^{3D}(u_I^{3D}/K_x-u_0^{3D})}{{\mathrm{\α}}_x^{3D}},$ $Y_C^{3D}=\frac{Z_C^{3D}(v_I^{3D}/K_y-v_0^{3D})}{{\mathrm{\α}}_y^{3D}}---\left(7\right)$

因此，根据三维摄像机插补深度图像中的任意像素的图像坐标即可计算出该像素点在三维摄像机坐标系的三维信息以齐次坐标表示为：

${(u_I^{3D},v_I^{3D},1)}^T\→{(X_C^{3D},Y_C^{3D},Z_C^{3D},1)}^T---\left(8\right)$

（5）建立插补后深度图像D^I与二维彩色图像CI的映射关系；

即求取D^I中的任一像素点对应的在二维彩色图像CI中的映射点坐标

具体方法为:

根据已标定的二维摄像机和三维摄像机组成的立体视觉模型，对于空间点P，在三维摄像机坐标系下的坐标与二维摄像机坐标系下的坐标为之间的关系可表示为：

$\left[\begin{array}{c}{X}_C^{2D}\\ Y_C^{2D}\\ Z_C^{2D}\\ 1\end{array}\right]=\left[\begin{array}{cc}{R}^T& T^T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_C^{3D}\\ Y_C^{3D}\\ Z_C^{3D}\\ 1\end{array}\right]---\left(9\right)$

其中R为二维摄像机坐标系和三维摄像机坐标系之间的相对三维空间旋转变换矩阵，T为空间平移关系变换矩阵。

对于高精度彩色二维摄像机，根据摄像机成像模型，空间点P在二维彩色图像中投影点p_2D的图像坐标(u^2D,v^2D,1)^T与P点在二维摄像机坐标系下的三维坐标 ${(X_C^{2D},Y_C^{2D},Z_C^{2D},1)}^T$ 关系可表示为：

$Z_C^{2D}\left[\begin{array}{c}{u}^{2D}\\ v^{2D}\\ 1\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{\α}}_x^{2D}& 0& u_0^{2D}& 0\\ 0& {\mathrm{\α}}_y^{2D}& v_0^{2D}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_C^{2D}\\ Y_C^{2D}\\ Z_C^{2D}\\ 1\end{array}\right]=M_{2D}\left[\begin{array}{c}{X}_C^{2D}\\ Y_C^{2D}\\ Z_C^{2D}\\ 1\end{array}\right]---\left(10\right)$

因此，三维摄像机的高分辨率插补深度图像D^I中任一像素点将公式（8）（9）（10）联立，即可求得p_I点在二维摄像机彩色图像中对应匹配点p_2D的图像坐标值(u^2D,v^2D,1)^T。由于两者为匹配点，因此p_2D像素点对应的颜色、纹理和灰度信息即可等同为p_I点的信息。

然而由于两摄像机坐标系映射变换的计算处理、三维摄像机插补深度图像和二维彩色图像的分辨率的差异等原因，像素点p_I点的映射点p_2D的坐标值不一定是整数值，即对应于二维彩色图像中的亚像素点，如图9所示。

为此，本发明对映射点p_2D的坐标值计算值(u^2D,v^2D)进行四舍五入处理，进行取整运算，得到p_I点在二维彩色图像上的近似匹配关联点并将近似坐标值作为p_2D点的最终图像坐标值：

其中为下取整运算符。

对于映射点p_2D(u^2D,v^2D)对应的二维图像颜色信息，为提高可靠性降低随机干扰影响，本发明选取近似匹配关联点的8邻域像素点的彩色信息的平均值作为映射点p_2D(u^2D,v^2D)的图像颜色信息。以RGB颜色模型为例，p_2D点对应的颜色信息计算如下：

其中(r_u,v,g_u,v,b_u,v)分别表示二维彩色图像的像素点CI(u,v)对应的红色-R、蓝色-G和绿色-B的颜色信息。

由于p_I和p_2D为空间同一点P在不同摄像机图像中的匹配关联点，且同时成像，因此p_I点颜色信息可等同于p_2D点的图像颜色信息，从而可以求出点对应的颜色信息：

$r_{p_I}=r_{p_{2D}},g_{p_I}=g_{p_{2D}},b_{p_I}=b_{p_{2D}}---\left(14\right)$

根据公式(1)-(14)，三维摄像机的插补深度图像D^I中任一像素点均可计算出其对应的三维信息和高质量彩色图像信息即如（15）所示：

因此，基于本发明可同步获取空间场景中高分辨率的三维信息和及其对应的颜色信息，而分辨率取决于插补系数和二维彩色摄像机的图像分辨率，有效解决了实时场景三维信息和高质量二维彩色图像信息的融合难题。本发明试验结果及对比如图10所示。

参考文献

[1]CameraCalibrationToolboxforMatlab.

http://www.vision.caltech.edu/bouguetj/calib_doc/,2012

[2]Bicubicinterpolation.

http://en.wikipedia.org/wiki/Bicubic_interpolation#References,2012

Claims (5)

1.一种基于复合摄像机的高质量三维彩色图像获取方法，其特征在于，包括以下步骤：

步骤1：对三维摄像机和二维摄像机组成的立体视觉系统进行标定；

离线标定获取三维摄像机内参数矩阵M_3D、二维摄像机内参数矩阵M_2D，以及二维摄像机坐标系和三维摄像机坐标系之间对应的相对三维空间变换参数：空间旋转关系变换矩阵R和空间平移关系变换矩阵T，其中，

其中f^3D为三维摄像机焦距，分别表示三维摄像机中每一个像素在X轴和Y轴方向上的物理尺寸；分别表示用像素量纲表示的三维摄像机主点的X轴和Y轴方向坐标值；

其中f^2D为二维摄像机焦距，分别表示二维摄像机中每一个像素在X轴和Y轴方向上的物理尺寸；分别表示用像素量纲表示的二维摄像机主点的X轴和Y轴方向坐标值；

步骤2：同步成像步骤；

由三维摄像机和二维摄像机对空间场景同步成像，三维摄像机获取的信息包括二维灰度图像GI和深度图像DI，其中深度图像信息与灰度图像信息按像素坐标一一对应；二维摄像机同步获取同一空间场景的二维彩色图像CI；

步骤3：插补三维摄像机深度图像；

将分辨率为U×V的深度图像DI插补成分辨率为M×N的插补后深度图像D^I，其中M＝K_x×U,N＝K_y×V，K_x为横向X方向插补系数，K_y为纵向Y方向插补系数；

插补后深度图像D^I中任意一点在原深度图像DI中对应的亚像素坐标p_3D(u^3D,v^3D)的计算关系为：

步骤4：计算插补后深度图像D^I中任一像素点对应的三维信息

计算方法为：对于插补后深度图像D^I中的任一像素点其深度信息为该像素点的图像值；

该像素点对应的和按以下公式获得：

步骤5：建立插补后深度图像D^I与二维彩色图像CI的映射关系；

即求取D^I中的任一像素点对应的在二维彩色图像CI中的映射匹配点坐标

具体方法为：

步骤a：将像素点对应的三维信息代入如下公式求得u^2D,v^2D：

步骤b：对计算值u^2D,v^2D取整，获得插补后深度图像D^I中的任一像素点在二维彩色图像CI中的映射匹配点p_2D的坐标

自此，对于插补后深度图像D^I中的任一像素点均能获得其对应的三维信息和彩色图像信息其中为二维彩色图像CI中像素点的彩色图像信息，即建立了以下映射关系：

其中3D表示三维信息，color表示彩色图像信息；

所述的由p_2D点对应的彩色图像信息赋值得到，其中，按以下公式计算：

2.根据权利要求1所述的基于复合摄像机的高质量三维彩色图像获取方法，其特征在于，步骤b中的取整是指四舍五入处理。

3.一种基于复合摄像机的高质量三维彩色图像获取装置，其特征在于，将三维摄像机和二维摄像机左右并排固定在基座上，且镜头都对准被摄视场，构成立体摄像机系统；

基于复合摄像机的高质量三维彩色图像获取装置的电气控制模块包括二维摄像机电源模块、三维摄像机电源模块和图像融合匹配控制器；

其中图像融合匹配控制器包括二维摄像机数据接口、三维摄像机数据接口和2D/3D摄像机数据匹配关联模块；

二维摄像机和三维摄像机均与图像融合匹配控制器相连接，二维摄像机电源模块通过电缆与二维摄像机相连接，三维摄像机通过电缆与三维摄像机电源模块相连接；

2D/3D摄像机数据匹配关联模块为基于权利要求1或2所述的基于复合摄像机的高质量三维彩色图像获取方法的计算模块，实现二维彩色图像和三维信息的匹配关联，2D/3D摄像机数据匹配关联模块采用PC处理器或DSP处理器实现。

4.根据权利要求3所述的基于复合摄像机的高质量三维彩色图像获取装置，其特征在于，所述的基座包括主固定板和三维摄像机固定连接板；三维摄像机固定连接板固定在主固定板上；三维摄像机的底部与主固定板的上表面接触，三维摄像机固定连接板由水平板和竖直板对接而成；

二维摄像机通过主固定板上的螺孔固定于主固定板(1)上；

三维摄像机通过主固定板上的螺孔与三维摄像机固定连接板(3)固接；

三维摄像机固定在所述的竖直板上；

主固定板设有用于为三维摄像机散热的散热孔以及三脚架螺孔。

5.根据权利要求4所述的基于复合摄像机的高质量三维彩色图像获取装置，其特征在于，主固定板底部还连接有扩展应用接口板，扩展应用接口板上设有三脚架螺孔和用于连接外部设备的螺孔。