CN104134188A - 一种基于二维和三维摄像机融合的三维视觉信息获取方法 - Google Patents

Abstract

本发明公开了一种基于二维和三维摄像机融合的三维视觉信息获取方法，该方法基于二维摄像机和三维摄像机组成复合摄像机分别对场景同步成像，通过建立三维摄像机深度图像和二维摄像机图像的匹配映射模型，求取三维摄像机深度图像像素点在二维摄像机图像中的匹配映射点和映射区域；对二维摄像机图像中的映射区域进行三角分解，并基于邻接的映射点深度信息建立三角剖分区域的深度曲面插补函数；插补计算三角剖分区域内图像像素点的深度信息，实现高分辨率二维摄像机图像对应深度图像的获取。本发明最大程度保留了二维摄像机图像信息和三维摄像机深度信息，并具有精度高和信息缺失小等优势，可广泛应用于工业视觉测量、视觉装配、机器人视觉导航等领域。

Description

一种基于二维和三维摄像机融合的三维视觉信息获取方法

技术领域

本发明涉及一种基于二维和三维摄像机融合的三维视觉信息获取方法。 

背景技术

近年来，三维摄像机技术获得了飞速进展，出现了微软Kinect、Swiss-ranger的SR3000/4000为代表的三维摄像机，该类设备可同时获取场景目标二维图像和深度图像。但是目前三维摄像机的二维图像普遍存在分辨率低、成像质量差等局限，很难直接利用三维摄像机提供的二维图像进行后续的场景分析和目标识别处理。而目前传统二维摄像机具有成像清晰、分辨率高、畸变小优势，易于获取目标纹理、色彩特征。因此三维摄像机与传统二维摄像机信息具有良好的互补性。 

文献[1]公布了一种基于复合摄像机的高质量三维彩色图像获取方法及装置，可同步获取场景三维信息对应的二维摄像机图像信息。但是该方法存在如下问题：1)由匹配映射模型产生的误差，在插补后的深度图像进行映射投影后，会进一步放大；2)三维摄像机深度图像对应的彩色场景信息，是基于映射点周围图像信息的近似估计，从而造成场景原二维摄像机图像的部分信息缺失，限制了匹配映射二维图像的精度和质量。因此，上述方法一定程度上制约了三维视觉信息的精度和可靠性。 

如何完整保留三维摄像机与传统二维摄像机获取的原始信息，并实现两者的匹配融合，以提高场景目标三维视觉信息的质量和精度，是本领域急需解决的技术问题。 

发明内容

本发明所要解决的技术问题是提供一种基于二维摄像机和三维摄像机融合的三维视觉信息获取方法，该方法将三维摄像机与二维摄像机对同一场景同时获取的成像信息进行融合匹配，具有三维视觉测量信息精度高、场景二维图像信息无缺损等优势。 

一种基于二维和三维摄像机融合的三维视觉信息获取方法，包括以下几个步骤： 

步骤1：对三维摄像机和二维摄像机组成的立体视觉系统进行标定，获取三维摄像机内参数矩阵M_3D、二维摄像机内参数矩阵M_2D、二维摄像机坐标系和三维摄像机坐标系之间的相对三维空间旋转变换矩阵R和空间平移关系变换矩阵T； 

步骤2：建立三维摄像机获得的深度图像DI与二维摄像机获得的二维彩色图像CI的映射模型； 

步骤3：按照步骤2建立的映射模型将深度图像DI映射到二维彩色图像CI中的映射区域中确定待插补区域IR，并对待插补区域IR进行三维信息插补计算，从而实现二维摄像机获 得的图像CI与三维摄像机同步获得的空间信息的融合； 

所述步骤2中的映射模型为以下公式： 

$Z_C^{2D}\left[\begin{array}{c}{u}^{2D}\\ v^{2D}\\ 1\end{array}\right]=Z_C^{3D}{M}_{2D}\left[\begin{array}{cc}{R}^T& T^T\\ 0^T& 1\end{array}\right]M_{3D}^{-1}\left[\begin{array}{c}{u}^{3D}\\ v^{3D}\\ 1\end{array}\right]$

三维摄像机的深度图像DI中任一像素点p^3D(u^3D,v^3D)，根据上述公式求得像素点p^3D(u^3D,v^3D)在二维摄像机获得的二维彩色图像中对应匹配点p^2D的图像坐标值(u^2D,v^2D)，以及该像素点对应的深度信息

为三维摄像机获得的深度图像DI中的任一像素点(u^3D,v^3D)的深度图像值，为M_3D的逆矩阵，R^T为R的转置矩阵，T^T为T的转置矩阵； 

R^T和T^T中的上标T为矩阵转置符号； 

所述步骤3的具体方法为： 

步骤a：获取待插补区域IR； 

按照步骤2建立的映射模型将三维摄像机获取的深度图像DI映射在二维摄像机获取的二维彩色图像CI中的映射点集合P^IR所在的最小矩形区域IR作为待插补区域，即： 

IR＝CI[X_min:X_max,Y_min:Y_max] 

其中，待插补区域IR中的像素点坐标为(u_IR,v_IR)，X_min＝Min[P^IR.u_IR]，X_max＝Max[P^IR.u_IR]，Y_min＝Min[P^IR.v_IR]，Y_max＝Max[P^IR.v_IR]，P^IR为三维摄像机获得的深度图像DI中的像素点在二维摄像机获得的二维彩色图像CI中对应的映射点集合

步骤b：对待插补区域IR进行三角分解； 

从映射点集合P^IR中选取三个相邻且不共线的三个点构成一个三角剖分区域 对待插补区域IR中的存在的所有三角剖分区域，按从左到右、从上到下顺序排序获得三角剖分区域集合K表示待插补区域IR中存在K个三角剖分区域，表示任意一个三角剖分区域； 

步骤c：计算三角剖分区域对应的深度曲面插补函数SF_k； 

其中，C_k(X)＝c₀+c₁u^IR+c₂v^IR，是二元线性多项式；X＝(u^IR,v^IR)为待插补区域IR中的图像像素点；为三角剖分区域的深度插补函数SF_k(X)的插补采样点，分别对应三角剖分区域的三个角点以及分别与三个角点直接邻接的映射点，N为插补样本点数目；λ_j(j＝1,2,…,N)为待求解的加权系数，(x_kj,y_kj)为插值节点 在二维图像中图像坐标值，根据步骤2中的映射公式计算获得；z_kj为插值节点在三维图像中对应匹配图像点的深度信息，||·||为欧式范数，是径向基函数，实现二维空间IR²到一维空间IR的固定映射； 

依据以下的插值约束条件求解深度曲面插补函数SF_k： 

步骤d：计算待插补区域中像素点对应的空间三维信息； 

对于任一三角剖分区域范围内的二维摄像机图像素点其对应的空间三维信息计算如下： 

$X_{u,v}^{2D}=\frac{Z_{u,v}^{2D}(u-u_0^{3D})}{{\mathrm{\α}}_x^{2D}}$

$Y_C^{2D}=\frac{Z_{u,v}^{2D}(v-v_0^{2D})}{{\mathrm{\α}}_y^{2D}}$

即三角剖分区域中的二维摄像机获得的二维图像素点对应的空间三维信息为  $(X_{u,v}^{2D},Y_{u,v}^{2D},Z_{u,v}^{2D}).$

所述径向基函数为

所述M_2D为二维摄像机的内参数矩阵： $M_{2D}=\left[\begin{array}{cccc}{\mathrm{\α}}_x^{2D}& 0& u_0^{2D}& 0\\ 0& {\mathrm{\α}}_y^{2D}& v_0^{2D}& 0\\ 0& 0& 1& 0\end{array}\right];$

M_3D为三维摄像机的内参数矩阵： $M_{3D}=\left[\begin{array}{cccc}{\mathrm{\α}}_x^{3D}& 0& u_0^{3D}& 0\\ 0& {\mathrm{\α}}_y^{3D}& v_0^{3D}& 0\\ 0& 0& 1& 0\end{array}\right];$

R为二维摄像机坐标系和三维摄像机坐标系之间的相对三维空间旋转变换矩阵： 

$R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right];$

T为空间平移关系变换矩阵： $T=\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right];$

其中f^3D为三维摄像机焦距，dx^3D,dy^3D分别表示三维摄像机中每一个像素在X轴和Y轴方向上的物理尺寸；分别表示用像素量纲表示的三维摄像机主点的X轴和Y轴方向坐标值； 

其中f^2D为二维摄像机焦距，dx^2D,dy^2D分别表示二维摄像机中每一个像素在X轴和Y轴方向上的物理尺寸；分别表示用像素量纲表示的二维摄像机主点的X轴和Y轴方向坐标值。 

有益效果 

本发明提出一种基于二维和三维摄像机融合的三维视觉信息获取方法，该方法基于立体摄像机原理，建立二维摄像机和三维摄像机的匹配映射模型，并同时通过融合匹配和插补处理，实现场景二维摄像机图像像素点对应的空间三维信息获取，从而实现空间场景高质量二维图像和对应三维信息的获取。 

本发明获取的三维视觉信息中，二维图像部分为三维摄像机在二维摄像机图像中的投影区域，从而图像质量与二维摄像机图像完全相同；而场景三维信息通过三角分解和曲面插补技术进行计算获取。因此本发明最大程度上保留了二维摄像机成像质量高和三维摄像机空间信息易于获取的优势。与现有方法复合摄像机融合方法对比，本发明获取的三维视觉信息具有精度高、误差小、原传感器数据信息无缺损等优势，有效缓解了当前三维视觉系统分辨率低、成像质量差、可靠性差和误差大等难题。 

本发明在视觉测量等多方面具有显著优势，可根据获取的高质量二维图像提取场景图像特征信息，并根据特征点对应的三维信息进行三维几何参数测量。此外，本发明亦可广泛应用于视觉装配、机器人视觉导航等领域的三维视觉信息获取，提高对场景目标三维测量和识 别的精度和可靠性。 

附图说明

图1为二维摄像机和TOF三维摄像机(SR3000)获取的图像；其中，图(a)为TOF三维摄像机灰度图像，图(b)为TOF三维摄像机三维信息，图(c)为二维摄像机彩色图像； 

图2为基于复合摄像机的高质量三维彩色图像获取方法的流程图； 

图3为二维摄像机和三维摄像机组成的立体视觉系统成像模型示意图； 

图4为三维摄像机深度图像和二维摄像机图像像素点的映射关系示意图； 

图5为二维摄像机图像待插补区域三角剖分区域示意图； 

图6为本发明涉及的原始图像及处理过程中得到的图像，其中，图(a)为三维摄像机SR3000灰度图像；图(b)为二维摄像机获取的场景高质量二维彩色图像；图(c)为三维摄像机SR3000深度信息图；图(d)为三维摄像机深度图像在二维摄像机图像中的映射点和匹配映射区域；图(e)为图(d)中匹配映射区域对应的二维摄像机图像；图(f)为基于本发明算法的匹配映射区域的插补深度图像；图(g)为基于发明算法的匹配映射区域的二维摄像机图像和插补深度图像的三维场景重建效果示意图； 

图7本发明与对比文献[1]测量效果对比图，图(a)基于三维摄像机获取的场景图片及特征点检测图；图(b)基于对比文献[1]获取的场景图像及特征点检测图；图(c)基于本发明[1]获取的场景图像及特征点检测图。 

具体实施方式

以下将结合附图和具体实施例对本发明做进一步详细说明： 

实施例1： 

本发明基于计算机视觉技术，提出一种三维摄像机和二维摄像机的融合匹配方法，可提供空间场景高质量二维图像和对应三维信息的获取。 

如图2所示，本发明公开了一种基于二维和三维摄像机融合的三维视觉信息获取方法。方法基本流程包括：1)基于二维摄像机和三维摄像机组成复合摄像机分别对场景同步成像，通过建立三维摄像机深度图像和二维摄像机图像的匹配映射模型，将三维摄像机深度图像像素点一一映射到二维摄像机图像区域；2)将二维摄像机图像的被映射区域进行分解，构建由以映射点为顶点的若干三角插补区域；3)基于各三角剖分区域顶点和临接顶点的深度信息，基于径向基函数模型构建三角剖分区域关于深度信息的插补曲面函数，从而插补计算三角剖 分区域内二维摄像机图像像素点的深度信息；4)对二维摄像机图像中被映射区域的所有三角剖分区域执行第3)步插补处理，即实现高质量的二维摄像机图像对应深度图像的获取；5)根据二维摄像机成像模型，利用二维摄像机图像像素点对应的深度信息，即可求解获取二维摄像机图像对应的场景三维信息。 

工作过程： 

本发明采用三维摄像机和二维摄像机组成的立体视觉系统，如文献[1]进行实时同步采集同一场景信息；然后将二维摄像机采集的高质量二维彩色图像、三维摄像机采集的二维图像和深度图像，采用所述的二维和三维摄像机融合算法，实现二维彩色图像和深度信息的匹配关联，实时提供场景的高质量彩色图像及其对应的三维信息。 

所述的二维摄像机为定焦摄像机，二维摄像机焦距与三维摄像机焦距参数相同或尽量接近，二维摄像机视野成像范围要求稍大于三维摄像机，保证三维摄像机的成像范围在二维摄像机成像范围内。所述三维摄像机，可同时获取空间场景按的深度图像和二维图像，其中三维摄像机二维图像信息与深度图像信息按像素坐标一一对应。所述两摄像机视野保持尽可能大的比例重合，以充分利用两者信息。 

本发明所述方法涉及的变量定义和术语说明如下： 

如图3所示，左摄像机系统为三维摄像机，其获取的灰度图像表示为GI；右摄像机系统对应于传统二维彩色摄像机，其获取的高质量彩色图像表示为CI。对于三维摄像机和二维摄像机组成的立体视觉系统定义3个三维空间坐标系和2个二维图像坐标系：1)世界坐标系，其选择空间任一点为世界坐标系中心坐标，也称为全局坐标系；2)三维摄像机坐标系是以三维摄像机光心为坐标系中心，以三维摄像机光轴为坐标系Z轴构建的三维空间坐标系；3)二维摄像机坐标系是以二维摄像机光心为坐标系中心，以二维摄像机光轴为坐标系Z轴构建的三维空间坐标系；4)三维摄像机图像坐标系是指对三维摄像机获取的灰度图像和深度图像，以像素为单位，以图像的左上方顶点为坐标原点的二维直角坐标系；5)二维摄像机图像坐标系是指对二维摄像机获取的数字图像，以像素为单位，以图像的左上方顶点为坐标原点的二维直角坐标系。 

(1)对三维摄像机和二维摄像机组成的立体视觉系统进行标定； 

本发明中所述的二维摄像机和三维摄像机均为定焦摄像机，两摄像机相对空间关系保持固定，因此本发明中由二维摄像机和三维摄像机组成特殊的立体视觉系统的内参数和外参数均保持不变，只需进行一次离线标定处理获得该装置的内参数和外参数。 

本发明采用线性摄像机成像模型，采用文献【2】中立体摄像机标定算法，离线标定获取 三维摄像机内参数矩阵M_3D、二维摄像机的内参数矩阵M_2D，以及二维摄像机坐标系和三维摄像机坐标系之间对应的相对空间变换参数：R(三维空间旋转关系变换矩阵)和T(空间平移关系变换矩阵)。 

$M_{3D}=\left[\begin{array}{cccc}{\mathrm{\α}}_x^{3D}& 0& u_0^{3D}& 0\\ 0& {\mathrm{\α}}_y^{3D}& v_0^{3D}& 0\\ 0& 0& 1& 0\end{array}\right],M_{2D}=\left[\begin{array}{cccc}{\mathrm{\α}}_x^{2D}& 0& u_0^{2D}& 0\\ 0& {\mathrm{\α}}_y^{2D}& v_0^{2D}& 0\\ 0& 0& 1& 0\end{array}\right]---\left(1\right)$

$R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right],T=\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right]---\left(2\right)$

其中f^3D为三维摄像机焦距，dx^3D,dy^3D分别表示三维摄像机中每一个像素在X轴和Y轴方向上的物理尺寸；分别表示用像素量纲表示的三维摄像机主点的X轴和Y轴方向坐标值； 

其中f^2D为二维摄像机焦距，dx^2D,dy^2D分别表示二维摄像机中每一个像素在X轴和Y轴方向上的物理尺寸；分别表示用像素量纲表示的二维摄像机主点的X轴和Y轴方向坐标值。 

(2)建立三维摄像机深度图像DI与二维摄像机图像CI的映射关系； 

由三维摄像机和二维摄像机对空间场景同步成像，其中三维摄像机获取的信息包括分辨率为U×V的二维图像GI和深度图像DI，其中三维摄像机二维图像信息与深度图像信息按像素坐标一一对应；二维摄像机同步获取同一空间场景的二维彩色图像CI。 

求取DI中的任一像素点(u^3D,v^3D)对应的在二维彩色图像CI中的映射点坐标(u^2D,v^2D)，具体方法为： 

根据已标定的二维摄像机和三维摄像机组成的立体视觉模型，对于任意空间点P，在三维摄像机坐标系下的坐标与二维摄像机坐标系下的坐标为之间的关系可表示为： 

$\left[\begin{array}{c}{X}_C^{2D}\\ Y_C^{2D}\\ Z_C^{2D}\\ 1\end{array}\right]=\left[\begin{array}{cc}{R}^T& T^T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_C^{3D}\\ Y_C^{3D}\\ Z_C^{3D}\\ 1\end{array}\right]---\left(3\right)$

其中R为二维摄像机坐标系和三维摄像机坐标系之间的相对三维空间旋转变换矩阵，T为空间平移关系变换矩阵。 

对于高精度彩色二维摄像机，根据线性摄像机成像模型，任意空间点P在二维彩色图像CI中投影点p^2D的图像坐标(u^2D,v^2D,1)^T与P点在二维摄像机坐标系下的三维坐标  ${(X_C^{2D},Y_C^{2D},Z_C^{2D},1)}^T$ 关系可表示为： 

$Z_C^{2D}\left[\begin{array}{c}{u}^{2D}\\ v^{2D}\\ 1\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{\α}}_x^{2D}& 0& u_0^{2D}& 0\\ 0& {\mathrm{\α}}_y^{2D}& v_0^{2D}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_C^{2D}\\ Y_C^{2D}\\ Z_C^{2D}\\ 1\end{array}\right]=M_{2D}\left[\begin{array}{c}{X}_C^{2D}\\ Y_C^{2D}\\ Z_C^{2D}\\ 1\end{array}\right]---\left(4\right)$

根据线性摄像机成像模型，空间点P在三维摄像机的二维图像中的投影点p^2D的图像坐标[u^3D,v^3D,1]^T与对应的以三维摄像机坐标系为参考的空间三维信息关系，采用齐次坐标表示如下： 

$Z_C^{3D}\left[\begin{array}{c}{u}^{3D}\\ v^{3D}\\ 1\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{\α}}_x^{3D}& 0& u_0^{3D}& 0\\ 0& {\mathrm{\α}}_y^{3D}& v_0^{3D}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_C^{3D}\\ Y_C^{3D}\\ Z_C^{3D}\\ 1\end{array}\right]=M_{3D}\left[\begin{array}{c}{X}_C^{3D}\\ Y_C^{3D}\\ Z_C^{3D}\\ 1\end{array}\right]---\left(5\right)$

其中，对于三维摄像机深度图像DI中的任一像素点(u^3D,v^3D)，其深度信息为该像素点的深度图像值，即： 

$Z_C^{3D}=\mathrm{DI}(u^{3D},v^{3D})---\left(6\right)$

将公式(3)(4)(5)(6)联立可得: 

$Z_C^{2D}\left[\begin{array}{c}{u}^{2D}\\ v^{2D}\\ 1\end{array}\right]=Z_C^{3D}{M}_{2D}\left[\begin{array}{cc}{R}^T& T^T\\ 0^T& 1\end{array}\right]M_{3D}^{-1}\left[\begin{array}{c}{u}^{3D}\\ v^{3D}\\ 1\end{array}\right]---\left(7\right)$

因此，三维摄像机的深度图像DI中任一像素点p^3D(u^3D,v^3D)，根据公式(7)即可求得其在二维摄像机彩色图像中对应匹配点p^2D的图像坐标值(u^2D,v^2D)，以及该像素点对应的深度信息

(3)二维摄像机图像像素的三维信息插补计算 

如图4所示，为上图三维摄像机深度图像和下图二维摄像机图像像素点的映射关系示意图，由于2D图像和3D相机图像分辨率的差异，图4中上图在下图中投影点必然稀疏分布于2D图像之上。为获取映射区域IR内所有二维图像像素点的三维信息，必需根据邻近投影点的三维信息进行插补处理。其中上图图像中黑色点为三维摄像机二维图像像素点，下图图像中空心圆为二维摄像机图像像素点，黑色点为上图图像中像素点在二维摄像机图像的投影点，五 角星圆为三角插补区域T的顶点邻接点，三角形圆为插补区域T内待插补的二维摄像机图像像素点。 

然而由于两摄像机坐标系映射变换的计算处理、三维摄像机的二维图像和二维彩色图像的分辨率的差异等原因，像素点p^3D(u^3D,v^3D)的映射点p^2D在二维摄像机图像中呈分散稀疏分布，且映射点p^2D的坐标值不一定是整数值，即对应于二维彩色图像中的亚像素点，如图4所示。为获取二维摄像机图像像素点的三维信息，需根据邻近投影点的三维信息进行插补处理。 

如图2所示，2D/3D三维插补处理过程包括5个部分：1)确定三维摄像机深度图像在二维摄像机图像中的映射匹配区域，即待插补区域；2)根据三维摄像机深度图像在二维摄像机图像中的映射点集，对待插补区域进行三角分解获得若干三角剖分区域；3)分别计算三角剖分区域内关于二维图像深度信息的曲面插补函数；4)根据曲面插补函数，插补计算若干三角剖分区域内的二维像素点的深度信息，在此基础上利用二维摄像机成像几何模型，计算像素点对应的空间三维信息。 

1)获取待插补区域IR；计算插补区域IR 

根据上述式(7)对应的匹配映射模型，将三维摄像机深度图像DI中所有像素点分别映射到二维摄像机图像CI上。因此，本发明中定义三维摄像机图像在二维摄像机图像中的映射匹配区域IR(即待插补区域)如下：即在二维摄像机图像CI中包含所有三维摄像机深度图像在二维摄像机图像中映射点集合P^IR的最小矩形区域.IR，即： 

IR＝CI[X_min:X_max,Y_min:Y_max]        (8) 

其中X_min＝Min[P^IR.u_IR],X_max＝Max[P^IR.u_IR],Y_min＝Min[P^IR.v_IR],Y_max＝Max[P^IR.v_IR],P^IR为三维摄像机的深度图像像素点在二维摄像机图像中对应的投影点集合

2)对插补区域IR进行三角分解 

对处于IR区域中的映射点集P^IR，按从左到右、从上到下顺序进行三角剖分区域处理得到若干三角形剖分集合K表示待插补区域IR中存在K个三角剖分区域，表示任意一个三角剖分区域，如图5所示。三角剖分区域表示为其中三个角点要求满足不共线约束。 

3)计算插补区域深度曲面插补函数 

如图4所示，为计算三角剖分区域中包含的任一二维图像像素点CI_(x,y)对应的深度信息 Z_xy，首先需要计算区域对应的深度曲面插补函数SF_k。最简单的插补函数为平面线性函数，即由中三顶点确定插补平面。 

该方法计算简单快速，但是该方法受三角剖分区域角点的测量误差影响很大，且精度较低，对曲面物体不能精确反映其真实三维信息。 

为提高插补函数的可靠性和精确度，本发明采用RBF函数逼近剖分曲面，实现三维空间上深度图像的连续平滑插补处理。如图4所示，插补采样点除三角剖分区域的三个顶点 外，还增加该三个顶点直接邻接的映射点集合，即插补采样点集合为  $(p_{k1}^{\mathrm{IR}},p_{k2}^{\mathrm{IR}},p_{k3}^{\mathrm{IR}},p_{k4}^{\mathrm{IR}},...,p_{k12}^{\mathrm{IR}}).$

定义三角剖分区域表面的深度曲面插补函数SF_k(X)如下： 

其中C_k(X)＝c₀+c₁x+c₂y，是二元线性多项式；X＝(x,y)为待插补区域IR中的图像像素点；N为插补样本点数目，在本发明中插补样本点数目N设为12；其中为三角剖分区域的深度插补函数SF_k(X)的插值节点，即三维摄像机深度图像在二维摄像机图像中的匹配映射点，且为非重复点，其分别对应三角剖分区域的三个角点以及三个角点直接邻接的映射点集合，即插补采样点集合为λ_j(j＝1,2,L,N)为待求解的加权系数，(x_kj,y_kj)为插值节点在二维图像中图像坐标值，利用公式(7)计算获得，z_kj为插值节点在三维图像中对应匹配图像点的深度信息，||·||为欧式范数，是径向基函数，实现二维空间到一维空间的固定映射。 

在本发明中，为保证插补曲面函数在二维空间具有一阶以上的平滑度，选择以下函数作为径向基函数，即： 

对三角剖分区域由于插值节点必满足其对应的深度曲面插补函数SF_k(X)。因此将 带入深度曲面插补函数SF_k(X)，则可得如下插值约束： 

式(11)对应的方程组形式如下： 

其中

求解方程组(12)，即可求得C_k＝(c₀,c₁,c₂)^T，λ＝(λ₁,λ₂,…,λ_N)^T，从而实现三角剖分区域的表面插补函数SF_k(X)的计算。 

4)计算待插补像素点的三维信息 

对于任一三角剖分区域范围内的二维摄像机图像素点其对应的三维信息计算如下。 

基于所在三角剖分区域的表面插补函数，二维摄像机图像素点的空间深度信息Z_u,v计算如下： 

因此，对二维摄像机图像素点将深度信息二维图像像素坐标(u,v)和标定参数M_2D带入公式(4),可求得三维空间X方向坐标和三维空间Y方向坐标

$X_{u,v}^{2D}=\frac{Z_{u,v}^{2D}\left({u-u}_0^{3D}\right)}{{\mathrm{\α}}_x^{2D}},Y_C^{2D}=\frac{Z_{u,v}^{2D}\left({v-v}_0^{2D}\right)}{{\mathrm{\α}}_y^{2D}}---\left(14\right)$

因此，对三角剖分区域中的二维摄像机图像素点实现了其对应的空间三维信息的获取 $(X_{u,v}^{2D},Y_{u,v}^{2D},Z_{u,v}^{2D}).$

对所有三角剖分区域执行上述处理，可得二维摄像机图像CI中的映射匹配区域IR中所有像素点的三维信息，即有效解决了场景高质量二维摄像机图像和及 其三维空间信息的融合难题。 

因此，基于本发明完整保留了二维摄像机、三维摄像机共同成像场景区域内的二维摄像机图像信息和三维摄像机深度信息，并通过基于径向基插补函数的三维曲面插补处理，实现复合摄像机映射匹配区域内场景的二维摄像机图像及其对应的同等分辨率的三维空间信息获取，有效解决了实时二维摄像机和三维摄像机信息的高效融合难题。 

基于本发明算法，对实验场景的三维重建过程与结果如图6所示。 

为进一步验证本发明算法在空间目标三维测量的精确性与先进性，本发明对同一场景中桌子上表面的几何特征参数信息进行了测量对比实验，如图7所示。A、B、C、D分别为桌子上表面的四个角点，图7(a)为直接基于三维摄像机SR3000图像信息的部分特征点检测结果，图7(b)为基于文献[1]插补后的图像信息的部分特征点检测结果，图7(c)为基于本发明获取的图像信息的部分特征点检测结果。对于上述检测出的图像特征点，分别根据其对应的三维空间信息对进行测量各特征点之间的欧式距离，其测量结果及与人工测量值(真实值参考值)的对比如表1所示，表中，括号中的数字表示测量结果与人工测量值之间的绝对误差。根据图7和表1可看出，图7(a)中由于灰度图像质量差，图7(a)中检测角点B点和C点与实际图像位置存在较大误差，从而造成表中三维测量结果精度比较差，图7(b)和(c)较好的实现图像特征点检测，但是本文算法比文献【1】，其误差结果大大降低，具有较高的测量精度和较好的稳定性，验证了本发明的有效性和先进性。 

表1本发明插补后场景1图像及几何特征点三维距离测量结果 

参考文献 

[1]余洪山,赵科,王耀南等.基于复合摄像机的高质量三维彩色图像获取方法及装置.发明专利申请号:201310220879.6.2013年6月 

[2]Camera Calibration Toolbbox for Matlab.http://www.vision.caltech.edu/bouguetj/calib_doc/,2012。 

Claims (3)

1.一种基于二维和三维摄像机融合的三维视觉信息获取方法，其特征在于，包括以下几个步骤：

步骤1：对三维摄像机和二维摄像机组成的立体视觉系统进行标定，获取三维摄像机内参数矩阵M_3D、二维摄像机内参数矩阵M_2D、二维摄像机坐标系和三维摄像机坐标系之间的相对三维空间旋转变换矩阵R和空间平移关系变换矩阵T；

步骤2：建立三维摄像机获得的深度图像DI与二维摄像机获得的二维彩色图像CI的映射模型；

步骤3：按照步骤2建立的映射模型将深度图像DI映射到二维彩色图像CI中的映射区域中确定待插补区域IR，并对待插补区域IR进行三维信息插补计算，从而实现二维摄像机获得的图像CI与三维摄像机同步获得的空间信息的融合；

所述步骤2中的映射模型为以下公式：

$Z_C^{2D}\left[\begin{array}{c}{u}^{2D}\\ v^{2D}\\ 1\end{array}\right]=Z_C^{3D}{M}_{2D}\left[\begin{array}{cc}{R}^T& T^T\\ 0^T& 1\end{array}\right]M_{3D}^{-1}\left[\begin{array}{c}{u}^{3D}\\ v^{3D}\\ 1\end{array}\right]$

三维摄像机的深度图像DI中任一像素点p^3D(u^3D,v^3D)，根据上述公式求得像素点p^3D(u^3D,v^3D)在二维摄像机获得的二维彩色图像中对应匹配点p^2D的图像坐标值(u^2D,v^2D)，以及该像素点对应的深度信息

为三维摄像机获得的深度图像DI中的任一像素点(u^3D,v^3D)的深度图像值，为M_3D的逆矩阵，R^T为R的转置矩阵，T^T为T的转置矩阵；

所述步骤3的具体方法为：

步骤a：获取待插补区域IR；

按照步骤2建立的映射模型将三维摄像机获取的深度图像DI映射在二维摄像机获取的二维彩色图像CI中的映射点集合P^IR所在的最小矩形区域IR作为待插补区域，即：

IR＝CI[X_min:X_max,Y_min:Y_max]

其中，待插补区域IR中的像素点坐标为(u_IR,v_IR)，X_min＝Min[P^IR.u_IR]，X_max＝Max[P^IR.u_IR]，Y_min＝Min[P^IR.v_IR]，Y_max＝Max[P^IR.v_IR]，P^IR为三维摄像机获得的深度图像DI中的像素点在二维摄像机获得的二维彩色图像CI中对应的映射点集合

步骤b：对待插补区域IR进行三角分解；

从映射点集合P^IR中选取三个相邻且不共线的三个点构成一个三角剖分区域对待插补区域IR中的存在的所有三角剖分区域，按从左到右、从上到下顺序排序获得三角剖分区域集合K表示待插补区域IR中存在K个三角剖分区域，表示任意一个三角剖分区域；

步骤c：计算三角剖分区域对应的深度曲面插补函数SFk；

其中，C_k(X)＝c₀+c₁u^IR+c₂v^IR，是二元线性多项式；X＝(u^IR,v^IR)为待插补区域IR中的图像像素点；为三角剖分区域的深度插补函数SF_k(X)的插补采样点，分别对应三角剖分区域的三个角点以及分别与三个角点直接邻接的映射点，N为插补样本点数目；λ_j(j＝1,2,L,N)为待求解的加权系数，(x_kj,y_kj)为插值节点在二维图像中图像坐标值，根据步骤2中的映射公式计算获得；z_kj为插值节点在三维图像中对应匹配图像点的深度信息，||·||为欧式范数，是径向基函数，实现二维空间IR²到一维空间IR的固定映射；

依据以下的插值约束条件求解深度曲面插补函数SF_k：

步骤d：计算待插补区域中像素点对应的空间三维信息；

对于任一三角剖分区域范围内的二维摄像机图像素点其对应的空间三维信息计算如下：

$X_{u,v}^{2D}=\frac{Z_{u,v}^{2D}(u-u_0^{3D})}{{\mathrm{\α}}_x^{2D}}$

$Y_C^{2D}=\frac{Z_{u,v}^{2D}(v-v_0^{2D})}{{\mathrm{\α}}_y^{2D}}$

即三角剖分区域中的二维摄像机获得的二维图像素点对应的空间三维信息为 $(X_{u,v}^{2D},Y_{u,v}^{2D},Z_{u,v}^{2D}).$

2.根据权利要求1所述的基于二维和三维摄像机融合的三维视觉信息获取方法，其特征在于，所述径向基函数为

3.根据权利要求2所述的基于二维和三维摄像机融合的三维视觉信息获取方法，其特征在于，所述M_2D为二维摄像机的内参数矩阵： $M_{2D}=\left[\begin{array}{cccc}{\mathrm{\α}}_x^{2D}& 0& u_0^{2D}& 0\\ 0& {\mathrm{\α}}_y^{2D}& v_0^{2D}& 0\\ 0& 0& 1& 0\end{array}\right];$

M_3D为三维摄像机的内参数矩阵： $M_{3D}=\left[\begin{array}{cccc}{\mathrm{\α}}_x^{3D}& 0& u_0^{3D}& 0\\ 0& {\mathrm{\α}}_y^{3D}& v_0^{3D}& 0\\ 0& 0& 1& 0\end{array}\right];$

R为二维摄像机坐标系和三维摄像机坐标系之间的相对三维空间旋转变换矩阵：

$R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right];$

T为空间平移关系变换矩阵： $T=\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right];$

其中f^3D为三维摄像机焦距，dx^3D,dy^3D分别表示三维摄像机中每一个像素在X轴和Y轴方向上的物理尺寸；分别表示用像素量纲表示的三维摄像机主点的X轴和Y轴方向坐标值；

其中f^2D为二维摄像机焦距，dx^2D,dy^2D分别表示二维摄像机中每一个像素在X轴和Y轴方向上的物理尺寸；分别表示用像素量纲表示的二维摄像机主点的X轴和Y轴方向坐标值。