CN101976455A - 一种基于立体匹配的彩色图像三维重建方法 - Google Patents

Abstract

一种基于立体匹配的彩色图像三维重建方法：(1)使用两台彩色摄像机从合适角度同时各拍摄一幅图像；(2)分别对两台摄像机的内、外参数矩阵进行标定；(3)根据标定数据进行对极线校正、图像变换；(4)运用自适应权重窗口算法为校正后的两幅图像中每个像素点计算匹配代价并获取初始视差图；(5)采用匹配代价可信度检测和左右一致性校验标记像素初始匹配结果的可靠度系数；(6)通过Mean-Shift算法对图像彩色分割；(7)以彩色分割和像素可靠度分类结果为基础的具有选择性的置信度传播算法进行全局优化，得到最终的视差图(8)根据标定数据和匹配关系计算图像上实际物点的三维坐标，从而重建出物体的三维点云。

Description

一种基于立体匹配的彩色图像三维重建方法

技术领域

本发明属于双目立体视觉技术领域，涉及到基于立体匹配处理彩色实拍图像的问题，尤其涉及到一种使用自适应权重算法来计算匹配代价和基于图像分割和像素可靠度分类结果的选择性置信度传播算法来获取像素点匹配关系以重建目标物三维点云的方法。

背景技术

双目立体视觉技术是一种被动式的三维测量方法，其实现方式灵活、对环境要求低、人机交互友好，是三维重建算法中比较流行的一种技术。双目立体视觉旨在模拟人类双眼识别场景三维信息的机理，从两个角度获取场景的二维图像，再根据建立图像之间的匹配关系重建三维模型，主要包括摄像机标定，图像对匹配，三维信息还原等主要过程。建立两幅图像像素点对应关系的过程就是立体匹配的过程，它是双目立体视觉技术的核心。

立体匹配的主要任务是得到光滑逼真的稠密视差图，立体匹配算法主要分为局部算法和全局算法，局部算法利用像素点的邻域信息进行匹配，计算复杂度较低，但匹配精度不高，特别在低纹理、视差不连续区域容易产生错误。全局算法将平滑性代价加入匹配代价的计算中，使匹配转化为能量函数的全局最优过程，主要有图割算法，置信度传播算法和动态规划算法。其中动态规划算法计算复杂度最低，速度最快，但容易产生条状瑕疵问题，置信度传播算法和图割算法匹配精度较高，计算得到的视差图在边缘区域和深度不连续区域的效果较好，相对而言，图割算法耗时久，实时性能有待改善。

现有的基于双目立体视觉的三维重建算法存在以下几个方面的缺点：

(1)构建合适的邻域窗口是局部算法的关键，窗口太小，则无法包含待匹配像素点足够的邻域信息，窗口太大，则匹配代价的计算中将包含不具有指导意义的邻域信息，这些都会导致错误匹配的产生。

(2)全局算法中计算复杂度相对较低的动态规划算法将全局能量优化局限

于一维的扫描线内，丢失了其他方向的光滑性约束，图割算法耗时较久，很难满足实拍图像三维重建的实时性要求，置信度传播算法不加选择地在邻域像素之间传播置信度，而在视差不连续区域邻域像素之间可能不满足视差连续性约束，结果导致重建点云边界不清晰。

由于存在以上缺点，现有的基于立体匹配的三维重建算法在实际应用中并不能得到令人满意的结果。

发明内容

本发明的目的是提供一种基于立体匹配的彩色图像三维重建方法，能够准确快速自动重建图像三维点云。

本发明采用的技术方案是：首先采集两幅彩色实拍图像，进行摄像机标定，根据标定数据进行对极线校正和图像变换，通过初始匹配计算匹配代价和初始视差图，利用匹配代价可信度检测和左右一致性校验将初始匹配结果按照可靠度分类，然后对校正后的左图像进行彩色分割，再以具有选择性的置信度传播算法进行全局优化得到最终视差图，最后利用标定数据和匹配结果重建三维点云并显示。

本发明的方法具体包括以下几个步骤：

步骤1：图像获取

使用两台彩色摄像机同时从相差不大的两个角度对同一个场景拍摄两幅图像，其中左边的摄像机拍摄的为原始左图像，右边的摄像机拍摄的为原始右图像；

步骤2：摄像机标定

分别对两台摄像机进行标定，建立摄像机图像像素位置与场景位置之间的关系，获得左边的摄像机的内参数矩阵A_L、右边的摄像机的内参数矩阵A_R和左边的摄像机的外参数矩阵[R_L t_L]、右边的摄像机的外参数矩阵[R_R t_R]；

步骤3：图像对极线校正

根据步骤2得到的摄像机内外参数运用极线校正方法对所拍摄的左右图像进行极线校正得到平行式双目视觉模型，使匹配像素对具有相同的纵坐标，校正后的左图像和右图像分别记为I_l和I_r；

步骤4：初始匹配：

步骤4.1：确定候选视差范围D：

D＝(d_min，d_max)，

其中d_min为最小视差，d_min＝0，d_max为最大视差，通过标记基准图像和配准图像之间的匹配像素点对求得：

随机选取基准图像中的十个像素点{pl1，pl2，pl3，…，pl10}，在配准图像中分别寻找与{pl1，pl2，pl3，…，pl10}具有相同纵坐标和相近颜色信息的十个估算匹配像素点{pr1，pr2，pr3，…，pr10}，于是得到十组估算匹配像素对{(pl1，pr1)，(pl2，pr2)，(pl3，pr3)，…，(pl10，pr10)}，对每一组匹配像素对计算两像素的横坐标之差的绝对值得到一组视差值{d1，d2，d3，…，d10}，最大视差d_max＝max{d1，d2，...，d10}+5；

步骤4.2：自适应权重窗口算法

以校正后的左图像I_l为基准图像，以校正后的右图像I_r为配准图像，采用自适应权重窗口方法对基准图像中的每一个像素点计算匹配代价并得到初始左视差图，然后，以校正后的右图像I_r为基准图像，以校正后的左图像I_l为配准图像，采用自适应权重窗口方法对基准图像中的每一个像素点计算匹配代价并得到初始右视差图，所述的自适应权重窗口方法为：

步骤4.2.1：权重系数计算

首先将基准图像记为I₁，配准图像记为I₂，然后利用颜色和空间信息对两幅图像中每个像素点计算邻域窗口内所有像素的权重系数E_pq：

$E_{\mathrm{pq}}=e^{-(\mathrm{\α\Δpq}+\mathrm{\β}{\left|\right|p-q\left|\right|}_2)},$

其中p是基准图像或配准图像中的像素点，q为以像素p中心、大小为n×n的邻域窗口内的任一像素点，n＝35，Δpq表示在RGB空间下像素p和q之间的颜色差异，||p-q||₂是两像素之前的欧氏距离，α和β为常系数，α＝0.1，β＝0.047；

步骤4.2.2：匹配代价计算

在水平极线约束下，对基准图像中的每个像素计算候选视差范围内所有视差值对应的匹配代价C(p₁，d)：

$C(p_1,d)=\frac{\underset{(q_1,q_2)\∈W_{p_1}\×W_{p_2}}{\mathrm{\Σ}}{E}_{p_1{q}_1}\×E_{p_2{q}_2}\×S(q_1,q_2)}{\underset{(q_1,q_2)\∈W_{p_1}\×W_{p_2}}{\mathrm{\Σ}}{E}_{p_1{q}_1}\×E_{p_2{q}_2}},$

其中p₁为基准图像中任一像素点，p₁的坐标为

d为候选视差范围D内的任一视差值，像素p₂为p₁在配准图像中对应于视差d的候选匹配像素点，当基准图像为左图像时，p₂的坐标是当基准图像为右图像时，p₂的坐标是

分别表示以像素点p₁，p₂为中心、大小为n×n的邻域窗口，像素q₁为窗口

内的任一邻域像素点，坐标为

像素q₂为窗口

内的与q₁对应的像素点，，当基准图像为左图像时，q₂的坐标是

基准图像为右图像时，q₂的坐标是

和为根据步骤4.2.1求得的权重系数，S(q₁，q₂)为对应像素对(q₁，q₂)的差异度；

步骤4.2.3：计算初始视差值

对每个像素计算匹配代价最小的视差值d⁰(p₁)：

其中p₁为基准图像中的任一像素点，D为候选视差范围，d_min和d_max为最小视差和最大视差，C(p₁，d)是根据步骤4.2.1计算得到的匹配代价；匹配代价最小的视差值d⁰(p₁)为像素p₁的初始匹配视差结果；

步骤4.2.4：建立初始视差图像

建立初始视差图像D⁰：D⁰(i，j)＝d⁰(p_ij)，其中i和j分别为视差图像像素点的横坐标和纵坐标，p_ij是基准图像中坐标为(i，j)的像素点，d⁰(p_ij)为步骤4.2.3中计算得到的p_ij的初始匹配视差结果；

如果基准图像为左图像I_l，将初始视差图D⁰赋值给初始左视差图D_l ⁰，如果基准图像为右图像I_r，将初始视差图D⁰赋值给初始右视差图D_r ⁰；

步骤5：像素可靠度标记：

步骤5.1：匹配代价可信度检验

将左图像I_l所有像素按照匹配代价可信度分类，可信度较高的集合记为M_hc，可信度较低的集合为记为M_lc：左图像I_l中的任一像素p_l匹配代价可信度为r(p_l)：

C_min1为p_l初始匹配视差结果对应的匹配代价，即最小匹配代价值，而C_min2为p_l的第二小的匹配代价，然后设定阈值dist，当r(p_l1)＞dist时，p_l的匹配结果可信度为较高，p_l∈M_hc，否则可信度为较低，p_l∈M_lc，其中阈值dist取0.04；

步骤5.2：左右一致性校验

对于左图像中的任一像素p_l，坐标为

p_l的初始视差结果

在右图像中对应的匹配像素p_r的坐标为

根据步骤4得到的初始右视差图像D_r ⁰得到像素p_r的初始视差结果

如果d₁＝d₂，则像素p_l通过左右一致性校验，记为p_l∈M_ac，否则，像素p_l未通过左右一致性校验，记为p_l∈M_bc，其中M_ac和M_bc分别为通过左右一致性校验的集合和未通过左右一致性校验的集合；

步骤5.3：像素可靠度系数标记

根据步骤5.1和5.2的结果对左图像中每个像素标记可靠度系数Con(p_l)：

$\mathrm{Con}\left(p_l\right)=\left\{\begin{array}{ccc}4,& \mathrm{if}& p_l\∈M_{\mathrm{hc}}\∩M_{\mathrm{ac}}\\ 3,& \mathrm{if}& p_l\∈M_{\mathrm{lc}}\∩M_{\mathrm{ac}}\\ 2,& \mathrm{if}& p_l\∈M_{\mathrm{hc}}\∩M_{\mathrm{bc}}\\ 1,& \mathrm{if}& p_l\∈M_{\mathrm{lc}}\∩M_{\mathrm{bc}}\end{array}\right.$

其中p_l为左图像中的任一像素，Con(p_l)为p_l的可靠度系数；

步骤6：图像分割：

用Mean-Shift算法对左图像进行分割，对每个像素标记所属的分割区域S(p_l)，其中p_l为左图像中任一像素，S(p_l)为像素p_l所属的区域标号；

步骤7：全局优化

步骤7.1：像素平滑代价计算

计算左图像中每个像素与该像素的上下左右四个邻域像素之间的相对于视察范围D内所有视差值的平滑代价J(p_l，q_l，d_p，d_q)：

J(p_l，q_l，d_p，d_q)＝min{|d_p-d_q|，|d_max-d_min|/8}，

其中p_l为左图像中的任一像素，q_l为像素p_l的任一四邻域像素，d_p和d_q分别为像素p_l和q_l的在视差范围D内的任一视差，d_max和d_min为最大视差和最小视差；

步骤7.2：计算像素节点的置信度消息

迭代计算置信度消息，t为迭代的次数，初始值为0，当t＝50时停止迭代，每一次迭代的计算过程为：

t次迭代时，对左图像中每个像素节点计算下一次迭代时该像素向四邻域像素传播的，相对于视差范围D内每一个视差值的置信度消息

${M_{p_l{q}_l}}^t\left(d\right)=\underset{d_x\∈D}{\min }(C(p_l,d)+\underset{q_s\∈N_1\left(p_l\right)\backslash q_l}{\mathrm{\Σ}}{M_{q_s{p}_l}}^{t-1}\left(d_x\right)+J(p_l,q_l,{d,d}_x)),$

其中p_l为左图像中任一像素，q_l为像素p_l的任意一个四邻域像素，D为步骤4.1中定义的视差范围，d为D内的任一视差值，C(p_l，d)为步骤4.2.2中计算得到的匹配代价，d_x为视差范围D内的任一视差值，J(p_l，q_l，d，d_x)为步骤7.1求得的平滑代价，

为t-1次迭代求得的从像素q_s向p_l传播的视差为d_x的置信度消息，t＝1时

为0，d_x为视差范围D内的任一视差值，q_s为像素p_l的选择性邻域N₁(p_l)内、不同于像素q_l的任一像素，所述的选择性邻域N₁(p_l)为：

N₁(p_l)＝{q_f|q_f∈N(p_l)，Con(q_f)≥Con(p_l)and S(q_f)＝S(p_l)}，

式中N₁(p_l)为像素p_l的上下左右四邻域，Con(q_f)和Con(p_l)为步骤5.3中标记的可靠度系数，S(q_f)和S(p_l)为步骤6中求得的像素q_f和p_l所属的分割区域标号；

步骤7.3：计算左图像中每个像素点相对于所有可能视差的置信度b(p_l，d)：

其中p_l为左图像中的任一像素，d为D内的任一视差值，C(p_l，d)为步骤4.2.2得到的匹配代价，

为第50次迭代计算得到的从像素p_s向p_l传播的视差为d的置信度消息，p_s为N₁(p_l)内的任一像素，N₁(p_l)为步骤7.2中定义的p_l的选择性邻域；

步骤7.4：计算视差图像

根据每个像素的置信度计算最优视差值d(p_l)：

$d\left(p_l\right)=\underset{d\∈D}{\arg \min }b(p_l,d),$

其中p_l为左图像中的任一像素，b(p_l，d)为步骤7.3计算得到的置信度，D为视差范围，d为视察范围D内的任一视差值；

根据左图像中每个像素的最优视差建立最终视差图像D^out：D^out(x，y)＝d(p_xy)，其中x和y分别为视差图像D^out像素点的横坐标和纵坐标，p_xy是基准图像中坐标为(x，y)的像素点，d(p_xy)为p_xy的最优视差值；

步骤8：重建目标物的三维信息

根据步骤2得到的摄像机内外参数矩阵A_L、A_R和[R_L t_L]、[R_R t_R]，以及步骤7得到的视差图D^out，通过空间交汇法计算得到整个目标物的三维点云模型。有益效果：与现有技术相比，本发明具有下面的优点：自适应权重窗口算法根据邻域像素的空间和颜色信息计算其相对于待匹配像素的权重，避免了局部算法固有的较困难的自适应窗口构建过程；传统置信度算法在所有相邻像素之间传播置信度消息，由于部分相邻像素之间不满足视差连续性约束以及某些像素的初始匹配结果不具有指导意义，传统置信度算法中存在不合理的传播路径，导致匹配准确度不高、优化速度慢等问题，本发明利用彩色图像分割和像素可靠度分类结果来指导置信度消息传播的范围和方向，这种具有选择性的置信度传播算法切断了传统置信度算法中不合理的部分，使得全局能量优化的路径得到优化，计算复杂度降低且更具针对性，在迭代优化的过程中低可靠度像素的匹配结果不断得到修正，最终得到匹配精度较高的视差图。本发明充分结合了局部最优算法和全局最优算法的优点，将二者结合到一起，克服了现有三维重建技术在重建准确度和重建速度之间的矛盾，并且提高了重建过程的自动化程度。

附图说明

图1是本发明完整流程图。

图2是本发明步骤4初始匹配中采用的自适应权重窗口匹配算法的流程图。

图3是本发明步骤5像素可靠度标记算法的流程图。

图4是本发明步骤7中采用的具有选择性的置信度传播算法流程图。

图5系统模型及原理示意图。

图6极线校正示意图。

图7自适应权重窗口示意图。

图8对应像素差异度计算示意图。

图9像素可靠度分类示意图。

图10传统置信度传播算法传播路径示意图。

图11基于像素可靠度分类的置信度传播路径示意图。

图12基于图像分割结果的置信度传播路径示意图。

图13由匹配关系和标定数据计算图片上物点的空间三维坐标示意图。

具体实施方式

下面参照附图，对本发明具体实施方案做更为详细的描述。编程实现工具选用Visual C++6.0和OpenCV图像处理函数库，室内环境中拍摄了两幅含有较多视差不连续和低纹理区域的彩色图像。

图1为本发明的完整流程图

图5为本发明的系统模型及原理示意图。使用两个彩色CCD分别从两个不同角度同时拍摄一幅彩色图像，O_L、O_R分别为两台摄像机的光心，I_L、I_R分别为两台摄像机的成像平面，P为待重构的目标物上的一个空间物点，P_L，P_R为物点P分别在两台摄像机成像平面上所成的像点。这种由同一空间物点在不同摄像机成像平面上所成的像点为一对匹配点。任取其中一幅为基准图像，另一幅为配准图像，为基准图像中的每个像素点在对准图像中搜索对应的匹配点的过程称为立体匹配。得到像素点的匹配关系后，根据系统模型，结合标定得到的摄像机内外参数，进行逆向运算，就可得到对应物点的空间三维坐标，从而实现图像的三维重构。

图6为极线校正示意图。对于左图中像素点p_l，匹配像素p_r的搜索只需在右图中对应于p_l的极线上进行，而平行立体视觉模型的所有极线均平行于光心的连线O_lO_r，则立体图像对只有水平位移，在此情况下可以进一步的减少搜索难度，对应点的搜索仅仅沿同一行搜索即可。但在实际中，这种标准模型很难满足，成像平面不在同一个平面上，可以通过极线校正使成像平面旋转，从而得到两个虚拟平行的成像平面。通过绕光心旋转初始的投影矩阵直到两个焦平面共面，基线也包含在焦平面内，从而得到两个新的投影矩阵。这样极点就位于无穷远处；因此极线是平行的。为了同时使得极线是水平的，基线必须平行于两个相机的新的X轴方向。另外，为了得到正确的校正，共轭点对必须具有相同的纵坐标，这可以通过让新的相机配置拥有相同的内参数得到。

本发明的方法具体包括以下几个步骤：

步骤1：图像获取

使用两台彩色摄像机同时从相差不大的两个角度对同一个场景拍摄两幅图像，其中左边的摄像机拍摄的为原始左图像，右边的摄像机拍摄的为原始右图像；

步骤2：摄像机标定

分别对两台摄像机进行标定，建立摄像机图像像素位置与场景位置之间的关系，获得左边的摄像机的内参数矩阵A_L、右边的摄像机的内参数矩阵A_R和左边的摄像机的外参数矩阵[R_L t_L]、右边的摄像机的外参数矩阵[R_R t_R]；

摄像机标定技术现在已经比较成熟，参考文献“A Flexible New Technique for Camera Calibration”(Zhang Z Y，IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，20(11)：1330-1334)提出了一种称为平面模板法的标定算法，本发明中采用这种方法分别对两台摄像机进行标定；

步骤3：图像对极线校正

根据步骤2得到的摄像机内外参数运用极线校正方法对所拍摄的左右图像进行极线校正得到平行式双目视觉模型，使匹配像素对具有相同的纵坐标，校正后的左图像和右图像分别记为I_l和I_r；

采用参考文献“A compact algorithm for rectification of stereo pairs.Machine Vision and Applications”(Fusiello A，Trucco E，Verri A.2000，12(1)：16-22)中的提出的极线校正方法对所拍摄的左右图像进行对极线校正，如图6所示，如果变换后图像中的像素点坐标对应到原始图像中的非整数坐标上时，则进行双线性插值，最后得到平行式双目视觉模型，经过校正后的图像无失真，匹配像素对的纵坐标之间的误差小于一个像素，匹配的空间复杂度大大降低。

步骤4：初始匹配：

步骤4.1：确定候选视差范围D：

D＝(d_min，d_max)，

其中d_min为最小视差，d_min＝0，d_max为最大视差，通过标记基准图像和配准图像之间的匹配像素点对求得：

随机选取基准图像中的十个像素点{pl1，pl2，pl3，…，pl10}，在配准图像中分别寻找与{pl1，pl2，pl3，…，pl10}具有相同纵坐标和相近颜色信息的十个估算匹配像素点{pr1，pr2，pr3，…，pr10}，于是得到十组估算匹配像素对{(pl1，pr1)，(pl2，pr2)，(pl3，pr3)，…，(pl10，pr10)}，对每一组匹配像素对计算两像素的横坐标之差的绝对值得到一组视差值{d1，d2，d3，…，d10}，最大视差d_max＝max{d1，d2，...，d10}+5；

步骤4.2：自适应权重窗口算法

以校正后的左图像I_l为基准图像，以校正后的右图像I_r为配准图像，采用自适应权重窗口方法对基准图像中的每一个像素点计算匹配代价并得到初始左视差图，然后，以校正后的右图像I_r为基准图像，以校正后的左图像I_l为配准图像，采用自适应权重窗口方法对基准图像中的每一个像素点计算匹配代价并得到初始右视差图，所述的自适应权重窗口方法为：

步骤4.2.1：权重系数计算

首先将基准图像记为I₁，配准图像记为I₂，然后利用颜色和空间信息对两幅图像中每个像素点计算邻域窗口内所有像素的权重系数E_pq：

$E_{\mathrm{pq}}=e^{-(\mathrm{\α\Δpq}+\mathrm{\β}{\left|\right|p-q\left|\right|}_2)},$

其中p是基准图像或配准图像中的像素点，q为以像素p中心、大小为n×n的邻域窗口内的任一像素点，n＝35，Δpq表示在RGB空间下像素p和q之间的颜色差异，

其中c表示图像的r，g或者b通道，I_c(p)和I_c(q)表示像素p和q在c通道下的颜色分量，||p-q||₂是两像素之前的欧氏距离，α和β为常系数，α＝0.1，β＝0.047；

步骤4.2.2：匹配代价计算

在水平极线约束下，对基准图像中的每个像素计算候选视差范围内所有视差值对应的匹配代价C(p₁，d)：

$C(p_1,d)=\frac{\underset{(q_1,q_2)\∈W_{p_1}\×W_{p_2}}{\mathrm{\Σ}}{E}_{p_1{q}_1}\×E_{p_2{q}_2}\×S(q_1,q_2)}{\underset{(q_1,q_2)\∈W_{p_1}\×W_{p_2}}{\mathrm{\Σ}}{E}_{p_1{q}_1}\×E_{p_2{q}_2}},$

其中p₁为基准图像中任一像素点，p₁的坐标为

d为候选视差范围D内的任一视差值，像素p₂为p₁在配准图像中对应于视差d的候选匹配像素点，当基准图像为左图像时，p₂的坐标是

当基准图像为右图像时，p₂的坐标是

分别表示以像素点p₁，p₂为中心、大小为n×n的邻域窗口，像素q₁为窗口

内的任一邻域像素点，坐标为

像素q₂为窗口

内的与q₁对应的像素点，，当基准图像为左图像时，q₂的坐标是

基准图像为右图像时，q₂的坐标是

和

为根据步骤4.2.1求得的权重系数，S(q₁，q₂)为对应像素对(q₁，q₂)的差异度；

如图8所示，

其中，q_2l为q₂的左邻域像素，坐标为q_2r为q₂的右邻域像素，坐标为

I₂(q₂)、I₂(q_2l)和I₂(q_2r)分别为像素q₂、q_2l和q_2r在配准图像I₂中的RGB三通道分量的平均值，然后定义，

则像素q₁和q₂的差异度为：

S＝max{0，I₁(q₁)-I_max，I_min-I₁(q₁)}，

其中I₁(q₁)为像素q₁在基准图像I₁中的RGB三通道分量的平均值；

步骤4.2.3：计算初始视差值

对每个像素计算匹配代价最小的视差值d⁰(p₁)：

其中p₁为基准图像中的任一像素点，D为候选视差范围，d_min和d_max为最小视差和最大视差，C(p₁，d)是根据步骤4.2.1计算得到的匹配代价；匹配代价最小的视差值d⁰(p₁)为像素p₁的初始匹配视差结果；

步骤4.2.4：建立初始视差图像

建立初始视差图像D⁰：D⁰(i，j)＝d⁰(p_ij)，其中i和j分别为视差图像像素点的横坐标和纵坐标，p_ij是基准图像中坐标为(i，j)的像素点，d⁰(p_ij)为步骤4.2.3中计算得到的p_ij的初始匹配视差结果；

如果基准图像为左图像I_l，将初始视差图D⁰赋值给初始左视差图D_l ⁰，如果基准图像为右图像I_r，将初始视差图D⁰赋值给初始右视差图D_r ⁰；

步骤5：像素可靠度标记：

步骤5.1：匹配代价可信度检验

将左图像I_l所有像素按照匹配代价可信度分类，可信度较高的集合记为M_hc，可信度较低的集合为记为M_lc：左图像I_l中的任一像素p_l匹配代价可信度为r(p_l)：

C_min1为p_l初始匹配视差结果对应的匹配代价，即最小匹配代价值，而C_min2为p_l的第二小的匹配代价，然后设定阈值dist，当r(p_l1)＞dist时，p_l的匹配结果可信度为较高，p_l∈M_hc，否则可信度为较低，p_l∈M_lc，其中阈值dist取0.04；

步骤5.2：左右一致性校验

对于左图像中的任一像素p_l，坐标为

p_l的初始视差结果

在右图像中对应的匹配像素p_r的坐标为

根据步骤4得到的初始右视差图像D_r ⁰得到像素p_r的初始视差结果

如果d₁＝d₂，则像素p_l通过左右一致性校验，记为p_l∈M_ac，否则，像素p_l未通过左右一致性校验，记为p_l∈M_bc，其中M_ac和M_bc分别为通过左右一致性校验的集合和未通过左右一致性校验的集合；

步骤5.3：像素可靠度系数标记

根据步骤5.1和5.2的结果对左图像中每个像素标记可靠度系数Con(p_l)：

$\mathrm{Con}\left(p_l\right)=\left\{\begin{array}{ccc}4,& \mathrm{if}& p_l\∈M_{\mathrm{hc}}\∩M_{\mathrm{ac}}\\ 3,& \mathrm{if}& p_l\∈M_{\mathrm{lc}}\∩M_{\mathrm{ac}}\\ 2,& \mathrm{if}& p_l\∈M_{\mathrm{hc}}\∩M_{\mathrm{bc}}\\ 1,& \mathrm{if}& p_l\∈M_{\mathrm{lc}}\∩M_{\mathrm{bc}}\end{array}\right.$

其中p_l为左图像中的任一像素，Con(p_l)为p_l的可靠度系数；

步骤6：图像分割：

用Mean-Shift算法对左图像进行分割，对每个像素标记所属的分割区域S(p_l)，其中p_l为左图像中任一像素，S(p_l)为像素p_l所属的区域标号；

参数设置为：空间带宽h_s＝7，颜色带宽h_r＝6.5，最小区域大小M＝35；

步骤7：全局优化

传统的置信度传播路径如图10所示，像素p₀从四个邻域像素得到置信度，图中实线箭头表示传播方向，虚线箭头表示上一轮置信度传播的方向。假设像素p₀₁是不可靠的像素，那么在置信度传播过程中，来自p₀₁的信息M_p01p0的可靠度也就相对较低，从而像素p₀的匹配代价计算中加入了不可靠的信息，可能导致错误的匹配结果。针对这个问题，本发明在像素可靠度分类的基础上，改进了传统置信度传播的路径，如图11所示，用四种不同图案表示像素的可靠度，

表示像素的可靠度最高，可靠度系数为4，表示像素可靠度系数为3，

表示像素可靠度系数为2，

表示像素可靠度最低，可靠度系数为1，我们规定在相邻像素之间传播置信度时，若两像素可靠度不等，传播方向由可靠度高的指向可靠度低的；若两像素可靠度相等，采取双向传播的原则。匹配信息从接近于真实视差的可靠网络流向不可靠的网络使得本文的全局优化算法在传播方向上具有了选择性。

视差连续性是置信度传播的前提，如图10所示，像素p₀₂与像素p₀分别位于某物体边缘的两侧并且真实视差相差很大，那么从p₀₂传播而来的置信度对像素p₀将不具有指导意义。然而三维场景中存在许多深度不连续的区域，在这些区域内传播置信度是不适合的。视差跳变的区域往往伴随着颜色的变化，基于这个事实，本发明利用彩色分割信息来约束置信度传播的范围，避免在颜色发生跳变的区域传播置信度，如图12所示，s₁和s₂分别表示两个不同的分割区域，规定在相同分割块内传播置信度，属于不同分割块的两像素之间的传播路径断开。这种受分割信息约束的算法可以有效地减少置信度在视差相差较大的相邻像素之间传播，改善了BP算法在视差不连续区域的匹配性能。

步骤7.1：像素平滑代价计算

计算左图像中每个像素与该像素的上下左右四个邻域像素之间的相对于视察范围D内所有视差值的平滑代价J(p_l，q_l，d_p，d_q)：

J(p_l，q_l，d_p，d_q)＝min{|d_p-d_q|，|d_max-d_min|/8}，

其中p_l为左图像中的任一像素，q_l为像素p_l的任一四邻域像素，d_p和d_q分别为像素p_l和q_l的在视差范围D内的任一视差，d_max和d_min为最大视差和最小视差；

步骤7.2：计算像素节点的置信度消息

迭代计算置信度消息，t为迭代的次数，初始值为0，当t＝50时停止迭代，每一次迭代的计算过程为：

t次迭代时，对左图像中每个像素节点计算下一次迭代时该像素向四邻域像素传播的，相对于视差范围D内每一个视差值的置信度消息

${M_{p_l{q}_l}}^t\left(d\right)=\underset{d_x\∈D}{\min }(C(p_l,d)+\underset{q_s\∈N_1\left(p_l\right)\backslash q_l}{\mathrm{\Σ}}{M_{q_s{p}_l}}^{t-1}\left(d_x\right)+J(p_l,q_l,{d,d}_x)),$

其中p_l为左图像中任一像素，q_l为像素p_l的任意一个四邻域像素，D为步骤4.1中定义的视差范围，d为D内的任一视差值，C(p_l，d)为步骤4.2.2中计算得到的匹配代价，d_x为视差范围D内的任一视差值，J(p_l，q_l，d，d_x)为步骤7.1求得的平滑代价，

为t-1次迭代求得的从像素q_s向p_l传播的视差为d_x的置信度消息，t＝1时

为0，d_x为视差范围D内的任一视差值，q_s为像素p_l的选择性邻域N₁(p_l)内、不同于像素q_l的任一像素，所述的选择性邻域N₁(p_l)为：

N₁(p_l)＝{q_f|q_f∈N(p_l)，Con(q_f)≥Con(p_l)and S(q_f)＝S(p_l)}，

式中N₁(p_l)为像素p_l的上下左右四邻域，Con(q_f)和Con(p_l)为步骤5.3中标记的可靠度系数，S(q_f)和S(p_l)为步骤6中求得的像素q_f和p_l所属的分割区域标号；

步骤7.3：计算左图像中每个像素点相对于所有可能视差的置信度b(p_l，d)：

其中p_l为左图像中的任一像素，d为D内的任一视差值，C(p_l，d)为步骤4.2.2得到的匹配代价，

为第50次迭代计算得到的从像素p_s向p_l传播的视差为d的置信度消息，p_s为N₁(p_l)内的任一像素，N₁(p_l)为步骤7.2中定义的p_l的选择性邻域；

步骤7.4：计算视差图像

根据每个像素的置信度计算最优视差值d(p_l)：

$d\left(p_l\right)=\underset{d\∈D}{\arg \min }b(p_l,d),$

其中p_l为左图像中的任一像素，b(p_l，d)为步骤7.3计算得到的置信度，D为视差范围，d为视察范围D内的任一视差值；

根据左图像中每个像素的最优视差建立最终视差图像D^out：D^out(x，y)＝d(p_xy)，其中x和y分别为视差图像D^out像素点的横坐标和纵坐标，p_xy是基准图像中坐标为(x，y)的像素点，d(p_xy)为p_xy的最优视差值；

步骤8：重建目标物的三维信息

根据步骤2得到的摄像机内外参数矩阵A_L、A_R和[R_L t_L]、[R_R t_R]，以及步骤7得到的视差图D^out，通过空间交汇法计算得到整个目标物的三维点云模型。

图13是空间交汇法的示意图，O_L、O_R分别为两台摄像机的光心，S_L、S_R分别为两台摄像机的成像平面，P_L、P_R为两台摄像机所拍摄图像中的一对匹配点。空间中物点三维坐标和成像平面上像素点坐标之间有下面的关系：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

其中(u，v)表示空间物点在成像平面上所成的像素点的像素坐标，(X_w，Y_w，Z_w)表示物点的空间坐标。它代表了一条经过摄像机光心、成像点、空间物点的直线方程。

左图像中的任一像素p_l在右图中的匹配像素点为p_r，p_r的坐标为

其中

为步骤7.4计算得到的最优视差图像，

为p_l的坐标，因此只要根据匹配点对{p_l，p_r}的坐标就可以计算出经同一物点投射到两个成像平面上一对匹配像素点的两条直线方程，计算两条直线的交点，就可以得到物点的空间三维坐标，由于标定、匹配、运算等各个过程中都存在误差，逆向计算出的两条直线很可能不会正好相交，此时则取其公垂线的中点。

Claims (1)

1.一种基于立体匹配的彩色图像三维重建方法，其特征在于，该重建方法依次含有以下步骤：

步骤1：图像获取

使用两台彩色摄像机同时从相差不大的两个角度对同一个场景拍摄两幅图像，其中左边的摄像机拍摄的为原始左图像，右边的摄像机拍摄的为原始右图像；

步骤2：摄像机标定

分别对两台摄像机进行标定，建立摄像机图像像素位置与场景位置之间的关系，获得左边的摄像机的内参数矩阵A_L、右边的摄像机的内参数矩阵A_R和左边的摄像机的外参数矩阵[R_L t_L]、右边的摄像机的外参数矩阵[R_R t_R]；

步骤3：图像对极线校正

根据步骤2得到的摄像机内外参数运用极线校正方法对所拍摄的左右图像进行极线校正得到平行式双目视觉模型，使匹配像素对具有相同的纵坐标，校正后的左图像和右图像分别记为I_l和I_r；

步骤4：初始匹配：

步骤4.1：确定候选视差范围D：

D＝(d_min，d_max)，

其中d_min为最小视差，d_min＝0，d_max为最大视差，通过标记基准图像和配准图像之间的匹配像素点对求得：

随机选取基准图像中的十个像素点{pl1，pl2，pl3，…，pl10}，在配准图像中分别寻找与{pl1，pl2，pl3，…，pl10}具有相同纵坐标和相近颜色信息的十个估算匹配像素点{pr1，pr2，pr3，…，pr10}，于是得到十组估算匹配像素对{(pl1，pr1)，(pl2，pr2)，(pl3，pr3)，…，(pl10，pr10)}，对每一组匹配像素对计算两像素的横坐标之差的绝对值得到一组视差值{d1，d2，d3，…，d10}，最大视差d_max＝max{d1，d2，...，d10}+5；

步骤4.2：自适应权重窗口算法

以校正后的左图像I_l为基准图像，以校正后的右图像I_r为配准图像，采用自适应权重窗口方法对基准图像中的每一个像素点计算匹配代价并得到初始左视差图，然后，以校正后的右图像I_r为基准图像，以校正后的左图像I_l为配准图像，采用自适应权重窗口方法对基准图像中的每一个像素点计算匹配代价并得到初始右视差图，所述的自适应权重窗口方法为：

步骤4.2.1：权重系数计算

首先将基准图像记为I₁，配准图像记为I₂，然后利用颜色和空间信息对两幅图像中每个像素点计算邻域窗口内所有像素的权重系数E_pq：

$E_{\mathrm{pq}}=e^{-(\mathrm{\α\Δpq}+\mathrm{\β}{\left|\right|p-q\left|\right|}_2)},$

其中p是基准图像或配准图像中的像素点，q为以像素p中心、大小为n×n的邻域窗口内的任一像素点，n＝35，Δpq表示在RGB空间下像素p和q之间的颜色差异，||p-q||₂是两像素之前的欧氏距离，α和β为常系数，α＝0.1，β＝0.047；

步骤4.2.2：匹配代价计算

在水平极线约束下，对基准图像中的每个像素计算候选视差范围内所有视差值对应的匹配代价C(p₁，d)：

$C(p_1,d)=\frac{\underset{(q_1,q_2)\∈W_{p_1}\×W_{p_2}}{\mathrm{\Σ}}{E}_{p_1{q}_1}\×E_{p_2{q}_2}\×S(q_1,q_2)}{\underset{(q_1,q_2)\∈W_{p_1}\×W_{p_2}}{\mathrm{\Σ}}{E}_{p_1{q}_1}\×E_{p_2{q}_2}},$

其中p₁为基准图像中任一像素点，p₁的坐标为

d为候选视差范围D内的任一视差值，像素p₂为p₁在配准图像中对应于视差d的候选匹配像素点，当基准图像为左图像时，p₂的坐标是当基准图像为右图像时，p₂的坐标是

分别表示以像素点p₁，p₂为中心、大小为n×n的邻域窗口，像素q₁为窗口内的任一邻域像素点，坐标为

像素q₂为窗口

内的与q₁对应的像素点，，当基准图像为左图像时，q₂的坐标是

基准图像为右图像时，q₂的坐标是

和

为根据步骤4.2.1求得的权重系数，S(q₁，q₂)为对应像素对(q₁，q₂)的差异度；

步骤4.2.3：计算初始视差值对每个像素计算匹配代价最小的视差值d⁰(p₁)：其中p₁为基准图像中的任一像素点，D为候选视差范围，d_min和d_max为最小视差和最大视差，C(p₁，d)是根据步骤4.2.1计算得到的匹配代价；匹配代价最小的视差值d⁰(p₁)为像素p₁的初始匹配视差结果；

步骤4.2.4：建立初始视差图像

建立初始视差图像D⁰：D⁰(i，j)＝d⁰(p_ij)，其中i和j分别为视差图像像素点的横坐标和纵坐标，p_ij是基准图像中坐标为(i，j)的像素点，d⁰(p_ij)为步骤4.2.3中计算得到的p_ij的初始匹配视差结果；

如果基准图像为左图像I_l，将初始视差图D⁰赋值给初始左视差图D_l ⁰，如果基准图像为右图像I_r，将初始视差图D⁰赋值给初始右视差图D_r ⁰；

步骤5：像素可靠度标记：

步骤5.1：匹配代价可信度检验

将左图像I_l所有像素按照匹配代价可信度分类，可信度较高的集合记为M_hc，可信度较低的集合为记为M_lc：左图像I_l中的任一像素p_l匹配代价可信度为r(p_l)：C_min1为p_l初始匹配视差结果对应的匹配代价，即最小匹配代价值，而C_min2为p_l的第二小的匹配代价，然后设定阈值dist，当r(p_l1)＞dist时，p_l的匹配结果可信度为较高，p_l∈M_hc，否则可信度为较低，p_l∈M_lc，其中阈值dist取0.04；

步骤5.2：左右一致性校验

对于左图像中的任一像素p_l，坐标为

p_l的初始视差结果

在右图像中对应的匹配像素p_r的坐标为

根据步骤4得到的初始右视差图像D_r ⁰得到像素p_r的初始视差结果

如果d₁＝d₂，则像素p_l通过左右一致性校验，记为p_l∈M_ac，否则，像素p_l未通过左右一致性校验，记为p_l∈M_bc，其中M_ac和M_bc分别为通过左右一致性校验的集合和未通过左右一致性校验的集合；

步骤5.3：像素可靠度系数标记

根据步骤5.1和5.2的结果对左图像中每个像素标记可靠度系数Con(p_l)：

$\mathrm{Con}\left(p_l\right)=\left\{\begin{array}{ccc}4,& \mathrm{if}& p_l\∈M_{\mathrm{hc}}\∩M_{\mathrm{ac}}\\ 3,& \mathrm{if}& p_l\∈M_{\mathrm{lc}}\∩M_{\mathrm{ac}}\\ 2,& \mathrm{if}& p_l\∈M_{\mathrm{hc}}\∩M_{\mathrm{bc}}\\ 1,& \mathrm{if}& p_l\∈M_{\mathrm{lc}}\∩M_{\mathrm{bc}}\end{array}\right.$

其中p_l为左图像中的任一像素，Con(p_l)为p_l的可靠度系数；

步骤6：图像分割：

用Mean-Shift算法对左图像进行分割，对每个像素标记所属的分割区域S(p_l)，其中p_l为左图像中任一像素，S(p_l)为像素p_l所属的区域标号；

步骤7：全局优化

步骤7.1：像素平滑代价计算

计算左图像中每个像素与该像素的上下左右四个邻域像素之间的相对于视察范围D内所有视差值的平滑代价J(p_l，q_l，d_p，d_q)：

J(p_l，q_l，d_p，d_q)＝min{|d_p-d_q|，|d_max-d_min|/8}，

其中p_l为左图像中的任一像素，q_l为像素p_l的任一四邻域像素，d_p和d_q分别为像素p_l和q_l的在视差范围D内的任一视差，d_max和d_min为最大视差和最小视差；

步骤7.2：计算像素节点的置信度消息

迭代计算置信度消息，t为迭代的次数，初始值为0，当t＝50时停止迭代，每一次迭代的计算过程为：

t次迭代时，对左图像中每个像素节点计算下一次迭代时该像素向四邻域像素传播的，相对于视差范围D内每一个视差值的置信度消息

${M_{p_l{q}_l}}^t\left(d\right)=\underset{d_x\∈D}{\min }(C(p_l,d)+\underset{q_s\∈N_1\left(p_l\right)\backslash q_l}{\mathrm{\Σ}}{M_{q_s{p}_l}}^{t-1}\left(d_x\right)+J(p_l,q_l,{d,d}_x)),$

其中p_l为左图像中任一像素，q_l为像素p_l的任意一个四邻域像素，D为步骤4.1中定义的视差范围，d为D内的任一视差值，C(p_l，d)为步骤4.2.2中计算得到的匹配代价，d_x为视差范围D内的任一视差值，J(p_l，q_l，d，d_x)为步骤7.1求得的平滑代价，

为t^-1次迭代求得的从像素q_s向p_l传播的视差为d_x的置信度消息，t＝1时

为0，d_x为视差范围D内的任一视差值，q_x为像素p_l的选择性邻域N₁(p_l)内、不同于像素q_l的任一像素，所述的选择性邻域N₁(p_l)为：

N₁(p_l)＝{q_f|q_f∈N(p_l)，Con(q_f)≥Con(p_l)and S(q_f)＝S(p_l)}，

式中N₁(p_l)为像素p_l的上下左右四邻域，Con(q_f)和Con(p_l)为步骤5.3中标记的可靠度系数，S(q_f)和S(p_l)为步骤6中求得的像素q_f和p_l所属的分割区域标号；

步骤7.3：计算左图像中每个像素点相对于所有可能视差的置信度b(p_l，d)：

其中p_l为左图像中的任一像素，d为D内的任一视差值，C(p_l，d)为步骤4.2.2得到的匹配代价，为第50次迭代计算得到的从像素p_s向p_l传播的视差为d的置信度消息，p_s为N₁(p_l)内的任一像素，N₁(p_l)为步骤7.2中定义的p_l的选择性邻域；

步骤7.4：计算视差图像

根据每个像素的置信度计算最优视差值d(p_l)：

$d\left(p_l\right)=\underset{d\∈D}{\arg \min }b(p_l,d),$

其中p_l为左图像中的任一像素，b(p_l，d)为步骤7.3计算得到的置信度，D为视差范围，d为视察范围D内的任一视差值；

根据左图像中每个像素的最优视差建立最终视差图像D^out：D^out(x，y)＝d(p_xy)，其中x和y分别为视差图像D^out像素点的横坐标和纵坐标，p_xy是基准图像中坐标为(x，y)的像素点，d(p_xy)为p_xy的最优视差值；

步骤8：重建目标物的三维信息

根据步骤2得到的摄像机内外参数矩阵A_L、A_R和[R_L t_L]、[R_R t_R]，以及步骤7得到的视差图D^out，通过空间交汇法计算得到整个目标物的三维点云模型。

Images