CN101887589B

CN101887589B - 一种基于立体视觉的实拍低纹理图像重建方法

Info

Publication number: CN101887589B
Application number: CN201010201709XA
Authority: CN
Inventors: 达飞鹏; 邵静
Original assignee: Southeast University
Current assignee: Nantong Ubs Apparel Co ltd; Southeast University
Priority date: 2010-06-13
Filing date: 2010-06-13
Publication date: 2012-05-02
Anticipated expiration: 2030-06-13
Also published as: CN101887589A

Abstract

一种基于双目立体视觉的实拍低纹理图像重构方法，其实现步骤为：(1)使用两台摄像机从两个合适角度同时各拍摄一幅图像，取其中一幅为基准图像，另外一幅为配准图像；(2)分别对两台摄像机的内、外参数矩阵进行标定；(3)根据标定数据进行对极线校正、图像变换及高斯滤波；(4)为矫正后的两幅图像中每一点计算其自适应多边形支撑窗口，计算像素点的匹配度，得到视差空间图；(5)在全图范围内逐像素执行树形动态规划算法来完成稠密匹配；(6)采用左右一致性准则提取错误匹配点，并进行视差校正得到最终视差图；(7)根据标定数据和匹配关系计算图像上实际物点的三维坐标，从而重建出物体的三维点云。

Description

一种基于立体视觉的实拍低纹理图像重建方法

技术领域

本发明属于双目立体视觉技术领域，涉及到基于立体视觉的实拍低纹理图像重建问题，尤其涉及到一种在自适应多边形匹配窗口内引入基于基准图像中像素点的特异性和基准图像和配准图像间像素点对的不相似性计算匹配度及基于树形动态规划算法来获得实拍低纹理图像三维点云的方法。

背景技术

双目立体视觉技术是一种被动式的三维测量技术，要解决的主要任务有：摄像机标定，立体匹配和三维信息恢复。被动式立体视觉技术可以获得稠密的三维点云坐标，无需向被测物体投影光栅等辅助信息，具有人机交互友好，硬件配置要求低，成本便宜及自动化程度较高等优点，是三维重建领域中比较流行的一种技术。立体匹配是立体视觉中最重要的步骤，主要任务是首先通过双目或多目图像匹配得到视差图，然后通过三角测量关系得到物体的景深。根据约束方式的不同匹配方法分为两种：一种是对图像周围小区域进行约束的局部匹配方法，另一种是对扫描线甚至整个图像进行约束的全局匹配方法。局部匹配方法的优点是计算量小速度快，但由于局部寻优，对低纹理及遮挡区域比较敏感，全局匹配方法的优点是正确匹配率较高，主要有动态规划，置信度传播和图割等，但计算量比局部匹配方法大，耗时久，其中动态规划兼具计算效率高，匹配效果较好的特点，利于实拍图像的重建。

现有的基于双目立体视觉的实拍低纹理图像重建算法存在以下几个方面的缺点：

(1)在匹配度的计算中单纯的在长方形或正方形支撑窗口中采用方差和、绝对差和、零均值归一化及自适应权重测度等匹配测度函数计算；支撑窗口过小则不足以包含足够的灰度变化来指导匹配而错误估计视差值；过大则会包含相同不同视差范围内的点使得匹配度达到极值时并不代表正确匹配位置并模糊区域边界信息；而且上述测度函数在低纹理区域可能不足以区分模糊像素点导致多对一的错误匹配；

(2)单纯的采用传统动态规划全局最优算法，传统的动态规划单独扫描每一条扫描线，缺乏水平连续性约束和垂直连续性约束的融合，单点像素的误匹配时会影响同一条扫描线上后续像素的匹配而产生明显的条纹效应；而且对于灰度实拍图像纹理不够充分而且存在噪声的情况下，低纹理及视差跳变区域的待匹配点在正确的匹配上不能捕捉到足够的正确纹理信息就容易导致错误的匹配结果，导致重建点云结果不平滑及边界不清晰。

由于存在以上缺点，现有的实拍低纹理图像重建算法在实际应用中并不能得到令人满意的重建效果。

发明内容

技术问题：本发明的目的是提供一种基于双目立体视觉的实拍低纹理图像重建方法，能够准确快速自动重建低纹理实拍图像三维点云。

技术方案：首先进行摄像机标定，然后采集两幅图像，根据标定数据进行对极线校正和图像变换，然后经过高斯滤波后在灰度信息和空间距离的约束下计算每个像素点的自适应多边形支撑窗口，利用一种基于像素点自身的特异性和像素点间相似性的匹配测度函数计算像素点间的匹配度，增大低纹理区域及重复纹理区域像素间匹配代价的区分度；根据得到的匹配度分别以左右图像为匹配基元采用一种全局意义上的树形动态规划对图像进行逐点匹配，之后在左右一致性准则的基础上运用一种简单有效的视差校正方法消除误匹配得到最终视差图；最后利用标定数据和匹配结果重建出人脸三维点云坐标并显示。

该重建方法依次含有下列步骤：

步骤1：图像获取

使用双目摄像机获取图像，首先调整双目摄像机使其光轴基本平行并使左右镜角度处于合适的位置，然后同时各拍摄一幅图像，其中左镜头拍摄的为左图像，右镜头拍摄的为右图像；

步骤2：摄像机标定

分别对两台摄像机进行标定，获得各自的内参数矩阵A_L、A_R和外参数矩阵[R_L t_L]、[R_R t_R]；

步骤3：对极线几何校正及图像变换

采用步骤2得到的内外参运用极线校正方法对所拍摄的左右图像进行极线校正得到平行式双目视觉模型，使匹配像素对处于同一扫描线上；

步骤4：计算视差空间图，

步骤5：树形动态规划完成稠密匹配：

以像素点p_x，y为基准，用箭头表示一种前驱后继关系，箭头从前驱节点出发指向后继节点；在以y为纵坐标的图像行上从最左边的像素点开始用箭头指向其右边像素点直到p_x，y，从最右边的像素点开始用箭头指向其左边的像素点直到p_x，y，然后在以x为横坐标的图像列上从最上边的像素点开始用箭头指向其下方的像素点直到p_x，y，从最下面的相似度开始用箭头指向其上方的像素点直到p_x，y；这样就构造了以像素点p_x，y为根节点的树，在根节点为p_x，y的树上用传统动态规划算法搜索匹配路径来最优化能量函数

完成图像对像素点的稠密匹配；式中前一项m(p_x，y，d)表示p_x，y视差为d时的匹配度，由步骤4可得到；后一项是节点p_x，y所有子节点的数据累积代价，其中s(·)代表相邻像素点之间的平滑代价，取为相邻像素点p和q的视差d_p和d_q之差的绝对值，即s(d_p，d_q)＝|d_p-d_q|；sub(p_x，y)表示p_x，y所有相邻子节点集合，即四个前驱节点p_x-1，y，p_x，y-1，p_x+1，y，p_x，y+1，则p_x，y的视差值为

步骤6：视差校正

步骤6.1：标记视差不可靠点

分别以左右图像为基准图像计算视差图D_l，D_r，运用左右一致性准则，将满足|d_l(p)-d_r(q)|≤1的点标记为视差可靠点，并使Dispartiy(p)＝(d_l(p)+d_r(q))/2；否则标记为视差不可靠点，并标记Dispartiy(p)＝0；其中p点为基准图像中像素点，q点为配准图像中p点的匹配点，d_l(p)∈D_l为像素点p点的视差值，d_r(q)∈D_r为像素点q的视差，Dispartiy(p)为p点最终视差值；

步骤6.2：填充视差不可靠点

将基准图像中坐标(x，y)的视差不可靠像素点p八邻域的像素点标记为Npi，其中(x_i，y_i)为Npi的图像坐标，

将Npi的灰度值与p点灰度值相减，得到灰度差值，并将灰度差值按从小到大的顺序排序；按照从灰度差值最小的像素到最大的像素的顺序来依次判断是否存在像素Npi满足如下三个条件(1)Npi为视差可靠点；(2)Npi∈W_p，其中W_p为步骤4.1中计算得到的p点自适应多边形支撑窗口；(3)|I_l(x_i，y_i)-I_r(x_i+d，y_i)|≤s，其中I_l(·)，I_r(·)表示基准图像和配准图像中像素点的灰度值，d＝d_l(Npi)为Npi的视差值，s为设定的阈值；

若存在Npi满足上面三个条件则将p点标记为可靠点，并使Dispartiy(p)＝d_l(Npi)；否则将条件(3)替换为|I_l(x，y)-I_l(x+m，y+n)|≤s重新计算，如果存在Npi满足条件则将p标记为视差可靠点并使视差Dispartiy(p)＝d_l(Npi)；其中m，n∈(-1，0，1)，m，n不同时为0；经过此步骤得到最终的视差图；

步骤7：三维信息还原

根据步骤2得到的摄像机内参数矩阵A_L、A_R和外参数矩阵[R_L t_L]、[R_R t_R]，以及步骤6得到的视差图中匹配点对关系，计算得到图像的三维点云坐标。

步骤4的计算视差空间图包括以下四个子步骤，

步骤4.1：对两幅图像进行高斯滤波，消除噪声影响改善图像质量；

步骤4.2：计算自适应多边形匹配窗口

任取两幅图像中一幅为基准图像，另一幅为配准图像，对经过步骤3对极线校正变换后得到的图像，通过公式

计算基准图像中坐标为(x，y)的任意像素点p的八邻域方向步长h(θ_k)，其中

为步长为h_i的像素点与p点的灰度差，

为步长为h_i的像素点与p点的空间距离，当满足式

时，h(θ_k)＝h_i，a为常系数，τ为阈值，h_i∈{1，2，4，6，12，17}，θ_k(k＝0，1，2..7)为八邻域方向；连接p点八邻域步长h(θ_k)的顶点，形成p点的自适应多边形支撑窗口W_p；

4.3：计算匹配度

步骤4.3包括以下三个子步骤：

步骤4.3.1：经过步骤4.2的计算，基准图像中坐标为(x，y)的任意像素点p的自适应多边形支撑窗口为W_p，在配准图像中视差范围D内计算其在对应极线上可能的匹配点q的自适应多边形支撑窗口为W_q；如果基准图像为左图像配准图像为右图像，则q点坐标(x-d，y)，如果基准图像为右图像配准图像为左图像则q点坐标(x+d，y)，其中d∈D，D＝[d_min，d_max]，d_min为最大视差值，d_max为最小视差值；

步骤4.3.2：分别计算像素点p，q的特异性Q(p)，Q(q)，其中

w_p＝{(p+d)|d_min-d_max≤d≤d_max-d_min}；f(·)选取对光照及噪声鲁棒性较强的零均值归一化算子(ZNCC)，支撑窗口的选取大小及形状与W_p和W_q的交集窗口一致；

步骤4.3.3：计算对应像素点p，p的匹配度，记为m(p，d)，

m (p, d) = \frac{Q (p) \times Q (q)}{f (p, q)};

步骤4.4：在基准图像全图范围内重复计算步骤4.1，步骤4.2得到全图像素点在视差范围内的匹配度，得到视差空间图。

步骤5的树形动态规划分为六个步骤来完成：

步骤5.1：构造水平树及垂直树动态规划路径

以所有横坐标为x的像素点为根节点构造树，则图像中所有像素点形成水平树动态规划路径；为所有纵坐标为y的像素点为根节点构造树，则图像中所有像素点形成了垂直树动态规划路径；为简化E(p_x，y，d)的优化过程，将树形动态规划分为水平树动态规划路径和垂直树动态规划路径；

步骤5.2：水平扫描线上动态规划最优能量函数

首先使用传统动态规划算法在每一水平扫描线内单独进行优化得到当p_x，y视差为d时最优匹配能量值C(p_x，y，d)，水平扫描线上每一点的最优能量值C(p_x，y，d)即为分别沿前向路径和后向路径的匹配度累计值，前向路径为图像中每一行从最左边像素延伸到最右边像素的路径，后向路径为图像中每一行从最右边像素延伸到最左边像素的路径；

C(p_x，y，d)＝F(p_x，y，d)+B(p_x，y，d)-m(p_x，y，d)

其中：

F (p_{x, y}, d) = m (p_{x, y}, d) + \min_{i &Element; D} (λs (d, i) + F (p_{x - 1, y}, i))

B (p_{x, y}, d) = m (p_{x, y}, d) + \min_{i &Element; D} (λs (d, i) + B (p_{x + 1, y}, i))

m(p_x，y，d)表示p_x，y视差为d时的匹配度，由步骤4得到，Hsub(p_x，y)表示p_x，y点的水平方向子节点p_x-1，y，p_x+1，y的集合；F(p_x，y，d)为前向路径最优匹配值，B(p_x，y，d)为后向路径最优匹配值，λ为权重系数；

步骤5.3：水平树动态规划最优能量函数

接下来运用所得到的每一行扫描线的最优能量值来优化水平树结构，H(p_x，y，d)为以p_x，y为树的根节点，视差为d时的水平树的最优能量值；由公式

可推得：

H (p_{x, y}, d) = C (p_{x, y}, d) + \underset{q &Element; Vsub (p_{x, y})}{Σ} \min_{i &Element; D} (λs (d, i) + H (q, i))

由上式可看出水平树的能量优化实际上归结为当数据匹配度为步骤5.2中所得水平扫描线上匹配值C(p_x，y，d)时，在p_x，y所在位置的垂直扫描线上进行动态规划，其中Vsub(p_x，y)表示p_x，y点的垂直方向子节点p_x，y-1和p_x，y+1的集合；在以y为纵坐标的垂直扫描线上执行传统动态规划算法即得到水平树最优能量值H(p_x，y，d)；

步骤5.4：垂直树动态规划最优能量函数

同理根据步骤5.2，步骤5.3的方法先计算垂直扫描线上像素的匹配度再在水平扫描线上进行动态规划得到可得到以p_x，y为根节点的垂直树最优路径能量值V(p_x，y，d)；

步骤5.5：得到像素点视差值

首先计算垂直树结构最优路径能量值V(p_x，y，d)，然后将结果传递到水平树结构，使用式

将p_x，y的匹配度m(p_x，y，d)更新为m′(p_x，y，d)来计算水平树上的最优路径能量H(p_x，y，d)，其中ξ为权重系数；如果视差d不是垂直树上所得最优视差，则施加惩罚用以加大匹配代价，差值越大则惩罚越大，这样就可以使水平树上的动态规划路径不经过视差为d的像素点，最终得到p_x，y的视差值

步骤5.6：重复计算全图匹配点对应关系，得到视差图。

有益效果；与现有技术相比，本发明具有下面的优点：自适应多边形支撑窗口利用灰度及空间距离同时约束窗口的大小及形状，包含足够的有效灰度信息的同时防止那些在视差边界变化区域的点的支撑窗口覆盖不同视差范围内的像素，这样既使纹理稀疏的区域能够获得准确的视差，点云更加平滑，又不至于使视差边界产生模糊的过平滑现象。为待匹配点选取了合适的支撑窗口后，计算像素点之间的匹配度时，不仅将不同图中两像素间的相似度作为匹配准则，同时也考虑了同一图像同一区域中像素点之间的差异，认为只有既满足特异性高又满足相似度高的像素点才可能是匹配共轭点，两者的比值增大了匹配度的变化梯度，明显增大了匹配度之间的差异，提高了匹配度的区别能力，结合自适应多边形支撑窗口，对无纹理区域以及重复区域的像素有很好的辨识度，后续的树形动态规划充分利用的整幅图像所有像素点的纹理信息来寻找最优解最小化能量函数，减小了由于匹配错误及误差向后传播而导致条纹产生的可能，提高了低纹理图像的匹配精度。

附图说明

图1本发明完整流程图。

图2系统模型及原理示意图。

图3像素点自适应多边形支撑窗口示意图。

图4对极线校正示意图。

图5树形动态规划候选路径示意图。

图6由匹配关系和标定数据计算图像上物点的空间三维坐标示意图。

具体实施方式

下面参照附图，对本发明具体实施方案做更为详细的描述。编程实现工具选用VC++6.0，室内环境中拍摄了两幅低纹理建筑物图像作为待重构的图像。

图1为本发明的完整流程图。

图2为本发明的系统模型及原理示意图。使用两个CCD分别从两个不同角度同时各拍摄一幅建筑物图像，O_L、O_R分别为两台摄像机的光心，I_L、I_R分别为两台摄像机的成像平面，P为待重构的建筑物上的一个空间物点，P_L，P_R为物点P分别在两台摄像机成像平面上所成的像点。这种由同一空间物点在不同摄像机成像平面上所成的像点为一对匹配点。任取其中一幅为基准图像，另一幅为配准图像，为基准图像中的每个像素点在对准图像中搜索对应的匹配点的过程称为立体匹配。得到像素点的匹配关系后，根据系统模型，结合标定得到的摄像机内外参数，进行逆向运算，就可得到对应物点的空间三维坐标，从而实现图像的三维重构。

图3是像素点自适应多边形支撑窗口示意图。如图3(a)所示，p为基准图像I_l中一个像素点，W_p为以p为中心像素点的一个自适应多边形窗口区域；图3(b)配准图像I_r中，虚线框内区域为p对应的匹配点的视差范围即搜索范围，p的匹配点落在这个范围内，q为搜索范围中的一个像素点，W_q为以q为中心点的自适应多边形匹配窗口区域，图3(c)中虚线区域

为I_l中大小及形状与自适应多边形窗口W_p和W_q的交集窗口一致的窗口；图3(d)中虚线区域

为I_r中大小及形状与自适应多边形窗口W_p和W_q的交集窗口一致的窗口。I_l中像素点p和I_r中与其视差距离为d的像素点q的匹配度m(p，d)定义为下面公式(1)：

m (p, d) = \frac{Q (p) \times Q (q)}{f (p, q)} - - - (1)

其中：

f (p, q) = \frac{\underset{(x_{l}, y_{l}) &Element; \overset{&OverBar;}{W_{p}}, (x_{r}, y_{r}) &Element; \overset{&OverBar;}{W_{q}}}{Σ} [I_{l} (x_{l}, y_{l}) - \overset{&OverBar;}{I_{l}}] [I_{r} (x_{r}, y_{r}) - \overset{&OverBar;}{I_{r}}]}{\sqrt{\underset{(x_{l}, y_{l}) &Element; \overset{&OverBar;}{W_{p}}}{Σ} {[I_{l} (x_{l}, y_{l}) - \overset{&OverBar;}{I_{l}}]}^{2} \underset{(x_{r}, y_{r}) &Element; \overset{&OverBar;}{W_{q}}}{Σ} {[I_{r} (x_{r}, y_{r}) - \overset{&OverBar;}{I_{r}}]}^{2}}}

w_p＝{(p+d)|d_min-d_max≤d≤d_max-d_min}

本发明的方法具体包括以下几个步骤：

步骤1：图像获取

步骤2：摄像机标定

本发明中采用参考文献“A Flexible New Technique for CameraCalibration”(Zhang Z Y，IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，20(11)：1330-1334)中提出的一种称为平面模板法的标定算法分别对两台摄像机进行标定，获得各自的内参数矩阵A_L、A_R和外参数矩阵[R_L t_L]、[R_R t_R]。

步骤3：对极几何校正及图像变换

如图4所示是对极线校正示意图。根据步骤2中标定过程得到的内外参数，采用参考文献“A compact algorithm for rectification of stereo pairs.Machine Vision andApplications”(Fusiello A，Trucco E，Verri A.2000，12(1)：16-22)中的提出的极线校正方法对所拍摄的左右图像进行极线校正，如果变换后图像中的像素点坐标对应到原始图像中的非整数坐标上时，则进行通过灰度双线性插值，最后得到平行式双目视觉模型，使匹配像素对处于同一扫描线上，降低匹配的空间复杂度，经过校正后的图像无失真，校正准确率高，误差小于一个像素。

步骤4：计算视差空间图，包括以下四个子步骤

步骤4.1：对两幅图像进行高斯滤波，消除噪声影响改善图像质量。

步骤4.2：计算自适应多边形匹配窗口

任取两幅图像中一幅为基准图像，另一幅为配准图像，对经过步骤3对极线校正变换后得到的图像，通过公式计算基准图像中坐标为(x，y)的任意像素点p的八邻域方向步长h(θ_k)，其中

为步长为h_i的像素点与p点的灰度差，

为步长为h_i的像素点与p点的空间距离，当满足式

时，h(θ_k)＝h_i，a为常系数，τ为阈值，h_i∈{1，2，4，6，12，17}，θ_k(k＝0，1，2..7)为八邻域方向；连接p点八邻域步长h(θ_k)的顶点，形成p点的自适应多边形支撑窗口W_p。

4.3：计算匹配度

步骤4.3包括以下三个子步骤：

步骤4.3.1：经过步骤4.2的计算，基准图像中坐标为(x，y)的任意像素点p的自适应多边形支撑窗口为W_p，在配准图像中视差范围D内计算其在对应极线上可能的匹配点q的自适应多边形支撑窗口为W_q；如果基准图像为左图像配准图像为右图像，则q点坐标(x-d，y)，如果基准图像为右图像配准图像为左图像则q点坐标(x+d，y)，其中d∈D，D＝[d_min，d_max]，其中d_min为最大视差值，d_max为最小视差值。

步骤4.3.2：分别计算像素点p，q的特异性Q(p)，Q(q)，其中

步骤4.3.3：计算对应像素点p的匹配度，记为m(p，d)，

步骤5：树形动态规划完成稠密匹配：

以像素点p_x，y为基准，用箭头表示一种前驱后继关系，箭头从前驱节点出发指向后继节点；在以y为纵坐标的图像行上从最左边的像素点开始用箭头指向其右边像素点直到p_x，y，从最右边的像素点开始用箭头指向其左边的像素点直到p_x，y，然后在以x为横坐标的图像列上从最上边的像素点开始用箭头指向其下方的像素点直到p_x，y，从最下面的相似度开始用箭头指向其上方的像素点直到p_x，y。这样就构造了以像素点p_x，y为根节点的树，在根节点为p_x，y的树上用传统动态规划算法搜索匹配路径来最优化能量函数

将步骤5的树形动态规划分为六个步骤来完成：

步骤5.1：构造水平树及垂直树动态规划路径

以所有横坐标为x的像素点为根节点构造树，则图像中所有像素点形成水平树动态规划路径，如图5(b)所示；为所有纵坐标为y的像素点为根节点构造树，则图像中所有像素点形成了垂直树动态规划路径，如图5(c)所示；为简化E(p_x，y，d)的优化过程，将树形动态规划分为水平树动态规划路径和垂直树动态规划路径。

步骤5.2：水平扫描线上动态规划最优能量函数

首先使用传统动态规划算法在每一水平扫描线内单独进行优化得到当p_x，y视差为d时最优匹配能量值C(p_x，y，d)，水平扫描线上每一点的最优能量值C(p_x，y，d)即为分别沿前向路径和后向路径的匹配度累计值，如图5(a)所示前向路径为图像中每一行从最左边像素延伸到最右边像素的路径，后向路径为图像中每一行从最右边像素延伸到最左边像素的路径；

C(p_x，y，d)＝F(p_x，y，d)+B(p_x，y，d)-m(p_x，y，d)

其中：

F (p_{x, y}, d) = m (p_{x, y}, d) + \min_{i &Element; D} (λs (d, i) + F (p_{x - 1, y}, i))

B (p_{x, y}, d) = m (p_{x, y}, d) + \min_{i &Element; D} (λs (d, i) + B (p_{x + 1, y}, i))

步骤5.3：水平树动态规划最优能量函数

接下来运用所得到的每一行扫描线的最优能量值来优化水平树结构，H(p_x，y，d)为以p_x，y为树的根节点，视差为d时的水平树的最优能量值；

由公式

可推得：

H (p_{x, y}, d) = C (p_{x, y}, d) + \underset{q &Element; Vsub (p_{x, y})}{Σ} \min_{i &Element; D} (λs (d, i) + H (q, i))

步骤5.4：垂直树动态规划最优能量函数

步骤5.5：得到像素点视差值

步骤5.6：重复计算全图匹配点对应关系，得到视差图；

步骤6：视差校正，分为以下两个子步骤：

步骤6.1：标记视差不可靠点

步骤6.2：填充视差不可靠点

步骤7：三维信息还原

根据步骤2得到的摄像机内参数矩阵A_L、A_R和外参数矩阵[R_L t_L]、[R_R t_R]，以及步骤4和步骤5得到的匹配点对应关系，通过空间交汇法就可以计算出图像上物点的三维坐标。

Z_{c} [\begin{matrix} u_{i} \\ v \\ 1 \end{matrix}] = A [\begin{matrix} R & T \\ 0^{T} & 1 \end{matrix}] [\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \\ 1 \end{matrix}] i = 1,2 - - - (3)

图6是空间交汇法的示意图，空间中任意一点P(X_w，Y_w，Z_w，1)分别与双目摄像机两光心O_L、O_R的所成的直线O_LP，O_RP在成像平面上的交点就是其在图像平面的投影P_L(u₁，v)，P_R(u₂，v)，通过空间点的左右图像坐标根据公式(3)可得到直线O_LP，O_RP的方程，其交点就是P点世界坐标，两条直线如果异面不相交，则取其公垂线的中点。

Claims

1.一种基于立体视觉的实拍低纹理图像重建方法，其特征在于该重建方法依次含有下列步骤：

步骤1：图像获取

步骤2：摄像机标定

步骤3：对极线几何校正及图像变换

采用步骤2得到的内外参数矩阵运用极线校正方法对所拍摄的左右图像进行极线校正得到平行式双目视觉模型，使匹配像素对处于同一扫描线上；

步骤4：计算视差空间图，

步骤5：树形动态规划完成稠密匹配：

以像素点p_x，y为基准，用箭头表示一种前驱后继关系，箭头从前驱节点出发指向后继节点；在以y为纵坐标的图像行上从最左边的像素点开始用箭头指向其右边像素点直到p_x，y，从最右边的像素点开始用箭头指向其左边的像素点直到p_x，y，然后在以x为横坐标的图像列上从最上边的像素点开始用箭头指向其下方的像素点直到p_x，y，从最下面的像素点开始用箭头指向其上方的像素点直到p_x，y；这样就构造了以像素点p_x，y为根节点的树，在根节点为p_x，y的树上用传统动态规划算法搜索匹配路径来最优化能量函数

E (p_{x, y}, d) = m (p_{x, y}, d) + \underset{q &Element; sub (p_{x, y})}{Σ} \min_{i &Element; D} (λs (d, i) + E (q, i))

d∈D，D＝[d_min，d_max]，其中d_min为最大视差值，d_max为最小视差值，λ为权重系数；

步骤6：视差校正

步骤6.1：标记视差不可靠点分别以左右图像为基准图像计算视差图D_l，D_r，运用左右一致性准则，将满足|d_l(p)-d_r(q)|≤1的点标记为视差可靠点，并使Dispartiy(p)＝(d_l(p)+d_r(q))/2；否则标记为视差不可靠点，并标记Dispartiy(p)＝0；其中p点为基准图像中像素点，q点为配准图像中p点的匹配点，d_l(p)∈D_l为像素点p点的视差值，d_r(q)∈D_r为像素点q的视差，Dispartiy(p)为p点最终视差值；

步骤6.2：填充视差不可靠点

将基准图像中坐标(x，y)的视差不可靠像素点p八邻域的像素点标记为Npi，其中(x_i，y_i)为Npi的图像坐标，将Npi的灰度值与p点灰度值相减，得到灰度差值，并将灰度差值按从小到大的顺序排序；按照从灰度差值最小的像素到最大的像素的顺序来依次判断是否存在像素Npi满足如下三个条件(1)Npi为视差可靠点；(2)Npi∈W_p，其中W_p为步骤4.2中计算得到的p点自适应多边形支撑窗口；(3)|I_l(x_i，y_i)-I_r(x_i+d，y_i)|≤s，其中I_l(·)，I_r(·)表示基准图像和配准图像中像素点的灰度值，d＝d_l(Npi)为Npi的视差值，s为设定的阈值；

步骤7：三维信息还原

根据步骤2得到的摄像机内参数矩阵A_L、A_R和外参数矩阵[R_L t_L]、[R_R t_R]，以及步骤6得到的视差图中匹配点对关系，计算得到图像的三维点云坐标；

步骤4的计算视差空间图包括以下四个子步骤：

步骤4.2：计算自适应多边形匹配窗口

为步长为h_i的像素点与p点的灰度差，

为步长为h_i的像素点与p点的空间距离，当满足式

时，h(θ_k)＝h_i，a为常系数，τ为阈值，h_i∈{1，2，4，6，12，17}，θ_k为八邻域方向，其中：k＝0，1，2…7；连接p点八邻域步长h(θ_k)的顶点，形成p点的自适应多边形支撑窗口W_p；

4.3：计算匹配度

步骤4.3包括以下三个子步骤：

步骤4.3.1：经过步骤4.2的计算，基准图像中坐标为(x，y)的任意像素点p的自适应多边形支撑窗口为W_p，在配准图像中视差范围D内计算其在对应极线上可能的匹配点q的自适应多边形支撑窗口为W_q；如果基准图像为左图像配准图像为右图像，则q点坐标(x-d，y)，如果基准图像为右图像配准图像为左图像则q点坐标(x+d，y)，其中d ∈D，D＝[d_min，d_max]，d_min为最大视差值，d_max为最小视差值；

步骤4.3.2：分别计算像素点p，q的特异性Q(p)，Q(q)，其中

w_p＝{(p+d)|d_min-d_max≤d≤d_max-d_min}；f(·)选取对光照及噪声鲁棒性较强的零均值归一化算子，支撑窗口的选取大小及形状与W_p和W_q的交集窗口一致；

步骤4.3.3：计算对应像素点p的匹配度，记为m(p，d)，

m (p, d) = \frac{Q (p) \times Q (q)}{f (p, q)};

2.根据权利要求1所述的基于立体视觉的实拍低纹理图像重建方法，其特征在于步骤5的树形动态规划分为六个步骤来完成：

步骤5.1：构造水平树及垂直树动态规划路径

步骤5.2：水平扫描线上动态规划最优能量函数

C (p_{x, y}, d) = m (p_{x, y}, d) + \underset{q &Element; Hsub (p_{x, y})}{Σ} \min_{i &Element; D} (λs (d, i) + C (q, i))

C(p_x，y，d)＝F(p_x，y，d)+B(p_x，y，d)-m(p_x，y，d)

其中：

F (p_{x, y}, d) = m (p_{x, y}, d) + \min_{i &Element; D} (λs (d, i) + F (p_{x - 1, y}, i))

B (p_{x, y}, d) = m (p_{x, y}, d) + \min_{i &Element; D} (λs (d, i) + B (p_{x + 1, y}, i))

步骤5.3：水平树动态规划最优能量函数

H (p_{x, y}, d) = m (p_{x, y}, d) + \underset{q &Element; sub (p_{x, y})}{Σ} \min_{i &Element; D} (λs (d, i) + H (q, i))

可推得：

H (p_{x, y}, d) = C (p_{x, y}, d) + \underset{q &Element; Vsub (p_{x, y})}{Σ} \min_{i &Element; D} (λs (d, i) + H (q, i))

步骤5.4：垂直树动态规划最优能量函数

步骤5.5：得到像素点视差值

m^{'} (p_{x, y}, d) = m (p_{x, y}, d) + ξ \cdot (V (p_{x, y}, d) - \min_{i &Element; D} V (p_{x, y}, i))

步骤5.6：重复计算全图匹配点对应关系，得到视差图。