CN103065351A - 一种双目三维重建的方法 - Google Patents

Abstract

一种双目三维重建的方法，包括以下步骤：步骤A：采集图像：使用两台型号相同彩色摄像机水平平行放置，使目标物体置于两台摄像机采集范围之内，其中左摄像机采集的图像为原始左图像，右摄像机采集的图像为原始又图像；步骤B：相机的标定和图像校正和预处理：采用棋盘法标定获得两台摄像机的内外参数，然后对原始左右图像进行校正，再对图像进行预处理；步骤C：分层匹配：根据图像特征线的强弱对图像进行分层特征提取和匹配；步骤D:三维重建：完成达到要求精度的分层后，根据视差原理将获取的两幅图像的匹配信息计算目标物体的三维信息，采用平面插值的方法，完成三维重建。具有算法复杂度低和能非常好地实现三维重建等优点。

Description

一种双目三维重建的方法

技术领域

本发明涉及一种机器视觉和图像匹配技术，特别涉及一种双目三维重建的方法。

背景技术

双目三维重建是机器视觉中一个非常重要的研究领域，广泛应用于医学整容，智能识别，考古，计算三维动画等方面。双目三维重建包括图像采集，摄像机标定，图像校正，图像特征提取和匹配，三维重建等过程。而图像特征提取和匹配是整个双目三维重建过程最为核心的部分也是难点所在。目前大多数的图像特征提取和匹配算法存在一个矛盾：当提取的特征量足够多时，图像的匹配误差率将大大提高，最典型的如图像边缘提取，提取的边缘点或者线性足够多，但是却很难找到一种很好的匹配方法；而当匹配准确度很高的时候，往往提取的的特征量是很稀疏的，不能满足三维重建的要求，典型的如sift点的提取和匹配，sift是Lowe提出的一种采用多尺度高斯差分图像检测关键点的方法，其中每个关键点的位置和尺度对应于一个局部稳定的区域，每个特征点都有与之对应的特征向量，匹配准确率高，但是其特征点的数量有限，很难达到三维重建的要求。所以一种既能够提取图像足够多的特征信息，同时又能够保证图像特征匹配的准确率的方法成为亟待解决的问题。

现有的双目三维重建过程中图像特征提取和匹配存在的特征信息量和匹配准确率相矛盾，图像特征提取和匹配的算法复杂度非常高。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种双目三维重建的方法，该方法算法复杂度低，大大提高提取图像的特征量和匹配准确率。

本发明的目的通过下述技术方案实现：一种双目三维重建的方法，提出了一种分层的图像特征提取和匹配的方法，所述的双目三维重建的方法包括以下步骤：

步骤A：采集图像，使用两台型号相同彩色摄像机水平平行放置，使目标物体置于两台摄像机采集范围之内，其中左摄像机采集的图像为原始左图像，右摄像机采集的图像为原始又图像；

步骤B：相机的标定和图像校正和预处理，采用棋盘法标定获得两台摄像机的内外参数，然后对原始左右图像进行校正，再对图像进行预处理；

步骤C：分层匹配，根据图像特征线的强弱对图像进行分层特征提取和匹配；

步骤D:三维重建，根据视差原理将获取的两幅图像的匹配信息计算目标物体的三维信息，完成三维重建。

所述的步骤C包括：

步骤C1：第一层的提取和匹配，采用阈值分割提取目标物体与图像背景的边缘线，根据左右图像分别记为L1，L2，通过提取曲线角点和线性插值的方法对L1和L2进行匹配。形成第一层；

步骤C2：其余各层的提取和匹配，完成第一层之后其余各层的提取均在上一层的基础之后进行，利用上一层的提取的特征曲线提供的基准，在上一层所分割的相对应的区域内提取特征线进行匹配，将图像进行分割成若干匹配的区域，供下一层提取和匹配。

步骤C3：如果分的层次得精度达到了三维复原的要求则结束匹配，否则，返回步骤C2继续进行分层提取和匹配。

本发明的工作原理：本方法的双目三维重建基于视差原理，通过两台平行放置的摄像机采集同一物体，即待三维重建的目标物体的图像，根据物体上的点在两幅图上的成像点位置的差异(视差)，计算其空间坐标进行重建。在此过程中获取成像点的匹配信息，成为整个过程的关键问题。本方法利用分层的方法提取图像的特征信息进行匹配，在分层的过程中以特征信息的强弱作为分层的原则。同时通过分割使得提取和匹配范围缩小，以提高算法准确度和降低错误率。为三维重建获取足够多的信息，最终复原目标物体。

本发明相对于现有技术具有如下的优点及效果：

1、采用分层的方法，能够提取图像大大提高提取图像的特征量和匹配准确率，能非常好地实现三维重建；在传统的算法中往往提取出少量的图像特征量，而不能满足三维重建需要大量特征点的要求，本方法采用分层的方法，逐步提取特征量，大大提高了特征量。而在匹配的过程中由于采用了分层的方法，缩小了匹配搜索的范围，降低了误匹配率。

2、能够适应嵌入式DSP的要求，图像算法往往复杂度高，数据一般只能在PC上进行处理，而本方法能够很好适应DSP要求并行度高的要求，在提取特征量的过程中采用简单而实用的差分算子，不需要用到高斯等复杂的算子，大大降低算法复杂度，能够在嵌入式DSP便携式系统中得到应用。

3、实际的实验结果表明，本发明能够非常好地复原空间三维物体，等到达到一定的精确度，较现有的匹配算法有了很大的改进。本发明提供的方法能够适应于普通光照，静止物体的三维复原，尤其能够较好的处理纹理比较复杂的物体，进一步地，本发明的三维复原方法还有拓展到目标跟踪和识别等应用领域当中。

附图说明

图1是本方法的整个双目三维重建流程图。

图2是本方法所提出的分层图像特征提取和匹配的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，一种双目三维重建的方法，包括以下步骤：

步骤A：图像采集，如图1中的图像采集部分，本方法采用两台型号相同的CCD摄像机，固定在光学平台上，镜头处于同一平面，能够左右移动改变两台摄像机的水平距离D，D能够从光学平台上直接读取，作为下文计算的参数；D没有规定的取值，D的取值以能够使目标物体所成像在图像靠中为原则。将待重建的三维物体放置在试验台上，调整D到适当的位置记录其值，固定两台摄像机进行图像采集，左右摄像机采集的图像分别记为I1，I2；

步骤B1：摄像机的标定和图像校正，如图1中的摄像机标定和校正部分，摄像机的标定是为了获得摄像机的内外参数，即便是同一型号摄像机的内外参数也不相同，而任一台摄像机的内外参数值均为定值。所以对于实验用到的两台摄像机，如果已经标定过了则可以直接使用其内外参数，如果没有标定，则需要进行一次标定，获取其内外参数。摄像机标定方法已经是很成熟的技术，方法很多，本双目三维重建算法对标定方法没有严格限制，只需要获得其内外参数即可。如本方法的验证过程中用棋盘进行标定，获得摄像机内参数矩阵M_i如2-1所示，

$M_i=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right],---(2-1)$

同时获得外参数（k₁，k₂，p₁，p₂），获得摄像机的内外参数之后，则可对图像进行校正，记校正后的图像的任一点Pd的坐标为(x_d,y_d),则其对应的在原图像上的位置(x_s,y _s),根据公式2-2，2-3计算，

x_s=f_x×(x×d+2×p₁×y)+p₂×y²+(3×p₂)×x²+c_x，（2-2）

y_s=f_y×(y×(d+(2×p₂)×x)+3×p₁×y²+p1×x²)+c_y，（2-3）

其中x，y，d为中间变量，由公式2-4，2-5，2-6计算得出。

$x=(x_d-f_x)\×\frac{1}{f_x},---(2-4)$

$y=(y_d-f_y)\×\frac{1}{f_y},---(2-5)$

d=1+(k₁+k₂×(x²+y²))×(x₂+y₂)，（2-6）

校正后的图像依然用I1和I2表示，这样做是因为在算法设计中，为了减少程序的存储空间，校正后的图像将覆盖原来的图像，程序也使用同一个指针来指向它们(下同)；

步骤B2：图像的预处理，如图1中的图像预处理部分，由于采集的图像存在噪声，所以需要对图像进行预处理，本方法中用如3-1所示算子ω对图像滤波去噪处理，a为可选参数，在本方法中取a的值为3至5，得到预处理后的图像I1与I2。拷贝I1，I2至C1，C2用以保存物体的色度信息，将彩色图像转换成255级灰度图，具体方法可参考matlab中的rgb2gray函数，最终的得到的I1，I2即为经过校正预处理的255级灰度图，图像大小与摄像机型号有关，对本方法无影响，在试验验证的过程中的图像大小为480×640；

$\mathrm{\ω}=\left[\begin{array}{ccc}1& 1& 1\\ 1& a& 1\\ 1& 1& 1\end{array}\right],---(3-1)$

如图2所示为分层特征提取和匹配的过程，下面结合图2对该过程详细说明：

步骤C：分层提取和匹配特征线，如图1中的分层特征提取和匹配部分，根据图像边缘线的的特征性的强弱进行分层提取和匹配特征线，具体为首先利用强的特征线将I1，I2分割成若干相互匹配的区域，然后在这些相互匹配的区域内逐层提取次强的特征线，再分割区域再提取再匹配的方法；详细步骤如下：

步骤C1：第一层边缘的提取和匹配。如图2中所示的第一层的提取和匹配，该步骤分为提取和分层和匹配两个过程；首先是提取分层，第一层提取的边缘曲线为图像中目标物体的最外边缘线，即待重建物体与背景的边界线，一般情况下不标物体和背景会存在明显的差异，利用阈值分割即可提取边缘，本方法的实施过程中根据目标物体的颜色特征为其选择白色或者黑色的背景进行阈值分割，在黑色背景下阈值设置为30，白色背景下阈值设置为225，然后对图像二值处理。而在特殊情况下可以利用变焦可以变换背景的方式提取，准确性很高。在两幅图像I1、I2中各提取一条闭合的曲线，分别记为L1，L2，在误差允许范围内，这两条闭合曲线是相互匹配的；这样两条曲线分别将两幅图像的目标物体与背景分割开来，这样形成了第一层的图像分割，而背景部分是可以舍弃的，以后各层的分割与匹配都在这两条闭合曲线内部进行；其次进行曲线的匹配，图像中的线是点的集合，L1与L2是匹配的曲线对，而要想构造L1、L2的三维模型，则必须是L1、L2每一个点的匹配，本方法采用曲线角点和线性插值相结合的方法进行匹配。对于L1曲线任意一个点P，分别取其前后m个点利用最小二乘法拟合成两条直线，m为可选参数，默认值为15，然后计算这两条直线的夹角θ，对于夹角小于阈值Φ的点标记位角点候选点并记录θ值，其它点舍弃，Φ在本方法中为150°；对于前面的候选点，如果是孤立的则直接选为曲线角点，如果有连续的候选点则夹角最小的作为角点，其它点舍弃。曲线角点的匹配主要通过角点的θ值和其空间位置的加权匹配，分别计算L1和L2两条曲线的重心值(x₁,y₁),(x₂,y₂),对于L1上某一待匹配点P，其θ值为θ_p，坐标值为(x_p,y_p),为其在L2上寻找匹配点，匹配范围为以点P_c(x_p-X₁+x₂,y_p-y₁+y₂)为中心，半径为R的圆形区域，对于区域内的每一个点P_k(x_k,y_k),其到点P_c的距离为d_k，θ值为θ_k，则根据公式4.2-1计算匹配结果：

$A_k=\mathrm{\α}\frac{d_k}{L}+\mathrm{\β}\frac{|\mathrm{\θ}-{\mathrm{\θ}}_k|}{\mathrm{\θ}},---(4.2-1)$

其中α,β为权值参数，其中α的取值范围[0.3,0.5]，β为1-α，L为距离参数，取值范围为80至120；选择A_k值最小的点作为P的匹配点，而L1中任意两曲线角点直接的则用曲线L2中相对应的两个曲线角点之间的点线性插值匹配；

步骤C2：其他各层的提取与匹配；如图2中其他层得提取和匹配所示，在提取了第一层之后，以后各层在上一层分割的相对应的区域内提取；如第二层则在第一层所确定的L1，L2两条闭合曲线的范围内进行边缘曲线的提取；同样第K(K>1)层则在第K-1层所分割的区域内进行特征边缘线的提取以及在相对应的区域内进行特征匹配；这样做的好处是缩小了特征提取的和匹配的范围，必然为匹配带来复杂度的降低和准确率的提高；第K层特征线的提取采用如4.3-1所示的差分算子ω₁计算每一个点的差分值，然后取差分值较大的M_k个点作为提取的特征线，M_k的取值大小为所在区域上一层的边缘线长度大小；

${\mathrm{\ω}}_1=\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right],---(4.3-1)$

对于第K层提取的特征线匹配分两步进行，首先确定某一条曲线所对应的曲线，然后再就曲线上每一个点进行匹配；第一步匹配的依据主要根据曲线的长度和重心值的加权匹配；由于在提取过程中长度误差较大，而重心误差相对小，所以重心的权重要稍大。匹配公式如4.4-1所示,其中1₁，1₂为曲线长度，d_k为两条直线重心的距离，d_k-1为两曲线所在层区域的重心距离，a，b为权重参数，a的取值范围为[0.25,0.45]，b为1-a；

$A=a\frac{|1_1-1_2|}{1_1}+b\frac{d_k}{d_{k-1}},---(4.4-1)$

选择A值最小的曲线作为匹配曲线；对于相对应曲线上的点则采用步骤C1中的方法提取曲线角点和线性插值的方法进行匹配；

步骤C3:重复步骤C2的过程，如图2中判断部分所示，依次往下分层，当分的层次足够多，获得的数据量能打达到三维复原的要求则结束分层匹配；所述的复原要求可以根据实际应用设定，如果只需要复原物理的大概轮廓，值需要完成三层的匹配，如果需要高精度的复原，则需要完成五层以上的匹配；

步骤D：计算三维信息，如图1所示计算三维信息部分，根据获得的匹配点的信息，利用双目视差的原理和已知的双目镜头的参数计算物体空间三维坐标，并且认为最后一层所分割出来的区域在空间上为一个平面，进行插值填充。而最后一个区域的大小即为本方法所能达到的复原精度；分的层次越多精度越高，算法复杂度也随之增加，与实际应用相关，实验验证表明三到五层基本能满足复原的要求。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.一种双目三维重建的方法，其特征在于，包括以下步骤：

步骤A：采集图像：使用两台型号相同彩色摄像机水平平行放置，使目标物体置于两台摄像机采集范围之内，其中左摄像机采集的图像为原始左图像，右摄像机采集的图像为原始又图像；

步骤B：相机的标定和图像校正和预处理：采用棋盘法标定获得两台摄像机的内外参数，然后对原始左右图像进行校正，再对图像进行预处理；

步骤C：分层匹配：根据图像特征线的强弱对图像进行分层特征提取和匹配；

步骤D:三维重建：完成达到要求精度的分层后，根据视差原理将获取的两幅图像的匹配信息计算目标物体的三维信息，采用平面插值的方法，完成三维重建。

2.根据权利要求1所述的双目三维重建的方法，其特征在于，所述的步骤C包括以下步骤：

步骤C1：第一层的提取和匹配，采用阈值分割提取目标物体与图像背景的边缘线，根据左右图像分别记为L1，L2，通过提取曲线角点和线性插值的方法对L1和L2进行匹配，形成第一层；

步骤C2：其余各层的提取和匹配，完成第一层之后其余各层的提取均在上一层的基础之后进行，利用上一层的提取的特征曲线提供的基准，在上一层所分割的相对应的区域内提取特征线进行匹配，将图像进行分割成若干匹配的区域，供下一层提取和匹配；

步骤C3：如果分的层次得精度达到了三维复原的要求则结束匹配，否则返回步骤C2继续进行分层提取和匹配。

Images