CN103761768A - 一种三维重建的立体匹配方法 - Google Patents

Abstract

本发明公开了一种三维重建的立体匹配方法，首先针对Harris图像特征点的堆积现象和像素精度不高的缺点对其进行改进，引入抑制因子使其图像特征点均匀分布，然后使用高斯曲面拟合内插的方法将获得的图像特征点达到次像素级。接着用SIFT描述子对图像特征点进行描述，生成特征向量进行匹配，以消除Harris图像特征点对于图像灰度非线性变换敏感的问题不足，然后采用鲁棒性较好的随机抽样算法RANSAC来估计基本矩阵，同时进一步剔除误匹配点对，最后在基础矩阵的引导下进行对流匹配寻找可能反映物体结构的未匹配图像特征点对。本发明的方法能够较好地恢复物体的表面结构，是一种有效的用于未标定图像信息三维立体重建的立体匹配算法。

Description

一种三维重建的立体匹配方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种三维重建中的立体匹配方法。

背景技术

基于视频序列图像的三维立体重建就是为了保证重构出的物体表面信息能够正确的表达物体的结构，而视频序列图像的图像特征点提取和匹配则是进行三维立体重建的第一步。三维重建中图像特征点提取和匹配是近年来计算机视觉领域中备受关注的研究方向和研究热点，它是许多计算机视觉理论和实际应用的基础，如摄像机的标定、三维立体重建、目标检测、运动分析等；同时图像特征点提取和匹配也是计算机视觉研究领域中的一个瓶颈，目前许多重要的计算机视觉理论系统与实际应用都是在假设图像特征点匹配问题已解决的前提下展开的。精确的图像特征点匹配对于利用计算机视觉技术进行物体的三维立体重建、目标物识别和目标准确跟踪等都具有极其重要意义。

三维重建中图像特征点提取和匹配要求提取的图像特征点在能够准确表达物体表面结构的同时也能够达到很好的匹配精度，否则重构出的物体几何表面则会大大畸形。然而很大一部分的三维立体结构的匹配均是针对已经标定的图像，通过极线信息限制来提高所需要的匹配精度。但是在一些没有标定也就是信息不全的情况下，极线约束则不可利用，这就需要依照前期的粗略匹配对基础矩阵进行相对精确的估计才能够采用极线约束，这对三维立体匹配的精度提出了更高的要求，也进一步增加了图像特征点匹配的难度。

目前常用的图像特征点提取算法是Harris算法，Harris图像特征点比较能够反映出物体的结构特征，但有时其局部会出现角点堆积的现象，这样在后期的匹配中容易出现匹配错误的现象，同时会降低匹配效率，而且Harris图像特征点是像素级的，会影响匹配的精度。

发明内容

本发明的目的是针对上述技术问题及现有技术的缺陷，提出一种三维重建的立体匹配方法，提高了匹配精度。

为了实现上述发明目的，本发明技术方案如下：

一种三维重建的立体匹配方法，用于在三维重建中提取视频图像的图像特征点并进行立体匹配，所述立体匹配方法包括步骤：

步骤1、采用Harris特征提取算法提取视频图像的图像特征点；

步骤2、通过给定的抑制因子筛选所提取的图像特征点；

步骤3、通过高斯曲面拟合内插将图像特征点提高到次像素级；

步骤4、对图像特征点用尺度不变特征变换SIFT特征向量进行描述；

步骤5、对于已经提取图像特征点并采用SIFT特征向量描述的待匹配视频图像和参考视频图像，根据SIFT特征向量进行基础匹配，得到初始匹配结果；

步骤6、通过随机抽样一致性RANSAC算法排除误匹配点对，并估算基础矩阵；

步骤7、对于没有匹配成功的图像特征点，结合基础矩阵，若待匹配图像特征点和参考图像特征点通过极线约束方法，互为对方的匹配图像特征点，则确认该对图像特征点为匹配图像特征点对。

进一步地，所述通过给定的抑制因子筛选所提取的图像特征点，包括步骤：

步骤2.1、建立一个图像特征点序列S1；

步骤2.2、从步骤1提取的视频图像的图像特征点集合中找到最强的图像特征点作为第一个保留图像特征点放入图像特征点序列S1中，并从所述图像特征点集合中去除该图像特征点；

步骤2.3、任意选取所述图像特征点集合中的一个图像特征点，分别计算该图像特征点与图像特征点序列S1中所有的图像特征点之间的欧式距离，如果所有欧式距离都大于给定的抑制因子α，则将该图像特征点放入图像特征点序列S1，并从所述图像特征点集合中去除该图像特征点；否则直接从所述图像特征点集合中去除该图像特征点；

步骤2.4、判断所述图像特征点集合是否为空，如果为空则结束，否则返回步骤2.3继续筛选。

通过抑制因子可以确保检测到的图像特征点之间有足够的距离，使图像特征点达到均匀分布，从而减弱或消除局部区域图像特征点聚集现象。

进一步地，所述通过高斯曲面拟合内插将图像特征点提高到次像素级，包括步骤：

步骤3.1、使用高斯曲面作为拟合曲面，对图像特征点邻域内像素的灰度值R(x,y)进行拟合内插，采用的高斯曲面为：

$f(x,y)={\mathrm{ce}}^{-\frac{{(x-u_0)}^2+{(y-v_0)}^2}{2{\mathrm{\σ}}^2}};$

步骤3.2、对所有的图像特征点，计算其邻域内所有像素点的灰度值；

步骤3.3、通过图像特征点邻域内像素点的坐标和灰度值，拟合高斯曲面并求其极值，以所求的极值为图像特征点的次像素级坐标；

其中，f(x,y)为高斯曲面，c和σ为高斯曲面参数。通过高斯曲面拟合内插将精确定位图像特征点。

其中，所述高斯曲面参数σ为所述图像特征邻域内像素点灰度值的标准差。所述图像特征点的邻域是以所述图像特征点为中心，所述抑制因子为半径的圆。

进一步地，所述步骤4还包括步骤：

将图像特征点的SIFT特征向量进行归一化处理。可以进一步去除光照变化的影响。

进一步地，所述根据SIFT特征向量进行基础匹配，包括步骤：

步骤5.1、对待匹配视频图像的图像特征点，在参考视频图像中找到特征向量欧式距离最近和次近的两个图像特征点；

步骤5.2、判断如果最近欧式距离和次近欧式距离的之间的比值小于设定的阈值T，则认为最近的图像特征点为匹配图像特征点，否则丢弃该图像特征点。

进一步地，所述步骤7具体包括步骤：

对于待匹配图像特征点中的一点p1，结合基础矩阵计算出它在参考视频图像中的极线，并在极线两边的可能区域中寻找欧式距离最近的图像特征点p2；

在找到参考视频图像中欧式距离最近的图像特征点p2后，反过来结合基础矩阵算出它在待匹配视频图像中的极线，并在极线两边的可能区域中寻找欧式距离最近的图像特征点；

若p2对应的待匹配视频图像中的欧式距离最近的图像特征点为p1，则认为p1与p2为一对匹配正确的图像特征点对。

其中，所述极线两边的可能区域，是指离极线距离小于用于决定数据是否适应于基础矩阵的阈值的范围内，该阈值为实验数据，通过实验进行确定。这样就通过基础矩阵来引导进行双流匹配可以找到能够体现物体表面结构的详细的精准匹配信息点对。

本发明提出了一种三维重建的立体匹配方法，首先针对Harris图像特征点的堆积现象和像素精度不高的缺点对其进行改进，引入抑制因子使其图像特征点均匀分布，然后使用高斯曲面拟合内插的方法将获得的图像特征点达到次像素级。接着用SIFT描述子对图像特征点进行描述，生成特征向量进行匹配，以消除Harris图像特征点对于图像灰度非线性变换敏感的问题不足，然后采用鲁棒性较好的随机抽样算法RANSAC来估计基本矩阵，同时进一步剔除误匹配点对，最后在基础矩阵的引导下进行对流匹配寻找可能反映物体结构的未匹配图像特征点对。最终实验证明，本发明的方法能够较好地恢复物体的表面结构，是一种有效的用于未标定图像信息三维立体重建的立体匹配算法。

附图说明

图1为本发明三维重建的立体匹配方法流程图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本实施例一种三维重建的立体匹配方法如图1所示，用于在三维重建中提取视频图像的图像特征点，并根据提取的待匹配视频图像的图像特征点在参考视频图像的图像特征点中找到匹配的图像特征点。包括如下步骤：

步骤101、采用Harris特征提取算法提取视频图像的图像特征点。

Harris特征提取算法是C.Harris和M.J.Stephens在1988年提出的，其基本思想是以视频图像上点（x，y）为中心取一个局部检测窗口，对于任意方向很小的位移（u，v），如果窗口内的亮度变化都很大，则认为该点是一个图像特征点。

考虑视频图像亮度的自相关矩阵为：

$M=\left[\begin{array}{cc}P& O\\ O& Q\end{array}\right]$

其中， $P={\left(\frac{\∂I}{\∂x}\right)}^2\⊗w;Q={\left(\frac{\∂I}{\∂y}\right)}^2\⊗w;O=\left(\frac{\∂I}{\∂x}\frac{\∂I}{\∂y}\right)\⊗w.$ 表示卷积运算，

分别为图像在x和y方向上的导数，w为高斯函数。

如果自相关矩阵的两个特征值λ₁、λ₂足够大，则该点被检测为图像特征点。为了避免计算特征值，Harris提出用一个响应函数来确定图像特征点，该响应函数为：

R=det(M)-k(trace(M))²>T

其中：det(M)=λ₁λ₂=PQ-O²；trace(M)=λ₁+λ₂=P+Q，k为给定的常数。图像特征点对应于函数R的局部极大值点，当视频图像上的像素的R值大于给定的某个阈值T时，认为该点即为视频图像的图像特征点。

通过Harris特征提取算法从用来进行三维重建的视频图像序列的每一幅视频图像中提取视频图像的图像特征点。

步骤102、通过给定的抑制因子筛选提取的图像特征点。

考虑到通过Harris特征提取算法检测到的图像特征点在局部的区域可能会出现图像特征点聚集的现象，即在一个图像特征点非常临近的周围还存在其他的图像特征点，这可能导致在后期的图像特征点匹配中误匹配率的提高，同时匹配效率也会大大降低。因此需要引入一个抑制因子α来确保检测到的图像特征点之间有足够的距离，使图像特征点达到均匀分布，从而减弱或消除这种聚集现象。假设通过步骤101提取到的图像特征点集合为S，通过给定的抑制因子α进一步从S中筛选图像特征点，具体步骤如下：

1)首先建立一个图像特征点序列S1。

2)找到最强的图像特征点作为第一个保留图像特征点放入图像特征点序列S1中，并从图像特征点集合S中去除该图像特征点。

需要说明的是，最强的图像特征点就是指特征最明显，通过求取所有图像特征点的R值的均值，然后用每个图像特征点的R值减去均值再求平方，平方值最大的点就是最强的图像特征点。

3)任意选取图像特征点集合S中的一个图像特征点，分别计算该图像特征点与图像特征点序列S1中所有的图像特征点之间的欧式距离，如果所有欧式距离都大于给定的抑制因子α，则将该图像特征点放入图像特征点序列S1，并从图像特征点集合S中去除该图像特征点；否则直接从图像特征点集合S中去除该图像特征点。

4）判断图像特征点集合S是否为空，如果为空则结束，否则返回步骤3）继续筛选。

在本实施例中，抑制因子α设置为3。

步骤103、通过高斯曲面拟合内插将图像特征点提高到次像素级。

由于Harris算法检测到的图像特征点就是像素坐标即整数值，但是在实际中，精确的图像特征点位置恰好是像素坐标的可能性并不大，所以应该用精确到某位小数的图像平面坐标来表示，Harris算法只能把它附近的取极大值的像素点作为图像特征点，而不是精确的图像特征点位置。由于获取的图像特征点定位精度越高，估算的基本矩阵就越准确，所以三维立体重建的效果也就越好。因此为了对图像特征点进行准确定位，在提取到Harris图像特征点后使用高斯曲面拟合内插，从而将图像特征点提高到次像素级。具体方法如下：

使用高斯曲面作为拟合曲面，对图像特征点邻域内像素的灰度值R(x,y)进行拟合内插，采用的高斯曲面为：

$f(x,y)={\mathrm{ce}}^{-\frac{{(x-u_0)}^2+{(y-v_0)}^2}{2{\mathrm{\σ}}^2}};$

视频图像是数字化的、是离散的，也就是说图像特征点附近的一些像素点是离散的，为了准确定位的需要用连续的函数f(x,y)来代替离散的R(x,y)，这就叫做拟合内插。具体拟合内插的方法就是先假定图像特征点附近的像素服从高斯曲面的分布，c和σ为高斯曲面参数。

假设对于图像特征点(u₀,v₀)，则对于以(u₀,v₀)为圆心、d_r为半径的邻域内所有像素点(u₀,v₀),(u₁,v₁),...,(u_N,v_N)，N为邻域内像素点的总数，计算出所有像素点的灰度值R(x,y)，得到一系列的三维点：

{(u₀,v₀,R(u₀,v₀)),(u₁,v₁,R(u₁,v₁)),...,(u_N,v_N,R(u_N,v_N))}

通过这些三维点拟合高斯曲面并求其极值，所得极值就是使函数中的原(u₀,v₀)点达到次像素级的坐标。

在本实施例中，c取1，σ是邻域内所有像素点灰度值的标准差，d_r取值与步骤102中的抑制因子α相同。

需要说明的是，为了准确定位的需要用连续函数高斯曲面f(x,y)来表示离散函数R(x,y)。对于连续函数高斯曲面f(x,y)可以通过求导的方法求出连续函数的极值，这个极值有可能是整数点也有可能不是整数点，如果极值点是整数点就说明之前得到的图像特征点就是次像素级的，如果极值点不是整数点，那么得到的极值点就作为图像特征点的精确的坐标，该坐标是次像素级的。离散函数R(x,y)中每个点都可以在连续函数f(x,y)中找到。

步骤104、对图像特征点用SIFT特征向量进行描述。

通常用尺度不变特征变换SIFT（Scale Invariant Feature Transform）特征向量来描述图像特征点，是以图像特征点为中心取8×8的窗口，窗口内每个小格代表图像特征点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值。在每4×4的小块上计算八个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。若图像特征点取8×8的窗口，则每个图像特征点有2×2共4个种子点组成，每个种子点有8个方向向量信息。

在实际的计算过程中，为了增强匹配的稳健型，对每个图像特征点使用4×4共16个种子点来描述，这样对于一个图像特征点就可以产生128个数据，即最终形成128维的SIFT特征向量。这128维的向量依次存放着16个种子点的0-7八个方向的模值，此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响。在继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。

例如一个图像特征点的SIFT特征向量是W=(w₁,w₂,...，w₁₂₈)，归一化之后的向量是L=(l₁,l₂,...，l₁₂₈)，计算方法是

其中i，j取值为1，2，3，…，128。

步骤105、对于已经提取图像特征点并采用SIFT特征向量描述的待匹配视频图像和参考视频图像，根据SIFT特征向量进行基础匹配，得到初始匹配结果。

具体地，由于待匹配视频图像和参考视频图像均已经提取了图像特征点并采用SIFT特征向量进行了描述，对待匹配视频图像的图像特征点，在参考视频图像中找到特征向量欧式距离最近和次近的两个图像特征点，如果最近欧式距离和次近欧式距离的之间的比值小于设定的阈值T，则认为最近的图像特征点为匹配图像特征点，否则丢弃该图像特征点。

步骤106、通过RANSAC算法排除误匹配点对，并估算基础矩阵。

采用随机抽样一致性RANSAC（RANdom SAmple Consensus）算法不断对图像特征点集合随机取样来产生基本子集，随后利用基本子集计算出最优的基础矩阵F，采用的RANSAC算法求解基础矩阵F的过程中也会排出掉一些错误的图像特征点对。

RANSAC算法和基础矩阵所引导的匹配都采用极线约束来限制，极线约束的原理如下，如果图像1中的点p1在图像2上找到该对应点，那么该点则必然位于p1在图像2上的极线l上。同理，若图像2上的点p2在图像l上找到相对应的对应点，那么该点也必定位于p2在图像1上的极线l上。如果p1，p2是各自两幅信息图像上的一对匹配点，那么p1和p2对应的坐标则存在如下的关系:

p₂ ^TFp₁=0

其中：F是基础矩阵。

对于没有标定的图像的基础矩阵F是未知的，对于基础矩阵F进行估算时，因为原始匹配点集中会存在误匹配，所以直接采用最小二乘法来估算基础矩阵F，这样也不一定就能够取得很好的效果，因此选择性能较好的RANSAC算法来估算矩阵F。

步骤107、对于没有匹配成功的图像特征点，结合基础矩阵，若待匹配图像特征点和参考图像特征点通过极线约束方法，互为对方的匹配图像特征点，则确认该对图像特征点为匹配图像特征点对。

若图像特征点集合S1，在经过基础匹配并通过RANSAC算法排除误匹配点对后得到匹配图像特征点集合S2，那么没有成功匹配的图像特征点集合S3=S1-S2。下面对S3中没有成功匹配的图像特征点进行双流匹配，具体地：

对于待匹配图像特征点中的一点p1，结合基础矩阵F计算出它在参考视频图像中的极线，并在极线两边的可能区域中寻找欧式距离最近的图像特征点p2；

在找到参考视频图像中欧式距离最近的图像特征点p2后，反过来结合基础矩阵F算出它在待匹配视频图像中的极线，并在极线两边的可能区域中寻找欧式距离最近的图像特征点；

若p2对应的待匹配视频图像中的欧式距离最近的图像特征点为p1，则认为p1与p2为一对匹配正确的图像特征点对。

其中，极线两边的可能区域是指离极线距离小于用于决定数据是否适应于基础矩阵F的阈值的范围内。

这样就通过基础矩阵F来引导进行双流匹配可以找到能够体现物体表面结构的详细的精准匹配信息点对。经过试验证明本实施例所提出的一种三维重建中的立体匹配方法精度比较高，可用于未标定图像的三维立体重建，并且效果很不错。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种三维重建的立体匹配方法，用于在三维重建中提取视频图像的图像特征点并进行立体匹配，其特征在于，所述立体匹配方法包括步骤：

步骤1、采用Harris特征提取算法提取视频图像的图像特征点；

步骤2、通过给定的抑制因子筛选所提取的图像特征点；

步骤3、通过高斯曲面拟合内插将图像特征点提高到次像素级；

步骤4、对图像特征点用尺度不变特征变换SIFT特征向量进行描述；

步骤5、对于已经提取图像特征点并采用SIFT特征向量描述的待匹配视频图像和参考视频图像，根据SIFT特征向量进行基础匹配，得到初始匹配结果；

步骤6、通过随机抽样一致性RANSAC算法排除误匹配点对，并估算基础矩阵；

步骤7、对于没有匹配成功的图像特征点，结合基础矩阵，若待匹配图像特征点和参考图像特征点通过极线约束方法，互为对方的匹配图像特征点，则确认该对图像特征点为匹配图像特征点对。

2.根据权利要求1所述的立体匹配方法，其特征在于，所述通过给定的抑制因子筛选所提取的图像特征点，包括步骤：

步骤2.1、建立一个图像特征点序列S1；

步骤2.2、从步骤1提取的视频图像的图像特征点集合中找到最强的图像特征点作为第一个保留图像特征点放入图像特征点序列S1中，并从所述图像特征点集合中去除该图像特征点；

步骤2.3、任意选取所述图像特征点集合中的一个图像特征点，分别计算该图像特征点与图像特征点序列S1中所有的图像特征点之间的欧式距离，如果所有欧式距离都大于给定的抑制因子α，则将该图像特征点放入图像特征点序列S1，并从所述图像特征点集合中去除该图像特征点；否则直接从所述图像特征点集合中去除该图像特征点；

步骤2.4、判断所述图像特征点集合是否为空，如果为空则结束，否则返回步骤2.3继续筛选。

3.根据权利要求1所述的立体匹配方法，其特征在于，所述通过高斯曲面拟合内插将图像特征点提高到次像素级，包括步骤：

步骤3.1、使用高斯曲面作为拟合曲面，对图像特征点邻域内像素的灰度值R(x,y)进行拟合内插，采用的高斯曲面为：

$f(x,y)={\mathrm{ce}}^{-\frac{{(x-u_0)}^2+{(y-v_0)}^2}{2{\mathrm{\σ}}^2}};$

步骤3.2、对所有的图像特征点，计算其邻域内所有像素点的灰度值；

步骤3.3、通过图像特征点邻域内像素点的坐标和灰度值，拟合高斯曲面并求其极值，以所求的极值为图像特征点的次像素级坐标；

其中，f(x,y)为高斯曲面，c和σ为高斯曲面参数。

4.根据权利要求3所述的立体匹配方法，其特征在于，所述高斯曲面参数σ为所述图像特征邻域内像素点灰度值的标准差。

5.根据权利要求3所述的立体匹配方法，其特征在于，所述图像特征点的邻域是以所述图像特征点为中心，所述抑制因子为半径的圆。

6.根据权利要求1所述的立体匹配方法，其特征在于，所述步骤4还包括步骤：

将图像特征点的SIFT特征向量进行归一化处理。

7.根据权利要求1所述的立体匹配方法，其特征在于，所述根据SIFT特征向量进行基础匹配，包括步骤：

步骤5.1、对待匹配视频图像的图像特征点，在参考视频图像中找到特征向量欧式距离最近和次近的两个图像特征点；

步骤5.2、判断如果最近欧式距离和次近欧式距离的之间的比值小于设定的阈值T，则认为最近的图像特征点为匹配图像特征点，否则丢弃该图像特征点。

8.根据权利要求1所述的立体匹配方法，其特征在于，所述步骤7具体包括步骤：

对于待匹配图像特征点中的一点p1，结合基础矩阵计算出它在参考视频图像中的极线，并在极线两边的可能区域中寻找欧式距离最近的图像特征点p2；

在找到参考视频图像中欧式距离最近的图像特征点p2后，反过来结合基础矩阵算出它在待匹配视频图像中的极线，并在极线两边的可能区域中寻找欧式距离最近的图像特征点；

若p2对应的待匹配视频图像中的欧式距离最近的图像特征点为p1，则认为p1与p2为一对匹配正确的图像特征点对。

9.根据权利要求8所述的立体匹配方法，其特征在于，所述极线两边的可能区域，是指离极线距离小于用于决定数据是否适应于基础矩阵的阈值的范围内。

Images