CN108416801B - 一种面向立体视觉三维重建的Har-SURF-RAN特征点匹配方法 - Google Patents

Abstract

本发明公开了一种面向立体视觉三维重建的Har‑SURF‑RAN特征点匹配方法，属于数字图像处理领域，包含如下步骤：步骤(1)：对图像中的像素点进行高斯差分预处理，筛选出候选特征点，再利用权重系数筛选，获得特征点。步骤(2)：对特征点数据集进行处理，得到特征点的特征描述子；步骤(3)：利用最近邻特征匹配对检测到的特征点进行匹配；步骤(4)：对特征匹配点对中的误判点初步剔除，利用PROSAC的思想将数据集进行排序，对RANSAC选取模型及评价部分进行改进，利用局部最优化的思想对RANSAC进行改进，引入优化参数K对模型局部进行进一步优化。本发明减少了计算量，提高了速度，改进算法产生的冗余点较少，精确度较高。

Description

一种面向立体视觉三维重建的Har-SURF-RAN特征点匹配方法

技术领域

本发明属于数字图像处理领域，尤其涉及一种面向立体视觉三维重建的Har-SURF-RAN特征点匹配方法。

背景技术

近年来，计算机的硬件和软件并驾齐驱，无论是在运行效率和处理信息的能力方面均有了长足的发展，人们对于计算机所呈现和处理的信息也提出了更高的期待。由此，三维重建技术得到了不断地发展和完善。

三维重建是计算机辅助几何设计、计算机图形学、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术，它的核心思想是从二维图像中恢复三维结构。目前，其已广泛的被应用在生物、医学、建筑、电影游戏、文物保护、机器人视觉、自动导航、航天航海大型科研课题的仿真等各个领域，具有相当广阔的应用前景，展现出了极强的生命力和影响力。

然而在整个三维重建技术的步骤流程中，特征点匹配是三维重建技术的第一个重要步骤，三维重建技术利用匹配模型计算出的特征点位置确定图片中的物体在实际三维空间中所处的大致位置，并以此为基准进行下一步的三维重构，从而得到对目标物体的三维重建模型。

其中特征点匹配的准确度直接影响了三维重建结果的好坏。若特征点匹配的效果欠佳，则会导致冗余点较多、抗噪能力差，由此定位的特征点位置不准确等问题，在此基础上进行三维重构，往往会导致得到的结果与真实情况相差较远，产生噪声较多，误判率较高，准确率下降等问题。故特征点匹配是三维重建技术中的重中之重。

总结现有研究成果发现，针对三维重建中特征点匹配的研究面临如下关键问题亟需解决：

(1)现存的特征点检测算法虽然趋于成熟，但仍存在冗余点较多、抗干扰能力不强等缺点，精度及效率仍有待进一步提高。常见的集中特征点检测方法中，Harris特征点检测方法具有较强的稳定性但速度较慢，SURF特征检测速度较快但稳定性较差，两者都具有一定的局限性。

(2)基于立体视觉的三维重建对于尺度要求不高，但SURF算法为保证尺度不变性提出的金字塔结构导致该算法速度慢、计算量大。

(3)已有的消除误匹配算法在效率方面与子集大小、类内点比例以及数据集大小有关，在某些场景下效率较低；在精度方面，考虑到效率因素，得到的参数往往是非最佳参数，不能直接应用，还需再经过细化处理。

发明内容

本发明的目的在于公开计算量低，精确度高，速度高的一种面向立体视觉三维重建的Har-SURF-RAN特征点匹配方法。

本发明的目的是这样实现的：

一种面向立体视觉三维重建的Har-SURF-RAN特征点匹配方法，包含如下步骤：

步骤(1)：利用改进的Harris特征点检测算法，首先对图像中的像素点进行高斯差分预处理，然后利用harris算子筛选出候选特征点，再利用加入了权重系数的Laplace算子对其进行再筛选，从而获得特征点：

步骤(1.1)：定义窗口函数。利用高斯滤波定义窗口函数：

w(x,y)＝exp[-(x²+y²)/(2σ²)]；

步骤(1.2)：输入图像数据，对于图像中的每一个像素点计算梯度分量Ix，Iy；

步骤(1.3)：对于图像中的每一个像素点，计算自相关矩阵M和M’，根据自相关矩阵计算像素点角点响应函数R：

步骤(1.4)：判断像素点的角点响应函数值是否大于邻域内其他像素点的角点响应函数值，若大于则保留，否则舍弃；

步骤(1.5)：根据像素点的角点响应函数值最大值计算阈值，若R(x,y)大于该阈值且是局部极大值点，则将该像素点列为候选特征点；

步骤(1.6)：对候选特征点进一步计算Laplace响应，利用权重系数调节响应值：

Laplace算子为：

若候选特征点同时是Laplace相应的局部极值，则将该像素点选为特征点。

步骤(2)：在SURF提出的积分图像的基础上对特征点数据集进行处理，得到特征点的特征描述子矩阵：

步骤(2.1)：根据积分图像的数学公式对原图进行计算，求出对应的积分图像：

积分图像公式：

步骤(2.2)：以特征点为中心，计算圆形邻域内的点在x、y方向的Haar小波响应，并给这些响应赋高斯权重系数；

步骤(2.3)：以图像中的特征点为中心，以π/3为扇形滑动窗口的角度，计算滑动窗口内的响应值m_w和θ_w：

步骤(2.4)：遍历整个圆形区域，选择最长矢量的方向为该特征点的主方向，得到每一个特征点的主方向；

步骤(2.5)：将坐标轴旋转为关键点的方向，以确保旋转不变性：

旋转公式为：

x＝x₀-j·s·sin(θ)+i·s·cos(θ)；

y＝y₀-j·s·cos(θ)+i·s·sin(θ)；

上式中，s为尺度因子；

步骤(2.6)：对每个特征点计算∑dx,∑|dx|,∑dy,∑|dy|,形成4通道或8通道的特征描述子矩阵。

步骤(3)：利用最近邻特征匹配对检测到的特征点进行匹配：

步骤(3.1)：利用穷举法求得最近邻特征点对数据集；

步骤(3.2)：利用最近邻特征匹配对特征点进行匹配得到特征匹配点对数据集A；

步骤(4)：利用改进的RANSAC消除误匹配点算法，在传统RANSAC算法的基础上引入预处理，实现对上一步骤中得到的特征匹配点对中的误判点的初步剔除后利用PROSAC的思想将数据集进行排序，然后利用Premptive测试的基本思想对RANSAC选取模型及评价部分进行改进，最后利用局部最优化的思想对RANSAC进行改进，引入优化参数K对模型局部进行进一步优化：

步骤(4.1)：计算特征匹配点对数据集A中各匹配点对的距离d，得到距离数据集D＝{d₁,d₂,……,d_n}。根据各点对距离值重复的多少将点对进行排序，重复次数越多，数据质量越高，排序越靠前。设置阈值t，滤除超过阈值的匹配点对；

步骤(4.2)：根据匹配点对的质量排序进行采样，从排序靠前的数据取起，减少取样次数，提高算法速度；

步骤(4.3)：根据采样点计算参数，获得拟合模型；

步骤(4.4)：对多组采样点获取的模型分别计算该模型是否满足其他未采样点，按照满足的高低程度从高到低进行排序，选取前N个模型；

步骤(4.5)：对前N个模型进行多轮采样，重复步骤(4.4)，直至选取到最佳模型；

步骤(4.6)：对最佳模型进行细化，设置优化参数K对最佳模型进行迭代，选取结果中判断阈值t小于等于Kt的结果作为优化结果；

步骤(4.7)：K减小，重复步骤(4.6)，直至减小至t终止；

步骤(4.8)：输出最终的特征匹配点对数据集A，。

本发明的有益效果为：

本发明针对三维重建的实际情况省去了传统SURF中进行尺度空间构建及匹配的过程，用Harris特征点检测结果作为SURF算法的特征点，对Harris特征点检测进行了改进，结合多种思想对RANSAC算法进行了改进，减少了计算量，提高了速度，改进算法产生的冗余点较少，精确度较高。

附图说明

图1是Har-SURF-RAN特征点匹配模型总流程图。

图2是改进的Harris特征点检测流程图。

图3是SURF对特征点提取描述子操作流程示意图。

图4是改进的RANSAC消除特征点误匹配算法操作流程图。

具体实施方式

下面结合附图来进一步描述本发明：

如图1，一种面向立体视觉三维重建的Har-SURF-RAN特征点匹配方法，包含如下步骤：

步骤(1)：如图2，利用改进的Harris特征点检测算法，首先对图像中的像素点进行高斯差分预处理，然后利用harris算子筛选出候选特征点，再利用加入了权重系数的Laplace算子对其进行再筛选，从而获得特征点：

步骤(1.1)：定义窗口函数。利用高斯滤波定义窗口函数：

w(x,y)＝exp[-(x²+y²)/(2σ²)]；

步骤(1.2)：输入图像数据，对于图像中的每一个像素点计算梯度分量Ix，Iy；

步骤(1.3)：对于图像中的每一个像素点，计算自相关矩阵M和M’，根据自相关矩阵计算像素点角点响应函数R：

步骤(1.4)：判断像素点的角点响应函数值是否大于邻域内其他像素点的角点响应函数值，若大于则保留，否则舍弃；

步骤(1.5)：根据像素点的角点响应函数值最大值计算阈值，若R(x,y)大于该阈值且是局部极大值点，则将该像素点列为候选特征点；

步骤(1.6)：对候选特征点进一步计算Laplace响应，利用权重系数调节响应值：

Laplace算子为：

若候选特征点同时是Laplace相应的局部极值，则将该像素点选为特征点。

步骤(2)：如图3，在SURF提出的积分图像的基础上对特征点数据集进行处理，得到特征点的特征描述子：

传统的SURF为了满足对于尺度不变性提出的较为严格的要求，建立了尺度空间金字塔，大大增加了计算量和运算时间。对于尺度不变性的要求在图像识别中较为重要，但在三维重建过程中，图像的尺度不会有较大的差异，只在小范围内波动，只需在图像采样时利用尺度因子进行微小缩放扩大或缩小采样范围，就可以得到较好尺度适应性结果。故可省去原SURF方法中的尺度金字塔，减少计算量和运算时间。

步骤(2.1)：根据积分图像的数学公式对原图进行计算，求出对应的积分图像：

积分图像公式：

步骤(2.2)：以特征点为中心，计算圆形邻域内的点在x、y方向的Haar小波响应，并给这些响应赋高斯权重系数；

步骤(2.3)：以图像中的特征点为中心，以π/3为扇形滑动窗口的角度，计算滑动窗口内的响应值m_w和θ_w：

步骤(2.4)：遍历整个圆形区域，选择最长矢量的方向为该特征点的主方向，得到每一个特征点的主方向；

步骤(2.5)：将坐标轴旋转为关键点的方向，以确保旋转不变性：

旋转公式为：

x＝x₀-j·s·sin(θ)+i·s·cos(θ)；

y＝y₀-j·s·cos(θ)+i·s·sin(θ)；

上式中，s为尺度因子；

步骤(2.6)：对每个特征点计算∑dx,∑|dx|,∑dy,∑|dy|,形成4通道或8通道的特征描述子矩阵。

步骤(3)：利用最近邻特征匹配对检测到的特征点进行匹配：

步骤(3.1)：利用穷举法求得最近邻特征点对数据集；

步骤(3.2)：利用最近邻特征匹配对特征点进行匹配得到特征匹配点对数据集A；

步骤(4)：如图4，利用改进的RANSAC消除误匹配点算法，在传统RANSAC算法的基础上引入预处理，实现对上一步骤中得到的特征匹配点对中的误判点的初步剔除后利用PROSAC的思想将数据集进行排序，然后利用Premptive测试的基本思想对RANSAC选取模型及评价部分进行改进，最后利用局部最优化的思想对RANSAC进行改进，引入优化参数K对模型局部进行进一步优化：

步骤(4.1)：计算特征匹配点对数据集A中各匹配点对的距离d，得到距离数据集D＝{d₁,d₂,……,d_n}。根据各点对距离值重复的多少将点对进行排序，重复次数越多，数据质量越高，排序越靠前。设置阈值t，滤除超过阈值的匹配点对；

步骤(4.2)：根据匹配点对的质量排序进行采样，从排序靠前的数据取起，减少取样次数，提高算法速度；

步骤(4.3)：根据采样点计算参数，获得拟合模型；

步骤(4.4)：对多组采样点获取的模型分别计算该模型是否满足其他未采样点，按照满足的高低程度从高到低进行排序，选取前N个模型；

步骤(4.5)：对前N个模型进行多轮采样，重复步骤(4.4)，直至选取到最佳模型；

步骤(4.6)：对最佳模型进行细化，设置优化参数K对最佳模型进行迭代，选取结果中判断阈值t小于等于Kt的结果作为优化结果；

步骤(4.7)：K减小，重复步骤(4.6)，直至减小至t终止；

步骤(4.8)：输出最终的特征匹配点对数据集A，。

对于一张图片中的原始数据点集I(x,y)中每个像素点(x,y)，定义局部窗口[u,v]在图像各个方向上滑动时产生的灰度变化函数E(u,v),E(u,v)＝Σw(x,y)[I(x+u,y+v)-I(x,y)],经泰勒公式化简后E(u,v)可以近似表示为E(u,v)＝[u,v]M[u,v]^-1，根据此灰度变化函数进一步定义角点响应函数R＝detM-k(traceM)²,利用角点响应函数R和拉普拉斯算子进一步对灰度进行计算，可得特征点数据集P＝{P₁,P₂,……,P_n}。每个特征点数据集对应一个特征匹配点对数据集A，对A中的每个对应元素求距离可得到距离数据集D＝{d₁,d₂,……,d_n}。最终的特征匹配点对数据集为A’。

本发明针对三维重建的实际情况省去了传统SURF中进行尺度空间构建及匹配的过程，用Harris特征点检测结果作为SURF算法的特征点，对Harris特征点检测进行了改进，结合多种思想对RANSAC算法进行了改进，减少了计算量，提高了速度，改进算法产生的冗余点较少，精确度较高。

以上所述并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种面向立体视觉三维重建的Har-SURF-RAN特征点匹配方法，其特征在于：包含如下步骤：

步骤(1)：利用改进的Harris特征点检测算法，首先对图像中的像素点进行高斯差分预处理，然后利用harris算子筛选出候选特征点，再利用加入了权重系数的Laplace算子对其进行再筛选，从而获得特征点；

步骤(2)：在SURF提出的积分图像的基础上对特征点数据集进行处理，得到特征点的特征描述子；

步骤(3)：利用最近邻特征匹配对检测到的特征点进行匹配：

步骤(3.1)：利用穷举法求得最近邻特征点对数据集；

步骤(3.2)：利用最近邻特征匹配对特征点进行匹配得到特征匹配点对数据集A；

步骤(4)：利用改进的RANSAC消除误匹配点算法，在传统RANSAC算法的基础上引入预处理，实现对上一步骤中得到的特征匹配点对中的误判点的初步剔除后利用PROSAC的思想将数据集进行排序，然后利用Premptive测试的基本思想对RANSAC选取模型及评价部分进行改进，最后利用局部最优化的思想对RANSAC进行改进，引入优化参数K对模型局部进行进一步优化；

所述的步骤(1)具体为：

步骤(1.1)：定义窗口函数；利用高斯滤波定义窗口函数：

w(x,y)＝exp[-(x²+y²)/(2σ²)]；

步骤(1.2)：输入图像数据，对于图像中的每一个像素点计算梯度分量Ix，Iy；

步骤(1.3)：对于图像中的每一个像素点，计算自相关矩阵M和M’，根据自相关矩阵计算像素点角点响应函数R：

步骤(1.4)：判断像素点的角点响应函数值是否大于邻域内其他像素点的角点响应函数值，若大于则保留，否则舍弃；

步骤(1.5)：根据像素点的角点响应函数值最大值计算阈值，若R(x,y)大于该阈值且是局部极大值点，则将该像素点列为候选特征点；

步骤(1.6)：对候选特征点进一步计算Laplace响应，利用权重系数调节响应值：

Laplace算子为：

若候选特征点同时是Laplace相应的局部极值，则将该像素点选为特征点。

2.根据权利要求1所述的一种面向立体视觉三维重建的Har-SURF-RAN特征点匹配方法，其特征在于：所述的步骤(2)具体为：

步骤(2.1)：根据积分图像的数学公式对原图进行计算，求出对应的积分图像：

积分图像公式：

ii(i,j)＝∑_{i′≤i,j′≤j}p(i′,j′)；

步骤(2.2)：以特征点为中心，计算圆形邻域内的点在x、y方向的Haar小波响应，并给这些响应赋高斯权重系数；

步骤(2.3)：以图像中的特征点为中心，以π/3为扇形滑动窗口的角度，计算滑动窗口内的响应值m_w和θ_w：

m_w＝∑_wdx+∑_wdy；

θ_w＝arctan(∑_wdx/∑_wdy)；

步骤(2.4)：遍历整个圆形区域，选择最长矢量的方向为该特征点的主方向，得到每一个特征点的主方向；

步骤(2.5)：将坐标轴旋转为关键点的方向，以确保旋转不变性：

旋转公式为：

x＝x₀-j·s·sin(θ)+i·s·cos(θ)；

y＝y₀-j·s·cos(θ)+i·s·sin(θ)；

上式中，s为尺度因子；

步骤(2.6)：对每个特征点计算∑dx,∑|dx|,∑dy,∑|dy|,形成4通道或8通道的特征描述子矩阵。

3.根据权利要求1所述的一种面向立体视觉三维重建的Har-SURF-RAN特征点匹配方法，其特征在于：所述的步骤(4)具体为：

步骤(4.1)：计算特征匹配点对数据集A中各匹配点对的距离d，得到距离数据集D＝{d₁,d₂,……,d_n}；根据各点对距离值重复的多少将点对进行排序，重复次数越多，数据质量越高，排序越靠前；设置阈值t，滤除超过阈值的匹配点对；

步骤(4.2)：根据匹配点对的质量排序进行采样，从排序靠前的数据取起，减少取样次数，提高算法速度；

步骤(4.3)：根据采样点计算参数，获得拟合模型；

步骤(4.4)：对多组采样点获取的模型分别计算该模型是否满足其他未采样点，按照满足的高低程度从高到低进行排序，选取前N个模型；

步骤(4.5)：对前N个模型进行多轮采样，重复步骤(4.4)，直至选取到最佳模型；

步骤(4.6)：对最佳模型进行细化，设置优化参数K对最佳模型进行迭代，选取结果中判断阈值t小于等于Kt的结果作为优化结果；

步骤(4.7)：K减小，重复步骤(4.6)，直至减小至t终止；

步骤(4.8)：输出最终的特征匹配点对数据集A’。

Images