CN113657194A - 基于改进的surf算法的车辆摄像头图像特征提取匹配方法 - Google Patents

Abstract

本发明公开了一种基于改进的SURF算法的车辆摄像头图像特征提取匹配方法，该方法包括以下步骤：1)对获取的车辆摄像头图像进行特征检测；2)基于KD树加速的多策略融合的特征粗匹配；3)基于网格运动统计的特征精匹配。本发明方法在图像的特征提取上能够做到较为平均的分配，且KD树粗匹配和网格运动统计的精匹配在图像特征点的匹配上有效去除了错误匹配，提高了匹配的有效性，且鲁棒性以及准确性更高。

Description

基于改进的SURF算法的车辆摄像头图像特征提取匹配方法

技术领域

本发明涉及图像处理方面技术，尤其涉及一种基于改进的SURF算法的车辆摄像头图像特征提取匹配方法。

背景技术

为了提高汽车的行驶安全，降低驾驶员的工作强度，世界各国对驾驶辅助系统进行了多年的研究，并已扩展到自动驾驶汽车领域。ADAS在我国发展较晚，相关技术还不成熟，且我国高级驾驶辅助系统还有很大的空缺，具有较大发展潜力。摄像头图像识别是ADAS系统道路场景分析的核心模块，对汽车ADAS的感知性能有着重要影响。因此，对于图像特征提取和配对的研究相当重要。

目前在双目摄像头上采取的图像匹配算法仍然存在特征提取过多其存在匹配错误的情况。因此，研究一种准确率更高的图像匹配方法具有重要的现实意义。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于改进的SURF算法的车辆摄像头图像特征提取匹配方法，提高特征提取及配对的有效性和实时性。

本发明解决其技术问题所采用的技术方案是：一种基于改进的SURF算法的车辆摄像头图像特征提取匹配方法，包括以下步骤：

1)对获取的车辆摄像头图像进行特征检测；

1.1)利用变尺寸的盒子滤波模板进行平滑处理得到图像金字塔；

1.2)利用积分图像计算特征矢量并引入基于Harr响应的统计方法确定特征点主方向；

1.2.1)根据积分图像计算不同尺度的盒子滤波的响应值，并确定每个像素点的Hessian矩阵行列式值；

1.2.2)利用Hessian矩阵行列式构建的图像金字塔，在每个像素点周围的立体空间内进行特征点搜索与定位；

从金字塔的第二层开始，比较每个像素点的响应值与其三维邻域的26个像素点的响应值，使用非最大值抑制的方法初步确定特征点，同时检测到极值点；

根据极值点及其响应值，删除不符合要求的极值点；

1.2.3)为确保每个特征矢量的旋转不变性及匹配的鲁棒性，该算法引入Haar小波变换为特征点确定主方向及辅方向。在以特征点为中心，半径以特征点尺度固定倍数的圆形计算区域，利用响应模板遍历圆形计算区域内所有像元，求解X，Y方向的Haar小波响应值。为保证仿射不变性，算法采用圆形高斯加权函数对得到Haar小波响应进行权重处理。其次，在圆形区域内取一个圆心角为60度的扇形区域，并以0.2弧度为步长旋转扇形区域。同时在旋转的过程中计算扇形区域内的Haar小波响应值dx，dy及方向角并统计，最终得到矢量(m_w,θ_w)：

特征点主方向为最大响应值时，对应的扇形区域所指向的方向即主方向，同时，当m_w中存在主峰值能量80％以上的次高峰时，其对应的方向即为该特征点的辅方向。

1.3)沿特征点主方向取矩形区域，将该矩形区域均分为4×4个子块，对划分的4*4个子区域分别利用Harr小波计算响应值，统计全部子区域内的响应值形成64维特征矢量；

1.4)利用特征检测结果中保留的Hessian矩阵迹的正负号将特征点分为2类，对同一类别的特征点进行匹配，实现快速匹配；

1.5)根据特征点的分布进行均匀分布处理；

1.5.1)对特征点的位置和响应分数信息进行非极大值抑制，滤除密集分布的特征点；

1.5.2)设置更小的SURF算法阈值来获取更多的特征点，增加稀疏分布的特征点数量；

2)基于KD树加速的多策略融合的特征粗匹配；

利用KD树搜索算法，双向匹配两幅图像之间的特征点，即利用阈值比率为0.8的比率检验法经过第一次筛选，得到第一幅图像到第二幅图像上的匹配特征点集合S1，以及第二幅图像到第一幅图像的特征点S2，对于S1和S2的所有匹配对，通过匹配点间的描述符欧氏距离计算d，若小于阈值，则取为正确的匹配对。对于正确的匹配对再进行双向交叉检验法，在两个方向上都搜索到相同的匹配对。若两个方向上均搜索到相同的匹配对，且互为最近邻点，则匹配正确。通过这种粗匹配算法，经过三次筛选后，减少了错误匹配的概率，且保留了大部分正确匹配对。

3)基于网格运动统计的特征精匹配。

图像对{I_a,I_b}的特征数量分别为{N,M}，邻域{a,b}为匹配支持区域且特征点数分别为{n,m}。以匹配支持区域内的特征点作为匹配支持项，用两图之间最近邻特征匹配对的集合χ＝{x₁,x₂,…,x_i,…,x_N}表示，其中，|χ|＝N，且

为匹配对x_i邻域{a,b}内的匹配对子集，则去除原有匹配对x_i的匹配支持项S_i表示为：

S_i＝|χ_i|-1

将粗匹配得到的匹配进行划分网格，由于匹配对定位的准确性与网格数量成正比，但过多的网格数量会导致网格中的特征点减少，因此通过运动区域K进行补偿达到最优的匹配质量，根据经验，特征点为10000时，网格划分为20x20；对已匹配的邻域进行聚类，网格单元对为：

利用上述得到的网格单元对的评价分数，将所有的网格单元划分到正误集合{T,F}中。判定准则表示为：

其中，τ_i为确保错误网格单元对被剔除的阈值，由理想阈值τ＝m_f+αs_f简化得到，其中，α＝6，n_i是图中网格单元内特征点的平均数量。

最后，内部单元对间的特征匹配对是正确匹配从而确定内点为正确匹配对的集合称为T集合。由于在实际应用中，特征点可能落在网格边缘上，为补偿这种情况，将网格在x，y方向上偏移半个网格单元宽度，再进行网格聚类计算。如此循环以增加算法的鲁棒性。

本发明产生的有益效果是：

本发明针对目前车道线识别在实际应用中特征提取计算不准确以及特征计算较为复杂无法满足车辆运动所需的实时性等问题，提出一种改进的SURF算法来改进特征提取及配对的有效性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明中SURF算法在特征检测上的缺点示意图；

图2是本发明实施例的SURF算法尺度空间构建方式及图像金字塔示意图；

图3是本发明实施例的基于KD树的多策略融合的特征粗匹配流程图；

图4是本发明实施例的基于网格运动统计的特征匹配示意图；

图5是本发明实施例的本文算法与SURF算法在图片特征匹配上的比较区别示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

辅助驾驶环境中，摄像头所接收到的图像中元素一般为建筑物，公路等纹理规则区域，也存在行人，车辆等纹理复杂的区域。行人，车辆区域纹理复杂，因此特征点相对密集，而规则的区域特征点相对稀疏，因此，如图1所示，红色框内具有交通标识图样的马路中央区域没有特征点，会导致图片特征点分布不均匀，无法表达出全图的完整信息，且如果局部特征点过于密集，会导致匹配时间增加。

本实施例提出一种基于改进的SURF算法的车辆摄像头图像特征提取匹配方法，包括以下步骤：

1)对获取的车辆摄像头图像进行特征检测；

1.1)利用变尺寸的盒子滤波模板进行平滑处理得到图像金字塔；

如图2，利用Hessian矩阵行列式构建的图像金字塔，在每个像素点周围的立体空间内进行特征点搜索与定位。从金字塔的第二层开始，比较每个像素点的响应值与其三维邻域的26个像素点的响应值，使用非最大值抑制的方法初步确定特征点。这种方法可以保证在尺度空间及位置空间下同时检测到极值点。遍历完第二层后，依次检测其他层的极值点。由于极值点是离散空间中得到的，因此需要使用子像元插值法利用离散空间点转变成连续空间下的极值点。设H(X)是X＝(x,y,σ)处的特征点响应值，其泰勒级数展开的矢量形式为：

令

则极值点可以表示为：

可得极值点的响应值为：

当偏移量

大于0.5时，表示插值中心点已经偏离至其近邻点上，这样的点应该删除。同时，当响应值的绝对值

时，其对应的点因为噪声干扰变为不稳定的点，因此也需要删除。

1.2)利用积分图像计算特征矢量并引入基于Harr响应的统计方法确定特征点主方向；

1.2.1)根据积分图像计算不同尺度的盒子滤波的响应值，并确定每个像素点的Hessian矩阵行列式值；

1.2.2)利用Hessian矩阵行列式构建的图像金字塔，在每个像素点周围的立体空间内进行特征点搜索与定位；

从金字塔的第二层开始，比较每个像素点的响应值与其三维邻域的26个像素点的响应值，使用非最大值抑制的方法初步确定特征点，同时检测到极值点；

根据极值点及其响应值，删除不符合要求的极值点；

1.2.3)为确保每个特征矢量的旋转不变性及匹配的鲁棒性，该算法引入Haar小波变换为特征点确定主方向及辅方向。在以特征点为中心，半径以特征点尺度固定倍数的圆形计算区域，利用响应模板遍历圆形计算区域内所有像元，求解X，Y方向的Haar小波响应值。为保证仿射不变性，算法采用圆形高斯加权函数对得到Haar小波响应进行权重处理。其次，在圆形区域内取一个圆心角为60度的扇形区域，并以0.2弧度为步长旋转扇形区域。同时在旋转的过程中计算扇形区域内的Haar小波响应值dx，dy及方向角并统计，最终得到矢量(m_w,θ_w)：

特征点主方向为最大响应值时，对应的扇形区域所指向的方向即主方向，同时，当m_w中存在主峰值能量80％以上的次高峰时，其对应的方向即为该特征点的辅方向。

1.3)沿特征点主方向取矩形区域，将该矩形区域均分为4×4个子块，对划分的4*4个子区域分别利用Harr小波计算响应值，统计全部子区域内的响应值形成64维特征矢量；

1.4)利用特征检测结果中保留的Hessian矩阵迹的正负号将特征点分为2类，对同一类别的特征点进行匹配，实现快速匹配；

沿特征点主方向取矩形区域。首先，将该矩形区域均分为4×4个子块。其次，利用尺寸为2倍特征点尺寸的Haar小波模板计算每个子块内所有像元的响应值，分别得到与特征点主方向同向的dy及垂直于主方向的dx。最后，每个子块经过25次采样计算之后，对响应值进行∑dx、∑dy、∑dx、∑dy统计，即得到每个子块的特征矢量：

v＝[∑dx,∑|dx|,∑dy,∑|dy|]

共得到4×4×8＝128维特征描述符，并且特征描述符的维数越高，所承载的信息量就越大，描述子的可区分性越好，因此通过在统计∑dx、∑dy、∑|dx|、∑|dy|的过程中可以进一步区分dx≥0、dx<0及dy≥0、dy<0两种正负情况，进而使每个子块被划分为8个梯度统计值，从而实现将128维SURF特征描述符。

1.5)根据特征点的分布进行均匀分布处理；

对特征点的位置和响应分数信息进行非极大值抑制，滤除密集分布的特征点；

设置更小的SURF算法阈值来获取更多的特征点，增加稀疏分布的特征点数量；

2)基于KD树加速的多策略融合的特征粗匹配；

利用KD树搜索算法，双向匹配两幅图像之间的特征点，即利用阈值比率为0.8的比率检验法经过第一次筛选，得到第一幅图像到第二幅图像上的匹配特征点集合S1，以及第二幅图像到第一幅图像的特征点S2，对于S1和S2的所有匹配对，通过匹配点间的描述符欧氏距离计算d，若小于阈值，则取为正确的匹配对。对于正确的匹配对再进行双向交叉检验法，在两个方向上都搜索到相同的匹配对。若两个方向上均搜索到相同的匹配对，且互为最近邻点，则匹配正确。通过这种粗匹配算法，经过三次筛选后，减少了错误匹配的概率，且保留了大部分正确匹配对。如图3所示。

3)基于网格运动统计的特征精匹配。

图像对{I_a,I_b}的特征数量分别为{N,M}，邻域{a,b}为匹配支持区域且特征点数分别为{n,m}。以匹配支持区域内的特征点作为匹配支持项，用两图之间最近邻特征匹配对的集合χ＝{x₁,x₂,…,x_i,…,x_N}表示，其中，|χ|＝N，且

为匹配对x_i邻域{a,b}内的匹配对子集，则去除原有匹配对x_i的匹配支持项S_i表示为：

S_i＝|χ_i|-1

将粗匹配得到的匹配进行划分网格，由于匹配对定位的准确性与网格数量成正比，但过多的网格数量会导致网格中的特征点减少，因此通过运动区域K进行补偿达到最优的匹配质量，根据经验，特征点为10000时，网格划分为20x20。对已匹配的邻域进行聚类，网格单元对可以写为

利用上述得到的网格单元对的评价分数，将所有的网格单元划分到正误集合{T,F}中。判定准则表示为：

其中，τ_i为确保错误网格单元对被剔除的阈值，由理想阈值τ＝m_f+αs_f简化得到，其中，α＝6，n_i是图中网格单元内特征点的平均数量。

最后，内部单元对间的特征匹配对是正确匹配从而确定内点为正确匹配对的集合称为T集合。

图4为基于网格运动统计的特征匹配示意图。由于在实际应用中，特征点可能落在网格边缘上，为补偿这种情况，将网格在x，y方向上偏移半个网格单元宽度，再进行网格聚类计算。如此循环以增加算法的鲁棒性。

本发明改进后的SURF算法与传统的SURF算法以及SIFT算法的比较如表1所示，相对于传统方法在增加了少量的匹配对数量基础上，减少了匹配所需的时间，且如图5所示，可以看到改进后的SURF算法，在图片中央部分特征提取上分布更加均匀，能够更好的展现图片的语义，且在后续的图像匹配上，误匹配的概率更小，表明改进后的算法在准确性和鲁棒性上要优于原始的SURF算法，更能符合ADAS自动驾驶辅助功能所要求的图片处理功能。

表1不同特征检测算法对马路图像特征匹配的数量性，实时性对比结果

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种基于改进的SURF算法的车辆摄像头图像特征提取匹配方法，其特征在于，包括以下步骤：

1)对获取的车辆摄像头图像进行特征检测；

1.1)利用变尺寸的盒子滤波模板进行平滑处理得到图像金字塔；

1.2)利用积分图像计算特征矢量并引入基于Harr响应的统计方法确定特征点主方向；

1.3)沿特征点主方向取矩形区域，将该矩形区域均分为4×4个子块，对划分的4*4个子区域分别利用Harr小波计算响应值，统计全部子区域内的响应值形成64维特征矢量；

1.4)利用特征检测结果中保留的Hessian矩阵迹的正负号将特征点分为2类，对同一类别的特征点进行匹配，实现快速匹配；

1.5)根据特征点的分布进行均匀分布处理；

2)基于KD树加速的多策略融合的特征粗匹配；

利用KD树搜索算法，双向匹配两幅图像之间的特征点，即利用阈值比率为0.8的比率检验法经过第一次筛选，得到第一幅图像到第二幅图像上的匹配特征点集合S1，以及第二幅图像到第一幅图像的特征点S2，对于S1和S2的所有匹配对，通过匹配点间的描述符欧氏距离计算d，若小于阈值，则取为正确的匹配对；对于正确的匹配对再进行双向交叉检验法，在两个方向上都搜索到相同的匹配对；若两个方向上均搜索到相同的匹配对，且互为最近邻点，则匹配正确；

3)基于网格运动统计的特征精匹配；

设图像对{I_a,I_b}的特征数量分别为{N,M}，邻域{a,b}为匹配支持区域且特征点数分别为{n,m}；以匹配支持区域内的特征点作为匹配支持项，用两图之间最近邻特征匹配对的集合χ＝{x₁,x₂,…,x_i,…,x_N}表示，其中，|χ|＝N，且

为匹配对x_i邻域{a,b}内的匹配对子集，则去除原有匹配对x_i的匹配支持项S_i表示为：

S_i＝|χ_i|-1

将粗匹配得到的匹配进行划分网格，由于匹配对定位的准确性与网格数量成正比，但过多的网格数量会导致网格中的特征点减少，因此通过运动区域K进行补偿达到最优的匹配质量；对已匹配的邻域进行聚类，网格单元对为：

利用上述得到的网格单元对的评价分数，将所有的网格单元划分到正误集合{T,F}中，判定准则表示为：

其中，τ_i为确保错误网格单元对被剔除的阈值，n_i是图中网格单元内特征点的平均数量。

2.根据权利要求1所述的基于改进的SURF算法的车辆摄像头图像特征提取匹配方法，其特征在于，所述步骤1.2)中，具体如下：

1.2.1)根据积分图像计算不同尺度的盒子滤波的响应值，并确定每个像素点的Hessian矩阵行列式值；

1.2.2)利用Hessian矩阵行列式构建的图像金字塔，在每个像素点周围的立体空间内进行特征点搜索与定位；

从金字塔的第二层开始，比较每个像素点的响应值与其三维邻域的26个像素点的响应值，使用非最大值抑制的方法初步确定特征点，同时检测到极值点；

根据极值点及其响应值，删除不符合要求的极值点；

1.2.3)为确保每个特征矢量的旋转不变性及匹配的鲁棒性，通过Haar小波变换为特征点确定主方向及辅方向。

3.根据权利要求2所述的基于改进的SURF算法的车辆摄像头图像特征提取匹配方法，其特征在于，所述步骤1.2.3)中，为特征点确定主方向及辅方向具体如下：

在以特征点为中心，半径以特征点尺度固定倍数的圆形计算区域，利用响应模板遍历圆形计算区域内所有像元，求解X，Y方向的Haar小波响应值；为保证仿射不变性，算法采用圆形高斯加权函数对得到Haar小波响应进行权重处理；其次，在圆形区域内取一个圆心角为60度的扇形区域，并以0.2弧度为步长旋转扇形区域；同时在旋转的过程中计算扇形区域内的Haar小波响应值dx，dy及方向角并统计，最终得到矢量(m_w,θ_w)：

特征点主方向为最大响应值时，对应的扇形区域所指向的方向即主方向，同时，当m_w中存在主峰值能量80％以上的次高峰时，其对应的方向即为该特征点的辅方向。

4.根据权利要求1所述的基于改进的SURF算法的车辆摄像头图像特征提取匹配方法，其特征在于，所述步骤1.5)中采用以下方式对特征点进行均匀分布处理；

1.5.1)对特征点的位置和响应分数信息进行非极大值抑制，滤除密集分布的特征点；

1.5.2)设置更小的SURF算法阈值来获取更多的特征点，增加稀疏分布的特征点数量。

Images