CN115187791A - 一种融合颜色和尺度特征的orb图像匹配方法 - Google Patents

Abstract

针对传统ORB算法因忽略图像颜色信息，对光照变化的鲁棒性较差，易造成误匹配的情况，本发明公开了一种融合颜色和尺度特征的ORB图像匹配方法。所述方法包括：首先使用颜色不变量模型对彩色图像进行预处理，求出图像的颜色不变量，以颜色不变量作为输入信息，建立积分图像，采用盒式滤波器建立尺度空间，使用快速Hession矩阵检测极值点，提取具有尺度不变性的特征点，然后使用rBRIEF算法得到特征描述符，最后采用汉明距离和改进RANSAC算法去除误匹配点。本发明在保证ORB算法特点的基础上，改善了ORB算法在颜色不同而对应灰度值相同区域正确匹配率低的问题，并且使算法具备尺度不变性，解决了特征点分布不均匀的情况，提高了图像发生尺度变化时匹配精度。

Description

一种融合颜色和尺度特征的ORB图像匹配方法

技术领域

本发明属于机器人视觉技术领域，尤其涉及一种融合颜色和尺度特征的ORB图像匹配方法。

背景技术

图像匹配技术是机器人视觉的基础，已广泛应用于视觉SLAM、目标跟踪等多个领域。图像匹配算法可以分为：基于变换域的方法、基于灰度的方法和基于特征的方法。基于特征的图像配准具有很好的鲁棒性，计算量小，速度快，成为研究的主流方向。图像中提取到的特征点需要对图像的光照变换、尺度变换、旋转变换等具有一定的鲁棒性，才能有效保证特征点的精确匹配。现有的特征点提取和匹配算法在匹配精度和匹配效率上仍存在不足，随着图像处理技术的发展，对特征点提取和匹配算法的准确性和实时性提出了更高的要求。

在视觉SLAM中，特征点的提取和准确的特征匹配对机器人的位姿推断具有重要作用。目前，ORB(Oriented FAST and Rotated BRIEF)算法因特征点提取速度快，具有良好的稳定性，被广泛应用于视觉SLAM中。然而，为了降低复杂度，ORB算法的第一步是将彩色图转化为灰度图，在灰度图上进行特征提取，没有考虑到原始彩色图像的颜色信息，而颜色信息是图像的重要组成部分，在对彩色图像的检测、识别、跟踪过程中有着非常重要的意义，由于颜色信息的缺失，降低了彩色图像的对比度，就会导致在颜色不同而对应灰度值相同的区域内无法提取出特征点、正确匹配率低等问题；而且传统的ORB算法使用FAST角点进行特征点提取，所提取到的特征点不具有尺度不变性，对发生尺度变化的图像配准，鲁棒性较低。

针对上述问题，文献《结合颜色不变量和ORB特征的图像匹配算法》提出将颜色不变量与ORB特征描述子相结合，形成C-ORB算法，存在如下问题：ORB算法采用FAST角点检测算法来对特征点进行检测，所得到的特征点分布不均匀、存在冗余，且不具有尺度不变性的特点，对发生尺度变化的图像，匹配性能较差。

中国专利CN 111784576 A《一种基于改进ORB特征算法的图像拼接方法》提出通过多尺度空间理论，构建Hession矩阵和高斯金字塔对ORB算法进行改进，达到尺度不变的目的。但由于缺少图像的颜色信息，就会导致在颜色不同而对应灰度值相同的区域内无法提取出特征点且正确匹配率低。

发明内容

针对现有方法的不足，本发明提供一种融合颜色和尺度特征的ORB图像匹配方法，目的是为了解决传统ORB算法在颜色不同而对应灰度值相同区域正确匹配率低的问题，在图像匹配过程中即体现了ORB算法的快速性，又充分利用了图像的颜色信息，并且提高了算法在发生尺度变化时的正确匹配率。首先使用颜色不变量模型对彩色图像进行预处理，求出图像的颜色不变量，以颜色不变量作为输入信息，建立积分图像，采用盒式滤波器建立尺度空间，使用快速Hession矩阵检测极值点，提取具有尺度不变性的特征点，然后使用rBRIEF算法得到特征描述符，最后采用汉明距离和改进RANSAC算法去除误匹配点。本发明在保证ORB算法特点的基础上，通过引入颜色不变量模型，充分利用图像的颜色信息，改善了ORB算法在颜色不同而对应灰度值相同区域正确匹配率低的问题，采用盒式滤波的方法来构建尺度空间，在不同尺度下搜索特征点，该方法在获取特征点的数量上和质量上都有着较好的稳定性，使得ORB算法具备了尺度不变性，解决了ORB算法特征点分布不均匀的情况，提高了匹配精度。一种融合颜色和尺度特征的ORB图像匹配方法包括以下步骤：

S1、使用颜色不变量模型对待匹配的前后两帧彩色图像进行预处理，求出图像各位置的颜色不变量；

S2、对待匹配的前后两帧彩色图像，将计算得到的颜色不变量作为输入信息，建立积分图像，采用盒式滤波器代替二阶高斯微分，通过不断增大盒式滤波器的窗口大小构建图像尺度空间；

S3、对图像进行高斯滤波，构建Hession矩阵，在尺度空间上对使用快速Hessian矩阵局部极值来确定图像的特征点；

S4、使用带有旋转不变特性的rBRIEF算法提取特征描述符；

S5、使用汉明距离剔除部分错误匹配点对，完成对特征点的粗匹配；

S6、使用改进RANSAN算法进一步去除图像中的误匹配点对，对特征点进行精匹配，提高匹配精度；

所述的S1中，使用颜色不变量模型对图像进行预处理：

Kubelka-Munk理论的物体光谱辐射模型表达式为：

E(λ,x)＝e(λ,x)[1-ρ_f(x)]²R_∞(λ,x)+e(λ,x)ρ_f(x) (1)

式中：λ表示波长；x为图像的二维平面位置；e(λ,x)表示光谱强度；ρ_f(x)表示x处的Fresnel反射系数；R_∞(λ,x)表示反射率；E(λ,x)为光谱反射的成像结果。

通常，e(λ,x)在各波长上保持不变而与位置有关，所以可将e(λ,x)改写为位置函数i(x)，则式(1)变为：

E(λ,x)＝i(x)[1-ρ_f(x)]²R_∞(λ,x)+i(x)ρ_f(x) (2)

对式(2)中λ分别进行一阶微分和二阶微分相除，可得：

H为颜色不变量的一种表述，同观察位置、表面朝向、光强大小、反射系数均无关。

彩色图像的RGB分量和(E,E_λ,E_λλ)的关系近似为：

根据下式可求得彩色图像的颜色不变量H为：

所述的S2中，对待匹配的前后两帧彩色图像，将计算得到的颜色不变量H作为输入信息，建立积分图像，采用盒式滤波器代替二阶高斯微分，建立尺度空间具体包括以下步骤：

对于参考图像I₁(x,y)和待匹配图像I₂(x,y)，分别求出颜色不变量H₁(x,y)和H₂(x,y)后，以H₁、H₂作为输入信息，采用盒式滤波器取代二阶高斯微分，采用积分图提高计算速度，通过不断增大盒式滤波器的窗口大小构建不同尺度的图像金字塔。

定义图像f(x,y)，图像上任意一点I(x,y)，对其进行高斯滤波，如下式所示：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (6)

式中：σ为尺度信息，G(x,y,σ)为固定的高斯核函数，*为高斯核函数卷积运算，I(x,y)表示输入图像(相当于H₁(x,y)或H₂(x,y))。

然后对高斯滤波后的图像中的每个像素进行拉普拉斯运算，拉普拉斯运算结果用Hession矩阵表示，如下式所示：

式中：L_xx(x,y,σ)、L_xy(x,y,σ)、L_yx(x,y,σ)、L_yy(x,y,σ)分别代表在x方向的二阶导数，在x和y方向依次求偏导数，在y和x方向依次求偏导数，在y方向求二阶导数高斯滤波窗口。

所述的S3中，构建Hession矩阵，利用近似Hession矩阵的局部极大值计算不同尺度下特征点的位置，具体包括以下步骤：

利用盒式滤波器求出图像中每个像素的Hession矩阵后，接着求Hession矩阵的决定值，Hessian矩阵的判别式可以解析为，水平方向的二阶导和垂直方向二阶导相乘，然后减去水平和垂直二阶偏导相乘，如下式所示：

Det(H)＝L_xx·L_yy-L_xy·L_yx (8)

为了降低特征点提取过程的复杂度，提高实时性，采用盒子滤波和积分图像的概念，对L_xx、L_xy、L_yy进行简化和加速，采用Fast-Hession矩阵，把高斯二阶偏导数近似化处理，得到盒式滤波器估计值D_xx、D_xy、D_yy，考虑到使用盒式滤波器近似可能带来的误差，需设置一个大小为0.9的补偿系数，进而可求得Fast-Hession矩阵的近似行列式表达式，即：

Det(H)＝D_xx·D_yy-(0.9D_xy)² (9)

式中：D_xx、D_xy、D_yy为图像卷积结果。

通过矩阵的行列式和特征值来判别是否为极值点，若Fast-Hessian矩阵的行列式值为正，且两个特征值不同时为正或为负，则认定为极值点。

所述的S4中，使用带有旋转不变特性的rBRIEF算法提取特征描述符具体包括以下步骤：

ORB算法使用改进的BRIEF算法计算一个特征点的描述子。BRIEF是一种二进制描述子，其描述向量由许多个0和1组成，这里的0和1编码了关键点附近两个随机像素(比如p和q)的大小关系，如果p比q大，则取1，反之取0。BRIEF使用随机选点的比较，速度快，使用二进制表达，存储也十分方便，适用于实时的图像匹配。

定义操作τ：

式中：p(x)和p(y)分别为随机点x和y的像素值。

对于任意特征点，在31x31邻域内位置为(x_i,y_i)的n对特征点集，可以用2×n的矩阵来表示：

利用特征点主方向θ和对应的旋转矩阵R_θ，计算出S_θ来表示S：

这样就得到了具有方向性的描述子：

g_n(p,θ)＝f_n(p)|(x_i,y_i)∈S_θ (13)

式中：

为BRIEF的描述符。

所述的S5中，使用汉明距离对特征点粗匹配具体步骤包括以下内容：

汉明距离的主要思想是待匹配的两幅图像中选取两个二进制描述子g₁、g₂，将其进行异或运算，计算g₁、g₂之间的汉明距离Hdis₁₂，如下式所示：

将Hdis₁₂与预设定的阈值H_th进行比较，若大于预设阈值，则表示匹配成功，否则匹配失败。由于计算汉明距离所设定阈值的不同会产生误匹配，所以要去除误匹配点对。

所述S6中使用汉明距离粗匹配后，再采用改进RANSAC算法，对特征点进一步配准，其具体步骤为：

RANSAC算法去除误配点的核心是求出单应矩阵，它描述的是图像之间几何变化关系，任意点(x,y)通过变换得到(x₁,y₁)，如下式所示：

式中：

为变换矩阵，m₂、m₅表示水平和垂直方向位移，m₀、m₁、m₃、m₄表示尺度和旋转量，m₆、m₇分别代表垂直与水平变形量。

通常情况下，RANSAC算法的迭代次数的多少体现了该算法的运行效率，设定最大迭代的次数N需满足下式条件：

式中：w是从随机选取任意一点且该点为内点的概率，采样得到一组点均为内点的概率为p，m为最小匹配点对数目。

然而当含有较多误匹配点对时，RANSAC算法的计算时间将呈指数上升，通过减小外点样本数量，提高内点的比例，可以达到去除误匹配点和缩短运行时间的目的。

改进的RANSAC算法为：

求出前后两帧待匹配图像最近邻匹配对(A_i,B_i)、(A_j,B_j)中特征点的匹配距离l，利用前一帧图像A和后一帧图像B中匹配对与最近邻匹配对距离关系相似性来评价距离两点对应关系，评价函数如下式：

式中：c为内点个数；R(i,j)为(A_i,B_i)与对应特征点距离相对差异；Y(i,j)为(A_i,B_i)与相对应特征点的平均距离。计算评价函数F(i)的平均值，记为

利用评价函数F(i)对选取的匹配距离l做判断，若

则将匹配点保留，组成新的样本集C。从中随机抽取4个匹配对作为内点集C_i，用这4个样本数据拟合出单应矩阵。

利用当前计算的单应矩阵去验证样本集中剩余的内点集，如果某个点对适合，且误差小于阈值μ，则认为该点为局内点，将其加入内点集C_i。如果内点集C_i中元素个数大于阈值θ，则更新内点集，重新计算当前模型。

本发明具有如下有益效果：

1.颜色信息是区分图像的重要特征，本发明通过引入彩色图像的颜色不变量模型，以颜色不变量作为输入信息，在保留ORB算法优点的基础上，能够将图像的颜色信息应用到图像匹配过程中，改善了传统ORB算法在颜色不同而对应灰度值相同区域正确匹配率低的问题。

2.本发明通过使用积分图和盒式滤波器构建尺度空间，使用快速Hession矩阵，在不同的尺度空间下提取具有尺度不变性的特征点，解决了当图像发生尺度变化后，ORB算法匹配性能差的问题。

3.当含有较多误匹配点对时，RANSAC算法的计算时间将呈指数上升，通过减小外点样本数量，提高内点的比例，可以达到去除误匹配点和缩短运行时间的目的。

附图说明

图1一种融合颜色和尺度特征的ORB图像匹配方法流程图；

图2盒式滤波器；

图3传统ORB算法的匹配结果；

图4本发明的匹配结果；

图5传统ORB算法在尺度变化下的匹配结果；

图6本发明在尺度变化下的匹配结果；

图7传统ORB算法在旋转变化下的匹配结果；

图8本发明在旋转变化下的匹配结果。

具体实施方式

下面结合附图及具体实施方式对本发明做进一步描述。

本发明提供一种融合颜色和尺度特征的ORB图像匹配方法，如图1所示，包括以下步骤：

S1、使用颜色不变量模型对待匹配的前后两帧彩色图像进行预处理，求出图像各位置的颜色不变量；

S2、对待匹配的前后两帧彩色图像，将计算得到的颜色不变量作为输入信息，建立积分图像，采用盒式滤波器代替二阶高斯微分，通过不断增大盒式滤波器的窗口大小构建图像尺度空间；

S3、对图像进行高斯滤波，构建Hession矩阵，在尺度空间上对使用快速Hessian矩阵局部极值来确定图像的特征点；

S4、使用带有旋转不变特性的rBRIEF算法提取特征描述符；

S5、使用汉明距离剔除部分错误匹配点对，完成对特征点的粗匹配；

S6、使用改进RANSAN算法进一步去除图像中的误匹配点对，对特征点进行精匹配，提高匹配精度；

所述的S1中，使用颜色不变量模型对图像进行预处理：

Kubelka-Munk理论的物体光谱辐射模型表达式为：

E(λ,x)＝e(λ,x)[1-ρ_f(x)]²R_∞(λ,x)+e(λ,x)ρ_f(x) (1)

式中：λ表示波长；x为图像的二维平面位置；e(λ,x)表示光谱强度；ρ_f(x)表示x处的Fresnel反射系数；R_∞(λ,x)表示反射率；E(λ,x)为光谱反射的成像结果。

通常，e(λ,x)在各波长上保持不变而与位置有关，所以可将e(λ,x)改写为位置函数i(x)，则式(1)可改写为：

E(λ,x)＝i(x)[1-ρ_f(x)]²R_∞(λ,x)+i(x)ρ_f(x) (2)

对式(2)中λ分别进行一阶微分和二阶微分：

将上两式相除，可得：

H为颜色不变量的一种表述，同观察位置、表面朝向、光强大小、反射系数均无关。

通过RGB空间的线性变换得到光谱微分(E,E_λ,E_λλ)，就可以在RGB空间中计算这些不变量。在符合人眼视觉系统和CIE-1964-XYZ标准的条件下，彩色图像的RGB分量和(E,E_λ,E_λλ)的关系近似为：

式中：R(x,y)、G(x,y)、B(x,y)分别为待匹配彩色图像中坐标为(x,y)的像素R、G、B三个颜色分量，E(x,y)为颜色空间中待匹配彩色图像的亮度分量，E_λ(x,y)为颜色空间中待匹配的彩色图像的蓝色-黄色的颜色分量，E_λλ(x,y)为颜色空间中待匹配的彩色图像的绿色-红色的颜色分量。

选择的颜色不变性描述特征为E_λy、E_λx、E_λλx、E_λλy、E_λ、E_λλ，所以根据式(5)可求得彩色图像的颜色不变量H为：

所述的S2中，对待匹配的前后两帧彩色图像，将计算得到的颜色不变量H作为输入信息，建立积分图像，采用盒式滤波器代替高斯核函数，建立尺度空间具体包括以下步骤：

传统的ORB算法采用FAST算法进行特征点检测，在改进的ORB算法中，结合了盒式滤波器算法提取特征点的思想，使得图像能够适应尺度变化的同时，检测到更多的特征点，并且检测得到的特征点在图像中分布更加均匀，提高特征点的匹配成功率。

对于参考图像I₁(x,y)和待匹配图像I₂(x,y)，分别求出颜色不变量H₁(x,y)和H₂(x,y)后，以H₁、H₂作为输入信息，采用盒式滤波器取代二阶高斯微分，采用积分图提高计算速度，通过不断增大盒式滤波器的窗口大小构建不同尺度的图像金字塔。

定义图像f(x,y)，图像上任意一点I(x,y)，对其进行高斯滤波，如下式所示：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (8)

式中：σ为尺度信息，G(x,y,σ)为固定的高斯核函数，*为高斯核函数卷积运算，I(x,y)表示输入图像(相当于H₁(x,y)或H₂(x,y))。

然后对高斯滤波后的图像中的每个像素进行拉普拉斯运算，拉普拉斯运算结果用Hession矩阵表示，如下式所示：

式中：L_xx(x,y,σ)、L_xy(x,y,σ)、L_yx(x,y,σ)、L_yy(x,y,σ)分别代表在x方向的二阶导数，在x和y方向依次求偏导数，在y和x方向依次求偏导数，在y方向求二阶导数高斯滤波窗口。

使用不同尺寸的盒式滤波器，在滤波的过程中完成尺度变化，生成图像金字塔即是尺度空间。

所述的S3中，构建Hession矩阵，利用近似Hession矩阵的局部极大值计算不同尺度下特征点的位置，具体包括以下步骤：

利用盒式滤波器求出图像中每个像素的Hession矩阵后，接着求Hession矩阵的决定值，Hessian矩阵的判别式可以解析为，水平方向的二阶导和垂直方向二阶导相乘，然后减去水平和垂直二阶偏导相乘，如下式所示：

Det(H)＝L_xx·L_yy-L_xy·L_yx (10)

为了降低特征点提取过程的复杂度，提高实时性，采用盒子滤波和积分图像的概念，对L_xx、L_xy、L_yy进行简化和加速，采用Fast-Hession矩阵，把高斯二阶偏导数近似化处理，得到盒式滤波器估计值D_xx、D_xy、D_yy，考虑到使用盒式滤波器近似可能带来的误差，需设置一个大小为0.9的补偿系数，进而可求得Fast-Hession矩阵的近似行列式表达式，即：

Det(H)＝D_xx·D_yy-(0.9D_xy)² (11)

式中：D_xx、D_xy、D_yy为图像卷积结果。

这种滤波窗口有3种形状，分别是x方向二阶导形、y方向二阶导形和x、y混合导形，如图2的左半部分所示。窗口中的不同亮度表示不同的加权系数，可以看到这些窗口中加权系数较多，计算起来耗时。所以采用盒式滤波器来近似这些窗口，将一定区域的不同加权系数统一起来用某个固定值表示，如图2右半部分所示。

将处理后的像素点与其三维邻域内像素点进行比较，将结果与预先设定阈值进行对比，去除不满足条件的特征点，通过改变尺度大小，获得不同尺度上的响应点图像特征点的尺度性由改变不同滤波窗口的尺存来确定。通过矩阵的行列式和特征值来判别是否为极值点，若Fast-Hessian矩阵的行列式值为正，且两个特征值不同时为正或为负，则认定为极值点。

确定特征点方向，使其具有旋转不变性的特征。在一个小的图像块B中，定义图像块的矩：

式中：I(x,y)表示输入图像(相当于H₁(x,y)或H₂(x,y))。

通过图像块的矩可以找到图像块的质心：

式中：m₀₀为0阶矩，m₁₀和m₀₁为1阶矩。

则连接图像块的几何中心O与质心C，得到一个方向向量

这就是特征点方向：

θ＝atan2(m₀₁,m₁₀) (14)

式中：atan2是arctan的象限相关函数。

所述的S4中，使用带有旋转不变特性的rBRIEF算法提取特征描述符具体包括以下步骤：

将检测到的极值点定位到由原图变换成的灰度图像中，利用灰度图的信息生成特征描述子。在提取到特征点后，需对每一个关键点计算其描述子。BRIEF是一种二进制描述子，其描述向量由许多个0和1组成，这里的0和1编码了关键点附近两个随机像素(比如p(x)和p(y))的大小关系。

定义操作τ：

式中：p(x)和p(y)分别为随机点x和y的像素值。

为了便于描述，挑选出4个点，记作：

p₁(x,y)、p₂(x,y)、p₃(x,y)、p₄(x,y)。

分别对随机选取的点进行τ操作，将得到的计算结果进行组合：

则最终得到的描述子为：1001。

为解决BRIEF算法不具有旋转不变性的问题，ORB算法中使用了steered BRIEF算法，对于任意特征点，在31x31邻域内位置为(x_i,y_i)的n对特征点集，可以用2×n的矩阵来表示：

利用特征点主方向θ和对应的旋转矩阵R_θ，计算出S_θ来表示S：

这样就得到了具有方向性的描述子：

g_n(p,θ)＝f_n(p)|(x_i,y_i)∈S_θ (19)

式中：

为BRIEF的描述符。

所述的S5中，使用汉明距离对特征点粗匹配的具体步骤包括以下内容：

汉明距离的主要思想是待匹配的两幅图像中选取两个二进制描述子g₁、g₂，将其进行异或运算，计算g₁、g₂之间的汉明距离Hdis₁₂，公式如下：

将Hdis₁₂与预设定的阈值H_th进行比较，若大于预设阈值，则表示匹配成功，否则匹配失败。由于计算汉明距离所设定阈值的不同会产生误匹配，所以要去除误匹配点对。

所述的S6中，在利用汉明距离粗匹配后，使用改进RANSAN算法进一步去除图像中的误匹配点对，其具体步骤为：

随机采样一致性(RANSAC)算法能够在匹配集中存在大量误匹配的情况下，求出正确的特征点匹配关系并且有效去除误匹配点，从而保证图像配准的高精度。算法主要思想是从一组存在异常数据的数据集中进行参数估计，其本质是寻找一个包含最优参数的单应性矩阵。

RANSAC算法去除误配点的核心是求出单应矩阵，它描述的是图像之间几何变化关系，任意点(x,y)通过变换得到(x₁,y₁)，如下式所示：

式中：

为变换矩阵，m₂、m₅表示水平和垂直方向位移，m₀、m₁、m₃、m₄表示尺度和旋转量，m₆、m₇分别代表垂直与水平变形量。

通常情况下，RANSAC算法的迭代次数的多少体现了该算法的运行效率，设定最大迭代的次数N需满足下式条件：

式中：w是随机选取任意一点且该点为内点的概率，p为采样得到一组点均为内点的概率，m为最小匹配点对数目。

在置信度p不变的情况下，w变小，N增大；w变大，N减小。因此，为了更好的提升计算最优内点集的效率，缩短算法运行时间，可以通过提高内点在数据集中所占的比例从而减小迭代次数。

然而当含有较多误匹配点对时，RANSAC算法的计算时间将呈指数上升，通过减小外点样本数量，提高内点的比例，可以达到去除误匹配点和缩短运行时间的目的。

改进的RANSAC算法步骤为：

求出前后两帧待匹配图像最近邻匹配对(A_i,A_i)、(B_j,B_j)中特征点的匹配距离l，l满足l∈[L_min,λ·L_max]，其中L_min,L_max分别为匹配距离的最大和最小值，λ∈[0,1]为比例因子，一般取值0.7。利用前一帧图像A和后一帧图像B中匹配对与最近邻匹配对距离关系相似性来评价距离两点对应关系，评价函数如下式：

式中：c为内点个数；R(i,j)为(A_i,B_i)与对应特征点距离相对差异；Y(i,j)为(A_i,B_i)与相对应特征点的平均距离。计算评价函数F(i)的平均值，记为

利用评价函数F(i)对选取的匹配距离l做判断，若

则将匹配点保留，组成新的样本集C。从中随机抽取4个匹配对作为内点集C_i，用这4个样本数据拟合出单应矩阵。

利用当前计算的单应矩阵去验证样本集中剩余的内点集，如果某个点对适合，且误差小于阈值μ，则认为该点为局内点，将其加入内点集C_i。如果内点集C_i中元素个数大于阈值θ，则更新内点集，重新计算当前模型。

本发明先通过汉明距离进行特征粗匹配，得到匹配点集，初步完成匹配对的筛选，然后使用改进RANSAC算法再次剔除误匹配，最后完成图像特征点的匹配。

以下结合实验结果对本发明进行验证，图3和图4为图像正常情况下使用传统ORB算法和本发明算法的匹配效果对比，图5和图6为当图像发生尺度变化时使用传统ORB算法和本发明算法的匹配效果对比，图7和图8为当图像发生旋转变化时，使用传统ORB算法和本发明算法的匹配效果对比。传统ORB算法所提取到的特征点数量少且主要集中在一些特征较为明显的地方，而且存在几处错误匹配对。对比本发明算法所提取到的特征点分布更为均匀，在对一些形状不同而对应灰度值相同区域也能提取到一定数量的特征点并完成正确的匹配，当图片发生尺度或旋转变化时，本发明算法也可以提取出较多的特征点并完成匹配，解决了传统ORB算法存在提取出特征点少且密集的问题，利用改进的RANSAN算法通过增加内点的比例，当提取到较多数量的特征点时，保证了正确匹配的成功率。

最后应说明的是：以上所述具体实施方案，对本发明的发明目的、技术方案和有益效果进行了进一步说明，以上实施例仅用于说明本发明的技术方案，而非对本发明创造保护范围的限制，本领域的普通技术人员应当理解，凡在本发明的技术方案进行修改、等同替换，均包含在本发明的保护范围内。

Claims (1)

1.一种融合颜色和尺度特征的ORB图像匹配方法，其特征在于，包括以下步骤：

S1、使用颜色不变量模型对待匹配的前后两帧彩色图像进行预处理，求出图像各位置的颜色不变量；

S2、对待匹配的前后两帧彩色图像，将计算得到的颜色不变量作为输入信息，建立积分图像，采用盒式滤波器代替二阶高斯微分，通过不断增大盒式滤波器的窗口大小构建图像尺度空间；

S3、对图像进行高斯滤波，构建Hession矩阵，在尺度空间上对使用快速Hessian矩阵局部极值来确定图像的特征点；

S4、使用带有旋转不变特性的rBRIEF算法提取特征描述符；

S5、使用汉明距离剔除部分错误匹配点对，完成对特征点的粗匹配；

S6、使用改进RANSAN算法进一步去除图像中的误匹配点对，对特征点进行精匹配，提高匹配精度；

所述的S1中，根据颜色不变量模型，对待匹配的前后两帧彩色图像进行预处理，得到彩色图像的颜色不变量H，具体步骤为：

式中：E为光谱反射的成像结果，E_λ、E_λλ分别为物体光谱辐射模型的一阶微分和二阶微分，λ表示波长，R_∞(λ,x)表示反射率；

彩色图像的RGB分量和(E,E_λ,E_λλ)的关系近似为：

彩色图像的颜色不变量H为：

所述的S2中，以颜色不变量作为输入，采用盒式滤波器建立尺度空间，具体步骤为：

定义图像f(x,y)，图像上任意一点I(x,y)，对其进行高斯滤波，如下式所示：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (4)

式中：σ为尺度信息，G(x,y,σ)为固定的高斯核函数，*为高斯核函数卷积运算，I(x,y)表示输入图像(相当于H₁(x,y)或H₂(x,y))；

对高斯滤波后的图像中的每个像素进行拉普拉斯运算，拉普拉斯运算结果用Hession矩阵表示，如下式所示：

式中：L_xx(x,y,σ)、L_xy(x,y,σ)、L_yx(x,y,σ)、L_yy(x,y,σ)分别代表在x方向的二阶导数，在x和y方向依次求偏导数，在y和x方向依次求偏导数，在y方向求二阶导数的高斯滤波窗口，使用不同尺寸的盒式滤波器，在滤波的过程中完成尺度变化，生成图像金字塔即是尺度空间；

所述的S3中，构建Hession矩阵，利用近似Hession矩阵的局部极大值计算不同尺度下特征点的位置，具体步骤为：

为了减小计算代价，采用Fast-Hession矩阵，把高斯二阶偏导数近似化处理，得到盒式滤波器估计值D_xx、D_xy、D_yy，考虑到使用盒式滤波器近似可能带来的误差，设置一个大小为0.9的补偿系数，进而可求得Fast-Hession矩阵的近似行列式表达式，即：

Det(H)＝D_xx·D_yy-(0.9D_xy)² (6)

图像特征点的尺度特征通过改变不同滤波窗口的尺寸来确定，通过矩阵的行列式和特征值来判别是否为极值点，若Fast-Hessian矩阵的行列式值为正，且两个特征值不同时为正或为负，则认定为极值点；

所述的S4中，使用带有旋转不变特性的rBRIEF算法提取特征描述符具体包括以下步骤：

对于任意特征点，在31x31邻域内位置为(x_i,y_i)的n对特征点集，可以用2×n的矩阵来表示：

利用特征点主方向θ和对应的旋转矩阵R_θ，计算出S_θ来表示S：

这样就得到了具有方向性的描述子：

g_n(p,θ)＝f_n(p)|(x_i,y_i)∈S_θ (9)

式中：

为BRIEF的描述符；

所述的S5中，使用汉明距离对特征点粗匹配的具体步骤包括以下内容：

将待匹配的两幅图像中选取两个二进制描述子g₁、g₂，对其进行异或运算，计算g₁、g₂之间的汉明距离Hdis₁₂，公式如下：

将Hdis₁₂与预设定的阈值H_th进行比较，若大于预设阈值，则表示匹配成功，否则匹配失败；

所述的S6中，在利用汉明距离粗匹配后，使用改进RANSAN算法进一步去除图像中的误匹配点对，其具体步骤为：

求出前后两帧待匹配图像最近邻匹配对(A_i,B_i)、(A_j,B_j)中特征点的匹配距离l，利用前一帧图像A和后一帧图像B中匹配对与最近邻匹配对距离关系相似性来评价两点距离对应关系，评价函数如下式：

式中：c为内点个数；R(i,j)为(A_i,B_i)与对应特征点距离相对差异；Y(i,j)为(A_i,B_i)与相对应特征点的平均距离；l(A_i,B_i)为A_i和B_i的距离；

计算评价函数F(i)的平均值，记为

利用评价函数F(i)对选取的匹配距离l做判断，若

则将匹配点保留，组成新的样本集C，从中随机抽取4个匹配对作为内点集C_i，用这4个样本数据拟合出单应矩阵；

利用当前计算的单应矩阵去验证样本集C中剩余的内点集，如果某个点对适合当前单应矩阵，且误差小于阈值μ，则认为该点为局内点，将其加入内点集C_i，如果内点集C_i中元素个数大于阈值θ，则更新内点集，重新计算当前模型。

Images