CN106355577A - 基于特征状态与全局一致性的快速图像匹配方法及系统 - Google Patents

Abstract

本发明提供基于特征状态与全局一致性的快速图像匹配方法及系统，包括检测角点作为待匹配的特征点，使用状态模板识别特征点的特征邻域状态；以特征点为中心，计算描述子的主方向；将主方向旋转，对特征点的特征邻域进行描述，将二值纹理特性和统计特性结合，构建RBT‑OGMH特征描述子；进行匹配，包括针对于两类不同的描述子，采用不同的相似性度量；利用空间域一致特征，基于误差波动幅度最小聚类，快速确定变换矩阵，剔除错误匹配点对，获得最终的正确匹配点对。本发明技术方案具有旋转不变性和一定的尺度不变性，能有效解决图像模糊、光照变化、低对比度和图像变形问题，相比于现有技术，本发明具有更快的匹配速度和精度。

Description

基于特征状态与全局一致性的快速图像匹配方法及系统

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种快速稳健的图像匹配技术方案。

背景技术

图像匹配在图像拼接、图像检索、场景识别等应用领域有着举足轻重的作用，是图像处理和计算机视觉的基础。随着科技发展，目前大约有40％的机器视觉应用采用了图像匹配技术，所涉及的应用领域有工业、农业、军事、医疗等方面。在视频监控系统中，其基础部分就是利用图像匹配技术对运动目标进行检测、跟踪、目标分类和识别，这是保证整个系统实现其功能的关键。具体而言，图像匹配是通过查找两幅或多幅图像中的相似特性，根据相似条件运用匹配准则进行最佳搜索。

图像匹配是一个相对耗时的过程，其主要由特征提取、特征匹配两个部分组成。其中经典的提取算法有CSS算法、CPDA算法、Harris算法、SUSAN算法、FAST算法、SIFT算法等，另外还存在许多基于上述算法的改进算法。特征匹配包括特征描述子的建立和特征配对。描述子以特征点为中心，用局部信息来描述特征点。局部描述子的核心是描述子对光照、尺度、几何变换等具有不变特性，对于图像遮挡和重叠，以及图像噪声等情况具有良好的鲁棒性，同时具备较好的可区分性。目前的局部特征描述子主要分为两类：一是基于统计直方图的描述子，一是基于比较的描述子。具有影响力的基于统计直方图的描述子是SIFT描述子，另外基于SIFT的变种的GLOH描述子、HOG描述子和OMH描述子等，为了提高速度，提出了PCA-SIFT描述子和SURF描述子。基于统计直方图的描述子的判别性高，并且直观易懂，但是计算复杂度较高。基于比较的描述子主要有最近提出的二值描述子BRIEF，以及在此基础上优化的LBP描述子、ORB描述子和FREAK描述子等，这类描述子一般都是为了提高计算速度而设计的，但同时也降低了判别性能，尤其是对于区分性比较低的低质量图像，描述子的好坏决定了匹配的精度和效率。

另外，初步匹配后匹配精度往往不高，存在着错误匹配，需要剔除错误匹配点对。目前剔除错误配对的方法主要有RANSAC方法和最陡下降法，RANSAC方法在提纯配对点的过程中进行了大量迭代，计算量大。最陡下降法也需不断迭代来精确仿射变换系数，当图像中的匹配点对和错误匹配点对比较多时，这两种剔除错误匹配点对的算法则耗时较多。

发明内容

针对上述存在的技术问题，本发明的目的是提供一种用于光照不均模糊的低质量图像的匹配技术方案，以高精度且实时性地对低质量图像进行有效的图像匹配。

本发明的技术方案提供一种基于特征状态与全局一致性的快速图像匹配方法，包括以下步骤：

步骤1，检测角点作为待匹配的特征点，使用状态模板识别特征点的特征邻域状态；

步骤2，以特征点为中心，计算描述子的主方向；

步骤3，将步骤2所得的主方向旋转和坐标轴x对齐，对特征点的特征邻域进行描述，将二值纹理特性和统计特性结合，构建将旋转不变二值纹理化和方向梯度直方图相结合的特征描述子，记为RBT-OGMH特征描述子；

步骤4，根据RBT-OGMH特征描述子进行匹配，包括针对于两类不同的描述子，采用不同的相似性度量；

步骤5，根据步骤4的匹配结果，利用空间域一致特征，基于误差波动幅度最小聚类，快速确定变换矩阵，剔除错误匹配点对，获得最终的正确匹配点对。

而且，步骤1的实现方式为，利用角点检测算法提取图像的特征点后，根据预定义的状态模板识别特征点的特征邻域状态；

所述状态模板包含均匀分布在一个圆环上的4个像素，将模板中心覆盖在特征点上，基于模板以图像中每个像素点为待检测点分别进行以下局部运算，

设特征点为X，状态模板所覆盖的四个像素点P、P'、Q和Q'与特征点X相比的明暗状态S_X→P、S_X→P'、S_X→Q和S_X→Q'，根据以下特征点域状态判别函数判断待检测点X在邻域内位于亮区域或者暗区域，

S_X＝∑(S_X→P+S_X→P'+S_X→Q+S_X→Q')

其中，状态比较函数为

$S_{X\&RightArrow;B}=\left\{\begin{array}{cc}-1& f\left(X\right)-f\left(B\right)<-Th\\ 0& |f\left(X\right)-f\left(B\right)|\&le;Th\\ 1& f\left(X\right)-f\left(B\right)>Th\end{array}\right.,$

B＝P、P'、Q或Q'，f(X)为点X的灰度值，f(P)为点B的灰度值，Th为两点间状态差异度阈值，

当S_X为正数时，特征点X在邻域内位于亮区域，

当S_X为负数时，特征点X在邻域内位于暗区域。

而且，步骤2的实现方式为，以特征点X为原点，x方向和y方向的一阶偏导f_x和f_y作为坐标轴，将特征点X的邻域内像素点映射到梯度空间，计算特征点的特征邻域的梯度方向，以梯度变化最大的方向作为描述子的主方向。

而且，步骤3的实现方式为，

设特征点的特征邻域由直径R个像素的圆构成，

以特征点X为中心划分半径分别为R/3、和R的三个同心圆环，并被分为9个等面积的小块，分别计算各块内像素点的梯度方向和幅值，将梯度方向取值范围[0,2π]划分为8等份，归一化的梯度幅值范围为[0,1]，进行2等分，分别统计落到每个直方图上的点的梯度幅度的高斯加权，9个邻域块从内邻域向外邻域，共形成144维统计描述子；

以特征点X为中心，半径为r、r/2和r/4确立3个同心圆，将半径为r和r/2两圆围成的圆环等分为16等分块，计算局部纹理特征，形成49维局部纹理描述子；

融合49维二值纹理描述子和144维统计特征描述子，形成193维的RBT-OGMH特征描述子。

而且，步骤4的实现方式为，根据特征点的特征邻域状态，将基准图像I和模板图像M中的特征点分别进行分类，在同类内进行比较匹配；采用相似性度量，计算待匹配点对间的相似性度量距离，若度量距离满足条件，则比较点对为候选匹配点对；

步骤5的实现方式为，

设基准图像I中的特征点对应的模板图像M中匹配点满足的仿射变换映射，将n对匹配点代入仿射变换矩阵，利用最小二乘解求得仿射变换系数矩阵β，轮流移出1对并分别计算匹配误差对n-1个按照误差波动大小从小到大进行排序，取前m个对应的匹配点对，重新计算仿射变换系数β，对剩下的n-m个点对带入代入仿射变换矩阵计算匹配误差err，如果|err|＞t则将相应匹配点对剔除，重复以上过程直到误差|err|≤t为止；阈值t代表经过仿射变换后，两幅图像匹配点间容忍的最大距离差异。

本发明还相应提供一种基于特征状态与全局一致性的快速图像匹配系统，包括以下模块：

第一模块，用于检测角点作为待匹配的特征点，使用状态模板识别特征点的特征邻域状态；

第二模块，用于以特征点为中心，计算描述子的主方向；

第三模块，用于将第二模块所得的主方向旋转和坐标轴x对齐，对特征点的特征邻域进行描述，将二值纹理特性和统计特性结合，构建将旋转不变二值纹理化和方向梯度直方图相结合的特征描述子，记为RBT-OGMH特征描述子；

第四模块，用于根据RBT-OGMH特征描述子进行匹配，包括针对于两类不同的描述子，采用不同的相似性度量；

第五模块，用于根据第四模块的匹配结果，利用空间域一致特征，基于误差波动幅度最小聚类，快速确定变换矩阵，剔除错误匹配点对，获得最终的正确匹配点对。

而且，第一模块的实现方式为，利用角点检测算法提取图像的特征点后，根据预定义的状态模板识别特征点的特征邻域状态；

所述状态模板包含均匀分布在一个圆环上的4个像素，将模板中心覆盖在特征点上，基于模板以图像中每个像素点为待检测点分别进行以下局部运算，

设特征点为X，状态模板所覆盖的四个像素点P、P'、Q和Q'与特征点X相比的明暗状态S_X→P、S_X→P'、S_X→Q和S_X→Q'，根据以下特征点域状态判别函数判断待检测点X在邻域内位于亮区域或者暗区域，

S_X＝∑(S_X→P+S_X→P'+S_X→Q+S_X→Q')

其中，状态比较函数为

$S_{X\&RightArrow;B}=\left\{\begin{array}{cc}-1& f\left(X\right)-f\left(B\right)<-Th\\ 0& |f\left(X\right)-f\left(B\right)|\&le;Th\\ 1& f\left(X\right)-f\left(B\right)>Th\end{array}\right.,$

B＝P、P'、Q或Q'，f(X)为点X的灰度值，f(P)为点B的灰度值，Th为两点间状态差异度阈值，

当S_X为正数时，特征点X在邻域内位于亮区域，

当S_X为负数时，特征点X在邻域内位于暗区域。

而且，第二模块的实现方式为，以特征点X为原点，x方向和y方向的一阶偏导f_x和f_y作为坐标轴，将特征点X的邻域内像素点映射到梯度空间，计算特征点的特征邻域的梯度方向，以梯度变化最大的方向作为描述子的主方向。

而且，第三模块的实现方式为，

设特征点的特征邻域由直径R个像素的圆构成，

以特征点X为中心划分半径分别为R/3、和R的三个同心圆环，并被分为9个等面积的小块，分别计算各块内像素点的梯度方向和幅值，将梯度方向取值范围[0,2π]划分为8等份，归一化的梯度幅值范围为[0,1]，进行2等分，分别统计落到每个直方图上的点的梯度幅度的高斯加权，9个邻域块从内邻域向外邻域，共形成144维统计描述子；

以特征点X为中心，半径为r、r/2和r/4确立3个同心圆，将半径为r和r/2两圆围成的圆环等分为16等分块，计算局部纹理特征，形成49维局部纹理描述子；

融合49维二值纹理描述子和144维统计特征描述子，形成193维的RBT-OGMH特征描述子。

而且，第四模块的实现方式为，根据特征点的特征邻域状态，将基准图像I和模板图像M中的特征点分别进行分类，在同类内进行比较匹配；采用相似性度量，计算待匹配点对间的相似性度量距离，若度量距离满足条件，则比较点对为候选匹配点对；

第五模块的实现方式为，

设基准图像I中的特征点对应的模板图像M中匹配点满足的仿射变换映射，将n对匹配点代入仿射变换矩阵，利用最小二乘解求得仿射变换系数矩阵β，轮流移出1对并分别计算匹配误差对n-1个按照误差波动大小从小到大进行排序，取前m个对应的匹配点对，重新计算仿射变换系数β，对剩下的n-m个点对带入代入仿射变换矩阵计算匹配误差err，如果|err|＞t则将相应匹配点对剔除，重复以上过程直到误差|err|≤t为止；阈值t代表经过仿射变换后，两幅图像匹配点间容忍的最大距离差异。

本发明具有以下优点和积极效果：

(1)本发明计算获得的特征描述子主方向具有惟一性，可满足图像的旋转、平移以及仿射变换等的不变特性，并且运算复杂度低；

(2)本发明针对低质量的图像，构建了RBT-OGMH特征描述子，将二值纹理特性与统计特性融合，提高描述子的区分度；

(3)本发明对根据特征点的状态特性将特征点分类，在类内由粗到细进行匹配，针对于两类不同的描述子，并采用不同的相似性度量，有效提高算法的匹配效率和匹配精度；

(4)本发明通过误差波动幅度排序，快速确定仿射变换矩阵，有效剔除错误匹配点对，提高了算法的执行效率。

附图说明

图1为本发明实施例的状态模板示意图。

图2为本发明实施例的统计描述子邻域划分示意图。

图3为本发明实施例的RBT子块划分示意图。

具体实施方式

以下结合附图和实施例详细说明本发明技术方案。

本发明技术方案可采用计算机软件技术实现自动运行流程，实施例所提供用于快速的低质量图像匹配的流程依次包括以下步骤：

步骤1，检测角点作为待匹配的特征点，使用状态模板识别特征点的特征邻域状态。

实施例利用现有的角点检测算法提取图像的特征点后，根据预定义的状态模板识别特征点的特征邻域状态。优选地，采用harris角点检测算法。所述状态模板包含均匀分布在一个圆环上的4个像素，优选地，圆环直径为7个像素，采用上下左右的4个像素。将模板中心覆盖在特征点上，基于模板以图像中每个特征点为待检测点分别进行以下局部运算：

如附图1所示，状态模板覆盖的像素点P、P'、Q和Q'与特征点X比较，存在亮，暗和相似三种状态，X点和B点的状态比较定义如下：

$S_{X\&RightArrow;B}=\left\{\begin{array}{cc}-1& f\left(X\right)-f\left(B\right)<-Th\\ 0& |f\left(X\right)-f\left(B\right)|\&le;Th\\ 1& f\left(X\right)-f\left(B\right)>Th\end{array}\right.---\left(1\right)$

其中，B＝P、P'、Q或Q'，f(X)为点X的灰度值，f(P)为点B的灰度值，Th为两点间状态差异度阈值，S_X→B的值为-1时表示X点的灰度值比B点暗，值为0代表X点和B点的灰度值相似，值为1时表示X比B亮。

在此基础上定义特征点X的状态判别函数如下：

S_X＝∑(S_X→P+S_X→P'+S_X→Q+S_X→Q') (2)

式中，根据角点特征点特性，S_X的取值可为正数或负数，不可能取值为0。特征点的特征邻域状态只有亮或暗两种状态，当S_X为正数时，判定特征点的特征邻域状态为亮区域，当S_X为负数时，判定特征点的特征邻域状态为暗区域。

步骤2，以特征点为中心，计算描述子的主方向。

本发明以特征点X为原点，x方向和y方向的一阶偏导f_x和f_y作为坐标轴，将特征点X的邻域内像素点映射到梯度空间，计算特征点的特征邻域的梯度方向，以梯度变化最大的方向作为描述子的主方向。

实施例中，以特征点X为原点，x方向和y方向的一阶偏导f_x和f_y作为坐标轴，设特征点的特征邻域内某一像素点(x_i,y_i)映射到梯度空间的坐标为设主方向经过原点，和坐标轴f_x的夹角为θ，则点到主方向的距离d_i为：

$d_i=|f_x^{i}sin\mathrm{\&theta;}-f_y^{i}cos\mathrm{\&theta;}|---\left(3\right)$

为了突出特征点的特征邻域内每个像素点对描述子的贡献，加上高斯权重系数w_i，离特征点距离越近的像素点权重系数越大，高斯权重系数为：

$w_i=\frac{1}{2{\mathrm{\&pi;\&sigma;}}^2}\exp (-\frac{{(x_i-x)}^2+{(y_i-y)}^2}{2{\mathrm{\&sigma;}}^2})---\left(4\right)$

其中高斯尺度σ建议取值为特征点的特征邻域直径R的四分之一，即：σ＝R/4，具体实施时本领域技术人员可自行预设特征邻域直径R的取值，实施例中直径R采用的优选取值为31个像素。

进一步方便计算，用替代d_i，特征点的特征邻域空间中的像素点到主方向的加权均值为：

$\begin{array}{c}\stackrel{\&OverBar;}{L}={\mathrm{\&Sigma;}}_i{w}_i{d}_i^2={\mathrm{\&Sigma;}}_i{w}_i|f_x^i\&CenterDot;\sin \mathrm{\&theta;}-f_y^i\&CenterDot;\cos \mathrm{\&theta;}{|}^2\\ ={\mathrm{\&Sigma;}}_i{w}_i({\left(f_x^i\right)}^2\&CenterDot;{\sin }^2\mathrm{\&theta;}+{\left(f_y^i\right)}^2\&CenterDot;{\cos }^2\mathrm{\&theta;}-f_x^i\&CenterDot;f_y^i\&CenterDot;\sin \mathrm{\&theta;}\&CenterDot;\cos \mathrm{\&theta;})\end{array}---\left(5\right)$

令变量则直线的加权均值转化为：

$\stackrel{\&OverBar;}{L}=A\&CenterDot;{\sin }^2\mathrm{\&theta;}+B\&CenterDot;{\cos }^2\mathrm{\&theta;}-2C\&CenterDot;sin\mathrm{\&theta;}\&CenterDot;cos\mathrm{\&theta;}---\left(6\right)$

邻域内像素点到主方向应具有最大的加权均值，因此计算加权均值对夹角θ的偏导数

$\&part;\stackrel{\&OverBar;}{L}/\&part;\mathrm{\&theta;}=2A\&CenterDot;sin\mathrm{\&theta;}\&CenterDot;cos\mathrm{\&theta;}-2B\&CenterDot;sin\mathrm{\&theta;}\&CenterDot;cos\mathrm{\&theta;}+2C\&CenterDot;({\sin }^2\mathrm{\&theta;}-{\cos }^2\mathrm{\&theta;})---\left(7\right)$

根据拉格朗日极值定理，令则可以得到主方向的夹角θ值为：

$\begin{array}{c}\tan 2\mathrm{\&theta;}=\frac{2C}{A-B}\\ \mathrm{\&theta;}=\frac{1}{2}arctan\frac{2C}{A-B}\end{array}---\left(8\right)$

此时难以判定θ为主方向和坐标轴f_x的夹角为正向夹角还是负向夹角，因此需要加上一个修正值，根据特征点的特征邻域状态S_X，S_X取值可为正数或负数两种情况，当S_X为正数时特征点的特征邻域为亮区域，S_X为负数时特征点的特征邻域为暗区域。因此修正值为：

$\begin{array}{c}s=\left\{\begin{array}{cc}1& S_X>0\\ 0& S_X<0\end{array}\right.\\ \widehat{\mathrm{\&theta;}}=s\&times;\mathrm{\&pi;}\end{array}---\left(9\right)$

修正后的主方向和坐标轴f_x的正向夹角为：

$\mathrm{\&theta;}=\frac{1}{2}arctan\frac{2C}{A-B}+\widehat{\mathrm{\&theta;}}---\left(10\right)$

步骤3，将步骤2所得的主方向旋转和坐标轴x对齐，对特征点的特征邻域进行描述，将二值纹理特性和统计特性结合，构建一种将旋转不变二值纹理化和方向梯度直方图(RBT-OGMH，Rotation Binary Texture and Orientation and Gradient MagnitudeHistogram)相结合的特征描述子。

步骤3的实现方式为，设特征点的特征邻域由直径R个像素的圆构成，

在特征邻域内，以特征点X为中心划分为半径分别为R/3、和R的三个同心圆环，并被分为9个等面积的小块，如图2中G₀₀，G₁₁，G₁₂，G₁₃，G₁₄，G₂₁，G₂₂，G₂₃，G₂₄，分别计算各块内像素点的梯度方向和幅值，将梯度方向取值范围[0,2π]划分为8等份，归一化的梯度幅值范围为[0,1]，将其进行2等分，分别统计累计落到每个直方图上的点的梯度幅度的高斯加权，9个邻域块从内邻域向外邻域，共形成144维统计描述子。

在特征邻域内，以点X为中心，半径为r、r/2和r/4(r可取R,R/2,R/3)确立3个同心圆，将半径为r和r/2两圆围成的圆环等分为16等分块，计算局部纹理特征，形成49维局部纹理描述子。

融合49维二值纹理描述子和144维统计特征描述子，形成了193维的RBT-OGMH描述子。

如附图2所示，计算G₀₀，G₁₁，…，G₂₄各块内像素点的梯度方向和幅值，对梯度幅值进行归一化操作消除光照和尺度的影响：

梯度图像M(i,j)和梯度方向θ(i,j)为：

$M(i,j)=\sqrt{{\left(f_x\right(i,j\left)\right)}^2+{\left(f_y\right(i,j\left)\right)}^2}---\left(11\right)$

$\mathrm{\&theta;}(i,j)=arctan\left(\frac{f_y(i,j)}{f_x(i,j)}\right)---\left(12\right)$

$M^{\&prime;}(i,j)=\frac{M(i,j)}{max\left(M\right)}---\left(13\right)$

其中，f_x(i,j)和f_y(i,j)分别是像素点(i,j)在x方向和y方向的梯度值，max(M)取值为梯度图像所有点中梯度幅值最大的点的梯度幅值，M'(i,j)为归一化后的梯度图像。以特征点的主方向为极坐标的极轴，实验中将梯度方向取值范围[0,2π]划分为8等份，归一化的梯度幅值范围为[0,1]，将其进行2等分，每个小块的方向梯度幅度直方图是一个8×2的二维直方图，分别统计累计落到每个直方图上的点的梯度幅度的高斯加权。9个邻域块从内邻域向外邻域，共形成144维描述子H，这样可以把特征点的特征邻域内的变化更加清晰的表现出来。

如附图3所示，以特征点X为中心，半径为r、r/2和r/4(r可取R,R/2,R/3，实施例的取值为R/2)确立3个同心圆，将半径为r和r/2两圆围成的圆环等分为p₁，p₂,…,p₁₆共16等分块，如图3中黑色阴影部分所示。分别计算16个子块和半径为r/4的中心圆平均灰度值，比较16个子块的平均灰度值和中心圆平均灰度值的大小，如果子块的平均灰度值大于中心圆区域p的平均灰度值，则置为0，否则置为1，完成对16个子块的二值化操作。

RBT特征定义为：

其中，和代表子块p_k和中心圆区域p的灰度均值，τ'(p_k,p)为子块p_k和中心圆区域p的均值比较，当时，τ'(p_k,p)取值为1，反之为0。

将图像坐标轴沿主方向旋转，在附图2所示的三个同心圆周(半径分别为R/3、和R)上，分别以与主方向的交汇处为起点，沿顺时针方向均匀采样16个像素点，加上特征点，共有49个像素点构成了待描述区域。分别以待描述区域中的49个点为圆心，采用如图3的方式利用式(14)计算每个像素点X_i的RBT特征，记为RBT_i(i＝1,2,…,49)，根据像素点距离特征点的距离对不同的BRT特征赋予不同的权重，权重利用公式4计算获得，得到的RBT特征向量记为：

T＝[w₁×RBT₁,w₂×RBT₂,…,w₄₉×RBT₄₉] (15)

归一化后消除了光照、尺度等影响，形成了49维的二维纹理描述子T。

融合49维二值纹理描述子和144维统计特征描述子，形成了193维的RBT-OGMH描述子D＝[T^1×49H^1×144]。

步骤4，根据RBT-OGMH特征描述子进行由粗到细的匹配，针对于两类不同的描述子，采用不同的相似性度量。

步骤4的实现方式为，根据特征点的特征邻域状态将基准图像I和模板图像M中的特征点分别进行分类，在同类内进行比较匹配然后综合。采用相似性度量，计算待匹配点对间的相似性度量距离，如果相似性度量距离d小于给定阈值th，即d＜th，则比较点对为候选匹配点对，具体实施时th一般取值为经验阈值。

实施例中，设定基准图像I与模板图像M包含的特征点分别为{x₁,x₂,…,x_Nu}和{y₁,y₂,…,y_Mu}，根据特征点的特征邻域状态将图像I和图像M中的特征点分为两大类：亮特征点类B{…,x_p,…,y_q,…}和暗特征点类D{…,x_u,…y_v,…}，其中p,u,q,v表示在特征点集合中的下标顺序示意。以下的匹配过程都是在类内进行匹配。

针对于两类不同的描述子，采用不同的相似性度量。对于49维的二值RBT纹理描述子，采用χ²统计量作为待匹配点对间的相似性度量距离：

$d_T={\mathrm{\&chi;}}^2=\frac{1}{2}\underset{i=1}{\overset{49}{\&Sigma;}}\frac{{(T_{u,i}-T_{v,i})}^2}{T_{u,i}+T_{v,i}}---\left(16\right)$

其中，T_u,i和T_v,i分别为两幅待匹配图像中的第u个点和第v个点的第i维二值纹理特征向量。

针对于144维的OMGH描述子，采用欧式距离作为待匹配点对间的相似性度量距离：

$d_H=d(H_i,H_j)=\sqrt{\underset{k=1}{\overset{144}{\&Sigma;}}{(H_{ik}-H_{jk})}^2}---\left(17\right)$

其中H_ik和H_jk分别代表第i个和第j个OMGH特征向量的第k维向量。综合后距离d＝λd_H+(1-λ)d_T，其中λ为权重系数。进一步地，在进行特征点配对时，实施例采用的是由Lowe提出的最近邻与次近邻距离比率法，基准图像I的点P在模板图像M中的最近邻点和次近邻点分别为P₁、P₂，距离分别是d₁和d₂，如果d₁/d₂＜Th1，则点P和图像M中的最近邻点P₁为初始配对点，其中Th1为比例阈值，具体实施时本领域技术人员可自行根据经验预设相应阈值。

步骤5，根据步骤4的匹配结果，利用空间域一致特征，基于误差波动幅度最小聚类，快速确定变换矩阵，剔除错误匹配点对，获得最终的正确匹配点对。

步骤5的实现方式为，设经过步骤4初步匹配后，存在n个特征匹配点对，将n个匹配点对代入仿射变换矩阵，利用最小二乘解求得仿射变换系数矩阵β，轮流从匹配点对集合中移出，分别计算匹配误差对n-1个按照误差波动幅度Er的大小从小到大进行排序，取前m个Er对应的匹配点对，重新计算仿射变换系数β，对剩下的n-m个点对依次带入代入仿射变换矩阵计算匹配误差err，如果|err|＞th2，则将相应匹配点对从匹配点对集合中剔除，重复以上过程直到误差|err|≤th2为止。

实施例中，假设基准图像I和模板图像M是在同一个场景下获得，它们之间应满足一定的仿射变换关系。设基准图像I中的特征点坐标为对应的匹配点在模板图像M中的坐标为它们之间满足的仿射变换的映射：

$\left[\begin{array}{c}{x}_M^i\\ y_M^i\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{\&alpha;}}_1& {\mathrm{\&alpha;}}_2& t_x\\ {\mathrm{\&alpha;}}_3& {\mathrm{\&alpha;}}_4& t_y\end{array}\right]\left[\begin{array}{c}{x}_I^i\\ y_I^i\\ 1\end{array}\right]---\left(18\right)$

可以实现尺度、平移、翻转、错切、旋转等仿射变换，在上述公式中，α₁，α₂，α₃，α₄为仿射变换系数，t_x和t_y为x轴和y轴的坐标平移量，假设把n对匹配点对带入公式18，可转化为如下形式：

$\left[\begin{array}{c}......\\ ......\\ \begin{array}{cccccc}{x}_I^i& y_I^i& 0& 0& 1& 0\\ 0& 0& x_I^i& y_I^i& 0& 1\end{array}\\ ......\\ ......\end{array}\right]\left[\begin{array}{c}{\mathrm{\&alpha;}}_1\\ {\mathrm{\&alpha;}}_2\\ {\mathrm{\&alpha;}}_3\\ {\mathrm{\&alpha;}}_4\\ t_x\\ t_y\end{array}\right]=\left[\begin{array}{c}...\\ ...\\ x_M^i\\ y_M^i\\ ...\\ ...\end{array}\right]---\left(19\right)$

对应的线性方程如下：

Aⁿβ＝bⁿ (20)

在n对匹配点对中，基准图像I中的n个配对的特征点坐标带入公式20中构成矩阵Aⁿ，模板图像M中的n个配对点坐标带入公式20中构成矩阵bⁿ，其中Aⁿ为2n×6阶矩阵，b为2n×1阶矩阵，由n对匹配点对，利用最小二乘解求得估计的仿射变换系数矩阵

${\mathrm{\&beta;}}_n^{*}={\left({\left(A^n\right)}^T{A}^n\right)}^{-1}{\left(A^n\right)}^T{b}^n---\left(21\right)$

对于完全精确的匹配，应有但是由于大量错误匹配点对的存在，导致了当匹配精度越高时，和bⁿ的值则越接近。定义和bⁿ的误差errⁿ为：

${\mathrm{err}}^n=\frac{{(A^n{\mathrm{\&beta;}}_n^{*}-b^n)}^T(A^n{\mathrm{\&beta;}}_n^{*}-b^n)}{n^2}---\left(22\right)$

依次将n对匹配点对中的一对暂时拿开，将其余n-1对匹配点对带入公式20中，线性方程为A^n-1β＝b^n-1，求得新的变换系数为：

${\mathrm{\&beta;}}_{n-1}^{*}={\left({\left(A^{n-1}\right)}^T{A}^{n-1}\right)}^{-1}{\left(A^{n-1}\right)}^T{b}^{n-1}---\left(23\right)$

计算获得n个误差误差波动幅度为：

$Er=\{\left(\right|{\mathrm{err}}^n-{\mathrm{err}}_1^{n-1}|,1),...,\left(\right|{\mathrm{err}}^n-{\mathrm{err}}_i^{n-1}|,i)...,\left(\right|{\mathrm{err}}^n-{\mathrm{err}}_n^{n-1}|,n)\}$

执行以下步骤：

(1)在n对匹配点对中，按照从小到大的顺序对Er中的各元素进行排序，由于至少需要3个点对才能保证β^*的存在，当n＞＝6时取Er中前位对应的匹配点对，当n＜6时，取Er中前m＝n位对应的匹配点对。然后当m≥3时代入公式22中，计算误差E，如果E＞th2，使得重新计算误差E，直到E≤th2，并且m≥3。记录当前前m位对应的匹配点对和仿射变换系数β，进入(2)，如果m小于3或不满足E≤th2则结束，表明无正确匹配点对。

(2)将剩余的n-m个匹配点对依次带入公式21和公式22中，重新计算β和err，如果err≤th2，则该点对作为正确的匹配点对被保留，否则将作为错误匹配点对被剔除。每次计算过程判别下列条件师傅满足：

err＞th2 or m＜3 (24)

如果上述(24)中任意一个条件不满足，则算法结束。阈值th2代表经过仿射变换后，两幅图像匹配点间容忍的最大距离差异，取值可以根据应用本身确定，实验中th2取值为5。

根据以上流程，本发明主要针对低质量的图像，快速有效的计算描述子主方向，使得其具有惟一性，可满足图像的旋转、平移以及仿射变换等的不变特性，并且具有较低的运算复杂度；构建了RBT-OGMH特征描述子，将二值纹理特性与统计特性融合，提高描述子的区分度；根据特征点的状态特性将特征点分类，在类内由粗到细进行匹配，有效提高算法的匹配效率，通过误差波动幅度最小聚类算法，快速确定仿射变换矩阵，剔除错误匹配点对。实验结果验证，该方法具有旋转不变性和一定的尺度不变性，能有效解决图像模糊、光照变化、低对比度和图像变形问题，相比于SIFT算法和ORB算法，本算法具有更快的匹配速度和精度。

可见，通过本技术方案，可以对低质量的图像进行快速有效的图像匹配，在保证实时性的前提下，相比于现有的图像匹配方法，本发明具有更快的匹配效率和更高的匹配精度。

具体实施时，本发明所提供方法可基于软件技术实现自动运行流程，也可采用模块化方式实现相应系统。本发明实施例还相应提供一种基于特征状态与全局一致性的快速图像匹配系统，包括以下模块：

第一模块，用于检测角点作为待匹配的特征点，使用状态模板识别特征点的特征邻域状态；

第二模块，用于以特征点为中心，计算描述子的主方向；

第三模块，用于将第二模块所得的主方向旋转和坐标轴x对齐，对特征点的特征邻域进行描述，将二值纹理特性和统计特性结合，构建将旋转不变二值纹理化和方向梯度直方图相结合的特征描述子，记为RBT-OGMH特征描述子；

第四模块，用于根据RBT-OGMH特征描述子进行匹配，包括针对于两类不同的描述子，采用不同的相似性度量；

第五模块，用于根据第四模块的匹配结果，利用空间域一致特征，基于误差波动幅度最小聚类，快速确定变换矩阵，剔除错误匹配点对，获得最终的正确匹配点对。

各模块具体实现可参见相应步骤，本发明不予赘述。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种基于特征状态与全局一致性的快速图像匹配方法，其特征在于，包括以下步骤：

步骤1，检测角点作为待匹配的特征点，使用状态模板识别特征点的特征邻域状态；

步骤2，以特征点为中心，计算描述子的主方向；

步骤3，将步骤2所得的主方向旋转和坐标轴x对齐，对特征点的特征邻域进行描述，将二值纹理特性和统计特性结合，构建将旋转不变二值纹理化和方向梯度直方图相结合的特征描述子，记为RBT-OGMH特征描述子；

步骤4，根据RBT-OGMH特征描述子进行匹配，包括针对于两类不同的描述子，采用不同的相似性度量；

步骤5，根据步骤4的匹配结果，利用空间域一致特征，基于误差波动幅度最小聚类，快速确定变换矩阵，剔除错误匹配点对，获得最终的正确匹配点对。

2.根据权利要求1所述用于基于特征状态与全局一致性的快速图像匹配方法，其特征在于：步骤1的实现方式为，利用角点检测算法提取图像的特征点后，根据预定义的状态模板识别特征点的特征邻域状态；

所述状态模板包含均匀分布在一个圆环上的4个像素，将模板中心覆盖在特征点上，基于模板以图像中每个像素点为待检测点分别进行以下局部运算，

设特征点为X，状态模板所覆盖的四个像素点P、P'、Q和Q'与特征点X相比的明暗状态S_X→P、S_X→P'、S_X→Q和S_X→Q'，根据以下特征点域状态判别函数判断待检测点X在邻域内位于亮区域或者暗区域，

S_X＝∑(S_X→P+S_X→P'+S_X→Q+S_X→Q')

其中，状态比较函数为

$S_{X\&RightArrow;B}=\left\{\begin{array}{cc}-1& f\left(X\right)-f\left(B\right)<-Th\\ 0& |f\left(X\right)-f\left(B\right)|\&le;Th\\ 1& f\left(X\right)-f\left(B\right)>Th\end{array}\right.,$

B＝P、P'、Q或Q'，f(X)为点X的灰度值，f(P)为点B的灰度值，Th为两点间状态差异度阈值，

当S_X为正数时，特征点X在邻域内位于亮区域，

当S_X为负数时，特征点X在邻域内位于暗区域。

3.根据权利要求2所述用于基于特征状态与全局一致性的快速图像匹配方法，其特征在于：步骤2的实现方式为，以特征点X为原点，x方向和y方向的一阶偏导f_x和f_y作为坐标轴，将特征点X的邻域内像素点映射到梯度空间，计算特征点的特征邻域的梯度方向，以梯度变化最大的方向作为描述子的主方向。

4.根据权利要求3所述用于基于特征状态与全局一致性的快速图像匹配方法，其特征在于：步骤3的实现方式为，

设特征点的特征邻域由直径R个像素的圆构成，

以特征点X为中心划分半径分别为R/3、和R的三个同心圆环，并被分为9个等面积的小块，分别计算各块内像素点的梯度方向和幅值，将梯度方向取值范围[0,2π]划分为8等份，归一化的梯度幅值范围为[0,1]，进行2等分，分别统计落到每个直方图上的点的梯度幅度的高斯加权，9个邻域块从内邻域向外邻域，共形成144维统计描述子；

以特征点X为中心，半径为r、r/2和r/4确立3个同心圆，将半径为r和r/2两圆围成的圆环等分为16等分块，计算局部纹理特征，形成49维局部纹理描述子；

融合49维二值纹理描述子和144维统计特征描述子，形成193维的RBT-OGMH特征描述子。

5.根据权利要求1或2或3或4所述用于基于特征状态与全局一致性的快速图像匹配方法，其特征在于：步骤4的实现方式为，根据特征点的特征邻域状态，将基准图像I和模板图像M中的特征点分别进行分类，在同类内进行比较匹配；采用相似性度量，计算待匹配点对间的相似性度量距离，若度量距离满足条件，则比较点对为候选匹配点对；

步骤5的实现方式为，

设基准图像I中的特征点对应的模板图像M中匹配点满足的仿射变换映射，将n对匹配点代入仿射变换矩阵，利用最小二乘解求得仿射变换系数矩阵β，轮流移出1对并分别计算匹配误差对n-1个按照误差波动大小从小到大进行排序，取前m个对应的匹配点对，重新计算仿射变换系数β，对剩下的n-m个点对带入代入仿射变换矩阵计算匹配误差err，如果|err|＞t则将相应匹配点对剔除，重复以上过程直到误差|err|≤t为止；阈值t代表经过仿射变换后，两幅图像匹配点间容忍的最大距离差异。

6.一种基于特征状态与全局一致性的快速图像匹配系统，其特征在于，包括以下模块：

第一模块，用于检测角点作为待匹配的特征点，使用状态模板识别特征点的特征邻域状态；

第二模块，用于以特征点为中心，计算描述子的主方向；

第三模块，用于将第二模块所得的主方向旋转和坐标轴x对齐，对特征点的特征邻域进行描述，将二值纹理特性和统计特性结合，构建将旋转不变二值纹理化和方向梯度直方图相结合的特征描述子，记为RBT-OGMH特征描述子；

第四模块，用于根据RBT-OGMH特征描述子进行匹配，包括针对于两类不同的描述子，采用不同的相似性度量；

第五模块，用于根据第四模块的匹配结果，利用空间域一致特征，基于误差波动幅度最小聚类，快速确定变换矩阵，剔除错误匹配点对，获得最终的正确匹配点对。

7.根据权利要求6所述用于基于特征状态与全局一致性的快速图像匹配系统，其特征在于：第一模块的实现方式为，利用角点检测算法提取图像的特征点后，根据预定义的状态模板识别特征点的特征邻域状态；

所述状态模板包含均匀分布在一个圆环上的4个像素，将模板中心覆盖在特征点上，基于模板以图像中每个像素点为待检测点分别进行以下局部运算，

设特征点为X，状态模板所覆盖的四个像素点P、P'、Q和Q'与特征点X相比的明暗状态S_X→P、S_X→P'、S_X→Q和S_X→Q'，根据以下特征点域状态判别函数判断待检测点X在邻域内位于亮区域或者暗区域，

S_X＝∑(S_X→P+S_X→P'+S_X→Q+S_X→Q')

其中，状态比较函数为

$S_{X\&RightArrow;B}=\left\{\begin{array}{cc}-1& f\left(X\right)-f\left(B\right)<-Th\\ 0& |f\left(X\right)-f\left(B\right)|\&le;Th\\ 1& f\left(X\right)-f\left(B\right)>Th\end{array}\right.,$

B＝P、P'、Q或Q'，f(X)为点X的灰度值，f(P)为点B的灰度值，Th为两点间状态差异度阈值，

当S_X为正数时，特征点X在邻域内位于亮区域，

当S_X为负数时，特征点X在邻域内位于暗区域。

8.根据权利要求7所述用于基于特征状态与全局一致性的快速图像匹配系统，其特征在于：第二模块的实现方式为，以特征点X为原点，x方向和y方向的一阶偏导f_x和f_y作为坐标轴，将特征点X的邻域内像素点映射到梯度空间，计算特征点的特征邻域的梯度方向，以梯度变化最大的方向作为描述子的主方向。

9.根据权利要求8所述用于基于特征状态与全局一致性的快速图像匹配系统，其特征在于：第三模块的实现方式为，

设特征点的特征邻域由直径R个像素的圆构成，

以特征点X为中心划分半径分别为R/3、和R的三个同心圆环，并被分为9个等面积的小块，分别计算各块内像素点的梯度方向和幅值，将梯度方向取值范围[0,2π]划分为8等份，归一化的梯度幅值范围为[0,1]，进行2等分，分别统计落到每个直方图上的点的梯度幅度的高斯加权，9个邻域块从内邻域向外邻域，共形成144维统计描述子；

以特征点X为中心，半径为r、r/2和r/4确立3个同心圆，将半径为r和r/2两圆围成的圆环等分为16等分块，计算局部纹理特征，形成49维局部纹理描述子；

融合49维二值纹理描述子和144维统计特征描述子，形成193维的RBT-OGMH特征描述子。

10.根据权利要求6或7或8或9所述用于基于特征状态与全局一致性的快速图像匹配系统，其特征在于：第四模块的实现方式为，根据特征点的特征邻域状态，将基准图像I和模板图像M中的特征点分别进行分类，在同类内进行比较匹配；采用相似性度量，计算待匹配点对间的相似性度量距离，若度量距离满足条件，则比较点对为候选匹配点对；

第五模块的实现方式为，

设基准图像I中的特征点对应的模板图像M中匹配点满足的仿射变换映射，将n对匹配点代入仿射变换矩阵，利用最小二乘解求得仿射变换系数矩阵β，轮流移出1对并分别计算匹配误差对n-1个按照误差波动大小从小到大进行排序，取前m个对应的匹配点对，重新计算仿射变换系数β，对剩下的n-m个点对带入代入仿射变换矩阵计算匹配误差err，如果|err|＞t则将相应匹配点对剔除，重复以上过程直到误差|err|≤t为止；阈值t代表经过仿射变换后，两幅图像匹配点间容忍的最大距离差异。