CN109949348B - 一种基于超像素运动统计的误匹配去除方法 - Google Patents

Abstract

本发明公开了一种基于超像素运动统计的误匹配去除方法，所述方法包括以下步骤：对两张待匹配图像进行特征提取、描述与匹配；利用改进的超像素分割算法对待匹配图像I₁和I₂进行分割，得到两张超像素标记图；基于超像素标记图建立超像素运动统计模型，通过模型实现非刚性形变图像配准特征点的自动筛选。本发明采用超像素分割的策略代替简单的矩形网格划分，分割得到的超像素块在空间上紧密相连，单个超像素块内部在颜色和纹理上保持一致，且分割结果更遵循物体的运动边缘，以保证超像素内部的特征点具有相同或一致的运动趋势。

Description

一种基于超像素运动统计的误匹配去除方法

技术领域

本发明涉及计算机图像匹配领域，尤其涉及一种基于超像素运动统计的误匹配去除方法，可用于去除非刚性形变图像的错误特征匹配。

背景技术

特征点配准方法的根本目的是建立两幅或多幅图像特征点集之间的匹配对应关系，它在图像配准、三维重建、目标定位与识别等领域都有广泛的应用。由于光照条件、噪声、几何变换、空间扭曲等因素的影响，实现完全准确的特征匹配是一项非常具有挑战性的工作。目前，用于图像配准的特征算子主要有SIFT算子(尺度不变特征变换)，SURF算子(加速稳健特征)，以及ORB算子^[1]等。利用上述方法可以实现比较准确的特征配准，但当图像之间发生非刚性形变或存在大尺度位移时，容易产生较多的误匹配，进而影响图像的最终配准效果。

为此，Bian等^[2]指出：当图像发生了非刚性形变或大尺度位移时，如何可靠的分离出正确与错误匹配是当前所面临的主要任务。Bian等提出了一种基于网格的运动统计算法(GMS)，根据在矩形网格基础上建立的统计函数来区分真假匹配，算法简单高效，得到了广泛应用。

然而，研究表明，矩阵网格虽然简单，但往往会包含有不同的纹理成分，因此，假定同一矩形网格内具有相同的运动规律往往不够准确，也会产生一定的统计误差。

发明内容

本发明提供了一种基于超像素运动统计的误匹配去除方法，本发明克服传统网格运动统计算法存在的不足，采用超像素分割的网格化对传统网格运动统计进行了改进，并建立了超像素网格统计模型，将真假匹配的概率分布特性转换为统计特性，以此实现误匹配点的自动筛选，详见下文描述：

一种基于超像素运动统计的误匹配去除方法，所述方法包括以下步骤：

对两张待匹配图像进行特征提取、描述与匹配；

利用改进的超像素分割算法对待匹配图像I₁和I₂进行分割，得到两张超像素标记图；

基于超像素标记图建立超像素运动统计模型，通过模型实现非刚性形变图像配准特征点的自动筛选。

其中，所述对两张待匹配图像进行特征提取、描述与匹配具体为：

对两张待匹配图像，采用ORB算子分别提取图像的特征点，得到两个初始特征点集，并对特征点进行描述；

利用特征匹配对两个特征点集进行初匹配，从而获得N对初始匹配坐标对。

进一步地，所述改进的超像素分割算法具体为：

将图像转换至CIELAB色彩空间中，均匀选取K个聚类种子点，其间隔为L个像素，在每个种子点周围2L×2L的邻域范围内搜索与之具有较高相似度的像素，并将其归为一类；

采用皮尔逊相关系数来代替欧氏距离，获取相似度。

具体实现时，所述采用皮尔逊相关系数来代替欧氏距离，获取相似度具体为：

式中，j表示聚类中心的下标，j＝1,2,,K；cov(·)和D(·)分别表示协方差和方差；ρ_ij表示像素i与聚类中心j的相似度；γ∈[0,1]代表衡量色彩相似性ρ_C与空间相似性ρ_S的权重因子；K等于图像像素个数除以L²；C_j表示聚类中心j的颜色特征；S_j表示聚类中心j的空间位置特征；C_i表示像素i的颜色特征；S_i表示像素i的空间位置特征。

进一步地，所述建立超像素运动统计模型，通过模型实现非刚性形变图像配准特征点的自动筛选具体为：

创建超像素统计模型，计算两张图像中每个超像素对的匹配度；

根据匹配度计算正确匹配的掩膜图像，筛选正确的特征匹配。

其中，所述超像素统计模型具体为：

创建一个大小为A×B的表格式累加器，将其中的每个单元格初始化为0，一个匹配遍历1次，对应的单元格加1，

每个超像素匹配对(p_a,p_b)的匹配值D(p_a,p_b)计算如下：

式中，p_a表示I₁中的超像素块，p_b表示I₂中的超像素块，a为超像素块在I₁中的序号，b为超像素块在I₂中的序号，k表示匹配的个数。

优选地，所述表格式累加器以稀疏矩阵的形式存储，仅考虑存在匹配的超像素对。

本发明提供的技术方案的有益效果是：

1、本发明采用超像素分割的区域划分方法，将初始匹配分配到不同的超像素中，并在此基础上提出了超像素运动一致性假设，建立了超像素运动统计模型，将真假匹配的概率分布特性转换为统计特性，以实现非刚性形变图像配准特征点的自动筛选；

2、本发明不依赖于任何复杂的参数求解模型，对非刚性形变图像能较好地保留大量正确的关键匹配点；

3、本发明采用超像素分割的策略代替简单的矩形网格划分，分割得到的超像素块在空间上紧密相连，单个超像素块内部在颜色和纹理上保持一致，且分割结果更遵循物体的运动边缘，以保证超像素内部的特征点具有相同或一致的运动趋势；

4、实验结果表明，这种超像素运动一致性约束提高了统计结果的准确性和稳定性；与传统误匹配筛选方法相比，本发明的筛选结果更加准确；

5、本发明较好地解决了非刚性形变图像特征点的误匹配剔除问题，具有较强的鲁棒性，有着广泛的应用前景。

附图说明

图1为本发明提供的一种基于超像素运动统计的误匹配去除方法的流程图；

图2为超像素标记图的示意图；

图3为超像素统计过程的示意图；

图4为本发明与传统误匹配剔除算法的匹配结果的对比示意图；

图5为本发明与传统误匹配剔除算法的匹配结果的另一对比示意图。

其中，图4和图5中的(a)为非刚性随机抽样一致算法(Non-rigid Ransac)^[3]的匹配结果示意图；(b)为流形正则化向量场一致性算法(MRCVF)^[4]的匹配结果示意图；(c)为基于网格的运动统计算法(GMS)^[2]的匹配结果示意图；(d)为本发明算法的匹配结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提供了一种基于超像素运动统计的误匹配去除方法，该方法主要由4部分组成：特征的初始匹配、图像的超像素分割、超像素统计模型的建立、以及正确匹配的保留。

本发明实施例采用超像素分割的区域划分方法，将初始特征匹配分配到不同的超像素中，将局部匹配的平滑性约束转化为超像素运动的一致性统计，建立了超像素运动统计模型，通过该统计模型实现了非刚性形变图像配准特征点的自动筛选。如图1所示，具体的步骤及原理如下：

101：对两张待匹配图像进行特征提取、描述与匹配；

该步骤101具体为：对两张待匹配图像I₁和I₂，采用ORB算子分别提取图像的特征点，得到两个初始特征点集X和Y，并对特征点进行描述；利用特征匹配算法对两个特征点集进行初匹配，从而获得N对初始匹配坐标对

其中，对特征点进行描述是指利用rBRIEF算法(旋转性二进制鲁棒独立基本特征)计算特征点的描述子。该算法对特征点集中的每个点，从其31×31的邻域内选取相关性最小的256个点对，比较这些点对的灰度大小并形成一个长度为256的二进制向量描述子。该算法以特征点为圆心，以特征点和取点区域的形心的连线为X轴建立二维坐标系，以保证特征描述子具有旋转不变性。

上述特征匹配算法可以根据实际情况进行选择，例如：基于欧式距离的特征匹配，基于海明距离的暴力匹配等。目的在于在条件允许的情况下得到更多更准确的初始匹配点对。具体实现时，本发明实施例对此不做限制。

102：利用改进的超像素分割算法对待匹配图像I₁和I₂进行分割，得到两张超像素标记图L₁和L₂；

其中，超像素分割过程为：将图像转换至CIELAB(指国际照明委员会公布的一种色彩模式，LAB值分别代表颜色的亮度、红绿色度和黄蓝色度，本领域技术人员所公知，本发明实施例对此不做赘述)色彩空间，设像素i的颜色、位置特征分别为：C_i＝[l_i,a_i,b_i]^T，S_i＝[x_i,y_i]^T。其中，l_i、a_i、b_i分别表示像素i的亮度值、从绿色到红色的分量值、从蓝色到黄色的分量值；x_i、y_i分别表示像素i在空间中的横纵坐标。

均匀选取K个聚类种子点，其间隔为L个像素，在每个种子点周围2L×2L的邻域范围内搜索与之具有较高相似度的像素，并将其归为一类。

传统的简单线性迭代聚类算法通过计算像素的5维欧氏距离来度量像素的相似度，需要根据颜色与空间位置的最大距离进行归一化，而不同区域内像素的颜色距离最大值难以估计，为此，本发明实施例采用皮尔逊相关系数来代替欧氏距离，

改进后的相似度计算方法如下：

ρ_ij＝γ·ρ_S+(1-γ)·ρ_C(3)

式中，j表示聚类中心的下标，j＝1,2,,K；cov(·)和D(·)分别表示协方差和方差；ρ_ij表示像素i与聚类中心j的相似度；γ∈[0,1]代表衡量色彩相似性ρ_C与空间相似性ρ_S的权重因子；当γ≈1时，超像素更加规则紧密；当γ≈0时，分割结果更贴合目标边缘；本发明实施例中γ取0.3，L取45个像素，K等于图像像素个数除以L²；C_j表示聚类中心j的颜色特征，S_j表示聚类中心j的空间位置特征。C_i表示像素i的颜色特征，S_i表示像素i的空间位置特征。当所有像素归类完毕后重新计算聚类中心，并不断迭代，直至算法收敛。

利用上述改进的超像素分割算法，将图像I₁分割成A个超像素块得到超像素标记图L₁，每个超像素块分别用序号1，2，3…A表示。将图像I₂分割成B个超像素块得到超像素标记图L₂，每个超像素块分别用序号1，2，3…B表示，同一超像素区域中的像素具有相同的标记序号。如图2所示，超像素分割算法将大小为11×11的图像分割成9个超像素区域，每个数字代表一个像素。

103：创建超像素运动统计模型，计算两张图像中每个超像素对的匹配度；

为了计算两张图像中每个超像素对的匹配度，创建一个大小为A×B的表格式累加器，并将该表格式累加器中的每个单元格初始化为0。当一个匹配遍历1次，对应的单元格加1。每个超像素匹配对(p_a,p_b)的匹配值D(p_a,p_b)计算公式如下：

式中，p_a表示I₁中的超像素块，p_b表示I₂中的超像素块，a为超像素块在I₁中的序号，b为超像素块在I₂中的序号，k表示匹配的个数。

其中，m_k定义如下：

当遍历完所有的初始匹配时，所有超像素对的匹配度计算完毕。

为了提高效率，累加器以稀疏矩阵的形式存储，只考虑存在匹配的超像素对。超像素的统计过程如图3(a)所示，(x₁,y₁)为第1对匹配对，坐标x₁属于I₁中第4个超像素块，坐标y₁属于I₂中第3个超像素块，则将单元格(4,3)加1；(x₂,y₂)为第2对匹配对，坐标x₂属于I₁中第2个超像素块，坐标y₂属于I₂中第2个超像素块，则将单元格(2,2)加1；(x₃,y₃)为第3对匹配对，坐标x₃属于I₁中第6个超像素块，坐标y₃属于I₂中第7个超像素块，则将单元格(6,7)加1。遍历完所有匹配后，可得如图3(b)所示的统计表格。

104：根据超像素运动统计模型得到的匹配度计算正确匹配的掩膜图像，筛选正确的特征匹配。

根据大数定律，分布上的概率差异可以转化为频率统计上的差异。在I₁和I₂的每组超像素匹配对中，仅考虑一种可能的一致性对应关系，并据此计算出正确匹配的掩膜图像。

式中，N_a表示I₁中超像素区域p_a中的特征点个数；n_bi表示I₂中标号为b_i的超像素区域中的匹配数目；i＝1,2,…,s，s表示I₂中与p_a存在匹配的超像素区域总个数；阈值调节因子λ＝3；Mask(a,b)＝1表示超像素对(p_a,p_b)中的点对匹配正确。

综上所述，本发明实施例通过上述步骤101-步骤104采用超像素分割的网格化对传统网格运动统计进行了改进，并建立了超像素网格统计模型，将真假匹配的概率分布特性转换为统计特性，以此实现误匹配点的自动筛选。

实施例2

下面结合具体的实例对实施例1中的方案做进一步详细描述，详见下文描述：

实验结果均在CPU为Intel i7-6700，3.4GHz，内存为8G的台式电脑上运行所得，操作系统为Windows 7，仿真软件为64位Matlab R2015b。主要参数设置为：超像素初始间隔L＝45，空间与颜色的权重系数为γ＝0.3。

图4、图5为4种算法对部分自然图像的特征匹配效果，为便于观察，对配准结果做均匀下采样，仅显示一半。图4中2幅“head”图像之间存在非刚性运动形变，且耳部存在遮挡。从图中可以看出：图4(a)中的Non-rigid Ransac算法^[3]将左图中的左眼区域错误匹配到了右图中的右眼；图4(b)中的MRCVF算法^[4]虽保留了较多关键匹配点，但误将耳朵和眼睛匹配到一起；图4(c)中的GMS算法^[2]基本实现了重要特征点的对齐，但在头发区域存在明显的误匹配；图4(d)为本方法的匹配结果，虽然最终匹配数量略少，但关键的匹配点均被有效地保留下来，匹配准确度明显优于其他算法。图5(a)、(b)、(c)分别为Non-rigid Ransac算法、MRCVF算法、GMS算法对“hand”图像的误匹配去除效果，这三种算法的结果均在食指和中指的部位存在明显的误匹配，而本方法得到的结果图5(d)则有效去除了误匹配，准确度更高。

表1在MPI Sintel数据集上对经典的Non-rigid Ransac算法^[3]，MRCVF算法^[4]，GMS算法^[2]，以及本方法进行对比，并计算了特征点匹配准确率，即正确匹配点对与总匹配点对的比值。MPI Sintel数据集由人工生成的动画序列组成，存在不同程度的大位移和非刚性运动形变，以光流的形式提供了Ground Truth图像。

从表1中可以看出，由于参数模型不能很好地描述大位移的非刚性形变，Non-rigid Ransac算法准确率相对较低；MRCVF算法是根据整个矢量场的运动的一致性约束进行参数迭代，对误匹配点较为敏感，当存在大量误匹配时，算法不易收敛；GMS算法采用局部网格统计的方法，受误匹配的干扰较小，准确率有所提高；而本方法采用了超像素运动一致性约束，有效提高了匹配精度。可见，本方法得到的匹配结果最好，与仿真实验得到的结果一致。需要注意的是，由于针对非刚性大位移形变图像序列进行配准，因此本方法的配准准确率普遍较低。

表1不同算法的匹配准确率对比

尽管上面结合附图对本发明的功能及工作过程进行了描述，但本发明并不局限于上述的具体功能和工作过程，上述的具体实施方式仅仅是示意性的，而不是限制性的。本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，所作的任何修改、等同替换、改进等，均属于本发明的保护范围之内。

参考文献

[1]Rublee E,Rabaud V,Konolige K,et al.ORB:An efficient alternative toSIFT or SURF[C]//2011International Conference on Computer Vision(ICCV).Barcelona,Spain：IEEE,2011:2564-2571.

[2]Bian J，Lin W Y，Matsushita Y，et al.GMS：Grid-Based Motion Statisticsfor Fast，Ultra-Robust Feature Correspondence[C]//2017IEEE Conference onComputer Vision and Pattern Recognition(CVPR).Honolulu，HI，USA：IEEE，2017：2828-2837.

[3]Tran Q H，Chin T J，Carneiro G，et al.In defence of RANSAC foroutlier rejection in deformable registra-tion[C]//European Conference onComputer Vision.Berlin，Heidelberg：Springer，2012：274-287.

[4]Wang G，Wang Z，Chen Y，et al.Learning coherent vector fields forrobust point matching under manifold regularization[J].Neurocomputing，2016，216：393-401.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于超像素运动统计的误匹配去除方法，其特征在于，所述方法包括以下步骤：

对两张待匹配图像进行特征提取、描述与匹配；

利用改进的超像素分割算法对待匹配图像I₁和I₂进行分割，得到两张超像素标记图；

基于超像素标记图建立超像素运动统计模型，通过模型实现非刚性形变图像配准特征点的自动筛选；

所述建立超像素运动统计模型，通过模型实现非刚性形变图像配准特征点的自动筛选具体为：

创建超像素统计模型，计算两张图像中每个超像素对的匹配度；

根据匹配度计算正确匹配的掩膜图像，筛选正确的特征匹配；

所述根据匹配度计算正确匹配的掩膜图像，筛选正确的特征匹配具体为：

式中，N_a表示I₁中超像素区域p_a中的特征点个数；

表示I₂中标号为b_i的超像素区域中的匹配数目；i＝1_,2,…,s，s表示I₂中与p_a存在匹配的超像素区域总个数；λ表示阈值调节因子；Mask(a,b)＝1表示超像素对(p_a,p_b)中的点对匹配正确。

2.根据权利要求1所述的一种基于超像素运动统计的误匹配去除方法，其特征在于，所述对两张待匹配图像进行特征提取、描述与匹配具体为：

对两张待匹配图像，采用ORB算子分别提取图像的特征点，得到两个初始特征点集，并对特征点进行描述；

利用特征匹配对两个特征点集进行初匹配，从而获得N对初始匹配坐标对。

3.根据权利要求1所述的一种基于超像素运动统计的误匹配去除方法，其特征在于，所述改进的超像素分割算法具体为：

将图像转换至CIELAB色彩空间中，均匀选取K个聚类种子点，其间隔为L个像素，在每个种子点周围2L×2L的邻域范围内搜索与之具有较高相似度的像素，并将其归为一类；

采用皮尔逊相关系数来代替欧氏距离，获取相似度。

4.根据权利要求3所述的一种基于超像素运动统计的误匹配去除方法，其特征在于，所述采用皮尔逊相关系数来代替欧氏距离，获取相似度具体为：

ρ_ij＝γ·ρ_S+(1-γ)·ρ_C

式中，j表示聚类中心的下标，j＝1,2,…,K；cov(.)和D(.)分别表示协方差和方差；ρ_ij表示像素i与聚类中心j的相似度；γ∈[0,1]代表衡量色彩相似性ρ_C与空间相似性ρ_S的权重因子；K等于图像像素个数除以L²；C_j表示聚类中心j的颜色特征；S_j表示聚类中心j的空间位置特征；C_i表示像素i的的颜色特征；S_i表示像素i的空间位置特征。

5.根据权利要求1所述的一种基于超像素运动统计的误匹配去除方法，其特征在于，所述超像素统计模型具体为：

创建一个大小为A×B的表格式累加器，将其中的每个单元格初始化为0，一个匹配遍历1次，对应的单元格加1，

每个超像素匹配对(p_a,p_b)的匹配值D(p_a,p_b)计算如下：

式中，p_a表示I₁中的超像素块，p_b表示I₂中的超像素块，a为超像素块在I₁中的序号，b为超像素块在I₂中的序号，k表示匹配的个数。

6.根据权利要求5所述的一种基于超像素运动统计的误匹配去除方法，其特征在于，所述表格式累加器以稀疏矩阵的形式存储，仅考虑存在匹配的超像素对。

Images