CN104392434A - 一种基于三角形约束的图像匹配扩散方法 - Google Patents

Abstract

一种基于三角形约束的图像匹配扩散方法，包括以下步骤：1)采用SFIT算法来提取和匹配初始种子点对，匹配过程中加入了交叉一致性检验；2)利用Delaunay三角化算法来组织目标图中的初始种子点，判断是否存在待扩散的三角形匹配区域对，如果有，则进行匹配三角形区域对，并更新种子点结合与匹配区域集合；如果否，RANSAC去除外点并计算基础矩阵F，得到扩散后的种子点集合与匹配区域集合；3)在种子点周围邻域中扩散出更多的匹配点对，直到没有可靠种子点，进入步骤4)；4)进行重采样，并输入扩散匹配结果。本发明提供一种正确匹配率较高、鲁棒性良好的基于三角形约束的图形匹配扩散方法。

Description

一种基于三角形约束的图像匹配扩散方法

技术领域

本发明涉及计算机视觉领域，尤其是一种图形匹配扩散方法。 

背景技术

匹配的扩散问题，一直是计算机视觉领域研究的热点与难点。根据目的不同，大致分为两类：第一类即是基于邻域扩散的方法，这种方法能利用种子点对周围的邻域信息，扩散更多的匹配点对；而另一类是基于匹配策略的扩散方法。这类方法主要依靠不同的相似性度量方法或一些约束条件来实现获取更多更可靠的特征点匹配点对。特征点提取与匹配是近年来计算机视觉领域中备受关注的研究方向和研究热点，为了得到可靠的特征点以及可信度高的匹配对，学者们相继提出了许多优秀的特征点检测算子，如Harris角点检测算子，SIFT特征点检测算子，以及SURF，KAZE等。近些年最常用的描述符是SIFT描述符，此外还有DAISY描述符^[87]与SURF等。通过合理地搭配特征点检测算子与特征点描述符，能够有效地实现特定场合环境下特征点的提取与匹配。然而，现今存在的相似性度量方法与匹配策略却很局限。 

基于邻域扩散的方法能基于种子点并依据种子点邻域内的可靠信息扩散出更多更有效的匹配点对，这种方法实际上就是利用种子点迭代扩散的过程；基于匹配策略的扩散方法，能根据一些约束条件与改进的匹配策略，保证更多更精确的特征点匹配的获取。两种方法各有各的优势与不足，根据运用场合的不同，不同的方法能发挥不同的优势。 

基于匹配策略的方法能利用改进匹配策略的方法扩散出更多更精确的特征点匹配，但是扩散出的点仍然属于稀疏点匹配的范畴，依然不利于后期的三维结构的可视化形成，基于邻域扩散的方法能够利用种子点邻域信息，在邻域周围扩散出更多的匹配点对，但是这种算法很大程度上依赖于种子点的精度与数量，而 且在扩散的迭代过程中，错误的扩散点在一定程度上会影响新的扩散点的精度。 

发明内容

为了克服已有图形匹配扩散方法的正确匹配率较低、鲁棒性较差的不足，本发明提供一种正确匹配率较高、鲁棒性良好的基于三角形约束的图形匹配扩散方法。 

本发明解决其技术问题所采用的技术方案是： 

一种基于三角形约束的图像匹配扩散方法，包括以下步骤： 

1)初始种子点获取 

输入图像对，采用SFIT算法来提取和匹配初始种子点对，匹配过程中加入了交叉一致性检验； 

交叉一致性检验过程如下：首先，左图和右图通过SIFT特征检测算子检测提取图像上的特征点，假设左图中的特征点集合用A表示，右图中的特征点集合用B表示，首先以左图为目标图，右图为参考图，以左图来匹配右图，得到左图匹配右图的一个单映射关系，即集合A映射到集合B的匹配关系，用关系P来表示；再以右图为参考图，左图为目标图，以右图来匹配左图，得到集合B到集合A的单映射关系，用关系Q来表示；如果一组匹配点(X,X’)满足公式(1)，则认为是可靠匹配： 

$(X,X^{\′})\∈\left\{(m,n)\right|m\∈A,n\∈B,(m,n)\⋐P,(n,m)\⋐Q\}---\left(\text{1}\right)$

其中，m、n分别表示目标图与匹配图中的SIFT特征点； 

2)利用基于三角形约束的方法扩散出更多种子点 

提取步骤1)的匹配初始种子点对，利用Delaunay三角化算法来组织目标图中的初始种子点，形成三角区域集合T_A，同时，根据目标图中各点的连接顺序，依次连接组织参考图中与之匹配对应的初始种子点，在参考图中也形成三角形区 域集合T_B，至此，得到了目标图与参考图之间的区域对应关系； 

判断是否存在待扩散的三角形匹配区域对，如果有，则进行匹配三角形区域对，并更新种子点结合与匹配区域集合；如果否，RANSAC去除外点并计算基础矩阵F，得到扩散后的种子点集合与匹配区域集合； 

3)基于邻域扩散的方法，在种子点周围邻域中扩散出更多的匹配点对，直到没有可靠种子点，进入步骤4)； 

设定三个约束条件如下：a、离散的二维视差梯度极限约束：候选匹配点对N(x,x’)必须满足离散二维视差梯度约束，即规定参考图中点x领域中的待扩散点u，其在目标图中的候选匹配点需要在以x’邻域中相同偏移量的点u’为中心的3×3窗口内，同时也需要在x’的邻域内；b、可信度量约束；c、唯一性约束：规定两图间的匹配仅能保持一一映射的关系； 

4)进行重采样，并输入扩散匹配结果。 

进一步，所述步骤1)中，在交叉一致性检验结束后，进行随机抽样一致性算法处理，随机抽取已经匹配的点集中的任意8组匹配，用这8组匹配计算基本矩阵F，如果此8组匹配所计算得到的F是正确的，则用于剔除错误匹配，接着利用这些剔除过误匹配的匹配点计算新的F；如果此8组匹配所计算得到的F是不正确，则继续随机抽取8组匹配，直至抽取到正确8组匹配。 

再进一步，所述步骤2)中，在参考图中，依次处理集合T_A中的三角形区域，假设取△ABC∈T_A，A，B，C分别为△ABC的三个顶点，则在△ABC区域中的每一个特征点P，其坐标都能用A，B，C的坐标来表示： 

p＝αa+βb+γc,(α+β+γ＝1)   (2) 

其中p，a，b，c分别表示点P，A，B，C在图像上的坐标，α，β，γ为系数，因此，在三角形的三个顶点A，B，C以及特征点P的坐标都已知的情况下，三个系 数能通过以下公式来计算得到： 

$\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\\ \mathrm{\γ}\end{array}\right]={\left[\begin{array}{ccc}{x}_a& x_b& x_c\\ y_a& y_b& y_c\\ 1& 1& 1\end{array}\right]}^{-1}\left[\begin{array}{c}{x}_p\\ y_p\\ 1\end{array}\right]---\left(3\right)$

特征点P在参考图中的匹配点P’会位于点P_c的位置： 

$\left[\begin{array}{c}{x}_{\mathrm{pc}}\\ y_{\mathrm{pc}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{x}_{a^{\′}}& x_{b^{\′}}& x_{c^{\′}}\\ y_{a^{\′}}& y_{b^{\′}}& y_{c^{\′}}\\ 1& 1& 1\end{array}\right]\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\\ \mathrm{\γ}\end{array}\right]---\left(\text{4}\right)$

其中a’，b’，c’为分别与A，B，C在参考图上的匹配点A’，B’，C’的坐标，取P_c周围以R像素大小为半径的圆形邻域，在这个邻域中的特征点，都认为是点P的候选匹配点，记为集合Can，在集合Can中取每个候选点C依次计算匹配分数： 

$\mathrm{score}={1.5}^{-{(d/R)}^2}\×{{\mathrm{Des}}_p}^T{\mathrm{Des}}_c---\left(5\right)$

其中d是点P与候选点C的欧式距离，Des_p与Des_c分别是点P与点C的特征点描述符，如果候选集合Can中的特征点分数最大值大于事先设定的阈值t，则将这对匹配点放入临时匹配集合Temp中； 

直至所有△ABC区域中的特征点处理完毕，如果满足如下公式，则集合Temp中的匹配将被接纳： 

|Temp|＞λmin{|P_L|,|P_R|}   (6) 

其中P_L与P_R分别代表△ABC与△A'B'C'区域中的特征点集合，|o|表示集合的基数，△ABC与△A'B'C'被认为是一对匹配区域，用于约束下一步的邻域扩散。 

本发明的有益效果主要表现在：正确匹配率较高、鲁棒性良好。 

附图说明

图1是基于三角形约束的图像匹配扩散方法的流程图。 

图2是匹配结果对比图，其中，(a)为SIFT原始匹配结果，(b)为加入交叉一致性检验后的SIFT匹配结果。 

图3是基于三角形约束的邻域扩散正确性检测，其中，(a)、(b)中的黑色点 对和灰色点对表示基于邻域扩散后的种子点对，由于黑色点对不属于同一对三角形区域(△ABD,△ABC)，直接剔除，灰色点对属于同一对三角形区域，所以保留。具体实施方式 

下面结合附图对本发明作进一步描述。 

参照图1～图3，一种基于三角形约束的图像匹配扩散方法，包括以下步骤：1)初始种子点获取；2)利用基于三角形约束的方法扩散出更多种子点；3)基于邻域扩散的方法，在种子点周围邻域中扩散出更多的匹配点对。 

所述步骤1)中，初始种子点获取的过程如下：在初始种子点获取阶段，我们利用“点对点”的匹配策略。由于SIFT算法在大角度以及多尺度图像中表现良好的稳定性。因此，本文采用SFIT算法来提取和匹配初始种子点。然而，传统取两两描述符点积的方法会带来许多错误的匹配点，这些错误的匹配点会影响后续扩散结果的精度。为了得到稳定可靠的初始种子点，本文在匹配过程中加入了交叉一致性检验(cross-consistency check)。 

交叉一致性检验的原理就是一个交换检验的过程。首先，左图和右图通过SIFT特征检测算子检测提取图像上的特征点，假设左图中的特征点集合用A表示，右图中的特征点集合用B表示。首先以左图为目标图，右图为参考图，以左图来匹配右图，得到左图匹配右图的一个单映射关系，即集合A映射到集合B的匹配关系，用关系P来表示。再以右图为参考图，左图为目标图，以右图来匹配左图，得到集合B到集合A的单映射关系，用关系Q来表示。如果一组匹配点(X,X’)满足公式(1)，则认为是可靠匹配： 

$(X,X^{\′})\∈\left\{(m,n)\right|m\∈A,n\∈B,(m,n)\⋐P,(n,m)\⋐Q\}---\left(\text{1}\right)$

其中，m、n分别表示目标图与匹配图中的SIFT特征点； 

为提高初始种子点的精度，在交叉一致性检验结束后，利用随机抽样一致性算法(RANSAC)算法去除少量的错误匹配点。随机抽取已经匹配的点集中的任意8 组匹配，用这8组匹配计算基本矩阵F，如果此8组匹配所计算得到的F是正确的，则用于剔除错误匹配，接着利用这些剔除过误匹配的匹配点计算新的F；如果此8组匹配所计算得到的F是不正确，则继续随机抽取8组匹配，直至抽取到正确8组匹配。 

所述步骤2)中，利用基于三角形约束的方法扩散出更多种子点的过程如下：传统的特征点提取算法，往往忽略了许多可靠的匹配点对，导致匹配分数的下降。因此，为获得高匹配分数的种子点对以便后续提高邻域扩散结果的精度及匹配数量，在获得初始匹配点对之后，需要再进行种子点扩散。种子点扩散阶段采用“块对块”的匹配策略，即区域匹配。利用区域约束，将“点对点”的匹配上升至局部区域间的匹配，在平滑的区域中，利用几何关系，扩散出更多更可靠的种子点。在所有的几何图形中，三角形是最简单的几何结构，不需要其他额外信息，给出三个顶点便能表示出三角形的形状及位置。而且，三角形具有良好仿射不变性，其内部的每个点的坐标位置都能用三角形的三个顶点来表示。考虑到三角形的特殊性质，这里我们利用三角形约束^[93]的扩散方法来完成种子点的扩散。 

对于先前提取的初始匹配点对，利用Delaunay三角化算法来组织目标图中的初始种子点，形成三角区域集合T_A。同时，根据目标图中各点的连接顺序，依次连接组织参考图中与之匹配对应的初始种子点，在参考图中也形成类似的三角形区域集合T_B。至此，得到了目标图与参考图之间的区域对应关系。 

在参考图中，依次处理集合T_A中的三角形区域，假设取△ABC∈T_A，A，B，C分别为△ABC的三个顶点，则在△ABC区域中的每一个特征点P，其坐标都能用A，B，C的坐标来表示： 

p＝αa+βb+γc,(α+β+γ＝1)   (2) 

其中p，a，b，c分别表示点P，A，B，C在图像上的坐标，α，β，γ为系数。因此，在三角形的三个顶点A，B，C以及特征点P的坐标都已知的情况下，三个系 数能通过以下公式来计算得到： 

$\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\\ \mathrm{\γ}\end{array}\right]={\left[\begin{array}{ccc}{x}_a& x_b& x_c\\ y_a& y_b& y_c\\ 1& 1& 1\end{array}\right]}^{-1}\left[\begin{array}{c}{x}_p\\ y_p\\ 1\end{array}\right]---\left(3\right)$

若不考虑噪音与畸变的影响，则特征点P在参考图中的匹配点P’会位于点P_c的位置： 

$\left[\begin{array}{c}{x}_{\mathrm{pc}}\\ y_{\mathrm{pc}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{x}_{a^{\′}}& x_{b^{\′}}& x_{c^{\′}}\\ y_{a^{\′}}& y_{b^{\′}}& y_{c^{\′}}\\ 1& 1& 1\end{array}\right]\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\\ \mathrm{\γ}\end{array}\right]---\left(\text{4}\right)$

其中a’，b’，c’为分别与A，B，C在参考图上的匹配点A’，B’，C’的坐标。考虑到一些因素的影响，如噪音。P’不会精确定位在P_c，因此，取P_c周围以R像素大小为半径的圆形邻域，R通常取3，在这个邻域中的特征点，都认为是点P的候选匹配点，记为集合Can。在集合Can中取每个候选点C依次计算匹配分数： 

$\mathrm{score}={1.5}^{-{(d/R)}^2}\×{{\mathrm{Des}}_p}^T{\mathrm{Des}}_c---\left(5\right)$

其中d是点P与候选点C的欧式距离，Des_p与Des_c分别是点P与点C的特征点描述符。如果候选集合Can中的特征点分数最大值大于事先设定的阈值t，则将这对匹配点放入临时匹配集合Temp中。 

直至所有△ABC区域中的特征点处理完毕，如果满足如下公式，则集合Temp中的匹配将被接纳： 

|Temp|＞λmin{|P_L|,|P_R|}   (6) 

其中P_L与P_R分别代表△ABC与△A'B'C'区域中的特征点集合，|o|表示集合的基数。同时，△ABC与△A'B'C'被认为是一对匹配区域，用于约束下一步的邻域扩散。 

所述步骤3)中，基于邻域扩散的方法的过程如下： 

为保证扩散的精确性，传统基于邻域的扩散算法在执行过程中，加入了三个约束： 

a、离散的二维视差梯度极限约束(Discrete 2D disparity gradient limit)。候选匹配点对N(x,x’)必须满足离散二维视差梯度约束，离散的二维视差梯度极限约束即规定参考图中点x领域中的待扩散点u，其在目标图中的候选匹配点需要在以x’邻域中相同偏移量的点u’为中心的3×3窗口内，同时也需要在x’的邻域内。 

b、可信度量约束(Confidence measure)。可信度量约束能允许扩散至一些边缘区域，并防止扩散至纹理比较单一的区域，增加匹配效率。 

c、唯一性约束(Uniqueness constraint)。唯一性约束即规定两图间的匹配仅能保持一一映射的关系，不存在参考图中的一点与目标图中的多点匹配。这样能在每次匹配过程中事先排除已扩散的匹配点，增加扩散效率与结果的精确性。 

基于上述约束条件，本文继续提出三角形约束。三角形约束的目的即为扩散的过程中提供区域型约束，排除扩散过程中带来的误匹配点对，防止误匹配点对对下一次迭代扩散造成影响，其基本思路如图3所示，假设△ABC和△A’B’C’是上一步骤中提取并计算得到的三角形匹配区域，S与S’是一对匹配种子点。图中的红色点对与绿色点对是经过邻域扩散后得到两组匹配点。如图3所示，考虑两组情况：若扩散出的点，在同一个匹配区域内(即同一对匹配三角形区域内)则认为是积极的点，我们将其重新放入全局待扩散种子点队列中，进行下一轮的扩散，如图中“绿色点对”；另一种情况如图中“红色点对”，扩散出的点对分别位于两个非匹配三角形区域中，则我们认为其为一组消极的扩散点，不将其放入全局待扩散种子点队列中，直接剔除。通过三角形约束，能够剔除每一步扩散过程中所带来的错误匹配点，在一定程度上有益于减少错误匹配点对对扩散结果精度的影响。 

Claims (3)

1.一种基于三角形约束的图像匹配扩散方法，其特征在于：包括以下步骤：

1)初始种子点获取

输入图像对，采用SFIT算法来提取和匹配初始种子点对，匹配过程中加入了交叉一致性检验；

交叉一致性检验过程如下：首先，左图和右图通过SIFT特征检测算子检测提取图像上的特征点，假设左图中的特征点集合用A表示，右图中的特征点集合用B表示，首先以左图为目标图，右图为参考图，以左图来匹配右图，得到左图匹配右图的一个单映射关系，即集合A映射到集合B的匹配关系，用关系P来表示；再以右图为参考图，左图为目标图，以右图来匹配左图，得到集合B到集合A的单映射关系，用关系Q来表示；如果一组匹配点(X,X’)满足公式(1)，则认为是可靠匹配：

$(X,X^{\′})\∈\left\{(m,n)\right|m\∈A,n\∈B,(m,n)\⋐P,(n,m)\⋐Q\}---\left(1\right)$

其中，m、n分别表示目标图与匹配图中的SIFT特征点；

2)利用基于三角形约束的方法扩散出更多种子点

提取步骤1)的匹配初始种子点对，利用Delaunay三角化算法来组织目标图中的初始种子点，形成三角区域集合T_A，同时，根据目标图中各点的连接顺序，依次连接组织参考图中与之匹配对应的初始种子点，在参考图中也形成三角形区域集合T_B，至此，得到了目标图与参考图之间的区域对应关系；

判断是否存在待扩散的三角形匹配区域对，如果有，则进行匹配三角形区域对，并更新种子点结合与匹配区域集合；如果否，RANSAC去除外点并计算基础矩阵F，得到扩散后的种子点集合与匹配区域集合；

3)基于邻域扩散的方法，在种子点周围邻域中扩散出更多的匹配点对，直到没有可靠种子点，进入步骤4)；

设定三个约束条件如下：a、离散的二维视差梯度极限约束：候选匹配点对N(x,x’)必须满足离散二维视差梯度约束，即规定参考图中点x领域中的待扩散点u，其在目标图中的候选匹配点需要在以x’邻域中相同偏移量的点u’为中心的3×3窗口内，同时也需要在x’的邻域内；b、可信度量约束；c、唯一性约束：规定两图间的匹配仅能保持一一映射的关系；

4)进行重采样，并输入扩散匹配结果。

2.如权利要求1所述的一种基于三角形约束的图像匹配扩散方法，其特征在于：所述步骤1)中，在交叉一致性检验结束后，进行随机抽样一致性算法处理，随机抽取已经匹配的点集中的任意8组匹配，用这8组匹配计算基本矩阵F，如果此8组匹配所计算得到的F是正确的，则用于剔除错误匹配，接着利用这些剔除过误匹配的匹配点计算新的F；如果此8组匹配所计算得到的F是不正确，则继续随机抽取8组匹配，直至抽取到正确8组匹配。

3.如权利要求1或2所述的一种基于三角形约束的图像匹配扩散方法，其特征在于：所述步骤2)中，在参考图中，依次处理集合T_A中的三角形区域，假设取△ABC∈T_A，A，B，C分别为△ABC的三个顶点，则在△ABC区域中的每一个特征点P，其坐标都能用A，B，C的坐标来表示：

p＝αa+βb+γc,(α+β+γ＝1)                    (2)

其中p，a，b，c分别表示点P，A，B，C在图像上的坐标，α，β，γ为系数，因此，在三角形的三个顶点A，B，C以及特征点P的坐标都已知的情况下，三个系数能通过以下公式来计算得到：

$\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\\ \mathrm{\γ}\end{array}\right]={\left[\begin{array}{ccc}{x}_a& x_b& x_c\\ y_a& y_b& y_c\\ 1& 1& 1\end{array}\right]}^{-1}\left[\begin{array}{c}{x}_p\\ y_p\\ 1\end{array}\right]---\left(3\right)$

特征点P在参考图中的匹配点P’会位于点P_c的位置：

$\left[\begin{array}{c}{x}_{\mathrm{pc}}\\ y_{\mathrm{pc}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{x}_{a^{\′}}& x_{b^{\′}}& x_{c^{\′}}\\ y_{a^{\′}}& y_{b^{\′}}& y_{c^{\′}}\\ 1& 1& 1\end{array}\right]\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\\ \mathrm{\γ}\end{array}\right]---\left(4\right)$

其中a’，b’，c’为分别与A，B，C在参考图上的匹配点A’，B’，C’的坐标，取P_c周围以R像素大小为半径的圆形邻域，在这个邻域中的特征点，都认为是点P的候选匹配点，记为集合Can，在集合Can中取每个候选点C依次计算匹配分数：

$\mathrm{score}={1.5}^{-{(d/R)}^2}\×{{\mathrm{Des}}_p}^T{\mathrm{Des}}_c---\left(5\right)$

其中d是点P与候选点C的欧式距离，Des_p与Des_c分别是点P与点C的特征点描述符，如果候选集合Can中的特征点分数最大值大于事先设定的阈值t，则将这对匹配点放入临时匹配集合Temp中；

直至所有△ABC区域中的特征点处理完毕，如果满足如下公式，则集合Temp中的匹配将被接纳：

|Temp|＞λmin{|P_L|,|P_R|}                (6)

其中P_L与P_R分别代表△ABC与△A'B'C'区域中的特征点集合，|o|表示集合的基数，△ABC与△A'B'C'被认为是一对匹配区域，用于约束下一步的邻域扩散。