CN109816706B - 一种平滑约束与三角网等比例剖分像对稠密匹配方法 - Google Patents

Abstract

本发明提出一种平滑约束与三角网等比例剖分像对稠密匹配方法，包括：在像对I₁与I₂上应用ORB算法，获得稀疏匹配点集；筛选出以特征点为中心的邻域中密度直达的特征点集；对特征点集进行DBSCAN密度聚类，形成集合；用集合

进行DBSCAN密度聚类处理剔除外点，得到内点集；构建待匹配图像I₁的Delaunay三角网Tri₁；构建目标图像I₂的Delaunay三角网Tri₂；计算三角网Tri₁和Tri₂中等比例点的坐标；等比例点的稠密化，进一步优化构成相似三角形的内点集；重新构造待匹配图像I₁和目标图像I₂的三角网Tri'₁和Tri'₂；判断三角区域间的相似性度量值，输出三角网稠密匹配点的坐标；本发明的目的是避免由于某些局部外点造成仿射变换矩阵估计不准确而影响整体平面稠密匹配准确率的问题，实验验证本发明方法有效。

Description

一种平滑约束与三角网等比例剖分像对稠密匹配方法

技术领域

本发明属于图像处理领域，具体涉及一种平滑约束与三角网等比例剖分像对稠密匹配方法。

背景技术

像对稠密匹配是影像融合、三位重建、超分辨率重建等高级图象处理技术的基础，影响稠密匹配实用性的主要指标包括算法的复杂度、鲁棒性、匹配准确率及匹配稠密度等，而如何克服外部条件的影响，快速获得准确且稠密的匹配结果是该任务的研究难点。稠密匹配主要以稀疏匹配为基础进行稠密化，经典的特征匹配算法如SIFT、SURF、ORB等旨在提高特征描述符的不变性并改善定位；而最新提出的LIFT通过FLANN方法完成了加速特征匹配的工作。通常采用上述稀疏匹配方法获得的匹配点对存在较多误匹配点，提纯特征匹配结果中的内点依然存在困难，传统的解决方法如RANSAC、VFC等，虽然剔除了部分外点提高了准确率，但同时也降低特征匹配的整体速度。Bian等人2016年提出一种GMS方法，运用网格平滑运动约束方法，可以在完成局部不变点特征匹配的同时剔除外点，从而能够在保证匹配准确率的同时提高处理速度。然而，由于该方法受到了网格参数取值及边界条件的制约，从而降低了该方法获得稀疏匹配点的数量，影响后续的稠密匹配工作。

发明内容

基于以上技术不足，本发明提出一种平滑约束与三角网等比例剖分像对稠密匹配方法，具体步骤如下：

步骤1：输入：待匹配图像I₁、目标图像I₂、阈值r和比例点数m；

步骤2：待匹配图像I₁和目标图像I₂组成像对，在像对I₁与I₂上应用ORB算法，获得稀疏匹配点集FPa与FPb；

步骤3：遍历点集FPa与FPb，筛选出以特征点为中心的邻域中密度直达的特征点集FPa′∈I₁和FPb′∈I₂；

密度直达的定义式如下：

公式(1)中ε为邻域半径；N_i,N_j分别为编号i与j的特征点，distance(N_i,N_j)为两个特征点之间的距离；

式中，C_Ni为特征点N_i所确定邻域内密度直达特征点的数目，A(x,y),B(x,y),C(x,y),D(x,y)分别为N_i邻域的最小外截矩形定点，f(N_i,N_j(x,y))是密度直达函数；

分别提取I₁与I₂中的ORB特征点获得集合S与T，基于欧式距离将S中的特征点与T中的特征点通过KD树进行匹配，获得匹配点集合ψ＝{ψ₁,ψ₂,...,ψ_n}，其中ψ_i＝(N_i,M_i)表示第i匹配点对且C_Ni≥χ，χ为匹配点数阈值；

分别对每个ψ_i计算欧式距离D，偏移角θ与N_i的位置共同作为DEC的距离度量项R_i＝[D_i,θ_i,x_Ni,y_Ni]。则匹配点对之间的DEC距离误差项E定义为公式(3)。

其中E_ij为第i个匹配点对与第j个匹配点对之间的距离误差项。匹配点对之间的E(R_i,R_j)共同组成距离误差矩阵M_n×n。

M_n×n为对称矩阵。在M_n×n的基础上进行DEC得到聚类集合C＝{C₁,C₂,...,C_k}，其中

m_i为聚类i中的特征点对数。

根据平滑性约束条件来决定是否对得到的聚类集合C中的匹配点对进行扩充。此时，(N_i,M_i)属于某一聚类，当其邻域中的密度直达且匹配成功的特征点对的数量m大于或等于δ时，认为它们具有相同的运动趋势，根据公式(5)对这些具有相同运动趋势的特征点进行判断，将符合如下条件的特征点，对集合

加入到正确匹配中。

其中，E_ij为(N_i,M_i)与其邻域中(N_j,M_j)的距离误差项，ε为邻域半径，α为经验值，最终获得如下的稀疏匹配特征点集合A：

步骤4；对特征点集FPa′和FPb′进行DBSCAN密度聚类，计算每一对特征点的坐标

欧式距离

和角度θ_i，形成集合

步骤5：对邻域内的匹配点进行平滑约束，采用

进行DBSCAN密度聚类处理剔除外点，得到内点集FP1∈I₁和FP2∈I₂，此时获得提纯后的匹配对应关系[FP1,FP2]；

步骤6：根据FP1构建待匹配图像I₁的Delaunay三角网Tri₁：

步骤7：根据待匹配图像I₁的三角网索引，通过提纯后的匹配对应关系[FP1,FP2]构建目标图像I₂的Delaunay三角网Tri₂：

步骤8：计算三角网Tri₁和Tri₂中等比例点的坐标；

△OPQ发生仿射变换后形成△O′P′Q′，则三角形边和等分线上的各等比例点经变换τ后仍然具有对应关系，令△OPQ的顶点坐标分别为(x_o,y_o)，(x_p,y_p)，(x_q,y_q)，则OP边上第

个等比例点坐标为：

步骤9：等比例点的稠密化：三角网中包含了n个三角形，向每个三角形中插入m个等比例点，通过这些等比例点衡量三角形的相似性，进一步优化构成相似三角形的内点集：

步骤10：根据优化后的内点集重新构造待匹配图像I₁和目标图像I₂的三角网Tri′₁和Tri'₂：

步骤11：判断三角区域间的相似性度量值乘以

后的值是否小于等于阈值r，若小于等于阈值r，输出三角网稠密匹配点的坐标vertex，若大于阈值r则对三角网Tri′₁和Tri'₂，使用步骤9方法再次插入等比例点，进一步优化构成相似三角形的内点集，使用步骤10方法重新构造I₁和I₂的三角网Tri′₁和Tri'₂，直到判断三角区域间的相似性度量值乘以

后的值小于等于阈值r，输出三角网稠密匹配点的坐标vertex。

所述三角形相似性度量计算原理如下：

Tri₁＝{Tri₁ ¹,Tri₁ ²,...,Tri₁ ^u},Tri₂＝{Tri₂ ¹,Tri₂ ²,...,Tri₂ ^u}

其中，p_v为等比例点，disp(Tri₁(p),Tri₂(p))为对应三角区域间的相似性度量值，Tri₁ ^u(p_v)为I₁第u个三角区域等分线上第v个等比例点像素值，Tri₂ ^u(p_v)为I₂第u个三角形等分线上第v个等比例点像素值,m为该三角区域内所插入等比例点个数。

有益技术效果：

拍摄场景离摄像机距离较远时，可以将远处的场景近似成一个平面，例如从卫星上拍摄的地面景物即满足这样的条件，常采用这类像片进行影像融合、超分辨率重建等应用，首先需要对像片进行稠密匹配，建立像素点间的对应关系。通过匹配点计算出的变换矩阵，尽管可以通过RANSAC等方法剔除部分外点，但目前依然没有一种方法可以完全提纯准确的内点。如果匹配点中部分匹配点出现些偏差，会造成仿射变换矩阵估计不准确的问题，从而影响后续高级图像处理。为了避免该问题，提出一种平滑约束与三角网等比例剖分像对稠密匹配方法，目的是避免由于某些局部外点造成仿射变换矩阵估计不准确而影响整体平面稠密匹配准确率的问题。

附图说明

图1为本发明实施例的一种平滑约束与三角网等比例剖分像对稠密匹配方法流程图；

图2为现有方法存在的问题；其中，图2(a)为GMS网格，图2(b)为三角网重心稠密化；

图3为本发明实施例的算法原理图；其中，图3(a)为待匹配图像；图3(b)为目标图像；

图4为本发明实施例的直接密度定义和计算；其中，图4(a)直接密度定义；图4(b)直接密度计算；

图5为本发明实施例的仿射变换下的图形；

图6为本发明实施例的待匹配像对；其中，图6(a)和图6(b)为Graf待匹配像对；图6(c)和图6(d)为Bark待匹配像对；图6(e)和图6(f)为Wall待匹配像对；

图7为本发明实施例的Graf像对匹配结果；其中，图7(a)和图7(b)为GMS匹配结果；图7(c)和图7(d)为本发明稀疏匹配结果；图7(e)和图7(f)为DeepMatching匹配结果；图7(g)和图7(h)为本发明稠密匹配结果；

图8为本发明实施例的Bark像对匹配结果；其中，图8(a)和图8(b)为GMS匹配结果；

图8(c)和图8(d)为本发明稀疏匹配结果；图8(e)和图8(f)为DeepMatching匹配结果；图8(g)和图8(h)为本发明稠密匹配结果；

图9为本发明实施例的Wall像对匹配结果；其中，图9(a)和图9(b)为GMS匹配结果；图9(c)和图9(d)为本发明稀疏匹配结果；图9(e)和图9(f)为DeepMatching匹配结果；图9(g)和图9(h)为本发明稠密匹配结果；

图10为本发明实施例的DeepMatching和本发明方法的执行时间比较；

图11为本发明实施例的DeepMatching和本发明方法的精度曲线比较；

图12为本发明研究意义示例图；其中，图12(a)为匹配图像；图12(d)为目标图像；图12(b)为(a)与(d)的SIFT特征点匹配结果；图12(c)为通过(b)的匹配点对计算得到的变换矩阵将(d)变换得到的图像；图12(e)为(b)中一对匹配点做轻微变动的结果；图12(f)为通过(e)的匹配点对计算得到的变换矩阵将(d)变换得到的图像。

具体实施方式

下面结合附图和具体实施实例对发明做进一步说明，像对稠密匹配是视觉定位、影像融合、超分辨率重建等高级图象处理技术的基础，由于像对可能受多种摄影条件的影响，导致难以获得高效的稠密匹配结果，为此本发明文提出一种结合密度聚类平滑约束与三角网等比例剖分的像对稠密匹配方法。首先，为了快速获得同名点集，采用ORB算法获取稀疏匹配点集，利用积分图筛选出以该特征点为中心的邻域中密度直达的特征点数目，计算像对间每个特征点对的偏移角，位置信息以及欧氏距离后进行密度估计聚类，通过平滑约束条件扩充聚类中的特征点对，从而快速获得内点集。其次，证明了三角剖分在仿射变换下的等比例性质，以内点集为基础构建三角网，利用该性质分别计算像对中对应三角网内部等比例点的位置，并利用这些等比例点校验两个三角区域的相似性，进一步提纯内点集。最后，利用提纯后的内点集计算稠密匹配点位置，作为最后的稠密匹配结果。实验结果验证了本发明方法的高效性与实用性。

本发明解决的问题如图2(a)中所示，由于网格参数取值的不同，实线方格内的特征点数不足以支持一致性的判定，而在虚线方格内，一致性判定则成立。

剔除稀疏匹配的外点后，可以当前内点集为基础进行稠密匹配的工作。Barnes等人为了增强图像边缘的平滑约束力，给出了一种PatchMatch方法，巧妙的利用图像中与边缘部分最为匹配的其他区域来填补图像边缘。通过随机初始化，只要有一个patch匹配正确，则可以传播给周围的patch，通过迭代最终对所有的patch都找到最相似的匹配，然而比较每个patch导致其时间利用率低下。Revaud等人于2016年提出了DeepMatching方法，该算法的优势在于对连续性约束和单调性依赖性不强，由于其利用金字塔体系结构逐步校验每层获得的稠密化结果，因此时间复杂度高，运算时间长。文献提出一种近景影像三角网内插点密集匹配方法，该方法认为理想状态下，同名三角形的重心即为同名点，后续再经过彩色信息相似性约束和极线约束进行筛选。该方法对于视差变化小的近景影像，或者视频序列影像效果较为理想，对于视差变化较大的近景影像难以适用。针对上述问题，文献文中提出一种简单有效的迭代三角网约束的近景影像密集匹配算法。该方法以初始同名点构建的Delaunay三角网作为匹配基础，以左影像三角形重心作为匹配基元，综合多重约束确定右影像上的同名点。迭代过程中整体构网，以三角形面积为间接约束，以是否有新的同名点产生为直接约束作为迭代停止的条件，取得较好的密集匹配结果。该方法存在的问题如图2(b)所示，对蓝色三角网迭代求解2次中心后，红色线条处的像素点将无法在后续求解决过程中完成稠密匹配，随着迭代次数的增加，未能匹配像素的数量会越来越多，从而降低了匹配稠密度。

本发明从两个方面解决上述问题，如图2与图3所示，其中，图2(a)为GMS网格，图3(a)为待匹配图像；图3(b)为目标图像，为了快速获得足够稠密的匹配结果，提出如下创新性方法：1)针对GMS这种快速稀疏匹配算法网格划分过程中存在的问题，采用密度估计聚类的思想，考虑聚类中特征点对的一致性与平滑性，并利用积分图加速对聚类中的匹配点对进行扩充，从而快速获得数量更多的同名点集。2)证明了仿射变换条件下三角网等比例剖分的性质，利用该性质分别计算两幅待匹配图象中对应三角网内部等比例点的位置，通过这些等比例点校验两个三角区域的相似性，以此进一步剔除外点并获得内点集并计算稠密匹配点的位置，作为最后的稠密匹配结果。

本发明提出一种平滑约束与三角网等比例剖分像对稠密匹配方法，如图1所示，具体步骤用伪代码表示如下：

步骤1：输入：待匹配图像I₁、目标图像I₂、阈值r和比例点数m；

步骤2：待匹配图像I₁和目标图像I₂组成像对，在像对I₁与I₂上应用ORB算法，获得稀疏匹配点集FPa与FPb；

[FPa FPb]＝ORB(I₁,I₂) (12)

特征点匹配算法原理如图3(a)和图3(b)所示。其中图3(a)为源图像，图3(b)为目标图像，(N_i,M_i)与(N_j,M_j)分别为正确匹配与错误匹配点对，浅灰色圆周与黑色圆周为对应匹配点的邻域，显然在(N_i,M_i)的邻域中，浅灰色圆周内，有足够多的特征点与(N_i,M_i)具有近似的运动趋势，而(N_j,M_j)的邻域中不存在与其运动趋势相似的特征点。算法的实现过程如下：

首先以从源图像I_s中获得的每个ORB特征点N_i作为邻域中心，采用积分图计算其邻域(neighbourhood of N_i)中密度直达的特征点的数目。其中，图4(a)中黑色特征点到黑色圆周内的浅灰色特征点密度直达，到黑色圆周外的深灰色特征点非密度直达。密度直达的定义式如下：

公式(1)中ε为邻域半径。图4(b)中圆周是以N_i为中心的邻域，黑色大矩形方框为邻域的实际区域，黑色实心方块标记邻域中N_i密度直达的特征点。公式(2)给出N_i邻域中密度直达的特征点数。

式中，C_Ni为特征点N_i所确定邻域内密度直达特征点的数目，f(N_i,N_j(x,y))是密度直达函数；A(x,y),B(x,y),C(x,y),D(x,y)分别为N_i邻域的最小外截矩形定点，分别为以图像原点为左上角，图4(b)中对应的A,B,C,D点为右下角的区域。提取目标图像I_T中的ORB特征点获得集合T，基于欧式距离将S中的特征点与T中的特征点进行匹配获得匹配点集合ψ＝{ψ₁,ψ₂,...,ψ_n}，其中ψ_i＝(N_i,M_i)表示第i匹配点对且C_Ni≥χ，χ为匹配点数阈值；

分别对每个ψ_i计算如图3中所示的欧式距离D，偏移角θ与N_i的位置共同作为DEC的距离度量项R_i＝[D_i,θ_i,x_Ni,y_Ni]。则匹配点对之间的DEC距离误差项E定义为公式(3)。

其中E_ij为第i个匹配点对与第j个匹配点对之间的距离误差项。匹配点对之间的E(R_i,R_j)共同组成距离误差矩阵M_n×n。

M_n×n为对称矩阵。在M_n×n的基础上进行DEC得到聚类集合C＝{C₁,C₂,...,C_k}，其中

m_i为聚类i中的特征点对数。

最后根据平滑性约束条件来决定是否对得到的聚类集合C中的匹配点对进行扩充。此时，图3中的(N_i,M_i)属于某一聚类，当其邻域中的密度直达且匹配成功的特征点对的数量m大于或等于δ时，认为它们具有相同的运动趋势，如图3中的两个浅色匹配对。根据公式(5)对这些具有相同运动趋势的特征点进行判断，将符合条件的特征点对集合

加入到正确匹配中。

其中，E_ij为(N_i,M_i)与其邻域中(N_j,M_j)的距离误差项，ε为邻域半径，α为经验值，最终获得如下的稀疏匹配特征点集合：

步骤3：遍历点集FPa与FPb，筛选出以特征点为中心的邻域中密度直达的特征点集FPa′∈I₁和FPb′∈I₂；

步骤4；对特征点集FPa′和FPb′进行DBSCAN密度聚类，计算每一对特征点的坐标

欧式距离

和角度θ_i，形成集合

步骤5：对邻域内的匹配点进行平滑约束，采用

进行DBSCAN密度聚类处理剔除外点，得到内点集FP1∈I₁和FP2∈I₂，此时获得提纯后的匹配对应关系[FP1,FP2]；

步骤6：根据FP1构建I₁的Delaunay三角网Tri₁：

Tri₁＝Delaunay(FP1) (13)

步骤7：根据I₁的三角网索引，构建I₂的Delaunay三角网Tri₂：

Tri₂＝Delaunay(ReIndex(Tri₁,FP2)) (14)

步骤8：计算三角网Tri₁和Tri₂中等比例点的坐标：

△OPQ发生仿射变换后形成△O′P′Q′，则三角形边和等分线上的各等比例点经变换τ后仍然具有对应关系，令△OPQ的顶点坐标分别为(x_o,y_o)，(x_p,y_p)，(x_q,y_q)，则OP边上第

个等比例点坐标为：

TriD₁＝F(Tri₁,m)；TriD₂＝F(Tri₂,m)；n＝size(TriD₁) (15)

文献利用三角剖分和仿射约束计算同名匹配点，其方法为产生泊松分布的抽样点构造左右图三角网，计算每一个对应三角网的仿射变换矩阵H，利用该矩阵通过泊松分布的抽样点计算利用每个H计算与左图网内对应的像点位置，利用半径R计算最终的匹配点。该方法由于采用泊松抽样算法得到孤立种子点，需要从拓扑约束及边长及角度约束进行外点提出，同时由于需要计算每个三角网的仿射矩阵H，并对每个抽样点进行仿射变换操作，降低了该方法的处理速度。本发明给出一种三角网等比例剖分稠密匹配方法，无需计算每个三角网的仿射变换矩阵，具体原理证明如下：

假设I₁和I₂为一对待匹配的图像，我们通过上面提出的匹配算法，将获得的特征点集合作为输入，输出Delaunay三角网中三角形Tri₁∈I₁的顶点索引，依据索引号构建I₂上的Delaunay三角网。三角形的每个顶点都代表了一个局部特征点，每条边都是由一对特征点及这一特征点对间的连线构成。在大多数情况下，I₁中第i个三角形Tri₁ ⁱ∈I₁与I₂中第i个三角形Tri₂ ⁱ∈I₂在仿射变换τ下是一对相似三角形。

该方法的关键理论是根据图形的仿射变换性质，即图形在两个方向上任意伸缩变换，仍然可以保持原来的线共点，点共线关系不变。如图5所示，△OPQ发生仿射变换后形成△O′P′Q′，则三角形边和等分线上的各等比例点经变换τ后仍然具有对应关系，证明过程如下：

已知：假设

为I₁中的向量，

为I₁经仿射变换τ获得I₂中对应的向量，比例参数λ∈(0..1)，则有

令

证明：

∵

∴

同理：

∴A与A’匹配，B与B’匹配，则有

∵

同理：

∴C与C’匹配。

步骤9：等比例点的稠密化：三角网中包含了n个三角形，向每个三角形中插入m个等比例点，通过这些等比例点衡量三角形的相似性，进一步优化构成相似三角形的内点集：

步骤10：根据优化后的内点集重新构造I₁和I₂的三角网Tri′₁和Tri'₂：

Tri′₁＝Delaunay(TriDa) (16)

Tri'₂＝Delaunay(ReIndex(Tri₁,TriDb)) (17)

步骤11：判断三角区域间的相似性度量值乘以

后的值是否小于等于阈值r，若小于等于阈值r，输出三角网稠密匹配点的坐标vertex，若大于阈值r则对三角网Tri′₁和Tri'₂，使用步骤9方法再次插入等比例点，进一步优化构成相似三角形的内点集，使用步骤10方法重新构造I₁和I₂的三角网Tri′₁和Tri'₂，直到判断三角区域间的相似性度量值乘以

后的值小于等于阈值r，输出三角网稠密匹配点的坐标vertex。

vertex＝[TriD₁ TriD₂] (18)

已经证明这些等比例点在仿射变换下的对应性，为了快速实现像对的稠密工作，首先获取三角区域Tri₁ ⁱ∈I₁以及对应三角区域Tri₂ ⁱ∈I₂的内部等分线上的等比例点，并计算各点的RGB值。由于稀疏点对可能存在不正确匹配，为了保证初始Delaunay三角网的准确性，通过剔除相似性低的三角网来进行稀疏匹配点集的再次提纯。此时，在两幅图像上根据这些特征点重新构造三角网，进行等比例点的稠密化。对应三角形相似性度量计算原理如下：

Tri₁＝{Tri₁ ¹,Tri₁ ²,...,Tri₁ ^u},Tri₂＝{Tri₂ ¹,Tri₂ ²,...,Tri₂ ^u} (11)

其中，p_v为等比例点，disp(Tri₁(p),Tri₂(p))为对应三角区域间的相似性度量值，Tri₁ ^u(p_v)为I₁第u个三角区域等分线上第v个等比例点像素值，Tri₂ ^u(p_v)为I₂第u个三角形等分线上第v个等比例点像素值,m为该三角区域内所插入等比例点个数。

实验结果与分析：

为了验证本方法的有效性，对特征点匹配过程和快速稠密匹配算法分别进行实验。实验在主频为3.3GHz的CPU及8G内存下进行，选择MATLAB作为开发工具，选取Mikoalyciz等中摄影基线较大的3对图像进行本发明算法实验。图6为本发明实施例的待匹配像对；其中，图6(a)和图6(b)为Graf待匹配像对；图6(c)和图6(d)为Bark待匹配像对；图6(e)和图6(f)为Wall待匹配像对；图7为本发明实施例的Graf像对匹配结果；其中，图7(a)和图7(b)为GMS匹配结果；图7(c)和图7(d)为本发明稀疏匹配结果；图7(e)和图7(f)为DeepMatching匹配结果；图7(g)和图7(h)为本发明稠密匹配结果；图8为本发明实施例的Bark像对匹配结果；其中，图8(a)和图8(b)为GMS匹配结果；图8(c)和图8(d)为本发明稀疏匹配结果；图8(e)和图8(f)为DeepMatching匹配结果；图8(g)和图8(h)为本发明稠密匹配结果；图9为本发明实施例的Wall像对匹配结果；其中，图9(a)和图9(b)为GMS匹配结果；图9(c)和图9(d)为本发明稀疏匹配结果；图9(e)和图9(f)为DeepMatching匹配结果；图9(g)和图9(h)为本发明稠密匹配结果；

分别与GMS和DeepMatching进行对比，此外阈值r设为20，比例点数m设置为100。图6为本次实验选取的像对，图6(a)与图6(b)为一对具有旋转的宽基线像对，图6(c)与图6(d)是一组具有尺度缩放、旋转、重复纹理的像对，图6(e)与图6(f)是一对具有重复纹理的像对。图7、图8、图9中，(a)与(b)均为GMS的匹配结果，图7(c)与图7(d)是采用本发明特征点匹配的实验结果，其中，本发明实验结果在方框区域内匹配点的数量上明显多于GMS匹配结果，从实验上验证了本发明可以获得更多的稀疏匹配点。图7(e)与图7((f)是通过DeepMatching方法得到的匹配结果，本发明的稠密匹配方法结果如图7(g)与图7((h)，可以明显看到本发明实验结果的稠密度高于DeepMatching匹配结果。图8为另一组具尺度缩放、旋转、重复纹理的像对的实验对比结果，由图可见，采用本发明稠密方法得到的匹配结果稠密度不仅高于DeepMatching的匹配结果，且经过本发明的平滑约束与等比例三角网约束后，内点提纯度更高，而在DeepMatching的实验结果中则存在明显的外点，如图8(f)右下角区域所示。图9为另一组具有较高重复纹理像对的实验对比结果，从稠密匹配结果的实验对比上看，由DeepMatching算法得到的图9(f)右侧区域存在明显的外点。从图7、图8、图9总体上看，本发明方法的稠密匹配范围没有DeepMatching的匹配范围大，主要受限于稀疏匹配点的分布，采用具备更高稀疏匹配性能的方法，如ASIFT等，则可更好地解决该问题。综合对比这些实验结果，本发明提出的算法无论是匹配密度还是准确性，都具有较高水平。

时间效率分析：

实验中，在4幅不同尺寸的图像上分别应用DeepMatching和本发明算法，执行时间曲线如图10所示。由图可见，DeepMatching方法的运行时间均高于本发明方法，且随着图像尺寸的增加，本发明方法的匹配时间增长更慢，远低于DeepMatching的处理时间。图10中，图像尺寸在64-256之间时两种算法运行时间差别不大，而图像尺寸增长至256之后，DeepMatching算法的时间曲线斜率发生了明显的变化，两种算法的处理时间差距不断增加。由此可见，本发明算法的时间效率优于DeepMatching算法，尤其是在处理大尺寸图像时可以极大缩短稠密匹配的处理时间。

图12为本发明研究意义示例图；其中，图12(a)为匹配图像；图12(d)为目标图像；图12(b)为(a)与(d)的SIFT特征点匹配结果；图12(c)为通过(b)的匹配点对计算得到的变换矩阵将(d)变换得到的图像；图12(e)为(b)中一对匹配点做轻微变动的结果；图12(f)为通过(e)的匹配点对计算得到的变换矩阵将(d)变换得到的图像。由图可见一个点对的误匹配将导致全局性的错误。具体描述如下：如图12中(d)为(a)经过磋切变换得到得图像，图12(b)为(a)与(d)的SURF特征点匹配结果，通过该结果估计仿射变换矩阵H，并通过H将(d)变换得到(c)，由图可见，由于所有匹配点较为准确，则(c)与(a)基本一致。对(b)中的一对特征点进行微小调整(RANSAC无法排除外点)，由(e)估计仿射变换矩阵H后，通过H将(d)变换得到(f)，由(f)可见与(a)的较大，因此这种微小的误匹配将对全局造成影响。

实验中，我们在4幅不同尺寸的图像上分别应用DeepMatching和本发明算法，对两种算法的执行时间和准确度进行比较。执行时间曲线如图10，精度曲线如图11所示。由图10可见，DeepMatching方法的运行时间均高于本发明方法，且随着图像尺寸的增加，本发明方法的匹配时间增长更慢，远低于DeepMatching的处理时间。图10中，图像尺寸在64-256之间时两种算法运行时间差别不大，而图像尺寸增长至256之后，DeepMatching算法的时间曲线斜率发生了明显的变化，两种算法的处理时间差距不断增加。在图11中，我们观察到本发明方法在图像尺寸64-512之间实现了较高的精度，而且稳步增长。当图像尺寸选择在64-256之间时，与DeepMatching算法的精度差距较为稳定，当图像尺寸增大到512时，我们算法精度的优势更加明显。由此可见，本发明算法的时间效率和准确率优于DeepMatching算法，尤其是在处理大尺寸图像时可以在保证较高准确度的同时极大缩短稠密匹配的处理时间。

综上，与现有方法相比，本发明具备更高的匹配稠密程度、准确率、及时空效率，可以较好地解决由匹配点中部分匹配点偏差所造成的仿射变换矩阵估计不准确的问题。

结论：

本发明针对现有像对稠密匹配存在的问题，提出一种结合密度聚类平滑约束与三角网等比例剖分的像对稠密匹配方法。利用ORB匹配算法稀疏匹配速度快的优势，结合征点对间局部关系平滑一致性原理，通过密度聚类与积分图方法从速度与质量上解决ORB外点多的问题，从而获得足够多的内点集。以内点集为控制点利在一系列三角区域内插入等比例点，来进行像对的内点集二次提纯与稠密匹配工作，并从数学角度证明了该方法的合理性。实验结果表明，本发明方法与DeepMatching方法相比，匹配的稠密程度、准确率、时空效率更高，可以在影像融合、三位重建、超分辨率重建等高级图象处理领域中起到重要的作用。

Claims (3)

1.一种平滑约束与三角网等比例剖分像对稠密匹配方法，其特征在于，具体步骤如下：

步骤1：输入：待匹配图像I₁、目标图像I₂、阈值r和比例点数m；

步骤2：待匹配图像I₁和目标图像I₂组成像对，在像对I₁与I₂上应用ORB算法，获得稀疏匹配点集FPa与FPb；

步骤3：遍历点集FPa与FPb，筛选出以特征点为中心的邻域中密度直达的特征点集FPa′∈I₁和FPb′∈I₂；

密度直达的定义式如下：

公式(1)中ε为邻域半径；N_i,N_j分别为编号i与j的特征点，distance(N_i,N_j)为两个特征点之间的距离；

C_Ni＝∫∫_{D(x,y)+A(x,y)-B(x,y)-C(x,y)}f(N_i,N_j(x,y))dxdy,[N_j(x,y)∈D(x,y)+A(x,y)-B(x,y)-C(x,y)] (2)

式中，C_Ni为特征点N_i所确定邻域内密度直达特征点的数目，A(x,y),B(x,y),C(x,y),D(x,y)分别为N_i邻域的最小外截矩形定点，f(N_i,N_j(x,y))是密度直达函数；

分别提取I₁与I₂中的ORB特征点获得集合S与T，基于欧式距离将S中的特征点与T中的特征点通过KD树进行匹配，获得匹配点集合ψ＝{ψ₁,ψ₂,K,ψ_n}，其中ψ_i＝(N_i,M_i)表示第i匹配点对且C_Ni≥χ，χ为匹配点数阈值；

分别对每个ψ_i计算欧式距离D，偏移角θ与N_i的位置共同作为DEC的距离度量项R_i＝[D_i,θ_i,x_Ni,y_Ni]，则匹配点对之间的DEC距离误差项E定义为公式(3)；

其中E_ij为第i个匹配点对与第j个匹配点对之间的距离误差项，匹配点对之间的E(R_i,R_j)共同组成距离误差矩阵M_n×n；

M_n×n为对称矩阵，在M_n×n的基础上进行DEC得到聚类集合C＝{C₁,C₂,K,C_k}，其中

m_i为聚类i中的特征点对数；

根据平滑性约束条件来决定是否对得到的聚类集合C中的匹配点对进行扩充，此时，(N_i,M_i)属于某一聚类，当其邻域中的密度直达且匹配成功的特征点对的数量m大于或等于δ时，认为它们具有相同的运动趋势，根据公式(5)对这些具有相同运动趋势的特征点进行判断，将符合如下条件的特征点，对集合

加入到正确匹配中；

其中，E_ij为(N_i,M_i)与其邻域中(N_j,M_j)的距离误差项，ε为邻域半径，α为经验值，最终获得如下的稀疏匹配特征点集合A：

步骤4；对特征点集FPa′和FPb′进行DBSCAN密度聚类，计算每一对特征点的坐标

欧式距离D_i和角度θ_i，形成集合[D,θ,x^a,y^a]；

步骤5：对邻域内的匹配点进行平滑约束，用集合[D,θ,x^a,y^a]进行DBSCAN密度聚类处理剔除外点，得到内点集FP1∈I₁和FP2∈I₂，此时获得提纯后的匹配对应关系[FP1,FP2]；

步骤6：根据FP1构建待匹配图像I₁的Delaunay三角网Tri₁：

步骤7：根据待匹配图像I₁的三角网索引，通过提纯后的匹配对应关系[FP1,FP2]构建目标图像I₂的Delaunay三角网Tri₂：

步骤8：计算三角网Tri₁和Tri₂中等比例点的坐标；

步骤9：等比例点的稠密化：三角网中包含了n个三角形，向每个三角形中插入m个等比例点，通过这些等比例点衡量三角形的相似性，进一步优化构成相似三角形的内点集：

步骤10：根据优化后的内点集重新构造待匹配图像I₁和目标图像I₂的三角网Tri'₁和Tri'₂：

步骤11：判断三角区域间的相似性度量值乘以

后的值是否小于等于阈值r，若小于等于阈值r，输出三角网稠密匹配点的坐标vertex，若大于阈值r则对三角网Tri'₁和Tri'₂，使用步骤9方法再次插入等比例点，进一步优化构成相似三角形的内点集，使用步骤10方法重新构造I₁和I₂的三角网Tri'₁和Tri'₂，直到判断三角区域间的相似性度量值乘以

后的值小于等于阈值r，输出三角网稠密匹配点的坐标vertex。

2.根据权利要求1所述一种平滑约束与三角网等比例剖分像对稠密匹配方法，其特征在于，步骤8中所述等比例点的坐标具体如下：

ΔOPQ发生仿射变换后形成ΔO′P′Q′，则三角形边和等分线上的各等比例点经变换τ后仍然具有对应关系，令ΔOPQ的顶点坐标分别为(x_o,y_o)，(x_p,y_p)，(x_q,y_q)，则OP边上第

个等比例点坐标为：

3.根据权利要求1所述一种平滑约束与三角网等比例剖分像对稠密匹配方法，其特征在于，步骤11三角区域间的相似性度量值计算原理如下：

Tri₁＝{Tri₁ ¹,Tri₁ ²,...,Tri₁ ^u},Tri₂＝{Tri₂ ¹,Tri₂ ²,...,Tri₂ ^u} (11)

其中，p_v为等比例点，disp(Tri₁(p),Tri₂(p))为对应三角区域间的相似性度量值，Tri₁ ^u(p_v)为I₁第u个三角区域等分线上第v个等比例点像素值，Tri₂ ^u(p_v)为I₂第u个三角形等分线上第v个等比例点像素值,m为该三角区域内所插入等比例点个数。

Images