CN110766728A - 基于深度学习的组合图像特征精确匹配算法 - Google Patents

Abstract

本发明提供一种基于深度学习的组合图像特征精确匹配算法，利用所识别目标，计算目标中心点位置，根据目标数量进行局部ORB算子匹配，或者构造Delaunay三角剖分网络，计算特征三角形进行目标点匹配，能有效提高图像匹配算法的鲁棒性和精度。

Description

基于深度学习的组合图像特征精确匹配算法

技术领域

本发明涉及图像处理与图像导航技术领域，具体涉及一种基于目标识别的图像精确匹配方法。

技术背景

图像匹配技术是视觉导航、目标识别跟踪、人脸识别等领域的重点研究内容之一，是后续视觉任务的关键。随着系统对算法的实时性、精确性和鲁棒性要求的日益提高，以角点检测算子为主的Harris检测算子和SIFT等多尺度人工定义的特征算子已无法满足需求。图像匹配任务在实际机载导航、道路避障等背景下，采用基于像素级的特征提取方法会产生大量的特征冗余，尺度、光照、角度等变化会会引起特征的误匹配。实际能够正确匹配的特征点对只占提取到的特征点的一部分，另一方面，庞大的数据计算量将严重拖慢图像匹配算法的运行速度，即便是速度很快的ORB算法一旦在巨大数量级的运算量下也难以满足导航需求。

由于像素特征能反映的图像信息有限，难以完全显示图像目标的信息，并且大多数算法只针对特定场景有效，对于不同的光照、旋转、尺度变化等鲁棒性较弱。在这方面，基于深度学习的图像特征提取与目标识别算法具有较高的鲁棒性，并且提取的特征比单一算子或组合特征要丰富。随着基于深度学习的图像处理方法的兴起，基于卷积神经网络的深度学习框架被广泛地研究和应用。相比于人工设计的特征算子，基于深度学习的特征提取与目标检测算法能更加直观、稳定地提取出图像中的信息，并且减少了特征数量。基于卷积神经网络的组合特征构建是当下图像匹配研究的热门方向之一。然而，该类特征提取方法可以很好地提取图像特征，但是定位精度较低。采用神经网络进行目标识别或缩小匹配区域，然后进行精确匹配的方法既可以保证图像匹配的精确度，又可以一定程度上削弱神经网络对目标定位的误差。

发明内容

针对上述现有技术的优势与不足，本发明提出一种基于目标识别的图像精确匹配方法，利用所识别目标，计算目标中心点位置，根据目标数量进行局部ORB算子匹配，或者构造Delaunay三角剖分网络，计算特征三角形进行目标点匹配，能有效提高图像匹配算法的鲁棒性和精度。

为了实现上述目的，本算采用如下技术方案：

基于深度学习的组合图像特征精确匹配算法，包括如下步骤：

步骤1：将两幅待匹配图像分别进行基于CenterNet神经网络的目标提取，并对提取目标进行非极大值抑制，合并重叠面积大的目标；

步骤2：如果两幅待匹配图像之一的目标数量小于等于5，则对两幅待匹配图像进行局部ORB算子匹配，否则构造Delaunay三角剖分网络，计算特征三角形进行目标点匹配。根据实验经验，当目标数大于5个时，构建Delaunay三角网络可以比较好地体现出目标之间的几何关系，5个以下时比较方便ORB算法进行分组匹配，并且目标数较多时，目标大小普遍会较小，不利于目标框的准确定位。目标数阈值的选取可以根据应用场景做修改，一般情况下选取5个更为合适。

优选的，步骤2中局部ORB算子匹配的步骤包括：

步骤a.1：将两幅待匹配图像分别按照各自提取出的目标框进行图像分割，对图像中每个目标框内的图像进行ORB特征提取，并统计特征数目；

步骤a.2：遍历待匹配图像中的目标，对两幅图像中分类标签相同的目标进行ORB特征匹配，对于每个目标，只保留与之匹配特征点对数最多的目标作为匹配结果；

步骤a.3：根据分割出的目标，将匹配对索引回原图位置，完成图像匹配。

优选的，步骤2中构造Delaunay三角剖分网络，计算特征三角形进行目标点匹配的步骤包括：

步骤b.1：对图像中所有置信度高于阈值的目标中心点进行delaunay三角剖分；

步骤b.2：设计相似性度量，根据相似性度量构建相似度矩阵；

步骤b.3：遍历相似度矩阵进行特征三角形匹配，筛选出匹配特征三角形；

步骤b.4：遍历特征三角形中的目标点，进行自适应精匹配，完成最终的图像匹配。

优选的，步骤a.2中，对于属于同一类别的目标a_u和b_v，如果

则对目标a_u和b_v进行ORB特征匹配，p_au和p_bv分别表示目标a_u和b_v的特征数量。

优选的，步骤b.2中，所述相似性度量为delaunay三角形顶角的角度。

优选的，步骤b.4中，对于位于剖分网络边缘且作为三个以上三角形的共同顶点的目标点进行射影不变判定。

优选的，步骤b.4中，对于除位于剖分网络边缘且作为三个以上三角形的共同顶点的目标点以外的其他顶点进行相邻三角形相似度判定。

有益效果：本发明提出的图像精确匹配方法，一定程度上减少了特征的冗余、增强了特征的可理解性，同时降低了误匹配率，相对于单一神经网络算法增强了目标的定位精度，相比于人工设计的特征提取算法，增强了鲁棒性，具有更强的抗旋转、尺度缩放的能力。

附图说明

图1是基于深度学习的组合图像特征精确匹配算法流程图；

图2是目标点定位误差分析示意图；

图3是ε-σ误差函数图像；

图4是特征三角形顶点情况示意图；

图5是四线交比示意图；

图6是排除误匹配示意图。

具体实施方式

下面结合附图对本发明做进一步说明。匹配对象是机载成像传感器拍摄的实时图与导航系统预存地图，通常情况下，实时图与预存地图之间存在一定灰度差异与旋转、尺度变化。

如图1所示，本发明提出的基于深度学习的组合图像特征精确匹配算法包括如下步骤：

步骤1，分别对待匹配图像A与图像B尺寸转化成512*512大小的图像，输入CenterNet神经网络，进行目标识别。

步骤2，分别对每张图识别出的目标框进行非极大值抑制。以图像A中两个目标a_i和a_j为例，分别计算互相遮挡的目标框面积I和J，当他们的交并比满足

时，合并两个目标，将两个目标视作一个目标，目标标签取置信度较大的标签值，目标中心为合并后的几何中心，δ取0.3。经过以上方法得到A图中目标a₁，a₂……a_m与B图中目标b₁，b₂……b_n。m和n表示目标数量。

步骤2，判断A图与B图中目标数量，若m与n中任意一个值小于等于5，则执行步骤3-步骤5，若目标数m与n均大于5个，执行步骤6-步骤9。

步骤3，分别对A图与B图中的目标a₁，a₂……a_m与b₁，b₂……b_n按照提取的目标框分割出来，分别进行ORB特征提取，并统计特征数量p_a1，p_a2……p_am，p_b1，p_b2……p_bn。

步骤4，对A图与B图中分类标签相同的目标进行特征数量判断，对于属于同一类别的目标a_u和b_v，如果

则对目标a_u和b_v进行ORB特征匹配，并统计匹配数目，对于A图中的每个目标a_i，取匹配数目最多的一对目标对a_i-b_z(1≤z≤n)作为最佳匹配目标对。

步骤5，对于每对最佳匹配目标对，根据目标框的坐标索引回原图位置，把目标中的匹配点对对应其在原图A和B中的位置标记并匹配，完成图像A与B的匹配。

步骤6，对图像中每个目标采用逐点插入法对目标中心点的点集c_a1，c_a2……c_am，c_b1，c_b2……c_bn，构建delaunay三角网络，得到特征三角形Δ_a1，Δ_a2……Δ_ag，Δ_b1，Δ_b2……Δ_bh。g、h表示特征三角形数量。对于每个特征三角形Δ_i，按角度大小标记每个顶角i_max，i_mid，i_min用于后续匹配。

步骤7，根据三角形顶角大小计算特征三角形的相似度并构建相似度矩阵。

对于每一个delaunay三角形顶点，角度越接近90°，角度误差反映出的顶点定位误差越小，可信度越高。证明如下：

如图2，三角形OP₁Q中，对目标点P₁做误差分析，为了简化问题，假设P₁在直线q这一个维度上产生位移，导致初始P₁移动到了P₂，σ₁变为了σ₁，Δ取值范围为[0°,180°]。过顶点O做直线q的垂线，垂足为H，HP＝w，OH＝s，OP＝v，P的偏移导致直线p旋转了dξ。由几何关系可知

w＝stanξ (4)

由式(3)-(5)可解得存在线段倾角误差dξ时的匹配元误差，顶点P₁到P₂的偏移误差ε：

ε＝d(s tanξ)＝s(secξ)²dξ＝-s[sec(90-σ)²]dσ＝-s(cscσ)²dσ (6)

其中，s是定值，误差ε与cscσ的平方正相关。

由图3所示误差函数可以得出结论，线段交点的位置误差ε在

处取最小值，即，相同提取误差下，两条直线越接近垂直，交点的位置误差越小，置信度越高。

假设需要判断相似性的两个三角形分别为Δ_ai与Δ_bj，分别对应三角形的角∠a_i-max＝α,∠a_i-mid＝β，∠a_i-min＝γ，∠b_j-max＝α′，∠b_j-mid＝β′，∠b_j-min＝γ′，则∠a_i-max与∠b_j-max的相似度为：

其中，

P＝0.5。求出三角形其余各内角的相似度I_β，I_γ之后，根据式(8)可以加权求得三角形的相似度。

其中μ是匹配点的类别匹配度，实验中取0.88，k是匹配点对中目标类别不同的对数，当一对特征三角形中所有对应目标类别标签全部相等时μ^k＝1。λ是每个特征三角形顶角角度的加权值，对于任意内角θ，满足

λ_θ＝sin²θ (10)

步骤8，根据步骤7计算得到的相似度，构造相似度矩阵。相似度矩阵元素I_ef代表A图中第e个特征三角形与B图中第f个特征三角形的相似度。从相似度矩阵中寻找相似度大于给定阈值的元素，根据行列索引找到对应三角形，完成目标三角形特征的粗匹配。

步骤9，对于每个目标点，位于delaunay三角剖分网络的不同位置，所在的特征三角形个数不同，匹配的可靠程度和误匹配的概率也不同，难以用统一的衡量准则判定是否是匹配点对。如图4，对于顶点E、F、J等位于轮廓边缘，且作为三个以上特征三角形的顶点，可以通过采用四线交比的射影不变量作为匹配准则进行精匹配。对于D、I等所在三角形不足三个的点，无法直接获得足够的三角形顶角信息进行判断，以及G、H等位于剖分网络内部三顶角之和大于180°，判断射影不变量需要进一步索引子凸包，这将增大算法复杂度，也不适合用此判定准则进行匹配。对于这些点进行相邻三角形的相似度判定进行筛选。

对于位于三角剖分网边缘且作为三个以上特征三角形的顶点进行射影定理判定。如图5所示，假设a_O是A图中当前遍历的满足要求的目标点，Δa_Pa_Oa_Q，Δa_Qa_Oa_R，Δa_Ra_Oa_S是其所在的三个特征三角形，线段a_Oa_P，a_Oa_Q，a_Oa_R，a_Oa_s所在的直线的四线交比定义为：

采用同样方法，对于点a_O对应于B图中的匹配点b_O可以得到对应的四线交比R(b_Ob_P,b_Ob_Q,b_Ob_R,b_Ob_S)。对应点之间满足射影不变准则，如果匹配点对满足：

|R(a_Oa_P,a_Oa_Q,a_Oa_R,a_Oa_S)-R(b_Ob_P,b_Ob_Q,b_Ob_R,b_Ob_S)|<∈ (12)

则判断是正确匹配点，其中∈是设定阈值。

对于其他目标点，采取比对相邻三角形相似度的方法减小特征三角形误匹配造成的匹配误差。由于点集几何位置情况复杂，形状相似的特征三角形之间可能造成误匹配(如图6)，假设于匹配过程中错误地将Δa_Ba_Ea_C与Δb_Eb_Cb_F匹配导致误匹配点对a_Eb_C的出现。我们采取比对相邻三角形相似度的方法减小特征三角形误匹配造成的匹配误差。

遍历匹配点对，查找当前匹配点所有预匹配项，分别遍历匹配点所在的三角形，并得到当前顶点a_E、b_E在对应三角形上的顶角大小e、e′，如果对应三角形相似度满足阈值且顶角大小近似，则得分加一，统计遍历得到的分数，选取最大的一对匹配项作为精匹配结果。即满足

I_rs>ε₁ (13)

|e_r-e′_s|<ε₂ (14)

时，增加得分。其中r、s是当前遍历的第r、s个相邻三角形标号。取ε₁＝0.8，ε₂＝0.1rad。遍历完所有点匹配对，完成匹配过程。

Claims (7)

1.基于深度学习的组合图像特征精确匹配算法，其特征在于，包括如下步骤：

步骤1：将两幅待匹配图像分别进行基于CenterNet神经网络的目标提取，并对提取目标进行非极大值抑制，合并重叠面积大的目标；

步骤2：如果两幅待匹配图像之一的目标数量小于等于5，则对两幅待匹配图像进行局部ORB算子匹配，否则构造Delaunay三角剖分网络，计算特征三角形进行目标点匹配。

2.根据权利要求1所述的基于深度学习的组合图像特征精确匹配算法，其特征在于，步骤2中局部ORB算子匹配的步骤包括：

步骤a.1：将两幅待匹配图像分别按照各自提取出的目标框进行图像分割，对图像中每个目标框内的图像进行ORB特征提取，并统计特征数目；

步骤a.2：遍历待匹配图像中的目标，对两幅图像中分类标签相同的目标进行ORB特征匹配，对于每个目标，只保留与之匹配特征点对数最多的目标作为匹配结果；

步骤a.3：根据分割出的目标，将匹配对索引回原图位置，完成图像匹配。

3.根据权利要求1所述的基于深度学习的组合图像特征精确匹配算法，其特征在于，步骤2中构造Delaunay三角剖分网络，计算特征三角形进行目标点匹配的步骤包括：

步骤b.1：对图像中所有置信度高于阈值的目标中心点进行delaunay三角剖分；

步骤b.2：设计相似性度量，根据相似性度量构建相似度矩阵；

步骤b.3：遍历相似度矩阵进行特征三角形匹配，筛选出匹配特征三角形；

步骤b.4：遍历特征三角形中的目标点，进行自适应精匹配，完成最终的图像匹配。

4.根据权利要求2所述的基于深度学习的组合图像特征精确匹配算法，其特征在于，步骤a.2中，对于属于同一类别的目标a_u和b_v，如果

则对目标a_u和b_v进行ORB特征匹配，p_au和p_bv分别表示目标a_u和b_v的特征数量。

5.根据权利要求3所述的基于深度学习的组合图像特征精确匹配算法，其特征在于，步骤b.2中，所述相似性度量为delaunay三角形顶角的角度。

6.根据权利要求3所述的基于深度学习的组合图像特征精确匹配算法，其特征在于，步骤b.4中，对于位于剖分网络边缘且作为三个以上三角形的共同顶点的目标点进行射影不变判定。

7.根据权利要求3所述的基于深度学习的组合图像特征精确匹配算法，其特征在于，步骤b.4中，对于除位于剖分网络边缘且作为三个以上三角形的共同顶点的目标点以外的其他顶点进行相邻三角形相似度判定。

Images