CN114549861A

CN114549861A - 一种基于特征点及卷积优化计算的目标匹配的方法、存储介质

Info

Publication number: CN114549861A
Application number: CN202210181610.0A
Authority: CN
Inventors: 王志伟; 朱涛; 王小龙; 刘天赐; 杨一粟
Original assignee: China Key System and Integrated Circuit Co Ltd
Current assignee: China Key System and Integrated Circuit Co Ltd
Priority date: 2022-02-25
Filing date: 2022-02-25
Publication date: 2022-05-27

Abstract

本发明涉及一种基于特征点及卷积优化计算的目标匹配的方法，包括以下步骤：选取模板图像Temp并提取其SURF特征feature1，同时构建Temp的图像金字塔；对待匹配图像Src提取SURF特征feature2，使用FLANN匹配器对feature1、feature2进行特征点匹配；若匹配特征点个数大于阈值则进行特征点计算得到Src中匹配目标的一组尺度、角度、坐标信息，并进行目标ROI提取；以feature1作为注意力机制引导所构建的图像金字塔对ROI进行卷积计算，得到一组新的多维度信息，将两组多维度信息进行校准核对，得到最终目标匹配结果。该方法将传统的特征点提取算法与卷积计算相结合对匹配目标提取了坐标、角度、尺度等多维度信息，准确率和鲁棒性好。

Description

一种基于特征点及卷积优化计算的目标匹配的方法、存储介质

技术领域

本发明涉及一种目标识别的方法，尤其是一种基于特征点及卷积优化计算的目标匹配的方法、存储介质。

背景技术

目前最为引人注目的基于深度学习的目标识别技术，依赖于大数据的模型训练，模型的好坏很大程度的取决于训练数据集，而训练数据集的收集以及标注，是一项费时且费力的工作，并且一般的目标识别深度学习模型，仅能对识别目标进行一个常规矩形框的定位，无法准确的定位出目标的真实区域，同时，对识别目标的角度以及缩放尺度也无法进行精准识别。

发明内容

本发明提供了一种基于特征点及卷积优化计算的目标匹配的方法，其目的在于不依赖于大数据的模型训练，仅通过一次性选取一张图像中某一区域的目标，即可自动完成选取目标特征的提取，以及图像金字塔的构建，对新采集图像可以快速的完成全图目标匹配，并输出匹配目标的位置、尺度、角度信息。基于SURF特征对旋转、尺度变换、亮度保持不变性的特点以及引入注意力机制的指导性卷积计算，提出了一种在位置、角度、尺度等多维度上都能够很好的进行目标匹配的高效算法。

为了实现以上目的，本发明提供了一种基于特征点及卷积优化计算的目标匹配的方法，具体步骤如下：

一种基于特征点及卷积优化计算的目标匹配的方法，包括以下步骤：

(1)选取模板图像Temp，Temp包含需要识别的目标，且无杂乱背景的区域图像；

(2)提取Temp图像的SURF特征feature1，同时基于降采样、高斯平滑、旋转构建Temp的图像金字塔；

(3)对待匹配图像Src提取SURF特征feature2；

(4)使用FLANN匹配器对feature1、feature2进行特征点匹配；

(5)如果步骤(4)得到的匹配特征点个数大于设定阈值，则进行特征点计算，基于匹配到的特征点计算得到Src匹配到目标的一组尺度、角度、坐标信息，并根据特征点的计算结果将匹配目标区域进行ROI提取；

(6)以步骤(2)提取的feature1作为注意力机制，引导步骤(2)所构建的图像金字塔对ROI进行卷积计算，得到一组新的尺度、角度、坐标信息；

(7)将步骤(5)与步骤(6)得到的两组尺度、角度、坐标信息进行校准核对，得到最终的一组结果；

(8)如果步骤(4)得到的匹配特征点个数小于设定阈值，则直接跳到步骤(6)，以步骤(2)提取的feature1作为注意力机制，引导步骤(2)所构建的图像金字塔对Src进行卷积计算，得到一组尺度、角度、坐标信息，并将该组信息作为最终的一组结果。

优选的，所述特征点计算的计算方法包括以下步骤：

(a)基于FLANN匹配器得到feature1与feature2的匹配特征点MatchPoint，所述MatchPoint中的元素是成对存在的，根据所述MatchPoint计算得到转换矩阵H1，所述转换矩阵H1是一个3行×3列的转换矩阵，所述转换矩阵H1用于表达所述MatchPoint中成对特征点的映射关系；在计算所述转换矩阵H1时，使用RANSAC算法去除部分错误的匹配点；

(b)根据所述转换矩阵H1计算出Temp的4个顶点在Src中的4个映射点，这4个映射点相连形成一个封闭的区域，该区域的内容即Temp在Src中的匹配目标范围，然后根据4个映射点对匹配特征点进行筛选，进一步剔除匹配目标范围外的错误匹配点；

(c)对进一步筛选后的匹配特征点进行相似性降序排序，并选取排序结果前n对匹配特征点；

(d)对选取的前n对匹配特征点使用优化算法对其进行优化操作，寻找到6对最优特征点；

(e)找到最优的6对匹配特征点后重新计算更为精准的转换矩阵H2，并基于新的转换矩阵H2更新Temp在Src中的匹配目标范围；

(f)将优化后的匹配目标范围进行截取作为目标ROI；

(g)从6对匹配特征点中选取2对特征点，计算匹配目标的旋转角度以及缩放尺度。

优选的，所述优化操作时，基于模拟退火算法从n对匹配特征点中寻找若干对最优匹配特征点为例，优化步骤如下：

(a)7对匹配特征点为{(T₁，S₁)，(T₂，S₂)，…，(T₇，S₇)}，其中，T_i代表模板图像Temp中的第i个特征点，S_i代表待匹配图像Src中的第i个特征点，定义解空间为S，其中S＝{(T_a,S_a)，(T_b,S_b)，(T_c，S_c)}，即3对特征点；

(b)目标函数公式如下：

C(S)＝C(D₁，D₂，D₃) (4)

C(D₁，D₂，D₃)＝(D₁-D₂)+(D₁-D₃)+(D₂-D₃) (5)

其中，d(S_a，S_b)表示特征点S_a与S_b间的欧氏距离；

(c)新解产生的方式为从剩余的特征点对中随机选取两对代替：

{(T_a，S_a)，(T_b，S_b)，(T_c，S_c)}中的两对，新解如下：

S′_i＝{(T_a，S_a)，(T_m，S_m)，(T_n，S_n)}

(d)目标函数差为计算变换前的解和变换后目标函数的差值，公式如下：

ΔC′＝C(S′_i)-C(S_i) (6)

(e)新解的接受准则遵循Metropolis接受准则，根据目标函数的差值和概率exp(-ΔC′/T)接受S′_i作为新的当前解S_i，接受准则公式如下：

(f)优化算法的终止条件有两个，其中，条件一为找到最优解，条件二为当前解满足以下条件：

(D₁-D₂)＜0.2and(D₁-D₃)＜0.2and(D₂-D₃)＜0.2。

优选的，所述从6对匹配特征点中选取2对特征点，计算匹配目标的旋转角度的方法如下：

(a)假设选取的2对特征点为{(T₁，S₁)，(T₆，S₆)}；

(b)通过{T₁，T₆}计算两点连线与水平坐标系所成的夹角angle1，通过{S₁，S₆}计算两点连线与水平坐标系所成的夹角angle2；

(c)通过angle1与angle2即可得到匹配目标相比于模板图像的旋转角度。

优选的，所述从6对匹配特征点中选取2对特征点，计算匹配目标缩放尺度的方法如下：

(a)假设选取的2对特征点为{(T₁,S₁),(T₆,S₆)}；

(b)根据如下公式得到匹配目标的缩放尺度Scale：

式中，d(S₁,S₆)表示特征点S₁与S₆间的欧氏距离。

优选的，所述以步骤(2)提取的feature1作为注意力机制，引导步骤(2)所构建的图像金字塔进行卷积计算，其中，卷积计算的卷积核为Temp所构建的图像金字塔，直接对Src或ROI进行卷积，通过并行运算进行卷积加速，卷积结果即Temp与Src或ROI部分区域的相似性；

通过卷积计算得到一组新的尺度、角度、坐标信息，与基于SURF特征点所取得的第一组尺度、角度、坐标信息进行校准核对。

优选的，所述注意力机制的方法包括：注意力机制的作用是引导卷积计算，以Temp的SURF特征点作为主导，在卷积计算时，特征点8*8窗口内的卷积值增强权重，从而起到降低噪点等因素影响，增强卷积结果鲁棒性的效果。

进一步的，还包括多目标的匹配，所述多目标匹配方法包括：

(a)当匹配目标图像的背景较为简单时，可以通过简单的Blob分析提取多个目标区域Objs，然后基于并行计算分别对Objs提取SURF特征，后续处理流程同权利要求1所述；

(b)当匹配目标图像的背景较为复杂时，直接以Temp的SURF特征为注意力机制引导模板图像金字塔对Src进行卷积计算，得到一组尺度、角度、坐标信息作为最终结果。

一种基于特征点及卷积优化计算的目标匹配方法的装置，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现上述任一项所述的一种基于特征点及卷积优化计算的目标匹配的方法。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的一种基于特征点及卷积优化计算的目标匹配的方法。

通过上述对本发明的描述可知，与现有技术相比，本发明的有益效果在于：

(1)本发明的方法，选取对旋转、尺度变换、亮度保持不变性的SURF特征点对图像进行处理，对匹配特征点进行迭代优化处理，尤其是引入模拟退火法获取最优的特征点对，进而获取精准的尺度、角度、坐标信息，同时，以SURF特征点作为注意力机制引导卷积计算，对提取的ROI区域进行二次处理获得第二组尺度、角度、坐标信息进行校准核对，并最终得到最为准确地多维度信息，算法具有极高的鲁棒性与准确性。

(2)本发明的方法，不依赖于大数据的模型训练，仅通过一次性选取一张图像中某一区域的目标，即可自动完成选取目标特征的提取，以及图像金字塔的构建，对新采集图像可以快速的完成全图目标的高精度识别，不仅可以准确定位出目标的实际所在区域，还能有效识别目标的缩放尺度以及旋转角度。

附图说明

图1是一种基于特征点及卷积优化计算的目标匹配方法流程图；

图2是实施例中模板图像提取的SURF特征示意图；

图3是实施例中待匹配图像提取的SURF特征示意图；

图4是实施例中模拟退火法数学建模示意图；

图5是实施例中匹配目标区域更新前后示意图；

图6是实施例中计算匹配目标旋转角度及缩放尺度示意图；

图7是实施例中多目标匹配算法示意图；

图8是实施例中目标匹配结果示意图。

具体实施方式

现结合附图对本发明作进一步说明。

如图1至图8所示，一种基于特征点及卷积优化计算的目标匹配方法，流程图如图1所示，具体包含如下步骤：

(1)选取模板图像Temp，Temp一般为仅包含想要识别目标，尽量不包含杂乱背景的区域图像，且目标正确放置，不歪斜，具体如图2中目标所示；

(2)提取Temp图像的SURF特征feature1，提取的特征效果如图2所示，同时基于降采样、高斯平滑、旋转构建Temp的图像金字塔；

(3)对待匹配图像Src提取SURF特征feature2，提取的特征效果如图3所示；

(4)使用FLANN匹配器对feature1、feature2进行特征点匹配；

(5)如果步骤(4)得到的匹配特征点个数大于设定阈值10，则进行特征点计算，基于匹配到的特征点计算得到Src匹配到目标的一组尺度(Scale)、角度(angle_final)、坐标(目标中心点X，Y值)信息，并根据特征点的计算结果将匹配目标区域进行ROI提取；

特征点计算的过程具体如下：

(a)基于FLANN匹配器得到feature1与feature2的匹配特征点MatchPoint，MatchPoint中的元素是成对存在的，根据MatchPoint计算得到转换矩阵H1，转换矩阵H1是一个3行×3列的转换矩阵，该矩阵表达了MatchPoint中成对特征点的映射关系，此外，在计算转换矩阵H1时，使用RANSAC算法剔除部分错误的匹配点；

(b)根据转换矩阵H计算出Temp的4个顶点在Src中的4个映射点，其中，Temp的4个顶点坐标分别为：

{(0,0),(Src.cols,0),(Src.cols,Src.rows),(0,Src.rows)},

Src.cols是待匹配图像Src的宽，Src.rows是待匹配图像Src的高，这4个映射点相连形成一个封闭的区域，该区域的内容即Temp在Src中的匹配目标范围；根据4个映射点对匹配特征点进行筛选，进一步剔除匹配目标范围外的错误匹配点；

(d)对选取的前n对匹配特征点使用优化算法对其进行优化操作，寻找到6对最优特征点。

(e)找到最优的6对匹配特征点后重新计算更为精准的转换矩阵H2，并基于新的转换矩阵H2更新Temp在Src中的匹配目标范围，更新前后示意图如图5所示，其中，虚线框选区域为优化前的匹配目标范围，实线框选区域为优化后的匹配目标范围；

(f)将优化后的匹配目标范围进行截取作为目标ROI；

(g)从6对匹配特征点中选取2对特征点，计算匹配目标的旋转角度以及缩放尺度，如图6所示；

优化算法选择模拟退火法，基于模拟退火算法以从7对匹配特征点中寻找3对最优匹配特征点为例，点的分布如图4所示，对该优化问题所建立的数学模型进行具体阐述，过程如下：

(a)7对匹配特征点为{(T₁，S₁)，(T₂，S₂)，...，(T₇，S₇)}，其中，T_i代表模板图像Temp中的第i个特征点，S_i代表待匹配图像Src中的第i个特征点，定义解空间为S，其中S＝{(T_a，S_a)，(T_b,S_b)，(T_c,S_c)}，即3对特征点。

(b)目标函数公式如下：

C(S)＝C(D₁，D₂，D₃) (4)

C(D₁，D₂，D₃)＝(D₁-D₂)+(D₁-D₃)+(D₂-D₃) (5)

其中，d(S_a，S_b)表示特征点S_a与S_b间的欧氏距离。

(c)新解产生的方式为从剩余的特征点对中随机选取两对代替{(T_a，S_a)，(T_b，S_b)，(T_c，S_c)}中的两对，新解如下：

S′_i＝{(T_a，S_a)，(T_m，S_m)，(T_n，S_n)}

ΔC′＝C(S′_i)-C(S_i) (6)

(D₁-D₂)＜0.2and(D₁-D₃)＜0.2and(D₂-D₃)＜0.2

图4的两张图上面的点都是代表提取了一个特征点，scr中S1到S7是待匹配图像提取的七个特征点，temp中T1到T7是模板图像上面的七个特征点，特征点是成对的，比如说T1跟S1，这两个点是对应的，然后S2跟T2是对应的。

从6对匹配特征点中选取2对特征点，计算匹配目标的旋转角度的具体过程如下：

(a)假设选取的2对特征点为{(T₁，S₁)，(T₆，S₆)}；

(b)通过{T₁，T₆}计算两点连线与水平坐标系所成的夹角angle1＝-30°，通过{S₁，S₆}计算两点连线与水平坐标系所成的夹角angle2＝50°；

(c)通过angle1与angle2即可得到匹配目标相比于模板图像的旋转角度angle_final＝80°，具体如图6所示。

从6对匹配特征点中选取2对特征点，计算匹配目标缩放尺度的具体过程如下：

(a)假设选取的2对特征点为{(T₁，S₁)，(T₆，S₆)}，；

(b)根据如下公式得到匹配目标的缩放尺度Scale，其中，d(S₁，S₆)表示特征点S₁与S₆间的欧氏距离。

卷积计算的具体流程如下：

卷积计算的卷积核就是Temp所构建的图像金字塔，直接对Src或ROI进行卷积，通过并行运算进行卷积加速，卷积结果即Temp与Src或ROI部分区域的相似性。通过卷积计算得到一组新的尺度、角度、坐标信息，与基于SURF特征点所取得的第一组尺度、角度、坐标信息进行校准核对，确保匹配结果的准确性，从而提高算法的鲁棒性，还能在基于SURF特征点进行目标匹配失败的情况下得到一组尺度、角度、坐标信息，降低漏检率。此外引入卷积，再辅以注意力机制，可以实现多目标的匹配，多目标匹配算法示意图如图7所示。

注意力机制的具体内容为：

注意力机制的作用是引导卷积计算，以Temp的SURF特征点作为主导，在卷积计算时，特征点8*8窗口内的卷积值增强权重，从而起到降低噪点等因素影响，增强卷积结果鲁棒性的效果。

引入卷积，再辅以注意力机制，可以实现多目标的匹配，具体方法为：

(a)当匹配目标图像的背景较为简单时，可以通过简单的Blob分析提取多个目标区域Objs，然后基于并行计算分别对Objs提取SURF特征，后续处理流程同权利要求1所述。

(7)将步骤(5)与步骤(6)得到的两组尺度、角度、坐标信息进行校准核对，得到最终的一组结果。

校准核对的方式为：

(a)计算两组尺度、角度、坐标值的误差，当误差范围超过设定阈值时表示计算结果存在较大问题，故对此结果进行舍弃，其中尺度的阈值为0.1，角度的阈值为2°，坐标的阈值为10像素；

(b)当两组尺度、角度、坐标的误差均小于设定阈值时表示计算结果基本正确，求取两组多维度信息的平均值作为最终的一组结果。

(8)如果步骤(4)得到的匹配特征点个数小于设定阈值，则直接跳到步骤(6)，以步骤(2)提取的feature1作为注意力机制，引导步骤(2)所构建的图像金字塔对Src进行卷积计算，得到一组尺度、角度、坐标信息，并将该组信息作为最终的一组结果，目标匹配结果如图8所示。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的一种基于特征点及卷积优化计算的目标匹配的方法。这里所说的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种基于特征点及卷积优化计算的目标匹配的方法，其特征在于，包括以下步骤：

(3)对待匹配图像Src提取SURF特征feature2；

(4)使用FLANN匹配器对feature1、feature2进行特征点匹配；

2.根据权利要求1所述的一种基于特征点及卷积优化计算的目标匹配的方法，其特征在于，所述特征点计算的计算方法包括以下步骤：

(f)将优化后的匹配目标范围进行截取作为目标ROI；

3.根据权利要求2所述的一种基于特征点及卷积优化计算的目标匹配的方法，其特征在于，所述优化操作时，基于模拟退火算法从n对匹配特征点中寻找若干对最优匹配特征点为例，优化步骤如下：

(a)7对匹配特征点为{(T₁，S₁)，(T₂，S₂)，...，(T₇，S₇)}，其中，T_i代表模板图像Temp中的第i个特征点，S_i代表待匹配图像Src中的第i个特征点，定义解空间为S，其中S＝{(T_a，S_a)，(T_b，S_b)，(T_c，S_c)}，即3对特征点；

(b)目标函数公式如下：

C(S)＝C(D₁，D₂，D₃) (4)

C(D₁，D₂，D₃)＝(D₁-D₂)+(D₁-D₃)+(D₂-D₃) (5)

其中，d(S_a，S_b)表示特征点S_a与S_b间的欧氏距离；

(c)新解产生的方式为从剩余的特征点对中随机选取两对代替：{(T_a，S_a)，(T_b，S_b)，(T_c，S_c)}中的两对，新解如下：

S′_i＝{(T_a，S_a)，(T_m，S_m)，(T_n，S_n)}

ΔC′＝C(S′_i)-C(S_i) (6)

(D₁-D₂)＜0.2and(D₁-D₃)＜0.2and(D₂-D₃)＜0.2。

4.根据权利要求2所述的一种基于特征点及卷积优化计算的目标匹配的方法，其特征在于，所述从6对匹配特征点中选取2对特征点，计算匹配目标的旋转角度的方法如下：

(a)假设选取的2对特征点为{(T₁，S₁)，(T₆，S₆)}；

5.根据权利要求2所述的一种基于特征点及卷积优化计算的目标匹配的方法，其特征在于，所述从6对匹配特征点中选取2对特征点，计算匹配目标缩放尺度的方法如下：

(a)假设选取的2对特征点为{(T₁，S₁)，(T₆，S₆)}；

(b)根据如下公式得到匹配目标的缩放尺度Scale：

式中，d(S₁，S₆)表示特征点S₁与S₆间的欧氏距离。

6.根据权利要求1所述的一种基于特征点及卷积优化计算的目标匹配的方法，其特征在于，所述以步骤(2)提取的feature1作为注意力机制，引导步骤(2)所构建的图像金字塔进行卷积计算，其中，卷积计算的卷积核为Temp所构建的图像金字塔，直接对Src或ROI进行卷积，通过并行运算进行卷积加速，卷积结果即Temp与Src或ROI部分区域的相似性；

7.根据权利要求1所述的一种基于特征点及卷积优化计算的目标匹配的方法，其特征在于，所述注意力机制的方法包括：注意力机制的作用是引导卷积计算，以Temp的SURF特征点作为主导，在卷积计算时，特征点8*8窗口内的卷积值增强权重，从而起到降低噪点等因素影响，增强卷积结果鲁棒性的效果。

8.根据权利要求7所述的一种基于特征点及卷积优化计算的目标匹配的方法，其特征在于，还包括多目标的匹配，所述多目标匹配方法包括：

9.一种基于特征点及卷积优化计算的目标匹配方法的装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的一种基于特征点及卷积优化计算的目标匹配的方法。

10.一种计算机可读存储介质，其特征在于，

所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种基于特征点及卷积优化计算的目标匹配的方法。