CN113869441B - 基于模板匹配的多尺度目标定位方法 - Google Patents

Abstract

本发明公开了一种基于模板匹配的多尺度目标定位方法，将所述初始模板图像进行不同尺度变换，获取多个尺度层的模板图像，构建多尺度模板库；基于所述多尺度模板库，获取最优参考边缘点；创建待处理图像的图像金字塔，从所述多尺度模板库中选定最佳匹配模板；基于所述最优参考边缘点和所述最佳匹配模板，获取所述待处理图像的匹配结果。本发明通过构建多尺度模板库获取最优参考边缘点，基于所述最优参考边缘点进行图像匹配，有效提高不同尺度变换后的待匹配图像的匹配精度和匹配效率。

Description

基于模板匹配的多尺度目标定位方法

技术领域

本发明涉及计算机视觉图像处理领域，尤其涉及一种基于模板匹配的多尺度目标定位方法。

背景技术

图像匹配是各类计算机视觉应用的核心任务，图像匹配结果对后续的图像处理任务至关重要。目前，常采用的基于模板匹配的多尺度目标定位方法为模板匹配方法，在对待匹配图像进行图像匹配时，通常给定一个模板图像，通过计算待匹配图像与模板图像之间的相似性度量来寻找与模板图像对应的区域。

经典的模板匹配方法有很多，如差绝对值和(Sum of Absolute Difference，SAD)相关算法、差平方和(Sum of Squared Differences，SSD)相关算法、归一化互相关(Normalized Cross-Correlation，NCC)匹配算法等。但是，图像匹配的现实场景十分复杂，当待匹配图像发生尺度变化时，经典的模板匹配算法往往无法进行精确有效的图像匹配。例如，归一化互相关匹配算法的匹配性能稳定，是应用最为广泛的算法之一，但该算法在匹配过程中需要逐像素计算相似性度量值，当待匹配图像发生明显旋转和尺度变化时，需要进行大量运算，造成图像匹配效率明显降低，无法满足工业生产中图像匹配的实时性要求。

因此，如何解决待匹配图像尺度发生变化时匹配效率低的问题，是目前亟待解决的问题。

发明内容

为解决相关技术问题，本申请提供了一种基于模板匹配的多尺度目标定位方法。

本发明采用的技术方案为：

基于模板匹配的多尺度目标定位方法，包括：

将初始模板图像进行不同尺度变换，获取多个尺度层的模板图像，构建多尺度模板库；所述多尺度模板库至少包含每个模板图像边缘点信息；

基于所述多尺度模板库，获取最优参考边缘点；

创建待处理图像的图像金字塔，从所述多尺度模板库中选定最佳匹配模板；

基于所述最优参考边缘点和所述最佳匹配模板，获取所述待处理图像的匹配结果。

进一步地，所述将初始模板图像进行不同尺度变换，获取多个尺度层的模板图像，构建多尺度模板库，包括：

提取所述初始模板图像的边缘点，构建第一点集p＝{(x_i，y_i)|i＝1，2，3，…，n}；其中，(x_i，y_i)为模板图像边缘点的坐标，n为所述初始模板图像的边缘点个数；

计算所述第一点集中每个边缘点对应的梯度向量

其中，m代表模板，t_i与u_i分别代表x和y方向的梯度向量；

将所述初始模板图像进行不同尺度变换，获取多个尺度层的模板图像，对于每个所述模板图像，提取所述模板图像的边缘点，构建第二点集p′_i；其中，p′_i＝Ap_i，A为二阶变换矩阵；

计算所述第二点集中边缘点对应的梯度向量

其中，m′代表经过旋转和尺度变换的模板，t′_i与u′_i分别代表x和y方向的梯度向量；

选取任一所述模板图像的边缘点作为参考点，对应模板图像中其余边缘点作为非参考点，根据所述参考点与非参考点的相对位置关系，创建由不同边缘点及梯度向量组成的多尺度模板库M；表达公式如下：

t′_i＝x-P_x

y′_i＝y-P_y

其中，x和y分别为模板图像上所有边缘点的行坐标和列坐标，x′_i为第i个非参考点的相对行坐标，y′_i为第i个非参考点的相对列坐标，P_x为所述参考点的相对行坐标，P_y为所述参考点的相对列坐标，M为多尺度模板库。

进一步地，所述将所述初始模板图像进行不同尺度变换，包括：

将所述初始模板图像按照不同比例进行尺度变换和/或按照不同角度进行旋转。

进一步地，所述基于所述多尺度模板库，获取最优参考边缘点，包括：

将所述初始模板图像的边缘点进行尺度变换，获取对应尺度下的变换图像及所述变换图像对应边缘点构成的第三点集p；

选取所述第三点集p中任一边缘点作为候选参考点，基于所述候选参考点，将所述对应尺度下的变换图像与所述初始模板图像进行匹配，获取最大匹配相似度S＝max(s_j)，j＝1，2，...，N；其中，N为匹配位置个数，s_j为在初始模板图像上某个位置的匹配度；

遍历所述第三点集p中所有边缘点，分别获取每个边缘点对应的最大匹配相似度，构建最大匹配相似度集合{S}；

选取所述最大匹配相似度集合{S}中最大值，将所述最大值对应的候选参考点作为对应尺度下的最优参考边缘点。

进一步地，所述将所述对应尺度下的变换图像与所述初始模板图像进行匹配，获取最大匹配相似度，包括：

基于所述初始模板图像的边缘点梯度向量，获取最大匹配相似度。

进一步地，所述方法还包括：

对梯度向量的内积进行归一化处理；计算公式为：

其中，S(x，y)为所述边缘点与初始模板图像在(x，y)处的匹配相似度，n为所述边缘点个数，

为初始模板图像中边缘点的梯度向量，d^s为在(x，y)处进行匹配时初始模板图像边缘点的梯度向量，v和w分别为d^s在x和y方向上的梯度向量，

为在(x，y)处的所述边缘点的梯度向量，t′_i和u′_i分别为初始模板图像中每个边缘点在x和y方向上的梯度向量，

和

分别为所述边缘点在x和y方向上的梯度向量。

进一步地，所述从所述多尺度模板库中选定最佳匹配模板，包括：

选取所述多尺度模板库的中间尺度模板为主尺度模板；

计算所述主尺度模板与所述待处理图像在最佳匹配位置的匹配相似度；所述最佳匹配位置表示主尺度模板在待处理图像上匹配度最高的位置；

基于所述主尺度模板与所述待处理图像的匹配相似度，获取最佳匹配模板。

进一步地，所述基于所述主尺度模板与所述待处理图像的匹配相似度，获取最佳匹配模板，包括：

若所述主尺度模板与所述待处理图像的匹配相似度大于设定阈值，则将所述主尺度模板所在尺度层的其余图像模板与待处理图像进行匹配；

若所述主尺度模板与所述待处理图像的匹配相似度小于设定阈值，则不再对所述主尺度模板所在尺度层的其余模板进行匹配。

本发明具有以下有益效果：

本申请实施例中，将所述初始模板图像进行不同尺度变换，获取多个尺度层的模板图像，构建多尺度模板库；基于所述多尺度模板库，获取最优参考边缘点；创建待处理图像的图像金字塔，从所述多尺度模板库中选定最佳匹配模板；基于所述最优参考边缘点和所述最佳匹配模板，获取所述待处理图像的匹配结果。本申请实施例通过构建多尺度模板库获取最优参考边缘点，基于所述最优参考边缘点进行图像匹配，有效提高不同尺度变换后的待匹配图像的匹配精度和匹配效率。

附图说明

图1为本申请实施例基于模板匹配的多尺度目标定位方法的流程示意图；

图2为本申请实施例中多尺度模板图像的结构示意图；

图3为相关技术以边缘点重心为参考点的模板匹配结果示意图；

图4为本申请实施例以边缘点为参考点的模板匹配结果示意图；

图5为现有技术经典模板匹配方法的模板匹配过程示意图；

图6为本申请实施例基于中间尺度优先匹配策略的模板匹配过程示意图。

具体实施方式

近年来，许多性能良好的模板匹配算法相继提出。其中，Oron S等人提出了一种新的度量方法BBS(Best-Buddies Similarity)，该算法依据模板与目标集中最近邻点对的统计特性，确定最终匹配位置，能够减少由背景像素引起的错误匹配和对抗遮挡、背景混杂等因素带来的影响，但该算法计算过程复杂，匹配速度慢。Talmi I等人提出了一种基于单向最近邻匹配的DDIS(Deformable Diversity Similarity)方法，该方法充分考虑最邻近点集合的多样性和变形程度，通过统计对应同一模板最邻近匹配点的目标点数量，计算像素点的置信度，并且采用欧氏距离计算目标点和对应最邻近匹配点之间的距离，最后依据模板和目标之间的相似性获得匹配结果，因此该算法在一定程度上能够抵抗变形和遮挡，但当目标图像有较大尺度变化时，该算法的匹配效果依然不佳。

基于此，本申请提供一种基于模板匹配的多尺度目标定位方法，能够在目标发生平移、旋转和尺度缩放等复杂变化时，依然能够实现目标的精确匹配。

下面结合具体实施例对本申请的技术方案做进一步说明。

如图1所示，本申请实施例提供了一种基于模板匹配的多尺度目标定位方法，包括：

步骤101：将初始模板图像进行不同尺度变换，获取多个尺度层的模板图像，构建多尺度模板库；所述多尺度模板库至少包含每个模板图像边缘点信息；

步骤102：基于所述多尺度模板库，获取最优参考边缘点；

步骤103：创建待处理图像的图像金字塔，从所述多尺度模板库中选定最佳匹配模板；

步骤104：基于所述最优参考边缘点和所述最佳匹配模板，获取所述待处理图像的匹配结果。

相关技术中，在经典的模板匹配过程中，由于边缘点重心位置的易求解性，一般采用模板图像的边缘点重心作为参考点。但由于模板图像的多尺度性，基于边缘点重心求解的匹配相似度最高值对应的匹配模板并不一定是最佳匹配模板，如图3所示，“+”字标记处为参考点位置。因此，这种情况下以边缘点重心为参考点的参考点选取方法已不再适用。如图4所示，采用某一边缘点作为参考点时，参考点与多尺度模板在目标位置能够很好的适应。

基于此，在一实施例中，所述步骤101中，将初始模板图像进行不同尺度变换，获取多个尺度层的模板图像，构建多尺度模板库，包括：

提取所述初始模板图像的边缘点，构建第一点集p＝{(x_i，y_i)|i＝1，2，3，…，n}；其中，(x_i，y_i)为模板图像边缘点的坐标，n为所述初始模板图像的边缘点个数；

计算所述第一点集中每个边缘点对应的梯度向量

其中，m代表模板，t_i与u_i分别代表x和y方向的梯度向量；

如图2所示，将所述初始模板图像进行不同尺度变换，获取多个尺度层的模板图像，对于每个所述模板图像，提取所述模板图像的边缘点，构建所述模板图像对应的第二点集p′_i；其中，p′_i＝Ap_i，A为二阶变换矩阵；所述尺度变换包括平移、尺度缩放和旋转之中任一变换方式；

计算所述第二点集中每个边缘点对应的梯度向量

其中，m′代表经过旋转和尺度变换的模板，t′_i与u′_i分别代表x和y方向的梯度向量；

选取任一所述模板图像的边缘点作为参考点，对应模板图像中其余边缘点作为非参考点，根据所述参考点与非参考点的相对位置关系，创建由不同边缘点及梯度向量组成的多尺度模板库M；表达公式如下：

t′_i＝x-P_x

y′_i＝y-P_y

其中，x和y分别为模板图像上所有边缘点的行坐标和列坐标，x′_i为第i个非参考点的相对行坐标，y′_i为第i个非参考点的相对列坐标，P_x为所述参考点的相对行坐标，P_y为所述参考点的相对列坐标，M为多尺度模板库。

在一实施例中，所述步骤102中，所述基于所述多尺度模板库，获取最优参考边缘点，包括：

将所述初始模板图像的边缘点进行尺度变换，获取对应尺度下的变换图像及所述变换图像对应边缘点构成的第三点集p；由于缩放后部分边缘点重合的原因，第三点集的大小可能小于第一点集的大小；

选取所述第三点集p中任一边缘点作为候选参考点，基于所述候选参考点，将所述对应尺度下的变换图像与所述初始模板图像进行匹配，获取最大匹配相似度S＝max(s_j)，j＝1，2，...，N；其中，N为匹配位置个数，s_j为在初始模板图像上某个位置的匹配度；

遍历所述第三点集p中所有边缘点并分别将每个边缘点作为候选参考点，分别获取每个边缘点对应的最大匹配相似度，构建最大匹配相似度集合{S}；

选取所述最大匹配相似度集合{S}中最大值，将所述最大值对应的候选参考点作为对应尺度层的最优参考边缘点；表达公式如下：

P＝argmax(S_i)＝argmax(max(s_j))

其中，S_i是第i个候选参考点进行匹配时得到的最大匹配相似度。

所述最大匹配相似度集合{S}中最大匹配相似度与候选参考点位一对一关系，由此构成表1所示的候选参考点对照表；

表1：

表1中的候选参考点与最大匹配相似度一一对应，二者数量一致，即表1中n为第三点集的大小。若表中的S_m为S的最大值，则选择p_m为最优参考点，即最优参考点P满足：

P＝argmax(S_i)＝arg max(max(s_j))

其中，S_i为第i个候选参考点进行匹配得到的最大匹配相似度。

在图像匹配过程中，多尺度模板与目标在最佳匹配位置会产生局部匹配的现象，如图4所示。本申请实施例中采用的选择边缘点为最优参考点的方法，有效避免了由于错误匹配位置和多尺度模板的不适应而导致的匹配模板冗余问题。

其中，获取边缘点对应的最大匹配相似度时，依据所述初始模板图像匹配时的边缘点梯度向量进行计算。为了消除光照变化对相似性度量的影响，即消除对最大匹配相似度计算的影响，需要先对边缘点梯度向量的内积进行归一化处理；可以利用以下归一化处理的计算公式进行计算：

所述归一化处理的计算公式中，S(x，y)为所述边缘点与初始模板图像在(x，y)处的匹配相似度，n为所述边缘点个数，

为初始模板图像中边缘点的梯度向量，d^s为在(x，y)处进行匹配时初始模板图像边缘点的梯度向量，v和w分别为d^s在x和y方向上的梯度向量，

为在(x，y)处的所述边缘点的梯度向量，t′_i和u′_i分别为初始模板图像中每个边缘点在x和y方向上的梯度向量，

和

分别为所述边缘点在x和y方向上的梯度向量。

传统方法中匹配速度慢的原因主要包括两个：

(1)模板边缘点的个数：模板边缘点的个数与模板形状的复杂程度相关，模板越复杂，边缘点个数越多；当模板的形状过于复杂时，若将全部边缘点进行匹配相似度计算，则模板匹配速度变慢；

(2)模板的个数：在图像匹配过程中匹配所有尺度变换后的模板，将会因为模板信息的冗余，降低模板匹配的效率；若通过设定一定的阈值，采取一定的终止条件，提前结束计算，会加快算法的处理速度，此方法可减少匹配点的个数，但并不能减少多尺度模板的匹配个数，多余的匹配模板参与运算仍会降低匹配的速度。

基于此，如图6所示，在一实施例中，所述步骤103中，所述从所述多尺度模板库中选定最佳匹配模板，包括：

选取所述多尺度模板库的中间尺度模板为主尺度模板；

计算所述主尺度模板与所述待处理图像在最佳匹配位置的匹配相似度；所述最佳匹配位置表示主尺度模板在待处理图像上匹配度最高的位置；

基于所述主尺度模板与所述待处理图像的匹配相似度，获取最佳匹配模板；

若所述主尺度模板与所述待处理图像的匹配相似度大于设定阈值，表示该尺度层出现最佳匹配模板的期望较大，则将所述主尺度模板所在尺度层的其余图像模板与待处理图像进行匹配，根据匹配相似度，获取最佳匹配模板；

若所述主尺度模板与所述待处理图像的匹配相似度小于设定阈值，表示该尺度层出现最佳匹配模板的期望较小，则不再对所述主尺度模板所在尺度层的其余模板进行匹配，减少了模板匹配数量，有效提升模板匹配的速度。

如图5所示，在经典算法模板匹配过程中，全部尺度模板依次进行匹配，有部分匹配相似度低的模板参与了匹配，降低了模板匹配的速率；如图6所示，本申请实施例提供的基于模板匹配的多尺度目标定位方法采用中间尺度优先匹配策略，只需将主尺度模板匹配相似度高的尺度层进行其余模板的匹配，大大缩短了匹配时间，提升了模板匹配的速度。

本申请实施例选择不同的边缘点为候选参考点，将其与初始模板图像进行匹配，选定匹配相似度最高值所对应的候选参考点为最优参考点，与经典模板匹配方法中选择边缘点重心为参考点的相比，解决了模板的多尺度性造成的参考点位置和多尺度模板与目标的不适应问题，有效提高匹配精度，且同时保持匹配效率。同时，在图像匹配过程中，本申请实施例采用中间尺度模板优先匹配策略，确定该尺度层中存在最佳模板的期望值，与经典算法中全部尺度模板参与匹配相比，提高了模板匹配的效率。

以上所述，仅为本申请的较佳实施例，并非对本申请保护范围的限制。

Claims (5)

1.基于模板匹配的多尺度目标定位方法，其特征在于，包括：

将初始模板图像进行不同尺度变换，获取多个尺度层的模板图像，构建多尺度模板库；所述多尺度模板库至少包含每个模板图像边缘点信息；

基于所述多尺度模板库，获取最优参考边缘点；

创建待处理图像的图像金字塔，从所述多尺度模板库中选定最佳匹配模板；

基于所述最优参考边缘点和所述最佳匹配模板，获取所述待处理图像的匹配结果；

所述多尺度模板库，获取最优参考边缘点，包括：

将所述初始模板图像的边缘点进行尺度变换，获取对应尺度下的变换图像及所述变换图像对应边缘点构成的第三点集p；

选取所述第三点集p中任一边缘点作为候选参考点，基于所述候选参考点，将所述对应尺度下的变换图像与所述初始模板图像进行匹配，获取最大匹配相似度S＝max(s_j),j＝1,2,...,N；其中，N为匹配位置个数，s_j为在初始模板图像上某个位置的匹配度；

遍历所述第三点集p中所有边缘点，分别获取每个边缘点对应的最大匹配相似度，构建最大匹配相似度集合{S}；

选取所述最大匹配相似度集合{S}中最大值，将所述最大值对应的候选参考点作为对应尺度下的最优参考边缘点；

所述从所述多尺度模板库中选定最佳匹配模板，包括：

选取所述多尺度模板库的中间尺度模板为主尺度模板；

计算所述主尺度模板与所述待处理图像在最佳匹配位置的匹配相似度；所述最佳匹配位置表示主尺度模板在待处理图像上匹配度最高的位置；

基于所述主尺度模板与所述待处理图像的匹配相似度，获取最佳匹配模板；

所述基于所述主尺度模板与所述待处理图像的匹配相似度，获取最佳匹配模板，包括：

若所述主尺度模板与所述待处理图像的匹配相似度大于设定阈值，则将所述主尺度模板所在尺度层的其余图像模板与待处理图像进行匹配；

若所述主尺度模板与所述待处理图像的匹配相似度小于设定阈值，则不再对所述主尺度模板所在尺度层的其余模板进行匹配。

2.根据权利要求1所述的基于模板匹配的多尺度目标定位方法，其特征在于，所述将初始模板图像进行不同尺度变换，获取多个尺度层的模板图像，构建多尺度模板库，包括：

提取所述初始模板图像的边缘点，构建第一点集p＝{(x_i,y_i)|i＝1,2,3,…,n}；其中，(x_i,y_i)为模板图像边缘点的坐标，n为所述初始模板图像的边缘点个数；

计算所述第一点集中每个边缘点对应的梯度向量

其中，m代表模板，t_i与u_i分别代表x和y方向的梯度向量；

将所述初始模板图像进行不同尺度变换，获取多个尺度层的模板图像，对于每个所述模板图像，提取所述模板图像的边缘点，构建第二点集p′_i；其中，p′_i＝Ap_i，A为二阶变换矩阵；

计算所述第二点集中边缘点对应的梯度向量

其中，m代表模板，t′_i与u′_i分别代表x和y方向的梯度向量；

选取任一所述模板图像的边缘点作为参考点，对应模板图像中其余边缘点作为非参考点，根据所述参考点与非参考点的相对位置关系，创建由不同边缘点及梯度向量组成的多尺度模板库M；表达公式如下：

x′_i＝x-P_x

y′_i＝y-P_y

其中，x和y分别为模板图像上所有边缘点的行坐标和列坐标，x′_i为第i个非参考点的相对行坐标，y′_i为第i个非参考点的相对列坐标，P_x为所述参考点的相对行坐标，P_y为所述参考点的相对列坐标，M为多尺度模板库。

3.根据权利要求2所述的基于模板匹配的多尺度目标定位方法，其特征在于，所述将所述初始模板图像进行不同尺度变换，包括：

将所述初始模板图像按照不同比例进行尺度变换和/或按照不同角度进行旋转。

4.根据权利要求1所述的基于模板匹配的多尺度目标定位方法，其特征在于，所述将所述对应尺度下的变换图像与所述初始模板图像进行匹配，获取最大匹配相似度，包括：

基于所述初始模板图像的边缘点梯度向量，获取最大匹配相似度。

5.根据权利要求4所述的基于模板匹配的多尺度目标定位方法，其特征在于，所述方法还包括：

对梯度向量的内积进行归一化处理；计算公式为：

其中，S(x,y)为所述边缘点与初始模板图像在(x,y)处的匹配相似度，n为所述边缘点个数，

为初始模板图像中边缘点的梯度向量，d^s为在(x,y)处进行匹配时初始模板图像边缘点的梯度向量，v和w分别为d^s在x和y方向上的梯度向量，

为在(x,y)处的所述边缘点的梯度向量，t′_i和u′_i分别为初始模板图像中每个边缘点在x和y方向上的梯度向量，

和

分别为所述边缘点在x和y方向上的梯度向量。

Images