CN110197232A - 基于边缘方向和梯度特征的图像匹配方法 - Google Patents

Abstract

本申请提供一种基于边缘方向和梯度特征的图像匹配方法，其包括：对离线模板图像进行训练，具体为：确定高低阈值参数，对模板图像去噪；确定模板图像金字塔层数和各层的旋转角度步长；扩展模板图像并进行图像金字塔变化；扩展模板图像金字塔中各层图像；对扩展图像进行0角度特征提取；旋转金字塔中各层图像的特征；利用训练后的离线模板图像对在线待测图像进行匹配，具体为：对待测图像进行图像扩展；对扩展后的待测图像进行图像金字塔变化；对金字塔中最高层图像进行粗匹配；对粗匹配后的待测图像进行精匹配；对待测图像的目标点进行排序和筛选，得到待测图像中待匹配目标的坐标、角度和匹配得分。本申请能够快速、精确地进行图像匹配。

Description

基于边缘方向和梯度特征的图像匹配方法

技术领域

本申请属于图像处理技术领域，具体涉及一种基于边缘方向和梯度特征的图像匹配方法。

背景技术

图像匹配，是指根据模板图像所包含的颜色、纹理、形状或它们的组合特征等信息，在待测图像中寻找与模板图像相同或相似的图像区域的过程。图像匹配技术广泛应用于工业自动化领域中的目标产品定位和表面缺陷检测等、医学领域中的图像结构信息融合、遥感图像领域中的多电磁波段图像信息融合以及机器视觉领域中的字符识别和运动追踪等。

根据图像匹配的基本原理，图像匹配算法主要分为以下三类：基于灰度的匹配算法、基于特征的匹配算法和基于关系的匹配算法。其中，基于灰度的匹配算法主要是计算模板图像与待测图像的灰度值相似度。这种匹配算法具有匹配方法简单，匹配精度较高的特点，但是其需要处理的数据量大，计算复杂，很难达到实时匹配的要求；另外，其对噪声较为敏感，当外界条件发生变化或目标图像出现缺损、遮挡等都会对匹配精度产生较大的影响。基于特征的匹配算法首先提取模板图像的特征，然后生成特征描述子，最后根据描述子的相似程度对模板图像和待测图像进行匹配。这种匹配算法所提取的特征主要是点特征、边缘特征和区域特征等；其中，区域特征的提取耗时且复杂，商用较少。基于关系的匹配算法主要应用在人工智能领域的图像处理中，这种匹配算法的进展缓慢。

在工业环境图像匹配中，待测图像容易受光照强度变化的影响，也会因为环境问题出现模糊图像，同时待测图像的自遮挡和互遮挡、图像噪声、图像的位置变化(平移和旋转)等，使图像匹配结果精度不高、正确率低、速度不够快、稳定性差。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供了一种基于边缘方向和梯度特征的图像匹配方法。

根据本申请实施例的第一方面，本申请提供了一种基于边缘方向和梯度特征的图像匹配方法，其包括以下步骤：

对离线模板图像进行训练；

利用训练后的离线模板图像对在线待测图像进行匹配；

所述对离线模板图像进行训练的过程为：

确定高低阈值参数，并对模板图像进行去噪处理；

确定模板图像金字塔层数和模板图像金字塔各层的旋转角度步长；

对模板图像进行扩展并对扩展后的模板图像进行图像金字塔变化；

对模板图像金字塔中各层图像进行扩展；

对模板图像金字塔中各层图像的扩展图像进行0角度特征提取；

对提取的金字塔中各层图像的特征进行旋转；

所述利用训练后的离线模板图像对在线待测图像进行匹配的过程为：

对待测图像进行图像扩展；

对扩展后的待测图像进行图像金字塔变化；

对扩展后的待测图像的金字塔中最高层图像进行粗匹配；

对粗匹配后的待测图像进行精匹配；

对待测图像的目标点进行排序和筛选，得到待测图像中待匹配目标的坐标、角度和匹配得分。

上述基于边缘方向和梯度特征的图像匹配方法中，所述对离线模板图像进行训练的过程还包括对旋转变换后的特征信息进行记录；所述特征信息包括特征的坐标、X和Y方向梯度以及梯度的模。

进一步地，所述确定模板图像的金字塔层数的具体过程为：

首先，根据模板图像的宽和高，通过下式计算得到模板图像扩展后的长：

Length＝2ⁱ＞MAX(ImgWidth,ImgHeight)，

式中，i为整数，且i≥4；ImgWidth表示模板图像的宽，ImgHeight表示模板图像的高，Length表示模板图像扩展后的长，模板图像扩展后得到的图像为正方形，其宽和高均等于模板图像扩展后的长Length；；

其次，根据模板图像扩展后的长Length，通过下式初步计算得到图像金字塔的层数NumLevels，

最后，判断模板图像金字塔的各层图像的特征点数目是否小于或等于预设特征点数目阈值；

如果模板图像金字塔中第N+1层图像的特征点数目小于或等于预设特征点数目阈值，第N层图像的特征点数目大于预设特征点数目阈值，且第N层图像的特征点数目是第0～N层图像的特征点数目中最少的，则将模板图像金字塔的层数确定为N层；

采用下式确定模板图像金字塔中各层图像的旋转角度步长：

AngleStep_r＝user_AngleStep*2^r,r＝0,1,2,…,NumLevels，

式中，user_AngleStep表示用户设定的旋转角度步长。

上述基于边缘方向和梯度特征的图像匹配方法中，所述对提取的金字塔中各层图像的特征进行旋转，旋转变换后的特征信息为：

式中，(x′,y′)表示旋转后特征点的坐标，Gx′和Gy′表示旋转后特征点沿着X和Y方向的梯度值，Gm′表示旋转后特征点处方向梯度的模，θ表示旋转角度；(x₀,y₀)表示旋转前特征点的坐标，Gx和Gy表示旋转前特征点沿着X和Y方向的梯度值，Gm表示旋转前特征点处方向梯度的模。

上述基于边缘方向和梯度特征的图像匹配方法中，所述对扩展后的待测图像的金字塔中最高层图像进行粗匹配的过程为：

首先，提取待测图像的金字塔中最高层图像的待搜索区域中的图像特征；其中，待搜索区域为待测图像的金字塔中最高层图像的边界减去相应扩展区域；

其次，将模板图像的金字塔中最高层的图像特征与待测图像的金字塔中最高层图像的特征进行相似性度量计算，得到所有可能的匹配点位置、角度和匹配得分。

进一步地，所述将模板图像的金字塔中最高层的图像特征与待测图像的金字塔中最高层图像的特征进行相似性度量计算，得到所有可能的匹配点位置、角度和匹配得分中，进行相似性度量计算时采用的相似性度量公式为：

式中，n表示模板图像该金字塔层某角度下特征点的总数目，分别表示模板图像在特征点i处沿着X和Y方向的梯度值，和分别表示待测图像在特征点(u+Xi，v+Yi)处沿着X和Y方向的梯度值；表示模板图像在特征点i处的方向梯度的模，表示待测图像在特征点(u+Xi，v+Yi)处的方向梯度的模，即

式中，score表示模板图像与待测图像的搜索区域的相似度，score取值0～1；当score＝1时，表示模板图像与待测图像的搜索区域完全匹配，score值越大，匹配度越高，说明模板图像与待测图像的搜索区域越相似。

更进一步地，所述相似性度量的加速终止条件为：

式中，score_m表示m(m≤n)个特征点的相似度之和，

式中，m表示已计算的模板图像特征点数目；s^min表示用户设定的最小匹配得分；g表示用户设定的贪婪数，取值范围是0～1；k表示用户设定的最小匹配得分s^min的系数，k的取值范围为0～1；

如果score_m满足相似性度量的加速终止条件，则剩下(n-m)个特征点的相似度不再进行计算，在当前位置处终止相似性度量计算。

上述基于边缘方向和梯度特征的图像匹配方法中，所述对粗匹配后的待测图像进行精匹配的过程为：

利用匹配的两点位置之间的质心距离剔除重复位置；

在待测图像非金字塔最高层筛选出匹配位置，并将匹配结果传递到下一层，直至待测图像的原始图像层；

在待测图像的原始图像层，采用四领域方法做亚像素匹配定位。

上述基于边缘方向和梯度特征的图像匹配方法中，所述对待测图像的目标点进行排序和筛选，得到待测图像中待匹配目标的坐标、角度和匹配得分的具体过程为：

根据用户给定的最低分值筛选出所有可能的匹配目标；

将匹配目标按照分值从大到小的顺序进行冒泡法排序；

根据用户给定的匹配个数，剔除多余选项，输出待测图像中待匹配目标的坐标、角度和匹配得分。

根据本申请实施例的第二方面，本申请还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述基于边缘方向和梯度特征的图像匹配方法的步骤。

根据本申请的上述具体实施方式可知，至少具有以下有益效果：本申请采用边缘方向和梯度特征对模板图像进行描述，能够减少图像匹配时的计算量，减少匹配时间，抗噪声、遮挡、图像模糊和非线性光照变化的影响，具有很强的鲁棒性。

本申请通过对模板图像进行去噪处理，能够合理剔除噪声，减少干扰因素的影响，提高匹配效率和精度；根据模板图像尺寸大小和特征点数目，自动计算出图像金字塔层数，能够更加快速稳定地应对各种复杂的图像匹配。

与现有技术中先对模板图像进行旋转，再进行特征提取相比，本申请先对模板图像金字塔中各层图像进行0角度地特征提取，再对提取的特征进行旋转，能够大大减少计算量，减少离线模板图像训练阶段的时间，升级用户体验。

本申请在相似性度量计算中使用系数k，能够满足图像金字塔中各层图像的匹配得分的要求，从而提高匹配的准确度和稳定性。

本申请中的待测图像从粗匹配到精匹配的过程中，使用质心距离剔除重复位置，能够减少计算量；通过不断更新图像金字塔各层图像的搜索区域，能够减少搜索范围，加速匹配效率，提高匹配精确度。

应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本申请所欲主张的范围。

附图说明

下面的所附附图是本申请的说明书的一部分，其示出了本申请的实施例，所附附图与说明书的描述一起用来说明本申请的原理。

图1为本申请具体实施方式提供的一种基于边缘方向和梯度特征的图像匹配方法的流程图。

图2为本申请具体实施方式提供的一种基于边缘方向和梯度特征的图像匹配方法中对扩展后的待测图像的金字塔中最高层图像进行粗匹配的流程图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本申请所揭示内容的精神，任何所属技术领域技术人员在了解本申请内容的实施例后，当可由本申请内容所教示的技术，加以改变及修饰，其并不脱离本申请内容的精神与范围。

本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。

关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，也非用以限定本申请，其仅为了区别以相同技术用语描述的元件或操作。

关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本创作。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。

关于本文中的“多个”包括“两个”及“两个以上”；关于本文中的“多组”包括“两组”及“两组以上”。

关于本文中所使用的用语“大致”、“约”等，用以修饰任何可以细微变化的数量或误差，但这些微变化或误差并不会改变其本质。一般而言，此类用语所修饰的细微变化或误差的范围在部分实施例中可为20％，在部分实施例中可为10％，在部分实施例中可为5％或是其他数值。本领域技术人员应当了解，前述提及的数值可依实际需求而调整，并不以此为限。

某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。

图1是本申请一实施例提供的一种基于边缘方向和梯度特征的图像匹配方法的流程图。如图1所示，基于边缘方向和梯度特征的图像匹配方法包括以下步骤：

S1、对离线模板图像进行训练；

根据用户提供的模板图像金字塔层、起始终止角度以及高低阈值参数，提取模板图像各金字塔层旋转情况下的目标边缘方向和梯度特征。

采用边缘方向和梯度特征对模板图像进行描述，能够减少图像匹配时的计算量，减少匹配时间，以及减少噪声、遮挡、图像模糊和非线性光照变化的影响，具有很强的鲁棒性。

下面对离线模板图像的训练过程进行详细说明。

S11、确定高低阈值参数，并对模板图像进行去噪处理，其具体过程为：

S111、对模板图像的特征进行提取，确定高低阈值参数；

在初始高低阈值参数下，采用Canny算子对模板图像的特征进行初提取，得到模板图像的初始特征点图。

根据模板图像的初始特征点图调节高低阈值参数，并在调节后的高低阈值参数下，采用Canny算子再次对模板图像的特征进行提取，得到模板图像的更新特征点图。

模板图像的更新特征点图中的图像特征满足模板图像特征预设需求。

记录下调节后的高低阈值参数。

其中，模板图像的更新特征点图中的图像特征包括模板图像的边缘方向和梯度特征。

在高低阈值参数中，高阈值一般是低阈值的3倍。对于不同的模板图像，高低阈值也会不同。

S112、将模板图像的更新特征点图局部放大，剔除模板图像的更新特征点图中的噪声干扰边缘点，得到满足预设特征要求的图像特征，并记录下所剔除的噪声点的位置坐标。

S113、根据所剔除的噪声点的位置坐标，在模板图像的相应位置，将模板图像中该坐标处的噪声点去除，得到去噪后的模板图像。

可以理解的是，对模板图像进行去噪处理能够合理剔除噪声点，减少干扰因素的影响，提高匹配效率和精度。

S12、确定模板图像金字塔层数和模板图像金字塔各层的旋转角度步长，其具体过程为：

确定模板图像的金字塔层数时，其具体过程为：

首先，根据模板图像的宽和高，通过下式计算得到模板图像扩展后的长：

Length＝2ⁱ＞MAX(ImgWidth,ImgHeight)(1)

式(1)中，i为整数，且i≥4；ImgWidth表示模板图像的宽，ImgHeight表示模板图像的高，Length表示模板图像扩展后的长，其中，模板图像扩展后得到的图像为正方形，其宽和高均等于模板图像扩展后的长Length；

其次，根据模板图像扩展后的长Length，通过下式初步计算得到图像金字塔的层数NumLevels。

最后，判断模板图像金字塔的各层图像的特征点数目是否小于或等于预设特征点数目阈值。

如果模板图像金字塔中第N+1层图像的特征点数目小于或等于预设特征点数目阈值，第N层图像的特征点数目大于预设特征点数目阈值，且第N层图像的特征点数目且第N层图像的特征点数目是第0～N层图像的特征点数目中最少的，则将模板图像金字塔的层数确定为N层。

例如，如果模板图像金字塔中第4层图像的特征点数目小于或等于预设特征点数目阈值20，且第3层图像的特征点数目大于预设特征点数目阈值20，则将模板图像金字塔的层数确定为3层。

采用下式确定模板图像金字塔中各层图像的旋转角度步长：

AngleStep_r＝user_AngleStep*2^r,r＝0,1,2,…,NumLevels(3)

式(3)中，user_AngleStep表示用户设定的旋转角度步长。

可以理解的是，根据模板图像的尺寸大小和特征点数目，自动计算出图像金字塔层数，能够更加快速稳定地应对各种复杂的图像匹配。

S13、对模板图像进行扩展并对扩展后的模板图像进行图像金字塔变化，其具体过程为：

采用复制图像边缘像素的方法对模板图像进行扩展，扩展后的模板图像的长由式(1)计算得出，同时在图像的扩展部分设置掩膜图像。掩膜图像的设置便于后续进行特征提取时能够方便地剔除扩展部分。

采用高斯金字塔变化对扩展后的模板图像进行图像金字塔变化，获取模板图像金字塔的各层图像。其中，高斯金字塔变化时采用的卷积核为：

S14、对模板图像金字塔中各层图像进行扩展，其具体过程为：

采用复制图像边缘像素的方法对图像金字塔中各层图像进行扩展，以防止信息丢失。

S15、对步骤S14得到的模板图像金字塔中各层图像的扩展图像进行0角度特征提取，其具体过程为：

使用步骤S11中调节后的高低阈值参数，采用Canny算子对模板图像金字塔中各层图像的扩展图像的特征进行提取，得到模板图像金字塔中各层图像的扩展图像的特征。

其中，模板图像金字塔中各层图像的扩展图像的特征包括各层图像的扩展图像的0角度特征信息，其具体包括：

特征点坐标(x₀,y₀)、特征点沿着X和Y方向的梯度值Gx和Gy、以及特征点处方向梯度的模Gm。

S16、对步骤S15提取的金字塔中各层图像的特征进行旋转，其具体过程为：

由于模板图像在进行角度旋转过程中，所提取的边缘轮廓点不会发生变化，即旋转过程中，仅特征点坐标以及沿着X和Y方向的梯度值发生旋转变换，而特征点处方向梯度的模Gm不会改变。故而，旋转变换后的特征信息根据如下公式求得：

式(5)中，(x′,y′)表示旋转后特征点的坐标，Gx′和Gy′表示旋转后特征点沿着X和Y方向的梯度值，Gm′表示旋转后特征点处方向梯度的模，θ表示旋转角度。

与现有技术中先对图像进行旋转，再进行特征提取相比，本申请中先对模板图像金字塔中各层图像的扩展图像进行0角度特征提取，再对所提取的特征进行旋转，能够大大减少计算量，提高计算效率，减少离线模板图像的训练时间，升级用户体验。

S17、对旋转变换后的特征信息进行记录；

具体包括记录模板图像金字塔中各层图像的特征旋转后所提取特征的坐标、X和Y方向梯度以及梯度的模。

S2、利用训练后的离线模板图像对在线待测图像进行匹配；

提取待测图像金字塔中各层图像的边缘方向和梯度特征，完成待测图像从粗匹配到精匹配过程中的与模板图像所提取的特征相似性度量，逐层匹配，输出所有匹配结果，最后根据匹配分值排序和筛选，最终得到待测图像中待匹配目标的坐标、角度和匹配得分。

下面对在线待测图像的匹配过程进行详细说明。

S21、对待测图像进行图像扩展；

采用复制图像边缘像素的方法对待测图像进行图像扩展。

S22、对扩展后的待测图像进行图像金字塔变化，以加速待匹配目标的匹配；

采用高斯金字塔变化对扩展后的待测图像进行图像金字塔变化，获取扩展后的待测图像的金字塔中的各层图像。其中，高斯金字塔变化时采用的卷积核为式(4)所示的卷积核。

S23、对扩展后的待测图像的金字塔中最高层图像进行粗匹配，如图2所示，其具体过程为：

S231、提取待测图像的金字塔中最高层图像的待搜索区域中的图像特征；其中，待搜索区域为待测图像的金字塔中最高层图像的边界减去相应扩展区域。

具体地，采用高斯滤波、sobel算子提取待测图像的金字塔中最高层图像的待搜索区域中的各像素方向和梯度特征。

与模板图像特征提取不同，此处不需要使用Canny算子中的剔除筛选边缘点的方法，这样不仅能够保证待测图像信息的完整性，而且相对于传统算法，能够减少计算量。

S232、将模板图像的金字塔中最高层的图像特征与待测图像的金字塔中最高层图像的特征进行相似性度量计算，得到所有可能的匹配点位置、角度和匹配得分。

其中，进行相似性度量计算时采用的相似性度量公式为：

式(6)中，n表示模板图像该金字塔层某角度下特征点的总数目， 分别表示模板图像在特征点i处沿着X和Y方向的梯度值，和分别表示待测图像在特征点(u+Xi，v+Yi)处沿着X和Y方向的梯度值。表示模板图像在特征点i处的方向梯度的模，表示待测图像在特征点(u+Xi，v+Yi)处的方向梯度的模，即

式(6)中，score表示模板图像与待测图像的搜索区域的相似度，score取值0～1。当score＝1时，表示模板图像与待测图像的搜索区域完全匹配，score值越大，匹配度越高，说明模板图像与待测图像的搜索区域越相似。

相似性度量公式使用了归一化方法，故而具有光照不变性。

假设在待测图像的搜索区域的某一角度下某位置处进行相似性度量，模板图像共有n个特征点，计算了其中m(m≤n)个特征点的相似度之和score_m，则有

设置相似性度量的加速终止条件为：

如果score_m满足以上条件，即剩下(n-m)个特征点的相似度不再进行计算，在当前位置处终止相似性度量计算，从而减少计算量，提高计算效率。

式(10)中，n表示模板图像该金字塔层某角度下特征点的总数目；m(m≤n)表示已计算的模板图像特征点数目；score_m表示已计算的相似度之和；s^min表示用户设定的最小匹配得分；g表示用户设定的贪婪数，取值范围是0～1，数字越大，计算越快，但是也容易错过正确值，一般取0.9；k表示用户设定的最小匹配得分s^min的系数，k的取值范围为0～1。

下面对系数k进行说明：

由于用户只能进行一次最小匹配得分s^min的设定，但实践中，图像金字塔各层在进行相似性度量时，仅使用一个固定的得分s^min是不合理的。往往在图像最高层时，模板图像与待测图像的相似性并不高，所取得的分值score较小，因此，在图像金字塔各层，所取分数最小值为k·s^min。

假设模板图像为7层图像金字塔，其模板图像所提取各层的特征点数目为m_NumLevels_7、m_NumLevels_6、m_NumLevels_5、m_NumLevels_4、m_NumLevels_3、m_NumLevels_2、m_NumLevels_1、m_NumLevels_0，则k的半经验公式根据以下取值：

系数k的设置能够满足不同待测图像金字塔中各层图像的匹配得分的需求，进一步提高匹配的准确度和稳定性。

S24、对粗匹配后的待测图像进行精匹配；

待测图像从粗匹配到精匹配的过程中，虽然粗匹配尽可能地将所有可能的匹配位置都筛选出来，但是筛选出的匹配位置也有可能属于重复位置，需要剔除。同时还需要根据图像金字塔各层的差异性，更新搜索区域大小，改变匹配分值。

下面详细说明粗匹配后的待测图像进行精匹配的具体过程。

S241、剔除重复位置；

根据匹配位置的质心距离计算匹配位置的重复性，假设匹配的两点位置为(x₁,y₁)和(x₂,y₂)，则匹配的两点位置的质心距离d为：

判断匹配的两点位置的质心距离d是否小于预设的质心距离阈值，如果质心距离d小于预设的质心距离阈值，则进一步比较匹配得分，将匹配得分低的点剔除，保留匹配得分高的点。

S242、在待测图像非金字塔最高层，采用与步骤S23中相同的特征提取方法和相似性度量计算方法，筛选出匹配位置，并将匹配结果传递到下一层，直至待测图像的原始图像层。

首先，提取待测图像的金字塔中非最高层图像的待搜索区域中的图像特征；其中，待搜索区域为待测图像的金字塔中非最高层图像的边界减去相应扩展区域。

具体地，采用高斯滤波、sobel算子提取待测图像的金字塔中非最高层图像的待搜索区域中的各像素方向和梯度特征。

其次，将模板图像的金字塔中非最高层的图像特征与待测图像的金字塔中对应层图像的特征进行相似性度量计算，得到所有可能的匹配点位置、角度和匹配得分。

在粗匹配和精匹配过程中，待搜索区域的大小是不同的，由图像金字塔的各层图像的大小确定，需要考虑到扩展边界，因此需要对待搜索区域进行更新。

待测图像金字塔中的各层图像从粗匹配到精匹配，是否继续执行下去，由各层图像的匹配得分决定，各层图像的匹配得分不是用户给定的恒定最小分数值，而是有个系数k，k的取值通过式(11)确定。

S243、在待测图像的原始图像层，采用四领域方法做亚像素匹配定位。

待测图像从粗匹配到精匹配，使用质心距离来剔除重复位置，能够减少计算量；通过不断更新待测图像金字塔中各层图像的搜索区域，能够减少搜索范围，加速匹配效率，提高匹配精确度。

S25、对待测图像的目标点进行排序和筛选，得到待测图像中待匹配目标的坐标、角度和匹配得分，其具体过程为：

根据用户给定的最低分值筛选出所有可能的匹配目标；

将匹配目标按照分值从大到小的顺序进行冒泡法排序；

根据用户给定的匹配个数，剔除多余选项，输出待测图像中待匹配目标的坐标、角度和匹配得分。

为了实现本申请实施例提供的基于边缘方向和梯度特征的图像匹配方法，本申请实施例还提供了一种基于边缘方向和梯度特征的图像匹配装置，其包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器。其中所述处理器用于运行所述计算机程序时，执行如下步骤：

对离线模板图像进行训练；

利用训练后的离线模板图像对在线待测图像进行匹配。

其中，对离线模板图像进行训练的过程为：

确定高低阈值参数，并对模板图像进行去噪处理；

确定模板图像金字塔层数和模板图像金字塔各层的旋转角度步长；

对模板图像进行扩展并对扩展后的模板图像进行图像金字塔变化；

对模板图像金字塔中各层图像进行扩展；

对模板图像金字塔中各层图像的扩展图像进行0角度特征提取；

对提取的金字塔中各层图像的特征进行旋转；

利用训练后的离线模板图像对在线待测图像进行匹配的具体过程为：

对待测图像进行图像扩展；

对扩展后的待测图像进行图像金字塔变化；

对扩展后的待测图像的金字塔中最高层图像进行粗匹配；

对粗匹配后的待测图像进行精匹配；

对待测图像的目标点进行排序和筛选，得到待测图像中待匹配目标的坐标、角度和匹配得分。

在对提取的金字塔中各层图像的特征进行旋转的步骤之后，上述执行步骤还包括对旋转变换后的特征信息进行记录。

在示例性实施例中，本申请实施例还提供了一种计算机存储介质，是计算机可读存储介质，例如，包括计算机程序的存储器，上述计算机程序可由基于边缘方向和梯度特征的图像匹配装置中的处理器执行，以完成上述基于边缘方向和梯度特征的图像匹配方法中的所述步骤。

计算机可读存储介质可以是磁性随机存取存储器(FRAM，ferromagnetic randomaccess memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-OnlyMemory)等存储器。

以上所述仅为本申请示意性的具体实施方式，在不脱离本申请的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均应属于本申请保护的范围。

Claims (10)

1.一种基于边缘方向和梯度特征的图像匹配方法，其特征在于，包括以下步骤：

对离线模板图像进行训练；

利用训练后的离线模板图像对在线待测图像进行匹配；

所述对离线模板图像进行训练的过程为：

确定高低阈值参数，并对模板图像进行去噪处理；

确定模板图像金字塔层数和模板图像金字塔各层的旋转角度步长；

对模板图像进行扩展并对扩展后的模板图像进行图像金字塔变化；

对模板图像金字塔中各层图像进行扩展；

对模板图像金字塔中各层图像的扩展图像进行0角度特征提取；

对提取的金字塔中各层图像的特征进行旋转；

所述利用训练后的离线模板图像对在线待测图像进行匹配的过程为：

对待测图像进行图像扩展；

对扩展后的待测图像进行图像金字塔变化；

对扩展后的待测图像的金字塔中最高层图像进行粗匹配；

对粗匹配后的待测图像进行精匹配；

对待测图像的目标点进行排序和筛选，得到待测图像中待匹配目标的坐标、角度和匹配得分。

2.根据权利要求1所述的基于边缘方向和梯度特征的图像匹配方法，其特征在于，所述对离线模板图像进行训练的过程还包括对旋转变换后的特征信息进行记录；所述特征信息包括特征的坐标、X和Y方向梯度以及梯度的模。

3.根据权利要求1或2所述的基于边缘方向和梯度特征的图像匹配方法，其特征在于，所述确定模板图像的金字塔层数的具体过程为：

首先，根据模板图像的宽和高，通过下式计算得到模板图像扩展后的长：

Length＝2ⁱ＞MAX(ImgWidth,ImgHeight)，

式中，i为整数，且i≥4；ImgWidth表示模板图像的宽，ImgHeight表示模板图像的高，Length表示模板图像扩展后的长，模板图像扩展后得到的图像为正方形，其宽和高均等于模板图像扩展后的长Length；

其次，根据模板图像扩展后的长Length，通过下式初步计算得到图像金字塔的层数NumLevels，

最后，判断模板图像金字塔的各层图像的特征点数目是否小于或等于预设特征点数目阈值；

如果模板图像金字塔中第N+1层图像的特征点数目小于或等于预设特征点数目阈值，第N层图像的特征点数目大于预设特征点数目阈值，且第N层图像的特征点数目是第0～N层图像的特征点数目中最少的，则将模板图像金字塔的层数确定为N层；

采用下式确定模板图像金字塔中各层图像的旋转角度步长：

AngleStep_r＝user_AngleStep*2^r,r＝0,1,2,…,NumLevels，

式中，user_AngleStep表示用户设定的旋转角度步长。

4.根据权利要求1或2所述的基于边缘方向和梯度特征的图像匹配方法，其特征在于，所述对提取的金字塔中各层图像的特征进行旋转，旋转变换后的特征信息为：

式中，(x′,y′)表示旋转后特征点的坐标，Gx′和Gy′表示旋转后特征点沿着X和Y方向的梯度值，Gm′表示旋转后特征点处方向梯度的模，θ表示旋转角度；(x₀,y₀)表示旋转前特征点的坐标，Gx和Gy表示旋转前特征点沿着X和Y方向的梯度值，Gm表示旋转前特征点处方向梯度的模。

5.根据权利要求1或2所述的基于边缘方向和梯度特征的图像匹配方法，其特征在于，所述对扩展后的待测图像的金字塔中最高层图像进行粗匹配的过程为：

首先，提取待测图像的金字塔中最高层图像的待搜索区域中的图像特征；其中，待搜索区域为待测图像的金字塔中最高层图像的边界减去相应扩展区域；

其次，将模板图像的金字塔中最高层的图像特征与待测图像的金字塔中最高层图像的特征进行相似性度量计算，得到所有可能的匹配点位置、角度和匹配得分。

6.根据权利要求5所述的基于边缘方向和梯度特征的图像匹配方法，其特征在于，所述将模板图像的金字塔中最高层的图像特征与待测图像的金字塔中最高层图像的特征进行相似性度量计算，得到所有可能的匹配点位置、角度和匹配得分中，进行相似性度量计算时采用的相似性度量公式为：

式中，n表示模板图像该金字塔层某角度下特征点的总数目，分别表示模板图像在特征点i处沿着X和Y方向的梯度值，和分别表示待测图像在特征点(u+Xi，v+Yi)处沿着X和Y方向的梯度值；表示模板图像在特征点i处的方向梯度的模，表示待测图像在特征点(u+Xi，v+Yi)处的方向梯度的模，即

式中，score表示模板图像与待测图像的搜索区域的相似度，score取值0～1；当score＝1时，表示模板图像与待测图像的搜索区域完全匹配，score值越大，匹配度越高，说明模板图像与待测图像的搜索区域越相似。

7.根据权利要求6所述的基于边缘方向和梯度特征的图像匹配方法，其特征在于，所述相似性度量的加速终止条件为：

式中，score_m表示m(m≤n)个特征点的相似度之和，

式中，m表示已计算的模板图像特征点数目；s^min表示用户设定的最小匹配得分；g表示用户设定的贪婪数，取值范围是0～1；k表示用户设定的最小匹配得分s^min的系数，k的取值范围为0～1；

如果score_m满足相似性度量的加速终止条件，则剩下(n-m)个特征点的相似度不再进行计算，在当前位置处终止相似性度量计算。

8.根据权利要求1或2所述的基于边缘方向和梯度特征的图像匹配方法，其特征在于，所述对粗匹配后的待测图像进行精匹配的过程为：

利用匹配的两点位置之间的质心距离剔除重复位置；

在待测图像非金字塔最高层筛选出匹配位置，并将匹配结果传递到下一层，直至待测图像的原始图像层；

在待测图像的原始图像层，采用四领域方法做亚像素匹配定位。

9.根据权利要求1或2所述的基于边缘方向和梯度特征的图像匹配方法，其特征在于，所述对待测图像的目标点进行排序和筛选，得到待测图像中待匹配目标的坐标、角度和匹配得分的具体过程为：

根据用户给定的最低分值筛选出所有可能的匹配目标；

将匹配目标按照分值从大到小的顺序进行冒泡法排序；

根据用户给定的匹配个数，剔除多余选项，输出待测图像中待匹配目标的坐标、角度和匹配得分。

10.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至9任一项所述基于边缘方向和梯度特征的图像匹配方法的步骤。