CN116843933B - 图像模板匹配优化方法、装置及电子设备 - Google Patents
图像模板匹配优化方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116843933B CN116843933B CN202311124680.3A CN202311124680A CN116843933B CN 116843933 B CN116843933 B CN 116843933B CN 202311124680 A CN202311124680 A CN 202311124680A CN 116843933 B CN116843933 B CN 116843933B
- Authority
- CN
- China
- Prior art keywords
- image
- template
- searched
- matching
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000005457 optimization Methods 0.000 title claims abstract description 24
- 238000005070 sampling Methods 0.000 claims description 98
- 239000013598 vector Substances 0.000 claims description 68
- 238000013519 translation Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 7
- 230000000737 periodic effect Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种图像模板匹配优化方法、装置及电子设备，包括：根据获取的原始图像确定待搜索图像和图像模板；针对图像模板，确定对图像模板执行预设操作后，图像模板与执行预设操作后的图像模板的重合度是否达到预设重合度阈值；在重合度达到预设重合度阈值的情况下，将图像模板与执行预设操作后的图像模板的未重合图像区域用掩膜进行标记；在掩膜标记完成后，设置未重合图像区域中处于边缘像素的权重大于重合图像区域中处于边缘像素的权重，其中，重合图像区域为图像模板与执行预设操作后的图像模板重合的区域；将设置权重后的图像模板作为目标模板图像，与待搜索图像进行模板匹配，提高了匹配准确性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像模板匹配优化方法、装置及电子设备。
背景技术
模板匹配算法是机器视觉领域中的一种重要算法，它的主要作用是在图像中寻找一个特定的模板，从而实现对图像中的物体进行有无检测、计数、定位和识别等。现有的模板匹配算法，通过调参无法精准匹配到具有周期性特征的图案模板，匹配结果会出现一个或多个周期的偏移。导致图案包括细长的条状物体，大块的散热鳍片，还有软排线(Flexible Flat Cable)。
这个问题的产生可能有以下几个原因：一是对于周期性图案来说，一个周期的偏移对总的匹配分数影响不是很大；二是内置的各种提高速度的方法，正常情况下可以在不影响结果的同时大幅提高匹配速度，但在一些特殊情况下可能出现问题，例如，在平移后与自身仍然保持高度重合的图案，其中图片上部为准确匹配的情况，中间和下部为左右匹配存在偏移的情况，匹配得分从上到下分别为100%，99.8%和91%。由中间的匹配偏移图可知发生偏移时匹配的分数可以与完美匹配时极为接近，在实际存在复杂背景噪音和光线干扰的情况下，使用求局部的分数最大值坐标的方法无法可靠地实现准确模板匹配。
在环境复杂匹配项目中，更容易出现匹配出错的情况，例如，匹配结果在左右方向上出现偏差，因为该图案呈现一定周期性规律，在左右偏移特定距离后仍与自身有大量重合，从而导致匹配得分与完美匹配时相差不大，但是，对模板匹配准确行的要求较高的情况下，其精度要求通常需达到亚像素级精度，因此匹配结果出现偏移时会远超精度要求，这种匹配结果出现偏移的情况可能会比没有找到匹配结果后果更严重，比如导致机械手抓取物料时姿势错误。
目前主流的模板匹配算法，都没有针对这一类周期性图案的优化选项，且在实际工程项目中确实出现了对周期性图案进行模板匹配时发生结果偏移的情况。
而针对解决偏移的方法，将参数设置为不考虑时间成本的选项，通常仍然无法解决偏移的问题。而通过不断慢慢地增加匹配分数阈值，来期望可以排除出现偏移的非最优匹配。测试结果显示匹配分数阈值增加到一定程度会连偏移的值都检测不到，也检测不到最优解。而通过将重复性图案中间区域用掩膜来排除，只保留首尾两个周期的图案，使得模板匹配时忽略中间的区域，这样不会出现匹配偏移的情况。但是，经过测试统计匹配的准确率出现了下降，也就是说，虽然抑制了匹配结果偏移的概率，但是正确匹配的概率相比之前也下降了。参见图1到图3所示，在图1中，相对于原始的待匹配图像（图1中最上方的图像），匹配后的第一幅图像（图1中中间的图像）出现了向+X轴方向的偏移，而匹配后的第二幅图像（图1中最下方的图像）出现了较大的向-X轴方向的偏移。图1中两端空白是相对待匹配图像出现偏移未准确匹配的匹配偏移区域；在图2中，相对于原始的待匹配图像（图2中最左的图像），匹配后的第一幅图像（图2中最右的图像）出现了向-X轴方向的偏移，同理，图2中右端空白是相对待匹配图像出现偏移未准确匹配的匹配偏移区域；在图3中，相对于原始的待匹配图像（图3中最左的图像），匹配后的第一幅图像（图3中中间的图像）出现了向-X轴方向的偏移，同理，图3中右端空白是相对待匹配图像出现偏移未准确匹配的匹配偏移区域。
而通过在得到可能的匹配坐标后，对该坐标一定范围的左右平移和一定范围的角度旋转，从而搜索附近是否有更优的匹配结果。经过测试，这种方法在范围过大时，会显著降低模板匹配算法的速度，而周期性图案发生偏移时的偏移量可能会大幅高于一般的临近搜索范围，且不能纠正因为旋转180°导致的匹配错误（因为有些图像在旋转180°后，与自身相似度很高，但又不完全相同）。例如，参见图3所示，在完成匹配之后，匹配后的第2幅图像（图3中最右的图像）相对相对待匹配图像出现了180°的翻转，根据坐标轴来看，待匹配图像的缺口是朝向-Y方向的，而匹配后的第2幅图像的缺口朝向+Y方向。
发明内容
为克服相关技术中图像模板匹配导致偏移，影响图像识别准确性较低的技术问题，本公开提供一种图像模板匹配优化方法、装置及电子设备。
在本公开实施例的第一方面，提供一种图像模板匹配优化方法，所述图像模板匹配优化方法包括：
根据获取的原始图像，确定待搜索图像和图像模板；
针对所述图像模板，确定对所述图像模板执行预设操作后，所述图像模板与执行预设操作后的图像模板的重合度是否达到预设重合度阈值，其中，所述预设操作包括旋转、平移、旋转加平移中的至少一者；
在所述重合度达到所述预设重合度阈值的情况下，将所述图像模板与所述执行预设操作后的图像模板的未重合图像区域用掩膜进行标记；
在掩膜标记完成后，设置所述未重合图像区域中处于边缘像素的权重大于重合图像区域中处于边缘像素的权重，其中，所述重合图像区域为所述图像模板与所述执行预设操作后的图像模板重合的区域；
将设置权重后的图像模板作为目标模板图像，与所述待搜索图像进行模板匹配。
在一种优选的方式中，所述在掩膜标记完成后，设置所述未重合图像区域中处于边缘像素的权重大于重合图像区域中处于边缘像素的权重，包括：
在掩膜标记完成后，设置所述未重合图像区域中处于边缘像素的权重为重合图像区域中处于边缘像素的权重的4倍。
在一种优选的方式中，所述将设置权重后的图像模板作为目标模板图像，与所述待搜索图像进行模板匹配，包括：
将所述设置权重后的图像模板作为目标模板图像，获取所述目标模板图像中处于边缘的所有的目标采样点的权重；
将各所述目标采样点的权重累加，得到所述目标模板图像的最大分数Smax；
遍历执行：以任意角度放置所述图像模板，将所述目标模板图像的中心与所述待搜索图像的任一像素重合，确定每一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角，并根据所述最大分数Smax、每一所述目标采样点的权重以及该目标采样点对应的所述梯度向量夹角，得到模板匹配分值；
根据所述模板匹配分值，将各角度对应的目标图像模板与所述待搜索图像进行模板匹配。
在一种优选的方式中，所述根据所述最大分数Smax、每一所述目标采样点的权重以及该目标采样点对应的所述梯度向量夹角，得到模板匹配分值，包括：
计算每一所述目标采样点的权重与对应的所述梯度向量夹角的绝对值的乘积；
对所述乘积求和，得到匹配得分；
将所述匹配得分与所述最大分数Smax的比值作为本次设置权重后的图像模板的中心与所述待搜索图像的任一像素重合的模板匹配分值。
在一种优选的方式中，通过如下公式确定所述设置权重后的图像模板的中心与所述待搜索图像的任一像素重合的情况下对应的模板匹配分值S：
，
其中，为第 i 个目标采样点与所述待搜索图像上任一点的梯度向量夹角，/>为第 i 个目标采样点的权重，N 为目标采样点的总数。
在一种优选的方式中，所述确定每一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角，包括：
遍历执行：
根据任一所述目标采样点的索贝尔边缘提取的梯度向量，以及所述待搜索图像上任一点的索贝尔边缘提取的梯度向量，确定该目标采样点与所述待搜索图像上该点的梯度向量夹角，直到每一个所述目标采样点均与所述待搜索图像上任意点得到梯度向量夹角，得到每一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角。
在一种优选的方式中，通过如下公式确定任一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角：
，
其中，，/>为所述目标采样点中第i个目标采样点的索贝尔边缘提取的梯度向量，/>，/>为所述待搜索图像上第i个点的索贝尔边缘提取的梯度向量。
在一种优选的方式中，所述方法还包括：
在所述重合度未达到所述预设重合度阈值的情况下，将所述图像模板作为目标模板图像与所述待搜索图像上进行模板匹配。
在本公开实施例的第二方面，提供一种图像模板匹配优化装置，所述图像模板匹配优化装置包括：
第一确定模块，被配置为根据获取的原始图像，确定待搜索图像和图像模板；
第二确定模块，被配置为针对所述图像模板，确定对所述图像模板执行预设操作后，所述图像模板与执行预设操作后的图像模板的重合度是否达到预设重合度阈值，其中，所述预设操作包括旋转、平移、旋转加平移中的至少一者；
标记模块，被配置为在所述重合度达到所述预设重合度阈值的情况下，将所述图像模板与所述执行预设操作后的图像模板的未重合图像区域用掩膜进行标记；
设置模块，被配置为在掩膜标记完成后，设置所述未重合图像区域中处于边缘像素的权重大于重合图像区域中处于边缘像素的权重，其中，所述重合图像区域为所述图像模板与所述执行预设操作后的图像模板重合的区域；
匹配模块，被配置为将设置权重后的图像模板作为目标模板图像，与所述待搜索图像进行模板匹配。
在一种优选的方式中，所述设置模块，被配置为在掩膜标记完成后，设置所述未重合图像区域中处于边缘像素的权重为重合图像区域中处于边缘像素的权重的4倍。
在一种优选的方式中，所述匹配模块，被配置为：
将所述设置权重后的图像模板作为目标模板图像，获取所述目标模板图像中处于边缘的所有的目标采样点的权重；
将各所述目标采样点的权重累加，得到所述目标模板图像的最大分数Smax；
遍历执行：以任意角度放置所述图像模板，将所述目标模板图像的中心与所述待搜索图像的任一像素重合，确定每一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角，并根据所述最大分数Smax、每一所述目标采样点的权重以及该目标采样点对应的所述梯度向量夹角，得到模板匹配分值；
根据所述模板匹配分值，将各角度对应的目标图像模板与所述待搜索图像进行模板匹配。
在一种优选的方式中，所述匹配模块，被配置为：
计算每一所述目标采样点的权重与对应的所述梯度向量夹角的绝对值的乘积；
对所述乘积求和，得到匹配得分；
将所述匹配得分与所述最大分数Smax的比值作为本次设置权重后的图像模板的中心与所述待搜索图像的任一像素重合的模板匹配分值。
在一种优选的方式中，所述匹配模块，被配置为通过如下公式确定所述设置权重后的图像模板的中心与所述待搜索图像的任一像素重合的情况下对应的模板匹配分值S：
，
其中，为第 i 个目标采样点与所述待搜索图像上任一点的梯度向量夹角，/>为第 i 个目标采样点的权重，N 为目标采样点的总数。
在一种优选的方式中，所述匹配模块，被配置为：
遍历执行：
根据任一所述目标采样点的索贝尔边缘提取的梯度向量，以及所述待搜索图像上任一点的索贝尔边缘提取的梯度向量，确定该目标采样点与所述待搜索图像上该点的梯度向量夹角，直到每一个所述目标采样点均与所述待搜索图像上任意点得到梯度向量夹角，得到每一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角。
在一种优选的方式中，所述匹配模块，被配置为通过如下公式确定任一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角：
，
其中，，/>为所述目标采样点中第i个目标采样点的索贝尔边缘提取的梯度向量，/>，/>为所述待搜索图像上第i个点的索贝尔边缘提取的梯度向量。
在一种优选的方式中，所述匹配模块，被配置为：
在所述重合度未达到所述预设重合度阈值的情况下，将所述图像模板作为目标模板图像与所述待搜索图像上进行模板匹配。
在本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述存储器中的可执行指令，以实现第一方面中任意一项所述的图像模板匹配优化方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
根据获取的原始图像确定待搜索图像和图像模板；针对图像模板，确定对图像模板执行预设操作后，图像模板与执行预设操作后的图像模板的重合度是否达到预设重合度阈值；在重合度达到预设重合度阈值的情况下，将图像模板与执行预设操作后的图像模板的未重合图像区域用掩膜进行标记；在掩膜标记完成后，设置未重合图像区域中处于边缘像素的权重大于重合图像区域中处于边缘像素的权重，其中，重合图像区域为图像模板与执行预设操作后的图像模板重合的区域；将设置权重后的图像模板作为目标模板图像，与待搜索图像进行模板匹配。设置未重合图像区域中处于边缘像素的权重大于重合图像区域中处于边缘像素的权重，在将设置权重后的图像模板作为目标模板图像，与待搜索图像进行模板匹配时，未重合图像区域中处于边缘像素对匹配的影响增加，使得模板匹配时偏移更少，从而提高了匹配准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是现有技术一种匹配存在误差的示意图。
图2是现有技术另一种匹配存在误差的示意图。
图3是现有技术另一种匹配存在误差的示意图。
图4是根据一示例性实施例示出的一种图像模板匹配优化方法的流程图。
图5是根据一示例性实施例示出的一种现有技术匹配结果与本公开技术方案匹配结果对比的示意图。
图6是根据一示例性实施例示出的一种遍历多个角度进行匹配后的图像示意图。
图7是根据一示例性实施例示出的一种现有技术匹配结果的示意图。
图8是根据一示例性实施例示出的一种图像模板匹配优化装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在介绍本公开提供的图像模板匹配优化方法之前，针对相关计划中出现问题进行简单说明，经过试验发现，在平移后与自身仍然保持高度重合的图案，参见图1中，其中上部为准确匹配的情况，中间和下部为左右匹配存在偏移的情况，匹配得分从上到下分别为100%，99.8%和91%；参见图2中，针对平移后与自身仍然保持高度重合的图案，其中左边为准确匹配的情况，右边的水平方向存在一个周期的偏移，匹配得分从上到下分别为100%和88%；参见图3中，在平移或旋转后与自身仍然保持高度重合的图案，其中左边为准确匹配的情况，中间为左右匹配存在一个周期偏移的情况，右边为旋转180°后与自身仍然保持高度重合的情况，匹配分数从上到下分别为100%，91%，76%。可见，器准确性均存在部分区域较高部分区域较低。
有鉴于此，本公开提供的图像模板匹配优化方法旨在保持模板匹配算法原有的性能的基础上，减小匹配结果的偏移，同时在一些复杂的特定场景中，提高周期性图案匹配结果的准确性。
进一步地，图4是根据一示例性实施例示出的一种图像模板匹配优化方法的流程图。如图4所示，该方法包括以下步骤。
在步骤S11中，根据获取的原始图像，确定待搜索图像和图像模板；
在步骤S12中，针对所述图像模板，确定对所述图像模板执行预设操作后，所述图像模板与执行预设操作后的图像模板的重合度是否达到预设重合度阈值.
其中，所述预设操作包括旋转、平移、旋转加平移中的至少一者；
在步骤S13中，在所述重合度达到所述预设重合度阈值的情况下，将所述图像模板与所述执行预设操作后的图像模板的未重合图像区域用掩膜进行标记；
在步骤S14中，在掩膜标记完成后，设置所述未重合图像区域中处于边缘像素的权重大于重合图像区域中处于边缘像素的权重，其中，所述重合图像区域为所述图像模板与所述执行预设操作后的图像模板重合的区域；
这样，将未重合图像区域中处于边缘像素作为关键像素，进而通过增大关键区域（关键像素集合可以得到关键区域）的权重来提高周期性图案匹配结果的准确性。
在步骤S15中，将设置权重后的图像模板作为目标模板图像，与所述待搜索图像进行模板匹配。
本公开实施例中，可以是基于边缘的模板匹配算法，或者可以是基于灰度的模板匹配算法，将设置权重后的图像模板作为目标模板图像，与所述待搜索图像进行模板匹配。
参见图5所示，在左侧图像中，相关技术在匹配后可能在正确图像（图5中中间白色小圆点）的左侧和右侧（即左侧的白色小圆点和右侧的白色小圆点）出现匹配偏差的图像，而在右侧图像中，本公开的技术方案匹配后只会存在匹配正确的一个图像，不会出现左侧和右侧的图像。
上述技术方案设置未重合图像区域中处于边缘像素的权重大于重合图像区域中处于边缘像素的权重，在将设置权重后的图像模板作为目标模板图像，与待搜索图像进行模板匹配时，未重合图像区域中处于边缘像素对匹配的影响增加，使得模板匹配时偏移更少，从而提高了匹配准确性。
在一种优选的方式中，所述在掩膜标记完成后，设置所述未重合图像区域中处于边缘像素的权重大于重合图像区域中处于边缘像素的权重，包括：
在掩膜标记完成后，设置所述未重合图像区域中处于边缘像素的权重为重合图像区域中处于边缘像素的权重的4倍。
在一种优选的方式中，所述将设置权重后的图像模板作为目标模板图像，与所述待搜索图像进行模板匹配，包括：
将所述设置权重后的图像模板作为目标模板图像，获取所述目标模板图像中处于边缘的所有的目标采样点的权重；
将各所述目标采样点的权重累加，得到所述目标模板图像的最大分数Smax；
遍历执行：以任意角度放置所述图像模板，将所述目标模板图像的中心与所述待搜索图像的任一像素重合，确定每一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角，并根据所述最大分数Smax、每一所述目标采样点的权重以及该目标采样点对应的所述梯度向量夹角，得到模板匹配分值；
根据所述模板匹配分值，将各角度对应的目标图像模板与所述待搜索图像进行模板匹配。
在一种优选的方式中，所述根据所述最大分数Smax、每一所述目标采样点的权重以及该目标采样点对应的所述梯度向量夹角，得到模板匹配分值，包括：
计算每一所述目标采样点的权重与对应的所述梯度向量夹角的绝对值的乘积；
对所述乘积求和，得到匹配得分；
将所述匹配得分与所述最大分数Smax的比值作为本次设置权重后的图像模板的中心与所述待搜索图像的任一像素重合的模板匹配分值。
本公开实施例中，将模板匹配分值从0%到100%以亮度0%到100%的形式显示，像素越白代表在该处的模板匹配分值越高，可以设置模板匹配分值低于80%的位置以0%亮度显示。
本公开实施例中，参见图6所示，选取某个角度后遍历搜索图上所有像素点坐标，可得到该角度下每个像素点对应的匹配分数，生成模板匹配得分图，对模板匹配得分图用一定阈值排除掉得分过低的区域，求局部最高点可以得到符合条件的模板匹配坐标结果。进一步地，重复执行对模板旋转一定角度后重复上述步骤，可以求得每个角度符合条件的模板匹配坐标。这样可以对发现旋转的模板进行模板匹配搜索。
在一种优选的方式中，通过如下公式确定所述设置权重后的图像模板的中心与所述待搜索图像的任一像素重合的情况下对应的模板匹配分值S：
其中，为第 i 个目标采样点与所述待搜索图像上任一点的梯度向量夹角，/>为第 i 个目标采样点的权重，N 为目标采样点的总数。
在一种优选的方式中，所述确定每一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角，包括：
遍历执行：
根据任一所述目标采样点的索贝尔边缘提取的梯度向量，以及所述待搜索图像上任一点的索贝尔边缘提取的梯度向量，确定该目标采样点与所述待搜索图像上该点的梯度向量夹角，直到每一个所述目标采样点均与所述待搜索图像上任意点得到梯度向量夹角，得到每一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角。
在一种优选的方式中，通过如下公式确定任一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角：
,
其中，，/>为所述目标采样点中第i个目标采样点的索贝尔边缘提取的梯度向量，/>，/>为所述待搜索图像上第i个点的索贝尔边缘提取的梯度向量。
在一种优选的方式中，所述方法还包括：
在所述重合度未达到所述预设重合度阈值的情况下，将所述图像模板作为目标模板图像与所述待搜索图像上进行模板匹配。
基于上述实施例，使用图6中的多角度模板匹配搜索图进行测试发现使用本发明提到的优化方法的匹配算法可以做到无偏移全部匹配正确，参见图7所示，作为对比现有技术的模板匹配算法出现了两处匹配偏移。
在本公开实施例还提供一种图像模板匹配优化装置，参见图8所示，所述图像模板匹配优化装置200包括：
第一确定模块210，被配置为根据获取的原始图像，确定待搜索图像和图像模板；
第二确定模块220，被配置为针对所述图像模板，确定对所述图像模板执行预设操作后，所述图像模板与执行预设操作后的图像模板的重合度是否达到预设重合度阈值，其中，所述预设操作包括旋转、平移、旋转加平移中的至少一者；
标记模块230，被配置为在所述重合度达到所述预设重合度阈值的情况下，将所述图像模板与所述执行预设操作后的图像模板的未重合图像区域用掩膜进行标记；
设置模块240，被配置为在掩膜标记完成后，设置所述未重合图像区域中处于边缘像素的权重大于重合图像区域中处于边缘像素的权重，其中，所述重合图像区域为所述图像模板与所述执行预设操作后的图像模板重合的区域；
匹配模块250，被配置为将设置权重后的图像模板作为目标模板图像，与所述待搜索图像进行模板匹配。
上述装置设置未重合图像区域中处于边缘像素的权重大于重合图像区域中处于边缘像素的权重，在将设置权重后的图像模板作为目标模板图像，与待搜索图像进行模板匹配时，未重合图像区域中处于边缘像素对匹配的影响增加，使得模板匹配时偏移更少，从而提高了匹配准确性。
在一种优选的方式中，所述设置模块240，被配置为在掩膜标记完成后，设置所述未重合图像区域中处于边缘像素的权重为重合图像区域中处于边缘像素的权重的4倍。
在一种优选的方式中，所述匹配模块250，被配置为：
将所述设置权重后的图像模板作为目标模板图像，获取所述目标模板图像中处于边缘的所有的目标采样点的权重；
将各所述目标采样点的权重累加，得到所述目标模板图像的最大分数Smax；
遍历执行：以任意角度放置所述图像模板，将所述目标模板图像的中心与所述待搜索图像的任一像素重合，确定每一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角，并根据所述最大分数Smax、每一所述目标采样点的权重以及该目标采样点对应的所述梯度向量夹角，得到模板匹配分值；
根据所述模板匹配分值，将各角度对应的目标图像模板与所述待搜索图像进行模板匹配。
在一种优选的方式中，所述匹配模块250，被配置为：
计算每一所述目标采样点的权重与对应的所述梯度向量夹角的绝对值的乘积；
对所述乘积求和，得到匹配得分；
将所述匹配得分与所述最大分数Smax的比值作为本次设置权重后的图像模板的中心与所述待搜索图像的任一像素重合的模板匹配分值。
在一种优选的方式中，所述匹配模块，被配置为通过如下公式确定所述设置权重后的图像模板的中心与所述待搜索图像的任一像素重合的情况下对应的模板匹配分值S：
，
其中，为第 i 个目标采样点与所述待搜索图像上任一点的梯度向量夹角，/>为第 i 个目标采样点的权重，N 为目标采样点的总数。
在一种优选的方式中，所述匹配模块250，被配置为：
遍历执行：
根据任一所述目标采样点的索贝尔边缘提取的梯度向量，以及所述待搜索图像上任一点的索贝尔边缘提取的梯度向量，确定该目标采样点与所述待搜索图像上该点的梯度向量夹角，直到每一个所述目标采样点均与所述待搜索图像上任意点得到梯度向量夹角，得到每一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角。
在一种优选的方式中，所述匹配模块250，被配置为通过如下公式确定任一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角：
，
其中，，/>为所述目标采样点中第i个目标采样点的索贝尔边缘提取的梯度向量，/>，/>为所述待搜索图像上第i个点的索贝尔边缘提取的梯度向量。
在一种优选的方式中，所述匹配模块250，被配置为：
在所述重合度未达到所述预设重合度阈值的情况下，将所述图像模板作为目标模板图像与所述待搜索图像上进行模板匹配。
在本公开实施例还提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述存储器中的可执行指令，以实现前述实施例中任意一项所述的图像模板匹配优化方法。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (8)
1.一种图像模板匹配优化方法，其特征在于，所述图像模板匹配优化方法包括：
根据获取的原始图像，确定待搜索图像和图像模板；
针对所述图像模板，确定对所述图像模板执行预设操作后，所述图像模板与执行预设操作后的图像模板的重合度是否达到预设重合度阈值，其中，所述预设操作包括旋转、平移、旋转加平移中的至少一者；
在所述重合度达到所述预设重合度阈值的情况下，将所述图像模板与所述执行预设操作后的图像模板的未重合图像区域用掩膜进行标记；
在掩膜标记完成后，设置所述未重合图像区域中处于边缘像素的权重大于重合图像区域中处于边缘像素的权重，其中，所述重合图像区域为所述图像模板与所述执行预设操作后的图像模板重合的区域；
将设置权重后的图像模板作为目标模板图像，与所述待搜索图像进行模板匹配；
所述在掩膜标记完成后，设置所述未重合图像区域中处于边缘像素的权重大于重合图像区域中处于边缘像素的权重，包括：
在掩膜标记完成后，设置所述未重合图像区域中处于边缘像素的权重为重合图像区域中处于边缘像素的权重的4倍；
所述将设置权重后的图像模板作为目标模板图像，与所述待搜索图像进行模板匹配，包括：
将所述设置权重后的图像模板作为目标模板图像，获取所述目标模板图像中处于边缘的所有的目标采样点的权重；
将各所述目标采样点的权重累加，得到所述目标模板图像的最大分数Smax；
遍历执行：以任意角度放置所述图像模板，将所述目标模板图像的中心与所述待搜索图像的任一像素重合，确定每一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角，并根据所述最大分数Smax、每一所述目标采样点的权重以及该目标采样点对应的所述梯度向量夹角，得到模板匹配分值；
根据所述模板匹配分值，将各角度对应的目标图像模板与所述待搜索图像进行模板匹配。
2.根据权利要求1所述的图像模板匹配优化方法，其特征在于，所述根据所述最大分数Smax、每一所述目标采样点的权重以及该目标采样点对应的所述梯度向量夹角，得到模板匹配分值，包括：
计算每一所述目标采样点的权重与对应的所述梯度向量夹角的绝对值的乘积；
对所述乘积求和，得到匹配得分；
将所述匹配得分与所述最大分数Smax的比值作为本次设置权重后的图像模板的中心与所述待搜索图像的任一像素重合的模板匹配分值。
3.根据权利要求2所述的图像模板匹配优化方法，其特征在于，通过如下公式确定所述设置权重后的图像模板的中心与所述待搜索图像的任一像素重合的情况下对应的模板匹配分值S：
，
其中，为第i个目标采样点与所述待搜索图像上任一点的梯度向量夹角，/>为第i个目标采样点的权重，N为目标采样点的总数。
4.根据权利要求1所述的图像模板匹配优化方法，其特征在于，所述确定每一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角，包括：
遍历执行：
根据任一所述目标采样点的索贝尔边缘提取的梯度向量，以及所述待搜索图像上任一点的索贝尔边缘提取的梯度向量，确定该目标采样点与所述待搜索图像上该点的梯度向量夹角，直到每一个所述目标采样点均与所述待搜索图像上任意点得到梯度向量夹角，得到每一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角。
5.根据权利要求4所述的图像模板匹配优化方法，其特征在于，通过如下公式确定任一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角：
，
其中，，/>为所述目标采样点中第i个目标采样点的索贝尔边缘提取的梯度向量，，/>所述待搜索图像上第i个点的索贝尔边缘提取的梯度向量。
6.根据权利要求1-5中任意一项所述的图像模板匹配优化方法，其特征在于，所述方法还包括：
在所述重合度未达到所述预设重合度阈值的情况下，将所述图像模板作为目标模板图像与所述待搜索图像上进行模板匹配。
7.一种图像模板匹配优化装置，其特征在于，所述图像模板匹配优化装置包括：
第一确定模块，被配置为根据获取的原始图像，确定待搜索图像和图像模板；
第二确定模块，被配置为针对所述图像模板，确定对所述图像模板执行预设操作后，所述图像模板与执行预设操作后的图像模板的重合度是否达到预设重合度阈值，其中，所述预设操作包括旋转、平移、旋转加平移中的一者；
标记模块，被配置为在所述重合度达到所述预设重合度阈值的情况下，将所述图像模板与所述执行预设操作后的图像模板的未重合图像区域用掩膜进行标记；
设置模块，被配置为在掩膜标记完成后，设置所述未重合图像区域中处于边缘像素的权重大于重合图像区域中处于边缘像素的权重，其中，所述重合图像区域为所述图像模板与所述执行预设操作后的图像模板重合的区域；
匹配模块，被配置为将设置权重后的图像模板作为目标模板图像，与所述待搜索图像进行模板匹配；
所述在掩膜标记完成后，设置所述未重合图像区域中处于边缘像素的权重大于重合图像区域中处于边缘像素的权重，包括：
在掩膜标记完成后，设置所述未重合图像区域中处于边缘像素的权重为重合图像区域中处于边缘像素的权重的4倍；
所述将设置权重后的图像模板作为目标模板图像，与所述待搜索图像进行模板匹配，包括：
将所述设置权重后的图像模板作为目标模板图像，获取所述目标模板图像中处于边缘的所有的目标采样点的权重；
将各所述目标采样点的权重累加，得到所述目标模板图像的最大分数Smax；
遍历执行：以任意角度放置所述图像模板，将所述目标模板图像的中心与所述待搜索图像的任一像素重合，确定每一所述目标采样点与所述待搜索图像上任一点的梯度向量夹角，并根据所述最大分数Smax、每一所述目标采样点的权重以及该目标采样点对应的所述梯度向量夹角，得到模板匹配分值；
根据所述模板匹配分值，将各角度对应的目标图像模板与所述待搜索图像进行模板匹配。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述存储器中的可执行指令，以实现权利要求1-6中任意一项所述的图像模板匹配优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311124680.3A CN116843933B (zh) | 2023-09-02 | 2023-09-02 | 图像模板匹配优化方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311124680.3A CN116843933B (zh) | 2023-09-02 | 2023-09-02 | 图像模板匹配优化方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116843933A CN116843933A (zh) | 2023-10-03 |
| CN116843933B true CN116843933B (zh) | 2023-11-21 |
Family
ID=88165667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311124680.3A Active CN116843933B (zh) | 2023-09-02 | 2023-09-02 | 图像模板匹配优化方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116843933B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6687386B1 (en) * | 1999-06-15 | 2004-02-03 | Hitachi Denshi Kabushiki Kaisha | Object tracking method and object tracking apparatus |
| CN108009551A (zh) * | 2017-11-21 | 2018-05-08 | 武汉中元华电软件有限公司 | 适用于电力作业机器人的电力刀闸分合位状态识别方法 |
| CN113298036A (zh) * | 2021-06-17 | 2021-08-24 | 浙江大学 | 一种无监督视频目标分割的方法 |
| CN116543188A (zh) * | 2023-07-06 | 2023-08-04 | 深圳市睿达科技有限公司 | 一种基于灰度匹配的机器视觉匹配方法及系统 |
-
2023
- 2023-09-02 CN CN202311124680.3A patent/CN116843933B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6687386B1 (en) * | 1999-06-15 | 2004-02-03 | Hitachi Denshi Kabushiki Kaisha | Object tracking method and object tracking apparatus |
| CN108009551A (zh) * | 2017-11-21 | 2018-05-08 | 武汉中元华电软件有限公司 | 适用于电力作业机器人的电力刀闸分合位状态识别方法 |
| CN113298036A (zh) * | 2021-06-17 | 2021-08-24 | 浙江大学 | 一种无监督视频目标分割的方法 |
| CN116543188A (zh) * | 2023-07-06 | 2023-08-04 | 深圳市睿达科技有限公司 | 一种基于灰度匹配的机器视觉匹配方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度特征的稀疏表示目标跟踪算法;徐龙香;李康;徐婷婷;程中建;袁晓旭;;物联网技术(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116843933A (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8811744B2 (en) | Method for determining frontal face pose | |
| US5077805A (en) | Hybrid feature-based and template matching optical character recognition system | |
| CN105046271B (zh) | 基于模板匹配的melf元件定位与检测方法 | |
| US20190370943A1 (en) | Image correction method and device | |
| US8422759B2 (en) | Image processing method and image processing device | |
| JP4521235B2 (ja) | 撮影画像の変化抽出装置及び方法 | |
| JP2002516440A (ja) | 画像認識および相関システム | |
| CN110111387B (zh) | 一种基于表盘特征的指针表定位及读数方法 | |
| JPH0471079A (ja) | 画像の位置合わせ方法 | |
| CN111967337A (zh) | 一种基于深度学习和无人机影像的管道线变化检测方法 | |
| CN110569845A (zh) | 一种试卷图像的校正方法及相关装置 | |
| CN112329880A (zh) | 一种基于相似性度量和几何特征的模板快速匹配方法 | |
| CN111149101B (zh) | 一种目标图案查找方法及计算机可读存储介质 | |
| CN111192324B (zh) | 线段交点位置的确定方法、装置及可读存储介质 | |
| CN104966299B (zh) | 一种基于径向环形直方图的图像定位匹配方法 | |
| Kruger et al. | In-factory calibration of multiocular camera systems | |
| CN116843933B (zh) | 图像模板匹配优化方法、装置及电子设备 | |
| CN113393447B (zh) | 基于深度学习的针尖正位度检测方法及系统 | |
| KR20050063991A (ko) | 영상 피라미드를 이용한 영상정합 처리방법 및 장치 | |
| CN117496401A (zh) | 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法 | |
| JP2002288634A (ja) | 部品位置検出方法及び装置 | |
| JP6504682B2 (ja) | 部品種類自動判別方法及び部品種類自動判別システム並びに画像処理用部品データ作成方法及び画像処理用部品データ作成システム | |
| CN111598177A (zh) | 面向低重叠图像匹配的自适应最大滑动窗口匹配方法 | |
| JP2008116207A (ja) | 画像計測装置、画像計測方法及びプログラム | |
| CN110660092A (zh) | 一种基于Log-Polar变换的图像快速匹配算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |