CN116863176B - 一种数字智能制造用图像模板匹配方法 - Google Patents

一种数字智能制造用图像模板匹配方法 Download PDF

Info

Publication number
CN116863176B
CN116863176B CN202311127975.6A CN202311127975A CN116863176B CN 116863176 B CN116863176 B CN 116863176B CN 202311127975 A CN202311127975 A CN 202311127975A CN 116863176 B CN116863176 B CN 116863176B
Authority
CN
China
Prior art keywords
layer
image
matching
pyramid
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311127975.6A
Other languages
English (en)
Other versions
CN116863176A (zh
Inventor
李哲诚
徐凌霄
沈阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Jushi Xinghua Intelligent Equipment Co ltd
Original Assignee
Suzhou Jushi Xinghua Intelligent Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Jushi Xinghua Intelligent Equipment Co ltd filed Critical Suzhou Jushi Xinghua Intelligent Equipment Co ltd
Priority to CN202311127975.6A priority Critical patent/CN116863176B/zh
Publication of CN116863176A publication Critical patent/CN116863176A/zh
Application granted granted Critical
Publication of CN116863176B publication Critical patent/CN116863176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种数字智能制造用图像模板匹配方法，涉及图像数据处理的技术领域，包括对待匹配图像和模板图像都进行多次降采样，生成图像金字塔；对顶层进行完整的模板匹配，将得到的符合匹配分数的区域经扩大后作为下一层的搜索掩膜；下降一层,重复上述步骤,直到到达位于下层的第B层,对上层得到的符合匹配分数的区域求局部最大值坐标，将坐标值映射到下一层，作为下一层的搜索区域；依次计算每一个坐标和其后所有坐标是否同时在临近范围内及角度内，若是则将分数较小的数据删除；反复执行以上操作直到剩下的数据已经无需删除操作，剩下的数据就是模板匹配的结果。本方法在不误判不漏判的前提下，降低了模板匹配耗时。

Description

一种数字智能制造用图像模板匹配方法
技术领域
本发明主要涉及图像处理技术领域，具体为一种数字智能制造用图像模板匹配方法。
背景技术
在数字智能辅助加工制造中，尤其针对生产线上的产品数量巨大的，要求图像分辨率高，匹配精度要求高，并且成像环境复杂，因此图像数据处理的速度和稳定性非常重要；图像数据处理中模板匹配算法是机器视觉领域中的一种重要算法，它的主要作用是在图像中寻找一个特定的模板，从而实现图像中物体的检测、定位和识别等应用。在实际应用中，模板匹配算法经常被作为其他视觉处理算法的前置条件。目前国内制造业领域中，快速稳定的模板匹配算法目前还存在着依赖国外商业机器视觉软件的局面，如德国MVT公司的机器视觉处理软件Halcon和美国康耐视(Cognex)公司的机器视觉处理软件VisionPro中的patmax系列算法。模板匹配算法被广泛应用于产品的质量检测、精度测量、自动化控制等领域。
目前模板匹配算法有很多种实现方式，其中比较常见的包括基于灰度和基于边缘的方式，基于灰度的模板匹配方式基本思想是计算模板和待匹配图像之间的灰度差异，以确定它们的相似度。常用的算法包括相关性匹配、归一化相关性匹配、相位相关性匹配等。其中，相关性匹配是最基本的算法，它适用于灰度值差异较小的情况；归一化相关性匹配则可以在灰度值差异较大的情况下提高匹配精度；相位相关性匹配则通过傅里叶变换等方式对灰度信息进行处理，提高匹配效果。经工业环境中实测，在模板图像较小和无需旋转的场景下，基于灰度的模板匹配算法具有速度高的优点；基于边缘特征的图像模板匹配算法是一种常用的模板匹配算法。与基于灰度的算法不同，该算法通过检测图像中的边缘特征来进行匹配。这种方法可以更好地抵抗图像中的噪声和光照变化，并且对旋转和缩放具有较好的鲁棒性。
使用图像金字塔可以有效地提高匹配的速度，但同时也会降低匹配的精度。因此，需要根据实际情况选择适当的图像金字塔层数，以达到速度和精度的平衡。此外，还可以结合其他优化方法，如并行计算等，来进一步提高模板匹配算法的效率和精度。使用外国商业机器视觉软件的过程中，发现在背景干扰严重的情况下，漏判的情况很常见，这对于使用模板匹配进行物料计数的使用场景下是严重的错误问题的。经过测试发现由于图像金字塔上层图像较为模糊，得到的匹配结果不确定性较大，在将上一层的局部最优匹配坐标传递给下一层时存在误匹配的风险；综上所述，现有的机器视觉领域中的模板匹配算法在一些应用场景下存在速度慢和抗干扰能力差的缺点。
发明内容
基于此，本发明的目的是提供一种数字智能制造用图像模板匹配方法，以解决上述背景技术中提出的技术问题。
为实现上述目的，本发明提供如下技术方案：
一种数字智能制造用图像模板匹配方法，所述图像模板匹配加速方法包括以下步骤：
S1、采样生成：对待匹配图像和模板图像都进行多次降采样，生成图像金字塔；
S2、图像结构：将图像金字塔分为上层和下层，上层总共A层,下层总共B层，顶层为第A+B层；
S3、样本匹配：对第A+B层进行完整的模板匹配，将得到的符合匹配分数的区域经扩大后作为下一层的搜索掩膜；
S4、结果映射：下降一层,重复S3,直到到达位于下层的第B层,对上层得到的符合匹配分数的区域求局部最大值坐标，将坐标值映射到下一层，作为下一层的搜索区域；
S5、获得数据：下降一层,重复S4,直到到达第1层，对需要搜索的角度范围重复S3,并在第1层收集所有满足匹配分数的坐标，角度以及匹配分数值；
S6、数据筛除：依次计算每一个坐标和其后所有坐标是否同时在临近范围内和临近角度内，若是则将分数较小的数据删除；
S7、结果确定：反复执行以上操作直到剩下的数据已经无需删除操作，剩下的数据就是模板匹配的结果，包含坐标、角度以及匹配得分。
优选的，所述S1、采样生成，包括以下子步骤：
S11、获取待匹配图像和模板图像，假如图像不是灰度图则将图像都转换成灰度图；
S12、生成层数相同的待匹配图像金字塔和模板图像金字塔，具体层数与实际图像大小和成像质量，以及模板的结构精细成都相关，设置层数为3~6。
优选的，所述S2、图像结构中将金字塔定义为金字塔上层和金字塔下层，金字塔最下方1~3层定义为金字塔下层，其余定义为金字塔上层。
优选的，所述S3、样本匹配包括以下子步骤：
S31、设定多线程操作数量O，将多角度搜索的任务拆分成每段相等角度，总共O段的任务，将这些角度段分配在多核处理器上同时开始计算；
S32、设定匹配分数阈值设为S，则图像金字塔每层的匹配分数应该小于等于其下一层；
S33、设定当前搜索角度N，从金字塔的最高层开始进行一次完整的模板匹配。
优选的，所述S4、结果映射具体为模板匹配后将得到一张尺寸等于匹配图像的得分图像，其中每个坐标的分数为0-1之间，代表着模板图像在待匹配图像此坐标位置的匹配相似度；用该层对应的分数阈值可以将匹配得分图二值化，设黑色区域为满足分数阈值的区域，白色区域为不太可能出现匹配目标的区域。
优选的，所述黑色区域进行形态学膨胀，并放大为金字塔下一层的尺寸并仅在这些区域上进行金字塔的下一层模板匹配。
优选的，所述S4、结果映射中若没有搜索到任何结果，就结束该角度下的搜索，重复步骤S3，直到遇到金字塔下层；
并且此时进行步骤S41：对上一层传递的满足分数的区域求局部最高点，进行模板匹配搜索时只在上一层中满足分数阈值的区域的最高点附近一段范围内进行搜索。
优选的，所述S5、获得数据具体为多次重复的S4步骤直到结束金字塔最底层的搜索，对模板匹配搜索满足分数阈值的区域求局部最高点，记录下坐标点和其对应的角度和匹配得分数据。
优选的，完成全部层数的搜索后，对搜索角度N+1°，返回S3重复步骤直到完成全部角度范围的搜索；其中不同的图像金字塔层级的角度不同，底层的角度步进为1°，每升高一层角度步进翻倍。
综上所述，本发明主要具有以下有益效果：
本发明中在图像金字塔上层和下层使用了不同的搜索结果传递方法，在图像较模糊的图像金字塔上层使用了传递完整的搜索区域信息的方法，解决了在不确定性较高区域进行局部最优值计算得到的坐标点集合难以在尽可能少覆盖不必要搜索区域的情况下覆盖全部可能区域的问题。
当符合条件的区域为长条形时，使用传统的计算局部得分最高的方法会将这个长条形区域简化为一个坐标，金字塔下层搜索时对这个坐标附近一定范围内进行搜索；当搜索范围设定较小时则无法完整覆盖之前符合得分的区域，当搜索范围设定较大时则会使得需要搜索区域与总搜索区域的比值过低从而降低搜索效率；其中因为在图像金字塔上层的图像尺寸较小，所以传递完整的下一层搜索区域图像对搜索时间的增加影响不明显。经测试在背景干扰大的情况下相比国外先进机器视觉软件中的模板匹配算法漏判更少，因此更适合用于物料计数等使用场景。
在图像尺寸较大的图像金字塔下层使用了计算局部最大值的方法，因为此时搜索结果的不确定性已经较低，金字塔上下层之间直接传递结果的坐标，和全部使用传递完整搜索区域的图像金字塔方法相比，避免了不必要的搜索速度增加；经测试在高于2000万像素的实际工业项目中模板匹配耗时降低为全部传递完整搜索区域方法的十分之一以下，耗时是国外先进机器视觉软件中的模板匹配算法的2倍之内；且在某高背景干扰的工业实际项目图片上，在无误判且无漏判的前提下，国外竞品的最少耗时约为使用本方法软件的2倍左右。
附图说明
图1为本发明的图像模板匹配加速的方法流程图；
图2为本发明的图像金字塔每层匹配结果的示意图；
图3为本发明的图像金字塔顶层进行模板搜索得到的分数阈值的区域的局部放大图像；
图4为本发明的性能测试的机器视觉项目图像。
附图说明：1、第一层；2、第二层；3、第三层；4、第四层。
实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例
如图1、2所示，一种数字智能制造用图像模板匹配方法，其特征在于，所述图像模板匹配加速方法包括以下步骤：
S1、采样生成：对待匹配图像和模板图像都进行多次降采样，生成图像金字塔；
S1、采样生成，包括以下子步骤：
S11、获取待匹配图像和模板图像，假如图像不是灰度图则将图像都转换成灰度图；
S12、生成层数相同的待匹配图像金字塔和模板图像金字塔，具体层数与实际图像大小和成像质量，以及模板的结构精细成都相关，设置层数为3~6；
S2、图像结构：将图像金字塔分为上层和下层，上层总共A层,下层总共B层，顶层为第A+B层；
S2、图像结构中将金字塔定义为金字塔上层和金字塔下层，金字塔最下方1~3层定义为金字塔下层，其余定义为金字塔上层。
需要说明的是，在本实施例中，获取待匹配图像和模板图像，假如图像不是灰度图则将图像都转换成灰度图，生成层数相同的待匹配图像金字塔和模板图像金字塔，具体层数与实际图像大小和成像质量；获取待匹配图像和模板图像，假如图像不是灰度图则将图像都转换成灰度图；生成层数相同的待匹配图像金字塔和模板图像金字塔，具体层数与实际图像大小和成像质量，如总层数为4层的图像金字塔，第一层1，第二层2为金字塔下层，第三层3第四层4为金字塔上层，其中第一层1为原始图像。
如图1、2、3所示，S3、样本匹配：对第A+B层进行完整的模板匹配，将得到的符合匹配分数的区域经扩大后作为下一层的搜索掩膜；
S3、样本匹配包括以下子步骤：
S31、设定多线程操作数量O，将多角度搜索的任务拆分成每段相等角度，总共O段的任务，将这些角度段分配在多核处理器上同时开始计算；
S32、设定匹配分数阈值设为S，则图像金字塔每层的匹配分数应该小于等于其下一层；
S33、设定当前搜索角度N，从金字塔的最高层开始进行一次完整的模板匹配；
S4、结果映射：下降一层,重复S3,直到到达位于下层的第B层,对上层得到的符合匹配分数的区域求局部最大值坐标，将坐标值映射到下一层，作为下一层的搜索区域；
S4、结果映射具体为模板匹配后将得到一张尺寸等于匹配图像的得分图像，其中每个坐标的分数为0-1之间，代表着模板图像在待匹配图像此坐标位置的匹配相似度；用该层对应的分数阈值可以将匹配得分图二值化，设黑色区域为满足分数阈值的区域，白色区域为不太可能出现匹配目标的区域；
黑色区域进行形态学膨胀，并放大为金字塔下一层的尺寸并仅在这些区域上进行金字塔的下一层模板匹配；
S4、结果映射中若没有搜索到任何结果，就结束该角度下的搜索，重复步骤S3，直到遇到金字塔下层；
并且此时进行步骤S41：对上一层传递的满足分数的区域求局部最高点，进行模板匹配搜索时只在上一层中满足分数阈值的区域的最高点附近一段范围内进行搜索。
需要说明的是，在本实施例中，设定多线程操作数量O为8，将多角度搜索的任务拆分成每段相等角度，具体为0-45°、45-90°、90-135°、135-180°、180-225°、225-270°、270-315°、315-360°这八个角度段在多核处理器上同时开始计算以减少总共的搜索耗时；设定匹配分数阈值设为S=0.8，图像金字塔每层的匹配分数从上到下分别为0.7S，0.8S，0.8S，1S；设定角度搜索范围为0-360°，设定当前搜索角度为0°，从金字塔的最高层开始进行一次完整的模板匹配；
进一步的，假如设定的搜索角度范围小于分配的核心数，如0-5°，则仅有将任务拆分成0、1、2、3、4、5这六个角度并将此时的多线程操作数量O临时修改为6。
对匹配后满足该层分数阈值的区域使用使用2x2卷积核进行形态学膨胀并放大为金字塔下一层的尺寸并仅在这些区域上进行金字塔的下一层模板匹配；其中第四层4为对金字塔的第四层4进行完整模板匹配得到的符合分数阈值的区域，对得到的区域在第三层3进行搜索，从而得到下一层的搜索区域图；假如某一层没有搜索到任何结果，则结束该角度下的搜索。
如图1、2、3所示，S5、获得数据：下降一层,重复S4,直到到达第1层，对需要搜索的角度范围重复S3,并在第1层收集所有满足匹配分数的坐标，角度以及匹配分数值；
S5、获得数据具体为多次重复的S4步骤直到结束金字塔最底层的搜索，对模板匹配搜索满足分数阈值的区域求局部最高点，记录下坐标点和其对应的角度和匹配得分数据；
完成全部层数的搜索后，对搜索角度N+1°，返回S3重复步骤直到完成全部角度范围的搜索；其中不同的图像金字塔层级的角度不同，底层的角度步进为1°，每升高一层角度步进翻倍；
S6、数据筛除：依次计算每一个坐标和其后所有坐标是否同时在临近范围内和临近角度内，若是则将分数较小的数据删除；
S7、结果确定：反复执行以上操作直到剩下的数据已经无需删除操作，剩下的数据就是模板匹配的结果，包含坐标、角度以及匹配得分。
需要说明的是，在本实施例中，重复S3以及S4，直到结束金字塔最底层的第四层的搜索，对模板匹配搜索满足分数阈值的区域求局部最高点，记录下坐标点和其对应的角度和匹配得分；
依次计算每一个坐标和其后所有坐标是否同时在临近范围内和临近角度内，若是则将分数较小的数据删除，例如坐标距离10像素之内，且角度相差5°之内；反复执行以上操作直到剩下的数据已经无需删除操作，剩下的数据就是模板匹配的最终结果，包含坐标、角度以及匹配得分。
本发明的工作原理为：
本发明中，选择机器视觉工业项目中的高噪音案例进行对比测试，该待匹配图像尺寸为5472*3648像素，测试图像如图4所示，模板尺寸为288*96，搜索方式为0-360°无缩放，总共有26个有效目标（物料反面与正面很像但不一样，需要仔细区分），测试设备为运行Windows11操作系统的英特尔i7-1280P基准速度1.8GHz与16G内存笔记本；
首先获取待匹配图像和模板图像，假如图像不是灰度图则将图像都转换成灰度图；生成层数相同的待匹配图像金字塔和模板图像金字塔，具体层数与实际图像大小和成像质量，以及模板的结构精细成都相关，设置层数为3~6，默认值为4；
获取待匹配图像和模板图像，假如图像不是灰度图则将图像都转换成灰度图；生成层数相同的待匹配图像金字塔和模板图像金字塔，具体层数与实际图像大小和成像质量，例如总层数为4层的图像金字塔，第一层1、第二层2为金字塔下层，第三层3、第四层4为金字塔上层，其中第一层1为原始图像；
随后对待匹配图像的图像金字塔和模板图像的图像金字塔中的每一张图片都使用索贝尔(Sobel)边缘检测算法提取边缘；将梯度差值30以下的区域赋值为0以降低背景噪音的干扰，根据索贝尔(Sobel)边缘检测算法Gx和Gy两个方向上的灰度变化梯度值可以合成每个像素处的灰度变化梯度方向矢量，对模板和待匹配图像的边缘上的某个点计算向量的点积可以得到两个向量夹角θ的cosθ值；当两个向量方向完全相同时值为1，当两个向量相互垂直时值为0，通过计算所有点对之间cosθ值的平均数，可以得到模板图像在待匹配图像某处的匹配程度，对于每一个待匹配的坐标位置，需要对模板图像内的所有像素点和该处的待匹配图像进行比较，计算它们之间的相似度；采用贪心算法可以减少计算时间，当某处的匹配还未结束但平均匹配得分小于设定的贪婪阈值时则提前终止该处的匹配任务从而进行之后的匹配任务；
设定多线程操作数量O为8，将多角度搜索的任务拆分成每段相等角度，具体为0-45°、45-90°、90-135°、135-180°、180-225°、225-270°、270-315°、315-360°这八个角度段在多核处理器上同时开始计算以减少总共的搜索耗时；其中需要进一步说明的是假如设定的搜索角度范围小于分配的核心数，如0-5°，则仅有将任务拆分成0、1、2、3、4、5这六个角度并将此时的多线程操作数量O临时修改为6；
设定匹配分数阈值设为S=0.8，图像金字塔每层的匹配分数从上到下分别为0.7S，0.8S，0.8S，1S；
设定角度搜索范围为0-360°，设定当前搜索角度为0°，从金字塔的最高层开始进行一次完整的模板匹配；
对匹配后满足该层分数阈值的区域使用使用2x2卷积核进行形态学膨胀并放大为金字塔下一层的尺寸并仅在这些区域上进行金字塔的下一层模板匹配；其中第四层4为对金字塔的第四层4进行完整模板匹配得到的符合分数阈值的区域，对得到的区域在第三层3进行搜索，从而得到下一层的搜索区域图；假如某一层没有搜索到任何结果，则结束该角度下的搜索；
重复上述步骤，直到遇到位于金字塔下层的第三层3，此时对上一层传递的满足分数的区域求局部最高点，进行模板匹配搜索时只在上一层中满足分数阈值的区域的最高点附近5x5矩阵范围内进行搜索；
重复上述步骤，直到结束金字塔最底层的第四层4的搜索，对模板匹配搜索满足分数阈值的区域求局部最高点，记录下坐标点和其对应的角度和匹配得分；
一次角度搜索完成后，搜索角度步进一次，开始步骤3重复，直到搜索完全部角度，不同的图像金字塔层级的角度不同，底层的角度步进为1°，每升高一层角度步进翻倍；
最后依次计算每一个坐标和其后所有坐标是否同时在临近范围内和临近角度内，若是则将分数较小的数据删除，例如：坐标距离10像素之内，且角度相差5°之内；反复执行以上操作直到剩下的数据已经无需删除操作，剩下的数据就是模板匹配的最终结果，包含坐标、角度以及匹配得分；
得到的边缘像素级坐标和整数表示的角度可能不够精确，需要进一步计算出亚像素级坐标和小数表示的角度；使用二分法对得到的整数级角度附近正负2°范围内搜索，迭代多次找到使得匹配得分最大的精确角度，使用二维多项式拟合算法Facet可以将3x3范围内的9个灰度值拟合成灰度分布曲面函数，从而得到二维图像灰度梯度变化最快的边缘点的亚像素坐标，由此可以计算出像素级轮廓和拟合出的亚像素级轮廓之间的偏移量，此偏移量可以将原本得到的像素级坐标修正为亚像素级坐标；交替执行两遍亚角度和亚像素搜索来进一步保证精度，将上一轮的亚角度搜索得到角度代入亚像素搜索中，并将亚像素搜索得到的坐标代入下一轮的亚角度搜索中；
其中如图3所述中的异形区域为图像金字塔顶层时满足匹配阈值的区域的局部放大图像，图片中右侧竖直的条状区域使用传统的计算局部最大值的方法很难覆盖，当使用较大的最大值周边搜索范围时又会使得图片右边的点状区域覆盖范围过大，使得需要搜索区域与总搜索区域的比值过低从而降低搜索效率，因此在图像金字塔上层使用基于图像的传递搜索区域方法可以在付出较少计算量代价的情况下尽可能保留可能的搜索区域；
将本发明的图像模板匹配加速的方法与VisionPro中的模板匹配算法进行结果对比，通过逐步降低(步进为0.01)两个程序的匹配接受阈值直到刚好能无漏判无误判时，VisionPro耗时2644毫秒而使用本发明方法的程序耗时1302毫秒。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (7)

1.一种数字智能制造用图像模板匹配方法，其特征在于，所述图像模板匹配方法包括以下步骤：
S1、采样生成：对待匹配图像和模板图像都进行多次降采样，生成图像金字塔；
S2、图像结构：将图像金字塔分为上层和下层，上层总共A层,下层总共B层，顶层为第A+B层；
S3、样本匹配：对第A+B层进行完整的模板匹配，将得到的符合匹配分数的区域经扩大后作为下一层的搜索掩膜；
S4、结果映射：下降一层,重复S3,直到到达位于下层的第B层,对上层得到的符合匹配分数的区域求局部最大值坐标，将坐标值映射到下一层，作为下一层的搜索区域；
S5、获得数据：下降一层,重复S4,直到到达第1层，对需要搜索的角度范围重复S3,并在第1层收集所有满足匹配分数的坐标，角度以及匹配分数值；
S6、数据筛除：依次计算每一个坐标和其后所有坐标是否同时在临近范围内和临近角度内，若是则将分数较小的数据删除；
S7、结果确定：反复执行S6步骤的重复筛选操作直到剩下的数据已经无需删除操作，剩下的数据就是模板匹配的结果，包含坐标、角度以及匹配得分；
所述S3、样本匹配包括以下子步骤：
S31、设定多线程操作数量O，将多角度搜索的任务拆分成每段相等角度，总共O段的任务，将这些角度段分配在多核处理器上同时开始计算；
S32、设定匹配分数阈值设为S，则图像金字塔每层的匹配分数应该小于等于其下一层；
S33、设定当前搜索角度N，从金字塔的最高层开始进行一次完整的模板匹配；
所述S4、结果映射具体为模板匹配后将得到一张尺寸等于匹配图像的得分图像，其中每个坐标的分数为0-1之间，代表着模板图像在待匹配图像此坐标位置的匹配相似度；用金字塔图像上层中任一正在执行匹配操作的任一一层对应的分数阈值可以将匹配得分图二值化，设黑色区域为满足分数阈值的区域，白色区域为不太可能出现匹配目标的区域。
2.根据权利要求1所述的一种数字智能制造用图像模板匹配方法，其特征在于，所述S1、采样生成，包括以下子步骤：
S11、获取待匹配图像和模板图像，假如图像不是灰度图则将图像都转换成灰度图；
S12、生成层数相同的待匹配图像金字塔和模板图像金字塔，具体层数与实际图像大小和成像质量，以及模板的结构精细成都相关，设置层数为3~6。
3.根据权利要求1所述的一种数字智能制造用图像模板匹配方法，其特征在于，所述S2、图像结构中将金字塔定义为金字塔上层和金字塔下层，金字塔最下方1~3层定义为金字塔下层，其余定义为金字塔上层。
4.根据权利要求1所述的一种数字智能制造用图像模板匹配方法，其特征在于，所述黑色区域进行形态学膨胀，并放大为金字塔下一层的尺寸并仅在这些区域上进行金字塔的下一层模板匹配。
5.根据权利要求1所述的一种数字智能制造用图像模板匹配方法，其特征在于，所述S4、结果映射中若没有搜索到任何结果，就结束该角度下的搜索，重复步骤S3，直到遇到金字塔下层；
并且此时进行步骤S41：对上一层传递的满足分数的区域求局部最高点，进行模板匹配搜索时只在上一层中满足分数阈值的区域的最高点附近一段范围内进行搜索。
6.根据权利要求1所述的一种数字智能制造用图像模板匹配方法，其特征在于，所述S5、获得数据具体为多次重复的S4步骤直到结束金字塔最底层的搜索，对模板匹配搜索满足分数阈值的区域求局部最高点，记录下坐标点和其对应的角度和匹配得分数据。
7.根据权利要求6所述的一种数字智能制造用图像模板匹配方法，其特征在于，完成全部层数的搜索后，对搜索角度N+1°，返回S3重复步骤直到完成全部角度范围的搜索；其中不同的图像金字塔层级的角度不同，底层的角度步进为1°，每升高一层角度步进翻倍。
CN202311127975.6A 2023-09-04 2023-09-04 一种数字智能制造用图像模板匹配方法 Active CN116863176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311127975.6A CN116863176B (zh) 2023-09-04 2023-09-04 一种数字智能制造用图像模板匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311127975.6A CN116863176B (zh) 2023-09-04 2023-09-04 一种数字智能制造用图像模板匹配方法

Publications (2)

Publication Number Publication Date
CN116863176A CN116863176A (zh) 2023-10-10
CN116863176B true CN116863176B (zh) 2023-12-05

Family

ID=88234495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311127975.6A Active CN116863176B (zh) 2023-09-04 2023-09-04 一种数字智能制造用图像模板匹配方法

Country Status (1)

Country Link
CN (1) CN116863176B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136160A (zh) * 2019-05-13 2019-08-16 南京大学 一种基于圆投影的快速图像匹配方法
CN110197232A (zh) * 2019-06-05 2019-09-03 中科新松有限公司 基于边缘方向和梯度特征的图像匹配方法
CN112150541A (zh) * 2020-09-10 2020-12-29 中国石油大学(华东) 一种多led晶片定位算法
CN116543188A (zh) * 2023-07-06 2023-08-04 深圳市睿达科技有限公司 一种基于灰度匹配的机器视觉匹配方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136160A (zh) * 2019-05-13 2019-08-16 南京大学 一种基于圆投影的快速图像匹配方法
CN110197232A (zh) * 2019-06-05 2019-09-03 中科新松有限公司 基于边缘方向和梯度特征的图像匹配方法
CN112150541A (zh) * 2020-09-10 2020-12-29 中国石油大学(华东) 一种多led晶片定位算法
CN116543188A (zh) * 2023-07-06 2023-08-04 深圳市睿达科技有限公司 一种基于灰度匹配的机器视觉匹配方法及系统

Also Published As

Publication number Publication date
CN116863176A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN105701766B (zh) 图像匹配方法和装置
WO2016062159A1 (zh) 图像匹配方法及手机应用测试平台
US7027651B2 (en) Geometric hashing method for model-based recognition of an object
CN104200461B (zh) 基于互信息图像选块和sift特征的遥感图像配准方法
CN103136525B (zh) 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN105095822B (zh) 一种汉信码特征图形检测方法及系统
CN103295239A (zh) 一种基于平面基准影像的激光点云数据的自动配准方法
CN111444964B (zh) 一种基于自适应roi划分的多目标快速图像匹配方法
CN109508709B (zh) 一种基于机器视觉的单指针仪表读数方法
CN111476246B (zh) 应用于复杂环境下指针仪表鲁棒高效智读方法
CN114862855B (zh) 基于模板匹配的纺织品缺陷检测方法及系统
CN109101981A (zh) 一种街景场景下基于全局图像条纹码的回环检测方法
CN110852207A (zh) 基于面向对象影像分类技术的蓝色屋顶建筑物提取方法
CN112329880A (zh) 一种基于相似性度量和几何特征的模板快速匹配方法
Wei et al. A concentric loop convolutional neural network for manual delineation-level building boundary segmentation from remote-sensing images
CN114549400A (zh) 一种图像识别方法及装置
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN116863176B (zh) 一种数字智能制造用图像模板匹配方法
CN114742849B (zh) 一种基于图像增强的水准仪距离测量方法
Zhang et al. A YOLOv3-Based Industrial Instrument Classification and Reading Recognition Method
JPH09245168A (ja) 画像認識装置
CN113807238A (zh) 一种河道水面漂浮物面积的视觉测量方法
CN105513044B (zh) 一种基于统计度量直线特征的数字直线段识别方法
Rao et al. A real-time auto-recognition method for pointer-meter under uneven illumination
CN113139400B (zh) 一种qr码定位方法、装置及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant