CN114511630A - 一种图像定位方法、装置、电子设备及存储介质 - Google Patents

一种图像定位方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114511630A
CN114511630A CN202111650898.3A CN202111650898A CN114511630A CN 114511630 A CN114511630 A CN 114511630A CN 202111650898 A CN202111650898 A CN 202111650898A CN 114511630 A CN114511630 A CN 114511630A
Authority
CN
China
Prior art keywords
image
pyramid
component
determining
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111650898.3A
Other languages
English (en)
Inventor
代华锋
罗文君
陈陶根
汪二虎
赵兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Lianbao Information Technology Co Ltd
Original Assignee
Hefei Lianbao Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Lianbao Information Technology Co Ltd filed Critical Hefei Lianbao Information Technology Co Ltd
Priority to CN202111650898.3A priority Critical patent/CN114511630A/zh
Publication of CN114511630A publication Critical patent/CN114511630A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种图像定位方法，包括：获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像；对所述第一金字塔图像中每一层图像进行变换，在变换后的所述第一金字塔图像中第一形状的部件与所述待定位图像金字塔相应层的第一形状的部件之间的距离小于第一阈值的情况下，确定所述第一金字塔图像所对应的变换系数为目标系数；基于所述目标系数和所述模板图像上第一形状的部件与第二部件的相对位置信息，确定所述待定位图像上第二部件的位置信息；本申请还提供一种图像定位装置、电子设备和存储介质，通过本申请提供的图像定位方法、装置、电子设备和存储介质，可以提升图像定位的精度。

Description

一种图像定位方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像定位方法、装置、电子设备及存储介质。
背景技术
印刷电路板(Printed circuit boards，PCB)的外观缺陷检测的过程中，需要对PCB上的各个部件进行精准定位；如何提升定位精度是需要解决的技术问题。
发明内容
本申请提供一种图像定位方法、装置、电子设备及存储介质，以至少解决现有技术中存在的以上技术问题。
本申请第一方面提供一种图像定位方法，包括：
获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像；
对所述第一金字塔图像中每一层图像进行变换，在变换后的所述第一金字塔图像中第一形状的部件与所述待定位图像金字塔相应层的第一形状的部件之间的距离小于第一阈值的情况下，确定所述第一金字塔图像所对应的变换系数为目标系数；
基于所述目标系数和所述模板图像上第一形状的部件与第二部件的相对位置信息，确定所述待定位图像上第二部件的位置信息。
上述方案中，所述获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像之前，所述方法还包括：
确定所述模板图像上所述第一形状的部件与所述第二部件的相对位置信息。
上述方案中，所述确定所述模板图像上所述第一形状的部件与所述第二部件的相对位置信息，包括：
确定所述模板图像上所述第一形状的部件的圆心坐标和直径；
确定所述模板图像上所述第二部件的坐标信息；
基于所述模板图像上所述第一形状的部件的圆心坐标和直径，以及所述模板图像上所述第二部件的坐标信息，确认所述模板图像上所述第一形状的部件与所述第二部件的相对位置信息。
上述方案中，所述获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像之前，所述方法还包括：
确定所述待定位图像上第一形状的部件的坐标集合。
上述方案中，所述确定所述待定位图像上第一形状的部件的坐标集合包括：
确定所述待定位图像上符合第一条件的至少一个圆形的圆心的坐标信息；
对所述待定位图像上符合所述第一条件的全部圆形进行聚类，得到聚类结果；
确定所述聚类结果中与所述模板图像上第一形状的部件的直径之间的差值小于第二阈值的聚类结果所对应的坐标信息，为所述待定位图像上第一形状的部件的坐标集合。
上述方案中，所对所述第一金字塔图像中每一层图像进行变换之前，所述方法还包括：
确定用于对所述第一金字塔图像中每一层图像进行变换的至少一组系数；其中每组所述系数包括平移系数、缩放系数和旋转角度系数。
上述方案中，所述确定用于对所述第一金字塔图像中每一层图像进行变换的至少一组系数，包括：
基于平移量阈值范围和第一步长，确定所述每一组系数中的所述平移系数；
基于缩放量阈值范围和第二步长，确定所述每一组系数中的所述缩放系数；
基于旋转角度阈值范围和第三步长，确定所述每一组系数中的所述旋转角度系数。
上述方案中，所对所述第一金字塔图像中每一层图像进行变换，包括：
基于至少一组系数，依次对所述第一金字塔图像的最上层至所述第一金字塔图像的最下层进行变换；
其中，所述第一金字塔图像的层的序号不同，对应的系数不同。
上述方案中，所述基于所述目标系数和所述模板图像上第一形状的部件与第二部件的相对位置信息，确定所述待定位图像上第二部件的位置信息，包括：
基于所述模板图像上第一形状的部件与第二部件的相对位置信息和所述待定位图像上第一形状的部件的坐标集合，确定所述待定位图像上所述第二部件的坐标信息；
基于所述目标系数对所述待定位图像上所述第二部件的坐标信息进行变换，确认变换后的坐标信息为所述待定位图像上第二部件的位置信息。
本申请第二方面提供一种图像定位装置，包括：
获取单元，用于获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像；
处理单元，用于对所述第一金字塔图像中每一层图像进行变换，在变换后的所述第一金字塔图像中第一形状的部件与所述待定位图像金字塔相应层的第一形状的部件之间的距离小于第一阈值的情况下，确定所述第一金字塔图像所对应的变换系数为目标系数；
确定单元，用于基于所述目标系数和所述模板图像上第一形状的部件与第二部件的相对位置信息，确定所述待定位图像上第二部件的位置信息。
本申请第三方面提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述图像定位方法所述的方法步骤。
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述图像定位方法所述的方法步骤。
通过本申请提供的图像定位方法，获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像；对所述第一金字塔图像中每一层图像进行变换，在变换后的所述第一金字塔图像中第一形状的部件与所述待定位图像金字塔相应层的第一形状的部件之间的距离小于第一阈值的情况下，确定所述第一金字塔图像所对应的变换系数为目标系数；基于所述目标系数和所述模板图像上第一形状的部件与第二部件的相对位置信息，确定所述待定位图像上第二部件的位置信息，可以提升PCB的定位精度。
附图说明
图1示出了本申请实施例提供的图像定位方法的一种可选流程示意图；
图2示出了本申请实施例提供的图像定位方法的另一种可选流程示意图；
图3示出了本申请实施例提供的模板图像或待定位图像的示意图；
图4示出了第一金字塔的任一图层与第二金字塔相对应的图层的点图配准示意图；
图5示出了本申请实施例提供的图像定位装置的可选结构示意图；
图6示出了本申请实施例提供的电子设备的硬件组成结构示意图。
具体实施方式
为使本申请的目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，PCB的外观缺陷检测和功能测试任务的过程中，需要对PCB上的各个部件进行精确定位，定位精度、定位速度、建模便利程度是PCB部件定位的关键技术指标。
相关技术中，采用基于显著特征部件，对PCB的图像进行定位，例如记号点(MARK点)、显著的纹理特征等，通过特征部件的定位，计算出待检测PCB的全局位置。然而上述方案中，使用显著特征的定位部件实现PCB的图像进行定位的方案，需要在生产环境相似的图像采集条件下采集模板图像；通过手动框选的方式获得定位模板，建立模板的复杂性增加了检测设备的使用难度，对工人的操作技能要求较高；而且，某些PCB没有显著特征部件，很难进行特征部件选取，造成操作困难，特别地，特征部件选取不佳会导致定位失败。
基于此，本申请实施例提供一种使用点图进行匹配校准的图像定位技术，通过对PCB产品的模板图像与待检测PCB图像分别进行一系列图像处理步骤，获取模板点图和实物点图，提供了一种模板点图和实物点图之间点图距离的计算方法，使用图像金字塔检索最佳匹配参数，提高了匹配速度，从而快速准确地获取目标位置的图像定位。使用规范标记的设计数据(PCB产品的模板数据)作为图像模板，避免了实物建模占用生产时间、操作复杂等缺点。
图1示出了本申请实施例提供的图像定位方法的一种可选流程示意图，将根据各个步骤进行说明。
步骤S101，获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像。
在一些实施例中，图像定位装置获取模板图像，和/或基于工业相机获取待定位图像；其中所述模板图像和所述待定位图像对应的PCB的型号相同。所述装置获取模板图像对应的第一金字塔图像和所述待定位图像对应的第二金字塔图像；其中，所述第一金字塔图像和所述第二金字塔图像包括的图像数量相同，相对应的每一层的分辨率相同(例如第一金字塔中位于最上层的图像的分辨率与第二金字塔中位于最上层的分辨率相同)。
在一些实施例中，所述装置获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像之前，还可以确定所述模板图像上所述第一形状的部件与所述第二部件的相对位置信息。
具体实施时，所述装置确定所述模板图像上所述第一形状的部件的圆心坐标和直径；确定所述模板图像上所述第二部件的坐标信息；基于所述模板图像上所述第一形状的部件的圆心坐标和直径，以及所述模板图像上所述第二部件的坐标信息，确认所述模板图像上所述第一形状的部件与所述第二部件的相对位置信息。其中，所述第一形状可以是圆形；所述第一形状的部件可以为所述模板图像上的圆形部件；所述第二部件可以是与待定位图像上待定位部件所对应的部件。
在一些实施例中，所述装置获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像之前，还可以确定所述待定位图像上第一形状的部件的坐标集合。
具体实施时，所述装置确定所述待定位图像上符合第一条件的至少一个圆形的圆心的坐标信息；对所述待定位图像上符合所述第一条件的全部圆形进行聚类，得到聚类结果；确定所述聚类结果中与所述模板图像上第一形状的部件的直径之间的差值小于第二阈值的聚类结果所对应的坐标信息，为所述待定位图像上第一形状的部件的坐标集合。其中，所述第一条件包括圆形部件的半径与所述模板图像的圆形部件的半径之间的差值的绝对值在第一范围内。
步骤S102，对所述第一金字塔图像中每一层图像进行变换，在变换后的所述第一金字塔图像中第一形状的部件与所述待定位图像金字塔相应层的第一形状的部件之间的距离小于第一阈值的情况下，确定所述第一金字塔图像所对应的变换系数为目标系数。
在一些实施例中，所述装置对所述第一金字塔图像中每一层图像进行变换，在变换后的所述第一金字塔图像中第一形状的部件与所述待定位图像金字塔相应层的第一形状的部件之间的距离小于第一阈值的情况下，确定所述第一金字塔图像所对应的变换系数为目标系数。
在一些实施例中，所述装置确定用于对所述第一金字塔图像中每一层图像进行变换的至少一组系数；其中每组所述系数包括平移系数、缩放系数和旋转角度系数。
具体实施时，所述装置基于平移量阈值范围和第一步长，确定所述每一组系数中的所述平移系数；基于缩放量阈值范围和第二步长，确定所述每一组系数中的所述缩放系数；基于旋转角度阈值范围和第三步长，确定所述每一组系数中的所述旋转角度系数。
在一些实施例中，所述装置基于至少一组系数，依次对所述第一金字塔图像的最上层至所述第一金字塔图像的最下层进行变换；其中，所述第一金字塔图像的层的序号不同，对应的系数不同。
步骤S103，基于所述目标系数和所述模板图像上第一形状的部件与第二部件的相对位置信息，确定所述待定位图像上第二部件的位置信息。
在一些实施例中，所述装置基于所述模板图像上第一形状的部件与第二部件的相对位置信息和所述待定位图像上第一形状的部件的坐标集合，确定所述待定位图像上所述第二部件的坐标信息；基于所述目标系数对所述待定位图像上所述第二部件的坐标信息进行变换，确认变换后的坐标信息为所述待定位图像上第二部件的位置信息。
如此，通过本申请实施例提供的图像定位方法，所述装置获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像；对所述第一金字塔图像中每一层图像进行变换，在变换后的所述第一金字塔图像中第一形状的部件与所述待定位图像金字塔相应层的第一形状的部件之间的距离小于第一阈值的情况下，确定所述第一金字塔图像所对应的变换系数为目标系数；基于所述目标系数和所述模板图像上第一形状的部件与第二部件的相对位置信息，确定所述待定位图像上第二部件的位置信息。如此，基于第一形状的部件的圆心坐标进行定位配准，不需要添加额外标记信息的同时，特征稳定，定位精度高；使用图像金字塔检索目标系数，提升了定位速度；此外，本申请中的待定位图像可以随意摆放，不限制摆放位置和摆放角度，能够适应更多场景。
图2示出了本申请实施例提供的图像定位方法的另一种可选流程示意图，将根据各个步骤进行说明。
步骤S201，确定模板图像上第一形状的部件与第二部件的相对位置信息。
在一些实施例中，图像定位装置确定所述模板图像上所述第一形状的部件的圆心坐标和直径；确定所述模板图像上所述第二部件的坐标信息；基于所述模板图像上所述第一形状的部件的圆心坐标和直径，以及所述模板图像上所述第二部件的坐标信息，确认所述模板图像上所述第一形状的部件与所述第二部件的相对位置信息。其中，所述第一形状可以是圆形；所述第一形状的部件可以为所述模板图像上的圆形部件；所述第二部件可以是与待定位图像上待定位部件所对应的部件。
具体实施时，所述装置获取模板图像(可以是PCB模板的图像文件)，基于颜色检索的方式，获得所述模板图像中第一形状的部件的圆心坐标和直径；其中，所述第一形状的部件可以是圆形部件。其中，所述模板图像中第一形状的部件的圆心坐标的集合，表征所述模板图像中第一形状的部件的位置分布；可选的，将所述模板图像的第一形状的部件的圆心坐标的集合记为pts_temp。
或者，具体实施时，所述装置还可以基于颜色检索的方式获取所述模板图像上所述第二部件的坐标信息；将所述模板图像上所述第二部件的坐标信息的集合记为pts_t_roi。所述第二部件为待定位部件(目标部件)。
图3示出了本申请实施例提供的模板图像或待定位图像的示意图。图3中，第一形状的部件(图3中标示的圆形部件)的颜色与其他部件的颜色不同，相比形状区分等方式，可以更快地获取第一形状的部件的坐标信息。其中，所述坐标信息可以指工业相机所在的坐标系下的坐标信息。图3中，第二部件的颜色与其他部件的颜色不同，可以通过颜色检索的方式获取第二部件的坐标信息。
在一些可选实施例中，所述装置将pts_temp和pts_t_roi存储在XML文件中。
在一些可选实施例中，步骤S201可以在离线情况下执行。
步骤S202，确定所述待定位图像上第一形状的部件的坐标集合。
在一些实施例中，所述装置确定所述待定位图像上符合第一条件的至少一个圆形的圆心的坐标信息；对所述待定位图像上符合所述第一条件的全部圆形进行聚类，得到聚类结果；确定所述聚类结果中与所述模板图像上第一形状的部件的直径之间的差值小于第二阈值的聚类结果所对应的坐标信息，为所述待定位图像上第一形状的部件的坐标集合。其中，所述第一条件包括：与所述模板图像上第一形状的部件的半径之差小于第一半径阈值。
具体实施时，所述装置可以基于工业相机获取所述待定位PCB对应得到待定位图像；将所述待定位图像记为im_ori，基于霍夫圆检测算法，检测所述待定位图像中的圆形部件(第一形状的部件)，将与所述模板图像上第一形状的部件的半径之差小于第一半径阈值的第一形状的部件记为circle_all，所述待定位图像上的第一形状的部件的circle_all圆心坐标集合表征所述待定位图像上第一形状的部件的位置分布，记为coord_all。所述装置基于迭代自组织数据分析方法(ISODATA)对所述待定位图像上符合所述第一条件的全部圆形进行聚类，得到聚类结果cir_cluster。基于所述PCB模板的先验信息，如第一形状的部件的直径(像素直径)，从cir_cluster的每个簇中筛选出直径与所述先验信息最接近的至少一个第一形状的部件，确认所述待定位图像中，所述至少一个第一形状的部件的圆心坐标组成的集合为所述待定位图像中第一形状的部件的位置分布，记为coord_test。
步骤S203，获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像。
在一些实施例中，图像定位装置获取模板图像，和/或基于工业相机获取待定位图像；其中所述模板图像和所述待定位图像对应的PCB的型号相同。所述装置获取模板图像对应的第一金字塔图像和所述待定位图像对应的第二金字塔图像；其中，所述第一金字塔图像和所述第二金字塔图像包括的图像数量相同，相对应的每一层的分辨率相同(例如第一金字塔中位于最上层的图像的分辨率与第二金字塔中位于最上层的分辨率相同)。
具体实施时，确认金字塔图像的每一层的尺寸缩放系数为py_ration。其中，n为金字塔图像的层数；将所述模板图像的第一形状的部件的圆心坐标的集合pts_temp和所述待定位图像中第一形状的部件的位置分布(待定位图像的第一形状的部件的圆心坐标的集合)coord_test按照每一层的尺寸缩放py_ration进行缩放，分别得到所述模板图像对应的第一金字塔图像pts_pyn_temp和所述待定位图像对应的第二金字塔图像coord_pyn_test。
步骤S204，确定用于对所述第一金字塔图像中每一层图像进行变换的至少一组系数。
在一些实施例中，所述装置确定用于对所述第一金字塔图像中每一层图像进行变换的至少一组系数，其中，每组所述系数包括平移系数、缩放系数和旋转角度系数。
具体实施时，所述装置基于平移量阈值范围和第一步长，确定所述每一组系数中的所述平移系数；基于缩放量阈值范围和第二步长，确定所述每一组系数中的所述缩放系数；基于旋转角度阈值范围和第三步长，确定所述每一组系数中的所述旋转角度系数。
步骤S205，所述第一金字塔图像中每一层图像进行变换。
在一些实施例中，所述装置基于至少一组系数，依次对所述第一金字塔图像的最上层至所述第一金字塔图像的最下层进行变换；其中，所述第一金字塔图像的层的序号不同，对应的系数不同。
具体实施时，所述装置对所述第一金字塔图像pts_pyn_temp的每一层进行平移、缩放和旋转变换，变换后的模板图像的第一形状的部件的圆心坐标的集合记为pts_temp_pyn_transf。假设平移像素距离为(x_,y_)，缩放系数为ratio，旋转角度为angle；则转换后的坐标信息pts_temp_pyn_transf可以通过下式获得：
Figure BDA0003446896800000111
其中，pts_temp_pyn_transfi.x为第一金字塔图像的第i层经过变换后得到的x轴方向的分量；pts_temp_pyn_transfi.y为第一金字塔图像的第i层经过变换后得到的y轴方向的分量；pt_ori.x为平移量x_经ratio缩放后得到的值；pt_ori.y为平移量y_经ratio缩放后得到的值；即pt_ori为平移、缩放变换后的坐标系的原点，可以通过式(2)获得：
Figure BDA0003446896800000121
radius为经缩放变换后，第一形状的部件的圆心坐标与坐标系的原点pt_ori之间的距离；angle_0为缩放变换后，第一形状的部件的圆心坐标与坐标系的原点pt_ori之间的连线与x轴之间的夹角，可以通过式(3)获得：
Figure BDA0003446896800000122
其中，pt_tmp.x为模板图像上第一形状的部件的圆心的x轴坐标经平移、缩放后对应的坐标；pt_tmp.y为第一形状的部件的圆心的y轴坐标经平移、缩放后对应的坐标，可以通过式(4)获得：
Figure BDA0003446896800000123
其中，pts_pyn_tempi.x为模板图像上第一形状的部件的圆心的x轴坐标；pts_pyn_tempi.y为模板图像上第一形状的部件的圆心的y轴坐标；n为第一金字塔图像包括的图层数量，可以根据实际需求设置。
步骤S206，确定目标系数。
在一些是实施例中，所述装置对所述第一金字塔图像中每一层图像进行变换，在变换后的所述第一金字塔图像中第一形状的部件与所述待定位图像金字塔相应层的第一形状的部件之间的距离小于第一阈值的情况下，确定所述第一金字塔图像所对应的变换系数为目标系数。
具体实施时，所述装置可以计算所述第一金字塔图像中第一形状的部件变换后的坐标pts-temp_pyn_transf与待定位图像中第一形状的部件的坐标coord_pyn_test之间的平均距离，记为pts_dis_average；可以通过式(5)确定：
Figure BDA0003446896800000131
Figure BDA0003446896800000132
Figure BDA0003446896800000133
其中，m为可以参与平均距离计算的圆心坐标的数量；thod_dis为第一距离阈值；当经过变换的模板图像上第一形状的部件与待定位图像上第一形状的部件之间的距离大于所述第一距离阈值的情况下，不计入平均距离计算；避免离群点造成的干扰。x_tempi为经过变换的模板图像上第一形状的部件的x轴分量；y_tempi为经过变换的模板图像上第一形状的部件的y轴分量；x_testi为待定位图像上第一形状的部件的x轴分量；y_testi为待定位图像上第一形状的部件的y轴分量。
在一些实施例中，所述装置重复执行步骤S205至步骤S206，确定在变换后的所述第一金字塔图像中第一形状的部件与所述待定位图像金字塔相应层的第一形状的部件之间的距离小于第一阈值的情况下，确定所述第一金字塔图像所对应的变换系数为目标系数。确认最小距离为pts_dis_avg_min，m大于第二数量阈值thod_pt_num的情况下，目标系数对应的平移量为(x_min,y_min)，缩放系数为ration_min，旋转角度为angle_min。可选的，所述装置存储所述模板图像按照所述目标系数变换后，得到的模板点图pts_temp_transf与待定位图像对应的金字塔层的点图coord_test之间的对应关系，进而确定所述待定位图像上每一个第一形状的部件与所述模板图像上每一个第一形状的部件之间的对应关系(相对位置信息)，从而确定所述模板图像与所述待定位图像上每一个第一形状的部件之间的对应关系。
图4示出了第一金字塔的任一图层与第二金字塔相对应的图层的点图配准示意图。
如图4所示，环形为实物图(待定位图像)的圆形部件(第一形状的部件)；圆形为所述模板图像经过变换后，得到的圆形定位部件(第一形状的部件)；途中每一个环形旁的数字表征所述待定位图像的圆形部件与相对应的模板图像经过变换后的圆形部件之间的距离。
步骤S207，基于所述目标系数和所述模板图像上第一形状的部件与第二部件的相对位置信息，确定所述待定位图像上第二部件的位置信息。
在一些实施例中，所述装置基于所述模板图像上第一形状的部件与第二部件的相对位置信息和所述待定位图像上第一形状的部件的坐标集合，确定所述待定位图像上所述第二部件的坐标信息；基于所述目标系数对所述待定位图像上所述第二部件的坐标信息进行变换，确认变换后的坐标信息为所述待定位图像上第二部件的位置信息。
具体实施时，所述装置可以基于下式确定与模板图像中第二部件所对应的，所述待定位图像中的第二部件的坐标信息：
Figure BDA0003446896800000141
其中，pts_temp_transfi.x为所述待定位图像中第二部件的x轴方向的分量；pts_temp_transfi.y为所述待定位图像中第二部件的y轴方向的分量；pt_t_ori.x为平移量x_min经ratio_min缩放后得到的值；pt_t_ori.y为平移量y_min经ratio_min缩放后得到的值；即pt_t_ori为平移、缩放变换后的坐标系的原点，可以通过式(9)获得：
Figure BDA0003446896800000142
radius为经缩放变换后，待定位图像中第二部件的圆心坐标与坐标系的原点pt_t_ori之间的距离；angle_t为缩放变换后，待定位图像中第二部件的圆心坐标与坐标系的原点pt_t_ori之间的连线与x轴之间的夹角，可以通过式(10)获得：
Figure BDA0003446896800000151
其中，pt_t_tmp.x为模板图像上第二形状的部件的圆心的x轴坐标经平移、缩放后对应的坐标；pt_t_tmp.y为第二形状的部件的圆心的y轴坐标经平移、缩放后对应的坐标，可以通过式(4)获得：
Figure BDA0003446896800000152
如此，通过本申请实施例提供的图像定位方法，使用特定形状(圆形)的部件的圆心坐标组成的点图进行定位准配，图像特征稳定，定位精度高；使用规范标记的涉及数据作为模板图像，避免实物建模占用生产时间，造成操作复杂、特定部件选取不佳导致的定位失败等缺点；使用圆形部件作为定位特征部件，无需额外添加标记信息；使用图像金字塔检索目标参数(最佳匹配参数)，提升了定位速度；本申请实施例提供的图像定位方法，待定位图像可以随意摆放，不限制摆放的位置和角度，适用于更多场景。
图5示出了本申请实施例提供的图像定位装置的可选结构示意图，将根据各个部分进行说明。
在一些实施例中，图像定位装置300包括：获取单元301、处理单元302和确定单元303。
所述获取单元301，用于获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像；
所述处理单元302，用于对所述第一金字塔图像中每一层图像进行变换，在变换后的所述第一金字塔图像中第一形状的部件与所述待定位图像金字塔相应层的第一形状的部件之间的距离小于第一阈值的情况下，确定所述第一金字塔图像所对应的变换系数为目标系数；
所述确定单元303，用于基于所述目标系数和所述模板图像上第一形状的部件与第二部件的相对位置信息，确定所述待定位图像上第二部件的位置信息。
所述处理单元302，用于在获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像之前，确定所述模板图像上所述第一形状的部件与所述第二部件的相对位置信息。
所述处理单元302，具体用于确定所述模板图像上所述第一形状的部件的圆心坐标和直径；确定所述模板图像上所述第二部件的坐标信息；基于所述模板图像上所述第一形状的部件的圆心坐标和直径，以及所述模板图像上所述第二部件的坐标信息，确认所述模板图像上所述第一形状的部件与所述第二部件的相对位置信息。
所述处理单元302，用于在获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像之前，确定所述待定位图像上第一形状的部件的坐标集合。
所述确定单元303，具体用于确定所述待定位图像上符合第一条件的至少一个圆形的圆心的坐标信息；对所述待定位图像上符合所述第一条件的全部圆形进行聚类，得到聚类结果；确定所述聚类结果中与所述模板图像上第一形状的部件的直径之间的差值小于第二阈值的聚类结果所对应的坐标信息，为所述待定位图像上第一形状的部件的坐标集合。
所述确定单元303，还用于确定用于对所述第一金字塔图像中每一层图像进行变换的至少一组系数；其中每组所述系数包括平移系数、缩放系数和旋转角度系数。
所述确定单元303，具体用于基于平移量阈值范围和第一步长，确定所述每一组系数中的所述平移系数；
基于缩放量阈值范围和第二步长，确定所述每一组系数中的所述缩放系数；
基于旋转角度阈值范围和第三步长，确定所述每一组系数中的所述旋转角度系数。
所述处理单元302，具体用于基于至少一组系数，依次对所述第一金字塔图像的最上层至所述第一金字塔图像的最下层进行变换；其中，所述第一金字塔图像的层的序号不同，对应的系数不同。
所述确定单元303，具体用于基于所述模板图像上第一形状的部件与第二部件的相对位置信息和所述待定位图像上第一形状的部件的坐标集合，确定所述待定位图像上所述第二部件的坐标信息；基于所述目标系数对所述待定位图像上所述第二部件的坐标信息进行变换，确认变换后的坐标信息为所述待定位图像上第二部件的位置信息。
图6示出了本申请实施例提供的电子设备的硬件组成结构示意图，电子设备700包括：至少一个处理器701、存储器702和至少一个网络单元704。电子设备700中的各个组件通过总线系统705耦合在一起。可理解，总线系统705用于实现这些组件之间的连接通信。总线系统705除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统705。
可以理解，存储器702可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagneticrandom access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器702旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例中的存储器702用于存储各种类型的数据以支持电子设备700的操作。这些数据的示例包括：用于在电子设备700上操作的任何计算机程序，如应用程序722。实现本申请实施例方法的程序可以包含在应用程序722中。
所述本申请实施例揭示的方法可以应用于处理器701中，或者由处理器701实现。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，所述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。所述的处理器701可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器701可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器702，处理器701读取存储器702中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、MPU、或其他电子元件实现，用于执行前述方法。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种图像定位方法，其特征在于，所述方法包括：
获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像；
对所述第一金字塔图像中每一层图像进行变换，在变换后的所述第一金字塔图像中第一形状的部件与所述待定位图像金字塔相应层的第一形状的部件之间的距离小于第一阈值的情况下，确定所述第一金字塔图像所对应的变换系数为目标系数；
基于所述目标系数和所述模板图像上第一形状的部件与第二部件的相对位置信息，确定所述待定位图像上第二部件的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像之前，所述方法还包括：
确定所述模板图像上所述第一形状的部件与所述第二部件的相对位置信息。
3.根据权利要求2所述的方法，其特征在于，所述确定所述模板图像上所述第一形状的部件与所述第二部件的相对位置信息，包括：
确定所述模板图像上所述第一形状的部件的圆心坐标和直径；
确定所述模板图像上所述第二部件的坐标信息；
基于所述模板图像上所述第一形状的部件的圆心坐标和直径，以及所述模板图像上所述第二部件的坐标信息，确认所述模板图像上所述第一形状的部件与所述第二部件的相对位置信息。
4.根据权利要求1所述的方法，其特征在于，所述获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像之前，所述方法还包括：
确定所述待定位图像上第一形状的部件的坐标集合。
5.根据权利要求4所述的方法，其特征在于，所述确定所述待定位图像上第一形状的部件的坐标集合包括：
确定所述待定位图像上符合第一条件的至少一个圆形的圆心的坐标信息；
对所述待定位图像上符合所述第一条件的全部圆形进行聚类，得到聚类结果；
确定所述聚类结果中与所述模板图像上第一形状的部件的直径之间的差值小于第二阈值的聚类结果所对应的坐标信息，为所述待定位图像上第一形状的部件的坐标集合。
6.根据权利要求1所述的方法，其特征在于，所对所述第一金字塔图像中每一层图像进行变换之前，所述方法还包括：
确定用于对所述第一金字塔图像中每一层图像进行变换的至少一组系数；其中每组所述系数包括平移系数、缩放系数和旋转角度系数。
7.根据权利要求6所述的方法，其特征在于，所述确定用于对所述第一金字塔图像中每一层图像进行变换的至少一组系数，包括：
基于平移量阈值范围和第一步长，确定所述每一组系数中的所述平移系数；
基于缩放量阈值范围和第二步长，确定所述每一组系数中的所述缩放系数；
基于旋转角度阈值范围和第三步长，确定所述每一组系数中的所述旋转角度系数。
8.根据权利要求1所述的方法，其特征在于，所对所述第一金字塔图像中每一层图像进行变换，包括：
基于至少一组系数，依次对所述第一金字塔图像的最上层至所述第一金字塔图像的最下层进行变换；
其中，所述第一金字塔图像的层的序号不同，对应的系数不同。
9.根据权利要求1所述的方法，其特征在于，所述基于所述目标系数和所述模板图像上第一形状的部件与第二部件的相对位置信息，确定所述待定位图像上第二部件的位置信息，包括：
基于所述模板图像上第一形状的部件与第二部件的相对位置信息和所述待定位图像上第一形状的部件的坐标集合，确定所述待定位图像上所述第二部件的坐标信息；
基于所述目标系数对所述待定位图像上所述第二部件的坐标信息进行变换，确认变换后的坐标信息为所述待定位图像上第二部件的位置信息。
10.一种图像定位装置，其特征在于，所述装置包括：
获取单元，用于获取模板图像对应的第一金字塔图像和待定位图像对应的第二金字塔图像；
处理单元，用于对所述第一金字塔图像中每一层图像进行变换，在变换后的所述第一金字塔图像中第一形状的部件与所述待定位图像金字塔相应层的第一形状的部件之间的距离小于第一阈值的情况下，确定所述第一金字塔图像所对应的变换系数为目标系数；
确定单元，用于基于所述目标系数和所述模板图像上第一形状的部件与第二部件的相对位置信息，确定所述待定位图像上第二部件的位置信息。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一项所述的方法。
CN202111650898.3A 2021-12-30 2021-12-30 一种图像定位方法、装置、电子设备及存储介质 Pending CN114511630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111650898.3A CN114511630A (zh) 2021-12-30 2021-12-30 一种图像定位方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111650898.3A CN114511630A (zh) 2021-12-30 2021-12-30 一种图像定位方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114511630A true CN114511630A (zh) 2022-05-17

Family

ID=81547796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111650898.3A Pending CN114511630A (zh) 2021-12-30 2021-12-30 一种图像定位方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114511630A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082552A (zh) * 2022-07-25 2022-09-20 荣耀终端有限公司 标记孔的定位方法、装置、装配设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082552A (zh) * 2022-07-25 2022-09-20 荣耀终端有限公司 标记孔的定位方法、装置、装配设备及存储介质
CN115082552B (zh) * 2022-07-25 2022-12-27 荣耀终端有限公司 标记孔的定位方法、装置、装配设备及存储介质

Similar Documents

Publication Publication Date Title
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
CN110842901B (zh) 基于一种新型三维标定块的机器人手眼标定方法与装置
WO2022170844A1 (zh) 一种视频标注方法、装置、设备及计算机可读存储介质
CN111612834B (zh) 生成目标图像的方法、装置及设备
CN107038443B (zh) 一种在电路板上定位感兴趣区域的方法和装置
CN111579561B (zh) 位置点补偿方法、装置、设备及存储介质
CN116386028B (zh) 一种用于三通管件加工的图像分层识别方法及装置
JPWO2020188799A1 (ja) カメラ校正装置、カメラ校正方法、及びプログラム
CN109145902B (zh) 一种利用泛化特征对几何标识进行识别及定位的方法
CN114511630A (zh) 一种图像定位方法、装置、电子设备及存储介质
CN116759358A (zh) 一种晶圆边缘对准方法及系统
EP2894526A2 (en) Apparatus and methods for replicating a key from an image depicting the key
CN117197245A (zh) 一种位姿修复方法及装置
CN117237681A (zh) 图像处理方法、装置及相关设备
CN116386373A (zh) 车辆定位方法、装置、存储介质及电子设备
CN112102415A (zh) 基于标定球的深度相机外参数标定方法、装置及设备
US11816865B2 (en) Extrinsic camera parameter calibration method, extrinsic camera parameter calibration apparatus, and extrinsic camera parameter calibration system
CN111862196A (zh) 检测平板物体的通孔的方法、装置和计算机可读存储介质
CN112489111B (zh) 相机外参标定方法、装置及相机外参标定系统
JP2019105992A (ja) 画像処理装置、画像処理プログラム及び画像処理方法
CN115187769A (zh) 一种定位方法及装置
KR102280668B1 (ko) 치수 품질 검사 방법 및 그 시스템
CN111931786B (zh) 一种图像处理方法、装置及计算机可读存储介质
CN115063473A (zh) 物体高度的检测方法、装置、计算机设备、存储介质
CN117765047B (zh) 一种工件配准方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination