CN112767426A - 一种目标匹配方法、装置和机器人 - Google Patents

一种目标匹配方法、装置和机器人 Download PDF

Info

Publication number
CN112767426A
CN112767426A CN202110018500.8A CN202110018500A CN112767426A CN 112767426 A CN112767426 A CN 112767426A CN 202110018500 A CN202110018500 A CN 202110018500A CN 112767426 A CN112767426 A CN 112767426A
Authority
CN
China
Prior art keywords
point
matched
edge contour
points
contour map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110018500.8A
Other languages
English (en)
Other versions
CN112767426B (zh
Inventor
刘志昌
刘柠溢
陶旭蕾
王栋年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202110018500.8A priority Critical patent/CN112767426B/zh
Publication of CN112767426A publication Critical patent/CN112767426A/zh
Priority to PCT/CN2021/124958 priority patent/WO2022148091A1/zh
Application granted granted Critical
Publication of CN112767426B publication Critical patent/CN112767426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标匹配方法、装置和机器人,属于图像处理领域。其中方法首先获取目标图像和目标图像,然后对两个图像进行预处理得到两个物体边缘轮廓图,之后再分别获取两个物体边缘轮廓图上相互匹配的指定点;获取指定点后以已完成匹配的指定点为基础对模板物体边缘轮廓图上的其他未匹配点进行一一匹配,直至完成所有点的匹配。本申请方案只有第一个点匹配时是全局匹配,其他点都以已完成匹配的指定点为基础进行匹配,匹配时只需在已完成匹配的指定点一定距离内的点进行匹配即可,匹配速率快,匹配准确度高。

Description

一种目标匹配方法、装置和机器人
技术领域
本发明涉及图像处理技术,特别地,涉及一种目标匹配方法、装置和机器人。
背景技术
随着工业的自动化,机器人逐渐承担高强度和高危险工作,以至于机器人需要像人类各种器官一样的高精度和高性能的传感器,其中视觉信息具有及其重要的地位,尤其是机器人对物体的准确定位,准确抓取和放置,以及高精度移动等操作。
目前工业视觉定位中,适用范围广、鲁棒性强和精度高的算法是几何模板匹配方法,即采集预定位置目标模板图像,建立几何模板,再与其它时刻输入目标图像匹配,从而确定输入图像中目标与预设位置的坐标变化。
根据工业要求,目标匹配算法必须定位精度高且运行速度快。目前市面成熟的几何匹配算法多采用暴力匹配方式和金字塔策略,而且目标一旦发生转动,该方法就要设置多个模板进行匹配目标,需要多次模板匹配进而获取目标的位姿,同时每次匹配都要进行全局范围的匹配,所以现有方法匹配速率慢。
发明内容
为了克服现有技术的不足,本发明提供一种目标匹配方法、装置和机器人,以解决现有匹配方法需要多个模板进行匹配,同时匹配速率慢的问题。
本发明解决其技术问题所采用的技术方案是:
第一方面,
一种目标匹配方法,包括以下步骤:
获取模板图像和待匹配的目标图像;
对所述模板图像和目标图像进行预处理分别得到所述模板物体边缘轮廓图和目标物体边缘轮廓图;
获取所述模板物体边缘轮廓图和目标物体边缘轮廓图上任意一对匹配完成的点;
重复以下步骤直至完成所述模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配:获取模板物体边缘轮廓图上未匹配的点,所述未匹配的点与所述模板物体边缘轮廓图上的已匹配完成的指定点之间距离在预设值内;获取在所述目标物体边缘轮廓图上距离所述指定点匹配的点的距离在预设值内的所有待匹配点;计算所有待匹配点与所述未匹配的点的相似度;将相似度最高的待匹配点作为所述未匹配的点的匹配点;
若所述模板物体边缘轮廓图上所有点都可以在目标物体边缘轮廓图上得到匹配的点,则完成所述目标图像的匹配。
进一步地,所述对所述模板图像和目标图像进行预处理分别得到所述模板物体边缘轮廓图和目标物体边缘轮廓图包括:
采用高斯滤波函数对所述模板图像和目标图像进行处理;
对处理后的模板图像和目标图像采用阈值分割得到物体形状;
对分割后的图像采用canny边缘检测算法提取物体边缘轮廓得到模板物体边缘轮廓图和目标物体边缘轮廓图。
进一步地,所述计算所有待匹配点与未匹配的点的相似度包括:
获取任一待匹配点的子区域中的点和未匹配的点的子区域的点,所述子区域为以任一待匹配点或者未匹配的点为中心的区域;
根据所述任一待匹配点的子区域中的点和和未匹配的点的子区域的点计算任一待匹配点与未匹配的点的相似度。
进一步地,所述根据所述任一待匹配点的子区域中的点和和未匹配的点的子区域的点计算任一待匹配点与未匹配的点的相似度包括:
获取任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向;
根据所述梯度幅值和梯度方向采用零均值归一化公式计算相似度。
进一步地,所述获取任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向包括:
在模板物体边缘轮廓图和目标物体边缘轮廓图上分别建立全局坐标系;
分别计算得到指定点和指定点匹配的点的梯度向量;
在模板物体边缘轮廓图和目标物体边缘轮廓图上分别建立以指定点和指定点匹配的点为原点的局部坐标系,所述局部坐标系以指定点和指定点匹配的点所属梯度向量为X轴;
计算任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向,所述梯度方向为在局部坐标系内与X轴的夹角。
进一步地,所述根据所述梯度幅值和梯度方向采用零均值归一化公式计算相似度的计算公式为:
Figure BDA0002887515380000041
其中,Coff为相似度,(xi,yi)为未匹配的点子区域的任一点的全局坐标,(x'i,y'i)为任一待匹配点子区域的局部坐标,m和n分别是子区域中点的坐标的个数,gt代表未匹配的点子区域中的点的梯度幅值或夹角,
Figure BDA0002887515380000042
为未匹配的点子区域子区域梯度幅值的均值或者夹角偏差均值,f代表任一待匹配点子区域中的点的梯度幅值或者夹角,
Figure BDA0002887515380000043
为任一待匹配点子区域梯度幅值均值或者夹角偏差均值。
进一步地,所述计算得到指定点和指定点匹配的点的梯度向量包括:
采用sobel算子分别对模板物体边缘轮廓图和目标物体边缘轮廓图求水平和竖直方向的梯度;
根据两个方向的梯度进一步计算得到指定点和指定点匹配的点的梯度向量;计算公式为:
Figure BDA0002887515380000044
其中,G为梯度幅值,Gx为梯度X轴分量,Gy为梯度Y轴分量,φ为梯度方向;梯度幅值和梯度方向构成梯度向量。
进一步地,还包括:
将所述模板物体边缘轮廓图所有点进行排序;
根据排序完成所述模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配。
第二方面,
一种目标匹配装置,包括:
图像获取模块,用于获取模板图像和待匹配的目标图像;
图像处理模块,用于对所述模板图像和目标图像进行预处理分别得到所述模板物体边缘轮廓图和目标物体边缘轮廓图;
指定点获取模块,用于获取所述模板物体边缘轮廓图和目标物体边缘轮廓图上任意一对匹配完成的点;
相邻点匹配模块,用于重复以下步骤直至完成所述模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配:获取模板物体边缘轮廓图上未匹配的点,所述未匹配的点与所述模板物体边缘轮廓图上的已匹配完成的指定点之间距离在预设值内;获取在所述目标物体边缘轮廓图上距离所述指定点匹配的点的距离在预设值内的所有待匹配点;计算所有待匹配点与所述未匹配的点的相似度;将相似度最高的待匹配点作为所述未匹配的点的匹配点;
目标图像匹配模块,用于若所述模板物体边缘轮廓图上所有点都可以在目标物体边缘轮廓图上得到匹配的点,则完成所述目标图像的匹配。
第三方面,
一种机器人,包括:如上述技术方案所述的装置。
本申请采用以上技术方案,至少具备以下有益效果:
本申请技术方案提供一种目标匹配方法、装置和机器人,其中方法首先获取目标图像和目标图像,然后对两个图像进行预处理得到两个物体边缘轮廓图,之后再分别获取两个物体边缘轮廓图上相互匹配的指定点;获取指定点后以已完成匹配的指定点为基础对模板物体边缘轮廓图上的其他未匹配点进行一一匹配,直至完成所有点的匹配。本申请方案只有第一个点匹配时是全局匹配,其他点都以已完成匹配的指定点为基础进行匹配,匹配时只需在已完成匹配的指定点一定距离内的点进行匹配即可,匹配速率快,匹配准确度高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种目标匹配方法流程图;
图2是本发明实施例提供的一种模板物体边缘轮廓图所有点与目标物体边缘轮廓图匹配的流程图;
图3是本发明实施例提供的一种局部坐标系示意图;
图4是本发明实施例提供的一种目标匹配装置结构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面结合附图和实施例对本发明的技术方案进行详细的描述说明。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本申请所保护的范围。
参照图1,本发明实施例提供了一种目标匹配方法,包括以下步骤:
获取模板图像和待匹配的目标图像;
对模板图像和目标图像进行预处理分别得到模板物体边缘轮廓图和目标物体边缘轮廓图;
获取模板物体边缘轮廓图和目标物体边缘轮廓图上任意一对匹配完成的点;
重复以下步骤直至完成模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配:获取模板物体边缘轮廓图上未匹配的点,未匹配的点与模板物体边缘轮廓图上的已匹配完成的指定点之间距离在预设值内;获取在目标物体边缘轮廓图上距离指定点匹配的点的距离在预设值内的所有待匹配点;计算所有待匹配点与未匹配的点的相似度;将相似度最高的待匹配点作为未匹配的点的匹配点;
若模板物体边缘轮廓图上所有点都可以在目标物体边缘轮廓图上得到匹配的点,则完成目标图像的匹配。
本发明实施例提供一种目标匹配方法,首先获取目标图像和目标图像,然后对两个图像进行预处理得到两个物体边缘轮廓图,之后再分别获取两个物体边缘轮廓图上相互匹配的指定点;获取指定点后以已完成匹配的指定点为基础对模板物体边缘轮廓图上的其他未匹配点进行一一匹配,直至完成所有点的匹配。本申请方案只有第一个点匹配时是全局匹配,其他点都以已完成匹配的指定点为基础进行匹配,匹配时只需在已完成匹配的指定点一定距离内的点进行匹配即可,匹配速率快,匹配准确度高。
需要说明的是,根据视差一致性原理约束条件,假设模板图中A点,对应目标图中a点,A点附近的点B寻找目标图像中对应点,则目标图像中对应点一定在a附近,即可只在a领域(即a点一定预设距离)内搜索。因此,当匹配除指定点外的其他点时,先以已匹配的点如指定点为中心获取邻近的点(即中心点一定距离内的点),匹配时只需要在已匹配的点的匹配点邻近处匹配即可。大大降低了匹配的范围,增大了匹配速率。
作为对上述实施例的一种补充说明,对模板图像和目标图像进行预处理分别得到模板物体边缘轮廓图和目标物体边缘轮廓图包括:
采用高斯滤波函数对模板图像和目标图像进行处理,以达平滑图像和去除噪音的目的;
对处理后的模板图像和目标图像采用阈值分割得到物体形状,由于图像上每个点的像素不同,采用一个预设的阈值对图像进行分割,能够得到各个物体的形状,这样就可以把要得到的目标物体分割出来,该方法为本领域常用方法,在此不在赘述,阈值根据实际情况设置;
对分割后的图像采用canny边缘检测算法提取物体边缘轮廓得到模板物体边缘轮廓图和目标物体边缘轮廓图。
作为本发明实施例一种可选的实现方式,计算所有待匹配点与未匹配的点的相似度包括:
获取任一待匹配点的子区域中的点和未匹配的点的子区域的点,子区域为以任一待匹配点或者未匹配的点为中心的区域;
根据任一待匹配点的子区域中的点和和未匹配的点的子区域的点计算任一待匹配点与未匹配的点的相似度。
其中,获取任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向包括:
在模板物体边缘轮廓图和目标物体边缘轮廓图上分别建立全局坐标系;
分别计算得到指定点和指定点匹配的点的梯度向量;
在模板物体边缘轮廓图和目标物体边缘轮廓图上分别建立以指定点和指定点匹配的点为原点的局部坐标系,局部坐标系以指定点和指定点匹配的点所属梯度向量为X轴;
计算任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向,梯度方向为在局部坐标系内与X轴的夹角。
作为本发明实施例一种优选的实现方式,根据梯度幅值和梯度方向采用零均值归一化公式计算相似度的计算公式为:
Figure BDA0002887515380000101
其中,Coff为相似度,(xi,yi)为未匹配的点子区域的任一点的全局坐标,(x'i,y'i)为任一待匹配点子区域的局部坐标,m和n分别是子区域中点的坐标的个数,gt代表未匹配的点子区域中的点的梯度幅值或夹角,
Figure BDA0002887515380000102
为未匹配的点子区域子区域梯度幅值的均值或者夹角偏差均值,f代表任一待匹配点子区域中的点的梯度幅值或者夹角,
Figure BDA0002887515380000103
为任一待匹配点子区域梯度幅值均值或者夹角偏差均值。
局部坐标系如图3所示,先在全局坐标系XOY中,计算得到指定点A的梯度向量,以点A的梯度向量为局部坐标系X’AY’的X轴,点A为原点。具体点A的梯度向量计算方法如下:采用sobel算子分别对模板物体边缘轮廓图和目标物体边缘轮廓图求水平和竖直方向的梯度;
根据两个方向的梯度进一步计算得到指定点和指定点匹配的点的梯度向量;计算公式为:
Figure BDA0002887515380000104
其中,G为梯度幅值,Gx为梯度X轴分量,Gy为梯度Y轴分量,φ为梯度方向;梯度幅值和梯度方向构成梯度向量。全局坐标系转换到局部坐标系关系如下。
Figure BDA0002887515380000105
其中,(x'i,y'i)为局部坐标,(xi,yi)为全局坐标,R为全局坐标系转换到局部坐标系的旋转矩阵,T为全局坐标系转换到局部坐标系的平移矩阵。
需要说明的是,在正常匹配时,由于目标物体可以360旋转,而建立全局坐标系时都是以一个角度建立的,因此如果目标物体旋转了,其邻近点在全局坐标系内的点与模板内的点的坐标不同。因此以梯度向量设置局部坐标系,消除物体旋转对模板匹配的影响,不必设置多个含有旋转角度和放缩因子的模板进行匹配,找出相似度最高的模板,确定目标的旋转角度和平移向量,进而帮助机器人定位。
在实际匹配过程中,将模板物体边缘轮廓图所有点进行排序;根据排序完成模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配。排序防止边缘轮廓图中的点遗漏,同时排序后,匹配效率更高。
本发明实施例提供的目标匹配方法,对目标匹配时,基于视差一致性约束原理,即可在以匹配的领域内,搜索匹配下一个点的匹配区域,缩小至原匹配搜索区域的百分之一,进而加快运行速度,匹配时间缩短至改进前匹配时间的几十分之一。增加梯度的多特征融合相似度衡量方法,增加了模板匹配的鲁棒性和准确性,增加了模板匹配的精度。
一个实施例中,本发明提供一种目标匹配装置,如图4所示,包括:
图像获取模块41,用于获取模板图像和待匹配的目标图像;
图像处理模块42,用于对模板图像和目标图像进行预处理分别得到模板物体边缘轮廓图和目标物体边缘轮廓图;具体地,图像处理模块采用高斯滤波函数对模板图像和目标图像进行处理;对处理后的模板图像和目标图像采用阈值分割得到物体形状;对分割后的图像采用canny边缘检测算法提取物体边缘轮廓得到模板物体边缘轮廓图和目标物体边缘轮廓图。
指定点获取模块43,用于获取模板物体边缘轮廓图和目标物体边缘轮廓图上任意一对匹配完成的点;
相邻点匹配模块44,用于重复以下步骤直至完成模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配:获取模板物体边缘轮廓图上未匹配的点,未匹配的点与模板物体边缘轮廓图上的已匹配完成的指定点之间距离在预设值内;获取在目标物体边缘轮廓图上距离指定点匹配的点的距离在预设值内的所有待匹配点;计算所有待匹配点与未匹配的点的相似度;将相似度最高的待匹配点作为未匹配的点的匹配点;具体地,相邻点匹配模块获取任一待匹配点的子区域中的点和未匹配的点的子区域的点,子区域为以任一待匹配点或者未匹配的点为中心的区域;根据任一待匹配点的子区域中的点和和未匹配的点的子区域的点计算任一待匹配点与未匹配的点的相似度。
其中,根据任一待匹配点的子区域中的点和和未匹配的点的子区域的点计算任一待匹配点与未匹配的点的相似度包括:获取任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向;根据梯度幅值和梯度方向采用零均值归一化公式计算相似度。
进一步地,获取任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向包括:在模板物体边缘轮廓图和目标物体边缘轮廓图上分别建立全局坐标系;分别计算得到指定点和指定点匹配的点的梯度向量;在模板物体边缘轮廓图和目标物体边缘轮廓图上分别建立以指定点和指定点匹配的点为原点的局部坐标系,局部坐标系以指定点和指定点匹配的点所属梯度向量为X轴;计算任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向,梯度方向为在局部坐标系内与X轴的夹角。
可选地,根据梯度幅值和梯度方向采用零均值归一化公式计算相似度的计算公式为:
Figure BDA0002887515380000131
其中,Coff为相似度,(xi,yi)为未匹配的点子区域的任一点的坐标,(x'i,y'i)为任一待匹配点子区域的坐标,m和n分别是子区域中点的坐标的个数,gt代表未匹配的点子区域中的点的梯度幅值或夹角,
Figure BDA0002887515380000132
为未匹配的点子区域子区域梯度幅值的均值或者夹角偏差均值,f代表任一待匹配点子区域中的点的梯度幅值或者夹角,
Figure BDA0002887515380000133
为任一待匹配点子区域梯度幅值均值或者夹角偏差均值。
还包括,计算得到指定点和指定点匹配的点的梯度向量包括:采用sobel算子分别对模板物体边缘轮廓图和目标物体边缘轮廓图求水平和竖直方向的梯度;根据两个方向的梯度进一步计算得到指定点和指定点匹配的点的梯度向量;计算公式为:
Figure BDA0002887515380000141
其中,G为梯度幅值,Gx为梯度X轴分量,Gy为梯度Y轴分量,φ为梯度方向;梯度幅值和梯度方向构成梯度向量。
作为本发明实施例一种可选的实现方式,还包括:相邻点匹配模块将模板物体边缘轮廓图所有点进行排序;根据排序完成模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配。
目标图像匹配模块45,用于若模板物体边缘轮廓图上所有点都可以在目标物体边缘轮廓图上得到匹配的点,则完成目标图像的匹配。
本发明实施例提供的匹配装置,图像获取模块获取模板图像和待匹配的目标图像;图像处理模块对模板图像和目标图像进行预处理分别得到模板物体边缘轮廓图和目标物体边缘轮廓图;指定点获取模块获取模板物体边缘轮廓图和目标物体边缘轮廓图上任意一对匹配完成的点;相邻点匹配模块完成模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配:若模板物体边缘轮廓图上所有点都可以在目标物体边缘轮廓图上得到匹配的点,则目标图像匹配模块完成目标图像的匹配。本发明实施例提供的装置,匹配速率快,匹配精确度高。
一个实施例中,本发明还提供一种机器人,该机器人包括上述发明实施例中的匹配装置,在进行目标匹配时,无须多个模板,同时无需每次都要进行全局匹配,匹配效率快,匹配精准度高。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本申请的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种目标匹配方法,其特征在于,包括以下步骤:
获取模板图像和待匹配的目标图像;
对所述模板图像和目标图像进行预处理分别得到所述模板物体边缘轮廓图和目标物体边缘轮廓图;
获取所述模板物体边缘轮廓图和目标物体边缘轮廓图上任意一对匹配完成的点;
重复以下步骤直至完成所述模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配:获取模板物体边缘轮廓图上未匹配的点,所述未匹配的点与所述模板物体边缘轮廓图上的已匹配完成的指定点之间距离在预设值内;获取在所述目标物体边缘轮廓图上距离所述指定点匹配的点的距离在预设值内的所有待匹配点;计算所有待匹配点与所述未匹配的点的相似度;将相似度最高的待匹配点作为所述未匹配的点的匹配点;
若所述模板物体边缘轮廓图上所有点都可以在目标物体边缘轮廓图上得到匹配的点,则完成所述目标图像的匹配。
2.根据权利要求1所述的方法,其特征在于:所述对所述模板图像和目标图像进行预处理分别得到所述模板物体边缘轮廓图和目标物体边缘轮廓图包括:
采用高斯滤波函数对所述模板图像和目标图像进行处理;
对处理后的模板图像和目标图像采用阈值分割得到物体形状;
对分割后的图像采用canny边缘检测算法提取物体边缘轮廓得到模板物体边缘轮廓图和目标物体边缘轮廓图。
3.根据权利要求1所述的方法,其特征在于:所述计算所有待匹配点与未匹配的点的相似度包括:
获取任一待匹配点的子区域中的点和未匹配的点的子区域的点,所述子区域为以任一待匹配点或者未匹配的点为中心的区域;
根据所述任一待匹配点的子区域中的点和和未匹配的点的子区域的点计算任一待匹配点与未匹配的点的相似度。
4.根据权利要求3所述的方法,其特征在于:所述根据所述任一待匹配点的子区域中的点和和未匹配的点的子区域的点计算任一待匹配点与未匹配的点的相似度包括:
获取任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向;
根据所述梯度幅值和梯度方向采用零均值归一化公式计算相似度。
5.根据权利要求4所述的方法,其特征在于:所述获取任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向包括:
在模板物体边缘轮廓图和目标物体边缘轮廓图上分别建立全局坐标系;
分别计算得到指定点和指定点匹配的点的梯度向量;
在模板物体边缘轮廓图和目标物体边缘轮廓图上分别建立以指定点和指定点匹配的点为原点的局部坐标系,所述局部坐标系以指定点和指定点匹配的点所属梯度向量为X轴;
计算任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向,所述梯度方向为在局部坐标系内与X轴的夹角。
6.根据权利要求5所述的方法,其特征在于:所述根据所述梯度幅值和梯度方向采用零均值归一化公式计算相似度的计算公式为:
Figure FDA0002887515370000031
其中,Coff为相似度,(xi,yi)为未匹配的点子区域的任一点的全局坐标,(x'i,y'i)为任一待匹配点子区域的局部坐标,m和n分别是子区域中点的坐标的个数,gt代表未匹配的点子区域中的点的梯度幅值或夹角,
Figure FDA0002887515370000032
为未匹配的点子区域子区域梯度幅值的均值或者夹角偏差均值,f代表任一待匹配点子区域中的点的梯度幅值或者夹角,
Figure FDA0002887515370000033
为任一待匹配点子区域梯度幅值均值或者夹角偏差均值。
7.根据权利要求5所述的方法,其特征在于:所述计算得到指定点和指定点匹配的点的梯度向量包括:
采用sobel算子分别对模板物体边缘轮廓图和目标物体边缘轮廓图求水平和竖直方向的梯度;
根据两个方向的梯度进一步计算得到指定点和指定点匹配的点的梯度向量;计算公式为:
Figure FDA0002887515370000041
其中,G为梯度幅值,Gx为梯度X轴分量,Gy为梯度Y轴分量,φ为梯度方向;梯度幅值和梯度方向构成梯度向量。
8.根据权利要求1所述的方法,其特征在于,还包括:
将所述模板物体边缘轮廓图所有点进行排序;
根据排序完成所述模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配。
9.一种目标匹配装置,其特征在于,包括:
图像获取模块,用于获取模板图像和待匹配的目标图像;
图像处理模块,用于对所述模板图像和目标图像进行预处理分别得到所述模板物体边缘轮廓图和目标物体边缘轮廓图;
指定点获取模块,用于获取所述模板物体边缘轮廓图和目标物体边缘轮廓图上任意一对匹配完成的点;
相邻点匹配模块,用于重复以下步骤直至完成所述模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配:获取模板物体边缘轮廓图上未匹配的点,所述未匹配的点与所述模板物体边缘轮廓图上的已匹配完成的指定点之间距离在预设值内;获取在所述目标物体边缘轮廓图上距离所述指定点匹配的点的距离在预设值内的所有待匹配点;计算所有待匹配点与所述未匹配的点的相似度;将相似度最高的待匹配点作为所述未匹配的点的匹配点;
目标图像匹配模块,用于若所述模板物体边缘轮廓图上所有点都可以在目标物体边缘轮廓图上得到匹配的点,则完成所述目标图像的匹配。
10.一种机器人,其特征在于,包括:如权利要求9所述的装置。
CN202110018500.8A 2021-01-07 2021-01-07 一种目标匹配方法、装置和机器人 Active CN112767426B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110018500.8A CN112767426B (zh) 2021-01-07 2021-01-07 一种目标匹配方法、装置和机器人
PCT/CN2021/124958 WO2022148091A1 (zh) 2021-01-07 2021-10-20 目标匹配方法、装置和机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110018500.8A CN112767426B (zh) 2021-01-07 2021-01-07 一种目标匹配方法、装置和机器人

Publications (2)

Publication Number Publication Date
CN112767426A true CN112767426A (zh) 2021-05-07
CN112767426B CN112767426B (zh) 2023-11-17

Family

ID=75700646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110018500.8A Active CN112767426B (zh) 2021-01-07 2021-01-07 一种目标匹配方法、装置和机器人

Country Status (2)

Country Link
CN (1) CN112767426B (zh)
WO (1) WO2022148091A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658253A (zh) * 2021-07-27 2021-11-16 广东省大湾区集成电路与系统应用研究院 模板匹配定位方法、装置、图像采集设备及存储介质
WO2022148091A1 (zh) * 2021-01-07 2022-07-14 珠海格力电器股份有限公司 目标匹配方法、装置和机器人
CN114792373A (zh) * 2022-04-24 2022-07-26 广东天太机器人有限公司 一种工业机器人的视觉识别喷涂方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010048757A1 (en) * 2000-05-12 2001-12-06 Fuji Photo Film Co., Ltd. Method and apparatus for matching positions of images
CN102663391A (zh) * 2012-02-27 2012-09-12 安科智慧城市技术(中国)有限公司 一种图像的多特征提取与融合方法及系统
CN104867183A (zh) * 2015-06-11 2015-08-26 华中科技大学 一种基于区域增长的三维点云重建方法
US20150356372A1 (en) * 2013-01-11 2015-12-10 Grg Banking Equipment Co., Ltd. Character recognition method
KR20180096980A (ko) * 2017-02-22 2018-08-30 현대자동차주식회사 스테레오 카메라를 이용한 거리 추정 방법 및 장치
CN110349207A (zh) * 2019-07-10 2019-10-18 国网四川省电力公司电力科学研究院 一种复杂环境下的视觉定位方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6970577B2 (ja) * 2017-09-29 2021-11-24 株式会社デンソー 周辺監視装置および周辺監視方法
CN111563916B (zh) * 2020-05-11 2022-06-10 中国科学院自动化研究所 基于立体视觉的长时无人机跟踪定位方法、系统、装置
CN112767426B (zh) * 2021-01-07 2023-11-17 珠海格力电器股份有限公司 一种目标匹配方法、装置和机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010048757A1 (en) * 2000-05-12 2001-12-06 Fuji Photo Film Co., Ltd. Method and apparatus for matching positions of images
CN102663391A (zh) * 2012-02-27 2012-09-12 安科智慧城市技术(中国)有限公司 一种图像的多特征提取与融合方法及系统
US20150356372A1 (en) * 2013-01-11 2015-12-10 Grg Banking Equipment Co., Ltd. Character recognition method
CN104867183A (zh) * 2015-06-11 2015-08-26 华中科技大学 一种基于区域增长的三维点云重建方法
KR20180096980A (ko) * 2017-02-22 2018-08-30 현대자동차주식회사 스테레오 카메라를 이용한 거리 추정 방법 및 장치
CN110349207A (zh) * 2019-07-10 2019-10-18 国网四川省电力公司电力科学研究院 一种复杂环境下的视觉定位方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022148091A1 (zh) * 2021-01-07 2022-07-14 珠海格力电器股份有限公司 目标匹配方法、装置和机器人
CN113658253A (zh) * 2021-07-27 2021-11-16 广东省大湾区集成电路与系统应用研究院 模板匹配定位方法、装置、图像采集设备及存储介质
CN114792373A (zh) * 2022-04-24 2022-07-26 广东天太机器人有限公司 一种工业机器人的视觉识别喷涂方法及系统
CN114792373B (zh) * 2022-04-24 2022-11-25 广东天太机器人有限公司 一种工业机器人的视觉识别喷涂方法及系统

Also Published As

Publication number Publication date
CN112767426B (zh) 2023-11-17
WO2022148091A1 (zh) 2022-07-14

Similar Documents

Publication Publication Date Title
CN112767426B (zh) 一种目标匹配方法、装置和机器人
CN109903279B (zh) 焊缝运动轨迹的自动示教方法和装置
CN103759648B (zh) 一种基于激光双目视觉的复杂角焊缝位置检测方法
CN109003258A (zh) 一种高精度亚像素圆形零件测量方法
CN106683137B (zh) 基于人工标志的单目多目标识别与定位方法
CN110189257B (zh) 点云获取的方法、装置、系统及存储介质
CN108225319B (zh) 基于目标特征的单目视觉快速相对位姿估计系统及方法
CN105865344A (zh) 一种基于机器视觉的工件尺寸测量方法和装置
CN111583114B (zh) 一种管道螺纹自动测量装置及测量方法
CN109559346B (zh) 一种3d点云测量中的待测部位的定位及分割方法、扫描仪
CN112037318A (zh) 三维岩体结构模型的构建方法、系统及模型的应用
Sansoni et al. Optoranger: A 3D pattern matching method for bin picking applications
Zhang et al. Automatic crack inspection for concrete bridge bottom surfaces based on machine vision
CN114170284B (zh) 基于主动标志点投射辅助的多视图点云配准方法
CN116429082A (zh) 一种基于st-orb特征提取的视觉slam方法
CN109712174B (zh) 一种复杂异形曲面机器人三维测量的点云误配准滤除方法及系统
CN115235375A (zh) 盖板类工件的多圆特征参数测量方法、检测方法和装置
CN112418193B (zh) 一种车道线识别方法及系统
CN117611525A (zh) 一种受电弓滑板磨耗视觉检测方法和系统
CN114581385A (zh) 一种基于圆定位的焊缝缺陷区域映射算法
Liang et al. Existing weld seam recognition based on image processing
Bevilacqua et al. Automatic perspective camera calibration based on an incomplete set of chessboard markers
JPH11219435A (ja) 自動車用白線検出装置
CN116523984B (zh) 一种3d点云定位及配准方法、设备和介质
JPH065545B2 (ja) 図形認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant