CN112767426B - 一种目标匹配方法、装置和机器人 - Google Patents
一种目标匹配方法、装置和机器人 Download PDFInfo
- Publication number
- CN112767426B CN112767426B CN202110018500.8A CN202110018500A CN112767426B CN 112767426 B CN112767426 B CN 112767426B CN 202110018500 A CN202110018500 A CN 202110018500A CN 112767426 B CN112767426 B CN 112767426B
- Authority
- CN
- China
- Prior art keywords
- points
- point
- matched
- edge profile
- object edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种目标匹配方法、装置和机器人,属于图像处理领域。其中方法首先获取目标图像和目标图像,然后对两个图像进行预处理得到两个物体边缘轮廓图,之后再分别获取两个物体边缘轮廓图上相互匹配的指定点;获取指定点后以已完成匹配的指定点为基础对模板物体边缘轮廓图上的其他未匹配点进行一一匹配,直至完成所有点的匹配。本申请方案只有第一个点匹配时是全局匹配,其他点都以已完成匹配的指定点为基础进行匹配,匹配时只需在已完成匹配的指定点一定距离内的点进行匹配即可,匹配速率快,匹配准确度高。
Description
技术领域
本发明涉及图像处理技术,特别地,涉及一种目标匹配方法、装置和机器人。
背景技术
随着工业的自动化,机器人逐渐承担高强度和高危险工作,以至于机器人需要像人类各种器官一样的高精度和高性能的传感器,其中视觉信息具有及其重要的地位,尤其是机器人对物体的准确定位,准确抓取和放置,以及高精度移动等操作。
目前工业视觉定位中,适用范围广、鲁棒性强和精度高的算法是几何模板匹配方法,即采集预定位置目标模板图像,建立几何模板,再与其它时刻输入目标图像匹配,从而确定输入图像中目标与预设位置的坐标变化。
根据工业要求,目标匹配算法必须定位精度高且运行速度快。目前市面成熟的几何匹配算法多采用暴力匹配方式和金字塔策略,而且目标一旦发生转动,该方法就要设置多个模板进行匹配目标,需要多次模板匹配进而获取目标的位姿,同时每次匹配都要进行全局范围的匹配,所以现有方法匹配速率慢。
发明内容
为了克服现有技术的不足,本发明提供一种目标匹配方法、装置和机器人,以解决现有匹配方法需要多个模板进行匹配,同时匹配速率慢的问题。
本发明解决其技术问题所采用的技术方案是:
第一方面,
一种目标匹配方法,包括以下步骤:
获取模板图像和待匹配的目标图像;
对所述模板图像和目标图像进行预处理分别得到所述模板物体边缘轮廓图和目标物体边缘轮廓图;
获取所述模板物体边缘轮廓图和目标物体边缘轮廓图上任意一对匹配完成的点;
重复以下步骤直至完成所述模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配:获取模板物体边缘轮廓图上未匹配的点,所述未匹配的点与所述模板物体边缘轮廓图上的已匹配完成的指定点之间距离在预设值内;获取在所述目标物体边缘轮廓图上距离所述指定点匹配的点的距离在预设值内的所有待匹配点;计算所有待匹配点与所述未匹配的点的相似度;将相似度最高的待匹配点作为所述未匹配的点的匹配点;
若所述模板物体边缘轮廓图上所有点都可以在目标物体边缘轮廓图上得到匹配的点,则完成所述目标图像的匹配。
进一步地,所述对所述模板图像和目标图像进行预处理分别得到所述模板物体边缘轮廓图和目标物体边缘轮廓图包括:
采用高斯滤波函数对所述模板图像和目标图像进行处理;
对处理后的模板图像和目标图像采用阈值分割得到物体形状;
对分割后的图像采用canny边缘检测算法提取物体边缘轮廓得到模板物体边缘轮廓图和目标物体边缘轮廓图。
进一步地,所述计算所有待匹配点与未匹配的点的相似度包括:
获取任一待匹配点的子区域中的点和未匹配的点的子区域的点,所述子区域为以任一待匹配点或者未匹配的点为中心的区域;
根据所述任一待匹配点的子区域中的点和和未匹配的点的子区域的点计算任一待匹配点与未匹配的点的相似度。
进一步地,所述根据所述任一待匹配点的子区域中的点和和未匹配的点的子区域的点计算任一待匹配点与未匹配的点的相似度包括:
获取任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向;
根据所述梯度幅值和梯度方向采用零均值归一化公式计算相似度。
进一步地,所述获取任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向包括:
在模板物体边缘轮廓图和目标物体边缘轮廓图上分别建立全局坐标系;
分别计算得到指定点和指定点匹配的点的梯度向量;
在模板物体边缘轮廓图和目标物体边缘轮廓图上分别建立以指定点和指定点匹配的点为原点的局部坐标系,所述局部坐标系以指定点和指定点匹配的点所属梯度向量为X轴;
计算任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向,所述梯度方向为在局部坐标系内与X轴的夹角。
进一步地,所述根据所述梯度幅值和梯度方向采用零均值归一化公式计算相似度的计算公式为:
其中,Coff为相似度,(xi,yi)为未匹配的点子区域的任一点的全局坐标,(x'i,y'i)为任一待匹配点子区域的局部坐标,m和n分别是子区域中点的坐标的个数,gt代表未匹配的点子区域中的点的梯度幅值或夹角,为未匹配的点子区域子区域梯度幅值的均值或者夹角偏差均值,f代表任一待匹配点子区域中的点的梯度幅值或者夹角,/>为任一待匹配点子区域梯度幅值均值或者夹角偏差均值。
进一步地,所述计算得到指定点和指定点匹配的点的梯度向量包括:
采用sobel算子分别对模板物体边缘轮廓图和目标物体边缘轮廓图求水平和竖直方向的梯度;
根据两个方向的梯度进一步计算得到指定点和指定点匹配的点的梯度向量;计算公式为:
其中,G为梯度幅值,Gx为梯度X轴分量,Gy为梯度Y轴分量,φ为梯度方向;梯度幅值和梯度方向构成梯度向量。
进一步地,还包括:
将所述模板物体边缘轮廓图所有点进行排序;
根据排序完成所述模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配。
第二方面,
一种目标匹配装置,包括:
图像获取模块,用于获取模板图像和待匹配的目标图像;
图像处理模块,用于对所述模板图像和目标图像进行预处理分别得到所述模板物体边缘轮廓图和目标物体边缘轮廓图;
指定点获取模块,用于获取所述模板物体边缘轮廓图和目标物体边缘轮廓图上任意一对匹配完成的点;
相邻点匹配模块,用于重复以下步骤直至完成所述模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配:获取模板物体边缘轮廓图上未匹配的点,所述未匹配的点与所述模板物体边缘轮廓图上的已匹配完成的指定点之间距离在预设值内;获取在所述目标物体边缘轮廓图上距离所述指定点匹配的点的距离在预设值内的所有待匹配点;计算所有待匹配点与所述未匹配的点的相似度;将相似度最高的待匹配点作为所述未匹配的点的匹配点;
目标图像匹配模块,用于若所述模板物体边缘轮廓图上所有点都可以在目标物体边缘轮廓图上得到匹配的点,则完成所述目标图像的匹配。
第三方面,
一种机器人,包括:如上述技术方案所述的装置。
本申请采用以上技术方案,至少具备以下有益效果:
本申请技术方案提供一种目标匹配方法、装置和机器人,其中方法首先获取目标图像和目标图像,然后对两个图像进行预处理得到两个物体边缘轮廓图,之后再分别获取两个物体边缘轮廓图上相互匹配的指定点;获取指定点后以已完成匹配的指定点为基础对模板物体边缘轮廓图上的其他未匹配点进行一一匹配,直至完成所有点的匹配。本申请方案只有第一个点匹配时是全局匹配,其他点都以已完成匹配的指定点为基础进行匹配,匹配时只需在已完成匹配的指定点一定距离内的点进行匹配即可,匹配速率快,匹配准确度高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种目标匹配方法流程图;
图2是本发明实施例提供的一种模板物体边缘轮廓图所有点与目标物体边缘轮廓图匹配的流程图;
图3是本发明实施例提供的一种局部坐标系示意图;
图4是本发明实施例提供的一种目标匹配装置结构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面结合附图和实施例对本发明的技术方案进行详细的描述说明。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本申请所保护的范围。
参照图1,本发明实施例提供了一种目标匹配方法,包括以下步骤:
获取模板图像和待匹配的目标图像;
对模板图像和目标图像进行预处理分别得到模板物体边缘轮廓图和目标物体边缘轮廓图;
获取模板物体边缘轮廓图和目标物体边缘轮廓图上任意一对匹配完成的点;
重复以下步骤直至完成模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配:获取模板物体边缘轮廓图上未匹配的点,未匹配的点与模板物体边缘轮廓图上的已匹配完成的指定点之间距离在预设值内;获取在目标物体边缘轮廓图上距离指定点匹配的点的距离在预设值内的所有待匹配点;计算所有待匹配点与未匹配的点的相似度;将相似度最高的待匹配点作为未匹配的点的匹配点;
若模板物体边缘轮廓图上所有点都可以在目标物体边缘轮廓图上得到匹配的点,则完成目标图像的匹配。
本发明实施例提供一种目标匹配方法,首先获取目标图像和目标图像,然后对两个图像进行预处理得到两个物体边缘轮廓图,之后再分别获取两个物体边缘轮廓图上相互匹配的指定点;获取指定点后以已完成匹配的指定点为基础对模板物体边缘轮廓图上的其他未匹配点进行一一匹配,直至完成所有点的匹配。本申请方案只有第一个点匹配时是全局匹配,其他点都以已完成匹配的指定点为基础进行匹配,匹配时只需在已完成匹配的指定点一定距离内的点进行匹配即可,匹配速率快,匹配准确度高。
需要说明的是,根据视差一致性原理约束条件,假设模板图中A点,对应目标图中a点,A点附近的点B寻找目标图像中对应点,则目标图像中对应点一定在a附近,即可只在a领域(即a点一定预设距离)内搜索。因此,当匹配除指定点外的其他点时,先以已匹配的点如指定点为中心获取邻近的点(即中心点一定距离内的点),匹配时只需要在已匹配的点的匹配点邻近处匹配即可。大大降低了匹配的范围,增大了匹配速率。
作为对上述实施例的一种补充说明,对模板图像和目标图像进行预处理分别得到模板物体边缘轮廓图和目标物体边缘轮廓图包括:
采用高斯滤波函数对模板图像和目标图像进行处理,以达平滑图像和去除噪音的目的;
对处理后的模板图像和目标图像采用阈值分割得到物体形状,由于图像上每个点的像素不同,采用一个预设的阈值对图像进行分割,能够得到各个物体的形状,这样就可以把要得到的目标物体分割出来,该方法为本领域常用方法,在此不在赘述,阈值根据实际情况设置;
对分割后的图像采用canny边缘检测算法提取物体边缘轮廓得到模板物体边缘轮廓图和目标物体边缘轮廓图。
作为本发明实施例一种可选的实现方式,计算所有待匹配点与未匹配的点的相似度包括:
获取任一待匹配点的子区域中的点和未匹配的点的子区域的点,子区域为以任一待匹配点或者未匹配的点为中心的区域;
根据任一待匹配点的子区域中的点和和未匹配的点的子区域的点计算任一待匹配点与未匹配的点的相似度。
其中,获取任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向包括:
在模板物体边缘轮廓图和目标物体边缘轮廓图上分别建立全局坐标系;
分别计算得到指定点和指定点匹配的点的梯度向量;
在模板物体边缘轮廓图和目标物体边缘轮廓图上分别建立以指定点和指定点匹配的点为原点的局部坐标系,局部坐标系以指定点和指定点匹配的点所属梯度向量为X轴;
计算任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向,梯度方向为在局部坐标系内与X轴的夹角。
作为本发明实施例一种优选的实现方式,根据梯度幅值和梯度方向采用零均值归一化公式计算相似度的计算公式为:
其中,Coff为相似度,(xi,yi)为未匹配的点子区域的任一点的全局坐标,(x'i,y'i)为任一待匹配点子区域的局部坐标,m和n分别是子区域中点的坐标的个数,gt代表未匹配的点子区域中的点的梯度幅值或夹角,为未匹配的点子区域子区域梯度幅值的均值或者夹角偏差均值,f代表任一待匹配点子区域中的点的梯度幅值或者夹角,/>为任一待匹配点子区域梯度幅值均值或者夹角偏差均值。
局部坐标系如图3所示,先在全局坐标系XOY中,计算得到指定点A的梯度向量,以点A的梯度向量为局部坐标系X’AY’的X轴,点A为原点。具体点A的梯度向量计算方法如下:采用sobel算子分别对模板物体边缘轮廓图和目标物体边缘轮廓图求水平和竖直方向的梯度;
根据两个方向的梯度进一步计算得到指定点和指定点匹配的点的梯度向量;计算公式为:
其中,G为梯度幅值,Gx为梯度X轴分量,Gy为梯度Y轴分量,φ为梯度方向;梯度幅值和梯度方向构成梯度向量。全局坐标系转换到局部坐标系关系如下。
其中,(x'i,y'i)为局部坐标,(xi,yi)为全局坐标,R为全局坐标系转换到局部坐标系的旋转矩阵,T为全局坐标系转换到局部坐标系的平移矩阵。
需要说明的是,在正常匹配时,由于目标物体可以360旋转,而建立全局坐标系时都是以一个角度建立的,因此如果目标物体旋转了,其邻近点在全局坐标系内的点与模板内的点的坐标不同。因此以梯度向量设置局部坐标系,消除物体旋转对模板匹配的影响,不必设置多个含有旋转角度和放缩因子的模板进行匹配,找出相似度最高的模板,确定目标的旋转角度和平移向量,进而帮助机器人定位。
在实际匹配过程中,将模板物体边缘轮廓图所有点进行排序;根据排序完成模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配。排序防止边缘轮廓图中的点遗漏,同时排序后,匹配效率更高。
本发明实施例提供的目标匹配方法,对目标匹配时,基于视差一致性约束原理,即可在以匹配的领域内,搜索匹配下一个点的匹配区域,缩小至原匹配搜索区域的百分之一,进而加快运行速度,匹配时间缩短至改进前匹配时间的几十分之一。增加梯度的多特征融合相似度衡量方法,增加了模板匹配的鲁棒性和准确性,增加了模板匹配的精度。
一个实施例中,本发明提供一种目标匹配装置,如图4所示,包括:
图像获取模块41,用于获取模板图像和待匹配的目标图像;
图像处理模块42,用于对模板图像和目标图像进行预处理分别得到模板物体边缘轮廓图和目标物体边缘轮廓图;具体地,图像处理模块采用高斯滤波函数对模板图像和目标图像进行处理;对处理后的模板图像和目标图像采用阈值分割得到物体形状;对分割后的图像采用canny边缘检测算法提取物体边缘轮廓得到模板物体边缘轮廓图和目标物体边缘轮廓图。
指定点获取模块43,用于获取模板物体边缘轮廓图和目标物体边缘轮廓图上任意一对匹配完成的点;
相邻点匹配模块44,用于重复以下步骤直至完成模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配:获取模板物体边缘轮廓图上未匹配的点,未匹配的点与模板物体边缘轮廓图上的已匹配完成的指定点之间距离在预设值内;获取在目标物体边缘轮廓图上距离指定点匹配的点的距离在预设值内的所有待匹配点;计算所有待匹配点与未匹配的点的相似度;将相似度最高的待匹配点作为未匹配的点的匹配点;具体地,相邻点匹配模块获取任一待匹配点的子区域中的点和未匹配的点的子区域的点,子区域为以任一待匹配点或者未匹配的点为中心的区域;根据任一待匹配点的子区域中的点和和未匹配的点的子区域的点计算任一待匹配点与未匹配的点的相似度。
其中,根据任一待匹配点的子区域中的点和和未匹配的点的子区域的点计算任一待匹配点与未匹配的点的相似度包括:获取任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向;根据梯度幅值和梯度方向采用零均值归一化公式计算相似度。
进一步地,获取任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向包括:在模板物体边缘轮廓图和目标物体边缘轮廓图上分别建立全局坐标系;分别计算得到指定点和指定点匹配的点的梯度向量;在模板物体边缘轮廓图和目标物体边缘轮廓图上分别建立以指定点和指定点匹配的点为原点的局部坐标系,局部坐标系以指定点和指定点匹配的点所属梯度向量为X轴;计算任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向,梯度方向为在局部坐标系内与X轴的夹角。
可选地,根据梯度幅值和梯度方向采用零均值归一化公式计算相似度的计算公式为:
其中,Coff为相似度,(xi,yi)为未匹配的点子区域的任一点的坐标,(x'i,y'i)为任一待匹配点子区域的坐标,m和n分别是子区域中点的坐标的个数,gt代表未匹配的点子区域中的点的梯度幅值或夹角,为未匹配的点子区域子区域梯度幅值的均值或者夹角偏差均值,f代表任一待匹配点子区域中的点的梯度幅值或者夹角,/>为任一待匹配点子区域梯度幅值均值或者夹角偏差均值。
还包括,计算得到指定点和指定点匹配的点的梯度向量包括:采用sobel算子分别对模板物体边缘轮廓图和目标物体边缘轮廓图求水平和竖直方向的梯度;根据两个方向的梯度进一步计算得到指定点和指定点匹配的点的梯度向量;计算公式为:
其中,G为梯度幅值,Gx为梯度X轴分量,Gy为梯度Y轴分量,φ为梯度方向;梯度幅值和梯度方向构成梯度向量。
作为本发明实施例一种可选的实现方式,还包括:相邻点匹配模块将模板物体边缘轮廓图所有点进行排序;根据排序完成模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配。
目标图像匹配模块45,用于若模板物体边缘轮廓图上所有点都可以在目标物体边缘轮廓图上得到匹配的点,则完成目标图像的匹配。
本发明实施例提供的匹配装置,图像获取模块获取模板图像和待匹配的目标图像;图像处理模块对模板图像和目标图像进行预处理分别得到模板物体边缘轮廓图和目标物体边缘轮廓图;指定点获取模块获取模板物体边缘轮廓图和目标物体边缘轮廓图上任意一对匹配完成的点;相邻点匹配模块完成模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配:若模板物体边缘轮廓图上所有点都可以在目标物体边缘轮廓图上得到匹配的点,则目标图像匹配模块完成目标图像的匹配。本发明实施例提供的装置,匹配速率快,匹配精确度高。
一个实施例中,本发明还提供一种机器人,该机器人包括上述发明实施例中的匹配装置,在进行目标匹配时,无须多个模板,同时无需每次都要进行全局匹配,匹配效率快,匹配精准度高。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本申请的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种目标匹配方法,其特征在于,包括以下步骤:
获取模板图像和待匹配的目标图像;
对所述模板图像和目标图像进行预处理分别得到模板物体边缘轮廓图和目标物体边缘轮廓图;
获取所述模板物体边缘轮廓图和目标物体边缘轮廓图上任意一对匹配完成的点;
重复以下步骤直至完成所述模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配:获取模板物体边缘轮廓图上未匹配的点,所述未匹配的点与所述模板物体边缘轮廓图上的已匹配完成的指定点之间距离在预设值内;获取在所述目标物体边缘轮廓图上距离所述指定点匹配的点的距离在预设值内的所有待匹配点;计算所有待匹配点与所述未匹配的点的相似度;将相似度最高的待匹配点作为所述未匹配的点的匹配点;
若所述模板物体边缘轮廓图上所有点都可以在目标物体边缘轮廓图上得到匹配的点,则完成所述目标图像的匹配。
2.根据权利要求1所述的方法,其特征在于:所述对所述模板图像和目标图像进行预处理分别得到所述模板物体边缘轮廓图和目标物体边缘轮廓图包括:
采用高斯滤波函数对所述模板图像和目标图像进行处理;
对处理后的模板图像和目标图像采用阈值分割得到物体形状;
对分割后的图像采用canny边缘检测算法提取物体边缘轮廓得到模板物体边缘轮廓图和目标物体边缘轮廓图。
3.根据权利要求1所述的方法,其特征在于:所述计算所有待匹配点与未匹配的点的相似度包括:
获取任一待匹配点的子区域中的点和未匹配的点的子区域的点,所述子区域为以任一待匹配点或者未匹配的点为中心的区域;
根据所述任一待匹配点的子区域中的点和未匹配的点的子区域的点计算任一待匹配点与未匹配的点的相似度。
4.根据权利要求3所述的方法,其特征在于:所述根据所述任一待匹配点的子区域中的点和未匹配的点的子区域的点计算任一待匹配点与未匹配的点的相似度包括:
获取任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向;
根据所述梯度幅值和梯度方向采用零均值归一化公式计算相似度。
5.根据权利要求4所述的方法,其特征在于:所述获取任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向包括:
在模板物体边缘轮廓图和目标物体边缘轮廓图上分别建立全局坐标系;
分别计算得到指定点和指定点匹配的点的梯度向量;
在模板物体边缘轮廓图和目标物体边缘轮廓图上分别建立以指定点和指定点匹配的点为原点的局部坐标系,所述局部坐标系以指定点和指定点匹配的点所属梯度向量为X轴;
计算任一待匹配点的子区域中的点的梯度幅值和/或梯度方向以及未匹配的点的子区域的点的梯度幅值和/或梯度方向,所述梯度方向为在局部坐标系内与X轴的夹角。
6.根据权利要求5所述的方法,其特征在于:所述根据所述梯度幅值和梯度方向采用零均值归一化公式计算相似度的计算公式为:
其中,Coff为相似度,(xi,yi)为未匹配的点子区域的任一点的全局坐标,(x'i,y'i)为任一待匹配点子区域的局部坐标,m和n分别是子区域中点的坐标的个数,gt代表未匹配的点子区域中的点的梯度幅值或夹角,为未匹配的点子区域中的点的梯度幅值的均值或者夹角偏差均值,f代表任一待匹配点子区域中的点的梯度幅值或者夹角,/>为任一待匹配点子区域中的点的梯度幅值均值或者夹角偏差均值。
7.根据权利要求5所述的方法,其特征在于:所述计算得到指定点和指定点匹配的点的梯度向量包括:
采用sobel算子分别对模板物体边缘轮廓图和目标物体边缘轮廓图求水平和竖直方向的梯度;
根据两个方向的梯度进一步计算得到指定点和指定点匹配的点的梯度向量;计算公式为:
其中,G为梯度幅值,Gx为梯度X轴分量,Gy为梯度Y轴分量,φ为梯度方向;梯度幅值和梯度方向构成梯度向量。
8.根据权利要求1所述的方法,其特征在于,还包括:
将所述模板物体边缘轮廓图所有点进行排序;
根据排序完成所述模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配。
9.一种目标匹配装置,其特征在于,包括:
图像获取模块,用于获取模板图像和待匹配的目标图像;
图像处理模块,用于对所述模板图像和目标图像进行预处理分别得到模板物体边缘轮廓图和目标物体边缘轮廓图;
指定点获取模块,用于获取所述模板物体边缘轮廓图和目标物体边缘轮廓图上任意一对匹配完成的点;
相邻点匹配模块,用于重复以下步骤直至完成所述模板物体边缘轮廓图所有点与目标物体边缘轮廓图的匹配:获取模板物体边缘轮廓图上未匹配的点,所述未匹配的点与所述模板物体边缘轮廓图上的已匹配完成的指定点之间距离在预设值内;获取在所述目标物体边缘轮廓图上距离所述指定点匹配的点的距离在预设值内的所有待匹配点;计算所有待匹配点与所述未匹配的点的相似度;将相似度最高的待匹配点作为所述未匹配的点的匹配点;
目标图像匹配模块,用于若所述模板物体边缘轮廓图上所有点都可以在目标物体边缘轮廓图上得到匹配的点,则完成所述目标图像的匹配。
10.一种机器人,其特征在于,包括:如权利要求9所述的装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110018500.8A CN112767426B (zh) | 2021-01-07 | 2021-01-07 | 一种目标匹配方法、装置和机器人 |
PCT/CN2021/124958 WO2022148091A1 (zh) | 2021-01-07 | 2021-10-20 | 目标匹配方法、装置和机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110018500.8A CN112767426B (zh) | 2021-01-07 | 2021-01-07 | 一种目标匹配方法、装置和机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112767426A CN112767426A (zh) | 2021-05-07 |
CN112767426B true CN112767426B (zh) | 2023-11-17 |
Family
ID=75700646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110018500.8A Active CN112767426B (zh) | 2021-01-07 | 2021-01-07 | 一种目标匹配方法、装置和机器人 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112767426B (zh) |
WO (1) | WO2022148091A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112767426B (zh) * | 2021-01-07 | 2023-11-17 | 珠海格力电器股份有限公司 | 一种目标匹配方法、装置和机器人 |
CN113658253B (zh) * | 2021-07-27 | 2024-06-21 | 广东省大湾区集成电路与系统应用研究院 | 模板匹配定位方法、装置、图像采集设备及存储介质 |
CN114792373B (zh) * | 2022-04-24 | 2022-11-25 | 广东天太机器人有限公司 | 一种工业机器人的视觉识别喷涂方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663391A (zh) * | 2012-02-27 | 2012-09-12 | 安科智慧城市技术(中国)有限公司 | 一种图像的多特征提取与融合方法及系统 |
CN104867183A (zh) * | 2015-06-11 | 2015-08-26 | 华中科技大学 | 一种基于区域增长的三维点云重建方法 |
KR20180096980A (ko) * | 2017-02-22 | 2018-08-30 | 현대자동차주식회사 | 스테레오 카메라를 이용한 거리 추정 방법 및 장치 |
CN110349207A (zh) * | 2019-07-10 | 2019-10-18 | 国网四川省电力公司电力科学研究院 | 一种复杂环境下的视觉定位方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4294881B2 (ja) * | 2000-05-12 | 2009-07-15 | 富士フイルム株式会社 | 画像の位置合わせ方法および装置 |
CN103049750B (zh) * | 2013-01-11 | 2016-06-15 | 广州广电运通金融电子股份有限公司 | 字符识别方法 |
JP6970577B2 (ja) * | 2017-09-29 | 2021-11-24 | 株式会社デンソー | 周辺監視装置および周辺監視方法 |
CN111563916B (zh) * | 2020-05-11 | 2022-06-10 | 中国科学院自动化研究所 | 基于立体视觉的长时无人机跟踪定位方法、系统、装置 |
CN112767426B (zh) * | 2021-01-07 | 2023-11-17 | 珠海格力电器股份有限公司 | 一种目标匹配方法、装置和机器人 |
-
2021
- 2021-01-07 CN CN202110018500.8A patent/CN112767426B/zh active Active
- 2021-10-20 WO PCT/CN2021/124958 patent/WO2022148091A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663391A (zh) * | 2012-02-27 | 2012-09-12 | 安科智慧城市技术(中国)有限公司 | 一种图像的多特征提取与融合方法及系统 |
CN104867183A (zh) * | 2015-06-11 | 2015-08-26 | 华中科技大学 | 一种基于区域增长的三维点云重建方法 |
KR20180096980A (ko) * | 2017-02-22 | 2018-08-30 | 현대자동차주식회사 | 스테레오 카메라를 이용한 거리 추정 방법 및 장치 |
CN110349207A (zh) * | 2019-07-10 | 2019-10-18 | 国网四川省电力公司电力科学研究院 | 一种复杂环境下的视觉定位方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2022148091A1 (zh) | 2022-07-14 |
CN112767426A (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112767426B (zh) | 一种目标匹配方法、装置和机器人 | |
CN109903279B (zh) | 焊缝运动轨迹的自动示教方法和装置 | |
CN112767490B (zh) | 一种基于激光雷达的室外三维同步定位与建图方法 | |
CN103759648B (zh) | 一种基于激光双目视觉的复杂角焊缝位置检测方法 | |
Grosso et al. | 3d object reconstruction using stereo and motion | |
CN110189257B (zh) | 点云获取的方法、装置、系统及存储介质 | |
CN108225319B (zh) | 基于目标特征的单目视觉快速相对位姿估计系统及方法 | |
Zhou et al. | π-LSAM: LiDAR smoothing and mapping with planes | |
JP6899189B2 (ja) | ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法 | |
CN105865344A (zh) | 一种基于机器视觉的工件尺寸测量方法和装置 | |
CN112037318A (zh) | 三维岩体结构模型的构建方法、系统及模型的应用 | |
CN111402330B (zh) | 一种基于平面靶标的激光线关键点提取方法 | |
Zhang et al. | Automatic crack inspection for concrete bridge bottom surfaces based on machine vision | |
CN114170284B (zh) | 基于主动标志点投射辅助的多视图点云配准方法 | |
Chen et al. | Extrinsic calibration of a laser range finder and a camera based on the automatic detection of line feature | |
Zhang et al. | Accurate real-time SLAM based on two-step registration and multimodal loop detection | |
Bai et al. | Analysis and comparison of feature detection and matching algorithms for rovers vision navigation | |
Lee et al. | Visual odometry for absolute position estimation using template matching on known environment | |
Liang et al. | Existing weld seam recognition based on image processing | |
Bevilacqua et al. | Automatic perspective camera calibration based on an incomplete set of chessboard markers | |
Shilin et al. | Application of a Depth Camera for Constructing Complex Three-Dimensional Models in Multiple Scanning Complexes | |
Jin et al. | Robust Visual SLAM systems with Constrained Sub-pixel Corners and High-quality Line Features | |
CN116523984B (zh) | 一种3d点云定位及配准方法、设备和介质 | |
Yeh et al. | Model quality aware ransac: A robust camera motion estimator | |
Ren | An improved binocular LSD_SLAM method for object localization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |