CN111311673B - 一种定位方法及装置、存储介质 - Google Patents

一种定位方法及装置、存储介质 Download PDF

Info

Publication number
CN111311673B
CN111311673B CN201811519617.9A CN201811519617A CN111311673B CN 111311673 B CN111311673 B CN 111311673B CN 201811519617 A CN201811519617 A CN 201811519617A CN 111311673 B CN111311673 B CN 111311673B
Authority
CN
China
Prior art keywords
matching
information
preset
corner
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811519617.9A
Other languages
English (en)
Other versions
CN111311673A (zh
Inventor
万保成
刘旭
刘伟峰
曹凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingbangda Trade Co Ltd
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN201811519617.9A priority Critical patent/CN111311673B/zh
Publication of CN111311673A publication Critical patent/CN111311673A/zh
Application granted granted Critical
Publication of CN111311673B publication Critical patent/CN111311673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种定位方法及装置、存储介质,该方法包括:当获取到物品摆放图像时,对物品摆放图像进行边缘提取,得到边缘图像;将边缘图像和预设边框模板进行匹配,得到匹配位置信息,预设边框模板表征基于物品的大小信息设置的具有预设宽度的边框,匹配位置信息表征物品的预估位置信息;根据预设重合度,从匹配位置信息中确定物品的实际位置信息,完成物品的定位。

Description

一种定位方法及装置、存储介质
技术领域
本发明涉及计算机领域的定位技术,尤其涉及一种定位方法及装置、存储介质。
背景技术
随着机械化的发展,机器能够代替人类进行各种工作。在无人仓等诸多场景中,通常利用机器人进行物品的挑选或装卸等操作,而货物的挑选或装卸等操作均需要对物品进行定位之后才能进行。比如,传送带上的周转箱在指定位置停止运动后进行箱内货物的拣选,或者将工位上码好的物品进行卸载时,都需要确定物品的具体位置。
现有技术中,在获取物品的具体位置时,通常对堆放的物品的图像进行分析,具体是通过二维图像模板匹配方法对物品位置进行确定。然而,上述确定物品的具体位置所采用的二维图像模板匹配方法极易受到图像纹理、光照和色彩等因素的影响,使得匹配的成功率低,从而无法准确确定物品的位置。
发明内容
为解决上述技术问题,本发明实施例期望提供一种定位方法及装置、存储介质,能够准确确定物品的位置。
本发明的技术方案是这样实现的:
第一方面,本发明实施例提供了一种定位方法,所述方法包括:
当获取到物品摆放图像时,对所述物品摆放图像进行边缘提取,得到边缘图像;
将所述边缘图像和预设边框模板进行匹配,得到匹配位置信息,所述预设边框模板表征基于物品的大小信息设置的具有预设宽度的边框,所述匹配位置信息表征物品的预估位置信息;
根据预设重合度,从所述匹配位置信息中确定所述物品的实际位置信息,完成所述物品的定位。
在上述方案中,所述将所述边缘图像和预设边框模板进行匹配,得到匹配位置信息之前,所述方法还包括:
获取所述物品摆放图像的角点信息;
相应地,所述将所述边缘图像和预设边框模板进行匹配,得到匹配位置信息,包括:
根据所述角点信息,将所述边缘图像和所述预设边框模板进行匹配,得到所述匹配位置信息。
在上述方案中,所述获取所述物品摆放图像的角点信息,包括:
获取所述物品摆放图像的第一角点信息;
将所述第一角点信息中大于预设角点阈值的角点对应的信息作为所述角点信息。
在上述方案中,所述将所述第一角点信息中大于预设角点阈值的角点对应的信息作为所述角点信息,包括:
将所述第一角点信息中大于所述预设角点阈值的角点对应的信息作为第二角点信息;
基于预设剔除算法,对所述第二角点信息进行角点剔除处理,得到所述角点信息。
在上述方案中,所述根据所述角点信息,将所述边缘图像和所述预设边框模板进行匹配,得到所述匹配位置信息,包括:
基于所述角点信息中的每一个角点,确定所述预设边框模板在所述边缘图像进行匹配的一个初始位置;
在所述初始位置的预设范围内,将所述边缘图像与所述预设边框模板进行匹配,得到最大匹配度信息,所述最大匹配度信息表征预设范围内所述边缘图像对应在所述边框模板的像素点最多时对应的匹配信息;
当所述最大匹配度信息大于预设匹配度时,将所述最大匹配度信息对应的匹配信息作为所述匹配位置信息。
在上述方案中,所述在所述初始位置的预设范围内,将所述边缘图像与所述预设边框模板进行匹配,得到最大匹配度信息,包括:
在所述初始位置的所述预设范围内,基于预设匹配粒度算法将所述边缘图像与所述预设边框模板进行匹配,得到所述最大匹配度信息,所述预设匹配粒度算法表征逐步加细匹配粒度的算法。
在上述方案中,所述匹配位置信息为无向图结构时,所述将所述最大匹配度信息对应的匹配信息作为所述匹配位置信息,包括:
将所述最大匹配度信息对应的匹配信息的匹配位置抽象为成功匹配点,得到顶点集;
将所述成功匹配点之间的边作为边集;
将所述顶点集和所述边集作为所述匹配位置信息。
在上述方案中,所述根据预设重合度,从所述匹配位置信息中确定物品的位置,包括:
基于所述预设重合度,从所述匹配位置信息中确定最大独立集,所述最大独立集表征所述匹配位置信息中小于所述预设重合度的匹配点对应的信息构成的集合;
根据所述最大独立集,确定所述物品的实际位置信息。
第二方面,本发明实施例提供了一种定位装置,所述装置包括:处理器、存储器和通信总线,所述存储器通过所述通信总线与所述处理器进行通信,所述存储器存储所述处理器可执行的程序,当所述程序被执行时,通过所述处理器执行如上述所述的定位方法。
第三方面,本发明实施例提供了一种计算机可读存储介质,其上存储有程序,所述程序被处理器执行时实现如上述所述的定位方法。
本发明实施例提供了一种定位方法及装置、存储介质,首先,当获取到物品摆放图像时,对物品摆放图像进行边缘提取,得到边缘图像;然后,将边缘图像和预设边框模板进行匹配,得到匹配位置信息,预设边框模板表征基于物品的大小信息设置的具有预设宽度的边框,匹配位置信息表征目标物品对应的位置信息;最后,根据预设重合度,从匹配位置信息中确定物品的位置,完成物品的定位。采用上述技术实现方案,由于在进行物品的定位时,物品的位置是基于物品的边缘图像和预设边框模板的匹配确定的,而边缘图像是物品的边缘信息构成的图像,预设边框模板是基于物品的大小信息设置的具有预设宽度的边框,减少了图像纹理、光照和色彩等因素的影响,因此,实现了一种基于物品对应图像的几何信息确定物品的位置的定位方案,能够准确确定物品的位置。
附图说明
图1为本发明实施例提供的一种定位方法实现流程图;
图2为本发明实施例提供的一种示例性的机器人挑选物品的场景示意图;
图3a-3b为本发明实施例提供的示例性的物品摆放图像示意图;
图4为本发明实施例提供的一种示例性的边缘图像示意图;
图5a-5b为本发明实施例提供的示例性的预设边框模板示意图;
图6为本发明实施例提供的一种示例性的确定物品的实际位置信息的示意图;
图7为本发明实施例提供的一种定位装置的结构示意图一;
图8为本发明实施例提供的一种定位装置的结构示意图二。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
实施例一
本发明实施例提供了一种定位方法,图1为本发明实施例提供的一种定位方法实现流程图,如图1所示,该定位方法包括:
S101、当获取到物品摆放图像时,对物品摆放图像进行边缘提取,得到边缘图像。
在本发明实施例中,当定位装置检测到摆放的物品所成的图像时,即获取到了物品摆放图像;在获得了物品摆放图像之后,定位装置对该物品摆放图像进行分析,进行边缘提取,从而得到对应的边缘图像。
需要说明的是,当采用机器人对物品进行挑选或拆卸时,需要告知机器人要挑选或拆卸的物品的位置,而在获知物品的位置时,通常通过图像采集装置对摆放的物品进行拍摄,得到物品摆放图像。该图像采集装置可以位于定位装置内,此时,当拍得物品摆放图像时,定位装置也就检测到了拍得的该物品摆放图像,即获取到了物品摆放图像;该图像采集装置也可以独立与定位装置,此时,当拍得物品摆放图像时,将该物品摆放图像输入至定位装置,定位装置也就检测到输入的该物品摆放图像,即获取到了物品摆放图像。
示例性地,图2为本发明实施例提供的一种示例性的机器人挑选物品的场景示意图,如图2所示,机器人对工位上的周转箱中的物品进行挑选,具体定位装置通过周转箱上方设置的图像采集装置(相机)获得物品摆放图像,从而对物品进行定位,将定位的信息发送给机器人,以使机器人实现物品的挑选。
图3a和图3b为本发明实施例提供的示例性的物品摆放图像示意图。如图3a和图3b所示,规格相同的物品密集整齐的摆放着。
另外,在物品摆放图像中,由于密集整齐摆放的物品之间的缝隙比物品摆放图像内部的其它边缘的宽度大(如图3a和图3b所示),对应的像素色彩较深,且物品之间的缝隙对应的图像纹理是直线或者近似是直线,因此,通过对物品摆放图像进行边缘提取,就能够得到包含物品之间的缝隙和其它一些非物品之间的缝隙的边缘信息,即边缘图像。这里,物品之间的缝隙是指相邻摆放的物品的边缘之间的缝隙,因此,该边缘图像中包含了摆放的物品的边缘。
这里,定位装置对物品摆放图像进行边缘提取通过现有技术实现,本发明实施例在此不再赘述。
图4为本发明实施例提供的一种示例性的边缘图像示意图,如图4中,边缘图像中包含了物品摆放图像的线条或边缘信息,而线条或边缘信息中,包含物品的边缘信息。
S102、将边缘图像和预设边框模板进行匹配,得到匹配位置信息,预设边框模板表征基于物品的大小信息设置的具有预设宽度的边框,匹配位置信息表征物品的预估位置信息。
在本发明实施例中,定位装置能够获取到物品的大小信息,基于该大小信息设置具有预设宽度的边框,即预设边框模板;定位装置根据该预设边框模板,在边缘图像中进行物品的初步定位,具体为,将边缘图像和预设边框模板进行匹配,从而得到表征物品的预估位置信息,即匹配位置信息。
需要说明的是,由于在S101中定位装置通过对摆放的物品所成的物品摆放图像进行边缘提取,得到的边缘图像中包含两类边缘信息,一类是物品的边缘对应的边缘信息,另一类是非物品的边缘对应的边缘信息(比如,物品上图案的线条)。因此,当使用预设边框模板和边缘图像匹配时,该边缘图像中肯定存在复合于该预设边框模板的边缘信息,而该复合于该预设边框目标的边缘信息也就构成了匹配位置信息。从而匹配位置信息为物品的预估位置信息。
优选的,该匹配位置信息包括预设边框模板在边缘图像中的其中一个顶点的位置信息和相对于该顶点的位置信息的放置角度信息。
这里,物品的大小信息可以为物品的长和宽。此时根据物品的长和宽设置本发明实施例中的预设边框模板。比如,图5a和图5b为本发明实施例提供的示例性的预设边框模板示意图,其中,图5a中的预设边框模板为图3a的物品摆放图像中的物品对应的预设边框模板,图5b中的预设边框模板为图3b的物品摆放图像中的物品对应的预设边框模板。此外,对于预设边框模板的预设宽度,根据实际情况进行确定,本发明实施例对此不作具体限定。
具体地,定位装置将边缘图像和预设边框模板进行匹配时,将边缘图像的一个像素点作为预设边框模板在边缘图像的初始放置位置进行匹配,通过遍历边缘图像的每个像素点,选取匹配度大于预设阈值的位置作为匹配位置信息;而匹配度可以通过边缘图像在预设边框模板中的像素点数量衡量,像素点数量越多匹配度越大。这里,定位装置通过改变预设边框模板的位置进行匹配,包括改变各个方向的位置和交换预设边框模板的长和宽。
S103、根据预设重合度,从匹配位置信息中确定物品的实际位置信息,完成物品的定位。
在本发明实施例中,定位装置在获得匹配位置信息之后,由于匹配位置信息表征为物品的预估位置信息,又由于物品摆放图像中的物品是整齐摆放没有重合的,因此定位装置预先设置预设重合度,从匹配位置信息中剔除掉重合度大于预设重合度的匹配位置信息,从而也就得到了物品的实际位置信息,完成了物品的定位。
这里,定位装置根据匹配位置信息能够确定匹配位置信息中的各匹配点之间的重合度,从而能够根据预设重合度,从匹配位置信息中剔除掉重合度大于预设重合度的匹配位置信息。
图6为本发明实施例提供的一种示例性的确定物品的实际位置信息的示意图,如图6所示,左边为包含重合的物品的预估位置信息,通过根据预设重合度将该重合的物品删除掉,就获得了右边仅包含物品的实际位置信息的图。
可以理解的是,本发明实施例中的定位装置通过对物品摆放图像进行边缘提取,并根据预设边框模板和预设重合度对得到的边缘图像进行处理,从而得到物品的实际位置信息;获取该物品的实际位置信息的过程仅根据物品的几何信息获得的,可实现性强,精准度高。
进一步地,在本发明实施例中,S102中定位装置将边缘图像和预设边框模板进行匹配,得到匹配位置信息之前,该定位方法还包括S104,具体为:
S104、获取物品摆放图像的角点信息。
在本发明实施例中,由于匹配在边缘图像的正确的位置处的预设边框模板的顶点都是角点,据此,定位装置通计算物品摆放图像上的角点信息实现预设边框模板和边缘图像的匹配。
需要说明的是,角点信息表征图像中属性突出的点。比如,角点信息可以是两条线的交叉处,也可以是位于相邻的两个主要方向不同的事物上的点。而物品边缘的顶点肯定是角点信息。
这里,在得到角点信息之后,相应地,S102中定位装置将边缘图像和预设边框模板进行匹配,得到匹配位置信息,包括:定位装置根据角点信息,将边缘图像和预设边框模板进行匹配,得到匹配位置信息。
可以理解的是,将该角点信息对应的位置作为预设边框模板在边缘图像匹配时的初始放置位置,避免了将每个像素点均作为预设边框模板在边缘图像匹配时的初始放置位置带来的工作量大的问题,提高了物品定位的速度和效率。
进一步地,在本发明实施例中,S104中定位装置获取物品摆放图像的角点信息,具体包括S104a-S104b,其中:
S104a、获取物品摆放图像的第一角点信息。
在本发明实施例中,定位装置通过计算物品摆放图像的角点,就能得到对应的包含该物品摆放图像的全部角点,即第一角点信息。
需要说明的是,第一角点信息指物品摆放图像中所有的角点组成的信息;具体定位装置计算物品摆放图像的角点获得第一角点信息时采用现有技术中角点的获取方法,本发明实施例在此不再赘述。
S104b、将第一角点信息中大于预设角点阈值的角点对应的信息作为角点信息。
在本发明实施例中,当定位装置获取到第一角点信息之后,由于物品的边缘对应的角点信息相比其他非物品的边缘对应的角点信息,其特定属性值偏大(比如,灰度值),因此,定位装置基于物品的边缘对应的角点信息的属性信息预先设置有预设角点阈值,用于将第一角点信息中的其他非物品的边缘对应的角点信息删减掉。具体删减过程为定位装置从第一角点信息中获取大于预设角点阈值的角点,将该角度在第一角度信息中的信息作为角点信息。
可以理解的是,定位装置通过设置预设角点阈值对从物品摆放图像获取到全部角点信息中的一些非物品的边缘对应的角点信息进行剔除,减少了用于匹配预设边框模板和边缘图像的角点的数量,从而减少了匹配次数、计算量和定位装置对物品定位的功耗,进一步提高了物品定位的速度和效率。
进一步地,在本发明实施例中,S104b中定位装置将第一角点信息中大于预设角点阈值的角点对应的信息作为角点信息,具体包括S104b1-S104b2,其中:
S104b1、将第一角点信息中大于预设角点阈值的角点对应的信息作为第二角点信息。
在本发明实施例中,定位装置在根据预设角点阈值对物品摆放图像中全部的角点的数量进行删减之后,对角点数量还能够进行进一步的删减。这里,首先定位装置需获得根据预设角点阈值对物品摆放图像中全部的角点的数量进行了删减之后的第二角点信息。
S104b2、基于预设剔除算法,对第二角点信息进行角点剔除处理,得到角点信息。
在本发明实施例中,定位装置采用预先设置的预设剔除算法对得到的第二角点信息的数量进行进一步地删减,即基于预设剔除算法,对第二角点信息进行角点剔除处理,从而得到角点信息。
需要说明的是,预设剔除算法表征为根据第二角点信息的距离信息对第二角点信息进行聚类,在每一聚类簇中仅选取一个角点实现预设边框和边缘图像的匹配。
优选地,预设剔除算法为非极大抑制算法:确定距离上较近的角点,从而确定一预设角点区域,在该预设角点区域中选取其中一个角点实现预设边框和边缘图像的匹配。
可以理解的是,通过对物品摆放图像中全部角点的数量进行两次数量的删减,此时,在利用角点信息实现预设边框和边缘图像的匹配时,大大减少了匹配次数,从而减少了计算量和定位装置对物品定位的功耗,提高了物品定位的速度和效率。
需要说明的是,本发明实施例中实现预设边框模板和边缘图像的匹配时,可以遍历整个像素点实现;而为了减少匹配次数,通过计算物品摆放图像的角点实现预设边框和边缘图像的匹配,进一步减少了匹配次数;而通过对角点数量进行两次删减之后,更进一步减少了匹配次数。从而最大限度的提高了物品定位的速度和效率。
进一步地,在本发明实施例中,当定位装置获取到角点信息之后,根据角点信息,将边缘图像和预设边框模板进行匹配,得到匹配位置信息,具体包括:
S105、基于角点信息中的每一个角点,确定预设边框模板在边缘图像进行匹配的一个初始位置。
在本发明实施例中,定位装置在利用角点信息进行预设边框模板和边缘图像的匹配时,是将角点信息中的每一个角点作为预设边框模板在边缘图像进行匹配的一个初始位置而实现的。
S106、在初始位置的预设范围内,将边缘图像与预设边框模板进行匹配,得到最大匹配度信息,最大匹配度信息表征预设范围内边缘图像对应在边框模板的像素点最多时对应的匹配信息。
在本发明实施例中,定位装置在进行预设边框模板和边缘图像的匹配时,如果最先确定了预设边框模板在边缘图像放置的初始位置,在该初始位置所属的预设范围内进行搜索匹配,以确定预设范围内边缘图像对应在边框模板的像素点最多时对应的匹配信息,即最大匹配度信息。
需要说明的是,由于边缘图像中包含物品的边缘信息,当边缘图像中表征的物品边缘信息与预设边框模板复合时,预设边框模板中的像素点数量最多,因此,这里,利用边缘图像在预设边框模板中的像素点的数量作为匹配度的衡量。
S107、当最大匹配度信息大于预设匹配度时,将最大匹配度信息对应的匹配信息作为匹配位置信息。
在本发明实施例中,定位装置根据边缘图像中物品的边缘信息在预设边框模板中的最低像素点数量设置预设匹配度,通过判断最大匹配度信息是否大于预设匹配度,就能判定是否将最大匹配度信息对应的匹配信息作为匹配位置信息。具体为,当最大匹配度信息大于预设匹配度时,定位装置将最大匹配度信息对应的匹配信息作为匹配位置信息。
进一步地,在本发明实施例中,S106中定位装置在初始位置的预设范围内,将边缘图像与预设边框模板进行匹配,得到最大匹配度信息,具体包括:在初始位置的预设范围内,定位装置基于预设匹配粒度算法将边缘图像与预设边框模板进行匹配,得到最大匹配度信息。这里,预设匹配粒度算法表征逐步加细匹配粒度的算法。
也就是说,当定位装置选择一个角点作为预设边框模板和边缘图像的匹配的初始位置,在该角点附近进行搜索匹配时,先基于粗网格通过各方向的平移、旋转和交换预设边框模板的长和宽进行,待确定到较大的匹配度时,采用更细的网格再通过各方向的平移、旋转和交换预设边框模板的长和宽进行,直到网格达到预设粒度。
需要说明的是,S102中定位装置将边缘图像和预设边框模板进行匹配,得到匹配位置信息的过程中,仍然能够采用预设匹配粒度算法减少匹配次数。
可以理解的是,在进行预设边框模板和边缘图像的匹配时,通过预设匹配粒度算法,减少了匹配次数,从而减少了计算量,进而减少了定位装置对物品定位的功耗,提高了物品定位的速度和效率。
进一步地,在本发明实施例中,匹配位置信息为无向图结构时,S107中定位装置将最大匹配度信息对应的匹配信息作为匹配位置信息,具体包括107a-S107c,其中:
S107a、将最大匹配度信息对应的匹配信息的匹配位置抽象为成功匹配点,得到顶点集。
在本发明实施例中,优选地用无向图结构表征匹配位置信息,此时,对于匹配位置信息的顶点集,由成功匹配点构成,而成功匹配点,由定位装置通过抽象最大匹配度信息对应的匹配信息的匹配位置为一个点获得。
S107b、将成功匹配点之间的边作为边集。
在本发明实施例中,对于匹配位置信息的边集,由成功匹配点之间的边构成,具体成功匹配点之间的边通过判断匹配位置信息中的各成功匹配点之间是否存在重合,当有重合时,确定存在边,而具体的重合信息(比如,重合面积),即为该边的权重信息。
S107c、将顶点集和边集作为匹配位置信息。
在本发明实施例中,当定位装置获取到匹配位置信息的顶点集和匹配位置信息的边集之后,顶点集和边集构成了匹配位置信息。
可以理解的是,通过无向图结构表征匹配位置信息,进而能够基于无向图的处理方法获取物品的实际位置信息,是一种从几何角度进行物品定位的方法,精准度高。
进一步地,在本发明实施例中,S103中定位装置根据预设重合度,从匹配位置信息中确定物品的实际位置信息,具体包括:基于预设重合度,定位装置从匹配位置信息中确定最大独立集,最大独立集表征匹配位置信息中小于预设重合度的匹配点对应的信息构成的集合;并根据最大独立集,确定物品的实际位置信息。
也就是说,在本发明实施例中,利用物品整齐摆放无重合的先验知识,通过寻找匹配位置信息中的最大独立集,就获得了物品的实际位置信息,具体为最大独立集中的每个点对应一个物品,相应地,最大独立集中的每个点的信息即为物品的实际位置信息。
可以理解的是,由于在进行物品的定位时,物品的位置是基于物品的边缘图像和预设边框模板的匹配确定的,而边缘图像是物品的边缘信息构成的图像,预设边框模板是基于物品的大小信息设置的具有预设宽度的边框,减少了图像纹理、光照和色彩等因素的影响,因此,实现了一种基于物品对应图像的几何信息确定物品的位置的定位方案,能够准确确定物品的位置。
实施例二
基于实施例一同一发明构思,本发明实施例提供了一种定位装置1,对应于一种定位方法;图7为本发明实施例提供的一种定位装置的结构示意图一,如图7所示,该定位装置1包括:
提取单元10,用于当获取到物品摆放图像时,对所述物品摆放图像进行边缘提取,得到边缘图像;
匹配单元11,用于将所述边缘图像和预设边框模板进行匹配,得到匹配位置信息,所述预设边框模板表征基于物品的大小信息设置的具有预设宽度的边框,所述匹配位置信息表征物品的预估位置信息;
确定单元12,用于根据预设重合度,从所述匹配位置信息中确定所述物品的实际位置信息,完成所述物品的定位。
进一步,所述定位装置1还包括获取单元13,所述获取单元13,用于获取所述物品摆放图像的角点信息。
相应地,所述匹配单元11,用于根据所述角点信息,将所述边缘图像和所述预设边框模板进行匹配,得到所述匹配位置信息。
进一步地,所述获取单元13,具体用于获取所述物品摆放图像的第一角点信息;以及将所述第一角点信息中大于预设角点阈值的角点对应的信息作为所述角点信息。
进一步地,所述获取单元13,具体还用于将所述第一角点信息中大于所述预设角点阈值的角点对应的信息作为第二角点信息;以及基于预设剔除算法,对所述第二角点信息进行角点剔除处理,得到所述角点信息。
进一步地,所述匹配单元11,具体用于基于所述角点信息中的每一个角点,确定所述预设边框模板在所述边缘图像进行匹配的一个初始位置;以及在所述初始位置的预设范围内,将所述边缘图像与所述预设边框模板进行匹配,得到最大匹配度信息,所述最大匹配度信息表征预设范围内所述边缘图像对应在所述边框模板的像素点最多时对应的匹配信息;并当所述最大匹配度信息大于预设匹配度时,将所述最大匹配度信息对应的匹配信息作为所述匹配位置信息。
进一步地,所述匹配单元11,具体还用于在所述初始位置的所述预设范围内,基于预设匹配粒度算法将所述边缘图像与所述预设边框模板进行匹配,得到所述最大匹配度信息,所述预设匹配粒度算法表征逐步加细匹配粒度的算法。
进一步地,所述匹配位置信息为无向图结构时,所述匹配单元11,具体用于将所述最大匹配度信息对应的匹配信息的匹配位置抽象为成功匹配点,得到顶点集;以及将所述成功匹配点之间的边作为边集;将所述顶点集和所述边集作为所述匹配位置信息。
进一步地,所述确定单元12,具体用于基于所述预设重合度,从所述匹配位置信息中确定最大独立集,所述最大独立集表征所述匹配位置信息中小于所述预设重合度的匹配点对应的信息构成的集合;以及根据所述最大独立集,确定所述物品的实际位置信息。
需要说明的是,在实际应用中,上述提取单元10、匹配单元11、确定单元12、和获取单元13可由位于定位装置1上的处理器14实现,具体为CPU(Central Processing Unit,中央处理器)、MPU(Microprocessor Unit,微处理器)、DSP(Digital Signal Processing,数字信号处理器)或现场可编程门阵列(FPGA,Field Programmable Gate Array)等实现。
本发明实施例还提供了一种定位装置1,如图8所示,所述定位装置1包括:处理器14、存储器15和通信总线16,所述存储器15通过所述通信总线16与所述处理器14进行通信,所述存储器15存储所述处理器14可执行的程序,当所述程序被执行时,通过所述处理器14执行如实施例一所述的定位方法。
在实际应用中,上述存储器15可以是易失性存储器(volatile memory),例如随机存取存储器(Random-Access Memory,RAM);或者非易失性存储器(non-volatile memory),例如只读存储器(Read-Only Memory,ROM),快闪存储器(flash memory),硬盘(Hard DiskDrive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,并向处理器14提供指令和数据。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,所述程序被处理器14执行时实现如实施例一所述的定位方法。
可以理解的是,由于在进行物品的定位时,物品的位置是基于物品的边缘图像和预设边框模板的匹配确定的,而边缘图像是物品的边缘信息构成的图像,预设边框模板是基于物品的大小信息设置的具有预设宽度的边框,减少了图像纹理、光照和色彩等因素的影响,因此,实现了一种基于物品对应图像的几何信息确定物品的位置的定位方案,能够准确确定物品的位置。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (9)

1.一种定位方法,其特征在于,所述方法包括:
当获取到物品摆放图像时,对所述物品摆放图像进行边缘提取,得到边缘图像;
将所述边缘图像和预设边框模板进行匹配,得到匹配位置信息,所述预设边框模板表征基于物品的大小信息设置的具有预设宽度的边框,所述匹配位置信息表征物品的预估位置信息;
根据预设重合度,从所述匹配位置信息中确定所述物品的实际位置信息,完成所述物品的定位;
其中,所述根据预设重合度,从所述匹配位置信息中确定物品的实际位置信息,包括:
基于所述预设重合度,从所述匹配位置信息中确定最大独立集,所述最大独立集表征所述匹配位置信息中小于所述预设重合度的匹配点对应的信息构成的集合;
根据所述最大独立集,确定所述物品的实际位置信息。
2.根据权利要求1所述的方法,其特征在于,所述将所述边缘图像和预设边框模板进行匹配,得到匹配位置信息之前,所述方法还包括:
获取所述物品摆放图像的角点信息;
相应地,所述将所述边缘图像和预设边框模板进行匹配,得到匹配位置信息,包括:
根据所述角点信息,将所述边缘图像和所述预设边框模板进行匹配,得到所述匹配位置信息。
3.根据权利要求2所述的方法,其特征在于,所述获取所述物品摆放图像的角点信息,包括:
获取所述物品摆放图像的第一角点信息;
将所述第一角点信息中大于预设角点阈值的角点对应的信息作为所述角点信息。
4.根据权利要求3所述的方法,其特征在于,所述将所述第一角点信息中大于预设角点阈值的角点对应的信息作为所述角点信息,包括:
将所述第一角点信息中大于所述预设角点阈值的角点对应的信息作为第二角点信息;
基于预设剔除算法,对所述第二角点信息进行角点剔除处理,得到所述角点信息。
5.根据权利要求2所述的方法,其特征在于,所述根据所述角点信息,将所述边缘图像和所述预设边框模板进行匹配,得到所述匹配位置信息,包括:
基于所述角点信息中的每一个角点,确定所述预设边框模板在所述边缘图像进行匹配的一个初始位置;
在所述初始位置的预设范围内,将所述边缘图像与所述预设边框模板进行匹配,得到最大匹配度信息,所述最大匹配度信息表征预设范围内所述边缘图像对应在所述边框模板的像素点最多时对应的匹配信息;
当所述最大匹配度信息大于预设匹配度时,将所述最大匹配度信息对应的匹配信息作为所述匹配位置信息。
6.根据权利要求5所述的方法,其特征在于,所述在所述初始位置的预设范围内,将所述边缘图像与所述预设边框模板进行匹配,得到最大匹配度信息,包括:
在所述初始位置的所述预设范围内,基于预设匹配粒度算法将所述边缘图像与所述预设边框模板进行匹配,得到所述最大匹配度信息,所述预设匹配粒度算法表征逐步加细匹配粒度的算法。
7.根据权利要求5所述的方法,其特征在于,所述匹配位置信息为无向图结构时,所述将所述最大匹配度信息对应的匹配信息作为所述匹配位置信息,包括:
将所述最大匹配度信息对应的匹配信息的匹配位置抽象为成功匹配点,得到顶点集;
将所述成功匹配点之间的边作为边集;
将所述顶点集和所述边集作为所述匹配位置信息。
8.一种定位装置,其特征在于,所述装置包括:处理器、存储器和通信总线,所述存储器通过所述通信总线与所述处理器进行通信,所述存储器存储所述处理器可执行的程序,当所述程序被执行时,通过所述处理器执行如权利要求1-7任一项所述的方法。
9.一种计算机可读存储介质,其上存储有程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7任一项所述的方法。
CN201811519617.9A 2018-12-12 2018-12-12 一种定位方法及装置、存储介质 Active CN111311673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811519617.9A CN111311673B (zh) 2018-12-12 2018-12-12 一种定位方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811519617.9A CN111311673B (zh) 2018-12-12 2018-12-12 一种定位方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN111311673A CN111311673A (zh) 2020-06-19
CN111311673B true CN111311673B (zh) 2023-11-03

Family

ID=71144640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811519617.9A Active CN111311673B (zh) 2018-12-12 2018-12-12 一种定位方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN111311673B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907668B (zh) * 2021-02-26 2024-01-30 梅卡曼德(北京)机器人科技有限公司 垛型中组垛箱体的识别方法、装置及机器人

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102654902A (zh) * 2012-01-16 2012-09-05 江南大学 基于轮廓向量特征的嵌入式实时图像匹配方法
CN104021559A (zh) * 2014-06-17 2014-09-03 西安电子科技大学 基于互信息和Harris角点检测的图像配准方法
CN104657964A (zh) * 2015-03-09 2015-05-27 重庆邮电大学 一种碎片图像计算机自动拼接方法
CN104915949A (zh) * 2015-04-08 2015-09-16 华中科技大学 一种结合点特征和线特征的图像匹配算法
CN107403141A (zh) * 2017-07-05 2017-11-28 中国科学院自动化研究所 人脸检测方法及装置、计算机可读存储介质、设备
US10019654B1 (en) * 2017-06-28 2018-07-10 Accenture Global Solutions Limited Image object recognition
CN108647573A (zh) * 2018-04-04 2018-10-12 杭州电子科技大学 一种基于深度学习的军事目标识别方法
CN108664916A (zh) * 2018-05-08 2018-10-16 深圳市唯特视科技有限公司 一种基于锚点设计的小面孔检测方法
CN108764343A (zh) * 2018-05-29 2018-11-06 西安电子科技大学 一种跟踪算法中的跟踪目标框的定位方法
CN108875577A (zh) * 2018-05-11 2018-11-23 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7269284B2 (en) * 2001-09-20 2007-09-11 International Business Machines Corporation Method and apparatus using dual bounding boxes as dynamic templates for cartridge rack identification and tracking
US9609176B2 (en) * 2015-08-27 2017-03-28 Nokia Technologies Oy Method and apparatus for modifying a multi-frame image based upon anchor frames
CN108073929B (zh) * 2016-11-15 2023-11-24 北京三星通信技术研究有限公司 基于动态视觉传感器的物体检测方法及设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102654902A (zh) * 2012-01-16 2012-09-05 江南大学 基于轮廓向量特征的嵌入式实时图像匹配方法
CN104021559A (zh) * 2014-06-17 2014-09-03 西安电子科技大学 基于互信息和Harris角点检测的图像配准方法
CN104657964A (zh) * 2015-03-09 2015-05-27 重庆邮电大学 一种碎片图像计算机自动拼接方法
CN104915949A (zh) * 2015-04-08 2015-09-16 华中科技大学 一种结合点特征和线特征的图像匹配算法
US10019654B1 (en) * 2017-06-28 2018-07-10 Accenture Global Solutions Limited Image object recognition
CN107403141A (zh) * 2017-07-05 2017-11-28 中国科学院自动化研究所 人脸检测方法及装置、计算机可读存储介质、设备
CN108647573A (zh) * 2018-04-04 2018-10-12 杭州电子科技大学 一种基于深度学习的军事目标识别方法
CN108664916A (zh) * 2018-05-08 2018-10-16 深圳市唯特视科技有限公司 一种基于锚点设计的小面孔检测方法
CN108875577A (zh) * 2018-05-11 2018-11-23 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
CN108764343A (zh) * 2018-05-29 2018-11-06 西安电子科技大学 一种跟踪算法中的跟踪目标框的定位方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"Learn to Detect Objects Incrementally";Linting Guan等;《2018 IEEE Intelligent Vehicles Symposium (IV)》;全文 *
"一种基于深度学习的机械臂抓取方法";杜学丹等;《机器人》;第39卷(第6期);全文 *
"基于 MaskR-CNN的 ORB去误匹配方法";张博等;《液晶与显示》;第33卷(第8期);全文 *
"基于双目图像多特征点融合匹配物体识别与定位研究";王霖郁等;《无线电工程》;第48卷(第8期);全文 *
"基于深度学习的端到端车牌检测识别系统";曹正凤等;《中国交通信息化》(第9期);全文 *
Nashwan Adnan OTHMAN等."A New Deep Learning Application Based on Movidius NCS for Embedded Object Detection and Recognition ". 2018 2nd International Symposium on Multidisciplinary Studies and Innovative Technologies (ISMSIT).2018,全文. *

Also Published As

Publication number Publication date
CN111311673A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
Zhong et al. Detect-SLAM: Making object detection and SLAM mutually beneficial
CN109697688B (zh) 一种用于图像处理的方法和装置
CN112070818A (zh) 基于机器视觉的机器人无序抓取方法和系统及存储介质
KR102113909B1 (ko) 3차원 모델링 방법 및 장치
Ückermann et al. 3D scene segmentation for autonomous robot grasping
CN104794756A (zh) 点云模型贴图系统及方法
CN112828892B (zh) 一种工件抓取方法、装置、计算机设备及存储介质
JP5468824B2 (ja) 3次元における形状の一致を判定する方法および装置
CN111966041B (zh) 机器人的控制方法和装置
US11772271B2 (en) Method and computing system for object recognition or object registration based on image classification
US20230381971A1 (en) Method and computing system for object registration based on image classification
CN111311673B (zh) 一种定位方法及装置、存储介质
WO2021056501A1 (zh) 提取特征点的方法、可移动平台及存储介质
CN108960247A (zh) 图像显著性检测方法、装置以及电子设备
CN109815763A (zh) 二维码的检测方法、装置和存储介质
Muresan et al. A multi patch warping approach for improved stereo block matching
CN110490887B (zh) 一种基于3d视觉的对矩形包裹边缘快速识别定位方法
CN110781907A (zh) 一种切割线生成方法及装置
CN109388131B (zh) 基于角点特征识别的机器人姿态控制方法、系统及机器人
Kundu et al. A novel geometry-based algorithm for robust grasping in extreme clutter environment
Liu et al. A practical algorithm for automatic chessboard corner detection
CN114331919A (zh) 深度恢复方法、电子设备及存储介质
CN113345015A (zh) 一种包裹位置检测方法、装置、设备及可读存储介质
CN108305273B (zh) 一种对象检测方法、装置及存储介质
CN104361364A (zh) 基于机器视觉的不规则形状物体的计数方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210305

Address after: Room a1905, 19 / F, building 2, No. 18, Kechuang 11th Street, Daxing Economic and Technological Development Zone, Beijing 100176

Applicant after: Beijing Jingdong Qianshi Technology Co.,Ltd.

Address before: 100080 Beijing Haidian District, Suzhou Street, No. 20 Courtyard, No. 2 Building, 1st Floor

Applicant before: Beijing Jingbangda Trading Co.,Ltd.

Effective date of registration: 20210305

Address after: 100080 Beijing Haidian District, Suzhou Street, No. 20 Courtyard, No. 2 Building, 1st Floor

Applicant after: Beijing Jingbangda Trading Co.,Ltd.

Address before: 100086 8th Floor, 76 Zhichun Road, Haidian District, Beijing

Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant