CN112101378A - 机器人重定位方法、装置及设备 - Google Patents

机器人重定位方法、装置及设备 Download PDF

Info

Publication number
CN112101378A
CN112101378A CN202010842807.5A CN202010842807A CN112101378A CN 112101378 A CN112101378 A CN 112101378A CN 202010842807 A CN202010842807 A CN 202010842807A CN 112101378 A CN112101378 A CN 112101378A
Authority
CN
China
Prior art keywords
robot
feature point
point set
image
dimensional code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010842807.5A
Other languages
English (en)
Inventor
张晓龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiangge Robot Co Ltd
Original Assignee
Shanghai Jiangge Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiangge Robot Co Ltd filed Critical Shanghai Jiangge Robot Co Ltd
Priority to CN202010842807.5A priority Critical patent/CN112101378A/zh
Publication of CN112101378A publication Critical patent/CN112101378A/zh
Priority to JP2020211319A priority patent/JP6906262B1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Abstract

本说明书实施例提供一种机器人重定位方法、装置及设备。方法包括:预先构建视觉地图,以记录机器人所在作业空间中各特征点的位置;在机器人需要重定位时,采集附近的目标环境图像并提取其中的第一特征点集,然后,将所述第一特征点集与视觉地图进行匹配,从而得到相匹配的第二特征点集及其位置,并以此为依据计算出机器人的当前位置,由此,可达到简便且准确地重定位的目的。

Description

机器人重定位方法、装置及设备
技术领域
本文件涉及计算机技术领域,尤其涉及一种机器人重定位方法、装置及设备。
背景技术
随着人工智能技术的日趋成熟,机器人也从工业机器人逐步向方便人们生活所用的智能移动机器人发展,越来越多的物流仓储行业使用智能机器人进行分拣作业,这极大提高了仓库作业的准确性与效率,但是也随之带来一些问题,仓库中应用的机器人每次开机时,需要对机器人进行定位,找到机器人在当前地图中的位置坐标,大量的开机准备工作耗时耗力。另外,机器人在大型仓库中执行任务时,由于人为因素或其他因素造成环境改变,机器人容易“迷路”,即机器人丢失位置,造成任务中断,影响订单任务的执行,也可能影响其他机器人任务的正常执行。
因此,需要有效的重定位方案。
发明内容
本说明书实施例提供一种机器人重定位方法、装置及设备,以实现简便且准确地机器人重定位。
本说明书实施例还提供一种机器人重定位方法,包括:
机器人需要重定位时采集附近的目标环境图像;
将所述目标环境图像中的第一特征点集与预建立的视觉地图进行匹配,得到与所述第一特征点集相匹配的第二特征点集,所述视觉地图用于记录机器人的作业空间中的特征点的位置信息;
基于所述第一特征点集,确定所述机器人与所述第二特征点集之间的相对位置;
基于所述相对位置和所述第二特征点集的位置信息,确定所述机器人在作业空间中的位置信息。
本说明书实施例还提供一种机器人重定位装置,包括:
采集模块,用于机器人需要重定位时采集附近的目标环境图像;
匹配模块,用于将所述目标环境图像中的第一特征点集与预建立的视觉地图进行匹配,得到与所述第一特征点集相匹配的第二特征点集,所述视觉地图用于记录机器人的作业空间中的特征点的位置信息;
处理模块,用于基于所述第一特征点集,确定所述机器人与所述第二特征点集之间的相对位置;
定位模块,用于基于所述相对位置和所述第二特征点集的位置信息,确定所述机器人在作业空间中的位置信息。
本说明书实施例还提供一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:
机器人需要重定位时采集附近的目标环境图像;
将所述目标环境图像中的第一特征点集与预建立的视觉地图进行匹配,得到与所述第一特征点集相匹配的第二特征点集,所述视觉地图用于记录机器人的作业空间中的特征点的位置信息;
基于所述第一特征点集,确定所述机器人与所述第二特征点集之间的相对位置;
基于所述相对位置和所述第二特征点集的位置信息,确定所述机器人在作业空间中的位置信息。
本说明书实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如下操作:
机器人需要重定位时采集附近的目标环境图像;
将所述目标环境图像中的第一特征点集与预建立的视觉地图进行匹配,得到与所述第一特征点集相匹配的第二特征点集,所述视觉地图用于记录机器人的作业空间中的特征点的位置信息;
基于所述第一特征点集,确定所述机器人与所述第二特征点集之间的相对位置;
基于所述相对位置和所述第二特征点集的位置信息,确定所述机器人在作业空间中的位置信息。
本说明书一个实施例实现了,通过预先构建视觉地图,以记录机器人所在作业空间中各特征点的位置;在机器人需要重定位时,采集附近的目标环境图像并提取其中的第一特征点集,然后,将所述第一特征点集与视觉地图进行匹配,从而得到相匹配的第二特征点集及其位置,并以此为依据计算出机器人的当前位置。由此,可达到简便且准确地重定位的目的。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书提供的应用场景的示意图;
图2为本说明书一实施例提供的一种机器人重定位方法的流程示意图;
图3为本说明书一实施例提供的二维码图像采集高度的示意图;
图4为本说明书一实施例提供的二维码地图的构建过程的流程示意图;
图5为本说明书另一实施例提供的一种机器人重定位方法的流程示意图;
图6为本说明书一实施例提供的一种机器人重定位装置的结构示意图;
图7为本说明书一实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本文件保护的范围。
基于背景技术部分陈述的,机器人在作业过程中容易出现位置丢失的情况,因此,亟需一种有效的重定位方案。基于此,本说明书提供一种机器人重定位方法,通过预先构建视觉地图,以记录机器人所在作业空间中各特征点的位置;在机器人需要重定位时,采集附近的目标环境图像并提取其中的第一特征点集,然后,将所述第一特征点集与视觉地图进行匹配,从而得到相匹配的第二特征点集及其位置,并以此为依据计算出机器人的当前位置,实现简便且准确地重定位。
下面参见图1对本说明书的应用场景进行示例性说明。
本应用场景中包括:多个机器人101和机器人管理系统102,其中:
机器人101,用于在指定作业空间按照合理路线进行作业,以完成相关任务,如将A点的物品运输至B点;在作业过程中,机器人101的位置可能会因为重启、故障灯原因丢失,导致行进路线中断,进而影响作业的完成,因此,需要进行重定位操作;
机器人管理系统102,用于管理多个机器人101,包括分发任务、监控机器人状态等。
其中,机器人是指能够半自主或全自主工作的智能机器,具有感知、决策、执行等基本特征;作业空间是指机器人作业所需空间,包括密闭空间、无顶空间、无边界空间(如仅有若干根支柱做标识)。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图2为本说明书一实施例提供的一种机器人重定位方法的流程示意图,该方法可有图1中的机器人101执行,参见图2,所述方法具体可以包括如下步骤:
步骤202、机器人需要重定位时采集附近的目标环境图像;
其中,机器人需要重定位的情况至少包括:作业过程中位置丢失、重启时的位置初始化等;所述目标环境图像是指机器人的摄像头采集的附近区域的图像,如摄像头的视角为预设水平高度时采集的图像,又如摄像头的视角为预设仰视角时采集的图像。
下面以二维码图像为例对步骤202的实现方式进行详细说明:
当机器人重启而初始化当前位置时或者在作业过程中位置丢失时,机器人按照预设采集规则,通过摄像头采集处于摄像头的图像采集区域内的二维码的图像,得到二维码图像。所述采集规则包括采集预设高度范围的区域内的二维码,所述预设高度范围一般是指二维码粘贴高度的范围。如图3所示,二维码在空间(如墙体)中的粘贴高度的范围一般为图中阴影区域,则可由机器人按照该预设高度范围进行采集,从而可提高二维码识别效率,进而提高重定位效率。
步骤204、将所述目标环境图像中的第一特征点集与预建立的视觉地图进行匹配,得到与所述第一特征点集相匹配的第二特征点集,所述视觉地图用于记录机器人的作业空间中的特征点的位置信息;
其中,特征点集是指从环境图像中提取的特征点的集合,如图像中颜色明显区别于其他区域的目标油漆区对应的特征点、图像中存在的标志物对应的特征点等;视觉地图是指机器人的作业空间的空间坐标系且在其中标记有所需特征点的位置信息。
下面参见图4对视觉地图的构建过程进行详细说明:
步骤402、扫描机器人所处的作业空间,构建所述作业空间的初始地图;
具体地,选择一机器人作为建图机器人,由该建图机器人按照既定移动路径移动,并在移动中通过机器人携带的激光雷达装置对所述作业空间进行三维扫描处理,从而构建出覆盖所述作业空间的俯视角度的二维或三维地图,记为初始地图。
其中,所述既定移动路径由作业空间中的特征点所处区域及障碍物所处区域而定,基于所述既定移动路径可以扫描到作业空间中的预设占比的特征点所处区域,如覆盖所有的天花板区域以及覆盖作业空间中预设占比的二维码。
基于此,步骤402的本实现方式通过按照既定移动路径对作业空间进行三维扫描处理,从而覆盖其中绝大部分的标志物,为后续精确定位提供数据支持;而且,本实现方式还考虑到机器人的活动轨迹一般都是在地面上,因此,还可提供构建俯视角度的二维视觉地图,并在二维地图中定位机器人,从而可降低实现重定位所需计算资源。
步骤404、通过机器人采集所述作业空间中的环境图像,并提取采集的环境图像的特征点;
其中,所述采集的环境图像包括标签图像,所述标签图像基于将图像的视觉信息转换为语义信息所得到,包括二维码图像、条形码图像等;下文以二维码图像为例进行具体说明,所述二维码图像为置于所述作业空间中的二维码的图像;还可以包括特征点图像,所述特征点图形是指空间中的特征点对应的图像,包括天花板图像、地面图像等,下文以天花板图像为例进行具体说明,,所述天花板图像为所述作业空间的天花板的图像。
不难理解的是,当建图机器人采集到一帧二维码图像时,提取其中的特征点,可得到该二维码的特征点集;或者,当建图机器人采集到一帧天花板局部图像时,提取其中的特征点,可得到天花板局部的特征点集。
而且,对于天花板图像,步骤404的一实现方式还提供了一种优化的采集方式,包括:
按照预设间隔规则,通过机器人的摄像头采集预设仰视角下的天花板的图像,其中,预设间隔规则规定的采集间隔由所述摄像头的视场角和天花板的高度而定。具体地,可先基于摄像头的视场角的范围和天花板的高度,设置一合理采集间隔(如20cm),使得每次采集的图像之间不存在空隙且重叠范围小于预设阈值(10%),然后,可设置摄像头在90度仰视角下,每隔20cm,采集一帧天花板图像。由此,可避免采集次数多且图像相互重叠导致的资源浪费、信息繁琐的问题,为后续视觉地图的构建提供少量且全面的数据支持。
对于二维码图像的采集过程,由于已在上述步骤202中进行了陈述,故,此处不再赘述。
当然,除天花板图像和二维码图像之外,机器人可采集作业空间中任意的标志物的图像并提取其中的特征点,如标志性的支柱、门等。由此,可丰富视觉地图中的特征点集,为后续高效定位提供数据支持。
步骤406、确定提取的各特征点在所述初始地图中的位置;其一种实现方式可以为:
S41、确定机器人与所述提取的各特征点的相对位置;
S42、基于机器人采集作业时的当前位置和所述相对位置,确定各特征点在所述初始地图中的位置。
其中,S41和S42的具体可以示例为:
示例1、可由建图机器人配置的测距器测量机器人与被拍摄对象的特征点之间的距离,如机器人与拍摄的二维码的特征点之间的距离,又如机器人与拍摄的天花板的特征点之间的距离;然后,基于该距离和摄像头的视角,确定机器人和各特征点之间的相对位置,再基于机器人采集作业时的当前位置(如在三维初始地图中的三维坐标,或二维初始地图中的二维坐标)和两者的相对位置,从而计算出各特征点在所述初始地图中的位置。
示例2、提取步骤404采集的环境图像中的特征点,并解析出各特征点之间的位置分布数据,所述位置分布数据用于表征各特征点之间的距离、相对位置等,并使用建图机器人采集作业时的当前位置和采集的各特征点之间的位置分布数据,表征各特征点在所述初始地图中的位置。
基于此,步骤406的本实现方式通过以建图机器人采集作业时的当前位置为基准,计算采集的各特征点的位置,从而提高各特征点的位置的标记精度;或者,以建图机器人采集作业时的当前位置为基准,搭配采集的各特征点之间的位置分布数据,来间接表示各特征点在所述初始地图中的位置,从而提高位置标记的多样性,避免对机器人的测距要求对适用范围的限制。
步骤408、将所述提取的各特征点及各特征点的位置存入所述初始地图中,得到所述作业空间的视觉地图。
具体地,将各特征点及其位置标记于初始地图中,若初始地图为三维初始地图,则可得到每个特征点对应的标记,如第i个特征点-坐标(xi,yi,zi),若初始地图为俯视视角二维初始地图,则可得到每个特征点对应的标记,如第i个特征点-坐标(yi,zi),进而得到完整的视觉地图。最后,可图1中的机器人管理系统讲建图机器人构建的视觉地图分发至在所述作业空间中作业的每个机器人。
基于该视觉地图构建实施例,步骤204的一种实现方式可以为:
将所述目标环境图像中的第一特征点集中特征点与预建立的视觉地图中的特征点进行特征匹配,从而匹配出第二特征点集。或者,
先分析第一特征点集中的特征点之间的位置分布数据,然后,依据位置分布数据与预建立的视觉地图中的特征点的位置分布数据进行匹配,得到具备相匹配位置分布的一组特征点,记为第二特征点集。
基于此,图4对应的实现方式通过提取作业空间中的环境图像的特征点集,并将特征点及其位置标记于作业空间的地图中,以进行特征点维度的匹配,避免保存环境图像并进行图像维度的匹配,从而可降低数据存储压力以及匹配所需资源,在确保匹配精度的基础上,极大地提高了匹配效率。
步骤206、基于所述第一特征点集,确定所述机器人与所述第二特征点集之间的相对位置。
步骤208、基于所述相对位置和所述第二特征点集的位置信息,确定所述机器人在作业空间中的位置信息。
步骤206和步骤208的实现方式可以为:
若机器人上配置有测距器,则使用测距器测量机器人与采集的第一特征点集中的特征点之间的距离;再结合摄像头采集第一特征点集时的视角,从而确定机器人与第一特征点集之间的相对位置,记为所述机器人与所述第二特征点集之间的相对位置;然后,依据所述机器人与所述第二特征点集之间的相对位置以及视觉地图标记的第二特征点集中的特征点的位置,计算所述机器人在视觉地图中的位置,记为在作业空间中的位置。或者,
若机器人未配置测距器,则分析第一特征点集中的特征点之间的位置分布数据,将其与第二特征点集中的特征点之间的位置分布数据进行对比,确定两个特征点集之间的相对旋转角度、缩放大小等信息;然后,依据相对旋转角度、缩放大小等对采集第二特征点集时建图机器人的位置信息进行调整,得到新的位置,作为机器人在作业空间中的位置。
基于此,步骤206和步骤208本实现方式以视觉地图中的特征点的位置为依据,使得机器人通过采集周围环境中的特征点,即可计算出当前的位置,提高了重定位的效率。
基于此,本实施例通过预先构建视觉地图,以记录机器人所在作业空间中各特征点的位置;在机器人需要重定位时,采集附近的目标环境图像并提取其中的第一特征点集,然后,将所述第一特征点集与视觉地图进行匹配,从而得到相匹配的第二特征点集及其位置,并以此为依据计算出机器人的当前位置。由此,可达到简便且准确地重定位的目的。
另外,在另一可行实施例中,还提供了另一视觉地图构建过程,该视觉地图构建过程在图4对应的视觉地图构建过程的基础上,进一步地对二维码图像的标记进行了限定,包括:
基于所述二维码图像,识别所述二维码的标识信息,并将所述二维码的标识信息与所述二维码的特征点的位置进行关联并存入所述视觉地图中。也就是说,本视觉地图构建过程不仅会将图4对应的视觉地图构建过程中的二维码的特征点及其位置标记于初始地图中,还会将特征点对应的二维码的标识信息进行关联之后也标记于初始地图中,得到每个特征点对应的标记,如第i个特征点-坐标(xi,yi,zi)-对应于二维码n。
由此,基于本视觉地图构建过程构建的视觉地图,步骤206和步骤208的另一实现方式可以为:
首先,基于所述第一特征点集,识别目标二维码的标识信息,具体可通过识别二维码的方式读取出所述二维码的标识信息,所述标识信息可以是指作业空间中各二维码的编号;然后,从所述视觉地图中匹配出所述标识信息对应的目标二维码的特征点,作为第二特征点集;最后,基于所述机器人与所述第二特征点集之间的相对位置和所述第二特征点集的位置信息,确定所述机器人在作业空间中的位置信息。
进一步地,为适应不同的作业空间的需求,提高普适性,本实施例还提出了多种环境图像之间的使用优先级的处理方式,具体可以示例为:
示例1、机器人需要重定位时,采集摄像头当前视角下的环境图像,如当前视角为90度,则采集天花板图像,当前视角为0度,则采集二维码图像,从而提高环境图像采集速度,进而提高重定位效率。
示例2、机器人需要重定位时,由于可通过二维码标识快速完成重定位,因此,可先采集二维码图像;若周围不存在二维码图像时,再采集天花板图像。
示例3、在采集到目标环境图像时,先识别所述目标环境图像是否为二维码图像,若是,则触发执行识别所述二维码的标识信息的步骤;否则,触发执行将所述目标环境图像中的第一特征点集与预建立的视觉地图进行特征匹配的步骤及后续步骤。
也就是说,本示例是优先使用二维码图像,其他种类的环境图像的优先级小于二维码图像。
示例4、在采集到目标环境图像时,同步进行识别二维码图像的步骤及通过二维码标识进行定位的步骤和特征点维度的特征匹配的步骤及后续步骤。
而若周围可采集的二维码图像有多个时,则可选择与机器人相对位置较近的一个;或者,依据每个二维码图像分别进行重定位计算,并对依据每个二维码图像计算出的位置进行加权平均,得到一最终位置。
相对于基于图4构建的视觉地图进行的重定位方案,本实施例通过引入二维码的标识并建立标识与二维码的特征点之间的关联,从而可通过扫描二维码的标识即可读取对应特征点的位置,避免特征点维度的匹配,进而可有效提高特征点的位置的查找效率,以及重定位的效率。
图5为本说明书另一实施例提供的一种机器人重定位方法的流程示意图,该方法可由图1中的机器人执行,参见图5,所述方法具体可以包括如下步骤:
步骤502、机器人需要重定位时采集附近的目标环境图像;
步骤504、将所述目标环境图像中的第一特征点集与预建立的视觉地图进行匹配,得到与所述第一特征点集相匹配的第二特征点集,所述视觉地图用于记录机器人的作业空间中的特征点的位置信息;
由于步骤502和步骤504分别与图2对应的实施例中的步骤202和步骤204相对应,其实现方式也对应相似,故,此处不再赘述。
步骤506、基于所述第一特征点集和所述第二特征点集,确定所述机器人的当前位姿与拍摄所述第二特征点集时的机器人位姿之间的相对位姿;
步骤508、基于所述相对位姿和拍摄所述第二特征点集时的机器人位姿,确定所述机器人的当前位姿。
具体地,通过对比所述第一特征点集和所述第二特征点集,确定两个特征点集之间的相对旋转角度、缩放大小等信息,以表征相对位姿;然后,依据相对旋转角度、缩放大小等对拍摄所述第二特征点集时的机器人位姿进行调整,得到新的,作为所述机器人的当前位姿。其中,位姿包括机器人的位置和朝向(移动方向)。
基于此,本实施例在图2对应的实施例的基础上,在重定位的过程中,进一步地对机器人的位姿进行重计算,使得机器人能够依据当前朝向进行作业,避免由于朝向丢失导致的移动方向错误的问题,提高重定位效果。
图6为本说明书一实施例提供的一种机器人重定位装置的结构示意图,参见图6,所述装置具体可以包括:采集模块601、匹配模块602、处理模块603以及定位模块604,其中:
采集模块601,用于机器人需要重定位时采集附近的目标环境图像;
匹配模块602,用于将所述目标环境图像中的第一特征点集与预建立的视觉地图进行匹配,得到与所述第一特征点集相匹配的第二特征点集,所述视觉地图用于记录机器人的作业空间中的特征点的位置信息;
处理模块603,用于基于所述第一特征点集,确定所述机器人与所述第二特征点集之间的相对位置;
定位模块604,用于基于所述相对位置和所述第二特征点集的位置信息,确定所述机器人在作业空间中的位置信息。
可选的,装置还包括:
建图模块,用于扫描机器人所处的作业空间,构建所述作业空间的初始地图;通过机器人采集所述作业空间中的环境图像,并提取采集的环境图像的特征点;确定提取的各特征点在所述初始地图中的位置;将所述提取的各特征点及各特征点的位置存入所述初始地图中,得到所述作业空间的视觉地图。
可选的,所述建图模块,包括:
位置确定单元,用于确定机器人与所述提取的各特征点的相对位置;基于机器人采集作业时的当前位置和所述相对位置,确定各特征点在所述初始地图中的位置。
可选的,所述采集的环境图像包括二维码图像,所述二维码图像为置于所述作业空间中的二维码的图像;
其中,则装置还包括:
建图优化模块,用于基于所述二维码图像,识别所述二维码的标识信息,并将所述二维码的标识信息与所述二维码的特征点的位置进行关联并存入所述视觉地图中;
其中,所述目标环境图像为目标二维码图像时,所述匹配模块602,具体用于:
基于所述第一特征点集,识别二维码的标识信息;从所述视觉地图中匹配出所述标识信息对应的二维码的特征点的位置。
可选的,所述装置还包括:
识别模块,用于在采集到目标环境图像时,识别所述目标环境图像是否为二维码图像,若是,则执行识别所述二维码的标识信息的步骤;否则,执行将所述目标环境图像中的第一特征点集与预建立的视觉地图进行特征匹配的步骤。
可选的,所述采集的环境图像包括天花板图像,所述天花板图像为所述作业空间的天花板的图像;
其中,所述采集模块601,具体用于:
按照预设间隔规则,通过机器人的摄像头采集预设仰视角下的天花板的图像,其中,预设间隔规则规定的采集间隔由所述摄像头的视场角和天花板的高度而定。
可选的,装置还包括:
位姿确定模块,用于基于所述第一特征点集和所述第二特征点集,确定所述机器人的当前位姿与拍摄所述第二特征点集时的机器人位姿之间的相对位姿;基于所述相对位姿和拍摄所述第二特征点集时的机器人位姿,确定所述机器人的移动方向。
基于此,本实施例通过预先构建视觉地图,以记录机器人所在作业空间中各特征点的位置;在机器人需要重定位时,采集附近的目标环境图像并提取其中的第一特征点集,然后,将所述第一特征点集与视觉地图进行匹配,从而得到相匹配的第二特征点集及其位置,并以此为依据计算出机器人的当前位置。由此,可达到简便且准确地重定位的目的。
另外,应当注意的是,在本说明书的装置的各个部件中,根据其要实现的功能而对其中的部件进行了逻辑划分,但是,本说明书不受限于此,可以根据需要对各个部件进行重新划分或者组合。
图7为本说明书一实施例提供的一种电子设备的结构示意图,参见图7,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成机器人重定位装置。当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
网络接口、处理器和存储器可以通过总线系统相互连接。总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据。存储器可能包含高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器。
处理器,用于执行所述存储器存放的程序,并具体执行:
机器人需要重定位时采集附近的目标环境图像;
将所述目标环境图像中的第一特征点集与预建立的视觉地图进行匹配,得到与所述第一特征点集相匹配的第二特征点集,所述视觉地图用于记录机器人的作业空间中的特征点的位置信息;
基于所述第一特征点集,确定所述机器人与所述第二特征点集之间的相对位置;
基于所述相对位置和所述第二特征点集的位置信息,确定所述机器人在作业空间中的位置信息。
上述如本说明书图6所示实施例揭示的机器人重定位装置装置或管理者(Master)节点执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
机器人重定位装置装置还可执行图2-5的方法,并实现管理者节点执行的方法。
基于相同的发明创造,本说明书实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行图2-5对应的实施例提供的机器人重定位装置方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM) 和/或非易失性内存等形式,如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种机器人重定位方法,其特征在于,包括:
机器人需要重定位时采集附近的目标环境图像;
将所述目标环境图像中的第一特征点集与预建立的视觉地图进行匹配,得到与所述第一特征点集相匹配的第二特征点集,所述视觉地图用于记录机器人的作业空间中的特征点的位置信息;
基于所述第一特征点集,确定所述机器人与所述第二特征点集之间的相对位置;
基于所述相对位置和所述第二特征点集的位置信息,确定所述机器人在作业空间中的位置信息。
2.根据权利要求1所述的方法,其特征在于,在机器人需要重定位时采集附近的目标环境图像之前,还包括:
扫描机器人所处的作业空间,构建所述作业空间的初始地图;
通过机器人采集所述作业空间中的环境图像,并提取采集的环境图像的特征点;
确定提取的各特征点在所述初始地图中的位置;
将所述提取的各特征点及各特征点的位置存入所述初始地图中,得到所述作业空间的视觉地图。
3.根据权利要求2所述的方法,其特征在于,所述确定提取的各特征点在所述初始地图中的位置,包括:
确定机器人与所述提取的各特征点的相对位置;
基于机器人采集作业时的当前位置和所述相对位置,确定各特征点在所述初始地图中的位置。
4.根据权利要求2所述的方法,其特征在于,所述采集的环境图像包括二维码图像,所述二维码图像为置于所述作业空间中的二维码的图像;
其中,则方法还包括:
基于所述二维码图像,识别所述二维码的标识信息,并将所述二维码的标识信息与所述二维码的特征点的位置进行关联并存入所述视觉地图中;
其中,所述目标环境图像为目标二维码图像时,所述将所述目标环境图像中的第一特征点集与预建立的视觉地图进行匹配,得到与所述第一特征点集相匹配的第二特征点集,包括:
基于所述第一特征点集,识别目标二维码的标识信息;
从所述视觉地图中匹配出所述标识信息对应的目标二维码的特征点,作为第二特征点集。
5.根据权利要求4所述的方法,其特征在于,在采集到目标环境图像时,识别所述目标环境图像是否为二维码图像,若是,则触发执行识别所述二维码的标识信息的步骤;否则,触发执行将所述目标环境图像中的第一特征点集与预建立的视觉地图进行特征匹配的步骤。
6.根据权利要求2所述的方法,其特征在于,所述采集的环境图像包括天花板图像,所述天花板图像为所述作业空间的天花板的图像;
其中,所述通过机器人采集所述作业空间中的环境图像,包括:
按照预设间隔规则,通过机器人的摄像头采集预设仰视角下的天花板的图像,其中,预设间隔规则规定的采集间隔由所述摄像头的视场角和天花板的高度而定。
7.根据权利要求1所述的方法,其特征在于,还包括:
基于所述第一特征点集和所述第二特征点集,确定所述机器人的当前位姿与拍摄所述第二特征点集时的机器人位姿之间的相对位姿;
基于所述相对位姿和拍摄所述第二特征点集时的机器人位姿,确定所述机器人的移动方向。
8.一种机器人重定位装置,其特征在于,包括:
采集模块,用于机器人需要重定位时采集附近的目标环境图像;
匹配模块,用于将所述目标环境图像中的第一特征点集与预建立的视觉地图进行匹配,得到与所述第一特征点集相匹配的第二特征点集,所述视觉地图用于记录机器人的作业空间中的特征点的位置信息;
处理模块,用于基于所述第一特征点集,确定所述机器人与所述第二特征点集之间的相对位置;
定位模块,用于基于所述相对位置和所述第二特征点集的位置信息,确定所述机器人在作业空间中的位置信息。
9.一种电子设备,其特征在于,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:
机器人需要重定位时采集附近的目标环境图像;
将所述目标环境图像中的第一特征点集与预建立的视觉地图进行匹配,得到与所述第一特征点集相匹配的第二特征点集,所述视觉地图用于记录机器人的作业空间中的特征点的位置信息;
基于所述第一特征点集,确定所述机器人与所述第二特征点集之间的相对位置;
基于所述相对位置和所述第二特征点集的位置信息,确定所述机器人在作业空间中的位置信息。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如下操作:
机器人需要重定位时采集附近的目标环境图像;
将所述目标环境图像中的第一特征点集与预建立的视觉地图进行匹配,得到与所述第一特征点集相匹配的第二特征点集,所述视觉地图用于记录机器人的作业空间中的特征点的位置信息;
基于所述第一特征点集,确定所述机器人与所述第二特征点集之间的相对位置;
基于所述相对位置和所述第二特征点集的位置信息,确定所述机器人在作业空间中的位置信息。
CN202010842807.5A 2020-08-20 2020-08-20 机器人重定位方法、装置及设备 Pending CN112101378A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010842807.5A CN112101378A (zh) 2020-08-20 2020-08-20 机器人重定位方法、装置及设备
JP2020211319A JP6906262B1 (ja) 2020-08-20 2020-12-21 ロボットの再位置決め方法、装置及び機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010842807.5A CN112101378A (zh) 2020-08-20 2020-08-20 机器人重定位方法、装置及设备

Publications (1)

Publication Number Publication Date
CN112101378A true CN112101378A (zh) 2020-12-18

Family

ID=73753033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010842807.5A Pending CN112101378A (zh) 2020-08-20 2020-08-20 机器人重定位方法、装置及设备

Country Status (2)

Country Link
JP (1) JP6906262B1 (zh)
CN (1) CN112101378A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113252045A (zh) * 2021-06-25 2021-08-13 成都睿沿科技有限公司 设备定位方法、装置、电子设备及可读存储介质
CN113960999A (zh) * 2021-07-30 2022-01-21 珠海一微半导体股份有限公司 移动机器人重定位方法、系统及芯片
CN114543808A (zh) * 2022-02-11 2022-05-27 杭州萤石软件有限公司 室内重定位方法、装置、设备及存储介质
CN114680732A (zh) * 2020-12-25 2022-07-01 苏州宝时得电动工具有限公司 一种清洁机器人及其清洁控制方法
WO2023198088A1 (zh) * 2022-04-12 2023-10-19 深圳市普渡科技有限公司 机器人的位姿确定方法、装置、机器人以及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114199252B (zh) * 2021-12-06 2024-02-09 北京云迹科技股份有限公司 一种室内定位方法、装置、电子设备和存储介质
CN114638894A (zh) * 2022-03-18 2022-06-17 纯米科技(上海)股份有限公司 机器人行走的定位方法、系统、电子装置及存储介质
CN115601432B (zh) * 2022-11-08 2023-05-30 肇庆学院 一种基于fpga的机器人位置最优估计方法及系统
CN116592876B (zh) * 2023-07-17 2023-10-03 北京元客方舟科技有限公司 定位装置及定位装置的定位方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4279703B2 (ja) * 2004-02-24 2009-06-17 パナソニック電工株式会社 自律移動ロボットシステム
KR101013392B1 (ko) * 2006-03-31 2011-02-14 무라타 기카이 가부시키가이샤 이동체 위치 추정 장치와 추정 방법 및 추정 프로그램
JP2014021624A (ja) * 2012-07-13 2014-02-03 Sharp Corp 自律走行装置、及び自律走行システム
CN113916230A (zh) * 2014-11-26 2022-01-11 艾罗伯特公司 用于使用机器视觉系统执行同时定位和映射的系统和方法
JP6411917B2 (ja) * 2015-02-27 2018-10-24 株式会社日立製作所 自己位置推定装置および移動体
JP2017120551A (ja) * 2015-12-28 2017-07-06 株式会社リコー 自律走行装置
US11847822B2 (en) * 2018-05-09 2023-12-19 Sony Corporation Information processing device and information processing method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114680732A (zh) * 2020-12-25 2022-07-01 苏州宝时得电动工具有限公司 一种清洁机器人及其清洁控制方法
CN113252045A (zh) * 2021-06-25 2021-08-13 成都睿沿科技有限公司 设备定位方法、装置、电子设备及可读存储介质
CN113960999A (zh) * 2021-07-30 2022-01-21 珠海一微半导体股份有限公司 移动机器人重定位方法、系统及芯片
CN113960999B (zh) * 2021-07-30 2024-05-07 珠海一微半导体股份有限公司 移动机器人重定位方法、系统及芯片
CN114543808A (zh) * 2022-02-11 2022-05-27 杭州萤石软件有限公司 室内重定位方法、装置、设备及存储介质
WO2023198088A1 (zh) * 2022-04-12 2023-10-19 深圳市普渡科技有限公司 机器人的位姿确定方法、装置、机器人以及存储介质

Also Published As

Publication number Publication date
JP6906262B1 (ja) 2021-07-21
JP2022035936A (ja) 2022-03-04

Similar Documents

Publication Publication Date Title
CN112101378A (zh) 机器人重定位方法、装置及设备
WO2020259274A1 (zh) 区域识别方法、机器人和存储介质
CN107687855B (zh) 机器人定位方法、装置及机器人
US11205276B2 (en) Object tracking method, object tracking device, electronic device and storage medium
US8498472B2 (en) Image-based localization feature point registration apparatus, method and computer-readable medium
CN111728535B (zh) 一种生成清扫路径的方法、装置、电子设备及存储介质
CN111609852A (zh) 语义地图构建方法、扫地机器人及电子设备
US20210172741A1 (en) Accompanying service method and device for intelligent robot
KR102303779B1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
US20210191397A1 (en) Autonomous vehicle semantic map establishment system and establishment method
CN111679661A (zh) 基于深度相机的语义地图构建方法及扫地机器人
Liang et al. Image-based positioning of mobile devices in indoor environments
CN113490965A (zh) 图像跟踪处理方法、装置、计算机设备和存储介质
CN109084749B (zh) 通过环境中物体进行语义定位的方法及装置
CN111766871A (zh) 一种行走机器人及应用于行走机器人的地图处理方法
CN111679664A (zh) 基于深度相机的三维地图构建方法及扫地机器人
CN113111144A (zh) 一种房间标记方法、装置和机器人的运动方法
CN113284178A (zh) 物体码垛方法、装置、计算设备及计算机存储介质
WO2021238797A1 (en) System and method for video-based pig counting in the crowd
CN111609854A (zh) 基于多个深度相机的三维地图构建方法及扫地机器人
CN111739088B (zh) 基于视觉标签的定位方法及设备
Zhang et al. Reidentification-based automated matching for 3D localization of workers in construction sites
CN110930520A (zh) 一种语义分割标注方法、装置及设备
Stephans et al. Automated material selection based on detected construction progress
CN116363208A (zh) 一种基于限位点操作清洁机器人的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination