CN106708037A - 自主移动式设备定位的方法、装置及自主移动式设备 - Google Patents

自主移动式设备定位的方法、装置及自主移动式设备 Download PDF

Info

Publication number
CN106708037A
CN106708037A CN201611100972.3A CN201611100972A CN106708037A CN 106708037 A CN106708037 A CN 106708037A CN 201611100972 A CN201611100972 A CN 201611100972A CN 106708037 A CN106708037 A CN 106708037A
Authority
CN
China
Prior art keywords
pose
formula equipment
autonomous formula
autonomous
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611100972.3A
Other languages
English (en)
Inventor
聂华闻
赵珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bpeer Robotics Inc
Original Assignee
Bpeer Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bpeer Robotics Inc filed Critical Bpeer Robotics Inc
Priority to CN201611100972.3A priority Critical patent/CN106708037A/zh
Publication of CN106708037A publication Critical patent/CN106708037A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal

Abstract

本公开实施例提供了一种自主移动式设备定位的方法、装置及自主移动式设备,其中,该方法包括:检测自主移动式设备是否从地面状态进入悬空状态;如果检测到自主移动式设备进入悬空状态,根据惯性测量单元的第一测量信息和/或视觉里程计的第二测量信息预测自主移动式设备的第一位姿;以及,如果检测到自主移动式设备从悬空状态回到地面状态,使用第一位姿进行位姿估计,得到自主移动式设备的第二位姿。本公开,实现了在自主移动式设备被抱起移动后放下等情况下的定位。

Description

自主移动式设备定位的方法、装置及自主移动式设备
技术领域
本公开涉及自主移动式设备的室内定位技术领域,特别涉及一种自主移动式设备定位的方法、装置及自主移动式设备。
背景技术
定位是确定自主移动式设备在其作业环境中所处位置的过程。更具体地说是利用先验环境地图信息、自主移动式设备位姿的当前估计以及传感器的观测值等输入信息,经过一定的处理和变换,产生更加准确的对自主移动式设备当前位姿的估计。
二维室内平面中自主移动式设备的位姿通常使用三元组(tx,ty,θ)表示,其中(tx,ty)表示自主移动式设备相对于坐标系的位置(平移分量),θ表示自主移动式设备的运动方向(旋转分量)。
相关技术中,位姿估计中涉及三种假设状态下的分析方法。
(1)已知起点,已知地图。这种条件下的定位称为局部定位或位姿跟踪。作为一个示例,相关技术中可根据里程计等对位姿进行估计,同时进行局部地图与全局地图的地图匹配,结合里程计和地图匹配确定自主移动式设备的位姿。
(2)不知起点,不知地图。自主移动式设备需要不断地构造环境地图并应用才地图计算自主移动式设备当前位姿,也就是自主移动式设备必须同时既能完成位姿估计,又能自行构造地图,称为同步定位与地图构造(SLAM)。
(3)不知起点,已知地图。当自主移动式设备需要复位或迷失方向或遭绑架时,需要找回自主移动式设备当前位置(即位姿初始化)。
相关技术中的定位方法,能够解决自主移动式设备正常情况下的定位问题。然而,自主移动式设备面临的室内环境非常复杂,例如受到人或者环境的影响自主移动式设备可能会发生位置突变,相关技术中并没有方法解决自主移动式设备位置突变的定位问题。
发明内容
本公开实施例提供了一种自主移动式设备定位的方法、装置及自主移动式设备,以解决了现有技术中自主移动式设备位置突变后的定位技术问题。
在本公开的一个方面,提供了一种自主移动式设备定位的方法。该方法包括:检测自主移动式设备是否从地面状态进入悬空状态;如果检测到自主移动式设备进入悬空状态,根据惯性测量单元的第一测量信息和/或视觉里程计的第二测量信息预测自主移动式设备的第一位姿;以及,如果检测到自主移动式设备从悬空状态回到地面状态,使用第一位姿进行位姿估计,得到自主移动式设备的第二位姿。
在某些示例中,使用第一位姿进行位姿估计,得到自主移动式设备的第二位姿,包括:使用第一位姿进行环境特征信息与先验全局地图的第一地图匹配;如果第一地图匹配的结果不满足第一预设条件,使自主移动式设备产生位姿变换;在位姿变换的过程中,根据移动距离检测装置的第三测量信息预测所述自主移动式设备的第三位姿,同时使用所述第三位姿进行环境特征信息与先验全局地图的第二地图匹配,直到第二地图匹配的结果满足第二预设条件,根据第二地图匹配的结果得到自主移动式设备的第二位姿。其中,第一预设条件与第二预设条件相同或不同。
在某些示例中,如果第一地图匹配的结果满足第一预设条件,根据第一图匹配的结果得到自主移动式设备的第二位姿。
在某些示例中,位姿变换包括原地旋转和/或无碰撞漫游运动。
在某些示例中,移动距离检测装置包括以下至少之一或任意组合:轮式里程计、惯性测量单元、视觉里程计。
在某些示例中,通过重力传感器和/或轮式感应器检测自主移动式设备的地面状态和/或悬空状态的变化。
在本公开的另一个方面,提供了一种自主移动式设备定位的装置,该装置包括:检测模块,用于检测自主移动式设备是否从地面状态进入悬空状态;预测模块,用于如果检测到自主移动式设备进入悬空状态,根据惯性测量单元的第一测量信息和/或视觉里程计的第二测量信息预测自主移动式设备的第一位姿;以及,定位模块,用于如果检测到自主移动式设备从悬空状态回到地面状态,使用第一位姿进行位姿估计,得到自主移动式设备的第二位姿。
在某些示例中,定位模块,用于使用第一位姿进行环境特征信息与先验全局地图的第一地图匹配;如果第一地图匹配的结果不满足第一预设条件,使自主移动式设备产生位姿变换;在位姿变换的过程中,根据移动距离检测装置的第三测量信息预测自主移动式设备的第三位姿,同时使用第三位姿进行环境特征信息与先验全局地图的第二地图匹配,直到第二地图匹配的结果满足第二预设条件,根据第二地图匹配的结果得到自主移动式设备的第二位姿。
在某些示例中,定位模块,还用于如果第一地图匹配的结果满足第一预设条件,根据第一地图匹配的结果得到自主移动式设备的第二位姿。
在本公开的又一个方面,提供了一种自主移动式设备,该自主移动式设备包括:移动距离检测装置,包括视觉里程计和/或惯性检测单元;状态检测装置,用于检测自主移动式设备的状态,所述状态包括地面状态和悬空状态;以及,一个或多个处理单元,用于如果检测到自主移动式设备进入所述悬空状态,根据惯性测量单元的第一测量信息和/或视觉里程计的第二测量信息预测自主移动式设备的第一位姿;以及,如果检测到自主移动式设备从悬空状态回到地面状态,使用第一位姿进行位姿估计,得到自主移动式设备的第二位姿。
在某些示例中,一个或多个处理单元,用于使用第一位姿进行环境特征信息与先验全局地图的第一地图匹配;如果第一地图匹配的结果不满足第一预设条件,使自主移动式设备产生位姿变换;在位姿变换的过程中,根据移动距离检测装置的至少部分测量信息预测自主移动式设备的第三位姿,同时使用第三位姿进行环境特征信息与先验全局地图的第二地图匹配,直到第二地图匹配的结果满足第二预设条件,根据第二地图匹配的结果得到自主移动式设备的第二位姿。
在某些示例中,移动距离检测装置还包括轮式里程计。
本公开,通过检测自主移动式设备的状态,在自主移动式设备从地面状态进入悬空状态时,使用惯性测量单元和/或视觉里程计预测自主移动式设备的位姿,并在回到地面状态时使用预测的位姿进行位姿估计,确定得到自主移动式设备当前的位姿,实现了在自主移动式设备被抱起移动后放下等情况下的定位。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1是本公开实施例的一种自主移动式设备100的示意图;
图2是本公开实施例的计算机程序指令模块的示意图;
图3是本公开实施例的一种自主移动式设备定位的装置的结构框图;
图4是本公开实施例的一种自主移动式设备定位的方法的流程图;以及
图5是本公开实施例的另一种自主移动式设备定位的方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本发明做进一步详细说明。在此,本发明的示意性实施方式及其说明用于解释本发明,但并不作为对本发明的限定。
图1是本公开实施例的一种自主移动式设备100的示意图。
如图1所示,自主移动式设备100可包括:控制器20、测距传感器21、移动距离检测装置23、驱动单元24、存储装置25、状态检测装置29。应当理解图1所示的自主移动式设备100仅作为示例性说明,并不是对本公开的限定,自主移动式设备100可包括一个或多个更少或更多的部件。
控制器20可包括一个或多个处理单元,处理单元可包括处理器及其外围电路,处理器及外围电路具有相应的通信接口以进行数据传输。
驱动单元24包括电机等以驱动移动部件(图1中未示出)产生移动。驱动单元24可从控制器20接收驱动指令,根据驱动指令驱动移动部件产生移动。在某些示例中,移动部件可以包括轮式移动部件、步行移动部件(单腿式、双腿式和多腿式)、履带式移动部件、爬行式移动部件、蠕动式移动部件和游动式移动部件等类型,但不限于此。在某些示例中,驱动单元24还可向控制器20提供反馈信息。另外,驱动单元24还可包括电机等驱动肢体(图1中未示出)、清洁模块(图1中未示出)等部件产生动作。
在某些示例中,自主移动式设备100还可包括障碍物检测传感器22。障碍物检测传感器22可包括红外传感器/红外传感器组、超声波传感器等非接触式检测传感器。障碍物检测传感器22可发射和接收信号,并将信号发送至控制器20,控制器20根据信号判断是否存在障碍物。在某些示例中,障碍物检测传感器22可发射和接收信号,并根据信号判断是否存在障碍物,并将判断结果发送给控制器20。障碍物检测传感器22还可包括诸如碰撞开关等接触式传感器,以在碰撞发生时感知到碰撞的发生。但本公开并不限于此。
在某些示例中,自主移动式设备100还可包括移动距离检测装置23。移动距离检测装置23可以采用轮式里程计231等用于检测轮子转动圈数的转动检测传感器。例如,转动检测传感器可以采用用于检测电机的转动圈数的编码器等。
在某些示例中,移动距离检测装置23可以采用惯性测量单元232,惯性测量单元232可包括诸如加速度传感器和陀螺仪等,用于来估计移动距离。
自主移动式设备100的移动距离检测装置23还可包括视觉里程计233。视觉里程计233根据处理分析相机图像序列来确定位置和方向。
相关技术中,作为一个示例,视觉里程计233可通过但不限于以下几个步骤来确定位置和方向。
(1)图像获取步骤,采用单目照相机、双目照相机或者全向照相机获取图像。
(2)图像校正步骤,使用一些图像处理技术来去除透镜畸变。
(3)特征检测步骤,一般是对特征点检测,例如FAST、SURF等算法。
(4)特征匹配步骤,在帧与帧间根据提取的特征(点)进行匹配;构建光流。
(5)运动估计步骤,根据特征几何和3D属性,对相机运动进行估计。
应当理解,在本公开中还可以采用其他可行的移动距离检测装置,以上示例仅作为举例说明,并不是对本公开的限定。
在某些示例中,自主移动式设备100还可以发射器26,发射器26可通过天线(图2中未示出)发送信息,并向控制器20发送通过天线接收的信息。
在某些示例中,自主移动式设备100还可以包括麦克风或麦克风阵列(以下简称麦克风26)。麦克风26可采集声音,并将声音信号经音频电路处理后发送给控制器20。控制器20可包括语音识别组件,经语音识别算法识别声音内容,还可通过声纹等特征识别说话人。此外,麦克风阵列还可提供声源所在方位。麦克风26还可采用语音增强技术,提高语音采集的效果。
在某些示例中,自主移动式设备100还可包括喇叭27。控制器20将音频信号给喇叭27以播放声音。控制器20可提供数字音频信号,喇叭27相关的音频处理电路对数字音频信号进行数模转换,得到模拟音频信号,喇叭27将模拟音频信号的电信号转换成声音信号。
在某些示例中,自主移动式设备100还可以包括显示屏28。在某些示例中,显示屏28可采用触敏显示器,触敏显示器可以让使用者只要用手指或其他媒介轻轻地碰显示屏上的图形(图符或文字等)就能实现输入操作,这样摆脱了键盘和鼠标操作,使人机交互更为直截了当。应当理解,本公开并不限于此。
自主移动式设备100可探索室内环境,并建立用于描述室内环境的室内地图。在本公开中,以采用测距传感器21为例的环境感知传感器为例进行说明。如图1所示,自主移动式设备100可包括测距传感器21。
在某些示例中,测距传感器21可采用激光扫描仪,激光扫描仪可采用激光二极管发射和接收光脉冲来测距。激光测距方法可基于TOF(time of flight)技术,发射系统发送一个信号,经目标反射后被接收系统收集,通过测量反射光的运行时间确定目标的距离。自主移动式设备100可根据激光扫描仪采集的信号建立室内地图。
在某些示例中,测距传感器21可采用声纳传感器。声纳可采用脉冲测距法测距。脉冲测距法基于TOF技术,即发射一个脉冲信号再接收其回波,根据时间差来计算至目标对象的距离信息。在应用中可将多个传感器布置在不同方向上获取平面内的距离信息。自主移动式设备100可根据声纳采集的信号建立室内地图。
在某些示例中,自主移动式设备100的测距传感器21还可以采用视觉传感器。视觉传感器将环境的光信号转换成电信号。根据采用的视觉传感器个数可将视觉传感器分为单目视觉、双目视觉、三目视觉和混合视觉等视觉系统。下面以立体视觉为例进行说明,立体视觉测距是利用两个相互位置已知的摄像头组成的视觉系统,根据同一景物在两个摄像头上成像的视差计算出景物的深度,从而获得其距离信息。
在某些示例中,自主移动式设备100可融合多种传感器的数据来定位和创建地图。作为示例,多传感器融合方法可采用加权平均、卡尔曼滤波、贝叶斯估计、统计决策理论、证据推理、产生式规则等方法。另外,还可采用模糊逻辑与神经网络等智能计算方法。
自主移动式设备100可自主对室内环境进行探索,建立室内环境的全局地图。并可将全局地图存储在存储装置25中。全局地图可作为自主移动式设备100定位中的先验地图。
应当理解,以上定位和建图方法仅作为示例性说明,并不是对自主移动式设备100创建地图的限定。实际上,相关技术中多种公知的方法也是可行的,在此不再赘述。本公开之后的技术也可应用到自主移动式设备100来进行机器人定位和创建地图,本公开对此不做限定。
自主移动式设备100还可以包括状态检查装置29,状态检测装置29可检测自主移动式设备100的状态,自主移动式设备100的状态包括地面状态和悬空状态。作为一个示例,状态检测装置29可包括重力传感器和/或轮式感应器,重力传感器可检测重力加速度的变化,轮式感应器可通过诸如压力等变量检测自主移动式设备100的轮子是否与地面接触。
存储装置25可存储计算机程序指令模块,该计算机程序程序指令模块可被控制器20。存储装置25还可存储室内环境的全局地图。图2是本公开实施例的计算机程序指令模块的示意图。
如图2所示,本公开实施例的计算机程序指令模块可包括:地图建立装置200、路径规划装置210、定位装置220、移动控制装置230、通信装置240。应当理解,自主移动式设备100可包括一个或多个更多或更少的模块,图2仅作为一个示例,并不是对自主移动式设备100的计算机程序指令模块的限定。
地图建立装置200,用于建立坐标系,并控制自主移动式设备100探索所处的室内环境,通过测距传感器21感知所处的室内环境,经过特征提取等建立室内地图的全局地图。将全局地图的数据存储在存储装置25中。
定位装置220,用于根据测距传感器21对环境的感知以及移动距离检测装置23中至少部分测量信息估计自主移动式设备100的位姿。路径规划装置210,用于根据全局地图规划当前位置到目标位置的移动路径,得到路径规划数据。移动控制装置230,用于根据路径规划数据产生对驱动单元24的控制指令,以使自主移动式设备100按照规划的路径移动到目标位置。
在某些示例中,定位装置220可在自主移动式设备100的移动过程中进行位姿跟踪,以定位自主移动式设备100的位姿。作为一个示例,定位装置220可包括位姿预测、地图匹配、位姿更新三个阶段。位姿预测应用移动距离检测装置23的至少部分测量信息给出自主移动式设备100的初始位姿。初始位姿可作为地图匹配的先验环境特征信息。地图匹配阶段确定测距传感器21等传感器测量的局部地图信息与先验全局地图的对应关系。位姿更新阶段根据地图匹配结果,应用相关的定位算法完成对自主移动式设备100当前的定位。
在某些示例中,定位装置220使用移动距离检测装置23的轮式里程计231和/或惯性测量单元232进行位姿预测。
通信装置240,用于接收或发送指令。
在本公开实施例中,提供了一种自主移动式设备定位的装置,以至少解决自主移动式设备位置突变后的定位问题。
如图3所示,该装置包括:检测模块300,用于检测自主移动式设备100是否从地面状态进入悬空状态。预测模块310,与检测模块300相连接,用于如果检测到自主移动式设备100进入悬空状态,根据惯性测量单元232的第一测量信息和/或视觉里程计233的第二测量信息预测自主移动式设备的初始位姿。定位模块320,用于如果检测到自主移动式设备100从悬空状态回到地面状态,使用预测模块310预测的初始位姿进行位姿估计,得到自主移动式设备100当前的位姿。
在某些示例中,为了使得定位更加准确,定位模块320可在位姿估计过程中使自主移动式设备100产生位姿变换,以不断校正自主移动式设备100的位置。定位模块320,用于使用预测模块310预测的初始位姿进行环境特征信息与先验全局地图的地图匹配;如果地图匹配的结果不满足第一预设条件,使自主移动式设备100产生位姿变换;在位姿变换的过程中,根据移动距离检测装置23的至少部分测量信息预测自主移动式设备100的初始位姿,同时使用该初始位姿进行环境特征信息与先验全局地图的地图匹配,直到该地图匹配的结果满足第二预设条件,根据该地图匹配的结果得到自主移动式设备100当前的位姿。
其中,第一预设条件与第二预设条件可相同或不同。
在某些示例中,定位模块320还用于如果图匹配的结果满足第一预设条件,根据此时的地图匹配的结果得到自主移动式设备100当前的位姿。
在本公开实施例中,提供了一种自主移动式设备定位的方法,以至少解决自主移动式设备位置突变后的定位问题。
图4是本公开实施例的一种自主移动式设备定位的方法的流程图,如图4所示,该方法包括步骤402至步骤406。
步骤402,检测自主移动式设备100是否从地面状态进入悬空状态。
在某些示例中,可以通过状态检测装置29检测自主移动式设备100的状态,状态检测装置29可采用重力传感器检测自主移动式设备100被抬起或被放下,和/或可通过轮式感应器检测自主移动式设备100是否里面地面,进而判断自主移动式设备100处于地面状态还是悬空状态。但不限于此。
步骤404,如果检测到自主移动式设备100进入悬空状态,根据惯性测量单元232的第一测量信息和/或视觉里程计233的第二测量信息预测自主移动式设备100的第一位姿。
在某些示例中,如果自主移动式设备100处于地面状态,使用自主移动式设备100的轮式里程计231的测量信息和/或惯性测量单元232的测量信息预测自主移动式设备的位姿。如果检测到自主移动式设备100进入悬空装置,还包括开启视觉里程计233,以得到视觉里程计233的第二测量信息。
作为一个示例,惯性测量单元232的测量信息可包括角速度和加速度,可根据角速度和加速度推算自主移动式设备100的位姿。
作为一个示例,视觉里程计233可通过以下几个阶段预测自主移动式设备100的位姿。
(1)图像获取阶段,使用单目照相机、双目照相机或者全向照相机获取环境图像。
(2)图像校正阶段,使用一些图像处理技术来去除透镜畸变。
(3)特征检测阶段,确定感兴趣的描述符,在帧与帧之间匹配特征并构建光流场。使用相关性来度量两幅图像间的一致性,并不进行长时间的特征跟踪;特征提取、匹配(Lucas–Kanade method);构建光流场。
(4)检查光流场向量是否存在潜在的跟踪误差,移除外点。
(5)由光流场估计照相机的运动。可选方法1:使用卡尔曼滤波进行状态估计。可选方法2:查找特征的几何与3D属性,以最小化基于相邻两帧之间的重投影误差的罚函数值。这可以通过数学上的最小化方法或随机采样方法来完成。
(6)周期性的重定位跟踪点。
应当理解,上述视觉里程计233位姿预测过程仅作为示例性说明,本公开实施例对视觉里程计233位姿预测过程不做限定,其他视觉里程计233位姿预测也是可以被采用的,在此不再一一赘述。
在某些示例中,可融合惯性测量单元232和视觉里程计233的信息预测自主移动式设备100的位姿,以提高预测的可靠性。
步骤406,如果检测到自主移动式设备100从悬空状态回到地面状态,使用预测的第一位姿进行位姿估计,得到自主移动式设备100的第二位姿。
在某些示例中,步骤406中,可使用第一位姿进行环境特征信息与先验全局地图的第一地图匹配。
在某些示例中,如果第一地图匹配的结果满足第一预设条件,根据第一地图匹配的结果得到自主移动式设备100的第二位姿。
在某些示例中,如果第一地图匹配的结果不满足第一预设条件,使自主移动式设备100产生位姿变换。在位姿变换的过程中,根据移动距离检测装置23的至少部分测量信息预测自主移动式设备100的第三位姿,同时使用第三位姿进行环境特征信息与先验全局地图的第二地图匹配,直到第二地图匹配的结果满足第二预设条件,根据第二地图匹配的结果得到自主移动式设备100的第二位姿。
在某些示例中,位姿变换包括原地旋转和/或无碰撞漫游运动。通过原地旋转和/或无碰撞漫游运动等位姿变换可以多次获取环境特征信息,进行多次地图匹配,直到地图匹配的结果满足条件,进而使得自主移动式设备100当前的位姿定位更准确。
在某些示例中,在位姿变换过程中,根据轮式里程计231的测量信息和/或惯性测量单元232的测量信息预测自主移动式设备100的第三位姿。
图5是本公开实施例的另一种自主移动式设备定位的方法的流程图,如图5所示,该方法包括步骤501至步骤511。
步骤501,在地面移动过程中,使用惯性测量单元232和/或轮式里程计231预测自主移动式设备100的位姿,并使用预测的位姿进行地图匹配,根据地图匹配的结果,采用相应的定位算法,得到自主移动式设备100当前的位姿。
由于视觉里程计233的位姿预测需要进行大量的图像处理,需要消耗大量的计算资源,因此在步骤501中,在地面移动过程中,使用惯性测量单元232和/或轮式里程计231预测自主移动式设备100的位姿。
步骤502,检测自主移动式设备100是否从地面状态进入悬空状态,如果自主移动式设备100仍处于地面状态,返回步骤501;如果自主移动式设备100从地面状态进入悬空状态,进入步骤503。
在步骤502中,可根据状态检测装置29检测自主移动式设备100的状态。
步骤503,开启视觉里程计233。
步骤504,根据视觉里程计233的测量信息预测自主移动式设备100的初始位姿。
当自主移动式设备100进入悬空状态时,轮式里程计231失效,因此,在步骤504中,根据视觉里程计233的测量信息预测位姿。
在某些示例中,步骤504中可根据惯性测量单元232的测量信息和视觉里程计233的测量信息预测自主移动式设备100的初始位姿。
步骤505,检测自主移动式设备100是否回到地面状态,如果自主移动式设备100仍处于悬空状态,返回步骤504;如果自主移动式设备100回到地面状态,进入步骤506。
步骤506,关闭视觉里程计233,使用预测的初始位姿进行当前位置的环境特征信息与先验全局地图的地图匹配。
步骤507,判断地图匹配是否满足预设条件,如果是,进入步骤508;如果否,进入步骤509。
步骤508,根据地图匹配的结果,采用相应的定位算法得到自主移动式设备100当前的位姿。返回步骤501。
步骤509,使自主移动式设备100产生位姿变换。
步骤510,在位姿变换的过程中,使用轮式里程计231的测量信息和/或惯性测量单元232的测量信息,预测自主移动式设备100的初始位姿,并根据该初始位姿进行地图匹配。
在某些示例中,位姿变换可包括原地旋转或无碰撞漫游运动。
步骤511,判断地图匹配是否满足预设条件,如果是,返回步骤508;如果否,返回步骤509。
在另外一个实施例中,还提供了一种软件,该软件用于执行上述实施例及优选实施方式中描述的技术方案。
在另外一个实施例中,还提供了一种存储介质,该存储介质中存储有上述软件,该存储介质包括但不限于:光盘、软盘、硬盘、可擦写存储器等。
本公开,通过检测自主移动式设备的状态,在自主移动式设备从地面状态进入悬空状态时,使用惯性测量单元和/或视觉里程计预测自主移动式设备的位姿,并在回到地面状态时使用预测的位姿进行位姿估计,确定得到自主移动式设备当前的位姿,实现了在自主移动式设备被抱起移动后放下等情况下的定位。
显然,本领域的技术人员应该明白,上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种自主移动式设备定位的方法,其特征在于,包括:
检测自主移动式设备是否从地面状态进入悬空状态;
如果检测到所述自主移动式设备进入所述悬空状态,根据惯性测量单元的第一测量信息和/或视觉里程计的第二测量信息预测所述自主移动式设备的第一位姿;以及
如果检测到所述自主移动式设备从所述悬空状态回到所述地面状态,使用所述第一位姿进行位姿估计,得到所述自主移动式设备的第二位姿。
2.如权利要求1所述的方法,其特征在于,使用所述第一位姿进行位姿估计,得到所述自主移动式设备的第二位姿,包括:
使用所述第一位姿进行环境特征信息与先验全局地图的第一地图匹配;
如果第一地图匹配的结果不满足第一预设条件,使所述自主移动式设备产生位姿变换;
在所述位姿变换的过程中,根据移动距离检测装置的第三测量信息预测所述自主移动式设备的第三位姿,同时使用所述第三位姿进行环境特征信息与先验全局地图的第二地图匹配,直到第二地图匹配的结果满足第二预设条件,根据所述第二地图匹配的结果得到所述自主移动式设备的所述第二位姿。
3.如权利要求2所述的方法,其特征在于,如果所述第一地图匹配的结果满足所述第一预设条件,根据所述第一地图匹配的结果得到所述自主移动式设备的所述第二位姿。
4.如权利要求2或3所述的方法,其特征在于,所述位姿变换包括原地旋转和/或无碰撞漫游运动。
5.如权利要求2或3所述的方法,其特征在于,所述移动距离检测装置包括以下至少之一或任意组合:轮式里程计、所述惯性测量单元、所述视觉里程计。
6.如权利要求1所述的方法,其特征在于,通过重力传感器和/或轮式感应器检测所述自主移动式设备的地面状态和/或悬空状态的变化。
7.一种自主移动式设备定位的装置,其特征在于,包括:
检测模块,用于检测自主移动式设备是否从地面状态进入悬空状态;
预测模块,用于如果检测到所述自主移动式设备进入所述悬空状态,根据惯性测量单元的第一测量信息和/或视觉里程计的第二测量信息预测所述自主移动式设备的第一位姿;以及
定位模块,用于如果检测到所述自主移动式设备从所述悬空状态回到所述地面状态,使用所述第一位姿进行位姿估计,得到所述自主移动式设备的第二位姿。
8.如权利要求7所述的装置,其特征在于,所述定位模块,用于使用所述第一位姿进行环境特征信息与先验全局地图的第一地图匹配;如果第一地图匹配的结果不满足第一预设条件,使所述自主移动式设备产生位姿变换;在所述位姿变换的过程中,根据移动距离检测装置的第三测量信息预测所述自主移动式设备的第三位姿,同时使用所述第三位姿进行环境特征信息与先验全局地图的第二地图匹配,直到第二地图匹配的结果满足第二预设条件,根据所述第二地图匹配的结果得到所述自主移动式设备的所述第二位姿。
9.如权利要求8所述的装置,其特征在于,所述定位模块,还用于如果所述第一地图匹配的结果满足所述第一预设条件,根据所述第一地图匹配的结果得到所述自主移动式设备的所述第二位姿。
10.一种自主移动式设备,其特征在于,包括:
移动距离检测装置,包括视觉里程计和/或惯性检测单元;
状态检测装置,用于检测自主移动式设备的状态,所述状态包括地面状态和悬空状态;以及
一个或多个处理单元,用于如果检测到所述自主移动式设备进入所述悬空状态,根据所述惯性测量单元的第一测量信息和/或所述视觉里程计的第二测量信息预测所述自主移动式设备的第一位姿;以及,如果检测到所述自主移动式设备从所述悬空状态回到所述地面状态,使用所述第一位姿进行位姿估计,得到所述自主移动式设备的第二位姿。
11.如权利要求10所述的自主移动式设备,其特征在于,所述一个或多个处理单元,用于使用所述第一位姿进行环境特征信息与先验全局地图的第一地图匹配;如果第一地图匹配的结果不满足第一预设条件,使所述自主移动式设备产生位姿变换;在所述位姿变换的过程中,根据所述移动距离检测装置的至少部分测量信息预测所述自主移动式设备的第三位姿,同时使用所述第三位姿进行环境特征信息与先验全局地图的第二地图匹配,直到第二地图匹配的结果满足第二预设条件,根据所述第二地图匹配的结果得到所述自主移动式设备的所述第二位姿。
12.如权利要求10或11所述的自主移动式设备,其特征在于,所述移动距离检测装置还包括轮式里程计。
CN201611100972.3A 2016-12-05 2016-12-05 自主移动式设备定位的方法、装置及自主移动式设备 Pending CN106708037A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611100972.3A CN106708037A (zh) 2016-12-05 2016-12-05 自主移动式设备定位的方法、装置及自主移动式设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611100972.3A CN106708037A (zh) 2016-12-05 2016-12-05 自主移动式设备定位的方法、装置及自主移动式设备

Publications (1)

Publication Number Publication Date
CN106708037A true CN106708037A (zh) 2017-05-24

Family

ID=58935679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611100972.3A Pending CN106708037A (zh) 2016-12-05 2016-12-05 自主移动式设备定位的方法、装置及自主移动式设备

Country Status (1)

Country Link
CN (1) CN106708037A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240309A (zh) * 2018-11-14 2019-01-18 三汽车制造有限公司 交通工具控制方法、装置和交通工具
CN109887033A (zh) * 2019-03-01 2019-06-14 北京智行者科技有限公司 定位方法及装置
CN110207714A (zh) * 2019-06-28 2019-09-06 广州小鹏汽车科技有限公司 一种确定车辆位姿的方法、车载系统及车辆
CN110519816A (zh) * 2019-08-22 2019-11-29 普联技术有限公司 一种无线漫游控制方法、装置、存储介质及终端设备
CN110605713A (zh) * 2018-06-15 2019-12-24 科沃斯机器人股份有限公司 机器人定位方法、机器人及存储介质
CN110733033A (zh) * 2018-07-19 2020-01-31 科沃斯机器人股份有限公司 机器人控制方法、机器人及存储介质
CN110849392A (zh) * 2019-11-15 2020-02-28 上海有个机器人有限公司 一种机器人的里程计数据校正方法及机器人
CN111650928A (zh) * 2019-02-18 2020-09-11 北京奇虎科技有限公司 一种扫地机器人自主探索的方法及装置
CN113168179A (zh) * 2018-11-19 2021-07-23 莫比奥工业机器人有限公司 检测自主设备的位置
CN113272713A (zh) * 2018-11-15 2021-08-17 奇跃公司 用于执行自改进的视觉测程法的系统和方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110605713A (zh) * 2018-06-15 2019-12-24 科沃斯机器人股份有限公司 机器人定位方法、机器人及存储介质
US11850753B2 (en) 2018-07-19 2023-12-26 Ecovacs Robotics Co., Ltd. Robot control method, robot and storage medium
CN110733033A (zh) * 2018-07-19 2020-01-31 科沃斯机器人股份有限公司 机器人控制方法、机器人及存储介质
CN109240309A (zh) * 2018-11-14 2019-01-18 三汽车制造有限公司 交通工具控制方法、装置和交通工具
US11921291B2 (en) 2018-11-15 2024-03-05 Magic Leap, Inc. Systems and methods for performing self-improving visual odometry
CN113272713A (zh) * 2018-11-15 2021-08-17 奇跃公司 用于执行自改进的视觉测程法的系统和方法
CN113168179A (zh) * 2018-11-19 2021-07-23 莫比奥工业机器人有限公司 检测自主设备的位置
CN111650928A (zh) * 2019-02-18 2020-09-11 北京奇虎科技有限公司 一种扫地机器人自主探索的方法及装置
CN111650928B (zh) * 2019-02-18 2024-03-05 北京奇虎科技有限公司 一种扫地机器人自主探索的方法及装置
CN109887033A (zh) * 2019-03-01 2019-06-14 北京智行者科技有限公司 定位方法及装置
CN110207714A (zh) * 2019-06-28 2019-09-06 广州小鹏汽车科技有限公司 一种确定车辆位姿的方法、车载系统及车辆
CN110207714B (zh) * 2019-06-28 2021-01-19 广州小鹏自动驾驶科技有限公司 一种确定车辆位姿的方法、车载系统及车辆
CN110519816A (zh) * 2019-08-22 2019-11-29 普联技术有限公司 一种无线漫游控制方法、装置、存储介质及终端设备
CN110519816B (zh) * 2019-08-22 2021-09-10 普联技术有限公司 一种无线漫游控制方法、装置、存储介质及终端设备
CN110849392A (zh) * 2019-11-15 2020-02-28 上海有个机器人有限公司 一种机器人的里程计数据校正方法及机器人

Similar Documents

Publication Publication Date Title
CN106708037A (zh) 自主移动式设备定位的方法、装置及自主移动式设备
US11842500B2 (en) Fault-tolerance to provide robust tracking for autonomous and non-autonomous positional awareness
US11900536B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous tracking
US11501527B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous tracking
US11544867B2 (en) Mapping optimization in autonomous and non-autonomous platforms
JP6896077B2 (ja) 車両自動パーキングシステム及び方法
US10354396B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
US10366508B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
US11948369B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous mapping
US10410328B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
US10390003B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
US10192113B1 (en) Quadocular sensor design in autonomous platforms
US10437252B1 (en) High-precision multi-layer visual and semantic map for autonomous driving
CN102622762B (zh) 使用深度图的实时相机跟踪
EP3447448B1 (en) Fault-tolerance to provide robust tracking for autonomous and non-autonomous positional awareness
CN102609942B (zh) 使用深度图进行移动相机定位
CN108051002A (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
CN105164726A (zh) 用于3d重构的相机姿态估计
Ye et al. 6-DOF pose estimation of a robotic navigation aid by tracking visual and geometric features
CN106679647A (zh) 用于初始化自主移动式设备位姿的方法及装置
Chen et al. ARMSAINTS: An AR-based Real-time Mobile System for Assistive Indoor Navigation with Target Segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170524