CN111220148A - 移动机器人的定位方法、系统、装置及移动机器人 - Google Patents
移动机器人的定位方法、系统、装置及移动机器人 Download PDFInfo
- Publication number
- CN111220148A CN111220148A CN202010071945.8A CN202010071945A CN111220148A CN 111220148 A CN111220148 A CN 111220148A CN 202010071945 A CN202010071945 A CN 202010071945A CN 111220148 A CN111220148 A CN 111220148A
- Authority
- CN
- China
- Prior art keywords
- image
- mobile robot
- current
- information
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000010408 sweeping Methods 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 27
- 238000004140 cleaning Methods 0.000 claims description 20
- 238000010276 construction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000008859 change Effects 0.000 description 38
- 239000013598 vector Substances 0.000 description 22
- 230000003287 optical effect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 11
- 238000006073 displacement reaction Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 239000000428 dust Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000005096 rolling process Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 4
- 239000012535 impurity Substances 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 206010034719 Personality change Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 241001417527 Pempheridae Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- -1 hair Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请公开一种移动机器人的定位方法、系统、装置及移动机器人,其中,定位方法包括:获取移动机器人在一物理空间内拍摄的当前图像;获取第一图像与当前图像相匹配的至少一对第一图像特征集,以及当前图像与第二图像中相匹配的至少一对第二图像特征集;根据至少一对第一图像特征集在第一图像和当前图像中的位置关系,至少一对第二图像特征集在第二图像和当前图像中的位置关系,以及第一图像与第二图像对应的拍摄位置在物理空间的空间坐标系中的坐标信息之间的位置关系,确定机器人的当前位置的坐标信息。本申请无需实时获取图像并进行特征匹配,有效地简化了计算处理,提高了定位效率。
Description
技术领域
本申请涉及定位技术领域,尤其涉及一种移动机器人的定位方法、系统、装置及移动机器人。
背景技术
目前移动机器人的定位技术主要分为如下几种:基于航位推算(Dead Reckoning,DR)的定位、基于地图匹配的定位、以及基于视觉的定位等。
其中,基于航位推算的定位通常利用惯性测量单元(Inertial MeasurementUnit,IMU)和安装在机器人轮组中的里程计,测量移动机器人在移动过程中的加速度和角速度等数据,并利用这些数据的增量进行累计,以此推导移动机器人在某一时刻相对于开始时刻的相对位置,从而实现对移动机器人的定位。然而,这种方式存在误差累积的问题,即累计误差会随着时间逐渐增大。若没有额外的定位数据帮助修正,最终会导致对移动机器人的定位失败。
其次,基于地图匹配的定位利用移动机器人上的传感器探测周围环境,构建局部地图,并将其与预先存储的完整地图进行匹配,从而获得当前时刻移动机器人在整个环境中的位置。然而,这种方式受限于环境布局,仅能适用于结构相对简单的环境。
再者,基于视觉的定位通常移动机器人上的摄像头探测周围的环境,并结合视觉SLAM(Simultaneous Localization and Mapping,SLAM)技术,通过图像特征的匹配构建环境地图,以确定移动机器人的移动轨迹和位姿。然而,这种方式对移动机器人的计算能力和存储空间有着非常高的要求。
发明内容
鉴于以上所述相关技术的缺点,本申请的目的在于提供一种移动机器人的定位方法、系统、装置及移动机器人,以解决现有技术中存在的问题。
为实现上述目的及其他相关目的,本申请公开一种移动机器人的定位方法,包括:获取所述移动机器人在一物理空间内拍摄的当前图像;获取第一图像与当前图像相匹配的至少一对第一图像特征集,以及当前图像与第二图像中相匹配的至少一对第二图像特征集;其中,所述第一图像、第二图像、及当前图像对应的拍摄位置不共线;根据所述至少一对第一图像特征集在所述第一图像和当前图像中的位置关系,所述至少一对第二图像特征集在第二图像和当前图像中的位置关系,以及所述第一图像与第二图像对应的拍摄位置在所述物理空间的空间坐标系中的坐标信息之间的位置关系,确定所述移动机器人的当前位置的坐标信息。
在本申请第一方面的某些实施方式中,所述根据所述至少一对第一图像特征集在所述第一图像和当前图像中的相对位置关系,所述至少一对第二图像特征集在第二图像和当前图像中的位置关系,以及所述第一图像与第二图像对应的拍摄位置在所述物理空间的空间坐标系中的坐标信息之间的位置关系,确定所述移动机器人的当前位置的步骤包括:根据所述第一图像和第二图像的拍摄位置的所述坐标信息、所述第一图像特征集之间的像素位置关系、以及第二图像特征集之间的像素位置关系得到所述当前位置分别相对所述第一图像和第二图像的拍摄位置的第一方位信息和第二方位信息;根据所述第一方位信息、第二方位信息、及所述第一图像和第二图像的拍摄位置的间距,得到所述当前位置的坐标信息。
在本申请第一方面的某些实施方式中,所述第一图像和第二图像中是在所述移动机器人的移动期间由摄像装置所拍摄的;或者,所述第一图像和第二图像来自于所述物理空间的地图数据库。
在本申请第一方面的某些实施方式中,还包括:根据所述移动机器人的当前位置的坐标信息,确定所述移动机器人周围的关键区域。
在本申请第一方面的某些实施方式中,根据所述移动机器人与关键区域的距离,切换所述移动机器人的定位模式。
在本申请第一方面的某些实施方式中,还包括:根据所述移动机器人的当前位置的坐标信息,构建或更新所述物理空间的地图数据库。
在本申请第一方面的某些实施方式中,还包括:将所述移动机器人的当前位置标记在所显示的所述物理空间的地图上的步骤。
在本申请第一方面的某些实施方式中,还包括:根据所获取的当前位置的坐标信息,更新所述移动机器人与预设的导航路线之间的相对位置的步骤。
在本申请第一方面的某些实施方式中,所述移动机器人还包括惯导检测装置,所述定位方法还包括:利用所获取的位置信息修正所述惯导检测装置所提供的惯导数据的步骤。
本申请第二方面提供一种移动机器人的定位系统,包括:获取所述移动机器人在一物理空间内拍摄的当前图像;获取第一图像与当前图像相匹配的至少一对第一图像特征集,以及当前图像与第二图像中相匹配的至少一对第二图像特征集;其中,所述第一图像、第二图像、及当前图像对应的拍摄位置不共线;根据所述至少一对第一图像特征集在所述第一图像和当前图像中的相对位置关系,所述至少一对第二图像特征集在第二图像和当前图像中的位置关系,以及所述第一图像与第二图像对应的拍摄位置在所述物理空间的空间坐标系中的坐标信息之间的位置关系,确定所述移动机器人的当前位置的坐标信息。
在本申请第二方面的某些实施方式中,所述根据所述至少一对第一图像特征集在所述第一图像和当前图像中的相对位置关系,所述至少一对第二图像特征集在第二图像和当前图像中的位置关系,以及所述第一图像与第二图像对应的拍摄位置在所述物理空间的空间坐标系中的坐标信息之间的位置关系,确定所述移动机器人的当前位置的步骤包括:
根据所述第一图像和第二图像的拍摄位置的所述坐标信息、所述第一图像特征集之间的像素位置关系、以及第二图像特征集之间的像素位置关系得到所述当前位置分别相对所述第一图像和第二图像的拍摄位置的第一方位信息和第二方位信息;
根据所述第一方位信息、第二方位信息、及所述第一图像和第二图像的拍摄位置的间距,得到所述当前位置的坐标信息。
在本申请第二方面的某些实施方式中,所述第一图像和第二图像中是在所述移动机器人的移动期间由摄像装置所拍摄的;或者,所述第一图像和第二图像来自于所述物理空间的地图数据库。
在本申请第二方面的某些实施方式中,还包括构建模块,用于根据所述移动机器人的当前位置的坐标信息,构建或更新所述物理空间的地图数据库。
在本申请第二方面的某些实施方式中,还包括显示模块,用于将所述移动机器人的当前位置标记在所显示的所述物理空间的地图上的步骤。
在本申请第二方面的某些实施方式中,还包括导航模块,用于根据所获取的当前位置的坐标信息,更新所述移动机器人与预设的导航路线之间的相对位置。
在本申请第二方面的某些实施方式中,所述移动机器人还包括惯导检测装置,所述惯导检测装置用于利用所获取的位置信息修正所述惯导检测装置所提供的惯导数据。
本申请第三方面还提供一种移动机器人,包括:摄像装置,用于拍摄图像;移动装置,用于接收一移动控制信息并执行相应的移动操作;存储装置,存储来自所述摄像装置所拍摄的图像,以及所述图像对应的拍摄位置在所述物理空间的空间坐标系中的坐标信息,以及至少一个程序;控制装置,与所述摄像装置和移动装置相连,用于执行输出所述移动控制信息,并执行如第一方面所述的定位方法。
在本申请第三方面的某些实施方式中,所述移动机器人为扫地机器人;对应地,所述扫地机器人还包括清洁装置,所述清洁装置用于执行清洁操作。
本申请第四方面还提供一种移动机器人的定位装置,包括:接口单元,用于连接所述移动机器人中的摄像装置;存储单元,用于存储至少一个程序;处理单元,与所述接口单元和存储单元相连,用于调用并执行所述至少一个程序,以协调所述存储单元和摄像装置执行并实现如第一方面所述的定位方法。
本申请第五方面还提供一种计算机可读存储介质,存储有至少一程序,所述至少一程序在被调用时执行并实现如第一方面所述的定位方法。
综上所述,本申请的移动机器人的定位方法、系统、装置及移动机器人,具有以下有益效果:通过获取当前图像分别与另外两张图像中所匹配的图像特征,根据相匹配的图像特征集的位置关系来获取机器人的当前位置,可有效解决传感器误差累积的问题,实现对机器人的准确定位。同时,借助相匹配的图像特征集的位置关系来获取机器人的当前位置,无需实时获取图像并进行特征匹配,有效地简化了计算处理,节省了成本。
附图说明
本申请所涉及的发明的具体特征如所附权利要求书所显示。通过参考下文中详细描述的示例性实施方式和附图能够更好地理解本申请所涉及发明的特点和优势。对附图简要说明书如下:
图1显示为本申请移动机器人的定位方法在一实施例中的流程示意图。
图2显示为图像特征在图像坐标系中的示意图。
图3显示为移动机器人在当前位置、以及拍摄第一图像和第二图像时所在位置的示意图。
图4显示为本申请定位系统在一实施例中的结构示意图。
图5显示为本申请移动机器人在一实施例中的结构示意图。
图6显示为本申请定位装置在一实施例中的结构示意图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
在下述描述中,参考附图,附图描述了本申请的若干实施例。应当理解,还可使用其他实施例,并且可以在不背离本公开的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的,并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例,而并非旨在限制本申请。空间相关的术语,例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等,可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件或参数,但是这些元件或参数不应当被这些术语限制。这些术语仅用来将一个元件或参数与另一个元件或参数进行区分。例如,第一图像特征可以被称作第二图像特征,并且类似地,第二图像特征可以被称作第一图像特征,而不脱离各种所描述的实施例的范围。第一图像特征和第二图像特征均是在描述一个图像特征,但是除非上下文以其他方式明确指出,否则它们不是同一个图像特征。相似的情况还包括第一图像特征对与第二图像特征对,或者第一图像特征集与第二图像特征集。
再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
移动机器人为自动执行特定工作的机器装置,它既可以接受人们指挥,又可以运行预先编排的程序,也可以根据以人工智能技术制定的原则纲领行动。这类移动机器人可用在室内或室外,可用于工业或家庭,可用于取代保安巡视、取代人们清洁地面,还可用于家庭陪伴、辅助办公等。
目前移动机器人的定位技术主要分为如下几种:基于航位推算(Dead Reckoning,DR)的定位、基于地图匹配的定位、以及基于视觉的定位等。
其中,基于航位推算的定位通常利用惯性测量单元(Inertial MeasurementUnit,IMU)和安装在机器人轮组中的里程计,测量移动机器人在移动过程中的加速度和角速度等数据,并利用这些数据的增量进行累计,以此推导移动机器人在某一时刻相对于开始时刻的相对位置,从而实现对移动机器人的定位。然而,这种方式存在误差累积的问题,即累计误差会随着时间逐渐增大。若没有额外的定位数据帮助修正,最终会导致对移动机器人的定位失败。
其次,基于地图匹配的定位利用移动机器人上的传感器探测周围环境,构建局部地图,并将其与预先存储的完整地图进行匹配,从而获得当前时刻移动机器人在整个环境中的位置。然而,这种方式受限于环境布局,仅能适用于结构相对简单的环境。
再者,基于视觉的定位通常移动机器人上的摄像头探测周围的环境,并结合视觉SLAM(Simultaneous Localization and Mapping,SLAM)技术,通过图像特征的匹配构建环境地图,以确定移动机器人的移动轨迹和位姿。然而,这种方式需要实时获取环境图像并进行特征点匹配,对移动机器人的计算能力和存储空间有着非常高的要求。
有鉴于此,本申请提供一种移动机器人的定位方法,用以根据拍摄的图像确定移动机器人当前所在的位置,在计算能力不足以满足实时定位的要求的情况下,依然能够对移动机器人进行准确的定位;通过简化计算,提高了移动机器人的处理效率,降低了成本。
请参阅图1,显示为本申请移动机器人的定位方法在一实施例中的流程示意图。其中,所述移动机器人指的是具有构建地图能力的自主移动设备,包括但不限于:无人机、工业机器人、家庭陪伴式移动设备、医疗用移动设备、清洁机器人、智能车辆、以及巡逻式移动设备等中的一种或多种。
所述移动机器人设置有摄像装置,其中,所述摄像装置为用于按照预设像素分辨率提供二维图像的装置。
在一些实施例中,所述摄像装置包括但不限于:照相机、视频摄像机、集成有光学系统或CCD芯片的摄像模块、以及集成有光学系统和CMOS芯片的摄像模块等。根据实际成像的需求,所述摄像机或视频摄像机可以采用的镜头包括但不限于:标准镜头、远摄镜头、鱼眼镜头、以及广角镜头等。
在一些实施例中,所述移动设备将摄取的图像存储在本地的存储介质内。其中,所述存储介质可以包括只读存储器、随机存取存储器、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、U盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够进行存取的任何其它介质。
在一些实施例中,所述移动机器人将拍摄的图像传输至通信连接的外部设备进行存储,所述通信连接包括有线或无线的通信连接方式。其中,所述外部设备可以是位于网络中的服务端,所述服务端包括但不限于单台服务器、服务器集群、分布式服务器群、以及云服务端等中的一种或多种。在具体的实现中,所述云服务端可以是云计算提供商所提供的云计算平台。以所述云服务端的架构作为依据,所述云服务端的类型包括但不限于:Software-as-a-Service(软件即服务,SaaS)、Platform-as-a-Service(平台即服务,PaaS)、以及Infrastructure-as-a-Service(基础设施即服务,IaaS)。以所述云服务端的性质作为依据,所述云服务端的类型包括但不限于:公共云(Public Cloud)服务端、私有云(Private Cloud)服务端、以及混合云(Hybrid Cloud)服务端等。
在一些实施例中,所述公共云服务端例如为亚马逊(Amazon)的弹性计算云(Amazon EC2)、IBM的Blue Cloud、谷歌的AppEngine、以及Windows的Azure服务平台等;所述私有云服务端例如为阿里云计算服务平台、亚马逊(Amazon)云计算服务平台、百度云计算平台、以及腾讯云计算平台等。
所述摄像装置摄取的可以是单张图像、连续图像序列、非连续图像序列、或者视频等中的一种或多种。若摄像装置摄取的是图像序列或视频,则可以通过在该序列或视频中提取一或多个图像帧,作为后续进行处理的图像。
在此,所述移动机器人为了获取当前所在的位置于当前时刻拍摄的图像称为当前图像。例如,移动机器人自启动起在移动过程中任意时刻拍摄一张图像作为当前图像。又如,移动机器人在发生危险动作(例如部分或全部悬空、与障碍物碰撞、即将进入禁区等)时拍摄一张图像作为当前图像,以获取当前的位置,从而判断是否依据危险动作执行相应的反应操作。
在获取当前图像后,所述移动机器人还需至少两张另外的图像进行图像特征匹配,以获取当前所在的位置。其中,如何通过图像特征匹配以获取所述移动机器人当前所在的位置,请容许稍后再述。
为了区分另外的两张图像,将其中一张图像称为第一图像,另一张图像称为第二图像。其中,所述“第一”和“第二”并不意味着图像拍摄的先后顺序,仅用于区分两幅图像。
其中,所述第一图像和第二图像中可以包含或不包含重叠区域,各图像中的所述重叠区域中包含用于描述同一特征的相匹配的图像特征对。
在一些场景中,为了获取移动机器人的实时位置,在移动过程中,可以以相对更高的频率拍摄所述图像,通过匹配图像中的特征以获取精确的定位。由此,在这种情况下,所述第一图像和第二图像中可能存在相匹配的图像特征。
在一些场景中,为了达到节省存储空间、简化计算的目的,在移动过程中,可以以相对更低的频率拍摄所述图像,拍摄所述第一图像的位置和拍摄第二图像的位置之间可能存在一定的距离,并且受所述摄像装置的视场角的限制,在这种情况下,所述第一图像则与第二图像不存在图像上的重叠区域。由此,能够在低成本芯片的运算能力条件制约下,完成对移动机器人的定位操作。
需要说明的是,当前图像分别与第一图像和第二图像具有相匹配的图像特征。至于所述第一图像与第二图像中是否存在相匹配的图像特征则不作限制。
在一些实施例中,所述移动机器人于移动期间通过摄像装置拍摄所述第一图像和第二图像。例如,所述移动设备在移动过程中于t1时刻在A位置拍摄第一图像C1,于t2时刻在B位置拍摄第二图像C2。或者,所述移动设备于t1时刻在A位置拍摄第二图像C2,于t2时刻在B位置拍摄第一图像C1,等等。又如,所述移动设备在移动过程中拍摄第一图像C1,从存储介质中存储的地图数据库中提取以前拍摄的某一图像作为第二图像C2;或者所述移动设备在移动过程中拍摄第二图像C2,从存储介质中存储的地图数据库中提取以前拍摄的某一图像作为第一图像C1,等等。
在一些实施例中,所述第一图像和第二图像来自于所述物理空间的地图数据库。
所述地图数据库包括地标信息。所述地标信息指的是环境中易于与其他物体进行区分的特征,例如,所述地标信息可以是桌角、天花板上的顶灯的轮廓特征、墙壁与地面之间的连线等。
其中,所述地标信息包括但不限于:所述移动机器人所在物理空间的地图数据、拍摄的图像、拍摄到某一图像特征时移动机器人所在的位置及姿态、历次相匹配的图像特征、历次拍摄到某一图像特征时该图像特征在相应图像中的位置等中的一种或多种。
其中,所述图像特征包括但不限于:形状特征、和灰度特征等。所述形状特征包括但不限于角点特征、边缘特征、直线特征、以及曲线特征等中的一种或多种。所述灰度特征包括但不限于:灰度跳变特征、高于或低于灰度阈值的灰度值、以及图像帧中包括预设灰度范围的区域尺寸等中的一种或多种。
在一些实施例中,所述地图数据库可以与移动设备通过摄像装置获取的室内环境的图像一并存储在存储介质中,或者上传至服务端或云端进行存储。
本申请提供的定位方法中,所述移动机器人通过摄像装置于当前时刻拍摄一张图像,并将该图像与至少两张图像进行特征匹配以获取当前时刻对应在所述物理空间的空间坐标系中的坐标信息。其中,为了描述方便,所述物理空间的空间坐标系以下简称空间坐标系,以下不再赘述。
在此,所述摄像装置所摄取的图像中各图像像素点的二维坐标参数可由图像坐标系描述,其中,所述图像坐标系是基于图像像素点而构建的图像坐标系。所述图像坐标系可为直角坐标系或极坐标系等。借由摄像装置中焦距等内参,图像坐标系与相机坐标系之间具有变换关系。其中,相机坐标系随摄像装置的位移、旋转而变化。相机坐标系和图像坐标系在摄像机拍摄每幅图像而单独构建。所述空间坐标系是基于实际三维物理空间中各位置而构建的坐标系,其物理空间位置可依据预设的图像像素单位与单位长度(或单位角度)的对应关系而被描述在所述空间坐标系中。所述空间坐标系可为二维直角坐标系、极坐标系、球坐标系、三维直角坐标系等。
为了构建所述图像坐标系与空间坐标系之间的关联关系,在所述摄像装置开始摄取图像之前,还可以包括对摄像装置进行标定的步骤。所述标定是通过拍摄测量空间内由标定点构成的几何图案与相应标定点映射到图像中所构成的几何图案的偏差,确定图像坐标系与空间坐标系的角度等坐标参数方面的系统偏差。其中,所述标定的方法包括但不限于:传统摄像机标定法、主动视觉摄像机标定方法、以及摄像机自标定法等中的一种或多种。例如,摄像装置设置在移动机器人的顶部,且其光轴并与移动机器人所移动的平面大致垂直,通过标定,可更精准确定光轴与移动平面之间的偏角为89°,该89°可作为系统偏差在执行后续步骤时为确定移动机器人的姿态提供补偿操作。
步骤S101、获取所述移动机器人在一物理空间内拍摄的当前图像。其中,所述物理空间指的是所述移动机器人所在的实际三维空间,可由在所述空间坐标系中构建的抽象数据进行描述。例如,所述物理空间包括但不限于家庭住所、公共场所(例如办公场所、商场、医院、地下停车场、以及银行)等。对于移动机器人而言,所述物理空间通常指的是室内的空间,即空间在高度方向上存在边界。
在一些实施例中,所述物理空间内还可以包括若干房间分隔体。所述房间分隔体是指物理空间内用于形成空间边界的立面,如墙面、隔断、落地窗、以及天花板等。
承前所述,所述移动机器人为了获取当前所在的位置于当前时刻拍摄的图像称为当前图像。例如,移动机器人自启动起在移动过程中任意时刻拍摄一张图像作为当前图像。又如,移动机器人在发生危险动作(例如部分或全部悬空、与障碍物碰撞、即将进入禁区等)时拍摄一张图像作为当前图像,以获取当前的位置,从而判断是否依据危险动作执行相应的反应操作。
在一个具体的场景示例中,所述移动机器人在发生碰撞时判断遇到新的障碍物,由此可于此刻拍摄一张图像作为当前图像,从而判断室内家具布置是否发生改变。
在另一个具体的场景示例中,假设所述移动机器人为扫地机器人,当扫地机器人执行清洁任务完成后,执行回充操作,则可以于此时刻拍摄一张图像作为当前图像,以获取当前所在的位置,从而根据当前位置规划回充路径。
在另一个具体的场景示例中,所述移动机器人在根据预先设置的导航路线执行任务时被突然抱起或搬动,则可在重新落地后即拍摄一张图像作为当前图像,以进行重地位,从而依据所述当前位置与导航路线的偏离回归该路线,或基于当前位置重新规划导航路线。
步骤S102、获取第一图像与当前图像相匹配的至少一对第一图像特征集,以及当前图像与第二图像中相匹配的至少一对第二图像特征集。需要说明的是,所述移动机器人分别拍摄第一图像、第二图像、当前图像时的位置不共线。
为了简述方便,将当前图像中的一图像特征称为“当前图像特征”,将第一图像中的一图像特征称为“第一图像特征”,将第二图像中的图像特征称为“第二图像特征”,以下不再赘述。
在此,将当前图像特征与第一图像特征进行特征匹配,若相匹配,则当前图像特征与对应的第一图像特征之间构成一对第一图像特征对。遍历全部当前图像特征与全部第一图像特征并进行特征匹配,获取一或多对第一图像特征对,由此,构成了一个第一图像特征集。同理,将第二图像特征与当前图像特征进行匹配,从而获取第二图像特征集。
所述图像特征例如通过描述子进行描述。例如,基于尺度不变特征变换(Scale-invariant feature transform,SIFT)算法,从多张图像中提取图像特征,并基于该多张图像中包含图像特征的图像块得到用于描述该图像特征的灰度值序列,并将该灰度值序列即为所述描述子。又如,所述描述子用以通过编码定位特征信息的周围亮度信息来描述所述图像特征,以所述图像特征为中心在其周围一圈采样若干个点,其中采样点的数量为但不限于256或512个,将这些采样点两两比较,得到这些采样点之间的亮度关系并将亮度关系转换成二进制字符串或其他编码格式。
由此,根据所述描述子,生成图像特征的特征向量,从而根据所述特征向量进行图像特征匹配。其中,当前图像特征与第一/第二图像特征相匹配表示二者的图像特征相似。特征之间的相似度通常可以由特征向量之间的距离来衡量。其中,所述特征向量之间的距离是通过在对所述第一/第二图像特征的特征向量或当前图像特征的特征向量中至少一个进行旋转和平移(或缩放)后,与其中的另一个图像特征的特征向量之间的距离(例如欧式距离、余弦距离、汉明距离等)而确定的。当所计算的两个特征向量之间的距离小于预设的匹配阈值时,表示两图像特征相匹配。
以此类推,从而确定第一图像与当前图像相匹配的图像特征对,并将所得到的相匹配的至少一对图像特征对的集合称为第一图像特征集。同理可获取第二图像特征集。
为了能够准确定位,所匹配的图像特征的数量可以为多个。为此,根据所识别的图像特征在图像中的位置,从所识别出的图像特征中寻找能够匹配的图像特征,不同图像中匹配的图像特征可能是属于同一物体或部位的。
在一些实施例中,假设空间坐标系中某一点P的坐标为Pw(xw,yw,zw),对应的,该P点在图像坐标系中的坐标为Pc(u,v,1)。根据构建的第一/第二图像与当前图像中相匹配的图像特征对之间的坐标关系方程:Pc=RPw+T;给定基本旋转矩阵和基本平移矩阵时,即:
其中,R为3×3的正交旋转矩阵,用于表征图像坐标系相对于空间坐标系的旋转程度;T为3×1的平移矩阵,用于表征图像坐标系相对于空间坐标系的平移量。由此,为确定所述移动机器人在三个方向上的正交旋转矩阵和平移矩阵的参数,所匹配的图像特征的数量为至少4对。需要说明的是,可以通过匹配更多的图像特征,以使得所述移动机器人的定位更加准确。
步骤S103、根据所述至少一对第一图像特征集在所述第一图像和当前图像中的位置关系,所述至少一对第二图像特征集在第二图像和当前图像中的位置关系,以及所述第一图像与第二图像对应的拍摄位置在所述物理空间的空间坐标系中的坐标信息之间的位置关系,确定所述移动机器人的当前位置的坐标信息。
在此,根据第一图像特征集描述的相匹配的两个图像特征,确定该两个图像特征在当前图像中的位置相较于在第一图像中的第一像素位置变化,并利用所述第一像素位置变化确定移动机器人拍摄当前图像时相对于拍摄第一图像时的姿态变化。类似地,根据第二图像特征集描述的相匹配的两个图像特征,确定该两个图像特征在当前图像中的位置相较于在第二图像中的第二像素位置变化,并利用所述第二像素位置变化确定移动机器人拍摄当前图像时相对于拍摄第二图像时的姿态变化。基于空间坐标系中三个拍摄图像的位置所构建的三角几何关系,和第一图像与第二图像对应的拍摄位置在空间坐标系中的位置关系,确定所述移动机器人的当前位置。
例如,在图像坐标系中,根据属于第一图像的图像特征在第一图像中的位置,获取该图像特征对应在图像坐标系下的像素坐标信息A1(u1,v1);根据属于当前图像的另一个图像特征在当前图像中的位置,获取该图像特征对应在图像坐标系下的像素坐标信息A2(u2,v2);应当清楚,所述属于第一图像的图像特征与属于当前图像的另一个图像特征均在描述同一图像特征,并构成一个第一图像特征对。根据多个图像特征对构成的第一图像特征集在所述第一图像和当前图像中的像素位置关系,可以获得所述移动机器人在当前位置的位置相对于拍摄第一图像时的位置的变化,包括距离和方向的变化。同理,根据多个图像特征对构成的第二图像特征集在所述第二图像和当前图像中的像素位置关系,可以获得所述移动机器人在当前位置的位置相对于拍摄第二图像时的位置的变化。
在一些示例中,所述像素位置关系为多个图像特征对应的几何形状之间的像素偏差,如边和边之间的偏差、点和点之间的偏差等,通过均值处理后得到的像素偏差。在又一些示例中,所述像素位置关系也可以为各个特征点之间的偏差通过均值处理得到的像素偏差。
在一些实施例中,根据所述第一图像特征集之间的像素位置关系、以及第二图像特征集之间的像素位置关系,得到所述当前位置分别相对所述第一图像和第二图像的拍摄位置的第一方位信息和第二方位信息。根据所述第一图像和第二图像的拍摄位置的所述坐标信息,获取所述第一图像和第二图像的拍摄位置的间距。由此,根据所述第一方位信息、第二方位信息、及所述间距,即可得到所述移动机器人的当前位置的坐标信息。
在此,根据图像特征集中各图像特征对之间的像素位置关系,获得移动机器人在当前位置的位置相对于拍摄第一/第二图像时的位置的变化后,根据其位置的变化,能够得到所述移动机器人的当前位置分别相对于拍摄第一/第二图像时的位置的方位信息,即所述第一方位信息和第二方位信息。
例如,请参阅图2,显示为图像特征在图像坐标系中的示意图。如图所示,在同一图像坐标系(u,v)下,移动机器人于A位置拍摄的第一图像中一特征对应的坐标为a1(u1,v1),于当前位置X摄取的当前图像中相匹配的特征的坐标为x0(u0,v0)。由此,可以计算得到相匹配的第一图像特征a1和当前图像特征x0的像素偏差所述像素偏差的向量表明了受移动机器人移动影响,第一图像特征a1向当前图像特征a0的方向(虚线箭头所示方向)移动了m个像素。换言之,一对图像特征对描绘的同一图像特征在第一图像中的位置和在当前图像中的位置的变化,反映了移动机器人于移动期间的方位变化。
由于所述第一图像和第二图像为历史拍摄的图像,所述移动机器人在拍摄第一图像和第二图像时所在的位置(A、B)是已知的,由此,所述第一图像与第二图像对应的拍摄位置在空间坐标系中的坐标信息是已知的,其拍摄位置的相对方位也是已知的;即,根据移动机器人在拍摄第一图像时的位置和拍摄第二图像时的位置,即可求得移动机器人在拍摄第一图像时的位置相较于拍摄第二图像时的位置的方位信息,包括距离和角度信息。
例如,假设所述移动机器人在拍摄第一图像时对应的空间坐标系的坐标为A(X1,Y1),在拍摄第二图像时对应的空间坐标系的坐标为B(X2,Y2),由此,可以获得拍摄第二图像时的位置坐标B(X2,Y2)相较于A(X1,Y1)的角度,也就是说,可以计算获得拍摄第二图像时的位置在拍摄第一图像时的位置的某一方向上;同时,可以计算得到所述第一图像与第二图像对应的拍摄位置在空间坐标系中的坐标信息之间的位置关系,即,所述移动机器人在拍摄第一图像时的位置A与拍摄第一图像时的位置B之间的间距d。
在一个具体的场景中,请参阅图3,显示为移动机器人在当前位置、以及拍摄第一图像和第二图像时所在位置的示意图。如图所示,假设移动机器人在A位置拍摄第一图像,在B位置拍摄第二图像,并欲求得当前所在的位置X。则根据上述描述,根据移动机器人在当前位置X的图像分别与第一图像相匹配的第一图像特征集的像素偏差,即可获得当前位置X在A位置的东北30度方向;根据移动机器人在当前位置X的图像与第二图像相匹配的第二图像特征集的像素偏差,即可获得当前位置X在B位置的西北15度方向。再根据A、B位置的坐标信息,获知B位置在A位置的东南20度方向。由此,可以获得移动机器人在A位置、B位置、以及当前位置所形成的三角形(triangle)的各个内角。在根据A位置和B位置之间的间距d,利用三角几何计算即可获得所述移动机器人的当前位置X。
在确定当前位置过程中,若通过相匹配的图像特征对确定拍摄第一图像、第二图像和当前图像的三个位置大致共线,则放弃通过当前图像进行定位,而控制移动机器人继续改变姿态继续移动一段位移,以使移动机器人所在位置与拍摄第一图像、第二图像的位置不共线。例如,在至少确定移动机器人拍摄第一图像、第二图像和当前图像三个A、B、C位置时所形成的CAB角或ABC角,即可确定三个位置大致共线或不共线。
在一些示例中,利用惯导数据计量移动机器人分别拍摄第一图像、第二图像和当前图像的大致位置,若确定拍摄第一图像或第二图像的位置相对于当前图像的位置的角度在预设角度范围内,则判断拍摄所述第一图像或第二图像和当前图像时的位置大致共线。例如,若依据惯导数据确定拍摄第一图像或第二图像的位置相对于当前图像的位置的角度在0度~30度(或150度~180度)角度范围内,则移动机器人认为拍摄第一图像或第二图像的位置与当前图像的位置大致共线。容易理解,所述角度范围仅为举例,还可以根据实际需求进行调整,例如0度~10度(或170度~180度)、0度~20度(或160度~180度)等;所述角度范围的精度也可以为1度、0.1度、0.01度等。
在又一些示例中,基于当前图像与第一图像中相匹配的图像特征之间的特征向量确定分别拍摄当前图像和第一图像时相机坐标系的第一变换关系,基于当前图像与第二图像中相匹配的图像特征对之间的特征向量确定分别拍摄当前图像和第二图像时相机坐标系的第二变换关系,根据第一变换关系或第二变换关系,以及预先构建的图像坐标系与空间坐标系之间的间角度上的系统偏差,来确定三个位置不共线或大致共线。其中,所述第一变换关系和第二变换关系包括:基于相匹配图像特征对而确定的旋转偏角、平移位移、和缩放比例等。例如,预设摄像装置的光轴和移动平面之间具有80°系统偏差,通过预先经标定/预设的该系统偏差对图像坐标系和空间坐标系之间映射关系,当根据图像特征匹配得到当前图像和第一图像中相匹配的图像特征对的特征向量确定在拍摄两幅图像的两个位置处相机坐标系旋转了20°时,根据相机坐标系的旋转变换以及所述映射关系得到在空间坐标系下拍摄当前图像和第一图像时移动机器人的位置坐标的变化,换言之,确定了移动机器人拍摄当前图像和第一图像时的姿态变化。同理可得移动机器人拍摄当前图像和第二图像时的姿态变化。利用已知的拍摄第一图像和第二图像时的姿态关系和两个姿态变化,来确定移动机器人在拍摄三幅图像时的三个位置大致共线/不同线。
在确定移动机器人的当前位置后,在一些实施例中,根据所述移动机器人的当前位置的坐标信息,确定所述移动机器人周围的关键区域。所述关键区域指的是对移动机器人的移动路径具有约束作用的区域。根据实际物理空间的位置划分,所述关键区域包括但不限于:门及附近区域、充电座及附近区域、楼梯附近区域等。根据用户的指令划分,所述关键区域包括但不限于:可活动区域、禁区等。
在此,根据移动机器人当前位置的坐标信息,确定所述移动机器人在地图上的位置。通过判断所述移动机器人与关键区域的距离是否大于/小于预设门限,从而判断是否切换定位模式。所述门限可以是固定值、或基于地图中所标记的区域而设定。
其中,所述定位模式指的是所述移动机器人存储的用于执行定位操作的预设编排的程序。
在一示例中,依据对定位精度的需求,所述移动机器人可以设置为具有“粗略定位模式”和“精准定位模式”等。例如,在一家庭内,所述移动机器人通过执行“粗略定位模式”的定位操作,粗略获取其当前位置位于客厅中央、或卧室门口等;通过执行“粗略定位模式”的定位操作,精确获取其当前位置位于距离客厅门口20cm的位置、或刚进入卧室门口30cm等。
在一示例中,所述移动机器人可以设置为具有“全局定位模式”和“局部定位模式”等,例如,在“全局定位模式”下,所述移动机器人获取其在一物理空间内的位置,如客厅、厨房、卧室等;在“局部定位模式”下,所述移动机器人获取其在所述物理空间的子空间内的位置,如客厅的某一区域等。
例如,当移动机器人移动至楼梯附近且与楼梯的距离小于门限时,切换至高精度定位模式,以防止从楼梯上掉落。又如,移动机器人在回充时需要准确地找到充电桩(座)的位置,由此,当移动机器人移动至充电桩附近区域且与禁区距离小于门限时,切换至精度更高的定位模式,以高效率完成回充操作。
再如,用户可以在电子设备的显示界面上进行输入操作(包括但不限于点触、拖动、滑动等),例如在地图上划取一定大小的区域并设置禁区,所述电子设备根据该输入操作生成指令并将该指令发送给所述移动机器人,由此移动机器人在移动至禁区附近且与禁区距离小于门限时,切换至精度更高的定位模式,以防止移动到禁区之内。
在一些实施例中,所述移动机器人可以为扫地机器人;所述扫地机器人还可以根据其与关键区域的距离切换清洁模式。例如,当所述扫地机器人移动至用户设置的“重点清洁区域”时,切换至强力清扫模式等。
对应的,所述移动机器人可以以相对更高的频率拍摄所述关键区域附近的图像,并进行密集存储,以使得图像特征的匹配更为精准。例如,当移动机器人与关键区域距离较远时,可以较低频率拍摄周围环境的图像并进行特征匹配,以获取当前所处的大致位置;当移动机器人拍摄的图像与预先存储的关键区域附近的图像相匹配时,可判定所述移动机器人已移动至所述关键区域附近,并提高拍摄的频率。
在一些实施例中,所述移动机器人可以根据当前位置的坐标信息,构建所述物理空间的地图数据库。
承前所述,所述地图数据库包括地标信息,所述地标信息包括但不限于:所述移动机器人所在物理空间的地图数据、拍摄的图像、拍摄到某一图像特征时移动机器人所在的位置及姿态、历次相匹配的图像特征、历次拍摄到某一图像特征时该图像特征在相应图像中的位置等中的一种或多种。
在此,所述移动机器人可以基于当前位置,将拍摄的图像、坐标信息、当前姿态等信息进行存储,从而构建所述物理空间的地图数据库;也可以基于多个位置的坐标信息,将各信息进行整合,形成统一的可供后续使用的地图数据库。
在一些实施例中,所述移动机器人可以根据当前位置的坐标信息,更新所述物理空间的地图数据库,以更新所述移动机器人的最新位置,或者提供可供移动机器人持久化使用的地图和图像特征集。
在此,一方面,所述移动机器人所提供的地图和图像特征集是基于历史移动所途径的物理空间而构建的,其地图数据的完整性与所移动的空间范围相关。另一方面,由于图像特征集中的图像特征受环境影响较大,例如,自然光下所得到的图像特征和灯光下所得到的图像特征可能不同。因此,在一些实施例中,当基于当前位置的坐标信息查找到所述移动机器人未曾存储的图像特征时,可以将该图像特征补充保存到地图数据库中。或者,当基于当前位置的坐标信息查找到已存储的但无法与新匹配的图像特征相匹配的图像特征时,删除相应地图数据库中所保存的多余特征。
在一些实施例中,还可以基于当前位置的坐标信息,判定当前匹配的图像特征数量高于预设门限时,添加新的地标信息。其中所述门限可以是固定值、或基于地图中所标记位置处对应的特征数量而设定。例如,当基于当前位置的坐标信息查找到新匹配的特征数量多于相应位置处存储介质中所保存的特征数量时,可将新的特征添加到已构建的地标信息中。
需要说明的是,本领域技术人员应该理解,上述基于所述当前位置的坐标信息而更新地图数据库的方式仅为举例,而非对本申请的限制。例如,也可以基于图像特征来更新地图数据库等。
在一些实施例中,还可以将所述移动机器人的当前位置标记在所显示的所述物理空间的地图上。所述标记有移动机器人当前位置的地图可以在电子设备上予以显示。其中,所述电子设备具有显示装置,包括但不限于智能终端(例如手机、平板电脑、笔记本电脑等)、多媒体设备、流媒体设备、以及网络控制中心等中的一种或多种。
在此,通过将所述移动机器人的位置在地图上予以标记,所述移动机器人的位置可实时或可追溯地显示在地图中。在一些实施例中,所述电子设备具有可供用户查看的显示屏,则用户可通过查看地图来获取移动机器人的任务执行情况。例如,查看移动机器人的移动路线。
在一些实施例中,还可以根据所获取的当前位置的坐标信息,更新所述移动机器人与预设的导航路线之间的相对位置的步骤。例如,在对移动设备移动的导航期间,利用上述方式获取所述移动机器人的当前位置及姿态变化,从而快速确定移动设备当前的移动路线是否发生偏移,并基于判断结果来进行后续导航调整。当所述移动机器人未处于预设的导航路线上时,依据所述得到的当前位置的坐标信息,可帮助移动机器人确定当前位置与上一位置的相对位移和相对转角,并借此数据进行地图绘制、或基于当前位置重新规划导航路线等。
在一些实施例中,基于所述定位方法确定的所述移动机器人的当前位置的坐标信息,并结合惯导检测装置提供的惯导数据,所述移动机器人能够对构建的所述室内空间的地图进行修正或更新。例如,所述移动机器人通过惯导检测装置获取自身的位置变化信息为D1,而根据所述摄像装置和深度检测装置获取的数据处理后获得的位置变化信息为D2。由此,根据两种方式获得的位置变化信息的差异,可以判断出是否在误差范围内,或者是否出现被卡住、轮组是否打滑等情况。
由此,在一些实施例中,所述移动机器人还包括惯导检测装置,所述惯导检测装置用于获取移动机器人的惯导数据。所述惯导检测装置包括但不限于陀螺仪、里程计、光流计、以及加速度计等中的一种或多种。所述惯导数据包括但不限于移动机器人的速度数据、加速度数据、移动距离、滚轮的滚动圈数、以及滚轮的偏转角度等中的一种或多种。
由此,所述室内定位方法还可以包括利用所确定的当前位置的坐标信息,修正所述惯导检测装置所提供的惯导数据。例如,根据通过室内定位方法获得的移动机器人的当前位置的坐标信息,与由所述惯导检测装置所提供的位置信息进行比较、修正。
在一些实施例中,还可以由所确定的当前位置的坐标信息代替所述惯导检测装置所提供的惯导数据。或者,也可以由综合所述当前位置的坐标信息和所述惯导检测装置所提供的惯导数据,通过计算加权和或者其他数学运算获得最终的惯导数据,等等。
本申请还提供一种移动机器人的定位系统,请参阅图4,显示为本申请定位系统在一实施例中的结构示意图。如图所示,所述定位系统40包括获取模块401、匹配模块402、以及定位模块403。
应当理解,所述移动机器人的定位系统可以通过包含计算机设备中的软件和硬件来实现。所述计算机设备可以是任何具有数学和逻辑运算、数据处理能力的计算设备,其包括但不限于:个人计算机设备、单台服务器、服务器集群、分布式服务端、以及云服务端等中的一种或多种。
所述获取模块401用于获取所述移动机器人在一物理空间内拍摄的当前图像。
其中,所述物理空间指的是所述移动机器人所在的实际三维空间,可由在所述空间坐标系中构建的抽象数据进行描述。例如,所述物理空间包括但不限于家庭住所、公共场所(例如办公场所、商场、医院、地下停车场、以及银行)等。对于移动机器人而言,所述物理空间通常指的是室内的空间,即空间在高度方向上存在边界。
在一些实施例中,所述物理空间内还可以包括若干房间分隔体。所述房间分隔体是指物理空间内用于形成空间边界的立面,如墙面、隔断、落地窗、以及天花板等。
承前所述,所述移动机器人为了获取当前所在的位置于当前时刻拍摄的图像称为当前图像。例如,移动机器人自启动起在移动过程中任意时刻拍摄一张图像作为当前图像。又如,移动机器人在发生危险动作(例如部分或全部悬空、与障碍物碰撞、即将进入禁区等)时拍摄一张图像作为当前图像,以获取当前的位置,从而判断是否依据危险动作执行相应的反应操作。
在一个具体的场景示例中,所述移动机器人在发生碰撞时判断遇到新的障碍物,由此可于此刻拍摄一张图像作为当前图像,从而判断室内家具布置是否发生改变。
在另一个具体的场景示例中,假设所述移动机器人为扫地机器人,当扫地机器人执行清洁任务完成后,执行回充操作,则可以于此时刻拍摄一张图像作为当前图像,以获取当前所在的位置,从而根据当前位置规划回充路径。
在另一个具体的场景示例中,所述移动机器人在根据预先设置的导航路线执行任务时被突然抱起或搬动,则可在重新落地后即拍摄一张图像作为当前图像,以进行重地位,从而依据所述当前位置与导航路线的偏离回归该路线,或基于当前位置重新规划导航路线。
所述匹配模块402用于获取第一图像与当前图像相匹配的至少一对第一图像特征集,以及当前图像与第二图像中相匹配的至少一对第二图像特征集;其中,所述第一图像、第二图像、及当前图像对应的拍摄位置不共线。
在此,将当前图像特征与第一图像特征进行特征匹配,若相匹配,则当前图像特征与对应的第一图像特征之间构成一对第一图像特征对。遍历全部当前图像特征与全部第一图像特征并进行特征匹配,获取一或多对第一图像特征对,由此,构成了一个第一图像特征集。同理,将第二图像特征与当前图像特征进行匹配,从而获取第二图像特征集。
所述图像特征例如通过描述子进行描述。例如,基于尺度不变特征变换(Scale-invariant feature transform,SIFT)算法,从多张图像中提取图像特征,并基于该多张图像中包含图像特征的图像块得到用于描述该图像特征的灰度值序列,并将该灰度值序列即为所述描述子。又如,所述描述子用以通过编码定位特征信息的周围亮度信息来描述所述图像特征,以所述图像特征为中心在其周围一圈采样若干个点,其中采样点的数量为但不限于256或512个,将这些采样点两两比较,得到这些采样点之间的亮度关系并将亮度关系转换成二进制字符串或其他编码格式。
由此,根据所述描述子,生成图像特征的特征向量,从而根据所述特征向量进行图像特征匹配。其中,当前图像特征与第一/第二图像特征相匹配表示二者的图像特征相似。特征之间的相似度通常可以由特征向量之间的距离来衡量。其中,所述特征向量之间的距离是通过在对所述第一/第二图像特征的特征向量或当前图像特征的特征向量中至少一个进行旋转和平移(或缩放)后,与其中的另一个图像特征的特征向量之间的距离(例如欧式距离、余弦距离、汉明距离等)而确定的。当所计算的两个特征向量之间的距离小于预设的匹配阈值时,表示两图像特征相匹配。
以此类推,从而确定第一图像与当前图像相匹配的图像特征对,并将所得到的相匹配的至少一对图像特征对的集合称为第一图像特征集。同理可获取第二图像特征集。
为了能够准确定位,所匹配的图像特征的数量可以为多个。为此,根据所识别的图像特征在图像中的位置,从所识别出的图像特征中寻找能够匹配的图像特征,不同图像中匹配的图像特征可能是属于同一物体或部位的。
所述定位模块403用于根据所述至少一对第一图像特征集在所述第一图像和当前图像中的相对位置关系,所述至少一对第二图像特征集在第二图像和当前图像中的位置关系,以及所述第一图像与第二图像对应的拍摄位置在所述物理空间的空间坐标系中的坐标信息之间的位置关系,确定所述移动机器人的当前位置的坐标信息。
在此,根据第一图像特征集描述的相匹配的两个图像特征,确定该两个图像特征在当前图像中的位置相较于在第一图像中的第一像素位置变化,并利用所述第一像素位置变化确定移动机器人拍摄当前图像时相对于拍摄第一图像时的姿态变化。类似地,根据第二图像特征集描述的相匹配的两个图像特征,确定该两个图像特征在当前图像中的位置相较于在第二图像中的第二像素位置变化,并利用所述第二像素位置变化确定移动机器人拍摄当前图像时相对于拍摄第二图像时的姿态变化。基于空间坐标系中三个拍摄图像的位置所构建的三角几何关系,和第一图像与第二图像对应的拍摄位置在空间坐标系中的位置关系,确定所述移动机器人的当前位置。
例如,在图像坐标系中,根据属于第一图像的图像特征在第一图像中的位置,获取该图像特征对应在图像坐标系下的像素坐标信息A1(u1,v1);根据属于当前图像的另一个图像特征在当前图像中的位置,获取该图像特征对应在图像坐标系下的像素坐标信息A2(u2,v2);应当清楚,所述属于第一图像的图像特征与属于当前图像的另一个图像特征均在描述同一图像特征,并构成一个第一图像特征对。根据多个图像特征对构成的第一图像特征集在所述第一图像和当前图像中的像素位置关系,可以获得所述移动机器人在当前位置的位置相对于拍摄第一图像时的位置的变化,包括距离和方向的变化。同理,根据多个图像特征对构成的第二图像特征集在所述第二图像和当前图像中的像素位置关系,可以获得所述移动机器人在当前位置的位置相对于拍摄第二图像时的位置的变化。
在一些示例中,所述像素位置关系为多个图像特征对应的几何形状之间的像素偏差,如边和边之间的偏差、点和点之间的偏差等,通过均值处理后得到的像素偏差。在又一些示例中,所述像素位置关系也可以为各个特征点之间的偏差通过均值处理得到的像素偏差。
在一些实施例中,根据所述第一图像特征集之间的像素位置关系、以及第二图像特征集之间的像素位置关系,得到所述当前位置分别相对所述第一图像和第二图像的拍摄位置的第一方位信息和第二方位信息。根据所述第一图像和第二图像的拍摄位置的所述坐标信息,获取所述第一图像和第二图像的拍摄位置的间距。由此,根据所述第一方位信息、第二方位信息、及所述间距,即可得到所述移动机器人的当前位置的坐标信息。
在此,根据图像特征集中各图像特征对之间的像素位置关系,获得移动机器人在当前位置的位置相对于拍摄第一/第二图像时的位置的变化后,根据其位置的变化,能够得到所述移动机器人的当前位置分别相对于拍摄第一/第二图像时的位置的方位信息,即所述第一方位信息和第二方位信息。
具体的,请参照图2和图3对应所述的实施例,其原理和技术效果类似,此处不再赘述。
在确定移动机器人的当前位置后,在一些实施例中,根据所述移动机器人的当前位置的坐标信息,确定所述移动机器人周围的关键区域。所述关键区域指的是对移动机器人的移动路径具有约束作用的区域。根据实际物理空间的位置划分,所述关键区域包括但不限于:门及附近区域、充电座及附近区域、楼梯附近区域等。根据用户的指令划分,所述关键区域包括但不限于:可活动区域、禁区等。
在此,根据移动机器人当前位置的坐标信息,确定所述移动机器人在地图上的位置。通过判断所述移动机器人与关键区域的距离是否大于/小于预设门限,从而判断是否切换定位模式。所述门限可以是固定值、或基于地图中所标记的区域而设定。
其中,所述定位模式指的是所述移动机器人存储的用于执行定位操作的预设编排的程序。
在一示例中,依据对定位精度的需求,所述移动机器人可以设置为具有“粗略定位模式”和“精准定位模式”等。例如,在一家庭内,所述移动机器人通过执行“粗略定位模式”的定位操作,粗略获取其当前位置位于客厅中央、或卧室门口等;通过执行“粗略定位模式”的定位操作,精确获取其当前位置位于距离客厅门口20cm的位置、或刚进入卧室门口30cm等。
在一示例中,所述移动机器人可以设置为具有“全局定位模式”和“局部定位模式”等,例如,在“全局定位模式”下,所述移动机器人获取其在一物理空间内的位置,如客厅、厨房、卧室等;在“局部定位模式”下,所述移动机器人获取其在所述物理空间的子空间内的位置,如客厅的某一区域等。
例如,当移动机器人移动至楼梯附近且与楼梯的距离小于门限时,切换至高精度定位模式,以防止从楼梯上掉落。又如,移动机器人在回充时需要准确地找到充电桩(座)的位置,由此,当移动机器人移动至充电桩附近区域且与禁区距离小于门限时,切换至精度更高的定位模式,以高效率完成回充操作。
再如,用户可以在电子设备的显示界面上进行输入操作(包括但不限于点触、拖动、滑动等),例如在地图上划取一定大小的区域并设置禁区,所述电子设备根据该输入操作生成指令并将该指令发送给所述移动机器人,由此移动机器人在移动至禁区附近且与禁区距离小于门限时,切换至精度更高的定位模式,以防止移动到禁区之内。
在一些实施例中,所述移动机器人可以为扫地机器人;所述扫地机器人还可以根据其与关键区域的距离切换清洁模式。例如,当所述扫地机器人移动至用户设置的“重点清洁区域”时,切换至强力清扫模式等。
对应的,所述移动机器人可以以相对更高的频率拍摄所述关键区域附近的图像,并进行密集存储,以使得图像特征的匹配更为精准。例如,当移动机器人与关键区域距离较远时,可以较低频率拍摄周围环境的图像并进行特征匹配,以获取当前所处的大致位置;当移动机器人拍摄的图像与预先存储的关键区域附近的图像相匹配时,可判定所述移动机器人已移动至所述关键区域附近,并提高拍摄的频率。
在一些实施例中,所述移动机器人的定位系统还包括构建模块,用于根据所述移动机器人的当前位置的坐标信息,构建或更新所述物理空间的地图数据库。
承前所述,所述地图数据库包括地标信息,所述地标信息包括但不限于:所述移动机器人所在物理空间的地图数据、拍摄的图像、拍摄到某一图像特征时移动机器人所在的位置及姿态、历次相匹配的图像特征、历次拍摄到某一图像特征时该图像特征在相应图像中的位置等中的一种或多种。
在此,所述移动机器人可以基于当前位置,将拍摄的图像、坐标信息、当前姿态等信息进行存储,从而构建所述物理空间的地图数据库;也可以基于多个位置的坐标信息,将各信息进行整合,形成统一的可供后续使用的地图数据库。
在一些实施例中,所述移动机器人可以根据当前位置的坐标信息,更新所述物理空间的地图数据库,以更新所述移动机器人的最新位置,或者提供可供移动机器人持久化使用的地图和图像特征集。
在此,一方面,所述移动机器人所提供的地图和图像特征集是基于历史移动所途径的物理空间而构建的,其地图数据的完整性与所移动的空间范围相关。另一方面,由于图像特征集中的图像特征受环境影响较大,例如,自然光下所得到的图像特征和灯光下所得到的图像特征可能不同。因此,在一些实施例中,当基于当前位置的坐标信息查找到所述移动机器人未曾存储的图像特征时,可以将该图像特征补充保存到地图数据库中。或者,当基于当前位置的坐标信息查找到已存储的但无法与新匹配的图像特征相匹配的图像特征时,删除相应地图数据库中所保存的多余特征。
在一些实施例中,还可以基于当前位置的坐标信息,判定当前匹配的图像特征数量高于预设门限时,添加新的地标信息。其中所述门限可以是固定值、或基于地图中所标记位置处对应的特征数量而设定。例如,当基于当前位置的坐标信息查找到新匹配的特征数量多于相应位置处存储介质中所保存的特征数量时,可将新的特征添加到已构建的地标信息中。
需要说明的是,本领域技术人员应该理解,上述基于所述当前位置的坐标信息而更新地图数据库的方式仅为举例,而非对本申请的限制。例如,也可以基于图像特征来更新地图数据库等。
在一些实施例中,所述移动机器人的定位系统还包括显示模块,用于将所述移动机器人的当前位置标记在所显示的所述物理空间的地图上的步骤。所述标记有移动机器人当前位置的地图可以在电子设备上予以显示。其中,所述电子设备具有显示装置,包括但不限于智能终端(例如手机、平板电脑、笔记本电脑等)、多媒体设备、流媒体设备、以及网络控制中心等中的一种或多种。
在此,通过将所述移动机器人的位置在地图上予以标记,所述移动机器人的位置可实时或可追溯地显示在地图中。在一些实施例中,所述电子设备具有可供用户查看的显示屏,则用户可通过查看地图来获取移动机器人的任务执行情况。例如,查看移动机器人的移动路线。
在一些实施例中,所述移动机器人的定位系统还包括导航模块,用于根据所获取的当前位置的坐标信息,更新所述移动机器人与预设的导航路线之间的相对位置。例如,在对移动设备移动的导航期间,利用上述方式获取所述移动机器人的当前位置及姿态变化,从而快速确定移动设备当前的移动路线是否发生偏移,并基于判断结果来进行后续导航调整。当所述移动机器人未处于预设的导航路线上时,依据所述得到的当前位置的坐标信息,可帮助移动机器人确定当前位置与上一位置的相对位移和相对转角,并借此数据进行地图绘制、或基于当前位置重新规划导航路线等。
在一些实施例中,所述移动机器人还包括惯导检测装置,所述惯导检测装置用于利用所获取的位置信息修正所述惯导检测装置所提供的惯导数据。例如,所述移动机器人通过惯导检测装置获取自身的位置变化信息为D1,而根据所述摄像装置和深度检测装置获取的数据处理后获得的位置变化信息为D2。由此,根据两种方式获得的位置变化信息的差异,可以判断出是否在误差范围内,或者是否出现被卡住、轮组是否打滑等情况。
由此,在一些实施例中,所述移动机器人还包括惯导检测装置,所述惯导检测装置用于获取移动机器人的惯导数据。所述惯导检测装置包括但不限于陀螺仪、里程计、光流计、以及加速度计等中的一种或多种。所述惯导数据包括但不限于移动机器人的速度数据、加速度数据、移动距离、滚轮的滚动圈数、以及滚轮的偏转角度等中的一种或多种。
由此,所述室内定位方法还可以包括利用所确定的当前位置的坐标信息,修正所述惯导检测装置所提供的惯导数据。例如,根据通过室内定位方法获得的移动机器人的当前位置的坐标信息,与由所述惯导检测装置所提供的位置信息进行比较、修正。
在一些实施例中,还可以由所确定的当前位置的坐标信息代替所述惯导检测装置所提供的惯导数据。或者,也可以由综合所述当前位置的坐标信息和所述惯导检测装置所提供的惯导数据,通过计算加权和或者其他数学运算获得最终的惯导数据,等等。
应当理解,本申请提供的移动机器人的定位系统用于执行前述实施例中提供的移动机器人的定位方法,具备相应的功能模块,其实现原理和技术效果类似,故此处不再赘述。
具体应用场景中,所述获取模块、匹配模块、及定位模块都可以是软件模块,这些软件模块可部署在服务器、或服务器上的虚拟机,或服务器上的容器上。此外,这些软件模块可根据实际需求部署在同一服务器上,或者不同服务器上,本申请不做限定。
本申请还提供一种移动机器人,请参阅图5,显示为本申请移动机器人在一实施例中的结构示意图。如图所示,所述移动机器人50包括摄像装置501、移动装置502、存储装置503以及控制装置504。应当理解,所述各装置可以设置在所述移动机器人的电路主板上,各装置相互之间直接或间接地电性连接,以实现数据的传输或交互。
应当理解,本申请于实施例中描述的移动机器人只是一个应用实例,该移动机器人的组件可以比图示具有更多或更少的组件,或具有不同的组件配置;并且,所述摄像装置、移动装置、存储装置、以及控制装置也并非必须分属于相互分离的组件;例如,所述摄像装置和移动装置的部分或全部可以与存储装置和控制装置集成在一起,又例如,存储装置和控制装置的部分或全部可以与移动装置集成在一起等,此处不作限制。
所述摄像装置501用于拍摄图像。在一些实施例中,所述摄像装置501包括但不限于:照相机、视频摄像机、集成有光学系统或CCD芯片的摄像模块、以及集成有光学系统和CMOS芯片的摄像模块等。所述摄像装置501拍摄的可以是单张图像、连续图像序列、非连续图像序列、或者视频等中的一种或多种。
在一些实施例中,所述移动机器人将拍摄的图像存储在本地的存储介质内。其中,所述存储介质可以包括只读存储器、随机存取存储器、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、U盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够进行存取的任何其它介质。
在一些实施例中,所述移动机器人将拍摄的图像传输至通信连接的外部设备进行存储,所述通信连接包括有线或无线的通信连接方式。其中,所述外部设备可以是位于网络中的服务端,所述服务端包括但不限于单台服务器、服务器集群、分布式服务器群、以及云服务端等中的一种或多种。在具体的实现中,所述云服务端可以是云计算提供商所提供的云计算平台。以所述云服务端的架构作为依据,所述云服务端的类型包括但不限于:Software-as-a-Service(软件即服务,SaaS)、Platform-as-a-Service(平台即服务,PaaS)、以及Infrastructure-as-a-Service(基础设施即服务,IaaS)。以所述云服务端的性质作为依据,所述云服务端的类型包括但不限于:公共云(Public Cloud)服务端、私有云(Private Cloud)服务端、以及混合云(Hybrid Cloud)服务端等。
在一些实施例中,所述公共云服务端例如为亚马逊(Amazon)的弹性计算云(Amazon EC2)、IBM的Blue Cloud、谷歌的AppEngine、以及Windows的Azure服务平台等;所述私有云服务端例如为阿里云计算服务平台、亚马逊(Amazon)云计算服务平台、百度云计算平台、以及腾讯云计算平台等。
所述摄像装置501的位置可以根据移动机器人的类型和/或应用场景决定。例如,所述摄像装置501可以设置在移动机器人的顶部表面(例如,顶部表面的中央区域、顶部表面中相对中央区域的前端、顶部表面中相对中央区域的后端)、侧部表面、或顶部表面和侧部表面的交接处等位置,以摄取所述移动机器人的工作环境的图像,以用于后续可能的物体识别、构建地图、实时定位、或虚拟仿真等处理。或者,所述摄像装置501也可以伸缩式地设置在移动机器人的内部,当需要摄取图像时伸出表面,等等。对应的,所述摄像装置501的数量也可以根据实际需求进行设置;在某些实施例中,所述摄像装置501也可以是能活动的,例如能调整其光轴线方向并能在活动达到的位置得到定位。
在一些实施例中,所述摄像装置501的视场角由其本身的参数所决定。所述摄像装置501的参数包括内参、外参、以及畸变参数,其中,所述内参包括但不限于:焦距、每个像素对应的物理尺寸、像素中心等中的一种或多种,所述外参包括但不限于所述摄像装置501在移动机器人上的位置、旋转方向、平移矩阵等中的一种或多种。
在一些实施例中,所述摄像装置501的视场角的范围包括但不限于:10度~120度。例如,所述视场角为10度、20度、30度、40度、50度、60度、70度、80度、90度、100度、110度、120度。又如,所述摄像装置501的光轴线相对于地平面的夹角为60度、61度、62度…89度、90度、91度…119度、120度。需要说明的是,上述范围仅为举例,而非限制所述视场角的精度为10度的范围内,根据实际的设计需求,所述视场角的精度可更高,如达到1度、0.1度、0.01度以上等。
在一些实施例中,所述摄像装置501的光轴线由其朝向决定。所述摄像装置501的朝向可以预先设置,例如,其朝向为依据移动机器人的结构而设置的固定角度。所述摄像装置501的朝向也可以根据实际需要进行手动调整,或者由所述移动机器人的控制系统进行调整,例如,所述摄像装置借由云台以调整水平和俯仰角度。
在一些实施例中,所述摄像装置501的光轴线的范围包括但不限于:相对于室内空间的高度方向的夹角为0度~±30度,或相对地面为60度~120度。例如,所述摄像装置501的光轴线相对于垂线的夹角为-30度、-29度、-28度、-27度……-2度、-1度、0度、1度、2度……29度、或30度。又如,所述摄像装置501的光轴线相对于地平面的夹角为60度、61度、62度…89度、90度、91度…119度、120度。需要说明的是,上述摄像装置的光轴线与垂线或水平线的夹角仅为举例,而非限制其夹角精度为1度的范围内,根据实际的设计需求,所述夹角的精度可更高,如达到0.1度、0.01度以上等。
所述移动装置502用于接收一移动控制信息,并根据所述移动控制信息执行相应的移动操作。其中,所述移动控制信息包括但不限于:位移信息、角度信息、与障碍物之间的距离信息、速度信息、以及行进方向信息等中的一种或多种。
所述移动控制信息可以是由所述控制装置504发送的,也可以是接收一服务器或云端传输的指令而生成的。例如,通过利用所述定位方法,所述移动机器人判断自身已偏离了预先设定的导航路线,因此,所述控制装置504根据当前位置与导航路线的距离和偏移方向生成所述移动控制信息,并将其发送至移动装置502以控制所述移动机器人执行相应的移动操作。又如,所述移动装置502接收来自一服务器生成的包含前进距离和方向的移动控制信息,并根据所述移动控制信息执行移动操作。
在一些实施例中,所述移动装置502还包括至少一个驱动单元,例如用于驱动移动设备的左侧驱动轮的左轮驱动单元以及用于驱动移动设备的右侧驱动轮的右轮驱动单元。所述驱动单元可以包含专用于控制驱动电机的一个或多个处理器(CPU)或微处理单元(MCU)。例如,所述微处理单元用于将所述处理装置所提供的信息或数据转化为对驱动电机进行控制的电信号,并根据所述电信号控制所述驱动电机的转速、转向等以调整移动设备的移动速度和移动方向。所述信息或数据如所述处理装置所确定的偏角。所述驱动单元中的处理器可以和处理装置中的处理器共用或可独立设置。例如,所述驱动单元作为从处理设备,处理装置作为主设备,驱动单元基于处理装置的控制进行移动控制。或者所述驱动单元与处理装置中的处理器相共用。驱动单元通过程序接口接收处理装置所提供的数据。所述驱动单元用于基于所述处理装置所提供的移动控制信息控制驱动轮。
所述存储装置503存储来自所述摄像装置501所拍摄的图像,以及所述图像对应的拍摄位置在所述物理空间的空间坐标系中的坐标信息,以及至少一个程序。
在一些示例中,存储装置504还可以包括远离一个或多个处理器的存储器,例如经由RF电路或外部端口以及通信网络访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等,或其适当组合。存储器控制器可控制设备的诸如CPU和外设接口之类的其他组件对存储器的访问。存储器可选地包括高速随机存取存储器,并且可选地还包括非易失性存储器,诸如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储器设备。由设备的其他组件诸如CPU和外围接口,对存储器的访问可选地通过存储器控制器来控制。所述存储器还可以包括易失性存储器(Volatile Memory),例如随机存取存储器(Random Access Memory,RAM);存储器也可以包括非易失性存储器(Non-Volatile Memory),例如只读存储器(Read-Only Memory,ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-StateDrive,SSD)。
所述存储装置503可以包括至少一个以软件或固件(Firmware)的形式存储在所述存储装置503中的软件模块。所述软件模块用于存储来自所述摄像装置所摄取的图像、所述移动机器人所在物理空间的地图、地图数据库、以及可供移动机器人执行的各种程序,例如,移动设备的路径规划程序;相应地,所述控制装置504用于执行所述程序,从而控制移动设备进行作业。
所述存储装置503还存储有图像坐标系与空间坐标系的对应关系。其中,所述图像坐标系是基于图像像素点而构建的图像坐标系,摄像装置501所摄取的图像中各图像像素点的二维坐标参数可由所述图像坐标系描述。所述图像坐标系可为直角坐标系或极坐标系等。所述空间坐标系及基于实际二维或三维物理空间中各位置而构建的坐标系,其物理空间位置可依据预设的图像像素单位与单位长度(或单位角度)的对应关系而被描述在所述空间坐标系中。所述空间坐标系可为二维直角坐标系、极坐标系、球坐标系、三维直角坐标系等。
对于所使用场景的地面复杂度不高的机器人来说,该对应关系可在出厂前预存在所述存储装置中。然而,对于使用场景的地面复杂度较高的机器人,例如扫地机器人来说,可利用在所使用的场地进行现场测试的方式得到所述对应关系并保存在所述存储装置中。
在一些实施方式中,所述机器人还包括移动传感装置(未予图示),用于获取机器人的移动信息。其中,所述移动传感装置包括但不限于:位移传感器、陀螺仪、速度传感器、测距传感器、悬崖传感器等。在机器人移动期间,移动传感装置不断侦测移动信息并提供给控制装置。所述位移传感器、陀螺仪、速度传感器等可被集成在一个或多个芯片中。所述测距传感器和悬崖传感器可设置在机器人的体侧。例如,扫地机器人中的测距传感器被设置在壳体的边缘;扫地机器人中的悬崖传感器被设置在机器人底部。根据机器人所布置的传感器的类型和数量,控制装置所能获取的移动信息包括但不限于:位移信息、角度信息、与障碍物之间的距离信息、速度信息、行进方向信息等。
所述控制装置504与所述摄像装置501、移动装置502、以及存储装置503之间可通过一条或多条通讯总线或信号线实现电性连接,用于调用并执行所述至少一个程序,以协调所述摄像装置501、移动装置502、以及存储装置503执行并实现如图1对应的实施例所述的定位方法,其具体流程和技术效果请参阅上述实施例,此处不再赘述。
在一些实施例中,所述控制装置504包括集成电路芯片,具有信号处理能力;或包括通用处理器,例如,可以是数字信号处理器(DSP)、专用集成电路(ASIC)、分立门或晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。所述通用处理器可以是微处理器或者任何常规处理器等,例如中央处理器(CentralProcessing Unit,CPU)。
应当理解,本申请于实施例中描述的控制系统只是一个应用实例,该系统的组件可以比图示具有更多或更少的组件,或具有不同的组件配置。例如,所述摄像装置、移动装置、存储装置、以及控制装置的部分或全部可以集成为一个定位模块,以实现更为方便地嵌入到移动机器人中。
根据应用场景的不同,所述移动机器人的类型也不同。随着科技的发展和生活水平的提高,智能家用电器得到了广泛的应用。因此,在一些实施例中,所述移动机器人还可以为扫地机器人。扫地机器人又可以称为自主清洁器、自动扫地机、智能吸尘器等,是智能家用电器的一种,能完成清洁、吸尘、擦地工作。具体地,扫地机器人可受人控制(操作人员手持遥控器或通过装载在智能终端上的APP)或按照一定的设定规则自行在房间内完成地面清洁工作,其可以清洁地面上的毛发、灰尘、碎屑等地面杂物。
因此,对应地,所述扫地机器人还包括清洁装置,所述清洁装置用于执行清洁操作。在一些实施例中,所述清洁装置包括但不限于:设置在扫地机器人底部至少一侧的边刷(或称边扫、侧刷等)、设置在扫地机器人底部中央附近的滚刷(或称清洁辊、中扫等)、用于提供对地面杂物的吸附力的风机、以及用于收集地面杂物的集尘装置等中的一种或多种。在一个示例性的场景中,所述扫地机器人在移动过程中通过滚刷将毛发、灰尘、碎屑等地面杂物搅起或吸附,然后凭借风机的吸力将地面杂物吸入设置在滚刷上方的吸尘口,从而将地面杂物收集,以完成清洁操作。
本申请还提供一种移动机器人的定位装置,请参阅图6,显示为本申请定位装置在一实施例中的结构示意图。如图所示,所述定位装置60包括接口单元601、存储单元602、以及处理单元603。其中,各所述单元可以设置在所述移动机器人的电路主板上,各单元相互之间直接或间接地电性连接,以实现数据传输。
应当理解,所述移动机器人的定位装置可以通过包含计算机设备中的软件、硬件或软硬件的组合来实现,包括一个或多个信号处理和/或专用集成电路。所述计算机设备可以是任何具有数学和逻辑运算、数据处理能力的计算设备,其包括但不限于:个人计算机设备、单台服务器、服务器集群、分布式服务端、云服务端等。
所述接口单元601用于连接所述移动机器人中的摄像装置,以与所述摄像装置进行数据传输。其中,所述数据传输包括但不限于:无线数据传输(例如TDMA、CDMA、GSM、PHS、以及Bluetooth等中的一种或多种)、有线数据传输(例如专用网络、ADSL网络、以及电缆调制解调器网络等中的一种或多种)、以及接口传输(例如通过接口从闪存、U盘、移动硬盘、光盘、以及软盘等存储介质获取)等中的一种或多种。
所述存储单元602用于存储至少一个程序。在一些示例中,存储单元602还可以包括远离一个或多个处理器的存储器,例如经由RF电路或外部端口以及通信网络访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等,或其适当组合。存储器控制器可控制设备的诸如CPU和外设接口之类的其他组件对存储器的访问。存储器可选地包括高速随机存取存储器,并且可选地还包括非易失性存储器,诸如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储器设备。由设备的其他组件诸如CPU和外围接口,对存储器的访问可选地通过存储器控制器来控制。所述存储器还可以包括易失性存储器(Volatile Memory),例如随机存取存储器(Random Access Memory,RAM);存储器也可以包括非易失性存储器(Non-VolatileMemory),例如只读存储器(Read-Only Memory,ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD)。
所述存储单元602可以包括至少一个以软件或固件(Firmware)的形式存储在所述存储单元602中的软件模块。所述软件模块用于存储来自所述摄像装置所摄取的图像、所述移动机器人所在物理空间的地图、地图数据库、以及可供移动机器人执行的各种程序,例如,移动设备的路径规划程序;相应地,所述处理单元603用于执行所述程序,从而控制移动机器人进行作业。
所述存储装置603还存储有图像坐标系与空间坐标系的对应关系。其中,所述图像坐标系是基于图像像素点而构建的图像坐标系,摄像装置601所摄取的图像中各图像像素点的二维坐标参数可由所述图像坐标系描述。所述图像坐标系可为直角坐标系或极坐标系等。所述空间坐标系及基于实际二维或三维物理空间中各位置而构建的坐标系,其物理空间位置可依据预设的图像像素单位与单位长度(或单位角度)的对应关系而被描述在所述空间坐标系中。所述空间坐标系可为二维直角坐标系、极坐标系、球坐标系、三维直角坐标系等。
所述处理单元603与所述接口单元601和存储单元602相连,用于调用并执行所述至少一个程序,以协调所述存储单元602和摄像装置执行并实现如前述实施例所述的定位方法;其具体流程和技术效果请参阅上述实施例,此处不再赘述。
在一些实施例中,所述处理单元603包括集成电路芯片,具有信号处理能力;或包括通用处理器,例如,可以是数字信号处理器(DSP)、专用集成电路(ASIC)、分立门或晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。所述通用处理器可以是微处理器或者任何常规处理器等,例如中央处理器(CentralProcessing Unit,CPU)。
应当理解,本申请于实施方式中描述的移动机器人的定位装置只是一个应用实例,该设备的组件可以比图示具有更多或更少的组件,或具有不同的组件配置。所绘制图示的各种组件可以用硬件、软件或软硬件的组合来实现,包括一个或多个信号处理和/或专用集成电路。
本申请还提供一种计算机可读写存储介质,存储有计算机程序,所述计算机程序被执行时实现上述示例关于图1实施例中所述的移动机器人的定位方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的功能模块(例如图4实施例)及方法步骤(例如图1实施例),能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述计算机程序作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来;在实现上,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个示例所述方法的全部或部分步骤。
于本申请提供的示例中,所述计算机可读写存储介质可以包括只读存储器、随机存取存储器、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、U盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。
另外,任何连接都可以适当地称为计算机可读介质。例如,如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术,从网站、服务器或其它远程源发送的,则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。
然而,应当理解的是,计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质,而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中,磁盘通常磁性地复制数据,而光盘则用激光来光学地复制数据。
本申请上述的附图中的流程图和框图,图示了按照本申请各种示例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。
也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这根据所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以通过执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以通过专用硬件与计算机指令的组合来实现。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。
Claims (22)
1.一种移动机器人的定位方法,其特征在于,包括:
获取所述移动机器人在一物理空间内拍摄的当前图像;
获取第一图像与当前图像相匹配的至少一对第一图像特征集,以及当前图像与第二图像中相匹配的至少一对第二图像特征集;其中,所述第一图像、第二图像、及当前图像对应的拍摄位置不共线;
根据所述至少一对第一图像特征集在所述第一图像和当前图像中的位置关系,所述至少一对第二图像特征集在第二图像和当前图像中的位置关系,以及所述第一图像与第二图像对应的拍摄位置在所述物理空间的空间坐标系中的坐标信息之间的位置关系,确定所述移动机器人的当前位置的坐标信息。
2.根据权利要求1所述的移动机器人的定位方法,其特征在于,所述根据所述至少一对第一图像特征集在所述第一图像和当前图像中的相对位置关系,所述至少一对第二图像特征集在第二图像和当前图像中的位置关系,以及所述第一图像与第二图像对应的拍摄位置在所述物理空间的空间坐标系中的坐标信息之间的位置关系,确定所述移动机器人的当前位置的步骤包括:
根据所述第一图像和第二图像的拍摄位置的所述坐标信息、所述第一图像特征集之间的像素位置关系、以及第二图像特征集之间的像素位置关系得到所述当前位置分别相对所述第一图像和第二图像的拍摄位置的第一方位信息和第二方位信息;
根据所述第一方位信息、第二方位信息、及所述第一图像和第二图像的拍摄位置的间距,得到所述当前位置的坐标信息。
3.根据权利要求1所述的移动机器人的定位方法,其特征在于,所述第一图像和第二图像中是在所述移动机器人的移动期间由摄像装置所拍摄的;或者,所述第一图像和第二图像来自于所述物理空间的地图数据库。
4.根据权利要求1所述的移动机器人的定位方法,其特征在于,还包括:根据所述移动机器人的当前位置的坐标信息,确定所述移动机器人周围的关键区域。
5.根据权利要求4所述的移动机器人的定位方法,其特征在于,根据所述移动机器人与关键区域的距离,切换所述移动机器人的定位模式。
6.根据权利要求1所述的移动机器人的定位方法,其特征在于,还包括:根据所述移动机器人的当前位置的坐标信息,构建或更新所述物理空间的地图数据库。
7.根据权利要求1所述的移动机器人的定位方法,其特征在于,还包括:将所述移动机器人的当前位置标记在所显示的所述物理空间的地图上的步骤。
8.根据权利要求1所述的移动机器人的定位方法,其特征在于,还包括:根据所获取的当前位置的坐标信息,更新所述移动机器人与预设的导航路线之间的相对位置的步骤。
9.根据权利要求1所述的移动机器人的定位方法,其特征在于,所述移动机器人还包括惯导检测装置,所述定位方法还包括:利用所获取的位置信息修正所述惯导检测装置所提供的惯导数据的步骤。
10.一种移动机器人的定位系统,其特征在于,包括:
获取模块,用于获取所述移动机器人在一物理空间内拍摄的当前图像;
匹配模块,用于获取第一图像与当前图像相匹配的至少一对第一图像特征集,以及当前图像与第二图像中相匹配的至少一对第二图像特征集;其中,所述第一图像、第二图像、及当前图像对应的拍摄位置不共线;
定位模块,用于根据所述至少一对第一图像特征集在所述第一图像和当前图像中的相对位置关系,所述至少一对第二图像特征集在第二图像和当前图像中的位置关系,以及所述第一图像与第二图像对应的拍摄位置在所述物理空间的空间坐标系中的坐标信息之间的位置关系,确定所述移动机器人的当前位置的坐标信息。
11.根据权利要求10所述的移动机器人的定位系统,其特征在于,所述根据所述至少一对第一图像特征集在所述第一图像和当前图像中的相对位置关系,所述至少一对第二图像特征集在第二图像和当前图像中的位置关系,以及所述第一图像与第二图像对应的拍摄位置在所述物理空间的空间坐标系中的坐标信息之间的位置关系,确定所述移动机器人的当前位置的步骤包括:
根据所述第一图像和第二图像的拍摄位置的所述坐标信息、所述第一图像特征集之间的像素位置关系、以及第二图像特征集之间的像素位置关系得到所述当前位置分别相对所述第一图像和第二图像的拍摄位置的第一方位信息和第二方位信息;
根据所述第一方位信息、第二方位信息、及所述第一图像和第二图像的拍摄位置的间距,得到所述当前位置的坐标信息。
12.根据权利要求10所述的移动机器人的定位系统,其特征在于,所述第一图像和第二图像中是在所述移动机器人的移动期间由摄像装置所拍摄的;或者,所述第一图像和第二图像来自于所述物理空间的地图数据库。
13.根据权利要求10所述的移动机器人的定位系统,其特征在于,还包括:根据所述移动机器人的当前位置的坐标信息,确定所述移动机器人周围的关键区域。
14.根据权利要求13所述的移动机器人的定位系统,其特征在于,根据所述移动机器人与关键区域的距离,切换所述移动机器人的定位模式。
15.根据权利要求10所述的移动机器人的定位系统,其特征在于,还包括构建模块,用于根据所述移动机器人的当前位置的坐标信息,构建或更新所述物理空间的地图数据库。
16.根据权利要求10所述的移动机器人的定位系统,其特征在于,还包括显示模块,用于将所述移动机器人的当前位置标记在所显示的所述物理空间的地图上的步骤。
17.根据权利要求10所述的移动机器人的定位系统,其特征在于,还包括导航模块,用于根据所获取的当前位置的坐标信息,更新所述移动机器人与预设的导航路线之间的相对位置。
18.根据权利要求10所述的移动机器人的定位系统,其特征在于,所述移动机器人还包括惯导检测装置,所述惯导检测装置用于利用所获取的位置信息修正所述惯导检测装置所提供的惯导数据。
19.一种移动机器人,其特征在于,包括:
摄像装置,用于拍摄图像;
移动装置,用于接收一移动控制信息并执行相应的移动操作;
存储装置,存储来自所述摄像装置所拍摄的图像,以及所述图像对应的拍摄位置在物理空间的空间坐标系中的坐标信息,以及至少一个程序;
控制装置,与所述摄像装置和移动装置相连,用于执行输出所述移动控制信息,执行并实现如权利要求1-9中任一所述的定位方法。
20.根据权利要求19所述的移动机器人,其特征在于,所述移动机器人为扫地机器人;对应地,所述扫地机器人还包括清洁装置,所述清洁装置用于执行清洁操作。
21.一种移动机器人的定位装置,其特征在于,包括:
接口单元,用于连接所述移动机器人中的摄像装置;
存储单元,用于存储至少一个程序;
处理单元,与所述接口单元和存储单元相连,用于调用并执行所述至少一个程序,以协调所述存储单元和摄像装置执行并实现如权利要求1-9中任一所述的定位方法。
22.一种计算机可读存储介质,其特征在于,存储有至少一程序,所述至少一程序在被调用时执行并实现如权利要求1-9中任一所述的定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010071945.8A CN111220148A (zh) | 2020-01-21 | 2020-01-21 | 移动机器人的定位方法、系统、装置及移动机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010071945.8A CN111220148A (zh) | 2020-01-21 | 2020-01-21 | 移动机器人的定位方法、系统、装置及移动机器人 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111220148A true CN111220148A (zh) | 2020-06-02 |
Family
ID=70828278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010071945.8A Pending CN111220148A (zh) | 2020-01-21 | 2020-01-21 | 移动机器人的定位方法、系统、装置及移动机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111220148A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111681451A (zh) * | 2020-06-12 | 2020-09-18 | 苏州博众机器人有限公司 | 一种停车数据处理方法、系统和停车场 |
CN111813103A (zh) * | 2020-06-08 | 2020-10-23 | 珊口(深圳)智能科技有限公司 | 移动机器人的控制方法、控制系统及存储介质 |
CN112013847A (zh) * | 2020-08-20 | 2020-12-01 | 安徽江淮汽车集团股份有限公司 | 一种室内导航的方法及装置 |
CN113219972A (zh) * | 2021-05-08 | 2021-08-06 | 西安达升科技股份有限公司 | 一种agv精确定位的方法、装置及存储介质 |
CN113761255A (zh) * | 2021-08-19 | 2021-12-07 | 劢微机器人科技(深圳)有限公司 | 机器人室内定位方法、装置、设备及存储介质 |
CN113907645A (zh) * | 2021-09-23 | 2022-01-11 | 追觅创新科技(苏州)有限公司 | 移动机器人的定位方法及装置、存储介质及电子装置 |
CN114750147A (zh) * | 2022-03-10 | 2022-07-15 | 深圳甲壳虫智能有限公司 | 机器人的空间位姿确定方法、装置和机器人 |
US20220350582A1 (en) * | 2021-04-30 | 2022-11-03 | Ohmnilabs, Inc. | Scalable software deployment on autonomous mobile robots |
CN115399680A (zh) * | 2022-08-22 | 2022-11-29 | 深圳银星智能集团股份有限公司 | 清洁机器人控制方法、装置和清洁机器人 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106767854A (zh) * | 2016-11-07 | 2017-05-31 | 纵目科技(上海)股份有限公司 | 移动设备、车库地图形成方法及系统 |
US20170153647A1 (en) * | 2014-06-17 | 2017-06-01 | Yujin Robot Co., Ltd. | Apparatus of updating key frame of mobile robot and method thereof |
CN107907131A (zh) * | 2017-11-10 | 2018-04-13 | 珊口(上海)智能科技有限公司 | 定位系统、方法及所适用的机器人 |
CN107992054A (zh) * | 2017-12-17 | 2018-05-04 | 上海物景智能科技有限公司 | 一种机器人的定位的方法及系统 |
CN108413975A (zh) * | 2018-03-15 | 2018-08-17 | 斑马网络技术有限公司 | 地图获取方法、系统、云处理器及车辆 |
CN108549088A (zh) * | 2018-04-27 | 2018-09-18 | 科沃斯商用机器人有限公司 | 基于机器人的定位方法、设备、系统及存储介质 |
CN108885459A (zh) * | 2018-06-08 | 2018-11-23 | 珊口(深圳)智能科技有限公司 | 导航方法、导航系统、移动控制系统及移动机器人 |
CN109431381A (zh) * | 2018-10-29 | 2019-03-08 | 北京石头世纪科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
CN110045733A (zh) * | 2019-04-04 | 2019-07-23 | 肖卫国 | 一种实时定位方法及其系统、计算机可读介质 |
CN110174107A (zh) * | 2019-04-30 | 2019-08-27 | 厦门大学 | 一种导览机器人定位建图激光视觉融合方法和机器人 |
CN110268354A (zh) * | 2019-05-09 | 2019-09-20 | 珊口(深圳)智能科技有限公司 | 更新地图的方法及移动机器人 |
CN110520694A (zh) * | 2017-10-31 | 2019-11-29 | 深圳市大疆创新科技有限公司 | 一种视觉里程计及其实现方法 |
CN110579215A (zh) * | 2019-10-22 | 2019-12-17 | 上海木木机器人技术有限公司 | 基于环境特征描述的定位方法、移动机器人和存储介质 |
US20200019156A1 (en) * | 2018-07-13 | 2020-01-16 | Irobot Corporation | Mobile Robot Cleaning System |
-
2020
- 2020-01-21 CN CN202010071945.8A patent/CN111220148A/zh active Pending
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170153647A1 (en) * | 2014-06-17 | 2017-06-01 | Yujin Robot Co., Ltd. | Apparatus of updating key frame of mobile robot and method thereof |
CN106767854A (zh) * | 2016-11-07 | 2017-05-31 | 纵目科技(上海)股份有限公司 | 移动设备、车库地图形成方法及系统 |
CN110520694A (zh) * | 2017-10-31 | 2019-11-29 | 深圳市大疆创新科技有限公司 | 一种视觉里程计及其实现方法 |
WO2019090833A1 (zh) * | 2017-11-10 | 2019-05-16 | 珊口(上海)智能科技有限公司 | 定位系统、方法及所适用的机器人 |
CN107907131A (zh) * | 2017-11-10 | 2018-04-13 | 珊口(上海)智能科技有限公司 | 定位系统、方法及所适用的机器人 |
CN107992054A (zh) * | 2017-12-17 | 2018-05-04 | 上海物景智能科技有限公司 | 一种机器人的定位的方法及系统 |
CN108413975A (zh) * | 2018-03-15 | 2018-08-17 | 斑马网络技术有限公司 | 地图获取方法、系统、云处理器及车辆 |
CN108549088A (zh) * | 2018-04-27 | 2018-09-18 | 科沃斯商用机器人有限公司 | 基于机器人的定位方法、设备、系统及存储介质 |
CN108885459A (zh) * | 2018-06-08 | 2018-11-23 | 珊口(深圳)智能科技有限公司 | 导航方法、导航系统、移动控制系统及移动机器人 |
US20200019156A1 (en) * | 2018-07-13 | 2020-01-16 | Irobot Corporation | Mobile Robot Cleaning System |
CN109431381A (zh) * | 2018-10-29 | 2019-03-08 | 北京石头世纪科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
CN110045733A (zh) * | 2019-04-04 | 2019-07-23 | 肖卫国 | 一种实时定位方法及其系统、计算机可读介质 |
CN110174107A (zh) * | 2019-04-30 | 2019-08-27 | 厦门大学 | 一种导览机器人定位建图激光视觉融合方法和机器人 |
CN110268354A (zh) * | 2019-05-09 | 2019-09-20 | 珊口(深圳)智能科技有限公司 | 更新地图的方法及移动机器人 |
CN110579215A (zh) * | 2019-10-22 | 2019-12-17 | 上海木木机器人技术有限公司 | 基于环境特征描述的定位方法、移动机器人和存储介质 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111813103B (zh) * | 2020-06-08 | 2021-07-16 | 珊口(深圳)智能科技有限公司 | 移动机器人的控制方法、控制系统及存储介质 |
CN111813103A (zh) * | 2020-06-08 | 2020-10-23 | 珊口(深圳)智能科技有限公司 | 移动机器人的控制方法、控制系统及存储介质 |
CN111681451B (zh) * | 2020-06-12 | 2022-10-14 | 苏州博众智能机器人有限公司 | 一种停车数据处理方法、系统和停车场 |
CN111681451A (zh) * | 2020-06-12 | 2020-09-18 | 苏州博众机器人有限公司 | 一种停车数据处理方法、系统和停车场 |
CN112013847A (zh) * | 2020-08-20 | 2020-12-01 | 安徽江淮汽车集团股份有限公司 | 一种室内导航的方法及装置 |
CN112013847B (zh) * | 2020-08-20 | 2022-05-03 | 安徽江淮汽车集团股份有限公司 | 一种室内导航的方法及装置 |
US20220350582A1 (en) * | 2021-04-30 | 2022-11-03 | Ohmnilabs, Inc. | Scalable software deployment on autonomous mobile robots |
CN113219972A (zh) * | 2021-05-08 | 2021-08-06 | 西安达升科技股份有限公司 | 一种agv精确定位的方法、装置及存储介质 |
CN113761255A (zh) * | 2021-08-19 | 2021-12-07 | 劢微机器人科技(深圳)有限公司 | 机器人室内定位方法、装置、设备及存储介质 |
CN113761255B (zh) * | 2021-08-19 | 2024-02-09 | 劢微机器人科技(深圳)有限公司 | 机器人室内定位方法、装置、设备及存储介质 |
CN113907645A (zh) * | 2021-09-23 | 2022-01-11 | 追觅创新科技(苏州)有限公司 | 移动机器人的定位方法及装置、存储介质及电子装置 |
CN114750147A (zh) * | 2022-03-10 | 2022-07-15 | 深圳甲壳虫智能有限公司 | 机器人的空间位姿确定方法、装置和机器人 |
CN114750147B (zh) * | 2022-03-10 | 2023-11-24 | 深圳甲壳虫智能有限公司 | 机器人的空间位姿确定方法、装置和机器人 |
CN115399680A (zh) * | 2022-08-22 | 2022-11-29 | 深圳银星智能集团股份有限公司 | 清洁机器人控制方法、装置和清洁机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111220148A (zh) | 移动机器人的定位方法、系统、装置及移动机器人 | |
US10796151B2 (en) | Mapping a space using a multi-directional camera | |
CN107907131B (zh) | 定位系统、方法及所适用的机器人 | |
Heng et al. | Project autovision: Localization and 3d scene perception for an autonomous vehicle with a multi-camera system | |
KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
CN109084732B (zh) | 定位与导航方法、装置及处理设备 | |
KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
WO2020223974A1 (zh) | 更新地图的方法及移动机器人 | |
CN110801180B (zh) | 清洁机器人的运行方法及装置 | |
CN110268225B (zh) | 一种多设备之间协同操作的方法、服务端及电子设备 | |
KR101784183B1 (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
KR101950558B1 (ko) | 자세 추정 장치 및 진공 청소기 시스템 | |
CN111337947A (zh) | 即时建图与定位方法、装置、系统及存储介质 | |
WO2020113423A1 (zh) | 目标场景三维重建方法、系统及无人机 | |
GB2552648A (en) | Estimating dimensions for an enclosed space using a multi-directional camera | |
JP2016157473A (ja) | センサデータの空間的集約を用いる適応マッピング | |
CN106813672B (zh) | 移动机器人的导航方法及移动机器人 | |
KR20150144727A (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
WO2021146862A1 (zh) | 移动设备的室内定位方法、移动设备及控制系统 | |
WO2022222490A1 (zh) | 一种机器人的控制方法及机器人 | |
Dani et al. | Image moments for higher-level feature based navigation | |
CN112041634A (zh) | 移动机器人的定位方法、构建地图的方法及移动机器人 | |
JP2023503750A (ja) | ロボットの位置決め方法及び装置、機器、記憶媒体 | |
US20240069203A1 (en) | Global optimization methods for mobile coordinate scanners | |
CN113379850B (zh) | 移动机器人控制方法、装置、移动机器人及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200602 |
|
WD01 | Invention patent application deemed withdrawn after publication |