CN117784125A - 机器人的定位方法、机器人及存储介质 - Google Patents
机器人的定位方法、机器人及存储介质 Download PDFInfo
- Publication number
- CN117784125A CN117784125A CN202311729238.3A CN202311729238A CN117784125A CN 117784125 A CN117784125 A CN 117784125A CN 202311729238 A CN202311729238 A CN 202311729238A CN 117784125 A CN117784125 A CN 117784125A
- Authority
- CN
- China
- Prior art keywords
- robot
- pose information
- radar
- vision
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000000007 visual effect Effects 0.000 claims abstract description 85
- 230000008859 change Effects 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004140 cleaning Methods 0.000 description 47
- 230000008569 process Effects 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004146 energy storage Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 239000000428 dust Substances 0.000 description 2
- 239000010865 sewage Substances 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请实施例提供了一种机器人的定位方法、机器人及存储介质,机器人搭载视觉传感器和雷达传感器,方法包括:获取雷达传感器确定的机器人的初始位姿信息;当确定初始位姿信息需要重置时,根据视觉传感器拍摄的多张图像进行视觉重定位;在视觉重定位得到当前视觉位姿信息的情况下,根据当前视觉位姿信息确定预设的雷达环境地图中与当前视觉位姿信息对应的部分环境地图;根据雷达传感器当前获取的雷达数据以及部分环境地图确定机器人的当前位姿信息。结合视觉重定位得到的当前视觉位姿信息,缩小雷达定位时雷达环境地图的搜索范围,使得雷达重定位的效率更高,还可以去掉雷达定位时的歧义,防止产生歧义解,可以更快速的准确的确定当前位姿信息。
Description
技术领域
本申请涉及机器人技术领域,尤其涉及一种机器人的定位方法、机器人及存储介质。
背景技术
机器人通常可以基于雷达传感器、视觉传感器、轮速计、悬崖传感器、惯性传感器等的传感器信息,实时提供当前机器人的位置信息。
相关技术中使用雷达定位时有时只能在二维平面空间内进行定位,在有些场景,如机器人被抱起的场景下会产生定位失效;在尝试恢复定位的时候,容易在二维上相似的空间产生歧义解,导致需要消耗较长时间尝试恢复定位,甚至产生重定位错误,影响对机器人的控制。
发明内容
本申请提供了一种机器人的定位方法、机器人及存储介质,旨在提高机器人定位的效率和准确性。
第一方面,本申请实施例提供了一种机器人的定位方法,所述机器人搭载视觉传感器和雷达传感器,所述方法包括:
获取所述雷达传感器确定的所述机器人的初始位姿信息;
当确定所述初始位姿信息需要重置时,根据所述视觉传感器拍摄的多张图像进行视觉重定位;
在所述视觉重定位得到当前视觉位姿信息的情况下,根据所述当前视觉位姿信息确定预设的雷达环境地图中与所述当前视觉位姿信息对应的部分环境地图;
根据所述雷达传感器当前获取的雷达数据以及所述部分环境地图确定所述机器人的当前位姿信息。
第二方面,本申请实施例提供了一种机器人,所述机器人搭载视觉传感器和雷达传感器,所述机器人还包括处理器和存储器,所述存储器用于存储计算机程序;所述处理器用于执行所述计算机程序并在执行所述计算机程序时,实现前述的机器人的定位方法的步骤。
第三方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现上述的方法的步骤。
本申请实施例提供了一种机器人的定位方法、机器人及存储介质,机器人搭载视觉传感器和雷达传感器,方法包括:获取所述雷达传感器确定的所述机器人的初始位姿信息;当确定所述初始位姿信息需要重置时,根据所述视觉传感器拍摄的多张图像进行视觉重定位;在所述视觉重定位得到当前视觉位姿信息的情况下,根据所述当前视觉位姿信息确定预设的雷达环境地图中与所述当前视觉位姿信息对应的部分环境地图;根据所述雷达传感器当前获取的雷达数据以及所述部分环境地图确定所述机器人的当前位姿信息。在雷达传感器确定的初始位姿信息需要重置时,结合视觉重定位得到的当前视觉位姿信息,缩小根据雷达传感器的雷达数据进行定位时雷达环境地图的搜索范围,使得雷达重定位的效率更高,还可以去掉雷达定位时的歧义,防止产生歧义解,可以更快速的准确的确定当前位姿信息。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请实施例的公开内容。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种机器人的定位方法的流程示意图;
图2是一实施方式中清洁机器人的示意性框图;
图3是本申请实施例提供的一种机器人的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参阅图1,图1是本申请实施例提供的一种机器人的定位方法的流程示意图。
举例而言,机器人可以为清洁机器人、服务机器人等,当然也不限于此,例如还可以为宠物机器人等。其中清洁机器人是指为了清洁而设计的清洁设备,包括但不限于:吸尘器、洗地机、吸尘吸水机、扫地机、拖地机、扫拖一体机等等。
为便于说明,本申请实施例主要以机器人为清洁机器人为例进行说明。
图2为一实施方式中清洁机器人的示意性框图。清洁机器人包括机器人主体、驱动电机102、传感器单元103、控制器104、清洁件105、行走单元106、存储器107、通信单元108、交互单元109、储能单元110等。
在机器人主体上设置的传感器单元103可以包括以下至少一种传感器:雷达传感器(如激光雷达)、碰撞传感器、距离传感器、跌落传感器、计数器、陀螺仪等。举例而言,激光雷达设置在机器人主体的顶部或周侧,在工作时,可以获取周围环境的点云信息,进而可得到周围的环境信息,例如障碍物相对激光雷达的距离和角度等。此外,也可用摄像头等视觉传感器替代激光雷达,通过对摄像头拍摄的图像中的障碍物进行分析,也可得到障碍物相对摄像头的距离、角度等。碰撞传感器例如包括碰撞壳体和触发感应件;当清洁机器人通过碰撞壳体与障碍物碰撞时,碰撞壳体向清洁机器人内部移动,且压缩弹性缓冲件,以起到缓冲作用。在碰撞壳体向清洁机器人内部移动一定距离后,碰撞壳体与触发感应件接触,触发感应件被触发产生信号,该信号可发送到机器人主体内的控制器104,以进行处理。在与障碍物发生碰撞后,清洁机器人远离障碍物,在弹性缓冲件的作用下,碰撞壳体移回原位。距离传感器具体可以为红外探测传感器,可用于探测障碍物至距离传感器的距离。距离传感器可以设置在机器人主体的侧面,从而通过距离传感器可测出位于清洁机器人侧面附近的障碍物至距离传感器的距离值。距离传感器也可以是超声波测距传感器、激光测距传感器或者深度传感器等。跌落传感器设置在机器人主体的底部边缘,当清洁机器人移动到地面的边缘位置时,通过跌落传感器可探测出清洁机器人有从高处跌落的风险,从而执行相应的防跌落反应,例如清洁机器人停止移动、或往远离跌落位置的方向移动等。在机器人主体的内部还设有计数器和陀螺仪。计数器用于检测清洁机器人移动的距离长度。陀螺仪用于检测清洁机器人转动的角度,从而可确定出清洁机器人的朝向。
控制器104设置在机器人主体内部,控制器104用于控制清洁机器人执行具体的操作。该控制器104例如可以为中央处理器(Central Processing Unit,CPU)、或微处理器(Microprocessor)等。如图2所示,控制器104与储能单元110、存储器107、驱动电机102、行走单元106、传感器单元103、交互单元109以及清洁件105等部件电连接,以对这些部件进行控制。
清洁件105可用于对地面进行清洁,清洁件105的数量可以为一个或多个。清洁件105例如包括拖布。拖布例如包括以下至少一种:旋转拖布、平板拖布、滚筒式拖布、履带式拖布等,当然也不限于此。拖布设置在机器人主体的底部,具体可以为机器人主体的底部靠后的位置。以清洁件为旋转拖布为例,在机器人主体内部设有驱动电机102,在机器人主体的底部伸出两个转轴,拖布套接在转轴上。驱动电机102可带动转轴旋转,从而转轴带动拖布旋转。
行走单元106为与清洁机器人的移动相关的部件,行走单元106例如包括驱动轮和万向轮。万向轮和驱动轮配合实现清洁机器人的转向和移动。
存储器107设置在机器人主体上,存储器107上存储有程序,该程序被控制器104执行时实现相应的操作。存储器107还用于存储供清洁机器人使用的参数。其中,存储器107包括但不限于磁盘存储器、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、光学存储器等。
通信单元108设置在机器人主体上,通信单元108用于让清洁机器人和外部设备进行通信;例如与终端或与基站进行通信。其中,基站为配合清洁机器人使用的清洁设备。
交互单元109设置在机器人主体上,用户可通过交互单元109和清洁机器人进行交互。交互单元109例如包括触控屏、开关按钮、扬声器等中的至少一种。例如用户可通过按压开关按钮控制清洁机器人启动工作或停止工作。
储能单元110设置在机器人主体内部,储能单元110用于为清洁机器人提供电力。
机器人主体上还设有充电部件,该充电部件用于从外部设备获取电力,从而向清洁机器人的储能单元110进行充电。
应该理解,图1中描述的清洁机器人只是本申请实施例中的一个具体示例,并不对本申请实施例的机器人构成具体限定。本申请实施例的机器人还可以为其它的具体实现方式。在其它的实现方式中,清洁机器人可以比图2所示的清洁机器人有更多或更少的部件;例如,清洁机器人可包括用于储存清水的清水腔室和/或用于储存脏污的回收腔室,清洁机器人可以将清水腔室储存的清水输送到拖擦件和/或地面,以润湿拖擦件,以及基于润湿后的拖擦件对地面进行清洁,清洁机器人还可以将地面的脏污或者含有脏污的污水收集至回收腔室中;清洁机器人还可以将清水腔室储存的清水输送到拖擦件,以对拖擦件进行清洗,清洗拖擦件后的含有脏污的污水也可以输送至回收腔室中。
下面对本申请实施例所提供的机器人的定位方法进行详细说明,其中该机器人搭载视觉传感器和雷达传感器,视觉传感器例如包括摄像头,如单目相机或双目相机等;雷达传感器例如包括激光雷达。
如图1所示,本申请一实施例的机器人的定位方法包括步骤S110至步骤S140。
步骤S110、获取所述雷达传感器确定的所述机器人的初始位姿信息。
在一些实施方式中,根据所述雷达传感器获取的雷达数据,以及雷达环境地图确定所述机器人的初始位姿信息。举例而言,雷达环境地图包括环境中的点云,雷达数据包括雷达传感器检测到的点云,可以将雷达数据的点云与雷达环境地图中的点云进行匹配,根据匹配结果确定机器人在环境中的位置和姿态,即所述机器人的初始位姿信息。
其中,雷达环境地图可以为机器人在初次使用时通过雷达传感器对环境建模形成的环境地图,雷达环境地图可存储于机器人的存储器中;机器人在后续使用的过程中也可以根据雷达传感器获取的雷达数据通过更新雷达环境地图来适应环境的变更。
在本申请实施例中,机器人在运行过程中,视觉传感器和雷达传感器可以均实时获取机器人的位姿信息。
需要说明的是,本申请实施例中,机器人的位姿信息包括机器人的位置和姿态,其中,机器人的位置主要是指在环境地图中机器人的具体坐标,而机器人的姿态是指机器人的朝向、角度等。
在一些实施方式中,可以根据所述雷达传感器获取的雷达数据以及全局的雷达环境地图确定所述机器人的初始位姿信息。在另一些实施方式中,可以根据所述雷达传感器获取的雷达数据以及局部的雷达环境地图确定机器人的初始位姿信息。局部的雷达环境地图例如为机器人当前所在区域的雷达环境地图,或者可以称为部分环境地图;例如可以根据已经确定的历史初始位姿信息确定所述局部的雷达环境地图,根据当前的雷达数据以及所述历史初始位姿信息对应的局部的雷达环境地图确定当前的初始位姿信息,以实现初始位姿信息的更新。
可以根据所述初始位姿信息控制机器人执行对应的预设任务,如根据所述初始位姿信息控制机器人调整运动方向以使机器人沿预设路径移动,或者在移动过程中规避障碍物,当然也不限于此。
步骤S120、当确定所述初始位姿信息需要重置时,根据所述视觉传感器拍摄的多张图像进行视觉重定位。示例性的,当所述初始位姿信息不够准确或者可能不够准确时,确定所述初始位姿信息需要重置,例如发生了机器人被抱起或过门槛等情况时,可以确定所述初始位姿信息不够准确或者可能不够准确;重置可以得到机器人的当前位姿信息,以根据所述当前位姿信息控制机器人执行对应的预设任务。
视觉传感器通常具有较大的拍摄范围,且拍摄的图像包括三维环境信息,根据视觉传感器拍摄的图像进行视觉重定位也可以确定机器人的位姿,该位姿可以称为当前视觉位姿信息。但是,由于基于视觉图像定位的算力有限,定位的位置信息不能非常精准,但基本可以确定机器人目前在哪个区域。举例而言,在全局环境中不同区域的局部环境相似的情况下,根据视觉重定位得到的当前视觉位姿信息可以准确的区分具体在哪个区域的局部环境中。
在本申请实施例中,在确定所述初始位姿信息需要重置之前,还包括:获取所述视觉传感器对所述机器人所处环境拍摄的多张图像。示例性的,在机器人运行的过程中,视觉传感器可以连续拍摄,以能够拍摄得到多张图像,多张图像的变化的连续的。而在确定初始位姿信息需要重置时,可以更快速的根据视觉传感器所拍摄的多张图像对机器人进行视觉重定位。示例性的,视觉重定位可以包括根据视觉传感器拍摄的图像以及视觉环境地图确定机器人的当前视觉位姿信息。
可选的,机器人可以通过视觉建图模块,在初次使用时对环境建模形成视觉环境地图,视觉环境地图可存储于机器人的存储器中。当然也可以在后续使用过程中通过更新视觉环境地图来适应环境的变更。
举例而言,可以将视觉传感器拍摄的图像与视觉环境地图比较,确定视觉环境地图中与该图像匹配度足够高的区域,根据该区域在视觉环境地图中的位置、姿态确定所述机器人的当前视觉位姿信息。
举例而言,可以提取视觉传感器拍摄的图像的特征点,根据该图像的特征点与视觉环境地图中的特征点比较,根据比较结果确定所述机器人的当前视觉位姿信息。比较特征点的方式相较于图像整体比较的方式计算量较小,可以提高确定当前视觉位姿信息的效率和及时性。
在一些实施方式中,所述根据所述视觉传感器拍摄的多张图像进行视觉重定位,包括:根据所述视觉传感器拍摄的多个图像确定所述机器人的位姿变化量;将所述位姿变化量叠加到最近一次视觉重定位得到当前视觉位姿信息,以更新所述当前视觉位姿信息。
最近一次对机器人进行视觉重定位得到的当前视觉位姿信息可以称为机器人的绝对位姿信息,在绝对位姿信息基础上叠加机器人的位姿变化量得到的当前视觉位姿信息可以称为相对位姿信息。相较于根据视觉重定位得到机器人的绝对位姿信息,确定位姿变化量以及将位姿变化量与最近一次获得的绝对位姿信息叠加得到此时的相对位姿信息的计算量较低,因此效率更高;可以使得在确定所述初始位姿信息需要重置时可以更快速的获取所述视觉重定位得到的当前视觉位姿信息。
举例而言,基于视觉传感器拍摄的多个图像中相邻图像间的相似性,可以根据视觉传感器拍摄的相邻的多个图像估计视觉传感器的运动,得到机器人的位姿变化量。例如可以根据相邻两个图像中特征点的位置变化确定所述位姿变化量,当然也不限于此,例如可以通过光流法或直接法确定所述位姿变化量。
在确定初始位姿信息需要重置时,说明在目前状态下机器人的雷达传感器所获取的初始位姿信息不准确,例如,发生了机器人被抱起或过门槛等情况,导致雷达传感器脱离了二维平面空间的约束。而由于视觉传感器本身所拍摄的图像包括三维环境信息,因此,在雷达传感器所确定的机器人初始位姿信息不准的情况下,可通过视觉传感器进行视觉重定位以得到相对于此时雷达传感器所确定的位姿信息更准确的当前视觉位姿信息。
可选的,可以基于预设的视觉重定位周期根据所述视觉传感器拍摄的图像以及预设的视觉环境地图进行视觉重定位;还可以在预设的重定位条件满足时进行视觉重定位,例如当机器人的位姿变化量较大时进行视觉重定位。当确定所述初始位姿信息需要重置时,可以直接获取最近一次视觉重定位得到当前视觉位姿信息,以便及时获取所述当前视觉位姿信息,以根据所述当前视觉位姿信息对初始位姿信息进行重置以更快速的得到机器人的当前位姿信息。
而对于如何确定初始位姿信息是否需要重置,在一些实施方式中,所述确定所述初始位姿信息需要重置,包括:根据所述视觉传感器拍摄的图像确定所述初始位姿信息需要重置。
视觉传感器通常具有较大的拍摄范围,且拍摄的图像包括三维环境信息,通过参考视觉传感器拍摄的图像可以准确的判定所述初始位姿信息是否需要重置。
举例而言,当根据所述视觉传感器拍摄的多个图像确定的所述机器人的位姿变化量,大于或等于所述多个图像对应时间范围内的位姿变化量阈值时,确定所述初始位姿信息需要重置。
以预设拍摄频率获取视觉传感器拍摄的图像,根据预设拍摄频率确定两个相邻获取的图像对应的时间范围,从而可以确定对应的位姿变化量阈值;当根据这两个相邻获取的图像确定的机器人的位姿变化量大于或等于所述位姿变化量阈值时,可以确定机器人发生了非自主的移动,例如被人为移动(如抱起)或者从较高的位置掉到较低的位置;这些情况下雷达传感器不能准确的确定初始位姿信息,可以通过对所述初始位姿信息进行重置以得到更高准确性的当前位姿信息。
在另一些实施方式中,所述确定所述初始位姿信息需要重置,包括:当所述机器人根据所述初始位姿信息执行预设任务的时间,大于或等于对应的时间阈值时,确定所述初始位姿信息需要重置。
示例性的,当根据所述初始位姿信息不能准确的执行对应的预设任务的情况下,可以确定有概率是因为所述初始位姿信息不够准确导致的,由此可以确定所述初始位姿信息需要重置。
当所述机器人根据所述初始位姿信息执行预设任务,而所述初始位姿信息不够准确的情况下,机器人有时不能在对应的时间阈值之内及时完成所述预设任务。例如初始位姿信息对应的机器人与门槛的距离比较近,机器人执行过门槛任务;如果初始位姿信息是准确的,那么机器人可以在对应的时间阈值之内越过门槛;而如果初始位姿信息不准确,比如实际情况是机器人与门槛的距离还比较远,那么机器人在对应的时间阈值之内不能越过门槛。
当所述机器人根据所述初始位姿信息执行预设任务的时间大于或等于对应的时间阈值时,有较大概率是因为初始位姿信息不够准确导致的。可以通过对所述初始位姿信息进行重置以得到更高准确性的当前位姿信息。
步骤S130、在所述视觉重定位得到当前视觉位姿信息的情况下,根据所述当前视觉位姿信息确定预设的雷达环境地图中与所述当前视觉位姿信息对应的部分环境地图。
预设的雷达环境地图为全局的雷达环境地图,可以包括多个局部的雷达环境地图;全局的雷达环境地图为机器人整个工作区域的雷达环境地图,局部的雷达环境地图为部分工作区域的雷达环境地图,因此根据所述当前视觉位姿信息在预设的雷达环境地图中确定的局部的雷达环境地图可以称为与所述当前视觉位姿信息对应的部分环境地图。
举例而言,预设的雷达环境地图包括多个房间,房间A、房间B、房间C各自的局部的雷达环境地图,所述当前视觉位姿信息对应的位置位于其中的房间A时,确定房间A的局部的雷达环境地图为所述当前视觉位姿信息对应的部分环境地图。
步骤S140、根据所述雷达传感器当前获取的雷达数据以及所述部分环境地图确定所述机器人的当前位姿信息。
当确定所述初始位姿信息需要重置,且在所述视觉重定位得到当前视觉位姿信息的情况下,根据所述雷达传感器获取的雷达数据,以及所述当前视觉位姿信息对应的部分环境地图确定机器人的当前位姿信息;即根据所述雷达传感器获取的雷达数据重新确定所述机器人的当前位姿信息,可以实现对初始位姿信息的重置以得到更为准确地当前位姿信息,以保证机器人可以根据所述当前位姿信息准确、可靠的执行对应的预设任务。
相较于根据所述雷达传感器获取的雷达数据以及整个预设的雷达环境地图确定及机器人的位姿信息,本申请实施例根据视觉重定位得到的当前视觉位姿信息确定与所述当前视觉位姿信息对应的部分环境地图,以及根据所述雷达传感器当前获取的雷达数据以及所述部分环境地图确定所述机器人的当前位姿信息,可以缩小雷达数据的比对范围,提高当前位姿信息确定的效率和及时性。
需要说明的是,相关技术在单独使用雷达传感器进行机器人的定位时通常只能在二维平面空间内进行定位,在有些场景下容易产生定位失效;例如在机器人被抱起,或者在门槛附近长时间徘徊,或者在当前位置附近的雷达环境地图信息缺失的场景下容易产生定位失效。相关技术在定位失效且单独使用雷达传感器的雷达数据尝试恢复定位的时候,也容易在二维上相似的空间产生歧义解,导致需要消耗较长时间尝试恢复定位,甚至产生重定位错误,影响对机器人的控制。
举例而言。有些情况下全局环境中不同区域的局部环境相似,例如全局的雷达环境地图中有多个局部的雷达环境地图中存在相似的点云;在根据所述雷达传感器获取的雷达数据以及全局的雷达环境地图时,有时会得到不同的位姿信息,无法准确判断具体在哪一个局部环境中的相应位置。例如,地图中有三个非常相似的房间A、房间B、房间C,机器人脱离空间约束,例如被抱到房间A的情况下,由于房间B、房间C与房间A的环境相似,根据雷达传感器当前获取的雷达数据无法确定是在房间A还是房间B还是房间C,即雷达定位结果会有歧义解,即解不唯一;虽然可以通过控制机器人不断运动,以找到唯一解,但是该过程耗时长,效率低。
本申请实施例可以结合视觉的定位信息,以缩小根据雷达传感器的雷达数据进行定位时雷达环境地图的搜索范围,使得雷达重定位的效率更高,还可以去掉雷达定位时的歧义,防止产生歧义解,可以更快速的准确的确定当前位姿信息。例如结合视觉的定位信息至少可以确定机器人当前是在房间A,根据雷达传感器当前获取的雷达数据以及房间A对应的部分环境地图可以确定所述机器人在房间A内的当前位姿信息。
需要说明的是,由于单独的视觉重定位的位置信息算力不够,因此视觉重定位的结果相较于雷达定位的结果不是很准确,例如只能大概确定在哪个区域;本申请实施例参考视觉重定位得到的区域,利用雷达传感器当前获取的雷达数据以及所述该区域的部分环境地图确定所述机器人的当前位姿信息,可以得到准确的定位结果。
在一些实施方式中,所述方法还包括:步骤S151至步骤S153。
步骤S151、在所述机器人发生位姿变化,且所述视觉重定位未能得到所述当前视觉位姿信息的情况下,根据所述视觉传感器拍摄的多个图像确定所述机器人在所述位姿变化时的位姿变化量;步骤S152、根据所述位姿变化量,以及所述位姿变化前确定的所述初始位姿信息和/或当前视觉位姿信息,确定所述机器人的估计位姿信息;步骤S153、根据所述雷达传感器当前获取的雷达数据,以及预设的雷达环境地图中与所述估计位姿信息对应的部分环境地图确定所述机器人的当前位姿信息。
举例而言,当机器人发生非自主的位姿变化,且非自主的位姿变化的幅度较大时,有时根据所述视觉传感器拍摄的图像以及预设的视觉环境地图进行视觉重定位时未能得到视觉重定位的位姿。
在视觉重定位未能得到所述当前视觉位姿信息的情况下,可以根据视觉传感器拍摄的图像预估机器人的位姿信息,得到估计位姿信息。估计位姿信息也可以用于确定机器人当前所处的区域,利用雷达传感器当前获取的雷达数据以及所述该区域的部分环境地图确定所述机器人的当前位姿信息,可以得到准确的定位结果,可以防止雷达定位时产生歧义解。
示例性的,根据所述非自主的位姿变化前确定的所述初始位姿信息和/或当前视觉位姿信息,以及所述非自主的位姿变化过程中根据所述视觉传感器拍摄的图像确定的位姿变化量,确定所述非自主的位姿变化结束时的机器人位姿,即根据视觉传感器拍摄的图像预估机器人的位姿信息,得到估计位姿信息。
举例而言,可以在机器人发生非自主的位姿变化时,根据所述视觉传感器拍摄的多个图像确定所述机器人的位姿变化量,例如对多个图像中每一对相邻的图像的位姿变化量进行累计,得到非自主的位姿变化过程中机器人的位姿变化量;将非自主的位姿变化过程中机器人的位姿变化量与非自主的位姿变化前机器人的初始位姿信息和/或当前视觉位姿信息进行累计可以预估非自主的位姿变化结束时的机器人的位姿信息,得到估计位姿信息。
预估得到的非自主的位姿变化结束时的机器人位姿,也可以为雷达重定位提供位置先验信息,去掉雷达重定位时的歧义,防止产生歧义解,可以减少雷达重定位以恢复正常定位的耗时。
可选的,与所述估计位姿信息对应的部分环境地图,范围大于与所述当前视觉位姿信息对应的部分环境地图。
举例而言,视觉重定位成功,根据视觉重定位的当前视觉位姿信息以确定机器人的当前位姿信息时,可以根据雷达环境地图中与所述当前视觉位姿信息对应的0.5米范围内的部分环境地图确定所述机器人的当前位姿信息;而在视觉重定位未能得到所述当前视觉位姿信息的情况下,可以先根据雷达环境地图中与预估得到的估计位姿信息对应的一米范围内的部分环境地图确定所述机器人的当前位姿信息,以利用更大范围的雷达环境地图的信息确定所述机器人的当前位姿信息,以便根据预估得到的估计位姿信息确定所述机器人的当前位姿信息。
需要说明的是,如果在根据不够准确的估计位姿信息对应的较小范围的雷达环境地图进行雷达定位时,有时不能得到雷达定位结果,如无解。本申请实施例可以在根据估计位姿信息进行雷达定位时,采用较大范围的部分环境地图进行雷达定位,可以防止雷达定位不能得到雷达定位结果的情况出现。
在另一些实施方式中,所述方法还包括:步骤S160、在所述视觉重定位未能得到所述当前视觉位姿信息的情况下,根据所述雷达传感器当前获取的雷达数据,以及完整的所述雷达环境地图确定所述机器人的当前位姿信息。
当根据所述视觉传感器拍摄的图像以及预设的视觉环境地图进行视觉重定位,且未能得到所述当前视觉位姿信息时,根据所述雷达传感器获取的雷达数据,以及预设的雷达环境地图确定所述机器人的当前位姿信息,即根据全局的视觉环境地图进行雷达重定位。基于完整的雷达环境地图进行雷达重定位,可以在视觉重定位未能得到准确的当前视觉位姿信息的情况下,实现重新确定机器人的当前位姿信息,以便机器人根据该当前位姿信息执行预设任务。
本申请实施例提供的机器人的定位方法,机器人搭载视觉传感器和雷达传感器,方法包括:获取所述雷达传感器确定的所述机器人的初始位姿信息;当确定所述初始位姿信息需要重置时,根据所述视觉传感器拍摄的多张图像进行视觉重定位;在所述视觉重定位得到当前视觉位姿信息的情况下,根据所述当前视觉位姿信息确定预设的雷达环境地图中与所述当前视觉位姿信息对应的部分环境地图;根据所述雷达传感器当前获取的雷达数据以及所述部分环境地图确定所述机器人的当前位姿信息。在雷达传感器确定的初始位姿信息需要重置时,结合视觉重定位得到的当前视觉位姿信息,缩小根据雷达传感器的雷达数据进行定位时雷达环境地图的搜索范围,使得雷达重定位的效率更高,还可以去掉雷达定位时的歧义,防止产生歧义解,可以更快速的准确的确定当前位姿信息。
本申请实施例的机器人的定位方法,通过使用根据视觉传感器拍摄的图像确定的当前视觉位姿信息作为初值进行最终的雷达姿态解算,实现雷达重定位;增加了视觉定位系统,相当于存在了一套冗余的定位系统,由于视觉信息使用三维环境信息,可以降维打击,抵抗根据雷达数据进行重定位时二维上的歧义/无信息/错误信息的状况,提升定位系统的稳定性与鲁棒性;还可以最终减少进入重定位的次数,缩短重定位的耗时,预防定位错误的问题。
请结合上述实施例参阅图3,图3是本申请实施例提供的机器人的示意性框图。
所述机器人搭载视觉传感器310和雷达传感器320。举例而言,视觉传感器310例如包括摄像头,如单目相机或双目相机等;雷达传感器320例如包括激光雷达。当然也不限于此。
在一些实施方式中,所述机器人还可以包括行走单元,行走单元为与机器人的移动相关的部件,例如包括驱动轮和万向轮。万向轮和驱动轮配合实现机器人的转向和移动。当然也不限于此,例如还可以为履带式或足式的行走单元。
所述机器人还包括:处理器301和存储器302,存储器302用于存储计算机程序。
示例性的,处理器301和存储器302通过总线303连接,该总线303比如为I2C(Inter-integrated Circuit)总线。
具体地,处理器301可以是微控制单元(Micro-controller Unit,MCU)、中央处理单元(Central Processing Unit,CPU)或数字信号处理器(Digital Signal Processor,DSP)等。
具体地,存储器302可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中,所述处理器301用于执行存储在存储器302中的计算机程序,并在执行所述计算机程序时实现本申请实施例所述的机器人的定位方法的步骤。
本申请实施例提供的机器人的具体原理和实现方式均与前述实施例的方法类似,此处不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现上述任一实施例的方法的步骤。
其中,所述计算机可读存储介质可以是前述任一实施例所述的机器人的内部存储单元,例如所述机器人的硬盘或内存。所述计算机可读存储介质也可以是所述机器人的外部存储设备,例如所述机器人上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
应当理解,在此本申请中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。
还应当理解,在本申请和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种机器人的定位方法,其特征在于,所述机器人搭载视觉传感器和雷达传感器,所述方法包括:
获取所述雷达传感器确定的所述机器人的初始位姿信息;
当确定所述初始位姿信息需要重置时,根据所述视觉传感器拍摄的多张图像进行视觉重定位;
在所述视觉重定位得到当前视觉位姿信息的情况下,根据所述当前视觉位姿信息确定预设的雷达环境地图中与所述当前视觉位姿信息对应的部分环境地图;
根据所述雷达传感器当前获取的雷达数据以及所述部分环境地图确定所述机器人的当前位姿信息。
2.根据权利要求1所述的定位方法,其特征在于,在确定所述初始位姿信息需要重置之前,还包括:
获取所述视觉传感器对所述机器人所处环境拍摄的多张图像;
所述确定所述初始位姿信息需要重置,包括:
根据所述视觉传感器拍摄的图像确定所述初始位姿信息需要重置。
3.根据权利要求2所述的定位方法,其特征在于,
当根据所述视觉传感器拍摄的多个图像确定的所述机器人的位姿变化量,大于或等于所述多个图像对应时间范围内的位姿变化量阈值时,确定所述初始位姿信息需要重置。
4.根据权利要求1所述的定位方法,其特征在于,所述确定所述初始位姿信息需要重置,包括:
当所述机器人根据所述初始位姿信息执行预设任务的时间,大于或等于对应的时间阈值时,确定所述初始位姿信息需要重置。
5.根据权利要求1-4中任一项所述的定位方法,其特征在于,所述根据所述视觉传感器拍摄的多张图像进行视觉重定位,包括:
根据所述视觉传感器拍摄的多个图像确定所述机器人的位姿变化量;将所述位姿变化量叠加到最近一次视觉重定位得到当前视觉位姿信息,以更新所述当前视觉位姿信息。
6.根据权利要求1所述的定位方法,其特征在于,所述方法还包括:
在所述机器人发生位姿变化,且所述视觉重定位未能得到所述当前视觉位姿信息的情况下,根据所述视觉传感器拍摄的多个图像确定所述机器人在所述位姿变化时的位姿变化量;
根据所述位姿变化量,以及所述位姿变化前确定的所述初始位姿信息和/或当前视觉位姿信息,确定所述机器人的估计位姿信息;
根据所述雷达传感器当前获取的雷达数据,以及预设的雷达环境地图中与所述估计位姿信息对应的部分环境地图确定所述机器人的当前位姿信息。
7.根据权利要求6所述的定位方法,其特征在于,与所述估计位姿信息对应的部分环境地图,范围大于与所述当前视觉位姿信息对应的部分环境地图。
8.根据权利要求1所述的定位方法,其特征在于,所述方法还包括:
在所述视觉重定位未能得到所述当前视觉位姿信息的情况下,根据所述雷达传感器当前获取的雷达数据,以及完整的所述雷达环境地图确定所述机器人的当前位姿信息。
9.一种机器人,其特征在于,所述机器人搭载视觉传感器和雷达传感器,所述机器人还包括处理器和存储器,所述存储器用于存储计算机程序;所述处理器用于执行所述计算机程序并在执行所述计算机程序时,实现如权利要求1-8中任一项所述的机器人的定位方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1-8中任一项所述的机器人的定位方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311729238.3A CN117784125A (zh) | 2023-12-14 | 2023-12-14 | 机器人的定位方法、机器人及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311729238.3A CN117784125A (zh) | 2023-12-14 | 2023-12-14 | 机器人的定位方法、机器人及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117784125A true CN117784125A (zh) | 2024-03-29 |
Family
ID=90387586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311729238.3A Pending CN117784125A (zh) | 2023-12-14 | 2023-12-14 | 机器人的定位方法、机器人及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117784125A (zh) |
-
2023
- 2023-12-14 CN CN202311729238.3A patent/CN117784125A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7150773B2 (ja) | 移動ロボット及びその制御方法 | |
CN109084732B (zh) | 定位与导航方法、装置及处理设备 | |
CN110522359B (zh) | 清洁机器人以及清洁机器人的控制方法 | |
US11960304B2 (en) | Localization and mapping using physical features | |
JP6759307B2 (ja) | センサデータの空間的集約を用いる適応マッピング | |
CN111035327B (zh) | 清洁机器人、地毯检测方法及计算机可读存储介质 | |
CN109730590B (zh) | 清洁机器人以及清洁机器人自动返回充电的方法 | |
US9329598B2 (en) | Simultaneous localization and mapping for a mobile robot | |
KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
CA2870175C (en) | Carpet drift estimation using differential sensors or visual measurements | |
CN108481327B (zh) | 一种增强视觉的定位装置、定位方法及机器人 | |
CN111990930B (zh) | 一种测距方法、装置、机器人和存储介质 | |
CN112450820B (zh) | 位姿优化方法、移动机器人及存储介质 | |
CN114779777A (zh) | 自移动机器人的传感器控制方法、装置、介质及机器人 | |
CN117784125A (zh) | 机器人的定位方法、机器人及存储介质 | |
EP3680743B1 (en) | Autonomously traveling cleaner and map correction and display method | |
JP7354528B2 (ja) | 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム | |
WO2020059292A1 (ja) | 自律走行掃除機 | |
CN113379850A (zh) | 移动机器人控制方法、装置、移动机器人及存储介质 | |
WO2020146352A1 (en) | System and method for monitoring movements | |
JP2019144849A (ja) | 自律走行掃除機 | |
JP7327596B2 (ja) | 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム | |
CN112528728B (zh) | 一种用于视觉导航的图像处理方法、装置和移动机器人 | |
CN118129729A (zh) | 建图方法、装置、移动机器人及计算机可读存储介质 | |
CN117665849A (zh) | 机器人的地形检测方法、控制方法、机器人及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |