CN115718487A - 自移动设备位姿确定方法、装置、自移动设备及存储介质 - Google Patents

Abstract

本公开实施例提供一种自移动设备位姿确定方法、装置、自移动设备及存储介质，所述方法包括：基于第一传感器确定所述自移动设备的初始位姿；基于第二传感器获取所述自移动设备的平视图像，并将所述平视图像转换为鸟瞰图像；在所述鸟瞰图像中确定具有语义特性的点线特征；所述具有语义特性的点线特征包括具有地面语义特性的第一点线特征和具有障碍物语义特性的第二点线特征；基于所述点线特征修正所述初始位姿。该方法通过对初始位姿进行修正，使得初始位姿更加准确。

Description

自移动设备位姿确定方法、装置、自移动设备及存储介质

技术领域

本公开涉及机器人技术领域，尤其涉及一种自移动设备位姿确定方法、装置、自移动设备及存储介质。

背景技术

自移动设备在作业过程中，需要不断确定自身的位姿，以更准确的进行清洁或避障。例如，可以使用多种方法完成机器人的位姿确定，如深度相机、激光雷达、线结构光、单目摄像头、双目摄像头、里程计(odometer，ODO)等。

发明内容

有鉴于此，本公开实施例提供一种自移动设备位姿确定方法、装置、自移动设备及存储介质，用以修正自移动设备的位姿，解决位姿确定不准确的技术问题。

第一方面，本公开实施例提供一种自移动设备位姿确定方法，包括：

基于第一传感器确定所述自移动设备的初始位姿；

基于第二传感器获取所述自移动设备的平视图像，并将所述平视图像转换为鸟瞰图像；

在所述鸟瞰图像中确定具有语义特性的点线特征；所述具有语义特性的点线特征包括具有地面语义特性的第一点线特征和具有障碍物语义特性的第二点线特征；

基于所述点线特征修正所述初始位姿。

可选的，所述基于所述点线特征修正所述初始位姿，包括：

确定所述鸟瞰图像中的同一所述点线特征的矢量信息，所述矢量信息包括基于同一所述点线特征所确定的位移方向和位移大小；

基于所述矢量信息修正所述初始位姿。

可选的，所述确定所述鸟瞰图像中的同一所述点线特征的矢量信息，包括：

在预设时间内获取两帧所述鸟瞰图像中的所述点线特征的矢量信息，其中，所述点线特征在所述两帧所述鸟瞰图像中为同一特征点。

可选的，所述基于所述矢量信息修正所述初始位姿，包括：

计算所述两帧所述鸟瞰图像中的所述点线特征的矢量变化量，通过所述矢量变化量确定所述自移动设备的移动方向和移动距离；

比较所述矢量变化量与所述初始位姿，当所述矢量变化量超出所述初始位姿预设阈值时，通过所述矢量变化量修正所述初始位姿。

可选的，还包括：

基于第三传感器确定所述自移动设备周围的初始障碍物边缘信息；

通过所述第一点线特征和所述第二点线特征确定出所述鸟瞰图像中的障碍物边缘信息；

通过所述鸟瞰图像中的障碍物边缘信息修正所述初始障碍物边缘信息。

可选的，还包括：

基于修正后的所述初始障碍物边缘信息构建局部地图；

基于所述局部地图与预先构建的全局地图的位置关系确定当前位姿；

基于所述当前位姿修正所述初始位姿。

可选的，还包括：

预设基于所述点线特征修正所述初始位姿的第一权重值和基于所述当前位姿修正所述初始位姿的第二权重值；

当所述点线特征数目超过预设阈值时，增大第一权重值且减小第二权重值；

当所述点线特征数目低于预设阈值时，减小第一权重值且增大第二权重值。

可选的，还包括：

当所述点线特征数目超过预设阈值时，第一权重值大于第二权重值；

当所述点线特征数目低于预设阈值时，第一权重值小于第二权重值。

可选的，将所述平视图像转换为鸟瞰图像，包括：

获取所述第二传感器的参数，所述参数包括第二传感器的内部参数和以自移动设备中心为基准的外部参数；

在所述平视图像中选取多个特征点，其中，所述多个特征点构成预设变换区域，所述预设区域包括具有语义特性的点线特征；

根据所述内部参数和外部参数，通过坐标系变换，将所述多个特征点投影到所述第二传感器的像素坐标系中，获得所述多个特征点在所述平视图像中的图像像素坐标；

基于所述多个特征点在所述平视图像中的图像像素坐标，将所述平视图像转换为鸟瞰图像。

可选的，所述基于所述多个特征点在所述平视图像中的图像像素坐标，将所述平视图像转换为鸟瞰图像，包括：

确定所述多个特征点在所述鸟瞰图像中投影的目标像素坐标；

基于所述多个特征点在所述平视图像中的图像像素坐和在所述鸟瞰图像中投影的目标像素坐标，确定变换矩阵；

基于所述变换矩阵，构建所述预设变换区域与所述鸟瞰图像的映射关系，从而将所述平视图像转换为鸟瞰图像。

第二方面，本公开实施例提供一种自移动设备位姿确定装置，还包括：

第一确定单元，配置为基于第一传感器确定所述自移动设备的初始位姿；

转换单元，配置为基于第二传感器获取所述自移动设备的平视图像，并将所述平视图像转换为鸟瞰图像；

第二确定单元，配置为在所述鸟瞰图像中确定具有语义特性的点线特征；所述具有语义特性的点线特征包括具有地面语义特性的第一点线特征和具有障碍物语义特性的第二点线特征；

第一修正单元，配置为基于所述点线特征修正所述初始位姿。

可选的，所述第一修正单元还配置为：

确定所述鸟瞰图像中的同一所述点线特征的矢量信息，所述矢量信息包括基于同一所述点线特征所确定的位移方向和位移大小；

基于所述矢量信息修正所述初始位姿。

可选的，所述第一修正单元还配置为：

在预设时间内获取两帧所述鸟瞰图像中的所述点线特征的矢量信息，其中，所述点线特征在所述两帧所述鸟瞰图像中为同一特征点。

可选的，所述第一修正单元还配置为：

计算所述两帧所述鸟瞰图像中的所述点线特征的矢量变化量，通过所述矢量变化量确定所述自移动设备的移动方向和移动距离；

比较所述矢量变化量与所述初始位姿，当所述矢量变化量超出所述初始位姿预设阈值时，通过所述矢量变化量修正所述初始位姿。

可选的，还包括：

第三确定单元，配置为基于第三传感器确定所述自移动设备周围的初始障碍物边缘信息；

第四确定单元，配置为通过所述第一点线特征和所述第二点线特征确定出所述鸟瞰图像中的障碍物边缘信息；

第二修正单元，配置为通过所述鸟瞰图像中的障碍物边缘信息修正所述初始障碍物边缘信息。

可选的，还包括第三修正单元，配置为：

基于修正后的所述初始障碍物边缘信息构建局部地图；

基于所述局部地图与预先构建的全局地图的位置关系确定当前位姿；

基于所述当前位姿修正所述初始位姿。

可选的，还包括设置单元，配置为：

预设基于所述点线特征修正所述初始位姿的第一权重值和基于所述当前位姿修正所述初始位姿的第二权重值；

当所述点线特征数目超过预设阈值时，增大第一权重值且减小第二权重值；

当所述点线特征数目低于预设阈值时，减小第一权重值且增大第二权重值。

可选的，所述设置单元还配置为：

当所述点线特征数目超过预设阈值时，第一权重值大于第二权重值；

当所述点线特征数目低于预设阈值时，第一权重值小于第二权重值。

可选的，所述转换单元还配置为：

获取所述第二传感器的参数，所述参数包括第二传感器的内部参数和以自移动设备中心为基准的外部参数；

在所述平视图像中选取多个特征点，其中，所述多个特征点构成预设变换区域，所述预设区域包括具有语义特性的点线特征；

根据所述内部参数和外部参数，通过坐标系变换，将所述多个特征点投影到所述第二传感器的像素坐标系中，获得所述多个特征点在所述平视图像中的图像像素坐标；

基于所述多个特征点在所述平视图像中的图像像素坐标，将所述平视图像转换为鸟瞰图像。

可选的，所述转换单元还配置为：

确定所述多个特征点在所述鸟瞰图像中投影的目标像素坐标；

基于所述多个特征点在所述平视图像中的图像像素坐和在所述鸟瞰图像中投影的目标像素坐标，确定变换矩阵；

基于所述变换矩阵，构建所述预设变换区域与所述鸟瞰图像的映射关系，从而将所述平视图像转换为鸟瞰图像。

第三方面，本公开实施例提供一种自移动设备，包括处理器和存储器，其特征在于，所述存储器存储有能够被所述处理器执行的计算机程序指令，所述处理器执行所述计算机程序指令时，实现如上任一所述的方法步骤。

第四方面，本公开实施例提供一种非瞬时性计算机可读存储介质，其特征在于，存储有计算机程序指令，所述计算机程序指令在被处理器调用和执行时实现如上任一所述的方法步骤。

本公开实施例提供的自移动设备位姿确定方法，通过第一传感器确定所述自移动设备的初始位姿，再通过将第二传感器获取的平视图像转换为鸟瞰图像，并基于鸟瞰图像对初始位姿进行修正，使得第一传感器确定的初始位姿更加准确。此外，该方法还可以通过第三传感器确定的障碍物边缘信息进一步对初始位姿进行修正，使得初始位姿更加准确。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的自移动设备底盘结构示意图；

图2为本公开实施例提供的自移动设备立体结构示意图；

图3为本公开实施例提供的自移动设备位姿确定方法的流程示意图；

图4为本公开另一实施例提供的自移动设备位姿确定方法的流程示意图；

图5为本公开另一实施例提供的自移动设备位姿确定方法的流程示意图；

图6为本公开另一实施例提供的自移动设备位姿确定方法的流程示意图；

图7为本公开另一实施例提供的自移动设备位姿确定方法的流程示意图；

图8为本公开另一实施例提供的自移动设备位姿确定方法的流程示意图；

图9为本公开另一实施例提供的自移动设备位姿确定方法的流程示意图；

图10为本公开另一实施例提供的自移动设备位姿确定方法的流程示意图；

图11为本公开实施例提供的自移动设备位姿确定装置结构示意图；

图12为本公开另一实施例提供的自移动设备位姿确定装置结构示意图；

图13为本公开实施例提供的机器人的电子结构示意图。

具体实施方式

为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。

在本公开实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。

本公开实施例所述的自移动设备包括任何能够自主行走且无需人工操作的设备,例如机器人、自清洁设备、无人车等，其中，机器人例如可以是商用机器人、家用机器人等，自清洁设备可以是扫地机、洗地机、拖地机，扫拖一体机等，无人车可以是无人送货车、无人驾驶家用车等。

下面结合附图详细说明本公开的可选实施例。

本实施例中的自移动设备以在特定区域内自主行走且无需人工操作就能完成清洁作业的清洁设备为例进行描述，自移动设备包括但不限于自动洗地机、自动拖扫一体机等。

如图1和图2所示，本公开实施例提供了一种自移动设备，包括主体9、底盘2及感测部1，主体9包括流体储存装置901，用于储存流体；清洁液供给系统，用于将清洁液供给到清洁表面；污水回收系统，用于回收污液；底盘2设置于主体9的下部，用于支撑主体9；感测部1直接设置在底盘2上。

以自动洗地机为例，自动洗地机包括但不限于可以包括但不限于主体9、行走机构、清洁供给系统、控制装置、感测部1及污水回收系统。

如图2所示，主体9可配置为具有一定厚度的流体储存装置901，该流体储存装置901用于储存清洁液以及回收的污水。流体储存装置901可采用诸如塑料的材料整体成型，以提高主体9的弹性、韧性、防腐蚀及防撞性能，并且减小主体9的重量。流体储存装置901的周壁可预先形成多个槽、凹陷、卡位或类似结构，用于安装清洁供给系统、污水回收系统、行走机构及电池组件。同时，将流体储存装置901作为主体9，也无需额外制作壳体等其他构件，可简化生产工艺。并且在洗地机用于清洁大型场所的情况下，可增加主体9的体积，以提高流体储存装置901的容积，使流体储存装置901具有充足的清洁液，以满足清洗需求。其中，清洁液可以是清洁溶液，或者是清水和洗涤剂的混合液。在某些实施例中，流体储存装置901可化为多个舱室，例如，划分为两个舱室，一个用来储存清洁液，另一个用来储存回收后的污水；进一步地，针对清水和洗涤剂混合的情形下，储存清洁液的舱室也可以划分为两个子舱室，一个子舱室的容积要远远大于另一个子舱室的容积，这样，较大的子舱室内储存清水，较小的子舱室存储洗涤剂。

行走机构包括设置在主体9下部的多组滚轮以及驱动机构，每组的两个滚轮分别位于主体9的相对两侧，驱动机构内置于机器人本体内，通过驱动机构驱动滚轮带动主体9行走来进行清洁作业。

控制装置设置在本体内的电路主板上，包括存储器(例如硬盘、快闪存储器、随机存取存储器)和处理器(例如中央处理单元、应用处理器)等。处理器根据感测部1反馈的物体信息来绘制自移动设备所在环境中的即时地图，从而规划最为高效合理的清洁路径和清洁方式，大大提高自移动设备的清扫效率。并且根据感测部1反馈的距离信息、速度信息、姿态信息等综合判断自移动设备当前处于何种工作状态，从而能针对不同情况给出具体的下一步动作策略，向自移动设备发出相应的控制指令。

清洁液供给系统包括清洁装置、清洁液输出管路、设在清洁头壳体内且用于向清洁装置提供清洁液的喷嘴以及用于使清洁装置升降的升降机构。流体储存装置901通过清洁液输出管路与喷嘴连通，在清洁液输出管路上还设有必要的泵等部件，以便清洁液及时足量的输送至喷嘴处。在清洁作业时，升降机构驱动清洁装置下降，以使清洁装置与待清洁表面接触，之后将清洁液输送至喷嘴处来向清洁装置提供清洁液，从而实现清洁作业。在清洁作业完毕后，升降机构驱动清洁装置上升，以使清洁装置与待清洁表面形成一定距离，从而降低地面对清洁装置的磨损，提高清洁装置的使用寿命。

在其他实施例中，喷嘴也可设在清洁头壳体的外部并位于吸口的前侧，这样利用喷嘴直接将吸口前侧的待清洁面湿润，利用清洁件来刷洗润湿过的待清洁面，也同样能起到对待清洁面的刷洗效果。

污水回收系统包括风机组件及连接于污水回收装置与吸口之间的污水回收管路。污水回收管路在风机组件提供的抽吸力作用下，将待清洁面上的杂质及污液通过污水回收管路吸入至流体储存装置901内。

感测部1用于感测自移动设备的位置信息和方位信息等。根据感测部1反馈的采集信息，控制装置可控制自移动设备进行自主行进清洁作业。感测部1角度可调节地安装在底盘2上。针对需要设置测量角度的感测部1(如测距传感器等)，感测部1角度可调的安装在底盘2上，从而能够调整感测部1的倾斜角度，以满足实际的不同的感测需求。

具体地，感测部1可包括多种不同种类的传感器，以采集自移动设备不同的信息，从而全面感知自移动设备的状态及周围环境。不同种类的传感器可采用不同的安装方式来装配在底盘2上，下面进行详细阐述。

如图1所示，在一些实施例中，感测部1包括方位传感器101，方位传感器101直接设置在底盘2上。

方位传感器101可采用惯性测量单元(Inertial Measurement Unit，IMU)传感器、轮式里程计、陀螺仪等，其中，IMU传感器包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测自移动设备在三维空间中的加速度信号，而陀螺检测在三维空间中的角速度信号，并以此解算出自移动设备的姿态。并且IMU传感器具有自主导航能力，不受环境、载体机动及无线电干扰的影响，可有效提高定位定姿的可靠性、完整性和连续性。

在本实施例中，将方位传感器101直接设置在底盘2上，这样能够避免方位传感器101相对于底盘2产生偏斜，从而减小方位传感器101的装配公差，提高方位传感器101的测量精度。相比而言，如果将方位传感器设置在主体的其他位置，比如流体储存装置或者流体回收装置，底盘作为自移动设备的用于定位和安装的部件，传感器的装配公差需要考虑底盘与流体储存装置或者流体回收装置的装配公差，增加了装配的尺寸链，从而可能降低方位传感器的精度。

在一些实施例中，感测部1包括位置传感器102，位置传感器102角度可调节地安装在底盘2上。

位置传感器102可采用测距传感器。测距传感器既可以检测底盘2与地面之间的垂向距离变化，也可检测自移动设备与周边物体之间的距离变化。在一种可能的实现方式中，测距传感器可包括红外测距传感器，红外测距传感器的数量可为多个，例如，红外测距传感器的数量可为四路、六路或八路，分别对称设置于底盘2的相对两侧。每一路红外测距传感器具有红外信号发射器和红外信号接收器，利用红外信号发射器发射出一束红外光，在照射到物体后形成反射，反射的红外光再被红外信号接收器接收，根据红外线发射与接收的时间差数据，计算得出自移动设备与物体之间的距离。在另一种可能的实现方式中，测距传感器可包括超声测距传感器，超声测距传感器可设置在保险杠中居中的最前侧上。超声测距传感器具有超声波发射器和声波接收器，超声波发射器用于发射超声波，在发射时刻的同时计数器开始计时，超声波在空气中传播，途中碰到物体阻挡就立即反射回来，超声波接收器收到反射回的超声波就立即停止计时，从而根据计时器记录的时间，计算出自移动设备与物体之间的距离。在实际应用中，上述各类测距传感器也可组合使用，通过多种方式的测距方式，在测距范围、测距准确性以及成本等方面获得较好的平衡。在又一种可能的实现方式中，测距传感器还可以包括激光测距传感器(Laser Distance Sensor，LDS)同样的，激光测距传感器的数量可为多个，例如，激光测距传感器的数量可为四路、六路或八路，分别对称设置于底盘2的相对两侧。每一路激光测距传感器具有激光发射器和激光接收器，利用激光发射器发射出一束红外光，在照射到物体后形成反射，反射的激光再被激光接收器接收，根据激光发射与接收的时间差数据，计算得出自移动设备与物体之间的距离。

在一些实施例中，感测部1包括图像传感器103，图像传感器103角度可调节地安装在底盘2上。图像传感器103例如包括可视化图像传感器(例如单目摄像头、双目摄像头等)或者红外图像传感器等，其中图像传感器103可以包括1个、2个或多个，图像传感器103可以获得自清洁设备的各个方向的图像。

作为本公开的具体实施例之一，提供一种自移动设备位姿确定方法，自移动设备位姿确定方法应用于如上的自移动设备，具体包括如下方法步骤，如图3所示：

步骤S302：基于第一传感器确定自移动设备的初始位姿。

其中，第一传感器包括但不限于如上的ODO、惯性导航设备、陀螺仪等，自移动设备基于初始运动的起点位置，结合第一传感器的数据可以确定出自移动设备行进到当前位置的初始位姿信息，其中，位姿信息是指自移动设备的位置和姿态信息，例如，位置包括基于初始地图中的位置原点所确定的距离和方向参数，姿态包括自移动设备的俯仰、倾斜等参数确定的状态。自移动设备通过ODO传感器、惯性导航设备、陀螺仪等设备直接获得的自移动设备的初始位姿信息，由于数据计算量小，具有位姿信息获取速度快的优势，在没有颠簸、打滑等特殊情况下，位姿信息也相对准确。但是，当自移动设备遇到颠簸、打滑、进入黑洞等信号弱的地方等特殊情况时，仅通过第一传感器所有可能导致确定的自移动设备的初始位姿信息不准确。

步骤S304：基于第二传感器获取自移动设备的平视图像，并将平视图像转换为鸟瞰图像。

其中，第二传感器包括但不限于如上的单目摄像头、双目摄像头等能够获取平视图像的传感设备，一个或多个第二传感器可以装在自移动设备的前方、侧方或后方，用于获取自移动设备行进过程中进入摄像头视场的图像，其中，平视图像至少包括自移动设备前进方向内的视场图像，或者其他方向的水平视场或水平方向一定范围内的视场图像，也可以包括全景图像，平视图像可以是2D平面图像，也可以是包括景深在内的3D立体图像。由于自移动设备自身高度的原因，其获得的平视图像必然包含地面图像以及位于地面上一定高度范围内的障碍图像，对于高出摄像头视场的障碍物图像是无法获取的。通过自移动设备一个摄像头的多角度旋转或者多个摄像头同时获取，即可获取自移动设备周围的地面和障碍物图像。

自移动设备通过如上的控制装置，将平视图像转换为鸟瞰图像，作为一种可选的实施方式，平视图像转换为鸟瞰图像包括如下方法步骤，如图4所示：

步骤S3042：控制装置获取第二传感器的参数，参数包括第二传感器的内部参数和以自移动设备中心为基准的外部参数。

其中，第二传感器的内部参数根据摄像头的自身性能确定，包括但不限于摄像头焦距、摄像头光学中心、摄像头拍摄出的图像尺寸等，第二传感器的外部参数根据位于自清洁设备的位置测量或计算确定，包括但不限于摄像头高度、摄像头的俯仰角、摄像头的偏航角等。

步骤S3044：在平视图像中选取多个特征点，其中，多个特征点构成预设变换区域，预设区域包括具有语义特性的点线特征。

特征点的选取可以根据预确定自移动设备周围一定范围内的图像来确定，不能选取图像中远的点(例如路的尽头)或高的点(例如天花板)作为特征点，可以选择地面或者地面上的障碍物(例如墙、柱子)等作为特征点，特征点的连线应该能确定出一个便于分析的区域，例如通过选取4个特征点，可以构建一个矩形区域形成预设变换区域。

其中，具有语义特性的点线特征是指具有明确含义的图像目标，大致可以包括具有地面语义特性的第一点线特征和具有障碍物语义特性的第二点线特征；第一点线特征包括但不限于进门条、车位线、减速带、限位器、地灯等地面特征，第二点线特征包括但不限于垃圾桶、墙、柱子、桌子、沙发等高于地面的特征，通过标记相关特征与其表达语义的映射关系，在后续分析过程中确定鸟瞰图像中目标的位置。

步骤S3046：根据内部参数和外部参数，通过坐标系变换，将多个特征点投影到第二传感器的像素坐标系中，获得多个特征点在平视图像中的图像像素坐标。

步骤S3048：基于多个特征点在平视图像中的图像像素坐标，将平视图像转换为鸟瞰图像。

具体的，基于多个特征点在平视图像中的图像像素坐标，将平视图像转换为鸟瞰图像，包括如下方法步骤，如图5所示：

步骤S30482：确定多个特征点在鸟瞰图像中投影的目标像素坐标。

目标像素坐标是形成鸟瞰图像后的位置坐标，该位置坐标与上述选择的多个特征点在平视图像中的图像像素坐标一一对应。

步骤S30484：基于多个特征点在平视图像中的图像像素坐和在鸟瞰图像中投影的目标像素坐标，确定变换矩阵。

例如，通过选择的4个特征点的图像像素坐，和上步确定的4个特征点在鸟瞰图像中投影的目标像素坐标，构成4对匹配点建立约束关系求解可以获得变换矩阵。

步骤S30486：基于变换矩阵，构建预设变换区域与鸟瞰图像的映射关系，从而将平视图像转换为鸟瞰图像。

基于步骤S30484确定的变化矩阵，可以将步骤S3044中确定的预设变换区域中的所有具有语义的点线特征，对应找到鸟瞰图像中的像素坐标，即构建起预设变换区域与鸟瞰图像特征点的一一映射关系，从而将平视图像转换为鸟瞰图像。

步骤S306：在鸟瞰图像中确定具有语义特性的点线特征；具有语义特性的点线特征包括具有地面语义特性的第一点线特征和具有障碍物语义特性的第二点线特征。

通过步骤S30486，构建起预设变换区域与鸟瞰图像特征点的一一映射关系，即可在鸟瞰图像中确定具有语义特性的点线特征，如上，大致可以确定出包括具有地面语义特性的第一点线特征和具有障碍物语义特性的第二点线特征；第一点线特征包括但不限于进门条、车位线、减速带、限位器、地灯等地面特征，第二点线特征包括但不限于垃圾桶、墙、柱子、桌子、沙发等高于地面的特征，通过分析鸟瞰图像中具有语义的点线特征即可找出相关的图像目标。

平视图像经过逆透视变换，转化为鸟瞰图像。基于鸟瞰图像，深度学习模型进行语义目标检测和地面分割。语义目标检测目的是检测车道线、车位区、车位号、减速带、限位器等地面标志物，和车辆、柱子等地面障碍物。带语义的目标在之后的特征点匹配时，既能帮助加速寻找匹配区域，也限定了匹配区域，从而避免误匹配。

步骤S308：基于点线特征修正初始位姿。

作为可选的实施方式，如图6所示，基于点线特征修正初始位姿，包括如下方法步骤：

步骤S3082：确定鸟瞰图像中的同一点线特征的矢量信息，矢量信息包括基于同一点线特征所确定的位移方向和位移大小；

可选的，确定鸟瞰图像中的同一点线特征的矢量信息，包括：在预设时间内获取两帧鸟瞰图像中的点线特征的矢量信息，其中，点线特征在两帧鸟瞰图像中为同一特征点。

步骤S3084：基于矢量信息修正初始位姿。

作为可选的实施方式，基于矢量信息修正初始位姿，包括：

计算两帧鸟瞰图像中的点线特征的矢量变化量，通过矢量变化量确定自移动设备的移动方向和移动距离；

比较矢量变化量与初始位姿，当矢量变化量超出初始位姿预设阈值时，通过矢量变化量修正初始位姿。

通过比较前后两幅鸟瞰图像中同一点线特征的矢量变化量，可以计算出自移动设备在上述预设时间内的移动轨迹，其中，前后两幅鸟瞰图像可以是连续的两幅图像，也可以是不连续的两幅图像，对此不做限定，例如在3秒内，随着自移动设备的移动，共获得10张鸟瞰图像，其中，在第2张和第6张图像中包括同一点线特征，则可以通过该图像确定出自移动设备的移动轨迹。当该移动轨迹与通过ODO等第一传感器确定的移动轨迹基本一致时，则不做修正，反之，当二者差别较大时(例如位移差超出了预设位移阈值)，则认为ODO等第一传感器确定的初始位姿存在较大偏差，此时，需要通过第二传感器确定的位姿修正第一传感器确定的初始位姿，并存储当前位姿，用于构建或更新地图信息。

本公开实施例上述提供的自移动设备位姿确定方法，通过第一传感器确定自移动设备的初始位姿，再通过将第二传感器获取的平视图像转换为鸟瞰图像，并基于鸟瞰图像对初始位姿进行修正，由于鸟瞰图像具有更加准确的点线特征，例如地面标记，该地面标记不易通过平视图像分析出，由于前视摄像头获得的平视图像存在透视效应，在现实中原本平行的事物在前视图像中呈现相交的形态。在检测地面标志物时，例如车位线、减速带、限位器、地灯等，透视效应使得不同视角观察到的物体形状各异，给特征提取带来了一定的难度。因此，将前视图像变换为鸟瞰图像，将平视的观测转换成鸟瞰视角，消除透视效应，会大大简化识别目标、提取特征的过程。因此，通过鸟瞰图像对初始位姿进行修正后使得自移动设备的位姿更加准确。

作为可选的另外的实施方式之一，如图7所示，自移动设备位姿确定方法包括如下步骤，下述步骤S702-S706与上述实施方式步骤S302-S306相同，在此不做赘述，相同的特征具有相同的技术效果：

步骤S702：基于第一传感器确定自移动设备的初始位姿。

步骤S704：基于第二传感器获取自移动设备的平视图像，并将平视图像转换为鸟瞰图像。

步骤S706：在鸟瞰图像中确定具有语义特性的点线特征；具有语义特性的点线特征包括具有地面语义特性的第一点线特征和具有障碍物语义特性的第二点线特征。

步骤S708：基于第三传感器确定自移动设备周围的初始障碍物边缘信息。

其中，第三传感器包括但不限于LDS、线结构光装置、超声波传感器、红外传感器等，第三传感器能够通过主动发射信号的方式探测到自移动设备周围障碍物的状况，并且分析出不同障碍物的边缘位置，例如可以分析出障碍物与地面的结合位置，分析出各障碍物之间的位置等，从而确定出自移动设备周围的初始障碍物边缘信息。

步骤S710：通过第一点线特征和第二点线特征确定出鸟瞰图像中的障碍物边缘信息。

通过分析鸟瞰图像中如上的第一点线特征和第二点线特征的位置信息，进一步可以确定出第一点线特征和第二点线特征的障碍物边缘信息，例如地面与地面上障碍物的边缘信息，障碍物与障碍物之间的边缘信息等，由于鸟瞰图像具有更加准确的点线特征，例如地面和地面上障碍物分界线之间，往往不易通过LDS、线结构光装置、超声波传感器、红外传感器等获取，因此，通过鸟瞰图像可以准确的获得该边缘位置信息。

步骤S712：通过鸟瞰图像中的障碍物边缘信息修正初始障碍物边缘信息。

作为可选的实施方式之一，如图8所示，自移动设备位姿确定方法还包括如下步骤：

步骤S714：基于修正后的初始障碍物边缘信息构建局部地图；

步骤S716：基于局部地图与预先构建的全局地图的位置关系确定当前位姿；

步骤S718：基于当前位姿修正初始位姿。

如上，通过鸟瞰图像中的障碍物边缘信息修正初始障碍物边缘信息，可以获得自移动设备周围更加准确的障碍物分界线，进而确定自移动设备当前位置周围的局部地图。通过准确的局部地图中的点线特征的语义可以确定出当前局部地图位于全局地图的位置，例如分析出当前障碍物(茶几、沙发、垃圾桶)的准确局部地图，则可以通过查找预先构建的全局地图标记的障碍物位置信息，来确定当前自移动设备的准确位置。当准确位置与第一传感器确定的初始位姿相当时，不对初始位姿进行修正，反之，当二者差别较大时(例如位移差超出了预设位移阈值)，则认为ODO等第一传感器确定的初始位姿存在较大偏差，此时，需要通过第三传感器确定的位姿修正第一传感器确定的初始位姿，并存储当前位姿，用于构建或更新地图信息。

第三传感器(例如激光点云)本身会输出自移动设备周围障碍物的边缘信息，同时通过鸟瞰图像的地面分割结果又可以得到更丰富的障碍物边缘信息。由于鸟瞰图像视角是从上到下，可以获得自移动设备竖直视场范围内距离自移动设备最近的障碍物边缘信息，弥补了线激光竖向视场小同时稀疏的缺陷。第二传感器和第三传感器融合得到的局部观测地图以第一传感器给出的初始位姿作为先验值，与全局地图进行匹配，得到由第二传感器和第三传感器融合得到的位姿估计，用于对第一传感器位姿的修正。同时，基于当前估计位姿，将局部地图观测用于全局地图的持续生成，进一步构建或优化全局地图。

本公开实施例上述提供的自移动设备位姿确定方法，通过第一传感器确定自移动设备的初始位姿，再通过将第二传感器获取的平视图像转换为鸟瞰图像，并基于鸟瞰图像确定障碍物边缘信息，结合第三传感器确定的边缘信息进一步构建准确的局部地图，从而获得准确的当前位姿，由于鸟瞰图像具有更加准确的点线特征，可以获得自移动设备周围更加准确的障碍物分界线，进而更加准确的确定自移动设备当前位置周围的局部地图，进而可以获得更准确的位姿信息。

作为另外的可选的实施方式之一，承接上述实施方式，如图9所示，上述自移动设备位姿确定方法，还包括如下步骤：

步骤S902：预设基于点线特征修正初始位姿的第一权重值和基于当前位姿修正初始位姿的第二权重值。

基于点线特征修正初始位姿是指通过上述第二传感器获取的鸟瞰图像后，通过计算鸟瞰图像中的同一点线特征的矢量偏移量获得的位姿信息对初始位姿的修正。基于当前位姿修正初始位姿是指通过对上述第三传感器获取的障碍物边缘信息的二次修正后确定的局部地图，进而基于当前局部地图下获得的当前位姿来修正第一传感器确定的初始位姿。

在自移动设备中，可以预先设置两种修正模式的权重值，且该权重值可以手动或自动调整，权重范围在0-100％范围内调节。

步骤S904：当点线特征数目超过预设阈值时，增大第一权重值且减小第二权重值；

步骤S906：当点线特征数目低于预设阈值时，减小第一权重值且增大第二权重值。

作为可选的实施方式，方法还包括：当点线特征数目超过预设阈值时，第一权重值大于第二权重值；当点线特征数目低于预设阈值时，第一权重值小于第二权重值。

在最终输出自移动设备的位姿信息时，根据不同策略对第二传感器修正结果和第三传感器修正结果分配不同权重进行融合：当视觉鸟瞰图像当前帧点线特征点太少时，基于点线特征修正初始位姿就会不太准确，此时，应该降低第一权重值且增大第二权重值，甚至可以将第一权重值设置为0，而仅仅通过第三传感器确定的障碍物边缘信息所进一步构建的局部地图来修正初始位姿。反之，当自移动设备处于长走廊等环境时，此时的，鸟瞰图像的当前帧点线特征点足够多，应该增大第一权重值且减小第二权重值，甚至可以将第二权重值设置为0。

本公开实施例上述提供的自移动设备位姿确定方法，通过第一传感器确定自移动设备的初始位姿，再通过配置基于点线特征修正初始位姿的第一权重值和基于当前位姿修正初始位姿的第二权重值，来根据自移动设备的不同状态调整修正方案，使得最终获得更加准确的位姿信息。

本公开实施例将第三传感器(激光点云)、第二传感器(摄像头)、第一传感器(轮式里程计、惯性测量单元等)进行融合：当激光信息临时不足或在过减速带发生抖动时，摄像头视觉提供的地面语义信息如车位号、车辆等可以在短期内避免估计错误；在地面标志特征信息少时，本方法又可以退化为依靠激光点云匹配进行姿态修正，使得自移动设备能够在不同环境下获得准确位姿。

如图10所示，本公开实施例将鸟瞰图像作为多任务深度学习模型的输入，同时输出语义目标检测结果和地面分割结果，实现将同一传感器输入应用于两套(轮式里程计和激光点云)前端估计方法中。其中语义目标检测结果支持更快速鲁棒的视觉前端估计。地面分割结果则转化为与激光点云同样的表达形式，两者在局部地图上进行了融合，共同送入与全局地图的匹配中，从不同维度，充分利用了视觉丰富的信息，获得了复杂环境下最准确的位姿信息。

本公开实施例提供一种自移动设备位姿确定装置，用于实施如上的自移动设备位姿确定方法，相同的技术特征具有相同的技术效果，在此不做赘述，具体如下，如图11所示：

第一确定单元1002，配置为基于第一传感器确定自移动设备的初始位姿；

转换单元1004，配置为基于第二传感器获取自移动设备的平视图像，并将平视图像转换为鸟瞰图像；

第二确定单元1006，配置为在鸟瞰图像中确定具有语义特性的点线特征；具有语义特性的点线特征包括具有地面语义特性的第一点线特征和具有障碍物语义特性的第二点线特征；

第一修正单元1008，配置为基于点线特征修正初始位姿。

可选的，第一修正单元1008还配置为：

确定鸟瞰图像中的同一点线特征的矢量信息，矢量信息包括基于同一点线特征所确定的位移方向和位移大小；

基于矢量信息修正初始位姿。

可选的，第一修正单元1008还配置为：

在预设时间内获取两帧鸟瞰图像中的点线特征的矢量信息，其中，点线特征在两帧鸟瞰图像中为同一特征点。

可选的，第一修正单元1008还配置为：

计算两帧鸟瞰图像中的点线特征的矢量变化量，通过矢量变化量确定自移动设备的移动方向和移动距离；

比较矢量变化量与初始位姿，当矢量变化量超出初始位姿预设阈值时，通过矢量变化量修正初始位姿。

可选的，如图12所示，位姿确定装置还包括：

第三确定单元1010，配置为基于第三传感器确定自移动设备周围的初始障碍物边缘信息；

第四确定单元1012，配置为通过第一点线特征和第二点线特征确定出鸟瞰图像中的障碍物边缘信息；

第二修正单元1014，配置为通过鸟瞰图像中的障碍物边缘信息修正初始障碍物边缘信息。

可选的，还包括第三修正单元1014，配置为：

基于修正后的初始障碍物边缘信息构建局部地图；

基于局部地图与预先构建的全局地图的位置关系确定当前位姿；

基于当前位姿修正初始位姿。

可选的，还包括设置单元1016，配置为：

预设基于点线特征修正初始位姿的第一权重值和基于当前位姿修正初始位姿的第二权重值；

当点线特征数目超过预设阈值时，增大第一权重值且减小第二权重值；

当点线特征数目低于预设阈值时，减小第一权重值且增大第二权重值。

可选的，设置单元1016还配置为：

当点线特征数目超过预设阈值时，第一权重值大于第二权重值；

当点线特征数目低于预设阈值时，第一权重值小于第二权重值。

可选的，转换单元1004还配置为：

获取第二传感器的参数，参数包括第二传感器的内部参数和以自移动设备中心为基准的外部参数；

在平视图像中选取多个特征点，其中，多个特征点构成预设变换区域，预设区域包括具有语义特性的点线特征；

根据内部参数和外部参数，通过坐标系变换，将多个特征点投影到第二传感器的像素坐标系中，获得多个特征点在平视图像中的图像像素坐标；

基于多个特征点在平视图像中的图像像素坐标，将平视图像转换为鸟瞰图像。

可选的，转换单元1004还配置为：

确定多个特征点在鸟瞰图像中投影的目标像素坐标；

基于多个特征点在平视图像中的图像像素坐和在鸟瞰图像中投影的目标像素坐标，确定变换矩阵；

基于变换矩阵，构建预设变换区域与鸟瞰图像的映射关系，从而将平视图像转换为鸟瞰图像。

本公开实施例提供一种非瞬时性计算机可读存储介质，存储有计算机程序指令，计算机程序指令在被处理器调用和执行时实现如上任一的方法步骤。

本公开实施例提供一种自移动设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机程序指令，处理器执行计算机程序指令时，实现前述任一实施例的方法步骤。

如图13所示，自移动设备可以包括处理装置(例如中央处理器、图形处理器等)1301，其可以根据存储在只读存储器(Read-Only Memory，ROM)1302中的程序或者从存储装置1308加载到随机访问存储器(Random Access Memory，RAM)1303中的程序而执行各种适当的动作和处理。在RAM 1303中，还存储有自移动设备操作所需的各种程序和数据。处理装置1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。

通常，以下装置可以连接至I/O接口1305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1306；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1307；包括例如硬盘等的存储装置1308；以及通信装置1309。通信装置1309可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图13示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

最后应说明的是：本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述比较简单，相关之处参见方法部分说明即可。

以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims (10)

1.一种自移动设备位姿确定方法，其特征在于，包括：

基于第一传感器确定所述自移动设备的初始位姿；

基于第二传感器获取所述自移动设备的平视图像，并将所述平视图像转换为鸟瞰图像；

在所述鸟瞰图像中确定具有语义特性的点线特征，所述具有语义特性的点线特征包括具有地面语义特性的第一点线特征和具有障碍物语义特性的第二点线特征；

基于所述点线特征修正所述初始位姿。

2.根据权利要求1所述的自移动设备位姿确定方法，其特征在于，所述基于所述点线特征修正所述初始位姿，包括：

确定所述鸟瞰图像中的同一所述点线特征的矢量信息，所述矢量信息包括基于同一所述点线特征所确定的位移方向和位移大小；

基于所述矢量信息修正所述初始位姿。

3.根据权利要求2所述的自移动设备位姿确定方法，其特征在于，所述确定所述鸟瞰图像中的同一所述点线特征的矢量信息，包括：

在预设时间内获取两帧所述鸟瞰图像中的所述点线特征的矢量信息，其中，所述点线特征在所述两帧所述鸟瞰图像中为同一特征点。

4.根据权利要求3所述的自移动设备位姿确定方法，其特征在于，所述基于所述矢量信息修正所述初始位姿，包括：

计算所述两帧所述鸟瞰图像中的所述点线特征的矢量变化量，通过所述矢量变化量确定所述自移动设备的移动方向和移动距离；

比较所述矢量变化量与所述初始位姿，当所述矢量变化量超出所述初始位姿预设阈值时，通过所述矢量变化量修正所述初始位姿。

5.根据权利要求1所述的自移动设备位姿确定方法，其特征在于，还包括：

基于第三传感器确定所述自移动设备周围的初始障碍物边缘信息；

通过所述第一点线特征和所述第二点线特征确定出所述鸟瞰图像中的障碍物边缘信息；

通过所述鸟瞰图像中的障碍物边缘信息修正所述初始障碍物边缘信息。

6.根据权利要求5所述的自移动设备位姿确定方法，其特征在于，还包括：

基于修正后的所述初始障碍物边缘信息构建局部地图；

基于所述局部地图与预先构建的全局地图的位置关系确定当前位姿；

基于所述当前位姿修正所述初始位姿。

7.根据权利要求6所述的自移动设备位姿确定方法，其特征在于，还包括：

预设基于所述点线特征修正所述初始位姿的第一权重值和基于所述当前位姿修正所述初始位姿的第二权重值；

当所述点线特征数目超过预设阈值时，增大第一权重值且减小第二权重值；

当所述点线特征数目低于预设阈值时，减小第一权重值且增大第二权重值。

8.一种自移动设备位姿确定装置，其特征在于，包括：

第一确定单元，配置为基于第一传感器确定所述自移动设备的初始位姿；

转换单元，配置为基于第二传感器获取所述自移动设备的平视图像，并将所述平视图像转换为鸟瞰图像；

第二确定单元，配置为在所述鸟瞰图像中确定具有语义特性的点线特征；所述具有语义特性的点线特征包括具有地面语义特性的第一点线特征和具有障碍物语义特性的第二点线特征；

第一修正单元，配置为基于所述点线特征修正所述初始位姿。

9.一种自移动设备，包括处理器和存储器，其特征在于，所述存储器存储有能够被所述处理器执行的计算机程序指令，所述处理器执行所述计算机程序指令时，实现如权利要求1-7任一所述的方法步骤。

10.一种非瞬时性计算机可读存储介质，其特征在于，存储有计算机程序指令，所述计算机程序指令在被处理器调用和执行时实现如权利要求1-7任一所述的方法步骤。

Images