CN111307163B - 可移动设备的定位方法、定位装置及电子设备 - Google Patents

Abstract

公开了一种可移动设备的定位方法及可移动设备的定位装置。该可移动设备的定位方法包括：确定可移动设备在拍摄当前帧图像时的第一组位姿参数，以及确定当前帧图像的俯视图；基于第一组位姿参数确定多个第二组位姿参数；在高精地图中，确定在拍摄当前帧图像时的地理位置的预设范围内的平面区域；基于多个第二组位姿参数将俯视图投影到平面区域中，得到多个第二投影图；基于多个第二投影图与平面区域在高精地图中的图像内容之间的匹配度，从多个第二组位姿参数中确定可移动设备在拍摄当前帧图像时的位姿参数。本申请实施例能够极大降低环境条件对定位精准度的影响，进而提高定位的精准度，此外，借助视觉相机极大降低了定位的成本。

Description

可移动设备的定位方法、定位装置及电子设备

技术领域

本发明涉及图像处理技术领域，具体涉及一种可移动设备的定位方法、定位装置及电子设备。

背景技术

定位技术作为智能科技的基础技术之一，其重要性不言而喻。尤其是在自动驾驶领域，定位技术的精准性及快速性更是关系到人身安全的重要因素。然而，虽然现有激光雷达定位技术精准度较高，但是成本高昂。

发明内容

为了解决上述技术问题，本申请实施例提供了一种可移动设备的定位方法、定位装置及电子设备。

在一方面，本申请实施例提供了一种可移动设备的定位方法，该可移动设备的定位方法包括：确定可移动设备在拍摄当前帧图像时的第一组位姿参数，以及确定当前帧图像的俯视图；基于第一组位姿参数确定多个第二组位姿参数；在高精地图中，确定在拍摄当前帧图像时的地理位置的预设范围内的平面区域；基于多个第二组位姿参数将俯视图投影到平面区域中，得到多个第二投影图；基于多个第二投影图与平面区域在高精地图中的图像内容之间的匹配度，从多个第二组位姿参数中确定可移动设备在拍摄当前帧图像时的位姿参数。

在另一方面，本申请实施例提供了一种可移动设备的定位装置，该可移动设备的定位装置包括：第一组位姿参数确定模块，用于确定可移动设备在拍摄当前帧图像时的第一组位姿参数，以及确定当前帧图像的俯视图；第二组位姿参数确定模块，用于基于第一组位姿参数确定多个第二组位姿参数；平面区域确定模块，用于在高精地图中，确定在拍摄当前帧图像时的地理位置的预设范围内的平面区域；投影模块，用于基于多个第二组位姿参数将俯视图投影到平面区域中，得到多个第二投影图；位姿参数确定模块，用于基于多个第二投影图与平面区域在高精地图中的图像内容之间的匹配度，从多个第二组位姿参数中确定可移动设备在拍摄当前帧图像时的位姿参数。

本申请实施例所提及的可移动设备的定位方法，通过当前帧图像与高精地图之间的匹配度来确定可移动设备在拍摄当前帧图像时的位姿参数的目的，从而基于视觉相机技术实现了对可移动设备的定位。与现有采用激光雷达定位技术进行定位的方法相比，由于本申请实施例所提及的定位方法无需借助激光雷达的实时反射值实现定位，因此，本申请实施例所提供的定位方法能够极大降低光照、季节以及动态物体等环境条件对定位精准度的影响，进而提高定位的精准度，此外，本申请实施例借助视觉相机极大降低了定位的成本。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请所适用的场景图。

图2是本申请一示例性实施例提供的可移动设备的定位方法的流程示意图。

图3是本申请另一示例性实施例提供的确定可移动设备在拍摄当前帧图像时的位姿参数的流程示意图。

图4是本申请又一示例性实施例提供的确定可移动设备在拍摄当前帧图像时的位姿参数的流程示意图。

图5是本申请再一示例性实施例提供的确定在拍摄当前帧图像时的地理位置的预设范围内的平面区域的流程示意图。

图6是本申请一示例性实施例提供的可移动设备的定位装置的流程示意图。

图7是本申请另一示例性实施例提供的可移动设备的定位装置的位姿参数确定模块的结构示意图。

图8是本申请又一示例性实施例提供的可移动设备的定位装置的位姿参数确定单元的结构示意图。

图9是本申请再一示例性实施例提供的可移动设备的定位装置的平面区域确定模块的结构示意图。

图10是本申请一示例性实施例提供的电子设备的结构示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

定位精准度以及定位速度是衡量定位技术性能的重要指标。尤其是应用到自动驾驶领域的定位技术，其定位精准度及定位速度更是关系到人身安全的重要因素。

目前，通常采用激光雷达定位技术作为自动驾驶领域的定位技术。激光雷达定位技术的定位原理为：首先基于激光雷达技术建立高精地图，然后向目标发射探测信号(激光束)并接收目标反射的信号(目标回波)，将反射的信号与发射的探测信号进行比较，并结合建立的高精度地图得出与目标相关的信息,比如目标距离、方位、高度、速度、姿态甚至形状等信息。然而，虽然激光雷达定位技术具备良好的定位精准度，但是成本极其高昂。

相比之下，视觉相机凭借低廉的价格获得了越来越多的关注。但是，由于视觉相机无法直接获得深度信息，因此，视觉相机定位技术的定位精准度完全不能与激光雷达定位技术相比。

针对上述技术问题，本申请的基本构思是提出一种可移动设备的定位方法、定位装置及电子设备，该可移动设备的定位方法通过确定可移动设备在拍摄当前帧图像时的粗略位姿参数和俯视图，然后基于粗略位姿生成多个假设位姿参数，并获取高精地图中与拍摄当前帧图像时的地理位置相对应的预设范围内的平面区域，结合多个假设位姿参数，将拍摄的俯视图投影到获取的平面区域内，得到多个投影图，最后通过计算多个投影图与平面区域内对应的图像内容之间的匹配度，确定可移动设备在拍摄当前帧图像时的位姿参数的方式，基于视觉相机技术实现了对可移动设备的定位。与现有采用激光雷达定位技术进行定位的方法相比，由于本申请实施例所提及的定位方法无需借助激光雷达的实时反射值实现定位，因此，本申请实施例所提供的定位方法能够极大降低光照、季节以及动态物体等环境条件对定位精准度的影响，进而提高定位的精准度，此外，本申请实施例借助视觉相机极大降低了定位的成本。

需要说明的是，本申请的应用范围不局限于自动驾驶领域。例如，本申请实施例提及的技术方案还可以应用于其他智能可移动设备(比如智能机器人)，具体用于对智能可移动设备的行进类功能提供定位技术支持。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图1是本申请所适用的场景图。如图1所示，本申请所适用的场景为可移动设备的定位场景，其中，该定位场景中包括服务器1和可移动设备2，服务器1获取可移动设备2拍摄的当前帧图像以及高精地图数据，并根据获取的数据进行定位操作。

具体地，可移动设备2用于拍摄当前帧图像；服务器1用于确定可移动设备2在拍摄当前帧图像时的粗略位姿参数以及确定当前帧图像的俯视图，并基于粗略位姿参数确定多个假设位姿参数，在高精地图中，确定在拍摄当前帧图像时的地理位置的预设范围内的平面区域，然后基于多个假设位姿参数将俯视图投影到平面区域中，得到多个投影图，最后基于多个投影图与平面区域在高精地图中的图像内容之间的匹配度，从多个假设位姿参数中确定可移动设备在拍摄当前帧图像时的位姿参数。通过该场景，可降低可移动设备2的计算量。

需要说明的是，本申请还适用于另一场景。具体地，该定位场景中包括可移动设备2。具体地，可移动设备2拍摄当前帧图像并获取高精地图数据，并且确定在拍摄当前帧图像时的粗略位姿参数以及确定当前帧图像的俯视图，基于粗略位姿参数确定多个假设位姿参数，在高精地图中，确定在拍摄当前帧图像时的地理位置的预设范围内的平面区域，然后基于多个假设位姿参数将俯视图投影到平面区域中，得到多个投影图，最后基于多个投影图与平面区域在高精地图中的图像内容之间的匹配度，从多个假设位姿参数中确定可移动设备在拍摄当前帧图像时的位姿参数。通过该场景，可确保可移动设备2能够实时定位。

示例性方法

图2是本申请一示例性实施例提供的可移动设备的定位方法的流程示意图。本申请实施例提供的可移动设备的定位方法可应用到汽车的自动驾驶领域，亦可应用到智能机器人的行进类功能领域。如图2所示，本申请实施例提供的可移动设备的定位方法包括如下步骤。

步骤10，确定可移动设备在拍摄当前帧图像时的第一组位姿参数，以及确定当前帧图像的俯视图。

需要说明的是，第一组位姿参数即为可移动设备在拍摄当前帧图像时的粗略位姿参数，其中，位姿参数包括位置参数和姿态参数，位置参数包括可移动设备的地理位置数据，姿态参数包括可移动设备的方位角、俯仰角和翻滚角数据。

在本申请一实施例中，基于可移动设备的历史运动数据确定可移动设备的第一组位姿参数，其中，历史运动数据包括该可移动设备上一次成功定位时的历史位姿参数和运动趋势数据。具体地，历史位姿参数包括该可移动设备上一次成功定位时的位置参数和姿态参数，运动趋势数据包括速度数据等能够表征可移动设备运动趋势的数据。应当理解，利用可移动设备在上一次成功定位时的历史运动数据能够估算出可移动设备在拍摄当前帧图像时的粗略位姿参数(即第一组位姿参数)，与其他粗略位姿参数确定方式相比，本申请实施例提供的利用可移动设备的历史运动数据确定粗略位姿参数(第一组位姿参数)的方式，能够获取精准性更高的粗略位姿参数，从而为提高后续的定位步骤的精准性提供前提条件。

此外，需要说明的是，当前帧图像指的是与可移动设备所处位置的周围环境相关的当前帧图像。比如，可移动设备为汽车，并且汽车的驾驶室或者车身外侧装载有摄像装置，那么，当需要对可移动设备进行定位时，汽车上的摄像装置进行拍摄操作，以拍摄与汽车所处位置的周围环境相关的图像(即当前帧图像)。应当理解，所拍摄的当前帧图像中是否包含汽车本身均可，本发明实施例对此不进行统一限定。

步骤20，基于第一组位姿参数确定多个第二组位姿参数。

在本申请一实施例中，基于第一组位姿参数，以依次增加预设步长的方式确定多个第二组位姿参数。需要说明的是，预设步长的具体值可根据实际情况自行设定，本发明实施例对此不进行统一限定。

举例说明，可移动设备在拍摄当前帧图像时的第一组位姿参数为位姿矩阵X，第二组位姿参数分别为位姿矩阵Y₁,Y₂,Y₃……Y_n。那么，由于第二组位姿参数是根据第一组位姿参数确定的，又由于位姿参数包括位置参数和姿态参数，则利用旋转矩阵R和平移矩阵T来表示第一组位姿参数和第二组位姿参数之间的关系，具体公式如下。

Y_i＝R_iX+T_i (1)

公式(1)中，i＝1,2……n，其中，旋转矩阵的预设步长为矩阵ΔR，平移矩阵的预设步长为ΔT,则R_i＝R_i-1+ΔR,T_i＝T_i-1+ΔT。应当理解，ΔR和ΔT的具体取值可根据实际情况自行设定，本申请实施例对此不进行统一限定。

也就是说，利用上述公式，实现了基于第一粗位姿参数，以依次增加预设步长的方式确定多个第二组位姿参数的目的，即基于粗略位姿参数，以依次增加预设步长的方式确定多个假设位姿参数的目的。

在本申请上述实施例的基础上延伸出本申请另一实施例。在本申请另一实施例中，基于第一组位姿参数，以依次减少预设步长的方式确定多个第二组位姿参数。下面着重叙述本申请实施例与上述实施例的不同之处，相同之处不再赘述。

具体地，在本申请实施例中，基于第一组位姿参数，以依次减少预设步长的方式确定多个第二组位姿参数。当利用上述实施例中的公式(1)进行计算时，公式(1)中的R_i＝R_i-1-ΔR,T_i＝T_i-1-ΔT。同样应当理解，ΔR和ΔT的具体取值可根据实际情况自行设定，本申请实施例对此不进行统一限定。

也就是说，本申请实施例所提及的确定第二组位姿参数的方案，实现了基于第一组位姿参数，以依次减少预设步长的方式确定多个第二组位姿参数的目的，即基于粗略位姿参数，以依次减少预设步长的方式确定多个假设位姿参数的目的。

需要说明的是，上述实施例中提及的通过依次增加预设步长或依次减少预设步长的方式来确定多个假设位姿参数的方案，能够充分保证假设位姿参数的准确率。也就是说，与随机设置假设位姿参数相比，本申请上述实施例能够充分防止正确或接近正确的位姿参数被遗漏，从而未被列为假设位姿参数的情况，进而充分提高定位操作的成功率。

基于上述实施例中提及的采用依次增加或者依次减少预设步长的方式来确定第二组位姿参数的方案，亦可以采用将依次增加预设步长和依次减少预设步长相结合的方式来确定第二组位姿参数。也就是说，可根据实际情况，基于第一组位姿参数，以增加预设步长与减少预设步长相结合的方式来确定第二组位姿参数。

举例说明，在第二组位姿参数的确定过程中，既包括依次增加预设步长步骤和依次减少预设步长步骤。其中，在依次增加预设步长步骤中，设定旋转矩阵的预设步长为矩阵ΔR₁，平移矩阵的预设步长为矩阵ΔT₁；在依次减少预设步长步骤中，设定旋转矩阵的预设步长为矩阵ΔR₂，平移矩阵的预设步长为矩阵ΔT₂。那么，在实际的第二组位姿参数的确定过程中，首先基于第一组位姿参数以依次增加预设步长的方式生成多个第二组位姿参数，然后再基于第一组位姿参数以依次减少预设步长的方式生成多个第二组位姿参数。

需要说明的是，以增加预设步长与减少预设步长相结合的方式来确定多个假设位姿参数的方式，能够进一步提高假设位姿参数的准确率。比如，当增加的预设步长和减少的预设步长不相等且首先增加预设步长再依次减少预设步长时，本申请实施例能够进一步增加预测密度，进而提高假设位姿参数的准确率；当增加预设步长和减少预设步长同时进行时，本申请实施例能够能够实现基于粗略位姿参数的双向预测，进而提高假设位姿参数的准确率。

步骤30，在高精地图中，确定在拍摄当前帧图像时的地理位置的预设范围内的平面区域。

其中，高精地图指的是能够辅助完成定位技术的地图，比如基于激光雷达技术建立的地图。

需要说明的是，平面区域指的是在拍摄当前帧图像时的地理位置的预设范围内的平面区域，也就是说，该平面区域所对应的地理位置与可移动设备拍摄当前帧图像时所处的地理位置相对应。

步骤40，基于多个第二组位姿参数将俯视图投影到平面区域中，得到多个第二投影图。

步骤50，基于多个第二投影图与平面区域在高精地图中的图像内容之间的匹配度，从多个第二组位姿参数中确定可移动设备在拍摄当前帧图像时的位姿参数。

在本申请一实施例中，第二投影图与平面区域在高精地图中的图像内容之间的匹配度，根据第二投影图与平面区域在高精地图中的图像内容之间的相似度数据确定。需要说明的是，利用第二投影图与平面区域在高精地图中的图像内容之间的相似度数据来确定二者的匹配度，能够获得更精准地匹配度计算结果。比如，当基于图像灰度数据来进行图像相似度数据的计算时，所获得的计算结果为基于图像本身灰度数据得到的，因此，精准度更高。

在实际应用过程中，首先确定可移动设备在拍摄当前帧图像时的第一组位姿参数以及确定当前帧图像的俯视图，并基于第一组位姿参数确定多个第二组位姿参数，然后在高精地图中，确定在拍摄当前帧图像时的地理位置的预设范围内的平面区域，并基于多个第二组位姿参数将俯视图投影到平面区域中，得到多个第二投影图，最后基于多个第二投影图与平面区域在高精地图中的图像内容之间的匹配度，从多个第二组位姿参数中确定可移动设备在拍摄当前帧图像时的位姿参数。

本申请实施例所提及的可移动设备的定位方法，通过确定可移动设备在拍摄当前帧图像时的粗略位姿参数和当前帧图像的俯视图，基于粗略位姿参数确定多个假设位姿参数，然后获取高精地图中与拍摄当前帧图像时的地理位置相对应的预设范围内的平面区域，结合多个假设位姿参数，将拍摄的俯视图投影到获取的平面区域内，得到多个投影图，最后通过计算多个投影图与平面区域内对应的图像内容之间的匹配度，确定可移动设备在拍摄当前帧图像时的位姿参数的方式，基于视觉相机技术实现了对可移动设备的定位。与现有采用激光雷达定位技术进行定位的方法相比，由于本申请实施例所提及的定位方法无需借助激光雷达的实时反射值实现定位，因此，本申请实施例所提供的定位方法能够极大降低光照、季节以及动态物体等环境条件对定位精准度的影响，进而提高定位的精准度，此外，本申请实施例借助视觉相机极大降低了定位的成本。

在本申请一实施例中，当前帧图像为利用单目相机拍摄的二维图像，当前帧图像的俯视图的确定过程为：基于拍摄的当前帧图像进行逆透视投影变换，从而得到当前帧图像的俯视图。也就是说，通过对当前帧图像进行逆透视投影变换操作，以得到当前帧图像的俯视图，其中，该俯视图包括三维信息。也就是说，经过逆透视投影变换后，当前帧图像的俯视图所处的坐标系与当前相机坐标系重合。应当理解，本申请实施例通过对拍摄的二维图像进行逆透视投影变换操作的方式，实现了将二维图像转换到与当前相机坐标系重合的坐标系中的目的，从而为最终基于该二维图像(即当前帧图像)实现可移动设备的定位操作提供前提条件。

在本申请另一实施例中，将当前帧图像的第一区域进行逆透视投影变换操作，以生成当前帧图像的俯视图，其中，第一区域可以为根据实际情况选定。比如，设定第一区域为当前帧图像中的方便后续匹配度计算的区域，以方便后续步骤提及的匹配度计算操作。

图3是本申请另一示例性实施例提供的确定可移动设备在拍摄当前帧图像时的位姿参数的流程示意图。在本申请图2所示实施例的基础上延伸出本申请图3所示实施例，下面着重叙述图3所示实施例与图2所示实施例的不同之处，相同之处不再赘述。

如图3所示，在本申请实施例提供的可移动设备的定位方法中，基于多个第二投影图与平面区域在高精地图中的图像内容之间的匹配度，从多个第二组位姿参数中确定可移动设备在拍摄当前帧图像时的位姿参数步骤(即步骤50)，包括：

步骤51，针对多个第二投影图中的每一第二投影图，确定该第二投影图与平面区域在高精地图中的图像内容之间的归一化互信息数据。

也就是说，在本申请实施例中，采用归一化互信息数据来作为各个第二投影图与平面区域在高精地图中的图像内容之间的相似度评判准则。

具体地，当需要计算任一第二投影图与平面区域在高精地图中的图像内容之间的归一化互信息数据时，其计算过程如下所述。

首先，基于下述公式(2)计算第二投影图的信息熵，并且，基于下述公式(3)计算平面区域在高精地图中的图像内容的信息熵。

其中，在公式(2)和公式(3)中，H(A)表示A向量的信息熵，即第二投影图的信息熵，P_A(a)表示A向量的概率分布；H(B)表示B向量的信息熵，即平面区域在高精地图中的图像内容的信息熵，P_B(b)表示B向量的概率分布。

然后，基于上述H(A)、H(B)以及下述公式(4)，计算该第二投影图与平面区域在高精地图中的图像内容之间的联合信息熵。

其中，在公式(4)中，H(A,B)表示联合信息熵，即该第二投影图与平面区域在高精地图中的图像内容之间的联合信息熵，P_AB(a,b)表示联合概率密度，即在相同灰度级图像坐标下，第二投影图的灰度级a在平面区域对应的高精地图中的图像内容的灰度级为b的像素点的个数与总点数的比值。

最后，基于上述H(A)、H(B)、H(A,B)以及下述公式(5)，计算该第二投影图与平面区域在高精地图中的图像内容之间的归一化信息熵，该归一化信息熵即为该第二投影图与平面区域在高精地图中的图像内容之间的归一化互信息数据。

步骤52，基于归一化互信息数据确定与第二投影图对应的第二组位姿参数的准确率。

可选地，基于下述公式(6)确定与第二投影图对应的第二组位姿参数的准确率。

在公式(6)中，P表示与该第二投影图对应的第二组位姿参数的准确率，c为归一化参数。

至此，根据上述步骤51和步骤52能够分别计算出与第二投影图对应的多个第二组位姿参数的准确率。

步骤53，基于多个第二组位姿参数各自对应的准确率确定可移动设备在拍摄当前帧图像时的位姿参数。

也就是说，在实际应用过程中，首先确定可移动设备在拍摄当前帧图像时的第一组位姿参数以及确定当前帧图像的俯视图，并基于第一组位姿参数确定多个第二组位姿参数，然后在高精地图中，确定在拍摄当前帧图像时的地理位置的预设范围内的平面区域，并基于多个第二组位姿参数将俯视图投影到平面区域中，得到多个第二投影图，然后针对多个第二投影图中的每一第二投影图，确定该第二投影图与平面区域在高精地图中的图像内容之间的归一化互信息数据，并基于该归一化互信息数据确定与第二投影图对应的第二组位姿参数的准确率，最后基于多个第二组位姿参数各自对应的准确率确定可移动设备在拍摄当前帧图像时的位姿参数。

需要说明的是，由于本申请实施例提及的归一化互信息方法是基于图像灰度信息实现的图像匹配方法，因此，具备极高的匹配精准度及匹配可靠性。

本申请实施例所提及的可移动设备的定位方法，通过计算各第二投影图与平面区域在高精地图中的图像内容之间的归一化互信息数据，并基于该归一化互信息数据计算得出各第二投影图对应的第二组位姿参数的准确率，基于各第二组位姿参数的准确率确定可移动设备在拍摄当前帧图像时的位姿参数的方式，实现了基于第二投影图与平面区域在高精地图中的图像内容之间的匹配度来确定可移动设备在拍摄当前帧图像时的位姿参数的目的，并且借助归一化互信息方法，进一步提高了图像匹配的匹配精准度及匹配可靠性，从而进一步提高了定位的精准度以及定位的可靠性。

图4是本申请又一示例性实施例提供的可移动设备的定位方法的确定可移动设备在拍摄当前帧图像时的位姿参数的流程示意图。在本申请图3所示实施例的基础上延伸出本申请图4所示实施例，下面着重叙述图4所示实施例与图3所示实施例的不同之处，相同之处不再赘述。

如图4所示，在本申请实施例提供的可移动设备的定位方法中，基于多个第二组位姿参数各自对应的准确率确定可移动设备在拍摄当前帧图像时的位姿参数步骤(即步骤53)，包括：

步骤531，将多个第二组位姿参数中的每一第二组位姿参数的准确率与预设门限参数进行比较。

其中，预设门限参数的具体数值可根据实际情况自行设定，本申请实施例对此不进行统一限定。比如，预设门限参数可以为[0.5,1]，即预设门限参数包括了0.5至1之间的数值；又比如预设门限参数可以为[0.7,1]，即预设门限参数包括了0.7至1之间的数值。

步骤532，将落入预设门限参数范围内的准确率最大的第二组位姿参数确定为可移动设备在拍摄当前帧图像时的位姿参数。

步骤533，确定可移动设备重新拍摄当前帧图像时的第三组位姿参数，并基于重新拍摄的当前帧图像以及第三组位姿参数重新确定开始定位操作。

需要说明的是，第三组位姿参数即为重新拍摄当前帧图像时的可移动设备的粗略位姿参数。也就是说，当所有第二组位姿参数的准确率均未落入预设门限参数范围内时，则重新拍摄当前帧图像，并重新确定可移动设备的粗略位姿参数，从而重新开始进行对可移动设备的定位操作。

在实际应用过程中，首先将多个第二组位姿参数中的每一第二组位姿参数的准确率与预设门限参数进行比较，当至少一个第二组位姿参数的准确率落入预设门限参数范围内时，执行步骤532，即，将落入预设门限参数范围内的准确率最大的第二组位姿参数确定为可移动设备在拍摄当前帧图像时的位姿参数；当所有第二组位姿参数的准确率均未落入预设门限参数范围内时，执行步骤533，即确定可移动设备重新拍摄当前帧图像时的第三组位姿参数，并基于重新拍摄的当前帧图像以及第三组位姿参数重新确定开始定位操作。

举例说明，预设门限参数为[0.3,1]，共有4个第二组位姿参数，并且各第二组位姿参数的准确率依次为0.1、0.2、0.3、0.4。应当理解，准确率分别为0.3和0.4的两个第二组位姿参数落入到预设门限参数范围内，又由于0.4大于0.3，因此，准确率为0.4的第二组位姿参数即为可移动设备在拍摄当前帧图像时的位姿参数。

本发明实施例提供的可移动设备的定位方法，通过将第二组位姿参数的准确率分别与预设门限参数进行比较，并根据比较结果确定可移动设备在拍摄当前帧图像时的位姿参数的方式，利用预设门限参数对各第二组位姿参数的准确率进行了筛选，进一步提高了定位的精准度。另外，本发明实施例提供的可移动设备的定位方法，避免了当所有第二组位姿参数的准确率均未落入预设门限参数范围时，仍要强行选择准确率最高的第二组位姿参数作为可移动设备在拍摄当前帧图像时的位姿参数的情况，从而实现了进一步提高定位的精准度的目的。

图5是本申请再一示例性实施例提供的确定在拍摄当前帧图像时的地理位置的预设范围内的平面区域的流程示意图。在本申请图2所示实施例的基础上延伸出本申请图5所示实施例，下面着重叙述图5所示实施例与图2所示实施例的不同之处，相同之处不再赘述。

如图5所示，在本申请实施例提供的可移动设备的定位方法中，在高精地图中，确定在拍摄当前帧图像时的地理位置的预设范围内的平面区域步骤(即步骤30)，包括：

步骤31，确定可移动设备的第一组位姿参数中的位置参数，该位置参数为拍摄当前帧图像时的地理位置。

步骤32，将高精地图中位于地理位置的预设范围内的点云数据，确定为可移动设备在拍摄当前帧图像时的地理位置的预设范围内的点云数据。

步骤33，将预设范围内的点云数据转换到地图坐标系中，以得到预设范围内的平面区域。

需要说明的是，通过确定高精地图中位于地理位置的预设范围内的点云数据，并将该点云数据转换到地图坐标系中以得到预设范围内的平面区域的方式，实现了基于高精地图中的点云数据来确定预设范围内的平面区域的目的，进而实现了确定与当前帧图像相对应的高精地图中的平面区域的目的，从而为最终基于当前帧图像实现假设位姿参数的准确率计算提供了前提条件。

此外，需要说明的是，当高精地图为基于激光雷达技术建立的地图时，点云数据包括激光雷达的反射数据。那么，将预设范围内的点云数据转换到地图坐标系中时，所得到的平面区域的图像内容中的像素数据，即为点云数据中的激光雷达的反射数据。其中，地图坐标系即为世界坐标系。那么，基于多个第二组位姿参数将当前帧图像的俯视图投影到平面区域，以得到多个第二投影图的过程，即为基于多个假设位姿参数，将处于当前相机坐标系中的当前帧图像的俯视图转换到地图坐标系(即世界坐标系)的过程，也就是说，转换后的第二投影图与高精地图中的平面区域处于同一坐标系下。然后，通过计算处于同一坐标系下的第二投影图与平面区域中的图像内容的匹配度，即可基于多个第二组位姿参数确定可移动设备在拍摄当前帧图像时的位姿参数。

在实际应用过程中，首先确定可移动设备在拍摄当前帧图像时的第一组位姿参数以及确定当前帧图像的俯视图，并基于第一组位姿参数确定多个第二组位姿参数，然后确定可移动设备的第一组位姿参数中的位置参数，其中，该位置参数为拍摄当前帧图像时的地理位置，将高精地图中位于地理位置的预设范围内的点云数据，确定为可移动设备在拍摄当前帧图像时的地理位置的预设范围内的点云数据，并将预设范围内的点云数据转换到地图坐标系中，以得到预设范围内的平面区域，然后基于多个第二组位姿参数将俯视图投影到平面区域中，得到多个第二投影图，最后基于多个第二投影图与平面区域在高精地图中的图像内容之间的匹配度，从多个第二组位姿参数中确定可移动设备在拍摄当前帧图像时的位姿参数。

也就是说，本发明实施例提供的可移动设备的定位方法，通过对高精地图中的预设范围内的点云数据的转换处理，确定了能够与当前帧图像的俯视图进行匹配度计算的图像内容，从而为最终确定可移动设备在拍摄当前帧图像时的位姿参数奠定了前提。

在本申请图5所示实施例中延伸出本申请另一实施例，在本申请另一实施例中，在步骤30之后进一步包括将平面区域内的图像内容的像素数据进行预处理的步骤。需要说明的是，预处理的目的是为了将平面区域中的图像内容的灰度数据归一化到当前帧图像的俯视图的灰度域中，使平面区域中的图像内容与当前帧图像的俯视图具备相同的灰度域，从而进一步提高后续的匹配操作的精准度，进而进一步提高定位的精准度。应当理解，预处理包括但不限于边缘提取处理、二值化处理、增强对比度处理等，本发明实施例对此不进行统一限定。

示例性装置

图6是本申请一示例性实施例提供的可移动设备的定位装置的流程示意图。本申请实施例提供的可移动设备的定位装置可应用到汽车的自动驾驶领域，亦可应用到智能机器人的行进类功能领域。如图6所示，本申请实施例提供的可移动设备的定位装置包括：

第一组位姿参数确定模块100，用于确定可移动设备在拍摄当前帧图像时的第一组位姿参数，以及确定当前帧图像的俯视图。

第二组位姿参数确定模块200，用于基于第一组位姿参数确定多个第二组位姿参数。

平面区域确定模块300，用于在高精地图中，确定在拍摄当前帧图像时的地理位置的预设范围内的平面区域。

投影模块400，用于基于多个第二组位姿参数将俯视图投影到平面区域中，得到多个第二投影图。

位姿参数确定模块500，用于基于多个第二投影图与平面区域在高精地图中的图像内容之间的匹配度，从多个第二组位姿参数中确定可移动设备在拍摄当前帧图像时的位姿参数。

图7是本申请另一示例性实施例提供的可移动设备的定位装置的位姿参数确定模块的结构示意图。在本申请图6所示实施例的基础上延伸出本申请图7所示实施例，下面着重叙述图7所示实施例与图6所示实施例的不同之处，相同之处不再赘述。

如图7所示，在本申请实施例提供的可移动设备的定位装置中，位姿参数确定模块500包括：

归一化互信息确定单元510，用于针对多个第二投影图中的每一第二投影图，确定该第二投影图与平面区域在高精地图中的图像内容之间的归一化互信息数据。

准确率确定单元520，用于基于归一化互信息数据确定与第二投影图对应的第二组位姿参数的准确率。

位姿参数确定单元530，用于基于多个第二组位姿参数各自对应的准确率确定可移动设备在拍摄当前帧图像时的位姿参数。

图8是本申请又一示例性实施例提供的可移动设备的定位装置的位姿参数确定单元的结构示意图。在本申请图7所示实施例的基础上延伸出本申请图8所示实施例，下面着重叙述图8所示实施例与图7所示实施例的不同之处，相同之处不再赘述。

如图8所示，在本申请实施例提供的可移动设备的定位装置中，位姿参数确定单元530包括：

比较子单元5310，用于将多个第二组位姿参数中的每一第二组位姿参数的准确率与预设门限参数进行比较。

确定子单元5320，用于当至少一个第二组位姿参数的准确率落入预设门限参数范围内时，将落入预设门限参数范围内的准确率最大的第二组位姿参数确定为可移动设备在拍摄当前帧图像时的位姿参数。

重新定位子单元5330，用于当所有第二组位姿参数的准确率均未落入预设门限参数范围内时，确定可移动设备重新拍摄当前帧图像时的第三组位姿参数，并基于重新拍摄的当前帧图像以及第三组位姿参数重新确定开始定位操作。

图9是本申请再一示例性实施例提供的可移动设备的定位装置的平面区域确定模块的结构示意图。在本申请图6所示实施例的基础上延伸出本申请图9所示实施例，下面着重叙述图9所示实施例与图6所示实施例的不同之处，相同之处不再赘述。

如图9所示，在本申请实施例提供的可移动设备的定位装置中，平面区域确定模块300包括：

地理位置确定单元310，用于确定可移动设备的第一组位姿参数中的位置参数，该位置参数为拍摄当前帧图像时的地理位置。

点云数据确定单元320，用于将高精地图中位于地理位置的预设范围内的点云数据，确定为可移动设备在拍摄当前帧图像时的地理位置的预设范围内的点云数据。

平面区域确定单元330，用于将预设范围内的点云数据转换到地图坐标系中，以得到预设范围内的平面区域。

应当理解，图6至图9提供的可移动设备的定位装置中的第一组位姿参数确定模块100、第二组位姿参数确定模块200、平面区域确定模块300、投影模块400和位姿参数确定模块500，以及平面区域确定模块300中包括的地理位置确定单元310、点云数据确定单元320和平面区域确定单元330，以及位姿参数确定模块500中包括的归一化互信息确定单元510、准确率确定单元520和位姿参数确定单元530，以及位姿参数确定单元530中包括的比较子单元5310、确定子单元5320和重新定位子单元5330的操作和功能可以参考上述图2至图5提供的可移动设备的定位方法，为了避免重复，在此不再赘述。

示例性电子设备

下面，参考图10来描述根据本申请实施例提供的可移动设备的定位方法的电子设备。图10是本申请一示例性实施例提供的电子设备的结构示意图。如图10所示，电子设备包括一个或多个处理器610和存储器620。

处理器610可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器620可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的声源定位方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如视频图像、位姿参数、高精地图等各种内容。

在一个示例中，电子设备还可以包括：输入装置和输出装置，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。其中，输入设备包括但不限于为键盘、鼠标等等。

当然，为了简化，图10中仅示出了该电子设备中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的声源定位方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的可移动设备的定位方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种可移动设备的定位方法，包括：

确定可移动设备在拍摄当前帧图像时的第一组位姿参数，以及确定所述当前帧图像的俯视图；包括：基于可移动设备的历史运动数据确定可移动设备的第一组位姿参数，其中，所述历史运动数据包括该可移动设备上一次成功定位时的历史位姿参数和运动趋势数据；

基于所述第一组位姿参数确定多个第二组位姿参数；

在高精地图中，确定在拍摄所述当前帧图像时的地理位置的预设范围内的平面区域；

基于所述多个第二组位姿参数将所述俯视图投影到所述平面区域中，得到多个第二投影图；

基于所述多个第二投影图与所述平面区域在所述高精地图中的图像内容之间的匹配度，从所述多个第二组位姿参数中确定所述可移动设备在拍摄所述当前帧图像时的位姿参数，包括：针对所述多个第二投影图中的每一所述第二投影图，确定该第二投影图与所述平面区域在所述高精地图中的图像内容之间的归一化互信息数据；基于所述归一化互信息数据确定与所述第二投影图对应的所述第二组位姿参数的准确率；基于所述多个第二组位姿参数各自对应的所述准确率确定所述可移动设备在拍摄所述当前帧图像时的位姿参数。

2.根据权利要求1所述的方法，其中，所述基于所述第一组位姿参数确定多个第二组位姿参数，包括：

基于所述第一组位姿参数，以依次增加和/或依次减少预设步长的方式确定多个第二组位姿参数。

3.根据权利要求1所述的方法，其中，所述基于所述多个第二组位姿参数各自对应的所述准确率确定所述可移动设备在拍摄所述当前帧图像时的位姿参数，包括：

将所述多个第二组位姿参数中的每一所述第二组位姿参数的所述准确率与预设门限参数进行比较；

当至少一个所述第二组位姿参数的所述准确率落入所述预设门限参数范围内时，将落入所述预设门限参数范围内的所述准确率最大的所述第二组位姿参数确定为所述可移动设备在拍摄所述当前帧图像时的位姿参数。

4.根据权利要求3所述的方法，其中，所述方法还包括：

当所有所述第二组位姿参数的所述准确率均未落入所述预设门限参数范围内时，确定所述可移动设备重新拍摄当前帧图像时的第三组位姿参数，并基于重新拍摄的所述当前帧图像以及所述第三组位姿参数重新确定开始定位操作。

5.根据权利要求1所述的方法，其中，所述确定所述当前帧图像的俯视图，包括：

针对所述可移动设备拍摄的所述当前帧图像或所述当前帧图像的第一区域进行逆透视投影变换操作，以生成所述当前帧图像的俯视图。

6.根据权利要求1所述的方法，其中，所述在高精地图中，确定在拍摄所述当前帧图像时的地理位置的预设范围内的平面区域，包括：

在高精地图中，确定在拍摄所述当前帧图像时的地理位置的预设范围内的点云数据，以及将所述预设范围内的点云数据转换到地图坐标系中，以得到所述预设范围内的平面区域。

7.根据权利要求6所述的方法，其中，所述在高精地图中，确定在拍摄所述当前帧图像时的地理位置的预设范围内的点云数据，包括：

确定所述可移动设备的所述第一组位姿参数中的位置参数，所述位置参数为拍摄所述当前帧图像时的地理位置；

将高精地图中位于所述地理位置的预设范围内的点云数据，确定为所述可移动设备在拍摄所述当前帧图像时的地理位置的预设范围内的点云数据。

8.一种可移动设备的定位装置，包括：

第一组位姿参数确定模块，用于基于可移动设备的历史运动数据确定可移动设备在拍摄当前帧图像时的第一组位姿参数，以及确定所述当前帧图像的俯视图；其中，所述历史运动数据包括该可移动设备上一次成功定位时的历史位姿参数和运动趋势数据，

第二组位姿参数确定模块，用于基于所述第一组位姿参数确定多个第二组位姿参数；

平面区域确定模块，用于在高精地图中，确定在拍摄所述当前帧图像时的地理位置的预设范围内的平面区域；

投影模块，用于基于所述多个第二组位姿参数将所述俯视图投影到所述平面区域中，得到多个第二投影图；

位姿参数确定模块，用于基于所述多个第二投影图与所述平面区域在所述高精地图中的图像内容之间的匹配度，从所述多个第二组位姿参数中确定所述可移动设备在拍摄所述当前帧图像时的位姿参数，包括：针对所述多个第二投影图中的每一所述第二投影图，确定该第二投影图与所述平面区域在所述高精地图中的图像内容之间的归一化互信息数据；基于所述归一化互信息数据确定与所述第二投影图对应的所述第二组位姿参数的准确率；基于所述多个第二组位姿参数各自对应的所述准确率确定所述可移动设备在拍摄所述当前帧图像时的位姿参数。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至7任一所述的可移动设备的定位方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1至7任一所述的可移动设备的定位方法。

Images