CN112752028A - 移动平台的位姿确定方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种移动平台的位姿确定方法、装置、设备和存储介质。该方法包括：控制移动平台的摄像头拍摄环境参照物的RGB图像和深度图像；提取RGB图像中和环境参照物的点特征，并对前后两帧RGB图像的点特征进行匹配得到第一匹配结果；提取深度图像中和环境参照物的平面特征，并基于第一匹配结果对前后两帧深度图像的平面特征进行匹配得到第二匹配结果；根据第一匹配结果和第二匹配结果确定移动平台的位姿。该方法鲁棒性更强，对于光线变化的敏感度更低，在取景对象点特征匮乏或者纹理弱时特征匹配准确度更高，位姿估计更准确。

Description

移动平台的位姿确定方法、装置、设备和存储介质

技术领域

本发明涉及计算机视觉领域，尤其涉及一种移动平台的位姿确定方法、装置、设备和存储介质。

背景技术

同步定位与建图(SLAM，Simultaneous Localization and Mapping)指移动平台在没有环境先验信息的情况下，于运动过程中建立环境模型并估计移动平台的运动的过程，SLAM的概念最早出现于1986年，随后SLAM领域得到了迅速地发展，也应用于生活的各个方面，如扫地机器人、物流机器人等。一般按照传感器可分为两类：基于激光雷达的SLAM和基于视觉的SLAM。

基于激光雷达的SLAM起步时间早，理论与技术的成熟度较高，然而激光雷达的成本较高，近年来，伴随着相机技术与计算性能的进步，视觉SLAM逐渐成为室内移动机器人SLAM主流研究方向。利用点特征实现地图构建的方法点特征的使用较为广泛。基于点特征的特征匹配算法研究较为成熟，且点特征的适用面广。然而，点特征的提取容易受到光线变化及阴影等环境因素的干扰，而且基于点特征的SLAM算法在低纹理的场景中会因为检测不到足够的特征点而跟踪失败、出现误匹配和特征跟丢的情况，从而整个SLAM系统精度下降甚至无法工作。

为克服点特征的缺点，研究者们也对线特征进行了大量研究。线段特征与点特征同样易于提取，而且线段特征的提取受环境的影响比点特征更小，同时线段特征所包含的环境信息更丰富，满足运动求解所需的特征数量更少，降低了运动求解的复杂度。但使用线特征的视觉SLAM受到线段端点识别不确定的影响，特征的匹配精度不高。

当前，视觉SLAM在特征点较少与纹理性较弱的场景下会出现跟踪失败、特征误匹配、特征点跟丢的问题，从而导致估计位姿不准确。

发明内容

本发明实施例提供一种移动平台的位姿确定方法、装置、设备和存储介质，在场景缺乏特征点或者纹弱理的场景中跟踪性较强。

第一方面，本发明实施例提供了一种移动平台的位姿确定方法，包括：

控制移动平台的摄像头拍摄环境参照物的RGB图像和深度图像；

提取所述RGB图像中所述环境参照物的点特征，并对前后两帧RGB图像的点特征进行匹配得到第一匹配结果；

提取所述深度图像中所述环境参照物的平面特征，并基于第一匹配结果对前后两帧深度图像的平面特征进行匹配得到第二匹配结果；

根据所述第一匹配结果和所述第二匹配结果确定移动平台的位姿。

第二方面，本发明实施例还提供了一种移动平台的位姿确定装置，该装置包括：

图像采集模块，用于控制移动平台的摄像头拍摄环境参照物的RGB图像和深度图像；

点特征匹配模块，用于提取所述RGB图像中所述环境参照物的点特征，并对前后两帧RGB图像的点特征进行匹配得到第一匹配结果；

平面特征匹配模块，用于提取所述深度图像中所述环境参照物的平面特征，并基于第一匹配结果对前后两帧深度图像的平面特征进行匹配得到第二匹配结果；

位姿确定模块，用于根据所述第一匹配结果和所述第二匹配结果确定移动平台的位姿。

第三方面，本发明实施例还提供了一种移动平台的位姿确定设备，包括存储器和处理器，存储器上存储有可在处理器运行的计算机程序，处理器执行计算机程序时实现前述的移动平台的位姿确定方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被执行时实现前述的移动平台的位姿确定方法。

本发明实施例提供的技术方案，控制移动平台的摄像头拍摄环境参照物的RGB图像和深度图像，基于RGB图像和深度图像分别提取点特征和平面特征，对点特征和平面特征分别进行匹配后，根据匹配结果确定移动平台的位姿，融合点特征和平面特征进行移动平台的位姿确定，鲁棒性更强，对于光线变化的敏感度更低，在取景对象点特征匮乏或者纹理弱时特征匹配准确度更高，位姿估计更准确。

附图说明

图1是本发明一个实施例提供的移动平台的位姿确定方法的流程图；

图2是本发明一个实施例提供的移动平台的位姿确定方法的子流程图；

图3是本发明一个实施例提供的移动平台的位姿确定方法的子流程图；

图4是本发明另一实施例提供的移动平台的位姿确定方法的子流程图；

图5是本发明另一实施例提供的移动平台的位姿确定方法的子流程图；

图6是本发明一个实施例提供的移动平台的位姿确定装置的结构示意图；

图7是本发明一个实施例提供的移动平台的位姿确定设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。需要说明的是，当部被称为“固定于”另一个部，它可以直接在另一个部上也可以存在居中的部。当一个部被认为是“连接”到另一个部，它可以是直接连接到另一个部或者可能同时存在居中部。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述，只是为了说明的目的，并不表示是唯一的实施方式。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

图1为本发明一实施例提供的一种移动平台的位姿确定方法的流程图，该方法是在传统SLAM上的改进，可以适用于具备RGB-D相机的移动平台，具体可以应用于自动驾驶、移动机器人、无人机的建图及定位，也可用于移动终端的增强现实及虚拟现实场景。该方法具体包括如下步骤：

S110、控制移动平台的摄像头拍摄环境参照物的RGB图像和深度图像。

环境参照物为摄像头拍摄方向的环境实体，如地面、墙体、家具等等，环境参照物随着移动平台的运动会不断发生变化，具体取决于摄像头拍摄方向。本实施例中，移动平台的摄像头具备深度传感器和RGB传感器，且深度传感器和RGB传感器拍摄的环境参照物是相同的，且深度传感器和RGB传感器对相同的环境参照物进行拍摄时同步进行的。RGB图像为基于RGB传感器对环境参照物拍摄得到的图像数据，深度图像为基于深度传感器对环境参照物拍摄得到的图像数据。示例性的，本实施例中的摄像头采用RGB-D相机。

具体的，移动平台在运动过程中，移动平台上的摄像头逐帧获取RGB图像和深度图像，记录环境参照物的变化情况。

S120、提取所述RGB图像中所述环境参照物的点特征，并对前后两帧RGB图像的点特征进行匹配得到第一匹配结果。

具体的，在一实施例中，步骤S120中的点特征提取过程如图2所示，包括步骤S121-124：

S121、对所述RGB图像进行灰度处理得到灰度图像。

本实施例中，点特征为像素点的集合，基于RGB图像提取点特征时，基于RGB图像对像素点进行分析提取点特征时难度较大，因此本实施例将RGB图像转换为灰度图像，再基于灰度图像进行像素点分析提取点特征。

S122、在所述灰度图像中选取一像素点为目标像素点，确定所述目标像素点的第一灰度值，并根据所述第一灰度值确定第一阈值。

目标像素点为灰度图像中的任一像素点，第一灰度值为目标像素点的灰度值，第一阈值为根据第一灰度值按照预设比值确定的一个灰度值阈值。

S123、以所述目标像素点为圆心，以预设距离为半径，取圆周上第一预设数值其他像素点，确定所述其他像素点中灰度值与第一灰度值之差大于第一阈值的像素点数量，若所述像素点数量大于第二预设数值，则确定所述目标像素点为一个特征点。

预设距离一般为3个pixel(像素点)，第一预设数值一般为16，第二预设数值一般为12。示例性的，对于灰度图像中的一个像素点p，像素点p的第一灰度值为I(p)，预设比值为20％，则第一阈值为ε＝20％*I(p)，以像素点p为圆心，以3pixel为半径，画一个圆周，取圆周上的16个像素点x，其灰度值为I(x)，若这16个像素点x中，有连续12个像素点满足|I(x)-I(p)|>ε，那么像素点p便可以提取为点特征中的一个特征点，点特征中包括多个特征点。

S124、对所述灰度图像中的所有像素点执行步骤S122和S132，提取所有的特征点得到点特征。

对灰度图像上的所有像素点执行步骤S122和S132，即对每个像素点进行一次判断，判断其是否可以被提取为特征点，将所有特征点作为点特征。

此处提取的点特征是所有RGB图像的点特征，在基于RGB图像确定移动平台的位姿时，需要分析前后两帧RGB图像间点特征的变化，以确定移动平台采集前后两帧RGB图像时发生的位移和旋转，因此在提取到点特征后，还需要对前后两帧RGB图像的点特征进行匹配，匹配用于确定前后两帧RGB图像上相对应的一对特征点的变化，匹配得到第一匹配结果，第一匹配结果包括多个第一匹配对，每个第一匹配对包括一个前一帧RGB图像上的特征点和一个后一帧RGB图像上对应的特征点。

S130、提取所述深度图像中和所述环境参照物的平面特征，并基于第一匹配结果对前后两帧深度图像的平面特征进行匹配得到第二匹配结果。

本实施例中，针对视觉SLAM在特征点较少与纹理性较弱的场景下特征匹配准确率低的情况，融合平面特征和点特征进行特征匹配进而确定移动平台的位姿。

具体的，在一实施例中，如图3所示，步骤S130中提取平面特征的过程包括步骤S131-135：

S131、将所述深度图像转换为点云数据。

根据真空相机的成像关系，可以将深度图像中的像素坐标转换为空间坐标系，其转换过程中需要使用到相机的内参，内参为预先对相机标定获取的。具体的，深度图像中，像素坐标为[u,v,d]，其中u为深度图像中的横坐标，v为深度图像中的纵坐标，d为深度数据，转换得到的空间坐标为[x,y,z]，其中x为空间坐标中的横坐标，y为空间坐标中的纵坐标，z为空间坐标中的垂直坐标，转换公式为：

其中，s、c_x、c_y、f_x和f_y均由相机内参确定。

S132、基于所述点云数据通过滤波算法按照预设百分比阈值删除离群点，得到滤波后点云数据。

离群点一般不属于一个平面，将其通过滤波算法过滤掉可以避免对提取平面特征的干扰。

S133、自所述滤波后点云数据中随机选择三个不共线的基点，基于所述基点拟合得到第一平面。

S134、计算所述滤波后点云数据中其他点和所述第一平面的第一距离，若所述第一距离小于第三阈值，则判断对应的点为所述第一平面的内点。

确定第一平面的过程使用RANSAC(Random Sample Consensus)算法，RANSAC算法具体执行用于：从滤波后点云数据中随机选出三个不共线的点；使用这三个点为基点拟合得到第一平面，确定该平面的平面参数(AP；BP；CP；DP)，使得该平面上的点[x,y,z]满足(APx+BPy+CPz+DP＝0)；计算滤波后点云数据中除三个基点外的其他点到第一平面的距离，记为第一距离，若第一距离小于预设的第三阈值，则视为对应的其他点是第一平面上的点，即内点，据此将确定第一平面上有多少个内点。

S135、迭代进行步骤S133和S134，确定内点数量大于第四阈值的平面，得到平面特征。

对滤波后点云数据迭代执行步骤S133和S134，以确定滤波后点云数据所能确定的每一个平面和对应的内点数量，比较每一个平面的内点数量，当内点数量大于第四阈值时，可以将对应的平面记为特征平面，确定所有的特征平面的到平面特征。

此处提取的平面特征是所有深度图像的平面特征，在基于深度图像确定移动平台的位姿时，需要分析前后两帧对赌图像间平面特征的变化，以确定移动平台采集前后两帧深度图像时发生的位移和旋转，因此在提取到平面特征后，还需要对前后两帧深度图像的平面特征进行匹配，匹配用于确定前后两帧深度图像上相对应的一对特征平面的变化，匹配得到第二匹配结果，第二匹配结果包括多个平面特征匹配对，每个平面特征匹配对包括一个前一帧深度图像上的特征平面和一个后一帧深度图像上对应的特征平面。

S140、根据所述第一匹配结果和所述第二匹配结果确定移动平台的位姿。

位姿包括旋转角度和平移向量，在确定了第一匹配结果和第二匹配结果后，本实施例中通过分析前后两帧图像对应的特征点和/或特征平面的匹配情况，通过求解旋转矩阵确定移动平台的旋转角度，根据前后两帧图像对应的特征点和/或特征平面的变化确定移动平台的平移向量。

更具体的，在一实施例中，步骤S110之前还包括步骤S100(图未示)：

S100、对移动平台的摄像头进行标定，获取摄像头的内参。

内参用于将采集的图像坐标转换为三维坐标，对于确定移动平台的位姿有重要作用。

在本实施例方案中，在移动平台运动过程中，环境参照物控制移动平台的摄像头拍摄环境参照物的RGB图像和深度图像，基于RGB图像和深度图像分别提取点特征和平面特征，对点特征和平面特征分别进行匹配后，根据匹配结果确定移动平台的位姿，融合点特征和平面特征进行移动平台的位姿确定，鲁棒性更强，对于光线变化的敏感度更低，在环境参照物点特征匮乏或者纹理弱时特征匹配准确度更高，位姿估计更准确。

本发明另一实施例提供了一种移动平台的位姿确定方法，本实施例在上一实施例的基础上对部分内容进行了进一步细分和解释，具体如下：

如图4所示，步骤S120中的点特征匹配过程包括步骤S125-127：

S125、确定所述前后两帧RGB图像上特征点对应的描述子。

本实施例中确定描述子基于BRIEF(Binary Robust Independent ElementaryFeatures)算法，得到的描述子为BRIEF描述子，BRIEF描述子为一个n_d长的二进制串，n_d可以为128、256或512。

S126、确定前后两帧RGB图像之间描述子的汉明距离。

对于前一帧RGB图像点特征中的每一个特征点，计算它对应的描述子与后一帧RGB图像点特征中所有的特征点对应的描述子之间的汉明距离(Hamming距离：描述子间的异或操作加上统计二进制编码中“1”的个数)。

S127、根据所述汉明距离对前后两帧RGB图像上的特征点进行匹配，得到第一匹配结果，所述第一匹配结果包括多对第一匹配对。

按照汉明距离最小原则，对前后两帧RGB图像上的特征点进行匹配，即对步骤S126中的汉明距离进行排序，自汉明距离最小开始，根据汉明距离对前后两帧RGB图像上的特征点进行匹配。同时前一帧RGB图像上的特征点与后一帧RGB图像上的特征点之间是一一对应的，每一个前一帧RGB图像的特征点对应一个后一帧RGB图像的特征点，称为一个第一匹配对。在对特征点匹配时，删除汉明距离小于两倍最小汉明距离的第一匹配对。全部匹配完成后，根据全部第一匹配对得到第一匹配结果。

如图5所示，步骤S130中的平面特征匹配过程包括步骤S136-138：

S136、根据所述第一匹配结果选择匹配度最高的预设组数第一匹配对。

将第一匹配结果中的第一匹配对按照汉明距离从小到大排序，选择其中匹配度(汉明距离越小匹配度越高)最高的n组第一匹配对

其中

为一个第一匹配对记为Fⁱ，

为前后两帧RGB图像对应的特征点的三维坐标。

S137、确定所述前后两帧RGB图像对应的前后两帧深度图像，对所述前后两帧深度图像上的平面特征进行匹配得到全匹配的第二匹配对。

本实施例中，RGB图像与深度图像是同步采集的，在基于第一匹配结果对平面特征匹配时，需要确定RGB图像与深度图像的对应关系，以免特征匹配出错。在确定了RGB图像与深度图像的对应关系后，对后两帧深度图像上的平面特征进行匹配，本步骤的匹配中，前一帧深度图像上的每一个特征平面都与后一帧深度图像上的特征平面进行一次匹配，将匹配结果称为全匹配的第二匹配对，第二匹配对记为P^j＝(PA_j，PB_j)，其中，PA_j和PB_j分别为前后两帧深度图像上的特征平面。

S138、根据所述预设组数第一匹配对对所述第二匹配对筛选，得到第二匹配结果，所述第二匹配结果包括多对平面特征匹配对。

仅基于深度图像进行平面特征匹配难度较大，同时为了提高匹配准确率，本实施例中结合RGB图像的点特征对平面特征进行匹配。

具体为利用预设组数第一匹配对第二匹配对进行筛选，具体的，步骤S138包括步骤S1381-1382(图未示)：

S1381、根据所述预设组数第一匹配对对所述第二匹配对评分，选择评分大于预设阈值的第二匹配对得到第三匹配对。

记一个特征平面的平面参数为(AP；BP；CP；DP)，将预设组数第一匹配对中特征点的三维坐标[x′,y′,z′]输入平面模型，得到特征点到特征平面的离差d＝APx′+BPy′+CPz′+DP，一个第一匹配对中两个特征点到特征平面离差之差的绝对值为

其中

和

为一个第一匹配对的两个特征点，PA_j和PB_j为一个第二匹配对的两个特征平面，

表示特征点

到对应的特征平面PA_j的离差，特征点

对应的RGB图像与特征平面PA_j对应的深度图像为同步采集的。根据D_ij对第二匹配对进行评分，如根据预设组数第一匹配对对第二匹配对P^j的总评分为

其中，m为预设阈值，S<D_ij>为依据一个第一匹配对Fⁱ对所述第二匹配对P^j的评分，S<D_ij>评分规则为如下表1所示：

表1

在确定每个第二匹配对的总评分之后，选择总评分大于预设阈值的第二匹配对得到第三匹配对，第三匹配对的集合为：{((PA_j，PB_j)|S_j≥m)}。

S1382、选按照禁止平面特征重复原则筛选所述第三匹配对对得到第二匹配结果。

禁止平面特征重复原则为在前后两帧深度图像的第三匹配对中，一个特征平面仅允许出现一次。其具体筛选过程为：

按照总评分自大到小的顺序对第三匹配对排序，得到第一集合U=

表示第三匹配对Pⁱ的总评分，U中所有第三匹配对记为U的元素；

将U中第一个元素提取到目标集合中V＝{P¹}，V中所有平面特征匹配对记为V的元素，并删除U的第一个元素；

遍历候补集合U，删除与V中包含相同平面的元素、不满足面-面刚性约束的元素，然后将U中首个元素提取到V的末尾，并删除该元素，迭代执行直至U中没有元素；

遍历集合V，计算每个元素与之前的元素是否含有平行平面匹配对，若有，则删除该元素。处理后的集合V，就是第二匹配结果，第二匹配结果中可以包括一个或多个平面特征匹配对，也可以没有平面特征匹配对(即处理后的V为空集)。

面-面刚性约束条件为任意两对第三匹配对(PA_L，PB_L)、(PP_K，PB_K)之间满足nPA_L与nPA_K的夹角等于nPB_L与nPB_K，其中nPA为特征平面PA的法向量，nPB为特征平面PB的法向量，即满足：

步骤S140中，根据所述第一匹配结果和所述第二匹配结果确定移动平台的位姿具体可以分为三种情况：

第一种情况：若所述第二匹配结果中平面特征匹配对的数量少于2，则基于所述第一匹配结果确定移动平台的旋转角度和平移向量。

第一种情况下，利用点特征求解旋转矩阵最优解(移动平台的旋转角度)R^*和平移向量最优解(移动平台的平移向量)t^*：

t^*＝p′-R^*p；

其中，p和p′分别对应前后两帧RGB图像的点特征质心。

第二种情况：若所述第二匹配结果中平面特征匹配对的数量等于2，则通过右手定则构建额外匹配向量，基于所述第二匹配结果和所述额外匹配向量对确定移动平台的旋转角度和平移向量。

第二种情况下，假设两个平面特征匹配对为(PA_L，PB_L)和(PA_K，PB_K)，已经存在两对不平行的匹配向量

和

通过右手定则构建额外匹配向量

通过两对不平行的匹配向量和额外匹配向量求解旋转矩阵最优解R，利用第一匹配结果求解平移向量最优解t：

t=p′-Rp；

第三种情况：若所述第二匹配结果中平面特征匹配对的数量多于2，则基于所述第二匹配结果确定移动平台的旋转角度和平移向量。

第三种情况下，将前三对平面特征匹配对记为(PA_L，PB_L)、(PA_K，PB_K)和(PA_J，PB_J)，将前后两帧深度图像中三个特征平面的交点记为p₀和p′₀，求解旋转矩阵最优解R，利用第一匹配结果求解平移向量最优解t：

t＝p′₀-Rp₀；

本实施例提供的移动平台的位姿确定方法中，进一步提供了提取点特征和平面特征的过程，以及基于第二匹配结果中平面特征匹配对的数量，利用点特征和平面特征确定移动平台的位姿，在平面特征充足时充分利用平面特征确定移动平台的位姿，在平面特征不足时融合点特征确定移动平台的位姿，具有更强的鲁棒性，适用范围更广。

图6所示为本发明一个实施例提供的一种移动平台的位姿确定装置200的结构示意图，该移动平台的位姿确定装置的具体结构如下：

图像采集模块210，用于环境参照物控制移动平台的摄像头拍摄环境参照物的RGB图像和深度图像。

点特征匹配模块220，用于提取所述RGB图像中和所述环境参照物的点特征，并对前后两帧RGB图像的点特征进行匹配得到第一匹配结果。

平面特征匹配模块230，用于提取所述深度图像中和所述环境参照物的平面特征，并基于第一匹配结果对前后两帧深度图像的平面特征进行匹配得到第二匹配结果。

位姿确定模块240，用于根据所述第一匹配结果和所述第二匹配结果确定移动平台的位姿。

更具体的，在一实施例中，点特征匹配模块220包括：

灰度处理单元，用于对所述RGB图像进行灰度处理得到灰度图像。

像素点选取单元，用于在所述灰度图像中选取一像素点为目标像素点，确定所述目标像素点的第一灰度值，并根据所述第一灰度值确定第一阈值。

特征点提取单元，用于以所述目标像素点为圆心，以预设距离为半径，取圆周上第一预设数值其他像素点，确定所述其他像素点中灰度值与第一灰度值之差大于第一阈值的像素点数量，若所述像素点数量大于第二预设数值，则确定所述目标像素点为一个特征点。

第一迭代单元，用于对所述灰度图像中的所有像素点执行步骤像素点选取单元和特征点提取单元，提取所有的特征点得到点特征。

更具体的，在一实施例中，案件抽象模块230包括：

点云数据转换单元，用于将所述深度图像转换为点云数据。

滤波单元，用于基于所述点云数据通过滤波算法按照预设百分比阈值删除离群点，得到滤波后点云数据。

平面拟合单元，用于自所述滤波后点云数据中随机选择三个不共线的基点，基于所述基点拟合得到第一平面。

内点计算单元，用于计算所述滤波后点云数据中其他点和所述第一平面的第一距离，若所述第一距离小于第三阈值，则判断对应的点为所述第一平面的内点。

第二迭代单元，用于迭代进行步骤平面拟合单元和内点计算单元，确定内点数量大于第四阈值的平面，得到平面特征。

更具体的，在一实施例中，点特征匹配模块220还包括：

描述子确定单元，用于确定所述前后两帧RGB图像上特征点对应的描述子。

汉明距离计算单元，用于确定前后两帧RGB图像之间描述子的汉明距离。

点特征匹配单元，用比喻根据所述汉明距离对前后两帧RGB图像上的特征点进行匹配，得到第一匹配结果，所述第一匹配结果包括多对第一匹配对。

更具体的，在一实施例中，案件抽象模块230还包括第一匹配对选择单元、平面特征匹配单元和第二匹配对筛选单元：

第一匹配对选择单元，用于根据所述第一匹配结果选择匹配度最高的预设组数第一匹配对。

平面特征匹配单元，用于确定所述前后两帧RGB图像对应的前后两帧深度图像，对所述前后两帧深度图像上的平面特征进行匹配得到全匹配的第二匹配对；

第二匹配对筛选单元，用于根据所述预设组数第一匹配对对所述第二匹配对筛选，得到第二匹配结果，所述第二匹配结果包括多对平面特征匹配对。

更具体的，在一实施例中，第二匹配对筛选单元用于：根据所述预设组数第一匹配对对所述第二匹配对评分，选择评分大于预设阈值的第二匹配对得到第三匹配对；选按照禁止平面特征重复原则筛选所述第三匹配对对得到第二匹配结果。

更具体的，在一实施例中，位姿确定模块240包括：

第一确定单元，用于若所述第二匹配结果中平面特征匹配对的数量少于2，则基于所述第一匹配结果确定移动平台的旋转角度和平移向量。

第二确定单元，用于若所述第二匹配结果中平面特征匹配对的数量等于2，则通过右手定则构建额外匹配向量，基于所述第二匹配结果和所述额外匹配向量对确定移动平台的旋转角度和平移向量。

第三确定单元，用于若所述第二匹配结果中平面特征匹配对的数量多于2，则基于所述第二匹配结果确定移动平台的旋转角度和平移向量。

本实施例进一步提供了一种移动平台的位姿确定装置，在移动平台运动过程中，环境参照物控制移动平台的摄像头拍摄环境参照物的RGB图像和深度图像，基于RGB图像和深度图像分别提取点特征和平面特征，对点特征和平面特征分别进行匹配后，根据匹配结果确定移动平台的位姿，融合点特征和平面特征进行移动平台的位姿确定，鲁棒性更强，对于光线变化的敏感度更低，在环境参照物点特征匮乏或者纹理弱时特征匹配准确度更高，位姿估计更准确。

本发明实施例所提供了一种移动平台的位姿确定装置可执行本发明前述实施例所提供的任意一种移动平台的位姿确定方法，其具备执行方法相应的功能模块和有益效果。

图7为本发明一个实施例提供的一种移动平台的位姿确定设备300的结构示意图，如图7所示，该种移动平台的位姿确定设备包括存储器310、处理器320，移动平台的位姿确定设备中处理器320的数量可以是一个或多个，图7中以一个处理器320为例；移动平台的位姿确定设备中的存储器310、处理器320可以通过总线或其他方式连接，图7中以通过总线连接为例。

存储器310作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的移动平台的位姿确定方法对应的程序指令/模块(例如，移动平台的位姿确定装置中的图像采集模块210、点特征匹配模块220、平面特征匹配模块230和位姿确定模块240)。处理器320通过运行存储在存储器310中的软件程序、指令以及模块，从而执行移动平台的位姿确定设备的各种功能应用以及数据处理，即实现上述的移动平台的位姿确定方法。

其中，所述处理器320用于运行存储在存储器310中的计算机可执行程序，以实现如下步骤：

环境参照物控制移动平台的摄像头拍摄环境参照物的RGB图像和深度图像；

提取所述RGB图像中和所述环境参照物的点特征，并对前后两帧RGB图像的点特征进行匹配得到第一匹配结果；

提取所述深度图像中和所述环境参照物的平面特征，并基于第一匹配结果对前后两帧深度图像的平面特征进行匹配得到第二匹配结果；

根据所述第一匹配结果和所述第二匹配结果确定移动平台的位姿。

当然,本发明实施例所提供的一种移动平台的位姿确定设备,该移动平台的位姿确定设备不限于如上所述的方法操作,还可以执行本发明实施例任意实施例所提供的移动平台的位姿确定方法中的相关操作。

存储器310可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器310可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器310可进一步包括相对于处理器320远程设置的存储器，这些远程存储器可以通过网络连接至移动平台的位姿确定设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

上述设备可执行本发明任意实施例所提供的移动平台的位姿确定方法，具备执行方法相应的功能模块和有益效果。

本发明的一实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种移动平台的位姿确定方法，该移动平台的位姿确定方法包括：

环境参照物控制移动平台的摄像头拍摄环境参照物的RGB图像和深度图像；

提取所述RGB图像中和所述环境参照物的点特征，并对前后两帧RGB图像的点特征进行匹配得到第一匹配结果；

提取所述深度图像中和所述环境参照物的平面特征，并基于第一匹配结果对前后两帧深度图像的平面特征进行匹配得到第二匹配结果；

根据所述第一匹配结果和所述第二匹配结果确定移动平台的位姿。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的移动平台的位姿确定方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动平台的位姿确定设备，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述移动平台的位姿确定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种移动平台的位姿确定方法，其特征在于，包括：

控制移动平台的摄像头拍摄环境参照物的RGB图像和深度图像；

提取所述RGB图像中所述环境参照物的点特征，并对前后两帧RGB图像的点特征进行匹配得到第一匹配结果；

提取所述深度图像中所述环境参照物的平面特征，并基于第一匹配结果对前后两帧深度图像的平面特征进行匹配得到第二匹配结果；

根据所述第一匹配结果和所述第二匹配结果确定移动平台的位姿。

2.根据权利要求1所述的移动平台的位姿确定方法，其特征在于，所述提取所述RGB图像中所述环境参照物的点特征，包括：

A、对所述RGB图像进行灰度处理得到灰度图像；

B、在所述灰度图像中选取一像素点为目标像素点，确定所述目标像素点的第一灰度值，并根据所述第一灰度值确定第一阈值；

C、以所述目标像素点为圆心，以预设距离为半径，取圆周上第一预设数值其他像素点，确定所述其他像素点中灰度值与第一灰度值之差大于第一阈值的像素点数量，若所述像素点数量大于第二预设数值，则确定所述目标像素点为一个特征点；

D、对所述灰度图像中的所有像素点执行步骤B和C，提取所有的特征点得到点特征。

3.根据权利要求1所述的移动平台的位姿确定方法，其特征在于，所述提取所述深度图像中所述环境参照物的平面特征，包括：

a、将所述深度图像转换为点云数据；

b、基于所述点云数据通过滤波算法按照预设百分比阈值删除离群点，得到滤波后点云数据；

c、自所述滤波后点云数据中随机选择三个不共线的基点，基于所述基点拟合得到第一平面；

d、计算所述滤波后点云数据中其他点和所述第一平面的第一距离，若所述第一距离小于第三阈值，则判断对应的点为所述第一平面的内点；

e、迭代进行步骤c和d，确定内点数量大于第四阈值的平面，得到平面特征。

4.根据权利要求2所述的移动平台的位姿确定方法，其特征在于，所述对前后两帧RGB图像的点特征进行匹配得到第一匹配结果，包括：

确定所述前后两帧RGB图像上特征点对应的描述子；

确定前后两帧RGB图像之间描述子的汉明距离；

根据所述汉明距离对前后两帧RGB图像上的特征点进行匹配，得到第一匹配结果，所述第一匹配结果包括多对第一匹配对。

5.根据权利要求4所述的移动平台的位姿确定方法，其特征在于，所述基于第一匹配结果对前后两帧深度图像的平面特征进行匹配得到第二匹配结果，包括：

根据所述第一匹配结果选择匹配度最高的预设组数第一匹配对；

确定所述前后两帧RGB图像对应的前后两帧深度图像，对所述前后两帧深度图像上的平面特征进行匹配得到全匹配的第二匹配对；

根据所述预设组数第一匹配对对所述第二匹配对筛选，得到第二匹配结果，所述第二匹配结果包括多对平面特征匹配对。

6.根据权利要求5所述的移动平台的位姿确定方法，其特征在于，所述根据所述预设组数第一匹配对对所述第二匹配对筛选，得到第二匹配结果，包括：

根据所述预设组数第一匹配对对所述第二匹配对评分，选择评分大于预设阈值的第二匹配对得到第三匹配对；

选按照禁止平面特征重复原则筛选所述第三匹配对对得到第二匹配结果。

7.根据权利要求1所述的移动平台的位姿确定方法，其特征在于，所述根据所述第一匹配结果和所述第二匹配结果确定移动平台的位姿包括：

若所述第二匹配结果中平面特征匹配对的数量少于2，则基于所述第一匹配结果确定移动平台的旋转角度和平移向量；

若所述第二匹配结果中平面特征匹配对的数量等于2，则通过右手定则构建额外匹配向量，基于所述第二匹配结果和所述额外匹配向量确定移动平台的旋转角度和平移向量；

若所述第二匹配结果中平面特征匹配对的数量多于2，则基于所述第二匹配结果确定移动平台的旋转角度和平移向量。

8.一种移动平台的位姿确定装置，其特征在于，包括：

图像采集模块，用于控制移动平台的摄像头拍摄环境参照物的RGB图像和深度图像；

点特征匹配模块，用于提取所述RGB图像中所述环境参照物的点特征，并对前后两帧RGB图像的点特征进行匹配得到第一匹配结果；

平面特征匹配模块，用于提取所述深度图像中所述环境参照物的平面特征，并基于第一匹配结果对前后两帧深度图像的平面特征进行匹配得到第二匹配结果；

位姿确定模块，用于根据所述第一匹配结果和所述第二匹配结果确定移动平台的位姿。

9.一种移动平台的位姿确定设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7任意一项所述的移动平台的位姿确定方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被执行时实现如权利要求1-7任意一项所述的移动平台的位姿确定方法。

Images