CN110570474A - 一种深度相机的位姿估计方法及系统 - Google Patents

Abstract

本发明公开了一种深度相机的位姿估计方法及系统，通过对获取的视频帧图像和深度图像进行处理，即提取视频帧图像的点特征和线特征，再运用深度图生成的点云提取平面和圆柱面特征信息，最后通过点线面综合特征的匹配求解并优化位姿。该方法能够更加充分利用彩色图与深度图的信息，克服纹理稀疏或缺失场景中跟踪状态表现不佳的问题，并提供更为直观的几何结构信息。可用于在室内、外环境的机器人定位与姿态估计。

Description

一种深度相机的位姿估计方法及系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种深度相机的位姿估计方法及系统。

背景技术

同时定位与地图构建(simultaneous localization and mapping,SLAM)最早源于机器人领域，其目标是在一个未知的环境中实时重建环境的三维结构并同时对机器人自身进行定位。其主要思想是：一方面，依靠已创建的地图信息进行自定位；另一方面，根据定位结果对地图进行更新。在SLMN技术中通常采用深度相机(RGB-D)进行信息采集，V-SLAM技术根据拍摄的视频信息推断出摄像头在未知环境中的方位，并同时构建环境地图，其基本原理为多视图几何原理。V-SLAM的目标为同时恢复出每帧图像对应的相机运动参数，以及场景三维结构；其中每个相机运动参数包含了相机的位置和朝向信息。

由于基于特征的V-SLAM需要进行图像特征的匹配，因此其稳定性严重依赖于场景特征的丰富程度。当场景中纹理信息缺失时或相机快速运动导致图像模糊时，点特征的数量往往较少，影响了位姿估计的精度，进而影响其图像处理过程。

发明内容

针对于上述问题，本发明提供一种深度相机的位姿估计方法及系统，能够解决纹理稀疏或者缺失场景中位姿估计不准确的问题。

为了实现上述目的，本发明提供了如下技术方案：

一种深度相机的位姿估计方法，包括：

获取视频帧图像和深度图；

将所述视频帧图像转换为灰度图像序列，并提取所述灰度图像序列的点特征和线特征；

根据所述点特征和线特征，分别进行点匹配和线匹配，并根据匹配结果确定目标点和目标线；

根据所述深度图生成3D点云；

在所述3D点云提取平面和圆柱面对应的特征信息；

根据所述平面和圆柱面对应的特征信息，分别进行平面和圆柱面匹配，并根据匹配结果确定目标平面和目标圆柱面；

依据所述目标点、目标线、目标平面和目标圆柱面进行深度相机的位姿估计，得到估计结果。

可选地，所述将所述视频帧图像转换为灰度图像序列，并提取所述灰度图像序列的点特征和线特征，包括：

将所述视频帧图像转换为灰度图像序列；

对所述灰度图像进行ORB特征点检测，获得点特征；

对所述灰度图像进行LBD检测，获得线特征。

可选地，所述根据所述点特征和线特征，分别进行点匹配和线匹配，并根据匹配结果确定目标点和目标线，包括：

获取相邻视频帧的特征点，并计算得到所述特征点对应的特征向量的汉明距离；

若所述汉明距离小于第一阈值，且在搜索区域内最小，则判断所述相邻视频帧的特征点匹配成功，得到目标点；

获取相邻视频帧中满足预设特定条件的两条线，并判断所述两条线的重叠区域长度与两条线中最短线的比值是否大于第二阈值，所述预设特定条件根据两条线的长度进行设定；

如果是，则判断所述两条线的特征向量的距离是否小于第三阈值，且在搜索区域内最小，如果是，则判定所述两条线匹配成功，得到目标线。

可选地，所述在所述3D点云提取平面和圆柱面对应的特征信息，包括：

在所述3D点云上建立图像块，通过深度差异评估每块所述图像块的平面性，得到评估结果；

根据所述评估结果进行平面拟合，并计算拟合后的每个平面的法向量和均方误差，根据所述均方误差进行分类，得到初始平面分类结果；

根据所述法向量建立直方图，在所述直方图中确定种子点；

根据所述种子点进行区域增长，得到平面段和圆柱面；

对所述平面段进行合并，得到平面。

可选地，所述根据所述平面和圆柱面对应的特征信息，分别进行平面和圆柱面匹配，并根据匹配结果确定目标平面和目标圆柱面，包括：

分别获取连续两帧的平面和圆柱面；

若连续两帧的两个平面满足平面特定条件，则所述两个平面匹配成功，得到目标平面，其中，所述平面特定条件为两个平面的重叠区域与两个平面之间的最小平面的比值大于第三阈值，且两个平面的法向量之间的夹角小于第四阈值，两平面的距离小于第五阈值；

若连续两帧的两个圆柱面满足圆柱面特定条件，则所述两个圆柱面匹配成功，得到目标圆柱面，其中，所述圆柱面特定条件为两个圆柱面对应的圆柱轴之间的夹角小于第六阈值，且两个圆柱面对应的半径之间计算得到的马氏距离小于第七阈值，且两个圆柱面之间的重叠区域与所述两个圆柱面中最小圆柱面之间的比值大于第八阈值。

可选地，所述依据所述目标点、目标线、目标平面和目标圆柱面进行深度相机的位姿估计，得到估计结果，包括：

根据当前帧的深度相机的位姿作为待优化的状态变量构建图模型，通过目标代价函数的解值对所述图模型进行优化，得到深度相机的位姿估计结果；

其中，所述目标代价函数为根据所述目标点、目标线、目标平面和目标圆柱面对应的特征数据构建的。

一种深度相机的位姿估计系统，包括：

图像获取单元，用于获取视频帧图像和深度图；

第一提取单元，用于将所述视频帧图像转换为灰度图像序列，并提取所述灰度图像序列的点特征和线特征；

第一匹配单元，用于根据所述点特征和线特征，分别进行点匹配和线匹配，并根据匹配结果确定目标点和目标线；

点云生成单元，用于根据所述深度图生成3D点云；

第二提取单元，用于在所述3D点云提取平面和圆柱面对应的特征信息；

第二匹配单元，用于根据所述平面和圆柱面对应的特征信息，分别进行平面和圆柱面匹配，并根据匹配结果确定目标平面和目标圆柱面；

估计单元，用于依据所述目标点、目标线、目标平面和目标圆柱面进行深度相机的位姿估计，得到估计结果。

可选地，所述第一提取单元包括：

转换子单元，用于将所述视频帧图像转换为灰度图像序列；

第一检测子单元，用于对所述灰度图像进行ORB特征点检测，获得点特征；

第二检测子单元，用于对所述灰度图像进行LBD检测，获得线特征。

可选地，所述第一匹配单元包括：

第一计算子单元，用于获取相邻视频帧的特征点，并计算得到所述特征点对应的特征向量的汉明距离；

第一判断子单元，用于若所述汉明距离小于第一阈值，且在搜索区域内最小，则判断所述相邻视频帧的特征点匹配成功，得到目标点；

第二判断子单元，用于获取相邻视频帧中满足预设特定条件的两条线，并判断所述两条线的重叠区域长度与两条线中最短线的比值是否大于第二阈值，所述预设特定条件根据两条线的长度进行设定；

第三判断子单元，用于如果是，则判断所述两条线的特征向量的距离是否小于第三阈值，且在搜索区域内最小，如果是，则判定所述两条线匹配成功，得到目标线。

可选地，所述第二提取单元包括：

评估子单元，用于在所述3D点云上建立图像块，通过深度差异评估每块所述图像块的平面性，得到评估结果；

分类子单元，用于根据所述评估结果进行平面拟合，并计算拟合后的每个平面的法向量和均方误差，根据所述均方误差进行分类，得到初始平面分类结果；

直方图建立子单元，用于根据所述法向量建立直方图，在所述直方图中确定种子点；

区域增长子单元，用于根据所述种子点进行区域增长，得到平面段和圆柱面；

合并子单元，用于对所述平面段进行合并，得到平面。

相较于现有技术，本发明提供了一种深度相机的位姿估计方法及系统，通过对获取的视频帧图像和深度图像进行处理，即提取视频帧图像的点特征和线特征，再运用深度图生成的点云提取平面和圆柱面特征信息，最后通过点线面综合特征的匹配求解并优化位姿。该方法能够更加充分利用彩色图与深度图的信息，克服纹理稀疏或缺失场景中跟踪状态表现不佳的问题，并提供更为直观的几何结构信息。可用于在室内、外环境的机器人定位与姿态估计。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种深度相机的位姿估计方法的流程示意图；

图2为本发明实施例提供一种深度相机的位姿估计系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在本发明实施例中提供了一种深度相机的位姿估计方法，参见图1，该方法可以包括以下步骤：

S101、获取视频帧图像和深度图。

在本发明中通过拍摄的视频信息和深度相机提供的点云来计算出摄像头在未知环境中的方位。通过对视频帧图像进行处理来获得点和线的特征，对深度图进行处理来获得面的特征。

在对视频帧图像进行处理时，由于视频帧图像是彩色图像，为了便于处理，则将获取的实时视频帧图像转换为灰度图，在对灰度图序列提取点、线特征并匹配。

S102、将所述视频帧图像转换为灰度图像序列，并提取所述灰度图像序列的点特征和线特征。

在对灰度图序列进行点特征和面特征提取时可以采用点、线特征提取算法。如，对所述灰度图像进行ORB特征点检测，获得点特征；对所述灰度图像进行LBD检测，获得线特征。ORB描述子和LBD描述子均为256位的二进制描述子，存储结构相同，为建立综合点线特征的离线字典和查询图像数据库等操作提供了便利。

S103、根据所述点特征和线特征，分别进行点匹配和线匹配，并根据匹配结果确定目标点和目标线。

相邻视频帧的两个图像会由于摄像头位置发生变化，使得图像中原来同一个点的位置变化，在本申请实施例中进行点、线、面的匹配其目的是为了能够找到两个图像中的同一个点，如第一帧图像的点A，在第二帧图像中为点B，在进行点匹配时就需要通过对第一帧图像中的众多点和第二帧图像中的众多点进行匹配，以得到点A和点B。

在本申请实施例中提供了一种点、线匹配的方法，包括：

获取相邻视频帧的特征点，并计算得到所述特征点对应的特征向量的汉明距离；

若所述汉明距离小于第一阈值，且在搜索区域内最小，则判断所述相邻视频帧的特征点匹配成功，得到目标点；

获取相邻视频帧中满足预设特定条件的两条线，并判断所述两条线的重叠区域长度与两条线中最短线的比值是否大于第二阈值，所述预设特定条件根据两条线的长度进行设定；

如果是，则判断所述两条线的特征向量的距离是否小于第三阈值，且在搜索区域内最小，如果是，则判定所述两条线匹配成功，得到目标线。

举例说明，匹配部分通过特征点对应特征向量的汉明距离来度量特征点的相似性，如果极线上对应特征向量的距离小于设定阈值，并且搜索区域内最小的，认为匹配成功。

线特征的匹配需要综合直线的几何约束，满足以下条件：

1)由于LSD检测具有方向性，两匹配线段的方向向量夹角小于

2)两线段的长度比值

3)计算两线段重叠区域长度l_overlap，保证

4)对应LBD特征向量的距离小于设定阈值ρ，并且是其中距离最小的，认为匹配成功。

S104、根据所述深度图生成3D点云。

对深度图生成的3D点云提取平面和圆柱面特征，平面包含墙面、地面以及桌面等，圆柱面包含隧道墙面等，采用采用CAPE(CYLINDER AND PLANE EXTRACTION)算法，该算法中包含了圆柱面和平面的特征提取。

在本发明中是根据小孔相机模型从深度图中生成3D点云。

S105、在所述3D点云提取平面和圆柱面对应的特征信息。

在本申请实施例中提供了一种面特征信息提取方法，包括：

在所述3D点云上建立图像块，通过深度差异评估每块所述图像块的平面性，得到评估结果；

根据所述评估结果进行平面拟合，并计算拟合后的每个平面的法向量和均方误差，根据所述均方误差进行分类，得到初始平面分类结果；

根据所述法向量建立直方图，在所述直方图中确定种子点；

根据所述种子点进行区域增长，得到平面段和圆柱面；

对所述平面段进行合并，得到平面。

举例说明，

在深度图上建立不重叠的M*M图像块，通过深度差异性评估每块的平面性，然后通过PCA(principal component analysis)进行平面单元拟合，并计算每个平面的法向量和MSE(Mean Squared Error)，根据MSE进行分类，形成初始的平面分类结果；

根据平面法向量建立直方图，从直方图中最高柱中选择区域增长的种子点；

根据上一步得到的种子点，以4邻域搜索进行区域增长；

平面和圆柱面拟合，得到平面{N,d}，其中N表示平面的法向量，d代表该平面的深度值，圆柱形面{A,B}，A,B表示圆柱轴线上的两个点；

根据相似的模型参数以及共同的单元，将平面段进行合并；

最后通过形态学操作改善平面边界。

其中，相似的模型参数指的是平面的法向量及深度值，共同的单元指的是共同的像素，即不同平面的模型参数相似，且包含一定数量的共同的像素，那就将其合并。通过形态学操作进行改进平面边界，主要作用是去填补空洞，并去除可能存在的孤立点。

S106、根据所述平面和圆柱面对应的特征信息，分别进行平面和圆柱面匹配，并根据匹配结果确定目标平面和目标圆柱面。

具体的，分别获取连续两帧的平面和圆柱面；

若连续两帧的两个平面满足平面特定条件，则所述两个平面匹配成功，得到目标平面，其中，所述平面特定条件为两个平面的重叠区域与两个平面之间的最小平面的比值大于第三阈值，且两个平面的法向量之间的夹角小于第四阈值，两平面的距离小于第五阈值；

若连续两帧的两个圆柱面满足圆柱面特定条件，则所述两个圆柱面匹配成功，得到目标圆柱面，其中，所述圆柱面特定条件为两个圆柱面对应的圆柱轴之间的夹角小于第六阈值，且两个圆柱面对应的半径之间计算得到的马氏距离小于第七阈值，且两个圆柱面之间的重叠区域与所述两个圆柱面中最小圆柱面之间的比值大于第八阈值。

举例说明，在连续帧之间的平面和圆柱面需要进行匹配，首先平面的匹配如下所示：

计算两平面的重叠区域p_overlap，保证

两平面的法向量之间的夹角要小于10°；

距离|d₁-d₂|小于10cm。

然后，圆柱面的匹配如下所示：

两圆柱面对应的圆柱轴之间的夹角小于30°；

两圆柱面对应的半径之间计算马氏距离小于2000；

计算两平面的重叠区域c_overlap，保证

S107、依据所述目标点、目标线、目标平面和目标圆柱面进行深度相机的位姿估计，得到估计结果。

上述特征匹配实现了点、线、面的特征匹配，可以应用在相邻帧特征匹配以及局部地图特征匹配。相邻帧特征匹配是为了利用前后帧的信息，使用较少的特征来粗略地估计当前时刻相机的位姿；而局部地图特征匹配涉及到多帧的信息，采用较多约束能够得带来更精确的解。经过相邻帧以及局部地图的特征匹配后，可以得到一系列的点线面综合匹配关系，通过这些匹配关系进行姿态求解与优化。PnP是求解3D到2D点对运动的方法，它描述了已知n个3D空间点以及它们的投影位置时，如何估计相机的位姿。在加入线特征后，需要联合点、线进行位姿估计。对于相邻帧匹配的运动估计，则是假定跟踪到的空间点和空间直线的坐标是准确的,以当前帧的位姿作为需要优化的状态变量构建图模型，通过最小化以下代价函数求解：

x_c表示相邻帧之间的匹配对集合，函数等号右侧前半部分为点特征信息，后半部分为线特征信息，其中ρ为Huber的cost函数，∑为协方差矩阵，e为投影误差，p_i l_j为特征集。而在这基础上又加入了圆柱面和平面特征，对应的代价函数为：

r_p,r_c分别表示了平面和圆柱面的投影误差，α_plane,α_cylinder表示平面和圆柱面的影响因子，W_p和W_c表示权重对角矩阵，χ_p和χ_c为平面和圆柱面特征集。

综合起来，位姿估计公式为：

从而可以根据位姿估计公式，利用得到的点、线、面特征得到最终的位姿估计结果。

本发明提供的深度相机的位姿估计方法是一种点线面综合特征的视觉里程计技术，该方法运用采集的视频帧图像信息提取ORB特征点和LSD特征线，再运用深度图生成的点云提取平面和圆柱面特征信息，最后通过点线面综合特征的匹配求解并优化位姿。该方法能够更加充分利用彩色图与深度图的信息，克服纹理稀疏或缺失场景中跟踪状态表现不佳的问题，并提供更为直观的几何结构信息。可用于在室内、外环境的机器人定位与姿态估计。

在本发明实施例中还提供了一种一种深度相机的位姿估计系统，参见图2，包括：

图像获取单元10，用于获取视频帧图像和深度图；

第一提取单元20，用于将所述视频帧图像转换为灰度图像序列，并提取所述灰度图像序列的点特征和线特征；

第一匹配单元30，用于根据所述点特征和线特征，分别进行点匹配和线匹配，并根据匹配结果确定目标点和目标线；

点云生成单元40，用于根据所述深度图生成3D点云；

第二提取单元50，用于在所述3D点云提取平面和圆柱面对应的特征信息；

第二匹配单元60，用于根据所述平面和圆柱面对应的特征信息，分别进行平面和圆柱面匹配，并根据匹配结果确定目标平面和目标圆柱面；

估计单元70，用于依据所述目标点、目标线、目标平面和目标圆柱面进行深度相机的位姿估计，得到估计结果。

在上述实施例的基础上，所述第一提取单元包括：

转换子单元，用于将所述视频帧图像转换为灰度图像序列；

第一检测子单元，用于对所述灰度图像进行ORB特征点检测，获得点特征；

第二检测子单元，用于对所述灰度图像进行LBD检测，获得线特征。

在上述实施例的基础上，所述第一匹配单元包括：

第一计算子单元，用于获取相邻视频帧的特征点，并计算得到所述特征点对应的特征向量的汉明距离；

第一判断子单元，用于若所述汉明距离小于第一阈值，且在搜索区域内最小，则判断所述相邻视频帧的特征点匹配成功，得到目标点；

第二判断子单元，用于获取相邻视频帧中满足预设特定条件的两条线，并判断所述两条线的重叠区域长度与两条线中最短线的比值是否大于第二阈值，所述预设特定条件根据两条线的长度进行设定；

第三判断子单元，用于如果是，则判断所述两条线的特征向量的距离是否小于第三阈值，且在搜索区域内最小，如果是，则判定所述两条线匹配成功，得到目标线。

在上述实施例的基础上，所述第二提取单元包括：

评估子单元，用于在所述3D点云上建立图像块，通过深度差异评估每块所述图像块的平面性，得到评估结果；

分类子单元，用于根据所述评估结果进行平面拟合，并计算拟合后的每个平面的法向量和均方误差，根据所述均方误差进行分类，得到初始平面分类结果；

直方图建立子单元，用于根据所述法向量建立直方图，在所述直方图中确定种子点；

区域增长子单元，用于根据所述种子点进行区域增长，得到平面段和圆柱面；

合并子单元，用于对所述平面段进行合并，得到平面。

在上述实施例的基础上，所述第二匹配单元包括：

面获取子单元，用于分别获取连续两帧的平面和圆柱面；

第四判断子单元，用于若连续两帧的两个平面满足平面特定条件，则所述两个平面匹配成功，得到目标平面，其中，所述平面特定条件为两个平面的重叠区域与两个平面之间的最小平面的比值大于第三阈值，且两个平面的法向量之间的夹角小于第四阈值，两平面的距离小于第五阈值；

第五判断子单元，用于若连续两帧的两个圆柱面满足圆柱面特定条件，则所述两个圆柱面匹配成功，得到目标圆柱面，其中，所述圆柱面特定条件为两个圆柱面对应的圆柱轴之间的夹角小于第六阈值，且两个圆柱面对应的半径之间计算得到的马氏距离小于第七阈值，且两个圆柱面之间的重叠区域与所述两个圆柱面中最小圆柱面之间的比值大于第八阈值。

在上述实施例的基础上，所述估计单元具体用于：

根据当前帧的深度相机的位姿作为待优化的状态变量构建图模型，通过目标代价函数的解值对所述图模型进行优化，得到深度相机的位姿估计结果；

其中，所述目标代价函数为根据所述目标点、目标线、目标平面和目标圆柱面对应的特征数据构建的。

本发明提供了一种深度相机的位姿估计系统，通过对获取的视频帧图像和深度图像进行处理，即提取视频帧图像的点特征和线特征，再运用深度图生成的点云提取平面和圆柱面特征信息，最后通过点线面综合特征的匹配求解并优化位姿。该方法能够更加充分利用彩色图与深度图的信息，克服纹理稀疏或缺失场景中跟踪状态表现不佳的问题，并提供更为直观的几何结构信息。可用于在室内、外环境的机器人定位与姿态估计。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种深度相机的位姿估计方法，其特征在于，包括：

获取视频帧图像和深度图；

将所述视频帧图像转换为灰度图像序列，并提取所述灰度图像序列的点特征和线特征；

根据所述点特征和线特征，分别进行点匹配和线匹配，并根据匹配结果确定目标点和目标线；

根据所述深度图生成3D点云；

在所述3D点云提取平面和圆柱面对应的特征信息；

根据所述平面和圆柱面对应的特征信息，分别进行平面和圆柱面匹配，并根据匹配结果确定目标平面和目标圆柱面；

依据所述目标点、目标线、目标平面和目标圆柱面进行深度相机的位姿估计，得到估计结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述视频帧图像转换为灰度图像序列，并提取所述灰度图像序列的点特征和线特征，包括：

将所述视频帧图像转换为灰度图像序列；

对所述灰度图像进行ORB特征点检测，获得点特征；

对所述灰度图像进行LBD检测，获得线特征。

3.根据权利要求1所述的方法，其特征在于，所述根据所述点特征和线特征，分别进行点匹配和线匹配，并根据匹配结果确定目标点和目标线，包括：

获取相邻视频帧的特征点，并计算得到所述特征点对应的特征向量的汉明距离；

若所述汉明距离小于第一阈值，且在搜索区域内最小，则判断所述相邻视频帧的特征点匹配成功，得到目标点；

获取相邻视频帧中满足预设特定条件的两条线，并判断所述两条线的重叠区域长度与两条线中最短线的比值是否大于第二阈值，所述预设特定条件根据两条线的长度进行设定；

如果是，则判断所述两条线的特征向量的距离是否小于第三阈值，且在搜索区域内最小，如果是，则判定所述两条线匹配成功，得到目标线。

4.根据权利要求1所述的方法，其特征在于，所述在所述3D点云提取平面和圆柱面对应的特征信息，包括：

在所述3D点云上建立图像块，通过深度差异评估每块所述图像块的平面性，得到评估结果；

根据所述评估结果进行平面拟合，并计算拟合后的每个平面的法向量和均方误差，根据所述均方误差进行分类，得到初始平面分类结果；

根据所述法向量建立直方图，在所述直方图中确定种子点；

根据所述种子点进行区域增长，得到平面段和圆柱面；

对所述平面段进行合并，得到平面。

5.根据权利要求3所述的方法，其特征在于，所述根据所述平面和圆柱面对应的特征信息，分别进行平面和圆柱面匹配，并根据匹配结果确定目标平面和目标圆柱面，包括：

分别获取连续两帧的平面和圆柱面；

若连续两帧的两个平面满足平面特定条件，则所述两个平面匹配成功，得到目标平面，其中，所述平面特定条件为两个平面的重叠区域与两个平面之间的最小平面的比值大于第三阈值，且两个平面的法向量之间的夹角小于第四阈值，两平面的距离小于第五阈值；

若连续两帧的两个圆柱面满足圆柱面特定条件，则所述两个圆柱面匹配成功，得到目标圆柱面，其中，所述圆柱面特定条件为两个圆柱面对应的圆柱轴之间的夹角小于第六阈值，且两个圆柱面对应的半径之间计算得到的马氏距离小于第七阈值，且两个圆柱面之间的重叠区域与所述两个圆柱面中最小圆柱面之间的比值大于第八阈值。

6.根据权利要求1所述的方法，其特征在于，所述依据所述目标点、目标线、目标平面和目标圆柱面进行深度相机的位姿估计，得到估计结果，包括：

根据当前帧的深度相机的位姿作为待优化的状态变量构建图模型，通过目标代价函数的解值对所述图模型进行优化，得到深度相机的位姿估计结果；

其中，所述目标代价函数为根据所述目标点、目标线、目标平面和目标圆柱面对应的特征数据构建的。

7.一种深度相机的位姿估计系统，其特征在于，包括：

图像获取单元，用于获取视频帧图像和深度图；

第一提取单元，用于将所述视频帧图像转换为灰度图像序列，并提取所述灰度图像序列的点特征和线特征；

第一匹配单元，用于根据所述点特征和线特征，分别进行点匹配和线匹配，并根据匹配结果确定目标点和目标线；

点云生成单元，用于根据所述深度图生成3D点云；

第二提取单元，用于在所述3D点云提取平面和圆柱面对应的特征信息；

第二匹配单元，用于根据所述平面和圆柱面对应的特征信息，分别进行平面和圆柱面匹配，并根据匹配结果确定目标平面和目标圆柱面；

估计单元，用于依据所述目标点、目标线、目标平面和目标圆柱面进行深度相机的位姿估计，得到估计结果。

8.根据权利要求7所述的系统，其特征在于，所述第一提取单元包括：

转换子单元，用于将所述视频帧图像转换为灰度图像序列；

第一检测子单元，用于对所述灰度图像进行ORB特征点检测，获得点特征；

第二检测子单元，用于对所述灰度图像进行LBD检测，获得线特征。

9.根据权利要求7所述的系统，其特征在于，所述第一匹配单元包括：

第一计算子单元，用于获取相邻视频帧的特征点，并计算得到所述特征点对应的特征向量的汉明距离；

第一判断子单元，用于若所述汉明距离小于第一阈值，且在搜索区域内最小，则判断所述相邻视频帧的特征点匹配成功，得到目标点；

第二判断子单元，用于获取相邻视频帧中满足预设特定条件的两条线，并判断所述两条线的重叠区域长度与两条线中最短线的比值是否大于第二阈值，所述预设特定条件根据两条线的长度进行设定；

第三判断子单元，用于如果是，则判断所述两条线的特征向量的距离是否小于第三阈值，且在搜索区域内最小，如果是，则判定所述两条线匹配成功，得到目标线。

10.根据权利要求7所述的系统，其特征在于，所述第二提取单元包括：

评估子单元，用于在所述3D点云上建立图像块，通过深度差异评估每块所述图像块的平面性，得到评估结果；

分类子单元，用于根据所述评估结果进行平面拟合，并计算拟合后的每个平面的法向量和均方误差，根据所述均方误差进行分类，得到初始平面分类结果；

直方图建立子单元，用于根据所述法向量建立直方图，在所述直方图中确定种子点；

区域增长子单元，用于根据所述种子点进行区域增长，得到平面段和圆柱面；

合并子单元，用于对所述平面段进行合并，得到平面。