CN108776989B - 基于稀疏slam框架的低纹理平面场景重建方法 - Google Patents

Abstract

本发明公开一种基于稀疏SLAM框架的低纹理平面场景重建方法，包括以下步骤：1、通过RGB‑D相机Kinect读取图像数据每一帧的RGB图像与深度图像。2、对于获取的每一帧图像，进行下述处理：A、在稀疏SLAM的框架下，通过像素之间的灰度差异获取图像中的特征点；B、提取图像中获取不到足够特征点的平面区域，作为平面路标；3、将特征点在世界坐标系下的坐标作为地图点，进行局部的建图；4、对局部地图进行捆集调整优化与回环检测局部地图；5、将特征点与平面都作为路标，进行回环检测，并进行全局的捆集调整来优化相机位姿与轨迹。本发明既可解决低纹理区域重建的质量问题，又提高了稀疏特征点SLAM系统的鲁棒性。

Description

基于稀疏SLAM框架的低纹理平面场景重建方法

技术领域

本发明涉及计算机视觉、数字图像处理和同时定位与建图领域，特别是涉及一种基于稀疏SLAM框架的低纹理平面场景重建方法。

背景技术

在计算机图形学领域，三维重建指利用摄像机拍摄得到的二维图像中的深度、纹理等信息恢复出三维空间中物体的形状与位置信息。基于视觉图像的三维重建具有成本低廉、自动化程度高的特点。

基于视觉的三维重建根据分类方法的不同有很多种类。近年来，无论是基于RGB-D图像还是其他单目相机的三维重建，SLAM框架都得到了广泛的运用。同时定位与建图(Simultaneous Localization and Mapping，SLAM)问题是让定位和重建同时进行，相较于传统的三维重建将定位与建模分割开来的方法，具有较好的实时性，能够满足更高层次的任务需求，因此目前多数的三维重建的方法与SLAM的研究紧密得结合在一起。

基于稀疏特征点的SLAM方法是研究者们研究的方向之一，其通过提取图像中的特征点进行立体匹配，对于纹理复杂，图像灰度差异大的场景，这些方法可以取得不错的效果。然而，现实场景中存在着大量的低纹理平面区域，如室内场景中的墙壁、桌面等物体。这些图像的灰度变化较为平缓，邻近区域的灰度相似度比较大，会导致提取不到充足的特征点来计算相机的运动。同时，每一个像素本身具有很大的歧义性，并且可区分性差，而像素间相似度的差异是进行特征点匹配过程中的很重要的约束条件，如果相似度差异小会产生比较多的错误匹配，影响重建的精度。通常用比较大的邻域像素信息来约束该像素，但是采用较大的邻域信息容易使重要的特征信息变的模糊，并且导致错误的视差计算。更为严重的会造成算法跟踪失败，影响SLAM系统的鲁棒性。

发明内容

为了解决基于稀疏特征点的SLAM系统在面对低纹理平面区域，如墙壁、柜子等，重建效果差，跟踪容易丢失，算法的鲁棒性不够强的问题，提出了一种将平面检测融合到基于特征点的SLAM系统中的重建方法，可以使得该类SLAM系统应用到更多的生活场景中去。

本发明基于稀疏SLAM框架的低纹理平面场景重建方法，包括以下步骤：

基于稀疏SLAM框架的低纹理平面场景重建方法，其特征在于：包括以下步骤：

步骤一：通过相机读取图像数据每一帧的RGB图像与深度图像。

步骤二：对于获取的每一帧图像，进行下述处理：

A、在稀疏SLAM的框架下，通过像素之间的灰度差异获取图像中的特征点。

B、提取图像中获取不到足够特征点的平面区域，作为平面路标。

步骤三：将特征点在世界坐标系下的坐标作为地图点，进行局部的建图。

步骤四：对局部地图进行捆集调整优化与回环检测局部地图。

步骤五：将特征点与平面都作为路标，进行回环检测，并进行全局的捆集调整来优化相机位姿与轨迹。

本发明的优点在于：

1、本发明基于稀疏SLAM框架的低纹理平面场景重建方法，将平面提取结合到稀疏特征点SLAM方法中，检测到的平面不仅可以在视觉里程计部分用来估计与跟踪相机姿态，还可以在后端用来对轨迹进行优化，既解决了对于低纹理区域重建的质量问题，又提高了稀疏特征点SLAM系统的鲁棒性。

2、本发明基于稀疏SLAM框架的低纹理平面场景重建方法，平面提取与特征点提取同时并行进行，不会过于降低原有的稀疏SLAM系统的计算效率，确保系统依然具有较好的实时性，以满足一些机器人及其他应用的要求。

3、本发明基于稀疏SLAM框架的低纹理平面场景重建方法，虽然增加了平面提取部分，但是，即使是在一些纹理密集，平面较少的区域，由于没有丢掉原有的稀疏特征点SLAM框架，本方法依然能够在这些场景进行重建工作，满足实际需要。

附图说明

图1为本发明基于稀疏SLAM框架的低纹理平面场景重建方法流程图；

图2为本发明基于稀疏SLAM框架的低纹理平面场景重建方法中获取图像中一点法向量示意图；

图3为本发明基于稀疏SLAM框架的低纹理平面场景重建方法中应用的图优化方法示意图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

本发明基于稀疏SLAM框架的低纹理平面场景重建方法，如图1所示，包括以下步骤：

步骤一：通过RGB-D相机Kinect读取图像数据每一帧的RGB图像与深度图像。

步骤二：对于获取的每一帧图像，根据每一帧图像是否能够获取到足够数量的特征点，分为两种情况同时进行。分别是：

情况1：在稀疏SLAM的框架下，通过像素之间的灰度差异获取图像中的特征点。首先，对步骤一中获取的每一帧图像，提取图像中的ORB特征点。对于所需重建的场景中纹理特征复杂的部分，反映在图像上即为能够提取得到足够数量的ORB特征点。之后利用FLANN算法对每两帧图像提取得到的特征点进行匹配，得到ORB特征点对，用于跟踪相机的运动，估计相机的位姿。

情况2：对于图像中获取不到足够特征点的区域，比如一些低纹理的平面区域，则将这些平面区域从图像中提取出来，作为之后匹配与跟踪的平面路标。其主要由以下几步组成：

其中，提取图像中的平面区域通过下述方法实现：

注：下述说明公式中斜体加粗的为矢量，斜体为加粗的为标量，正体加粗的为矩阵。

a、估计图像中每个点的法向量。在三维空间中的一个点p的法线向量可以用n_p＝(n_x,n_y,n_z)表示，其中n_x,n_y,n_z为法向量在空间坐标系三个轴方向上的分量。具体为：如图2所示，假设图像中的一点p，计算其左右相邻点的向量v_p,h以及上下相邻点的向量v_p,v。由此可以通过向量计算得到两个向量交点p的法向量n_p：

n_p＝v_p,h×v_p,v

b、步骤a中计算得到了每个点的法线n_p＝(n_x,n_y,n_z)，于是在相机坐标系下对于图像中的每个点p可以给其增加向量信息表示为：

p＝{x,y,z,n_x,n_y,n_z}

其中，(x,y,z)是点p在相机坐标系下的坐标，(n_x,n_y,n_z)是点p的法向量。

同时通过点乘给点p增加距离信息n_d：

n_d＝{x,y,z}·{n_x,n_y,n_z}

由此，一个完整的具有几何信息的点p可表示为：

p＝{x,y,z,n_x,n_y,n_z,n_d}

针对图像上的任意两个点p₁,p₂，计算两个距离，分别是法线之间的角度差异dist_normal(p₁,p₂)与两点之间的距离差异dist_range(p₁,p₂)：

dist_normal(p₁,p₂)＝n_p1·n_p2

dist_range(p₁,p₂)＝|n_d1-n_d2|

其中，n_p1与n_p2分别为点p₁与p₂的法向量；n_d1与n_d2分别为p₁与p₂的距离信息。

若上述两个距离同时小于各自对应的设定距离阈值thresh_normal与thresh_range，则可以认为两个点在同一平面上，由此可以将图像中的平面区域分割出来。

通过上述方法，提取出每一帧图像中的平面区域后，除了在情况1中的特征点匹配，将提取出的平面区域也用于匹配跟踪定位，具体利用以下几何信息：平面法向量、提取出来的平面中每两个平面之间的距离，以及平面投影中的重叠部分。无论是特征点还是平面路标的匹配，在跟踪的过程中同时进行。

步骤三：局部建图。

随着相机的运动，在相机获得的每一帧图像中可以获取得到足够的特征点、平面路标，指定步长，每隔10帧作为一个关键帧(该步长可以随着实际应用情况改变)。因此，通过估计得到相机位姿，将匹配的特征点进行三角化，将特征点在世界坐标系下的坐标作为地图点，从而可以生成一系列的地图点进行局部的建图。

步骤四：局部地图优化

由于误差的存在，需要对局部地图进行捆集调整优化与回环检测；具体为：

对步骤三中的关键帧，利用局部捆集调整对局部地图进行优化，剔除一些多余的关键帧。由于步骤二中进行了平面提取，而平面在每帧中观测到的次数远小于特征点，将平面融合到优化过程中不会增加过多的计算量，因此将平面路标放到局部地图中，通过图优化方法实现局部地图优化，具体为：

如图3所示，令x₀,…,x_t为六自由度的相机位姿，π₀,…,π_n为平面路标，c₀,…,c_t为相机对平面的观测，u₁,…,u_t为根据前端视觉里程计估计得到的相机运动。

针对平面方程ax+by+cz+d＝0,采用矩阵[a b c d]^T表示平面路标，其中，平面法向量n_p＝[a b c]^T,这里的a，b，c与上文中n_p＝(n_x,n_y,n_z)有对应关系a＝n_x，b＝n_y，c＝n_z。d表示平面到相机坐标系原点的距离。对于平面π_i上的点p_i

π_i ^Tp_i＝0

由相机坐标系与世界坐标系的关系，有

其中，

表示由相机坐标系到世界坐标系的变换矩阵；p_ω是点p_i在世界坐标系下的坐标，π_ω是平面在世界坐标系下的坐标；p_c是点p_i在相机坐标系下的坐标，π_c是平面在相机坐标系下的坐标。

用一个单位四元数q实现平面的最少参数表示，解决自由度冗余的问题，从而可以利用李代数解决优化中的最小二乘问题。

q＝(q₁,q₂,q₃,q₄)^T∈R⁴，||q||＝1

步骤五：将特征点与平面都作为路标，用词袋(bag of words)BoW的方法进行回环检测，并进行全局的捆集调整来优化相机位姿与轨迹。

本发明基于稀疏SLAM框架的低纹理平面场景重建方法，不仅得到了相机的轨迹，并且无论是针对纹理密集的区域还是一些纹理特征稀疏的平面区域，本方法都能获得一个较为良好的重建效果。

Claims (4)

1.基于稀疏SLAM框架的低纹理平面场景重建方法，其特征在于：包括以下步骤：

步骤一：通过相机读取图像数据每一帧的RGB图像与深度图像；

步骤二：对于获取的每一帧图像，进行下述处理：

A、在稀疏SLAM的框架下，通过像素之间的灰度差异获取图像中的特征点；

B、提取图像中获取不到足够特征点的平面区域，作为平面路标；

获取平面区域的方法为：

a、估计图像中每个点的法向量；

假设图像中的一点p，计算其左右相邻点的向量v_p,h以及上下相邻点的向量v_p,v；由此可以通过向量计算得到两个向量交点p的法向量n_p：

n_p＝v_p,h×v_p,v

b、根据步骤a中得到的每个点的法向量

在相机坐标系下对于图像中的每个点p增加向量信息，表示为：

p＝{x,y,z,n_x,n_y,n_z}

其中，(x,y,z)是点p在相机坐标系下的坐标，(n_x,n_y,n_z)是点p的法向量；

同时通过点乘给点p增加距离信息n_d：

n_d＝{x,y,z}·{n_x,n_y,n_z}

由此，得到完整的具有几何信息的点p，可表示为：

p＝{x,y,z,n_x,n_y,n_z,n_d}

针对图像上的任意两个点p₁,p₂，计算两个距离，分别是法线之间的角度差异dist_normal(p₁,p₂)与两点之间的距离差异dist_range(p₁,p₂)：

dist_normal(p₁,p₂)＝n_p1·n_p2

dist_range(p₁,p₂)＝|n_d1-n_d2|

若上述两个距离同时小于各自对应的设定距离阈值thresh_normal与thresh_range，则两个点在同一平面，由此将图像中的平面区域分割出来；

步骤三：将特征点在世界坐标系下的坐标作为地图点，进行局部的建图；

步骤四：对局部地图进行捆集调整优化与回环检测局部地图；

步骤五：将特征点与平面都作为路标，进行回环检测，并进行全局的捆集调整来优化相机位姿与轨迹。

2.如权利要求1所述基于稀疏SLAM框架的低纹理平面场景重建方法，其特征在于：步骤二中特征点获取方法为：首先，对每一帧图像，提取图像中的ORB特征点，之后利用FLANN算法对每两帧图像提取得到的特征点进行匹配，得到ORB特征点对。

3.如权利要求1所述基于稀疏SLAM框架的低纹理平面场景重建方法，其特征在于：步骤四中对局部地图进行捆集调整优化，具体方式为：

在相机获得的每一帧图像中获取指定步长的关键帧，对关键帧，利用局部捆集调整对局部地图进行优化，剔除多余的关键帧。

4.如权利要求3所述基于稀疏SLAM框架的低纹理平面场景重建方法，其特征在于：步骤三中将平面路标放到局部地图中，通过图优化方法实现局部地图优化，具体为：

令x₀,...,x_t为六自由度的相机位姿，π₀,…,π_n为平面路标，c₀,…,c_t为相机对平面的观测，u₁,…,u_t为根据前端视觉里程计估计得到的相机运动；

采用矩阵[a b c d]^T表示平面路标，其中，平面法向量n_p＝[a b c]^T；a，b，c与n_p＝(n_x,n_y,n_z)有对应关系a＝n_x，b＝n_y，c＝n_z，d表示平面到相机坐标系原点的距离；对于平面π_i上的点p_i，满足

π_i ^Tp_i＝0

由相机坐标系与世界坐标系的关系，有

其中，

表示由相机坐标系到世界坐标系的变换矩阵；p_ω是点p_i在世界坐标系下的坐标，π_ω是平面在世界坐标系下的坐标；p_c是点p_i在相机坐标系下的坐标，π_c是平面在相机坐标系下的坐标；

用一个单位四元数q实现平面的最少参数表示，利用李代数解决优化中的最小二乘问题；

q＝(q₁,q₂,q₃,q₄)^T∈R⁴，‖q‖＝1

q₁、q₂、q₃、q₄为单位四元数；q₁为单位四元数的实部，q₂、q₃、q₄为单位四元数的虚部。

Images