CN113837243B - 基于边缘信息的rgb-d相机动态视觉里程计方法 - Google Patents

Abstract

本发明公开了一种基于边缘信息的RGB‑D相机的动态环境觉里程计方法，该方法包括以下步骤：将采集图像根据深度信息进行场景聚类；再通过光度信息、边缘信息构建出残差模型，引入平均背景深度，加大前景残差；将残差模型与面元3D重建算法结合，分离动态物体并得到聚类权重；将加权聚类残差加入到位姿估计的非线性优化函数中，以降低动态物体的影响，提高位姿估计的精度。通过在TUM RGB‑D数据集上进行实验，实验表明本发明在动态环境下比现有算法有更高的精度与鲁棒性。

Description

基于边缘信息的RGB-D相机动态视觉里程计方法

技术领域

本发明属于视觉SLAM领域，特别是基于边缘信息的RGB-D相机的动态环境觉里程计方法。

背景技术

视觉里程计(visualodometry)是一种利用视觉传感器信息对机器人或其他载体进行准确的位姿估计的方法，相比于使用激光传感器的方法，视觉信息更加丰富，可用于三维重建、物体识别、语义分割等。同时，因其成本低、体积小、精度高等优点，广泛应用于机器人自主导航、自动驾驶、增强现实等领域。

在实际应用场景中，动态环境是无法避免的，而大多数视觉SLAM算法都假设处于静态环境中。动态环境下的SLAM算法问题在于如何区分动态物体和静态物体。在进行位姿估计时，如果错误区分二者，则在后续的优化过程会产生误差，从而导致跟踪失败。当动态物体在图像中所占比重较小时，可采用随机采样一致性(RANSAC)或鲁棒Huber函数等概率方法将动态部分当作噪声剔除掉。若动态物体在图像中占比较大时，则无法通过概率方法剔除，需针对动态物体进行处理从而得到正确数据。

发明内容

为了解决上述问题，本发明提出了一种基于边缘信息的RGB-D相机动态视觉里程计方法，在所设计的方法中，K-means聚类算法能够提取更多信息，提高识别动态物体的准确度。提出的边缘信息和K-me ans算法融合可以正确识别动态物体在图像中占比超过50％的情况，提高识别动态物体的准确率。

本发明采用的技术方案是：基于边缘信息的RGB-D相机动态视觉里程计方法，包括以下步骤：

S1，使用K-means聚类法，将RGB-D相机获取的图像分为24个簇；

S2，将聚类后的边缘图与灰度图分别坐标变换到关键帧及其DT图上，分别得到光度及几何一致性残差、边缘对齐残差和补偿残差；

S3，将所述光度及几何一致性残差和边缘对齐残差进行数据融合，构建基于边缘信息的聚类残差模型；

S4，引入平均背景深度进行运动分割，基于步骤S3构建的模型引入平均背景深度构建引入平均背景深度聚类残差模型；

S5，计算步骤S2中的补偿残差；

S6，将步骤S2中的补偿残差模型与面元3D重建算法结合，得到加权聚类残差；

S7，将步骤S6得到的加权聚类残差加入优化函数中进行位姿估算，并将得到的位姿进行跟踪质量检查，更新下次迭代的变换矩阵或关键帧。

本发明的优点及有益效果如下：

在传统视觉里程计中无法对动态物体进行处理，只能将其当做干扰噪声去除，当动态物体在图像中占比较大时，如果将其当做噪声去除则会产生信息丢失、图片模糊、无法完成精准定位等问题，同时也会导致鲁棒性下降。

本发明提出将边缘信息和聚类算法相结合并引入平均背景深度，可以正确处理动态物体在图像中占比超过50％的情况，并在信息丢失、图像模糊等情况下也有更好的鲁棒性。首先通过引入K-means聚类算法将图像进行分簇，方便后续处理。同时将RGB-D相机采集到的图像进行边缘处理，得到边缘对齐残差。再将通过聚类处理后的光度和几何残差与边缘对齐残差想融合得到加权聚类残差，通过面元重建算法分离动态簇和静态簇，最后完成里程计的后端优化处理。通过相关算法改进，本发明在鲁棒性和里程计精度上都得的较大改进。

附图说明

图1是本发明的算法框架。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

参见图1，本方法的主要步骤为：

S1，使用K-means聚类法，将图像分为24个簇；

S2，将聚类后的边缘图与灰度图分别坐标变换到关键帧及其DT图上，分别得到光度及几何一致性残差、边缘对齐残差和补偿残差；

S3，将S2中光度及几何一致性残差和边缘对齐残差进行数据融合，构建基于边缘信息的聚类残差模型；

S4，引入平均背景深度进行运动分割，基于S3构建引入平均背景深度的聚类残差模型；

S5，计算S2中补偿残差；

S6，将S2中残差模型与面元3D重建算法结合，得到加权聚类残差；

S7，将S3得到的加权聚类残差加入优化函数中进行位姿估算，并将得到的位姿进行跟踪质量检查，更新下次迭代的变换矩阵或关键帧。

步骤S1的具体实施过程为：

采用K-means聚类法，计算每一个三维空间点距离簇中心点的距离，来确定该空间点属于哪一个簇。通过K-means聚类相关算法及实验数据发现将簇分为24个得到的效果最好。

步骤S2的具体实施过程为：

S21：将聚类后的当前帧F_c坐标变换到关键帧F_k，根据光度及几何一致性构建残差模型，计算光度及几何一致性误差，所述基于光度及几何一致性的残差模型具体公式如下：

式中，和/>分别表示点p对应的光度误差与深度误差，x^p为当前帧的第p个像素点，M表示关键帧，D表示当前帧，I为光度图，Z为深度图，|·|_Z表示三维坐标点的Z坐标值，ξ为当前帧到关键帧坐标变换的李代数，π^-1为逆投影函数，ω为坐标变换函数，T(ξ)表示变换矩阵。

S22：将聚类后的边缘图坐标变换到关键帧的DT图，得到基于边缘对齐的残差模型，具体公式如下：

式中，表示边缘对齐残差，/>表示边缘点p对应的DT误差。DT_M表示关键帧的DT误差函数。

步骤S3的具体实施过程为：

S31：将边缘对齐误差引入到光度及几何误差中构建融合边缘信息的残差模型，具体公式如下：

式中，r_n表示第n个簇的残差值，分别表示点i对应的光度误差、深度误差和DT误差，α_I表示缩放强度，α_E表示DT误差在残差模型中所占权重，O_n表示第n个簇中遮挡的像素个数，E_n表示第n个簇中所有深度有效的边缘点，F(·)表示Cauchy函数，M表示图像中深度有效点的数量，S(b)表示动态残差集合，b_i(p)表示p点所在簇i的得分，/>分别表示根据噪声对光度和几何残差加权的权重。

S32：为了加强本方法的鲁棒性，重构DT残差的权重公式α_E如下：

式中，v_c为相机运动速度，N为簇总数量，μ为由α_I到α_E的尺度系数，S_n表示第n个簇中所有深度有效的像素个数，E_n表示第n个簇中所有深度有效的边缘点。

步骤S4的具体实施过程为：

S41：动态物体一般为独立的刚体且远离背景，通过引入平均背景扩大远离背景部分的簇残差，使得靠近背景的簇偏向分割为静态部分，远离背景的簇分割为动态部分。定义平均背景深度公式为：

式中，表示当前帧的平均背景深度，/>表示上一帧的平均背景深度，d_c-1为上一帧分割出的动态簇数量，/>表示第n个簇的平均背景深度，λ_D表示深度图的权重。

S42：根据S41构建的公式构建引入平均背景深度后的残差模型为：

式中，δ_n为引入平均背景深度后的第n个簇的残差值，表示第n个簇与背景的距离，r_n表示引入平均深度之前第n个簇的残差值。

步骤S5的具体实施过程为：

S51：原始聚类残差准确率不高，运动分割效果差，通过S2中的补偿残差分为S_D(b)、S_R(b)和S_P(b)三项使连续簇取得相似分割。其中S_D(b)是量化后的高残差，S_R(b)是一个正则化项，S_P(b)是一个几何约束项，惩罚较大的平均深度差。

S(b)＝S_D(b)+S_R(b)+S_P(b)

式中，K_i表示簇i中的像素个数，G_ij为聚类连通函数，为1表示i簇与j簇连通，b_i和b_j分别表示当前帧中i与j簇的残差，λ_R表示连通函数的权重，λ_P表示几何约束项的权重，表示点p所在i簇的残差，/>表示Cauchy函数阈值的高低边界。K表示簇的个数。

式中，E(r_n)表示正则后的数值，G_mn为聚类连通函数，为1表示m与n簇连通，r_n和r_m分别表示当前帧中m与n簇的残差，r_n,c-1表示上一帧中第n个簇的残差值，λ_R表示连通函数的权重，λ_T表示第n个簇的当前帧和上一帧残差值差值的权重。

步骤S6的具体实施过程为：

S61：根据聚类残差分布的普遍特征，通过使用面元3D重建算法分离高动态簇和静态簇，伪代码如下：

算法中，为当前帧像素/面元i生存能力，其取值范围为[0,1]对其使用如下的对数几率函数后，可将其取值范围转化为(-∞，+∞)。/>由静态概率/>和两个新定义的变量和v_D决定，定义见下。

式中，x^c为图片中心所处位置，xⁱ为像素/面元i所处位置。σ_γ表示面元的放缩系数。

S62：通过面元3D算法构建场景分割模型，残差高于残差平均值的簇判定为动态部分，低于阈值的簇作为静态部分或赋权部分加入到位姿估算中，具体公式如下：

式中，表示阈值分界点，超过该值则考虑动态簇，r_min表示最小残差值，/>表示平均残差值。/>在初始化过程中设置得较低，确保初试的地图中只含有经典部分。

步骤S7的具体实施过程为：

S71：采用Cauchy M-estimator模型，通过加静态概率权聚类残差来构建非线性优化函数，用以更准确的估计帧间运动，具体公式如下：

式中，M表示所有深度有效的点的数量，表示属于第n个簇的点i的权重，c表示F的插入点，r表示对r点进行Cauchy代价评估。

S72：采用边缘信息来评估跟踪质量，将之前跟踪过W帧的边缘投影到当前帧，得到像素点重叠计数图，通过对相同重叠数构建直方图，来获取图像重叠情况，具体公式如下：

式中H(j)表示重叠数为j的点的数量，γ_j表示重叠数为j的点在跟踪质量评估中所占的权重，H(0)表示没有重叠的点的数量，γ₀表示没有重叠的点在跟踪质量评估中所占的权重。

完成上述所有步骤之后，便可以得到当前帧最优位姿，并为下一次更新迭代做好了准备。

在TUM动态数据集上进行实验，结果表明本发明方法在动态环境下比现有算法有更高的精度与鲁棒性。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.基于边缘信息的RGB-D相机动态视觉里程计方法，其特征在于，包括以下步骤：

S1，使用K-means聚类法，将RGB-D相机采集到的图像分为24个簇；

S2，将聚类后的边缘图与灰度图分别坐标变换到关键帧及其DT图上，分别得到光度及几何一致性残差、边缘对齐残差和补偿残差；

S3，将所述光度及几何一致性残差和边缘对齐残差进行数据融合，构建基于边缘信息的聚类残差模型；

S4，引入平均背景深度进行运动分割，基于步骤S3构建的模型引入平均背景深度构建引入平均背景深度聚类残差模型；

S5，计算步骤S2中的补偿残差；

S6，将步骤S2中的补偿残差和S5构建的残差模型与面元3D重建算法结合，得到加权聚类残差；

根据聚类残差分布的普遍特征，通过使用面元3D重建算法分离高动态簇和静态簇，伪代码如下：

算法中，为当前帧像素/面元i生存能力，其取值范围为[0,1]对其使用如下的对数几率函数后，可将其取值范围转化为(-∞，+∞)，/>由静态概率/>和两个新定义的变量/>和v_D决定，定义如下：

式中，x^c为图片中心所处位置，xⁱ为像素/面元i所处位置，σ_γ表示面元的放缩系数；

通过面元3D算法构建场景分割模型，残差高于残差平均值的簇判定为动态部分，低于阈值的簇作为静态部分或赋权部分加入到位姿估算中，具体公式如下：

式中，表示阈值分界点，超过该值则考虑动态簇，r_min表示最小残差值，r表示平均残差值，/>在初始化过程中设置得较低，确保初试的地图中只含有经典部分，N为簇总数量；

S7，将步骤S6得到的加权聚类残差加入优化函数中进行位姿估算，并将得到的位姿进行跟踪质量检查，更新下次迭代的变换矩阵或关键帧。

2.根据权利要求1所述基于边缘信息的RGB-D相机动态视觉里程计方法，其特征在于：所述K-means聚类法，通过计算每一个三维空间点距离簇中心点的距离，来确定该空间点属于哪一个簇。

3.根据权利要求1所述基于边缘信息的RGB-D相机动态视觉里程计方法，其特征在于：所述步骤S2包括：

S21：将聚类后的当前帧F_c坐标变换到关键帧F_k，根据光度及几何一致性构建残差模型，计算光度及几何一致性误差；

S22：将聚类后的边缘图坐标变换到关键帧的DT图，得到基于边缘对齐的残差模型，计算边缘对齐误差。

4.根据权利要求3所述基于边缘信息的RGB-D相机动态视觉里程计方法，其特征在于：所述构建的光度及几何一致性残差模型为：

式中，和/>分别表示点p对应的光度误差与深度误差，x^p为当前帧的第p个像素点，M表示关键帧，D表示当前帧，I为光度图，Z为深度图，T(ξ)表示变换矩阵，|·|_Z表示三维坐标点的Z坐标值，ξ为当前帧到关键帧坐标变换的李代数，π^-1为逆投影函数，ω为坐标变换函数；

所述边缘对齐残差模型具体公式如下：

式中，表示对齐残差，/>表示边缘点p对应的DT误差，DT_M表示关键帧的DT误差函数。

5.根据权利要求1-4任一项所述基于边缘信息的RGB-D相机动态视觉里程计方法，其特征在于：步骤S3所述基于边缘信息的聚类残差模型，具体公式如下：

式中，r_n表示第n个簇的残差值，分别表示点i对应的光度误差、深度误差和DT误差，α_I表示缩放强度，α_E表示DT误差在残差模型中所占权重，O_n表示第n个簇中遮挡的像素个数，E_n表示第n个簇中所有深度有效的边缘点，F(·)表示Cauchy函数，G表示图像中深度有效点的数量，S(b)表示动态残差集合，b_i(p)表示p点所在i簇的得分，/>分别表示根据噪声对光度和几何残差加权的权重。

6.根据权利要求5所述基于边缘信息的RGB-D相机动态视觉里程计方法，其特征在于：所述DT误差在残差模型中所占权重α_E的公式如下：

式中，v_c为相机运动速度，N为簇总数量，μ为由α_I到α_E的尺度系数，S_n表示第n个簇中所有深度有效的像素个数，E_n表示第n个簇中所有深度有效的边缘点。

7.根据权利要求6所述基于边缘信息的RGB-D相机动态视觉里程计方法，其特征在于：步骤S4所述构建引入平均背景深度聚类残差模型，具体包括：

S41：定义平均背景深度公式为：

式中，表示当前帧的平均背景深度，/>表示上一帧的平均背景深度，d_c-1为上一帧分割出的动态簇数量，/>表示第n个簇的平均背景深度，λ_D表示深度图的权重；

S42：根据S41构建的公式构建引入平均背景深度后的残差模型为：

式中，δ_n为引入平均背景深度后的第n个簇的残差值，表示第n个簇与背景的距离，r_n表示引入平均深度之前第n个簇的残差值。

8.根据权利要求7所述基于边缘信息的RGB-D相机动态视觉里程计方法，其特征在于：步骤S5所述补偿残差S(b)分为S_D(b)、S_R(b)和S_P(b)三项，其中S_D(b)是量化后的高残差，S_R(b)是一个正则化项，S_P(b)是一个几何约束项，惩罚较大的平均深度差，具体公式如下：

S(b)＝S_D(b)+S_R(b)+S_P(b)

式中，K_i表示簇i中的像素个数，E(r_n)表示正则后的数值，G_ij为聚类连通函数，为1表示i与j簇连通，b_i和b_j分别表示当前帧中i簇与j簇的残差，λ_R表示连通函数的权重，λ_P表示几何约束项的权重，表示p点所在i簇的残差，/>表示Cauchy函数阈值的高低边界。

9.根据权利要求8所述基于边缘信息的RGB-D相机动态视觉里程计方法，其特征在于：所述步骤S7具体包括：

S71：采用Cauchy M-estimator模型，通过加权聚类残差来构建非线性优化函数，用来准确的估计帧间运动，具体公式如下：

式中，M表示所有深度有效的点的数量，表示属于第n个簇的点i的权重，c表示F的插入点，r表示对r点进行Cauchy代价评估；

通过最小化非线性优化函数求得最佳的帧间运动；

S72：采用边缘信息来评估跟踪质量，将跟踪过W帧的边缘投影到当前帧中，得到像素点重叠计数图，通过对相同重叠数构建直方图，来获取图像重叠情况，具体公式如下：

式中H(j)表示重叠数为j的点的数量，γ_j表示重叠数为j的点在跟踪质量评估中所占的权重，H(0)表示没有重叠的点的数量，γ₀表示没有重叠的点在跟踪质量评估中所占的权重。