CN109949397A - 一种结合激光点和均值漂移的深度图重建方法 - Google Patents

Abstract

本发明提出了一种结合激光点和均值漂移的深度图重建方法，其实现步骤为：(1)拍摄深度图像；(2)拍摄含有激光点的RGB图像；(3)结合激光点轨迹建立均值漂移描述子；(4)根据激光点规律设置权重；(5)设定阈值判定深度图孔洞和噪声；(6)深度图去噪和孔洞填充；(7)结合深度图和RGB图像进行重建。本方法保留了大量的物体特征，具有较高的鲁棒性，在多种环境下和拍摄对象上均可以保持良好的重建效果。

Description

一种结合激光点和均值漂移的深度图重建方法

技术领域

本发明涉及图像处理方法及系统，具体的涉及一种图像三维重建方法及系统。

背景技术

随着深度相机的出现，基于深度相机的三维扫描和重建技术得到了飞速发展。以微软的Kinect等为代表的深度相机造价低廉，体积适当，操作方便，并且易于研究者和工程师进行开发。

现有的深度图重建方法中，对于弱纹理物体图像重建过程中产生的孔洞和噪声的处理并不完善，其解决方案大多是对算法的单一改进，容易形成误差累积。而一些通过改进拍摄方式的处理方法，容易导致噪声的二次引入。

本发明采用改进的均值漂移算法来解决深度图重建中的孔洞及噪声问题。均值漂移算法是一种基于密度梯度上升的非参数方法，通过迭代运算找到目标位置，实现目标跟踪。它显著的优点是算法计算量小，简单容易实现。本发明将激光点投射在被拍摄物体上，可以辅助均值漂移算法的漂移中心选取，由于深度图重建是依靠物体距离信息来保留特征，所以又可以避免激光点本身带来的噪声。

发明内容

本发明的目的在于解决基于深度图像重建的模型中含有噪声及孔洞问题，通过激光点结合均值漂移算法进行孔洞和噪声的识别并处理，将深度图进行重建，得到特征完整的重建模型。

为实现上述目的，本发明的具体实现步骤如下：

一种结合激光点和均值漂移的深度图重建方法，包括如下步骤：

(1)拍摄深度图像：

用Kinect深度相机拍摄出一幅深度图像；

(2)拍摄一组原始RGB图像和含有激光点的RGB图像：

(2a)在深度相机的上方放置激光发射器，向所述步骤(1)中的拍摄对象投射激光点；

(2b)用深度相机拍摄含有激光点的RGB图像；

(3)结合激光点轨迹建立均值漂移描述子：

(3a)利用核密度估计改进均值漂移算法如下：

x_i+1＝M_h+x_i (2)

其中，h为带宽，x为中心点，x_i为带宽范围内的点，n为带宽范围内的点的数量，M_h为引入核函数状态下的漂移均值，

(3b)将所述步骤(2b)中的激光点群作为所述步骤(3a)中的样本点，利用点群轨迹改进所述步骤(3a)中的(1)式如下：

式(3)即为改进的均值漂移区域中心描述子；

(4)根据激光点规律设置权重：

计算激光器强点群与弱点群间距之比，根据此比例将权重ω作适当调整；

(5)设定阈值判定深度图孔洞和噪声：

均值漂移处理的判定条件如下式：

其中Z为d维向量，可根据获得的作为噪声尺度标准差阈值S_td；

(6)运行改进的均值漂移算法并进行去噪和孔洞填充：

将深度图进行漂移迭代运算，并将视为噪声的区域进行删除处理，视为空洞的区域进行填充处理；

(7)结合深度图和RGB图像进行重建:

利用Opencv、Vtk、Pcl等运行库，将深度图像与原始RGB图像进行重建，最终得到完整的重建模型。

有益效果：通过一种激光点结合均值漂移的方法，使重建模型特征完整，不含孔洞和裂纹，该方法减小了传统均值漂移算法的大量迭代，减少了一般重建方法中因算法堆叠而导致的误差累积。该方法鲁棒性强，对于不同种类的拍摄对象均可适用。

附图说明

图1为本发明的流程图；

图2为激光点变化图；

图3为含有激光点的RGB图像；

图4为改进的均值漂移算法流程图；

图5为经过漂移迭代并处理后的深度图；

图6为重建后的模型图。

具体实施方式：

下面结合附图对本发明的具体实施方式作进一步详细描述。

本发明提供一种结合激光点和均值漂移的深度图重建方法，流程图如图1所示，该方法包括以下步骤：

(1)拍摄深度图像；

(2)拍摄一组原始RGB图像和含有激光点的RGB图像；

(3)结合激光点轨迹建立均值漂移描述子；

(4)根据激光点规律设置权重；

(5)设定阈值判定深度图孔洞和噪声；

(6)运行改进的均值漂移算法并进行去噪和孔洞填充；

(7)结合深度图和RGB图像进行重建。

如图2所示，在上述方案的基础上，进一步的，在步骤(2)中，向物体投射激光点。

如图3所示，在上述方案的基础上，进一步的，在步骤(3)和(4)中，激光点群的密度的变换过程为稀疏-密集-稀疏的周期状态，由中间一组较亮的点群和周围一组较暗的点群组成。本发明将较亮的点群命名为强点群，将较暗的点群称为弱点群。点群的变换原理是通过点阵片的转动带来点的移动，当点的密度变化时，强点群和弱点群的轨迹是圆弧。

如图4所示，在上述方案的基础上，进一步的，在步骤(5)和(6)中，点集中所有点与其邻域的距离大于S_td，则被认为是距离大片点群中心较远、小而密集的点，若距离小于S_td，则将其区域视为孔洞。均值漂移算法主要流程如下：

首先找到均值漂移算法的起点，起点从深度图中梯度最大的区域中选择，然后通过交叉验证法选择适当的带宽h，建立以半径为h的漂移区域，取漂移区域内的所有点，求出漂移向量，再将起点漂移到漂移向量指向的位置，至此完成一次漂移。在反复漂移迭代的同时，删除噪声点并填充孔洞。当漂移向量的位移小于漂移区域中的点间最小距离时，漂移停止。

Claims (6)

1.一种结合激光点和均值漂移的深度图重建方法，包括如下步骤：

(1)拍摄深度图像：

用Kinect深度相机拍摄出一幅深度图像；

(2)拍摄一组原始RGB图像和含有激光点的RGB图像：

(2a)在深度相机的上方放置激光发射器，向所述步骤(1)中的拍摄对象投射激光点；

(2b)用深度相机拍摄含有激光点的RGB图像；

(3)结合激光点轨迹建立均值漂移描述子：

(3a)利用核密度估计改进均值漂移算法如下：

x_i+1＝M_h+x_i (2)

其中，h为带宽，x为中心点，x_i为带宽范围内的点，n为带宽范围内的点的数量，M_h为引入核函数状态下的漂移均值，

(3b)将所述步骤(2b)中的激光点群作为所述步骤(3a)中的样本点，利用点群轨迹改进所述步骤(3a)中的(1)式如下：

式(3)即为改进的均值漂移区域中心描述子；

(4)根据激光点规律设置权重：

计算激光器强点群与弱点群间距之比，根据此比例将权重ω作适当调整；

(5)设定阈值判定深度图孔洞和噪声：

均值漂移处理的判定条件如下式：

其中Z为d维向量，可根据获得的作为噪声尺度标准差阈值S_td；

(6)运行改进的均值漂移算法并进行去噪和孔洞填充：

将深度图进行漂移迭代运算，并将视为噪声的区域进行删除处理，视为空洞的区域进行填充处理；

(7)结合深度图和RGB图像进行重建:

利用Opencv、Vtk、Pcl等运行库，将深度图像与原始RGB图像进行重建，最终得到完整的重建模型。

2.根据权利要求1所述的一种结合激光点和均值漂移的深度图重建方法，其特征在于：所述步骤(3a)的(1)、(2)式具体来源如下：

根据均值漂移算法理论，漂移向量和区域中心基本形式如式(5)和式(6)：

x^t+1＝M^t+x^t (6)

其中M(x)为漂移向量，x_i(i＝1,2,....)为给定d维空间R^d中的n个样本点，S是一个高维球区域：S_h(x)＝{y:(y-x)^T(y-x)≤h²}，k表示在这n个样本点中有k个点落入球区域S_h中，M^t为t状态下求得的偏移均值；x^t为t状态下的区域中心，为解决实际计算中，样本点存在分布差异过大等问题，将均值漂移基本形式改进，得到(1)、(2)式。

3.根据权利要求1所述的一种结合激光点和均值漂移的深度图重建方法，其特征在于：所述步骤(3b)的(3)式具体来源如下：

令点群在深度图像平面坐标为(u_i,v_i)，将其转化为极坐标(u_i,v_i):其中i为激光器点阵上的第i个点，r为圆半径，θ为极角，a,b为圆心偏移值，由激光器点阵片构造及点群强弱而定，β为误差补偿系数，将上述变换带入(3)式中，作如下修正：

令β(a_i-1+rcosθ)为β(b_i-1+rsinθ)为ψ，为A，为B，则公式(7)简化为(3)式。

4.根据权利要求1所述的一种结合激光点和均值漂移的深度图重建方法，其特征在于：所述步骤(4)根据激光点规律设置权重具体如下：

通过点群间距不同来选取权重ω，根据实际测量，本文的激光器中，强点群与弱点群间距之比为或2，可据此比例将ω作适当调整。

5.根据权利要求1所述的一种结合激光点和均值漂移的深度图重建方法，其特征在于：所述步骤(5)设定阈值判定深度图孔洞和噪声的具体方法如下：

点集中所有点与其邻域的距离大于S_td，则被认为是距离大片点群中心较远、小而密集的点，若距离小于S_td，则将其区域视为孔洞。

6.根据权利要求1所述的一种结合激光点和均值漂移的深度图重建方法，其特征在于：所述步骤(6)深度图去噪和孔洞填充具体方法为：

首先找到均值漂移算法的起点，起点从深度图中梯度最大的区域中选择，然后通过交叉验证法选择适当的带宽h，建立以半径为h的漂移区域，取漂移区域内的所有点，通过式(5)与起点计算求出漂移向量，再由式(4)将起点漂移到漂移向量指向的位置，至此完成一次漂移，在反复漂移迭代的同时，删除噪声点并填充孔洞，当漂移向量的位移小于漂移区域中的点间最小距离时，漂移停止。