CN106780726A - 融合rgb‑d相机和彩色光度立体法的动态非刚体三维数字化方法 - Google Patents

Abstract

一种融合RGB‑D相机和彩色光度立体法的动态非刚体三维数字化方法，利用RGB三色光源照射待测物体，使用已标定内部参数的深度相机和彩色相机同时对物体进行拍摄，同时获得其深度图像和彩色图像；结合深度和彩色信息估算出光源方向和反射率；利用变分方法构造一个融合深度项、法向项和光滑约束项的代价函数，采用最小二乘优化求解出改进质量的被测物体表面三维数字化模型，本发明可有效解决现有的动态非刚性三维数字化方法存在着不同帧间图象中非刚性对象的匹配、几何误差较大或重建结果受噪声影响不够光滑和细节不够细腻等问题，具有种高效、高精度、廉价的特点，可应用于动态非刚性物体的三维数字化任务，以实现高效便捷的物体三维重建结果。

Description

融合RGB-D相机和彩色光度立体法的动态非刚体三维数字化 方法

技术领域

本发明属于物体三维数字化重建技术领域，涉及到光度立体理论、点云滤波和优化计算等领域，特别涉及一种融合RGB-D相机和彩色光度立体法的动态非刚体三维数字化方法。

背景技术

近年来随着3D相关技术的发展，非刚性体的三维数字化技术受到了业内的广泛关注。实现高效、高精度、廉价的重建方法一直是三维数字化领域的一个研究重点。现有的非刚性体动态重建方法主要有以下几种。

(1)Non-rigid Structure from Motion(N-SFM)方法

N-SFM通过对一组视频序列的观察矩阵进行SVD分解得到对应的相机矩阵和每一帧下的非刚性体形状矩阵。相对于刚性体而言，非刚性体由于要求解的未知形状数目大为增加，大大增加了求解的难度。并且计算常受遮挡和光照变化的影响，对于时间跨度较大的不同帧之间，其图象密集匹配的计算难度较大，对于细节信息的恢复上不够细腻和光顺。

(2)彩色光度立体方法

Woodham的光度立体法较之于N-SFM的方法可以避开不同帧之间图象的匹配问题，但由于不同的光照变化存在时间的延迟，并不适合于动态非刚性体的重建。为此HernandezC引入了彩色光度立体方法，通过同一时刻红绿蓝三色不同位置光源的照射来实现对动态非刚性体物体的三维重建。上述方法可以较好地恢复出布料这样的非刚性体的细节信息，但在求解中需要事先通过实例球或标定板对光源的方向进行标定，过程复杂，其求解的几何精度也不够准确。

(3)KinectFusion方法

直接使用Kinect这样的深度相机能够实时地获取被测对象的彩色和深度信息，将其用于物体的三维重建。但其深度信息分辨率不够高，且常受噪声的干扰，测量效果不够理想，因此需要提高被测物体的分辨率和光顺性。这方面最有名的工作当属Newcombe等的“KinectFusion”方法，该方法可以融合不同帧的深度信息，对刚性对象可以取得较好的效果。但随着时间的变化，由于非刚性体的形状时刻会发生改变，因此在非刚性对象的三维数字化时常遇到不同帧之间非刚性体配准的难题。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种融合RGB-D相机和彩色光度立体法的动态非刚体三维数字化方法，使用低成本的RGB-Depth相机和彩色光源的组合，通过融合深度和彩色信息，可有效解决现有的动态非刚性三维数字化方法存在着不同帧间图象中非刚性对象的匹配、几何误差较大或重建结果受噪声影响不够光滑和细节不够细腻等问题，具有高效、高精度、廉价的特点，可应用于动态非刚性物体的三维数字化任务，以实现高效便捷的物体三维重建结果。

为了实现上述目的，本发明采用的技术方案是：

一种融合RGB-D相机和彩色光度立体法的动态非刚体三维数字化方法，包括如下步骤：

步骤1，利用RGB三色光源照射待测物体，使用已标定内部参数的深度相机和彩色相机同时对物体进行拍摄，同时获得其深度图像和彩色图像；

步骤2，结合深度和彩色信息估算出光源方向和反射率；

步骤3，通过构造优化问题求解出三维点云，具体实现步骤如下：

利用变分方法构造一个融合深度项、法向项和光滑约束项的代价函数，采用最小二乘优化求解出改进质量的被测物体表面三维数字化模型。

所述步骤1中，对深度图像先采用置信区间分割和双边滤波方法对其处理以得到被测表面的一个光滑估计，从而降低深度数据噪声。

对深度图像，首先采取深度阈值分割的方法提取出重建物体的有效区域，位于有效范围外的点云不参加计算；其次，对点云进行深度维上的90％置信区间分割以剔除这些点；最后，采用经典的双边滤波方法对点云进行平滑处理。

所述步骤2中，先将深度相机和彩色相机拍摄的图像估计出其上各点法向量的初始值；再基于朗伯体漫反射光照模型，由表面上各点的法向量和彩色光源照射下的对应RGB信息，最小化估计出矩阵M，其同时表征了光源方向和物体表面的反射系数：

上式中I_p为图像上点的灰度值，N_p为物体表面该点的方向向量，

然后通过交替优化得到被测物体表面上各点法向量的准确估计：将M和灰度I_p代入光度立体方程求出光度立体理论表征的物体表面法向量N_p，如下式所示：

N_p＝M^-1·N_p

所述步骤3中，构造的代价函数为：

令u，v分别表征RGB图像的图像坐标，上式中，对应深度项，f_u,f_v为u方向和v方向上的焦距，Z(u,v)表示由深度相机测得的经滤波处理后图像上(u,v)点的深度值；

对应法向项，其中为像素点(u,v)的法向量，其值由权利要求4中方法计算得出，

为拉普拉斯平滑项，有

λ_d、λ_n和λ_s分别对应三者各自的权重，它们决定了上述三部分对重建结果影响的大小。

λ_n取一个较大的值，而λ_d相应的取值较小，平滑权重λ_s取值也较小，以保证重建结果含有较多的细节信息。

将改写为矩阵方程，再通过线性最小二乘求解出使代价函数取得最小值时的Z，如下所示：

假设待计算的深度矩阵的长和宽分别是m和n，在上式中，是按照像素顺序将所有的深度变量排列成的列向量，Z是按照相应顺序排列成的原始深度信息，它们都是mn维的列向量，算子以及是在此种排列下构造出的mn×mn维偏导计算矩阵和拉普拉斯算子矩阵，‖μ‖，μ，是按相同排列顺序写出的mn×mn维对角矩阵，将这些量按照与相同的顺序排列在矩阵的主对角线上，而其余矩阵元素均为零。

与现有技术相比，本发明的有益效果是：

1、使用RGB-D相机的深度信息对光源方向进行估计，不需要专门对光源进行标定，简化了采样和求解过程。另外，由于重建方程中考虑了深度约束，对于畸变有较好的修正。

2、由于融合了被测物体表面的颜色(灰度)信息，重建结果拥有更丰富的细节，提升了数字化结果的实用性。

3、对单目视频序列中每一帧分别处理，实现对动态非刚性体的三维数字化重建。

附图说明

图1是本发明测量系统的结构图。

图2是本发明的技术流程图。

图3是本发明重建方法与深度相机重建结果的比较。

图4是本发明重建方法与光度立体方法重建结果侧面轮廓线与基准模型比较。

图5是使用本发明方法对视频序列的重建结果。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明的系统结构如图1所示，使用已标定内部参数的深度相机和彩色相机同时对物体进行拍摄，结合深度和彩色信息估算出光源方向，最后通过构造优化问题求解出三维点云。具体实现步骤如下：

(1)获取被测物体表面的粗糙模型。直接由深度相机得到的深度数据噪声很大，需要先采用置信区间分割和双边滤波方法对其处理以得到被测表面的一个光滑估计。

(2)求解被测物体表面上各点的法向量。由上一步被测物体表面的粗糙模型估计出其上各点法向量的初始值；基于朗伯体漫反射光照模型，由表面上各点的法向量和彩色光源照射下的对应RGB信息，求出对应于不同光源方向的矩阵描述，再通过交替优化得到被测物体表面上各点法向量的准确估计。

(3)利用变分方法构造一个融合深度信息、法向信息和光滑性约束的代价函数，对该代价函数适当的变形后，采用最小二乘优化求解出改进质量的被测物体表面三维数字化模型。

本发明具体的重建技术流程如图2所示，用三色光源照射待测物体的同时，使用PC控制的Kinect对待测物体拍照，同时获得其彩色图像和深度图像，在此基础上对其进行三维重建的技术流程如下：

(1)图像预处理和去噪：首先采取深度阈值分割的方法提取出重建物体的有效区域，位于有效范围外的点云不参加计算以提高算法效率。其次注意到物体边缘处存在较大深度值偏差的点，对点云进行深度维上的90％置信区间分割以剔除这些点。最后采用经典的双边滤波方法对点云进行平滑处理。

(2)光源和反射率估计：在朗伯体表面反射模型下，物体表面一点的亮度只与其表面反射系数和表面法线方向线性相关。在待测物体为单一反射率，并近似认为光源位于无限远处时，根据经典的光度立体理论，可将反射率和光源方向的乘积写为矩阵M，从而物体表面亮度和其法向量间的线性关系可以表示为下式：

I_p＝M·N_p

其中，I_p为图像上一点的灰度值，N_p为物体表面单位法向量。使用Kinect提供的深度信息对物体表面的法向量做一个初步的估计，然后使用法向信息最小化下式估计出矩阵M，其同时表征了光源方向和物体表面的反射系数。

(3)光度立体估算表面法向量：

优化出M以后，将M和灰度I_p代入光度立体方程即可求出光度立体理论表征的物体表面法向量N_p，如下式所示：

N_p＝M^-1·N_p

(4)融合求解：

以主点位置作为坐标原点，镜头光轴向外方向作为Z轴正向，根据相机的小孔成像模型，则曲面的参数方程可以写作：

其中f_u,f_v为u方向和v方向上的焦距，可通过相机标定方法来获得，Z(u,v)表示由Kinect测得的经滤波处理后(u,v)点的深度值。

为了求得物体表面更准确的三维形状信息，根据已有的法向和深度信息及常规情况下物体表面符合平滑约束的特点，构造出如下式所示由深度项、法向项和平滑项三部分构成的代价函数。

其中，对应深度项，对应法向项，为拉普拉斯平滑项，有而λ_d、λ_n和λ_s分别对应三者各自的权重，它们决定了上述三部分对重建结果影响的大小。通常，为了保证重建结果含有较多的细节信息，λ_n可以取一个较大的值，而λ_d相应的取值较小，平滑权重λ_s一般取值也较小。

1)深度项

这里，深度项可以表示为估计值对应的点与原始值Z对应的点之间的三维距离之差的平方和，如式所示。求和符号代表对每一个像素点进行累加求和。

2)法向量项

设通过光度立体法求得了像素点(u,v)的法向量为而由曲面的参数方程S(u，v)，分别对其沿u和v方向求导，可以得出其沿u和v方向的切向量分别为：

容易想到，曲面上一点的法向量和切向量的内积应该为零，故可以写出如下的法向代价函数：

注意到可以看做是一个超定的线性最小二乘系统，将其改写为矩阵方程，便可以通过线性最小二乘求解出使代价函数取得最小值时的Z，如下所示。

假设待计算的深度矩阵的长和宽分别是m和n。在上式中，是按照像素顺序将所有的深度变量排列成的列向量，Z是按照相应顺序排列成的原始深度信息，它们都是mn维的列向量。算子以及是在此种排列下构造出的mn×mn维偏导计算矩阵和拉普拉斯算子矩阵。‖μ‖，μ，是按相同排列顺序写出的对角矩阵(mn×mn维)，将这些量按照与相同的顺序排列在矩阵的主对角线上，而其余矩阵元素均为零。

本发明的效果可以通过以下实验进一步说明。

1、实验内容

(1)为了验证本发明的效果，使用本发明所述技术对大卫雕像进行了三维重建。并以轮廓线的形式将重建结果与深度相机重建、传统光度立体重加结果做了比较说明。

(2)为了实现对动态非刚性物体的重建，使用三色光源照射，利用Kinect实时采集一段不断变化形态的衣物视频，然后从此视频序列中恢复出对应于每一帧的一系列三维模型。

2、实验结果分析

(1)实验中将各参数取如下值：

f_i＝f_j＝1062，i₀＝640，j₀＝1103，λ_d＝0.13λ_n＝0.87,λ_s＝0.00001

得到的重建结果如图3所示，(a)为彩色图，(b)为Kinect获得的原始深度图仅进行去噪处理后的建模结果。(c)为本发明的重建结果。相对于原始Kinect的建模结果，本文中的方法可以很好的保留物体的细节信息，从而弥补了Kinect的测量结果中噪声过大、细节信息不够清晰的缺陷。

(2)为了比较本发明与彩色光度立体法的测量精度，这里使用Artec扫描仪对大卫像事先进行了测量，接着分别用本文方法和彩色光度立体方法得到的测量结果与用Artec扫描仪得到的基准模版进行配准，之后提取了大卫像鼻梁处从上到下的一条轮廓线进行了比较，如图4所示。可以看出本文重建方法的轮廓在整体上更加贴近标准模板，而光度立体重建方法的畸变较大，与模板的偏离更大。

(3)图5为使用本文方法对视频序列进行重建的实验结果，从结果中可以看出，本方法能够较理想的恢复出动态非刚性体的三维结构。

Claims (7)

1.一种融合RGB-D相机和彩色光度立体法的动态非刚体三维数字化方法，其特征在于，包括如下步骤：

步骤1，利用RGB三色光源照射待测物体，使用已标定内部参数的深度相机和彩色相机同时对物体进行拍摄，同时获得其深度图像和彩色图像；

步骤2，结合深度和彩色信息估算出光源方向和反射率；

步骤3，通过构造优化问题求解出三维点云，具体实现步骤如下：

利用变分方法构造一个融合深度项、法向项和光滑约束项的代价函数，采用最小二乘优化求解出改进质量的被测物体表面三维数字化模型。

2.根据权利要求1所述融合RGB-D相机和彩色光度立体法的动态非刚体三维数字化方法，其特征在于，所述步骤1中，对深度图像先采用置信区间分割和双边滤波方法对其处理以得到被测表面的一个光滑估计，从而降低深度数据噪声。

3.根据权利要求1或2所述融合RGB-D相机和彩色光度立体法的动态非刚体三维数字化方法，其特征在于，对深度图像，首先采取深度阈值分割的方法提取出重建物体的有效区域，位于有效范围外的点云不参加计算；其次，对点云进行深度维上的90％置信区间分割以剔除这些点；最后，采用经典的双边滤波方法对点云进行平滑处理。

4.根据权利要求1所述融合RGB-D相机和彩色光度立体法的动态非刚体三维数字化方法，其特征在于，所述步骤2中，先将深度相机和彩色相机拍摄的图像估计出其上各点法向量的初始值；再基于朗伯体漫反射光照模型，由表面上各点的法向量和彩色光源照射下的对应RGB信息，最小化估计出矩阵M，其同时表征了光源方向和物体表面的反射系数：

上式中I_p为图像上点的灰度值，N_p为物体表面该点的方向向量。

然后通过交替优化得到被测物体表面上各点法向量的准确估计：将M和灰度I_p代入光度立体方程求出光度立体理论表征的物体表面法向量N_p，如下式所示：

N_p＝M^-1·N_p。

5.根据权利要求1所述融合RGB-D相机和彩色光度立体法的动态非刚体三维数字化方法，其特征在于，所述步骤3中，构造的代价函数为：

令u，v分别表征RGB图像的图像坐标，上式中，对应深度项，f_u,f_v为u方向和v方向上的焦距，Z(u,v)表示由深度相机测得的经滤波处理后图像上(u,v)点的深度值；

对应法向项，其中为像素点(u,v)的法向量，其值由权利要求4中方法计算得出，

为拉普拉斯平滑项，有

λ_d、λ_n和λ_s分别对应三者各自的权重，它们决定了上述三部分对重建结果影响的大小。

6.根据权利要求5所述融合RGB-D相机和彩色光度立体法的动态非刚体三维数字化方法，其特征在于，λ_n取一个较大的值，而λ_d相应的取值较小，平滑权重λ_s取值也较小，以保证重建结果含有较多的细节信息。

7.根据权利要求5所述融合RGB-D相机和彩色光度立体法的动态非刚体三维数字化方法，其特征在于，将改写为矩阵方程，再通过线性最小二乘求解出使代价函数取得最小值时的Z，如下所示：

假设待计算的深度矩阵的长和宽分别是m和n，在上式中，是按照像素顺序将所有的深度变量排列成的列向量，Z是按照相应顺序排列成的原始深度信息，它们都是mn维的列向量，算子以及是在此种排列下构造出的mn×mn维偏导计算矩阵和拉普拉斯算子矩阵，‖μ‖，μ，是按相同排列顺序写出的mn×mn维对角矩阵，将这些量按照与相同的顺序排列在矩阵的主对角线上，而其余矩阵元素均为零。