CN108389260A - 一种基于Kinect传感器的三维重建方法 - Google Patents

Abstract

本发明的目的在于提供一种基于Kinect传感器进行物体的三维重建的方法，其特征在于：通过Kinect传感器来获取目标物体的深度图像信息，采用背景差分点云分割和双边滤波的方法对得到的深度图像进行降噪等处理，最后使用具有尺度不变性和旋转不变性的SURF算法来提取RGB图像的特征点，并改进传统的ICP算法最大限度提高点云配准的速度和质量。本方法在科研及工业生产上具有很大的应用前景。

Description

一种基于Kinect传感器的三维重建方法

技术领域

本发明涉及一种利用Kinect传感器获取深度图像，通过对深度图像滤波、目标图像三维点云获取、点云配准等，完成对目标图像的三维重建技术。本发明属于计算机视觉领域。

背景技术

物体三维重建一直是计算机视觉领域最热门的研究方向之一，是机器视觉、图像处理和模式识别等多学科交叉的研究领域，在理论和实际应用中有着举足轻重的意义。物体三维重建是研究如何获取物体在空间中的三维信息并将其信息以适合人眼观察或仪器处理的形式表达。现阶段，物体三维重建技术在多方面得到应用，特别是在科研、考古及工业生产设计等专业领域。目前，物体三维重建的关键点和难点是：如何获取物体的三维数据，在世界坐标系下计算机处理的三维数据中如何与物体实际相对应；在获取物体的三维数据的过程中，如何对由于设备本身以及外界环境因素所产生的噪音进行滤除；以及如何在确保物体三维重建的精确度的条件下，加快重建的速度。

随着Kinect传感器的发展，Kinect传感器先进的深度图像获取能力有助于三维重建技术的发展与提高。Kinect传感器主要由深度摄像机和RGB摄像机来获取外界的三维信息。深度摄像机由红外投影机和红外深度摄像机构成。红外投影机主要用于向外界发射均匀的红外线，并在目标上形成红外散斑图像；目标反射得到的散斑图像信息由红外深度摄像机接收，最后得到目标的深度图像。RGB摄像机主要获取实验环境或实验物体的RGB图像信息。Kinect传感器的深度摄像机快速获取物体的深度图像，数据量丰富，实时性好，精确度较高，在科研及工业生产上得到广泛应用。

发明内容

本发明针对现有物体三维重建技术的不足，提出一种基于Kinect传感器获取物体彩色和深度图像，通过对深度图像滤波并采用点云分割提取目标区域图像，最后提取物体RGB图像特征点利用改进ICP算法对点云图像拼接，从而完成物体三维重建的技术。

进一步的，所述Kinect传感器获取物体深度图像是由红外投影机向外界发射均匀的红外线，在物体表面形成红外散斑，物体反射得到的散斑图像信息由红外深度摄像机接收，最后得到目标的深度图像。

进一步的，所述对深度图像滤波并进行点云分割是为了获得更为精确的三维点云数据。深度数据不可避免都会有噪音存在，而使用双边滤波的方法可以在滤除噪声的同时，保留深度图像的边缘信息，不对深度图像的轮廓产生畸变。

采用的点云分割是背景差分法，通过去除被实验物体得到实验背景的深度图像，以深度图像中各像素点的平均值来建立背景模型。同时设深度图像与背景模型同一像素点的差值为D(x，y)，阈值为M，则背景差分表达式为：

进一步的，所述提取物体RGB图像特征点是采用具有尺度不变性和旋转不变性的SURF特征检测方法，提取两幅或多幅不同角度下的物体RGB图像的特征点，实现RGB图像的配准。

进一步的，所述改进ICP点云配准是在传统ICP算法基础上，将深度图像点云划分成盒子结构并编序。在源数据点集P提取的特征点中选不共线三点P_a、P_b、P_c构建三角形，再找到P_a、P_b在目标点集Q中的最近点Q_d、Q_e，利用三角形相似找到P_c对应点Q_f。重复上述操作直到所有源数据点云与目标数据点云的对应点对关系都被确定。

对于每一六元组(P_a、P_b、P_c、Q_d、Q_e、Q_f)，定义δ_adbe为三角形P_aP_bP_c三角形Q_dQ_eQ_f的相似度，其中P_a与Q_d匹配，P_b与Q_e匹配，则：

其中

由相似度得到支持度：

当δ_adbe(c，f)为0时，此时P_c与有着最大支持度的Q_f相匹配，此时可以确定(P_c，Q_f)为真正的对应点对，即有：

所有的P_c求和后取平均值，得到(P_a，Q_d，P_b，Q_e)的初始匹配度量值表示为：

以及(P_a，Q_d)的初始匹配度量值：

进行第r次(r>0)迭代时，(P_c，Q_f)对于(P_a，Q_d，P_b，Q_e)的匹配度量值依赖于P_c，Q_f之间的位置差别及其S^r-1(P_c，Q_f)的值。为体现出这两个因素之间的相互作用，取二者中的最小值，则有：

以及：

为避免由于门限的选取不当带来的问题，取

预先设定一个极小正数ε为判定阈值(如0.000001)，当d_r<ε时，迭代终止。

与现有技术相比，本发明的优点在于：

(1)本发明采用具有尺度不变性和旋转不变性的SURF(Speed-Up RobustFeatures)算法。该算法是从当前应用较多的SIFT算法中改进而来，SIFT算法只利用图像的灰度值忽视了图像的色彩信息。而SURF算法解决了SIFT算法的计算冗余，图像特征点获取速度更快，同时SURF还保留了SIFT算法不受尺度变化、目标遮挡、空间转换的影响的特点。

(2)本发明改进了传统ICP算法，提高了配准效率。传统的三维点云配准都是使用ICP迭代最近点算法，该算法实质是最小二乘法的最优匹配算法，是直接对两片点云进行配准，效率低下。而改进后的算法将两片点云数据中对应点的查找加以盒子结构和相似原理下要求支持度达到最大的匹配条件的双重约束，使得对应点的搜索速度大幅度提高，且出现错误匹配的概率很小。

附图说明

图1为Kinect传感器获取深度信息流程图；

图2为深度图像计算原理图；

图3为背景差分法原理图；

图4为基于SURF算法的特征向量生成图；

图5为整个三维重建操作流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1为Kinect传感器获取深度信息流程图。首先由红外线发射器发射出红外线，红外线打在被测物体上会产生激光散斑，激光散斑反射信息被红外摄像机读取，从而计算得到重建物体的深度信息。深度信息的解码与运算由以色列的PrimeSense公司生产的PS1080芯片完成。

图2为深度图像计算原理图。红外摄像机拍摄z₀处参考面上的激光散斑得到参考图像，如果物体与参考面的距离不同，参考图像上的激光散斑位置会发生偏移d，利用Kinect传感器的图像相关程序，根据偏移量d可以生成深度图像。

假设物体k在目标面上，b为红外发射器L和红外相机C之间的基线长度，f为红外相机焦距，d为测量得到的偏移量，z₀为计算深度图像的参考距离。为了计算目标以mm为单位的深度z_k，目标物体k和参考点o之间的距离为D，则有：

并且：

根据上述两个公式可以得到偏移量到mm单位的深度值的变换方程：

图3为本发明为得到重建物体深度图像所采用的背景差分法原理图。首先获得一个背景模型，然后用目标图像减去背景模型，若像素点差值的绝对值大于设定的阈值，则可将此像素点判别为运动目标像素点，否则属于背景像素点。将多角度的目标深度图像与背景模型对比后，最终得到目标的全部深度信息。从物体以及环境的复杂度来考虑，可将背景建模分为单模态及多模态两种模式。在环境较为简单的情况下，采用单模态可以提高目标图像分割的准确性。

图4为基于SURF算法的特征向量生成图。为确保特征点的旋转不变性，先以特征点为中心，以6s为半径的邻域内的所有点在x，y方向求取边长4sHaar小波变换，并赋予这些邻域特征点高斯权重系数；然后将每60°的范围内的响应叠加以形成新的矢量，以此步骤遍历整个圆形区域，将最长矢量的方向定位该特征点的主方向。重复此步骤从而得到每个特征点的主方向。分配好特征点的方向后，将坐标轴旋转至主方向，沿主方向重建20s×20s大小的图像区域，将该图像区域沿主方向将其划分为4×4的子区域，在每个子区域内用5s×5s的Harr模板进行相应计算，设定：

d_x-相对于主方向的水平方向的Haar小波响应

d_y-相对于主方向的垂直方向的Haar小波响应

与特征点主方向确定类似，赋予该响应以权值增加其鲁棒性。再求取每个子区域内的响应及响应绝对值之和：∑d_x、∑d_y、∑|d_x|、∑|d_y|。这样就得到了每个子区域的四维分量的矢量V_sub＝(∑d_x，∑|d_x|，∑d_y，∑|d_y|)。最后每个特征点就是16×4＝64维的特征描述向量，与SIFT算法的128维特征向量相比，运算速度提高明显。

基于Kinect传感器的三维重建技术，能根据Kinect深度图像和RGB图像的注册信息对三维点云模型添加颜色信息，通过对深度图像进行双边滤波以及背景差分处理，极大的减少了背景和杂波的干扰，利用SURF算法代替传统的SIFT算法提高特征点匹配效率和精度，在点云数据中对应点查找加以盒子结构极大地提高了点云配准速度，降低了错误匹配概率，更好的完成目标物体的三维重建。

图5为本发明三维重建流程图。通过Kinect传感器来获取目标物体的深度图像信息，采用背景差分点云分割和双边滤波的方法对得到的深度图像进行降噪等处理，最后使用具有尺度不变性和旋转不变性的SURF算法来提取RGB图像的特征点，并改进传统的ICP算法最大限度提高点云配准的速度和质量，最终完成三维重建。

Claims (6)

1.一种基于Kinect传感器来对目标物体进行三维重建的方法，其特征在于：利用Kinect传感器来获取目标物体的深度图像，对所得的深度图像进行滤波和三维点云分割获取、点云配准等，完成对目标物体的三维重建技术。

2.根据权利要求1所述的利用Kinect传感器来获取目标物体深度图像的方法，其特征在于：Kinect传感器中的红外线发射器发生出红外线，红外线打在被测物体上会产生激光散斑，激光散斑反射信息被红外摄像机读取，从而计算得到重建物体的深度信息。

3.根据权利要求1所述的对深度图像进行滤波和三维点云分割获取，其特征在于：Kinect传感器获得的深度数据都会有噪声存在，首先通过点云分割的方法得到初始的三维点云数据，为了获得更为精确的三维点云数据，要对深度数据进行滤波处理。

4.根据权利要求3所述的对深度数据滤波处理，其特征在于：使用双边滤波的方式，在滤除噪声的同时，保留深度图像的边缘信息，不会对深度图像的轮廓产生畸变。

5.根据权利要求3所述的点云分割方法，采用的是背景差分的方式，其特征在于：通过去除被实验物体得到实验背景的深度图像，以深度图像中各像素点的平均值来建立背景模型。同时设深度图像与背景模型同一像素点的差值为D(x,y)，阈值为M，则背景差分表达式为：

。

6.根据权利要求1所述的点云配准，其特征在于：采用具有尺度不变性和旋转不变性的SURF算法来提取物体RGB图像的特征点，改进传统的ICP算法，将两片点云数据中对应点的查找加以盒子结构和相似原理下要求支持度达到最大的匹配条件，双重约束提高配准速度和质量。