CN108734772A - 基于Kinect fusion的高精度深度图像获取方法 - Google Patents

Abstract

本发明公开了一种基于Kinect fusion的高精度深度图像获取方法，其包括获取深度图像与彩色图像数据，三维重建形成空间点云，将插值结果映射到二维图像并进行灰度化处理，对灰度图像进行线性变换，在设定的深度区间内拉伸灰度域，对图像信息点坐标进行转换，形成新的深度图像，从而大大提高了深度图像的分辨率和精确度。

Description

基于Kinect fusion的高精度深度图像获取方法

技术领域

本发明属于机器视觉技术领域，具体涉及一种基于Kinect fusion的高精度深度图像获取方法。

背景技术

物体的三维重建是一种根据多张二维视图重建物体三维信息的过程。三维重建在计算机图形学、计算机视觉、医学图像处理、虚拟现实、体感游戏等领域获得众多应用。

为了使计算机生成三维位物体模型，通常情况采用的方法是通过二位维图像、投影等获取真实物体的几何形状，然后根据三位维建模方法如摄像机标定、数据点云化、点云拼接、特征分析与提取、立体匹配等过程等。

Kinect是微软在游戏领域推出的体感周边外设，集成了深度相机、红外相机、彩色相机。通过Kinect采集的深度数据进行三维重建，大大降低了三维重建的成本，使得普通用户可以研究、使用三维重建技术带来的便利。

Kinect fusion是微软研究院利用Kinect进行的三维重建项目。用户可以通过Kinect相机进行场景绘制并实时查看3D模型，Kinect fusion在GPU上以交互式速率运行，并且可以在各种硬件上以非交互式速率运行。Kinectfusion使用ICP算法将多帧不同位姿深度数据融合到前帧，并使用TSDF算法进行点云融合和立方体重建，重建结果具有平滑、噪声小、精度高等优点。

通常情况下，直接使用深度相机采集到的深度图像分辨率低、噪声大、精度低，而利用Kinect fusion可以获得的高精度三维数据，但是kinectfusion所获得的三维数据为点云形式，点云数据量巨大，直接处理很难达到实时效果，并且不能运用比较成熟的二维图像处理算法。

发明内容

本发明的发明目的是：为了解决现有技术中存在的以上问题，本发明提出了一种简单可行的基于Kinect fusion的高精度深度图像获取方法。

本发明的技术方案是：一种基于Kinect fusion的高精度深度图像获取方法，包括以下步骤：

A、获取深度图像与彩色图像数据；

B、对步骤A中获取的深度图像和彩色图像进行三维重建形成空间点云；

C、对步骤B形成的空间点云进行Delaunay三角剖分和线性三角内插值处理；

D、将步骤C得到的插值结果映射到二维图像，并对二维图像进行灰度化处理；

E、对步骤D得到的灰度图像进行线性变换，在设定的深度区间内拉伸灰度域；

F、根据空间点云坐标系与深度图像坐标系的坐标转换关系，对步骤E处理后的图像信息点坐标进行转换。

进一步地，所述步骤B对步骤A中获取的深度图像和彩色图像进行三维重建形成空间点云，具体包括以下分步骤：

B1、将深度图像连续帧以无符号短整形转换为浮点格式的深度帧，并设置最小和最大深度阈值对输入数据进行裁剪；

B2、平滑深度图像数据，通过将投影关联在重建立方体中计算点云，并通过ICP算法对齐两组重叠的方向点云并计算相机的相对位置；

B3、将深度浮点数据和彩色图像数据从步骤B2得到的相机的相对位置融合到重构立方体中；

B4、根据点云中点位置和曲面法线从点云帧生成着色图像，完成三维重建形成空间点云。

进一步地，所述步骤C对步骤B形成的空间点云进行Delaunay三角剖分和线性三角内插值处理，具体包括以下分步骤：

C1、采用quick hull算法对空间点云中的二维坐标进行处理，得到有效点云平面的凸包；

C2、根据步骤C1得到的凸包，对空间点云进行Delaunay三角剖分处理；

C3、生成插值网格，选择包含插值网格点的Delaunay三角形，在三角形中对插值点进行线性插值。

进一步地，所述步骤C1采用quick hull算法对空间点云中的二维坐标进行处理，得到有效点云平面的凸包具体为：选择空间点云中X坐标最大值和最小值对应的点，利用该两点形成的连线将所有点划分为两部分，选择距离连线最远的一个点与该两点形成三角形，忽略位于三角形内部的点，对三角形的另外两条边重复上述操作，直至没有剩余点时递归结束，被选择点构成凸包。

本发明的有益效果是：本发明采用Kinect相机获取深度图像和彩色图像，通过Kinectfusion对深度图像和彩色图像进行三维重建形成空间点云；再对空间点云三角剖分，利用二维网格点进行线性插值；再将插值结果的深度信息变换到颜色空间，形成新的深度图像，从而大大提高了深度图像的分辨率和精确度。

附图说明

图1是本发明的基于Kinect fusion的高精度深度图像获取方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，为本发明的基于Kinect fusion的高精度深度图像获取方法的流程示意图。一种基于Kinect fusion的高精度深度图像获取方法，包括以下步骤：

A、获取深度图像与彩色图像数据；

B、对步骤A中获取的深度图像和彩色图像进行三维重建形成空间点云；

C、对步骤B形成的空间点云进行Delaunay三角剖分和线性三角内插值处理；

D、将步骤C得到的插值结果映射到二维图像，并对二维图像进行灰度化处理；

E、对步骤D得到的灰度图像进行线性变换，在设定的深度区间内拉伸灰度域；

F、根据空间点云坐标系与深度图像坐标系的坐标转换关系，对步骤E处理后的图像信息点坐标进行转换。

在本发明的一个可选实施例中，上述步骤A以人体背部图像为例，将kinect2.0通过USB连接上位机，通过上位机软件调用kinect SDK传感器的红外相机与彩色相机同时获取人体背部的深度图像与彩色图像数据。深度图像大小为512*424，彩色图像的大小为1920*1080。

在本发明的一个可选实施例中，上述步骤B调用kinect fusion完成人体背部的三维重建，生成空间点云形式的三维数据XYZ。Kinect Fusion可以在具有C++AMP的DirectX11兼容的GPU或CPU上在重建体积创建期间通过设置重建处理器类型来处理数据。CPU处理器最适合离线处理，因为只有现代DirectX 11 GPU才能在重建期间实现实时交互的帧速率。通常，目标是以与Kinect传感器(30fps)相同的帧速率进行处理，以实现最稳健的摄像机姿态跟踪。

对步骤A中获取的深度图像和彩色图像进行三维重建形成空间点云，具体包括以下分步骤：

B1、将深度图像连续帧以无符号短整形转换为浮点格式的深度帧，并设置最小和最大深度阈值对输入数据进行裁剪；

将深度图像深度帧以无符号短整形转换为浮点格式的深度帧，来表示以米为单位的距离(与光学中心轴平行)；并设置最小和最大深度阈值可以裁剪输入数据，以限定要重建的特定对象或曲面。

B2、平滑深度图像数据，通过将投影关联在重建立方体中计算点云，并通过ICP算法对齐两组重叠的方向点云并计算相机的相对位置；

平滑深度数据，通过将投影关联(projective data association)在重建立方体中计算点云，通过ICP算法对齐两组重叠的方向点云并计算相机的相对位置，相机位置可以用来将相机原点坐标系的结果转化到世界坐标系。因为传感器在每个帧中使用迭代对准算法，所以系统总是知道当前传感器相对于初始起始帧的姿态。

B3、将深度浮点数据和彩色图像数据从步骤B2得到的相机的相对位置融合到重构立方体中；

B4、根据点云中点位置和曲面法线从点云帧生成着色图像，完成三维重建形成空间点云。

点云三维数据中的原点为深度相机中心，XY的取值为[-1.5,1.5]，Z的取值范围为[-4.5，-0.5]。已知三角形的三个顶点坐标P1,P2,P3，设三角形内的任意点为P，P点对应的X坐标Y坐标为P.x、P.y，P2、P3点对应的权重系数分别为u、v，存在：

P＝(1-u-v)*P1+u*P2+v*P3

进一步有：

P.x＝(1-u-v)*P1.x+u*P2.x+v*P3.x

P.y＝(1-u-v)*P1.y+u*P2.y+v*P3.y

解方程组可求得u、v，对P1、P2、P3坐标z值加权即可求得插值点P的z坐标。

在本发明的一个可选实施例中，上述步骤C对三维数据进行插值，生成网格化的内插点，根据点云的XY坐标，按Delaunay方法找出内插点周围的3个点构成三角形，使内插点位于三角形内，然后进行线性内插进一步提高三维数据精度，具体包括以下分步骤：

C1、采用quick hull算法对空间点云中的二维坐标进行处理，得到有效点云平面的凸包；

选择空间点云中X坐标最大值和最小值对应的点，利用该两点形成的连线将所有点划分为两部分，选择距离连线最远的一个点与该两点形成三角形，忽略位于三角形内部的点，对三角形的另外两条边重复上述操作，直至没有剩余点时递归结束，被选择点构成凸包。

C2、根据步骤C1得到的凸包，对空间点云进行Delaunay三角剖分处理；

C3、生成插值网格，插值网格XY坐标为指定范围的等差数列，选择包含插值网格点的Delaunay三角形，在三角形中对插值点进行线性插值。插值点z轴方向在三角形的顶点所在平面的投影点的坐标即为插值点的坐标。

通过对人体背部点云在适当范围内进行Delaunay三角剖分和线性三角内插值，插值网格的大小选定视实际需要而定，此处取插值网格大小为500*500为例。

在本发明的一个可选实施例中，上述步骤D将插值结果映射到二维图像[0,255]，将图像灰度化，用于显示和进一步图像处理。将点云的z坐标映射到[0，255],可获得可视化效果，根据实际情况需要，可以在灰度空间对点云进行裁剪，以保证生成的图像包含我们感兴趣的深度信息，同时可以采用线性变换、gamma变换或者其他线性变换增强图像的对比度(实际上反映深度信息的对比度)，以便进行进一步的图像处理或特征提取操作。

在本发明的一个可选实施例中，上述步骤E对灰度采用线性变换，在感兴趣深度区间拉伸灰度域，增强所得到图像的对比度。

在本发明的一个可选实施例中，上述步骤F调用kinect得到重建点云坐标系XYZ与深度图像坐标系xy的坐标转换关系，将信息点从XYZ坐标转换为对应的坐标IRxyz。

根据线性变换将脊柱中线坐标从200*200的插值网格映射回点云坐标系，即深度相机坐标系。设插值边界为x_min，x_max，y_min，y_max，网格点(x1,y1)在点云坐标系对应的坐标为(x2,y2)，有

调用kinect SDK将脊柱中线坐标从点云坐标系映射到深度图像坐标系。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.一种基于Kinect fusion的高精度深度图像获取方法，其特征在于，包括以下步骤：

A、获取深度图像与彩色图像数据；

B、对步骤A中获取的深度图像和彩色图像进行三维重建形成空间点云；

C、对步骤B形成的空间点云进行Delaunay三角剖分和线性三角内插值处理；

D、将步骤C得到的插值结果映射到二维图像，并对二维图像进行灰度化处理；

E、对步骤D得到的灰度图像进行线性变换，在设定的深度区间内拉伸灰度域；

F、根据空间点云坐标系与深度图像坐标系的坐标转换关系，对步骤E处理后的图像信息点坐标进行转换。

2.如权利要求1所述的基于Kinect fusion的高精度深度图像获取方法，其特征在于，所述步骤B对步骤A中获取的深度图像和彩色图像进行三维重建形成空间点云，具体包括以下分步骤：

B1、将深度图像连续帧以无符号短整形转换为浮点格式的深度帧，并设置最小和最大深度阈值对输入数据进行裁剪；

B2、平滑深度图像数据，通过将投影关联在重建立方体中计算点云，并通过ICP算法对齐两组重叠的方向点云并计算相机的相对位置；

B3、将深度浮点数据和彩色图像数据从步骤B2得到的相机的相对位置融合到重构立方体中；

B4、根据点云中点位置和曲面法线从点云帧生成着色图像，完成三维重建形成空间点云。

3.如权利要求2所述的基于Kinect fusion的高精度深度图像获取方法，其特征在于，所述步骤C对步骤B形成的空间点云进行Delaunay三角剖分和线性三角内插值处理，具体包括以下分步骤：

C1、采用quick hull算法对空间点云中的二维坐标进行处理，得到有效点云平面的凸包；

C2、根据步骤C1得到的凸包，对空间点云进行Delaunay三角剖分处理；

C3、生成插值网格，选择包含插值网格点的Delaunay三角形，在三角形中对插值点进行线性插值。

4.如权利要求3所述的基于Kinect fusion的高精度深度图像获取方法，其特征在于，所述步骤C1采用quick hull算法对空间点云中的二维坐标进行处理，得到有效点云平面的凸包具体为：选择空间点云中X坐标最大值和最小值对应的点，利用该两点形成的连线将所有点划分为两部分，选择距离连线最远的一个点与该两点形成三角形，忽略位于三角形内部的点，对三角形的另外两条边重复上述操作，直至没有剩余点时递归结束，被选择点构成凸包。