CN105869160A - 利用Kinect实现三维建模和全息显示的方法及系统 - Google Patents

Abstract

本发明提供了一种利用Kinect实现三维建模和全息显示的方法及系统，其中方法包括：通过一Kinect的传感器于四个不同方向采集被测物体的彩色图像和深度图像；对采集的四个面的彩色图像和深度图像进行处理，获得所述被测物体的三维模型；对所述三维模型中的四个面的图像进行深度处理，使该四个面的图像能显示在同一屏幕的四个区域；将四个区域的图像分别投影到一全息金字塔的四个面上，得到所述被测物体的全息影像。本发明通过Kinect对被测物体进行数据采集、三维建模和对头部进行定位，根据用户头部位置自动调节三维模型的角度，从而使得达到被测物体的全息投影适应于用户所在的位置，提升了用户的使用体验。

Description

利用Kinect实现三维建模和全息显示的方法及系统

技术领域

本发明涉及三维建模和全息显示技术领域，尤其涉及一种利用Kinect实现三维建模和全息显示的方法及系统。

背景技术

目前，三维模型的重建和全息显示的方法已经成为研究热点。全息学(Holography)自20世纪60年代激光器问世后得到了迅速的发展。其基本机理是利用光波干涉法同时记录物光波的振幅与相位。全息显示以其显示信息真实丰富的优点受到人们的广泛关注。在一些行业和领域中，全息显示给工程师们带来了的高效便捷且真实的显示方式。例如，在工业设计中，机械设计师往往希望能够全息呈现自己的设计方案以便优化设计；在博物馆展览中，有些损毁的文物会通过计算机合成的方式得到三维模型，并且可以通过全息显示的方式立体直观的地展现文物。全息显示包括多种方法，比如透射式全息、反射式全息、像面式全息、彩虹式全息、合成式全息、模压式全息以及计算机全息，特别是计算机全息显示图像CGH(ComputerGenerated Hologram)，这种方法既可完全节省光源及要求相当精密的光路设置，又能模拟实际上并不存在的各种物体，故具有明显的简易性与灵活性。

Kinect是微软推出的一款体感传感器，它具有采集彩色图像、深度图像、红外图像、骨骼识别等功能。目前，Kinect二代采用TOF(Time of Flying，飞行时间)方法计算深度信息，并利用数字处理方法得到准确的三维模型。Kinect的摄像头可以捕捉人体动作，并对捕捉到的人体动作进行分析。

但是，现有的全息显示方法，不仅需要人工操作三维扫描仪，而且还需要人工调整全息图像显示角度，不仅成本高昂，而且系统操作复杂，也不能很好地利用Kinect来实现三维建模和全息显示，损害了用户的使用体验。

发明内容

针对现有的技术存在的上述问题，现提供一种利用Kinect实现三维建模和全息显示的方法及系统的技术方案，具体如下：

一种利用Kinect实现三维建模和全息显示的方法，其中，包括：

步骤S1，通过一Kinect的传感器于四个不同方向采集被测物体的彩色图像和深度图像，所述被测物体置于一旋转云台上；

步骤S2，对采集的四个面的彩色图像和深度图像进行处理以将两种图像统一到同一坐标系下，获得所述被测物体的三维模型；

步骤S3，对所述三维模型中的四个面的图像进行深度处理，使该四个面的图像能显示在同一屏幕的四个区域；

步骤S4，将四个区域的图像分别投影到一全息金字塔的四个面上，得到所述被测物体的全息影像。

优选的，所述方法还包括：

步骤S5，使用Kinect的摄像头的骨骼跟踪引擎对用户头部进行骨骼跟踪，得到用户的头部位置信息；

步骤S6，根据所述用户的头部位置信息调整显示在屏幕上的四个图像的大小和位置，以根据用户的头部位置动态调整全息图像。

优选的，所述用户的头部位置信息包括：

所述用户头部与所述屏幕之间的水平距离；以及

所述用户头部相对于所述屏幕的中心点的角度。

优选的，所述步骤S2中，对采集的四个面的彩色图像和深度图像进行处理包括进行图像配准、背景分割、平滑处理和点云配准。

优选的，对采集的四个面的彩色图像和深度图像进行点云配准包括：

步骤A1，分别将采集的每个面的彩色图像和深度图像的点云在同一坐标下进行比较，判断是否存在相同点云：

如是，则转至步骤A2；

如否，则对进行比较的彩色图像和深度图像进行边缘拼接，得到拼接后的图像；

步骤A2，计算每个相同点云的欧氏距离的方差；

步骤A3，判断所述方差是否达到一预设值：

如是，则对相同点云进行覆盖，得到拼接后的图像；

如否，则转至步骤A2。

优选的，所述步骤S3中，对所述三维模型中的四个面的图像进行深度处理包括进行图像细节增强、坐标变换和角度调整。

优选的，所述全息金字塔的顶端位于屏幕的中心点。

优选的，所述三维模型以obj文件的形式进行存储。

优选的，所述被测物体每旋转90°，所述Kinect的传感器采集一次所述被测物体的彩色图像和深度图像。

本发明还提供一种利用Kinect实现三维建模和全息显示的系统，其中，包括：

采集模块，用于通过一Kinect的传感器于四个不同方向采集被测物体的彩色图像和深度图像，所述被测物体置于一旋转云台上；

第一处理模块，连接所述采集模块，用于对采集的四个面的彩色图像和深度图像进行处理以将两种图像统一到同一坐标系下，获得所述被测物体的三维模型；

第二处理模块，连接所述第一处理模块，用于对所述三维模型中的四个面的图像进行深度处理，使该四个面的图像能显示在同一屏幕的四个区域；

投影模块，连接所述第二处理模块，用于将四个区域的图像分别投影到一全息金字塔的四个面上，得到所述被测物体的全息影像。

优选的，所述系统还包括：

跟踪模块，用于使用Kinect的摄像头的骨骼跟踪引擎对用户头部进行骨骼跟踪，得到用户的头部位置信息；

调整模块，连接所述跟踪模块和所述投影模块，用于根据所述用户的头部位置信息调整显示在屏幕上的四个图像的大小和位置，以根据用户的头部位置动态调整全息图像。

上述技术方案的有益效果：提供一种利用Kinect实现三维建模和全息显示的方法，通过Kinect对被测物体进行数据采集和三维建模，通过Kinect中的骨骼数据流对头部进行定位，根据用户头部位置自动调节三维模型的角度，从而使得达到被测物体的全息投影适应于用户所在的位置，操作简单，效果显著，大大提升了用户的使用体验。

附图说明

图1为本发明较佳的实施例中，一种利用Kinect实现三维建模和全息显示的方法工作原理图；

图2为本发明较佳的实施例中，一种利用Kinect实现三维建模和全息显示的方法流程示意图；

图3-4为本发明较佳的实施例中，基于图2，一种利用Kinect实现三维建模和全息显示的方法的分步骤流程示意图；

图5为本发明较佳的实施例中，一种利用Kinect实现三维建模和全息显示的系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明的较佳的实施例中，基于现有技术存在的上述问题，现提供一种利用Kinect实现三维建模和全息显示的方法，其流程如图2所示，包括：

步骤S1，通过一Kinect的传感器于四个不同方向采集被测物体的彩色图像和深度图像，被测物体置于一旋转云台上；

步骤S2，对采集的四个面的彩色图像和深度图像进行处理以将两种图像统一到同一坐标系下，获得被测物体的三维模型；

步骤S3，对三维模型中的四个面的图像进行深度处理，使该四个面的图像能显示在同一屏幕的四个区域；

步骤S4，将四个区域的图像分别投影到一全息金字塔的四个面上，得到被测物体的全息影像。

上述技术方案中，首先，通过一Kinect的传感器从四个不同方向采集被测物体的彩色图像和深度图像，被测物体置于一旋转云台上，Kinect SDK(Software Development Kit，软件开发工具包)在进行三维建模之前，检测与Kinect连接的计算机是否具备支持DirectX 11编程接口的设备，如具备则进行继续下面步骤，如不具备则直接退出；然后，对被测物体的彩色图像和深度图像进行处理(包括彩色图像和深度图像配准、深度图像渲染和点云配准等)以将两种图像统一到同一坐标系下，得到被测物体的三维模型；然后，对三维模型中的四个面的图像进行深度处理(包括图像细节增强、坐标变换和角度调整等)，将四个区域的图像分别投影到一全息金字塔的四个面上，得到被测物体的全息影像。

在本发明的一个具体实施例中，如图1所示，一待测物体被放置在一旋转云台上，一Kinect的传感器对待测物体进行三维扫描并得到三维模型，Kinect连接一计算机，通过计算机将三维模型的截面显示在屏幕上并经由屏幕投影到全息显示金字塔的上，得到待测物体的全息图像，同时，Kinect的摄像头对用户进行头部追踪，以根据用户头部位置信息动态调整全息图像，从而使全息图像适应用户的任意视角。

本发明的较佳的实施例中，如图3所示，方法还包括：

步骤S5，使用Kinect的摄像头的骨骼跟踪引擎对用户头部进行骨骼跟踪，得到用户的头部位置信息；

步骤S6，根据用户的头部位置信息调整显示在屏幕上的四个图像的大小和位置，以根据用户的头部位置动态调整全息图像。

上述技术方案中，首先打开Kinect的摄像头，开启Kinect骨骼跟踪流，使用骨骼跟踪引擎对用户头部进行骨骼跟踪，骨骼跟踪引擎会自动处理人体25个骨骼点(包括头部)的信息，此处设置一个Head类型的变量，用于标定用户头部坐标并存储用户头部坐标信息以供后续调用，然后根据用户的头部位置信息调整被测物体的全息影像，以使其适应用户的视角。

根据用户的头部位置动态调整全息图像包括，首先，根据用户的头部位置信息(包括用户头部与计算机的显示屏之间的水平距离和用户头部相对于计算机的显示屏的中心点的角度)调整显示屏上四个图像的大小和位置(包括旋转角度)；然后，通过调整显示屏上四个图像的大小和位置调整被测物体的全息影像(包括旋转角度)。通过用户的头部坐标信息计算用户头部相对于Kinect的旋转角度，由式(5)和(6)表示，再根据计算得到的角度控制被测物体对应的三维模型的旋转角度。

rotationx.Angle＝Math.atan2(Head.X,Head.Z)*180/3.14 (5)

rotationy.Angle＝Math.atan2(Head.Y,Head.Z)*180/3.14 (6)

根据Kinect的摄像头的位置信息，计算机可以自动调整图像的大小和位置，可以通过调整每个方向的headangle的系数来调整旋转的灵敏度，例如，在近景模式下，头部旋转角度的计算公式由式(7)和(8)表示。

this.rotation.Angle＝-2*headanglex (7)

this.rotation2.Angle＝-2*headangley (8)

本发明的较佳的实施例中，用户的头部位置信息包括：

用户头部与屏幕之间的水平距离；以及

用户头部相对于屏幕的中心点的角度。

本发明的较佳的实施例中，步骤S2中，对采集的四个面的彩色图像和深度图像进行处理包括进行图像配准、背景分割、平滑处理和点云配准。

上述技术方案中，对被测物体的彩色图像和深度图像进行图像配准，深度图像和彩色图像是在不同的摄像头上拍摄的，它们拍摄的角度不同，为了让三维重建的图像上呈现彩色，需要将彩色图像和深度图像转换为同一坐标系，具体过程如下：

a.将二维坐标系下的深度坐标转化为三维坐标系下的坐标，由式(1)表示。

Z＝P*tan(Hd₀+L)+O (1)

其中，Z代表三维坐标系下的深度值，d₀为二维坐标系下的深度值，H为彩色图像向三维图像转换调整角度的系数，P为物体到彩色摄像头的绝对距离，L为彩色图像到三维图像转换调整角度的加系数，O为深度校正系数；

b.将二维RGB图坐标转化为三维坐标：根据研究表明，三维坐标下的彩色点的坐标并不是和二维坐标系下彩色点的坐标完全线性对应。二维RGB坐标和三维坐标系下的坐标的对应关系为：

X＝(i–O_x+ξ_x)*d/f_x (2)

Y＝(j–O_y+ξ_y)*d/f_y (3)

式(2)和式(3)中，d为Kinect到被测物体的实际水平距离，单位为cm，(i,j)代表二维RGB图的坐标，(O_x,O_y)分别代表RGB图的中心坐标，ξ_x、ξ_y分别代表Kinect在X轴和Y轴方向的畸变程度，f_x和f_y代表RGB图和三维图之间调整的比例系数，这样得到的坐标(X,Y)称为摄像头坐标系下的坐标，在摄像头坐标系中，通常使用右手坐标系，X轴方向的正方向是右手边，Y轴方向的正方向向下，Z轴方向的正方向在Kinect成像平面的正前方。

对被测物体的彩色图像和深度图像进行背景分割，将被测物体和背景分开，只保留被测物体，背景分割是从图像处理到图像分析的关键步骤，一般情况下，在拍摄被测物体时还要拍摄去掉被测物体的背景，分割的方式是将同时具有被测物体和背景的深度图像和只有背景的深度图像作差，从而得到被测物体的深度图像，为了降低图像作差的误差，最好选取黑色幕布作为背景。

为了体现空间感，需要对配准后的被测物体的深度图像进行深度图像渲染，打开深度数据流，接收深度数据，将深度数据转化为深度浮点型数据，对深度浮点型数据进行渲染，在进行渲染时，先将含有深度浮点型数据的位图设置为图像控件的源码，然后计算每个像素深度所对应的RGB系数，计算方法为：将图像的最小深度值设为minRange，若该像素深度大于最小深度值，则该图像的灰度值Intensity为(depth-minRange)*64，若该像素深度小于最小深度值，则该图像的灰度值Intensity为0，该图像的RGB系数的表达式为式(4)；然后，跟踪并获取Kinect体感设备的位置信息，调用Kinect SDK中的方法SmoothDepthFloatFrame()对每一帧深度浮点图像进行平滑处理。

depthFloatFramePixelsArgb[index]＝(255＜＜24)|(Intensity＜＜16)|(Intensity＜＜8)|Intensity (4)

本发明的较佳的实施例中，如图4所示，对采集的四个面的彩色图像和深度图像进行点云配准包括：

步骤A1，分别将采集的每个面的彩色图像和深度图像的点云在同一坐标下进行比较，判断是否存在相同点云：

如是，则转至步骤A2；

如否，则对进行比较的彩色图像和深度图像进行边缘拼接，得到拼接后的图像；

步骤A2，计算每个相同点云的欧氏距离的方差；

步骤A3，判断方差是否达到一预设值：

如是，则对相同点云进行覆盖，得到拼接后的图像；

如否，则转至步骤A2。

上述技术方案中，在对被测物体进行彩色图像和深度图像配准后，得到三维空间下同一坐标不同位置的点的信息(包括深度和颜色等信息)，图像中所有点的集合称为点云；首先调用Kinect SDK中的方法CalulatePointCloud()计算某视角下的点云数据，然后调用方法ShadePointCloud()将该视角下的点云显示在屏幕上，然后通过上述方法分别对测物体的四个面的图所对应的点云数据进行保存；调用方法alignDepthFloatToReconstruction()对平滑处理后的图像进行点云配准，使得被测物体的四个面的图像对应的点云中重合的点成为同一个点，完成四个面的彩色图像和深度图像的拼接，此处采用ICP(Iterative Closest Point，迭代就近点)算法实现对图像的拼接。

本发明的较佳的实施例中，步骤S3中，对三维模型中的四个面的图像进行深度处理包括进行图像细节增强、坐标变换和角度调整。

上述技术方案中，对三维模型中的四个面的图像进行图像细节增强，图像增强的目的是改进图片的质量，包括增加对比度、去掉模糊和噪声、修正几何畸变等，常用的图像增强方法有，其一，灰度等级直方图处理方法，使得处理后的图像在某一灰度范围内有更好的对比度，其二，干扰抑制方法，通过低通滤波、多图像平均、施行某类空间域算子等处理，抑制叠加在图像上的随机性干扰，其三，边缘锐化方法，通过高通滤波、差分运算或某种变换，使图形的轮廓线增强，其四，伪彩色处理方法，将黑白图像转换为彩色图像，从而使人们易于分析和检测图像信息；然后，对四个面的图像进行坐标变换和角度调整，使得四个面的图像便于描述、分析和显示。

本发明的较佳的实施例中，全息金字塔的顶端位于屏幕的中心点。

本发明的较佳的实施例中，三维模型以obj文件的形式进行存储。

本发明的较佳的实施例中，被测物体每旋转90°，Kinect的传感器采集一次被测物体的彩色图像和深度图像。

本发明还提供一种利用Kinect实现三维建模和全息显示的系统1，其结构如图5所示，包括：

采集模块2，用于通过一Kinect的传感器于四个不同方向采集被测物体的彩色图像和深度图像，被测物体置于一旋转云台上；

第一处理模块3，连接采集模块2，用于对采集的四个面的彩色图像和深度图像进行处理以将两种图像统一到同一坐标系下，获得被测物体的三维模型；

第二处理模块4，连接第一处理模块3，用于对三维模型中的四个面的图像进行深度处理，使该四个面的图像能显示在同一屏幕的四个区域；

投影模块5，连接第二处理模块4，用于将四个区域的图像分别投影到一全息金字塔的四个面上，得到被测物体的全息影像。

本发明的较佳的实施例中，系统还包括：

跟踪模块6，用于使用Kinect的摄像头的骨骼跟踪引擎对用户头部进行骨骼跟踪，得到用户的头部位置信息；

调整模块7，连接跟踪模块6和投影模块5，用于根据用户的头部位置信息调整显示在屏幕上的四个图像的大小和位置，以根据用户的头部位置动态调整全息图像。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种利用Kinect实现三维建模和全息显示的方法，其特征在于，包括：

步骤S1，通过一Kinect的传感器于四个不同方向采集被测物体的彩色图像和深度图像，所述被测物体置于一旋转云台上；

步骤S2，对采集的四个面的彩色图像和深度图像进行处理以将两种图像统一到同一坐标系下，获得所述被测物体的三维模型；

步骤S3，对所述三维模型中的四个面的图像进行深度处理，使该四个面的图像能显示在同一屏幕的四个区域；

步骤S4，将四个区域的图像分别投影到一全息金字塔的四个面上，得到所述被测物体的全息影像。

2. 如权利要求1所示的方法，其特征在于，所述方法还包括：

步骤S5，使用Kinect的摄像头的骨骼跟踪引擎对用户头部进行骨骼跟踪，得到用户的头部位置信息；

步骤S6，根据所述用户的头部位置信息调整显示在屏幕上的四个图像的大小和位置，以根据用户的头部位置动态调整全息图像。

3. 如权利要求1所示的方法，其特征在于，所述用户的头部位置信息包括：

所述用户头部与所述屏幕之间的水平距离；以及

所述用户头部相对于所述屏幕的中心点的角度。

4.如权利要求1所示的方法，其特征在于，所述步骤S2中，对采集的四个面的彩色图像和深度图像进行处理包括进行图像配准、背景分割、平滑处理和点云配准。

5. 如权利要求4所示的方法，其特征在于，对采集的四个面的彩色图像和深度图像进行点云配准包括：

步骤A1，分别将采集的每个面的彩色图像和深度图像的点云在同一坐标下进行比较，判断是否存在相同点云：

如是，则转至步骤A2；

如否，则对进行比较的彩色图像和深度图像进行边缘拼接，得到拼接后的图像；

步骤A2，计算每个相同点云的欧氏距离的方差；

步骤A3，判断所述方差是否达到一预设值：

如是，则对相同点云进行覆盖，得到拼接后的图像；

如否，则转至步骤A2。

6. 如权利要求1所示的方法，其特征在于，所述步骤S3中，对所述三维模型中的四个面的图像进行深度处理包括进行图像细节增强、坐标变换和角度调整。

7. 如权利要求1所示的方法，其特征在于，所述三维模型以obj文件的形式进行存储。

8. 如权利要求1所示的方法，其特征在于，所述被测物体每旋转90°，所述Kinect的传感器采集一次所述被测物体的彩色图像和深度图像。

9. 一种利用Kinect实现三维建模和全息显示的系统，其特征在于，包括：

采集模块，用于通过一Kinect的传感器于四个不同方向采集被测物体的彩色图像和深度图像，所述被测物体置于一旋转云台上；

第一处理模块，连接所述采集模块，用于对采集的四个面的彩色图像和深度图像进行处理以将两种图像统一到同一坐标系下，获得所述被测物体的三维模型；

第二处理模块，连接所述第一处理模块，用于对所述三维模型中的四个面的图像进行深度处理，使该四个面的图像能显示在同一屏幕的四个区域；

投影模块，连接所述第二处理模块，用于将四个区域的图像分别投影到一全息金字塔的四个面上，得到所述被测物体的全息影像。

10. 如权利要求9所述的系统，其特征在于，所述系统还包括：

跟踪模块， 用于使用Kinect的摄像头的骨骼跟踪引擎对用户头部进行骨骼跟踪，得到用户的头部位置信息；

调整模块，连接所述跟踪模块和所述投影模块，用于根据所述用户的头部位置信息调整显示在屏幕上的四个图像的大小和位置，以根据用户的头部位置动态调整全息图像。