CN103955963B - 一种基于 Kinect设备的数字化人体三维重建方法及系统 - Google Patents

Abstract

本发明涉及一种基于Kinect设备的数字化人体三维重建方法，具体包括以下步骤：步骤1：扫描获取表面特征数据；步骤2：对表面特征数据进行去噪预处理，得到没有噪音平滑的深度信息；步骤3：对深度信息依次进行刚体匹配和非刚体匹配得到三维模型。本发明扫描时间短；扫描过程简单；扫描中所需硬件设备简单；扫描过程无需他人配合或者提前的学习指导；结果几何精度高，面部结构，衣服纹理结构等都很清晰；通过测试，系统稳定性强；整个系统采用一键式模式，用户无需设置任何参数和改变，只需要按一个键就可以得到最终的结果；运算时间短；颜色贴图自动生成。

Description

一种基于Kinect设备的数字化人体三维重建方法及系统

技术领域

本发明涉及一种基于Kinect设备的数字化人体三维重建方法及系统。

背景技术

Kinect是微软公司2010年为XBox开发的360度动态追踪扫描外围辅助设备。Kinect设备前端由一个摄像机和两个摄像头构成。摄像机是红外发射器，它从红外摄像头获取的红外数据后，在内部对其进行计算处理，然后产生深度数据。Kinect实际上是一种3D体感摄影机，利用即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能让玩家摆脱传统游戏手柄的束缚，通过自己的肢体控制游戏，并且实现与互联网玩家互动，分享图片、影音信息。Kinect价格只有100多美元，这使得Kinect可以轻松的进入千家万户。一经推出便受到了大众消费者的青睐。除了对Kinect进行辅助游戏的设备开发外，利用Kinect的动态人体活动追踪功能开发出的三维人体扫描和三维人体重建也越来越受到重视。现在比较流行的三维人体重建方法主要有两种：一是通过现在比较流行的建模软件如3DMax、Maya、Poser等进行构建，但是通过这种方法建立的人体模型一般都是标准化的人体模型，在服装领域，尤其是在定制服装方面，需要专业的三维建模师，一般设计师难以掌握其操作，这就增加了产品的成本，因此这种方法局限性很大；二是利用三维扫描技术，例如：以白光为基础的扫描技术的影像莫尔法和投影莫尔法；利用激光二极管发出条光投射到扫描物体表面上，通过三角测量方法获得数据的激光技术扫描；在电磁光谱的红外线区域里操作红外线图像传感器，利用红外线光发射半导体和半导体位置敏感探测仪，将红外线能量转换成电子信号，聚焦于屏幕上的红外线技术扫描等等。上述方法都能获得真实人体表面的几何数据，并将这些数据重建，得到详细的人体模型。目前世界上一些发达国家，如美国、德国、英国、法国和日本等已经采用上述几种方法研制出了一些先进的非接触式三维人体测量装置，精度和测量速度都比较高，但并未得到广泛的应用，究其原因主要是其动辄几十万甚至上百万美元的购买成本是一般厂商无力承担的。Kinect因其体积小，价格低，使用简单，在服装定制、采购与电子商务的结合领域，有着更为广泛的市场推广前景。Kinect是普通消费者都可以消费的起的设备，用Kinect进行人体三维扫描及重建便可以使普通的消费者也可以掌握三维扫描技术。

但是目前这种使用单个Kinect进行三维人体扫描和人体重建的方法虽然简单，但是却存在精度不高及分辨率低的缺陷。我们采用了独创的辅助过滤器方法及对扫描人体进行非刚性匹配和重构方法。应用这两项技术开发的单个Kinect人体扫描及重建软件能够顺利解决上述的两个问题，从而在根本上提高了重建后的人体的精度及分辨率。我们的Kinect人体扫描软件针对普通的家庭用户，要求软件更加智能，能够处理很多特殊情况，尤其是非刚体的运动，因为被扫描者站在Kinect前面自己旋转一周，人体是非刚体的运动,尤其是腿脚和手臂,对于不同角度的扫描。如果使用刚体匹配，效果会很差。我们的软件要求能够实现非刚体的匹配，而且能够找到躯干运动的轨迹。我们的软件使用方法简单便捷。全部扫描过程都是由Kinect自动完成，操作者只需进行一键式操作便可以完成，即便是普通人也可以很快掌握单个Kinect的人体扫描及重建。

单个Kinect进行人体重建的项目具有巨大的应用前景和广阔的市场空间。基于单个Kinect的人体重建项目可以应用在游戏、动漫及电影等娱乐行业，其市场潜力和发展空间是巨大的。用Kinect重建后的人体模型不再是标准化的人体模型，而是根据实实在在的真实的人进行重建的，因此充满了个性化。以后的游戏开发及动漫设计甚至在电影制作上，都可以使用重建者自己的三维模型了，增加了真实性、趣味性及可看性。Kinect的三维重建人体模型还可以应用在服装制造领域，应用于虚拟试穿衣服，因为Kinect扫描后的数据是真实的人体比例，消费者可以在网上商店挑选衣服，把衣服模型虚拟的穿在三维重建人体模型上，可以很方便看出衣服的大小甚至款式是否合适被扫描者，可以非常有效的避免目前网上购物存在的尺寸不符的问题。这项应用可以用于衣服的网络购物，对于促进网络消费具有划时代的意义。

现有的技术方案，包括微软开发的KinectFusion，和第三方公司开发RecontructMe等基于Kinect的三维扫描应用软件，可以对刚体及不动的物体或景物进行扫描重建。使用者手持Kinect对被重建的物体或景物进行扫描，得到物体的三维数字化重建的结构。

发明内容

上述现有技术存在以下不足：

现有的方案不能解决非刚体的三维重建，就是说现有的方案要求被重建的物体或景物是不动的(在扫描的过程中)。这样操作起来很不方便，特别是对于人体扫描，需要两个人完成，一个被重建的人，在整个扫描过程中,大概10分钟保持不动。另一人手持Kinect设备进行扫描。

扫描时间长。因为Kinect设备的分辨率很低，需要距离被扫描的人体很近，来扫描得到细节的信息。这样就要对人体从上到下并且360度的扫描，以得到数据。

扫描的结果没有颜色贴图。现有的方案只能利用Kinect深度检测传感器得到结构信息，而没有利用颜色信息进行贴图。

本发明所要解决的技术问题是，针对现有技术的不足，提供一种扫描时间短、过程简单、设备简单、扫描过程无需他人配合的基于Kinect设备的数字化人体三维重建方法。

本发明解决上述技术问题的技术方案如下：一种基于Kinect设备的数字化人体三维重建方法，具体包括以下步骤：

步骤1：扫描获取表面特征数据；

步骤2：对表面特征数据进行去噪预处理，得到没有噪音平滑的深度信息；

步骤3：对深度信息依次进行刚体匹配和非刚体匹配得到三维模型。

本发明的有益效果是：本发明扫描时间短；扫描过程简单，只需被扫描人或其他物体旋转一周即可；扫描中所需硬件设备简单，只需要一个Kinect设备；扫描过程无需他人配合或者提前的学习指导；结果几何精度高，面部结构，衣服纹理结构等都很清晰；通过测试，系统稳定性强，对上百个人体扫描测试，结果都应该很好很稳定；整个系统最终将采用一键式模式，用户无需设置任何参数和改变，只需要按一个键就可以得到最终的结果；运算时间短，如果采用普通笔记本电脑，其运算时间20分钟以内；颜色贴图自动生成，最终的结果应是一个有几何结构和颜色贴图的。

在上述技术方案的基础上，本发明还做如下改进。

进一步，步骤1具体包括以下步骤：

步骤1.1：Kinect设备在视频速率下利用红外线光谱通过光栅扫描的方式获取被测物体表面深度数据和RGB颜色数据；

步骤1.2：由表面深度数据构建表面点云数据；

步骤1.3：对表面点云数据重建成表面特征数据，完成表面特征数据的测量。

进一步，所述步骤2中采用辅助过滤器对表面特征数据中的噪点进行去噪，得到在局部坐标系下的深度信息。所述步骤2具体包括以下步骤：

步骤2.1：对表面特征数据使用optical flow光流图像处理技术计算出帧与帧之间的每个象素点的数据偏移量，每组的RGB颜色数据和深度数据根据数据偏移量进行匹配，使每个像素点的信息一致；

步骤2.2：对上述完成匹配的每组RGB颜色数据和深度数据进行平滑去噪，得到噪音很低并且保持特征的数据；

步骤2.3：将上述数据输入欧拉-拉格朗日方程进行计算，得出平滑去噪的深度信息。

采用上述进一步方案的有益效果是，可以有效的平滑三维数据模型，对噪点进行去噪过程，同时又能高精度的保持重建后模型的特征点，可以有效的提高重建后模型的分辨率及精度。

进一步，所述步骤3具体包括以下步骤：

步骤3.1：将深度信息进行刚体匹配，将深度信息从局部坐标系转换为全局坐标系，并计算出最佳初始位置数据；

步骤3.2：将被测物体的非刚体部分分解为多个刚体部分，多个刚体部分之间通过球连接点链接；

步骤3.3：对多个刚体部分分别采用刚体匹配计算出在全局坐标系下的深度信息，并计算出连接点位置数据；

步骤3.4：由全局坐标系下的深度信息和连接点位置数据重建三维模型。

本发明所要解决的技术问题是，针对现有技术的不足，提供一种扫描时间短、过程简单、设备简单、扫描过程无需他人配合的基于Kinect设备的数字化人体三维重建系统。

本发明解决上述技术问题的技术方案如下：一种基于Kinect设备的数字化人体三维重建系统，包括：数据获取模块、去噪模块和三维重建模块；

所述数据获取模块用于扫描获取表面特征数据；

所述去噪模块用于对表面特征数据进行去噪预处理，得到没有噪音平滑的深度信息；

所述三维重建模块用于对深度信息依次进行刚体匹配和非刚体匹配得到三维模型。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述数据获取模块包括：光栅扫描模块、点云数据构建模块和表面特征模块；

所述光栅扫描模块用于Kinect设备在视频速率下利用红外线光谱通过光栅扫描的方式获取被测物体表面深度数据；

所述点云数据构建模块用于由表面深度数据构建表面点云数据；

所述表面特征模块用于对表面点云数据重建成表面特征数据，完成表面特征数据的测量。

进一步，所述去噪模块中采用辅助过滤器对表面特征数据中的噪点进行去噪，得到在局部坐标系下的深度信息。

采用上述进一步方案的有益效果是，可以有效的平滑三维数据模型，对噪点进行去噪过程，同时又能高精度的保持重建后模型的特征点，可以有效的提高重建后模型的分辨率及精度。

进一步，所述三维重建模块包括：刚体匹配模块、非刚体分解模块和模型构建模块；

所述刚体匹配模块用于将深度信息进行刚体匹配，将深度信息从局部坐标系转换为全局坐标系，并计算出最佳初始位置数据；

所述非刚体分解模块用于将被测物体的非刚体部分分解为多个刚体部分，多个刚体部分之间通过球连接点链接，整个人体是一个由多段刚体组成的非刚体；

所述刚体匹配模块用于对多个刚体部分分别采用刚体匹配计算出在全局坐标系下的深度信息，并计算出连接点位置数据，所述连接点位置即人体关节的位置；

所述模型构建模块用于由由全局坐标系下的深度信息和连接点位置数据重建三维模型。

进一步，所述非刚体分解模块应用基于概率模型的EM学习方法，把非刚性的人体模型分解成若干段刚体，例如胳膊，手部，前臂和上臂分别是一段刚体，并且由球形自由度的连接点链接，把复杂不可解的非刚体匹配问题转化为多段刚体匹配问题。

进一步，所述数据获取模块中采集的表面特征数据中包括RGB颜色数据和深度数据。

进一步，所述去噪模块包括：偏移量计算模块、平滑去噪模块和自动迭代模块；

所述偏移量计算模块用于对表面特征数据使用optical flow光流图像处理技术计算出帧与帧之间的每个象素点的数据偏移量，每组的RGB颜色数据和深度数据根据数据偏移量进行匹配，使每个像素点的信息一致；

所述平滑去噪模块用于对上述完成匹配的每组RGB颜色数据和深度数据进行平滑去噪，得到噪音很低并且保持特征的数据；

所述自动迭代模块用于将上述数据输入欧拉-拉格朗日方程进行计算，得出平滑去噪的深度信息。

本项目要重点解决的关键技术问题是非刚体模型的匹配和重构。因为被扫描的人体自己旋转，所以在处理数据上，除了传统的刚体匹配融合之外，还存在非刚体的匹配，比较明显的部位是人的腿脚和胳膊。要实现单个Kinect设备的三维人体重建，就要处理好人体作为非刚体的运动过程的重建。

项目的特色和创新之处是独创的辅助过滤器方法及对扫描人体进行非刚性匹配和重构方法。该辅助过滤器在三维重建过程中，可以有效地平滑三维数据模型，对噪点进行去噪过程，但同时又能高精度的保持重建后人体模型的特征点，通过这种方法可以有效地提高重建后人体模型的分辨率及精度。因为人体在转动的过程并不是一动不动的刚性物体，而是由骨骼和关节构成的非刚体，因此在移动的过程中关于非刚体的匹配及重建是我们重点要解决的问题。

附图说明

图1为本发明具体实施例1所述的一种基于Kinect设备的数字化人体三维重建方法流程图；

图2为本发明具体实施例2所述的一种基于Kinect设备的数字化人体三维重建方法流程图；

图3为本发明具体实施例1所述的一种基于Kinect设备的数字化人体三维重建系统结构框图。

附图中，各标号所代表的部件列表如下：

1、数据获取模块，2、去噪模块，3、三维重建模块，11、光栅扫描模块，12、点云数据构建模块，13、表面特征模块，21、偏移量计算模块，22、平滑去噪模块，23、自动迭代模块，31、刚体匹配模块，32、非刚体分解模块，33、模型构建模块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，为本发明具体实施例1所述的一种基于Kinect设备的数字化人体三维重建方法，具体包括以下步骤：

步骤1：扫描获取表面特征数据；

步骤2：对表面特征数据进行去噪预处理，得到没有噪音平滑的深度信息；

步骤3：对深度信息依次进行刚体匹配和非刚体匹配得到三维模型。

所述步骤2中采用辅助过滤器对表面特征数据中的噪点进行去噪，得到在局部坐标系下的深度信息。

如图2所示，为本发明具体实施例2所述的一种基于Kinect设备的数字化人体三维重建方法，具体包括以下步骤：

步骤1：Kinect设备在视频速率下利用红外线光谱通过光栅扫描的方式获取被测物体表面深度数据；

步骤2：由表面深度数据构建表面点云数据；

步骤3：对表面点云数据重建成表面特征数据，完成表面特征数据的测量；

步骤4：对表面特征数据使用optical flow光流图像处理技术计算出帧与帧之间的每个象素点的数据偏移量，每组的RGB颜色数据和深度数据根据数据偏移量进行匹配，使每个像素点的信息一致；

步骤5：对上述完成匹配的每组RGB颜色数据和深度数据进行平滑去噪，得到噪音很低并且保持特征的数据；

步骤6：将上述数据输入欧拉-拉格朗日方程进行计算，得出平滑去噪的深度信息；

步骤7：将深度信息进行刚体匹配，将深度信息从局部坐标系转换为全局坐标系，并计算出最佳初始位置数据；

步骤8：将被测物体的非刚体部分分解为多个刚体部分，多个刚体部分之间通过球连接点链接；

步骤9：对多个刚体部分分别采用刚体匹配计算出在全局坐标系下的深度信息，并计算出连接点位置数据；

步骤10：由全局坐标系下的深度信息和连接点位置数据重建三维模型。

所述步骤3中采集的表面特征数据中包括RGB颜色数据和深度数据。

如图3所示，为本发明具体实施例1所述的一种基于Kinect设备的数字化人体三维重建系统，包括：数据获取模块1、去噪模块2和三维重建模块3；

所述数据获取模块1用于扫描获取表面特征数据；

所述去噪模块2用于对表面特征数据进行去噪预处理，得到没有噪音平滑的深度信息；

所述三维重建模块3用于对深度信息依次进行刚体匹配和非刚体匹配得到三维模型。

所述数据获取模块1包括：光栅扫描模块11、点云数据构建模块12和表面特征模块13；

所述光栅扫描模块11用于Kinect设备在视频速率下利用红外线光谱通过光栅扫描的方式获取被测物体表面深度数据；

所述点云数据构建模块12用于由表面深度数据构建表面点云数据；

所述表面特征模块13用于对表面点云数据重建成表面特征数据，完成表面特征数据的测量。

所述去噪模块2中采用辅助过滤器对表面特征数据中的噪点进行去噪，得到在局部坐标系下的深度信息。

所述三维重建模块3包括：刚体匹配模块31、非刚体分解模块32和模型构建模块33；

所述刚体匹配模块31用于将深度信息进行刚体匹配，将深度信息从局部坐标系转换为全局坐标系，并计算出最佳初始位置数据；

所述非刚体分解模块32用于将被测物体的非刚体部分分解为多个刚体部分，多个刚体部分之间通过球连接点链接；

所述刚体匹配模块31用于对多个刚体部分分别采用刚体匹配计算出在全局坐标系下的深度信息，并计算出连接点位置数据；

所述模型构建模块33用于由由全局坐标系下的深度信息和连接点位置数据重建三维模型。

所述数据获取模块1中采集的表面特征数据中包括RGB颜色数据和深度数据。

所述去噪模块2包括：偏移量计算模块21、平滑去噪模块22和自动迭代模块23；

所述偏移量计算模块21用于对表面特征数据使用optical flow光流图像处理技术计算出帧与帧之间的每个象素点的数据偏移量，每组的RGB颜色数据和深度数据根据数据偏移量进行匹配，使每个像素点的信息一致；

所述平滑去噪模块22用于对上述完成匹配的每组RGB颜色数据和深度数据进行平滑去噪，得到噪音很低并且保持特征的数据；

所述自动迭代模块23用于将上述数据输入欧拉-拉格朗日方程进行计算，得出平滑去噪的深度信息。

具体使用时，使用者站在Kinect设备前面自动旋转一周，系统得到原始的数据。对于每一个角度，通过预处理得到没有噪音平滑的深度信息。然后通过刚体匹配和非刚体匹配得到人体的三维模型。最后通过颜色贴图得到最后的结果。

使用单个Kinect设备进行三维人体扫描及三维人体重建，操作简单方便，一键式自动完成，可以满足普通用户的操作需求，不需要普通用户具有专业的操作方面的技能。这种操作方法虽然简单，但是也具有一定的局限性。这种扫描方式的局限性主要体现在扫描的数据的精度不够及分辨率过低。造成这种状况的主要原因在于在用Kinect设备扫描的过程中，为了能够全面有效地覆盖住被扫描的人体，就需要使Kinect设备距离人体一米左右的距离进行扫描。Kinect设备在视频速率下通过光栅扫描利用红外线光谱获取人体表面深度数据，进一步构建人体表面点云数据，然后对点云数据重建，最后完成对人体表面特征数据的测量。由于拍摄过程中Kinect设备距离人体有一定的距离，这在一定程度上就会丧失精细度并造成扫描人体的分辨率低的问题。在这样的拍摄过程下，重建后的模型一般会出现表面粗糙，纹理较多的问题，其原因主要是Kinect设备获取人体模型表面的深度点的数量较多，很难避免误差的产生，这样一来就会出现一些深度起伏较大的点，即为噪声点，对模型重构后，噪声点就会凸显，呈现在模型上成为粗糙的纹理。为了能够得到质量较高的模型，需要对点云数据进行去噪声处理。

为了有效地提高三维扫描数据的分辨率及精细度，我们采用独创的辅助过滤器办法，该辅助过滤器在三维重建过程中，可以有效地平滑三维数据模型，对噪点进行去噪过程，但同时又能高精度的保持重建后人体模型的特征点，通过这种方法可以有效地提高重建后人体模型的分辨率及精度。

由于人体表面特征为不规则的曲线，情况非常复杂，这使得用Kinect设备得到的点云数据在空间内分布并不规则，很难直接通过人体点云数据进行量化并计算它们之间的距离关系，并会直接影响进一步得到人体表面特征数据。在人体模型的重建过程中一定会遇到非刚体匹配的问题。因为人体在转动的过程并不是一动不动的刚性物体，而是由骨骼和关节构成的非刚体，因此在移动的过程中关于非刚体的匹配及重建是我们重点要解决的问题。这就引出了我所的另一项创新，就是对三维重建模型进行非刚性匹配及重构。在模型的重建过程中，我们将会把人体视为有骨头和关节共同构成的非刚性物体。通过对特殊部位的特征点的关注和提取，可以重建出整个人体骨架和关节模型。在利用Kinect设备进行人体动态跟踪过程中，就要重建过程中要重点跟踪可移动的人体部位，例如要特别关注手臂和大腿等四肢的运动轨迹。基于非刚体运动的设想，重点重建出以四肢运动为主要追踪目标的三维人体模型。

依据非刚体设计进行重建后的三维人体模型，完全符合人体的运动轨迹学原理，可以应用于游戏、动漫、电视、电影的制作，这种与人体非刚体运动相匹配的人体模型可以非常有效而真实的模仿真实人体的运动轨迹，可以在虚拟世界完全还原人体的活动。

基于以上的描述，我们的研究方案确定为基于单个Kinect设备的人体重建配备了辅助过滤器方案，同时有效地解决人体转动过程中的非刚体匹配及重建，就可以保证高精度和高分辨率的完成三维人体扫描及三维人体重建。在整个技术方案当中，对人体的非刚性匹配及重建将是本技术的重点。

辅助过滤器的数据预处理阶段的详细表述(对于去噪模块2的进一步详细表述):

在数据采集阶段，人体在Kinect设备前自己旋转一周360度，程序自动每隔大概10度左右采集一组10帧RGB颜色数据和深度数据，对一个人体总共获得360帧到400帧的RGB颜色数据和深度数据。针对每一组10帧RGB颜色数据和深度数据，我们使用辅助过滤器的数据预处理来平滑去噪。

第一步，在这一组10帧的数据中，因为人体始终在旋转，每一帧的数据之间也是有一定的偏移的。Kinect可以达到每秒30帧的视频级别的数据获取，10帧数据的时间为三分之一秒，实验数据可知偏移量很小，在3个像素之内。我们使用optical flow(光流)图像处理技术计算出帧与帧之间的每个象素点的数据偏移量。这样，每组的10帧RGB颜色数据和深度数据都是匹配好的，每个象素点的信息都是一致。

第二步，在匹配好的每组10帧数据中，进行平滑去噪，从而得到1帧噪音很低而且保持特征的结果。具体过程基于能量方程：

min_HE_data(C₁,...,C₁₀,D₁,...,D₁₀,H)+λE_reg(H).

C₁,...,C₁₀是输入的10帧RGB颜色数据，D₁,...,D₁₀是输入的10帧深度数据，H是需要求得的最后的平滑后的深度数据结果。此能量方程由两部分组成：E_data和E_reg。E_data部分保证最后的结果H和每一帧的原始数据C₁,...,C₁₀和D₁,...,D₁₀相同或相似，并且保持原有的好的特征。E_reg部分使得最后的结果H平滑低噪。

在E_data部分，通过每个象素点的颜色信息C_k计算其深度信息D_k的权重W_k。

在E_reg部分，保证特征的同时尽量去除噪点。在每个象素及其邻域内，计算其扩张矩阵根据扩张矩阵的特征向量v₁...v_lm-1和特征值λ₁...λ_lm-1来定义E_reg。特征值大的方向代表好的特征，需要保持，反之特征值小的方向代表噪点，需要去除。

第三步，使用Euler-Lagrange方法最小化能量方程，自动的迭代的计算出平滑去噪的结果H。对于每组10帧数据都可以得到一个结果H，一个人体我们可以得到30到40个H，H₁,...,H₃₆，是刚体和非刚体匹配计算的输入数据。

刚体匹配的详细表述(对于刚体匹配模块31的进一步详细表述):

H₁,...,H₃₆是在局部坐标系下的深度信息，在刚体匹配阶段的主要任务是把H₁,...,H₃₆从局部坐标系转换为全局坐标系，并计算出好的初始位置。

由于数据精度不高，而且存在非刚体的运动，我们假定一帧H_n中的一个像素点和它的邻帧H_n+1100个象素点有关联，这种关联通过高斯组合模型(Gaussian Mix Model)来表述：

简单来说，就是帧H_n中的一个像素点p(x)可以由其邻帧H_n+1中100点的数据分别乘以高斯分布的权重，然后加和来表述。在这100点中，如果和被表述点关联大，那么高斯权重就大，反之权重就小。这样的表达使得抗噪音和抗非刚体的影响大大提高，使得结果更加稳定。

能量方程如下所示，对于刚体匹配部分只有一个E_data(M,W)部分，M是每一帧的刚体旋转平移矩阵，M_f代表f帧的矩阵。W是每一帧的高斯权重。

通过EM学习的方法，迭代计算出M,W。作为非刚体匹配的初始值。

非刚体匹配的详细表述(对于非刚体分解模块32的进一步详细表述):

人体站在Kinect前面自己旋转一周，所以整体的运动是非刚体的，特别是胳膊和腿部。我们假设这种非刚体运动是基于几段刚体的运动连接起来的，比如胳膊，手部，前臂和上臂分别是一段刚体，这三段刚体通过两个球连接点链接，再通过一个球连接点到上肢。整个人体是一个由多段刚体组成的非刚体，我们的目标是计算出每段刚体的运动，连接点的位置和连接方式。具体的做法是在刚体的匹配的基础上添加E_reg(M,W)，能量方程如下：

E_data(M,W)同刚体匹配中的定义一致。E_reg(M,W)有两部分，Weight Constraint(WC)和Joint Constraint(JC).WC部分限制球连接点的个数不会太多，添加一个球连接点就会在整体数据上产生一个撕裂，我们认为撕裂的两边是刚体的运动，通过撕裂处的球连接点链接。每增加一个撕裂点，I就加一定数值，使得能量方程变大。在能量方程最小化过程中球连接点数量会被限制。JC部分保证撕裂处两边是连接在一起的，其撕裂的距离不会大。从而保证最后数据的完整性和稳定性。

我们同样使用EM算法迭代计算出刚体段和每段的刚体运动，同时计算出连接点位置。从而得到最后的非刚体的人体扫描结果。

本发明技术方案带来的有益效果

Kinect体感游戏机外围辅助设备进行人体三维重建，消费者可以在游戏的过程中完成人体的个性化三维重建，这种人体的三维重建模型能够广泛的应用于真人游戏，真人电影，网络社区的开发中，还可以与网络购物相结合，具有无可比拟的发展潜力。我们计划将人体重建与商品的重建相结合，可以使消费者在登入购物平台时先输入一组关于身高，体重，性别的数据，系统进而可以自动生成几组人体模型可以供消费者进行选择，选择好的人体模型就可以做为消费者的个人模型进行衣服试穿和商品试戴了。进一步在此基础上，以及伴随着Kinect或者家庭用扫描设备的普及，可逐步的开发出基于人体的个性化的数字化人体重建项目，从而真正的实现个性化的人体三维模型与商品三维模型的匹配，例如网络试衣镜，或者高级成衣定制。

本发明技术方案的关键点

理论创新1：由于拍摄过程中Kinect距离人体有一定的距离，这在一定程度上就会丧失精细度并造成扫描人体的分辨率低的问题。在这样的拍摄过程下，重建后的模型一般会出现表面粗糙，纹理较多的问题，其原因主要是Kinect获取人体模型表面的深度点的数量较多，很难避免误差的产生，这样一来就会出现一些深度起伏较大的点，即为噪声点，对模型重构后，噪声点就会凸显，呈现在模型上成为粗糙的纹理.为了能够得到质量较高的模型，需要对点云数据进行去噪声处理。为了有效地提高三维扫描数据的分辨率及精细度，我所采用独创的辅助过滤器办法，该辅助过滤器在三维重建过程中，可以有效地平滑三维数据模型，对噪点进行去噪过程，但同时又能高精度的保持重建后人体模型的特征点，通过这种方法可以有效地提高重建后人体模型的分辨率及精度。(学术文章参见1.Yan Cui,Sebastian Schuon,Sebastian Thrun,Didier Stricker,Christian Theobalt，Algorithms for3D Shape Scanning with a Depth Camera，IEEE Transactions onPattern Analysis and Machine Intelligence(T-PAMI),2012.美国2.YanCui,SebastianSchuon,Derek Chan,Sebastian Thrun,Christian Theobalt.3D shape scanning with aTime-of-Flight camera,CVPR 2010.旧金山，美国)。

理论创新2：由于人体表面特征为不规则的曲线，情况非常复杂，这使得用Kinect得到的点云数据在空间内分布并不规则，很难直接通过人体点云数据进行量化并计算它们之间的距离关系，并会直接影响进一步得到人体表面特征数据。而且在人体模型的重建过程中一定会遇到非刚体匹配的问题。因为人体在转动的过程并不是一动不动的刚性物体，而是由骨骼和关节构成的非刚体，因此在移动的过程中关于非刚体的匹配及重建是我们重点要解决的问题。这就引出了我所的另一项创新，就是对三维重建模型进行非刚性匹配及重构。在模型的重建过程中，我们将会把人体视为有骨头和关节共同构成的非刚性物体。通过对特殊部位的特征点的关注和提取，可以重建出整个人体骨架和关节模型。在利用Kinect进行人体动态跟踪过程中，就要重建过程中要重点跟踪可移动的人体部位，例如要特别关注手臂和大腿等四肢的运动轨迹。基于非刚体运动的设想，重点重建出以四肢运动为主要追踪目标的三维人体模型。依据非刚体设计进行重建后的三维人体模型，完全符合人体的运动轨迹学原理，可以后续的继续应用于游戏和动漫设计，以及电影开发方面，这种与人体非刚体运动相匹配的人体模型可以非常有效而真实的模仿真实人体的运动轨迹，可以在虚拟世界完全还原人体的活动。(学术文章参见1.Yan Cui,Will Chang,TobiasDidier Stricker,KinectAvatar:Fully Automatic Body Capture Using a SingleKinect,ACCV2012.首尔，韩国。2.Yan Cui,Didier Stricker,3D shape scanning with aKinect.ACM SIGGRAPH 2011.温哥华，加拿大)

应用创新:结合以上的提及的创新点，我们的Kinect人体重建项目只需要一个Kinect，使用者在Kinet前面自己旋转一周，即可得到想要的人体三维数据。非常适合于网络购物系统，普通用户可以在家里扫描自己的体型，然后上传到网络购物公司，网络购物公司会给用户提供合适大小的衣服裤子。同时可以虚拟的把这些衣服试着穿到扫描的人体上，提前预览效果。客户通过这样的模式可以最大限度的选到合适自己，而且自己满意的衣服款式。我们团队在此基础上开发了互动式衣服款式修改系统，基于这个系统，每个人都是自己的服装设计师，可以在简单的衣服款式上加上自己的设计元素，比如剪切线位置、深度，衣服的颜色样式等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于Kinect设备的数字化人体三维重建方法，其特征在于，具体包括以下步骤：

步骤1：扫描获取表面特征数据；

步骤2：对表面特征数据进行去噪预处理，得到没有噪音平滑的深度信息；

步骤3：对深度信息依次进行刚体匹配和非刚体匹配得到三维模型；

其中，所述步骤2中采用辅助过滤器对表面特征数据中的噪点进行去噪，得到在局部坐标系下的深度信息；

所述步骤3具体包括以下步骤：

步骤3.1：将深度信息进行刚体匹配，将深度信息从局部坐标系转换为全局坐标系，并计算出最佳初始位置数据；

步骤3.2：将被测物体的非刚体部分分解为多个刚体部分，多个刚体部分之间通过球连接点链接；

步骤3.3：对多个刚体部分分别采用刚体匹配计算出在全局坐标系下的深度信息，并计算出连接点位置数据；

步骤3.4：由全局坐标系下的深度信息和连接点位置数据重建三维模型。

2.根据权利要求1所述的一种基于Kinect设备的数字化人体三维重建方法，其特征在于，所述步骤1具体包括以下步骤：

步骤1.1：Kinect设备在视频速率下利用红外线光谱通过光栅扫描的方式获取被测物体表面深度数据；

步骤1.2：由表面深度数据构建表面点云数据；

步骤1.3：对表面点云数据重建成表面特征数据，完成表面特征数据的测量。

3.根据权利要求2所述的一种基于Kinect设备的数字化人体三维重建方法，其特征在于，所述步骤1中采集的表面特征数据中包括RGB颜色数据和深度数据。

4.根据权利要求1-3任一项所述的一种基于Kinect设备的数字化人体三维重建方法，其特征在于，所述步骤2具体包括以下步骤：

步骤2.1：对表面特征数据使用optical flow光流图像处理技术计算出帧与帧之间的每个像素点的数据偏移量，每组的RGB颜色数据和深度数据根据数据偏移量进行匹配，使每个像素点的信息一致；

步骤2.2：对上述完成匹配的每组RGB颜色数据和深度数据进行平滑去噪，得到噪音很低并且保持特征的数据；

步骤2.3：将上述数据输入欧拉-拉格朗日方程进行计算，得出平滑去噪的深度信息。

5.一种基于Kinect设备的数字化人体三维重建系统，包括：数据获取模块、去噪模块和三维重建模块；

所述数据获取模块用于扫描获取表面特征数据；

所述去噪模块用于对表面特征数据进行去噪预处理，得到没有噪音平滑的深度信息；

所述三维重建模块用于对深度信息依次进行刚体匹配和非刚体匹配得到三维模型；

所述去噪模块中采用辅助过滤器对表面特征数据中的噪点进行去噪，得到在局部坐标系下的深度信息；

所述三维重建模块包括：刚体匹配模块、非刚体分解模块和模型构建模块；

所述刚体匹配模块用于将深度信息进行刚体匹配，将深度信息从局部坐标系转换为全局坐标系，并计算出最佳初始位置数据；

所述非刚体分解模块用于将被测物体的非刚体部分分解为多个刚体部分，多个刚体部分之间通过球连接点链接，整个人体是一个由多段刚体组成的非刚体；

所述刚体匹配模块用于对多个刚体部分分别采用刚体匹配计算出在全局坐标系下的深度信息，并计算出连接点位置数据，连接点位置即人体关节的位置；

所述模型构建模块用于由全局坐标系下的深度信息和连接点位置数据重建三维模型。

6.根据权利要求5所述的一种基于Kinect设备的数字化人体三维重建系统，其特征在于，所述数据获取模块包括：光栅扫描模块、点云数据构建模块和表面特征模块；

所述光栅扫描模块用于Kinect设备在视频速率下利用红外线光谱通过光栅扫描的方式获取被测物体表面深度数据；

所述点云数据构建模块用于由表面深度数据构建表面点云数据；

所述表面特征模块用于对表面点云数据重建成表面特征数据，完成表面特征数据的测量。

7.根据权利要求6所述的一种基于Kinect设备的数字化人体三维重建系统，其特征在于，所述非刚体分解模块应用基于概率模型的EM学习方法，把非刚性的人体模型分解成若干段刚体，并且由球形自由度的连接点链接，把复杂不可解的非刚体匹配问题转化为多段刚体匹配问题。

8.根据权利要求7所述的一种基于Kinect设备的数字化人体三维重建系统，其特征在于，所述数据获取模块中采集的表面特征数据中包括RGB颜色数据和深度数据。

9.根据权利要求5-8任一项所述的一种基于Kinect设备的数字化人体三维重建系统，其特征在于，所述去噪模块包括：偏移量计算模块、平滑去噪模块和自动迭代模块；

所述偏移量计算模块用于对表面特征数据使用optical flow光流图像处理技术计算出帧与帧之间的每个像素点的数据偏移量，每组的RGB颜色数据和深度数据根据数据偏移量进行匹配，使每个像素点的信息一致；

所述平滑去噪模块用于对上述完成匹配的每组RGB颜色数据和深度数据进行平滑去噪，得到噪音很低并且保持特征的数据；

所述自动迭代模块用于将上述数据输入欧拉-拉格朗日方程进行计算，得出平滑去噪的深度信息。