CN103279987A - 基于Kinect的物体快速三维建模方法 - Google Patents

Abstract

本发明公开一种基于Kinect的物体快速三维建模方法，其包括以下步骤：步骤1：固定各Kinect与旋转平台的相对位置，并使各Kinect分别以不同视角正对旋转平台，以获得较为完整的物体模型；步骤2：将欲重建的物体置于旋转平台中央，启动系统进行物体重建，利用三维视觉理论对Kinect输出的场景深度信息实现场景建模，将位于不同坐标系的Kinect的场景深度信息统一到同一个坐标系；步骤3：基于法线校正的外点去除方法过滤错误的三维点云，具体是：由步骤2得到稠密的场景深度信息的三维点云，提取这些三维点云的法线信息，并构建基于局部法线约束的外点判断函数，对于不满足局部法线约束的三维点云的数据则判定为外点，予以去除；步骤4：得到物体的三维模型。

Description

基于Kinect的物体快速三维建模方法

技术领域

本发明属于计算机视觉领域，涉及物体三维建模方法，具体涉及一种基于Kinect的物体快速三维建模方法。

背景技术

目前，物体三维模型在设计仿真、虚拟现实、3D电影和文化保护等诸多领域，应用十分广泛。然而，现有的三维重建技术常常基于一些复杂和昂贵的传感器，如结构光相机或三维激光扫描仪等。若三维重建的成本能够降低，使得三维物体模型如照片和视频一样容易获得，则物体模型能够被应用到更多的领域，如商务网站平台和在线购物网站等。因此，如何快速且成本低廉地对物体建模，是计算机视觉的一个重要目标。

Kinect的出现，可以说是一场革命性的变革。Kinect本来是微软公司开发的Xbox360主机的周边外设，主要用于人机实时交互怕；也有一些文献报道将Kinect应用于三维重建中。例如Engelhard N，Endres F，Hess J，Sturm J，Burgard W等人的文章“Real-time3D visual SLAM with a hand-held RGB-Dcamera”（发表在Proceedings of the RGB-D Workshop on3D Perception inRobotics at the European Robotics Forum。

Sweden:Robotdalen，2011），文章中，Nikolas等利用Kinect提供的RGB-D相机实现了一个实时的视觉SLAM系统，该系统能够用于场景重建。其主要方法是利用彩色摄像机进行SURF特征匹配，先获得摄像机位置的初值，然后用ICP（Iterative closest point）算法。进行三维点云配准并对相机位置进行优化。但是该方法需要手动旋转物体或移动Kinect；且需要提取图像特征点进行局部配准。

再例如Henry P，Krainin M，Herbst E，Ren X，Fox D等人发表的文章“RGB-Dmapping:using depth cameras for dense3D modeling of indoorenvironments”（发表在Proceedings of the12th International Symposium onExperimental Robotics。Delhi，India:IEEE，2010），以及Du H，Henry P，Ren X F，Cheng M，Goldman D B，Seitz S M，Fox D等人发表的文章“Interactive3D modeling of indoor environments with a consumer depth camera”（发表在Proceedings of the13th International Conference on UbiquitousComputing。Beijing，China:IEEE，2011。75-84），上述两篇文章中，Henry等人利用Kinect实现了一个交互式的三维重建系统，该系统仅选取关键帧进行ICP配准；这两篇文章中提出的方法均需要进行图像特征提取与匹配，对纹理不丰富物体不太有效。同样的，上述方法需要手动旋转物体或移动Kinect；且需要提取图像特征点进行局部配准。

再例如Izadi S，Newcombe R A，Kim D，Hilliges O，Molyneaux D，HodgesS，Kohli P，Davison A，Fitzgibbon A等人发表的文章“Kinect-Fusion:real-time dynamic3D surface reconstruction and interaction”（发表在Proceedings of International Conference on Computer Graphics andInteractive Techniques。Vancouver，Canada:ACM，2011。23），以及Izadi S，Kim D，Hilliges O，Molyneaux D，Newcombe R，Kohli P，Shotton J，HodgesS，Freeman D，Davison A，Fitzgibbon A等人发表的文章“Kinect-Fusion:real-time3D reconstruction and interaction using a moving depth camera”（发表在Proceedings of Annual ACM Symposium on User Interface Softwareand Technology。Santa Barbara，CA:ACM，2011。559-568），上述文章中，Izadi等人给出了一种基于GPU并行计算的实时定位与重建系统，并实现了动态场景的增强现实应用。但该系统重建结果依赖于实时的ICP配准，配准错误影响系统的稳定性，而配准误差使得重建的三维模型存在一定的Loop-Closure问题。

再例如Tong J，Zhou J，Liu L G，Pan Z G，Yan H等人发表的文章“Scanning3D full human bodies using Kinects”（发表在IEEE Transactions onVisualization and Computer Graphics，2012，18(4):643-650），文章介绍了一种基于Kinect的人体（有轻微形变的非刚体）重建方法。该方法首先需要对人体进行建模，然后利用图像特征点实现相邻帧的局部配准，并进行全局优化。该系统通过局部配准与全局优化的反复迭代来获得人体模型。该系统需要对人体进行建模，不适用于一般的物体重建，因为对一般的物体图像，提取可靠的匹配特征是很困难的。此外，反复迭代的配准策略会一定程度地影响算法的时间性能。

另外，上述文献一般都对获得的模型采用视觉评价，缺少严格的精度评估，因此，所得重建模型的应用范围也受到限制。因此，针对以上问题，许华荣、刘鑫、胡占义等人发表的文章“基于GPU和Kinect的快速物体重建”（自动化学报，第38卷第8期，2012年8月），提出了一种基于GPU和Kinect的快速物体重建系统及方法，该系统主要包括三个设备:一个Kinect、一个旋转平台和一台配置有GPU的计算机；其采用的方法是系统首先驱动旋转平台旋转，然后利用Kinect每隔时间tm0采集一次视差图；由采集的视差图，系统在线计算得到RGB相机坐标系下的三维点云，并实时与邻近三维点云进行局部配准；在旋转与采集结束后，由获得的三维点云序列(X₀，X₁，…，X_n-1)和局部配准关系，通过一个全局配准步骤，计算所有三维点云与三维点云X₀的坐标变换关系；最后，合并三维点云并过滤，得到物体的三维模型。该文献介绍的方法中，Kinect输出的深度数据本身存在一定数量的外点（错误的三维点云，也即噪声），经过数据融合处理后还有可能增加一部分外点，这些外点将严重影响最终的重建成型效果。

发明内容

因此，针对上述的问题，本发明提出一种基于Kinect的物体快速三维建模方法，通过在现有的算法中增加从场景深度数据中有效地去除外点的方法，以解决现有技术之不足。

为了解决上述技术问题，本发明所采用的技术方案是，一种基于Kinect的物体快速三维建模方法，所需硬件设备包括：

至少两个Kinect，记为第一Kinect、第二Kinect，…，第N Kinect；

一配置有GPU（Graphic Processing Unit，图形处理器）的微处理器，各Kinect通过USB接口与微处理器连接；优选的，该微处理器选用TI公司的型号为DM6446（DaVinci DM6446）的微处理器,该DM6446微处理器是一个双核架构处理器，采用了高性能的TMS320C64＋系统DSP，以及ARM926EJ-S MPU处理核。

以及一旋转平台，该旋转平台通过一步进电机与微处理器连接，步进电机控制旋转平台进行旋转运动，进而带动旋转平台上的物体进行旋转运动，旋转平台上的物体旋转的角度ω，由下式得到：

其中，v_s为步进电机的旋转速度（单位：step/s），ω₀为一个常数，tm为旋转平台运行时间；该方法包括以下步骤：

步骤1：固定各Kinect与旋转平台的相对位置，并使各Kinect分别以不同视角正对旋转平台，以获得较为完整的物体模型；简单的，Kinect的数量可设为两个，为获得较为完整的物体模型，可使第一Kinect和第二Kinect以俯视或平视的视角正对旋转平台，令第一Kinect以水平视角正对旋转平台，令第二Kinect以俯视视角正对旋转平台；

步骤2：将欲重建的物体置于旋转平台中央，启动系统进行物体重建，Kinect可以直接输出当前视角下的场景深度信息，利用三维视觉理论对Kinect输出的场景深度信息实现场景建模：首先对Kinect的彩色摄像机和红外摄像机进行标定，计算出这两个摄像机准确的内参数；其次，利用场景深度信息与图像信息之间的几何关系计算出场景的三维结构；然后，将位于不同RGB相机坐标系的Kinect的场景深度信息数据统一到同一个RGB相机坐标系下；

步骤3：基于法线校正的外点去除方法消除外点，即过滤错误的三维点云，具体是：由步骤2得到稠密的场景深度信息的三维点云，提取这些三维点云的法线信息，并构建基于局部法线约束的外点判断函数，对于不满足局部法线约束的三维点云的数据则判定为外点，予以去除；

步骤4：通过曲面片拟合得到物体的三维模型。

进一步的，所述步骤2具体包括以下步骤：

步骤21：分别标定各Kinect，并驱动旋转平台旋转；

步骤22：标定各Kinect和旋转转台的关系；每隔时间tm₀，各Kinect均采集一次视差图，根据采集的视差图，计算得到三维点云X_ij，其中，i(i=0,1…n-1)表示各Kinect（第1至第N个Kinect）的编号，j(j=0,1…n-1)表示第j次三维点云采集；则，第一Kinect获得的第一三维点云集合X_0j={X₀₀,X₀₁,…,X_0(n-1)}；第二Kinect获得的第二三维点云集合为X_1j={X₁₀,X₁₁,…,X_1(n-1)}；…；第N Kinect获得的第N三维点云集合X_(n-1)j={X_(n-1)0,X_(n-1)1,…,X_(n-1)(n-1)};

步骤23：对第一三维点云集合进行局部配准，即对步骤22中第一Kinect采集的第一三维点云集合X_0j中的相邻c个三维点云进行在线局部配准，得到X_0j的局部配准关系；其中，X_0j={X₀₀,X₀₁,…,X_0(n-1)}；

步骤24：对第二三维点云集合、…以及第N三维点云集合进行坐标变换，即在旋转与采集结束后，由第一Kinect获得的第一三维点云集合X_0j、以及步骤23得出的X_0j的局部配准关系，通过全局配准计算三维点云X_0j（j=1，2…n-1）与三维点云X₀₀的坐标变换关系；

步骤25：根据步骤24的方法，将三维点云X_ij（i=0,1…n-1；j=0,1…n-1）均变换到三维点云X₀₀的坐标系下，合并所有三维点云。

具体的，所述步骤21标定各Kinect中，Kinect包括彩色摄像机、红外线发射器和红外线CMOS摄像机（以下简称为红外线摄像机）等核心设备，其标定内容包括：红外线摄像机相关参数、彩色摄像机的内参数矩阵和红外线摄像机与彩色摄像机的刚体变换。对于空间中一点P，由Kinect采集得到了其在红外线摄像机的RGB相机坐标系下的视差d，再根据标定的红外线摄像机的相关参数来计算点P在红外线摄像机的RGB相机坐标系下的三维坐标；然后，根据彩色摄像机与红外线摄像机的旋转平移关系和彩色摄像机的内参数矩阵，计算点P在彩色摄像机的RGB相机坐标系下的三维坐标以及其对应的图像坐标。对各Kinect的标定仅需进行一次。

步骤22中，标定各Kinect与旋转平台的关系：在固定了各Kinect与旋转平台的相对位置之后，首先要对各Kinect与旋转平台的关系进行粗标定，粗标定的方法包括如下步骤：

步骤22a：每隔时间tm采集一次视差图。则由公式（1）（即旋转平台上的物体旋转的角度ω的计算公式）可知，ω₀₁＝ω₁₂＝…＝ω_n-2，n-1，其中ω_i，i+1表示相邻两次采集旋转平台旋转的角度。对于第一Kinect采集的相邻三维点云，设其在RGB相机坐标系下的真实变换关系为

则有：

$\left({\stackrel{\‾}{R}}_{01}{\stackrel{\‾}{t}}_{01}\right)=\left({\stackrel{\‾}{R}}_{12}{\stackrel{\‾}{t}}_{12}\right)=\·\·\·=\left({\stackrel{\‾}{R}}_{n-2,n-1}{\stackrel{\‾}{t}}_{n-2,n-1}\right)---\left(2\right)$

但是对于真实物体的重建，由于旋转平台旋转误差、物体不可能严格放在正中、各Kinect的采集误差以及Kinect参数标定误差等因素，各变换关系不可能严格相等，仅存在近似相等关系：

$\left({\stackrel{\‾}{R}}_{01}{\stackrel{\‾}{t}}_{01}\right)\≈\left({\stackrel{\‾}{R}}_{12}{\stackrel{\‾}{t}}_{12}\right)\≈\·\·\·\≈\left({\stackrel{\‾}{R}}_{n-2,n-1}{\stackrel{\‾}{t}}_{n-2,n-1}\right)---\left(3\right)$

步骤22b：由式(3)可知，相邻三维点云间有相近的坐标变换关系，于是，在第一Kinect的RGB相机坐标系下，为相邻三维点云的坐标变换标定一个初值，记为(R₀t₀);(R₀t₀)的标定结果不需要特别精确，仅仅得到一个合理的初值就可以了，精确的解可由后续的配准和优化步骤得到。在第一Kinect和旋转平台位置关系固定后，粗标定仅需进行一次。

采用一种基于EM-ICP算法的粗标定方法标定(R₀t₀)，该方法的大体步骤为：首先，将某一物体置于旋转平台中央，将旋转平台旋转一周，第一Kinect和第二Kinect每隔tm₀采集一次物体的三维点云。得到的三维点云集合记为第一三维点云集合{X₀₀，X₀₁，…，X_0，n-1}和第二三维点云集合{X₁₀，X₁₁，…，X_1，n-1}。使用第一三维点云集合来标定(R₀t₀)。

步骤22c：另外，标定第二Kinect与第一Kinect的关系：固定了两个Kinect的位置，便确定了两个Kinect RGB相机（Kinect RGB相机为Kinect的其中一个部件）坐标系的相对变换关系。设从第二Kinect的RGB相机坐标系到第一Kinect RGB相机坐标系的真实坐标变换关系为

本步即对

进行粗标定。本步的标定结果记为(R₁t₁)。对于得到的三维点云X_1j(j=0，1，…，n-1)，可由(R₁t₁)变换得到X_0j坐标系下的三维点云X′_1j；再由X_0j与X₀₀的坐标变换关系，将X′_1j变换到X₀₀坐标系下。同上一步一样，对

进行粗标定即可，后面的三维点云配准、优化与融合步骤将得到精确的解。

使用上一步中获得的第一三维点云集合与第二三维点云集合来标定(R₁t₁)。同标定(R₀t₀)一样，标定(R_lt₁)采用了一种基于EM-ICP算法的粗标定方法。首先，由EM-ICP算法计算两个集合对应三维点云（即X_0j与X_1j）坐标变换关系的估计：

$\left(R_1^j{t}_1^j\right)(j=\mathrm{0,1},...,n-1)$

由此得到X_0j和X′_1j(X′_1j为X_1j经过变换后的三维点云）的残留误差ε^j。则：

$\left(R_1{t}_1\right)=\arg \underset{j}{\min }\mathrm{\ϵ}\left(R_1^j{t}_1^j\right)---\left(4\right)$

根据上面同样的步骤标定其他Kinect与第一Kinect的关系。

步骤23中，三维点云采集与在线局部配准具体包括以下步骤：重建开始后，系统首先由各Kinect的视差图实时获取三维点云X_ij(i=0，1)。然后，以为初值，利用ICP算法对第一Kinect采集的相邻c组三维点云进行配准。其中，

表示对三维点云X_0k和X_0j坐标相对变换关系的估计，且|j-k|≤c；

$\left(\begin{array}{cc}{\hat{R}}_{\mathrm{kj}}& {\hat{t}}_{\mathrm{kj}}\\ 0& 1\end{array}\right)={\left(\begin{array}{cc}{R}_0& t_0\\ 0& 1\end{array}\right)}^{j-k};$

最后，利用(R₁t₁)对第二Kinect得到的第二三维点云集合进行坐标变换。此外，对于第二Kinect采集的视差图X_1j，每个CUDA-thread需对三维点作额外的(R₁t₁)坐标变换。

步骤24中，全局配准具体包括以下步骤：由步骤23获得邻近三维点云配准关系后，需要进一步进行全局配准，来得到三维点云X_0i与三维点云X₀₀之间的相对变换关系

和

全局配准仅使用第一三维点云集合。首先通过SVD分解法计算旋转矩阵进而利用广义逆矩阵求得

步骤25中，三维点云合并具体包括以下步骤：利用上一步得到的三维点云相对变换关系

和将三维点云X_0i(i=1，2，…，n-1)都转换到三维点云X₀₀的R坐标系下，并合并所有三维点云，得到三维点云X₀。同样地，利用

和

将三维点云X_1i(i=1，2，…，n-1)都转换到三维点云X₁₀的坐标系下，并合并所有三维点云，得到三维点云X₁。然后，由EM-ICP算法配准三维点云X₀和X₁,并将两个三维点云合并，得到物体模型。

另外，由于Kinect采集误差和Kinect参数标定误差等因素，每组三维点云的边缘会有少量颜色为实验场景背景色的错误点。系统最后通过比较这些点与场景的背景颜色是否一致，来过滤所有此类错误点。

本文以快速物体三维建模及相关技术为研究背景，着眼于物体建模中存在的基本问题，最终开发了一套通用的物体快速三维建模系统模型。该系统重建模型能够达到毫米级精度，能够满足一般应用的需要。该系统提供的主要功能包括：Kinect与旋转平台关系粗标定、多个Kinect相互关系粗标定、由视差图获取三维点云、三维点云拼接、三维模型生成等。

目前，基于视觉的三维重建系统基本上采用在PC上实现，可以利用PC上的丰富的软、硬件资源，算法处理速度快，加上可以使用GPU进行加速显示，实时性较好。但由于PC机体积大、耗能高，在实际使用过程，存在诸多的不便。而随着嵌入式系统的不断发展，部分嵌入式产品具备复杂的图像处理的能力。如TI公司提供的DaVinci DM6446,它是一个双核架构处理器，采用了高性能的TMS320C64＋系统DSP，以及ARM926EJ-S MPU处理核。在嵌入式系统上实现实时的三维重建不仅拓展了三维重建的应用领域，而且在联网接入方式上更加灵活，方便。

附图说明

图1是本发明的硬件连接关系的示意图；

图2为本发明的物体快速三维建模方法的流程示意图；

图3(a)-图3(h)为本发明的示例图以及重建结果图。

具体实施方式

现结合附图和具体实施方式对本发明进一步说明。

对于物体建模，基于Kinect的重建技术有如下的优势：Kinect能够快速获取场景深度信息；Kinect是一种主动传感器，易不受环境可见光谱的干扰；Kinect的核心设备是彩色摄像机、红外线发射器和红外线摄像机，这些设备都比较廉价，因而Kinect的售价也很低廉；此外，Kinect的操作与普通摄像机类似，易于使用。目前，将Kinect应用于物体建模，面临的挑战主要有：1）如何用Kinect快速地重建出物体完整的三维模型；2）重建系统需要对Kinect从各个视角获取的三维点云进行配准，在三维点云配准失败或配准结果误差较大时，如何保证重建系统能够正确运行，并得到完整的物体模型；3）对于有遮挡的物体和/或各个视角下表面形状相似的物体，如何重建出较完整的物体模型；4）如何系统地评估Kinect重建模型的精度等。本发明的目的是在低成本的前提下，开发出一套实时的基于Kinect的实时三维重建系统,系统集成在DaVinciDM6446开发板上。该系统在移动过程中可以实现对场景（或物体）实时准确的三维重建，其主要研发内容包括：多视点Kinect数据的实时融合方法；鲁棒的外点去除方法；快速有效的物体建模方法以及曲面片拟合方法；以及三维重建算法在DM6446上的实现。本发明着眼于基于Kinect的实时三维重建系统的研究开发，拟解决的关键技术问题有：1、Kinect数据的快速融合问题：Kinect可以直接输出当前视角下场景的深度信息，当Kinect在场景中自由移动时，每一时刻获取的深度信息分属于不同的坐标系，只有将不同时刻的深度数据统一到同一个坐标系下才能进一步实现场景的三维重建，因此如何将不同时刻的Kinect数据融合到一个统一的世界坐标系下是本发明所要解决的一个关键问题。2、Kinect数据中的外点去除问题：Kinect输出的深度数据本身存在一定数量的外点，经过数据融合处理后还有可能增加一部分外点，这些外点将严重影响最终的重建成型效果，因此如何从场景深度数据中有效地去除外点是本发明所要解决的一个重要问题。3、场景（或物体）建模以及曲面片拟合问题：Kinect输出场景深度数据以及场景图像数据，本发明的最终目标是要实现场景（或物体）的三维描述，为了实现这一目标，需要对Kinect输出的数据进行有效处理以实现场景的三维建模，并进而使用曲面片拟合场景的三维点数据，并要求这些曲面片对应于三维场景的可见表面，因此如何基于场景深度数据实现场景建模并进行有效的曲面拟合也是本发明所要解决的一个重要问题。4、算法移植问题：对于上述的数据融合、外点去除、场景建模等算法，即使其本身计算复杂度较低，随着场景观测数据的不断增多，其时间复杂度都将不断增大，这将严重影响系统的实时性。因此如何有效地利用DM6446的双处理器优势，合理分配任务，在调度算法实施层面提高算法的运行速度是一个重要的问题。

本发明在系统层面，利用微软公司的Kinect设备和TI公司的DaVinciDM6446实现一套实时的三维重建系统。利用三维视觉理论处理Kinect数据，进而提出了一种基于Kinect的实时三维重建系统，该系统可实现场景（或物体）实时的三维重建。在算法层面，开发一整套围绕基于Kinect的实时三维重建系统的相关算法，包括基于图优化理论的实时数据融合技术、鲁棒的外点去除技术、实时的场景（或物体）建模技术与曲面片拟合技术。

具体的，本发明的一种基于Kinect的物体快速三维建模方法，如图1所示，所需硬件设备包括：至少两个Kinect（本实施例中采用两个Kinect实现，分别记为第一Kinect和第二Kinect）、一旋转平台和一配置有GPU（GraphicProcessing Unit，图形处理器）的DM6446微处理器；第一Kinect和第二Kinect通过USB接口与DM6446微处理器连接；旋转平台通过一步进电机与DM6446微处理器连接，步进电机控制旋转平台进行旋转运动，进而带动旋转平台上的物体进行旋转运动，旋转平台上的物体旋转的角度ω，可由下式得到：

$\mathrm{\ω}=\frac{v_s\×{\mathrm{\ω}}_0\×\mathrm{tm}}{360}---\left(1\right)$

其中，v_s为步进电机的旋转速度（单位：step/s），ω₀为一个常数，tm为旋转平台运行时间。

该方法的重建原理如下：物体重建前的准备工作：固定第一Kinect和第二Kinect与旋转平台的相对位置，为了能够获得较为完整的物体模型，应使第一Kinect和第二Kinect分别以不同视角（俯视或平视）正对旋转平台，令第一Kinect以水平视角正对旋转平台，令第二Kinect以俯视视角正对旋转平台。将欲重建的物体置于旋转平台中央，启动系统进行物体重建：系统首先初始化第一Kinect和第二Kinect，并驱动旋转平台旋转；然后，每隔时间tm₀，第一Kinect和第二Kinect采集一次视差图；根据采集的视差图，系统在线计算得到三维点云X_ij（其中，i(i＝0，1)表示Kinect编号，j(j＝0，1，…，n-1)表示第j次三维点云采集）。此外，系统实时对第一Kinect采集的邻近c个三维点云进行局部配准。在旋转与采集结束后，由第一Kinect获得的三维点云集合{X₀₀，X₀₁，…，X_0，n-1}和其局部配准关系，通过一个全局配准步骤，计算三维点云X_0j(j＝1，2，…，n-1)与三维点云X₀₀的坐标变换关系。最后，将三维点云X_ij(i＝0，1；j＝0，1，…，n-1)均变换到三维点云X₀₀的坐标系下，合并所有三维点云并过滤，得到物体的三维模型。基于以上的重建原理，本发明的物体快速三维建模方法主要有如下两个步骤：

步骤A：系统粗标定：

A1：标定各Kinect：标定内容包括：红外线摄像机相关参数、彩色摄像机的内参数矩阵和红外线摄像机与彩色摄像机的刚体变换。对于空间中一点P，由Kinect采集得到了其在红外线摄像机RGB相机坐标系下的视差d，可由标定的红外线摄像机相关参数计算点P在红外线摄像机RGB相机坐标系下的三维坐标。然后，根据彩色摄像机与红外线摄像机的旋转平移关系和彩色摄像机的内参数矩阵，计算点P在彩色摄像机RGB相机坐标系下的三维坐标以及其对应的图像坐标。对Kinect的标定仅需进行一次。

A2：标定第一Kinect与旋转平台的关系：在固定了第一Kinect与旋转平台的相对位置之后，要对第一Kinect与旋转平台的关系进行粗标定。粗标定的方法如下：

1）每隔时间tm采集一次视差图。则由式(1)可知，ω₀₁＝ω₁₂＝…＝ω_n-2，n-1(ω_i，i+1表示相邻两次采集旋转平台旋转的角度）。对于第一Kinect采集的相邻三维点云，设其在RGB相机坐标系下的真实变换关系为 $\left({\stackrel{\‾}{R}}_{i,i+1}{\stackrel{\‾}{t}}_{i,i+1}\right)(i=0,1,...,n-1),$ 则有：

$\left({\stackrel{\‾}{R}}_{01}{\stackrel{\‾}{t}}_{01}\right)=\left({\stackrel{\‾}{R}}_{12}{\stackrel{\‾}{t}}_{12}\right)=\·\·\·=\left({\stackrel{\‾}{R}}_{n-2,n-1}{\stackrel{\‾}{t}}_{n-2,n-1}\right)---\left(2\right)$

但是对于真实物体的重建，由于旋转平台旋转误差、物体不可能严格放在正中、Kinect传感器采集误差和Kinect参数标定误差等因素，各变换关系不可能严格相等，仅存在近似相等关系：

$\left({\stackrel{\‾}{R}}_{01}{\stackrel{\‾}{t}}_{01}\right)\≈({\stackrel{\‾}{R}}_{12}{\stackrel{\‾}{t}}_{12}\≈\·\·\·\≈\left({\stackrel{\‾}{R}}_{n-2,n-1}{\stackrel{\‾}{t}}_{n-2,n-1}\right)---\left(3\right)$

2）由式(3)可知，相邻三维点云间有相近的坐标变换关系。于是，在第一Kinect的RGB相机坐标系下，为相邻三维点云的坐标变换标定一个初值，记为(R₀t₀)。

(R₀t₀)的标定结果不需要特别精确，仅仅得到一个合理的初值就可以了，精确的解可由后续的配准和优化步骤得到。在第一Kinect和旋转平台位置关系固定后，粗标定仅需进行一次。

采用基于EM-ICP算法的粗标定方法标定，方法的大体步骤为：首先，将某一物体置于旋转平台中央，将旋转平台旋转一周，每个Kinect每隔tm₀采集一次物体的三维点云。得到的三维点云集合记为第一三维点云集合{X₀₀，X₀₁，…，X_0，n-1}和第二三维点云集合{X₁₀，X₁₁，…，X_1，n-1}。使用第一三维点云集合来标定(R₀t₀)。

A3：标定第二Kinect与第一Kinect的关系：固定了两个Kinect的位置，便确定了两个Kinect RGB相机坐标系的相对变换关系。设从第二Kinect RGB相机坐标系到第一Kinect RGB相机坐标系的真实坐标变换关系为

本步即对进行粗标定。本步的标定结果记为(R₁t₁)。对于得到的三维点云X_1j(j＝0，1，…，n-1)，可由(R₁t₁)变换得到X_0j坐标系下的三维点云X′_1j；再由X_0j与X₀₀的坐标变换关系，将X′_1j变换到X₀₀坐标系下。同上一步一样，对

进行粗标定即可，后面的三维点云配准、优化与融合步骤将得到精确的解。

使用上一步中获得的0号与第二三维点云集合来标定(R₁t₁)。同标定(R₀t₀)一样，标定(R₁t₁)采用了一种基于EM-ICP算法的粗标定方法。首先，由EM-ICP算法计算两个集合对应三维点云（即X_0j与X_1j）坐标变换关系的估计：

$\left(R_1^j{t}_1^j\right)(j=\mathrm{0,1},...,n-1)$

由此得到X_0j和X′_1j（X′_1j为X_1j经过

变换后的三维点云）的残留误差ε^j。则：

$\left(R_1{t}_1\right)=\arg \underset{j}{\min }\mathrm{\ϵ}\left(R_1^j{t}_1^j\right)---\left(4\right)$

步骤B：三维点云获取、配准及融合：对置于旋转平台中央的物体进行重建，主要流程分为在线计算和离线计算两个部分。在线计算获得物体三维点云并进行局部配准，离线计算先对获得的三维点云集合进行全局配准，然后优化融合所有三维点云得到物体的三维模型。局部与全局配准仅在第一Kinect采集到的三维点云集合上进行。利用这些配准结果，对第二Kinect采集的三维点云进行坐标变换和三维点云融合。该步骤的流程图如图2所示。其具体步骤如下：

步骤B1：三维点云采集与在线局部配准：重建开始后，系统首先由各Kinect的视差图实时获取三维点云X_ij(i=0，1)。然后，以

为初值，利用ICP算法对第一Kinect采集的相邻c组三维点云进行配准。其中，

表示对三维点云X_0k和X_0j坐标相对变换关系的估计，且|j-k|≤c。

$\left(\begin{array}{cc}{\hat{R}}_{\mathrm{kj}}& {\hat{t}}_{\mathrm{kj}}\\ 0& 1\end{array}\right)={\left(\begin{array}{cc}{R}_0& t_0\\ 0& 1\end{array}\right)}^{j-k}$

最后，利用(R₁t₁)对第二Kinect得到的三维点云进行坐标变换。。此外，对于第二Kinect采集的视差图X_1j，每个CUDA-thread需对三维点作额外的(R₁t₁)坐标变换。

步骤B2：全局配准：由上一步获得邻近三维点云配准关系后，需要进一步进行全局配准，来得到三维点云X_0i与三维点云X₀₀之间的相对变换关系

和

全局配准仅使用第一三维点云集合。首先通过SVD分解法计算旋转矩阵

进而利用广义逆矩阵求得

步骤B3：三维点云合并：利用上一步得到的三维点云相对变换关系

和

将三维点云X_0i(i＝1，2，…，n-1)都转换到三维点云X₀₀的坐标系下，并合并所有三维点云，得到三维点云X₀。同样地，利用

和将三维点云X_1i(i=1，2，…，n-1)都转换到三维点云X₁₀的坐标系下，并合并所有三维点云，得到三维点云X₁。

步骤B4：基于法线校正的外点去除方法消除外点，即过滤错误的三维点云，具体是：由步骤2得到稠密的场景深度信息的三维点云，提取这些三维点云的法线信息，并构建基于局部法线约束的外点判断函数，对于不满足局部法线约束的三维点云的数据则判定为外点，予以去除。

另外，由于Kinect采集误差和Kinect参数标定误差等因素，每组三维点云的边缘会有少量颜色为实验场景背景色的错误点。系统最后通过比较这些点与场景的背景颜色是否一致，来过滤所有此类错误点。

然后，由EM-ICP算法配准三维点云X₀和X₁，并将两个三维点云合并，得到物体模型。

本发明以快速物体三维建模及相关技术为研究背景，着眼于物体建模中存在的基本问题，最终开发了一套通用的物体快速三维建模系统模型。该系统重建模型能够达到毫米级精度，能够满足一般应用的需要。该系统提供的主要功能包括：Kinect与旋转平台关系粗标定、多个Kinect相互关系粗标定、由视差图获取三维点云、三维点云拼接、三维模型生成等。

本发明采用上述方法，其中，a、基于图优化与ICP的实时数据融合方法：首先将Kinect输出第一帧图像时的摄像机的RGB相机坐标系作为世界坐标系。当Kinect在场景中移动时，对于任意相邻两帧Kinect数据，使用ICP（Iterativeclosest point）方法实现数据的粗略配准和融合。由于这种增量式的数据配准融合模式较易产生累积误差，这将严重影响数据融合的精度。因此在一定时间间隔内，利用图优化方法整体优化该时间间隔内的数据融合结果，以有效提高数据融合精度。b、基于法线校正的外点去除方法：基于Kinect输出的场景深度信息，可以得到稠密的场景深度点云。提取这些三维点的法线信息，并构建基于局部法线约束的外点判断函数，对于不满足局部法线约束的点数据则认为是外点，予以去除。c、基于场景深度数据的建模方法与基于能量函数的曲面片拟合方法：i.场景建模：利用三维视觉理论，基于Kinect输出的场景深度信息实现场景建模。首先对Kinect的彩色摄像机和红外摄像机进行标定，计算出这两个摄像机准确的内参数。然后，利用场景深度信息与图像信息之间的几何关系计算出场景的三维结构。ii.曲面片拟合：首先，针对系统实时性的要求，对三维点云进行稀疏化处理，得到较为稀疏的三维点云，进而对稀疏点云进行单纯剖分，将剖分得到的每个四面体看作一个体素。然后，通过可见性、灰度一致性和面积约束建立如下能量函数：E(S)=E_vis(S)+E_gray(S)+E_area(S)；再通过为每个体素赋予一个最优标记使上述能量函数达到最小。Partrick的研究表明，在能量函数达到最小的体素标记中，任意两个具有不同标记的四面体的公共面片组成的曲面片是物体表面，因此可通过上述能量函数最小化实现三维数据的面片拟合。

实时三维重建算法在DM6446上的实现：DM6446利用DSPLINK实现基于ARM和DSP的异构处理器间通信，DSPLINK是多处理器系统中用于处理器间传递消息和数据的一种通信机制(IPC)。

因为Kinect设备推出时间较短，虽然文献中也有采用Kinect实现三维重建的报道，但都处于初步阶段，且在嵌入式系统上实现的基本上没有。本项目利用微软公司的Kinect设备，结合DM6446嵌入式架构，实现一种实时的三维重建系统，其成本低廉，实现容易，且具有很好的效果。

参照图3(a)-图3(h)，我们在8个物体上进行了实验，包括：图3(a)的维纳斯头像、图3(b)的兵马俑头像、图3(c)的运动鞋、图3(d)的水壶、图3(e)的茶罐、图3(f)的蛐蛐角雕（工艺品）、图3(g)的小盆青叶碧玉（常见室内植物）、图3(h)的大盆青叶碧玉。这些物体的示例图片和重建结果见图3(a)-图3(h)（每个子图的第一个图片为示例图片，其它图片为重建结果）。其中，尺寸最大的物体是大盆青叶碧玉，最小的是蛐蛐角雕。所有重建模型的平均误差都在0.763mm-2.473mm之间，并且误差率小于2.0%。对于所有的重建模型，超过95%的三维点的残留误差在5mm以下。可见，重建模型较为准确。这些结果表明，在精度要求不太苛刻的场合，如几个毫米内，选择本发明的系统进行重建不失为一种上策。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (8)

1.一种基于Kinect的物体快速三维建模方法，所需硬件设备包括： 

至少两个Kinect，记为第一Kinect、第二Kinect； 

一配置有GPU的微处理器，各Kinect通过USB接口与微处理器连接； 

以及一旋转平台，该旋转平台通过一步进电机与微处理器连接，步进电机控制旋转平台进行旋转运动，进而带动旋转平台上的物体进行旋转运动； 

其特征在于：该方法包括以下步骤： 

步骤1：固定各Kinect与旋转平台的相对位置，并使各Kinect分别以不同视角正对旋转平台，以获得较为完整的物体模型； 

步骤2：将欲重建的物体置于旋转平台中央，启动系统进行物体重建，利用三维视觉理论对Kinect输出的场景深度信息实现场景建模：首先对Kinect的彩色摄像机和红外摄像机进行标定，计算出这两个摄像机准确的内参数；其次，利用场景深度信息与图像信息之间的几何关系计算出场景的三维结构；然后，将位于不同坐标系的Kinect的场景深度信息数据统一到同一个坐标系下； 

步骤3：基于法线校正的外点去除方法消除外点，即过滤错误的三维点云，具体是：由步骤2得到稠密的场景深度信息的三维点云，提取这些三维点云的法线信息，并构建基于局部法线约束的外点判断函数，对于不满足局部法线约束的三维点云的数据则判定为外点，予以去除； 

步骤4：得到物体的三维模型。 

2.根据权利要求1所述的物体快速三维建模方法，其特征在于：所述步骤2具体包括以下步骤： 

步骤21：分别标定各Kinect，并驱动旋转平台旋转； 

步骤22：标定各Kinect和旋转转台的关系；每隔时间tm₀,各Kinect均采集一次视差图，根据采集的视差图，计算得到三维点云X_ij，其中，i(i=0,1…n-1)表示各Kinect的编号，j(j=0,1…n-1)表示第j次三维点云采集；则第一Kinect获得的第一三维点云集合X_0j={X₀₀,X₀₁,…,X_0(n-1)}；第二Kinect获得的第二三维点云集合为X_1j={X₁₀,X₁₁,…,X_1(n-1)}； 

步骤23：对步骤22中第一Kinect采集的第一三维点云集合X_0j中的相邻c个三维点云进行在线局部配准，得到X_0j的局部配准关系；其中，X_0j={X₀₀,X₀₁,…,X_0(n-1)}； 

步骤24：在旋转与采集结束后，由第一Kinect获得的第一三维点云集合X_0j、以及步骤23得出的X_0j的局部配准关系，通过全局配准计算三维点云X_0j（j=1，2…n-1）与三维点云X₀₀的坐标变换关系； 

步骤25：根据步骤24的方法，将三维点云X_ij（i=0,1…n-1；j=0,1…n-1）均变换到三维点云X₀₀的坐标系下，合并所有三维点云。 

3.根据权利要求2所述的物体快速三维建模方法，其特征在于：所述步骤21标定各Kinect中，该Kinect包括彩色摄像机、红外线发射器和红外线摄像机，其标定内容包括：红外线摄像机相关参数、彩色摄像机的内参数矩阵和红外线摄像机与彩色摄像机的刚体变换；对于空间中一点P，由Kinect采集得到了其在红外线摄像机的RGB相机坐标系下的视差d，再根据标定的红外线摄像机的相关参数来计算点P在红外线摄像机的RGB相机坐标系下的三维坐标；然后，根据彩色摄像机与红外线摄像机的旋转平移关系和彩色摄像机的内参数矩阵，计算点P在彩色摄像机的RGB相机坐标系下的三维坐标以及其对应的图像坐标；对各Kinect的标定仅需进行一次。 

4.根据权利要求3所述的物体快速三维建模方法，其特征在于：步骤22中， 标定各Kinect与旋转平台的关系：在固定了各Kinect与旋转平台的相对位置之后，首先要对各Kinect与旋转平台的关系进行粗标定，粗标定的方法包括如下步骤： 

步骤22a：每隔时间tm采集一次视差图，则由旋转平台上的物体旋转的角度ω的计算公式可知，ω₀₁＝ω₁₂=…＝ω_n-2，n-1，其中ω_i，i+1表示相邻两次采集旋转平台旋转的角度；其中，旋转平台上的物体旋转的角度ω的计算公式为：                                                   其中，v_s为步进电机的旋转速度，单位：step/s，ω₀为一常数，tm为旋转平台运行时间； 

对于第一Kinect采集的相邻三维点云，设其在RGB相机坐标系下的真实变换关系为   

则有： 

步骤22b：由步骤22a中的式(3)可知相邻三维点云间有相近的坐标变换关系，在第一Kinect的RGB坐标系下，将相邻三维点云的坐标变换标定一个初值，记为(R₀t₀)，对该(R₀t₀)进行粗标定；在第一Kinect和旋转平台位置关系固定后，粗标定仅需进行一次； 

步骤22c：标定第二Kinect与第一Kinect的关系，将从第二Kinect的RGB相机坐标系到第一Kinect的RGB相机坐标系的真实坐标变换关系为   

对该   

进行粗标定。 

5.根据权利要求4所述的物体快速三维建模方法，其特征在于：步骤23中，三维点云的采集与在线局部配准具体包括以下步骤：重建开始后，系统首先由各Kinect的视差图实时获取三维点云X_ij(i＝0，1);然后，以   

为初值，利用ICP算法对第一Kinect采集的相邻c组三维点云进行配准；   

表示 对三维点云X_0k和X_0j坐标相对变换关系的估计，且|j-k|≤c，其中， 

最后，利用(R₁t₁)对第二Kinect得到的第二三维点云集合进行坐标变换。 

6.根据权利要求5所述的物体快速三维建模方法，其特征在于：步骤24中，全局配准具体包括以下步骤：由步骤23获得邻近三维点云配准关系后，进行全局配准，来得到三维点云X_0i与三维点云X₀₀之间的相对变换关系   和    

首先通过SVD分解法计算旋转矩阵   

进而利用广义逆矩阵求得   

7.根据权利要求6所述的物体快速三维建模方法，其特征在于：步骤25中，三维点云合并具体包括以下步骤：利用步骤24得到的三维点云相对变换关系   

和   

将三维点云X_0i(i=1，2，…，n-1)都转换到三维点云X₀₀的R坐标系下，并合并所有三维点云，得到三维点云X₀;同样地，利用   

和   

将三维点云X_1i(i＝1，2，…，n-1)都转换到三维点云X₁₀的坐标系下，并合并所有三维点云，得到三维点云X₁。 

8.根据权利要求1所述的物体快速三维建模方法，其特征在于：该嵌入式微处理器选用TI公司的型号为DM6446的微处理器。 

Images