CN104463952A - 一种人体扫描建模方法 - Google Patents

Abstract

本发明公开了一种人体扫描建模方法，该方法包括：从多个视角采集包含被采集者的人体深度数据；对每一视角的人体深度数据分别进行预处理，去除其中的背景数据、地面数据及杂点数据；将预处理后的所有视角的人体深度数据一同进行刚性配准与非刚性配准，获得完整的人体深度数据；利用曲面重建算法对所述完整的人体深度数据进行曲面重建，获得对应的人体三维模型，再利用所述完整的人体深度数据的颜色信息对获得的所述人体三维模型进行纹理映射，获得包含颜色信息的人体三维模型。通过采用本发明公开的方法可以高效、准确的获得一个几何细节丰富且带有颜色信息的人体三维模型。

Description

一种人体扫描建模方法

技术领域

本发明涉及三维扫描与建模技术领域，尤其涉及一种人体扫描建模方法。

背景技术

三维扫描技术，即快速的获取物体表面的空间坐标的技术。其主要是基于扫描仪来实现的，常用在工业设计、瑕疵检测、逆向工程、机器人引导、地貌检测、医学信息、生物信息、数字文物典藏、电影制作、游戏创作等领域。目前，三维扫描技术主要分为接触式三维扫描技术和非接触式三维扫描技术，其中非接触式的又分为光栅式扫描、激光式扫描和红外线式扫描。

而相对于一般物体，人体的三维信息获取在动画、游戏、计算机图形学、计算机视觉、虚拟现实等领域是一个更加重要的问题，有着广泛的应用价值。不同于一般静态物体或场景的扫描，重建三维人体的处理有其独特性。首先，人体在扫描过程中很难保持静止，这给三维扫描的配准算法带来更高的要求。其次，人们对人体、人脸非常熟悉，为满足诸如游戏、动画等应用要求，仅仅获取表面的几何信息是不够的，因此需要重建出的人体模型带有逼真的颜色信息。现有的人体建模办法主要是利用结构光人体扫描仪，其扫描环境通常是在专业的仪器设备室里面，待扫描者保持一个固定的姿势一段时间完成扫描后进行数据处理，这就让普通消费者十分不便，并且不仅扫描、处理效率低而且无法保证后期模型的准确性。

发明内容

本发明的目的是提供一种人体扫描建模方法，可以高效、准确的获得一个几何细节丰富且带有颜色信息的人体三维模型。

本发明的目的是通过以下技术方案实现的：

一种人体扫描建模方法，该方法包括：

从多个视角采集包含被采集者的人体深度数据；

对每一视角的人体深度数据分别进行预处理，去除其中的背景数据、地面数据及杂点数据；

将预处理后的所有视角的人体深度数据一同进行刚性配准与非刚性配准，获得完整的人体深度数据；

利用曲面重建算法对所述完整的人体深度数据进行曲面重建，获得对应的人体三维模型，再利用所述完整的人体深度数据的颜色信息对获得的所述人体三维模型进行纹理映射，获得包含颜色信息的人体三维模型。

进一步的，所述从多个视角采集包含被采集者的人体深度数据包括：

利用固定的深度相机采集被采集者在同一姿势下不同角度的人体深度数据，其中，该人体深度数据中包含有颜色信息。

进一步的，所述去除其中的背景数据、地面数据及杂点数据包括：

利用深度阈值的方法去除背景数据；

利用人体深度数据下方的点拟合一平面，将与该平面的距离小于预定值的点作为地面数据进行去除；

将去除背景数据与地面数据的人体深度数据投影到一垂直平面上，获得每一数据点的相邻关系；根据数据点的相邻关系生成对应的网格，将网格中的孤立顶点作为杂点进行去除。

进一步的，所述将预处理后的所有视角的人体深度数据一同进行刚性配准与非刚性配准之前还包括粗配准，其步骤包括：

对预处理后的每一视角的人体深度数据均基于一旋转轴进行逆时针旋转，其中，以主成份分析算法PCA计算出的方差最大的主方向为旋转轴，旋转角度为(i-1)·ω°，ω°为相邻视角的角度差。

进一步的，所述将预处理后的所有视角的人体深度数据一同进行刚性配准与非刚性配准，获得完整的人体深度数据包括：

利用迭代就近点算法ICP进行刚性配准，其包括：假设采集了n个视角的人体深度数据，从第一个视角至第n个视角的人体深度数据分别记为：S₁,S₂,S₃…,S_n；利用ICP算法将粗配准后的S₁数据与S₂数据进行配准，再将粗配准后的S₃数据与配准后的S₁数据及S₂数据进行配准，直至完成n个视角的数据正向配准；再利用ICP算法对所述正向配准后的数据进行从第n个视角至第一个视角的逆向配准，获得刚性配准后的人体深度数据；

对刚性配准后的人体深度数据进行全局的非刚性配准，其公式如下：

$E=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}[{\mathrm{\α}}_{\mathrm{rigid}}{E}_{\mathrm{rigid}}\left(S_i^R\right)+{\mathrm{\α}}_{\mathrm{smooth}}{E}_{\mathrm{smooth}}\left(S_i^R\right)]+{\mathrm{\α}}_{\mathrm{fit}}{E}_{\mathrm{fit}};$

其中，为刚性配准后的人体深度数据，i＝1,2,3,...,n；E_rigid为刚性项，α_rigid为刚性项的权值，E_smooth为光滑项，α_smooth光滑项的权值，E_fit为数据项，α_fit为数据项的权值；

所述数据项E_fit用于确保非刚性配准后对应点的距离达到预期值，所述对应点通过下述步骤确定：在刚性配准后每一视角的人体深度数据中均匀采集若干点，对于数据中所采集到的每一个点均从与该数据相邻视角的数据和/或中查找一个距离最近的点作为对应点；

利用有限内存拟牛顿法L-BFGS来求解上述非刚性配准公式，每求解一次之后均重新确定对应点，并更新所述数据项E_fit及按照预定的方式减小权值α_rigid与α_smooth，重复多次后完成非刚性配准。

由上述本发明提供的技术方案可以看出，通过对被采集着的人体深度数据进行预处理，并依次进行刚性配准与非刚性配准后即可利用曲面重建算法重建一个高精度人体三维模型，同时，还利用深度数据对该人体三维模型进行纹理映射，获得带有颜色信息的人体三维模型；该方案不借助导轨，转盘等仪器，即可轻松有效的进行数据采集及高效、准确的后期处理。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种人体扫描建模方法的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

实施例

图1为本发明实施例提供的一种人体扫描建模方法的流程图。如图1所示，该方法主要包括如下步骤：

步骤11、从多个视角采集包含被采集者的人体深度数据。

本发明实施例中，所述从多个视角采集包含被采集者的人体深度数据包括：利用固定的深度相机采集被采集者在同一姿势下不同角度的人体深度数据，其中，该人体深度数据中包含有颜色信息。

示例性的，所述深度相机可以为Kinect(微软发布的一种3D体感摄影机)，被采集者站在固定的Kinect面前，摆出自己想要的姿势，Kinect自动转动马达，捕获当前视角下的带有颜色信息的深度数据；然后被采集者可以根据声音提示，顺时针旋转约ω°，保持与之前一样的姿势，由Kinect采集当前视角的数据。本发明实施例中总共采集n个视角下的数据，只需大约1分钟即可完成整个采集过程。需要指出的是，采集过程中在不同视角下被采集者的姿势有小幅度的改变是允许的，上述的ω°可以具体为45°，也可以是30°到60°之间的一个角度，或者根据实际情况来确定一个角度，且相邻视角间的ω°可以相同也可以不相同；另外，上述n的数值可以为8，也可以根据实际情况来确定，本发明实施例并不对ω°与n的具体数值进行限定。

步骤12、对每一视角的人体深度数据分别进行预处理，去除其中的背景数据、地面数据及杂点数据。

本发明实施例中所述的预处理主要是进行数据分割与去除杂点。

1)数据分割，包括：去除背景数据与地面数据。

本发明实施例中，可以利用深度阈值的方法去除背景数据，可利用人体深度数据下方的点拟合一平面来去除地面数据。具体来说，在采集人体深度数据的时候，被采集者总是站在Kinect前面的某一片区域，该区域中除了包含所需的人体深度数据外还包含大量的背景数据与地面数据；对于背景数据，在深度相机空间坐标系下估计一个长方体，将这个长方体之外的数据作为背景数据去除；基于这种深度阈值的方法可以去除大量的背景数据，然而却不能很好的去除地面数据，其原因在于，若将地面的阈值设为一个较小的值，则很难去除地面数据，若设大了则又会导致人体脚上的数据被去除；因而，对于地面数据，可以将采集到的人体深度数据数据下方的点去拟合一个平面，将与该平面的距离小于预定值的点作为地面数据进行去除，这样就能够有效地将地面数据去除；示例性的，本发明实施例将人体深度数据按照y轴(垂直地面的坐标轴)数值的大小进行排序，取数值最小的f％(例如，可以为10％)的点作为所述人体数据下方的点。

2)去除杂点数据。

采集到的人体深度数据中位于边缘的数据点质量较差，且颜色信息也不可靠，我们称之为杂点。为了去除杂点，我们将去除背景数据与地面数据的人体深度数据投影到一垂直平面上(y轴的垂直平面)，从而可以获得每一数据点的相邻关系，根据数据点的相邻关系生成对应的网格。在生成网格信息的时候可以约定同一条边上的两个顶点，深度变化不应该超过一个阈值(可以取深度最大值和深度最小值的差乘以0.1)；然后，将网格中没有连接边的孤立顶点作为杂点进行去除。

步骤13、将预处理后的所有视角的人体深度数据一同进行刚性配准与非刚性配准，获得完整的人体深度数据。

由于数据是在不同的视角下采集的，经过预处理的数据还需要进行配准，使之可以成为一个完整的人体深度数据。

本发明实施例中主要进行刚性配准与非刚性配准；刚性配准可以采用经典的ICP算法(迭代就近点算法)，由于ICP算法需要待配准的两个人体深度数据初始位置较好，否则很容易陷入局部极小解导致配准失败；因此，本发明实施例在进行刚性配准之前，对步骤12获得的数据进行粗配准；具体的：对预处理后的每一视角的人体深度数据均基于一旋转轴进行逆时针旋转，其中，旋转轴通过如下方式来确定：对每一视角下的人体深度数据进行fusion(融合)处理后获得对应的网格数据，以PCA(主成份分析算法)计算出该网格数据的方差最大的主方向为该视角的旋转轴；旋转角度为(i-1)·ω°；通过这种方式则可为刚性配准时所采用的ICP算法提供一个较好的初始位置。

本发明实施例中利用ICP算法进行刚性配准的主要步骤如下：在步骤11中共采集了n个视角的人体深度数据，从第一个视角至第n个视角的人体深度数据可以分别记为：S₁,S₂,S₃…,S_n；利用ICP算法依次配准相邻的人体深度数据，即将粗配准后的S₁数据与S₂数据进行配准，再将粗配准后的S₃数据与配准后的S₁数据及S₂数据进行配准，直至完成n个视角的数据正向配准；另外，为了确保配准的鲁棒性，还可以再利用ICP算法对所述正向配准后的数据进行从第n个视角至第一个视角的逆向配准，获得刚性配准后的人体深度数据。

由于在步骤11中在不同视角下被采集者很难保持完全一样的姿势，因此仅通过刚性配准不能很好的将数据配准好，为此，还需进行全局的非刚性配准，其公式如下：

$E=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}[{\mathrm{\α}}_{\mathrm{rigid}}{E}_{\mathrm{rigid}}\left(S_i^R\right)+{\mathrm{\α}}_{\mathrm{smooth}}{E}_{\mathrm{smooth}}\left(S_i^R\right)]+{\mathrm{\α}}_{\mathrm{fit}}{E}_{\mathrm{fit}};$

其中，为刚性配准后的人体深度数据，i＝1,2,3,...,n；E_rigid为刚性项(使得每个图点对应的仿射变换尽可能刚性)，α_rigid为刚性项的权值，E_smooth为光滑项(让同一个点被相邻图点对应的仿射变换尽可能变到同一个位置)，α_smooth光滑项的权值，E_fit为数据项，α_fit为数据项的权值；所述的图点为将网格按空间分成多个小区域时，对应的一个小区域，所述的点为网格中的顶点。

所述数据项E_fit用于确保非刚性配准后对应点的距离达到预期值，所述对应点的选取非常关键，本发明实施例中，对应点通过下述步骤确定：在刚性配准后每一视角的人体深度数据中均匀采集若干点，对于数据中所采集到的每一个点均从与该数据相邻视角的数据和/或中查找一个距离最近的点作为对应点；考虑到经过刚性配准的数据之间不应存在距离很大的点对，因此可以不考虑距离超过某一阈值的点对(例如，4cm)。由于变量较多，利用L-BFGS(有限内存拟牛顿法)来求解上述非刚性配准公式，每求解一次之后均重新确定对应点，并更新所述数据项E_fit及按照预定的方式减小权值α_rigid与α_smooth(也可以根据实际情况或经验来相应的减小这两个权值)，重复多次后完成非刚性配准。实验表明，这种迭代策略能够增大非刚性配准的变形能力，同时使得提高了算法的鲁棒性，大约10次即可获得很好的效果。

步骤14、利用曲面重建算法对所述完整的人体深度数据进行曲面重建，获得对应的人体三维模型，再利用所述完整的人体深度数据的颜色信息对获得的所述人体三维模型进行纹理映射，获得包含颜色信息的人体三维模型。

本发明实施例中，可使用Poisson(泊松)曲面重建算法来重建出人体三维模型；纹理映射也可利用TextureStitcher的方法来实现。

本发明实施例通过对被采集着的人体深度数据进行预处理，并依次进行刚性配准与非刚性配准后即可利用曲面重建算法重建一个高精度人体三维模型，同时，还利用深度数据对该人体三维模型进行纹理映射，获得带有颜色信息的人体三维模型；该方案不借助导轨，转盘等仪器，即可轻松有效的进行数据采集及高效、准确的后期处理。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种人体扫描建模方法，其特征在于，该方法包括：

从多个视角采集包含被采集者的人体深度数据；

对每一视角的人体深度数据分别进行预处理，去除其中的背景数据、地面数据及杂点数据；

将预处理后的所有视角的人体深度数据一同进行刚性配准与非刚性配准，获得完整的人体深度数据；

利用曲面重建算法对所述完整的人体深度数据进行曲面重建，获得对应的人体三维模型，再利用所述完整的人体深度数据的颜色信息对获得的所述人体三维模型进行纹理映射，获得包含颜色信息的人体三维模型。

2.根据权利要求1所述的方法，其特征在于，所述从多个视角采集包含被采集者的人体深度数据包括：

利用固定的深度相机采集被采集者在同一姿势下不同角度的人体深度数据，其中，该人体深度数据中包含有颜色信息。

3.根据权利要求1所述的方法，其特征在于，所述去除其中的背景数据、地面数据及杂点数据包括：

利用深度阈值的方法去除背景数据；

利用人体深度数据下方的点拟合一平面，将与该平面的距离小于预定值的点作为地面数据进行去除；

将去除背景数据与地面数据的人体深度数据投影到一垂直平面上，获得每一数据点的相邻关系；根据数据点的相邻关系生成对应的网格，将网格中的孤立顶点作为杂点进行去除。

4.根据权利要求1所述的方法，其特征在于，所述将预处理后的所有视角的人体深度数据一同进行刚性配准与非刚性配准之前还包括粗配准，其步骤包括：

对预处理后的每一视角的人体深度数据均基于一旋转轴进行逆时针旋转，其中，以主成份分析算法PCA计算出的方差最大的主方向为旋转轴，旋转角度为(i-1)·ω°，ω°为相邻视角的角度差。

5.根据权利要求4所述的方法，其特征在于，所述将预处理后的所有视角的人体深度数据一同进行刚性配准与非刚性配准，获得完整的人体深度数据包括：

利用迭代就近点算法ICP进行刚性配准，其包括：假设采集了n个视角的人体深度数据，从第一个视角至第n个视角的人体深度数据分别记为：S₁,S₂,S₃…,S_n；利用ICP算法将粗配准后的S₁数据与S₂数据进行配准，再将粗配准后的S₃数据与配准后的S₁数据及S₂数据进行配准，直至完成n个视角的数据正向配准；再利用ICP算法对所述正向配准后的数据进行从第n个视角至第一个视角的逆向配准，获得刚性配准后的人体深度数据；

对刚性配准后的人体深度数据进行全局的非刚性配准，其公式如下：

$E=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}[{\mathrm{\α}}_{\mathrm{rigid}}{E}_{\mathrm{rigid}}\left(S_i^S\right)+{\mathrm{\α}}_{\mathrm{smooth}}{E}_{\mathrm{smooth}}\left(S_i^R\right)]+{\mathrm{\α}}_{\mathrm{fit}}{E}_{\mathrm{fit}};$

其中，为刚性配准后的人体深度数据，i＝1,2,3,...,n；E_rigid为刚性项，α_rigid为刚性项的权值，E_smooth为光滑项，α_smooth光滑项的权值，E_fit为数据项，α_fit为数据项的权值；

所述数据项E_fit用于确保非刚性配准后对应点的距离达到预期值，所述对应点通过下述步骤确定：在刚性配准后每一视角的人体深度数据中均匀采集若干点，对于数据中所采集到的每一个点均从与该数据相邻视角的数据和/或中查找一个距离最近的点作为对应点；

利用有限内存拟牛顿法L-BFGS来求解上述非刚性配准公式，每求解一次之后均重新确定对应点，并更新所述数据项E_fit及按照预定的方式减小权值α_rigid与α_smooth，重复多次后完成非刚性配准。