CN106846461B - 一种人体三维扫描方法 - Google Patents

Abstract

本公开涉及一种人体三维扫描方法，所述方法将深度图像数据转化为点云数据，通过对点云数据进行滤波、配准和融合后，建立人体三维模型。本公开方法中深度数据转化为点云数据的转化操作、以及点云数据的滤波、配准和融合有利于并行执行，可以实现实时配准和点云融合，消除人体抖动引起的误差，提高人体三维建模的精度。

Description

一种人体三维扫描方法

技术领域

本公开涉及三维测量领域中人体三维数据测量，具体地讲，涉及一种人体三维扫描方法。

背景技术

人体三维扫描通过光学测量的方式获得人体的三维模型和人体尺寸，广泛用于3D打印、游戏动画制作、个性化定制和医学研究等领域。例如，应用3D打印技术打印人体模型时，需要事先通过人体扫描获得人体数据；而在游戏动画制作方面，人体扫描获得的真实的人体模型增加了游戏或动画的趣味性和可看性；另外，随着人们生活水平的提高，个性化定制成为服装行业的发展趋势，通过人体扫描，自动计算人体模型的各个尺寸，人们可以很方便快捷地获取人体尺寸，应用于服装定制和虚拟试衣。因此，如何快速、精确得获取人体全身或者局部的三维数据，在实际应用中至关重要。

目前，国内外出现的商业化的人体扫描系统一般应用结构光和激光扫描原理，用于人体的静态扫描，由于结构光扫描时，一般要向人体投射十几幅光栅图案，而激光扫描时，激光光条要沿某个方向移动直到条纹扫过全身的区域，所以，这两种方法的共同缺陷是：设备成本昂贵，扫描耗时较长，人体站立期间不可避免的产生抖动，导致扫描精度较差。

发明内容

本公开为克服现有人体扫描技术的缺陷和不足，提出一种人体三维扫描方法，所述方法包括下述步骤：

S100、获取人体当前帧深度图像数据；

S200、将所述深度图像数据转化为点云数据，将其作为第一点云数据；

S300、对所述第一点云数据进行滤波，获得第一无噪声点云数据；

对上一帧对应的第二点云数据进行滤波，获得第二无噪声点云数据；

S400、将当前帧对应的第一无噪声点云数据和上一帧对应的第二无噪声点云数据进行配准，获得刚体转换矩阵；

S500、基于所述刚体转换矩阵，将所述当前帧的深度图像数据与前面帧的深度图像数据进行融合，获得融合后的点云数据，将其作为第二点云数据；

S600、若当前帧为最后一帧，执行步骤S700；

否则，获取当前帧相邻的下一帧深度图像数据，返回步骤S200；

S700、利用最后一帧对应的第二点云数据，建立人体三维模型。

本公开方法中深度数据转化为点云数据中的转化操作、以及点云数据的滤波、配准和融合操作有利于并行执行，可以实现实时配准和点云融合，消除人体抖动引起的误差，提高人体三维建模的精度。

附图说明

图1本公开一个实施例中关于测量装置布置示意图；

图2本公开一个实施例中采用的Kinect相机的组成示意图；

其中：1、麦克风阵列；2、指示灯；3、红外投射器；4、彩色相机；5、红外相机；

图3本公开一个实施例中关于人体三维扫描流程示意图；

图4本公开一个实施例中关于点云滤波流程示意图；

图5本公开一个实施例中深度图生成截断符号距离函数过程示意图。

具体实施方式

下面实施例结合附图阐述本公开中的人体三维方法。

在一个实施例中，图1示意了测量装置部署。通过固定在单根立柱上的3个深度相机，实时采集旋转的人体深度和彩色图像。测量台用于站人，测量台可以旋转，以实现360度扫描，其旋转速度可以通过计算机控制。通过计算机控制3个深度相机实时采集人体深度图像和彩色图像，并控制图像的传输速度，比如30帧/秒。在单根立柱两侧各布置1组补光灯，用于根据现场环境调节补光灯的亮度。

在这里，深度相机优选为Kinect相机，其结构如图2所示，包括1个红外投射器和1个红外相机组成1个深度传感器，位于中间位置的1个彩色相机用于采集被测物的颜色信息，还包括2个麦克风阵列和1个指示灯。其中，指示灯用于指示，麦克风用于接收语音识别指令，比如被测者可以发出“开始扫描”的声音，计算机识别到语音后，控制Kinect相机进行扫描。这里优选Kinect相机，由于其不但可以同时获得人体三维几何坐标数据和彩色纹理数据，而且可以省去了大量的投射器、工业级相机和同步控制器等硬件设备，装置成本低，使用方便，可以解决设备成本昂贵，扫描耗时较长，人体站立期间不可避免的产生抖动，导致扫描精度较差的问题。

在采用上述测量装置的情况下，人体三维扫描的步骤如图3所示，具体步骤如下：

S000、多相机全局标定。

通过在测量视场中布置标定板进行三个深度相机的外参数标定。所用标定板正面粘贴有环形的编码标志点和圆点型的非编码标志点，所有标志点的三维空间数据已知。标定时，将标定板在3个深度相机的公共视场内摆放不同位姿，并控制3个深度相机同步拍摄标定板不同位姿的图像；然后对采集的标定图像进行处理，利用工业摄影测量原理进行整体一次性解算，得到3个深度相机的外部参数。所述外部参数指的是该相机与其他相机的空间位置关系，即该相机与其他相机的坐标系转换时的旋转矩阵R和平移矩阵T。

在求解外部参数时，优选采用文献“大视场多像机视频测量系统的全局标定”(胡浩,梁晋,唐正宗等.光学精密工程,2012)所提出的多相机标定方法。

S100、获取人体当前帧深度图像数据。

被测人体站在测量台上旋转，通过计算机控制3个深度相机，可以实时采集人体深度图像数据，对于彩色图像数据可以根据需要确定是否同时采集，当不需要颜色的应用时，比如人体尺寸提取，可以不需要彩色图像数据。当需要颜色的应用时，比如3D打印时，可以同时采集。

S200、将所述深度图像数据转化为点云数据，将其作为第一点云数据。

优选地，将采集的当前深度图像数据记作A0，对其进行双边滤波处理，可以获得保留人体特征且平滑的深度数据，将该平滑的深度数据转化为点云数据，将这里的点云数据记作A1，作为第一点云数据用于之后的滤波操作。

S300、对所述第一点云数据进行滤波，获得第一无噪声点云数据；对上一帧对应的第二点云数据进行滤波，获得第二无噪声点云数据。其中，所述第二点云数据为融合了与当前帧相邻的上一帧深度图像数据的点云数据。

具体地，对第一点云数据滤波步骤如下：

首先，根据旋转测量台和深度相机的位置关系，设置深度相机获取点云的景深框。利用设置好的景深框，对第一点云数据A1进行景深框滤波。所述景深框滤波为保留景深框内的点云数据，删除不在景深框内的点云数据。

其次，应用基于半径的体外点滤波器，滤除人体点云周围的离群点数据。其中，离群点数据可以通过下述原则判断：对于任意一点，如果在以该点为中心的、半径为20mm的邻域内，点的数量少于10个，那么该点被认为是离群点，将其移除。这里的半径大小以及邻域内点的数量可以根据需要设置改变，不局限于本公开的具体值。

最后，如果深度相机采集的数据包括测量台，那么通过定义一个平面方程来获得该测量台的平面。

平面方程定义如下：

Ax+By+Cz+D＝0，

应用随机抽样一致性算法来求解上述平面方程的系数值，可以获得测量台平面。

在获得该测量台平面后，保留该平面以上的人体点云数据，删除该平面及平面下方的点云，从而获得无足底平面的人体点云。在测量台平面及平面下方的点云移除后，增加了最下方的深度相机采集的相邻点云间的公共部分比例，可以有效增加后续点云配准的稳定性。至此，获得的点云数据可以记作A2，并可以将其作为第一无噪声点云数据。

优选地，进一步应用体素网格滤波器对无足底平面的人体点云A2进行采样，将人体点云分割为空间分布的体素网格，体素网格内的所有点用该体素网格的重心代替，获得精简的点云数据。将此时获得点云数据记作A3，并可以将其作为第一无噪声点云数据。利用精简的点云数据作为第一无噪声点云数据，可以提高配准算法的运算速度。

同理，对于第二点云数据滤波也是如此，将经过滤波处理后的点云数据作为第二无噪声点云数据，或者为了提高配准算法的运算速度，将精简的点云数据作为第二无噪声点云数据。

上述将深度图像数据A0经过双边滤波转化为点云数据A1、再将点云数据A1经滤波后得到精简的点云数据A3的过程如图4所示。

特别地，若当前帧为第一帧，将其对应的第一无噪声点云数据作为第二无噪声点云数据；并获取当前帧相邻的下一帧深度图像数据，返回步骤S200；否则，执行步骤S400。

S400、将当前帧对应的第一无噪声点云数据和上一帧对应的第二无噪声点云数据进行配准，获得刚体转换矩阵。

具体地，3个深度摄像机均获得了一幅人体不同部位的三维点云数据，因此需要将不同部位进行配准。同时，为获得人体完整的三维几何外形信息，需要对不同方位测得的点云数据进行配准。配准即为通过旋转平移变换，使两幅点云的公共区域能够最优地对齐在一起。对于有部分公共区域的任意两幅点云，配准优化的目标函数为：

式中：

其中：M、P为待配准的两幅点云；

R为获取两幅点云相机的旋转矩阵；T为获取两幅点云相机的平移矩阵；

为M对齐后的点云；

dist(,)表示点云两两配准后对应点的距离。

优选地，本公开在配准时先进行粗配准再精配准，可以减小人体扫描过程中难以保持静止引入的测量误差，具体配准步骤如下：

首先，对第一无噪声点云数据、第二无噪声点云数据进行抽样，获取抽样点云的快速点云特征直方图。

其次，将所述快速点云的直方图作为输入，利用抽样一致性初始配准算法(Sampled Consensus–Initial Alignment algorithm,SAC-IA)进行粗配准。

第三，利用粗配准的结果，对齐第一无噪声点云数据相应的点云到第二无噪声点云数据相应的点云。

最后，根据上述目标函数，利用迭代最近点算法(Iterative Closest Point,ICP)将对齐的点云进行精配准，获得相邻点云的刚体转换矩阵。

S500、基于当前帧和上一帧之间的刚体转换矩阵，将所述当前帧深度图像数据与前面帧的深度图像数据进行融合，获得融合后的点云数据，将其作为第二点云数据。

具体地，融合步骤如下：

S501、若当前帧不存在第三截断符号距离函数，则将第一帧深度图像数据所代表的点云模型使用第一截断符号距离函数表示；否则，使用第一截断距离函数代替第三截断符号距离函数；

S502、用第二截断符号距离函数表示当前帧深度图像数据所对应的点云模型；

S503、利用刚体转换矩阵将所述第二截断符号距离函数和所述第一截断符号距离函数进行坐标系对齐；

S504、将对齐后的第二截断符号距离函数和第一截断符号距离函数进行融合，形成下一帧对应的第三截断符号距离函数。

上述过程中，所述步骤S503中的对齐优选采用移动加权平均算法，但不限于该算法。

优选地，采用光线投射算法将所述第三截断符号距离函数生成点云，用于下一次的配准。

深度图像生成截断符号距离函数的过程如图5所示。

S600、若当前帧为最后一帧，则表明被测人体已旋转一周，即已得到最终的完整的点云，执行步骤S700；否则，获取当前帧相邻的下一帧深度图像数据，返回步骤S200。

S700、利用最后一帧对应的第二点云数据，建立人体三维模型。

经过融合后的点云含有由于输入点云的结构或不完美的配准产生的噪声，可以应用移动最小二乘算法(Moving Least Square,MLS)来平滑该融合后的点云，去除多余的噪声。然后，采用贪婪三角剖分算法(Greedy Triangulation,GT)来获得三角化的人体网格模型。

进一步地，在需要颜色渲染的应用中，可以将人体三维模型上的每一个三维点重投影到二维的彩色图像上，获得该点的颜色信息；并利用获取的颜色信息对三维点进行颜色渲染。此时用到的彩色图像为与深度图像同步采集的图像。

本公开方法是可以采用图形处理器(GPU)加速的并行算法，可以实时实现滤波、配准和融合人体点云，最终获得完整的人体三维点云。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本公开扫描方法可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等实现成扫描装置。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本公开方法而言更多情况下，软件程序实现是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述的方法。

以上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (9)

1.一种人体三维扫描方法，其特征在于，所述方法包括下述步骤：

S100、获取人体当前帧深度图像数据；

S200、将所述深度图像数据转化为点云数据，将其作为第一点云数据；

S300、对所述第一点云数据进行滤波，获得第一无噪声点云数据；

对上一帧对应的第二点云数据进行滤波，获得第二无噪声点云数据；

S400、将当前帧对应的第一无噪声点云数据和上一帧对应的第二无噪声点云数据进行配准，获得刚体转换矩阵；

S500、基于所述刚体转换矩阵，将所述当前帧深度图像数据与前面帧的深度图像数据进行融合，获得融合后的点云数据，将其作为第二点云数据；

S600、若当前帧为最后一帧，执行步骤S700；

否则，获取当前帧相邻的下一帧深度图像数据，返回步骤S200；

S700、利用最后一帧对应的第二点云数据，建立人体三维模型；

其中，所述步骤S500具体包括下述步骤：

S501、若当前帧不存在第三截断符号距离函数，则将第一帧的深度图像数据所代表的点云模型使用第一截断符号距离函数表示；否则，使用第一截断距离函数代替第三截断符号距离函数；

S502、用第二截断符号距离函数表示当前帧深度图像数据所对应的点云模型；

S503、利用刚体转换矩阵将所述第二截断符号距离函数和所述第一截断符号距离函数进行坐标系对齐；

S504、将对齐后的第二截断符号距离函数和第一截断符号距离函数进行融合，形成下一帧对应的第三截断符号距离函数。

2.根据权利要求1所述的方法，其特征在于，

所述步骤S100中的当前帧如果为第一帧，那么在步骤S300中将其对应的第一无噪声点云数据作为第二无噪声点云数据，并获取当前帧相邻的下一帧深度图像数据，返回步骤S200。

3.根据权利要求1所述的方法，其特征在于，所述步骤S300中所述滤波包括下述步骤：

S301、对所述第一点云数据进行景深框滤波；若存在第二点云数据，则对第二点云数据进行景深框滤波；

S302、对经过景深框滤波后的点云数据，使用基于半径的体外点滤波器滤除离群点数据；

S303、若获取的深度图像数据包含人体所在的测量台，则通过移除测量台平面及下面的点云数据，获得无足底平面的人体点云；

其中：

所述景深框根据人体所在测量台和深度相机之间的位置关系进行设置；

所述景深框滤波为保留景深框内的点云数据。

4.根据权利要求3所述的方法，其特征在于，在步骤S303之后，还包括下述步骤：

S304、应用体素网格滤波器对无足底平面的人体点云进行采样，将人体点云分割为空间分布的体素网格，体素网格内的所有点用该体素网格的重心代替，获得精简的点云数据。

5.根据权利要求1所述的方法，其特征在于，所述步骤S400包括下述步骤：

S401、对所述第一无噪声点云数据、第二无噪声点云数据进行抽样，获取抽样点云的快速点云特征直方图；

S402、将所述快速点云的直方图作为输入，利用抽样一致性初始配准算法(SampledConsensus-Initial Alignment algorithm，SAC-IA)进行粗配准；

S403、利用粗配准的结果，对齐所述第一无噪声点云数据相应的点云到第二无噪声点云数据相应的点云；

S404、根据公式(1)的目标函数，利用迭代最近点算法(Iterative Closest Point，ICP)将对齐的点云进行精配准，获得相邻点云的刚体转换矩阵；

所述公式(1)如下：

式中：

其中：M、P为待配准的两幅点云；

R为获取两幅点云的相机的旋转矩阵；T为获取两幅点云相机的平移矩阵；

为M对齐后的点云；

dist(，)表示点云两两配准后对应点的距离。

6.根据权利要求1所述的方法，其特征在于：

所述步骤S503中的对齐采用移动加权平均算法。

7.根据权利要求1所述的方法，其特征在于，所述融合后的点云数据通过下述方法获得：

S505、应用光线投射算法将所述第三截断符号距离函数生成点云。

8.根据权利要求1所述的方法，其特征在于，所述步骤S700包括下述步骤：

S701、应用移动最小二乘算法平滑最后一帧对应的第二点云数据，去除噪声；

S702、对步骤S701中去噪后的第二点云数据应用贪婪三角剖分算法建立三角化的人体网格模型。

9.根据权利要求8所述的方法，其特征在于，所述步骤S700还包括下述步骤：

S703、将人体三维模型上的每一个三维点重投影到二维的彩色图像上，获得该点的颜色信息；

S704、利用获取的颜色信息对三维点进行颜色渲染；

所述彩色图像与深度图像同步采集。