CN106264536A - 一种三维人体扫描装置和方法 - Google Patents

Abstract

本发明公开了一种三维人体扫描装置和方法，所述装置包括：立体相机和计算机；所述立体相机包括光斑发生器、运动机构和两个相机；所述光斑发生器安装在所述运动机构上，用于向人体投射不可见随机光斑；所述运动机构用于带动所述光斑发生器持续进行周期性运动；所述两个相机用于采集人体图像并传输至所述计算机进行图像处理；所述方法包括步骤：标定立体相机的内外参数；生成运动的不可见随机光斑并采集K对人体图像；对K对人体图像通过空间-时间立体视觉技术进行立体匹配重建，拼接生成人体表面的三维点云；本发明的装置结构简单，操作简便，其应用的三维人体扫描方法能够在不引起人体不适的前提下快速、准确地生成人体表面的三维点云。

Description

一种三维人体扫描装置和方法

技术领域

本发明涉及光学三维测量领域，特别是指一种三维人体扫描装置和方法。

背景技术

三维扫描技术根据其实现原理可以分为接触式与非接触式两类。其中，接触式三维扫描仪通过实际接触物体表面计算深度。此类方法获取数据精度高，一般用于工程制造业。然而接触式扫描有损坏待测物体的可能，另外其测量速度较慢，远低于结构光等非接触式扫描方法。

非接触式扫描又可分为被动扫描与主动扫描两类方法。其中被动扫描方法不发射能量用于传感，而仅利用物体表面自身发出的信号。其具体又可以分为立体视觉技术、从运动恢复结构(structure from motion)、从阴影恢复形状(shape from shading)、光度立体法(photometric stereo)等。被动扫描方法不需要特殊的硬件支持，设备成本较低，并可用于较大场景及户外场景。然而被动扫描方法对物体表面光照、纹理条件有要求，且一般计算复杂度高、算法鲁棒性较低。主动三维扫描技术包括激光扫描、结构光扫描、飞行时间法(TOF,time-of-flight)等。

现有的三维人体扫描系统，如美国的基于激光扫描原理的Cyberware，其精度高，但价格昂贵(二十多万美元)；基于白光条纹扫描的Mega 3P ofInSpeck、深圳易尚三维人体扫描系统等，从多个视角对人体进行扫描，扫描时间快，5秒钟以内即可完成全身扫描，但这类系统在扫描时会向人体投射白光，会让人的眼睛有明显的不舒适感，设备价格也比较高(Mega 3P ofInSpeck 10万美元，易尚35～50万人民币)；Artec手持式三维扫描仪，其价格相对较低(十几万人民币)，但扫描时间长，被扫描的人需要保持某个姿势3～5分钟，同时该扫描仪也会向人体投射白光，人的眼睛也会有不舒适感；微软的Kinect采用人眼不可见的近红外光进行三维扫描，扫描人体时，人眼没有任何感觉，舒适性很好，且价格很低(约1000人民币)，但它的精度很低(最好只能达到2～3mm的精度)，得到的三维人体模型不能很好地反映人体表面的细节信息。

发明内容

有鉴于此，本发明的目的在于提出一种成本低、精度高、舒适性好的三维人体扫描装置和方法。

基于上述目的本发明提供的一种三维人体扫描装置，包括：立体相机和图像处理器；所述立体相机包括光斑发生器、运动机构和两个相机；所述光斑发生器安装在所述运动机构上，用于向人体投射不可见随机光斑；所述运动机构用于带动所述光斑发生器持续进行周期性运动；所述两个相机以一定间隔设置，用于采集K对人体图像并传输至所述图像处理器；所述图像处理器，用于对所述K对人体图像通过空间-时间立体视觉技术进行立体匹配重建，拼接生成人体表面的三维点云。

优选的，所述立体相机还包括一水平设置的支架，所述两个相机分别设置在所述支架两端，所述运动机构固定在所述支架上且位于所述两个相机之间。

可选的，所述运动机构能够带动所述光斑发生器持续进行水平方向的摆动运动、竖直方向摆动运动或旋转运动。

可选的，所述立体相机有多个，用于从多角度同时采集人体图像。

本发明还提供了一种使用如上述任意一项所述的装置进行三维人体扫描的方法，包括以下步骤：

标定立体相机的内外参数；

计算机控制所述立体相机开始工作，运动机构带动光斑发生器进行持续周期性运动，由所述光斑发生器向人体投射运动的不可见随机光斑，同时，两个相机连续采集K对人体图像；

计算机对所述两个相机采集的K对人体图像通过空间-时间立体视觉技术进行立体匹配重建，拼接生成人体表面的三维点云。

优选的，进一步包括步骤：

采用SSD相似度，将所述K对人体图像和一个三维的窗口进行对应点搜索，以实现立体匹配并生成视差图；

根据标定的立体相机的基线长度和等效焦距，将所述视差图转为三维点云。

优选的，在通过SSD相似度进行立体匹配时，采用金字塔搜索策略，进行由粗到精的快速匹配。

优选的，在通过SSD相似度进行立体匹配时，采用双向匹配剔除误匹配点。

优选的，在通过SSD相似度进行立体匹配时，对以SSD得到的匹配位置为中心的2个像素进行细分，细分间隔为0.1像素；再用SSD相似度对这21个位置进行搜索，找到SSD得分最低的位置，作为最终的匹配结果。

可选的，当仅设置有一个所述立体相机时，使所述立体相机从人体的多个面进行多次图像采集和立体匹配重建，将每次生成的三维点云拼接得到人体全身模型；当设置有多个所述立体相机时，所述多个立体相机同时从人体的多个面进行图像采集和立体匹配重建，将生成的三维点云拼接得到人体全身模型。

从上面所述可以看出，本发明提供的三维人体扫描装置和方法，通过向人体投射运动的不可见随机光斑并采集图像，使用空间-时间立体视觉技术对采集的图像进行准确的立体匹配重建，从而快速生成人体表面的三维点云，同时避免了现有装置在扫描过程中引起的人体不适，即提供了一种成本低、精度高、舒适性好的三维人体扫描装置，能够为3D照相、虚拟试衣、人体体型参数测量等应用高效准确地提供三维人体模型数据；由于使用了运动的随机光斑，不同图像中的光斑分布完全不同，这为匹配重建步骤提供了更为丰富、可靠的数据，使立体匹配重建的结果更加准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的三维人体扫描装置结构示意图；

图2为本发明实施例的三维人体扫描方法流程图；

图3(a)为一般的立体视觉技术的立体匹配示意图；

图3(b)为本发明实施例采用的空间-时间立体视觉技术的立体匹配示意图；

图4为立体相机采集的人体图像示例图；

图5为使用本发明实施例的方法得到的三维人体模型。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明实施例提供了一种三维人体扫描装置，该装置包括立体相机和图像处理器，其中，立体相机用于图像的采集，一般采集K对人体图像，图像处理器则用于对采集到的图像进行处理，对所述K对人体图像通过空间-时间立体视觉技术进行立体匹配重建，拼接生成人体表面的三维点云。作为优选的，图像处理器为计算机，其同时能够对立体相机的工作状态进行控制。在其他实施例中，图像处理器还可以是具有上述图像处理功能独立装置或功能模块。

所述的立体相机包括光斑发生器、运动机构和两个相机。光斑发生器安装在运动机构上，可向目标表面投射出许多杂乱的人眼不可见的光斑点。运动机构由微型电机驱动，能够带动光斑发生器持续进行各种不同形式的周期性运动，如摆动、旋转。光斑发生器和运动机构同时工作即能够在被扫描的人体表面形成移动的光斑。在人体表面形成移动的光斑后，由两个相机采集人体图像；一般的，两个相机以对称的方式设置，其采集到为人体同一面(或大部分区域都是人体的同一个面)的一对图像。计算机接收立体相机采集到的人体图像进行立体匹配重建，最终生成人体表面的三维点云。

在进行三维人体扫描时，通过立体相机在人体的不同方位进行先后多次的采集工作，每次采集并立体重建生成的是人体的局部的三维数据，计算机进行处理时，会将多次采集到的各个面的三维数据拼接起来，就可以得到完整的全身模型。

作为一个具体的实施例，参考图1，为本发明实施例的三维人体扫描装置结构示意图。

在本实施例中，所述的相机1为黑白工业CMOS相机，分辨率为1280×960，像元尺寸为3.75um，帧率为30fps，千兆网接口，配合6mm镜头使用。所述的光斑发生器2为近红外投影器，投影波长为830nm。本实施例的立体相机还包括一金属材质的支架3，该支架3水平设置，两个相机1设置在支架3两端，光斑发生器2安装于运动机构4上，运动机构4固定在支架3中部，位于两个相机1之间，通过上述的装置设置，所述的立体相机形成一个双目立体视觉系统。所述的运动机构4为设置在一个底座上的沿着竖直方向设置的转轴，光斑发生器2固定连接至该转轴，在电机驱动下，该转轴能够带动光斑发生器2做水平方向的往复摆动。计算机5能够通过有线或无线方式的数据连接，向光斑发生器2和两个相机1相连发送指令，控制其的工作状态；同时，两个相机会将采集到的人体图像传输至计算机5，由计算机5进行图像处理。

在其他实施例中，运动机构还可以为：设置在一个底座上的沿着水平方向设置的转轴，该转轴能够带动光斑发生器做竖直方向的往复摆动；或是设置在一个底座上的轴向朝向被测人体的转轴，该转轴能够带动光斑发生器朝向被测人体进行旋转；亦或是设置在一个底座上的万向球，能够带动光斑发生器做摆动、旋转的组合运动。此外，根据具体的使用需要，运动机构也可以设置为上述几种不同形式运动机构的组合结构，或是能够进行其他形式的运动。

作为另一个实施例，在所述的三维人体扫描装置中，设置有多个所述的立体相机。多个立体相机从人体的不同面同时进行图像采集，由计算机将同时采集到的人体图像进行三维数据拼接并生成完整的人体全身模型。作为优选的，三维人体扫描装置包括十三个所述立体相机，在人体的前、后、左、右面的上、中、下部各设置有一个，人体的头顶上方设置有一个，通过上述设置即能够快速准确的获得人体全身的三维数据。

基于上述实施例所述的三维人体扫描装置，本发明还提供了一种三维人体扫描方法，参考图2，为本发明实施例的三维人体扫描方法流程图；该方法包括以下步骤：

步骤201：标定立体相机的内外参数；

步骤202：计算机控制所述立体相机开始工作，运动机构带动光斑发生器进行持续周期性运动，由所述光斑发生器向人体投射运动的不可见随机光斑，同时，两个相机连续采集K对人体图像；

步骤203：计算机对所述两个相机采集的K对人体图像通过空间-时间立体视觉技术进行立体匹配重建，拼接生成人体表面的三维点云。

于步骤201中，首先在离线状态下进行准备工作，即进行设备调试，主要调试对象为立体相机，通过平面靶标标定法标定两个相机的内外参数，进行相机标定。具体的，标定相机的焦距、图像中心、畸变系数等参数(内参)以及两个相机之间的相对位置关系(外参)。在具体的应用中，上述各参数由实际使用的相机的型号、镜头型号、相机的安装位置、安装角度等决定。

于步骤202中，主要进行图像采集过程。计算机发出指令，控制光斑发生器点亮，向目标表面投射光斑；同时，控制运动机构开始运动，使得光斑发生器在被测人体表面形成运动的光斑；同时进一步的触发相机开始工作，连续采集K帧人体的图像。在本实施例中，K＝9，即采集完成时，采集到9对人体图像。由于本实施例采用的相机的帧率为30fps，0.3s内即可完成人体单面图像的采集。在这么短的时间内，可以认为目标是保持静止的。图像采集完毕后，将其传输至计算机待后续步骤进行处理。

参考图4，为立体相机采集的人体图像示例图。图4中，第一行为立体相机的两个相机中左侧相机连续捕获的三张图像，第二行为右侧相机连续捕获的图像，在后续内容中，左侧相机拍摄的图像记为左视图，右侧相机拍摄的图像记为右视图。可见，由于使用了运动的随机光斑，不同图像中的光斑分布完全不同，这为后续的匹配重建步骤提供了更为丰富、可靠的数据。

于步骤203中，采用空间-时间立体视觉(space-time stereo)技术，综合利用步骤2中获得的9对人体图像的信息进行立体匹配。参考图3(a)和图3(b)，分别为一般的立体视觉技术的立体匹配示意图和为本发明实施例采用的空间-时间立体视觉技术的立体匹配示意图。现有技术中常用的立体视觉(stereo)技术一般采用一对图像和一个二维的窗口(N×N)进行对应点搜索，而本实施例中使用的空间-时间立体视觉采用多对图像和一个三维的窗口(N×N×K)进行对应点搜索。为了得到密集的重建，stereo一般需要选取较大的窗口，但采用大的窗口会在重建的结果中带来平滑效应，无法重建目标的细节。而space-time stereo引入了时间的维度，即使匹配窗口的半径很小(如5×5，甚至3×3)，也可以得到密集的重建结果。采用小的匹配窗口，有利于重建目标的细节。本实施例中，N＝5。

利用space-time stereo技术，采用简单的SSD相似度(Sum of SquaredDifferences)即可得到致密的重建。SSD的计算公式为：

$\mathrm{SSD}(x,y,d)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{x,y\∈W}{\mathrm{\Σ}}{(I_{L,k}(x,y)-I_{R,k}(x-d,y))}^2$

其中，(I_L,k,I_R,k)为第k对(1≤k≤K)经过立体校正后的立体图像对(任意一对对应点都在一条水平线上)，W为以(x,y)为中心的N×N的邻域，d为视差(某个同名点在左图中的x坐标减去它在右图中的x坐标)。

SSD的值越小，表示两个点是对应点的可能性就越大。对于左视图中的某个像素点(x,y)来说，为了找到它在右图中的对应点，在右图中，沿着水平线逐像素计算SSD，SSD最小的位置(x′,y)，即为(x,y)的对应点。

在本实施例中，为了加快匹配速度，采用金字塔搜索策略，实现由粗到精的匹配。在本实施例中，采用三层金字塔，当前层的图像宽度或高度为它下一层的1/2。

采用双向匹配剔除误匹配点。即：假设左图中的一个像素点P_L在右图中找到的对应点P_R，再对右图中的点P_R在左图中进行反向匹配，得到对应点P′_L，必须要满足|P_L-P′_L|≤1，否则认为是误匹配。

SSD得到的视差图是整像素级的。为了得到亚像素级的匹配精度，对以SSD得到的匹配位置为中心的2个像素进行细分，细分间隔为0.1像素。再用SSD相似度对这21个位置进行搜索，找到SSD得分最低的位置，即为最终的亚像素匹配结果。采用这个方法，理论上可以得到1/10像素的匹配精度。

立体匹配得到视差图以后，根据事先标定好的相机参数，可将视差图转为三维点云。假设B为立体相机的基线长度，F为等效焦距，左相机的主点坐标为(cx_L,cy_L)，右相机的主点坐标为(cx_R,cy_R)。由于左右视图已经经过立体校正，所以cy_L＝cy_R。假设左相机图像上的某个像素点(x,y)处的视差值为d(x,y)，则该像素点在三维空间中的位置(X,Y,Z)为：

$\left\{\begin{array}{c}Z=\frac{\mathrm{BF}}{d(x,y)-{\mathrm{cx}}_L+{\mathrm{cx}}_R}\\ X=\frac{(x-{\mathrm{cx}}_L)Z}{F}\\ Y=\frac{(y-{\mathrm{cy}}_L)Z}{F}\end{array}\right.$

参见图5，为使用本发明实施例的方法得到的三维人体模型。

综合上述内容可见，在本发明的三维人体扫描装置中，创造性的使用了由光斑发生器、运动机构和相机组成的立体相机的三维人体扫描装置，并基于上述装置，创造性的提出了使用带有运动的随机光斑的人体图像，同时结合空间-时间立体视觉技术进行立体匹配重建生成人体三维点云的方法。本发明的装置结构简单，操作简便，其应用的三维人体扫描方法能够在不引起人体不适的前提下快速、准确地生成人体表面的三维点云，能够为3D照相、虚拟试衣、人体体型参数测量等应用高效准确地提供三维人体模型数据；同时，由于使用了运动的随机光斑，不同图像中的光斑分布完全不同，这为匹配重建步骤提供了更为丰富、可靠的数据，使立体匹配重建的结果更加准确。

所属领域的普通技术人员应当理解：以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维人体扫描装置，其特征在于，包括：立体相机和图像处理器；所述立体相机包括光斑发生器、运动机构和两个相机；所述光斑发生器安装在所述运动机构上，用于向人体投射不可见随机光斑；所述运动机构用于带动所述光斑发生器持续进行周期性运动；所述两个相机以一定间隔设置，用于采集K对人体图像并传输至所述图像处理器；所述图像处理器，用于对所述K对人体图像通过空间-时间立体视觉技术进行立体匹配重建，拼接生成人体表面的三维点云。

2.根据权利要求1所述的三维人体扫描装置，其特征在于，所述立体相机还包括一水平设置的支架，所述两个相机分别设置在所述支架两端，所述运动机构固定在所述支架上且位于所述两个相机之间。

3.根据权利要求1所述的三维人体扫描装置，其特征在于，所述运动机构能够带动所述光斑发生器持续进行水平方向的摆动运动、竖直方向摆动运动或旋转运动。

4.根据权利要求1所述的三维人体扫描装置，其特征在于，所述立体相机有多个，用于从多角度同时采集人体图像。

5.一种使用如权利要求1至4任意一项所述的装置进行三维人体扫描的方法，其特征在于，包括以下步骤：

标定立体相机的内外参数；

计算机控制所述立体相机开始工作，运动机构带动光斑发生器进行持续周期性运动，由所述光斑发生器向人体投射运动的不可见随机光斑，同时，两个相机连续采集K对人体图像；

计算机对所述两个相机采集的K对人体图像通过空间-时间立体视觉技术进行立体匹配重建，拼接生成人体表面的三维点云。

6.根据权利要求5所述的方法，其特征在于，进一步包括步骤：

采用SSD相似度，将所述K对人体图像和一个三维的窗口进行对应点搜索，以实现立体匹配并生成视差图；

根据标定的立体相机的基线长度和等效焦距，将所述视差图转为三维点云。

7.根据权利要求6所述的方法，其特征在于，在通过SSD相似度进行立体匹配时，采用金字塔搜索策略，进行由粗到精的快速匹配。

8.根据权利要求6所述的方法，其特征在于，在通过SSD相似度进行立体匹配时，采用双向匹配剔除误匹配点。

9.根据权利要求6所述的方法，其特征在于，在通过SSD相似度进行立体匹配时，对以SSD得到的匹配位置为中心的2个像素进行细分，细分间隔为0.1像素；再用SSD相似度对这21个位置进行搜索，找到SSD得分最低的位置，作为最终的匹配结果。

10.根据权利要求5所述的方法，其特征在于，当仅设置有一个所述立体相机时，使所述立体相机从人体的多个面进行多次图像采集和立体匹配重建，将每次生成的三维点云拼接得到人体全身模型；当设置有多个所述立体相机时，所述多个立体相机同时从人体的多个面进行图像采集和立体匹配重建，将生成的三维点云拼接得到人体全身模型。