CN104732585B

CN104732585B - 一种人体体型重构的方法及装置

Info

Publication number: CN104732585B
Application number: CN201510127448.4A
Authority: CN
Inventors: 宫文娟; 王志超; 李华昱; 龚安
Original assignee: Tencent Technology Shenzhen Co Ltd; China University of Petroleum East China
Current assignee: Tencent Technology Shenzhen Co Ltd; China University of Petroleum East China
Priority date: 2015-03-23
Filing date: 2015-03-23
Publication date: 2019-08-06
Anticipated expiration: 2035-03-23
Also published as: CN104732585A

Abstract

本发明公开了一种人体体型重构的方法，用于实现用户的虚拟形象定制，该方法包括：接收体感传感器采集得到的用户深度图像信息，将所述用户深度图像信息转换为三维人体模型；获取虚拟形象的三维模板模型；将所述三维模板模型进行拉伸转换，所述拉伸转换的目标为与所述三维人体模型具有相同的体型，将转换后的三维模板模型作为用户的虚拟形象。本发明还公开一种人体体型重构的装置。

Description

一种人体体型重构的方法及装置

技术领域

本发明涉及图形学领域中的模型变形技术领域，具体涉及一种人体体型重构的方法及装置。

背景技术

人体体型重构算法在动画、制造业和医学方面都有广泛的应用，例如人体体型重构可以应用于虚拟形象设计、服装数字化设计等领域。

在现有技术中，提供了很多快速获取三维模型的方法，并可以为所建立的三维人体模型进行纹理绘制，例如利用一些三维重建工具包建立三维人体模型，并为所建立的三维人体模型绘制服装等纹理。但是，在现有技术中对人体体型重构无法达到用户形象的根本改变，无法满足对用户进行复杂虚拟形象定制的需求。

发明内容

有鉴于此，本发明提供一种人体体型重构的方法及装置，以解决现有技术中对人体体型重构无法达到用户形象的根本改变的技术问题。

为解决上述问题，本发明提供的技术方案如下：

一种人体体型重构的方法，所述方法包括：

接收体感传感器采集得到的用户深度图像信息，将所述用户深度图像信息转换为三维人体模型；

获取虚拟形象的三维模板模型；

将所述三维模板模型进行拉伸转换，所述拉伸转换的目标为与所述三维人体模型具有相同的体型，将转换后的三维模板模型作为用户的虚拟形象。

相应的，所述将所述三维模板模型进行拉伸转换，所述拉伸转换的目标为与所述三维人体模型具有相同的体型，将转换后的三维模板模型作为用户的虚拟形象，包括：

在所述三维人体模型以及所述三维模板模型中分别选取关键点，所述三维人体模型中的关键点与所述三维模板模型中的关键点具有一一对应关系；

将所述三维模板模型中的关键点的位置坐标转换为所述三维人体模型中对应的关键点的位置坐标；

将所述三维模板模型中非关键点的位置坐标利用径向基函数RBF插值算法进行转换，将转换后的三维模板模型作为用户的虚拟形象。

相应的，所述将所述三维模板模型中非关键点的位置坐标利用径向基函数RBF插值算法进行转换，包括：

计算所述三维模板模型中的各个关键点的转换偏移值，所述转换偏移值为所述三维模板模型中的关键点的位置坐标与所述三维人体模型中对应的关键点的位置坐标的差值；

根据所述三维模板模型中任一非关键点邻域范围内的关键点的转换偏移值，利用径向基函数RBF插值算法确定该非关键点的转换偏移值；

根据所述三维模板模型中各个非关键点的转换偏移值，将所述三维模板模型中各个非关键点的位置坐标进行转换。

相应的，在对所述三维模板模型进行拉伸转换之前，所述方法还包括：

将所述三维人体模型与所述三维模板模型的文件类型统一为.obj类型。

对所述三维人体模型进行减面操作。

一种人体体型重构的装置，所述装置包括：

第一转换单元，用于接收体感传感器采集得到的用户深度图像信息，将所述用户深度图像信息转换为三维人体模型；

获取单元，用于获取虚拟形象的三维模板模型；

第二转换单元，用于将所述三维模板模型进行拉伸转换，所述拉伸转换的目标为与所述三维人体模型具有相同的体型，将转换后的三维模板模型作为用户的虚拟形象。

相应的，所述第二转换单元包括：

选取子单元，用于在所述三维人体模型以及所述三维模板模型中分别选取关键点，所述三维人体模型中的关键点与所述三维模板模型中的关键点具有一一对应关系；

第一转换子单元，用于将所述三维模板模型中的关键点的位置坐标转换为所述三维人体模型中对应的关键点的位置坐标；

第二转换子单元，用于将所述三维模板模型中非关键点的位置坐标利用径向基函数RBF插值算法进行转换，将转换后的三维模板模型作为用户的虚拟形象。

相应的，所述第二转换子单元具体用于：

相应的，所述装置还包括：

统一单元，用于将所述三维人体模型与所述三维模板模型的文件类型统一为.obj类型。

相应的，所述装置还包括：

减面单元，用于对所述三维人体模型进行减面操作。

由此可见，本发明实施例具有如下有益效果：

本发明实施例利用用户深度图像信息建立三维人体模型，深度图像的低成本获取为日常环境中的三维人体体型重构提供了丰富的输入信息，获取虚拟形象的三维模板模型，将三维模板模型进行拉伸转换为与所建立的三维人体模型具有相同的体型，则代表虚拟形象的三维模板模型可以具有与用户三维人体模型相同的体型作为用户的虚拟形象，由于三维模板模型可以是具有复杂纹理的三维模型，因此本发明实施例实现了对用户进行复杂虚拟形象的定制。

附图说明

图1为本发明实施例中提供的人体体型重构方法实施例的流程图；

图2为本发明实施例中三维模板模型的示意图；

图3为本发明实施例中三维人体模型的关键点的示意图；

图4为本发明实施例中三维模板模型的关键点的示意图；

图5为本发明实施例中对三维模板模型进行转换的结果示意图；

图6为本发明实施例中提供的人体体型重构装置实施例的示意图；

图7为本发明实施例中提供的终端的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明实施例作进一步详细的说明。

本发明实施例将从人体体型重构的装置角度进行描述，该人体体型重构的装置具体可以集成在客户端中，该客户端可以装载在终端中，该终端具体可以为平板电脑、膝上型便携计算机和台式计算机等等。

本发明实施例中提供的人体体型重构的方法及装置，是针对现有技术中无法达到用户形象的根本改变的技术问题，提出建立代表用户体型特征的三维人体模型，获取代表虚拟形象的三维模板模型，将三维模板模型转换为与三维人体模型具有相同的体型作为用户的定制虚拟形象，从而实现用户的复杂虚拟形象定制。

基于上述思想，参见图1所示，本发明实施例中提供的人体体型重构的方法实施例，可以包括以下步骤：

步骤101：接收体感传感器采集得到的用户深度图像信息，将用户深度图像信息转换为三维人体模型。

体感传感器例如Kinect设备上具有RGB(红、绿、蓝)摄像头、深度传感器、多阵列麦克风并运行专有软件，可以为开发者传递彩色数据流、深度数据流和声音数据流等信息。深度传感器由红外激光投影机和单色CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)传感器组成，用来捕获在任何环境光条件中的3D视频数据。单色深度传感的视频流的分辨率为640×480像素，具有11位深度，提供2048级别的灵敏度，3D视频数据流中的每一帧都是一幅深度图像。

深度图像信息记录的是拍摄范围内的物体到深度传感器的距离。机器视觉系统获取场景深度图像技术可分为被动测距传感和主动测距传感两大类。被动测距传感是指视觉系统接收来自场景发射或反射的光能量，形成有关场景光能量分布函数，即灰度图像，然后在这些图像的基础上恢复场景的深度信息。一般的方法是使用两个相隔一定距离的摄像机同时获取场景图像来生成深度图像。与此方法相类似的另一种方法是一个摄像机在不同空间位置上获取两幅或两幅以上图像，通过多幅图像的灰度信息和成像几何来生成深度图像。深度图像信息还可以使用灰度图像的明暗特征、纹理特征、运动特征间接地估算。主动测距传感是指视觉系统首先向场景发射能量，然后接收场景对所发射能量的反射能量，主动测距传感系统也称为测距成像系统，雷达测距系统和三角测距系统是两种最常用的两种主动测距传感系统。因此，主动测距传感和被动测距传感的主要区别在于视觉系统是否可以通过增收自身发射的能量来测距(一般以毫米为单位)。本发明实施例中使用的是主动测距传感，利用Kinect设备的红外激光发射器发出的红外线对空间中的物体进行测距，从而采集深度图像信息。

利用Kinect自带的SDK(Software Development Kit，软件开发工具包)可以接收Kinect采集得到的用户深度图像信息，并将用户深度图像信息转换为三维人体模型，三维人体模型一般存储为.stl格式，.stl格式是一种存储三维模型数据的一种文件格式，可以描述三维物体的表面几何属性，.stl文件可以通过三维笛卡尔坐标系中的单位向量和三角形的顶点表示了一种原始非结构化的三角面。

步骤102：获取虚拟形象的三维模板模型。

可以根据用户所选择的虚拟形象从三维模板模型库中获取虚拟形象的三维模板模型，或者从网络上下载获取虚拟形象的三维模板模型。例如参见图2所示，是一个女性武士形象的三维模板模型。

在本发明的一些实施例中，如果三维人体模型和三维模板模型的类型不统一，还需要将三维人体模型与三维模板模型的文件类型统一为.obj类型。

.obj文件采用开放式的文件格式，一般表示三维模型的几何结构，即每个顶点的位置、每个纹理顶点的UV坐标、顶点法向量，用顶点列表表示的多边形构成的面和纹理顶点，其中，顶点按照逆时针顺序存储。

另外，在本发明的一些实施例中，还需要对三维人体模型进行减面操作。

三维人体模型的原始数据量可能达到十万数量级，数据数量级过大会降低后续操作的处理速度，加大处理难度，因此需要对三维人体模型进行减面操作，使其数量级达到降低到两千，减面之后的三维人体模型能够准确表示人体体型又不至于过于失真，可以直接使用。同时，也可以根据实际情况对三维人体模型的模型大小进行调整。

步骤103：将三维模板模型进行拉伸转换，拉伸转换的目标为与三维人体模型具有相同的体型，将转换后的三维模板模型作为用户的虚拟形象。

在本发明的一些实施例中，步骤103将三维模板模型进行拉伸转换，拉伸转换的目标为与三维人体模型具有相同的体型，将转换后的三维模板模型作为用户的虚拟形象的具体实现可以包括：

在三维人体模型以及三维模板模型中分别选取关键点，三维人体模型中的关键点与三维模板模型中的关键点具有一一对应关系；

将三维模板模型中的关键点的位置坐标转换为三维人体模型中对应的关键点的位置坐标；

将三维模板模型中非关键点的位置坐标利用径向基函数RBF插值算法进行转换，将转换后的三维模板模型作为用户的虚拟形象。

而在本发明的一些实施例中，将三维模板模型中非关键点的位置坐标利用径向基函数RBF插值算法进行转换的具体实现又可以包括：

计算三维模板模型中的各个关键点的转换偏移值，转换偏移值为三维模板模型中的关键点的位置坐标与三维人体模型中对应的关键点的位置坐标的差值；

根据三维模板模型中任一非关键点邻域范围内的关键点的转换偏移值，利用径向基函数RBF插值算法确定该非关键点的转换偏移值；

根据三维模板模型中各个非关键点的转换偏移值，将三维模板模型中各个非关键点的位置坐标进行转换。

也即在三维人体模型以及三维模板模型中分别选取关键点，关键点位置最好包括模型的重要边界。关键点的数量可以根据实际情况设置，在实际应用中考虑到人体的复杂程度，一般要多于7个，且越多越好，关键点的数量越多后续转换的精度越好，但是，关键点的数量越多也会导致计算数据量过大，运行缓慢。

在三维人体模型以及三维模板模型中选取关键点可以通过用户点选的方式获取关键点，也可以识别模型中的关键位置作为关键点，例如模型的眼、鼻、口、手、胳膊肘、膝盖等位置。三维人体模型以及三维模板模型中的关键点相对位置是一致的，例如三维人体模型的手上有一个关键点，那么三维模板模型的手上相对位置也有一个相对应的关键点。参见图3所示，是在三维人体模型上所选取的关键点的示意图，参见图4所示，相应的，是在三维模板模型上所选取的关键点的示意图。

在三维模板模型和三维人体模型中分别选取一定数量的、具有代表性的关键点后，将三维模板模型转换为与三维人体模型具有相同的体型。将两个模型上对应的关键点直接进行坐标转换，即三维人体模型上的关键点是三维模板模型上相应的关键点的转换目标，可以将三维模板模型上的关键点平移到三维人体模型的相应关键点的坐标位置上，这样变化后，每个三维模板模型上的关键点均会有一个转换偏移量。对于三维模板模型中非关键点则根据关键点的转换偏移量采取RBF插值算法进行坐标转换。

RBF(Radical Basis Function，径向基函数)方法在1985年被提出，所谓径向基函数，其实就是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心c之间欧氏距离的单调函数，可记作k(||x-c||)，其作用往往是局部的，即当x远离c时函数取值很小。假设样本点总共有P个，RBF的方法是要选择P个基函数，每个基函数对应一个训练数据，各基函数形式为由于距离是径向同性的，因此称为径向基函数。||X-X^p||表示差向量的模，或者叫2范数，基于径向基函数的插值函数为：

具体到本实施例，三维模板模型中一个非关键点的转换偏移量由距离该非关键点预设距离内的一个或多个关键点的转换偏移量确定，或者，由距离该非关键点距离最近的一个或多个关键点的转换偏移量确定，从而进一步确定三维模板模型中全部非关键点的转换偏移量，获得转换后的三维模板模型作为用户定制的虚拟形象。参见图5所示，是一个三维模板模型的转换结果示意图，假设三维人体模型是一个具有较胖体型的模型，则将三维模板模型转换为与三维人体模型具有相同的体型，作为用户的虚拟形象。

这样，本发明实施例利用用户深度图像信息建立三维人体模型，深度图像的低成本获取为日常环境中的三维人体体型重构提供了丰富的输入信息，获取虚拟形象的三维模板模型，将三维模板模型进行拉伸转换为与所建立的三维人体模型具有相同的体型，则代表虚拟形象的三维模板模型可以具有与用户三维人体模型相同的体型作为用户的虚拟形象，由于三维模板模型可以是具有复杂纹理的三维模型，因此本发明实施例实现了对用户进行复杂虚拟形象的定制。

以下针对实际应用情况，再对本发明实施例中提供的人体体型重构的方法实施例进行说明。

一、获取三维人体模型。

在实际应用中，需要让目标人体即用户正面面对体感传感器Kinect设备，并调整好Kinect的仰角，以获取整个人体的数据，同时注意背景应该单一，这样可以减少噪点的产生。让用户以初始动作开始，在原地进行小幅度的转动。Kinect可以采集用户深度图像信息，如果使用的是Kinect for Windows传感器，可以通过设置NUI_IMAGE_STREAM_FLAG_ENABLE_NEAR_MODE参数激活近距离模式Near Mode，这样传感器就会对50cm到200cm之内的物体进行数据采集，而当不激发Near Mode时，传感器的敏感距离要大一倍(从80cm到400cm范围内)。如果使用的是Xbox Kinect，可以使用Microsoft提供的Kinect Fusion SDK获取深度图像及模型信息。同时，Kinect Fusion SDK提供三维物体的扫描和创建，即可建立三维人体模型的点云或者三维网格模型，进而将深度图像转化为.stl格式的三维人体模型。

二、获取三维模板模型。

有了三维人体模型之后，可以从三维模板模型库中获取或者从网上下载一些合适的三维模板模型，作为用户的虚拟形象，三维人体模型类型可以为.3ds文件。

三、将三维人体模型与三维模板模型的类型进行统一。

如果三维人体模型与三维模板模型的类型不统一，例如三维人体模型为.stl文件，而三维模板模型为.3ds文件，则可以将三维人体模型与三维模板模型输入DeepExploration软件将人体模型与模板模型的文件类型统一为.obj类型。

四、对三维人体模型进行模型大小调整以及减面操作。

为了使三维人体模型的显示大小合理，可以先对三维人体模型进行扩大或缩小调整，并可以利用Polygon Cruncher工具进行减面操作。Polygon Cruncher工具可以作为Autodesk 3ds Max、Autodesk Maya、Newtek Lightwave和3DBrowser等软件的插件使用。Polygon Cruncher工具基于缩减和其他优化技术，主要用来产生优化的三维网格模型。

五、在三维人体模型与三维模板模型中选取关键点。

可以采用用户定义的方式在三维人体模型与三维模板模型中选取关键点，关键点主要分布在关键的身体部位，例如手、胳膊肘、肩部、胯骨、膝盖等等。

六、对三维模板模型进行拉伸转换。

将三维模板模型中的关键点直接以三维人体模型上对应的关键点进行平移坐标变换，除关键点之外的其他点即非关键点进行径向基函数差值确定新的位置坐标，从而实现将三维模板模型拉伸转换为与三维人体模型具有相同的体型，这样即可实现用户的虚拟形象定制。

相应的，参见图6所示，本发明实施例中提供的人体体型重构的装置实施例，可以包括：

第一转换单元601，用于接收体感传感器采集得到的用户深度图像信息，将用户深度图像信息转换为三维人体模型。

获取单元602，用于获取虚拟形象的三维模板模型。

第二转换单元603，用于将三维模板模型进行拉伸转换，拉伸转换的目标为与三维人体模型具有相同的体型，将转换后的三维模板模型作为用户的虚拟形象。

在本发明的一些实施例中，第二转换单元603可以包括：

选取子单元，用于在三维人体模型以及三维模板模型中分别选取关键点，三维人体模型中的关键点与三维模板模型中的关键点具有一一对应关系；

第一转换子单元，用于将三维模板模型中的关键点的位置坐标转换为三维人体模型中对应的关键点的位置坐标；

第二转换子单元，用于将三维模板模型中非关键点的位置坐标利用径向基函数RBF插值算法进行转换，将转换后的三维模板模型作为用户的虚拟形象。

在本发明的一些实施例中，第二转换子单元可以具体用于：

在本发明的一些实施例中，还可以包括：

统一单元，用于将三维人体模型与三维模板模型的文件类型统一为.obj类型。

在本发明的一些实施例中，还可以包括：

减面单元，用于对三维人体模型进行减面操作。

相应的，本发明实施例还提供一种终端，参见图7所示，可以包括：

处理器701、存储器702、输入装置703和输出装置704。该终端中的处理器701的数量可以一个或多个，图7中以一个处理器为例。在本发明的一些实施例中，处理器701、存储器702、输入装置703和输出装置704可通过总线或其它方式连接，其中，图7中以通过总线连接为例。

存储器702可用于存储软件程序以及模块，处理器701通过运行存储在存储器702的软件程序以及模块，从而执行终端的各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入装置703可用于接收输入的数字或字符信息，以及产生与终端的用户设置以及功能控制有关的键信号输入。

具体在本实施例中，处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现各种功能：

获取虚拟形象的三维模板模型；

相应的，在对所述三维模板模型进行拉伸转换之前，还包括：

对所述三维人体模型进行减面操作。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种人体体型重构的方法，其特征在于，所述方法包括：

获取虚拟形象的三维模板模型；

将所述三维模板模型进行拉伸转换，所述拉伸转换的目标为与所述三维人体模型具有相同的体型，将转换后的三维模板模型作为用户的虚拟形象；

所述将所述三维模板模型进行拉伸转换，所述拉伸转换的目标为与所述三维人体模型具有相同的体型，将转换后的三维模板模型作为用户的虚拟形象，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述三维模板模型中非关键点的位置坐标利用径向基函数RBF插值算法进行转换，包括：

3.根据权利要求1所述的方法，其特征在于，在对所述三维模板模型进行拉伸转换之前，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，在对所述三维模板模型进行拉伸转换之前，所述方法还包括：

对所述三维人体模型进行减面操作。

5.一种人体体型重构的装置，其特征在于，所述装置包括：

获取单元，用于获取虚拟形象的三维模板模型；

第二转换单元，用于将所述三维模板模型进行拉伸转换，所述拉伸转换的目标为与所述三维人体模型具有相同的体型，将转换后的三维模板模型作为用户的虚拟形象；

所述第二转换单元包括：

6.根据权利要求5所述的装置，其特征在于，所述第二转换子单元具体用于：

7.根据权利要求5所述的装置，其特征在于，所述装置还包括：

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：

减面单元，用于对所述三维人体模型进行减面操作。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1至4任一项所述的人体体型重构的方法。