CN115471632A - 基于3d扫描的真实人体模型重建方法、装置、设备及介质 - Google Patents

基于3d扫描的真实人体模型重建方法、装置、设备及介质 Download PDF

Info

Publication number
CN115471632A
CN115471632A CN202211278124.7A CN202211278124A CN115471632A CN 115471632 A CN115471632 A CN 115471632A CN 202211278124 A CN202211278124 A CN 202211278124A CN 115471632 A CN115471632 A CN 115471632A
Authority
CN
China
Prior art keywords
human body
dimension
model
parameterized
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211278124.7A
Other languages
English (en)
Inventor
胡海瑛
陈树青
袁壮
卓敏达
林逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xianku Intelligent Co ltd
Original Assignee
Shenzhen Xianku Intelligent Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xianku Intelligent Co ltd filed Critical Shenzhen Xianku Intelligent Co ltd
Priority to CN202211278124.7A priority Critical patent/CN115471632A/zh
Publication of CN115471632A publication Critical patent/CN115471632A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于3D扫描的真实人体模型重建方法、装置、设备及介质，方法包括：通过3D扫描技术对目标人体进行扫描，生成与目标人体对应的三维点云模型；对所述三维点云模型进行识别，获取目标人体的各个维度的真实维度值；根据各个维度的真实维度值对预先导入的参数化人体模型进行变形，使得所述参数化人体模型的各个维度的维度值趋于所述真实维度值；通过主成分分析法计算参数化人体模型的各个顶点的法向量，并将所述法向量添加到各个顶点上；对添加法向量的所述参数化人体模型进行骨骼绑定、蒙皮、人脸重建以及动作驱动，从而得到真实人体模型。本发明生成的虚拟形象与扫描的真人高度相似，且可以自由控制体态、体型、体围的多层次变化。

Description

基于3D扫描的真实人体模型重建方法、装置、设备及介质
技术领域
本发明涉及3D领域，具体涉及一种基于3D扫描的真实人体模型重建方法、装置、设备及介质。
背景技术
三维人体作为常见的三维模型，一直是计算机图形学和计算机视觉中重要的研究内容，已广泛应用于影视动画、三维游戏、服装设计、虚拟试衣、电子商务等领域。
目前的三维人体重建方法主要有：
（1）人工建立法，其是利用人工建立的虚拟三维人体模型，通过调节胖瘦、高矮调节模型形状；通过调节人脸五官贴图实现五官组合效果；通过预先绑定的骨骼信息，实现动作动画；利用部件置换技术，实现换装(例如挖掉躯干，换上衣服)，以避免模型穿模。
该方法的缺点是无法实现基于真人形象的快速虚拟人创建，无法提取、复刻真人的体型特点，因此在进行换装/试衣、体型调整/塑形变换的时候，会有较大的不真实感。
（2）基于主成分分析的多维描述模型，多维描述模型如SMPL和STAR，是基于统计学习的可以进行多维调节的参数化模型类型，作为基础模型被大范围运用在许多领域上。理论上可以实现较为逼真的参数化虚拟人体重建，从体型特征上趋近于真人，也可以实现简单的动作变换。
该方法的缺点是无法基于单一准确数据进行人体参数化变形，例如胸围、腰围、臂长，往往调节1个参数会影响很多其他位置的连锁变化。此外因为模型面数较少且分布均匀，在进行动作变换时关节位置容易失真。
（3）基于RGB或RGBD图像的人体重建，这是一种基于图像的模型重建技术，代表方法是PiFu。该方法可以实现快速的真人形象重建。缺点是对图像的质量和密度有要求，生成的模型精度较低，且该方法依赖动作识别，但相关算法鲁棒性差，导致重建人体姿态失真，另外重建得到的模型是非参数化模型，无法进行体型调整、动作变换等操作。
发明内容
有鉴于此，本发明的目的在于提供一种基于3D扫描的真实人体模型重建方法、装置、设备及介质，以改善上述问题。
本发明实施例提供了一种基于3D扫描的真实人体模型重建方法，其包括：
通过3D扫描技术对目标人体进行扫描，以根据目标人体表面的三维空间信息形成点云数据，通过配准多个角度获取的点云数据，生成与目标人体对应的三维点云模型；
对所述三维点云模型进行识别，获取目标人体的各个维度的真实维度值；
根据各个维度的真实维度值对预先导入的参数化人体模型进行变形，使得所述参数化人体模型的各个维度的维度值趋于所述真实维度值；
通过主成分分析法计算调节后的所述参数化人体模型的各个顶点的法向量，并将所述法向量添加到各个顶点上；
对添加法向量后的所述参数化人体模型进行骨骼绑定、蒙皮、人脸重建以及动作驱动，从而得到真实人体模型。
优选地，参数化人体模型各个维度的维度值通过如下步骤获取：
通过维度定义文件获取各个维度对应的顶点集合；其中，所述维度定义文件以字典形式保存维度名以及组成该维度的顶点的下标值；
通过计算顶点之间的距离的和，获得该维度的维度值；其中，设构成维度的按顺序排列的顶点共n个，则该维度的维度值DistSum=D1D2+D2D3+...+Dn-1Dn+DnD1，Dn-1Dn代表第n-1个点与第n个点之间的距离。
优选地，根据各个维度的真实维度值对预先导入的参数化人体模型进行变形，使得所述参数化人体模型的各个部分的维度值趋于所述真实维度值，具体包括：
获取待变形的维度的当前维度值以及真实维度值；
根据所述待变形的维度的当前维度值以及所述真实维度值，通过二分法计算调节因子；
根据所述调节因子以及预设的维度调节文件，对相关的顶点的坐标进行修改，以使得所述待变形的维度的维度值趋于所述真实维度值；其中，所述维度调节文件记录调节每个维度时需调节的顶点以及各个顶点在各个方向上的调节量。
优选地，人脸重建的步骤包括：
从所述三维点云模型中获取脸部点云数据，并对脸部点云数据进行预处理，预处理包括滤波去噪、数据精简、数据插补；
对预处理的脸部点云数据进行自动配准，重建得到人脸模型；
对重建的人脸模型进行参数化人脸重建，使得人脸朝着扫描到的模型变形。
优选地，点云数据的自动配准技术通过把不同的坐标系中测得到的点云数据进行坐标系的变换，以得到整体的三维点云数据，获得坐标变换的参数，使得两视角下测得的三维点云数据经坐标变换后的距离最小。
优选地，对重建的人脸模型进行参数化人脸重建，使得人脸朝着扫描到的模型变形， 具体包括：
从重建的人脸模型中提取关键点位；其中，包括识别人脸维度最凸点为鼻尖点，以距离鼻尖点预定范围内的顶点为邻近点求出法向，沿着法向投影至yoz平面上的新法向找到鼻根点，由于垂直于鼻尖点至鼻根点的连线的直线穿过双眼点，在直线附近结合法向识别出眼睛点；
从参数化人体模型的参数化人脸模型中获取与所述关键点位一一对应的参数化点位；
通过对应提取的关键点位与参数化人脸的参数化点位确定缩放比例，以获取点云拟合所需的匹配点；
进行点云粗匹配及横向、纵向的初步拟合；
在初步拟合后，根据所述匹配点进行人脸模型的点云与参数化人脸模型的拟合，从而使得参数化人脸模型朝着重建的人脸模型变形。
优选地，所述维度包括：颈围、颈高、肩距、上臂围、上臂长、下臂长、腕围、胸宽、胸围、腰宽、腰围、臀宽、臀围、大腿长、大腿围、小腿长、小腿围、踝围、膝围、胸高。
本发明实施例还提供了一种基于3D扫描的真实人体模型重建装置，其包括：
扫描单元，用于通过3D扫描技术对目标人体进行扫描，以根据目标人体表面的三维空间信息形成点云数据，通过配准多个角度获取的点云数据，生成与目标人体对应的三维点云模型；
识别单元，用于对所述三维点云模型进行识别，以获取目标人体的各个维度的真实维度值；
变形单元，用于根据各个维度的维度值对预先导入的参数化人体模型进行变形，使得所述参数化人体模型的各个部分的维度值趋于所述真实维度值；
法向添加单元，用于通过主成分分析法计算调节后的所述参数化人体模型的各个顶点的法向量，并将所述法向量添加到各个顶点上；
重建单元，用于对添加法向量后的所述参数化人体模型进行骨骼绑定、蒙皮、人脸重建以及动作驱动，从而得到真实人体模型。
本发明实施例还提供了一种基于3D扫描的真实人体模型重建设备，其包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上述的基于3D扫描的真实人体模型重建方法。
本发明实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如上述的基于3D扫描的真实人体模型重建方法。
综上所述，本实施例提供了一种从3D扫描重建真实人体模型到参数化可驱动的虚拟人体形象的完整方案。本实施例生成的虚拟形象与扫描的真人高度相似，且可以自由控制体态、体型、体围的多层次变化。
此外，本实施例生成的虚拟形象可以连接其他技术，实现许多不同领域的应用。结合动捕设备，可以实现真人动作动画的效果；结合服装仿真软件，可以实现真实人体服装试穿的渲染效果。
附图说明
图1为本发明第一实施例的基于3D扫描的真实人体模型重建方法的流程示意图。
图2是部分维度定义展示图。
图3为基础模型正视图。
图4为factor=0.5调节模型腰围正视图。
图5为factor=2调节模型腰围正视图。
图6为基础模型侧视图。
图7为factor=0.5调节模型腰围侧视图。
图8为factor=2调节模型腰围侧视图。
图9-图11为采用二分法计算调节因子的示意图。
图12为未添加法向信息的模型示意图。
图13为添加法向信息的模型示意图。
图14为本发明第二实施例的基于3D扫描的真实人体模型重建装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明第一实施例提供了一种基于3D扫描的真实人体模型重建方法，其可由基于3D扫描的真实人体模型重建设备（以下简称重建设备）来执行，特别的，由所述重建设备内的一个或者多个处理器来执行，以实现如下步骤：
S101，通过3D扫描技术对目标人体进行扫描，以根据目标人体表面的三维空间信息形成点云数据，通过配准多个角度获取的点云数据，生成与目标人体对应的三维点云模型。
在本实施例中，所述重建设备可为台式电脑、笔记本电脑、工作站等具有图像处理能力以及计算能力的设备，本发明不做具体限定。
在本实施例中，当需要对某个真实的人体，即目标人体进行真实人体模型重建，首先需要先通过3D扫描技术对目标人体进行扫描。其中，3D扫描指三维激光扫描技术(3Dlaser scanning technology)，也被称为实景复制技术，其通过非接触式的激光扫描测量，快速高分辨率地获取人体表面的三维空间信息形成点云数据，通过配准多个角度获取的点云数据，能生成与人体同比例的三维点云模型。
S102，对所述三维点云模型进行识别，获取目标人体的各个维度的真实维度值。
其中，生成与人体同比例的三维点云模型后，算法识别该人体模型的不同部位，并快速获得不同部位的维度值，包括颈围、颈高、肩距、上臂围、上臂长、下臂长、腕围、胸宽、胸围、腰宽、腰围、臀宽、臀围、大腿长、大腿围、小腿长、小腿围、踝围、膝围、胸高等一百多项身体维度及其他数据。
S103，根据各个维度的真实维度值对预先导入的参数化人体模型进行变形，使得所述参数化人体模型的各个维度的维度值趋于所述真实维度值。
在本实施例中，参数化人体模型为OBJ文件，OBJ文件是一种标准的3D模型文件格式，很适合用于3D软件模型之间的互导。在参数化人体模型中OBJ文件包含几何体顶点(Geometric vertices)，f面信息 (Face)以及vn顶点法线 (Vertex normals)。
在本实施例中，参数化人体模型含男、女基础拓扑模型各两个，包括男性正常体重基础模型、男性大体重基础模型、女性正常体重基础模型以及女性大体重基础模型。所有男性、女性参数化人体模型都根据体重挑选合适的基础模型后，再由其变形获得。
在本实施例中，对于每个参数化人体模型，其除了模型数据外，还包括一个维度定义文件和一个维度调节文件；其中：
维度定义文件：以字典形式保存维度名以及对应的组成该维度的顶点的下标值，部分维度在模型中的位置如图2所示。通过计算顶点之间距离的和，可以获得该维度的值。以腰围为例，假设构成该维度的按顺序排列的点共n，计算n个点与各自连接的顶点之间的距离之和DistSum=D1D2+D2D3+...+Dn-1Dn+DnD1，Dn-1Dn代表第n-1个点与第n个点之间的距离，即得到腰围的维度值。
维度调节文件：用于存放更改某个维度值时需要调节的顶点、移动方向以及移动距离。文件内容为n*4列的矩阵，n代表需要调节的顶点的数量，第一列代表需要调节的顶点的下标，第2-4列分别代表xyz的位移。如“1 0.1 0.05 -0.04”表示参数化人体模型的第1个顶点的x需要增加0.1个单位、y需要增加0.05个单位，z需要减少0.04个单位。通过多个顶点的移动，达到自然修改参数化人体模型维度的效果。
在本实施例中，基于上述的维度定义文件、维度调节文件，步骤S103具体为：
S1031，获取待变形的维度的当前维度值以及真实维度值。
其中，当前维度值可根据上述的维度定义文件结合参数化模型计算获得。
S1032，根据所述待变形的维度的当前维度值以及所述真实维度值，通过二分法计算调节因子。
S1033，根据所述调节因子以及预设的维度调节文件，对相关的顶点的坐标进行修改，以使得所述待变形维度的维度值趋于所述真实维度值；其中，所述维度调节文件记录调节每个维度时需调节的顶点以及各个顶点在各个方向上的调节量。
其中，如图3-图8所示，要将维度调整至某个精确值需要选择合适的调节因子factor，本实施例使用二分法的思想获取调节因子factor。
如图9-图11所示，以从当前基础模型腰围60cm调整至真实维度值70cm，腰围与真实维度值之间的误差的可接受范围为0.1cm为例。factor的范围为[0，2]，factor首先取中间值“1”计算腰围，得到腰围为65cm，小于70cm，则factor取“1”与右边值的中间值，取值为“1.5”计算腰围，得到腰围为80cm，大于70cm，则factor取“1.5”与左边值的中间值，取值为“1.25”计算腰围，得到腰围为70.1cm，与目标值70cm的差值在误差范围内，则factor最终取值为1.25。
在本实施例中，通过上述的调节方式，就可以将参数化人体模型的各个维度的维度值调整至趋于所述目标人体的真实维度值。
需要说明的是，上述实施例中，factor的范围可以根据实际的需要进行设置，而不仅限于上述的范围。
S104，通过主成分分析法计算调节后的所述参数化人体模型的各个顶点的法向量，并将所述法向量添加到各个顶点上。
其中，为了使调节后的参数化模型有好的渲染效果，需要为每个顶点添加法向量。
具体地，首先找到与顶点相连的N个邻接点，然后对这些邻接点做主成分分析，找到最小主成分的邻接点的法向量来作为所述顶点的法向量。
图12为添加法向前的模型示意图，可以看到模型外观较为粗糙，图13为添加法向后的模型示意图，可以看到添加法向后的模型外观明显较图12光滑。
S105，对添加法向量后的所述参数化人体模型进行骨骼绑定、蒙皮、人脸重建以及动作驱动，从而得到真实人体模型。
在本实施例中，模型是由大量顶点组成的，如果每一帧都要手动移动如此大量的顶点到指定位置，显然是个不可能完成的任务。于是人们借鉴了动物骨骼和皮肤的关系，为模型也设计了虚拟的骨骼。
骨骼有时也称作骨架，就如同人体的骨骼一样由一根根骨头组成。骨骼与骨骼之间是用骨骼节点连接的，骨骼称为Bone，骨骼节点称为Joint，一根bone的一端或两端连着两个Joint，而一个Joint可能连着数条Bone。每一根骨头控制着附近区域的顶点。当骨头移动时，就会牵引着它控制的骨头一起移动。
蒙皮是把骨骼和模型结合起来的过程，由于骨骼与模型是相互独立的，蒙皮使得骨骼驱动模型产生合理的运动。一根骨头可以控制很多顶点，同时一个顶点也可以被多根骨头控制。为顶点分配骨头对其的控制权，这个控制权即为权重。通过控制Joint的位置和旋转，可以控制整个骨骼，而整个骨骼也就影响模型的外皮（顶点网格），于是动画模式建立了。
动作驱动
BVH（Biovision层次模型）是Biovision Hierarchy的缩写，是BioVision等设备对人体运动进行捕获后产生文件格式的文件扩展名，包含角色的骨骼和肢体关节旋转数据。BVH 是一种通用的人体特征动画文件格式，这种文件描述的人体动画十分逼真，因为它通过真实的人体模特穿上带有传感器的特殊衣服捕获动画。如今广泛地被当今流行的各种动画制作软件支持。此外，这种文件是以文本形式存储的，因此操作简单，容易开发。
一个BVH文件包含两部分，头部部分和数据部分，头部部分描述了骨架的层次关系和初始姿势，BVH的骨架信息是以关键字“HIERARCHY”开头的，紧跟着‘ROOT’表示一个根节点，然后是根节点以下的关节‘JOINT’，然后逐级向下，递归定义父关节以下的子关节。‘OFFSET’表示的是子关节相对于父关节的偏移，也可表示对应父关节的长度和方向；当子关节不止一个时，采用第一个子关节的数据。接下来是‘CHANNELS’给出了关于channel的个数和名称。ROOT总是拥有6个channels，一般的JOINT只有3个，与ROOT相比缺少了XYZ的position信息。因为子关节只需要根据它相对于父关节的偏移即可算出它在坐标系中的具体位置。BVH文件的数据部分包含了动作(motion)的数据，数据部分以“MOTION”开头，后面的数字表示帧率，下一行“Frame Time”定义了采样频率。文件剩余的部分包含了motion的数据，每一行是一个motion数据的样本。
人脸重建
在本实施例中，人脸重建的步骤包括：
从所述三维点云模型中获取脸部点云数据，并对脸部点云数据进行预处理，预处理包括滤波去噪、数据精简、数据插补；
其中，人脸重建是通过配准多个脸部点云数据获得，由于激光扫描获取的数据中常常包含噪声点和孔洞，为了避免影响后续点云处理，需要对数据进行预处理，预处理包括滤波去噪、数据精简、数据插补等。
对预处理的脸部点云数据进行自动配准，重建得到人脸模型。
点云预处理后，对其进行配准。由于点云的不完整，旋转错位，平移错位等，使得要得到的完整的点云就需要对局部点云进行配准，为了得到被测物体的完整数据模型，需要确定一个合适的坐标系，将从各个视角得到的点集合并到统一的坐标系下形成一个完整的点云，然后就可以方便进行可视化的操作，这就是点云数据的配准。点云的自动配准技术是通过计算两块点云之间错位，从而达到两块点云自动配准的效果，其实质是把不同的坐标系中测得到的数据点云进行坐标系的变换，以得到整体的数据模型，获得坐标变换的参数R（旋转矩阵）和T（平移向量），使得两视角下测得的三维数据经坐标变换后的距离最小。经典的ICP配准算法首先计算初始点云上所有点与目标点云的距离，保证这些点和目标点云的最近点相互对应，同时构造残差平方和的目标函数。基于最小二乘法对误差函数进行最小化处理，经过反复迭代，直到均方误差小于设定的阈值。
对重建的人脸模型进行参数化人脸重建，使得人脸朝着扫描到的模型变形。
其中，为了使得参数化模型更加接近真人，需要对模型进行换脸以及换发型的操作，通过识别人脸的轮廓，将参数化人体模型的脸型进行调整，具体包括：
从重建的人脸模型中提取关键点位；其中，包括识别人脸维度最凸点为鼻尖点，以距离鼻尖点预定范围内的顶点为邻近点求出法向，沿着法向投影至yoz平面上的新法向找到鼻根点，由于垂直于鼻尖点至鼻根点的连线的直线穿过双眼点，在直线附近结合法向识别出眼睛点；
从参数化人体模型的参数化人脸模型中获取与所述关键点位一一对应的参数化点位；
通过对应提取的关键点位与参数化人脸的参数化点位确定缩放比例，以获取点云拟合所需的匹配点；
进行点云粗匹配及横向、纵向的初步拟合；
在初步拟合后，根据所述匹配点进行人脸模型的点云与参数化人脸模型的拟合，从而使得参数化人脸模型朝着重建的人脸模型变形。
综上所述，本实施例提供了一种从3D扫描重建真实人体模型到参数化可驱动的虚拟人体形象的完整方案。本实施例生成的虚拟形象与扫描的真人高度相似，且可以自由控制体态、体型、体围的多层次变化。
此外，本实施例生成的虚拟形象可以连接其他技术，实现许多不同领域的应用。结合动捕设备，可以实现真人动作动画的效果；结合服装仿真软件，可以实现真实人体服装试穿的渲染效果。
请参阅图14，本发明第二实施例还提供了一种基于3D扫描的真实人体模型重建装置，其包括：
扫描单元210，用于通过3D扫描技术对目标人体进行扫描，以根据目标人体表面的三维空间信息形成点云数据，通过配准多个角度获取的点云数据，生成与目标人体对应的三维点云模型；
识别单元220，用于对所述三维点云模型进行识别，以获取目标人体的各个维度的真实维度值；
变形单元230，用于根据各个维度的维度值对预先导入的参数化人体模型进行变形，使得所述参数化人体模型的各个部分的维度值趋于所述真实维度值；
法向添加单元240，用于通过主成分分析法计算调节后的所述参数化人体模型的各个顶点的法向量，并将所述法向量添加到各个顶点上；
重建单元250，用于对添加法向量后的所述参数化人体模型进行骨骼绑定、蒙皮、人脸重建以及动作驱动，从而得到真实人体模型。
本发明第三实施例还提供了一种基于3D扫描的真实人体模型重建设备，其包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上述的基于3D扫描的真实人体模型重建方法。
本发明第四实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如上述的基于3D扫描的真实人体模型重建方法。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，电子设备，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于3D扫描的真实人体模型重建方法，其特征在于，包括：
通过3D扫描技术对目标人体进行扫描，以根据目标人体表面的三维空间信息形成点云数据，通过配准多个角度获取的点云数据，生成与目标人体对应的三维点云模型；
对所述三维点云模型进行识别，获取目标人体的各个维度的真实维度值；
根据各个维度的真实维度值对预先导入的参数化人体模型进行变形，使得所述参数化人体模型的各个维度的维度值趋于所述真实维度值；
通过主成分分析法计算调节后的所述参数化人体模型的各个顶点的法向量，并将所述法向量添加到各个顶点上；
对添加法向量后的所述参数化人体模型进行骨骼绑定、蒙皮、人脸重建以及动作驱动，从而得到真实人体模型。
2.根据权利要求1所述的基于3D扫描的真实人体模型重建方法，其特征在于，参数化人体模型各个维度的维度值通过如下步骤获取：
通过维度定义文件获取各个维度对应的顶点集合；其中，所述维度定义文件以字典形式保存维度名以及组成该维度的顶点的下标值；
通过计算顶点之间的距离的和，获得该维度的维度值；其中，设构成维度的按顺序排列的顶点共n个，则该维度的维度值DistSum=D1D2+D2D3+...+Dn-1Dn+DnD1，Dn-1Dn代表第n-1个点与第n个点之间的距离。
3.根据权利要求1所述的基于3D扫描的真实人体模型重建方法，其特征在于，根据各个维度的真实维度值对预先导入的参数化人体模型进行变形，使得所述参数化人体模型的各个部分的维度值趋于所述真实维度值，具体包括：
获取待变形的维度的当前维度值以及真实维度值；
根据所述待变形的维度的当前维度值以及所述真实维度值，通过二分法计算调节因子；
根据所述调节因子以及预设的维度调节文件，对相关的顶点的坐标进行修改，以使得所述待变形的维度的维度值趋于所述真实维度值；其中，所述维度调节文件记录调节每个维度时需调节的顶点以及各个顶点在各个方向上的调节量。
4.根据权利要求1所述的基于3D扫描的真实人体模型重建方法，其特征在于，人脸重建的步骤包括：
从所述三维点云模型中获取脸部点云数据，并对脸部点云数据进行预处理，预处理包括滤波去噪、数据精简、数据插补；
对预处理的脸部点云数据进行自动配准，重建得到人脸模型；
对重建的人脸模型进行参数化人脸重建，使得人脸朝着扫描到的模型变形。
5.根据权利要求4所述的基于3D扫描的真实人体模型重建方法，其特征在于，点云数据的自动配准技术通过把不同的坐标系中测得到的点云数据进行坐标系的变换，以得到整体的三维点云数据，获得坐标变换的参数，使得两视角下测得的三维点云数据经坐标变换后的距离最小。
6.根据权利要求4所述的基于3D扫描的真实人体模型重建方法，其特征在于，对重建的人脸模型进行参数化人脸重建，使得人脸朝着扫描到的模型变形， 具体包括：
从重建的人脸模型中提取关键点位；其中，包括识别人脸维度最凸点为鼻尖点，以距离鼻尖点预定范围内的顶点为邻近点求出法向，沿着法向投影至yoz平面上的新法向找到鼻根点，由于垂直于鼻尖点至鼻根点的连线的直线穿过双眼点，在直线附近结合法向识别出眼睛点；
从参数化人体模型的参数化人脸模型中获取与所述关键点位一一对应的参数化点位；
通过对应提取的关键点位与参数化人脸的参数化点位确定缩放比例，以获取点云拟合所需的匹配点；
进行点云粗匹配及横向、纵向的初步拟合；
在初步拟合后，根据所述匹配点进行人脸模型的点云与参数化人脸模型的拟合，从而使得参数化人脸模型朝着重建的人脸模型变形。
7.根据权利要求1所述的基于3D扫描的真实人体模型重建方法，其特征在于，所述维度包括：颈围、颈高、肩距、上臂围、上臂长、下臂长、腕围、胸宽、胸围、腰宽、腰围、臀宽、臀围、大腿长、大腿围、小腿长、小腿围、踝围、膝围、胸高。
8.一种基于3D扫描的真实人体模型重建装置，其特征在于，包括：
扫描单元，用于通过3D扫描技术对目标人体进行扫描，以根据目标人体表面的三维空间信息形成点云数据，通过配准多个角度获取的点云数据，生成与目标人体对应的三维点云模型；
识别单元，用于对所述三维点云模型进行识别，以获取目标人体的各个维度的真实维度值；
变形单元，用于根据各个维度的维度值对预先导入的参数化人体模型进行变形，使得所述参数化人体模型的各个部分的维度值趋于所述真实维度值；
法向添加单元，用于通过主成分分析法计算调节后的所述参数化人体模型的各个顶点的法向量，并将所述法向量添加到各个顶点上；
重建单元，用于对添加法向量后的所述参数化人体模型进行骨骼绑定、蒙皮、人脸重建以及动作驱动，从而得到真实人体模型。
9.一种基于3D扫描的真实人体模型重建设备，其特征在于，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如权利要求1至7任意一项所述的基于3D扫描的真实人体模型重建方法。
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如权利要求1至7任意一项所述的基于3D扫描的真实人体模型重建方法。
CN202211278124.7A 2022-10-19 2022-10-19 基于3d扫描的真实人体模型重建方法、装置、设备及介质 Pending CN115471632A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211278124.7A CN115471632A (zh) 2022-10-19 2022-10-19 基于3d扫描的真实人体模型重建方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211278124.7A CN115471632A (zh) 2022-10-19 2022-10-19 基于3d扫描的真实人体模型重建方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115471632A true CN115471632A (zh) 2022-12-13

Family

ID=84337588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211278124.7A Pending CN115471632A (zh) 2022-10-19 2022-10-19 基于3d扫描的真实人体模型重建方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115471632A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445561B (zh) * 2020-03-25 2023-11-17 北京百度网讯科技有限公司 虚拟对象的处理方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445561B (zh) * 2020-03-25 2023-11-17 北京百度网讯科技有限公司 虚拟对象的处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Alldieck et al. imghum: Implicit generative models of 3d human shape and articulated pose
US10546433B2 (en) Methods, systems, and computer readable media for modeling garments using single view images
Noh et al. A survey of facial modeling and animation techniques
Hasler et al. Multilinear pose and body shape estimation of dressed subjects from image sets
Cheng et al. Parametric modeling of 3D human body shape—A survey
Wang et al. Virtual human modeling from photographs for garment industry
Zhu et al. An efficient human model customization method based on orthogonal-view monocular photos
CN108564619B (zh) 一种基于两张照片的真实感三维人脸重建方法
Valente et al. Face tracking and realistic animations for telecommunicant clones
Zuo et al. Sparsefusion: Dynamic human avatar modeling from sparse rgbd images
Bang et al. Estimating garment patterns from static scan data
CN109655011A (zh) 一种人体建模维度测量的方法及系统
Ye et al. 3d morphable face model for face animation
Achenbach et al. Accurate Face Reconstruction through Anisotropic Fitting and Eye Correction.
Xu et al. Building high-fidelity human body models from user-generated data
CN115471632A (zh) 基于3d扫描的真实人体模型重建方法、装置、设备及介质
Chalás et al. Generating various composite human faces from real 3D facial images
Jeong et al. Automatic generation of subdivision surface head models from point cloud data
Zell et al. ElastiFace: Matching and blending textured faces
Ju et al. Individualising Human Animation Models.
Starck et al. Animated statues
Kim et al. 3D virtual simulator for breast plastic surgery
Oliveira et al. Animating scanned human models
KR20200060196A (ko) 3차원 아바타 생성 장치 및 방법
Jia et al. 3D personalized human modeling and deformation technology for garment CAD

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518100 Building C, Minzhi Stock Commercial Center, North Station Community, Minzhi Street, Longhua District, Shenzhen City, Guangdong Province 2401

Applicant after: Shenzhen xianku intelligent Co.,Ltd.

Address before: 518063 3407, Block A, Building 9, Zone 2, Shenzhen Bay Science and Technology Ecological Park, No. 3609, Baishi Road, High tech District Community, Yuehai Street, Nanshan District, Shenzhen, Guangdong

Applicant before: Shenzhen xianku intelligent Co.,Ltd.

CB02 Change of applicant information