CN114373057A - 一种头发与头部模型的匹配方法及设备 - Google Patents

一种头发与头部模型的匹配方法及设备 Download PDF

Info

Publication number
CN114373057A
CN114373057A CN202111576359.XA CN202111576359A CN114373057A CN 114373057 A CN114373057 A CN 114373057A CN 202111576359 A CN202111576359 A CN 202111576359A CN 114373057 A CN114373057 A CN 114373057A
Authority
CN
China
Prior art keywords
model
head
hair
vertex
tetrahedron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111576359.XA
Other languages
English (en)
Inventor
朱家林
吴连朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juhaokan Technology Co Ltd
Original Assignee
Juhaokan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juhaokan Technology Co Ltd filed Critical Juhaokan Technology Co Ltd
Priority to CN202111576359.XA priority Critical patent/CN114373057A/zh
Publication of CN114373057A publication Critical patent/CN114373057A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及3D数字人技术领域，提供一种头发与头部模型的匹配方法及设备。通过对头发和3D头部模型的包围盒进行体素化处理，得到的多个四面体，通过体素化处理，利用形状简单的四面体来计算形状复杂的模型的顶点三维坐标，提高了计算效率；且头部和头发的网格模型中各个三角形面片包含的一个顶点对应一个四面体，根据该对应关系，可以确定头发和头部的网格模型中各个三角形面片包含的顶点的三维坐标，利用各个三角形面片包含的顶点的三维坐标，对头发模型进行形变，使头发模型与个性化的3D头部模型精准匹配，有效减少头发与头部的″穿帮″现象，提高3D数字人头发的真实性，并且整个匹配过程无需人工调整，提高了3D数字人建模的效率。

Description

一种头发与头部模型的匹配方法及设备
技术领域
本申请涉及3D数字人技术领域，尤其涉及一种头发与头部模型的匹配方法及设备。
背景技术
随着3D数字人时代的到来，人们都希望拥有自己个性化形象化身(avatar)，逼真的3D数字人形象，为虚拟社交行业注入了很大活力。特别是随着5G的逐渐普及，AR/VR应用取得快速发展，与3D数字人相关的虚拟社交行业(如：虚拟演唱会、虚拟直播、虚拟导游等)开始进入大众视野，而这类应用的都需要有逼真、个性化虚拟角色。
人物的高逼真、高效建模是3D数字人行业的关键环节之一，其中，头发的逼真还原及自动匹配又是非常重要的一环。头发与头部模型的匹配作为数字化人物建模领域(如：游戏、影视等领域)的基础工作，对3D数字人的建模质量具有重要影响。
目前，头发与头部模型的匹配主要有两种方式，一是在影视领域中，通过传统地手动调整方式使头发与头部模型匹配，该方法效率低下，不能满足对3D数字人建模实时性要求较高的场景；二是基于头发与头部模型参数的匹配方法，但当3D数字人头部几何差异变化较大时，容易出现头发穿透失真问题，影响用户体验。
发明内容
本申请实施例提供了一种头发与头部模型的匹配方法及设备，用以提高3D数字人建模的效率，以及提高3D数字人头发的真实性。
一方面，本申请实施例提供一种头发与头部模型的匹配方法，包括：
获取目标对象头部的深度数据，并根据所述深度数据对标准头部参考模型进行几何形变，生成个性化的3D头部模型；
生成头发模型与所述3D头部模型的包围盒，并对所述包围盒进行体素化处理，得到多个四面体，所述头发模型是基于所述标准头部参考模预先构建的；
根据得到的多个四面体，确定头发和头部的网格模型中各个三角形面片包含的顶点的三维坐标；其中，所述各个三角形面片包含的每个顶点对应一个四面体，所述三维坐标是基于相应四面体包含的各个顶点的世界坐标确定的；
根据所述各个三角形面片包含的顶点的三维坐标，对所述头发模型进行形变以匹配所述3D头部模型。
另一方面，本申请实施例提供了一种重建终端，包括处理器、存储器、显示器、通信接口，所述通信接口、所述显示器、所述存储器、所述处理器通过总线连接；
所述存储器存储有计算机程序，所述处理器根据所述计算机程序执行以下操作：
通过所述通信接口，获取目标对象头部的深度数据，并根据所述深度数据对标准头部参考模型进行几何形变，生成个性化的3D头部模型；
生成头发模型与所述3D头部模型的包围盒，并对所述包围盒进行体素化处理，得到多个四面体，所述头发模型是基于所述标准头部参考模预先构建的；
根据得到的多个四面体，确定头发和头部的网格模型中各个三角形面片包含的顶点的三维坐标；其中，所述各个三角形面片包含的每个顶点对应一个四面体，所述三维坐标是基于相应四面体包含的各个顶点的世界坐标确定的；
根据所述各个三角形面片包含的顶点的三维坐标，对所述头发模型进行形变以匹配所述3D头部模型，并由所述显示器显示的匹配后的头发模型和3D头部模型。
另一方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的头发与头部模型的匹配方法。
本申请的上述实施例中，由于个性化的3D头部模型是根据目标对象头部的深度数据对标准头部参考模型进行几何形变生成的，因此，个性化的3D头部模型与标准头部参考模型间存在几何约束关系；对头发和3D头部模型的包围盒进行体素化处理后，得到的多个四面体，且头部和头发的网格模型中各个三角形面片包含的一个顶点对应一个四面体，根据该对应关系，可以确定头发和头部的网格模型中各个三角形面片包含的顶点的三维坐标，其中，三维坐标是基于相应四面体包含的各个顶点的世界坐标确定的，通过体素化处理，利用形状简单的四面体来计算形状复杂的模型的顶点三维坐标，提高了计算效率；进一步地，利用各个三角形面片包含的顶点的三维坐标，对头发模型进行形变，使头发模型与个性化的3D头部模型精准匹配，有效减少头发与头部的″穿帮″现象，提高3D数字人头发的真实性，并且整个匹配过程无需人工调整，提高了3D数字人建模的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的头发与头部模型的匹配方法流程图；
图2为本申请实施例提供的包围盒的体素化处理方法流程图；
图3为本申请实施例提供的头发模型与3D头部模型的包围盒的等分示意图；
图4为本申请实施例提供的长方体的上下底面的扩展为八边形的示意图；
图5为本申请实施例提供的长方体对应的八棱柱及分割示意图；
图6为本申请实施例提供的八棱柱分割后的三棱柱中包含的四面体示意图；
图7为本申请实施例提供的机与四面体的容积形变的方法流程图；
图8为本申请实施例提供的模型顶点的拉普拉斯坐标和世界坐标的空间关系示意图；
图9为本申请实施例提供的本申请的方法与传统的参数化匹配方法的对比效果图；
图10为本申请实施例提供的本申请的方法与传统的参数化匹配方法的对比效果图；
图11为本申请实施例提供的完整的头发与头部模型的匹配方法流程图；
图12为本申请实施例提供的重建设备的结构图。
具体实施方式
下面对本申请实施例中的名词进行解释说明。
包围盒(Oriented Bounding Box，OBB)：将复杂模型包围起来的一个长方体。
最小二乘法(Least Square Method，LSM)：又称最小平方法，是一种数学优化方法。通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
下面对本申请实施例的思想进行概述。
将头发迁移到头部模型是3D数字人建模中必不可少的环节。在整个3D数字人行业中，头发与头部模型的匹配就是一个比较耗费资源的环节，主要靠人工调节，效率较低。由于并不是每个人都有时间和财力制造逼真的形象化身，在一定程度制约了3D数字人应用的推广。
在大多数的3D数字人应用中，由于头部往往作为聚焦的中心，因此对3D数字人的头部真实感要求较高。通常的，头部建模主要包括高精度的头部几何建模、纹理建模、头发建模。大多数应用场景希望3D数字人更加个性化，这样，在不同的应用场景需要不同发型，一旦3D发型与头部模型不能完美的贴合在一起，将会产生″穿帮″现象，视觉上表现为头发穿过头部模型内部再裸露出来，降低了模型的真实度。
目前，在3D数字人领域，相关技术通过参数化约束来完成头发试戴，该方法假设头部模型大小不会发生太大变化，因此，在标准头部模型上可以适用，但为了满足3D数字人个性化的需求，不同3D数字人的头部模型大小可能不同，甚至相对标准头部模型的几何发生较大的变化，此时，使用该方法无法将头发与头部模型准确的匹配。
综上，3D数字人应用中将头发迁移到个性化头部模型主要面临三个挑战为：1)头发迁移到个性化头部模型后，不能准确匹配，容易″穿帮″；2)难以全自动、实时将3D头发迁移到个性化头部模型；3)头发迁移需要人工参与，效率低下。
鉴于此，本申请实施例提供一种头发与头部模型的匹配方法及设备，通过建立头发和头部模型的几何约束，利用几何容积形变的方式来解决传统的头发迁移方法中头发穿透失真的问题，可实现3D数字人的头发高效、精准、自动化地迁移到人性化头部模型，进而促进了3D数字人应用的推广。此外，本申请实施例提供的头发与头部模型的匹配方法及设备，能够满足人物个性化的要求，使头发高效、真实、自动化地与个性化头部匹配，可以解决优化现有虚拟社交场景中3D数字人应用中，个性化头发匹配真实感不足问题，增强虚拟社交场景人物的真实感，提高沉浸式体验。
下面结合附图详细描述本申请的实施例。
图1是示例性示出了本申请实施例提供的头发与头部模型的匹配方法流程图，如图1所示，该流程由重建设备执行，主要包括以下几步：
S101：获取目标对象头部的深度数据，并根据深度数据对标准头部参考模型进行几何形变，生成个性化的3D头部模型。
通常的，男人与女人的头部形状和发型有较大差异，因此，在S101中，可根据目标对象的性别，选择一个标准头部参考模型。进一步地，利用扫描设备(如：Kinect相机、结构光相机等)采集的目标对象头部真实的深度数据，对选择的标准头部参考模型进行几何形变，生成目标对象对应的个性化的3D头部模型。形变后的个性化的3D头部模型的顶点、面片，与标准头部参考模型的顶点、面片具有相同的几何拓扑结构。
同时，以选择的标准头部参考模型为基础，美术建模师通过专业的第三方建模工具，按需求预先生成头发模型。由于头发模型和个性化的3D头部模型都是基于标准头部参考模型构建的，因此，头发模型与3D头部模型之间存在几何约束。但因个性化的3D头部模型与标准头部参考模型存在形状差异，若将头发模型与3D头部模型直接匹配，可能会由于几何形状不匹配产生″穿帮″现象，影响3D数字人的真实性，因此，需要对头发模型进行几何形变，以匹配个性化的3D头部模型。
S102：生成头发模型与3D头部模型的包围盒，并对包围盒进行体素化处理，得到多个四面体。
在计算机图形学与计算几何领域，包围盒(OBB)就是将模型完全包容起来的一个封闭空间。将复杂模型封装在简单的包围盒中，用简单的包围盒形状来近似代替复杂几何体的形状，可以提高几何运算的效率。
在S102中，对包围盒的体素化处理过程参见图2：
S1021：对头发模型与3D头部模型的包围盒进行等分，得到多个长方体。
如图3所示，利用4个切面Ci(i＝1，2，3，4)，将头发模型与3D头部模型的包围盒等分为3个子OBB，每个子OBB为一个长方体。
需要说明的是，图3中子OBB的数量仅是一种示例，本申请实施例对包围盒等分的个数不做限制性要求，可根据实际需求进行划分。例如，还可以分为4个OBB。
S1022：针对每一个长方体，生成该长方体对应的八棱柱。
在S1022中，以该长方体上底面和下底面各自的对角线及对称轴为基础，分别扩展出一个八边形。如图4所示，以一个底面为例，该底面的形状为长方形，实线表示该底面的四条边，点画线为该底面的对角线及对称轴，虚线表示该底面扩展出的一个八边形。进一步地，连接该长方体的上底面和下底面的两个八边形，得到该长方体对应的一个八棱柱，如图5中的(a)所示，O为底面的中心，R0-R7为底面的8个顶点。
S1023：对该八棱柱进行截取，得到八个三棱柱，每个三棱柱包含三个四面体。
一种可选的实施方式中，在执行S1023时，以底面中心O的对角线既对称轴为切面，为按逆时针方向对该八棱柱进行截取，可以得到八个如图5中(b)所示的三棱柱，而每个三棱柱，都可以提取出三个四面体，如图6所示。
S103：根据得到的多个四面体，确定头发和头部的网格模型中各个三角形面片包含的顶点的三维坐标。
在S103中，各个三角形面片包含的顶点的三维坐标是基于四面体包含的各个顶点的拉普拉斯坐标表征的，且各个三角形面片包含的每个顶点对应一个四面体。具体过程参见图7：
S1031：根据得到的多个四面体，对头发和头部的网格模型中各个三角形面片包含的顶点进行编码。
在本申请的实施例中，对头发模型与3D头部模型的包围盒进行四面体的体素化处理后，可以得到四面体化的头发和头部的网格模型，记为T，T＝(P、L、U)。其中，P表示该网格模型的顶点集合，L表示由顶点组成的三角形面片的边集合，U表示四面体集合，四面体集合U中的任意一个四面体Uj都有四个顶点，且四面体集合U中的每个四面体与头发和头部的网格模型中相应三角形面片包含的顶点相对应。因此，在头发和头部的网格模型中，任意三角面片上的一个顶点Pi，均对应一个四面体Uj，并可用对应的四面体进行表示，如下：
Figure BDA0003425246960000061
其中，Pi表示头发和头部模型的网格模型中任意一个三角形面片的第i个顶点的三维坐标，vj，0、vj，1、vj，2、vj，3分别表示第i个顶点对应的一个四面体Uj的四个顶点的世界坐标
Figure BDA0003425246960000062
Figure BDA0003425246960000063
分别表示第i个顶点在对应的四面体的每个面的重心坐标。
其中，重心坐标可通过有向体积的比值来确定。假设一个三角形面片的顶点Pi的三维坐标记为(x，y，z)，顶点Pi对应的一个四面体的四个顶点的世界坐标记为
Figure BDA0003425246960000064
即vj，0＝(x0，y0，z0)，vj，1＝(x1，y1，z1)，vj，2＝(x2，y2，z2)，vj，3＝(x3，y3，z3)，则
Figure BDA0003425246960000071
将头发和头部的网格模型中所有顶点都用对应的四面体表征后，可以完成对网络模型中各个三角形面片包含的顶点的编码，也就是说，网格模型的编码过程就是确定四面体与三角形面片的顶点的对应关系的过程。
S1032：求解预先建立的头发和头部的能量方程，得到每个四面体包含的各个顶点的拉普拉斯坐标。
在本申请的实施例中，由于个性化的3D头部模型的顶点、面片，与标准头部参考模型的顶点、面片具有相同的几何拓扑结构，因此，可根据3D头部模型和标准头部参考模型中语义相同的映射点对(如：五官对应的顶点)，确定3D头部模型和标准头部参考模型间的几何约束关系。同时，考虑到拉普拉斯空间具有良好的保形性，可结合头部模型形变前后头发和头部的网格模型中各个顶点间的拉普拉斯关系预先建立头发和头部的能量方程E，公式如下：
Figure BDA0003425246960000072
其中，H0表示标准头部参考模型，Vi表示标准头部参考模型中第i个顶点的世界坐标，Vi′表示3D头部模型中与Vi对应的顶点的世界坐标，Ti表示Vi′对应的一个四面体，δ′j表示头发模型形变后头发和头部的网格模型中第i个顶点对应的四面体中第j个顶点的拉普拉斯坐标，δj表示头发模型形变前头发和头部的网格模型中第i个顶点对应的四面体中第j个顶点的拉普拉斯坐标，Gj表示δ′j与δj之间的仿射变换矩阵。
由于标准头部参考模型中各顶点的世界坐标Vi是已知的，个性化的3D头部模型中各顶点的世界坐标Vi′也是已知的，且由于头发模型形变前后对应的头发和头部的网格模型中每个顶点均存在一个对应的四面体，头发和头部的网格模型在拉普拉斯空间中对头发模型形变前后具有良好的保形性，根据头发模型形变前对应的头发和头部的网格模型中每个四面体包含的各个顶点的世界坐标以及每个顶点的相邻顶点的世界坐标，可以获得头发模型形变前头发和头部的网格模型中每个四面体包含的各个顶点的拉普拉斯坐标δj，将这些坐标带入头发和头部的能量方程后，通过最小二乘法，可求解出头发模型形变后对应的头发和头部的网格模型中每个四面体包含的各个顶点的拉普拉斯坐标δ′j。
其中，头发和头部的网格模型中每个四面体包含的各个顶点的拉普拉斯坐标计算过程如下：
假设M表示头发模型形变前的头发和头部模型，其对应的网格模型可用M＝(P、L、H)，其中，P表示该网格模型的顶点集合，L表示由顶点组成的三角形面片的边集合，H表示由顶点组成的三角形面片的面集合。每一个顶点都有相邻的顶点，如图8所示，且头发模型形变前的每一个顶点的世界坐标都是已知的。因此，可对每一个顶点的世界坐标及与其相邻的顶点的世界坐标进行加权，以获得头发模型形变前的头发和头部模型中每个四面体包含的各个顶点的拉普拉斯坐标(即微分坐标)，计算公式如下：
Figure BDA0003425246960000081
其中，Vm表示一个四面体中第m个顶点的世界坐标，N(m)表示第m个顶点相邻的顶点集合，Vn表示第n个相邻顶点的世界坐标，dn表示Vn对应的权重。
需要说明的是，本申请实施例中的四面体，可作为图7的一个特例，即在四面体中，每一顶点有3个相邻的顶点。
S1033：根据拉普拉斯坐标与世界坐标间的转换关系，确定每个四面体包含的各个顶点的世界坐标。
在执行S1033时，根据公式3中拉普拉斯坐标与世界坐标间的转换关系，可以求解出头发模型形变后的头发和头部模型中每个四面体包含的各个顶点的世界坐标。
S1034：根据每个四面体包含的各个顶点的世界坐标，对头发和头部的网格模型中各个三角形面片包含的顶点进行解码，得到解码后的各个三角形面片包含的顶点的三维坐标。
以一个四面体为例，在执行S1034时，根据头发模型形变后的头发和头部模型中该四面体包含的各个顶点的世界坐标，基于公式2，可以解码出该四面体对应的头发和头部的网格模型中相应三角形面片的顶点的三维坐标。
需要说明的是，本申请实施例充分利用了拉普拉斯坐标(微分坐标)空间保形良好的性质，在头发模型形变前后，头发和头部的网络模型中，每个四面体与相应三角形面片包含的顶点之间的对应关系不变，因此，可按照公式2进行编解码。
S104：根据各个三角形面片包含的顶点的三维坐标，对头发模型进行形变以匹配3D头部模型。
在执行S104时，由于头部和头部的网格模型中头部已经进行了个性化的形变，因此，解码后头发和头部的网格模型中各个三角形面片包含的各个顶点的三维坐标，可以适应个性化的3D头部模型，这样，按照各个三角形面片包含的各个顶点的三维坐标对头发模型进行形变后，头发模型可以自动、精准的匹配到3D头部模型。
本申请实施例基于四面体的容积形变，将头发模型迁移到个性化的3D头部模型，可以实现头发模型与个性化的3D头部模型自动、精准的匹配；相对于人工调整，有效的减少了人力、物力，提高了3D数字人的建模效率；相对于目前传统的参数化约束的头发匹配方法，在不同大小的个性化头部模型匹配层面，可以有效减少″穿帮″现象，提高3D数字人头发的真实性。
如图9所示和图10所示，图9中的(a)为传统的参数化约束方法迁移后的右侧头发的效果图，(b)为本申请实施提供的基于四面体的容积形变的方法迁移后的右侧头发的效果图，图10中的(a)为传统的参数化约束方法迁移后的左侧头发的效果图，(b)为本申请实施提供的基于四面体的容积形变的方法迁移后的左侧头发的效果图。通过图9和图10可知，本申请实施例提供的头发与头部模型的匹配方法，可以整体提升头发的迁移质量，较少了″穿帮″现象，使3D数字人的头发更加真实，进而提升沉浸体验。
图11示例性示出了本申请实施例提供的完整的头发与头部模型的匹配方法，如图11所示，主要包括以下几步：
S1101：根据目标对象的性别，选择一个标准头部参考模型。
一种可选的实施方式为，通过扫描设备采集的目标对象的RGB图像采用是识别算法，确定目标对象的性别，根据确定的性别，从头型库中选择一个相似度最高的标准头部参考模型。
S1102：获取根据选择的标准头部参考模型预先建立的头部模型。
S1103：获取目标对象头部的深度数据，并根据深度数据对标准头部参考模型进行几何形变，生成个性化的3D头部模型。
该步骤的详细描述参见S101，在此不再重复。
S1104：根据个性化的3D头部模型和标准头部参考模型间对应的点对，确定二者之间的几何约束关系。
由于个性化的3D头部模型是基于标准头部参考模型进行几何形变后得到的，二者之间几何拓扑结构相同，且具有语义相同的点对，如眼睛相关的点对、嘴巴相关的点对等，通过语义相同的点对，可以确定二者之间的几何约束关系。
S1105：生成头发模型与3D头部模型的包围盒，并对该包围盒进行等分，得到多个长方体。
该步骤的详细描述参见S1021，在此不再重复。
S1106：针对每一个长方体，生成该长方体对应的八棱柱。
该步骤的详细描述参见S1022，在此不再重复。
S1107：对该八棱柱进行截取，得到八个三棱柱，每个三棱柱包含三个四面体。
该步骤的详细描述参见S1023，在此不再重复。
其中，S1105～S1107为基于四面体的体素化处理过程。
S1108：根据得到的多个四面体，对头发和头部的网格模型中各个三角形面片包含的顶点进行编码。
该步骤的详细描述参见S1031，在此不再重复。
S1109：求解预先建立的头发和头部的能量方程，得到每个四面体包含的各个顶点的拉普拉斯坐标。
该步骤的详细描述参见S1032，在此不再重复。
S1110：根据拉普拉斯坐标与世界坐标间的转换关系，确定每个四面体包含的各个顶点的世界坐标。
该步骤的详细描述参见S1033，在此不再重复。
S1111：根据每个四面体包含的各个顶点的世界坐标，对头发和头部的网格模型中各个三角形面片包含的顶点进行解码。
该步骤的详细描述参见S1034，在此不再重复。
其中，S1108～S1111为基于四面体的容积形变过程。
S1112：根据解码后的各个三角形面片包含的顶点的三维坐标，对头发模型进行形变以匹配3D头部模型。
该步骤的详细描述参见S104，在此不再重复。
本申请的上述实施例中，由于个性化的3D头部模型是根据目标对象头部的深度数据对标准头部参考模型进行几何形变生成的，因此，个性化的3D头部模型与标准头部参考模型间存在几何约束关系；对头发和3D头部模型的包围盒进行体素化处理后，得到的多个四面体，并根据多个四面体，对头发和头部的网格模型中各个三角形面片包含的顶点进行编码，由于头发和头部的能量方程是根据3D头部模型与标准头部参考模型间的几何约束关系，以及头发模型形变前后头发和头部的网格模型中顶点间的拉普拉斯关系建立的，充分利用了拉普拉斯空间的保形性，可以提高头发模型与3D头部模型匹配的准确性，能量方程求解后可得到每个四面体包含的各个顶点的拉普拉斯坐标，进一步地，利用求解的发模型形变后每个四面体包含的各个顶点的拉普拉斯坐标，对各个三角形面片包含的顶点进行解码，并根据解码后的各个三角形面片包含的顶点的三维坐标，对头发模型进行形变，使头发模型与个性化的3D头部模型精准匹配，有效减少头发与头部的″穿帮″现象，提高3D数字人头发的真实性，并且整个匹配过程无需人工调整，提高了3D数字人建模的效率。
基于相同的技术构思，本申请实施例提供了一种重建终端，该重建终端可执行本申请实施例提供的头发与头部模型的匹配方法，并能达到同样的技术效果，在此不再重复。
参见图12，该重建终端包括处理器1201、存储器1202、显示器1203和通信接口1204，通信接口1204、显示器1203、存储器1202与处理器1201通过总线1205连接；存储器1202存储有计算机程序，处理器1201根据计算机程序执行以下操作：
通过通信接口1204，获取目标对象头部的深度数据，并根据深度数据对标准头部参考模型进行几何形变，生成个性化的3D头部模型；
生成头发模型与3D头部模型的包围盒，并对包围盒进行体素化处理，得到多个四面体，头发模型是基于标准头部参考模预先构建的；
根据得到的多个四面体，确定头发和头部的网格模型中各个三角形面片包含的顶点的三维坐标；其中，各个三角形面片包含的每个顶点对应一个四面体，三维坐标是基于相应四面体包含的各个顶点的世界坐标确定的；
根据各个三角形面片包含的顶点的三维坐标，对头发模型进行形变以匹配3D头部模型，并由显示器1203显示的匹配后的头发模型和3D头部模型。
可选的，处理器1201生成头发模型与3D头部模型的包围盒，并对包围盒进行体素化处理，得到多个四面体，具体操作为：
对包围盒进行等分，得到多个长方体；
针对每一个长方体，生成长方体对应的八棱柱；
对八棱柱进行截取，得到八个三棱柱，每个三棱柱包含三个四面体。
可选的，处理器1201生成长方体对应的八棱柱，具体操作为：
以长方体上底面和下底面各自的对角线及对称轴为基础，分别扩展出一个八边形；
连接上底面和下底面的两个八边形，得到长方体对应的一个八棱柱。
可选的，处理器1201根据得到的多个四面体，确定头发和头部的网格模型中各个三角形面片包含的顶点的三维坐标，具体操作为：
根据得到的多个四面体，对头发和头部的网格模型中各个三角形面片包含的顶点进行编码；
求解预先建立的头发和头部的能量方程，得到每个四面体包含的各个顶点的拉普拉斯坐标；能量方程是根据3D头部模型和标准头部参考模型间的几何约束关系，以及头发模型形变前后头发和头部的网格模型中顶点间的拉普拉斯关系建立的；
根据拉普拉斯坐标与世界坐标间的转换关系，确定每个四面体包含的各个顶点的世界坐标；
根据每个四面体包含的各个顶点的世界坐标，对头发和头部的网格模型中各个三角形面片包含的顶点进行解码，得到解码后的各个三角形面片包含的顶点的三维坐标。
可选的，能量方程为：
Figure BDA0003425246960000121
其中，E表示能量方程，H0表示标准头部参考模型，Vi表示标准头部参考模型中第i个顶点的世界坐标，Vi′表示3D头部模型中与Vi对应的顶点的世界坐标，Ti表示Vi′对应的一个四面体，δ′j表示头发模型形变后头发和头部的网格模型中第i个顶点对应的四面体中第j个顶点的拉普拉斯坐标，δj表示头发模型形变前头发和头部的网格模型中第i个顶点对应的四面体中第j个顶点的拉普拉斯坐标，Gj表示δ′j与δj之间的仿射变换矩阵。
可选的，每个四面体中各个顶点的拉普拉斯坐标的计算公式如下：
Figure BDA0003425246960000131
其中，Vm表示一个四面体中第m个顶点的世界坐标，N(m)表示第m个顶点相邻的顶点集合，Vn表示第n个相邻顶点的世界坐标，dn表示Vn对应的权重。
可选的，处理器1201编码和解码操作为：
Figure BDA0003425246960000132
其中，Pi表示头发和头部的网格模型中一个三角形面片中的第i个顶点的三维坐标，vj，0、vj，1、vj，2、vj，3分别表示第i个顶点对应的一个四面体包含的四个顶点的世界坐标，
Figure BDA0003425246960000133
Figure BDA0003425246960000134
分别表示第i个顶点在对应的一个四面体的每个面的重心坐标。
需要说明的是，图12仅是重建终端实现本申请实施例提供的头发与头部模型的匹配方法的必要硬件，可选的，该重建终端还包括如扬声器、音视频处理器等常规显示设备的硬件。
其中，上述重建终端可以是智能手机、平板电脑、台式机、笔记本电脑、智能电视以及VR头发是显示设备等具备处理功能的设备。
需要说明的是，本申请实施例上述涉及的处理器可以是中央处理器(centralprocessing unit，CPU)，通用处理器，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。其中，所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。
本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种头发与头部模型的匹配方法，其特征在于，包括：
获取目标对象头部的深度数据，并根据所述深度数据对标准头部参考模型进行几何形变，生成个性化的3D头部模型；
生成头发模型与所述3D头部模型的包围盒，并对所述包围盒进行体素化处理，得到多个四面体，所述头发模型是基于所述标准头部参考模预先构建的；
根据得到的多个四面体，确定头发和头部的网格模型中各个三角形面片包含的顶点的三维坐标；其中，所述各个三角形面片包含的每个顶点对应一个四面体，所述三维坐标是基于相应四面体包含的各个顶点的世界坐标确定的；
根据所述各个三角形面片包含的顶点的三维坐标，对所述头发模型进行形变以匹配所述3D头部模型。
2.如权利要求1所述的方法，其特征在于，所述生成头发模型与所述3D头部模型的包围盒，并对所述包围盒进行体素化处理，得到多个四面体，包括：
对所述包围盒进行等分，得到多个长方体；
针对每一个长方体，生成所述长方体对应的八棱柱；
对所述八棱柱进行截取，得到八个三棱柱，每个三棱柱包含三个四面体。
3.如权利要求2所述的方法，其特征在于，所述生成所述长方体对应的八棱柱，包括：
以所述长方体上底面和下底面各自的对角线及对称轴为基础，分别扩展出一个八边形；
连接所述上底面和所述下底面的两个八边形，得到所述长方体对应的一个八棱柱。
4.如权利要求1所述的方法，其特征在于，所述根据得到的多个四面体，确定头发和头部的网格模型中各个三角形面片包含的顶点的三维坐标，包括：
根据得到的多个四面体，对头发和头部的网格模型中各个三角形面片包含的顶点进行编码；
求解预先建立的头发和头部的能量方程，得到每个四面体包含的各个顶点的拉普拉斯坐标；所述能量方程是根据所述3D头部模型和所述标准头部参考模型间的几何约束关系，以及所述头发模型形变前后所述头发和头部的网格模型中顶点间的拉普拉斯关系建立的；
根据拉普拉斯坐标与世界坐标间的转换关系，确定每个四面体包含的各个顶点的世界坐标；
根据每个四面体包含的各个顶点的世界坐标，对所述头发和头部的网格模型中各个三角形面片包含的顶点进行解码，得到解码后的各个三角形面片包含的顶点的三维坐标。
5.如权利要求4所述的方法，其特征在于，所述能量方程为：
Figure FDA0003425246950000021
其中，E表示能量方程，H0表示所述标准头部参考模型，Vi表示所述标准头部参考模型中第i个顶点的世界坐标，V′i表示所述3D头部模型中与Vi对应的顶点的世界坐标，Ti表示V′i对应的一个四面体，δ′j表示所述头发模型形变后所述头发和头部的网格模型中第i个顶点对应的四面体中第j个顶点的拉普拉斯坐标，δj表示所述头发模型形变前所述头发和头部的网格模型中第i个顶点对应的四面体中第j个顶点的拉普拉斯坐标，Gj表示δ′j与δj之间的仿射变换矩阵。
6.如权利要求5所述的方法，其特征在于，每个四面体中各个顶点的拉普拉斯坐标的计算公式如下：
Figure FDA0003425246950000022
其中，Pi表示所述头发和头部的网格模型中一个三角形面片中的第i个顶点的三维坐标，vj，0、vj，1、vj，2、vj，3分别表示第i个顶点对应的一个四面体包含的四个顶点的世界坐标，
Figure FDA0003425246950000023
Figure FDA0003425246950000024
分别表示第i个顶点在对应的一个四面体的每个面的重心坐标。
7.如权利要求4所述的方法，其特征在于，编码和解码方式包括：
Figure FDA0003425246950000025
其中，Pi表示所述头发和头部的网格模型中一个三角形面片中的第i个顶点的三维坐标，δj，0、δj，1、δj，2、δj，3分别表示第i个顶点对应的一个四面体包含的四个顶点的拉普拉斯坐标，
Figure FDA0003425246950000026
分别表示第i个顶点在对应的一个四面体的每个面的重心坐标。
8.一种重建终端，其特征在于，包括处理器、存储器、显示器、通信接口，所述通信接口、所述显示器、所述存储器、所述处理器通过总线连接；
所述存储器存储有计算机程序，所述处理器根据所述计算机程序执行以下操作：
通过所述通信接口，获取目标对象头部的深度数据，并根据所述深度数据对标准头部参考模型进行几何形变，生成个性化的3D头部模型；
生成头发模型与所述3D头部模型的包围盒，并对所述包围盒进行体素化处理，得到多个四面体，所述头发模型是基于所述标准头部参考模预先构建的；
根据得到的多个四面体，确定头发和头部的网格模型中各个三角形面片包含的顶点的三维坐标；其中，所述各个三角形面片包含的每个顶点对应一个四面体，所述三维坐标是基于相应四面体包含的各个顶点的世界坐标确定的；
根据所述各个三角形面片包含的顶点的三维坐标，对所述头发模型进行形变以匹配所述3D头部模型，并由所述显示器显示的匹配后的头发模型和3D头部模型。
9.如权利要求8所述的重建终端，其特征在于，所述处理器生成头发模型与所述3D头部模型的包围盒，并对所述包围盒进行体素化处理，得到多个四面体，具体操作为：
对所述包围盒进行等分，得到多个长方体；
针对每一个长方体，生成所述长方体对应的八棱柱；
对所述八棱柱进行截取，得到八个三棱柱，每个三棱柱包含三个四面体。
10.如权利要求8所述的重建终端，其特征在于，所述处理器根据得到的多个四面体，确定头发和头部的网格模型中各个三角形面片包含的顶点的三维坐标，具体操作为：
根据得到的多个四面体，对头发和头部的网格模型中各个三角形面片包含的顶点进行编码；
求解预先建立的头发和头部的能量方程，得到每个四面体包含的各个顶点的拉普拉斯坐标；所述能量方程是根据所述3D头部模型和所述标准头部参考模型间的几何约束关系，以及所述头发模型形变前后所述头发和头部的网格模型中顶点间的拉普拉斯关系建立的；
根据拉普拉斯坐标与世界坐标间的转换关系，确定每个四面体包含的各个顶点的世界坐标；
根据每个四面体包含的各个顶点的世界坐标，对所述头发和头部的网格模型中各个三角形面片包含的顶点进行解码，得到解码后的各个三角形面片包含的顶点的三维坐标。
CN202111576359.XA 2021-12-22 2021-12-22 一种头发与头部模型的匹配方法及设备 Pending CN114373057A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111576359.XA CN114373057A (zh) 2021-12-22 2021-12-22 一种头发与头部模型的匹配方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111576359.XA CN114373057A (zh) 2021-12-22 2021-12-22 一种头发与头部模型的匹配方法及设备

Publications (1)

Publication Number Publication Date
CN114373057A true CN114373057A (zh) 2022-04-19

Family

ID=81140013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111576359.XA Pending CN114373057A (zh) 2021-12-22 2021-12-22 一种头发与头部模型的匹配方法及设备

Country Status (1)

Country Link
CN (1) CN114373057A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844706A (zh) * 2016-04-19 2016-08-10 浙江大学 一种基于单幅图像的全自动三维头发建模方法
US9734616B1 (en) * 2013-10-11 2017-08-15 Pixar Tetrahedral volumes from segmented bounding boxes of a subdivision
WO2017185301A1 (zh) * 2016-04-28 2017-11-02 华为技术有限公司 一种三维头发建模方法及装置
CN111899159A (zh) * 2020-07-31 2020-11-06 北京百度网讯科技有限公司 用于变换发型的方法、装置、设备以及存储介质
CN111986212A (zh) * 2020-08-20 2020-11-24 杭州趣维科技有限公司 一种人像发丝流动特效实现方法
CN112184540A (zh) * 2019-07-02 2021-01-05 北京小米移动软件有限公司 图像处理方法、装置、电子设备和存储介质
WO2021184932A1 (zh) * 2020-03-20 2021-09-23 华为技术有限公司 拟人化3d模型生成的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734616B1 (en) * 2013-10-11 2017-08-15 Pixar Tetrahedral volumes from segmented bounding boxes of a subdivision
CN105844706A (zh) * 2016-04-19 2016-08-10 浙江大学 一种基于单幅图像的全自动三维头发建模方法
WO2017185301A1 (zh) * 2016-04-28 2017-11-02 华为技术有限公司 一种三维头发建模方法及装置
CN112184540A (zh) * 2019-07-02 2021-01-05 北京小米移动软件有限公司 图像处理方法、装置、电子设备和存储介质
WO2021184932A1 (zh) * 2020-03-20 2021-09-23 华为技术有限公司 拟人化3d模型生成的方法和装置
CN111899159A (zh) * 2020-07-31 2020-11-06 北京百度网讯科技有限公司 用于变换发型的方法、装置、设备以及存储介质
CN111986212A (zh) * 2020-08-20 2020-11-24 杭州趣维科技有限公司 一种人像发丝流动特效实现方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHU LIANG 等: "Video to Fully Automatic 3D Hair Model", 《ACM TRANSACTIONS ON GRAPHICS》, 30 November 2018 (2018-11-30) *
谈杰: "三维虚拟人头发仿真研究", 《中国优秀硕士论文全文数据库 信息科技辑》, 15 January 2017 (2017-01-15) *

Similar Documents

Publication Publication Date Title
CN110458957B (zh) 一种基于神经网络的图像三维模型构建方法及装置
CN107452049B (zh) 一种三维头部建模方法及装置
US11200737B2 (en) Adaptive mesh non-regularized Booleans
EP3379495B1 (en) Seamless fracture in an animation production pipeline
EP3991140A1 (en) Portrait editing and synthesis
TWI502546B (zh) 推擠一模型通過二維場景的系統、方法和電腦程式商品
JP2023029984A (ja) 仮想イメージを生成するための方法、装置、電子機器及び可読記憶媒体
CN112102480B (zh) 图像数据处理方法、装置、设备以及介质
JP2024004444A (ja) ３次元顔再構成モデルトレーニング、３次元顔イメージ生成方法及び装置
CN115049799A (zh) 3d模型和虚拟形象的生成方法和装置
US20180276870A1 (en) System and method for mass-animating characters in animated sequences
US11328466B2 (en) Method and user interface for generating tangent vector fields usable for generating computer generated imagery
WO2024098685A1 (zh) 虚拟人物面部驱动方法、装置、终端设备和可读存储介质
CN111127658A (zh) 一种基于点云重建三角网格曲面的保特征曲面重建方法
Ma et al. Foldover-free mesh warping for constrained texture mapping
Zanni et al. N-ary implicit blends with topology control
Wei et al. Field‐aligned Quadrangulation for Image Vectorization
CN113570634A (zh) 对象三维重建方法、装置、电子设备及存储介质
WO2023077972A1 (zh) 图像数据处理方法、数字虚拟人的构建方法、装置、设备、存储介质及计算机程序产品
CN114373057A (zh) 一种头发与头部模型的匹配方法及设备
Garcia et al. Interactive applications for sketch-based editable polycube map
CN116524162A (zh) 三维虚拟形象迁移方法、模型更新方法及相关设备
CN115082640A (zh) 基于单张图像的3d人脸模型纹理重建方法及设备
WO2022236802A1 (zh) 一种物体模型的重建方法、装置、终端设备和存储介质
US20220005268A1 (en) Techniques for sculpting digital faces based on anatomical modeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination