CN116630508A - 3d模型处理方法、装置及电子设备 - Google Patents
3d模型处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116630508A CN116630508A CN202310524836.0A CN202310524836A CN116630508A CN 116630508 A CN116630508 A CN 116630508A CN 202310524836 A CN202310524836 A CN 202310524836A CN 116630508 A CN116630508 A CN 116630508A
- Authority
- CN
- China
- Prior art keywords
- model
- face
- target
- texture
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 76
- 238000012549 training Methods 0.000 claims description 84
- 238000010276 construction Methods 0.000 claims description 50
- 238000005286 illumination Methods 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 16
- 230000003190 augmentative effect Effects 0.000 claims description 10
- 230000008439 repair process Effects 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 40
- 210000003128 head Anatomy 0.000 description 36
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 210000000887 face Anatomy 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种3D模型处理方法、装置及电子设备。其中，该方法包括：获取人脸图像，其中，人脸图像中包括目标人脸；基于人脸图像，生成目标人脸的初始3D模型；基于预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型；在中间3D模型上生成纹理，得到目标人脸的目标3D模型。本申请解决了相关技术中在构建虚拟人脸时，存在精细度低的技术问题。
Description
技术领域
本申请涉及数据处理领域，具体而言，涉及一种3D模型处理方法、装置及电子设备。
背景技术
在相关技术中，超写实数字人的构建是应用获取自己的数字化身的核心技术，超写实数字人的构建，旨在根据用户输入的单图或其他引导，输出能够超越真人细节的超写实数字人模型。然而，在相关技术中，超写实数字人需要大量的3D美术人员参与，进行长期的手工调整，才能对特定对象生成超写实的虚拟化身，尤其是头部的人脸。
因此，采用上述大量人员进行调整的方式，在构建虚拟人脸时，不仅存在构建效率低的问题，而且更是存在精细度低的问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种3D模型处理方法、装置及电子设备，以至少解决相关技术中在构建虚拟人脸时，存在精细度低的技术问题。
根据本申请实施例的一个方面，提供了一种3D模型处理方法，包括：获取人脸图像，其中，所述人脸图像中包括目标人脸；基于所述人脸图像，生成所述目标人脸的初始3D模型；基于预定面部类型，对所述初始3D模型的几何形状进行构建，得到中间3D模型；在所述中间3D模型上生成纹理，得到所述目标人脸的目标3D模型。
可选地，所述基于预定面部类型，对所述初始3D模型的几何形状进行构建，得到中间3D模型，包括：获取所述预定面部类型的构建参数；基于所述构建参数，对所述初始3D模型的几何形状进行构建，得到所述中间3D模型。
可选地，所述获取所述预定面部类型的构建参数，包括：获取第一训练集合，其中，所述第一训练集合包括多组几何样本，所述多组几何样本分别包括所述预定面部类型的人脸样本图像，以及对应的人脸几何形状；采用所述第一训练集合进行机器训练，得到所述预定面部类型的构建参数。
可选地，所述在所述中间3D模型上生成纹理，得到所述目标人脸的目标3D模型，包括：获取所述人脸图像中所述目标人脸的初始纹理；获取纹理修复参数；基于所述纹理修复参数对所述初始纹理进行修复，得到目标纹理；将所述目标纹理应用于所述中间3D模型，得到所述目标人脸的所述目标3D模型。
可选地，所述获取纹理修复参数，包括：获取第二训练集合，其中，所述第二训练集合包括多组纹理样本，所述多组纹理样本分别包括人脸样本图像，以及对应的人脸纹理；采用所述第二训练集合进行机器训练，得到所述纹理修复参数。
可选地，所述采用所述第二训练集合进行机器训练，得到所述纹理修复参数，包括：获取所述第二训练集合中人脸样本图像的以下条件信息：去光照正脸图像，男女类型和美化度；基于所述条件信息，采用所述第二训练集合进行机器训练，得到所述纹理修复参数。
可选地，所述在所述中间3D模型上生成纹理，得到所述目标人脸的目标3D模型，包括：在所述中间3D模型上生成纹理,得到过程3D模型；对所述过程3D模型进行光照拟合，得到所述目标人脸的目标3D模型。
可选地，所述对所述过程3D模型进行光照拟合，得到所述目标人脸的目标3D模型，包括：将所述过程3D模型所在的空间进行拆分，得到多个小空间；分别对所述多个小空间进行单球谐光照拟合，得到所述目标人脸的目标3D模型。
可选地，所述人脸图像是经扫描设备扫描得到的图像，所述目标3D模型为超写实数字人的头部。
根据本申请实施例的另一个方面，提供了一种3D模型处理方法，包括：响应作用于操作界面上的图像输入指令，在所述操作界面上显示人脸图像，其中，所述人脸图像中包括目标人脸；响应作用于所述操作界面上的初始人脸显示指令，在所述操作界面上显示基于所述人脸图像生成的所述目标人脸的初始3D模型；响应作用于所述操作界面上的面部类型选择指令，在所述操作界面上显示所述面部类型选择指令对应的预定面部类型的中间3D模型，其中，所述中间3D模型基于所述预定面部类型，对所述初始3D模型的几何形状进行构建得到；响应作用于所述操作界面上的目标模型生成指令，在所述操作界面上显示目标3D模型，其中，所述目标3D模型为在所述中间3D模型上生成纹理得到。
根据本申请实施例的另一个方面，提供了一种3D模型处理方法，包括：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示人脸图像，其中，所述人脸图像中包括目标人脸；选择预定面部类型,并基于所述预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型，其中，所述初始3D模型基于所述人脸图像生成；驱动所述VR设备或所述AR设备展示所述预定面部类型对应的所述目标人脸的目标3D模型，其中，所述目标3D模型为在中间3D模型上生成纹理得到。
根据本申请实施例的还一个方面，提供了一种3D模型处理装置，包括：获取模块，用于获取人脸图像，其中，所述人脸图像中包括目标人脸；第一生成模块，用于基于所述人脸图像，生成所述目标人脸的初始3D模型；构建模块，用于基于预定面部类型，对所述初始3D模型的几何形状进行构建，得到中间3D模型；第二生成模块，用于在所述中间3D模型上生成纹理，得到所述目标人脸的目标3D模型。
根据本申请实施例的再一个方面，提供了一种电子设备，包括：存储器，存储有可执行程序；处理器，用于运行所述程序，其中，所述程序运行时执行上述任意一项所述的3D模型处理方法。
根据本申请实施例的又一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的可执行程序，其中，在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求上述任意一项所述的3D模型处理方法。
在本申请实施例中，采用基于预定面部类型，对基于人脸图像生成的初始3D模型的几何形状进行构建，得到中间3D模型，以及在中间模型上生成纹理的方式，达到了人脸图像中目标人脸的目标3D模型的目的，从而实现了使得得到的目标3D模型是与预定面部类型对应的，有效提高了满足面部类型要求的3D模型建立的技术效果，进而解决了相关技术中在构建虚拟人脸时，存在精细度低的技术问题。
容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种3D模型处理方法的虚拟现实设备的硬件环境的示意图；
图2是根据本申请实施例的一种3D模型处理方法的计算环境的结构框图；
图3是根据本申请实施例1的3D模型处理方法的流程图；
图4是根据本发明可选实施方式提供的超写实数字人的构建方法中光照部分的实现图；
图5是根据本发明可选实施方式提供的超写实数字人构建方法中几何部分的实现图；
图6是根据本发明可选实施方式提供的超写实数字人构建方法中纹理部分的实现图；
图7是根据本申请实施例2的3D模型处理方法的流程图；
图8是根据本申请实施例3的3D模型处理方法的流程图；
图9是根据本发明实施例提供的3D模型处理装置的结构框图；
图10是根据本申请实施例的一种电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
三维变形模型(3D Morphable Model，简称为3DMM)，也称为三维可变形人脸模型，是一个通用的三维人脸模型，用固定的点数来表示人脸。其原理就是人脸可以在三维空间中进行一一匹配，并且可以由其他许多幅人脸正交基加权线性相加而来。我们所处的三维空间，每一点(x,y,z)，实际上都是由三维空间三个方向的基量，(1,0,0)，(0,1,0)，(0,0,1)加权相加所得，只是权重分别为x,y,z。人脸的基本属性包括形状和纹理，每一张人脸可以表示为形状向量和纹理向量的线性叠加。
生成式对抗网络(GAN,Generative Adversarial Networks)，是一种深度学习模型。模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。原始GAN理论中，并不要求G和D都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为G和D。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。
超写实数字人(Super Realistic Digital Human)，是指通过技术合成、尽可能贴合真人的“虚拟形象”，通俗的说就是在视觉效果上，比如在神态表情上、工作习惯上与真人特别接近。
主成分分析(Principal Component Analysis，PCA)，是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量(或因素)，因为每个变量都在不同程度上反映这个课题的某些信息。信息的大小通常用离差平方和或方差来衡量。
实施例1
根据本申请实施例，提供了一种3D模型处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的一种3D模型处理方法的虚拟现实设备的硬件环境的示意图。如图1所示，虚拟现实设备104与终端106相连接，终端106与服务器102通过网络进行连接，上述虚拟现实设备104并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等，上述终端106并不限定于PC、手机、平板电脑等，服务器102可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网。
可选地，该实施例的虚拟现实设备104包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：获取人脸图像，其中，所述人脸图像中包括目标人脸；基于所述人脸图像，生成所述目标人脸的初始3D模型；基于预定面部类型，对所述初始3D模型的几何形状进行构建，得到中间3D模型；在所述中间3D模型上生成纹理，得到所述目标人脸的目标3D模型，从而解决了相关技术中在构建虚拟人脸时，存在精细度低的技术问题，达到了人脸图像中目标人脸的目标3D模型的目的，从而实现了使得得到的目标3D模型是与预定面部类型对应的，有效提高了满足面部类型要求的3D模型建立的技术效果，进而解决了相关技术中在构建虚拟人脸时，存在精细度低的技术问题。
该实施例的终端可以用于执行在虚拟现实(Virtual Reality，简称为VR)设备或增强现实(Augmented Reality，简称为AR)设备的呈现画面上展示人脸图像，其中，所述人脸图像中包括目标人脸；选择预定面部类型,并基于所述预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型，其中，所述初始3D模型基于所述人脸图像生成；驱动所述VR设备或所述AR设备展示所述预定面部类型对应的所述目标人脸的目标3D模型，其中，所述目标3D模型为在中间3D模型上生成纹理得到。
可选地，该实施例的虚拟现实设备104带有的眼球追踪的HMD(Head MountDisplay，头戴式显示器)头显与眼球追踪模块与上述实施例中的作用相同，也即，HMD头显中的屏幕，用于显示实时的画面，HMD中的眼球追踪模块，用于获取用户眼球的实时运动轨迹。该实施例的终端通过跟踪系统获取用户在真实三维空间的位置信息与运动信息，并计算出用户头部在虚拟三维空间中的三维坐标，以及用户在虚拟三维空间中的视野朝向。
图1示出的硬件结构框图，不仅可以作为上述AR/VR设备(或移动设备)的示例性框图，还可以作为上述服务器的示例性框图，一种可选实施例中，图2以框图示出了使用上述图1所示的AR/VR设备(或移动设备)作为计算环境201中计算节点的一种实施例。图2是根据本申请实施例的一种3D模型处理方法的计算环境的结构框图，如图2所示，计算环境201包括运行在分布式网络上的多个(图中采用210-1，210-2，…,来示出)计算节点(如服务器)。不同计算节点都包含本地处理和内存资源，终端用户202可以在计算环境201中远程运行应用程序或存储数据。应用程序可以作为计算环境201中的多个服务220-1，220-2，220-3和220-4进行提供，分别代表服务“A”，“D”，“E”和“H”。
终端用户202可以通过客户端上的web浏览器或其他软件应用程序提供和访问服务，在一些实施例中，可以将终端用户202的供应和/或请求提供给入口网关230。入口网关230可以包括一个相应的代理来处理针对服务(计算环境201中提供的一个或多个服务)的供应和/或请求。
服务是根据计算环境201支持的各种虚拟化技术来提供或部署的。在一些实施例中，可以根据基于虚拟机(Virtual Machine，VM)的虚拟化、基于容器的虚拟化和/或类似的方式提供服务。基于虚拟机的虚拟化可以是通过初始化虚拟机来模拟真实的计算机，在不直接接触任何实际硬件资源的情况下执行程序和应用程序。在虚拟机虚拟化机器的同时，根据基于容器的虚拟化，可以启动容器来虚拟化整个操作系统(Operating System，OS)，以便多个工作负载可以在单个操作系统实例上运行。
在基于容器虚拟化的一个实施例中，服务的若干容器可以被组装成一个Pod(例如，KubernetesPod)。举例来说，如图2所示，服务220-2可以配备一个或多个Pod 240-1，240-2，…，240-N(统称为Pod)。Pod可以包括代理245和一个或多个容器242-1，242-2，…，242-M(统称为容器)。Pod中一个或多个容器处理与服务的一个或多个相应功能相关的请求，代理245通常控制与服务相关的网络功能，如路由、负载均衡等。其他服务也可以为类似于Pod的Pod。
在操作过程中，执行来自终端用户202的用户请求可能需要调用计算环境201中的一个或多个服务，执行一个服务的一个或多个功能需要调用另一个服务的一个或多个功能。如图2所示，服务“A”220-1从入口网关230接收终端用户202的用户请求，服务“A”220-1可以调用服务“D”220-2，服务“D”220-2可以请求服务“E”220-3执行一个或多个功能。
上述的计算环境可以是云计算环境，资源的分配由云服务提供上管理，允许功能的开发无需考虑实现、调整或扩展服务器。该计算环境允许开发人员在不构建或维护复杂基础设施的情况下执行响应事件的代码。服务可以被分割完成一组可以自动独立伸缩的功能，而不是扩展单个硬件设备来处理潜在的负载。
在上述运行环境下，本申请提供了如图3所示的3D模型处理方法。需要说明的是，该实施例的3D模型处理方法可以由图1所示实施例的移动终端执行。图3是根据本申请实施例1的3D模型处理方法的流程图。如图3所示，该方法可以包括如下步骤：
步骤S302，获取人脸图像，其中，人脸图像中包括目标人脸；
作为一种可选的实施例，在获取人脸图像时，可以采用多种方式。例如，可以是已经存在的图像，也可以是需要时临时拍摄的图像。人脸图像中包括目标人脸，其中，目标人脸在人脸图像中的位置，可以是人脸图像的中间位置，也可以是人脸图像的边缘位置，根据具体场景的需要而定。需要说明的是，上述目标人脸可以是多种类型面部类型的脸型，例如，可以是欧洲，美洲，亚洲等。另外，上述目标人脸可以是需要进行超写实数字人构建的对象的人脸。
作为一种可选的实施例，上述人脸图像可以是经扫描设备扫描得到的图像。扫描设备，也称为扫描仪(scanner)，是一种捕获影像的装置，作为一种光机电一体化的电脑外设产品，扫描设备是继鼠标和键盘之后的第三大计算机输入设备，它可将影像转换为计算机可以显示、编辑、存储和输出的数字格式，是功能很强的一种输入设备。
步骤S304，基于人脸图像，生成目标人脸的初始3D模型；
作为一种可选的实施例，上述基于人脸图像，生成目标人脸的初始3D模型时，可以采用多种方式，例如，可以采用生成三维可变形人脸模型的方式来生成目标人脸的初始3D模型。另外，采用生成三维可变形人脸模型的方式来生成目标人脸的初始3D模型时，可采用与生成三维可变形人脸模型的模型结构，以及基础算法，与生成三维可变形人脸模型的方式不同在于所采用的训练数据不同。
步骤S306，基于预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型；
作为一种可选的实施例，上述预定面部类型可以是多种，例如，可以是亚洲面部类型，即实现基于人脸图像生成与亚洲面部类型对应的目标人脸的目标3D模型。不同的面部类型的几何形状是不同的。即不同的面部类型，人脸的风格，曲线是不同的。用于生成目标人脸对应的3D模型时，基于预定面部类型来生成，能够有效地满足3D模型在面部类型方面的需求，使得生成的目标人脸的3D模型，有效地打破了目标人脸的3D模型仅限于一种欧美面部类型的局面。
作为一种可选的实施例，基于预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型时，可以采用多种方式，例如，可以采用以下方式：获取预定面部类型的构建参数；基于构建参数，对初始3D模型的几何形状进行构建，得到中间3D模型。不同的面部类型对应不同的构建参数，基于预定面部类型的构建参数来实现对中间3D模型的几何形状的构建，高效地完成对中间3D模型的构建。
作为一种可选的实施例，获取预定面部类型的构建参数时，也可以采用多种方式，例如，可以采用以下人工智能的机器训练方式，包括：获取第一训练集合，其中，第一训练集合包括多组几何样本，多组几何样本分别包括预定面部类型的人脸样本图像，以及对应的人脸几何形状；采用第一训练集合进行机器训练，得到预定面部类型的构建参数。需要说明的是，上述多组几何样本中包括的预定面部类型的人脸样本图像可以是经扫描设备扫描得到的图像，例如，可以是经扫描设备扫描的预定数量的人头图像，该预定数量的人头图像可以包括不同年纪段，男女类型比例均分的人头图像。在采用第一训练集合进行机器训练，得到预定面部类型的构建参数时，可以基于上述预定数量的人头图像得到一定数量的人头基，采用基的组合当作机器训练的初始状态，之后基于上述预定数量的人头图像对上述一定数量的人头基的权重进行拟合，得到上述预定面部类型的构建参数。需要说明的是，上述人头基的权重的拟合可以基于一定的神经网络结构来实现，例如，基于卷积神经网络来实现。在此，不进行具体展开。
步骤S308，在中间3D模型上生成纹理，得到目标人脸的目标3D模型。
作为一种可选的实施例，上述目标3D模型为超写实数字人的头部。
作为一种可选的实施例，在中间3D模型上生成纹理，得到目标人脸的目标3D模型时，也可以采用多种方式，例如，可以采用以下方式：获取人脸图像中目标人脸的初始纹理；获取纹理修复参数；基于纹理修复参数对初始纹理进行修复，得到目标纹理；将目标纹理应用于中间3D模型，得到目标人脸的目标3D模型。采用纹理修复参数，对人脸图像中目标人脸的初始纹理进行修复，得到目标纹理，以及基于目标纹理得到目标人脸的目标3D模型，由于是基于人脸图像中目标人脸的初始纹理来生成纹理的，因此，纹理的大致特征并不会太脱离人脸图像，而应用于中间3D模型的目标纹理又是在初始纹理的基础上进行修复得到的，由于纹理修复参数可以是基于多种纹理条件得到的，因此，使得基于纹理修复参数修复得到的目标纹理是更满足多种纹理条件的纹理，能够更为自然，逼真地应用于中间3D模型，得到目标人脸的目标3D模型。
作为一种可选的实施例，上述获取纹理修复参数时，也可以上述非人工智能的方式，也可以高效，准确地人工智能的方式。比如，采用人工智能的方式时，可以采用以下处理方式：获取第二训练集合，其中，第二训练集合包括多组纹理样本，多组纹理样本分别包括人脸样本图像，以及对应的人脸纹理；采用第二训练集合进行机器训练，得到纹理修复参数。需要说明的是，上述多组纹理样本中包括的人脸样本图像也可以是经扫描设备扫描得到的图像，或者可以是与上述多组几何样本为同一批样本。在采用第二训练集合进行机器训练，得到纹理修复参数时，也可以采用较为高效的神经网络来实现，例如，可以采用生成式对抗网络来对上述第二训练集合中的多组纹理样本进行训练，从而得到对应的纹理修复参数。
作为一种可选的实施例，采用第二训练集合进行机器训练，得到纹理修复参数时，可以基于一定的条件信息进行训练，例如，先获取第二训练集合中人脸样本图像的以下条件信息：去光照正脸图像，男女类型和美化度；基于条件信息，采用第二训练集合进行机器训练，得到纹理修复参数。在基于对上述条件信息的标注，可以使得在训练过程中使得神经网络具备对应的条件生成能力，比如，在采用生成式对抗网络的结构进行训练时，在样本生成过程中，可以使得生成的样本是去光照正脸图像，男女类型满足预定比例和美化度高于预定美化阈值的人脸图像，进而使得输入到后续的判别网络的人脸图像是更符合真实人脸图像的情况，最终得到更为合理的对应于生成式对抗网络对应的纹理修复参数。
作为一种可选的实施例，在中间3D模型上生成纹理，得到目标人脸的目标3D模型，包括：在中间3D模型上生成纹理,得到过程3D模型；对过程3D模型进行光照拟合，得到目标人脸的目标3D模型。为使得目标人脸对应的目标3D模型更符合光照特点，可以在生成纹理后对3D模型进行光照拟合，得到满足光照原理的目标3D模型，使得目标3D模型的精细度更进一步地提升。
作为一种可选的实施例，对过程3D模型进行光照拟合，得到目标人脸的目标3D模型时，由于人脸纹理的复杂性，采用单一的光照拟合可能较为粗糙，为避免过于粗糙的情况下，可以对在生成有纹理的3D模型后，对得到的3D模型进行划分，在更小精度上进行光照拟合，从而使得得到的目标人脸的目标3D模型更为精细。例如，可以先将过程3D模型所在的空间进行拆分，得到多个小空间；分别对多个小空间进行单球谐光照拟合，得到目标人脸的目标3D模型。采用上述多球谐光照拟合的方式，能够使得目标人脸的目标3D模型更为精细。
基于上述处理，采用基于预定面部类型，对基于人脸图像生成的初始3D模型的几何形状进行构建，得到中间3D模型，以及在中间模型上生成纹理的方式，达到了人脸图像中目标人脸的目标3D模型的目的，从而实现了使得得到的目标3D模型是与预定面部类型对应的，有效提高了满足面部类型要求的3D模型建立的技术效果，进而解决了相关技术中在构建虚拟人脸时，存在精细度低的技术问题。
基于上述实施例及可选实施方式，提供了以下可选实施方式。在本可选实施方式中，以构建超写实数字人的头部为例进行说明。
在相关技术中，为构建超写实数字人，基本采用3DMM捏脸加用户个性化捏脸的组合流程，在这个流程中，往往需要设计很多的素材以及调整功能给用户选择，并不是一个端到端的自动生成方案，而且，也会给不熟悉捏脸系统的用户带来很多困扰。随着技术的不断迭代，3DMM捏脸的流程逐步被优化到写实水平，能够输出类似真人的模型，并且与输入照片有一定相似性，然而却不足以完全替代掉捏脸系统。
为构建超写实数字人，在相关技术中，还有一些尝试，例如，基于拍摄正脸照片可以自动建模出3D人头，但这种方式对头发遮挡等问题鲁棒性不够；又例如，可以通过3D重建粗糙模型拟合几何，并生成初步的纹理，通过捏脸系统生成超写实人头；或者，通过单张图片直接进行几何和纹理的构建，生成超写实人头。但上述方法均存在的缺点是：容易受到人脸嘴角、眼角的杂色影响。因此，在相关技术中，均存在生成的超写实数字人的精细度不高的问题。
超写实数字人的构建，旨在根据用户输入的单图或其他引导，输出能够超越真人细节的超写实数字人模型，包括头部、身体及配饰，其中，头部是整个数字人较具有辨识度的部位，因此头部的构建最为重要。
一个合格的超写实构建算法需要满足以下几点要求：(1)能够极大保留原始现实人的五官特征，能够保留高分辨率的纹理；(2)生成算法需要克服拍摄环境的环境光照变化的影响；(3)开源数据集往往是基于欧美人的面部特征进行构建，算法需要有专门针对亚洲人的面部拓扑及纹理生成能力；基于这些特点的要求，在本发明可选实施方式中，提出了一种基于扫描数据的自动超写实数字人头部构建方案。
在相关技术中所提出的方法中，均没有从整体上来分析上述构建过程中需要考虑的特点，因此，导致生成的超写实数字人的精细度不高的问题。比如，在相关技术中，通过单张图片直接进行几何和纹理的构建来生成超写实数字人时，虽然考虑了生成超写实数字人的主要点，但纹理和几何没有很好的对齐方案，所构建虚拟人经常会出现嘴角、眼角的污色,进而导致精细度低。
因此，基于这些特点的要求和考虑，在本发明可选实施方式中，提出了一种基于扫描数据的自动超写实数字人头部构建方案。
在本发明可选实施方式中提出的方案采用以下处理方式：1、沿用了3DMM部分作为生成脸部几何的基础算法，额外使用亚洲人脸扫描数据对3DMM算法的基进行提取，使其生成结果符合亚洲人脸的几何拓扑；2、使用海量人工对扫描3D模型的纹理进行了修复，并使用生成对抗网络进行条件生成的训练；3、使用多球谐函数对输入人脸图片的光照进行拟合估计，能够从各种环境光照的图片中得到网络的标准输入。
从整体方案而言，解决了各个特点间的对齐要求，比如，从数据的角度实现几何与纹理的对齐。从技术而言，在几何、纹理、光照三方面都实现了相对于现有技术而言更高的标准：在相关技术中，几何的构建基本都是基于欧美人的扫描数据进行构建，这使得拟合东方人脸时会产生风格上的不相似，直接影响纹理和光照的估计；在相关技术中，纹理基本是采用取色、粗糙纹理基以及捏脸的方案，所构建的虚拟人或缺失精细度或缺失相似度，在本发明可选实施方式中，利用扫描修复的纹理真值进行生成对抗网络的训练，并在训练过程中加入男女类型、美观度、去光照的正脸图片等条件进行指导生成，从而得到各方面综合的较优解，既保留了相似度、精细度，也会适当美化原始纹理使其咬合应用的需求；光照方面，在相关技术中，光照估计模型采用的均是单球谐函数进行估计，在本发明可选实施方式中，采用多球谐函数进行光照估计，能够更彻底地去除光照对正脸照片的影响，为GAN提供更干净的条件输入。
下面从几何、纹理、光照三个方面进行详细描述。
光照部分
在相关技术中，人头模型创建相关算法在估计环境光照的双向散射径向基函数时，均采用单球谐光照模型进行拟合，这样做的好处是计算量较小，在CPU上可以很快的拟合出合适的基函数系数，但是人脸光照的分解是非常复杂的，往往细化到每个角度，每块皮肤，其较佳球谐光照模型都会不同，所以以此为出发点，在本发明可选实施方式中，提出多球谐光照函数。图4是根据本发明可选实施方式提供的超写实数字人的构建方法中光照部分的实现图，如图4所示，该方法包括：(1)将人头生成的标准空间限制在单位立方体内；(2)将单位立方体按照N*N*N分辨率划分为多个小立方体，在每个立方体内计算单球谐光照进行拟合，利用GPU出色的加速性能，速度可以控制在CPU耗时的2倍以内。
几何部分
在本发明可选实施方式中，从3D扫描设备采集了几百个(例如，500个)覆盖各种年纪段，男性女性均匀分布的扫描人头，扫描人头通过设计修复，统一输出为具有固定顶点数的Mesh模型。图5是根据本发明可选实施方式提供的超写实数字人构建方法中几何部分的实现图，如图5所示，在本发明可选实施方式中，使用主成分分析(Principal ComponentAnalysis，PCA)方法对500个人头数据进行基提取，得到100个人头基。这些基的随机组合可以表示初始的所有扫描人头，在本发明可选实施方式中，利用卷积神经网络(Convolutional Neural Network，简称为CNN)对基的加权系数进行拟合，并使用关键点损失、颜色损失进行监督，得到可以估计亚洲人头基系数的CNN模型。
纹理部分
在本发明可选实施方式中，使用去光照正脸照片、男女类型、美观度条件信息，生成符合条件的纹理贴图，由于在扫描后进行了修复，在UV映射固定的情况下，纹理贴图具有一定的分布，可以使用GAN进行生成训练。图6是根据本发明可选实施方式提供的超写实数字人构建方法中纹理部分的实现图，如图6所示，在训练前，对每张纹理进行正脸照片、男女类型、美观度的标注，使其组成成对的训练数据进行训练，可以使得GAN具有条件生成的能力。
通过上述可选实施方式，可以达到以下效果：
(1)首次提出通过空间划分的多球谐光照进行人脸的光照估计，有效改善了去光照之后的正脸输入质量；
(2)在数据构建方面，抛弃了开源的人头基，使用扫描设备采集并修复人头作为数据库，自研相应的算法，生成结果更符合亚洲人的美学特征；
(3)在生成纹理时，为了生成4K图片，方案结合了GAN以及超分网络进行图片生成，生成的图片不保留原始数据库的ID，可以保留原始数据库的纹理细节。
(4)花费较低的成本达到较高的精细度。在超写实数字人构建方面，可以基于超高精度扫描设备的4D方法来达到高精细度。但这类方案的最大特点是扫描成本极其昂贵，需要模特达到一定的专业度，通过对一整段扫描视频的每一帧进行几何及纹理的构建，通过端到端的变分自编码器编码和生成超写实数字人并驱动。
但采用本可选实施方式，无需超高精度的扫描设备(成本在1000万以上),而仅需要50万左右的普通扫描设备配合一定美术工作，就可以自动化构建超写实的人头模型，因此，能够达到的人头构建技术效果经过评估能够达到超写实的水准。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。
实施例2
根据本申请实施例，还提供了一种3D模型处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图7是根据本申请实施例2的3D模型处理方法的流程图。如图7所示，该方法可以包括如下步骤：
步骤S702，响应作用于操作界面上的图像输入指令，在操作界面上显示人脸图像，其中，人脸图像中包括目标人脸；
步骤S704，响应作用于操作界面上的初始人脸显示指令，在操作界面上显示基于人脸图像生成的目标人脸的初始3D模型；
步骤S706，响应作用于操作界面上的面部类型选择指令，在操作界面上显示面部类型选择指令对应的预定面部类型的中间3D模型，其中，中间3D模型基于预定面部类型，对初始3D模型的几何形状进行构建得到；
步骤S708，响应作用于操作界面上的目标模型生成指令，在操作界面上显示目标3D模型，其中，目标3D模型为在中间3D模型上生成纹理得到。
需要说明的是，上述图像输入指令可以是用于输入人脸图像的指令，该指令可以用于链接至能够获取到人脸图像的地址。上述初始人脸显示指令可以是用于展示采用任何算法得到的3D模型的指令，基于该指令可以得到该目标人脸的3D模型。上述面部类型选择指令可以是用于选择面部类型的指令，在接收该指令前，可以在操作界面上展示一些可供选择的面部类型。目标模型生成指令可以是结果展示指令，基于该指令对之前选择好的面部类型，在操作界面上展示与该预定面部类型对应的目标人脸的目标3D模型。
实施例3
根据本申请实施例，还提供了一种可以应用于虚拟现实VR设备、增强现实AR设备等虚拟现实场景下的3D模型处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图8是根据本申请实施例3的3D模型处理方法的流程图。如图8所示，该方法可以包括如下步骤：
步骤S802，在虚拟现实VR设备或增强现实AR设备的呈现画面上展示人脸图像，其中，人脸图像中包括目标人脸；
步骤S804，选择预定面部类型,并基于预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型，其中，初始3D模型基于人脸图像生成；
步骤S806，驱动VR设备或AR设备展示预定面部类型对应的目标人脸的目标3D模型，其中，目标3D模型为在中间3D模型上生成纹理得到。
可选地，在本实施例中，上述3D模型处理方法可以应用于由服务器、虚拟现实设备所构成的硬件环境中。在虚拟现实VR设备或增强现实AR设备的呈现画面上展示在虚拟现实VR设备或增强现实AR设备的呈现画面上展示人脸图像，其中，人脸图像中包括目标人脸；选择预定面部类型,并基于预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型，其中，初始3D模型基于人脸图像生成；驱动VR设备或AR设备展示预定面部类型对应的目标人脸的目标3D模型，其中，目标3D模型为在中间3D模型上生成纹理得到，服务器可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网，上述虚拟现实设备并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等。
可选地，虚拟现实设备包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示在虚拟现实VR设备或增强现实AR设备的呈现画面上展示人脸图像，其中，人脸图像中包括目标人脸；选择预定面部类型,并基于预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型，其中，初始3D模型基于人脸图像生成；驱动VR设备或AR设备展示预定面部类型对应的目标人脸的目标3D模型，其中，目标3D模型为在中间3D模型上生成纹理得到。
需要说明的是，该实施例的上述应用在VR设备或AR设备中的3D模型处理方法可以包括图3所示实施例的方法，以实现驱动VR设备或AR设备展示目标神经辐射场,以及目标神经辐射场在目标视角下的渲染图像的目的。
可选地，该实施例的处理器可以通过传输装置调用上述存储器存储的应用程序以执行上述步骤。传输装置可以通过网络接收服务器发送的媒体文件，也可以用于上述处理器与存储器之间的数据传输。
可选地，在虚拟现实设备中，带有眼球追踪的头戴式显示器，该HMD头显中的屏幕，用于显示展示的视频画面，HMD中的眼球追踪模块，用于获取用户眼球的实时运动轨迹，跟踪系统，用于追踪用户在真实三维空间的位置信息与运动信息，计算处理单元，用于从跟踪系统中获取用户的实时位置与运动信息，并计算出用户头部在虚拟三维空间中的三维坐标，以及用户在虚拟三维空间中的视野朝向等。
在本申请实施例中，虚拟现实设备可以与终端相连接，终端与服务器通过网络进行连接，上述虚拟现实设备并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等，上述终端并不限定于PC、手机、平板电脑等，服务器可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网。
实施例4
根据本申请实施例，还提供了一种用于实施上述3D模型处理方法的装置，图9是根据本发明实施例提供的3D模型处理装置的结构框图，如图9所示，该装置包括：获取模块92，第一生成模块94，构建模块96和第二生成模块98，下面对该装置进行说明。
获取模块92，用于获取人脸图像，其中，人脸图像中包括目标人脸；第一生成模块94，连接至上述获取模块92，用于基于人脸图像，生成目标人脸的初始3D模型；构建模块96，连接至上述第一生成模块94，用于基于预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型；第二生成模块98，连接至上述构建模块96，用于在中间3D模型上生成纹理，得到目标人脸的目标3D模型。
此处需要说明的是，上述获取模块92，第一生成模块94，构建模块96和第二生成模块98对应于实施例1中的步骤S302至步骤S308，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块或单元可以是存储在存储器中并由一个或多个处理器处理的硬件组件或软件组件，上述模块也可以作为装置的一部分可以运行在实施例1提供的AR/VR设备中。
实施例5
本申请的实施例可以提供一种AR/VR设备，该AR/VR设备可以是AR/VR设备群中的任意一个AR/VR设备。可选地，在本实施例中，上述AR/VR设备也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述AR/VR设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述AR/VR设备可以执行3D模型处理方法中以下步骤的程序代码：获取人脸图像，其中，人脸图像中包括目标人脸；基于人脸图像，生成目标人脸的初始3D模型；基于预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型；在中间3D模型上生成纹理，得到目标人脸的目标3D模型。
可选地，图10是根据本申请实施例的一种电子设备的结构框图。如图所示，该电子设备10可以包括：一个或多个(图中仅示出一个)处理器102、存储器104、存储控制器、以及外设接口，其中，外设接口与射频模块、音频模块和显示器连接。
其中，存储器可用于存储软件程序以及模块，如本申请实施例中的3D模型处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的3D模型处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至电子设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取人脸图像，其中，人脸图像中包括目标人脸；基于人脸图像，生成目标人脸的初始3D模型；基于预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型；在中间3D模型上生成纹理，得到目标人脸的目标3D模型。
可选的，上述处理器还可以执行如下步骤的程序代码：基于预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型，包括：获取预定面部类型的构建参数；基于构建参数，对初始3D模型的几何形状进行构建，得到中间3D模型。
可选的，上述处理器还可以执行如下步骤的程序代码：获取预定面部类型的构建参数，包括：获取第一训练集合，其中，第一训练集合包括多组几何样本，多组几何样本分别包括预定面部类型的人脸样本图像，以及对应的人脸几何形状；采用第一训练集合进行机器训练，得到预定面部类型的构建参数。
可选的，上述处理器还可以执行如下步骤的程序代码：在中间3D模型上生成纹理，得到目标人脸的目标3D模型，包括：获取人脸图像中目标人脸的初始纹理；获取纹理修复参数；基于纹理修复参数对初始纹理进行修复，得到目标纹理；将目标纹理应用于中间3D模型，得到目标人脸的目标3D模型。
可选的，上述处理器还可以执行如下步骤的程序代码：获取纹理修复参数，包括：获取第二训练集合，其中，第二训练集合包括多组纹理样本，多组纹理样本分别包括人脸样本图像，以及对应的人脸纹理；采用第二训练集合进行机器训练，得到纹理修复参数。
可选的，上述处理器还可以执行如下步骤的程序代码：采用第二训练集合进行机器训练，得到纹理修复参数，包括：获取第二训练集合中人脸样本图像的以下条件信息：去光照正脸图像，男女类型和美化度；基于条件信息，采用第二训练集合进行机器训练，得到纹理修复参数。
可选的，上述处理器还可以执行如下步骤的程序代码：在中间3D模型上生成纹理，得到目标人脸的目标3D模型，包括：在中间3D模型上生成纹理,得到过程3D模型；对过程3D模型进行光照拟合，得到目标人脸的目标3D模型。
可选的，上述处理器还可以执行如下步骤的程序代码：对过程3D模型进行光照拟合，得到目标人脸的目标3D模型，包括：将过程3D模型所在的空间进行拆分，得到多个小空间；分别对多个小空间进行单球谐光照拟合，得到目标人脸的目标3D模型。
可选的，上述处理器还可以执行如下步骤的程序代码：人脸图像是经扫描设备扫描得到的图像，目标3D模型为超写实数字人的头部。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：响应作用于操作界面上的图像输入指令，在操作界面上显示人脸图像，其中，人脸图像中包括目标人脸；响应作用于操作界面上的初始人脸显示指令，在操作界面上显示基于人脸图像生成的目标人脸的初始3D模型；响应作用于操作界面上的面部类型选择指令，在操作界面上显示面部类型选择指令对应的预定面部类型的中间3D模型，其中，中间3D模型基于预定面部类型，对初始3D模型的几何形状进行构建得到；响应作用于操作界面上的目标模型生成指令，在操作界面上显示目标3D模型，其中，目标3D模型为在中间3D模型上生成纹理得到。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示人脸图像，其中，人脸图像中包括目标人脸；选择预定面部类型,并基于预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型，其中，初始3D模型基于人脸图像生成；驱动VR设备或AR设备展示预定面部类型对应的目标人脸的目标3D模型，其中，目标3D模型为在中间3D模型上生成纹理得到。
采用本申请实施例，采用基于预定面部类型，对基于人脸图像生成的初始3D模型的几何形状进行构建，得到中间3D模型，以及在中间模型上生成纹理的方式，达到了人脸图像中目标人脸的目标3D模型的目的，从而实现了使得得到的目标3D模型是与预定面部类型对应的，有效提高了满足面部类型要求的3D模型建立的技术效果，进而解决了相关技术中在构建虚拟人脸时，存在精细度低的技术问题。
本领域普通技术人员可以理解，图10所示的结构仅为示意，电子设备也可以是一种计算机终端，例如，智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternetDevices，MID)、PAD等终端设备。图10并不对上述电子装置的结构造成限定。例如，电子设备10还可包括比图10中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图10所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例6
本申请的实施例还提供了一种计算机可读存储介质。可选地，在本实施例中，上述计算机可读存储介质可以用于保存上述实施例1所提供的3D模型处理方法所执行的程序代码。
可选地，在本实施例中，上述计算机可读存储介质可以位于AR/VR设备网络中AR/VR设备终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取人脸图像，其中，人脸图像中包括目标人脸；基于人脸图像，生成目标人脸的初始3D模型；基于预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型；在中间3D模型上生成纹理，得到目标人脸的目标3D模型。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：基于预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型，包括：获取预定面部类型的构建参数；基于构建参数，对初始3D模型的几何形状进行构建，得到中间3D模型。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：获取预定面部类型的构建参数，包括：获取第一训练集合，其中，第一训练集合包括多组几何样本，多组几何样本分别包括预定面部类型的人脸样本图像，以及对应的人脸几何形状；采用第一训练集合进行机器训练，得到预定面部类型的构建参数。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：在中间3D模型上生成纹理，得到目标人脸的目标3D模型，包括：获取人脸图像中目标人脸的初始纹理；获取纹理修复参数；基于纹理修复参数对初始纹理进行修复，得到目标纹理；将目标纹理应用于中间3D模型，得到目标人脸的目标3D模型。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：获取纹理修复参数，包括：获取第二训练集合，其中，第二训练集合包括多组纹理样本，多组纹理样本分别包括人脸样本图像，以及对应的人脸纹理；采用第二训练集合进行机器训练，得到纹理修复参数。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：采用第二训练集合进行机器训练，得到纹理修复参数，包括：获取第二训练集合中人脸样本图像的以下条件信息：去光照正脸图像，男女类型和美化度；基于条件信息，采用第二训练集合进行机器训练，得到纹理修复参数。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：在中间3D模型上生成纹理，得到目标人脸的目标3D模型，包括：在中间3D模型上生成纹理,得到过程3D模型；对过程3D模型进行光照拟合，得到目标人脸的目标3D模型。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：对过程3D模型进行光照拟合，得到目标人脸的目标3D模型，包括：将过程3D模型所在的空间进行拆分，得到多个小空间；分别对多个小空间进行单球谐光照拟合，得到目标人脸的目标3D模型。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：人脸图像是经扫描设备扫描得到的图像，目标3D模型为超写实数字人的头部。
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：响应作用于操作界面上的图像输入指令，在操作界面上显示人脸图像，其中，人脸图像中包括目标人脸；响应作用于操作界面上的初始人脸显示指令，在操作界面上显示基于人脸图像生成的目标人脸的初始3D模型；响应作用于操作界面上的面部类型选择指令，在操作界面上显示面部类型选择指令对应的预定面部类型的中间3D模型，其中，中间3D模型基于预定面部类型，对初始3D模型的几何形状进行构建得到；响应作用于操作界面上的目标模型生成指令，在操作界面上显示目标3D模型，其中，目标3D模型为在中间3D模型上生成纹理得到。
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示人脸图像，其中，人脸图像中包括目标人脸；选择预定面部类型,并基于预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型，其中，初始3D模型基于人脸图像生成；驱动VR设备或AR设备展示预定面部类型对应的目标人脸的目标3D模型，其中，目标3D模型为在中间3D模型上生成纹理得到。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (14)
1.一种3D模型处理方法，其特征在于，包括：
获取人脸图像，其中，所述人脸图像中包括目标人脸；
基于所述人脸图像，生成所述目标人脸的初始3D模型；
基于预定面部类型，对所述初始3D模型的几何形状进行构建，得到中间3D模型；
在所述中间3D模型上生成纹理，得到所述目标人脸的目标3D模型。
2.根据权利要求1所述的方法，其特征在于，所述基于预定面部类型，对所述初始3D模型的几何形状进行构建，得到中间3D模型，包括：
获取所述预定面部类型的构建参数；
基于所述构建参数，对所述初始3D模型的几何形状进行构建，得到所述中间3D模型。
3.根据权利要求2所述的方法，其特征在于，所述获取所述预定面部类型的构建参数，包括：
获取第一训练集合，其中，所述第一训练集合包括多组几何样本，所述多组几何样本分别包括所述预定面部类型的人脸样本图像，以及对应的人脸几何形状；
采用所述第一训练集合进行机器训练，得到所述预定面部类型的构建参数。
4.根据权利要求1所述的方法，其特征在于，所述在所述中间3D模型上生成纹理，得到所述目标人脸的目标3D模型，包括：
获取所述人脸图像中所述目标人脸的初始纹理；
获取纹理修复参数；
基于所述纹理修复参数对所述初始纹理进行修复，得到目标纹理；
将所述目标纹理应用于所述中间3D模型，得到所述目标人脸的所述目标3D模型。
5.根据权利要求4所述的方法，其特征在于，所述获取纹理修复参数，包括：
获取第二训练集合，其中，所述第二训练集合包括多组纹理样本，所述多组纹理样本分别包括人脸样本图像，以及对应的人脸纹理；
采用所述第二训练集合进行机器训练，得到所述纹理修复参数。
6.根据权利要求5所述的方法，其特征在于，所述采用所述第二训练集合进行机器训练，得到所述纹理修复参数，包括：
获取所述第二训练集合中人脸样本图像的以下条件信息：去光照正脸图像，男女类型和美化度；
基于所述条件信息，采用所述第二训练集合进行机器训练，得到所述纹理修复参数。
7.根据权利要求1所述的方法，其特征在于，所述在所述中间3D模型上生成纹理，得到所述目标人脸的目标3D模型，包括：
在所述中间3D模型上生成纹理,得到过程3D模型；
对所述过程3D模型进行光照拟合，得到所述目标人脸的目标3D模型。
8.根据权利要求7所述的方法，其特征在于，所述对所述过程3D模型进行光照拟合，得到所述目标人脸的目标3D模型，包括：
将所述过程3D模型所在的空间进行拆分，得到多个小空间；
分别对所述多个小空间进行单球谐光照拟合，得到所述目标人脸的目标3D模型。
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述人脸图像是经扫描设备扫描得到的图像，所述目标3D模型为超写实数字人的头部。
10.一种3D模型处理方法，其特征在于，包括：
响应作用于操作界面上的图像输入指令，在所述操作界面上显示人脸图像，其中，所述人脸图像中包括目标人脸；
响应作用于所述操作界面上的初始人脸显示指令，在所述操作界面上显示基于所述人脸图像生成的所述目标人脸的初始3D模型；
响应作用于所述操作界面上的面部类型选择指令，在所述操作界面上显示所述面部类型选择指令对应的预定面部类型的中间3D模型，其中，所述中间3D模型基于所述预定面部类型，对所述初始3D模型的几何形状进行构建得到；
响应作用于所述操作界面上的目标模型生成指令，在所述操作界面上显示目标3D模型，其中，所述目标3D模型为在所述中间3D模型上生成纹理得到。
11.一种3D模型处理方法，其特征在于，包括：
在虚拟现实VR设备或增强现实AR设备的呈现画面上展示人脸图像，其中，所述人脸图像中包括目标人脸；
选择预定面部类型,并基于所述预定面部类型，对初始3D模型的几何形状进行构建，得到中间3D模型，其中，所述初始3D模型基于所述人脸图像生成；
驱动所述VR设备或所述AR设备展示所述预定面部类型对应的所述目标人脸的目标3D模型，其中，所述目标3D模型为在中间3D模型上生成纹理得到。
12.一种3D模型处理装置，其特征在于，包括：
获取模块，用于获取人脸图像，其中，所述人脸图像中包括目标人脸；
第一生成模块，用于基于所述人脸图像，生成所述目标人脸的初始3D模型；
构建模块，用于基于预定面部类型，对所述初始3D模型的几何形状进行构建，得到中间3D模型；
第二生成模块，用于在所述中间3D模型上生成纹理，得到所述目标人脸的目标3D模型。
13.一种电子设备，其特征在于，包括：
存储器，存储有可执行程序；
处理器，用于运行所述程序，其中，所述程序运行时执行权利要求1至11中任意一项所述的3D模型处理方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的可执行程序，其中，在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至11中任意一项所述的3D模型处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310524836.0A CN116630508A (zh) | 2023-05-09 | 2023-05-09 | 3d模型处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310524836.0A CN116630508A (zh) | 2023-05-09 | 2023-05-09 | 3d模型处理方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116630508A true CN116630508A (zh) | 2023-08-22 |
Family
ID=87616346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310524836.0A Pending CN116630508A (zh) | 2023-05-09 | 2023-05-09 | 3d模型处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630508A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958453A (zh) * | 2023-09-20 | 2023-10-27 | 成都索贝数码科技股份有限公司 | 基于神经辐射场的三维模型重建方法、设备和介质 |
-
2023
- 2023-05-09 CN CN202310524836.0A patent/CN116630508A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958453A (zh) * | 2023-09-20 | 2023-10-27 | 成都索贝数码科技股份有限公司 | 基于神经辐射场的三维模型重建方法、设备和介质 |
| CN116958453B (zh) * | 2023-09-20 | 2023-12-08 | 成都索贝数码科技股份有限公司 | 基于神经辐射场的三维模型重建方法、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717977B (zh) | 游戏角色脸部处理的方法、装置、计算机设备及存储介质 | |
| CN107945282B (zh) | 基于对抗网络的快速多视角三维合成和展示方法及装置 | |
| KR20210119438A (ko) | 얼굴 재연을 위한 시스템 및 방법 | |
| CN113313818B (zh) | 一种三维重建方法、装置及系统 | |
| CN116109798B (zh) | 图像数据处理方法、装置、设备及介质 | |
| CN113298858A (zh) | 一种虚拟形象的动作生成方法、装置、终端以及存储介质 | |
| CN109242940B (zh) | 三维动态图像的生成方法和装置 | |
| CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
| CN114821675B (zh) | 对象的处理方法、系统和处理器 | |
| CN107578435A (zh) | 一种图像深度预测方法及装置 | |
| CN113362422B (zh) | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 | |
| CN116630508A (zh) | 3d模型处理方法、装置及电子设备 | |
| CN116630485A (zh) | 虚拟形象的驱动方法、虚拟形象的渲染方法以及电子设备 | |
| CN117011417A (zh) | 图像处理方法、装置及计算机设备 | |
| CN116485973A (zh) | 虚拟对象的材质生成方法、电子设备和存储介质 | |
| CN116485983A (zh) | 虚拟对象的纹理生成方法、电子设备以及存储介质 | |
| CN112866741B (zh) | 一种基于3d人脸动画重建的礼物动效展示方法及系统 | |
| CN114581288A (zh) | 一种图像生成方法、装置、电子设备以及存储介质 | |
| CN114998514A (zh) | 一种虚拟角色的生成方法及设备 | |
| CN114912574A (zh) | 角色面部表情拆分方法、装置、计算机设备及存储介质 | |
| CN114422862A (zh) | 服务视频生成方法、装置、设备、存储介质和程序产品 | |
| CN114943799A (zh) | 一种面部图像处理方法、装置和计算机可读存储介质 | |
| CN111738087A (zh) | 一种游戏角色面部模型的生成方法和装置 | |
| Yu et al. | Facial video coding/decoding at ultra-low bit-rate: a 2D/3D model-based approach | |
| CN113614791A (zh) | 动态三维成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |