CN115546361A - 三维卡通形象处理方法、装置、计算机设备和存储介质 - Google Patents
三维卡通形象处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115546361A CN115546361A CN202110745215.6A CN202110745215A CN115546361A CN 115546361 A CN115546361 A CN 115546361A CN 202110745215 A CN202110745215 A CN 202110745215A CN 115546361 A CN115546361 A CN 115546361A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- dimensional
- expression
- cartoon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 230000014509 gene expression Effects 0.000 claims abstract description 337
- 238000012545 processing Methods 0.000 claims abstract description 82
- 230000008859 change Effects 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 61
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 230000001360 synchronised effect Effects 0.000 claims abstract description 25
- 241000282414 Homo sapiens Species 0.000 claims description 118
- 230000008921 facial expression Effects 0.000 claims description 103
- 238000012549 training Methods 0.000 claims description 52
- 238000013507 mapping Methods 0.000 claims description 48
- 230000001815 facial effect Effects 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 33
- 230000007935 neutral effect Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000009877 rendering Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 description 52
- 238000010586 diagram Methods 0.000 description 27
- 210000000720 eyelash Anatomy 0.000 description 25
- 210000004209 hair Anatomy 0.000 description 23
- 230000008569 process Effects 0.000 description 18
- 210000000887 face Anatomy 0.000 description 15
- 239000013604 expression vector Substances 0.000 description 14
- 238000004088 simulation Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 12
- 210000001508 eye Anatomy 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 10
- 238000013508 migration Methods 0.000 description 10
- 230000005012 migration Effects 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 210000004709 eyebrow Anatomy 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 239000011521 glass Substances 0.000 description 6
- 238000000513 principal component analysis Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 210000000744 eyelid Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 235000000332 black box Nutrition 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010004950 Birth mark Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000006187 pill Substances 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及一种三维卡通形象处理方法、装置、计算机设备和存储介质。所述方法包括：获取经过表情去除的基础三维卡通形象；当目标用户在摄像视野范围内、且所述目标用户具有表情时，显示基于所述基础三维卡通形象变化得到的三维卡通形象；所述三维卡通形象所具有的表情形象与所述目标用户的表情相匹配；当所述目标用户在所述摄像视野范围内发生表情变化时，跟随所述目标用户的表情变化，显示基于所述基础三维卡通形象变化得到的、保持与所述目标用户的表情同步的三维卡通形象。采用本方法能够精准地生成与真实人脸的表情匹配度较高的三维卡通形象。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种三维卡通形象处理方法、装置、计算机设备和存储介质。
背景技术
随着计算机图像处理技术的不断发展，出现了根据二维图像中的信息进行三维重建的技术。三维重建在各种场景中的应用越来越广泛，例如根据用户的真实人脸，基于三维重建制作相应的卡通形象等场景。
相关技术中，通常要求用户输入人脸图像，然后根据对输入的人脸图像检测到的人脸特征点的位置信息构建相应的三维人脸模型，生成固定表情的三维卡通人脸。然而，这种方式所构建出的卡通人脸的固定表情与真实人脸的真实表情差别较大，精准度不高。
发明内容
基于此，有必要针对上述技术问题，提供一种能够精准地生成与真实人脸的表情匹配度较高的三维卡通形象的三维卡通形象处理方法、装置、计算机设备和存储介质。
一种三维卡通形象处理方法，所述方法包括：
获取经过表情去除的基础三维卡通形象；
当目标用户在摄像视野范围内、且所述目标用户具有表情时，显示所述目标用户基于所述基础三维卡通形象变化得到的三维卡通形象；所述三维卡通形象所具有的表情形象与所述目标用户的表情相匹配；
当所述目标用户在所述摄像视野范围内发生表情变化时，跟随所述目标用户的表情变化，显示基于所述基础三维卡通形象变化得到的、与所述目标用户的表情保持同步的三维卡通形象。
一种三维卡通形象处理装置，所述装置包括：
三维卡通形象获取模块，用于获取经过表情去除的基础三维卡通形象；
三维卡通形象展示模块，用于当目标用户在摄像视野范围内、且所述目标用户具有表情时，显示所述目标用户基于所述基础三维卡通形象变化得到的三维卡通形象；所述三维卡通形象所具有的表情形象与所述目标用户的表情相匹配；
所述三维卡通形象获取模块还用于当所述目标用户在所述摄像视野范围内发生表情变化时，跟随所述目标用户的表情变化，显示基于所述基础三维卡通形象变化得到的、与所述目标用户的表情保持同步的三维卡通形象。
在一个实施例中，上述三维卡通形象处理装置还包括人脸扫描模块，用于展示人脸扫描界面；所述三维卡通形象展示模块还用于当目标用户在所述人脸扫描界面中的第一预设采集区域内时，采集所述目标用户的当前人脸图像；所述第一预设采集区域是所述人脸扫描界面中的、且位于摄像视野范围内的区域；若所述当前人脸图像中的所述目标用户具有表情，则在卡通形象展示界面显示所述目标用户的所述当前人脸图像和三维卡通形象；所述三维卡通形象，是基于所述目标用户的表情控制所述基础三维卡通形象变化得到。
在一个实施例中，所述卡通形象展示界面包括第二预设采集区域和形象展示区域；所述当前人脸图像展示于所述第二预设采集区域内；所述三维卡通形象展示于所述形象展示区域；所述第二预设采集区域是所述卡通形象展示界面中的、且位于摄像视野范围内的区域。
在一个实施例中，所述三维卡通形象展示模块还用于当所述目标用户在所述第二预设采集区域内发生表情变化时，跟随所述目标用户的表情变化，在所述形象展示区域显示基于所述基础三维卡通形象变化得到的、与所述目标用户的表情保持同步的三维卡通形象。
在一个实施例中，所述三维卡通形象获取模块还用于获取输入的人脸图像，生成与所述人脸图像对应的三维卡通形象；所述三维卡通形象具有所述人脸图像中的人脸形象；所述三维卡通形象展示模块还用于显示对所述三维卡通形象经过表情去除处理得到的基础三维卡通形象。
在一个实施例中，上述三维卡通形象处理装置还包括三维卡通形象生成模块，用于通过已训练的人脸特征预测网络，生成所述人脸图像对应的三维人脸特征；将所述三维人脸特征映射至三维卡通人脸模板中，得到三维卡通人脸模型；对所述三维卡通人脸模型添加所述人脸图像中的形象特征，生成与所述人脸图像对应的三维卡通形象。
在一个实施例中，所述人脸特征预测网络经过模型训练步骤得到，上述三维卡通形象处理装置还包括模型训练模块，用于获取样本数据；所述样本数据中包括样本图像、以及所述样本图像对应的人脸关键点；通过待训练的人脸特征预测网络，基于预设三维人脸数据和所述样本图像的二维人脸特征，预测所述样本图像对应的三维人脸特征以重建样本三维人脸；将所述样本三维人脸映射渲染至所述样本图像中，得到二维映射图像；根据所述样本三维人脸的关键点与所述人脸关键点的差异，确定第一损失；根据所述二维映射图像与所述样本图像之间的像素差异，确定第二损失；根据所述第一损失和所述第二损失，调整所述人脸特征预测网络的参数并继续训练，直至满足训练停止条件，得到训练好的人脸特征预测网络。
在一个实施例中，所述样本数据中还包括所述样本图像对应的人脸分割结果；所述模型训练模块还用于根据所述二维映射图像与所述人脸分割结果之间的差异，确定第三损失；根据所述第一损失、所述第二损失以及所述第三损失，调整所述人脸特征预测网络的参数并继续训练。
在一个实施例中，所述三维卡通形象生成模块还用于获取与三维卡通人脸模板对应的人脸特征差异矩阵；根据人脸特征差异矩阵对所述三维人脸特征进行处理；将处理后的三维人脸特征映射至所述三维卡通人脸模板中，得到三维卡通人脸模型。
在一个实施例中，所述三维卡通形象生成模块还用于从所述人脸图像中提取人脸关键点；基于所述人脸关键点，提取所述人脸图像中各局部形象对应的形象区域；分别通过与各局部形象对应的识别网络，识别各所述形象区域的形象特征；将所述形象特征添加至所述三维卡通人脸模型中，得到三维卡通形象。
在一个实施例中，所述三维卡通形象生成模块还用于对三维卡通形象中的表情系数进行调整，使得三维卡通形象的表情系数与中性表情系数相符，得到经过表情去除的基础三维卡通形象；显示所述经过表情去除得到的基础三维卡通形象。
在一个实施例中，所述三维卡通形象生成模块还用于生成与所述基础三维卡通形象对应的多个卡通人脸表情基；当目标用户在摄像视野范围内、且所述目标用户具有表情时，获取所述目标用户的人脸图像；对所述人脸图像进行三维重建处理，得到对应的三维人脸表情特征；根据所述卡通人脸表情基对所述三维人脸表情特征进行处理；将处理后的三维人脸表情特征映射至所述基础三维卡通形象中，得到与所述目标用户的表情相匹配的三维卡通形象并展示。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请各实施例的三维卡通形象处理方法中的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请各实施例的三维卡通形象处理方法中的步骤。
一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中；所述计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令时实现本申请各实施例的三维卡通形象处理方法中的步骤。
上述三维卡通形象处理方法、装置、计算机设备和存储介质，通过获取基于真实的人脸图像构建的、并经过表情去除的基础三维卡通形象；当目标用户在摄像视野范围内、且目标用户具有表情时，则基于目标用户的人脸图像中的表情对基础三维卡通形象进行变形处理，由此能够有效生成与目标用户的表情相匹配的三维卡通形象并进行显示。当目标用户在摄像视野范围内发生表情变化时，跟随目标用户的表情变化，基于目标用户表情变化后的人脸图像中的表情，实时对基础三维卡通形象进行变形处理，得到变化后的与目标用户的表情保持同步的三维卡通形象，以有效地生成与用户实时的表情相匹配的、对基础三维卡通形象进行变形后的三维卡通形象并进行显示。由此能够根据目标用户实时的表情，有效地对表情去除后的基础三维卡通形象进行实时驱动，从而能够精准地生成与真实人脸的表情匹配度较高的三维卡通形象。
附图说明
图1为一个实施例中三维卡通形象处理方法的应用环境图；
图2为一个实施例中三维卡通形象处理方法的流程示意图；
图3为一个实施例中对基础三维卡通形象变化后的三维卡通形象的示意图；
图4为一个实施例中人脸扫描界面的示意图；
图5为一个实施例中卡通形象展示界面的示意图；
图6为一个实施例中展示三维卡通形象调整界面的示意图；
图7为一个实施例中展示用户卡通形象界面的示意图；
图8为一个实施例中生成经过表情去除的基础三维卡通形象的示意图；
图9为一个实施例中训练人脸特征预测网络的流程示意图；
图10为一个实施例中三维卡通人脸模板与三维仿真人脸模板的示意图；
图11为一个实施例中生成三维卡通人脸模型的示意图；
图12为一个实施例中卡通形象的肤色色卡的示意图；
图13为一个实施例中进行眼睫毛形变处理的示意图；
图14为一个实施例中三维卡通人脸模板对应的卡通人脸表情基的示意图；
图15为一个实施例中生成与目标用户表情匹配的三维卡通形象的流程图；
图16为一个实施例中三维卡通形象处理装置的结构框图；
图17为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的三维卡通形象处理方法，可应用于计算机设备中。计算机设备可以为终端或服务器。可以理解的是，本申请提供的三维卡通形象处理方法，可以应用于终端，也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。
本申请提供的三维卡通形象处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102将人脸图像上传至服务器104，服务器104则生成与人脸图像对应的经过表情去除的基础三维卡通形象，并返回至终端102。当目标用户在摄像视野范围内、且目标用户具有表情时，终端102则采集目标用户当前具有表情的人脸图像，并上传至服务器104，服务器104则根据当前的人脸图像中的表情，对基础三维卡通形象进行变形，得到变形后的与目标用户的表情相匹配的三维卡通形象并返回至终端102，终端102则显示基于基础三维卡通形象变化得到的三维卡通形象；三维卡通形象所具有的表情形象与目标用户的表情相匹配。当目标用户在所述摄像视野范围内发生表情变化时，终端102则跟随目标用户的表情变化，显示基于基础三维卡通形象变化得到的、与目标用户的表情保持同步的三维卡通形象。
其中，服务器104服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端102可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
云计算(Cloud Computing)是指IT(Internet Technology，互联网技术)基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(DistributedComputing)、并行计算(Parallel Computing)、效用计算(UtilityComputing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
可以理解，本申请各实施例中的三维卡通形象处理方法，采用人工智能技术中的计算机视觉技术以及机器学习技术等，能够有效实现自动生成与真实人脸相似的三维卡通形象。人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。可以理解，本申请正是使用计算机视觉技术，对人脸图像进行人脸图像卡通化处理，以生成与真实人脸相似的三维卡通形象。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。可以理解，在本申请一些实施例中使用到的人脸特征预测网络、识别网络等，就是使用机器学习技术训练得到的，基于该机器学习技术训练得到的，能够更加精准地对人脸图像中的三维人脸特征进行预测、以及识别形象特征等处理。
在一个实施例中，如图2所示，提供了一种三维卡通形象处理方法，以该方法应用于图1中的终端为例进行说明。本实施例中，包括以下步骤：
步骤S202，获取经过表情去除的基础三维卡通形象。
可以理解，三维卡通形象，是三维的具有卡通化特征和真实人脸特征的非真实的卡通图像。其中，三维卡通形象是通过对真实的人脸图像进行卡通化处理生成的。其中，生成的三维卡通形象具有人脸图像中的人脸特征。
其中，真实的人脸图像，是真实场景下采集的人脸的图像，是二维的人脸图像，人脸图像中包括用户的人脸。
可以理解的是，表情，通常是指人脸的面部表情姿态，可以通过人脸的面部器官变化产生不同的表情。三维卡通形象的表情，是指三维卡通形象对应的面部表情姿态。
表情去除，可以是指将三维卡通形象中具有的表情处理为中性表情的过程，使得表情去除后的三维卡通形象，在视觉上是无表情的状态。其中，无表情的状态，也可以是指具有中性表情的状态。其中，中性表情可以是指人脸的面部表情姿态变化在预设的范围内，例如人脸的面部器官变化在预设的范围内，具体如人脸的嘴巴为闭合状态，人脸姿态为正脸状态等。
终端首先获取人脸图像，然后基于人脸图像进行三维人脸重建处理，得到与人脸图像对应的三维卡通人脸模型。然后对三维卡通人脸模型添加人脸图像中的形象特征，并对三维卡通人脸模型进行表情去除处理，从而可以得到经过表情去除的基础三维卡通形象。
可以理解，初步生成的与人脸图像对应的三维卡通形象，具有与人脸图像相匹配的人脸形象和表情形象。其中，人脸形象即与人脸图像中的基础人脸特征相对应，表情形象即与人脸图像中的人脸表情特征相对应。
由于所生成的三维卡通人脸模型具有真实的人脸图像中的人脸特征，进一步根据形象特征对卡通人脸模型进行形象渲染，以将真实的人脸图像中的形象特征渲染到卡通人脸模型中，从而能够有效生成与真实的人脸图像相似的三维卡通形象。
在其中一个实施例中，终端获取经过表情去除的基础三维卡通形象后，并在终端的界面显示基础三维卡通形象。
可以理解，经过表情去除的基础三维卡通形象，用于响应目标用户输入的具有表情的人脸图像，对基础三维卡通形象进行表情驱动，从而得到对基础三维卡通形象变形，得到与目标用户的表情形象相匹配的三维卡通形象。
步骤S204，当目标用户在摄像视野范围内、且目标用户具有表情时，显示目标用户基于基础三维卡通形象变化得到的三维卡通形象。
可以理解，目标用户在摄像视野范围内，可以是指目标用户在终端的摄像装置对应的摄像视野范围内所采集的画面中。目标用户具有表情，可以是指目标用户的面部器官变化或面部姿态变化超过预设范围时，则表示目标用户具有表情。
可以理解的是，目标用户，与基础三维卡通形象所对应的人脸图像中的用户，可以是相同的用户，也可以是不同的用户。
终端获取经过表情去除的基础三维卡通形象后，目标用户可以通过终端实时输入具有表情的人脸图像。可以理解，终端在采集图像时，具有相应的摄像视野范围。摄像视野范围，是指终端采集图像时摄像头的视野范围。
具体地，目标用户可以通过对应的终端采集对应的人脸图像。在采集图像的过程中，当目标用户在摄像视野范围内、且目标用户具有表情时，终端则采集目标用户的人脸图像。
终端进而对所采集的人脸图像提取对应的三维人脸表情特征，然后将三维人脸表情特征映射至基础三维卡通形象中，以对该基础三维卡通形象进行变形处理，得到变化后的三维卡通形象。可以理解，变化后的三维卡通形象，具有实时输入的人脸图像中的人脸表情特征。因此，得到的三维卡通形象所具有的表情形象与目标用户的表情相匹配。
步骤S206，当目标用户在摄像视野范围内发生表情变化时，跟随目标用户的表情变化，显示基于基础三维卡通形象变化得到的、与目标用户的表情保持同步的三维卡通形象。
其中，表情变化，可以是指当前采集的目标用户的人脸图像中的表情，相较于上一帧采集的目标用户的人脸图像中的表情发生了变化；或当前的人脸图像中的表情，相较于上一帧人脸图像中的表情的变化超过了预设变化范围，则表示目标用户在摄像视野范围内发生表情变化。
可以理解，目标用户可以通过终端实时连续地采集其对应的人脸图像。例如，可以连续采集对应的人脸图像帧。
具体地，终端在采集目标用户的人脸图像的过程中，若目标用户在摄像视野范围内发生表情变化时，则采集表情变化后的人脸图像。
终端则提取表情变化后的人脸图像对应的三维人脸表情特征，然后将三维人脸表情特征映射至基础三维卡通形象中，以对该基础三维卡通形象进行变形处理，得到变化后的三维卡通形象并进行展示。变化后的三维卡通形象具有的表情形象与目标用户的表情相匹配。
由此，终端则能够实时地采集表情变化后的人脸图像，并跟随目标用户的表情变化，实时显示基于基础三维卡通形象变化得到的、保持与目标用户的表情同步的三维卡通形象。
例如，如图3所示，为一个实施例中基于基础三维卡通形象变化得到的三维卡通形象的示意图。其中，基础三维卡通形象32是基于初始的人脸图像生成的。当目标用户在摄像视野范围内、且目标用户具有表情时，则采集目标用户当前的人脸图像34，通过根据人脸图像34中的三维人脸表情特征，对基础三维卡通形象32进行变形处理，从而能够得到变化后的与目标用户的表情相匹配的三维卡通形象36。可以理解的是，基于保护用户真实的人脸图像的隐私角度，对真实的人脸图像34中的眼睛部位进行了遮挡处理，实际上在采集真实的人脸图像时，也采集了人脸的眼睛部位。
上述三维卡通形象处理方法中，终端首先获取基于真实的人脸图像构建的、并经过表情去除的基础三维卡通形象；当目标用户在摄像视野范围内、且目标用户具有表情时，则基于目标用户的人脸图像中的表情对基础三维卡通形象进行变形处理，由此能够有效生成与目标用户的表情相匹配的三维卡通形象并进行显示。当目标用户在摄像视野范围内发生表情变化时，跟随目标用户的表情变化，基于目标用户表情变化后的人脸图像中的表情，实时对基础三维卡通形象进行变形处理，得到变化后的与目标用户的表情保持同步的三维卡通形象，以有效地生成与用户实时的表情相匹配的、对基础三维卡通形象进行变形后的三维卡通形象并进行显示。由此能够根据目标用户实时的表情，有效地对表情去除后的基础三维卡通形象进行实时驱动，从而能够精准地生成与真实人脸的表情匹配度较高的三维卡通形象。
在一个实施例中，上述三维卡通形象处理方法还包括：展示人脸扫描界面。当目标用户在摄像视野范围内、且目标用户具有表情时，显示目标用户基于基础三维卡通形象变化得到的三维卡通形象，包括：当目标用户在人脸扫描界面中的第一预设采集区域内时，采集目标用户的当前人脸图像；若当前人脸图像中的目标用户具有表情，则在卡通形象展示界面显示所述目标用户的当前人脸图像和三维卡通形象。
可以理解，人脸扫描界面，是用于展示终端的摄像装置在摄像视野范围内所采集的画面的显示界面。其中，人脸扫描界面中还可以包括第一预设采集区域，第一预设采集区域是人脸扫描界面中的、且位于摄像视野范围内的区域，用于在人脸扫描界面中捕获目标用户的人脸，例如第一预设采集区域，具体可以为人脸检测区域。
终端还可以展示人脸扫描界面，并在人脸扫描界面中展示终端的摄像装置所采集的画面。终端还可以通过人脸扫描界面中的第一预设采集区域检测目标用户的人脸是否在摄像视野范围内。当目标用户的人脸在人脸扫描界面中的第一预设采集区域内时，则采集目标用户的当前人脸图像。
进一步地，若检测到目标用户的当前人脸图像具有表情时，则基于当前人脸图像中的表情，对基础三维卡通形象进行表情变形处理，以生成与当前人脸图像中的表情相匹配的三维卡通形象，并在卡通形象展示界面同时显示当前人脸图像和三维卡通形象。可以理解的是，三维卡通形象，是基于目标用户的表情控制基础三维卡通形象变化得到。
如图4所示，为一个实施例中人脸扫描界面的示意图。其中，人脸扫描界面42中包括人脸检测区域4a，人脸检测区域4a即为第一预设采集区域。终端通过摄像装置采集目标用户的当前人脸图像的过程中，若检测目标用户的人脸是否在人脸检测区域4a中，则采集目标用户的当前人脸图像。若当前人脸图像中具有表情时，进一步根据目标用户的表情控制基础三维卡通形象变化，以得到变化后的三维卡通形象。
在一个实施例中，卡通形象展示界面包括第二预设采集区域和形象展示区域；当前人脸图像展示于第二预设采集区域内；三维卡通形象展示于形象展示区域；第二预设采集区域是卡通形象展示界面中的、且位于摄像视野范围内的区域。
可以理解，卡通形象展示界面可以包括第二预设采集区域和形象展示区域两部分，其中，第二预设采集区域，可以用于展示摄像装置所采集的在摄像视野范围内的画面；形象展示区域，用于展示所生成的三维卡通形象。
具体地，终端在人脸扫描界面中采集到目标用户的当前人脸图像，并基于基础三维卡通形象，生成与当前人脸图像中的表情相匹配的三维卡通形象后，则跳转至卡通形象展示界面，并在卡通形象展示界面中的第二预设采集区域显示目标用户的当前人脸图像，以及在卡通形象展示界面中的形象展示区域显示所生成的三维卡通形象。
如图5所示，为一个实施例中卡通形象展示界面的示意图。其中，卡通形象展示界面52中包括第二预设采集区域52a和形象展示区域5ab。终端则在第二预设采集区域52a中展示所采集的目标用户的当前人脸图像，在形象展示区域5ab中展示所生成的三维卡通形象。在其中一个实施例中，终端可以在第二预设采集区域52a中连续展示摄像装置实时采集的目标用户的人脸图像，并在形象展示区域5ab中，同步展示所生成的与目标用户的人脸图像中的表情相匹配的三维卡通形象。
本实施例中，通过在卡通形象展示界面中的第二预设采集区域和形象展示区域，分别同步显示目标用户的当前人脸图像和所生成的对应的三维卡通形象，能够有效地展示出与当前人脸图像中的表情相匹配的三维卡通形象，并在能够有效地在视觉上体现出生成的三维卡通形象，与真实的人脸图像中的表情匹配度较高。
在一个实施例中，当目标用户在摄像视野范围内发生表情变化时，跟随目标用户的表情变化，显示基于基础三维卡通形象变化得到的、保持与目标用户的表情同步的三维卡通形象，包括：当目标用户在第二预设采集区域内发生表情变化时，跟随目标用户的表情变化，在形象展示区域显示基于基础三维卡通形象变化得到的、与目标用户的表情保持同步的三维卡通形象。
终端可以通过摄像装置实时地采集连续的目标用户的人脸图像。例如，可以连续采集目标用户对应的人脸图像帧。
终端在采集目标用户的人脸图像的过程中，若目标用户在摄像视野范围内发生表情变化时，则实时采集表情变化后的当前人脸图像。并实时将当前人脸图像中的三维人脸表情特征映射至基础三维卡通形象中进行变形处理，以输出与当前人脸图像中的表情同步的三维卡通形象，并在卡通形象展示界面同步显示实时采集的当前人脸图像，以及实时输出的与目标用户的表情同步的三维卡通形象。
以图5中的卡通形象展示界面52中包括的第二预设采集区域52a和形象展示区域5ab为例，当在第二预设采集区域52a中采集的表情变化后的人脸图像后，则在形象展示区域5ab实时展示与该人脸图像中的表情同步的三维卡通形象。
由此终端则能够实时地采集目标用户的表情变化过程中的人脸图像，并跟随目标用户的表情变化，动态显示基于基础三维卡通形象变化得到的、保持与目标用户的表情同步的三维卡通形象，即可以展示出三维卡通形象的表情跟随目标用户的表情变化的三维卡通形象动画。
在其中一个实施例中，终端在构建并保存与真实的人脸图像对应的三维卡通形象后，用户还可以对生成的三维卡通形象进行自定义调整和装扮等。具体地，终端可以展示三维卡通形象调整界面，以在三维卡通形象调整界面中实现自定义调整三维卡通形象。如图6所示，为一个实施例中展示三维卡通形象调整界面的示意图。三维卡通形象调整界面62中包括调整预览区域62a和素材选择区域62b，其中，素材选择区域62b包括各种人脸部位和形象特征等相应的素材，用户可以在素材选择区域62b中选择相应的素材，添加至三维卡通形象中的相应部位，或对三维卡通形象中相应部位的素材进行替换，并在调整预览区域62a显示调整后的三维卡通形象。由此能够有效地实现对自动生成的三维卡通形象进行自定义调整，有效提高了三维卡通形象的可编辑性和适配性。
在其中一个实施例中，终端在构建并保存与真实的人脸图像对应的三维卡通形象后，终端还可以在用户卡通形象界面展示最终生成的完整的三维卡通形象。其中，完整的三维卡通形象可以包括面部形象以及身体结构装扮形象。如图7所示，为一个实施例中展示用户卡通形象界面的示意图。参照图7，用户卡通形象界面72中展示的完整的三维卡通形象72a则包括了面部形象以及身体结构装扮形象。
本实施例中，通过在同一卡通形象展示界面同步显示实时采集的当前人脸图像，以及实时输出的与目标用户的表情同步的三维卡通形象，由此能够有效地动态展示出与目标用户的人脸图像中的表情同步的、且与目标用户的表情高度匹配的三维卡通形象。
在一个实施例中，获取经过表情去除的基础三维卡通形象，包括：获取输入的人脸图像，生成与人脸图像对应的三维卡通形象；显示对三维卡通形象经过表情去除处理得到的基础三维卡通形象。
可以理解，所生成的三维卡通形象具有人脸图像中的人脸形象。其中，人脸图像，是指包括真实人脸的人脸图像。输入的人脸图像，可以是通过终端的摄像装置实时拍摄的人脸照片，也可以是终端从本地或互联网中获取预先采集的包括人脸的人脸图像。本实施例中的人脸图像，可以是任意表情和任意姿态的二维人脸图像。
终端可以首先获取人脸图像，然后基于人脸图像进行三维人脸重建处理，得到与人脸图像对应的三维人脸特征，然后将三维人脸特征映射至预设的三维卡通人脸模板中，得到与人脸图像对应的三维卡通人脸模型。
然后，终端则对三维卡通人脸模型添加人脸图像中的形象特征，并对三维卡通人脸模型进行表情去除处理，从而可以得到经过表情去除的基础三维卡通形象。
具体地，终端可以首先对三维卡通人脸模型添加人脸图像中的形象特征，得到对应的三维卡通形象后，再对三维卡通形象进行表情去除处理，从而得到经过表情去除的基础三维卡通形象。在另一个实施例中，终端也可以先对三维卡通人脸模型进行表情去除处理，得到经过表情去除的三维卡通人脸模型，然后将人脸图像中的形象特征，添加至经过表情去除的三维卡通人脸模型中，从而得到经过表情去除的基础三维卡通形象。
如图8所示，为一个实施例中生成经过表情去除的基础三维卡通形象的示意图。参照图8，终端获取初始的人脸图像82后，则基于人脸图像82进行三维人脸重建，以得到与人脸图像82对应的三维人脸特征和三维人脸模型84。然后，终端则将三维人脸特征映射至三维卡通人脸模板中，得到对应的三维卡通人脸模型，并对添加人脸图像中的形象特征，得到与人脸图像82对应的三维卡通形象86。终端进而对三维卡通形象86进行表情去除处理，从而得到经过表情去除的基础三维卡通形象86。
本实施例中，通过首先生成与人脸图像对应的三维卡通形象后，在对三维卡通形象进行表情去除处理，以得到经过表情去除的基础三维卡通形象，由此能够使得目标用户有效地对基础三维卡通形象进行表情驱动，从而得到对基础三维卡通形象变形，得到与目标用户的表情形象相匹配的三维卡通形象。
在一个实施例中，生成与人脸图像对应的三维卡通形象，包括：通过已训练的人脸特征预测网络，生成人脸图像对应的三维人脸特征；将三维人脸特征映射至三维卡通人脸模板中，得到三维卡通人脸模型；对三维卡通人脸模型添加人脸图像中的形象特征，生成与人脸图像对应的三维卡通形象。
可以理解，人脸特征预测网络，是经过训练的、具有预测二维的人脸图像对应的三维人脸特征能力的深度神经网络。其中，人脸特征预测网络可以是采用基于ResNet(深度残差卷积网络)的机器学习模型训练得到。在一些实施例中，人脸特征预测网络还可以采用基于CNN(Convolutional NeuralNetworks，卷积神经网络)、DenseNet(紧密卷积网络)、DPN(Dual Path Network，双通道卷积网络)等深度网络的机器学习模型训练得到，本申请实施例对此不作限定。
其中，三维人脸特征，是指三维人脸模型对应的特征，三维人脸特征具体可以包括三维人脸特征基向量和对应的特征值，特征值也即各个基向量的系数。人脸的基本属性特征包括形状、表情和纹理，同理，三维人脸特征可以包括三维人脸形状特征、三维人脸表情特征和三维人脸纹理特征。
可以理解，在基于二维的人脸图像重建三维人脸的过程中，通常采用三维的顶点来表示人脸。三维人脸模型的三维人脸特征可以在三维空间中进行匹配，并且可由多幅人脸正交基加权线性相加生成。每一个三维人脸模型，可以通过三维人脸形状向量、三维人脸表情向量和三维人脸纹理向量的线性叠加进行表示。
例如，三维空间中的每一个点(x,y,z)，都是由三维空间中三个方向的基量(1,0,0)、(0,1,0)、(0,0,1)加权相加所得，其权重分别为x、y、z。任意的三维人脸模型可以由数据集中的多个人脸模型进行加权组合得到。其中，预测三维人脸模型的三维人脸特征，实际上就是预测各个基向量的系数。预测出人脸图像对应的三维人脸特征后，则可以直接根据所得到的三维人脸特征重建出与人脸图像中的人脸相匹配的三维人脸模型。
终端可以预先利用大量的样本数据训练人脸特征预测网络，使得已训练的人脸特征预测网络具有预测二维的人脸图像对应的三维人脸特征的能力。
具体地，终端获取目标用户的当前人脸图像后，则对当前人脸图像进行特征提取，以提取当前人脸图像中的二维人脸特征。然后将二维人脸特征输入至已训练的人脸特征预测网络中，人脸特征预测网络则根据二维人脸特征，预测对应的三维人脸特征并输出。
其中，人脸特征预测网络在根据二维人脸特征，预测对应的三维人脸特征时，可以基于预先训练得到的预设三维人脸数据，预测二维人脸特征对应的三维人脸特征。其中，预设三维人脸数据，也即三维人脸先验数据，可以是利用大量的三维人脸数据进行拟合分析得到的三维仿真人脸模板以及对应的人脸形状基向量、人脸表情基向量、平均纹理以及纹理基向量。可以理解，三维仿真人脸模板，也可以是利用大量的三维人脸数据拟合分析得到的三维的平均脸模型。人脸特征预测网络在预测时，只需要预测与二维人脸特征对应的、在各人脸形状基向量、人脸表情基向量以及纹理基向量下相应的系数，从而能够得到与二维人脸特征对应的三维人脸特征。
终端进而将三维人脸特征映射至三维卡通人脸模板中，以生成与当前人脸图像对应的三维卡通人脸模型。终端还可以对人脸图像进行形象特征提取，以提取人脸图像中所具有的形象特征。
可以理解，形象特征，是指真实的人脸图像中的真实人脸所具有的形象特征，例如人脸图像中的用户具有的头发、胎记、痣、眉毛、眼睛、眼镜等与形象相关的特征。
然后，终端则对三维卡通人脸模型添加人脸图像中的形象特征，从而生成与人脸图像对应的三维卡通形象。由此能够精准有效地生成与人脸图像相似的三维卡通形象。
在一个实施例中，人脸特征预测网络经过模型训练步骤得到，模型训练步骤包括：获取样本数据；通过待训练的人脸特征预测网络，基于预设三维人脸数据和样本图像的二维人脸特征，预测样本图像对应的三维人脸特征以重建样本三维人脸；将样本三维人脸映射渲染至样本图像中，得到二维映射图像；根据样本三维人脸的关键点与人脸关键点的差异，确定第一损失；根据二维映射图像与样本图像之间的像素差异，确定第二损失；根据第一损失和第二损失，调整人脸特征预测网络的参数并继续训练，直至满足训练停止条件，得到训练好的人脸特征预测网络。
其中，样本数据中包括样本图像、以及样本图像对应的人脸关键点。样本图像，是二维的包括真实人脸的图像；样本图像对应的人脸关键点，是指对样本图像进行人脸关键点检测处理，得到的人脸关键点。
可以理解，在训练人脸特征预测网络之前，需要获取大量的样本三维人脸数据，来训练得到三维人脸先验数据，也即预设三维人脸数据。具体地，可以从预设数据库中获取预设数量的大量三维人脸数据，也可以获取与预先采集的大量三维人脸数据。
例如，具体可以从特定的BFM(Basel Face Model，一种三维人脸模型数据集)数据库中获取1000个三维人脸数据；还获取预先采集的1000个三维人脸数据，由此得到2000个三维人脸数据，用来构建所需的样本三维人脸数据。其中，每个三维人脸数据中包括多个顶点，如53215个顶点。终端可以对获取的大量三维人脸数据进行预处理，以构建具有统一顶点和网络拓扑结构的模型数据集。
其中，样本三维人脸数据中包括经过特征分析处理后的三维人脸特征数据，例如，特征分析处理具体可以为PCA(Principal Component Analysis，即主成分分析)处理。处理后的三维人脸特征数据，可以用如下表达式表示：
S3D＝M+V*Enew；
其中，S3D表示三维人脸数据，M表示平均脸数据，V表示三维人脸形状特征向量，E表示三维人脸形状特征向量对应的特征值。具体可以通过对特征值进行参数化，例如可以通过随机采样取得特征值的正负标准差，来重建出的三维人脸结构数据。
首先对从特定数据库获取的三维人脸结构数据中选取预设数量的顶点，例如从头部网格上选取32000个面部区域的网格顶点，并去除脖子和耳朵区域的顶点数据，以获得由32000个顶点组成的简单连接的面部拓扑结构。
然后获取预设数据库中的中性面部模型，例如具体可以从BFM数据库中获取中性面部模型。然后根据预先采集的三维人脸数据，对中性面部模型进行变形处理，得到相应的变形后的三维人脸模型数据。例如，可以通过非刚性配准将中性面部模型变形为与所采集得到的1000个三维人脸模型数据相对应，从而得到与特定数据库中的1000个面部模型的拓扑结构一致的三维平均脸模型数据，由此能够构建得到包括2000个三维平均脸模型数据的人脸数据集。
例如，终端可以从预设数据集中获取平均脸部模型，例如具体可以从FACEWAREHOUSE数据库中获取平均脸部模型。具体可以采用三角网格的形变迁移方式，将平均脸部模型的对应的多个表情模型，例如具体为46个表情模型，迁移至2000个中性脸部模型中，由此针对每个三维人脸模型数据构建出对应的47个表情基底。通过这种方式，对人脸数据集中的2000个三维平均脸模型数据进行变形处理后，每一个三维平均脸模型数据都具有对应的47个表情基底。通过对数据集中的所有顶点数据采用普氏分析方式进行对齐。此外，BFM数据库中的中性面部模型还包括199个主要成分来表示反照率信息，具体可以为跨越表面反照率空间，即反照率分量。由于BFM数据库中的中性面部模型，与FACEWAREHOUSE数据库中的平均脸部的网格连接性不同，也就是三维人脸网格模型的结构不同，这些主要反照率信息无法直接用于新生成的三维人脸模型数据中。因此，还可以使用非刚性配准方式确定的对应关系，将中性面部模型的反照率信息传输到新生成的三维人脸模型数据的网格表示中，从而为对人脸数据集中的每个三维平均脸模型数据构造对应的多个主要反照率分量，例如具体可以为199个主要反照率分量。由此构建得到包括2000个三维平均脸模型数据，以及每个三维平均脸模型数据包括47个表情基底的人脸数据集。
然后，训练三维平均脸模型数据对应的三维人脸特征。其中，三维人脸特征可以包括三维人脸形状向量、三维人脸表情向量和纹理表情向量。
具体地，首先根据人脸数据集中的多个三维平均脸模型数据，计算所有三维人脸模型数据所对应的平均脸模型。可以理解，平均脸模型即为三维仿真人脸模板。其中，三维仿真人脸模板的表达式可以如下：
其中，
表示为三维仿真人脸模板，Si表示人脸数据集中的各个三维平均脸模型数据，N表示人脸数据集中三维平均模型数据的数量，例如N可以为2000。
然后，再将人脸数据集中的各个三维平均脸模型数据，减去三维仿真人脸模板数据，得到每个三维平均脸模型数据与三维仿真人脸模板之间的差异。例如，可以采用如下表达式表示：
其中，△Si表示各三维平均脸模型数据与三维仿真人脸模板之间的差异。
然后，可以采用主成分分析对差异数据进行数据压缩处理，得到各三维平均脸模型数据对应的人脸形状的协方差矩阵，以及对应的协方差矩阵的特征向量所构成的正交基底，具体可以采用如下表达式表示：
其中，α＝[α1,α2,......αm-1]T；
其中，Smodel表示各三维平均脸模型数据对应的正交基底；Si表示人脸形状协方差矩阵对应的协方差矩阵特征向量；α为人脸形状基系数；p(α)为α的概率；σ为人脸形状协方差矩阵的特征值。i表示人脸数据集中的第几个三维平均脸模型数据，m表示特征值个数。
由此能够得到人脸数据集中，各三维平均脸模型数据所构成的三维仿真人脸模板
人脸形状特征向量集合Vid＝{S1,S2,......S3n}和对应的特征值集合{σs,1,σs,2,......σs,3n}，其中n表示各三维平均脸模型数据中顶点的数量。
同理，为了得到表情拟合数据，针对人脸数据集中各三维平均脸模型数据，对每个三维平均脸模型数据构建多个表情基，例如具体可为47个表情基。与上述构建人脸形状特征向量集合的方式类似，构建每个三维平均脸模型数据对应的人脸表情基向量以及人脸纹理向量。
终端构建出所需的三维平均脸模型数据对应的人脸形状特征向量、人脸表情基向量以及人脸纹理向量后，则根据这些三维平均脸模型数据构建人脸特征预测网络，并对人脸特征预测网络进行训练。
具体地，终端可以获取用于训练人脸特征预测网络的样本数据。其中，样本数据中包括二维的样本图像，以及样本图像对应的人脸关键点。可以理解，样本图像对应的人脸关键点，可以是预先对样本图像进行关键点检测处理，得到的人脸关键点。其中，样本图像和人脸关键点可以作为训练标签。具体可以采用无监督训练方式，对人脸特征预测网络进行训练。
终端则将样本图像输入至待训练的人脸特征预测网络中，也可以将从样本图像中提取的二维人脸特征输入至待训练的人脸特征预测网络中。然后通过人脸特征预测网络基于预先构建的预设三维人脸数据，根据样本图像中的二维人脸特征，预测与样本图像对应的三维人脸特征。其中，三维人脸特征可以包括人脸形状参数、人脸表情系数、人脸纹理系数、姿态参数、纹理参数以及光照参数。并根据预测得到的三维人脸特征构建对应的样本三维人脸。其中，样本三维人脸也具有人脸关键点。
然后，终端则将生成的样本三维人脸投影为二维平面，然后将投影后的二维的样本三维人脸映射渲染至对应的二维的样本图像中。例如，具体可以采用可微分渲染器将重建出的样本三维人脸映射到二维平面，具体可以根据样本三维人脸的人脸关键点和样本图像对应的人脸关键点之间的对应关系，将样本三维人脸映射渲染至对应的二维的样本图像中，得到映射后的二维映射图像。
终端进而将样本三维人脸的关键点与样本图像对应的人脸关键点进行比对，根据人脸关键点之间的差异，确定第一损失，即关键点损失。同时，终端还将二维映射图像与样本图像进行比对，以确定两者之间的像素差异，从而根据像素差异确定第二损失，即像素一致性损失，由此能够获得像素级别的监督信号。然后终端则根据第一损失和第二损失，调整人脸特征预测网络的参数并继续训练。直至满足训练停止条件时，则停止训练，从而得到训练好的人脸特征预测网络。
本实施例中，在训练人脸特征预测网络的过程中，利用人脸特征预测网络预测出样本图像对应的三维人脸特征并重建样本三维人脸后，通过将样本三维人脸映射渲染至二维的样本图像中得到二维映射图像后，计算样本三维人脸的关键点与人脸关键点的差异所对应第一损失，以及计算二维映射图像与样本图像之间的像素差异所对应第二损失，然后根据第一损失和第二损失，调整人脸特征预测网络的参数并继续训练，由此能够有效地利用人脸关键点以及像素级别的监督信号对人脸特征预测网络进行训练，从而能够有效提高人脸特征预测网络的准确性。
在一个实施例中，上述模型训练步骤还包括：根据二维映射图像与人脸分割结果之间的差异，确定第三损失。根据第一损失和第二损失，调整人脸特征预测网络的参数并继续训练的步骤，包括：根据第一损失、第二损失以及第三损失，调整人脸特征预测网络的参数并继续训练。
其中，样本数据中还包括样本图像对应的人脸分割结果。可以理解，样本图像对应的人脸分割结果，可以是预先对样本图像进行分割处理得到的，并将样本图像对应的人脸分割结果作为训练数据中的训练标签。
如图9所示，为一个实施例中训练人脸特征预测网络的流程示意图。终端在对人脸特征预测网络进行训练的过程中，利用人脸特征预测网络，预测出与样本图像对应的三维人脸特征并重建对应的样本三维人脸后，并确定第一损失和第二损失后，还将二维映射图像与人脸分割结果进行比对，计算二维映射图像中的人脸区域与人脸分割结果中的人脸区域之间的差异，以确定第三损失，及人脸区域损失。终端进而根据第一损失、第二损失以及第三损失，调整人脸特征预测网络的参数并继续训练。直至满足训练停止条件时，则停止训练，从而得到训练好的人脸特征预测网络。
本实施例中，在训练人脸特征预测网络的过程中，通过计算样本三维人脸的关键点与人脸关键点的差异所对应第一损失、二维映射图像与样本图像之间的像素差异所对应第二损失，以及二维映射图像与人脸分割结果的差异所对应的第三损失，然后根据这三种损失，调整人脸特征预测网络的参数，由此能够有效地利用人脸关键点、像素级别以及人脸区域的监督信号对人脸特征预测网络进行训练，从而能够有效提高人脸特征预测网络的准确性。
在一个实施例中，将三维人脸特征映射至三维卡通人脸模板中，得到三维卡通人脸模型，包括：获取与三维卡通人脸模板对应的人脸特征差异矩阵；根据人脸特征差异矩阵对三维人脸特征进行处理；将处理后的三维人脸特征映射至三维卡通人脸模板中，得到三维卡通人脸模型。
其中，三维卡通人脸模板，是指预设的通用的卡通人脸模型，也即三维卡通平均脸模型，具体可以是通过对大量的仿真人脸模型所对应的卡通人脸进行平均处理，得到的一个三维卡通平均脸模型。可以理解的是，三维仿真人脸模板与三维仿真人脸模板，都是具有拓扑结构的三维的人脸模型。其中，三维仿真人脸模板与三维仿真人脸模板之间具有相对应的索引关键点。
可以理解，与三维卡通人脸模板对应的人脸特征差异矩阵，是指针对三维卡通人脸模板进行变形得到的多维人脸特征，分别与三维卡通人脸模板的人脸特征之间的特征差异。与三维卡通人脸模板对应的人脸特征差异矩阵中也可以包括索引关键点。
其中，三维人脸特征，可以是基于三维仿真人脸模板对应的三维人脸先验数据，根据人脸图像中的二维人脸特征预测得到的，由此得到的三维人脸特征中也可以包括索引关键点。因此，终端则可以基于索引关键点，根据人脸特征差异矩阵对三维人脸特征进行处理，并将处理后的三维人脸特征映射至三维卡通人脸模板中，从而得到与人脸图像对应的三维卡通人脸模型。
为了将得到的三维人脸特征，直接映射到三维卡通人脸模板上，则可以预先构建出与三维卡通人脸模板对应的多维的三维人脸形状向量基、多维的三维人脸表情向量基。
具体地，终端基于大量的样本三维人脸数据构建得到三维仿真人脸模板后，首先构建与三维仿真人脸模板对应的多维的三维人脸形状向量基、多维的三维人脸表情向量基。
可以理解，每一个维度的三维人脸形状向量基可以为一个对应的三维人脸形状模型；同理，每一个维度的三维人脸表情向量基可以为一个对应的三维人脸表情模型。例如，具体可以为80维的三维人脸形状向量基和64维的三维人脸表情向量基。即三维仿真人脸模板和三维卡通人脸模板，分别都包括对应的80维的三维人脸形状向量基和64维的三维人脸表情向量基。
终端首先构建与三维仿真人脸模板对应的多维的三维人脸形状向量基，具体地可以对三维仿真人脸模板的三维人脸形状基主成分向量，进行模型化处理，以生成对应三维人脸形状向量的80个三维人脸形状模型。具体表达式可以为：
a＝[a1,...am-1]T,b＝[b1,...bm-1]T；
其中，Snew表示新构建的三维人脸形状模型；
表示三维仿真人脸模板，Vid表示人脸形状向量机；i表示第几个维度，m表示人脸形状基向量的个数，例如可为80；v表示顶点坐标；
表示三维仿真人脸模板的顶点坐标、t表示纹理标注；
表示平均脸纹理数据；b表示对应纹理特征向量数据。由此就能够得到对应人脸形状向量对应的多个维度的三维人脸形状模型，例如具体可以为80个维度的三维人脸形状模型。
同理，还可以将三维人脸特征中的人脸表情向量机对应的主成分向量进行模型化，能够得到对应人脸表情向量对应的多个维度的三维人脸表情模型，例如具体可以为64个维度的三维人脸表情模型。
得到与三维仿真人脸模板对应的80个三维人脸形状模型和64个三维人脸表情模型后，则采用变形迁移来生成与三维卡通人脸模板对应的80个三维卡通人脸形状模型和64个三维卡通人脸表情模型。
可以理解，变形迁移，表示通过变形传递使用变形梯度，将源模型变形传递给目标模型。其中，源模型为三维仿真人脸模板对应的80个三维人脸形状模型和64个三维人脸表情模型，目标模型为三维卡通人脸模板对应的80个三维卡通人脸形状模型和64个三维卡通人脸表情模型。变形迁移需要预先在源模型和目标模型上标记一组相应的关键点，具体可以为索引关键点。可以预先在三维仿真人脸模板和三维卡通人脸模板标记对应的索引关键点。如图10所示，为一个实施例中三维仿真人脸模板和三维卡通人脸模板对应的索引关键点的示意图，参照图10，三维仿真人脸模板10(A)中包括索引关键点，具体可以为人脸关键点。三维卡通人脸模板10(B)具有与三维仿真人脸模板10(A)相对应的索引关键点。
终端则采用变形迁移算法，将三维仿真人脸模板对应的80个三维人脸形状模型和64个三维人脸表情模型，迁移至三维卡通人脸模板对应的80个三维卡通人脸形状模型和64个三维卡通人脸表情模型中。
然后，终端进而将变形迁移后的80个三维卡通人脸形状模型和64个三维卡通人脸表情模型，分别与三维卡通人脸模板中的顶点数据相减，从而得到人脸特征差异矩阵。人脸特征差异矩阵包括80维的卡通人脸形状向量基，以及60维的卡通人脸表情向量基。其中，人脸特征差异矩阵可以是预先构建得到的先验数据。
终端在生成与人脸图像对应的三维卡通人脸时，可以直接基于三维卡通人脸模板对应的人脸特征差异矩阵，将人脸图像对应的三维人脸特征映射至三维卡通人脸模板中，以生成对应的三维人脸模型。
其中，人脸特征差异矩阵包括80维的卡通人脸形状向量基Si(i＝0,1,2…80)，以及60维的卡通人脸表情向量基ui(i＝0,1…64)。具体地，终端获得人脸图像对应的三维人脸特征后，则可以通过如下表达式生成与输入的人脸图像相似的三维卡通人脸模型：
其中，S表示所生成的三维卡通人脸模型，
三维卡通人脸模板，Si表示卡通人脸形状向量基，ui表示卡通人脸表情向量基，m表示卡通人脸形状向量基的维数，p表示卡通人脸表情向量基的维数，αi表示三维人脸特征中的人脸形象基系数，βi表示三维人脸特征中的人脸表情基系数。由此能够精准有效地生成与输入的人脸图像相似的三维卡通人脸模型。
如图11所示，为一个实施例中生成三维卡通人脸模型的示意图。参照图11，终端获取初始的人脸图像11a后，则基于人脸图像11a进行三维人脸重建，以得到与人脸图像11a对应的三维人脸特征，以及对应的三维人脸模型11b。然后，终端则将三维人脸特征映射至三维卡通人脸模板中，得到对应的三维卡通人脸模型11c。
本实施例中，通过预先对三维仿真人脸模板对应的多维的三维人脸形状模型和三维人脸表情模型进行变形迁移，以构建与三维卡通人脸模板对应的多维的三维卡通人脸形状模型和三维卡通人脸表情模型，以生成与三维卡通人脸模板对应的人脸特征差异矩阵的先验数据。使得在生成与人脸图像对应的三维卡通人脸时，可以直接基于三维卡通人脸模板对应的人脸特征差异矩阵，将人脸图像对应的三维人脸特征映射至三维卡通人脸模板中，以生成对应的三维人脸模型。由此在生成与人脸图像对应的三维卡通人脸时，无需在对三维人脸模型进行变形迁移处理，大大提高了生成与人脸图像对应的三维人脸模型的效率，并且能够有效保证生成的三维人脸模型的精度。
在一个实施例中，对三维卡通人脸模型添加人脸图像中的形象特征，生成与人脸图像对应的三维卡通形象，包括：从人脸图像中提取人脸关键点；基于人脸关键点，提取人脸图像中各局部形象对应的形象区域；分别通过与各局部形象对应的识别网络，识别各形象区域的形象特征；将形象特征添加至三维卡通人脸模型中，得到三维卡通形象。
其中，人脸关键点，可以是指人脸中的关键部位所对应的关键点，例如五官部位，具体可以包括眉毛、眼睛、鼻子和嘴唇等中的至少一个部位对应的关键点。局部形象，可以是指人脸中的局部部位对应的形象，例如性别、头发、眉毛、眼睛、眼镜、鼻子和嘴唇等形象。对应的形象特征，则可以包括性别特征、头发特征、眉毛特征、眼睛特征、眼镜特征、鼻子特征和嘴唇特征等。
具体地，终端还对人脸图像进行关键点检测，以提取人脸图像中的人脸关键点。然后，终端则根据关键点，分别提取人脸图像中各个局部形象对应的形象区域。例如，具体可以根据人脸关键点分割出与各个局部形象对应的形象区域。形象区域，即为人脸图像中与各个局部形象对应的区域。
终端进而分别通过与各局部形象对应的识别网络，识别各形象区域的形象特征。其中，各个局部形象对应的识别网络，是预先训练的、具有各局部形象特征提取和识别能力的神经网络模型。其中，各个局部形象对应的识别网络，可以是采用基于CNN(Convolutional Neural Networks，卷积神经网络)、ResNet(深度残差卷积网络)、DenseNet(紧密卷积网络)、DPN(Dual Path Network，双通道卷积网络)等网络通过模型训练得到的机器学习模型。
例如，各个局部形象对应的识别网络，包括性别识别网络、发型识别网络、眼睛识别网络、眼镜识别网络、眉毛识别网络等。
终端则分别将各局部形象对应的形象区域，输入至对应的识别网络中进行识别分类，以得到对应的形象特征。然后根据识别出的形象特征，获取与形象特征相匹配的卡通形象部件，分别添加至三维卡通人脸模型中，从而得到三维卡通形象。
例如，形象特征具体可以包括性别、头发类别、双眼皮类别、眉毛类别、眼镜类别。其中，性别类别包括男和女。头发类别可以包括男发型，其中可以包括板寸发型、毛寸发型、背头发型、分头发型、朋克发型、皮卡路发型、飞机头、侧分背头，以及女发型，其中可以包括长发、短发、中短发、卷发、大波浪、丸子头。双眼皮类别可以包括无双眼皮和有双眼皮，以及强度值，如可以为0～1，可以通过识别网络输出0～1的参数。眼镜类别可以包括黑框圆形、黑框方形、浅框圆形、浅框方形、墨镜圆形、墨镜方形等。
然后分别利用对应不同的识别网络进行识别分类，以获得与人脸图像对应的形象特征。具体地，终端对输入人脸图片进行关键点检测，例如可以得到256个人脸关键点。然后根据人脸关键点，裁剪与各局部形象对应的形象区域的图像。并将裁剪的图像缩放到预设尺寸，例如具体可为224*224。然后对缩放后的图像进行归一化和减均值操作后，分别输入与各局部形象对应的识别网络中去，分别对特定形象区域的图像进行特征提取，得到对应每个部分的特征向量，再通过特定的目前网络对得到的特征向量进行拼接得到对应的向量，最后通过卷积网络的分类层对目标部分的类别进行分类，分别得到各局部形象对应的形象特征。例如，可以包括性别特征、头发特征、双眼皮特征、眉毛特征、眼镜特征等对应的类别属性。
在其中一个实施例中，终端得到的与人脸图像对应的三维人脸特征中，还包括纹理系数，纹理系数即人脸皮肤的参数。终端进而根据纹理系数，对所生成的三维卡通人脸模型添加与纹理系数对应的纹理肤色信息，使得生成的三维卡通形象与人脸图像中的人脸纹理和肤色更加匹配。具体可以通过如下公式得到三维人脸对应的纹理图片：
其中，Tg表示需要生成的纹理图片，
表示平均纹理，Ti为纹理特征向量，δ为三维人脸特征中的纹理系数。通过对纹理图片提取均值和方差后，则可以在预设的卡通形象的肤色色卡中去查找相匹配的纹理肤色。其中，卡通形象的肤色色卡对应了各种纹理肤色信息。如图12所示，为一个实施例中卡通形象的肤色色卡的示意图。其中，各种不同的肤色特征，可以通过颜色深浅度区分。图12中分别展示了十种不同肤色特征的肤色色卡，即分别对应十种不同的纹理肤色信息。然后将纹理肤色信息映射到所生成的三维卡通人脸模型中，从而生成与人脸图像中的人脸纹理和肤色相匹配的三维卡通形象。
在其中一个实施例中，卡通形象的肤色色卡对应有的映射表，映射表中存储了各种卡通形象的肤色色卡与卡通形象的纹理肤色信息之间的映射关系。终端根据三维人脸特征中的纹理系数得到对应的纹理图片后，则将得到纹理图片与预设的多种卡通形象的肤色色卡进行比对，以在卡通形象的肤色色卡中去查找最相近的肤色，具体可以根据像素颜色值进行比对，将颜色值最接近的卡通形象的肤色色卡，确定为纹理图片相匹配的肤色色卡。然后终端则根据得到的相匹配的肤色色卡，在映射表中获取与该肤色色卡对应的卡通形象的纹理肤色信息。然后则将获取的卡通形象的纹理肤色信息，映射渲染至三维卡通人脸模型上。由此能够通过映射表的形式，把当前用户的人脸皮肤的颜色映射到三维卡通人脸模型上面，从而能够更加精准地生成与当前用户相似的三维卡通形象。
在其中一个实施例中，终端还可以对生成的三维卡通人脸模型添加眼睫毛形象特征。具体地，终端可以获取预设的平均眼睫毛模型，然后根据所生成的三维卡通人脸模型的眼睛特征，对平均眼睫毛模型进行变形处理，以得到与眼睛特征相匹配的眼睫毛模型，并添加至三维卡通人脸模型中。例如，具体可以采用网格变形算法对平均眼睫毛模型的进行形变处理。
具体地，可以预先在三维卡通人脸模板的眼睫毛对应位置，以及平均眼睫毛模型对应位置分别标注相应数量的索引关键点，例如具体可标注16个关键点坐标索引。然后根据当前的所生成的三维卡通人脸模型中的眼睫毛顶点，即索引关键点的坐标，对平均眼睫毛模型进行形变处理，形变目标就是将平均眼睫毛模型中的索引关键的原始坐标顶点，形变至三维卡通人脸模型对应的眼睫毛顶点。例如，可以采用最小化能力函数对眼睛毛顶点数据进行变形：
E(Ci,C’i)＝∑j∈N(i)wij||(p’i-p’j)-Ri(pi-pj)||2；
其中，Ci和C’i分别表示变形后前模型顶点pi和变形后模型顶点p’i对应的变形单元，N(i)表示模型顶点pi的1-邻域点的索引，而рj和p'j分别表示模型顶点pi和模型顶点p’i的1-邻域的顶点，Ri表示从Ci到Ci'的最优旋转矩阵，wij表示边eij＝(pi,pj)的权重。
例如，如图13所示，为一个实施例中进行眼睫毛形变处理的示意图，其中，平均眼睫毛模型13(A)中包括眼睫毛顶点pi和眼睫毛顶点рj，通过旋转矩阵Ri对平均眼睫毛模型13(A)进行形变处理后，得到形变后的眼睫毛模型13(B)以及形变后的眼睫毛顶点p’i和眼睫毛顶点p'j。由此能够准确地将平均眼睫毛模型的眼睫毛顶点坐标变形到与三维卡通人脸模型相匹配的位置，从而能够精准地生成与三维卡通人脸模型相匹配的眼睫毛。
在一个实施例中，显示对三维卡通形象经过表情去除处理得到的基础三维卡通形象，包括：对三维卡通形象中的表情系数进行调整，使得三维卡通形象的表情系数与中性表情系数相符，得到经过表情去除的基础三维卡通形象；显示经过表情去除得到的基础三维卡通形象。
其中，表情系数，是指三维卡通形象的卡通人脸表情特征对应的系数。中性表情系数，是指具有中性表情的三维卡通人脸模板的卡通人脸表情特征对应的系数，中性表情系数可以是利用大量样本三维卡通人脸数据训练得到的先验数据。
可以理解，对三维卡通形象进行表情去除处理，实际上就是将三维卡通形象中的表情系数，调整与中性表情系数相符的过程。
终端生成与人脸图像对应的三维卡通形象后，则对三维卡通形象进行表情去除处理。具体地，终端根据预设的中性表情系数对三维卡通形象中的表情系数进行调整，使得三维卡通形象的表情系数与中性表情系数相符，得到经过表情去除的基础三维卡通形象，并显示经过表情去除得到的基础三维卡通形象。
在其中一个实施例中，终端还可以根据预设的中性表情系数对三维卡通形象中的表情系数进行调整，得到调整后的表情系数，然后根据调整后的表情系数对三维卡通形象进行变形处理，以生成经过表情去除的基础三维卡通形象。
可以理解，由于所生成的三维卡通形象须为中性无表情的，因此，可以训练一个表情去除模型，以对三维卡通形象进行表情去除处理。具体可以采用PCA主成分分析法，对三维卡通形象进行表情系数反推重建，以对三维卡通形象进行表情去除处理。
其中，可以预先生成三维卡通基底数据和三维卡通人脸数据形状基底。首先构建大量的三维卡通人脸数据集，例如，可以从预设数据库中去提取大量人脸对应的人脸特征，例如具体可为一百万个人脸。然后对这一百万个人脸的人脸特征进行聚类，聚类得到5000个人脸类别。其中，可以认为这个5000个人脸包含大部分脸型。然后，从每一个人脸类别中挑选出最有代表性的样本人脸图像。接着，针对这5000张样本人脸图像，分别生成对应的5000个三维人脸网格模型。然后通过分别对这5000个三维人脸网格模型进行变形迁移，生成5000个对应的三维卡通人脸模型。其中，生成的三维卡通人脸模型可能存在着嘴巴张开的样本，因此对三维卡通人脸模型中上下嘴巴对应的关键点通过使用网格变形算法，对所有存在嘴巴张开的样本进行了闭嘴处理，由此构建得到完整的三维卡通人脸数据集。
然后，进一步对三维卡通人脸数据集中所有的三维卡通人脸模型对应的顶点数据，进行PCA分析处理，以生成对应的三维卡通人脸模板，即平均卡通人脸模型
以及平均卡通人脸模型对应的特征向量矩阵Cid。其中，所生成的三维卡通人脸模板则具有中性表情系数。
得到三维卡通人脸模板和对应的特征向量矩阵后，则只需反推求得三维卡通形象对应的表情系数，就可以反推得到中性表情的卡通人脸形象。具体表达式可以如下：
其中，Cnew表示需要生成的去除表情的三维卡通形象；
表示三维卡通平均脸；Cid表示三维卡通人脸模板对应的特征向量矩阵。
对于三维卡通形象对应的中性表情系数的求解，可以采用如下最小化公式来得到：
其中，S表示所生成的三维卡通形象；
为三维卡通人脸模板；Cid表示三维卡通人脸模板对应的特征向量矩阵；α表示需要求解的三维卡通形象的表情系数；92表示对所有卡通模型数据进行主成分分析处理后所保留的向量维度。
本实施例中，由于卡通人脸训练数据都是无表情的三维卡通人脸数据，因此通过大量三维卡通人脸数据对应的中性表情系数，去反推三维卡通形象的表情系数，则能够使得三维卡通形象的表情系数与中性表情系数相符，从而能够得到的中性表情的三维卡通形象。
在一个实施例中，上述三维卡通形象处理方法还包括：生成与基础三维卡通形象对应的多个卡通人脸表情基。当目标用户在摄像视野范围内、且目标用户具有表情时，显示基于基础三维卡通形象变化得到的三维卡通形象，包括：当目标用户在摄像视野范围内、且目标用户具有表情时，获取目标用户的人脸图像；对人脸图像进行三维重建处理，得到对应的三维人脸表情特征；根据卡通人脸表情基对三维人脸表情特征进行处理；将处理后的三维人脸表情特征映射至基础三维卡通形象中，得到与目标用户的表情相匹配的三维卡通形象并展示。
其中，三维人脸表情特征，可以是指三维人脸中与表情相关的特征。卡通人脸表情基，是指按照预设策略对基础三维卡通形象进行表情变换，得到的具有相应表情的卡通人脸基底模型，一个卡通人脸表情基为一个卡通人脸基底模型。而三维卡通形象是根据目标用户的表情对基础三维卡通形象进行表情变换得到的，所以，卡通人脸表情基与三维卡通形象是不同的指代。
终端获取经过表情去除的基础三维卡通形象后，还针对基础三维卡通形象生成与基础三维卡通形象对应的多个卡通人脸表情基。其中，多个卡通人脸表情基，可以是采用不同方式对基础三维卡通形象进行形变处理，所生成的多个卡通人脸表情基底模型。
具体地，为了能够对基础三维卡通形象进行表情变换，例如眼睛变大、嘴巴变厚、脸型变瘦等表情变换，可以针对预设的三维卡通人脸模板，生成对应的多个卡通人脸表情基。例如，可以生成50个与三维卡通人脸模板对应的卡通人脸表情基底模型。其中，三维卡通人脸模板可以由这个50个卡通人脸表情基底模型通过线性组合加权得到。具体地，可以通过三维顶点的系数反推算法，来求解这50个卡通人脸表情基底模型。例如，可以通过求解最小二乘算法，来计算50个卡通人脸表情基底对应的50个表情系数，具体可以采用如下表达式：
其中，B表示50个卡通人脸表情基底数据；Sshape表示三维卡通人脸模板的顶点数据；αid表示50个卡通人脸表情基底对应的表情系数，其中，αid(id＝1,2..50)。由此就可以通过对这50个卡通人脸表情基底进行任意的操作，以对基础三维卡通形象的来改变用户卡通脸部的形状。
如图14所示，为一个实施例中三维卡通人脸模板对应的多个卡通人脸表情基底的示意图。其中，这50个卡通人脸表情基底可以是预先构建好的模型，例如可以是分别代表只有嘴巴动、眼睛动、鼻子动等解耦比较干净的基底模型。通过拟合这50个卡通人脸表情基底对应的50个表情系数，就可以复原出原始的卡通形象。
可以理解，通过先去除表情后得到无表情的基础三维卡通形象后，然后再通过这50个表情模型数据反推的，求得50个反推系数，这样用户就可以通过操作50个卡通人脸表情基底对应的表情系数，来对基础三维卡通形象的表情进行变形，就可以驱动基础三维卡通形象的表情变化。
终端获得经过表情去除的基础三维卡通形象后，还针对基础三维卡通形象生成与基础三维卡通形象对应的多个卡通人脸表情基。具体地，终端可以对针对基础三维卡通形象，生成对应的51个卡通人脸表情基。然后计算每个卡通人脸表情基与三维卡通人脸模板之间的差异，例如具体可以将每个卡通人脸表情基减去三维卡通人脸模板的顶点坐标，得到每个卡通人脸表情基和三维卡通人脸模板之间的差值向量。
具体地，当目标用户在摄像视野范围内、且目标用户具有表情时，终端则获取目标用户的人脸图像。然后终端则对目标用户的人脸图像进行三维重建处理，以提取人脸图像对应的三维人脸特征。具体地，三维人脸表情特征，可以包括人脸缩放参数、人脸形状旋转矩阵、表情基系数以及偏移向量。
然后，终端则根据卡通人脸表情基对三维人脸表情特征进行处理，将处理后的三维人脸表情特征映射至基础三维卡通形象中，就能够得到与目标用户的表情相匹配的三维卡通形象并展示。具体地，可以通过如下公式，将三维人脸表情特征映射至基础三维卡通形象中：
其中，S表示卡通人脸表情驱动之后的三维卡通形象；S0表示基础三维卡通形象；Si表示每个卡通人脸表情基与三维卡通人脸模板之间的差值向量，其中，Si(i0,i1,i2…i50)；a表示人脸缩放参数；P表示人脸形状旋转矩阵；w表示表情基系数，t表示偏移向量。由此就可以生成与目标用户的人脸图像中的表情相匹配的三维卡通形象。
本实施例中，通过生成与基础三维卡通形象对应的多个卡通人脸表情基，然后根据多个卡通人脸表情基分别与三维卡通人脸模板之间的差值向量，对目标用户的人脸图像对应的三维人脸表情特征进行处理，将处理后的三维人脸表情特征映射至基础三维卡通形象中，由此使得基础三维卡通形象中的表情形象变换为目标用户的表情，从而能够精准地生成与目标用户的表情相匹配的三维卡通形象。
在一个具体的实施例中，如图15所示，为一个实施例生成与目标用户的表情相匹配的三维卡通形象的流程示意图。终端首先可以获取初始的人脸图像，然后对初始的人脸图像进行三维人脸重建，以获得包括人脸状系数、人脸表情系数和纹理系数的三维人脸特征。然后获取根据基于三维人脸主成分向量预先构建的三维仿真人脸模板以及对应的三维卡通人脸模板，经过变形迁移处理得到的三维卡通人脸模板对应的人脸特征差异矩阵，即卡通人脸先验知识。然后根据人脸特征差异矩阵对三维人脸特征进行处理，将处理后的三维人脸特征映射至所述三维卡通人脸模板中，从而得到三维卡通人脸模型。
终端同时还对初始的人脸图像进行人脸检测、性别检测和发型分割，以及分别识别人脸图像中的形象特征，然后对三维卡通人脸模型添加对应的形象特征，还可以对三维卡通人脸模型进行五官优化，例如还对三维卡通人脸模型添加眼睫毛模型等，从而生成与人脸图像对应的三维卡通形象。然后终端则通过对三维卡通形象进行表情系数反推重建，以对三维卡通形象中的表情系数进行调整，使得三维卡通形象的表情系数与中性表情系数相符，由此对三维卡通形象进行表情去除处理，其中，终端还可以根据人脸图像对应的纹理系数对三维卡通形象添加对应的纹理肤色特征以进行纹理重建，从而得到经过表情去除的基础三维卡通形象。
终端进而可以采集目标用户的实时人脸图像，具体地，当目标用户在摄像视野范围内、且目标用户具有表情时，则采集目标用户的实时人脸图像，然后对实时人脸图像进行三维人脸重建，以提取实时人脸图像对应的三维人脸表情系数，然后将三维人脸表情系数映射至基础三维卡通形象中，从而可以将基础三维卡通形象中的表情形象变换为与目标用户的表情相匹配，从而生成与目标用户的表情相匹配的三维卡通形象。
本申请还提供一种应用场景，该应用场景应用上述的三维卡通形象处理方法，具体可以应用于社交应用、即时通讯应用以及游戏应用。具体地，该三维卡通形象处理方法在该应用场景的应用如下：
终端中可以部署社交应用、即时通讯应用以及游戏应用等，社交应用、即时通讯应用以及游戏应用中部署有形象定制功能。用户可以通过终端在社交应用、即时通讯应用或游戏应用中，通过形象定制功能构建与用户的人脸图像对应的三维卡通形象，从而实现定制与用户对应的虚拟形象。
在其中一个实施例中，用户还可以通过对应的终端，实现定制专属的虚拟形象，即生成与目标用户对应的专属的虚拟形象。具体地，用户还可以从本地获取一张人脸图像，例如可选低成本的包括人脸的照片，即可生成与用户相似的虚拟人物形象。终端还可以进一步根据用户实时的表情、情绪、面部动作、行为或当前形象，定制与用户实时的表情、情绪、面部动作、行为或当前形象同步的虚拟人物形象。
具体地，终端可以获取初始的人脸图像，然后对初始的人脸图像生成对应的经过表情去除的基础三维卡通形象。目标用户进一步可以通过对应的终端，实时采集目标用户当前的人脸图像，当目标用户在摄像视野范围内、且目标用户具有表情时，则采集目标用户当前的人脸图像，并根据当前的人脸图像中的表情，对基础三维卡通形象的表情进行变换处理，生成与目标用户的表情相匹配的三维卡通形象并进行显示。
进一步地，当目标用户在摄像视野范围内发生表情变化时，跟随目标用户的表情变化，显示基于基础三维卡通形象变化得到的、保持与目标用户的表情同步的三维卡通形象。由此能够根据目标用户实时的表情，有效地对表情去除后的基础三维卡通形象进行实时驱动，从而能够精准地生成与真实人脸的表情匹配度较高的三维卡通形象，由此能够精准地生成定制的与用户的真实人脸相似的虚拟人物形象。
应该理解的是，虽然图2流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图16所示，提供了一种三维卡通形象处理装置1600，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：三维卡通形象获取模块1602和三维卡通形象展示模块1604，其中：
三维卡通形象获取模块1602，用于获取经过表情去除的基础三维卡通形象.
三维卡通形象展示模块1604，用于当目标用户在摄像视野范围内、且目标用户具有表情时，显示目标用户基于基础三维卡通形象变化得到的三维卡通形象；三维卡通形象所具有的表情形象与目标用户的表情相匹配。
三维卡通形象获取模块还用于当目标用户在摄像视野范围内发生表情变化时，跟随目标用户的表情变化，显示基于基础三维卡通形象变化得到的、与目标用户的表情保持同步的三维卡通形象。
在一个实施例中，上述三维卡通形象处理装置还包括人脸扫描模块，用于展示人脸扫描界面；三维卡通形象展示模块还用于当目标用户在人脸扫描界面中的第一预设采集区域内时，采集目标用户的当前人脸图像；第一预设采集区域是人脸扫描界面中的、且位于摄像视野范围内的区域；若当前人脸图像中的目标用户具有表情，则在卡通形象展示界面显示目标用户的当前人脸图像和三维卡通形象；三维卡通形象，是基于目标用户的表情控制基础三维卡通形象变化得到。
在一个实施例中，卡通形象展示界面包括第二预设采集区域和形象展示区域；当前人脸图像展示于第二预设采集区域内；三维卡通形象展示于形象展示区域；第二预设采集区域是卡通形象展示界面中的、且位于摄像视野范围内的区域。
在一个实施例中，三维卡通形象展示模块还用于当目标用户在第二预设采集区域内发生表情变化时，跟随目标用户的表情变化，在形象展示区域显示基于基础三维卡通形象变化得到的、与目标用户的表情保持同步的三维卡通形象。
在一个实施例中，三维卡通形象获取模块还用于获取输入的人脸图像，生成与人脸图像对应的三维卡通形象；三维卡通形象具有人脸图像中的人脸形象；三维卡通形象展示模块还用于显示对三维卡通形象经过表情去除处理得到的基础三维卡通形象。
在一个实施例中，上述三维卡通形象处理装置还包括三维卡通形象生成模块，用于通过已训练的人脸特征预测网络，生成人脸图像对应的三维人脸特征；将三维人脸特征映射至三维卡通人脸模板中，得到三维卡通人脸模型；对三维卡通人脸模型添加人脸图像中的形象特征，生成与人脸图像对应的三维卡通形象。
在一个实施例中，人脸特征预测网络经过模型训练步骤得到，上述三维卡通形象处理装置还包括模型训练模块，用于获取样本数据；样本数据中包括样本图像、以及样本图像对应的人脸关键点；通过待训练的人脸特征预测网络，基于预设三维人脸数据和样本图像的二维人脸特征，预测样本图像对应的三维人脸特征以重建样本三维人脸；将样本三维人脸映射渲染至样本图像中，得到二维映射图像；根据样本三维人脸的关键点与人脸关键点的差异，确定第一损失；根据二维映射图像与样本图像之间的像素差异，确定第二损失；根据第一损失和第二损失，调整人脸特征预测网络的参数并继续训练，直至满足训练停止条件，得到训练好的人脸特征预测网络。
在一个实施例中，样本数据中还包括样本图像对应的人脸分割结果；模型训练模块还用于根据二维映射图像与人脸分割结果之间的差异，确定第三损失；根据第一损失、第二损失以及第三损失，调整人脸特征预测网络的参数并继续训练。
在一个实施例中，三维卡通形象生成模块还用于获取与三维卡通人脸模板对应的人脸特征差异矩阵；根据人脸特征差异矩阵对三维人脸特征进行处理；将处理后的三维人脸特征映射至三维卡通人脸模板中，得到三维卡通人脸模型。
在一个实施例中，三维卡通形象生成模块还用于从人脸图像中提取人脸关键点；基于人脸关键点，提取人脸图像中各局部形象对应的形象区域；分别通过与各局部形象对应的识别网络，识别各形象区域的形象特征；将形象特征添加至三维卡通人脸模型中，得到三维卡通形象。
在一个实施例中，三维卡通形象生成模块还用于对三维卡通形象中的表情系数进行调整，使得三维卡通形象的表情系数与中性表情系数相符，得到经过表情去除的基础三维卡通形象；显示经过表情去除得到的基础三维卡通形象。
在一个实施例中，三维卡通形象生成模块还用于生成与基础三维卡通形象对应的多个卡通人脸表情基；当目标用户在摄像视野范围内、且目标用户具有表情时，获取目标用户的人脸图像；对人脸图像进行三维重建处理，得到对应的三维人脸表情特征；根据卡通人脸表情基对三维人脸表情特征进行处理；将处理后的三维人脸表情特征映射至基础三维卡通形象中，得到与目标用户的表情相匹配的三维卡通形象并展示。
关于三维卡通形象处理装置的具体限定可以参见上文中对于三维卡通形象处理方法的限定，在此不再赘述。上述三维卡通形象处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备具体可以为终端，其内部结构图可以如图17所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种三维卡通形象处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图17中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种三维卡通形象处理方法，其特征在于，所述方法包括：
获取经过表情去除的基础三维卡通形象；
当目标用户在摄像视野范围内、且所述目标用户具有表情时，显示所述目标用户基于所述基础三维卡通形象变化得到的三维卡通形象；所述三维卡通形象所具有的表情形象与所述目标用户的表情相匹配；
当所述目标用户在所述摄像视野范围内发生表情变化时，跟随所述目标用户的表情变化，显示基于所述基础三维卡通形象变化得到的、与所述目标用户的表情保持同步的三维卡通形象。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
展示人脸扫描界面；
所述当目标用户在摄像视野范围内、且所述目标用户具有表情时，显示所述目标用户基于所述基础三维卡通形象变化得到的三维卡通形象，包括：
当目标用户在所述人脸扫描界面中的第一预设采集区域内时，采集所述目标用户的当前人脸图像；所述第一预设采集区域是所述人脸扫描界面中的、且位于摄像视野范围内的区域；
若所述当前人脸图像中的所述目标用户具有表情，则在卡通形象展示界面显示所述目前用户的当前人脸图像和三维卡通形象；所述三维卡通形象，是基于所述目标用户的表情控制所述基础三维卡通形象变化得到。
3.根据权利要求2所述的方法，其特征在于，所述卡通形象展示界面包括第二预设采集区域和形象展示区域；所述当前人脸图像展示于所述第二预设采集区域内；所述三维卡通形象展示于所述形象展示区域；所述第二预设采集区域是所述卡通形象展示界面中的、且位于摄像视野范围内的区域。
4.根据权利要求3所述的方法，其特征在于，所述当所述目标用户在所述摄像视野范围内发生表情变化时，跟随所述目标用户的表情变化，显示基于所述基础三维卡通形象变化得到的、与所述目标用户的表情保持同步的三维卡通形象，包括：
当所述目标用户在所述第二预设采集区域内发生表情变化时，跟随所述目标用户的表情变化，在所述形象展示区域显示基于所述基础三维卡通形象变化得到的、与所述目标用户的表情保持同步的三维卡通形象。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述获取经过表情去除的基础三维卡通形象，包括：
获取输入的人脸图像，生成与所述人脸图像对应的三维卡通形象；所述三维卡通形象具有所述人脸图像中的人脸形象；
显示对所述三维卡通形象经过表情去除处理得到的基础三维卡通形象。
6.根据权利要求5所述的方法，其特征在于，所述生成与所述人脸图像对应的三维卡通形象，包括：
通过已训练的人脸特征预测网络，生成所述人脸图像对应的三维人脸特征；
将所述三维人脸特征映射至三维卡通人脸模板中，得到三维卡通人脸模型；
对所述三维卡通人脸模型添加所述人脸图像中的形象特征，生成与所述人脸图像对应的三维卡通形象。
7.根据权利要求6所述的方法，其特征在于，所述人脸特征预测网络经过模型训练步骤得到，所述模型训练步骤包括：
获取样本数据；所述样本数据中包括样本图像、以及所述样本图像对应的人脸关键点；
通过待训练的人脸特征预测网络，基于预设三维人脸数据和所述样本图像的二维人脸特征，预测所述样本图像对应的三维人脸特征以重建样本三维人脸；
将所述样本三维人脸映射渲染至所述样本图像中，得到二维映射图像；
根据所述样本三维人脸的关键点与所述人脸关键点的差异，确定第一损失；
根据所述二维映射图像与所述样本图像之间的像素差异，确定第二损失；
根据所述第一损失和所述第二损失，调整所述人脸特征预测网络的参数并继续训练，直至满足训练停止条件，得到训练好的人脸特征预测网络。
8.根据权利要求7所述的方法，其特征在于，所述样本数据中还包括所述样本图像对应的人脸分割结果；
所述方法还包括：
根据所述二维映射图像与所述人脸分割结果之间的差异，确定第三损失；
所述根据所述第一损失和所述第二损失，调整所述人脸特征预测网络的参数并继续训练，包括：
根据所述第一损失、所述第二损失以及所述第三损失，调整所述人脸特征预测网络的参数并继续训练。
9.根据权利要求6所述的方法，其特征在于，所述将所述三维人脸特征映射至三维卡通人脸模板中，得到三维卡通人脸模型，包括：
获取与三维卡通人脸模板对应的人脸特征差异矩阵；
根据人脸特征差异矩阵对所述三维人脸特征进行处理；
将处理后的三维人脸特征映射至所述三维卡通人脸模板中，得到三维卡通人脸模型。
10.根据权利要求6所述的方法，其特征在于，所述对所述三维卡通人脸模型添加所述人脸图像中的形象特征，生成与所述人脸图像对应的三维卡通形象，包括：
从所述人脸图像中提取人脸关键点；
基于所述人脸关键点，提取所述人脸图像中各局部形象对应的形象区域；
分别通过与各局部形象对应的识别网络，识别各所述形象区域的形象特征；
将所述形象特征添加至所述三维卡通人脸模型中，得到三维卡通形象。
11.根据权利要求5所述的方法，其特征在于，所述显示对所述三维卡通形象经过表情去除处理得到的基础三维卡通形象，包括：
对三维卡通形象中的表情系数进行调整，使得三维卡通形象的表情系数与中性表情系数相符，得到经过表情去除的基础三维卡通形象；
显示所述经过表情去除得到的基础三维卡通形象。
12.根据权利要求1所述的方法，其特征在于，所述方法还包括：
生成与所述基础三维卡通形象对应的多个卡通人脸表情基；
所述当目标用户在摄像视野范围内、且所述目标用户具有表情时，显示基于所述基础三维卡通形象变化得到的三维卡通形象，包括：
当目标用户在摄像视野范围内、且所述目标用户具有表情时，获取所述目标用户的人脸图像；
对所述人脸图像进行三维重建处理，得到对应的三维人脸表情特征；
根据所述卡通人脸表情基对所述三维人脸表情特征进行处理；
将处理后的三维人脸表情特征映射至所述基础三维卡通形象中，得到与所述目标用户的表情相匹配的三维卡通形象并展示。
13.一种三维卡通形象处理装置，其特征在于，所述装置包括：
三维卡通形象获取模块，用于获取经过表情去除的基础三维卡通形象；
三维卡通形象展示模块，用于当目标用户在摄像视野范围内、且所述目标用户具有表情时，显示所述目标用户基于所述基础三维卡通形象变化得到的三维卡通形象；所述三维卡通形象所具有的表情形象与所述目标用户的表情相匹配；
所述三维卡通形象获取模块还用于当所述目标用户在所述摄像视野范围内发生表情变化时，跟随所述目标用户的表情变化，显示基于所述基础三维卡通形象变化得到的、与所述目标用户的表情保持同步的三维卡通形象。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110745215.6A CN115546361A (zh) | 2021-06-30 | 2021-06-30 | 三维卡通形象处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110745215.6A CN115546361A (zh) | 2021-06-30 | 2021-06-30 | 三维卡通形象处理方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115546361A true CN115546361A (zh) | 2022-12-30 |
Family
ID=84722876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110745215.6A Pending CN115546361A (zh) | 2021-06-30 | 2021-06-30 | 三维卡通形象处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115546361A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116524165A (zh) * | 2023-05-29 | 2023-08-01 | 北京百度网讯科技有限公司 | 三维表情模型的迁移方法、装置、设备和存储介质 |
| WO2023241010A1 (zh) * | 2022-06-14 | 2023-12-21 | Oppo广东移动通信有限公司 | 虚拟形象生成方法、装置、电子设备及存储介质 |
-
2021
- 2021-06-30 CN CN202110745215.6A patent/CN115546361A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023241010A1 (zh) * | 2022-06-14 | 2023-12-21 | Oppo广东移动通信有限公司 | 虚拟形象生成方法、装置、电子设备及存储介质 |
| CN116524165A (zh) * | 2023-05-29 | 2023-08-01 | 北京百度网讯科技有限公司 | 三维表情模型的迁移方法、装置、设备和存储介质 |
| CN116524165B (zh) * | 2023-05-29 | 2024-01-19 | 北京百度网讯科技有限公司 | 三维表情模型的迁移方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | A survey on face data augmentation for the training of deep neural networks | |
| WO2021093453A1 (zh) | 三维表情基的生成方法、语音互动方法、装置及介质 | |
| CN111325846B (zh) | 表情基确定方法、虚拟形象驱动方法、装置及介质 | |
| JP6207210B2 (ja) | 情報処理装置およびその方法 | |
| US11587288B2 (en) | Methods and systems for constructing facial position map | |
| US11562536B2 (en) | Methods and systems for personalized 3D head model deformation | |
| WO2023050992A1 (zh) | 用于人脸重建的网络训练方法、装置、设备及存储介质 | |
| CN111401216A (zh) | 图像处理、模型训练方法、装置、计算机设备和存储介质 | |
| CN113570684A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN110796593A (zh) | 基于人工智能的图像处理方法、装置、介质及电子设备 | |
| WO2024109374A1 (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| Shu et al. | Age progression: Current technologies and applications | |
| US11461970B1 (en) | Methods and systems for extracting color from facial image | |
| US11417053B1 (en) | Methods and systems for forming personalized 3D head and facial models | |
| CN115546361A (zh) | 三维卡通形象处理方法、装置、计算机设备和存储介质 | |
| CN113822965A (zh) | 图像渲染处理方法、装置和设备及计算机存储介质 | |
| CN115205933A (zh) | 面部表情识别方法、装置、设备及可读存储介质 | |
| CN114373043A (zh) | 一种头部三维重建方法及设备 | |
| CN113705301A (zh) | 图像处理方法及装置 | |
| CN114862716A (zh) | 人脸图像的图像增强方法、装置、设备及存储介质 | |
| CN114820907A (zh) | 人脸图像卡通化处理方法、装置、计算机设备和存储介质 | |
| CN115909430A (zh) | 一种图像处理方法、装置、存储介质及计算机程序产品 | |
| Asthana et al. | Learning based automatic face annotation for arbitrary poses and expressions from frontal images only | |
| CN113706399A (zh) | 人脸图像美化方法、装置、电子设备以及存储介质 | |
| Patil et al. | Features classification using geometrical deformation feature vector of support vector machine and active appearance algorithm for automatic facial expression recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40079106 Country of ref document: HK |