CN114299206A - 三维卡通人脸生成方法、装置、电子设备及存储介质 - Google Patents
三维卡通人脸生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114299206A CN114299206A CN202111672607.0A CN202111672607A CN114299206A CN 114299206 A CN114299206 A CN 114299206A CN 202111672607 A CN202111672607 A CN 202111672607A CN 114299206 A CN114299206 A CN 114299206A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- face
- dimensional cartoon
- cartoon face
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims description 35
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 101001022170 Homo sapiens FYN-binding protein 2 Proteins 0.000 description 2
- 101000990990 Homo sapiens Midkine Proteins 0.000 description 2
- 102100030335 Midkine Human genes 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
Abstract
本申请公开了一种三维卡通人脸生成方法、装置、电子设备及存储介质，涉及计算机图形学技术领域。该方法包括：根据二维真实人脸图像获取三维卡通人脸网格模型；根据所述二维真实人脸图像获取三维卡通人脸纹理贴图；基于所述三维卡通人脸网格模型以及所述三维卡通人脸纹理贴图获取三维卡通人脸。本方法实现了能够根据真实人脸图像生成三维卡通人脸，使得生成的三维卡通人脸具有明显的输入人脸的个性化特征，并且，为三维卡通人脸生成了对应的纹理贴图，使得生成的三维卡通人脸较为美观，提升用户体验。
Description
技术领域
本申请涉及计算机图形学技术领域，更具体地，涉及一种三维卡通人脸生成方法、装置、电子设备及存储介质。
背景技术
随着游戏、影视、虚拟变装等娱乐应用的兴起，为普通用户定制三维卡通脸的需求增多，基于动画师手工制作的传统方法无法满足现有需求。然而，相关的自动化解决方案，多是要求用户从固定的几个候选三维模型中选择一个进行制作。这种方式制作的三维卡通人脸风格单一且无法体现个性化特征，影响用户体验。
发明内容
本申请提出了一种三维卡通人脸生成方法、装置、电子设备及存储介质，以改善上述问题。
第一方面，本申请实施例提供了一种三维卡通人脸生成方法，所述方法包括：根据二维真实人脸图像获取三维卡通人脸网格模型；根据所述二维真实人脸图像获取三维卡通人脸纹理贴图；基于所述三维卡通人脸网格模型以及所述三维卡通人脸纹理贴图获取三维卡通人脸。
第二方面，本申请实施例提供了一种三维卡通人脸生成装置，所述装置包括：网格模型获取模块，用于根据二维真实人脸图像获取三维卡通人脸网格模型；纹理贴图获取模块，用于根据所述二维真实人脸图像获取三维卡通人脸纹理贴图；三维卡通人脸获取模块，用于基于所述三维卡通人脸网格模型以及所述三维卡通人脸纹理贴图获取三维卡通人脸。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器以及存储器；一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行上述第一方面提供的三维卡通人脸生成方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行上述第一方面提供的三维卡通人脸生成方法。
本申请提供的一种三维卡通人脸生成方法、装置、电子设备及存储介质，通过根据二维真实人脸图像获取三维卡通人脸网格模型；继而根据所述二维真实人脸图像获取三维卡通人脸纹理贴图；然后基于所述三维卡通人脸网格模型以及所述三维卡通人脸纹理贴图获取三维卡通人脸。从而通过上述方式实现了能够根据真实人脸图像生成三维卡通人脸，使得生成的三维卡通人脸具有明显的输入人脸的个性化特征，并且，为三维卡通人脸生成了对应的纹理贴图，使得生成的三维卡通人脸较为美观，提升用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提供的一种三维卡通人脸生成方法的流程图。
图2示出了本实施例提供的基于三维卡通人脸网格模型以及三维卡通人脸纹理贴图获取三维卡通人脸的过程示意图。
图3示出了本申请另一实施例提供的一种三维卡通人脸生成方法的流程图。
图4示出了图3中的步骤S210的方法流程图。
图5示出了本申请实施例提供的网络训练过程示意图。
图6示出了本申请实施例提供的三维卡通人脸的一生成结果示例图。
图7示出了本申请实施例提供的三维卡通人脸的另一生成结果示例图。
图8示出了本申请实施例提供的三维卡通人脸的又一生成结果示例图。
图9示出了本申请实施例提供的一种三维卡通人脸生成装置的结构框图。
图10示出了本申请实施例提供的一种电子设备的结构框图。
图11示出了本申请实施例的用于保存或者携带实现根据本申请实施例的三维卡通人脸生成方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
随着游戏、影视、虚拟变装等娱乐应用的兴起，三维卡通人脸的应用范围进一步拓展，很多应用都要求三维卡通人脸的实时生成。从二维真实人脸生成三维卡通人脸目前主要依赖动画师人工制作，或者是直接提供固定的卡通人脸供用户变装选择，这种方式下的卡通人脸通常无法真实的体现出用户的脸部轮廓，且可供选择的卡通人脸类型较少，影响了用户使用体验。
随着相关技术的发展，出现了一些生成三维风格化人脸的自动化方法，这些方法多是基于对真人脸对应的三维模型的特征的夸张表示。这些方法的缺点是人为定义了卡通人脸的风格，可能与实际卡通人脸不符，且需要先对真人脸进行三维重建，时间消耗大且可能存在误差累积。
为了优化上述问题，发明人经过长期的研究发现，可以通过二维真实人脸图像获取三维卡通人脸网格模型；继而根据所述二维真实人脸图像获取三维卡通人脸纹理贴图；然后基于所述三维卡通人脸网格模型以及所述三维卡通人脸纹理贴图获取三维卡通人脸。从而通过上述方式实现了能够根据真实人脸图像生成三维卡通人脸，使得生成的三维卡通人脸具有明显的输入人脸的个性化特征，并且，为三维卡通人脸生成了对应的纹理贴图，使得生成的三维卡通人脸较为美观，提升用户体验。
因此，为了改善上述问题，发明人提出了本申请提供的可以根据真实人脸图像生成三维卡通人脸，使得生成的三维卡通人脸具有明显的输入人脸的个性化特征，并且，为三维卡通人脸生成了对应的纹理贴图，使得生成的三维卡通人脸较为美观，提升用户体验的三维卡通人脸生成方法、装置、电子设备及存储介质。
下面将结合附图具体描述本申请的各实施例。
请参阅图1，示出了本申请一实施例提供的一种三维卡通人脸生成方法的流程图，本实施例提供一种三维卡通人脸生成方法，可应用于电子设备，其中，本申请实施例中的电子设备可以为手机、电脑、平板、电视等具备网络连接功能的移动通信设备。该方法包括：
步骤S110：根据二维真实人脸图像获取三维卡通人脸网格模型。
本实施例中，二维真实人脸图像表征与二维空间内的真实人脸对应的人脸图像，真实人脸可以来源于相机拍摄，也可以来源于网络下载(例如，真实人脸可以来源于公开的人脸数据集FFHQ(Flickr-Faces-High-Quality))。真实人脸的性别、年龄、肤色均可以不作限定。
三维卡通人脸为与二维真实人脸相似的且具有卡通风格的三维人脸，其中，三维卡通人脸与二维真实人脸的相似度可以不作限定，例如，该相似度可以为50％、75％或者是90％、甚至100％等数值。三维卡通人脸网格模型可以理解为构成三维卡通人脸的轮廓的立体模型，该轮廓也相当于对二维真实人脸的轮廓的立体表示，即三维卡通人脸的人脸轮廓与二维真实人脸的人脸轮廓相同，该三维卡通人脸网格模型包括多个点坐标。或者，三维卡通人脸网格模型可以理解为构成卡通人脸的三角面片模型，该三角面片模型包含卡通人脸在三维空间中每个点的坐标、点和面片的拓扑关系以及面片之间的连接关系。
为了便于能准确的获取到二维真实人脸的个性化的几何特征(该几何特征可以理解为形状特征，形状可以包括脸部轮廓和脸部五官轮廓)，可以根据二维真实人脸图像获取三维卡通人脸网格模型。作为一种实现方式，可以将二维真实人脸图像输入几何生成神经网络，该几何生成神经网络可以用于输出三维卡通人脸网格模型；继而获取几何生成神经网络输出的三维卡通人脸网格模型。其中，几何生成神经网络由对卷积神经网络模型进行训练得到。
几何生成神经网络包括编码器以及解码器，在将二维真实人脸图像输入几何生成神经网络时，可以先由编码器对二维真实人脸的形状特征进行提取，再将提取的形状特征传输至解码器，由解码器对该形状特征进行解码，得到三维动画人脸的各个点的三维坐标，从而得到三维卡通人脸网格模型。
本实施例中，几何生成神经网络在输出三维卡通人脸网格模型的过程中，还可以根据该三维卡通人脸网格模型分析得到三维卡通人脸的几何信息(例如，人脸上额头的宽度、眉眼之间的距离等)以及法向信息(例如，人脸上鼻翼和眼角之间的角度、鼻翼和眼尾之间的角度、眼尾和眉尾之间的向量长度等)，因而可以获取几何生成神经网络输出的三维卡通人脸几何信息以及三维卡通人脸法向信息。
步骤S120：根据所述二维真实人脸图像获取三维卡通人脸纹理贴图。
为了使得生成的三维卡通人脸模型和原输入的二维真实人脸的相似度更明显，以及提升生成的三维卡通人脸模型的美观度，可以根据二维真实人脸图像、三维卡通人脸几何信息以及三维卡通人脸法向信息获取三维卡通人脸纹理贴图。其中，三维卡通人脸纹理贴图表征三维卡通人脸网格模型的贴图，该纹理贴图可以包括皱纹等通过颜色来体现的纹理特征，或者是可以包括其他能够体现卡通人脸的肤色、年龄、以及性别特征等个性化信息的纹理特征。
在一种实现方式中，可以将二维真实人脸图像、三维卡通人脸几何信息以及三维卡通人脸法向信息输入纹理生成网络模型，该纹理生成网络模型用于输出三维卡通人脸纹理贴图；再获取该纹理生成网络模型输出的三维卡通人脸纹理贴图。其中，该纹理生成网络模型由对生成对抗网络进行训练得到。
纹理生成网络模型配置有编码器，在将二维真实人脸图像、三维卡通人脸几何信息以及三维卡通人脸法向信息输入纹理生成网络模型时，可以先将二维真实人脸图像、三维卡通人脸几何信息以及三维卡通人脸法向信息传输至该编码器，由该编码器对输入的二维真实人脸图像的特征、三维卡通人脸几何信息以及三维卡通人脸法向信息进行编码，并将该编码后的结果传送给生成对抗网络，使其可以生成三维卡通人脸纹理贴图。
需要说明的是，为了更准确的体现二维真实人脸的个性化特征，在将二维真实人脸图像、三维卡通人脸几何信息以及三维卡通人脸法向信息输入纹理生成网络模型之前，可以先将三维卡通人脸几何信息转换成三维卡通人脸法向信息，具体转换实现过程在此不再赘述。在这种方式下，将二维真实人脸图像、三维卡通人脸几何信息以及三维卡通人脸法向信息输入纹理生成网络模型包括：将二维真实人脸图像、三维卡通人脸几何信息以及三维卡通人脸法向信息(包括几何生成神经网络输出的三维卡通人脸法向信息以及由几何生成神经网络输出的结果转化得到的三维卡通人脸法向信息)输入纹理生成网络模型。
步骤S130：基于所述三维卡通人脸网格模型以及所述三维卡通人脸纹理贴图获取三维卡通人脸。
作为一种方式，在获得了三维卡通人脸网格模型以及三维卡通人脸纹理贴图后，可以将三维卡通人脸纹理贴图设置(配置)在三维卡通人脸网格模型上，以得到三维卡通人脸。例如，可以将三维卡通人脸纹理贴图贴在三维卡通人脸网格模型上，此时可以将贴有三维卡通人脸纹理贴图的三维卡通人脸网格模型作为三维卡通人脸。
在一个具体的应用场景中，请参阅图2，示出了本实施例提供的基于三维卡通人脸网格模型以及三维卡通人脸纹理贴图获取三维卡通人脸的过程示意图，如图2所示，可以将由纹理生成网络输出的三维卡通人脸纹理贴图，贴在由几何生成神经网络输出的三维卡通人脸网格模型上，得到三维卡通人脸模型的贴图，即三维卡通人脸。
本实施例提供的三维卡通人脸生成方法，通过根据二维真实人脸图像获取三维卡通人脸网格模型；继而根据所述二维真实人脸图像获取三维卡通人脸纹理贴图；然后基于所述三维卡通人脸网格模型以及所述三维卡通人脸纹理贴图获取三维卡通人脸。从而通过上述方式实现了能够根据真实人脸图像生成三维卡通人脸，使得生成的三维卡通人脸具有明显的输入人脸的个性化特征，并且，为三维卡通人脸生成了对应的纹理贴图，使得生成的三维卡通人脸较为美观，提升用户体验。
请参阅图3，示出了本申请另一实施例提供的一种三维卡通人脸生成方法的流程图，本实施例提供一种三维卡通人脸生成方法，该方法包括：
步骤S210：获取训练数据集，所述训练数据集包括二维真实人脸、以及与所述二维真实人脸对应的三维卡通人脸网格模型。
其中，与二维真实人脸对应的三维卡通人脸网格模型为根据二维真实人脸的轮廓、形状等特征构建。训练数据集用于训练卷积神经网络以及生成对抗网络。训练数据集的获取过程描述如下：
请参阅图4，作为一种方式，步骤S210可以包括：
步骤S211：获取二维真实人脸。
本实施例中，二维真实人脸可以是用户自主拍摄的人脸，也可以是从网络上下载的人脸，二维真实人脸的具体来源可以不作限定。
步骤S212：对所述二维真实人脸进行第一处理，得到二维卡通人脸。
其中，第一处理表征进行滤镜处理。例如，第一处理可以为来源于web应用的ToonMe处理，ToonMe是一款迪士尼卡通风格的滤镜相机APP(Application，应用程序)，通过ToonMe，玩家们可以将真人照片一键变成迪士尼风格的卡通人物照片，即可以快速的将照片转换成卡通头像，让用户随时可以感受更加有趣的拍摄体验。或者第一处理可以为其他能够将二维真实人脸图像转换成卡通风格人脸图像的滤镜处理，具体滤镜处理类型可以不作限定。
作为一种方式，可以由电子设备将获取的二维真实人脸输入到ToonMe，将ToonMe输出的卡通人脸图像作为二维卡通人脸。
本实施例中，为了提升生成三维卡通人脸的准确性，二维卡通人脸可以用于在实际应用阶段做评价，例如，可以通过几何生成网络模型获取三维卡通人脸网格模型，并用纹理生成神经网络得到三维卡通人脸的纹理贴图，继而将三维卡通人脸网格模型与三维卡通人脸的纹理贴图进行组合，得到三维卡通人脸，将三维卡通人脸与训练数据集中的二维卡通人脸作比较(此时需要满足三维卡通人脸和二维卡通人脸对应于同一二维真实人脸，如果不满足，则重新获取三维卡通人脸，直至满足)。
步骤S213：对所述二维卡通人脸进行基于标准三维人脸模板的保刚性变形，得到与所述二维真实人脸对应的三维卡通人脸网格模型。
本实施例中，训练数据集中的二维真实人脸、二维卡通人脸以及与二维真实人脸对应的三维卡通人脸网格模型以数据对的形式进行存储。
作为一种方式，可以对二维卡通人脸进行基于标准三维人脸模板的保刚性变形(ARAP(as rigid as possible)变形)，得到与二维真实人脸对应的三维卡通人脸网格模型。其中，ARAP变形时，主要的约束项为人脸关键点的坐标。
其中，人脸关键点坐标的获取，可以采用神经网络的自动标注结果作为初始标注，结合人工修正和自动加密插值的方法，具体包括对初始结果进行修正(例如修改标注不对的)和加密(例如，对之前比较稀疏的点通过曲线拟合的方法加密)，进而得到人脸关键点坐标，关于ARAP变形、自动加密插值的具体实现过程在此不做赘述。
步骤S220：基于所述二维真实人脸、以及与所述二维真实人脸对应的三维卡通人脸网格模型对卷积神经网络模型进行训练，得到所述几何生成神经网络。
作为一种方式，在获得了与二维真实人脸对应的三维卡通人脸网格模型的情况下，可以将该三维卡通人脸网格模型作为收敛条件(也可以理解为训练目标)，将二维真实人脸作为训练数据输入至卷积神经网络模型，以对卷积神经网络模型进行训练。
本实施例中的卷积神经网络模型为轻量级的神经网络模型，可以在PC上进行部署，且通过本实施例训练得到的几何生成神经网络，每个三维卡通人脸的网格模型生成时间可以为0.01秒。
步骤S230：基于所述二维真实人脸、所述三维卡通人脸几何信息以及所述三维卡通人脸法向信息对生成对抗网络模型进行训练，得到所述纹理生成网络模型。
类似的，可以将二维卡通人脸贴在三维卡通人脸模型上得到的真实卡通人脸贴图作为训练目标，将二维真实人脸、三维卡通人脸几何信息以及三维卡通人脸法向信息输入至生成对抗网络模型，以对生成对抗网络模型进行训练。
在一个具体的应用场景中，请参阅图5，示出了本实施例提供的网络训练过程示意图，如图5所示，通过将二维真实人脸输入卷积神经网络模型，并将与二维真实人脸对应的三维卡通人脸网格模型作为训练目标，可以实现对卷积神经网络模型进行训练。在模型训练阶段，当模型输出的三维卡通人脸和三维卡通人脸网格模型相似或相同时，模型训练结束，即可以得到几何生成神经网络。通过将二维真实人脸、三维卡通人脸几何信息以及三维卡通人脸法向信息输入至生成对抗网络模型，将二维卡通人脸贴在三维卡通人脸模型上得到的真实卡通人脸贴图作为训练目标，可以实现对生成对抗网络模型进行训练，得到纹理生成网络模型。
步骤S240：根据二维真实人脸图像获取三维卡通人脸网格模型。
步骤S250：根据所述二维真实人脸图像获取三维卡通人脸纹理贴图。
步骤S260：基于所述三维卡通人脸网格模型以及所述三维卡通人脸纹理贴图获取三维卡通人脸。
在一个具体的应用场景中，请参阅图6、图7以及图8，示出了本实施例提供的三维卡通人脸的生成结果示例图，如图6所示，带贴图的三维卡通人脸网格模型一方面较好的保留了二维真人脸的形状特征(脸部轮廓，五官轮廓等)，另一方面具有卡通人脸的风格特征(图7、图8亦是如此)，使得生成的三维卡通人脸(即图6、图7、图8中所示的带贴图的三维卡通人脸网格模型)具有明显的输入人脸的个性化特征，和卡通人脸的风格特征；同时，通过为三维卡通人脸模型生成对应的纹理贴图，使得生成的三维卡通人脸较为美观，可以满足实际应用的需求，提升了用户体验。
本实施例提供的三维卡通人脸生成方法，通过对模型进行训练，使得模型可以更准确的输出和真实人脸相似的特征。同时，本方法实现了能够根据真实人脸图像生成三维卡通人脸，使得生成的三维卡通人脸具有明显的输入人脸的个性化特征，并且，为三维卡通人脸生成了对应的纹理贴图，使得生成的三维卡通人脸较为美观，提升用户体验。
请参阅图9，为本申请实施例提供的一种三维卡通人脸生成装置的结构框图，本实施例提供一种三维卡通人脸生成装置300，可以运行于电子设备，所述装置300包括：网格模型获取模块310、纹理贴图获取模块320以及三维卡通人脸获取模块330：
网格模型获取模块310，用于根据二维真实人脸图像获取三维卡通人脸网格模型。
作为一种方式，网格模型获取模块310具体可以用于将二维真实人脸图像输入几何生成神经网络，所述几何生成神经网络用于输出三维卡通人脸网格模型；获取所述几何生成神经网络输出的三维卡通人脸网格模型。
其中，装置300还可以包括信息获取模块，用于获取所述几何生成神经网络输出的三维卡通人脸几何信息以及三维卡通人脸法向信息，这些信息将被纹理生成模块用到。
本实施例中，装置300还可以包括数据集准备模块以及模型训练模块，其中，数据集准备模块用于在根据二维真实人脸图像获取三维卡通人脸网格模型之前，获取训练数据集，所述训练数据集包括二维真实人脸、以及与所述二维真实人脸对应的三维卡通人脸网格模型；模型训练模块用于基于所述二维真实人脸、以及与所述二维真实人脸对应的三维卡通人脸网格模型对卷积神经网络模型进行训练，得到所述几何生成神经网络；模型训练模块还用于基于所述二维真实人脸、所述三维卡通人脸几何信息以及所述三维卡通人脸法向信息对生成对抗网络模型进行训练，得到所述纹理生成网络模型。
其中，获取训练数据集，可以包括：获取二维真实人脸；对所述二维真实人脸进行第一处理，得到二维卡通人脸；对所述二维卡通人脸进行基于标准三维人脸模板的保刚性变形，得到与所述二维真实人脸对应的三维卡通人脸网格模型。
纹理贴图获取模块320，用于根据所述二维真实人脸图像获取三维卡通人脸纹理贴图。
作为一种方式，纹理贴图获取模块320具体可以用于根据所述二维真实人脸图像、所述三维卡通人脸几何信息以及所述三维卡通人脸法向信息获取三维卡通人脸纹理贴图。
本实施例中，所述根据所述二维真实人脸图像、所述三维卡通人脸几何信息以及所述三维卡通人脸法向信息获取三维卡通人脸纹理贴图，包括：将所述二维真实人脸图像、所述三维卡通人脸几何信息以及所述三维卡通人脸法向信息输入纹理生成网络模型，所述纹理生成网络模型用于输出三维卡通人脸纹理贴图；获取所述纹理生成网络模型输出的三维卡通人脸纹理贴图。
三维卡通人脸获取模块330，用于基于所述三维卡通人脸网格模型以及所述三维卡通人脸纹理贴图获取三维卡通人脸。
作为一种方式，三维卡通人脸获取模块330具体可以用于将所述三维卡通人脸纹理贴图设置在所述三维卡通人脸网格模型上，得到三维卡通人脸。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参阅图10，基于上述的三维卡通人脸生成方法及装置，本申请实施例还提供了一种可以执行前述三维卡通人脸生成方法的电子设备100。电子设备100包括存储器102以及相互耦合的一个或多个(图中仅示出一个)处理器104，存储器102以及处理器104之间通信线路连接。存储器102中存储有可以执行前述实施例中内容的程序，而处理器104可以执行存储器102中存储的程序。
其中，处理器104可以包括一个或者多个处理核。处理器104利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器102内的指令、程序、代码集或指令集，以及调用存储在存储器102内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器104可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器104可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器104中，单独通过一块通信芯片进行实现。
存储器102可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器102可用于存储指令、程序、代码、代码集或指令集。存储器102可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现前述各个实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图11，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质400中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质400可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质400包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质400具有执行上述方法中的任何方法步骤的程序代码410的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码410可以例如以适当形式进行压缩。
综上所述，本申请实施例提供的一种三维卡通人脸生成方法、装置、电子设备及存储介质，通过根据二维真实人脸图像获取三维卡通人脸网格模型；继而根据所述二维真实人脸图像获取三维卡通人脸纹理贴图；然后基于所述三维卡通人脸网格模型以及所述三维卡通人脸纹理贴图获取三维卡通人脸。从而通过上述方式实现了能够根据真实人脸图像生成三维卡通人脸，使得生成的三维卡通人脸具有明显的输入人脸的个性化特征，并且，为三维卡通人脸生成了对应的纹理贴图，使得生成的三维卡通人脸较为美观，提升用户体验。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种三维卡通人脸生成方法，其特征在于，所述方法包括：
根据二维真实人脸图像获取三维卡通人脸网格模型；
根据所述二维真实人脸图像获取三维卡通人脸纹理贴图；
基于所述三维卡通人脸网格模型以及所述三维卡通人脸纹理贴图获取三维卡通人脸。
2.根据权利要求1所述的方法，其特征在于，所述根据二维真实人脸图像获取三维卡通人脸网格模型，包括：
将二维真实人脸图像输入几何生成神经网络，所述几何生成神经网络用于输出三维卡通人脸网格模型；
获取所述几何生成神经网络输出的三维卡通人脸网格模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述二维真实人脸图像获取三维卡通人脸纹理贴图之前，所述方法还包括：
获取所述几何生成神经网络输出的三维卡通人脸几何信息以及三维卡通人脸法向信息；
所述根据所述二维真实人脸图像获取三维卡通人脸纹理贴图，包括：
根据所述二维真实人脸图像、所述三维卡通人脸几何信息以及所述三维卡通人脸法向信息获取三维卡通人脸纹理贴图。
4.根据权利要求3所述的方法，其特征在于，所述根据所述二维真实人脸图像、所述三维卡通人脸几何信息以及所述三维卡通人脸法向信息获取三维卡通人脸纹理贴图，包括：
将所述二维真实人脸图像、所述三维卡通人脸几何信息以及所述三维卡通人脸法向信息输入纹理生成网络模型，所述纹理生成网络模型用于输出三维卡通人脸纹理贴图；
获取所述纹理生成网络模型输出的三维卡通人脸纹理贴图。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述三维卡通人脸网格模型以及所述三维卡通人脸纹理贴图获取三维卡通人脸，包括：
将所述三维卡通人脸纹理贴图设置在所述三维卡通人脸网格模型上，得到三维卡通人脸。
6.根据权利要求4所述的方法，其特征在于，所述根据二维真实人脸图像获取三维卡通人脸网格模型之前，所述方法还包括：
获取训练数据集，所述训练数据集包括二维真实人脸、以及与所述二维真实人脸对应的三维卡通人脸网格模型；
基于所述二维真实人脸、以及与所述二维真实人脸对应的三维卡通人脸网格模型对卷积神经网络模型进行训练，得到所述几何生成神经网络；
基于所述二维真实人脸、所述三维卡通人脸几何信息以及所述三维卡通人脸法向信息对生成对抗网络模型进行训练，得到所述纹理生成网络模型。
7.根据权利要求6所述的方法，其特征在于，所述获取训练数据集，包括：
获取二维真实人脸；
对所述二维真实人脸进行第一处理，得到二维卡通人脸；
对所述二维卡通人脸进行基于标准三维人脸模板的保刚性变形，得到与所述二维真实人脸对应的三维卡通人脸网格模型。
8.一种三维卡通人脸生成装置，其特征在于，所述装置包括：
网格模型获取模块，用于根据二维真实人脸图像获取三维卡通人脸网格模型；
纹理贴图获取模块，用于根据所述二维真实人脸图像获取三维卡通人脸纹理贴图；
三维卡通人脸获取模块，用于基于所述三维卡通人脸网格模型以及所述三维卡通人脸纹理贴图获取三维卡通人脸。
9.一种电子设备，其特征在于，包括一个或多个处理器以及存储器；
一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-7任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111672607.0A CN114299206A (zh) | 2021-12-31 | 2021-12-31 | 三维卡通人脸生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111672607.0A CN114299206A (zh) | 2021-12-31 | 2021-12-31 | 三维卡通人脸生成方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114299206A true CN114299206A (zh) | 2022-04-08 |
Family
ID=80975970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111672607.0A Pending CN114299206A (zh) | 2021-12-31 | 2021-12-31 | 三维卡通人脸生成方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299206A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998554A (zh) * | 2022-05-05 | 2022-09-02 | 清华大学 | 三维卡通人脸建模方法及装置 |
| CN117496019A (zh) * | 2023-12-29 | 2024-02-02 | 南昌市小核桃科技有限公司 | 一种驱动静态图像的图像动画处理方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017026839A1 (ko) * | 2015-08-12 | 2017-02-16 | 트라이큐빅스 인크. | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
| CN109978930A (zh) * | 2019-03-27 | 2019-07-05 | 杭州相芯科技有限公司 | 一种基于单幅图像的风格化人脸三维模型自动生成方法 |
| CN112819947A (zh) * | 2021-02-03 | 2021-05-18 | Oppo广东移动通信有限公司 | 三维人脸的重建方法、装置、电子设备以及存储介质 |
-
2021
- 2021-12-31 CN CN202111672607.0A patent/CN114299206A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017026839A1 (ko) * | 2015-08-12 | 2017-02-16 | 트라이큐빅스 인크. | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
| CN109978930A (zh) * | 2019-03-27 | 2019-07-05 | 杭州相芯科技有限公司 | 一种基于单幅图像的风格化人脸三维模型自动生成方法 |
| CN112819947A (zh) * | 2021-02-03 | 2021-05-18 | Oppo广东移动通信有限公司 | 三维人脸的重建方法、装置、电子设备以及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| MING GUO ET AL.: "Synthesis, Style Editing, and Animation of 3D Cartoon Face", 《TSINGHUA SCIENCE AND TECHNOLOGY ( VOLUME: 29, ISSUE: 2, APRIL 2024)》, 22 September 2023 (2023-09-22) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998554A (zh) * | 2022-05-05 | 2022-09-02 | 清华大学 | 三维卡通人脸建模方法及装置 |
| CN117496019A (zh) * | 2023-12-29 | 2024-02-02 | 南昌市小核桃科技有限公司 | 一种驱动静态图像的图像动画处理方法及系统 |
| CN117496019B (zh) * | 2023-12-29 | 2024-04-05 | 南昌市小核桃科技有限公司 | 一种驱动静态图像的图像动画处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163054B (zh) | 一种人脸三维图像生成方法和装置 | |
| KR102616010B1 (ko) | 포토리얼리스틱 실시간 인물 애니메이션을 위한 시스템 및 방법 | |
| US10776981B1 (en) | Entertaining mobile application for animating a single image of a human body and applying effects | |
| US10839586B1 (en) | Single image-based real-time body animation | |
| CN107392984A (zh) | 一种基于人脸图像生成动画的方法及计算设备 | |
| CN113838176B (zh) | 模型的训练方法、三维人脸图像生成方法及设备 | |
| CN116109798B (zh) | 图像数据处理方法、装置、设备及介质 | |
| US10713850B2 (en) | System for reconstructing three-dimensional (3D) human body model using depth data from single viewpoint | |
| CN114299206A (zh) | 三维卡通人脸生成方法、装置、电子设备及存储介质 | |
| CN111632374A (zh) | 游戏中虚拟角色的脸部处理方法、装置及可读存储介质 | |
| CN114037802A (zh) | 三维人脸模型重建方法、装置、存储介质及计算机设备 | |
| CN111833236A (zh) | 产生模拟用户的三维脸部模型的方法及装置 | |
| CN115984447B (zh) | 图像渲染方法、装置、设备和介质 | |
| CN112581635B (zh) | 一种通用的快速换脸方法、装置、电子设备和存储介质 | |
| CN113870420A (zh) | 三维人脸模型重建方法、装置、存储介质及计算机设备 | |
| Xu et al. | Efficient 3d articulated human generation with layered surface volumes | |
| CN108171766B (zh) | 一种具有笔画轮廓纠正功能的图像生成方法 | |
| WO2021197230A1 (zh) | 三维头部模型的构建方法、装置、系统及存储介质 | |
| CN111784805B (zh) | 一种虚拟角色交互反馈方法和装置 | |
| CN114373033A (zh) | 图像处理方法、装置、设备、存储介质及计算机程序 | |
| CN116912433B (zh) | 三维模型骨骼绑定方法、装置、设备及存储介质 | |
| CN117576280B (zh) | 一种基于3d数字人的智能端云一体化生成方法及系统 | |
| US20240135616A1 (en) | Automated system for generation of facial animation rigs | |
| CN113947663A (zh) | 植被模型的生成方法、装置、存储介质和电子装置 | |
| CN114299211A (zh) | 信息处理方法、装置、可读存储介质和电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |