CN117808943A - 一种三维卡通人脸重建方法、装置、设备及存储介质 - Google Patents
一种三维卡通人脸重建方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117808943A CN117808943A CN202410227411.8A CN202410227411A CN117808943A CN 117808943 A CN117808943 A CN 117808943A CN 202410227411 A CN202410227411 A CN 202410227411A CN 117808943 A CN117808943 A CN 117808943A
- Authority
- CN
- China
- Prior art keywords
- face
- cartoon
- dimensional
- cartoon face
- rough
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 131
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000013508 migration Methods 0.000 claims abstract description 23
- 230000005012 migration Effects 0.000 claims abstract description 23
- 238000013179 statistical model Methods 0.000 claims abstract description 14
- 238000005516 engineering process Methods 0.000 claims description 22
- 238000005457 optimization Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000005192 partition Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 229910000831 Steel Inorganic materials 0.000 claims description 2
- 239000010959 steel Substances 0.000 claims description 2
- 230000014509 gene expression Effects 0.000 abstract description 9
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 abstract description 2
- 238000007670 refining Methods 0.000 abstract description 2
- 210000000887 face Anatomy 0.000 description 16
- 230000008901 benefit Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 210000000216 zygoma Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种三维卡通人脸重建方法、装置、设备及存储介质，利用单目摄像头设备获取用户的正面头像图像信息，使用预训练的风格迁移网络将正面头像图像风格化得到人脸卡通图像，通过拟合优化三维可形变人脸统计模型，得到粗糙的三维卡通人脸几何形状；引入深度特征锚点差异化形变的方法，通过深度特征关键点提取，锚点差异化选择以及三维空间拉普拉斯形变对粗糙几何形状进行非刚性形变细化，有效消除夸张表情、极端光照等因素影响，提供更多细粒度细节的卡通人脸重建结果。该方法可广泛应用于三维卡通人脸重建，具备创新和应用潜力，为细化人脸几何形状提供了新的途径，为创作者和开发者提供了丰富的可能性。
Description
技术领域
本发明涉及计算机图形学、计算机视觉和人工智能技术邻域，具体涉及一种三维卡通人脸重建方法、装置、设备及存储介质。
背景技术
当前，随着三维数字化产业的兴起，虚拟现实和增强现实(VR/AR)近年来发展迅速，为用户创建虚拟的3D面孔成为了一个重要和具有挑战性的任务；这些3D面孔应该与被建模的人具有较高的相似性可识别性。传统的三维人脸重建方法通常采用手动建模或统计的方式对人脸进行建模；然而，这些传统方法存在一些问题，如耗时较长、容易陷入局部最优等。与传统方法不同，基于模板变形的三维人脸重建方法旨在通过调整人脸模板，使生成的人脸图像与输入人脸图像尽可能接近；然而，这类方法对于一个高精度的三维人脸模板要求较高，如果模板精度不足，那么所重建的三维人脸可能难以达到预期的效果。
现如今随着深度学习技术的发展，已经有一些基于数据驱动的智能生成方法出现，其中基于深度神经网络的自监督三维人脸重建方法，实现了从二维图像中精确重建出高质量三维人脸模型的目标。然而，由于人脸细节众多，真实的三维人脸重建很难与参考人脸具有高相似度。相比之下，卡通面孔更容易达到很好的视觉表现，并且可以用较少的内存来表示。因此，许多VR/AR应用选择3D卡通面孔作为用户肖像的化身。
但是，现有的人脸重建方法在重建卡通人脸方面表现不佳，因为它们引入了大量的现实世界先验，这使其难以推广到卡通邻域。一些重建3D漫画的方法由于卡通与现实之间存在的域间隙也不能很好地处理现实世界的肖像图像。然而，为了获得准确的纹理映射，需要重建的三维人脸与二维图像上的语义标签之间的精确对应，这些对应关系通常是通过将模型投影回图像来获得的。因此，错误的形状会导致错误的对应，这就突出了精确重建在这项任务中的必要性。
有鉴于此，提出本申请。
发明内容
有鉴于此，本发明的目的在于提供一种三维卡通人脸重建方法、装置、设备及存储介质，能够有效解决现有技术中的人脸重建方法在重建卡通人脸方面表现不佳，因为它们引入了大量的现实世界先验，这使其难以推广到卡通邻域。一些重建3D漫画的方法由于卡通与现实之间存在的域间隙也不能很好地处理现实世界的肖像图像。然而，为了获得准确的纹理映射，需要重建的三维人脸与二维图像上的语义标签之间的精确对应，这些对应关系通常是通过将模型投影回图像来获得的。因此，错误的形状会导致错误的对应的问题。
本发明公开了一种三维卡通人脸重建方法,包括：
获取轻量化单目摄像头拍摄的用户正面肖像图像，并调用预训练好的风格迁移网络StyleGAN将所述用户正面肖像图像转换为风格化的卡通人脸图像，生成卡通人脸图像数据；
调用预设的三维可形变人脸统计模型对所述卡通人脸图像数据进行拟合处理，生成粗糙卡通三维人脸几何形状；
对所述粗糙卡通三维人脸几何形状进行细节的拟合优化处理，采用深度特征锚点差异化形变技术，在不破坏原有拓扑结构顺序的前提下，调整所述粗糙卡通三维人脸几何形状的细节区域的几何结构，重建生成更具有细粒度的三维卡通人脸模型，以使其更加精细和真实。
本发明还公开了一种三维卡通人脸重建装置，包括：
卡通人脸图像数据生成单元，用于获取轻量化单目摄像头拍摄的用户正面肖像图像，并调用预训练好的风格迁移网络StyleGAN将所述用户正面肖像图像转换为风格化的卡通人脸图像，生成卡通人脸图像数据；
粗糙卡通三维人脸重建单元，用于调用预设的三维可形变人脸统计模型对所述卡通人脸图像数据进行拟合处理，生成粗糙卡通三维人脸几何形状；
精细卡通三维人脸优化单元，用于对所述粗糙卡通三维人脸几何形状进行细节的拟合优化处理，采用深度特征锚点差异化形变技术，在不破坏原有拓扑结构顺序的前提下，调整所述粗糙卡通三维人脸几何形状的细节区域的几何结构，重建生成更具有细粒度的三维卡通人脸模型，以使其更加精细和真实。
本发明还公开了一种三维卡通人脸重建设备，包括处理器、存储器以及存储在存储器中且被配置由处理器执行的计算机程序，处理器执行计算机程序时实现如上任意一项的一种三维卡通人脸重建方法。
本发明还公开了一种可读存储介质，存储有计算机程序，计算机程序能够被该存储介质所在设备的处理器执行，以实现如上任意一项的一种三维卡通人脸重建方法。
综上所述，本发明提供的一种三维卡通人脸重建方法、装置、设备及存储介质，首先利用单目摄像头设备获取用户的正面头像图像信息，然后使用预训练的风格迁移网络将获取的正面头像图像进行风格化得到人脸卡通图像，然后进一步通过拟合优化三维可形变人脸统计模型，得到粗糙的三维卡通人脸几何形状；接下来，引入了一种深度特征锚点差异化形变的方法，通过深度特征关键点提取，锚点差异化选择以及三维空间拉普拉斯形变对粗糙几何形状进行非刚性形变细化，可以有效消除夸张表情、极端光照等因素的影响，并提供更多细粒度细节的卡通人脸重建结果。可广泛应用于三维卡通人脸重建，具备创新和应用潜力，为细化人脸几何形状提供了新的途径，为创作者和开发者提供了丰富的可能性。
附图说明
图1是本发明第一方面提供的一种三维卡通人脸重建方法的流程示意图。
图2是本发明第二方面提供的一种三维卡通人脸重建方法的流程示意图。
图3是本发明实施例提供的一脸部区域划分示意图。
图4是本发明实施例提供的一种三维卡通人脸重建装置的模块示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本邻域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本邻域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
以下结合附图对本发明的具体实施例做详细说明。
请参阅图1至图2，本发明的第一实施例提供了一种三维卡通人脸重建方法,其可由三维卡通人脸重建设备（以下重建设备）来执行，特别的，由重建设备内的一个或者多个处理器来执行，以实现如下步骤：
在本实施例中，所述优化设备可为重建设备（如智能手机、智能电脑或者其他智能设备），该用户终端设备可与云端的服务器建立通讯连接，以实现数据的交互。
S101，获取轻量化单目摄像头拍摄的用户正面肖像图像，并调用预训练好的风格迁移网络StyleGAN将所述用户正面肖像图像转换为风格化的卡通人脸图像，生成卡通人脸图像数据；
具体地，步骤S101包括：获取轻量化单目摄像头拍摄的用户正面肖像图像数据，并采用ArcFace人脸识别网络模型判断用户正面肖像图像数据/>采集的准确性；
调用预训练好的风格迁移网络模型StyleGAN对所述用户正面肖像图像数据进行转换处理，转换为风格化的卡通人脸图像，并将所述卡通人脸图像缩放至/>，生成卡通人脸图像数据/>，公式为：
其中，表示ArcFace人脸识别网络模型，/>表示风格迁移网络模型，/>函数表示图像的尺寸变化操作，/>为调整后的尺寸宽度，/>为调整后的尺寸高度，/>函数可以将图像尺寸调整到/>，/>。
具体地，在本实施例中，卡通人脸图像数据生成：通过轻量化单目摄像头拍摄用户正面肖像图像，然后使用预训练的风格迁移网络StyleGAN将获得的用户正面肖像图像转换为风格化的卡通人脸图像。这些数据作为本专利进行三维卡通人脸重建方法框架的输入数据。
在本实施例中，通过使用日常使用的单目摄像头获取人脸正面肖像数据，然后采用人脸识别网络判断人脸正面肖像数据/>采集的准确性，最后通过预训练的风格迁移网络，将现实世界肖像图像转换为风格化的卡通人脸图像。具体而言，所述三维卡通人脸重建方法采用ArcFace（Deng J, Guo J, Xue N, et al. Arcface: Additive angularmargin loss for deep face recognition[C]//Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition. 2019: 4690-4699.）作为人脸识别网络模型，提取输入数据正面肖像的精确信息。然后使用StyleGAN(Karras T,Laine S, Aila T. A style-based generator architecture for generativeadversarial networks[C]//Proceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition. 2019: 4401-4410.)风格迁移网络将用户人脸正面肖像/>生成风格化的卡通图像,为方便后续流程，最后将图片统一缩放至/>，得到。上述过程可以描述为：
其中，表示ArcFace人脸识别网络模型，/>表示风格迁移网络模型，/>函数表示图像的尺寸变化操作，/>为调整后的尺寸宽度，/>为调整后的尺寸高度，/>函数可以将图像尺寸调整到/>，/>。
通过上述步骤，所述三维卡通人脸重建方法可通过使用日常使用的单目摄像头获取人脸正面肖像数据，并通过人脸识别网络对获取数据的有效性进行判断，进而有效定位人脸图像区域，最后通过风格迁移网络对有效获取数据进行风格化，实现卡通人脸数据输入。这种自动化的数据处理方式验证了所述三维卡通人脸重建方法的可行性和便捷性，进一步提高了其商业潜力。
S102，调用预设的三维可形变人脸统计模型对所述卡通人脸图像数据进行拟合处理，生成粗糙卡通三维人脸几何形状；
具体地，步骤S102包括：采用Deep3DFace模型对所述卡通人脸图像数据进行预处理，构建生成所述卡通人脸图像数据/>对应的粗糙卡通人脸几何形状/>和纹理贴图/>，公式为：
其中，所述粗糙卡通人脸几何形状包含顶点集合/>及其网格面集合/>组成，记为/>，/>表示集合/>中第/>个顶点，/>表示顶点/>的世界坐标系。
具体地，在本实施例中，粗糙卡通三维人脸重建：这部分通过三维可形变人脸统计模型拟合优化的方法，将步骤S101获得的风格化卡通人脸图像与三维可形变模型进行拟合，得到粗糙卡通三维人脸几何形状，作为后续形状细化步骤的基础。
在本实施例中，使用对三维可形变人脸统计模型拟合优化的方法，将获取到的风格化卡通人脸图像与三维可形变模型进行拟合得到粗糙卡通三维人脸几何形状，作为后续形状细化步骤的基础。三维可形变人脸统计模型有两类比较经典，一类是Basel FaceModel (BFM)， 是一种用于建模人脸形状和纹理的三维模型，它通过多个人脸数据集进行建模，以平均形状、纹理作为基础。在形状模型方面，BFM 提供了对人脸形状的高度详细的建模。通过对大量人脸样本进行形状建模，BFM 能够捕捉到人脸的各种形状变化，从而在三维空间中准确表示不同人脸的形状。在纹理模型方面， 除了形状，BFM 还提供了对人脸纹理的建模。这包括皮肤的颜色、细节和纹理特征。BFM 使用参数来表示人脸的形状和纹理，这些参数可以用于调整模型以生成不同的人脸样本。形状参数控制人脸的整体形状，而纹理参数控制人脸的颜色和纹理。另一类是FLAME(Face Landmark Analysis and ModelEstimation)三维人脸建模统计模型，它是基于传统3DMM(3D Morphable Model)的一种演进，主要采用使用主成分分析（PCA）方法对形状、纹理、表情模型进行建模，和BFM一样，这些模型同样可以用参数化的形式表示，通过调整参数来生成不同的形状、纹理、表情。和BFM不同的是，FLAME 引入了表情模型，以更好地捕捉面部表情的细节。
这些先验模型通过使用主成分分析技术将高维的人脸形状和纹理数据降维到较低的参数空间中，这不仅减少了存储和计算的复杂性，还提高了模型的通用性。它为研究人员和开发者提供了一个通用的人脸模型，可以应用于不同的场景和任务，使其在计算机图形学、计算机视觉、医学等多个邻域得到广泛应用。它们能够通过分析大量不同人脸的形状和纹理数据，捕捉到人脸的共性特征。
所述三维卡通人脸重建方法采用Deep3DFace(Deng J, Guo J, Xue N, et al.Arc face: Additive angular margin loss for deep face recognition[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition. 2019: 4690-4699)的方法获取3DMM模型的系数，这是一种使用深度学习模型进行预测的方法。对于本专利提出的深度特征锚点差异化形变方法的输入数据风格化卡通人脸图像，使用Deep3DFace的方法构建出其粗糙卡通人脸几何形状/>和纹理贴图/>。
其中，所述粗糙卡通人脸几何形状包含顶点集合/>及其网格面集合/>组成，记为/>，/>表示集合/>中第/>个顶点，/>表示顶点/>的世界坐标系。
S103，对所述粗糙卡通三维人脸几何形状进行细节的拟合优化处理，采用深度特征锚点差异化形变技术，在不破坏原有拓扑结构顺序的前提下，调整所述粗糙卡通三维人脸几何形状的细节区域的几何结构，重建生成更具有细粒度的三维卡通人脸模型，以使其更加精细和真实。
具体地，步骤S103包括：采用深度特征锚点和非深度特征锚点，联合约束经过粗重建过程得到的所述粗糙卡通人脸几何形状的形变；
进行深度特征锚点的获取，采用一个开源的 C++库Dlib作为深度特征地标检测器，用于从输入的所述卡通人脸图像数据获得深度特征地标，Dlib提供了一个人脸地标检测器，公式为：
其中，为人脸地标检测器，/>为68个深度特征关键点的点集合记为/>；
其中，所述人脸地标检测器检测的关键点集通过Deep3DFace模型映射获得的所述粗糙卡通人脸几何形状中，具有最近欧拉距离的顶点集合记为：/>，，/>为所述粗糙卡通人脸几何形状/>形变过程中的深度特征锚点；
进行深度图像的获取，使用无监督技术中的照片几何自动编码-解码器，生成输入的所述卡通人脸图像数据的深度图像，公式为：
其中，其中是照片几何自动编码-解码器，/>为所述卡通人脸图像数据的深度图像；
利用相机投影方程将深度图像上的关键点像素坐标映射到对应的三维坐标，公式为：
其中，是相机内参数矩阵的逆；
根据三维深度特征锚点对所述粗糙卡通人脸几何形状进行三维空间拉普拉斯形变，并经过三维深度特征锚点约束形变得到的精细化三维卡通人脸几何形状记为。
进行非深度特征锚点的获取，采用二阶段的三维卡通人脸重建技术将所述粗糙卡通三维人脸几何形状的脸部分为10个分区；
在三维空间的68个深度特征锚点的基础上，根据形变程度越小的区域选取的非深度特征锚点越多的原则，从脸部10个分区中以及顶点集合中额外选取总计200个非深度特征锚点/>，以确保这些锚点在差异化形变前后保持不变，其中，为划分的面部分区中除锚点外选择的第/>个非深度特征锚点；
从人脸几何形状点集合中将其剥离出来，得到需要形变的顶点集/>；
将所述粗糙卡通人脸几何形状中顶点集用世界坐标系表示转换为其相应的三维空间拉普拉斯坐标，将/>的三维空间拉普拉斯坐标定义为与/>邻接点的世界坐标的加权的平均值的差，公式为：
其中，表示与点/>相邻接的顶点的点集，/>是/>的近邻个数，/>为所述需要形变的顶点集/>中的第个/>点，/>表示在所述粗糙卡通人脸几何形状/>中与相邻接的顶点，/>表示邻域顶点/>对/>的影响力，采用如下权重计算：
其中，，/>分别为从/>发出的2条并与/>相邻接的顶点/>的边最近距离的边和公共边的夹角；
假设模型形变前后保持不变，除去选择的非深度特征锚点集合，假设/>在模型变形后坐标变为/>，/>处的三维空间拉普拉斯结构能够通过如下优化函数优化得到，公式为：
其中，是常数，/>，/>是人脸拓扑结构顶点合集中除去已选择非深度特征锚点的顶点总数，/>，/>是约束形变的锚点的数目总和，/>；
利用标准的最小二乘问题进行求解，得到约束后的顶点，组合没有经过三维空间拉普拉斯形变的非深度特征锚点，得到最后的精细化三维卡通人脸几何模型。
具体地，在本实施例中，精细卡通三维人脸优化：为了对步骤S102阶段得到的粗糙卡通三维人脸几何形状进行细节的拟合优化，引入一种结合深度特征锚点的差异化形变方法。通过这种优化方法，在不破坏原有拓扑结构顺序的前提下，调整粗糙几何形状的细节区域的几何结构，使其更加精细和真实。
3D卡通人脸重建不同于高仿真3D人脸重建，因为卡通肖像中常见夸张的表情和形状，如大眼睛和大嘴等。并且使用3DMM进行重建的方法受制于其模型基底对低维线性模型缺乏表现力，它无法恢复一些精细的面部结构。如，难以保留夸张的形状和几何细节，特别是眼睛。这些重建误差是不可忽视的，因为即使是微小的不相似性也会严重影响模型的外观。故本发明引入了一种深度特征锚点差异化形变的方法对这些容易出现夸张表情的部位进行进一步的细化，以重建出更具有细粒度的三维卡通人脸模型。
首先是深度特征锚点的获取。具体地，所述三维卡通人脸重建方法采用一个开源的 C++库Dlib(King D E. Dlib-ml: A machine learning toolkit[J]. The Journal ofMachine Learning Research, 2009, 10: 1755-1758.) 作为深度特征地标检测器用于从输入的所述卡通人脸图像数据获得深度特征地标，Dlib提供了一个人脸地标检测器。
Dlib为人脸地标检测器，能够识别输入卡通人脸图像数据上的深度特征关键点；/>为68个深度特征关键点的点集合记为/>，包括眼睛、眉毛、鼻子、嘴巴等位置。不失一般性，人脸地标检测器检测的关键点集通过Deep3DFace模型映射获得的几何形状/>中具有最近欧拉距离的顶点集合记为：/>，/>，将/>设置为网格/>形变过程中的深度特征锚点，这一操作的前提是需要结合深度图像和相机投影模型将特征关键点二维坐标Q映射到网格/>所处的同一三维坐标系中。
具体来说，对于深度图像的获取，所述三维卡通人脸重建方法使用一种无监督方法(Wu S, Rupprecht C, Vedaldi A. Unsupervised learning of probably symmetricdeformable 3d objects from images in the wild[C]//Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition. 2020: 1-10.)中的照片-几何自动编码-解码器，用于生成输入卡通人脸图像数据的深度图像。/>，其中，/>是一个照片几何自动编码-解码器，得到输入图像/>的深度图像/>。
深度图像中的每个像素值表示该像素对应的场景中的距离。接下来利用相机投影方程将深度图像上的关键点像素坐标映射到对应的三维坐标：，其中，/>是相机内参数矩阵的逆，相机内参数通常是相机制造商在生产相机时提供的。这样地，接下来可根据三维深度特征锚点对通人脸几何形状/>进行三维空间拉普拉斯形变，并经过三维深度特征锚点约束形变得到的精细化三维卡通人脸几何形状记为/>。具体形变过程在后续网格形变部分予以详细说明。
对于非深度特征锚点的获取作如下说明：此外由于卡通人脸通常具有一些普遍的共性，比如鼻尖、颧骨等位置通常是凸起的，而眼眶等位置通常是凹陷的，因此，所述三维卡通人脸重建方法认为不同卡通人脸网格关系应近似相同，在进行网格形变的过程中应尽量保持这些位置的顶点不发生形变，这对算法性能的提升能起到重要的作用。用于所述三维卡通人脸重建方法是一种二阶段的三维卡通人脸重建方法，所述三维卡通人脸重建方法将脸部分为10个分区，分别为M1：额区; M2：颞区; M3：眶区; M4：鼻区; M5：唇区; M6：颏区;M7：颧区; M8：眶下区; M9：颊区; M10：腮腺咬肌区（耳朵区域暂不考虑）。划分区域如图3所示。
因卡通画的风格设计，不去区域的形变程度值会有一定形变差异。于是，所述三维卡通人脸重建方法在三维空间的68个深度特征锚点的基础上，根据形变程度越小的区域选取的非深度特征锚点越多的原则，从脸部10个分区中以及顶点集合中额外选取总计200个非深度特征锚点/>，确保这些锚点在差异化形变前后保持不变。其中M4,M5,M7区域分别随机选取10个非深度特征锚点，M2, M3, M6, M10区域分别随机选取20个非深度特征锚点，M1, M8, M9区域分别随机选取30个非深度特征锚点。
差异化形变过程具体为：为使上述非深度特征锚点不发生形变，本发明从人脸几何形状点集合/>中将其剥离出来，得到需要形变的顶点集/>。具体来说，需要先将卡通人脸几何形状/>中顶点集用世界坐标系表示转换为其相应的三维空间拉普拉斯坐标。所述三维卡通人脸重建方法和拉普拉斯形变官方定义一样，将/>的三维空间拉普拉斯坐标定义为与/>邻接点的世界坐标的加权的平均值的差：
其中，表示与点/>相邻接的顶点的点集，/>是/>的近邻个数，/>为所述需要形变的顶点集/>中的第个/>点，/>表示在所述粗糙卡通人脸几何形状/>中与相邻接的顶点，/>表示邻域顶点/>对/>的影响力，采用如下权重计算：
其中，，/>分别为从/>发出的2条并与/>相邻接的顶点/>的边最近距离的边和公共边的夹角。根据定义，三维空间拉普拉斯坐标是一个向量，其大小反映了某个顶点与其邻域顶点的线性相关程度，例如它们是否处于同一平面上，其方向可以近似表示该顶点处的法向量方向。因此，所述三维卡通人脸重建方法利用三维空间拉普拉斯坐标可用于描述卡通人脸模型的局部几何特性。经过上述步骤，获得深度特征锚点和非深度特征锚点两种方法来联合约束粗糙卡通人脸几何形状/>的形变，以实现更具细粒度的变形。由于人脸具有类似的几何结构, 三维空间拉普拉斯方法假设模型形变前后/>大体保持不变。除去选择的非深度特征锚点集合，假设/>在模型变形后坐标变为/>，则/>处的三维空间拉普拉斯结构可以通过如下优化函数优化得到：
其中，是常数，简单起见，令/>，/>是人脸拓扑结构顶点合集中除去已选择非深度特征锚点的顶点总数，/>，/>是约束形变的锚点的数目总和，/>，上式可以利用标准的最小二乘问题来进行求解得到约束后的顶点。最后，组合没有经过三维空间拉普拉斯形变的非深度特征锚点，则可以得到最后的精细化三维卡通人脸几何模型。 通过以上步骤，可以将优化后的三维卡通人脸几何模型结合初始化得到的贴图实现精细三维卡通人脸重建。通过以上步骤，所述三维卡通人脸重建方法实现了从单目摄像头中获取单张卡通人脸图像，通过和三维可形变模型进行拟合重建出初步卡通人脸三维模型。通过三维空间拉普拉斯变形方法调整几何形状进行细化，得到高质量和更具有细粒度的卡通人脸三维模型。
在本实施例中，所述三维卡通人脸重建方法，用于从单目摄像头中获取单张人脸图像并生成精细的卡通人脸三维模型。相较于传统方法，所述三维卡通人脸重建方法，通过深度特征锚点差异化形变，使重建出的三维形状具有更高的形状精确性和灵活性。该方法可适用于虚拟现实、游戏开发和动画制作等邻域，为卡通人脸的真实感和表达力提供了有效的技术手段，为卡通人脸的数字创作邻域带来了新的技术突破。所述三维卡通人脸重建方法的实施途径可以包括硬件设备、计算机程序产品等，以便在计算机系统中实现该深度特征锚点差异化形变的三维卡通人脸重建方法。
下面将从检验结果进一步验证所述三维卡通人脸重建方法的效果：
从FaceScape(Yang H, Zhu H, Wang Y, et al. Facescape: a large-scalehigh quality 3d face dataset and detailed riggable 3d face prediction[C]//Proceedings of the ieee/cvf Conference on Computer Vision and PatternRecognition. 2020: 601-610.)中选取480张真实人脸肖像，并使用预训练的Style GAN对它们进行风格化，作为测试数据。其中280个样本为男性，200个样本为女性。并根据这风格化后的480张人脸肖像进行三维卡通人脸重建。
分别用所述的对三维可形变人脸统计模型拟合优化的Deep3d方法、仅基于深度特征锚点的拉普拉斯形变方法和联合深度特征锚点和非深度特征锚点共同约束的拉普拉斯形变方法实现3D卡通人脸重建，分别记为方法1、方法2和本方法，并将常见的高分辨率三维卡通人脸模型经过图像渲染器(Laine S, Hellsten J, Karras T, et al. Modularprimitives for high-performance differentiable rendering[J]. ACM Transactionson Graphics, 2020, 39(6): 1-14. )得到的二维可视化结果与二维测试数据进行比较以评估三类方法的准确性。三类方法的重建误差均用表示，其中是原始卡通人脸图片，/>是重建后的卡通人脸图片，/>表示Frobenius范数用来计算所有元素的平方和的平方根。所述三维卡通人脸重建方法和其他类比较方法的重建误差如表1所示：
表1
实验结果表明，在400组测试数据上，所述三维卡通人脸重建方法提出的模型相比方法1和方法2获得了最低的重建误差。越低的重建误差表明经过图像渲染器渲染的形变后的卡通人脸得到的图片越贴近原始卡通人脸，因此可以说本发明在此次评估中获得了最好的重建效果。从实验结果来看，所述三维卡通人脸重建方法设计的一种深度特征锚点差异化形变的三维卡通人脸重建方法具有一定的理论意义，也具有一定的实际应用价值，比如在VR/AR应用程序中创建用户3D卡通人脸，并通过实验证明了它的可行性。
针对现有技术，所述三维卡通人脸重建方法引入基于三维空间拉普拉斯的网格变形技术，将通过深度方法得到的三维卡通人脸几何形状根据输入图像的深度特征关键点以及从人脸各区域选定的非特征点联合约束进行网格变形，实现更高质量、更细节的三维卡通人脸重建结果。拉普拉斯网格变形是一种网格变形技术，通常用于在三维模型上进行形状的局部或整体调整。这一技术利用三维空间拉普拉斯算子来描述网格上的变形，通过对网格顶点进行变换，实现对模型形状的调整。这种方法的优势在于能够保持模型的平滑性，使得变形后的模型看起来更为自然。它同时具备更高的灵活性和解耦能力，还可以用于局部形状的调整，而不会对整个模型产生过多的影响。拉普拉斯网格变形广泛应用于计算机图形学、计算机辅助设计和虚拟现实等邻域。首先它可以应用于三维形状建模和重建，在原始几何形状的基础上根据约束条件进行网格变形得到预期的效果。其次，拉普拉斯网格变形在模型编辑中具有重要作用，可用于角色动画和虚拟形变，实现自然、流畅的形状动画。通过调整控制点的位置，动画制作者可以创建逼真的变形效果，例如人物的面部表情变化或角色的身体形变。需要注意的是，由于拉普拉斯网格变形对控制点选择的敏感性，不合理的选择可能导致形状的扭曲或不自然的结果。并且，它通常涉及对拉普拉斯矩阵的计算，这可能在大规模高复杂性的模型上导致较高的计算成本。对于实时或大规模应用，可能需要优化计算方法或考虑其他更高效的技术。然而，随着现代计算机计算能力的提升和相关算法的改进，拉普拉斯网格变形技术仍然是一种强大而灵活的工具，通过克服这些限制并结合其他技术，使其能够高效、直观地对三维模型进行细节形状调整，并且将在更多邻域表现其潜力，满足各种应用需求。
综上所述，所述三维卡通人脸重建方法旨在仅通过单张人脸图像实现重建高细粒度并保存真实人脸深度特征的三维卡通人脸模型。具体来说，所述三维卡通人脸重建方法通过轻量化单目摄像头拍摄用户正面肖像图像，然后使用预训练的风格迁移网络将获得的用户正面肖像图像转换为风格化的卡通人脸图像。接着通过三维可形变人脸统计模型拟合优化的方法，将获得的风格化卡通人脸图像输入与三维可形变模型进行拟合，得到粗糙卡通三维人脸几何形状。最后引入深度特征锚点和非深度特征锚点联合约束的差异化网格形变方法，在不破坏原有拓扑结构顺序的前提下，调整粗糙几何形状的细节区域的几何结构，得到更加精细的三维卡通人脸几何结构。
与现有技术相比，所述三维卡通人脸重建方法具备以下优点：
1.普遍适用性。当前工业界使用三维激光扫描仪获取三维人脸模型的常见方法是使用结构光技术。该技术使用摄像头来捕捉目标表面的空间信息，并计算出人脸之间的距离和方向。然后，使用特定的软件算法将这些数据转换成三维人脸模型的表面特征，从而实现高精度的人脸扫描。但是，这种方法需要昂贵的设备和复杂的过程，并且会占用大量的人力时间。本方法仅通过一个单目摄像头获取用户正面人脸图像数据，便可重建出高质量和细粒度卡通人脸三维模型。这使得本方法具有普适性，提高了其应用潜力。
2.准确性。相比较通过三维可形变模型进行拟合重建出卡通人脸三维模型的方法，本方法能够捕捉到卡通形象通常具有夸张五官和表情的特点，使其和输入的风格化卡通人脸数据的相似性达到最大化。
3.自监督学习方式的适应多样性和可泛化性，由于自监督人脸重建方法减少了对标注数据的依赖，因此能够降低人工标注的成本。另外，在卡通人脸重建任务中，获得三维卡通人脸的标注可能需要专业知识，而自监督方法能够减轻这一需求。这使得方法能够适应不同样本的多样性，从而能够更好地处理卡通人脸的各种形态、表情和风格。
4.自动化。本方法是一种完整的自动化的卡通人脸三维模型重建方法，本方法利用模型拟合算法和差异化形变技术，实现自动对卡通人脸三维模型进行建模和优化细化，生成高质量的卡通人脸三维模型。并且，相比手动建模，自动化三维卡通人脸建模大幅提高了建模的速度和效率。
5.在商业潜力和发展前景方面，本方法在游戏娱乐行业、动画制作、虚拟助手、虚拟现实社交平台等邻域具有广泛的应用前景和商业价值。它满足了这些邻域对高质量三维卡通人脸的提高效率、降低成本以及创造更真实的三维卡通人脸的需求，对这些行业的发展起着重要的推动作用。
请参阅图4，本发明的第二实施例提供了一种三维卡通人脸重建装置，包括：
卡通人脸图像数据生成单元201，用于获取轻量化单目摄像头拍摄的用户正面肖像图像，并调用预训练好的风格迁移网络StyleGAN将所述用户正面肖像图像转换为风格化的卡通人脸图像，生成卡通人脸图像数据；
粗糙卡通三维人脸重建单元202，用于调用预设的三维可形变人脸统计模型对所述卡通人脸图像数据进行拟合处理，生成粗糙卡通三维人脸几何形状；
精细卡通三维人脸优化单元203，用于对所述粗糙卡通三维人脸几何形状进行细节的拟合优化处理，采用深度特征锚点差异化形变技术，在不破坏原有拓扑结构顺序的前提下，调整所述粗糙卡通三维人脸几何形状的细节区域的几何结构，重建生成更具有细粒度的三维卡通人脸模型，以使其更加精细和真实。
优选地，所述卡通人脸图像数据生成单元201具体用于：
获取轻量化单目摄像头拍摄的用户正面肖像图像数据，并采用ArcFace人脸识别网络模型判断用户正面肖像图像数据/>采集的准确性；
调用预训练好的风格迁移网络模型StyleGAN对所述用户正面肖像图像数据进行转换处理，转换为风格化的卡通人脸图像，并将所述卡通人脸图像缩放至/>，生成卡通人脸图像数据/>，公式为：
其中，表示ArcFace人脸识别网络模型，/>表示风格迁移网络模型，/>函数表示图像的尺寸变化操作，/>为调整后的尺寸宽度，/>为调整后的尺寸高度，/>函数可以将图像尺寸调整到/>，/>。
优选地，所述粗糙卡通三维人脸重建单元202具体用于：
采用Deep3DFace模型对所述卡通人脸图像数据进行预处理，构建生成所述卡通人脸图像数据/>对应的粗糙卡通人脸几何形状/>和纹理贴图/>，公式为：
其中，所述粗糙卡通人脸几何形状包含顶点集合/>及其网格面集合/>组成，记为/>，/>表示集合/>中第/>个顶点，/>表示顶点/>的世界坐标系。
本发明的第三实施例提供了一种三维卡通人脸重建设备，包括处理器、存储器以及存储在存储器中且被配置由处理器执行的计算机程序，处理器执行计算机程序时实现如上任意一项的一种三维卡通人脸重建方法。
本发明的第四实施例提供了一种可读存储介质，存储有计算机程序，计算机程序能够被该存储介质所在设备的处理器执行，以实现如上任意一项的一种三维卡通人脸重建方法。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。
Claims (10)
1.一种三维卡通人脸重建方法, 其特征在于，包括：
获取轻量化单目摄像头拍摄的用户正面肖像图像，并调用预训练好的风格迁移网络StyleGAN将所述用户正面肖像图像转换为风格化的卡通人脸图像，生成卡通人脸图像数据；
调用预设的三维可形变人脸统计模型对所述卡通人脸图像数据进行拟合处理，生成粗糙卡通三维人脸几何形状；
对所述粗糙卡通三维人脸几何形状进行细节的拟合优化处理，采用深度特征锚点差异化形变技术，在不破坏原有拓扑结构顺序的前提下，调整所述粗糙卡通三维人脸几何形状的细节区域的几何结构，重建生成更具有细粒度的三维卡通人脸模型。
2.根据权利要求1所述的一种三维卡通人脸重建方法，其特征在于，获取轻量化单目摄像头拍摄的用户正面肖像图像，并调用预训练好的风格迁移网络StyleGAN将所述用户正面肖像图像转换为风格化的卡通人脸图像，生成卡通人脸图像数据，具体为：
获取轻量化单目摄像头拍摄的用户正面肖像图像数据，并采用ArcFace人脸识别网络模型判断用户正面肖像图像数据/>采集的准确性；
调用预训练好的风格迁移网络模型StyleGAN对所述用户正面肖像图像数据进行转换处理，转换为风格化的卡通人脸图像，并将所述卡通人脸图像缩放至/>，生成卡通人脸图像数据/>，公式为：
其中，表示ArcFace人脸识别网络模型，/>表示风格迁移网络模型，/>函数表示图像的尺寸变化操作，/>为调整后的尺寸宽度，/>为调整后的尺寸高度，/>函数用于将图像尺寸调整到/>，/>。
3.根据权利要求2所述的一种三维卡通人脸重建方法，其特征在于，调用预设的三维可形变人脸统计模型对所述卡通人脸图像数据进行拟合处理，生成粗糙卡通三维人脸几何形状，具体为：
采用Deep3DFace模型对所述卡通人脸图像数据进行预处理，构建生成所述卡通人脸图像数据/>对应的粗糙卡通人脸几何形状/>和纹理贴图/>，公式为：
其中，所述粗糙卡通人脸几何形状包含顶点集合/>及其网格面集合/>，记为，/>表示集合/>中第/>个顶点，/>表示顶点/>的世界坐标。
4.根据权利要求3所述的一种三维卡通人脸重建方法，其特征在于，对所述粗糙卡通三维人脸几何形状进行细节的拟合优化处理，采用深度特征锚点差异化形变技术，在不破坏原有拓扑结构顺序的前提下，调整所述粗糙卡通三维人脸几何形状的细节区域的几何结构，重建生成更具有细粒度的三维卡通人脸模型，具体为：
采用深度特征锚点和非深度特征锚点，联合约束经过粗重建过程得到的所述粗糙卡通人脸几何形状的形变；
进行深度特征锚点的获取，采用一个开源的 C++库Dlib作为深度特征地标检测器，用于从输入的所述卡通人脸图像数据获得深度特征地标，Dlib提供了一个人脸地标检测器，公式为：
其中，为人脸地标检测器，/>为68个深度特征关键点的点集合记为/>，/>为检测到的第/>个深度特征关键点；
其中，所述人脸地标检测器检测的关键点集通过Deep3DFace模型映射获得的所述粗糙卡通人脸几何形状中，具有最近欧拉距离的顶点集合记为：/>，/>，为所述粗糙卡通人脸几何形状/>形变过程中的深度特征锚点，/>为深度特征锚点；
进行深度图像的获取，使用无监督技术中的照片几何自动编码-解码器，生成输入的所述卡通人脸图像数据的深度图像，公式为：
其中，其中是照片几何自动编码-解码器，/>为所述卡通人脸图像数据/>的深度图像；
利用相机投影方程将深度图像上的关键点像素坐标映射到对应的三维坐标，公式为：
其中，是相机内参数矩阵的逆；
根据三维深度特征锚点对所述粗糙卡通人脸几何形状进行三维空间拉普拉斯形变，并经过三维深度特征锚点约束形变得到的精细化三维卡通人脸几何形状记为/>。
5.根据权利要求4所述的一种三维卡通人脸重建方法，其特征在于，对所述粗糙卡通三维人脸几何形状进行细节的拟合优化处理，采用深度特征锚点差异化形变技术，在不破坏原有拓扑结构顺序的前提下，调整所述粗糙卡通三维人脸几何形状的细节区域的几何结构，重建生成更具有细粒度的三维卡通人脸模型，还包括：
进行非深度特征锚点的获取，采用二阶段的三维卡通人脸重建技术将所述粗糙卡通三维人脸几何形状的脸部分为10个分区；
在三维空间的68个深度特征锚点的基础上，根据形变程度越小的区域选取的非深度特征锚点越多的原则，从脸部10个分区中以及顶点集合中额外选取总计200个非深度特征锚点/>，以确保这些锚点在差异化形变前后保持不变，其中，/>为划分的面部分区中除锚点外选择的第/>个非深度特征锚点；
从人脸几何形状点集合中将其剥离出来，得到需要形变的顶点集/>；
将所述粗糙卡通人脸几何形状中顶点集用世界坐标系表示转换为其相应的三维空间拉普拉斯坐标，将/>的三维空间拉普拉斯坐标定义为与/>邻接点的世界坐标的加权的平均值的差/>，公式为：
其中，表示与点/>相邻接的顶点的点集，/>是/>的近邻个数，/>为所述需要形变的顶点集/>中的第个/>点，/>为所述需要形变的顶点集/>中的第个/>点，/>表示在所述粗糙卡通人脸几何形状/>中与/>相邻接的顶点，/>表示邻域顶点/>对/>的影响力，采用如下权重计算：
其中，，/>分别为从/>发出的2条并与/>相邻接的顶点/>的边最近距离的边和公共边的夹角；
假设模型形变前后保持不变，除去选择的非深度特征锚点集合，假设/>在模型变形后坐标变为/>，/>处的三维空间拉普拉斯结构能够通过如下优化函数优化得到，公式为：
其中，是常数，/>，/>是人脸拓扑结构顶点合集中除去已选择非深度特征锚点的顶点总数，/>，/>是约束形变的锚点的数目总和，/>，/>为深度特征锚点/>在模型变形后对应的坐标；
利用标准的最小二乘问题进行求解，得到约束后的顶点，组合没有经过三维空间拉普拉斯形变的非深度特征锚点，得到最后的精细化三维卡通人脸几何模型。
6.一种三维卡通人脸重建装置，其特征在于，包括：
卡通人脸图像数据生成单元，用于获取轻量化单目摄像头拍摄的用户正面肖像图像，并调用预训练好的风格迁移网络StyleGAN将所述用户正面肖像图像转换为风格化的卡通人脸图像，生成卡通人脸图像数据；
粗糙卡通三维人脸重建单元，用于调用预设的三维可形变人脸统计模型对所述卡通人脸图像数据进行拟合处理，生成粗糙卡通三维人脸几何形状；
精细卡通三维人脸优化单元，用于对所述粗糙卡通三维人脸几何形状进行细节的拟合优化处理，采用深度特征锚点差异化形变技术，在不破坏原有拓扑结构顺序的前提下，调整所述粗糙卡通三维人脸几何形状的细节区域的几何结构，重建生成更具有细粒度的三维卡通人脸模型，以使其更加精细和真实。
7.根据权利要求6所述的一种三维卡通人脸重建装置，其特征在于，所述卡通人脸图像数据生成单元具体用于：
获取轻量化单目摄像头拍摄的用户正面肖像图像数据，并采用ArcFace人脸识别网络模型判断用户正面肖像图像数据/>采集的准确性；
调用预训练好的风格迁移网络模型StyleGAN对所述用户正面肖像图像数据进行转换处理，转换为风格化的卡通人脸图像，并将所述卡通人脸图像缩放至/>，生成卡通人脸图像数据/>，公式为：
其中，表示ArcFace人脸识别网络模型，/>表示风格迁移网络模型，/>函数表示图像的尺寸变化操作，/>为调整后的尺寸宽度，/>为调整后的尺寸高度，/>函数可以将图像尺寸调整到/>，/>。
8.根据权利要求6所述的一种三维卡通人脸重建装置，其特征在于，所述粗糙卡通三维人脸重建单元具体用于：
采用Deep3DFace模型对所述卡通人脸图像数据进行预处理，构建生成所述卡通人脸图像数据/>对应的粗糙卡通人脸几何形状/>和纹理贴图/>，公式为：
其中，所述粗糙卡通人脸几何形状包含顶点集合/>及其网格面集合/>组成，记为，/>表示集合/>中第/>个顶点，/>表示顶点/>的世界坐标系。
9.一种三维卡通人脸重建设备，其特征在于，包括处理器、存储器以及存储在存储器中且被配置由处理器执行的计算机程序，处理器执行计算机程序时实现如权利要求1至5任意一项的一种三维卡通人脸重建方法。
10.一种可读存储介质，其特征在于，存储有计算机程序，计算机程序能够被该存储介质所在设备的处理器执行，以实现如权利要求1至5任意一项的一种三维卡通人脸重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410227411.8A CN117808943B (zh) | 2024-02-29 | 一种三维卡通人脸重建方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410227411.8A CN117808943B (zh) | 2024-02-29 | 一种三维卡通人脸重建方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117808943A true CN117808943A (zh) | 2024-04-02 |
| CN117808943B CN117808943B (zh) | 2024-07-05 |
Family
ID=
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101944238A (zh) * | 2010-09-27 | 2011-01-12 | 浙江大学 | 基于拉普拉斯变换的数据驱动人脸表情合成方法 |
| US20110299764A1 (en) * | 2010-06-07 | 2011-12-08 | Snoek Cornelis Gerardus Maria | Method for automated categorization of human face images based on facial traits |
| CN106023288A (zh) * | 2016-05-18 | 2016-10-12 | 浙江大学 | 一种基于图像的动态替身构造方法 |
| CN110176079A (zh) * | 2019-05-26 | 2019-08-27 | 中北大学 | 一种基于准共形映射的三维模型变形算法 |
| WO2021027585A1 (zh) * | 2019-08-09 | 2021-02-18 | 华为技术有限公司 | 人脸图像处理方法及电子设备 |
| CN115994993A (zh) * | 2023-01-30 | 2023-04-21 | 杭州相芯科技有限公司 | 一种风格化人脸三维形状建模方法及系统、设备、存储介质 |
| CN117011493A (zh) * | 2023-10-07 | 2023-11-07 | 天度(厦门)科技股份有限公司 | 基于符号距离函数表示的三维人脸重建方法、装置及设备 |
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110299764A1 (en) * | 2010-06-07 | 2011-12-08 | Snoek Cornelis Gerardus Maria | Method for automated categorization of human face images based on facial traits |
| CN101944238A (zh) * | 2010-09-27 | 2011-01-12 | 浙江大学 | 基于拉普拉斯变换的数据驱动人脸表情合成方法 |
| CN106023288A (zh) * | 2016-05-18 | 2016-10-12 | 浙江大学 | 一种基于图像的动态替身构造方法 |
| CN110176079A (zh) * | 2019-05-26 | 2019-08-27 | 中北大学 | 一种基于准共形映射的三维模型变形算法 |
| WO2021027585A1 (zh) * | 2019-08-09 | 2021-02-18 | 华为技术有限公司 | 人脸图像处理方法及电子设备 |
| CN115994993A (zh) * | 2023-01-30 | 2023-04-21 | 杭州相芯科技有限公司 | 一种风格化人脸三维形状建模方法及系统、设备、存储介质 |
| CN117011493A (zh) * | 2023-10-07 | 2023-11-07 | 天度(厦门)科技股份有限公司 | 基于符号距离函数表示的三维人脸重建方法、装置及设备 |
Non-Patent Citations (3)
| Title |
|---|
| RADEK DANECEK ET AL.: "EMOCA: Emotion Driven Monocular Face Capture and Animation", 《 HTTPS://DOI.ORG/10.48550/ARXIV.2204.11312》, 24 April 2022 (2022-04-24) * |
| 熊伟;: "基于三维动画的虚拟人物表情动作系统设计", 现代电子技术, no. 20, 15 October 2020 (2020-10-15) * |
| 王涵;夏时洪;: "单张图片自动重建带几何细节的人脸形状", 计算机辅助设计与图形学学报, no. 07, 15 July 2017 (2017-07-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Grassal et al. | Neural head avatars from monocular rgb videos | |
| Blanz et al. | A morphable model for the synthesis of 3D faces | |
| Han et al. | DeepSketch2Face: a deep learning based sketching system for 3D face and caricature modeling | |
| US11600013B2 (en) | Facial features tracker with advanced training for natural rendering of human faces in real-time | |
| US6556196B1 (en) | Method and apparatus for the processing of images | |
| CN111710036B (zh) | 三维人脸模型的构建方法、装置、设备及存储介质 | |
| US11562536B2 (en) | Methods and systems for personalized 3D head model deformation | |
| EP3991140A1 (en) | Portrait editing and synthesis | |
| US11587288B2 (en) | Methods and systems for constructing facial position map | |
| JP7462120B2 (ja) | ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム | |
| US11417053B1 (en) | Methods and systems for forming personalized 3D head and facial models | |
| Liu et al. | A new model-based method for multi-view human body tracking and its application to view transfer in image-based rendering | |
| CN115953513A (zh) | 一种可驱动三维人头模型重建方法、装置、设备及介质 | |
| CN117808943B (zh) | 一种三维卡通人脸重建方法、装置、设备及存储介质 | |
| CN115082640A (zh) | 基于单张图像的3d人脸模型纹理重建方法及设备 | |
| CN117808943A (zh) | 一种三维卡通人脸重建方法、装置、设备及存储介质 | |
| CN114742954A (zh) | 一种构建大规模多样化人脸图片和模型数据对的方法 | |
| Umetani et al. | BareSkinNet: De-makeup and De-lighting via 3D Face Reconstruction | |
| Batarfi et al. | Exploring the Role of Extracted Features in Deep Learning-based 3D Face Reconstruction from Single 2D Images | |
| Lanitis et al. | Reconstructing 3d faces in cultural heritage applications | |
| Zhao et al. | Subtle facial animation transfer from 2d videos to 3d faces with laplacian deformation | |
| Soon et al. | Shape-based detail-preserving exaggeration of extremely accurate 3D faces | |
| Ding et al. | A fast individual face modeling and facial animation system | |
| Zhang et al. | Video-based fast 3d individual facial modeling | |
| ZHANG et al. | Fast Individual Facial Animation Framework Based on Motion Capture Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: Room E204-27, Yucheng Center, No. 88 Xiangxing Road, Xiamen Torch High tech Zone (Xiang'an) Industrial Zone, Xiamen City, Fujian Province, 361000 Applicant after: Tiandu (Xiamen) Science and Technology Co.,Ltd. Address before: 801-61, No. 808, Lianting Road, Xiang'an District, Xiamen City, Fujian Province, 361000 Applicant before: Tiandu (Xiamen) Science and Technology Co.,Ltd. Country or region before: China |
|
| GR01 | Patent grant |