CN117542098A - 一种3d卡通数字人的制作方法 - Google Patents
一种3d卡通数字人的制作方法 Download PDFInfo
- Publication number
- CN117542098A CN117542098A CN202311462110.5A CN202311462110A CN117542098A CN 117542098 A CN117542098 A CN 117542098A CN 202311462110 A CN202311462110 A CN 202311462110A CN 117542098 A CN117542098 A CN 117542098A
- Authority
- CN
- China
- Prior art keywords
- face
- model
- cartoon
- image
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 241000282414 Homo sapiens Species 0.000 claims abstract description 26
- 238000013136 deep learning model Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000013135 deep learning Methods 0.000 claims abstract description 18
- 238000005516 engineering process Methods 0.000 claims abstract description 12
- 238000005034 decoration Methods 0.000 claims description 77
- 230000007935 neutral effect Effects 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 33
- 238000013145 classification model Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 18
- 238000009877 rendering Methods 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 12
- 210000003128 head Anatomy 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 8
- 210000004709 eyebrow Anatomy 0.000 claims description 6
- 239000011521 glass Substances 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims 1
- 238000013461 design Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009417 prefabrication Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种3D卡通数字人的制作方法，包括以下步骤：步骤S1：获取真人用户图像；步骤S2：将用户正脸图像输入到人脸检测识别模块，对其进行关键点检测和图像预处理；步骤S3：将人脸检测识别模块输出的图像输入到人脸重建模块，通过深度学习模型得到人脸特征系数，并通过特征系数对用户人脸进行三维重建；本发明的有益效果是，主要采用深度学习和计算机图形学结合的方法，通过深度学习训练出可以生成真人风格的3D人脸AI模型，然后通过三维可变形技术将生成的人脸模型变换到具有该用户特征的3D卡通风格数字人模型。
Description
技术领域
本发明涉及虚拟数字人领域，特别是一种3D卡通数字人的制作方法。
背景技术
目前，随着人工智能的蓬勃发展，虚拟数字人也应运而生。虚拟数字人是指通过人工智能、3D建模和计算机图形学技术创造出能够模拟人类的外貌、语言和行为的虚拟人物。虚拟数字人的前景十分广阔，随着相关技术的不断更新，虚拟数字人的应用也将越来越多样化，并对人们的生活产生巨大影响。例如，在元宇宙的构建过程中，虚拟数字人的制作就扮演着关键角色。虚拟数字人可以使人们通过数字形象进行与真人类似的交流沟通，也可以通过交互形式完成虚拟形象与虚拟世界的互动。随着虚拟数字人技术的逐渐发展，也必将形成与该技术相结合的更具吸引力的产业赛道。
虚拟数字人作为一个新概念，已经受到了各大商业机构、研究院所领域专家学者的广泛关注和研究。与此同时，市场上也涌现出一些与之相关的产品。例如，角色扮演类游戏、虚拟主播和短视频领域。目前，市场上关于虚拟数字人的产品从技术角度主要可以分别两大类别：真人风格数字人和手工预制风格数字人。其中，真人风格数字人完全模拟真实人物特征，可以在一定程度反应用户的真实形象。然而，这种方法无法对数字人进行一定程度的风格变换，缺乏相应的娱乐性，使其难以应用到具有特定风格的娱乐场景中。手工预制的数字人虽然可以根据特定场景来制作不同的风格形象，但是需要专业设计师进行设计，而且该方法难以对所有用户都进行个性化设计，存在技术复杂、耗时长、风格单一缺点。因此，针对不同用户如何快速地生成具有一定风格的3D卡通数字人是一个亟需解决的问题。
发明内容
本发明的目的是为了解决上述问题，设计了一种3D卡通数字人的制作方法。
实现上述目的本发明的技术方案为，一种3D卡通数字人的制作方法，包括以下步骤：
步骤S1：获取真人用户图像；
步骤S2：将用户正脸图像输入到人脸检测识别模块，对其进行关键点检测和图像预处理；
步骤S3：将人脸检测识别模块输出的图像输入到人脸重建模块，通过深度学习模型得到人脸特征系数，并通过特征系数对用户人脸进行三维重建；
步骤S4：通过3D建模软件制作中性人脸模型和其对应的卡通风格人脸模型；
步骤S5：将预制人脸模块输出的中性人脸模型输入到变形模块，通过三维可变形技术将中性人脸三维模型变形到人脸重建模块输出的用户三维人脸模型；
步骤S6：将卡通风格模板变形为同时具有用户特征和预制卡通风格的三维人脸模型；
步骤S7：将相机采集模块得到的用户正脸图像输入到装饰分类模块，对用户的装饰进行检测分类；
步骤S8：将变形模块输出的卡通人脸模型和装饰分类模块输出的装饰分类类别分别输入到融合模块。通过模型融合对卡通人脸模型和头部模型融合补全，通过装饰分类结果将手工预制的装饰与卡通模型相匹配，最后对卡通模型进行渲染得到最终结果；
所述步骤S1中：用户置于一个较好的光照环境中，并保持正脸面向相机；
通过相机拍摄用户的正脸图像。
所述步骤S2中：人脸检测识别模块包含人脸关键点检测和图像预处理两部分功能；
步骤S2中：的人脸关键点检测：使用深度学习模型对输入图像的人脸和人脸关键点进行检测，得到人脸的5个关键点位置坐标信息；
步骤S2中：中图像预处理：将开源数据BFM人脸模型作为底模，获取BFM模型三维人脸5个关键点位置坐标。将所述步骤S2中的人脸关键点与BFM人脸模型关键点进行最小二乘法计算得到图像的放缩参数和裁剪参数。根据放缩参数和裁剪参数对输入图像进行预处理，从而得到大小为224×224的图像。
所述步骤S3中的特征系数方法：使用人脸特征系数深度学习模型对输入图像推导出该用户图像的特征系数。
在所述人脸特征系数深度学习模型对输入图像进行推理之前，所述方法还包括：
人脸特征系数模型训练：使用生成对抗网络生成一定数量的亚洲人脸图像，将该图像与开源人脸数据集FFHQ进行混合来构成本方法的数据集；数据集预处理：将数据集使用68点人脸关键点检测器进行检测，得到每张图像的68个关键点坐标；将数据集使用基于皮肤注意力的高斯混合模型进行处理，得到每张图像的掩膜。将处理后的数据集按一定比例划分为训练集、验证集和测试集。利用所划分的训练集和验证集对人脸特征系数模型进行训练，将测试集图像输入到训练后的人脸特征系数模型进行模型评估，最终得到本方法使用的人脸特征系数深度学习模型；
所述S3中的人脸三维重建：人脸特征系数与BFM模型进行矩阵运算，得到该用户图像的三维人脸模型。
所述S4中的中性人脸模型：该模型为进行真人风格人脸变形的底模；所述S4中的卡通风格人脸模型：该模型为所述中性人脸模型按照一定风格制作的卡通风格人脸模型。对于不同的生成风格要求，需要制作不同的卡通模型；。
所述S5中变形模块：分别获取预制人脸模块输出的中性人脸三维模型的位置坐标和人脸重建模块输出的用户人脸三维模型的位置坐标，将中性人脸三维模型的位置坐标进行坐标变换以变换到用户人脸三维模型的位置坐标，并记录这种映射变换关系。
所述步骤S6中将卡通风格模板根据所述映射变换关系进行变换，得到该用户的卡通风格人脸形象。对于同一种生成风格，该卡通模型只需要制作一次。
所述步骤S7中的分类检测方法：使用深度学习分类模型对用户图像的装饰进行检测和分类，具体包括眼镜、发型、眉毛和肤色；
在所述深度学习分类模型对用户装饰进行检测分类之前，所述方法还包括：
深度学习分类模型训练：采集具有不同装饰的人物图像；标注数据集，所需标注信息为人物图像装饰的类别；将标注后的数据集划分为训练集、验证集和测试集；利用划分后的训练集和验证集对人物装饰分类模型进行训练，将测试集输入到训练后的装饰分类模型得到装饰类别分类结果，通过标签和预测的分类结果对模型进行评估，然后得到装饰分类模型；
所述步骤S8中的融合模块：将卡通人脸模型和预制头部模型对齐，然后将对齐后的模型进行网格拓扑匹配；为保证模型融合后的边界过渡平滑，使用优化算法对连接处的网格进行优化处理以达到平滑过渡效果；
所述步骤S8的装饰匹配模块：获取所述S7中的装饰分类结果，通过该分类结果将手工预制的装饰与融合后的3D卡通数字人相匹配。
所述步骤S8中的模型渲染模块：使用渲染引擎对所述S8中的卡通模型进行渲染，得到最终的3D卡通数字人形象。
利用本发明的技术方案制作的一种3D卡通数字人的制作方法，主要采用深度学习和计算机图形学结合的方法，通过深度学习训练出可以生成真人风格的3D人脸AI模型，然后通过三维可变形技术将生成的人脸模型变换到具有该用户特征的3D卡通风格数字人模型，随后对输入用户图像的发型、眉毛、眼镜附属装扮进行检测和分类，将分类结果与预先设计的装扮相匹配，最后将装扮与3D卡通数字人相结合来得到该用户的3D卡通数字人。
附图说明
图1是本发明所述一种3D卡通数字人的制作方法流程图。
具体实施方式
下面结合附图对本发明进行具体描述，如图1所示，一种3D卡通数字人的制作方法，包括以下步骤：
步骤S1：获取真人用户图像；
步骤S2：将用户正脸图像输入到人脸检测识别模块，对其进行关键点检测和图像预处理；
步骤S3：将人脸检测识别模块输出的图像输入到人脸重建模块，通过深度学习模型得到人脸特征系数，并通过特征系数对用户人脸进行三维重建；
步骤S4：通过3D建模软件制作中性人脸模型和其对应的卡通风格人脸模型；
步骤S5：将预制人脸模块输出的中性人脸模型输入到变形模块，通过三维可变形技术将中性人脸三维模型变形到人脸重建模块输出的用户三维人脸模型；
步骤S6：将卡通风格模板变形为同时具有用户特征和预制卡通风格的三维人脸模型；
步骤S7：将相机采集模块得到的用户正脸图像输入到装饰分类模块，对用户的装饰进行检测分类；
步骤S8：将变形模块输出的卡通人脸模型和装饰分类模块输出的装饰分类类别分别输入到融合模块。通过模型融合对卡通人脸模型和头部模型融合补全，通过装饰分类结果将手工预制的装饰与卡通模型相匹配，最后对卡通模型进行渲染得到最终结果；
所述步骤S1中：用户置于一个较好的光照环境中，并保持正脸面向相机；
通过相机拍摄用户的正脸图像。
所述步骤S2中：人脸检测识别模块包含人脸关键点检测和图像预处理两部分功能；
步骤S2中：的人脸关键点检测：使用深度学习模型对输入图像的人脸和人脸关键点进行检测，得到人脸的5个关键点位置坐标信息；
步骤S2中：中图像预处理：将开源数据BFM人脸模型作为底模，获取BFM模型三维人脸5个关键点位置坐标。将所述S2.2中的人脸关键点与BFM人脸模型关键点进行最小二乘法计算得到图像的放缩参数和裁剪参数。根据放缩参数和裁剪参数对输入图像进行预处理，从而得到大小为224×224的图像。
所述步骤S3中的特征系数方法：使用人脸特征系数深度学习模型对输入图像推导出该用户图像的特征系数。
在所述人脸特征系数深度学习模型对输入图像进行推理之前，所述方法还包括：
人脸特征系数模型训练：使用生成对抗网络生成一定数量的亚洲人脸图像，将该图像与开源人脸数据集FFHQ进行混合来构成本方法的数据集；数据集预处理：将数据集使用68点人脸关键点检测器进行检测，得到每张图像的68个关键点坐标；将数据集使用基于皮肤注意力的高斯混合模型进行处理，得到每张图像的掩膜。将处理后的数据集按一定比例划分为训练集、验证集和测试集。利用所划分的训练集和验证集对人脸特征系数模型进行训练，将测试集图像输入到训练后的人脸特征系数模型进行模型评估，最终得到本方法使用的人脸特征系数深度学习模型；
所述S3中的人脸三维重建：使用S3.1中得到的人脸特征系数与BFM模型进行矩阵运算，得到该用户图像的三维人脸模型。
所述S4中的中性人脸模型：该模型为进行真人风格人脸变形的底模；
所述S4中的卡通风格人脸模型：该模型为所述S4.1中的中性人脸模型按照一定风格制作的卡通风格人脸模型。对于不同的生成风格要求，需要制作不同的卡通模型；。
所述S5中变形模块：分别获取预制人脸模块输出的中性人脸三维模型的位置坐标和人脸重建模块输出的用户人脸三维模型的位置坐标，将中性人脸三维模型的位置坐标进行坐标变换以变换到用户人脸三维模型的位置坐标，并记录这种映射变换关系。
所述步骤S6中将卡通风格模板根据所述S5.1的映射变换关系进行变换，得到该用户的卡通风格人脸形象。对于同一种生成风格，该卡通模型只需要制作一次。
所述步骤S7中的分类检测方法：使用深度学习分类模型对用户图像的装饰进行检测和分类，具体包括眼镜、发型、眉毛和肤色；
在所述深度学习分类模型对用户装饰进行检测分类之前，所述方法还包括：
深度学习分类模型训练：采集具有不同装饰的人物图像；标注数据集，所需标注信息为人物图像装饰的类别；将标注后的数据集划分为训练集、验证集和测试集；利用划分后的训练集和验证集对人物装饰分类模型进行训练，将测试集输入到训练后的装饰分类模型得到装饰类别分类结果，通过标签和预测的分类结果对模型进行评估，然后得到装饰分类模型；
所述步骤S8中的融合模块：将卡通人脸模型和预制头部模型对齐，然后将对齐后的模型进行网格拓扑匹配；为保证模型融合后的边界过渡平滑，使用优化算法对连接处的网格进行优化处理以达到平滑过渡效果；
所述步骤S8的装饰匹配模块：获取所述S7中的装饰分类结果，通过该分类结果将手工预制的装饰与融合后的3D卡通数字人相匹配。
所述步骤S8中的模型渲染模块：使用渲染引擎对所述S8中的卡通模型进行渲染，得到最终的3D卡通数字人形象。
本实施方案的特点为，包括以下步骤：
步骤S1：获取真人用户图像；
步骤S2：将用户正脸图像输入到人脸检测识别模块，对其进行关键点检测和图像预处理；
步骤S3：将人脸检测识别模块输出的图像输入到人脸重建模块，通过深度学习模型得到人脸特征系数，并通过特征系数对用户人脸进行三维重建；
步骤S4：通过3D建模软件制作中性人脸模型和其对应的卡通风格人脸模型；
步骤S5：将预制人脸模块输出的中性人脸模型输入到变形模块，通过三维可变形技术将中性人脸三维模型变形到人脸重建模块输出的用户三维人脸模型；
步骤S6：将卡通风格模板变形为同时具有用户特征和预制卡通风格的三维人脸模型；
步骤S7：将相机采集模块得到的用户正脸图像输入到装饰分类模块，对用户的装饰进行检测分类；
步骤S8：将变形模块输出的卡通人脸模型和装饰分类模块输出的装饰分类类别分别输入到融合模块。通过模型融合对卡通人脸模型和头部模型融合补全，通过装饰分类结果将手工预制的装饰与卡通模型相匹配，最后对卡通模型进行渲染得到最终结果，主要采用深度学习和计算机图形学结合的方法，通过深度学习训练出可以生成真人风格的3D人脸AI模型，然后通过三维可变形技术将生成的人脸模型变换到具有该用户特征的3D卡通风格数字人模型，随后对输入用户图像的发型、眉毛、眼镜附属装扮进行检测和分类，将分类结果与预先设计的装扮相匹配，最后将装扮与3D卡通数字人相结合来得到该用户的3D卡通数字人。
在本实施方案中，S1：获取真人用户图像；
S1.1：用户置于一个较好的光照环境中，并保持正脸面向相机；
需要说明的是：由于实际拍摄环境比较多样，为避免不同光照对用户图像的影响，需保持用户在一个较为明亮的光照环境下；
S1.2：通过相机拍摄用户的正脸图像；
需要说明的是：不同的拍照姿态会影响不同的数字人制作效果，为尽可能获取用户的面部信息，需保持正脸拍摄姿态；
S2：将用户正脸图像输入到人脸检测识别模块，对其进行关键点检测和图像预处理；
S2.1：人脸检测识别模块包含人脸关键点检测和图像预处理两部分功能；
S2.2：所述S2.1中的人脸关键点检测：使用预训练完成的深度学习模型对输入图像进行人脸检测，当检测到人脸后，对其进行5个人脸关键点位置检测，所述5个人脸关键点为左眼中心、右眼中心、鼻尖、左嘴角和右嘴角。
S2.3：所述S2.1中图像预处理：将开源数据BFM人脸模型作为底模，获取BFM模型三维人脸5个关键点位置坐标。将所述S2.2中的人脸关键点与BFM人脸模型关键点进行最小二乘法计算得到图像的放缩参数和裁剪参数。根据放缩参数和裁剪参数对输入图像进行预处理，从而得到大小为224×224的图像；
S3：将人脸检测识别模块输出的图像输入到人脸重建模块，通过深度学习模型得到人脸特征系数，并通过特征系数对用户人脸进行三维重建；
S3.1：所述S3中的特征系数方法：使用人脸特征系数深度学习模型对输入图像推导出该用户图像的特征系数。
进一步地，在所述人脸特征系数深度学习模型对输入图像进行推理之前，所述方法还包括：
人脸特征系数模型训练：使用生成对抗网络生成一定数量的亚洲人脸图像，将该图像与开源人脸数据集FFHQ进行混合来构成本方法的数据集；数据集预处理：将数据集使用68点人脸关键点检测器进行检测，得到每张图像的68个关键点坐标；将数据集使用基于皮肤注意力的高斯混合模型进行处理，得到每张图像的掩膜。将处理后的数据集按一定比例划分为训练集、验证集和测试集。利用所划分的训练集和验证集对人脸特征系数模型进行训练，将测试集图像输入到训练后的人脸特征系数模型进行模型评估，最终得到本方法使用的人脸特征系数深度学习模型；
S3.2：所述S3中的人脸三维重建：使用S3.1中得到的人脸特征系数与BFM模型进行矩阵运算，得到该用户图像的三维人脸模型；
S4：通过3D建模软件制作中性人脸模型和其对应的卡通风格人脸模型；
S4.1：所述S4中的中性人脸模型：该模型为进行真人风格人脸变形的底模；
S4.2：所述S4中的卡通风格人脸模型：该模型为所述S4.1中的中性人脸模型按照一定风格制作的卡通风格人脸模型；
S5：将预制人脸模块输出的中性人脸模型输入到变形模块，通过三维可变形技术将中性人脸三维模型变形到人脸重建模块输出的用户三维人脸模型；
S5.1：所述S5中变形模块：分别获取预制人脸模块输出的中性人脸三维模型的位置坐标和人脸重建模块输出的用户人脸三维模型的位置坐标，将中性人脸三维模型的位置坐标进行坐标变换以变换到用户人脸三维模型的位置坐标，并记录这种映射变换关系；
S6：将卡通风格模板变形为同时具有用户特征和预制卡通风格的三维人脸模型；
S6.1：将卡通风格模板根据所述S5.1的映射变换关系进行变换，得到该用户的卡通风格人脸形象。对于同一种生成风格，该卡通模型只需要制作一次；
S7：将相机采集模块得到的用户正脸图像输入到装饰分类模块，对用户的装饰进行检测分类；
S7.1：所述S7中的分类检测方法：使用深度学习分类模型对用户图像的装饰进行检测和分类，具体包括眼镜、发型、眉毛和肤色。
进一步地，在所述深度学习分类模型对用户装饰进行检测分类之前，所述方法还包括：
深度学习分类模型训练：采集具有不同装饰的人物图像；标注数据集，所需标注信息为人物图像装饰的类别；将标注后的数据集划分为训练集、验证集和测试集；利用划分后的训练集和验证集对人物装饰分类模型进行训练，将测试集输入到训练后的装饰分类模型得到装饰类别分类结果，通过标签和预测的分类结果对模型进行评估，然后得到装饰分类模型。
S8：将变形模块输出的卡通人脸模型和装饰分类模块输出的装饰分类类别分别输入到融合模块。通过模型融合对卡通人脸模型和头部模型融合补全，通过装饰分类结果将手工预制的装饰与卡通模型相匹配，最后对卡通模型进行渲染得到最终结果；
S8.1：所述S8中的融合模块：将卡通人脸模型和预制头部模型对齐，然后将对齐后的模型进行网格拓扑匹配；为保证模型融合后的边界过渡平滑，使用优化算法对连接处的网格进行优化处理以达到平滑过渡效果；
S8.2：所述S8中的装饰匹配模块：获取所述S7中的装饰分类结果，通过该分类结果将手工预制的装饰与融合后的3D卡通数字人相匹配。
S8.3：所述S8中的模型渲染模块：使用渲染引擎对所述S8.2的卡通模型进行渲染，得到最终的3D卡通数字人形象。
上述技术方案仅体现了本发明技术方案的优选技术方案，本技术领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理，属于本发明的保护范围之内。
Claims (9)
1.一种3D卡通数字人的制作方法，其特征在于，包括以下步骤：
步骤S1：获取真人用户图像；
步骤S2：将用户正脸图像输入到人脸检测识别模块，对其进行关键点检测和图像预处理；
步骤S3：将人脸检测识别模块输出的图像输入到人脸重建模块，通过深度学习模型得到人脸特征系数，并通过特征系数对用户人脸进行三维重建；
步骤S4：通过3D建模软件制作中性人脸模型和其对应的卡通风格人脸模型；
步骤S5：将预制人脸模块输出的中性人脸模型输入到变形模块，通过三维可变形技术将中性人脸三维模型变形到人脸重建模块输出的用户三维人脸模型；
步骤S6：将卡通风格模板变形为同时具有用户特征和预制卡通风格的三维人脸模型；
步骤S7：将相机采集模块得到的用户正脸图像输入到装饰分类模块，对用户的装饰进行检测分类；
步骤S8：将变形模块输出的卡通人脸模型和装饰分类模块输出的装饰分类类别分别输入到融合模块，通过模型融合对卡通人脸模型和头部模型融合补全，通过装饰分类结果将手工预制的装饰与卡通模型相匹配，最后对卡通模型进行渲染得到最终结果。
2.根据权利要求1所述的一种3D卡通数字人的制作方法，其特征在于，所述步骤S1中：用户置于一个较好的光照环境中，并保持正脸面向相机；
通过相机拍摄用户的正脸图像。
3.根据权利要求1所述的一种3D卡通数字人的制作方法，其特征在于，所述步骤S2中：人脸检测识别模块包含人脸关键点检测和图像预处理两部分功能；
步骤S2中：的人脸关键点检测：使用深度学习模型对输入图像的人脸和人脸关键点进行检测，得到人脸的5个关键点位置坐标信息；
步骤S2中：中图像预处理：将开源数据BFM人脸模型作为底模，获取BFM模型三维人脸5个关键点位置坐标，将所述S2.2中的人脸关键点与BFM人脸模型关键点进行最小二乘法计算得到图像的放缩参数和裁剪参数，根据放缩参数和裁剪参数对输入图像进行预处理，从而得到大小为224×224的图像。
4.根据权利要求1所述的一种3D卡通数字人的制作方法，其特征在于，所述步骤S3中的特征系数方法：使用人脸特征系数深度学习模型对输入图像推导出该用户图像的特征系数；
在所述人脸特征系数深度学习模型对输入图像进行推理之前，所述方法还包括：
人脸特征系数模型训练：使用生成对抗网络生成一定数量的亚洲人脸图像，将该图像与开源人脸数据集FFHQ进行混合来构成本方法的数据集；数据集预处理：将数据集使用68点人脸关键点检测器进行检测，得到每张图像的68个关键点坐标；将数据集使用基于皮肤注意力的高斯混合模型进行处理，得到每张图像的掩膜，将处理后的数据集按一定比例划分为训练集、验证集和测试集，利用所划分的训练集和验证集对人脸特征系数模型进行训练，将测试集图像输入到训练后的人脸特征系数模型进行模型评估，最终得到本方法使用的人脸特征系数深度学习模型；
所述S3中的人脸三维重建：使用S3.1中得到的人脸特征系数与BFM模型进行矩阵运算，得到该用户图像的三维人脸模型。
5.根据权利要求1所述的一种3D卡通数字人的制作方法，其特征在于，所述S4中的中性人脸模型：该模型为进行真人风格人脸变形的底模；
所述S4中的卡通风格人脸模型：该模型为所述S4.1中的中性人脸模型按照一定风格制作的卡通风格人脸模型，对于不同的生成风格要求，需要制作不同的卡通模型。
6.根据权利要求1所述的一种3D卡通数字人的制作方法，其特征在于，所述S5中变形模块：分别获取预制人脸模块输出的中性人脸三维模型的位置坐标和人脸重建模块输出的用户人脸三维模型的位置坐标，将中性人脸三维模型的位置坐标进行坐标变换以变换到用户人脸三维模型的位置坐标，并记录这种映射变换关系。
7.根据权利要求1所述的一种3D卡通数字人的制作方法，其特征在于，所述步骤S6中将卡通风格模板根据所述S5.1的映射变换关系进行变换，得到该用户的卡通风格人脸形象，对于同一种生成风格，该卡通模型只需要制作一次。
8.根据权利要求1所述的一种3D卡通数字人的制作方法，其特征在于，所述步骤S7中的分类检测方法：使用深度学习分类模型对用户图像的装饰进行检测和分类，具体包括眼镜、发型、眉毛和肤色；
在所述深度学习分类模型对用户装饰进行检测分类之前，所述方法还包括：
深度学习分类模型训练：采集具有不同装饰的人物图像；标注数据集，所需标注信息为人物图像装饰的类别；将标注后的数据集划分为训练集、验证集和测试集；利用划分后的训练集和验证集对人物装饰分类模型进行训练，将测试集输入到训练后的装饰分类模型得到装饰类别分类结果，通过标签和预测的分类结果对模型进行评估，然后得到装饰分类模型。
9.根据权利要求1所述的一种3D卡通数字人的制作方法，其特征在于，所述步骤S8中的融合模块：将卡通人脸模型和预制头部模型对齐，然后将对齐后的模型进行网格拓扑匹配；为保证模型融合后的边界过渡平滑，使用优化算法对连接处的网格进行优化处理以达到平滑过渡效果；
所述步骤S8的装饰匹配模块：获取所述S7中的装饰分类结果，通过该分类结果将手工预制的装饰与融合后的3D卡通数字人相匹配；
所述步骤S8中的模型渲染模块：使用渲染引擎对所述S8中的卡通模型进行渲染，得到最终的3D卡通数字人形象。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311462110.5A CN117542098A (zh) | 2023-11-06 | 2023-11-06 | 一种3d卡通数字人的制作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311462110.5A CN117542098A (zh) | 2023-11-06 | 2023-11-06 | 一种3d卡通数字人的制作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117542098A true CN117542098A (zh) | 2024-02-09 |
Family
ID=89792947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311462110.5A Pending CN117542098A (zh) | 2023-11-06 | 2023-11-06 | 一种3d卡通数字人的制作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117542098A (zh) |
-
2023
- 2023-11-06 CN CN202311462110.5A patent/CN117542098A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cheng et al. | Parametric modeling of 3D human body shape—A survey | |
| US7804997B2 (en) | Method and system for a three dimensional facial recognition system | |
| Ersotelos et al. | Building highly realistic facial modeling and animation: a survey | |
| Magnenat-Thalmann et al. | Handbook of virtual humans | |
| US9959453B2 (en) | Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature | |
| JP2004094917A (ja) | 仮想化粧装置及びその方法 | |
| KR20230097157A (ko) | 개인화된 3d 헤드 모델 변형을 위한 방법 및 시스템 | |
| JP2024506170A (ja) | 個人化された３ｄ頭部モデルおよび顔モデルを形成するための方法、電子装置、およびプログラム | |
| KR20230085931A (ko) | 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템 | |
| CN106326980A (zh) | 机器人和机器人模拟人脸面部运动的方法 | |
| Wang et al. | Wuju opera cultural creative products and research on visual image under VR technology | |
| Xi et al. | A data-driven approach to human-body cloning using a segmented body database | |
| Kaneko et al. | Processing of face images and its applications | |
| CN117542098A (zh) | 一种3d卡通数字人的制作方法 | |
| Sanchez-Riera et al. | AVATAR: Blender add-on for fast creation of 3D human models | |
| Alkawaz et al. | A crucial investigation of facial skin colour research trend and direction | |
| Ren et al. | Make-a-character: High quality text-to-3d character generation within minutes | |
| Lang et al. | 3d face synthesis driven by personality impression | |
| Sucontphunt et al. | Crafting 3d faces using free form portrait sketching and plausible texture inference | |
| Jia et al. | Facial expression synthesis based on motion patterns learned from face database | |
| Tian et al. | Augmented Reality Animation Image Information Extraction and Modeling Based on Generative Adversarial Network | |
| Lai et al. | Novel approach to neural network based caricature generation | |
| Bibliowicz | An automated rigging system for facial animation | |
| Yang et al. | Application of augmented reality technology in smart cartoon character design and visual modeling | |
| Bai et al. | Construction of virtual image synthesis module based on computer technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |