CN114519757A - 一种捏脸处理方法 - Google Patents
一种捏脸处理方法 Download PDFInfo
- Publication number
- CN114519757A CN114519757A CN202210148157.3A CN202210148157A CN114519757A CN 114519757 A CN114519757 A CN 114519757A CN 202210148157 A CN202210148157 A CN 202210148157A CN 114519757 A CN114519757 A CN 114519757A
- Authority
- CN
- China
- Prior art keywords
- face
- virtual
- real
- key points
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 38
- 238000009877 rendering Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 33
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 210000000697 sensory organ Anatomy 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 238000003908 quality control method Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 33
- 230000001815 facial effect Effects 0.000 description 10
- 210000000988 bone and bone Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种捏脸处理方法，利用人脸特征的关键点构建虚拟人脸骨骼参数，然后对获取的虚拟人脸骨骼参数进行渲染，从而获取虚拟角色。其技术方案如下：获取用户的真实人脸图像，并随机初始化一组人脸骨骼参数；随机初始化一组虚拟人脸骨骼参数；根据提取真实人脸图像的提取真实人脸特征和真实人脸关键点；基于真实人脸特征和真实人脸关键点迭代收敛虚拟人脸骨骼参数；渲染完成收敛的虚拟人脸骨骼参数，生成虚拟角色。
Description
技术领域
本发明涉及游戏角色生成领域，具体涉及一种捏脸处理方法。
背景技术
在传统游戏角色生成领域，通常需要大量数据构建人脸的先验模型，以防止出现畸形人脸。但是，目前对于训练模型所需要的人脸图像集大部分为欧美人脸，得到的先验模型并不适用于亚洲人脸。
在进行捏脸处理时，一般要先将真实人脸转换为风格人脸，然后确定捏脸参数，相比于真实人脸直接确定捏脸参数这种方法多了一次转换，增加了系统误差。对于利用骨骼参数直接生成虚拟角色这种方法，通常需要利用骨骼点生成网络提取人脸骨骼参数，但是训练骨骼点生成网络需要大量数据，对训练数据相关性很大，对于训练数据以外的其他数据效果不好。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
本发明的目的在于解决上述问题，提供了一种捏脸处理方法，利用真实人脸特征和真实人脸关键点迭代虚拟人脸骨骼参数，并基于虚拟人脸骨骼参数进行渲染，从而获取与真实人脸相似的虚拟游戏角色。
本发明的技术方案为：
本发明提供一种捏脸处理方法，包括以下步骤：
获取用户的真实人脸图像，并随机初始化一组人脸骨骼参数；
根据真实人脸图像提取真实人脸特征和真实人脸关键点；
基于真实人脸特征和真实人脸关键点迭代收敛虚拟人脸骨骼参数；
渲染完成收敛的虚拟人脸骨骼参数，生成虚拟角色。
根据本发明的捏脸处理方法的一实施例，所述捏脸处理方法通过图形用户界面获取用户上传的真实人脸，并对所述真实人脸图像进行质量控制，获取符合规范的真实人脸图像。
根据本发明的捏脸处理方法的一实施例，所述捏脸处理方法对符合规范的真实人脸图像进行校正，获取正面的真实人脸图像。
根据本发明的捏脸处理方法的一实施例，所述捏脸处理方法使用人脸识别卷积神经网络从真实人脸图像中提取真实人脸特征，并通过真实人脸关键点检测网络从真实人脸图像中提取真实人脸关键点。
根据本发明的捏脸处理方法的一实施例，所述真实人脸关键点检测网络基于真实人脸数据集构建模型，包括以下步骤：
采集真实人脸数据集；其中，所述真实人脸数据集包括真实人脸图像以及对应的真实人脸关键点；
筛选真实人脸关键点中的五官和面部轮廓关键点；
构建卷积神经网络；
基于筛选后的真实人脸关键点和真实人脸图像训练卷积神经网络，获取真实人脸关键点检测网络。
根据本发明的捏脸处理方法的一实施例，所述迭代收敛虚拟人脸骨骼参数包括以下步骤：
基于虚拟人脸骨骼参数，生成虚拟人脸图像；
根据虚拟人脸图像，获取虚拟人脸数据；
使用人脸识别卷积神经网络和虚拟人脸关键点检测网络，获取虚拟人脸特征和虚拟人脸关键点；
基于真实人脸特征和真实人脸关键点收敛虚拟人脸特征和虚拟人脸关键点，迭代虚拟人脸骨骼参数；
判断虚拟人脸骨骼参数是否完成收敛；若是，则将完成迭代的虚拟人脸骨骼参数作为捏脸参数；若否，则继续迭代虚拟人脸骨骼参数。
根据本发明的捏脸处理方法的一实施例，所述虚拟人脸数据包括虚拟人脸特征和虚拟人脸关键点，通过人脸特征损失函数和人脸关键点损失函数迭代虚拟人脸骨骼参数。
根据本发明的捏脸处理方法的一实施例，所述虚拟人脸图像通过人脸识别卷积神经网络提取虚拟人脸特征，利用虚拟人脸特征向量与真实人脸特征向量的特征余弦值构建损失函数，计算公式如下：
；其中，Feature_real表示真实人脸特征向量，
Feature_virtual表示虚拟人脸特征向量。
根据本发明的捏脸处理方法的一实施例，所述虚拟人脸图像通过虚拟人脸关键点检测网络提取虚拟人脸关键点，并将虚拟人脸关键点与真实人脸关键点根据人脸特征分为多组关键点，利用每组关键点的相对坐标和位移参数构建人脸关键点损失函数，计算公式如下：
；其中，Landmark_real_groupi表示第i组的真实人脸关键点的相对坐标，
Landmark_virtual_groupi表示第i组的虚拟人脸关键点的相对坐标，
offseti表示第i组的关键点的位移参数，
β表示权重。
根据本发明的捏脸处理方法的一实施例，利用人脸特征损失函数值和人脸关键点损失函数值计算综合加权损失函数，通过综合加权损失函数值迭代虚拟人脸骨骼参数，计算公式如下：
loss＝loss_feature+α∑iloss_landmark_groupi
；其中，loss_feature表示人脸特征损失函数值，
loss_landmark_groupi表示第i组关键点的人脸关键点损失函数值，α表示权重。
根据本发明的捏脸处理方法的一实施例，所述虚拟人脸骨骼参数通过虚拟人脸图像生成网络生成虚拟人脸图像，并使用虚拟人脸关键点检测网络提取虚拟人脸关键点；其中，所述虚拟人脸图像生成网络和虚拟人脸关键点检测网络基于虚拟人脸图像和对应的虚拟人脸骨骼参数以及虚拟人脸关键点构建模型，包括以下步骤：
采集虚拟人脸骨骼参数；
基于虚拟人脸骨骼参数渲染虚拟获取虚拟角色以及对应的虚拟人脸图像；
根据虚拟人脸图像检测获取虚拟人脸关键点；
构建卷积神经网络；
基于虚拟人脸图像和对应的虚拟人脸骨骼参数以及虚拟人脸关键点训练卷积神经网络，获取虚拟人脸图像生成网络和虚拟人脸关键点检测网络。
本发明对比现有技术有如下的有益效果：本发明根据用户上传的人脸图像获取对应的真实人脸特征和真实人脸关键点，利用该用户的真实人脸特征和真实人脸关键点对一组随机初始化的虚拟人脸骨骼参数进行迭代优化。与传统的捏脸处理方法不同，本发明在迭代过程中无需大量数据，直接根据用户的真实人脸获取捏脸参数，从而大大减少了数据处理量，加快了角色生成时间。此外，本发明将人脸的关键点按照人脸的五官和轮廓进行分组，利用各组的关键点约束虚拟人脸与真实人脸的五官和轮廓，从而提高了生成的虚拟角色与用户的真实人脸图像的相似度。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1是示出本发明的捏脸处理方法一实施例的流程图。
图2是示出本发明的用户上传真实人脸图像处理方法一实施例的流程图。
图3是示出本发明的真实人脸关键点检测网络模型构建方法一实施例的流程图。
图4是示出本发明的迭代收敛虚拟人脸骨骼参数方法一实施例的流程图
图5是示出本发明的虚拟人脸图像生成网络模型和虚拟人脸关键点检测网络模型构建方法一实施例的流程图。
图6是示出本发明的人脸关键点匹配方法一实施例的示意图。
具体实施方式
以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。
在此公开一种捏脸处理方法的一实施例，图1是示出本发明的捏脸处理方法一实施例的流程图。请参照图1，下面是对捏脸处理方法各步骤的详细说明。
S1：获取用户的真实人脸图像，并随机初始化一组虚拟人脸骨骼参数。
本实施例中，通过图形用户界面获取用户上传的真实人脸图像，在准备提取真实人脸特征和真实人脸关键点的之前，需要先对获取到的真实人脸图像进行预处理，图2是示出本发明的用户长传真实人脸图像处理方法一实施例的流程图。
如图2所示，本实施中，获取到用户上传的真实人脸图像后，首先对真实人脸图像进行质量控制。若该人脸图像不符合规范，例如如面部有遮挡，脸部区域面积过小等，则通过图像用户界面提示用户更换图像，从而获取到符合规范的真实人脸图像。接着，获取到通过质量控制的真实人脸图像后进行人脸校正。具体地，将将两眼连线旋转至水平，再以人脸为中心裁切人脸，得到矫正后的正面的真实人脸图像Image_real，然后提取真实人脸特征Feature_real和真实人脸关键点Landmark_real。
此外，本实施例中，获取到用户上传的真实人脸图像时，系统随机初始化一组虚拟人脸骨骼参数，使用提取到的真实人脸特征Feature_real和真实人脸关键点Landmark_real收敛迭代该组虚拟人脸骨骼参数，获取与用户人脸图像相似的虚拟游戏角色。具体地，为所有虚拟人脸骨骼参数随机选取一个0～1之间的值，作为虚拟人脸骨骼参数的初始值，然后利用从用户上传的真实人脸图像所提取的真实人脸特征和真实人脸关键点对该初始值进行迭代收敛，获取捏脸参数。
S2:根据真实人脸图像提取真实人脸特征和真实人脸关键点。
本实施例中，获取到正面的真实人脸图像Image_real以后，使用开源的人脸识别卷积神经网络RetinaFace从真实人脸图像Image_real提取真实人脸特征Feature_real，并通过真实人脸关键点检测网络Net_landmark_real从真实人脸图像Image_real中检测真实人脸关键点Landmark_real。
进一步地，本实施例中，用于提取真实人脸关键点的真实人脸关键点检测网络Net_landmark_real利用真实人脸数据集构建模型，图3是示出本发明的真实人脸关键点检测网络模型构建方法一实施例的流程图，请参照图3，下面是对真实人脸关键点检测网络模型构建方法各步骤的详细说明。
S21：采集真实人脸数据集；其中，所述真实人脸数据集包括真实人脸图像以及对应的真实人脸关键点。
具体地，本实施例中采集开源的真实人脸图像以及对应的真实人脸关键点作为用于真实人脸关键点检测网络训练的真实人脸数据集。
S22：筛选真实人脸关键点中的五官和面部轮廓关键点。
S23:构建卷积神经网络。
本实施例中，根据人脸五官和脸部轮廓特征筛选出分布在五官及脸部轮廓边缘的真实人脸关键点，这些关键点可表示五官及脸部轮廓的形状。
S24：基于筛选后的真实人脸关键点和真实人脸图像训练卷积神经网络，获取真实人脸关键点检测网络。
本实施例中，真实人脸关键点检测模型训练完成后，输入一张正面的真实人脸图像，可输出对应的真实人脸关键点。
S3:基于真实人脸特征和真实人脸关键点迭代收敛虚拟人脸骨骼参数。
具体地，本实施例中使用真实人脸特征和真实人脸关键点迭代收敛虚拟人脸骨骼参数，从而获取用于生成虚拟角色的捏脸参数。图4是示出本发明的迭代收敛虚拟人脸骨骼参数方法一实施例的流程图，请参照图4，下面是对本发明迭代收敛虚拟人脸骨骼参数方法各步骤的详细说明。
S31:随机初始化虚拟人脸骨骼参数。
S32:根据虚拟人脸骨骼参数生成虚拟人脸图像。
本实施例中，将虚拟人脸骨骼参数Parameter_face输入到虚拟人脸图像生成网络Net_face中，生成虚拟人脸图像Image_virtual。其中，虚拟人脸图像生成网络利用虚拟人脸图像和对应的虚拟人脸关键点构建模型，图5是示出本发明的虚拟人脸图像生成网络模型和虚拟人脸关键点检测网络模型构建方法一实施例的流程图，包括以下步骤：
S321:采集虚拟人脸骨骼参数。
S322:基于虚拟人脸骨骼参数渲染虚拟获取虚拟角色以及对应的虚拟人脸图像。
S323:根据虚拟人脸图像检测获取虚拟人脸关键点。
具体地，本实施例随机采集大量虚拟人脸骨骼参数，使用渲染引擎渲染得到对应的虚拟角色并获取其虚拟人脸图像，并使用开源工具Dlib从虚拟人脸图像检测虚拟人脸关键点，关键点分布在五官及脸部轮廓边缘，可表示五官及脸部轮廓的形状。
S324:构建卷积神经网络。
S325:基于虚拟人脸图像和对应的虚拟人脸骨骼参数以及虚拟人脸关键点训练卷积神经网络，获取虚拟人脸图像生成网络和虚拟人脸关键点检测模型。
具体地，使用虚拟人脸图像和对应的虚拟人脸骨骼参数训练卷积神经网络Net_face。当虚拟人脸图像生成网络Net_face完成训练后，输入一组虚拟人脸骨骼参数，即可输出对应的虚拟人脸图像；当虚拟人脸关键点检测网络Net_landmark_virtual完成训练后，输入一张虚拟人脸图像，即可输出对应的虚拟人脸关键点，其训练过程与真实人脸关键点检测网络过程一致，不再赘述。
S33:根据虚拟人脸图像提取虚拟人脸特征和虚拟人脸关键点。
本实施例中，使用开源的人脸识别卷积神经网络RetinaFace和虚拟人脸关键点检测网络Net_landmark_virtual从虚拟人脸图像Image_virtual中提取虚拟人脸数据。其中，虚拟人脸数据包括虚拟人脸特征Feature_virtual和虚拟人脸关键点Landmark_virtual，通过人脸特征损失函数和人脸关键点损失函数迭代虚拟人脸骨骼参数Parameter_face。
S34：计算人脸特征损失函数值。
具体地，使用人脸特征损失函数计算人脸特征损失函数值时，利用虚拟人脸特征向量与真实人脸特征向量的特征余弦值构建损失函数，计算公式如下：
其中，Feature_real表示真实人脸特征向量，Feature_virtual表示虚拟人脸特征向量。
S35：计算人脸关键点损失函数值。
本实施例中，使用人脸关键点损失函数计算人脸关键点损失函数时，将虚拟人脸关键点与真实人脸关键点根据人脸特征分为多组关键点，利用每组关键点的相对坐标和位移参数构建人脸关键点损失函数，计算公式如下：
；其中，Landmark_real_groupi表示第i组的真实人脸关键点的相对坐标，Landmark_virtual_groupi表示第i组的虚拟人脸关键点的相对坐标，offseti表示第i组的关键点的位移参数，β表示权重。
具体地，||offseti||1为正则项，在loss加入一项||offseti||1以达到对offset大小的约束，从而避免了为了使losslandmark降低，使得offset可能会变得很大，最终导致两组关键点可能还相去甚远。β为正则项的系数，用于调整losslandmark中的两个部分。在训练过程中，通常根据训练的情况和效果对β进行调整，例如β＝0.1。因此，加了正则项后的losslandmark，在offset尽可能小的情况下可以使得两组关键点形状尽可能接近。
本发明创新性地引入五官及脸部轮廓的形状的相似性，如图6所示，将人脸的关键点按照五官及脸部轮廓进行分组，通过约束它们的真实人脸关键点Landmark_real和虚拟人脸关键点Landmark_virtual来体现人脸特征。由于游戏中的虚拟人脸会对真实人脸进行一定的艺术加工，因此不要求Landmark_real和Landmark_virtual中对应关键点坐标绝对一致，而要求五官及脸部轮廓的形状相似，而五官及脸部轮廓之间可以存在一定程度的位移，通过位移参数offset来体现。我们引入可学习参数offset，将关键点按五官和脸部轮廓分组，每组关键点使用不同offset，以表示该组关键点在图中的位移，第i组的offset用offseti表示，同时offseti应受到约束并赋予权重β，因为offseti通常较小。
S36:基于人脸特征函数值和人脸关键点损失函数值计算综合加权损失函数值。
S37:判断虚拟人脸骨骼参数是否完成收敛；若是，则再次回到步骤S32。
S38:渲染完成收敛的虚拟人脸骨骼参数，获取虚拟角色。
本实施例中，利用上述的人脸特征损失函数值和人脸关键点损失函数值计算综合加权损失函数，通过综合加权损失函数值收敛虚拟人脸骨骼参数Parameter_face，计算公式如下：
其中，loss_feature表示人脸特征损失函数值，loss_landmark_groupi表示第i组关键点的人脸关键点损失函数值，α表示权重，用于调整loss中的两个部分，即人脸特征损失函数值和人脸关键点损失函数值，通常根据训练的情况和效果进行调整对α进行调整。判断loss是否收敛，若是，则loss收敛时的虚拟骨骼参数Parameter_face输入渲染引擎，得到与用户上传图像相似的虚拟角色。若否，则重新生成虚拟人脸图像进行收敛迭代，直到获取到与用户图像相似的虚拟角色。
S4:渲染完成收敛的虚拟人脸骨骼参数，生成虚拟角色。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。
本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。
结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。
Claims (11)
1.一种捏脸处理方法，其特征在于，包括以下步骤：
获取用户的真实人脸图像，并随机初始化一组人脸骨骼参数；
根据真实人脸图像提取真实人脸特征和真实人脸关键点；
基于真实人脸特征和真实人脸关键点迭代收敛虚拟人脸骨骼参数；
渲染完成收敛的虚拟人脸骨骼参数，生成虚拟角色。
2.根据权利要求1所述的捏脸处理方法，其特征在于，所述捏脸处理方法通过图形用户界面获取用户上传的真实人脸，并对所述真实人脸图像进行质量控制，获取符合规范的真实人脸图像。
3.根据权利要求2所述的捏脸处理方法，其特征在于，所述捏脸处理方法对符合规范的真实人脸图像进行校正，获取正面的真实人脸图像。
4.根据权利要求1所述的捏脸处理方法，其特征在于，所述捏脸处理方法使用人脸识别卷积神经网络从真实人脸图像中提取真实人脸特征，并通过真实人脸关键点检测网络从真实人脸图像中提取真实人脸关键点。
5.根据权利要求4所述的捏脸处理方法，其特征在于，所述真实人脸关键点检测网络基于真实人脸数据集构建模型，包括以下步骤：
采集真实人脸数据集；其中，所述真实人脸数据集包括真实人脸图像以及对应的真实人脸关键点；
筛选真实人脸关键点中的五官和面部轮廓关键点；
构建卷积神经网络；
基于筛选后的真实人脸关键点和真实人脸图像训练卷积神经网络，获取真实人脸关键点检测网络。
6.根据权利要求1所述的捏脸处理方法，其特征在于，所述迭代收敛虚拟人脸骨骼参数包括以下步骤：
基于虚拟人脸骨骼参数，生成虚拟人脸图像；
根据虚拟人脸图像，获取虚拟人脸数据；
使用人脸识别卷积神经网络和虚拟人脸关键点检测网络，获取虚拟人脸特征和虚拟人脸关键点；
基于真实人脸特征和真实人脸关键点收敛虚拟人脸特征和虚拟人脸关键点，迭代虚拟人脸骨骼参数；
判断虚拟人脸骨骼参数是否完成收敛；若是，则将完成迭代的虚拟人脸骨骼参数作为捏脸参数；若否，则继续迭代虚拟人脸骨骼参数。
7.根据权利要求6所述的捏脸处理方法，其特征在于，所述虚拟人脸数据包括虚拟人脸特征和虚拟人脸关键点，通过人脸特征损失函数和人脸关键点损失函数迭代虚拟人脸骨骼参数。
8.根据权利要求7所述的捏脸处理方法，其特征在于，所述虚拟人脸图像通过人脸识别卷积神经网络提取虚拟人脸特征，利用虚拟人脸特征向量与真实人脸特征向量的特征余弦值构建损失函数，计算公式如下：
其中，Feature_real表示真实人脸特征向量，Feature_virtual表示虚拟人脸特征向量。
9.根据权利要求7所述的捏脸处理方法，其特征在于，所述虚拟人脸图像通过虚拟人脸关键点检测网络提取虚拟人脸关键点，并将虚拟人脸关键点与真实人脸关键点根据人脸特征分为多组关键点，利用每组关键点的相对坐标和位移参数构建人脸关键点损失函数，计算公式如下：
其中，Landmark_real_groupi表示第i组的真实人脸关键点的相对坐标，Landmark_virtual_groupi表示第i组的虚拟人脸关键点的相对坐标，offseti表示第i组的关键点的位移参数，
β表示权重。
10.根据权利要求7所述的捏脸处理方法，其特征在于，利用人脸特征损失函数值和人脸关键点损失函数值计算综合加权损失函数，通过综合加权损失函数值迭代虚拟人脸骨骼参数，计算公式如下：
loss＝loss_feature+α∑iloss_landmark_groupi；
其中，loss_feature表示人脸特征损失函数值，loss_landmark_groupi表示第i组关键点的人脸关键点损失函数值，α表示权重。
11.根据权利要求6所述的捏脸处理方法，其特征在于，所述虚拟人脸骨骼参数通过虚拟人脸图像生成网络生成虚拟人脸图像，并使用虚拟人脸关键点检测网络提取虚拟人脸关键点；其中，所述虚拟人脸图像生成网络和虚拟人脸关键点检测网络基于虚拟人脸图像和对应的虚拟人脸骨骼参数以及虚拟人脸关键点构建模型，包括以下步骤：
采集虚拟人脸骨骼参数；
基于虚拟人脸骨骼参数渲染虚拟获取虚拟角色以及对应的虚拟人脸图像；
根据虚拟人脸图像检测获取虚拟人脸关键点；
构建卷积神经网络；
基于虚拟人脸图像和对应的虚拟人脸骨骼参数以及虚拟人脸关键点训练卷积神经网络，获取虚拟人脸图像生成网络和虚拟人脸关键点检测网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210148157.3A CN114519757A (zh) | 2022-02-17 | 2022-02-17 | 一种捏脸处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210148157.3A CN114519757A (zh) | 2022-02-17 | 2022-02-17 | 一种捏脸处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114519757A true CN114519757A (zh) | 2022-05-20 |
Family
ID=81598490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210148157.3A Pending CN114519757A (zh) | 2022-02-17 | 2022-02-17 | 一种捏脸处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114519757A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111632374A (zh) * | 2020-06-01 | 2020-09-08 | 网易（杭州）网络有限公司 | 游戏中虚拟角色的脸部处理方法、装置及可读存储介质 |
| CN111738087A (zh) * | 2020-05-25 | 2020-10-02 | 完美世界(北京)软件科技发展有限公司 | 一种游戏角色面部模型的生成方法和装置 |
| CN112907537A (zh) * | 2021-02-20 | 2021-06-04 | 司法鉴定科学研究院 | 基于深度学习和现场虚拟仿真技术的骨骼性别鉴别方法 |
| WO2021139309A1 (zh) * | 2020-07-31 | 2021-07-15 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、装置、设备及存储介质 |
| CN113409437A (zh) * | 2021-06-23 | 2021-09-17 | 北京字节跳动网络技术有限公司 | 一种虚拟角色捏脸的方法、装置、电子设备及存储介质 |
| US20210366162A1 (en) * | 2018-12-25 | 2021-11-25 | Netease (Hangzhou) Network Co.,Ltd. | Method and Apparatus for Generating Face Model, Storage Medium, and Terminal |
-
2022
- 2022-02-17 CN CN202210148157.3A patent/CN114519757A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210366162A1 (en) * | 2018-12-25 | 2021-11-25 | Netease (Hangzhou) Network Co.,Ltd. | Method and Apparatus for Generating Face Model, Storage Medium, and Terminal |
| CN111738087A (zh) * | 2020-05-25 | 2020-10-02 | 完美世界(北京)软件科技发展有限公司 | 一种游戏角色面部模型的生成方法和装置 |
| CN111632374A (zh) * | 2020-06-01 | 2020-09-08 | 网易（杭州）网络有限公司 | 游戏中虚拟角色的脸部处理方法、装置及可读存储介质 |
| WO2021139309A1 (zh) * | 2020-07-31 | 2021-07-15 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、装置、设备及存储介质 |
| CN112907537A (zh) * | 2021-02-20 | 2021-06-04 | 司法鉴定科学研究院 | 基于深度学习和现场虚拟仿真技术的骨骼性别鉴别方法 |
| CN113409437A (zh) * | 2021-06-23 | 2021-09-17 | 北京字节跳动网络技术有限公司 | 一种虚拟角色捏脸的方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| ABDSSAMAD ELBOUSHAKI ELBOUSHAKI: "MultiD-CNN:A multi-dimensional feature learning approach based on deep convolutional networks for gesture recognition in RGB-D image sequences", EXPERT SYSTEMS WITH APPLICATIONS, vol. 139, 31 January 2020 (2020-01-31), pages 1 - 25 * |
| 王一丁;于洋;: "基于深度学习的多任务人脸检测的设计与实现", 信息与电脑(理论版), no. 02, 25 January 2020 (2020-01-25), pages 108 - 111 * |
| 祝铭阳;孙怀江;: "人脸动画关键点最优化算法", 计算机辅助设计与图形学学报, no. 01, 15 January 2013 (2013-01-15), pages 95 - 102 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11093733B2 (en) | Image processing method and apparatus, storage medium and electronic device | |
| Liu et al. | Learning converged propagations with deep prior ensemble for image enhancement | |
| CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
| CN109711426B (zh) | 一种基于gan和迁移学习的病理图片分类装置及方法 | |
| CN111632374B (zh) | 游戏中虚拟角色的脸部处理方法、装置及可读存储介质 | |
| CN108681752A (zh) | 一种基于深度学习的图像场景标注方法 | |
| KR101183391B1 (ko) | 메트릭 임베딩에 의한 이미지 비교 | |
| CN111461155A (zh) | 训练分类模型的装置和方法 | |
| CN112183501B (zh) | 深度伪造图像检测方法及装置 | |
| Wulff et al. | Improving inversion and generation diversity in stylegan using a gaussianized latent space | |
| WO2020216033A1 (zh) | 用于面部图像生成的数据处理方法、设备和介质 | |
| CN111242841A (zh) | 一种基于语义分割和深度学习的图片背景风格迁移方法 | |
| KR102400609B1 (ko) | 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치 | |
| CN112215054B (zh) | 一种用于水声信号去噪的深度生成对抗方法 | |
| Dupont et al. | Probabilistic semantic inpainting with pixel constrained cnns | |
| CN115601751A (zh) | 一种基于领域泛化的眼底图像语义分割方法 | |
| CN113808277B (zh) | 一种图像处理方法及相关装置 | |
| Wang et al. | Statistical modeling of the 3D geometry and topology of botanical trees | |
| CN110782408B (zh) | 一种基于卷积神经网络的智能美型方法及系统 | |
| CN113762022A (zh) | 人脸图像的融合方法和装置 | |
| US20230237630A1 (en) | Image processing method and apparatus | |
| CN114519757A (zh) | 一种捏脸处理方法 | |
| CN111340913A (zh) | 图片生成与模型训练方法、装置及存储介质 | |
| CN110598727A (zh) | 基于迁移学习的模型构建方法、图像识别方法及其装置 | |
| CN113327191A (zh) | 人脸图像合成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |