CN113111784A - 一种面部形状预测方法、系统及电子设备 - Google Patents

一种面部形状预测方法、系统及电子设备 Download PDF

Info

Publication number
CN113111784A
CN113111784A CN202110402391.XA CN202110402391A CN113111784A CN 113111784 A CN113111784 A CN 113111784A CN 202110402391 A CN202110402391 A CN 202110402391A CN 113111784 A CN113111784 A CN 113111784A
Authority
CN
China
Prior art keywords
data
face
age group
shape prediction
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110402391.XA
Other languages
English (en)
Inventor
刘璐
闫瑞栋
徐聪
金良
郭振华
赵雅倩
李仁刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yingxin Computer Technology Co Ltd
Original Assignee
Shandong Yingxin Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yingxin Computer Technology Co Ltd filed Critical Shandong Yingxin Computer Technology Co Ltd
Priority to CN202110402391.XA priority Critical patent/CN113111784A/zh
Publication of CN113111784A publication Critical patent/CN113111784A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种面部形状预测方法、系统及电子设备，包括如下步骤：第一步，获取各年龄段人脸数据，预处理后得到源年龄段人脸数据和目标年龄段人脸数据；第二步，构造循环生成对抗网络，将源年龄段人脸数据输入循环生成对抗网络，获得第一面部形状预测数据和第二面部形状预测数据；第三步，基于源年龄段人脸数据、目标年龄段人脸数据、第一面部形状预测数据和第二面部形状预测数据计算循环生成对抗网络的总体损失，基于总体损失阈值进行循环生成对抗网络训练；第四步，将待预测的人脸数据输入训练成功的循环生成对抗网络，得到目标年龄段的预测人脸数据；通过上述方式，本发明保留了个性化特征，使得预测数据更加真实。

Description

一种面部形状预测方法、系统及电子设备
技术领域
本发明涉及人工智能与深度学习技术领域，特别是涉及一种面部形状预测方法、系统及电子设备。
背景技术
利用计算机技术分析人脸图像中随时间变化的年龄特征，合成在美学上呈现具有自然衰老或年轻化的面部图像的技术，被称为面部生长(Face Aging，FA)；婴幼儿面部图像的面部生长技术作为全年龄段面部生长技术中最重要的一环，可以通过自适应地生成儿童长大后的样貌作为参考信息，为失踪儿童寻找案件的侦破提供线索；在婴幼儿面部生长技术中，面部形状的变化是婴幼儿面部成长中最重要因素之一；为了真实地模拟预测中面部形状变化，方法应尊重人类面部普适性生长规律，也包含个体面部的个性化特征发展。
研究者们使用几何物理类方法对面部衰老建模；这类方法将面部肌肉或皮肤分解为或三维的几何单元，使用心源性转换模型、三维形状模型、人体测量学模型、颅面生长模型等来表示面部形状的位置信息；这些方法虽然满足了面部生长的普遍性规律，但同时不可避免的带来了个性化特征的流失；因此，此类方法通常只在非真实的衰老渲染中使用，例如素描人脸图像的面部形状合成等专业领域，在真实世界人脸照片图像中并不适用。
发明内容
本发明主要解决的技术问题是提供一种面部形状预测方法、系统及电子设备，能够解决只考虑面部生长的普遍性规律，带来的个性化特征流失的问题。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种面部形状预测方法，包括如下步骤：
第一步，获取各年龄段人脸数据，预处理后得到源年龄段人脸数据和目标年龄段人脸数据；
第二步，构造循环生成对抗网络，将所述源年龄段人脸数据输入所述循环生成对抗网络，获得第一面部形状预测数据和第二面部形状预测数据；所述第一面部形状预测数据为所述源年龄段人脸数据经过所述循环生成对抗网络后预测得到的目标年龄段人脸数据，所述第二面部形状预测数据为所述第一面部形状预测数据经过所述循环生成对抗网络后预测得到的源年龄段人脸数据；
第三步，基于所述源年龄段人脸数据、所述目标年龄段人脸数据、所述第一面部形状预测数据和所述第二面部形状预测数据计算所述循环生成对抗网络的总体损失，基于总体损失阈值进行循环生成对抗网络训练；
第四步，训练成功后，将待预测的人脸数据输入训练成功的所述循环生成对抗网络，得到目标年龄段的预测人脸数据。
作为一种改进方案，所述基于总体损失阈值进行循环生成对抗网络训练，进一步包括如下步骤：
判断所述总体损失是否超过所述总体损失阈值，若低于所述总体损失阈值，则所述循环生成对抗网络训练成功；
若超过所述总体损失阈值，则采用后向梯度传播对所述循环生成对抗网络进行下一轮训练。
作为一种改进方案，所述预处理后得到源年龄段人脸数据和目标年龄段人脸数据，进一步包括如下步骤：
将所述各年龄段人脸数据按照预设年龄段进行划分，得到若干人脸图像数据组；
选取若干人脸图像数据组，将选取的人脸图像数据组的所述人脸图像数据均采用面部定位点检测算法计算面部器官、轮廓的位置，将得到的位置数据转换成人脸数据；
选取所述人脸数据并按照年龄段划分为源年龄段人脸数据和目标年龄段人脸数据。
作为一种改进方案，所述循环生成对抗网络包括第一生成对抗网络和第二生成对抗网络；所述第一生成对抗网络包括第一生成器和第一判别器，所述第二生成对抗网络包括第二生成器和第二判别器；
进一步具体地，所述将所述源年龄段人脸数据输入所述循环生成对抗网络，获得第一面部形状预测数据和第二面部形状预测数据，进一步包括如下步骤：
将所述源年龄段人脸数据输入所述第一生成对抗网络的第一生成器，得到第一面部形状预测数据；将所述第一面部形状预测数据输入所述第一判别器，得到第一判别数据；
将所述第一面部形状预测数据输入所述第二生成对抗网络的第二生成器，得到第二面部形状预测数据；将所述第二面部形状预测数据输入所述第二判别器，得到第二判别数据。
作为一种改进方案，所述总体损失包括特征损失、对抗损失和循环一致性损失；所述对抗损失包括第一对抗损失和第二对抗损失。
进一步具体地，所述基于所述源年龄段人脸数据、所述目标年龄段人脸数据、所述第一面部形状预测数据和所述第二面部形状预测数据计算所述循环生成对抗网络的总体损失，进一步包括如下步骤：
确定所述源年龄段人脸数据的特征点数据，基于所述源年龄段人脸数据的特征点数据、所述目标年龄段人脸数据和所述第一面部形状预测数据计算所述第一特征损失；
基于所述源年龄段人脸数据和所述第一判别数据计算所述第一对抗损失；
基于所述第二判别数据和所述第二面部形状预测数据计算所述第二对抗损失；
基于所述源年龄段人脸数据和所述第二面部形状预测数据计算所述循环一致性损失；
基于所述特征损失、所述第一对抗损失、所述第二对抗损失和所述循环一致性损失计算所述循环生成对抗网络的总体损失。
作为一种改进方案，所述基于所述源年龄段人脸数据的特征点数据、所述目标年龄段人脸数据和所述第一面部形状预测数据计算所述特征损失，进一步包括如下步骤：
确定计算所述特征损失的余弦距离计算公式，基于所述余弦距离计算公式、所述源年龄段人脸数据的特征点数据、所述目标年龄段人脸数据和所述第一面部形状预测数据得到所述特征损失。
本发明还提供一种基于循环生成对抗网络的面部形状预测系统，包括：
预处理单元：用于获取公共人脸图像数据，对所述人脸图像数据进行预处理；
循环生成对抗网络构造单元：用于构造循环生成对抗网络，用于设置循环生成对抗网络中的第一生成对抗网络和第二生成对抗网络，用于设置第一生成对抗网络中的第一生成器和第一判别器，用于设置第二生成对抗网络中的第二生成器和第二判别器；所述第一生成器用于对预处理后的数据进行预测，所述第一判别器用于对所述第一生成器的输出数据进行判断，并进行反向调节训练；所述第二生成器用于对所述第一生成器的输出数据进行预测，所述第二判别器用于对所述第二生成器的输出数据进行判断，并进行反向调节训练；
循环生成对抗网络训练单元：基于公共人脸数据库对循环生成对抗网络进行对抗优化训练，以得到优化的所述循环生成对抗网络；
面部形状预测确定单元：基于优化的循环生成对抗网络对待预测的人脸数据进行预测，得到预测人脸数据。
本发明还提供一种基于循环生成对抗网络的面部形状预测电子设备，包括：
存储器：存储有计算机可读指令；
处理器：读取所述存储器存储的计算机可读指令，以执行所述的面部形状预测方法。
本发明的有益效果是：
1、本发明所述的面部形状预测方法，不仅保证了合成得到的目标年龄段面部形状数据符合当前年龄段的普遍特征，同时突出不同个体面部器官、轮廓的个性化信息，提高了面部图像生成过程中的真实度。
2、本发明所述的基于循环生成对抗网络的面部形状预测系统，通过不断训练优化循环生成对抗网络，使得面部形状预测的生成数据更加真实可靠。
3、本发明所述的基于循环生成对抗网络的面部形状预测电子设备，通过处理器执行存储器存储的计算机可读指令，以执行所述的面部形状预测方法；得到的训练成功的循环对抗生成网络既可以对婴幼儿照片进行老化，也可以对人脸照片进行年轻化，便于寻找走失儿童。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将具体实施方式或现有技术描述中所需要使用的附图作简单地介绍；在所有附图中，类似的元件或部分一般由类似的附图标记标识；附图中，各元件或部分并不一定按照实际比例绘制。
图1是本发明实施例1所述的面部形状预测方法示意图；
图2是本发明实施例2所述的基于循环生成对抗网络的面部形状预测系统示意图；
图3是本发明实施例3所述的基于循环生成对抗网络的面部形状预测电子设备示意图；
附图中各部件的标记如下：
1-预处理单元，2-循环生成对抗网络构造单元，3-循环生成对抗网络训练单元，4-面部形状预测确定单元，5-存储器，6-处理器，100-面部形状预测系统，200-面部形状预测电子设备。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，如第一生成对抗网络和第二生成对抗网络、第一生成器和第一判别器、第二生成器和第二判别器、第一面部形状预测数据至第四面部形状预测数据、第一判别数据至第四判别数据等只表示顺序标识，不表示优劣和是否是相同的模块。
实施例1
本实施例1提供一种面部形状预测方法，参阅图1，面部形状预测方法包括如下步骤：
S100：获取各年龄段人脸数据，预处理后得到源年龄段人脸数据和目标年龄段人脸数据，用于进行循环生成对抗网络训练。
步骤S100的具体步骤为：
S110：在公共人脸数据库搜集人脸图像数据，公共人脸数据库包括但不限于FG-NET、CACD和MORPH公共人脸数据库；
S120：将人脸图像数据I按照预设年龄段[0～3]、[4～6]、[7～13]和[14～18]进行划分，该划分方法不唯一，可基于数据的现有量和对模型的需要进行划分；
S130：选取两个年龄段的人脸图像数据I，分别作为源年龄段人脸图像数据Ix和目标年龄段人脸图像数据Iy；
具体实施中，可将较小年龄段的人脸图像数据作为源年龄段人脸图像数据Ix，将较大年龄段的人脸数据作为目标年龄段人脸图像数据Iy，也可将较大年龄段的人脸图像数据作为源年龄段人脸图像数据Ix，将较小年龄段的人脸数据作为目标年龄段人脸图像数据Iy；
S140：将源年龄段人脸图像数据Ix和目标年龄段人脸图像数据Iy采用面部定位点检测算法计算面部器官、轮廓的位置，将得到的位置数据转换成源年龄段人脸数据
Figure BDA0003020811670000071
和目标年龄段人脸数据
Figure BDA0003020811670000072
S150：分别计算源年龄段人脸数据
Figure BDA0003020811670000073
的平均值
Figure BDA0003020811670000074
和目标年龄段人脸数据
Figure BDA0003020811670000075
的平均值
Figure BDA0003020811670000076
S200：构造循环生成对抗网络；将源年龄段人脸数据
Figure BDA0003020811670000077
输入循环生成对抗网络，获得第一面部形状预测数据和第二面部形状预测数据；所述第一面部形状预测数据为所述源年龄段人脸数据经过所述循环生成对抗网络后预测得到的目标年龄段人脸数据，所述第二面部形状预测数据为所述第一面部形状预测数据经过所述循环生成对抗网络后预测得到的源年龄段人脸数据；由于实际应用中较难收集成对匹配的训练数据，本实施例基于不需要成对数据的循环生成对抗网络，本实施例通过将源年龄段人脸数据
Figure BDA0003020811670000078
两次经过循环生成对抗网络，生成了第一面部形状预测数据和第二面部形状预测数据，保证了循环生成对抗网络的准确性。
步骤S200具体包括如下步骤：
S210：循环生成对抗网络包括第一生成对抗网络和第二生成对抗网络；第一生成对抗网络包括第一生成器
Figure BDA0003020811670000081
和第一判别器
Figure BDA0003020811670000082
第二生成对抗网络包括第二生成器
Figure BDA0003020811670000083
和第二判别器
Figure BDA0003020811670000084
构造第一生成器
Figure BDA0003020811670000085
和第一判别器
Figure BDA0003020811670000086
分别预设第一生成器
Figure BDA0003020811670000087
和第一判别器
Figure BDA0003020811670000088
的权重；构造第二生成器
Figure BDA0003020811670000089
和第二判别器
Figure BDA00030208116700000810
分别预设第二生成器
Figure BDA00030208116700000811
和第二判别器
Figure BDA00030208116700000812
的权重。
S220：将源年龄段人脸数据
Figure BDA00030208116700000813
输入第一生成对抗网络的第一生成器
Figure BDA00030208116700000814
得到第一面部形状预测数据；将第一面部形状预测数据输入第一判别器
Figure BDA00030208116700000815
得到第一判别数据；
并将第一面部形状预测数据输入第二生成对抗网络的第二生成器
Figure BDA00030208116700000816
得到第二面部形状预测数据；将第二面部形状预测数据输入第二判别器
Figure BDA00030208116700000817
得到第二判别数据。
S300：基于源年龄段人脸数据
Figure BDA00030208116700000818
目标年龄段人脸数据
Figure BDA00030208116700000819
第一面部形状预测数据和第二面部形状预测数据计算循环生成对抗网络的总体损失
Figure BDA00030208116700000820
基于总体损失阈值进行循环生成对抗网络训练；生成器在训练中优化的损失函数是循环生成对抗网络能否收敛的重要因素；合理的损失函数有助于面部形状预测的细粒度表达，明确不同年龄段之间的特征转换。
步骤S300具体包括如下步骤：
S310：具体实施中，无论是婴幼儿面部形状的生长，还是青少年面部形状的年轻化，都需要遵循人脸在某一阶段生长的普遍性规律，因此采用循环一致性损失
Figure BDA00030208116700000821
约束面部形状预测的普遍性特征；在婴幼儿成长的过程中，面部形状中个性化特征是始终存在的，因此采用特征损失
Figure BDA00030208116700000822
约束面部形状预测的个性化特征；为了提高婴幼儿面部形状衰老模拟的合理性，稳定训练过程，本实施例采用最小二乘生成对抗网络中对抗损失
Figure BDA00030208116700000823
代替常规对抗损失；则总体损失
Figure BDA00030208116700000824
包括特征损失
Figure BDA0003020811670000091
对抗损失
Figure BDA0003020811670000092
和循环一致性损失
Figure BDA0003020811670000093
每个生成对抗网络均含有对抗损失
Figure BDA0003020811670000094
则对抗损失
Figure BDA0003020811670000095
包括第一对抗损失
Figure BDA0003020811670000096
和第二对抗损失
Figure BDA0003020811670000097
S320：第一对抗损失
Figure BDA0003020811670000098
基于第一判别器和第一生成器的对抗训练；基于源年龄段人脸数据
Figure BDA0003020811670000099
和第一判别数据计算第一对抗损失
Figure BDA00030208116700000910
第一生成器
Figure BDA00030208116700000911
的第一对抗损失
Figure BDA00030208116700000912
可表示为：
Figure BDA00030208116700000913
其中，E表示期望，
Figure BDA00030208116700000914
表示第一生成器，
Figure BDA00030208116700000915
表示第一面部形状预测数据；
Figure BDA00030208116700000916
表示第一判别器，
Figure BDA00030208116700000917
表示第一判别数据；
特征损失基于循环生成对抗网络训练过程中保留的面部形状的个性化特征；确定源年龄段人脸数据
Figure BDA00030208116700000918
的特征点数据
Figure BDA00030208116700000919
和计算特征损失
Figure BDA00030208116700000920
的余弦距离计算公式，基于余弦距离计算公式、源年龄段人脸数据
Figure BDA00030208116700000921
的特征点数据
Figure BDA00030208116700000922
目标年龄段人脸数据
Figure BDA00030208116700000923
和第一面部形状预测数据得到特征损失
Figure BDA00030208116700000924
计算第一生成器
Figure BDA00030208116700000925
的特征损失
Figure BDA00030208116700000926
所用的余弦距离计算公式为：
Figure BDA00030208116700000927
其中，cos表示余弦值，
Figure BDA00030208116700000928
为源年龄段人脸数据
Figure BDA00030208116700000929
的平均值，
Figure BDA00030208116700000930
为目标年龄段人脸数据
Figure BDA00030208116700000931
的平均值；
Figure BDA00030208116700000932
为源年龄段人脸数据
Figure BDA00030208116700000933
的特征点数据；
第二生成器的第二对抗损失
Figure BDA00030208116700000934
基于第二判别器和第二生成器的对抗训练；基于第二判别数据和第二面部形状预测数据计算第二对抗损失
Figure BDA00030208116700000935
第二生成器的第二对抗损失
Figure BDA00030208116700000936
可表示为：
Figure BDA00030208116700000937
其中，
Figure BDA0003020811670000101
表示第二生成器，
Figure BDA0003020811670000102
表示第二面部形状预测数据，
Figure BDA0003020811670000103
表示第二判别器，
Figure BDA0003020811670000104
表示第二判别数据；
对抗损失
Figure BDA0003020811670000105
可表示为第一对抗损失
Figure BDA0003020811670000106
和第二对抗损失
Figure BDA0003020811670000107
之和：
Figure BDA0003020811670000108
循环一致性损失
Figure BDA0003020811670000109
基于第二面部形状预测数据和源年龄段人脸数据
Figure BDA00030208116700001010
的差别；
生成器的循环一致性损失
Figure BDA00030208116700001011
可表示为：
Figure BDA00030208116700001012
其中，
Figure BDA00030208116700001013
是矩阵的1范数。
S330：基于特征损失
Figure BDA00030208116700001014
对抗损失
Figure BDA00030208116700001015
和循环一致性损失
Figure BDA00030208116700001016
计算生成器的总体损失
Figure BDA00030208116700001017
设置损失函数的总体损失阈值；并判断总体损失
Figure BDA00030208116700001018
是否超过总体损失阈值，若低于总体损失阈值，则说明循环生成对抗网络训练成功，并固定循环生成对抗网络中生成器和判别器的权重；若超过总体损失阈值，则训练失败。
总体损失
Figure BDA00030208116700001019
是特征损失
Figure BDA00030208116700001020
对抗损失
Figure BDA00030208116700001021
和循环一致性损失
Figure BDA00030208116700001022
的加权平均；总体损失
Figure BDA00030208116700001023
可表示为：
Figure BDA00030208116700001024
其中，λcha、λcyc和λadv-G分别是特征损失
Figure BDA00030208116700001025
对抗损失
Figure BDA00030208116700001026
和循环一致性损失
Figure BDA00030208116700001027
的权重；
在详述了本实施例中循环生成对抗网络的损失函数后，循环生成对抗网络可以通过不同年龄段的面部形状数据对其进行训练，进一步可对未知的面部形状数据进行不同年龄段的预测。
S400：循环生成对抗网络训练成功后，将待预测的人脸数据输入训练成功的循环生成对抗网络，循环生成对抗网络计算输出目标年龄段的预测人脸数据；在本发明中，按照婴幼儿面部形状生长老化的角度来阐述，但因方法中采用双向的生成对抗网络来模拟面部形状变化，即
Figure BDA0003020811670000111
和
Figure BDA0003020811670000112
两个不同的网络负责对称的面部形状老化及年轻化过程。所以，此发明同样适用于青年的面部图片“年轻化”，进而可适用于例如失踪人口持个人当前照片生成“年轻化”的婴幼儿时期图片，与失踪儿童人口库进行比对后寻找父母等实际应用。
进一步，若训练失败，则采用后向梯度传播对循环生成对抗网络进行下一轮训练，具体包括如下步骤：
基于总体损失和生成器中各层神经元的权重计算生成器中各层神经元的损失值，便于计算各层神经元的误差梯度；
基于损失值计算各层神经元的误差梯度，突出各层神经元的误差，并通过相应算法对各层神经元的权重进行更新；
使用随机梯度下降算法对上述各层神经元中的权重进行更新，使得循环生成对抗网络达到收敛状态；
跳转到步骤S200继续下一轮训练。
实施例2
本实施例2还提供一种基于循环生成对抗网络的面部形状预测系统，参阅图2，基于循环生成对抗网络的面部形状预测系统100包括：
预处理单元1：用于在公共人脸数据库搜集人脸图像数据，其中，公共人脸数据库包括但不限于FG-NET、CACD和MORPH公共人脸数据库；基于数据的现有量和对模型的需要，将人脸图像数据按照年龄段[0～3]、[4～6]、[7～13]和[14～18]进行划分数据；选取两个年龄段的人脸图像数据，将较小年龄段的人脸图像数据作为源年龄段人脸图像数据，将较大年龄段的人脸数据作为目标年龄段人脸图像数据；
循环生成对抗网络构造单元2：用于构造循环生成对抗网络，用于设置循环生成对抗网络中的第一生成对抗网络和第二生成对抗网络，用于设置第一生成对抗网络中的第一生成器和第一判别器，用于设置第二生成对抗网络中的第二生成器和第二判别器；第一生成器用于对输入数据进行预测，第一判别器用于对第一生成器的输出数据进行判断，并进行反向调节训练；第二生成器用于对第一生成器的输出数据进行年轻化，第二判别器用于对第一生成器的输出数据进行判断，并进行反向调节训练；
循环生成对抗网络训练单元3：基于公共人脸数据库对循环生成对抗网络进行对抗优化训练，优化损失函数致循环生成对抗网络达到收敛状态；损失函数包括循环一致性损失函数、特征损失函数和对抗损失函数；采用循环一致性损失函数约束面部形状预测的普遍性特征，采用特征损失函数约束面部形状预测的个性化特征，采用对抗损失函数约束生成器和判别器的权重；基于损失函数计算循环生成对抗网络中生成器的总体损失，并判断总体损失是否超过阈值，若低于阈值，则训练成功，并固定其生成器和判别器的权重；若超过阈值，则采用后向梯度传播对循环生成对抗网络进行下一轮训练；以得到最优化的循环生成对抗网络；
面部形状预测确定单元4：基于最优化的循环生成对抗网络对待预测的人脸数据进行预测，得到预测人脸数据。
实施例3
本实施例3还提供一种基于循环生成对抗网络的面部形状预测电子设备，参阅图3，基于循环生成对抗网络的面部形状预测电子设备200包括：
存储器5：用于存储有计算机可读指令；
处理器6：用于读取存储器5存储的计算机可读指令，以执行上述任一项上述方式中训练循环生成对抗网络的步骤；
处理器6：用于构造循环生成对抗网络；基于公共人脸数据库对循环生成对抗网络进行对抗优化训练，以得到最优化的循环生成对抗网络；
处理器6：用于基于训练成功的循环生成对抗网络对输入的待预测数据进行预测处理，以得到目标年龄段的预测人脸数据；
面部形状预测电子设备200可以用于对婴幼儿照片进行老化，以及对人脸照片进行年轻化，便于寻找走失儿童。
上述实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种面部形状预测方法，其特征在于，包括如下步骤：
获取各年龄段人脸数据，预处理后得到源年龄段人脸数据和目标年龄段人脸数据；
构造循环生成对抗网络，将所述源年龄段人脸数据输入所述循环生成对抗网络，获得第一面部形状预测数据和第二面部形状预测数据；所述第一面部形状预测数据为所述源年龄段人脸数据经过所述循环生成对抗网络后预测得到的目标年龄段人脸数据，所述第二面部形状预测数据为所述第一面部形状预测数据经过所述循环生成对抗网络后预测得到的源年龄段人脸数据；
基于所述源年龄段人脸数据、所述目标年龄段人脸数据、所述第一面部形状预测数据和所述第二面部形状预测数据计算所述循环生成对抗网络的总体损失，基于总体损失阈值进行循环生成对抗网络训练；
训练成功后，将待预测的人脸数据输入训练成功的所述循环生成对抗网络，得到目标年龄段的预测人脸数据。
2.根据权利要求1所述的面部形状预测方法，其特征在于，所述基于总体损失阈值进行循环生成对抗网络训练，进一步包括如下步骤：
判断所述总体损失是否超过所述总体损失阈值，若低于所述总体损失阈值，则所述循环生成对抗网络训练成功；
若超过所述总体损失阈值，则采用后向梯度传播对所述循环生成对抗网络进行下一轮训练。
3.根据权利要求1所述的面部形状预测方法，其特征在于，所述预处理后得到源年龄段人脸数据和目标年龄段人脸数据，进一步包括如下步骤：
将所述各年龄段人脸数据按照预设年龄段进行划分，得到若干人脸图像数据组；
选取若干人脸图像数据组，将选取的人脸图像数据组的所述人脸图像数据均采用面部定位点检测算法计算面部器官、轮廓的位置，将得到的位置数据转换成人脸数据；
选取所述人脸数据并按照年龄段划分为源年龄段人脸数据和目标年龄段人脸数据。
4.根据权利要求1所述的面部形状预测方法，其特征在于，所述循环生成对抗网络包括第一生成对抗网络和第二生成对抗网络；所述第一生成对抗网络包括第一生成器和第一判别器，所述第二生成对抗网络包括第二生成器和第二判别器。
5.根据权利要求4所述的面部形状预测方法，其特征在于，所述将所述源年龄段人脸数据输入所述循环生成对抗网络，获得第一面部形状预测数据和第二面部形状预测数据，进一步包括如下步骤：
将所述源年龄段人脸数据输入所述第一生成对抗网络的第一生成器，得到第一面部形状预测数据；将所述第一面部形状预测数据输入所述第一判别器，得到第一判别数据；
将所述第一面部形状预测数据输入所述第二生成对抗网络的第二生成器，得到第二面部形状预测数据；将所述第二面部形状预测数据输入所述第二判别器，得到第二判别数据。
6.根据权利要求5所述的面部形状预测方法，其特征在于，所述总体损失包括特征损失、对抗损失和循环一致性损失；所述对抗损失包括第一对抗损失和第二对抗损失。
7.根据权利要求6所述的面部形状预测方法，其特征在于，所述基于所述源年龄段人脸数据、所述目标年龄段人脸数据、所述第一面部形状预测数据和所述第二面部形状预测数据计算所述循环生成对抗网络的总体损失，进一步包括如下步骤：
确定所述源年龄段人脸数据的特征点数据，基于所述源年龄段人脸数据的特征点数据、所述目标年龄段人脸数据和所述第一面部形状预测数据计算所述特征损失；
基于所述源年龄段人脸数据和所述第一判别数据计算所述第一对抗损失；
基于所述第二判别数据和所述第二面部形状预测数据计算所述第二对抗损失；
基于所述源年龄段人脸数据和所述第二面部形状预测数据计算所述循环一致性损失；
基于所述特征损失、所述第一对抗损失、所述第二对抗损失和所述循环一致性损失计算所述循环生成对抗网络的总体损失。
8.根据权利要求7所述的面部形状预测方法，其特征在于，所述基于所述源年龄段人脸数据的特征点数据、所述目标年龄段人脸数据和所述第一面部形状预测数据计算所述特征损失，进一步包括如下步骤：
确定计算所述特征损失的余弦距离计算公式，基于所述余弦距离计算公式、所述源年龄段人脸数据的特征点数据、所述目标年龄段人脸数据和所述第一面部形状预测数据得到所述特征损失。
9.一种基于循环生成对抗网络的面部形状预测系统，其特征在于，包括：
预处理单元：用于获取公共人脸图像数据，对所述人脸图像数据进行预处理；
循环生成对抗网络构造单元：用于构造循环生成对抗网络，用于设置循环生成对抗网络中的第一生成对抗网络和第二生成对抗网络，用于设置第一生成对抗网络中的第一生成器和第一判别器，用于设置第二生成对抗网络中的第二生成器和第二判别器；所述第一生成器用于对预处理后的数据进行预测，所述第一判别器用于对所述第一生成器的输出数据进行判断，并进行反向调节训练；所述第二生成器用于对所述第一生成器的输出数据进行预测，所述第二判别器用于对所述第二生成器的输出数据进行判断，并进行反向调节训练；
循环生成对抗网络训练单元：基于公共人脸数据库对循环生成对抗网络进行对抗优化训练，以得到优化的所述循环生成对抗网络；
面部形状预测确定单元：基于优化的循环生成对抗网络对待预测的人脸数据进行预测，得到预测人脸数据。
10.一种电子设备，其特征在于，包括：
存储器：存储有计算机可读指令；
处理器：读取存储器存储的计算机可读指令，以执行如权利要求1-8中任一项所述的面部形状预测方法。
CN202110402391.XA 2021-04-14 2021-04-14 一种面部形状预测方法、系统及电子设备 Pending CN113111784A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110402391.XA CN113111784A (zh) 2021-04-14 2021-04-14 一种面部形状预测方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110402391.XA CN113111784A (zh) 2021-04-14 2021-04-14 一种面部形状预测方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN113111784A true CN113111784A (zh) 2021-07-13

Family

ID=76717175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110402391.XA Pending CN113111784A (zh) 2021-04-14 2021-04-14 一种面部形状预测方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN113111784A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705341A (zh) * 2021-07-16 2021-11-26 国家石油天然气管网集团有限公司 一种基于生成对抗网络的小尺度人脸检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308450A (zh) * 2018-08-08 2019-02-05 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN111798369A (zh) * 2020-06-29 2020-10-20 电子科技大学 一种基于循环条件生成对抗网络的人脸衰老图像合成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308450A (zh) * 2018-08-08 2019-02-05 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN111798369A (zh) * 2020-06-29 2020-10-20 电子科技大学 一种基于循环条件生成对抗网络的人脸衰老图像合成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZIPENG WANG ET AL.: ""How Old Are You? Face Age Translation with Identity Preservation Using GANs"", 《ARXIV》 *
ZIPENG WANG ET AL.: ""How Old Are You? Face Age Translation with Identity Preservation Using GANs"", 《ARXIV》, 11 September 2019 (2019-09-11), pages 1 - 9 *
刘璐: "基于深度学习的人脸老化合成研究", 中国博士学位论文全文数据库 信息科技辑, no. 3, pages 29 - 33 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705341A (zh) * 2021-07-16 2021-11-26 国家石油天然气管网集团有限公司 一种基于生成对抗网络的小尺度人脸检测方法

Similar Documents

Publication Publication Date Title
CN104268594B (zh) 一种视频异常事件检测方法及装置
CN106203625B (zh) 一种基于多重预训练的深层神经网络训练方法
CN109948029A (zh) 基于神经网络自适应的深度哈希图像搜索方法
CN108024762A (zh) 耳形状分析方法、耳形状分析装置以及耳形状模型生成方法
CN111428818A (zh) 基于神经通路激活状态的深度学习模型测试方法与装置
CN110889343A (zh) 基于注意力型深度神经网络的人群密度估计方法及装置
Lee et al. An ART-based construction of RBF networks
CN111754532B (zh) 图像分割模型搜索方法、装置、计算机设备及存储介质
CN110889450B (zh) 超参数调优、模型构建方法和装置
US20210406687A1 (en) Method for predicting attribute of target object based on machine learning and related device
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN106971200A (zh) 一种基于自适应迁移学习的图像记忆度预测方法
CN111401339B (zh) 识别人脸图像中的人的年龄的方法、装置及电子设备
CN116807447B (zh) 动态脑网络的脑龄预测建模方法、认知提升方法及系统
CN111507184B (zh) 基于并联空洞卷积和身体结构约束的人体姿态检测方法
CN109859310A (zh) 一种可用于生成mr图像的模型及其建立方法
CN113111784A (zh) 一种面部形状预测方法、系统及电子设备
CN106407932B (zh) 基于分数阶微积分与广义逆神经网络的手写数字识别方法
CN110210380A (zh) 基于表情识别与心理学测试生成性格的分析方法
CN116665300A (zh) 基于时空自适应特征融合图卷积网络的骨架动作识别方法
CN110675311A (zh) 一种素描序约束下的素描生成的方法、装置及存储介质
CN116796047A (zh) 一种基于预训练模型的跨模态信息检索方法
CN114972959A (zh) 深度学习中样本生成和类内排序损失的遥感图像检索方法
CN115359337A (zh) 用于图像识别的脉冲神经网络的搜索方法、系统及应用
CN115511758A (zh) 一种基于图像插值生成编码技术的图像生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210713

RJ01 Rejection of invention patent application after publication