CN110705406A - 基于对抗迁移学习的人脸美丽预测方法及装置 - Google Patents

基于对抗迁移学习的人脸美丽预测方法及装置 Download PDF

Info

Publication number
CN110705406A
CN110705406A CN201910893810.7A CN201910893810A CN110705406A CN 110705406 A CN110705406 A CN 110705406A CN 201910893810 A CN201910893810 A CN 201910893810A CN 110705406 A CN110705406 A CN 110705406A
Authority
CN
China
Prior art keywords
feature
face beauty
beauty prediction
layer
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910893810.7A
Other languages
English (en)
Other versions
CN110705406B (zh
Inventor
翟懿奎
项俐
甘俊英
麦超云
曾军英
应自炉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN201910893810.7A priority Critical patent/CN110705406B/zh
Publication of CN110705406A publication Critical patent/CN110705406A/zh
Priority to PCT/CN2020/112528 priority patent/WO2021052159A1/zh
Application granted granted Critical
Publication of CN110705406B publication Critical patent/CN110705406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于对抗迁移学习的人脸美丽预测方法及装置，实施了以下步骤，包括通过相似性度度量从多个识别人脸因素的辅任务中筛选相关性最高的，并以此构建第一人脸美丽预测模型；将对抗网络预训练后形成的通用特征参数迁移至第二人脸美丽预测模型；输入待测人脸图像实现识别。减少预训练的训练成本，减少存在不相关因素的辅任务带来负迁移；通过对抗迁移学习减少第二人脸美丽预测模型再训练的计算量，达到利用更少的训练图像获得更精准的模型的效果。

Description

基于对抗迁移学习的人脸美丽预测方法及装置
技术领域
本发明涉及图像处理领域，特别是基于对抗迁移学习的人脸美丽预测方法及装置。
背景技术
人脸美丽预测技术在拍照领域得到广泛的应用。同时，随着深度学习技术的发展，将深度学习技术应用到人脸美丽预测技术上使人脸美预测结果更精确，更符合人们的认知。但单任务学习忽略了任务之间的关联，而多任务学习又使不必要的组合添加至深度学习网络中，增加了深度学习任务的冗余度，也加重了网络训练的负担，严重影响到分类识别的效率。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供基于多任务迁移的人脸美丽预测方法及装置，通过相似性度量减少计算量。
本发明解决其问题所采用的技术方案是：
本发明的第一方面，基于对抗迁移学习的人脸美丽预测方法，包括以下步骤：
度量N个辅任务与主任务间的相似性，得到A个相似性最高的辅任务，其中主任务为人脸美丽预测任务，辅任务为识别人脸美丽因素的任务，N>A；
建立对应A个相似度最高的辅任务的A个第一人脸美丽预测模型以及建立用于人脸美丽预测的第二人脸美丽预测模型；
将A个所述第一人脸美丽预测模型作为源域和所述第二人脸美丽预测模型作为目标域通过对抗网络预训练以寻找源域相对目标域的通用特征参数，将所述通用特征参数迁移至所述第二人脸美丽预测模型；
输入待测人脸图像至再训练好的第二人脸美丽预测模型输出人脸美丽预测结果。
根据本发明的第一方面，所述度量N个辅任务与主任务间的相似性，得到A个相似性最高的辅任务包括以下步骤：
对N个辅任务与主任务分别构建全监督的特定网络并进行训练得到每个任务的特征表达Es(I)；
构建N个辅任务与主任务间的迁移网络，并度量N个辅任务与主任务间的任务紧密度，所述任务紧密度的计算方式为：式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；
通过层次分析法对迁移网络的损失归一化处理得到关联矩阵；
对关联矩阵作最优化处理以得到A个相似性最高的辅任务。
根据本发明的第一方面，所述第一人脸美丽预测模型包括依次连接的用于预处理人脸图像的第一预处理层，用于提取共享图像特征的第一特征共享层，用于从共享图像特征中提取独立特征的第一独立特征提取层，以及第一分类层；所述第二人脸美丽预测模型包括依次连接的第二预处理层，第二特征共享层，第二独立特征提取层，用于融合独立特征和对应人脸美丽预测任务的几何特征、纹理特征的特征融合层，以及第二分类层。
根据本发明的第一方面，所述将A个所述第一人脸美丽预测模型作为源域和所述第二人脸美丽预测模型作为目标域通过对抗网络预训练以寻找源域相对目标域的通用特征参数，将所述通用特征参数迁移至所述第二人脸美丽预测模型具体包括以下步骤：
提取步骤：提取对应输入第一人脸美丽预测模型的人脸图像的源特征
Figure BDA0002209605740000031
和对应输入第二人脸美丽预测模型的人脸图像的目标特征
Figure BDA0002209605740000032
映射步骤：将源特征映射到目标特征空间，得到伪目标特征
Figure BDA0002209605740000033
区分步骤：区分目标特征和伪目标特征的来源并通过损失函数计算误差；
优化步骤：利用正则化项测量源特征和伪目标特征之间的距离后结合所述误差优化源特征至目标特征空间的映射；
重复映射步骤、区分步骤和优化步骤直至源域与目标域两者域适应以得到通用特征参数；
迁移步骤：将所述通用特征参数迁移至所述第二人脸美丽预测模型。
根据本发明的第一方面，所述特征融合层融合几何特征、纹理特征和独立特征的融合方式为求和，计算方式为Ffusion＝[FCNN，G，H]，式中，Ffusion为融合特征，FCNN为独立特征，G为几何特征，H为纹理特征。
上述基于对抗迁移学习的人脸美丽预测方法至少具有以下的有益效果：通过相似性度度量从多个识别人脸因素的辅任务中找到相关性最高的，并以此构建第一人脸美丽预测模型进行预训练；减少预训练的训练成本，减少存在不相关因素的辅任务对第一人脸美丽预测模型造成的偏差，避免带来负迁移。将对抗网络预训练后形成的通用特征参数迁移至第二人脸美丽预测模型实现最终的人脸美丽预测，通过对抗迁移学习减少第二人脸美丽预测模型训练的计算量，压缩训练时间，达到利用更少的训练图像获得更精准的模型的效果。
本发明的第二方面，基于对抗迁移学习的人脸美丽预测装置，包括：
相似性度量模块，用于度量N个辅任务与主任务间的相似性，得到A个相似性最高的辅任务，其中主任务为人脸美丽预测任务，辅任务为识别人脸美丽因素的任务，N＞A；
第一模型建立模块，用于建立对应A个相似度最高的辅任务的A个第一人脸美丽预测模型；
第二模型建立模块，用于建立用于人脸美丽预测的第二人脸美丽预测模型；
参数迁移模块，用于将A个所述第一人脸美丽预测模型作为源域和所述第二人脸美丽预测模型作为目标域通过对抗网络预训练以寻找源域相对目标域的通用特征参数，将所述通用特征参数迁移至所述第二人脸美丽预测模型；
测算模块，用于输入待测人脸图像至再训练好的第二人脸美丽预测模型输出人脸美丽预测结果。
根据本发明的第二方面，所述相似性度量模块包括：
特征表达获取模块，用于对N个辅任务与主任务分别构建全监督的特定网络并进行训练得到每个任务的特征表达Es(I)；
紧密度度量模块，用于构建N个辅任务与主任务间的迁移网络，并度量N个辅任务与主任务间的任务紧密度，所述任务紧密度的计算方式为：
Figure BDA0002209605740000051
式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；
归一化处理模块，用于通过层次分析法对迁移网络的损失归一化处理得到关联矩阵；
最优化处理模块，用于对关联矩阵作最优化处理以得到A个相似性最高的辅任务。
根据本发明的第二方面，所述第一人脸美丽预测模型包括依次连接的用于预处理人脸图像的第一预处理层，用于提取共享图像特征的第一特征共享层，用于从共享图像特征中提取独立特征的第一独立特征提取层，以及第一分类层；所述第二人脸美丽预测模型包括依次连接的第二预处理层，第二特征共享层，第二独立特征提取层，用于融合独立特征和对应人脸美丽预测任务的几何特征、纹理特征的特征融合层，以及第二分类层。
根据本发明的第二方面，所述参数迁移模块包括：
第一提取模块，用于提取对应输入第一人脸美丽预测模型的人脸图像的源特征
Figure BDA0002209605740000061
第二提取模块，用于提取对应输入第二人脸美丽预测模型的人脸图像的目标特征
Figure BDA0002209605740000062
映射模块，用于将源特征映射到目标特征空间，得到伪目标特征
Figure BDA0002209605740000063
区分模块，用于区分目标特征和伪目标特征的来源并通过损失函数计算误差；
优化模块，用于利用正则化项测量源特征和伪目标特征之间的距离后结合所述误差优化源特征至目标特征空间的映射；
参数获取模块，用于当源域与目标域两者域适应时，获取通用特征参数；
迁移子模块，用于将所述通用特征参数迁移至所述第二人脸美丽预测模型。
根据本发明的第二方面，所述特征融合层对几何特征、纹理特征和独立特征的融合的计算方式为Ffusion＝[FCNN，G，H]，式中，Ffusion为融合特征，FCNN为独立特征，G为几何特征，H为纹理特征。
上述基于对抗迁移学习的人脸美丽预测装置至少具有以下的有益效果：通过相似性度度量模块从多个识别人脸因素的辅任务中找到相关性最高的，且预训练模块以此构建第一人脸美丽预测模型进行预训练；减少预训练的训练成本，减少存在不相关因素的辅任务对第一人脸美丽预测模型造成的偏差，避免带来负迁移。参数迁移模块将对抗网络预训练后形成的通用迁移参数迁移至第二人脸美丽预测模型，并实现最终的人脸美丽预测，通过对抗迁移学习减少计算量，压缩训练时间，达到测算模块利用更少的训练图像获得更精准的模型的效果。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明实施例基于对抗迁移学习的人脸美丽预测方法的步骤图；
图2是步骤S10的具体步骤图；
图3是本发明实施例基于对抗迁移学习的人脸美丽预测方法的原理图；
图4是本发明实施例基于对抗迁移学习的人脸美丽预测方法的另一原理图；
图5是步骤S30的具体步骤图；
图6是本发明实施例基于对抗迁移学习的人脸美丽预测装置的结构图；
图7是参数迁移模块的结构图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
在本发明的描述中，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1，本发明的一个实施例，提供了基于对抗迁移学习的人脸美丽预测方法，包括以下步骤：
步骤S10、度量N个辅任务与主任务间的相似性，得到A个相似性最高的辅任务，其中主任务为人脸美丽预测任务，辅任务为识别人脸美丽因素的任务，N>A；
步骤S20、建立对应A个相似度最高的辅任务的A个第一人脸美丽预测模型以及建立用于人脸美丽预测的第二人脸美丽预测模型；
步骤S30、将A个所述第一人脸美丽预测模型作为源域和所述第二人脸美丽预测模型作为目标域通过对抗网络预训练以寻找源域相对目标域的通用特征参数，将所述通用特征参数迁移至所述第二人脸美丽预测模型；
步骤S40、输入待测人脸图像至再训练好的第二人脸美丽预测模型输出人脸美丽预测结果。
在该实施例中，通过相似性度度量从多个识别人脸因素的辅任务中找到相关性最高的，并以此构建第一人脸美丽预测模型进行预训练；减少预训练的训练成本，减少存在不相关因素的辅任务对第一人脸美丽预测模型造成的偏差，避免带来负迁移。多个识别人脸因素的辅任务主要包括对表情、年龄、性别、肤色、眼睛大小、眼距、耳朵形状、鼻子大小、鼻梁高度、唇形等进行识别。
迁移学习是通过从已学习的相关任务中转移知识来改善新任务的学习。将对抗网络预训练后形成的通用特征参数迁移至第二人脸美丽预测模型能有效减少第二人脸美丽预测模型训练的计算量，压缩训练时间，达到利用更少的训练图像获得更精准的模型的效果。
参照图2，进一步，步骤S10具体包括以下步骤：
步骤S11、对N个辅任务与主任务分别构建全监督的特定网络并进行训练得到每个任务的特征表达Es(I)，每个特定网络均有一个编码器和一个解码器，所有编码器均具有相同的ResNet50结构，而解码器则对应不同的任务；
步骤S12、构建N个辅任务与主任务间的迁移网络，并度量N个辅任务与主任务间的任务紧密度，任务紧密度的计算方式为：
Figure BDA0002209605740000101
式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；迁移网络是有向图，有向图的每个节点分别对应一个任务，节点间的权重为任务紧密度；
步骤S13、通过层次分析法对迁移网络的损失归一化处理得到关联矩阵；具体地，对于每个源任务指向目标任务的任务对(i，j)，在迁移后通过留出法取出测试集；对于每一个任务构建成一个矩阵Wt，再借助拉普拉斯平滑方法将矩阵Wt的输出结果控制在范围[0.001，0.999]内，然后转化得到关联矩阵，关联矩阵反应任务间的相似概率。Wt′中每个元素w′i，j的计算方式为：
Figure BDA0002209605740000102
步骤S14、对关联矩阵作最优化处理以得到A个相似性最高的辅任务，即基于关联矩阵求得子图表选择(subgraph selection)的问题。
参照图3，进一步，对应每个辅任务的第一人脸美丽预测模型包括依次连接的用于预处理人脸图像的第一预处理层11，用于提取共享图像特征的第一特征共享层12，用于从共享图像特征中提取独立特征的第一独立特征提取层13，以及第一分类层14。参照图4，在其他实施例中，所有辅任务的第一人脸美丽预测模型能组合成一个，将多个第一预处理层11合并为一个以及将多个第一特征共享层12合并为一个，所有任务的共享图像特征放置在该第一特征共享层12中；第一特征共享层12后对应不同任务连接多个第一独立特征提取层13、多个第一分类层14。
第二人脸美丽预测模型包括依次连接的第二预处理层21，第二特征共享层22，第二独立特征提取层23，用于融合独立特征和对应人脸美丽预测任务的几何特征、纹理特征的特征融合层24，以及第二分类层25。其中，第一独立特征提取层13和第二独立特征提取层23均包括依次连接的1个卷积层、1个BN层、1个激活函数层和1个池化层，第一分类层14和第二分类层25均包括两个全连接层。
参照图5，进一步，步骤S30具体包括以下步骤：
步骤S31、提取步骤：生成器提取对应输入第一人脸美丽预测模型的人脸图像的源特征和对应输入第二人脸美丽预测模型的人脸图像的目标特征
Figure BDA0002209605740000112
步骤S32、映射步骤：将源特征映射到目标特征空间，得到伪目标特征
Figure BDA0002209605740000113
步骤S33、区分步骤：判别器区分目标特征和伪目标特征的来源并通过损失函数计算误差；其中损失函数可为常用的损失函数，例如交叉熵损失函数或均方误差损失函数；
步骤S34、优化步骤：利用正则化项
Figure BDA0002209605740000114
测量源特征和伪目标特征之间的距离后结合所述误差优化源特征至目标特征空间的映射；
步骤S35、重复映射步骤、区分步骤和优化步骤直至源域与目标域两者域适应以得到通用特征参数；其中，源域与目标域两者域适应，即损失函数计算的误差小于设定的阈值；误差越小，表示源域与目标域越接近，迁移效果越好；
步骤S36、迁移步骤：将所述通用特征参数迁移至所述第二人脸美丽预测模型。
采用对抗网络减少源域与目标域的分布差异，即第一人脸美丽预测模型与第二人脸美丽预测模型的分布差异；达到从源域到目标域知识迁移复用的目的。
另外，将第一人脸美丽预测模型的通用特征参数整体迁移至第二人脸美丽预测模型具体为：将第一特征共享层12、第一独立特征提取层13、第一分类层14各自的参数对应迁移至第二特征共享层22、第二独立特征提取层23、第二分类层25；使整个第二人脸美丽预测模型均接受迁移学习的参数，整体模型实现优化。
进一步，特征融合层24融合几何特征、纹理特征和独立特征的融合方式为求和，计算方式为Ffusion＝[FCNN，G，H]，式中，Ffusion为融合特征，FCNN为独立特征，G为几何特征，H为纹理特征。
上述人脸美丽预测方法对多个辅任务进行相似性度量，筛选出与主任务相似性高的辅任务，并基于此构建预训练网络模型，将预训练网络模型的参数迁移至主任务人脸美丽识别的网络模型中，使得主任务的网络模型得到优化，避免因无关辅任务训练导致的无用参数引起的负迁移，从而能大大减少训练量，提升分类识别效率，提高分类识别精度。
参照图6，本发明的另一个实施例，基于对抗迁移学习的人脸美丽预测装置，应用上述人脸美丽预测方法，包括：
相似性度量模块100，用于度量N个辅任务与主任务间的相似性，得到A个相似性最高的辅任务，其中主任务为人脸美丽预测任务，辅任务为识别人脸美丽因素的任务，N>A；
第一模型建立模块210，用于建立对应A个相似度最高的辅任务的A个第一人脸美丽预测模型；
第二模型建立模块220，用于建立用于人脸美丽预测的第二人脸美丽预测模型；
参数迁移模块300，用于将A个所述第一人脸美丽预测模型作为源域和所述第二人脸美丽预测模型作为目标域通过对抗网络预训练以寻找源域相对目标域的通用特征参数，将所述通用特征参数迁移至所述第二人脸美丽预测模型；
测算模块400，用于输入待测人脸图像至再训练好的第二人脸美丽预测模型输出人脸美丽预测结果。
在该实施例中，通过相似性度度量模块从多个识别人脸因素的辅任务中找到相关性最高的，并以此构建第一人脸美丽预测模型进行预训练；减少预训练的训练成本，减少存在不相关因素的辅任务对第一人脸美丽预测模型造成的偏差，避免带来负迁移。参数迁移模块300将预训练后形成的通用特征参数迁移至第二人脸美丽预测模型，并实现最终的人脸美丽预测，通过迁移学习减少算量，压缩训练时间，达到测算模块400利用更少的训练图像获得更精准的模型的效果。
参照图6，进一步，相似性度量模块100包括：
特征表达获取模块110，用于对N个辅任务与主任务分别构建全监督的特定网络并进行训练得到每个任务的特征表达Es(I)；
紧密度度量模块120，用于构建N个辅任务与主任务间的迁移网络，并度量N个辅任务与主任务间的任务紧密度，任务紧密度的计算方式为：
Figure BDA0002209605740000141
式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；
归一化处理模块130，用于通过层次分析法对迁移网络的损失归一化处理得到关联矩阵；
最优化处理模块140，用于对关联矩阵作最优化处理以得到A个相似性最高的辅任务。
进一步，第一人脸美丽预测模型包括依次连接的用于预处理人脸图像的第一预处理层11，用于提取共享图像特征的第一特征共享层12，用于从共享图像特征中提取独立特征的第一独立特征提取层13，以及第一分类层14；第二人脸美丽预测模型包括依次连接的第二预处理层21，第二特征共享层22，第二独立特征提取层23，用于融合独立特征和对应人脸美丽预测任务的几何特征、纹理特征的特征融合层24，以及第二分类层25。
参照图7，进一步，参数迁移模块300包括：
第一提取模块310，用于提取对应输入第一人脸美丽预测模型的人脸图像的源特征
Figure BDA0002209605740000151
第二提取模块320，用于提取对应输入第二人脸美丽预测模型的人脸图像的目标特征
映射模块330，用于将源特征映射到目标特征空间，得到伪目标特征
Figure BDA0002209605740000153
区分模块340，用于区分目标特征和伪目标特征的来源并通过损失函数计算误差；
优化模块350，用于利用正则化项
Figure BDA0002209605740000154
测量源特征和伪目标特征之间的距离后结合所述误差优化源特征至目标特征空间的映射；
参数获取模块360，用于当源域与目标域两者域适应时，获取通用特征参数；
迁移子模块370，用于将所述通用特征参数迁移至所述第二人脸美丽预测模型。
进一步，参数迁移模块300将第一特征共享层12、第一独立特征提取层13、第一分类层14各自的参数对应迁移至第二特征共享层22、第二独立特征提取层23、第二分类层25。
进一步，特征融合层24对几何特征、纹理特征和独立特征的融合的计算方式为Ffusion＝[FCNN，G，H]，式中，Ffusion为融合特征，FCNN为独立特征，G为几何特征，H为纹理特征。
上述人脸美丽预测装置对多个辅任务进行相似性度量，筛选出与主任务相似性高的辅任务，并基于此构建基于对抗网络的参数迁移网络模型，将参数迁移网络模型生成的通用特征参数迁移至主任务人脸美丽识别的网络模型中，使得主任务的网络模型得到优化，避免因无关辅任务训练导致的无用参数引起的负迁移，从而能大大减少训练量，提升分类识别效率，提高分类识别精度。
本发明的另一个实施例，提供了一种存储介质，存储有可执行指令，可执行指令能使与该存储介质连接的处理器按照上述的基于对抗迁移学习的人脸美丽预测方法对人脸图像进行处理，得到人脸美丽识别结果。
以上，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (10)

1.基于对抗迁移学习的人脸美丽预测方法，其特征在于，包括以下步骤：
度量N个辅任务与主任务间的相似性，得到A个相似性最高的辅任务，其中主任务为人脸美丽预测任务，辅任务为识别人脸美丽因素的任务，N>A；
建立对应A个相似度最高的辅任务的A个第一人脸美丽预测模型以及建立用于人脸美丽预测的第二人脸美丽预测模型；
将A个所述第一人脸美丽预测模型作为源域和所述第二人脸美丽预测模型作为目标域通过对抗网络预训练以寻找源域相对目标域的通用特征参数，将所述通用特征参数迁移至所述第二人脸美丽预测模型；
输入待测人脸图像至训练好的第二人脸美丽预测模型输出人脸美丽预测结果。
2.根据权利要求1所述的基于对抗迁移学习的人脸美丽预测方法，其特征在于，所述度量N个辅任务与主任务间的相似性，得到A个相似性最高的辅任务包括以下步骤：
对N个辅任务与主任务分别构建全监督的特定网络并进行训练得到每个任务的特征表达Es(I)；
构建N个辅任务与主任务间的迁移网络，并度量N个辅任务与主任务间的任务紧密度，所述任务紧密度的计算方式为：
Figure FDA0002209605730000021
式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；
通过层次分析法对迁移网络的损失归一化处理得到关联矩阵；
对关联矩阵作最优化处理以得到A个相似性最高的辅任务。
3.根据权利要求1或2所述的基于对抗迁移学习的人脸美丽预测方法，其特征在于，所述第一人脸美丽预测模型包括依次连接的用于预处理人脸图像的第一预处理层，用于提取共享图像特征的第一特征共享层，用于从共享图像特征中提取独立特征的第一独立特征提取层，以及第一分类层；所述第二人脸美丽预测模型包括依次连接的第二预处理层，第二特征共享层，第二独立特征提取层，用于融合独立特征和对应人脸美丽预测任务的几何特征、纹理特征的特征融合层，以及第二分类层。
4.根据权利要求3所述的基于对抗迁移学习的人脸美丽预测方法，其特征在于，所述将A个所述第一人脸美丽预测模型作为源域和所述第二人脸美丽预测模型作为目标域通过对抗网络预训练以寻找源域相对目标域的通用特征参数，将所述通用特征参数迁移至所述第二人脸美丽预测模型具体包括以下步骤：
提取步骤：提取对应输入第一人脸美丽预测模型的人脸图像的源特征
Figure FDA0002209605730000022
和对应输入第二人脸美丽预测模型的人脸图像的目标特征
Figure FDA0002209605730000023
映射步骤：将源特征映射到目标特征空间，得到伪目标特征
Figure FDA0002209605730000031
区分步骤：区分目标特征和伪目标特征的来源并通过损失函数计算误差；
优化步骤：利用正则化项
Figure FDA0002209605730000032
测量源特征和伪目标特征之间的距离后结合所述误差优化源特征至目标特征空间的映射；
重复映射步骤、区分步骤和优化步骤直至源域与目标域两者域适应以得到通用特征参数；
迁移步骤：将所述通用特征参数迁移至所述第二人脸美丽预测模型。
5.根据权利要求4所述的基于对抗迁移学习的人脸美丽预测方法，其特征在于，所述特征融合层融合几何特征、纹理特征和独立特征的融合方式为求和，计算方式为Ffusion＝[FCNN，G，H]，式中，Ffusion为融合特征，FCNN为独立特征，G为几何特征，H为纹理特征。
6.基于对抗迁移学习的人脸美丽预测装置，其特征在于，包括：
相似性度量模块，用于度量N个辅任务与主任务间的相似性，得到A个相似性最高的辅任务，其中主任务为人脸美丽预测任务，辅任务为识别人脸美丽因素的任务，N>A；
第一模型建立模块，用于建立对应A个相似度最高的辅任务的A个第一人脸美丽预测模型；
第二模型建立模块，用于建立用于人脸美丽预测的第二人脸美丽预测模型；
参数迁移模块，用于将A个所述第一人脸美丽预测模型作为源域和所述第二人脸美丽预测模型作为目标域通过对抗网络预训练以寻找源域相对目标域的通用特征参数，将所述通用特征参数迁移至所述第二人脸美丽预测模型；
测算模块，用于输入待测人脸图像至再训练好的第二人脸美丽预测模型输出人脸美丽预测结果。
7.根据权利要求6所述的基于对抗迁移学习的人脸美丽预测装置，其特征在于，所述相似性度量模块包括:
特征表达获取模块，用于对N个辅任务与主任务分别构建全监督的特定网络并进行训练得到每个任务的特征表达Es(I)；
紧密度度量模块，用于构建N个辅任务与主任务间的迁移网络，并度量N个辅任务与主任务间的任务紧密度，所述任务紧密度的计算方式为：
Figure FDA0002209605730000041
式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；
归一化处理模块，用于通过层次分析法对迁移网络的损失归一化处理得到关联矩阵；
最优化处理模块，用于对关联矩阵作最优化处理以得到A个相似性最高的辅任务。
8.根据权利要求6或7所述的基于对抗迁移学习的人脸美丽预测装置，其特征在于，所述第一人脸美丽预测模型包括依次连接的用于预处理人脸图像的第一预处理层，用于提取共享图像特征的第一特征共享层，用于从共享图像特征中提取独立特征的第一独立特征提取层，以及第一分类层；所述第二人脸美丽预测模型包括依次连接的第二预处理层，第二特征共享层，第二独立特征提取层，用于融合独立特征和对应人脸美丽预测任务的几何特征、纹理特征的特征融合层，以及第二分类层。
9.根据权利要求8所述的基于对抗迁移学习的人脸美丽预测装置，其特征在于，所述参数迁移模块包括：
第一提取模块，用于提取对应输入第一人脸美丽预测模型的人脸图像的源特征
Figure FDA0002209605730000051
第二提取模块，用于提取对应输入第二人脸美丽预测模型的人脸图像的目标特征
Figure FDA0002209605730000052
映射模块，用于将源特征映射到目标特征空间，得到伪目标特征
Figure FDA0002209605730000053
区分模块，用于区分目标特征和伪目标特征的来源并通过损失函数计算误差；
优化模块，用于利用正则化项
Figure FDA0002209605730000054
测量源特征和伪目标特征之间的距离后结合所述误差优化源特征至目标特征空间的映射；
参数获取模块，用于当源域与目标域两者域适应时，获取通用特征参数；
迁移模块，用于将所述通用特征参数迁移至所述第二人脸美丽预测模型。
10.根据权利要求9所述的基于对抗迁移学习的人脸美丽预测装置，其特征在于，所述特征融合层对几何特征、纹理特征和独立特征的融合的计算方式为Ffusion＝[FCNN，G，H]，式中，Ffusion为融合特征，FCNN为独立特征，G为几何特征，H为纹理特征。
CN201910893810.7A 2019-09-20 2019-09-20 基于对抗迁移学习的人脸美丽预测方法及装置 Active CN110705406B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910893810.7A CN110705406B (zh) 2019-09-20 2019-09-20 基于对抗迁移学习的人脸美丽预测方法及装置
PCT/CN2020/112528 WO2021052159A1 (zh) 2019-09-20 2020-08-31 基于对抗迁移学习的人脸美丽预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910893810.7A CN110705406B (zh) 2019-09-20 2019-09-20 基于对抗迁移学习的人脸美丽预测方法及装置

Publications (2)

Publication Number Publication Date
CN110705406A true CN110705406A (zh) 2020-01-17
CN110705406B CN110705406B (zh) 2022-11-15

Family

ID=69195631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910893810.7A Active CN110705406B (zh) 2019-09-20 2019-09-20 基于对抗迁移学习的人脸美丽预测方法及装置

Country Status (2)

Country Link
CN (1) CN110705406B (zh)
WO (1) WO2021052159A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382846A (zh) * 2020-05-28 2020-07-07 支付宝(杭州)信息技术有限公司 基于迁移学习的训练神经网络模型的方法和装置
CN111784596A (zh) * 2020-06-12 2020-10-16 北京理工大学 基于生成对抗神经网络的通用内窥镜图像增强方法及装置
CN111832435A (zh) * 2020-06-24 2020-10-27 五邑大学 基于迁移与弱监督的美丽预测方法、装置及存储介质
CN111914908A (zh) * 2020-07-14 2020-11-10 浙江大华技术股份有限公司 一种图像识别模型训练方法、图像识别方法及相关设备
CN112069916A (zh) * 2020-08-14 2020-12-11 五邑大学 人脸美丽预测方法、装置、系统及可读存储介质
CN112069946A (zh) * 2020-08-25 2020-12-11 五邑大学 人脸美丽预测方法、装置、系统及存储介质
WO2021052159A1 (zh) * 2019-09-20 2021-03-25 五邑大学 基于对抗迁移学习的人脸美丽预测方法及装置
CN113450267A (zh) * 2021-05-14 2021-09-28 桂林电子科技大学 可快速获取多种自然退化图像复原模型的迁移学习方法
CN114548382A (zh) * 2022-04-25 2022-05-27 腾讯科技（深圳）有限公司 迁移训练方法、装置、设备、存储介质及程序产品

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128113B (zh) * 2021-04-14 2024-04-12 国网上海市电力公司 一种基于深度学习和迁移学习的贫乏信息建筑负荷预测方法
CN113889194A (zh) * 2021-10-14 2022-01-04 上海上实龙创智能科技股份有限公司 一种污水生化处理中溶解氧的预测方法
CN114444374A (zh) * 2021-11-29 2022-05-06 河南工业大学 一种基于相似性度量的多源到多目标域自适应的方法
CN114898424B (zh) * 2022-04-01 2024-04-26 中南大学 一种基于双重标签分布的轻量化人脸美学预测方法
CN114973377A (zh) * 2022-06-09 2022-08-30 五邑大学 人脸美丽预测方法和装置、电子设备、存储介质
CN115879008B (zh) * 2023-03-02 2023-05-26 中国空气动力研究与发展中心计算空气动力研究所 一种数据融合模型训练方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108959522A (zh) * 2018-04-26 2018-12-07 浙江工业大学 基于半监督对抗生成网络的迁移检索方法
CN109523018A (zh) * 2019-01-08 2019-03-26 重庆邮电大学 一种基于深度迁移学习的图片分类方法
CN109948648A (zh) * 2019-01-31 2019-06-28 中山大学 一种基于元对抗学习的多目标域适应迁移方法及系统
CN110084121A (zh) * 2019-03-27 2019-08-02 南京邮电大学 基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法
CN110119689A (zh) * 2019-04-18 2019-08-13 五邑大学 一种基于多任务迁移学习的人脸美丽预测方法
US20190251401A1 (en) * 2018-02-15 2019-08-15 Adobe Inc. Image composites using a generative adversarial neural network
CN110210486A (zh) * 2019-05-15 2019-09-06 西安电子科技大学 一种基于素描标注信息的生成对抗迁移学习方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6826300B2 (en) * 2001-05-31 2004-11-30 George Mason University Feature based classification
CN110705406B (zh) * 2019-09-20 2022-11-15 五邑大学 基于对抗迁移学习的人脸美丽预测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190251401A1 (en) * 2018-02-15 2019-08-15 Adobe Inc. Image composites using a generative adversarial neural network
CN108959522A (zh) * 2018-04-26 2018-12-07 浙江工业大学 基于半监督对抗生成网络的迁移检索方法
CN109523018A (zh) * 2019-01-08 2019-03-26 重庆邮电大学 一种基于深度迁移学习的图片分类方法
CN109948648A (zh) * 2019-01-31 2019-06-28 中山大学 一种基于元对抗学习的多目标域适应迁移方法及系统
CN110084121A (zh) * 2019-03-27 2019-08-02 南京邮电大学 基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法
CN110119689A (zh) * 2019-04-18 2019-08-13 五邑大学 一种基于多任务迁移学习的人脸美丽预测方法
CN110210486A (zh) * 2019-05-15 2019-09-06 西安电子科技大学 一种基于素描标注信息的生成对抗迁移学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张加胜等: "对抗样本生成在人脸识别中的研究与应用", 《计算机应用与软件》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021052159A1 (zh) * 2019-09-20 2021-03-25 五邑大学 基于对抗迁移学习的人脸美丽预测方法及装置
CN111382846A (zh) * 2020-05-28 2020-07-07 支付宝(杭州)信息技术有限公司 基于迁移学习的训练神经网络模型的方法和装置
CN111784596A (zh) * 2020-06-12 2020-10-16 北京理工大学 基于生成对抗神经网络的通用内窥镜图像增强方法及装置
US11769319B2 (en) 2020-06-24 2023-09-26 Wuyi University Method and device for predicting beauty based on migration and weak supervision, and storage medium
WO2021258482A1 (zh) * 2020-06-24 2021-12-30 五邑大学 基于迁移与弱监督的美丽预测方法、装置及存储介质
CN111832435A (zh) * 2020-06-24 2020-10-27 五邑大学 基于迁移与弱监督的美丽预测方法、装置及存储介质
CN111914908A (zh) * 2020-07-14 2020-11-10 浙江大华技术股份有限公司 一种图像识别模型训练方法、图像识别方法及相关设备
CN111914908B (zh) * 2020-07-14 2023-10-24 浙江大华技术股份有限公司 一种图像识别模型训练方法、图像识别方法及相关设备
CN112069916A (zh) * 2020-08-14 2020-12-11 五邑大学 人脸美丽预测方法、装置、系统及可读存储介质
CN112069916B (zh) * 2020-08-14 2024-02-20 五邑大学 人脸美丽预测方法、装置、系统及可读存储介质
CN112069946A (zh) * 2020-08-25 2020-12-11 五邑大学 人脸美丽预测方法、装置、系统及存储介质
CN112069946B (zh) * 2020-08-25 2024-02-20 五邑大学 人脸美丽预测方法、装置、系统及存储介质
CN113450267A (zh) * 2021-05-14 2021-09-28 桂林电子科技大学 可快速获取多种自然退化图像复原模型的迁移学习方法
CN113450267B (zh) * 2021-05-14 2022-08-19 桂林电子科技大学 可快速获取多种自然退化图像复原模型的迁移学习方法
CN114548382A (zh) * 2022-04-25 2022-05-27 腾讯科技（深圳）有限公司 迁移训练方法、装置、设备、存储介质及程序产品
CN114548382B (zh) * 2022-04-25 2022-07-15 腾讯科技（深圳）有限公司 迁移训练方法、装置、设备、存储介质及程序产品

Also Published As

Publication number Publication date
WO2021052159A1 (zh) 2021-03-25
CN110705406B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN110705406B (zh) 基于对抗迁移学习的人脸美丽预测方法及装置
Li et al. Classification of high-spatial-resolution remote sensing scenes method using transfer learning and deep convolutional neural network
CN109753992B (zh) 基于条件生成对抗网络的无监督域适应图像分类方法
CN108921051B (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
CN108491874B (zh) 一种基于生成式对抗网络的图像单分类方法
CN110705407B (zh) 基于多任务迁移的人脸美丽预测方法及装置
CN112818969B (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN108446676B (zh) 基于有序编码及多层随机投影的人脸图像年龄判别方法
CN109657615A (zh) 一种目标检测的训练方法、装置及终端设备
CN116403042A (zh) 一种轻量化卫生用品缺陷检测的方法及装置
CN115359248A (zh) 基于元学习的机器人导航避障方法与系统
WO2024179409A9 (zh) 三维工业异常检测方法、装置、存储介质及电子设备
CN109344758B (zh) 基于改进局部二值模式的人脸识别方法
CN113221695B (zh) 训练肤色识别模型的方法、识别肤色的方法及相关装置
JP2020064364A (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN113255701A (zh) 一种基于绝对-相对学习架构的小样本学习方法和系统
CN116777183B (zh) 无人船集群智能调度方法及系统
CN116824689A (zh) 骨骼序列行为识别方法、装置、设备及存储介质
CN115438575B (zh) 一种用于高精度翼型流场预测的分析方法
CN111274882A (zh) 基于弱监督的人脸年龄自动估计方法
CN116958027A (zh) 三维工业异常检测方法、装置、存储介质及电子设备
CN115100435B (zh) 基于有限数据多尺度目标学习的图像着色方法及其系统
CN114386527B (zh) 一种用于域自适应目标检测的类别正则化方法及系统
CN115861664A (zh) 基于局部特征融合与自注意力机制的特征匹配方法及系统
CN116030292A (zh) 基于改进ResNext的混凝土表面粗糙度检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant