CN110705407B - 基于多任务迁移的人脸美丽预测方法及装置 - Google Patents

基于多任务迁移的人脸美丽预测方法及装置 Download PDF

Info

Publication number
CN110705407B
CN110705407B CN201910893827.2A CN201910893827A CN110705407B CN 110705407 B CN110705407 B CN 110705407B CN 201910893827 A CN201910893827 A CN 201910893827A CN 110705407 B CN110705407 B CN 110705407B
Authority
CN
China
Prior art keywords
tasks
face
task
feature
beauty prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910893827.2A
Other languages
English (en)
Other versions
CN110705407A (zh
Inventor
甘俊英
项俐
翟懿奎
麦超云
曾军英
应自炉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN201910893827.2A priority Critical patent/CN110705407B/zh
Publication of CN110705407A publication Critical patent/CN110705407A/zh
Priority to AU2020223740A priority patent/AU2020223740B2/en
Priority to US17/424,409 priority patent/US11710349B2/en
Priority to PCT/CN2020/112529 priority patent/WO2021052160A1/zh
Application granted granted Critical
Publication of CN110705407B publication Critical patent/CN110705407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于多任务迁移的人脸美丽预测方法及装置，实施了以下步骤，包括对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合；基于最佳组合构建包含特征共享层的人脸美丽预测模型；将特征参数迁移至特征共享层；预训练人脸美丽预测模型；以及输入待测人脸图像至训练好的所述人脸美丽预测模型进行识别，达到了减少了深度学习任务的冗余度，减轻了网络训练的负担，提升网络分类识别的效率和精度的效果。

Description

基于多任务迁移的人脸美丽预测方法及装置
技术领域
本发明涉及图像处理领域，特别是基于多任务迁移的人脸美丽预测方法及装置。
背景技术
人脸美丽预测技术在拍照领域得到广泛的应用。同时，随着深度学习技术的发展，将深度学习技术应用到人脸美丽预测技术上使人脸美预测结果更精确，更符合人们的认知。但单任务学习忽略了任务之间的关联，而多任务学习又使不必要的组合添加至深度学习网络中，增加了深度学习任务的冗余度，也加重了网络训练的负担，严重影响到分类识别的效率。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供基于多任务迁移的人脸美丽预测方法及装置，通过相似性度量减少计算量。
本发明解决其问题所采用的技术方案是：
本发明的第一方面，基于多任务迁移的人脸美丽预测方法，包括以下步骤：
对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合，其中多个所述任务包括为人脸美丽预测的主任务以及若干个对人脸美丽因素识别的辅助任务；
基于所述最佳组合构建人脸美丽预测模型，其中所述人脸美丽预测模型包括用于提取多个所述任务的共享图像特征的特征共享层；
将现有的大型人脸图像网络的特征参数迁移至所述人脸美丽预测模型的特征共享层；
输入训练用人脸图像对所述人脸美丽预测模型预训练；
输入待测人脸图像至训练好的所述人脸美丽预测模型，得到人脸识别结果。
根据本发明的第一方面，所述对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合包括以下步骤：
对多个所述任务的每个任务分别构建特定网络并进行训练得到每个任务的特征表达Es(I)；
对多个所述特定网络的顶点和路径进行匹配以构建多个所述任务间的迁移网络；
度量多个所述任务间的任务紧密度，所述任务紧密度的计算方式为：
Figure BDA0002209609150000021
式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；
计算多个所述任务间的关联矩阵，所述关联矩阵中的每个元素为
Figure BDA0002209609150000022
构建一个有向无环图结构，将每个任务作为图结构的节点，将关联矩阵作为图结构的监督值，通过最小化监督预算来寻求最优的路径，得到多个所述任务间的最佳组合。
根据本发明的第一方面，所述人脸美丽预测模型还包括用于预处理训练用人脸图像和待测人脸图像的预处理层，用于提取多个所述任务的独立特征的独立特征提取层，用于融合独立特征和与每个任务对应的几何特征、纹理特征的特征融合层，以及分类层。
根据本发明的第一方面，所述特征共享层根据所述最佳组合配置基础参数；在将所述特征参数迁移至所述特征共享层的步骤中，对比所述特征参数与所述基础参数，对与所述基础参数对应的特征参数进行迁移。
根据本发明的第一方面，所述辅助任务包括表情识别、性别识别和年龄识别，所述人脸识别结果包括与所述主任务对应的人脸美丽预测结果以及与所述辅助任务对应的表情识别结果、性别识别结果和年龄识别结果。
上述基于多任务迁移的人脸美丽预测方法至少具有以下有益效果：对多个任务进行基于图结构的相似性度量，寻找多个任务间的联系，得到多个任务间的最佳组合，将最佳组合结合到人脸美丽预测模型中，减少了深度学习任务的冗余度，减轻了网络训练的负担，提升网络分类识别的效率和精度；利用现有人脸图像网络的特征参数，将参数迁移学习，进一步降低网络训练的成本。
本发明的第二方面，基于多任务迁移的人脸美丽预测装置，包括：
相似性度量模块，用于对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合，其中多个所述任务包括为人脸美丽预测的主任务以及若干个对人脸美丽因素识别的辅助任务；
模型构建模块，用于基于所述最佳组合构建人脸美丽预测模型，其中所述人脸美丽预测模型包括用于提取多个所述任务的共享图像特征的特征共享层；
特征参数迁移模块，用于将现有的大型人脸图像网络的特征参数迁移至所述人脸美丽预测模型的特征共享层；
预训练模块，用于输入训练用人脸图像对所述人脸美丽预测模型预训练；
结果获取模块，用于输入待测人脸图像至训练好的所述人脸美丽预测模型，得到人脸识别结果。
根据本发明的第二方面，所述相似性度量模块包括：
特征表达获取模块，用于对多个所述任务的每个任务分别构建特定网络并进行训练得到每个任务的特征表达Es(I)；
迁移网络构建模块，用于对多个所述特定网络的顶点和路径进行匹配以构建多个所述任务间的迁移网络；
紧密度度量模块，用于度量多个所述任务间的任务紧密度，其中所述任务紧密度的计算方式为：
Figure BDA0002209609150000041
式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；
关联性处理模块，用于计算多个所述任务间的关联矩阵，所述关联矩阵中的每个元素为
Figure BDA0002209609150000051
图结构构建模块，用于构建一个有向无环图结构，将每个任务作为图结构的节点，将关联矩阵作为图结构的监督值，通过最小化监督预算来寻求最优的路径，得到多个所述任务间的最佳组合。
根据本发明的第二方面，所述人脸美丽预测模型还包括用于预处理训练用人脸图像和待测人脸图像的预处理层，用于提取多个所述任务的独立特征的独立特征提取层，用于融合独立特征和与每个任务对应的几何特征、纹理特征的特征融合层，以及分类层。
根据本发明的第二方面，所述特征共享层包括参数配置器，所述参数配置器用于根据所述最佳组合配置基础参数；所述特征参数迁移模块包括匹配模块，所述匹配模块用于对比所述特征参数与所述基础参数并对与所述基础参数对应的特征参数进行迁移。
根据本发明的第二方面，所述辅助任务包括表情识别、性别识别和年龄识别，所述人脸识别结果包括与所述主任务对应的人脸美丽预测结果以及与所述辅助任务对应的表情识别结果、性别识别结果和年龄识别结果。
上述基于多任务迁移的人脸美丽预测装置至少具有以下有益效果：对多个任务进行基于图结构的相似性度量，寻找多个任务间的联系，得到多个任务间的最佳组合，将最佳组合结合到人脸美丽预测模型中，减少了深度学习任务的冗余度，减轻了网络训练的负担，提升网络分类识别的效率和精度；利用现有人脸图像网络的特征参数，将参数迁移学习，进一步降低网络训练的成本。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明实施例基于多任务迁移的人脸美丽预测方法的步骤图；
图2是步骤S100的具体步骤图；
图3是人脸美丽预测模型的网络结构图；
图4是本发明实施例基于多任务迁移的人脸美丽预测装置的结构。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1，本发明的一个实施例，提供了基于多任务迁移的人脸美丽预测方法，包括以下步骤：
步骤S100、对多个任务进行基于图结构的相似性度量，得到多个任务间的最佳组合，其中多个任务包括为人脸美丽预测的主任务以及若干个对人脸美丽因素识别的辅助任务；
步骤S200、基于最佳组合构建人脸美丽预测模型，其中人脸美丽预测模型包括用于提取多个任务的共享图像特征的特征共享层20；
步骤S300、将现有的大型人脸图像网络的特征参数迁移至人脸美丽预测模型的特征共享层20；
步骤S400、输入训练用人脸图像对人脸美丽预测模型预训练；
步骤S500、输入待测人脸图像至训练好的人脸美丽预测模型，得到人脸识别结果。
在该实施例中，由于N个任务间组合，共有N*(N-1)/2个组合，若将所有组合均进行训练以及融合，会严重增加训练量，产生不必要的冗余与无用数据，影响分类识别处理的精度。对多个任务进行基于图结构的相似性度量，寻找多个任务间的联系，得到多个任务间的最佳组合，将最佳组合结合到人脸美丽预测模型中，简化了人脸美丽预测模型，减少了深度学习任务的冗余度，减轻了网络训练的负担，提升网络分类识别的效率和精度。
迁移学习是通过从已学习的相关任务中转移知识来改善新任务的学习。利用现有的大型人脸图像网络的特征参数，将特征参数迁移学习，进一步降低人脸美丽预测模型训练的成本，同时也能提高分类识别结果的精度。
通过结合经相似性度量后得到的多任务的最佳组合和迁移学习的特征参数完善人脸美丽预测模型，简化人脸美丽预测模型的结构，减少人脸美丽预测模型的数据处理从而提升处理效率，同时避免关联性低的数据亦使得分类识别的精度获得了提升。
参照图2，进一步，步骤S100具体包括以下步骤：
步骤S110、对多个任务的每个任务分别构建特定网络并进行训练得到每个任务的特征表达Es(I)；每个特定网络均有一个编码器和一个解码器，所有编码器均具有相同的ResNet50结构，而解码器则对应不同的任务；
步骤S120、对多个特定网络的顶点和路径进行匹配以构建多个所述任务间的迁移网络；
步骤S130、度量多个任务间的任务紧密度，任务紧密度的计算方式为：
Figure BDA0002209609150000081
式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；迁移网络是有向图，有向图的每个节点分别对应一个任务，节点间的权重为任务紧密度；
步骤S140、计算多个任务间的关联矩阵；具体地，对于每个源任务指向目标任务的任务对(i，j)，在迁移后通过留出法取出测试集；对于每一个任务构建成一个矩阵Wt，再借助拉普拉斯平滑方法将矩阵Wt的输出结果控制在范围[0.001，0.999]内，然后转化得到关联矩阵，关联矩阵反应任务间的相似概率。W′t中每个元素w′i，j的计算方式为：
Figure BDA0002209609150000091
步骤S150、构建一个有向无环图结构，将每个任务作为图结构的节点，将关联矩阵作为图结构的监督值，通过最小化监督预算来寻求最优的路径，得到多个任务间的最佳组合，即基于关联矩阵求得子图表选择(subgraph selection)的问题。
需要说明的是，寻找两个图间的最佳顶点匹配，即找到最优映射函数使两个图的顶点集之间建立双射，使得对应顶点的差异性最小；寻找两个图间的最佳路径匹配，通过计算共同路径矩阵求得，优选地采用Kasa-algorithm算法计算共同路径矩阵，Kasa-algorithm算法是Floyd-Warshall算法的变种。在进行顶点和路径匹配后，将得到多个任务间的迁移网络。
参照图3，进一步，人脸美丽预测模型还包括用于预处理训练用人脸图像和待测人脸图像的预处理层10、用于提取多个任务的独立特征的独立特征提取层30、用于融合独立特征和与每个任务对应的几何特征和纹理特征的特征融合层40以及分类层50。其中，独立特征提取层30包括依次连接的1个卷积层、1个BN层、1个激活函数层和1个池化层，分类层50包括两个全连接层。
具体地，预训练步骤中，输入训练用人脸图像至人脸美丽预测模型中，训练用人脸图像经过预处理层10实施包括灰色度处理、像素归一化等预处理步骤。训练用人脸图像接着进入特征共享层20，特征共享层20处理得到带有共享图像特征的特征图；其中特征共享层20是根据多个任务间的最佳组合配置基础参数，在将特征参数迁移至特征共享层20的步骤中，对比特征参数与基础参数，对与基础参数对应的特征参数进行迁移，排除不必要的特征参数，简化提取共享图像特征的步骤。对应不同的任务有不同的独立特征提取层30，不同的独立特征提取层30的输入均为带有共享图像特征的特征图，不同的独立特征提取层30会提取对应不同任务的独立特征。具体地，主任务包括人脸美丽预测，辅助任务包括表情识别、性别识别和年龄识别。独立特征提取层30有4个，分别对应人脸美丽预测、表情识别、性别识别和年龄识别。每个独立特征提取层30后连接特征融合层40，特征融合层40后连接分类层50。特征融合层40将独立特征与几何特征、纹理特征按照Ffusion＝[FCSVN，G，H]融合得到融合特征，式中Ffusion是融合特征，G是几何特征，H是纹理特征。其中几何特征和纹理特征由现有的图像库或其他特征提取网络提供。分类层50根据融合特征得到人脸识别结果。大量的训练用人脸图像被输入以完善人脸美丽预测模型。具体地，人脸识别结果包括与主任务对应的人脸美丽预测结果以及与辅助任务对应的表情识别结果、性别识别结果和年龄识别结果。
同样地，待测人脸图像经过训练好的人脸美丽预测模型以上述步骤处理。人脸美丽预测模型输出对应待测人脸图像的人脸识别结果，完成人脸美丽预测。
上述人脸美丽预测方法对多个任务进行相似性度量，寻找多个任务间的联系，得到多个任务间的最佳组合，将最佳组合结合到深度学习模型中，减少了深度学习任务的冗余度，减轻了网络训练的负担，提升网络分类识别的效率和精度；利用现有人脸图像网络的特征参数，将参数迁移学习，进一步降低网络训练的成本。
参照图4，本发明的另一个实施例，提供了应用上述人脸美丽预测方法的基于多任务迁移的人脸美丽预测装置，包括：
相似性度量模块100，用于对多个任务进行基于图结构的相似性度量，得到多个任务间的最佳组合，其中多个任务包括为人脸美丽预测的主任务以及若干个对人脸美丽因素识别的辅助任务；
模型构建模块200，用于基于最佳组合构建人脸美丽预测模型，其中人脸美丽预测模型包括用于提取多个任务的共享图像特征的特征共享层20；
特征参数迁移模块300，用于将现有的大型人脸图像网络的特征参数迁移至人脸美丽预测模型的特征共享层20；
预训练模块400，用于输入训练用人脸图像对人脸美丽预测模型预训练；
结果获取模块500，用于输入待测人脸图像至训练好的人脸美丽预测模型，得到人脸识别结果。
进一步，相似性度量模块100包括：
特征表达获取模块110，用于对多个所述任务的每个任务分别构建特定网络并进行训练得到每个任务的特征表达Es(I)；
迁移网络构建模块120，用于对多个所述特定网络的顶点和路径进行匹配以构建多个所述任务间的迁移网络；
紧密度度量模块130，用于度量多个所述任务间的任务紧密度，其中所述任务紧密度的计算方式为：
Figure BDA0002209609150000121
式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；
关联性处理模块140，用于计算多个任务间的关联矩阵，所述关联矩阵中的每个元素为
Figure BDA0002209609150000122
图结构构建模块150，用于构建一个有向无环图结构，将每个任务作为图结构的节点，将关联矩阵作为图结构的监督值，通过最小化监督预算来寻求最优的路径，得到多个所述任务间的最佳组合。
参照图3，进一步，人脸美丽预测模型还包括用于预处理训练用人脸图像和待测人脸图像的预处理层10、用于提取多个任务的独立特征的独立特征提取层30、用于融合独立特征和与每个任务对应的几何特征、纹理特征的特征融合层40以及分类层50。
进一步，特征共享层20包括参数配置器，参数配置器用于根据最佳组合配置基础参数；特征参数迁移模块包括匹配模块，匹配模块用于对比特征参数与基础参数并对与基础参数对应的特征参数进行迁移。
进一步，辅助任务包括表情识别、性别识别和年龄识别，人脸识别结果包括与主任务对应的人脸美丽预测结果以及与辅助任务对应的表情识别结果、性别识别结果和年龄识别结果。
上述人脸美丽预测装置对多个任务进行基于图结构的相似性度量，寻找多个任务间的联系，得到多个任务间的最佳组合，将最佳组合结合到深度学习模型中，减少了深度学习任务的冗余度，减轻了网络训练的负担，提升网络分类识别的效率和精度；利用现有人脸图像网络的特征参数，将参数迁移学习，进一步降低网络训练的成本。
本发明的另一个实施例，提供了一种存储介质，存储有可执行指令，可执行指令能使与该存储介质连接的处理器按照上述的人脸美丽预测方法对人脸图像进行处理，得到人脸美丽识别结果。
以上，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (8)

1.基于多任务迁移的人脸美丽预测方法，其特征在于，包括以下步骤：
对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合，其中多个所述任务包括为人脸美丽预测的主任务以及若干个对人脸美丽因素识别的辅助任务；
基于所述最佳组合构建人脸美丽预测模型，其中所述人脸美丽预测模型包括用于提取多个所述任务的共享图像特征的特征共享层；将现有的大型人脸图像网络的特征参数迁移至所述人脸美丽预测模型的特征共享层；
输入训练用人脸图像对所述人脸美丽预测模型预训练；
输入待测人脸图像至训练好的所述人脸美丽预测模型，得到人脸识别结果；
其中，所述对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合包括以下步骤：
对多个所述任务的每个任务分别构建特定网络并进行训练得到每个任务的特征表达ES(I)；
对多个所述特定网络的顶点和路径进行匹配以构建多个所述任务间的迁移网络；
度量多个所述任务间的任务紧密度，所述任务紧密度的计算方式为：Ds→t＝argminθEI∈D[Lt(Dθ(Es(I)),ft(I))I,式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；
计算多个所述任务间的关联矩阵，所述关联矩阵中的每个元素为
Figure FDA0003812866280000021
构建一个有向无环图结构，将每个任务作为图结构的节点，将所述关联矩阵作为图结构的监督值，通过最小化监督预算来寻求最优的路径，得到多个所述任务间的最佳组合。
2.根据权利要求1所述的基于多任务迁移的人脸美丽预测方法，其特征在于，所述人脸美丽预测模型还包括用于预处理训练用人脸图像和待测人脸图像的预处理层，用于提取多个所述任务的独立特征的独立特征提取层，用于融合独立特征和与每个任务对应的几何特征、纹理特征的特征融合层，以及分类层。
3.根据权利要求2所述的基于多任务迁移的人脸美丽预测方法，其特征在于，所述特征共享层根据所述最佳组合配置基础参数；在将所述特征参数迁移至所述特征共享层的步骤中，对比所述特征参数与所述基础参数，对与所述基础参数对应的特征参数进行迁移。
4.根据权利要求1－3任一项所述的基于多任务迁移的人脸美丽预测方法，其特征在于，所述辅助任务包括表情识别、性别识别和年龄识别，所述人脸识别结果包括与所述主任务对应的人脸美丽预测结果以及与所述辅助任务对应的表情识别结果、性别识别结果和年龄识别结果。
5.基于多任务迁移的人脸美丽预测装置，其特征在于，包括：
相似性度量模块，用于对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合，其中多个所述任务包括为人脸美丽预测的主任务以及若干个对人脸美丽因素识别的辅助任务；模型构建模块，用于基于所述最佳组合构建人脸美丽预测模型，其中所述人脸美丽预测模型包括用于提取多个所述任务的共享图像特征的特征共享层；
特征参数迁移模块，用于将现有的大型人脸图像网络的特征参数迁移至所述人脸美丽预测模型的特征共享层；
预训练模块，用于输入训练用人脸图像对所述人脸美丽预测模型预训练；
结果获取模块，用于输入待测人脸图像至训练好的所述人脸美丽预测模型，得到人脸识别结果；
其中，所述相似性度量模块包括：
特征表达获取模块，用于对多个所述任务的每个任务分别构建特定网络并进行训练得到每个任务的特征表达Es(I)；
迁移网络构建模块，用于对多个所述特定网络的顶点和路径进行匹配以构建多个所述任务间的迁移网络；
紧密度度量模块，用于度量多个所述任务间的任务紧密度，其中所述任务紧密度的计算方式为：Ds→t＝argminθEIED[Lt(Dθ(Es(I)),ft(I))],式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；
关联性处理模块，用于计算多个所述任务间的关联矩阵，所述关联矩阵中的每个元素为
Figure FDA0003812866280000041
图结构构建模块，用于构建一个有向无环图结构，将每个任务作为图结构的节点，将关联矩阵作为图结构的监督值，通过最小化监督预算来寻求最优的路径，得到多个所述任务间的最佳组合。
6.根据权利要求5所述的基于多任务迁移的人脸美丽预测装置，其特征在于，所述人脸美丽预测模型还包括用于预处理训练用人脸图像和待测人脸图像的预处理层，用于提取多个所述任务的独立特征的独立特征提取层，用于融合独立特征和与每个任务对应的几何特征、纹理特征的特征融合层，以及分类层。
7.根据权利要求6所述的基于多任务迁移的人脸美丽预测装置，其特征在于，所述特征共享层包括参数配置器，所述参数配置器用于根据所述最佳组合配置基础参数；所述特征参数迁移模块包括匹配模块，所述匹配模块用于对比所述特征参数与所述基础参数并对与所述基础参数对应的特征参数进行迁移。
8.根据权利要求5－7任一项所述的基于多任务迁移的人脸美丽预测装置，其特征在于，所述辅助任务包括表情识别、性别识别和年龄识别，所述人脸识别结果包括与所述主任务对应的人脸美丽预测结果以及与所述辅助任务对应的表情识别结果、性别识别结果和年龄识别结果。
CN201910893827.2A 2019-09-20 2019-09-20 基于多任务迁移的人脸美丽预测方法及装置 Active CN110705407B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910893827.2A CN110705407B (zh) 2019-09-20 2019-09-20 基于多任务迁移的人脸美丽预测方法及装置
AU2020223740A AU2020223740B2 (en) 2019-09-20 2020-08-27 Face beauty prediction method and device based on multitask migration
US17/424,409 US11710349B2 (en) 2019-09-20 2020-08-31 Facial beauty prediction method and device based on multi-task migration
PCT/CN2020/112529 WO2021052160A1 (zh) 2019-09-20 2020-08-31 基于多任务迁移的人脸美丽预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910893827.2A CN110705407B (zh) 2019-09-20 2019-09-20 基于多任务迁移的人脸美丽预测方法及装置

Publications (2)

Publication Number Publication Date
CN110705407A CN110705407A (zh) 2020-01-17
CN110705407B true CN110705407B (zh) 2022-11-15

Family

ID=69195871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910893827.2A Active CN110705407B (zh) 2019-09-20 2019-09-20 基于多任务迁移的人脸美丽预测方法及装置

Country Status (4)

Country Link
US (1) US11710349B2 (zh)
CN (1) CN110705407B (zh)
AU (1) AU2020223740B2 (zh)
WO (1) WO2021052160A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705407B (zh) 2019-09-20 2022-11-15 五邑大学 基于多任务迁移的人脸美丽预测方法及装置
CN111753877B (zh) * 2020-05-19 2024-03-05 海克斯康制造智能技术(青岛)有限公司 一种基于深度神经网络迁移学习的产品质量检测方法
CN111832435A (zh) * 2020-06-24 2020-10-27 五邑大学 基于迁移与弱监督的美丽预测方法、装置及存储介质
CN112069916B (zh) * 2020-08-14 2024-02-20 五邑大学 人脸美丽预测方法、装置、系统及可读存储介质
CN112380849B (zh) * 2020-11-20 2024-05-28 北京百度网讯科技有限公司 生成兴趣点提取模型和提取兴趣点的方法和装置
CN116664454B (zh) * 2023-08-01 2023-11-03 中国海洋大学 一种基于多尺度颜色迁移参数预测的水下图像增强方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10685434B2 (en) 2016-03-30 2020-06-16 Institute Of Automation, Chinese Academy Of Sciences Method for assessing aesthetic quality of natural image based on multi-task deep learning
EP3273387B1 (en) * 2016-07-19 2024-05-15 Siemens Healthineers AG Medical image segmentation with a multi-task neural network system
CN106652025B (zh) * 2016-12-20 2019-10-01 五邑大学 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置
CN106934235B (zh) * 2017-03-09 2019-06-11 中国科学院软件研究所 一种基于迁移学习的疾病领域间病人相似性度量迁移系统
GB2567900A (en) * 2017-10-31 2019-05-01 Babylon Partners Ltd A computer implemented determination method and system
US11232344B2 (en) * 2017-10-31 2022-01-25 General Electric Company Multi-task feature selection neural networks
US10943156B2 (en) 2018-01-05 2021-03-09 L'oreal Machine-implemented facial health and beauty assistant
US10482600B2 (en) * 2018-01-16 2019-11-19 Siemens Healthcare Gmbh Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks
CN108520213B (zh) * 2018-03-28 2021-10-19 五邑大学 一种基于多尺度深度的人脸美丽预测方法
CN108629338B (zh) * 2018-06-14 2021-10-19 五邑大学 一种基于lbp和卷积神经网络的人脸美丽预测方法
CN109344855B (zh) 2018-08-10 2021-09-24 华南理工大学 一种基于排序引导回归的深度模型的人脸美丽评价方法
CN109376769A (zh) * 2018-09-21 2019-02-22 广东技术师范学院 基于生成式对抗神经网络用于多任务分类的信息迁移方法
CN109903314A (zh) * 2019-03-13 2019-06-18 腾讯科技（深圳）有限公司 一种图像区域定位的方法、模型训练的方法及相关装置
CN110119689A (zh) * 2019-04-18 2019-08-13 五邑大学 一种基于多任务迁移学习的人脸美丽预测方法
CN110705407B (zh) 2019-09-20 2022-11-15 五邑大学 基于多任务迁移的人脸美丽预测方法及装置

Also Published As

Publication number Publication date
WO2021052160A1 (zh) 2021-03-25
US20220092297A1 (en) 2022-03-24
CN110705407A (zh) 2020-01-17
AU2020223740A1 (en) 2021-04-08
AU2020223740B2 (en) 2021-05-13
US11710349B2 (en) 2023-07-25

Similar Documents

Publication Publication Date Title
CN110705407B (zh) 基于多任务迁移的人脸美丽预测方法及装置
WO2021052159A1 (zh) 基于对抗迁移学习的人脸美丽预测方法及装置
Brachmann et al. Dsac-differentiable ransac for camera localization
Jin et al. Neu-nbv: Next best view planning using uncertainty estimation in image-based neural rendering
CN111488498A (zh) 基于图神经网络的“节点-图”跨层图匹配方法及系统
CN115565203A (zh) 一种跨模态弱监督的三维人体姿态估计方法及系统
CN112577473A (zh) 一种双时相的高分辨率遥感影像变化检测算法
CN114358283A (zh) 气体识别神经网络模型的优化方法及相关设备
Gao et al. Vision‐based fatigue crack automatic perception and geometric updating of finite element model for welded joint in steel structures
Pérez-Navarro et al. Accuracy of a single position estimate for kNN-based fingerprinting indoor positioning applying error propagation theory
CN117213470A (zh) 一种多机碎片地图聚合更新方法及系统
CN113259883A (zh) 一种面向手机用户的多源信息融合的室内定位方法
CN113052103A (zh) 一种基于神经网络的电气设备缺陷检测方法及装置
CN113705763A (zh) 一种基于神经计算棒的配网变压器实时检测方法及系统
CN117095199A (zh) 一种基于单纯形扩散模型的工业视觉异常检测系统
Mount et al. Unsupervised selection of optimal operating parameters for visual place recognition algorithms using Gaussian mixture models
Wietrzykowski et al. Adopting the FAB-MAP algorithm for indoor localization with WiFi fingerprints
CN113255701B (zh) 一种基于绝对-相对学习架构的小样本学习方法和系统
Tian et al. Wi-fi fingerprint update for indoor localization via domain adaptation
CN114818945A (zh) 融入类别自适应度量学习的小样本图像分类方法及装置
US20220327335A1 (en) Controlling asynchronous fusion of spatio-temporal multimodal data
CN114821322A (zh) 基于注意力机制的小样本遥感影像分类方法及系统
Hu et al. Camera self-calibration using human faces
CN115730631A (zh) 联邦学习的方法和装置
CN112348088A (zh) 一种基于互信息典型相关分析的跨模态数据配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant