CN113298004A - 一种基于人脸特征学习的轻量级多头年龄估计方法 - Google Patents

一种基于人脸特征学习的轻量级多头年龄估计方法 Download PDF

Info

Publication number
CN113298004A
CN113298004A CN202110620332.XA CN202110620332A CN113298004A CN 113298004 A CN113298004 A CN 113298004A CN 202110620332 A CN202110620332 A CN 202110620332A CN 113298004 A CN113298004 A CN 113298004A
Authority
CN
China
Prior art keywords
face
head
age
age estimation
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110620332.XA
Other languages
English (en)
Other versions
CN113298004B (zh
Inventor
周翔
刘国清
倪一华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Youjia Technology Co ltd
Original Assignee
Nanjing Youjia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Youjia Technology Co ltd filed Critical Nanjing Youjia Technology Co ltd
Priority to CN202110620332.XA priority Critical patent/CN113298004B/zh
Publication of CN113298004A publication Critical patent/CN113298004A/zh
Application granted granted Critical
Publication of CN113298004B publication Critical patent/CN113298004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于人脸特征学习的轻量级多头年龄估计方法，向构建的多头人脸年龄估计模型中输入预处理后的待测人脸图片，构建的多头人脸年龄估计模型预测输出人脸年龄。构建多头人脸年龄估计模型，包括：预处理人脸图片训练数据集；以经过通道压缩的SSR‑NET特征提取网络作为双支路多头的年龄估计主干网络，在年龄估计主干网络后接上多头网络；对人脸图片训练数据集利用多头网络进行多次二分类任务和一次回归任务的训练；利用损失函数引导人脸年龄估计网络学习包括二元交叉熵损失和Smooth‑L1损失的最佳参数，使用预处理后的训练集训练多头的年龄估计主干网络，获得最佳多头人脸年龄估计模型。

Description

一种基于人脸特征学习的轻量级多头年龄估计方法
技术领域
本发明涉及一种基于人脸特征学习的轻量级多头年龄估计方法，属于计算机视觉技术领域。
背景技术
随着科学技术的不断发展，人们越来越追求安全、便捷、舒适的生活，例如人们在享受汽车带来便捷出行同时，也更多的关注行车安全问题。因此，如何改善驾驶安全，保障人身安全是目前汽车研究领域一个重要课题。近些年随着辅助驾驶系统(ADAS)和驾驶员监控系统(DMS)的出现，在一定程度上保障了驾驶的安全性。
驾驶员监控系统利用传感器与算法的融合达到对驾驶员属性、状态的实时监控，提高驾驶的安全性。人脸年龄估计任务作为驾驶员监控系统中一个重要的基础任务，实现高效、准确、稳定的人脸年龄估计算法必定能够在驾驶员监控系统中发挥重大作用。
现有技术中，卷积神经网络在分类任务上取得了较大的提升，其准确率已远高于非深度学习方法。虽然卷积神经网络从早期的浅层神经网络不断发展到目前各种复杂结构，在各大计算机视觉任务中已取得巨大的成功，但庞大的网络很难在实际的算力资源有效地在嵌入式平台上使用，并且目前的年龄估计网络大多单独使用分类或者回归的方法来做年龄估计的任务，在精度上还有很大的提高空间。
因此，如何能够将当前优异的深度学习网络模型适配到人脸年龄估计任务中，并且部署到实际应用场景中是目前丞待解决的重要问题。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于人脸特征学习的轻量级多头年龄估计方法。
为达到上述目的，本发明提供一种基于人脸特征学习的轻量级多头年龄估计方法，包括：向构建的多头人脸年龄估计模型中输入预处理后的待测人脸图片，构建的多头人脸年龄估计模型预测输出人脸年龄。
优先地，构建多头人脸年龄估计模型，包括：
预处理人脸图片训练数据集，将人脸图片训练数据集按比例分为训练集、验证集和测试集；以经过通道压缩的SSR-NET特征提取网络作为双支路多头的年龄估计主干网络，在年龄估计主干网络后接上多头网络；
对人脸图片训练数据集利用多头网络进行多次二分类任务和一次回归任务的训练；
利用损失函数引导人脸年龄估计网络学习包括二元交叉熵损失和Smooth-L1损失的最佳参数，使用预处理后的训练集训练多头的年龄估计主干网络，获得最佳多头人脸年龄估计模型；利用测试集测试多头人脸年龄估计模型，若多头人脸年龄估计模型不满足设定的要求，则调整模型参数，使用预处理后的训练集训练多头的年龄估计主干网络，获得多头人脸年龄估计模型。
优先地，人脸图片训练数据集和待测人脸图片均包括多个年龄段的训练人脸图片，训练人脸图片和待测人脸图片均为由车载摄像头采集并经过抠取提取人脸得到的人脸图片，预处理训练人脸图片和预处理待测人脸图片包括：
对人脸图片进行真实年龄的标注，年龄标注数值有M个；
从人脸图片训练数据集中随机次序批量读取人脸图片；
对人脸图片进行数据增强；
对人脸图片进行年龄标签处理。
优先地，年龄标签处理，包括：
对人脸图片标记用于回归的原始标签，原始标签为人脸图片对应的实际年龄；对人脸图片标记用于分类的One-hot年龄编码标签，One-hot年龄编码标签将实际年龄编码成M维，M维由0、1两元素组成的向量。
优先地，对人脸图片训练数据集利用多头网络进行多次二分类任务和一次回归任务的训练，包括：
二分类分支处理二分类任务，回归分支处理一次回归任务，利用回归分支引导多个二分类分支学习更加稳定的年龄估计主干网络，二分类分支计算期望值作为实际预测年龄；
二分类分支计算期望值作为实际预测年龄，包括：
将年龄间隔为[1,M]的年龄估计任务均匀划分为M-1个区间，每个区间宽度μi为1，对于给定的人脸图片和One-hot年龄编码标签，将One-hot年龄编码标签转换为One-hot编码，使用二元交叉熵作为损失函数进行网络反向传播；
多头网络输出预测分布向量
Figure BDA0003099276810000021
预测分布向量表示人脸图片属于每个年龄区间的概率；
利用公式(1)计算期望值，预测实际年龄y：
Figure BDA0003099276810000031
其中，μi代表区间宽度，pi代表网络预测分布向量。
优先地，数据增强包括通道处理和几何操作；
其中，通道处理使用灰度化方法，将原本三通道的RGB人脸图片通过通道像素值加权的方法转换成单通道；几何操作包括缩放、随机裁剪和水平翻转，最终输出固定尺寸的人脸图片。
优先地，利用损失函数引导人脸年龄估计网络学习包括二元交叉熵损失和Smooth-L1损失的最佳参数，包括：
总的损失函数如公式(2)所示：
L＝λclsLcls+λregLreg (2)
其中，Lcls为二元交叉熵损失，Lreg为Smooth-L1损失；λcls和λreg为损失权衡系数，λcls和λreg设置为1；损失函数值L越小，人脸年龄估计网络拟合效果越好；
Lcls计算公式为：
Figure BDA0003099276810000032
其中，训练集分为多个批次，N表示每个批次有N个人脸图片，i表示第i个人脸图片，p(x)为One-hot数据标签的真实分布；q(x)为二分类支路预测分布；
Lreg计算公式为：
Figure BDA0003099276810000033
其中，x为回归分支的输出。
优先地，使用预处理后的训练集训练年龄估计主干网络，获得多头人脸年龄估计模型，包括：模型参数包括批处理大小、初始学习率和轮次，
将训练集中的人脸图片输入年龄估计主干网络中，令批处理大小为256，初始学习率为0.0005，训练90个轮次，学习率每30个轮次衰减为原来的0.1倍，基于损失函数依次获得多个训练集的损失函数值L；
选择Adam为模型优化器，令权重衰减率为0.0001；
将验证集中的人脸图片输入年龄估计主干网络中，基于损失函数依次获得多个验证集的损失函数值L；
将损失函数值L作为Y轴，将得到损失函数值L的顺序作为X轴，分别获得训练集的损失值曲线图和验证集的损失值曲线图，训练集的损失值曲线图在下降后趋于平稳，且验证集的损失值曲线图与训练集的损失值曲线图相趋近且不再下降时，得到最优的多支路多头人脸年龄估计模型。
优先地，利用测试集测试多头人脸年龄估计模型，若多头人脸年龄估计模型不满足设定的要求，则调整模型参数，重新使用预处理后的训练集训练多头的年龄估计主干网络，获得多头人脸年龄估计模型，包括：
将训练集训练的模型参数加载到多支路多头人脸年龄估计模型中；
将测试集中的人脸图片输入多支路多头人脸年龄估计模型中，预测测试集中人脸图片中人脸的年龄，基于损失函数依次获得多个测试集的损失函数值；
对预测的年龄进行评估，若预测的年龄与真实年龄相差超过10％-50％，则微调包括轮次、批量大小和学习率的模型参数；
微调包括轮次、批量大小和学习率的模型参数，包括：
如果测试集的损失值曲线图处于下降趋势则认为是欠拟合，此时增大轮次；
如果测试集的损失值曲线图处于下降趋势，且验证集的损失值曲线图处于上升趋势，则认为是过拟合，此时降低轮次；
每次微调包括轮次、批量大小和学习率的模型参数时，批量大小增大32的倍数，学习率增加0.1倍；
如果测试集的损失值曲线图出现损失函数值无限大的情况则调小学习率；
如果测试集的损失值曲线图出现损失函数值不下降的情况则调大学习率；重新训练获得多头人脸年龄估计模型，直至预测的年龄与真实年龄相差小于10％-50％。
一种基于人脸特征学习的轻量级多头年龄估计系统，采用上述所述的方法，包括：
以经过通道压缩的SSR-NET特征提取网络作为双支路多头的年龄估计主干网络；
多头网络包括多个二分类分支和单个回归分支，二分类分支包括3x3卷积层、批量归一化层BN、ReLU激活函数和平均池化层，
回归分支包括3x3卷积层、批量归一化层BN、Tanh激活函数和平均池化层，
通过点乘的方式将二分类分支和回归分支的输出信息进行融合；
为了让回归分支引导二分类分支，在融合输出信息之后引出左头部和右头部；
左头部做二分类任务，并且作为网络的输出；右头部做回归引导，引导年龄估计主干网络学习；
将回归分支的最后一层修改为一个神经节点，并且采用sigmoid激活函数将输出值限制在[0,1]之间，同时将输入的普通标签归一化到[0,1]之间，使得回归分支具有相同尺度的输入输出；
使用Smooth-L1作为损失函数进行网络反向传播。
本发明所达到的有益效果：
一方面，通过使用紧凑的多头主干网络确保了模型的参数量与计算量，能够轻松在移动端上部署；另一方面，结合了分类与回归，利用回归引导分类学习，提升了网络的性能。最终，该方法同时保证了精度和稳定性，实现了在移动端的人脸年龄估计。
附图说明
图1是本发明的流程图；
图2是本发明的网络结构示意图。
具体实施方式
以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
一种基于人脸特征学习的轻量级多头年龄估计方法，包括：
向构建的多头人脸年龄估计模型中输入预处理后的待测人脸图片，构建的多头人脸年龄估计模型预测输出人脸年龄。
进一步地，本实施例中构建多头人脸年龄估计模型，包括：
预处理人脸图片训练数据集，将人脸图片训练数据集按比例分为训练集、验证集和测试集；以经过通道压缩的SSR-NET特征提取网络作为双支路多头的年龄估计主干网络，在年龄估计主干网络后接上多头网络；
对人脸图片训练数据集利用多头网络进行多次二分类任务和一次回归任务的训练；
利用损失函数引导人脸年龄估计网络学习包括二元交叉熵损失和Smooth-L1损失的最佳参数，使用预处理后的训练集训练多头的年龄估计主干网络，获得最佳多头人脸年龄估计模型；利用测试集测试多头人脸年龄估计模型，若多头人脸年龄估计模型不满足设定的要求，则调整模型参数，使用预处理后的训练集训练多头的年龄估计主干网络，获得多头人脸年龄估计模型。
进一步地，本实施例中人脸图片训练数据集和待测人脸图片均包括多个年龄段的训练人脸图片，训练人脸图片和待测人脸图片均为由车载摄像头采集并经过抠取提取人脸得到的人脸图片，预处理训练人脸图片和预处理待测人脸图片包括：
对人脸图片进行真实年龄的标注，年龄标注数值有M个；
从人脸图片训练数据集中随机次序批量读取人脸图片；
对人脸图片进行数据增强；
对人脸图片进行年龄标签处理。
进一步地，本实施例中年龄标签处理，包括：
对人脸图片标记用于回归的原始标签，原始标签为人脸图片对应的实际年龄；对人脸图片标记用于分类的One-hot年龄编码标签，One-hot年龄编码标签将实际年龄编码成M维，M维由0、1两元素组成的向量。
进一步地，本实施例中对人脸图片训练数据集利用多头网络进行多次二分类任务和一次回归任务的训练，包括：
二分类分支处理二分类任务，回归分支处理一次回归任务，利用回归分支引导多个二分类分支学习更加稳定的年龄估计主干网络，二分类分支计算期望值作为实际预测年龄；
二分类分支计算期望值作为实际预测年龄，包括：
将年龄间隔为[1,M]的年龄估计任务均匀划分为M-1个区间，每个区间宽度μi为1，对于给定的人脸图片和One-hot年龄编码标签，将One-hot年龄编码标签转换为One-hot编码，使用二元交叉熵作为损失函数进行网络反向传播；
多头网络输出预测分布向量
Figure BDA0003099276810000061
预测分布向量表示人脸图片属于每个年龄区间的概率；
利用公式(1)计算期望值，预测实际年龄y：
Figure BDA0003099276810000062
其中，μi代表区间宽度，pi代表网络预测分布向量。
进一步地，本实施例中数据增强包括通道处理和几何操作；
其中，通道处理使用灰度化方法，将原本三通道的RGB人脸图片通过通道像素值加权的方法转换成单通道；几何操作包括缩放、随机裁剪和水平翻转，最终输出固定尺寸的人脸图片。
进一步地，本实施例中利用损失函数引导人脸年龄估计网络学习包括二元交叉熵损失和Smooth-L1损失的最佳参数，包括：
总的损失函数如公式(2)所示：
L＝λclsLcls+λregLreg (2)
其中，Lcls为二元交叉熵损失，Lreg为Smooth-L1损失；λcls和λreg为损失权衡系数，λcls和λreg设置为1；损失函数值L越小，人脸年龄估计网络拟合效果越好；
Lcls计算公式为：
Figure BDA0003099276810000071
其中，训练集分为多个批次，N表示每个批次有N个人脸图片，i表示第i个人脸图片，p(x)为One-hot数据标签的真实分布；q(x)为二分类支路预测分布；
Lreg计算公式为：
Figure BDA0003099276810000072
其中，x为回归分支的输出。
进一步地，本实施例中使用预处理后的训练集训练年龄估计主干网络，获得多头人脸年龄估计模型，包括：模型参数包括批处理大小、初始学习率和轮次，
将训练集中的人脸图片输入年龄估计主干网络中，令批处理大小为256，初始学习率为0.0005，训练90个轮次，学习率每30个轮次衰减为原来的0.1倍，基于损失函数依次获得多个训练集的损失函数值L；
选择Adam为模型优化器，令权重衰减率为0.0001；
将验证集中的人脸图片输入年龄估计主干网络中，基于损失函数依次获得多个验证集的损失函数值L；
将损失函数值L作为Y轴，将得到损失函数值L的顺序作为X轴，分别获得训练集的损失值曲线图和验证集的损失值曲线图，训练集的损失值曲线图在下降后趋于平稳，且验证集的损失值曲线图与训练集的损失值曲线图相趋近且不再下降时，得到最优的多支路多头人脸年龄估计模型。
进一步地，本实施例中利用测试集测试多头人脸年龄估计模型，若多头人脸年龄估计模型不满足设定的要求，则调整模型参数，重新使用预处理后的训练集训练多头的年龄估计主干网络，获得多头人脸年龄估计模型，包括：
将训练集训练的模型参数加载到多支路多头人脸年龄估计模型中；
将测试集中的人脸图片输入多支路多头人脸年龄估计模型中，预测测试集中人脸图片中人脸的年龄，基于损失函数依次获得多个测试集的损失函数值；
对预测的年龄进行评估，若预测的年龄与真实年龄相差超过10％-50％，则微调包括轮次、批量大小和学习率的模型参数；
微调包括轮次、批量大小和学习率的模型参数，包括：
如果测试集的损失值曲线图处于下降趋势则认为是欠拟合，此时增大轮次；
如果测试集的损失值曲线图处于下降趋势，且验证集的损失值曲线图处于上升趋势，则认为是过拟合，此时降低轮次；
每次微调包括轮次、批量大小和学习率的模型参数时，批量大小增大32的倍数，学习率增加0.1倍；
如果测试集的损失值曲线图出现损失函数值无限大的情况则调小学习率；
如果测试集的损失值曲线图出现损失函数值不下降的情况则调大学习率；重新训练获得多头人脸年龄估计模型，直至预测的年龄与真实年龄相差小于10％-50％。
一种基于人脸特征学习的轻量级多头年龄估计系统，采用上述所述的方法，包括：
以经过通道压缩的SSR-NET特征提取网络作为双支路多头的年龄估计主干网络；
多头网络包括多个二分类分支和单个回归分支，二分类分支包括3x3卷积层、批量归一化层BN、ReLU激活函数和平均池化层，
回归分支包括3x3卷积层、批量归一化层BN、Tanh激活函数和平均池化层，
通过点乘的方式将二分类分支和回归分支的输出信息进行融合；
为了让回归分支引导二分类分支，在融合输出信息之后引出左头部和右头部；
左头部做二分类任务，并且作为网络的输出；右头部做回归引导，引导年龄估计主干网络学习；
将回归分支的最后一层修改为一个神经节点，并且采用sigmoid激活函数将输出值限制在[0,1]之间，同时将输入的普通标签归一化到[0,1]之间，使得回归分支具有相同尺度的输入输出；
使用Smooth-L1作为损失函数进行网络反向传播。
当前基于深度学习的分类、回归算法已经非常成熟，在各个计算机视觉任务上都有很好的表现。为了直接利用研究充分的分类、回归算法，本发明将人脸年龄估计任务转换为一系列二元分类和回归的子问题。通过引入回归来引导二分类，使得年龄估计更加准确。总体框架如图1所示。本发明的整体框架分为三个步骤：
(1)构建用于二分类和回归的数据，分类数据使用One-hot编码，回归数据直接使用标注的标签，具体方法见(二)。
(2)使用相应的训练数据联合训练多头分类、回归网络，学习泛化性更强的人脸特征，主干网络见(三)。
(3)利用损失函数引导人脸年龄估计网络学习最佳参数。
(二)数据预处理
数据由车载摄像头拍摄的人脸图片获得，并利用标注软件对数据进行真实年龄的标注，年龄标注区间为1-100，M＝100。并且从数据集中随机次序读取人脸图片，输入的人脸图片为PNG格式。
数据预处理主要包含对人脸图片和年龄标签的处理，对人脸图片的处理融合了通道处理和几何操作，通道处理主要使用灰度化的方法，将原本三通道的RGB人脸图像通过通道像素值加权的方法转换成单通道。几何操作主要包括图片的缩放、随机裁剪和水平翻转，输出的人脸图片最终将图片尺寸固定到120x120。对人脸图片的处理大大增加了人脸图片的多样性，使得样本更加丰富。
本发明将1-100类的分类任务转换成100次二分类任务和一次回归任务。为了适配这种训练方式，年龄标签处理也包含两种，一种为原始标签，另一种为One-hot编码标签。原始标签为人脸实际年龄，用于网络回归。One-hot编码标签用于二分类任务，One-hot年龄编码将实际年龄编码成100维由0，1元素组成的向量，如年龄标签为2，则将前2维置为1，剩下的置为0，如[1,1,0,0...]。该编码方式使得网络能够更加专注于人脸特征学习。
(三)主干网络设计
本方法采用经过通道压缩的SSR-NET特征提取网络作为双支路多头的年龄估计主干网络。
图2为主干网络的总体结构，本发明采用双支路多头的网络设计。左边的二分类分支由3x3卷积、批量归一化、ReLU激活函数、平均池化组成的块构建而成。右边的回归分支由3x3卷积、批量归一化、Tanh激活函数、平均池化组成的块构建而成。左右两个支路的总体结构相似，激活函数不同。回归分支输出只用于网络反向传播，调整网络参数，辅助分类支路学习参数，不作为最终年龄估计的输出。
ReLU激活函数在反向求导的时候梯度不会饱和，收敛速度快，也极大的改善了梯度消失的问题，且不需要指数运算，运算速度快，复杂度低。但是ReLU激活函数对参数初始化和学习率非常敏感，且输出的均值不为0，存在神经元死亡，这会影响网络的收敛性。
Tanh激活函数将输出统一到[-1,1]之间，确保了输出为0均值，收敛性会更好。但是Tanh激活函数需要对数运算，计算量相对较大，且存在梯度饱和的问题。本发明通过点乘的方式将激活函数不同的两个支路的输出信息进行融合，能够很好的互补两支路在反向传播跟新参数过程中的不足。同时，为了让回归算法引导分类算法，本发明采用多头的设计方式。在两个支路的输出信息融合之后引出两个头部，左头部用于做二分类任务，并且作为多头网络的输出，右头部用于回归引导，引导网络学习。相比于流行的主干网络，本发明的年龄估计主干网络非常紧凑，在计算量和参数两上都有很大的优势。同时本发明的多头设计能够学习到更加鲁棒的特征，在泛化性上也更强。
(四)损失函数设计
为了满足多支路多头网络的反向传播与参数迭代，
总的损失函数如公式(2)所示：
L＝λclsLcls+λregLreg (2)
其中，Lcls为二元交叉熵损失，Lreg为Smooth-L1损失；λcls和λreg为损失权衡系数，λcls和λreg设置为1；损失函数值L越小，人脸年龄估计网络拟合效果越好；
Lcls计算公式为：
Figure BDA0003099276810000101
其中，训练集分为多个批次，N表示每个批次有N个人脸图片，i表示第i个人脸图片，p(x)为One-hot数据标签的真实分布；q(x)为二分类支路预测分布；
Lreg计算公式为：
Figure BDA0003099276810000102
其中，x为回归分支的输出。
(五)模型训练与推理
在构建的多支路多头人脸年龄估计模型上使用预处理后的训练集进行模型训练，批处理大小为256，初始学习率为0.0005，训练90个epochs，epochs中文含义为轮次，学习率每30个epochs衰减为原来的0.1倍。选择Adam为模型优化器，权重衰减率为0.0001。
训练集上的损失值在下降后趋于平稳，且验证集上的损失值与训练集上的损失值相趋近且不再下降时，得到最优多支路多头人脸年龄估计模型。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于人脸特征学习的轻量级多头年龄估计方法，其特征在于，包括：
向构建的多头人脸年龄估计模型中输入预处理后的待测人脸图片，构建的多头人脸年龄估计模型预测输出人脸年龄。
2.根据权利要求1所述的一种基于人脸特征学习的轻量级多头年龄估计方法，其特征在于，构建多头人脸年龄估计模型，包括：
预处理人脸图片训练数据集，将人脸图片训练数据集按比例分为训练集、验证集和测试集；
以经过通道压缩的SSR-NET特征提取网络作为双支路多头的年龄估计主干网络，在年龄估计主干网络后接上多头网络；
对人脸图片训练数据集利用多头网络进行多次二分类任务和一次回归任务的训练；
利用损失函数引导人脸年龄估计网络学习包括二元交叉熵损失和Smooth-L1损失的最佳参数，使用预处理后的训练集训练多头的年龄估计主干网络，获得最佳多头人脸年龄估计模型；利用测试集测试多头人脸年龄估计模型，若多头人脸年龄估计模型不满足设定的要求，则调整模型参数，使用预处理后的训练集训练多头的年龄估计主干网络，获得多头人脸年龄估计模型。
3.根据权利要求2所述的一种基于人脸特征学习的轻量级多头年龄估计方法，其特征在于，
人脸图片训练数据集和待测人脸图片均包括多个年龄段的训练人脸图片，训练人脸图片和待测人脸图片均为由车载摄像头采集并经过抠取提取人脸得到的人脸图片，预处理训练人脸图片和预处理待测人脸图片包括：
对人脸图片进行真实年龄的标注，年龄标注数值有M个；
从人脸图片训练数据集中随机次序批量读取人脸图片；
对人脸图片进行数据增强；
对人脸图片进行年龄标签处理。
4.根据权利要求3所述的一种基于人脸特征学习的轻量级多头年龄估计方法，其特征在于，
年龄标签处理，包括：
对人脸图片标记用于回归的原始标签，原始标签为人脸图片对应的实际年龄；对人脸图片标记用于分类的One-hot年龄编码标签，One-hot年龄编码标签将实际年龄编码成M维，M维由0、1两元素组成的向量。
5.根据权利要求2所述的一种基于人脸特征学习的轻量级多头年龄估计方法，其特征在于，对人脸图片训练数据集利用多头网络进行多次二分类任务和一次回归任务的训练，包括：
二分类分支处理二分类任务，回归分支处理一次回归任务，利用回归分支引导多个二分类分支学习更加稳定的年龄估计主干网络，二分类分支计算期望值作为实际预测年龄；
二分类分支计算期望值作为实际预测年龄，包括：
将年龄间隔为[1,M]的年龄估计任务均匀划分为M-1个区间，每个区间宽度μi为1，对于给定的人脸图片和One-hot年龄编码标签，将One-hot年龄编码标签转换为One-hot编码，使用二元交叉熵作为损失函数进行网络反向传播；
多头网络输出预测分布向量
Figure FDA0003099276800000021
预测分布向量表示人脸图片属于每个年龄区间的概率；
利用公式(1)计算期望值，预测实际年龄y：
Figure FDA0003099276800000022
其中，μi代表区间宽度，pi代表网络预测分布向量。
6.根据权利要求3所述的一种基于人脸特征学习的轻量级多头年龄估计方法，其特征在于，
数据增强包括通道处理和几何操作；
其中，通道处理使用灰度化方法，将原本三通道的RGB人脸图片通过通道像素值加权的方法转换成单通道；几何操作包括缩放、随机裁剪和水平翻转，最终输出固定尺寸的人脸图片。
7.根据权利要求3所述的一种基于人脸特征学习的轻量级多头年龄估计方法，其特征在于，利用损失函数引导人脸年龄估计网络学习包括二元交叉熵损失和Smooth-L1损失的最佳参数，包括：
总的损失函数如公式(2)所示：
L＝λclsLcls+λregLreg (2)
其中，Lcls为二元交叉熵损失，Lreg为Smooth-L1损失；λcls和λreg为损失权衡系数，λcls和λreg设置为1；损失函数值L越小，人脸年龄估计网络拟合效果越好；
Lcls计算公式为：
Figure FDA0003099276800000023
其中，训练集分为多个批次，N表示每个批次有N个人脸图片，i表示第i个人脸图片，p(x)为One-hot数据标签的真实分布；q(x)为二分类支路预测分布；
Lreg计算公式为：
Figure FDA0003099276800000031
其中，x为回归分支的输出。
8.根据权利要求7所述的一种基于人脸特征学习的轻量级多头年龄估计方法，其特征在于，
使用预处理后的训练集训练年龄估计主干网络，获得多头人脸年龄估计模型，包括：模型参数包括批处理大小、初始学习率和轮次，
将训练集中的人脸图片输入年龄估计主干网络中，令批处理大小为256，初始学习率为0.0005，训练90个轮次，学习率每30个轮次衰减为原来的0.1倍，基于损失函数依次获得多个训练集的损失函数值L；
选择Adam为模型优化器，令权重衰减率为0.0001；
将验证集中的人脸图片输入年龄估计主干网络中，基于损失函数依次获得多个验证集的损失函数值L；
将损失函数值L作为Y轴，将得到损失函数值L的顺序作为X轴，分别获得训练集的损失值曲线图和验证集的损失值曲线图，训练集的损失值曲线图在下降后趋于平稳，且验证集的损失值曲线图与训练集的损失值曲线图相趋近且不再下降时，得到最优的多支路多头人脸年龄估计模型。
9.根据权利要求8所述的一种基于人脸特征学习的轻量级多头年龄估计方法，其特征在于，利用测试集测试多头人脸年龄估计模型，若多头人脸年龄估计模型不满足设定的要求，则调整模型参数，重新使用预处理后的训练集训练多头的年龄估计主干网络，获得多头人脸年龄估计模型，包括：
将训练集训练的模型参数加载到多支路多头人脸年龄估计模型中；
将测试集中的人脸图片输入多支路多头人脸年龄估计模型中，预测测试集中人脸图片中人脸的年龄，基于损失函数依次获得多个测试集的损失函数值；
对预测的年龄进行评估，若预测的年龄与真实年龄相差超过10％-50％，则微调包括轮次、批量大小和学习率的模型参数；
微调包括轮次、批量大小和学习率的模型参数，包括：
如果测试集的损失值曲线图处于下降趋势则认为是欠拟合，此时增大轮次；
如果测试集的损失值曲线图处于下降趋势，且验证集的损失值曲线图处于上升趋势，则认为是过拟合，此时降低轮次；
每次微调包括轮次、批量大小和学习率的模型参数时，批量大小增大32的倍数，学习率增加0.1倍；
如果测试集的损失值曲线图出现损失函数值无限大的情况则调小学习率；
如果测试集的损失值曲线图出现损失函数值不下降的情况则调大学习率；重新训练获得多头人脸年龄估计模型，直至预测的年龄与真实年龄相差小于10％-50％。
10.一种基于人脸特征学习的轻量级多头年龄估计系统，其特征在于，采用权利要求1-9所述的方法，包括：
以经过通道压缩的SSR-NET特征提取网络作为双支路多头的年龄估计主干网络；
多头网络包括多个二分类分支和单个回归分支，二分类分支包括3x3卷积层、批量归一化层BN、ReLU激活函数和平均池化层，
回归分支包括3x3卷积层、批量归一化层BN、Tanh激活函数和平均池化层，
通过点乘的方式将二分类分支和回归分支的输出信息进行融合；
为了让回归分支引导二分类分支，在融合输出信息之后引出左头部和右头部；
左头部做二分类任务，并且作为网络的输出；右头部做回归引导，引导年龄估计主干网络学习；
将回归分支的最后一层修改为一个神经节点，并且采用sigmoid激活函数将输出值限制在[0,1]之间，同时将输入的普通标签归一化到[0,1]之间，使得回归分支具有相同尺度的输入输出；
使用Smooth-L1作为损失函数进行网络反向传播。
CN202110620332.XA 2021-06-03 2021-06-03 一种基于人脸特征学习的轻量级多头年龄估计方法 Active CN113298004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110620332.XA CN113298004B (zh) 2021-06-03 2021-06-03 一种基于人脸特征学习的轻量级多头年龄估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110620332.XA CN113298004B (zh) 2021-06-03 2021-06-03 一种基于人脸特征学习的轻量级多头年龄估计方法

Publications (2)

Publication Number Publication Date
CN113298004A true CN113298004A (zh) 2021-08-24
CN113298004B CN113298004B (zh) 2022-04-29

Family

ID=77326987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110620332.XA Active CN113298004B (zh) 2021-06-03 2021-06-03 一种基于人脸特征学习的轻量级多头年龄估计方法

Country Status (1)

Country Link
CN (1) CN113298004B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882558A (zh) * 2022-04-29 2022-08-09 陕西师范大学 基于人脸识别技术的学习场景实时身份认证方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102368295A (zh) * 2011-09-07 2012-03-07 常州蓝城信息科技有限公司 复杂环境下年龄特征的提取方法
CN102422324A (zh) * 2009-04-28 2012-04-18 Nec软件有限公司 年龄估计设备、方法和程序
CN103984948A (zh) * 2014-06-03 2014-08-13 南京大学 一种基于人脸图像融合特征的软双层年龄估计方法
CN104537353A (zh) * 2015-01-07 2015-04-22 深圳市唯特视科技有限公司 基于三维点云的三维人脸年龄分类装置及方法
CN105930934A (zh) * 2016-04-27 2016-09-07 北京物思创想科技有限公司 展示预测模型的方法、装置及调整预测模型的方法、装置
CN106250818A (zh) * 2016-07-19 2016-12-21 南京大学 一种全序保持投影的人脸年龄估计方法
CN104598871B (zh) * 2014-12-06 2017-11-17 电子科技大学 一种基于相关回归的面部年龄计算方法
CN109101938A (zh) * 2018-08-23 2018-12-28 武汉嫦娥医学抗衰机器人股份有限公司 一种基于卷积神经网络的多标签年龄估计方法
CN110287942A (zh) * 2019-07-03 2019-09-27 成都旷视金智科技有限公司 年龄估计模型的训练方法、年龄估计方法以及对应的装置
CN112006654A (zh) * 2020-07-16 2020-12-01 中国科学技术大学 基于卷积神经网络和多重注意力机制的骨骼年龄评估方法
CN112036293A (zh) * 2020-08-27 2020-12-04 北京金山云网络技术有限公司 年龄估计方法、年龄估计模型的训练方法及装置
US10964415B2 (en) * 2006-04-27 2021-03-30 Wellstat Vaccines, Llc Automated systems and methods for obtaining, storing, processing and utilizing immunologic information of an individual or population for various uses
CN112613379A (zh) * 2020-12-17 2021-04-06 深圳集智数字科技有限公司 年龄估计方法及装置、电子设备及计算机可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10964415B2 (en) * 2006-04-27 2021-03-30 Wellstat Vaccines, Llc Automated systems and methods for obtaining, storing, processing and utilizing immunologic information of an individual or population for various uses
CN102422324A (zh) * 2009-04-28 2012-04-18 Nec软件有限公司 年龄估计设备、方法和程序
CN102368295A (zh) * 2011-09-07 2012-03-07 常州蓝城信息科技有限公司 复杂环境下年龄特征的提取方法
CN103984948A (zh) * 2014-06-03 2014-08-13 南京大学 一种基于人脸图像融合特征的软双层年龄估计方法
CN104598871B (zh) * 2014-12-06 2017-11-17 电子科技大学 一种基于相关回归的面部年龄计算方法
CN104537353A (zh) * 2015-01-07 2015-04-22 深圳市唯特视科技有限公司 基于三维点云的三维人脸年龄分类装置及方法
CN105930934A (zh) * 2016-04-27 2016-09-07 北京物思创想科技有限公司 展示预测模型的方法、装置及调整预测模型的方法、装置
CN106250818A (zh) * 2016-07-19 2016-12-21 南京大学 一种全序保持投影的人脸年龄估计方法
CN109101938A (zh) * 2018-08-23 2018-12-28 武汉嫦娥医学抗衰机器人股份有限公司 一种基于卷积神经网络的多标签年龄估计方法
CN110287942A (zh) * 2019-07-03 2019-09-27 成都旷视金智科技有限公司 年龄估计模型的训练方法、年龄估计方法以及对应的装置
CN112006654A (zh) * 2020-07-16 2020-12-01 中国科学技术大学 基于卷积神经网络和多重注意力机制的骨骼年龄评估方法
CN112036293A (zh) * 2020-08-27 2020-12-04 北京金山云网络技术有限公司 年龄估计方法、年龄估计模型的训练方法及装置
CN112613379A (zh) * 2020-12-17 2021-04-06 深圳集智数字科技有限公司 年龄估计方法及装置、电子设备及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TSUN-YI YANG 等: "SSR-Net: A Compact Soft Stagewise Regression Network for Age Estimation", 《PROCEEDINGS OF THE TWENTY-SEVENTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE (IJCAI-18)》 *
XIN LIU 等: "AgeNet: Deeply Learned Regressor and Classifier for Robust Apparent Age Estimation", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS》 *
李勇明 等: "基于可分性距离判据和脑 MＲ图像的AD症脑部年龄检测", 《东南大学学报（自然科学报）》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882558A (zh) * 2022-04-29 2022-08-09 陕西师范大学 基于人脸识别技术的学习场景实时身份认证方法
CN114882558B (zh) * 2022-04-29 2024-02-23 陕西师范大学 基于人脸识别技术的学习场景实时身份认证方法

Also Published As

Publication number Publication date
CN113298004B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN111428718B (zh) 一种基于图像增强的自然场景文本识别方法
US20210089922A1 (en) Joint pruning and quantization scheme for deep neural networks
CN110399850B (zh) 一种基于深度神经网络的连续手语识别方法
CN111832516B (zh) 基于无监督视频表示学习的视频行为识别方法
CN111738124A (zh) 基于Gabor变换和注意力的遥感图像云检测方法
CN115082698B (zh) 一种基于多尺度注意力模块的分心驾驶行为检测方法
CN110175248B (zh) 一种基于深度学习和哈希编码的人脸图像检索方法和装置
CN113554084B (zh) 基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统
CN115758130A (zh) 一种无监督迁移学习的滚动轴承故障诊断方法及系统
CN117475038B (zh) 一种图像生成方法、装置、设备及计算机可读存储介质
CN113298004B (zh) 一种基于人脸特征学习的轻量级多头年龄估计方法
CN112183742A (zh) 基于渐进式量化和Hessian信息的神经网络混合量化方法
CN114463727A (zh) 一种地铁驾驶员行为识别方法
CN115775350A (zh) 一种图像增强方法和装置、计算设备
CN113449679B (zh) 一种人体异常行为识别方法和装置
CN113206808B (zh) 一种基于一维多输入卷积神经网络的信道编码盲识别方法
CN114782933A (zh) 基于多模态Transformer网络的驾驶员疲劳检测系统
CN112927236A (zh) 一种基于通道注意力和自监督约束的服装解析方法及系统
CN112052829A (zh) 一种基于深度学习的飞行员行为监控方法
CN116956997A (zh) 用于时序数据处理的lstm模型量化重训练方法、系统及设备
CN117033985A (zh) 一种基于ResCNN-BiGRU的运动想象脑电分类方法
CN115954019A (zh) 一种融合自注意力和卷积操作的环境噪声识别方法及系统
CN114387524B (zh) 基于多层级二阶表征的小样本学习的图像识别方法和系统
CN116311472A (zh) 基于多层次图卷积网络的微表情识别方法及装置
CN114819140A (zh) 模型剪枝方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant