CN111539351A - 一种多任务级联的人脸选帧比对方法 - Google Patents

一种多任务级联的人脸选帧比对方法 Download PDF

Info

Publication number
CN111539351A
CN111539351A CN202010344089.9A CN202010344089A CN111539351A CN 111539351 A CN111539351 A CN 111539351A CN 202010344089 A CN202010344089 A CN 202010344089A CN 111539351 A CN111539351 A CN 111539351A
Authority
CN
China
Prior art keywords
face
task
image
training
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010344089.9A
Other languages
English (en)
Other versions
CN111539351B (zh
Inventor
徐炫东
杜舒明
廖嘉炜
邹时容
池燕清
宋强
徐冬雪
曾明
孙乐飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Transwarp Technology Shanghai Co Ltd
Original Assignee
Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Transwarp Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd, Transwarp Technology Shanghai Co Ltd filed Critical Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202010344089.9A priority Critical patent/CN111539351B/zh
Publication of CN111539351A publication Critical patent/CN111539351A/zh
Application granted granted Critical
Publication of CN111539351B publication Critical patent/CN111539351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本发明公开了一种多任务级联的人脸选帧比对方法，包括证件照人脸入库、视频流人脸采集以及特征比对识别步骤；所述证件照人脸入库和视频流人脸采集步骤都包括人脸检测、人脸选帧以及人脸特征提取的步骤，其中人脸选帧采用多级任务级联人脸选帧方式进行；所述特征比对识别是通过计算人脸图像的特征与注册库里的人脸特征之间的余弦相似度，利用最近邻分类器找到库中与查询人脸最相似的人脸，再根据预设的阈值决定是否接受最相似人脸的身份，若接受则返回其身份信息，否则识别成陌生人。本发明在人脸注册入库与实时检测验证阶段，通过多任务联合实现人脸选帧，大大提高了人脸的采集质量及人脸验证的准确度。

Description

一种多任务级联的人脸选帧比对方法
技术领域
本发明涉及计算机图像处理技术领域，特别是一种人脸比对方法。
背景技术
随着互联网技术的发展，人脸识别技术在我们生活的方方面面都得到应用。人脸识别是一项热门的计算机技术研究领域，其中包括人脸追踪侦测、自动调整影像放大、夜间红外侦测、自动调整曝光强度等技术；人脸识别技术属于生物特征识别技术，是利用计算机对生物体(一般特指人)本身的生物特征来区分生物体个体。人脸识别过程中，首先需要对证件照进行采集，并将其作为标准，然后再实时采集需要验证的人脸信息，最后通过计算机进行人脸的验证；其中证件照和人脸实时信息的采集质量是人脸识别技术的关键。
视频人脸识别技术常用的情景为考勤、陌生人告警等，具体是从监控视频中获取图像，对视频中出现的人员通过人脸识别技术进行身份确认；对于注册在库的人员，给出姓名；对于未注册人员，给出陌生人提示。但是，证件照在采集过程中，由于时间环境的不同，光照、姿态和表情也不尽相同，这些都对证件照的注册入库造成了影响；在实时人脸验证过程中，对人脸的背景、光照和姿态更是提出了非常大的挑战。
发明内容
本发明需要解决的技术问题是提供一种多任务级联的人脸选帧比对方法，应用于人脸注册入库与实时检测验证阶段，以提高人脸采集质量及人脸验证的准确度。
为解决上述技术问题，本发明所采取的技术方案如下。
一种多任务级联的人脸选帧比对方法，包括证件照人脸入库、视频流人脸采集以及特征比对识别步骤；所述证件照人脸入库和视频流人脸采集步骤都包括人脸检测、人脸选帧以及人脸特征提取的步骤，其中人脸选帧采用多级任务级联人脸选帧方式进行；所述特征比对识别是通过计算人脸图像的特征与注册库里的人脸特征之间的余弦相似度，利用最近邻分类器找到库中与查询人脸最相似的人脸，再根据预设的阈值决定是否接受最相似人脸的身份，若接受则返回其身份信息，否则识别成陌生人。
上述一种多任务级联的人脸选帧比对方法，所述人脸检测基于YOLOV3的目标检测算法实现；多级任务级联人脸选帧基于全卷积神经网络，通过不同阈值的设置，实现证件照人脸入库和实时人脸预测不同阶段场景的人脸图片选帧，主要包括人脸筛选、RPY人脸姿态评估以及人脸质量评估步骤；人脸特征提取模块基于MobileNet V2的轻量网络对人脸图像进行特征提取，并输出特征向量。
上述一种多任务级联的人脸选帧比对方法，所述人脸筛选在主干卷积神经网络后级联全连接层，并实现分类任务；依据梯度特征及局部人脸特征，删除遮挡或侧后脸无法识别的人脸图像。
上述一种多任务级联的人脸选帧比对方法，所述RPY人脸姿态评估通过级联更深的卷积神经网络，构建适用于识别人脸姿态的特征提取网络，在人脸姿态特征提取网络中进行人脸偏转姿态的估计，定义正脸姿态俯仰角、偏航角和翻滚角分别为0°，保留俯仰角、偏航角、翻滚角在±15°以内的人脸图片。
上述一种多任务级联的人脸选帧比对方法，所述人脸质量评估是指对图像的质量因子进行综合评估，筛选出清晰、光照良好的人脸图片，最后对选取的人脸图片中的人脸图像进行回归，通过一个全连接层输出图像质量分数。
上述一种多任务级联的人脸选帧比对方法，所述质量因子包括照明质量、分辨率、清晰度、面部对称性。
上述一种多任务级联的人脸选帧比对方法，所述多级任务级联人脸选帧的方法具体包括以下步骤：
A.构建全卷积神经网络模型，全卷积神经网络为带人脸筛选、RPY人脸姿态评估以及人脸质量评估三个分支网络结构的主干网络结构，分支网络以主干网络的输出为输入，使用不同的损失函数，训练与任务相关的特征；
B.训练集生成；
C.全卷积神经网络模型的训练；
D.全卷积神经网络模型的预测。
上述一种多任务级联的人脸选帧比对方法，所述步骤B主要包括训练用图像的选取以及对人脸筛选、RPY人脸姿态评估和人脸质量评估三个任务标签的设置：
B1.训练使用的图像需要经过人脸检测、裁剪和缩放得到的人脸图像，大小为112像素×112像素；其中，人脸检测是将人脸的图像输入到人脸检测器后输出人脸框坐标；裁剪是根据人脸框坐标在原图上裁剪出人脸；缩放是对经裁剪得到的人脸进行缩放，使长边达到112，然后对短边零填充至112大小；
B2.标签的设置为，人脸筛选的标签设定为0为不合格、1为合格，若人脸遮挡面积超过50％或偏航角超过75度，则标记为0，否则标记为1；RPY人脸姿态评估中的R、P、Y分别表示三维空间的右手笛卡尔坐标中围绕Z轴旋转的翻滚角、围绕X轴旋转的俯仰角和围绕Y轴旋转的偏航角，姿态标签是一个三维向量，分别代表P、R、Y，三者均为实数且范围在[-90,90]，通过归一化将范围归一化到[-1,1]；人脸质量评估的标签是从[1，10]的整数，10表示质量最高，通过归一化将范围归一化到(0,1]。
上述一种多任务级联的人脸选帧比对方法，所述步骤C主要包括人脸筛选单任务预训练和多任务联合训练：
C1.人脸筛选单任务预训练仅训练主干网络和人脸筛选分支网络，网络的损失函数采用式一交叉熵损失函数计算，
Figure BDA0002469452180000031
其中，批大小为256，初始学习率为0.1，在第8、12、15个迭代纪元分别将学习率除以10，在第17个迭代纪元停止训练；网络使用Xavier初始化权重，使用带动量的SGD优化器进行训练；
C2.以步骤C1训练得到的模型作为训练起点，训练主干网络和所有的分支网络；
RPY人脸姿态评估和人脸质量评估作为回归问题，使用式二和式三的损失函数计算损失，
Figure BDA0002469452180000041
Figure BDA0002469452180000042
整个网络的损失函数采用式四计算，
Figure BDA0002469452180000043
其中，
Figure BDA0002469452180000044
表示第i个训练样本的第j种损失，i∈[1,N]，N为批大小，j取1、2、3时分别代表人脸筛选损失、RPY人脸姿态评估损失和人脸质量评估损失；
λj为对应损失函数的权重，训练时损失函数的权重设置为λ1＝1、λ2＝3、λ3＝2.5；
训练的批大小为200，初始学习率为0.01，学习率在第10、15、18个迭代纪元降低为原来的0.1，在第20个迭代纪元停止训练。
上述一种多任务级联的人脸选帧比对方法，所述步骤D主要包括输入预处理、网络预测、结果后处理三个阶段；
D1.输入预处理包括对人脸图像进行检测、裁剪和缩放，得到112像素×112像素的人脸图像；
D2.将步骤D1得到的图像输入全卷积神经网络模型，输出三个任务的结果；其中，人脸筛选任务的输出为y1∈(0,1)，代表图像合格的概率，y1越高表示图像的遮挡越少或偏转越小；RPY人脸姿态评估的输出为一个三维向量y2＝[r,p,y]，是由翻滚角、俯仰角和偏航角组成的姿态向量；人脸质量评估任务的输出为y3∈(0,1)，代表图像的质量分数，y3越高表示图像的质量越好；
D3.对三个任务设置阈值从而判断是否丢弃；其中，对人脸筛选任务，设置阈值t1，若y1>＝t1，则判定合格，否则丢弃；对RPY人脸姿态评估任务，若同时满足|r|<t21，|p|<t22，|y|<t23，|r|+|p|+|y|<t24，则建议保留图像，否则丢弃；对人脸质量评估任务，设置阈值t3，若y3>＝t3，则建议保留图像，否则丢弃。
由于采用了以上技术方案，本发明所取得技术进步如下。
本发明在人脸注册入库与实时检测验证阶段，通过多任务联合的人脸选帧，从人脸筛选、人脸姿态评估以及人脸质量评估三个方面实现人脸选帧，从而大大提高了人脸的采集质量及人脸验证的准确度。其中，人脸选帧过程中三个任务共享同一主干卷积神经网络，减少了模型所占资源，提升了预测效率。
附图说明
图1为本发明的流程图；
图2为本发明所述多任务级联人脸选帧的流程图。
具体实施方式
下面将结合附图和具体实施方式对本发明进行进一步详细说明。
一种多任务级联的人脸选帧比对方法，其流程图如图1所示，包括证件照人脸入库、视频流人脸采集以及特征比对识别步骤；其中特征比对识别是通过计算人脸图像的特征与注册库里的人脸特征之间的余弦相似度，利用最近邻分类器找到库中与查询人脸最相似的人脸，再根据预设的阈值决定是否接受最相似人脸的身份，若接受则返回其身份信息，否则识别成陌生人。
无论是人脸入库流程还是实时人脸预测流程，这两种数据在进行特征比对前都要经过筛选。对于入库数据，只有经过人脸选帧的筛选，质量合格的图片才能入库，否则应当重新进行注册；对于实时预测的人脸数据，同样需要经过人脸选帧的步骤，才能提取合格的特征向量。为此，本发明所述证件照人脸入库和视频流人脸采集步骤都包括人脸检测、人脸选帧以及人脸特征提取的步骤。其中：人脸检测基于YOLOV3的目标检测算法实现；人脸选帧采用多级任务级联人脸选帧方式进行；人脸特征提取模块基于MobileNetV2的轻量网络对人脸图像进行特征提取，并输出特征向量。
多级任务级联人脸选帧基于全卷积神经网络，通过不同阈值的设置，实现证件照人脸入库和实时人脸预测不同阶段场景的人脸图片选帧，主要包括人脸筛选、RPY人脸姿态评估以及人脸质量评估步骤。
人脸筛选在主干卷积神经网络后级联全连接层，并实现分类任务；依据梯度特征及局部人脸特征，删除遮挡或侧后脸无法识别的人脸图像。
RPY人脸姿态评估通过级联更深的卷积神经网络，构建适用于识别人脸姿态的特征提取网络，在人脸姿态特征提取网络中进行人脸偏转姿态的估计，定义正脸姿态俯仰角、偏航角和翻滚角分别为0°，保留俯仰角、偏航角、翻滚角在±15°以内的人脸图片。
人脸质量评估是指对图像的质量因子进行综合评估，筛选出清晰、光照良好的人脸图片，最后对选取的人脸图片中的人脸图像进行回归，通过一个全连接层输出图像质量分数。质量因子包括照明质量、分辨率、清晰度、面部对称性。
本发明中，多级任务级联人脸选帧方法具体包括以下步骤。
A.构建全卷积神经网络模型，全卷积神经网络为带人脸筛选、RPY人脸姿态评估以及人脸质量评估三个分支网络结构的主干网络结构，分支网络以主干网络的输出为输入，使用不同的损失函数，训练与任务相关的特征。
本实施例中，主干网络结构如表1所示，三个分支网络结构如图2至表4所示。表中移动步长指每个序列中第一个瓶颈层的移动步长，序列中其余的瓶颈层的移动步长均为1。
表1：主干网络结构
Figure BDA0002469452180000071
表2：人脸筛洗分支网络结构
Figure BDA0002469452180000072
表3：RPY人脸姿态评估分支网络结构
Figure BDA0002469452180000073
表4：人脸质量评估分支网络结构
Figure BDA0002469452180000074
本发明中，三个任务分支网络的结构各不相同，人脸筛选任务分支在主干卷积神经网络后使用跟输入大小一样的卷积核将特征图大小变为1×1，再通过1×1的卷积核得到深度为2的特征，连接分类损失层实现分类任务；RPY人脸姿态评估分支和人脸质量评估分支通过先升维再卷积的方式，尽可能多地保留了信息，最后通过1×1的卷积得到合适维度的特征图。
B.训练集生成，主要包括训练用图像的选取以及对人脸筛选、RPY人脸姿态评估和人脸质量评估三个任务标签的设置。
B1.训练使用的图像需要经过人脸检测、裁剪和缩放得到的人脸图像，大小为112像素×112像素；其中，人脸检测是将人脸的图像输入到人脸检测器后输出人脸框坐标；裁剪是根据人脸框坐标在原图上裁剪出人脸；缩放是对经裁剪得到的人脸进行缩放，使长边达到112，然后对短边零填充至112大小；
B2.标签的设置为，人脸筛选的标签设定为0为不合格、1为合格，若人脸遮挡面积超过50％或偏航角超过75度，则标记为0，否则标记为1；RPY人脸姿态评估中的R、P、Y分别表示三维空间的右手笛卡尔坐标中围绕Z轴旋转的翻滚角、围绕X轴旋转的俯仰角和围绕Y轴旋转的偏航角，姿态标签是一个三维向量，分别代表P、R、Y，三者均为实数且范围在[-90,90]，通过归一化将范围归一化到[-1,1]；人脸质量评估的标签是从[1，10]的整数，10表示质量最高，通过归一化将范围归一化到(0,1]。
C.全卷积神经网络模型的训练，主要包括人脸筛选单任务预训练和多任务联合训练。
C1.人脸筛选单任务预训练仅训练主干网络和人脸筛选分支网络，网络的损失函数采用式一交叉熵损失函数计算，
Figure BDA0002469452180000081
其中，批大小为256，初始学习率为0.1，在第8、12、15个迭代纪元分别将学习率除以10，在第17个迭代纪元停止训练；网络使用Xavier初始化权重，使用带动量的SGD优化器进行训练。
C2.以步骤C1训练得到的模型作为训练起点，训练主干网络和所有的分支网络。
RPY人脸姿态评估和人脸质量评估作为回归问题，使用式二和式三的损失函数计算损失，
Figure BDA0002469452180000091
Figure BDA0002469452180000092
整个网络的损失函数采用式四计算，
Figure BDA0002469452180000093
其中，
Figure BDA0002469452180000094
表示第i个训练样本的第j种损失，i∈[1,N]，N为批大小，j取1、2、3时分别代表人脸筛选损失、RPY人脸姿态评估损失和人脸质量评估损失；
λj为对应损失函数的权重，训练时损失函数的权重设置为λ1＝1、λ2＝3、λ3＝2.5；
训练的批大小为200，初始学习率为0.01，学习率在第10、15、18个迭代纪元降低为原来的0.1，在第20个迭代纪元停止训练。
D.全卷积神经网络模型的预测，主要包括输入预处理、网络预测、结果后处理三个阶段。
D1.输入预处理包括对人脸图像进行检测、裁剪和缩放，得到112像素×112像素的人脸图像。
D2.将步骤D1得到的图像输入全卷积神经网络模型，输出三个任务的结果。
其中，人脸筛选任务的输出为y1∈[0,1]，代表图像合格的概率，y1越高表示图像的遮挡越少或偏转越小，输出系数为1表示为合格人脸图片，输出系数为0表示为不合格人脸图片。RPY人脸姿态评估的输出为一个三维向量y2＝[r,p,y]，是由翻滚角、俯仰角和偏航角组成的姿态向量；人脸质量评估任务的输出为y3∈[0,1]，代表图像的质量分数，y3越高表示图像的质量越好，1表示质量佳，相反0表示质量差。
D3.对三个任务设置阈值从而判断是否丢弃；其中，对人脸筛选任务，设置阈值t1，若y1＞＝t1，则判定合格，否则丢弃；对RPY人脸姿态评估任务，若同时满足|r|＜t21，|p|＜t22，|y|＜t23，|r|+|p|+|y|＜t24，则建议保留图像，否则丢弃；对人脸质量评估任务，设置阈值t3，若y3＞＝t3，则建议保留图像，否则丢弃。
本发明中，证件照人脸入库和视频流人脸采集步骤共用多任务联合人脸选帧模块，但由于不同阶段流程中对于人脸筛选的需求不一，因此人脸筛选、RPY人脸姿态评估以及人脸质量评估三个任务的阈值也不相同。证件照人脸入库流程中，人脸图片质量较好且背景较单一，但入库人脸要求较高；视频流人脸采集流程中，人脸姿态及人脸图片质量参差不齐，通过对多任务权重及阈值的调整，适用于各阶段的人脸筛选。本实施例中，两个流程的阈值选择见表5。
表5：入库和预测场景下阈值的选择
Figure BDA0002469452180000101

Claims (10)

1.一种多任务级联的人脸选帧比对方法，包括证件照人脸入库、视频流人脸采集以及特征比对识别步骤；其特征在于：所述证件照人脸入库和视频流人脸采集步骤都包括人脸检测、人脸选帧以及人脸特征提取的步骤，其中人脸选帧采用多级任务级联人脸选帧方式进行；所述特征比对识别是通过计算人脸图像的特征与注册库里的人脸特征之间的余弦相似度，利用最近邻分类器找到库中与查询人脸最相似的人脸，再根据预设的阈值决定是否接受最相似人脸的身份，若接受则返回其身份信息，否则识别成陌生人。
2.根据权利要求1所述的一种多任务级联的人脸选帧比对方法，其特征在于：所述人脸检测基于YOLOV3的目标检测算法实现；多级任务级联人脸选帧基于全卷积神经网络，通过不同阈值的设置，实现证件照人脸入库和实时人脸预测不同阶段场景的人脸图片选帧，主要包括人脸筛选、RPY人脸姿态评估以及人脸质量评估步骤；人脸特征提取模块基于MobileNetV2的轻量网络对人脸图像进行特征提取，并输出特征向量。
3.根据权利要求2所述的一种多任务级联的人脸选帧比对方法，其特征在于：所述人脸筛选在主干卷积神经网络后级联全连接层，并实现分类任务；依据梯度特征及局部人脸特征，删除遮挡或侧后脸无法识别的人脸图像。
4.根据权利要求2所述的一种多任务级联的人脸选帧比对方法，其特征在于：所述RPY人脸姿态评估通过级联更深的卷积神经网络，构建适用于识别人脸姿态的特征提取网络，在人脸姿态特征提取网络中进行人脸偏转姿态的估计，定义正脸姿态俯仰角、偏航角和翻滚角分别为0°，保留俯仰角、偏航角、翻滚角在±15°以内的人脸图片。
5.根据权利要求2所述的一种多任务级联的人脸选帧比对方法，其特征在于：所述人脸质量评估是指对图像的质量因子进行综合评估，筛选出清晰、光照良好的人脸图片，最后对选取的人脸图片中的人脸图像进行回归，通过一个全连接层输出图像质量分数。
6.根据权利要求5所述的一种多任务级联的人脸选帧比对方法，其特征在于：所述质量因子包括照明质量、分辨率、清晰度、面部对称性。
7.根据权利要求1至6任一项所述的一种多任务级联的人脸选帧比对方法，其特征在于，所述多级任务级联人脸选帧的方法具体包括以下步骤：
A.构建全卷积神经网络模型，全卷积神经网络为带人脸筛选、RPY人脸姿态评估以及人脸质量评估三个分支网络结构的主干网络结构，分支网络以主干网络的输出为输入，使用不同的损失函数，训练与任务相关的特征；
B.训练集生成；
C.全卷积神经网络模型的训练；
D.全卷积神经网络模型的预测。
8.根据权利要求7所述的一种多任务级联的人脸选帧比对方法，其特征在于，所述步骤B主要包括训练用图像的选取以及对人脸筛选、RPY人脸姿态评估和人脸质量评估三个任务标签的设置：
B1.训练使用的图像需要经过人脸检测、裁剪和缩放得到的人脸图像，大小为112像素×112像素；其中，人脸检测是将人脸的图像输入到人脸检测器后输出人脸框坐标；裁剪是根据人脸框坐标在原图上裁剪出人脸；缩放是对经裁剪得到的人脸进行缩放，使长边达到112，然后对短边零填充至112大小；
B2.标签的设置为，人脸筛选的标签设定为0为不合格、1为合格，若人脸遮挡面积超过50％或偏航角超过75度，则标记为0，否则标记为1；RPY人脸姿态评估中的R、P、Y分别表示三维空间的右手笛卡尔坐标中围绕Z轴旋转的翻滚角、围绕X轴旋转的俯仰角和围绕Y轴旋转的偏航角，姿态标签是一个三维向量，分别代表P、R、Y，三者均为实数且范围在[-90,90]，通过归一化将范围归一化到[-1,1]；人脸质量评估的标签是从[1，10]的整数，10表示质量最高，通过归一化将范围归一化到(0,1]。
9.根据权利要求7所述的一种多任务级联的人脸选帧比对方法，其特征在于，所述步骤C主要包括人脸筛选单任务预训练和多任务联合训练：
C1.人脸筛选单任务预训练仅训练主干网络和人脸筛选分支网络，网络的损失函数采用式一交叉熵损失函数计算，
Figure FDA0002469452170000031
其中，批大小为256，初始学习率为0.1，在第8、12、15个迭代纪元分别将学习率除以10，在第17个迭代纪元停止训练；网络使用Xavier初始化权重，使用带动量的SGD优化器进行训练；
C2.以步骤C1训练得到的模型作为训练起点，训练主干网络和所有的分支网络；
RPY人脸姿态评估和人脸质量评估作为回归问题，使用式二和式三的损失函数计算损失，
Figure FDA0002469452170000032
Figure FDA0002469452170000033
整个网络的损失函数采用式四计算，
Figure FDA0002469452170000034
其中，
Figure FDA0002469452170000035
表示第i个训练样本的第j种损失，i∈[1,N]，N为批大小，j取1、2、3时分别代表人脸筛选损失、RPY人脸姿态评估损失和人脸质量评估损失；
λj为对应损失函数的权重，训练时损失函数的权重设置为λ1＝1、λ2＝3、λ3＝2.5；
训练的批大小为200，初始学习率为0.01，学习率在第10、15、18个迭代纪元降低为原来的0.1，在第20个迭代纪元停止训练。
10.根据权利要求7所述的一种多任务级联的人脸选帧比对方法，其特征在于，所述步骤D主要包括输入预处理、网络预测、结果后处理三个阶段；
D1.输入预处理包括对人脸图像进行检测、裁剪和缩放，得到112像素×112像素的人脸图像；
D2.将步骤D1得到的图像输入全卷积神经网络模型，输出三个任务的结果；其中，人脸筛选任务的输出为y1∈(0,1)，代表图像合格的概率，y1越高表示图像的遮挡越少或偏转越小；RPY人脸姿态评估的输出为一个三维向量y2＝[r,p,y]，是由翻滚角、俯仰角和偏航角组成的姿态向量；人脸质量评估任务的输出为y3∈(0,1)，代表图像的质量分数，y3越高表示图像的质量越好；
D3.对三个任务设置阈值从而判断是否丢弃；其中，对人脸筛选任务，设置阈值t1，若y1>＝t1，则判定合格，否则丢弃；对RPY人脸姿态评估任务，若同时满足|r|<t21，|p|<t22，|y|<t23，|r|+|p|+|y|<t24，则建议保留图像，否则丢弃；对人脸质量评估任务，设置阈值t3，若y3>＝t3，则建议保留图像，否则丢弃。
CN202010344089.9A 2020-04-27 2020-04-27 一种多任务级联的人脸选帧比对方法 Active CN111539351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010344089.9A CN111539351B (zh) 2020-04-27 2020-04-27 一种多任务级联的人脸选帧比对方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010344089.9A CN111539351B (zh) 2020-04-27 2020-04-27 一种多任务级联的人脸选帧比对方法

Publications (2)

Publication Number Publication Date
CN111539351A true CN111539351A (zh) 2020-08-14
CN111539351B CN111539351B (zh) 2023-11-03

Family

ID=71975555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010344089.9A Active CN111539351B (zh) 2020-04-27 2020-04-27 一种多任务级联的人脸选帧比对方法

Country Status (1)

Country Link
CN (1) CN111539351B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033374A (zh) * 2021-03-22 2021-06-25 开放智能机器（上海）有限公司 人工智能识别危险行为方法、装置、电子设备和存储介质
CN114663965A (zh) * 2022-05-24 2022-06-24 之江实验室 一种基于双阶段交替学习的人证比对方法和装置
CN114816719A (zh) * 2022-06-23 2022-07-29 小米汽车科技有限公司 多任务模型的训练方法及装置
CN116597427A (zh) * 2023-07-18 2023-08-15 山东科技大学 一种基于深度学习的舰船驾驶台身份识别方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0735509A1 (en) * 1995-03-31 1996-10-02 Hitachi Europe Limited Image processing for facial feature extraction
CN103593598A (zh) * 2013-11-25 2014-02-19 上海骏聿数码科技有限公司 基于活体检测和人脸识别的用户在线认证方法及系统
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN108256459A (zh) * 2018-01-10 2018-07-06 北京博睿视科技有限责任公司 基于多摄像机融合的安检门人脸识别和人脸自动建库算法
CN108280399A (zh) * 2017-12-27 2018-07-13 武汉普利商用机器有限公司 一种场景自适应人脸识别方法
CN108664886A (zh) * 2018-03-20 2018-10-16 广东电网有限责任公司清远供电局 一种适应变电站进出监控需求的人脸快速识别方法
CN110096965A (zh) * 2019-04-09 2019-08-06 华东师范大学 一种基于头部姿态的人脸识别方法
CN110210285A (zh) * 2019-04-16 2019-09-06 浙江大华技术股份有限公司 人脸跟踪方法、人脸跟踪装置以及计算机存储介质
CN110414381A (zh) * 2019-07-10 2019-11-05 武汉联析医疗技术有限公司 追踪式人脸识别系统
CN110647865A (zh) * 2019-09-30 2020-01-03 腾讯科技（深圳）有限公司 人脸姿态的识别方法、装置、设备及存储介质
CN110782503A (zh) * 2019-09-16 2020-02-11 中国电子进出口有限公司 一种基于两分支深度相关网络的人脸图像合成方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0735509A1 (en) * 1995-03-31 1996-10-02 Hitachi Europe Limited Image processing for facial feature extraction
CN103593598A (zh) * 2013-11-25 2014-02-19 上海骏聿数码科技有限公司 基于活体检测和人脸识别的用户在线认证方法及系统
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN108280399A (zh) * 2017-12-27 2018-07-13 武汉普利商用机器有限公司 一种场景自适应人脸识别方法
CN108256459A (zh) * 2018-01-10 2018-07-06 北京博睿视科技有限责任公司 基于多摄像机融合的安检门人脸识别和人脸自动建库算法
CN108664886A (zh) * 2018-03-20 2018-10-16 广东电网有限责任公司清远供电局 一种适应变电站进出监控需求的人脸快速识别方法
CN110096965A (zh) * 2019-04-09 2019-08-06 华东师范大学 一种基于头部姿态的人脸识别方法
CN110210285A (zh) * 2019-04-16 2019-09-06 浙江大华技术股份有限公司 人脸跟踪方法、人脸跟踪装置以及计算机存储介质
CN110414381A (zh) * 2019-07-10 2019-11-05 武汉联析医疗技术有限公司 追踪式人脸识别系统
CN110782503A (zh) * 2019-09-16 2020-02-11 中国电子进出口有限公司 一种基于两分支深度相关网络的人脸图像合成方法和装置
CN110647865A (zh) * 2019-09-30 2020-01-03 腾讯科技（深圳）有限公司 人脸姿态的识别方法、装置、设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033374A (zh) * 2021-03-22 2021-06-25 开放智能机器（上海）有限公司 人工智能识别危险行为方法、装置、电子设备和存储介质
CN114663965A (zh) * 2022-05-24 2022-06-24 之江实验室 一种基于双阶段交替学习的人证比对方法和装置
CN114663965B (zh) * 2022-05-24 2022-10-21 之江实验室 一种基于双阶段交替学习的人证比对方法和装置
CN114816719A (zh) * 2022-06-23 2022-07-29 小米汽车科技有限公司 多任务模型的训练方法及装置
CN114816719B (zh) * 2022-06-23 2022-09-30 小米汽车科技有限公司 多任务模型的训练方法及装置
CN116597427A (zh) * 2023-07-18 2023-08-15 山东科技大学 一种基于深度学习的舰船驾驶台身份识别方法
CN116597427B (zh) * 2023-07-18 2023-10-20 山东科技大学 一种基于深度学习的舰船驾驶台身份识别方法

Also Published As

Publication number Publication date
CN111539351B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
RU2427911C1 (ru) Способ обнаружения лиц на изображении с применением каскада классификаторов
CN111539351B (zh) 一种多任务级联的人脸选帧比对方法
US11017215B2 (en) Two-stage person searching method combining face and appearance features
US8345921B1 (en) Object detection with false positive filtering
CN110598535B (zh) 一种监控视频数据中使用的人脸识别分析方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN112906545B (zh) 一种针对多人场景的实时动作识别方法及系统
Chandran et al. Missing child identification system using deep learning and multiclass SVM
CN111639580A (zh) 一种结合特征分离模型和视角转换模型的步态识别方法
CN114495010A (zh) 一种基于多特征学习的跨模态行人重识别方法及系统
CN114360067A (zh) 一种基于深度学习的动态手势识别方法
Diyasa et al. Multi-face Recognition for the Detection of Prisoners in Jail using a Modified Cascade Classifier and CNN
CN111444816A (zh) 一种基于Faster RCNN的多尺度密集行人检测方法
Echoukairi et al. Improved Methods for Automatic Facial Expression Recognition.
CN110766093A (zh) 一种基于多帧特征融合的视频目标重识别方法
Zaidan et al. A novel hybrid module of skin detector using grouping histogram technique for Bayesian method and segment adjacent-nested technique for neural network
Huda et al. Effects of pre-processing on the performance of transfer learning based person detection in thermal images
Huang et al. Temporally-aggregating multiple-discontinuous-image saliency prediction with transformer-based attention
Farhi et al. Smart identity management system by face detection using multitasking convolution network
CN114373205A (zh) 一种基于卷积宽度网络的人脸检测和识别方法
Chuang et al. Facial Feature Classification of Drug Addicts Using Deep Learning
CN110717544A (zh) 一种垂直鱼眼镜头下行人属性分析方法及系统
Singh et al. Face Mask Detection using an Automated Hybrid Deep Learning Method in the COVID Scenario
Indhuja et al. Suspicious Activity Detection using LRCN
Hadjkacem et al. Multi-shot human re-identification using a fast multi-scale video covariance descriptor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 510000 Tianhe No. two road, Guangzhou, Guangdong Province, No. 2

Applicant after: Guangzhou Power Supply Bureau of Guangdong Power Grid Co.,Ltd.

Applicant after: Star link information technology (Shanghai) Co.,Ltd.

Address before: 510000 Tianhe No. two road, Guangzhou, Guangdong Province, No. 2

Applicant before: Guangzhou Power Supply Bureau of Guangdong Power Grid Co.,Ltd.

Applicant before: TRANSWARP TECHNOLOGY (SHANGHAI) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant