CN112528903A - 人脸图像获取方法、装置、电子设备及介质 - Google Patents

人脸图像获取方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN112528903A
CN112528903A CN202011502199.XA CN202011502199A CN112528903A CN 112528903 A CN112528903 A CN 112528903A CN 202011502199 A CN202011502199 A CN 202011502199A CN 112528903 A CN112528903 A CN 112528903A
Authority
CN
China
Prior art keywords
face
head
image set
standard
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011502199.XA
Other languages
English (en)
Other versions
CN112528903B (zh
Inventor
洪叁亮
梁俊杰
王晟宇
周军
赖众程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202011502199.XA priority Critical patent/CN112528903B/zh
Publication of CN112528903A publication Critical patent/CN112528903A/zh
Application granted granted Critical
Publication of CN112528903B publication Critical patent/CN112528903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人脸识别技术，揭露一种人脸图像获取方法，包括：对待识别视频流进行目标跟踪，得到包含多个用户标识的图像集并筛选出目标用户标识的图像来分别进行人脸检测、头部区域检测，得到人脸区域图像集和头部区域图像集，对人脸区域图像集进行质量评价，得到人脸质量评价结果；对头部区域图像集进行预测评估，得到头部姿态角集合并计算头部姿态角得分；根据人脸质量评价结果和头部姿态角得分对标准图像集过滤，得到目标人脸图像。本发明还涉及区块链技术，所述头部姿态角得分等可以存储在区块链节点中。本发明还揭露一种人脸图像获取装置、电子设备及存储介质。本发明可以解决现有图像识别方法获取的图像质量不高的问题。

Description

人脸图像获取方法、装置、电子设备及介质
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种人脸图像获取方法、装置、电子设备及计算机可读存储介质。
背景技术
图像识别普遍应用于生活中，例如，通过图像识别进行犯罪侦查，通过图像识别进行道路监控等。在进行图像识别时，会对获取到的图像进行分析，进而得到图像识别结果。图像识别的准确性与图像质量的高低有密切关系，当图像质量不高时，图像识别的结果极有可能是错误的。例如，现有应用中，常常需要获取人物图像，特别是人脸图像，通过人脸图像进行验证等操作。若获取到的人脸图像质量不高，将可能出现验证错误等问题，因此，亟需一种获取高质量的人脸图像的方法。
发明内容
本发明提供一种人脸图像获取方法、装置、电子设备及计算机可读存储介质，其主要目的在于获取高质量的人脸图像的方法。
为实现上述目的，本发明提供的一种人脸图像获取方法，包括：
获取待识别视频流，利用预设的多目标跟踪算法对所述待识别视频流进行目标跟踪处理，得到包含多个用户标识的图像集；
对所述图像集进行筛选处理，从所述图像集中提取目标用户标识的图像，得到标准图像集；
利用预设的人脸检测网络对所述标准图像集进行人脸检测处理，得到人脸区域图像集，将所述人脸区域图像集输入至训练好的人脸质量评价网络中进行质量评价，得到所述标准图像集中不同标准图像的人脸质量评价结果；
对所述标准图像集进行头部区域检测处理，得到头部区域图像集，将所述头部区域图像集输入至训练好的头部姿态估计网络进行预测评估处理，得到头部姿态角集合，根据所述头部姿态角集合和预设的姿态角公式进行计算，得到所述头部姿态角集合中不同头部姿态角的头部姿态角得分；
根据所述人脸质量评价结果和所头部姿态角得分对所述标准图像集进行过滤处理，得到目标人脸图像。
可选地，所述利用预设的人脸检测网络对所述标准图像集进行人脸检测处理，得到人脸区域图像集，包括：
利用预设的人脸检测网络检测所述标准图像集中人脸的区域，得到标准检测框；
根据所述标准检测框从所述标准图像集中进行裁剪，得到人脸区域图像集。
可选地，所述利用预设的人脸检测网络检测所述标准图像集中人脸的区域，得到标准检测框，包括：
利用所述人脸检测网络对所述标准图像集中的标准图像进行人脸特征提取，得到人脸热度图、人脸尺度图和人脸中心偏移量图；
确定所述人脸热度图中大于预设阈值的目标坐标点为人脸坐标点；
根据所述人脸坐标点从所述人脸中心偏移量图的对应位置获取人脸坐标偏移量，将所述人脸坐标偏移量与所述人脸坐标点进行相加，得到人脸中心位置；
根据所述人脸中心位置在所述人脸尺度图上进行指数换算，得到标准检测框。
可选地，所述对所述标准图像集进行头部区域检测处理，得到头部区域图像集，包括：
对所述标准检测框进行头部外扩处理，得到头部外扩检测框；
利用所述头部外扩检测框对所述标准图像集进行头部区域的裁剪，得到头部区域图像集。
可选地，所述对所述标准检测框进行头部外扩处理，得到头部外扩检测框，包括：
将所述标准检测框映射到预设的二维坐标系上，得到所述标准检测框的横坐标、纵坐标以及长度和宽度；
将所述标准检测框的横坐标按照所述宽度的预设外扩值进行外扩，将所述标准检测框的纵坐标按照所述长度的预设外扩值进行外扩，得到外扩横坐标值和外扩纵坐标值；
将所述外扩横坐标值和外扩纵坐标值映射到所述二维坐标系上，得到头部外扩检测框。
可选地，所述将所述头部区域图像集输入至训练好的头部姿态估计网络进行预测评估处理，得到头部姿态角集合之前，所述方法还包括：
获取头部样本集，对所述头部样本集进行预处理，得到头部训练集；
将所述头部训练集输入至预设的姿态估计网络中，得到预测头部姿态标签；
根据所述预测头部姿态标签、预设的真实头部姿态标签和预设的头部姿态交叉熵损失值公式，计算头部姿态交叉熵损失值；
利用预设的分类函数对所述预测头部姿态标签进行分类处理，得到n维概率值，对所述n维概率值进行期望处理，得到头部姿态角；
根据所述头部姿态角和预设的姿态角真实值，计算姿态角均方误差值，并根据所述头部姿态交叉熵损失值和所述姿态角均方误差值，计算最终损失值；
利用所述最终损失值对所述姿态估计网络进行优化，直至所述最终损失值小于预设的最终损失阈值时，得到训练好的头部姿态估计网络。
可选地，所述根据所述预测头部姿态标签、预设的真实头部姿态标签和预设的头部姿态交叉熵损失值公式，计算头部姿态交叉熵损失值，包括：
所述头部姿态交叉熵损失值公式为：
Figure BDA0002843800840000031
其中，
Figure BDA0002843800840000032
为所述头部姿态交叉熵损失值，y2(i)为所述预设的真实头部姿态标签，
Figure BDA0002843800840000033
为所述预测头部姿态标签，N为所述真实头部姿态标签和所述预测头部姿态标签总数。
为了解决上述问题，本发明还提供一种人脸图像获取装置，所述装置包括：
目标跟踪模块，用于获取待识别视频流，利用预设的多目标跟踪算法对所述待识别视频流进行目标跟踪处理，得到包含多个用户标识的图像集；
标准图像集生成模块，用于对所述图像集进行筛选处理，从所述图像集中提取目标用户标识的图像，得到标准图像集；
质量评价模块，用于利用预设的人脸检测网络对所述标准图像集进行人脸检测处理，得到人脸区域图像集，将所述人脸区域图像集输入至训练好的人脸质量评价网络中进行质量评价，得到所述标准图像集中不同标准图像的人脸质量评价结果；
头部姿态角得分计算模块，用于对所述标准图像集进行头部区域检测处理，得到头部区域图像集，将所述头部区域图像集输入至训练好的头部姿态估计网络进行预测评估处理，得到头部姿态角集合，根据所述头部姿态角集合和预设的姿态角公式进行计算，得到所述头部姿态角集合中不同头部姿态角的头部姿态角得分；
过滤模块，用于根据所述人脸质量评价结果和所头部姿态角得分对所述标准图像集进行过滤处理，得到目标人脸图像。为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的人脸图像获取方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的人脸图像获取方法。
本发明实施例首先通过多目标跟踪算法对待识别视频流进行目标跟踪处理，得到包含多个用户标识的图像集，抓取了视频流出现的用户并对不同的用户赋予不同的用户标识，区分清楚并便于后续筛选目标用户标识的图像；利用预设的人脸检测网络对根据图像集获取到的标准图像集进行人脸检测处理，得到人脸区域图像集，并将人脸区域图像输入到人脸质量评价网络中进行评价，从而能够获取标准图像集中高质量的人脸质量评价结果。将所述头部区域图像集输入至训练好的头部姿态估计网络进行预测评估处理，得到头部姿态角集合，有效滤除侧脸和低头的人脸，高效返回最优正脸，根据所述头部姿态角集合和预设的姿态角公式进行计算，得到所述头部姿态角集合中不同头部姿态角的头部姿态角得分，避免了通过关键点计算姿态角引入的误差，有效地提高了姿态角识别准确率。根据人脸质量评价结果和头部姿态角得分对所述标准图像集进行过滤处理，得到目标人脸图像，综合人脸质量评价和头部姿态角得分进行过滤，结合人脸姿态信息，避免了保存到侧脸作为目标人脸图像，提高获取到的高质量评分的人脸图像的可识别性，进一步提高后续进行人脸识别的准确率，因此，本发明提出的人脸图像获取方法、装置及计算机可读存储介质可以获取高质量的人脸图像。
附图说明
图1为本发明实施例提供的人脸图像获取方法的流程示意图；
图2为本发明实施例提供的人脸图像获取装置的模块示意图；
图3为本发明实施例提供的实现人脸图像获取方法的电子设备的内部结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种人脸图像获取方法，所述人脸图像获取方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述人脸图像获取方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示，为本发明实施例提供的一种人脸图像获取方法的流程示意图。在本实施例中，所述人脸图像获取方法包括：
S1、获取待识别视频流，利用预设的多目标跟踪算法对所述待识别视频流进行目标跟踪处理，得到包含多个用户标识的图像集。
本发明实施例中，所述待识别视频流为通过摄像头获取到的一段或者是多段视频流，例如，通过摄像头获取到的银行操作间的监控视频，或者，通过摄像头获取到的海关通道视频等。
所述待识别视频流中包含多个图像帧。
本发明一可选实施例中，所述用户标识可以为用户ID，对多张图像中的相同人户可用同一个用户ID标识，对多张图像中的不同用户可用不同用户ID标识。
获取到的多个用户标识的图像集可以是人脸图像集，也可以是不仅包含人脸还包含用户身高、外形、穿着等特征的图像。
优选的，所述多个用户标识的图像集为所述多个用户标识的人脸图像集。
具体的，所述利用预设的多目标跟踪算法对所述待识别视频流进行目标跟踪处理，得到包含多个用户标识的人脸图像集，包括：
对所述待识别视频帧创建多目标跟踪器，并对所述多目标跟踪器进行初始化处理，得到初始跟踪器；
利用所述初始跟踪器对所述待识别视频帧进行跟踪，判断所述初始跟踪器的窗口是否跟踪到人脸；
若所述初始跟踪器的窗口没有跟踪到人脸，返回至初始化处理的步骤；
若所述初始跟踪器的窗口跟踪到人脸，对所述人脸标注预设的用户标识，得到包含多个用户标识的人脸图像集。
S2、对所述图像集进行筛选处理，从所述图像集中提取目标用户标识的图像，得到标准图像集。
本发明实施例中，所述目标用户可以为多个用户标识中的图像数量最多的用户，或者，所述目标用户可以为多个用户标识中第一个创建用户标识的用户，又或者，所述目标用户可以为多个用户标识中任意用户。
本发明实施例中，将目标用户标识的图像进行汇总，得到标准图像集，则标准图像集中的图像均为目标用户的图像。
例如，所述图像集中包括多张图像，图像中包括人脸ID1、人脸ID2、人脸ID3、人脸ID4和人脸ID5的图像，将所述人脸ID1的图像进行提取汇总，得到标准图像集。
S3、利用预设的人脸检测网络对所述标准图像集进行人脸检测处理，得到人脸区域图像集，将所述人脸区域图像集输入至训练好的人脸质量评价网络中进行质量评价，得到所述标准图像集中不同标准图像的人脸质量评价结果。
本发明实施例中，所述预设的人脸检测网络通过预训练样本进行训练得到，该预训练样本包含大量光线不佳的用户及用户人脸，从而得到的该人脸检测网络可以在光线不理想的情况下快速高效的人脸检测任务。
进一步地，本发明实施例中，所述利用预设的人脸检测网络对所述标准图像集进行人脸检测处理，得到人脸区域图像集，包括：
利用预设的人脸检测网络检测所述标准图像集中人脸的区域，得到标准检测框；
根据所述标准检测框从所述标准图像集中进行裁剪，得到人脸区域图像集。
详细地，所述人脸检测网络可以采用MobileNetV2为主干网络，采用UNet的结构作为附属网络进行后续检测，采用自顶向下的横向连接架构，从单个尺度输入构造特征金字塔，所述特征金字塔的层次为{Pl}＝3,4,5，其中，l表示金字塔层次，Pl表示金字塔的第l层。
本发明实施例中，得到的标准检测框可以是一个也可以是多个，标准检测框用于确定人脸图像的区域大小。
一可选实施例中，当通过人脸检测网络检测标准图像集中多张标准图像(如每张人脸图像)的人脸区域时，得到多个检测框，确定多个检测框中最大的检测框为标准检测框，或者，确定多个检测框中最小的检测框为标准检测框，或者，确定多个检测框中处于中位数的检测框为标准检测框。
另一可选实施例中，利用预设的人脸检测网络检测标准图像集中任意一张标准图像的人脸区域，得到标准检测框。
又一可选实施例中，利用预设的人脸检测网络检测标准图像集中人脸为正面的标准图像的人脸区域，得到标准检测框。
具体地，所述利用预设的人脸检测网络检测所述标准图像集中人脸的区域，得到标准检测框，包括：
利用所述人脸检测网络对所述标准图像集中的标准图像进行人脸特征提取，得到人脸热度图、人脸尺度图和人脸中心偏移量图；
确定所述人脸热度图中大于预设阈值的目标坐标点为人脸坐标点；
根据所述人脸坐标点从所述人脸中心偏移量图的对应位置获取人脸坐标偏移量，将所述人脸坐标偏移量与所述人脸坐标点进行相加，得到人脸中心位置；
根据所述人脸中心位置在所述人脸尺度图上进行指数换算，得到标准检测框。
具体的，可以对标准图像集中的一张或多张标准图像执行上述操作。
优选的，所述预设阈值为0.35。
进一步地，所述将所述人脸区域图像集输入至训练好的人脸质量评价网络中进行质量评价，得到人脸质量评价之前，所述方法还包括：
获取人脸样本集，对所述人脸样本集进行数据扩增处理，得到训练样本集；
将所述训练样本集输入至所述人脸质量评价网络中，得到预测人脸标签；
计算所述预测人脸标签和预设的真实人脸标签之间的人脸交叉熵损失值，根据所述人脸交叉熵损失值对所述人脸质量评价网络进行优化，直至所述人脸交叉熵损失值小于预设的损失阈值，得到训练好的人脸质量评价网络。
详细地，所述人脸质量评价网络可以采用迁移学习技术，将ResNet50网络去掉最一层，并接入自定义的全连接层和softmax层。
具体地，所述数据扩增处理包括随机裁剪、随机颜色抖动、随机亮度抖动、随机饱和度抖动、随机对比度抖动。
其中，所述随机裁剪是从一张图像上随机裁剪出若干张图像(例如通过python技术进行裁剪)；所述随机颜色抖动是对构成图像的色相产生位移，造成临近点状差异的色彩交叉效果；所述随机亮度抖动是在图像上造成明暗交叉的效果；所述随机饱和度抖动是产生饱和度差异状的交叉效果；所述随机对比度抖动是产生对比度差异状的交叉效果。
本发明实施例对所述人脸样本集进行数据扩增处理，可以扩大模型训练数据的数量，增加模型的鲁棒性。
进一步地，所述计算所述预测人脸标签和预设的真实人脸标签之间的人脸交叉熵损失值，利用预设的人脸交叉熵损失值公式进行计算，包括：
所述人脸交叉熵损失值公式为：
Figure BDA0002843800840000091
其中，
Figure BDA0002843800840000092
为所述人脸交叉熵损失值，y1(i)为真实人脸标签，
Figure BDA0002843800840000093
为预测人脸标签，N为所述真实人脸标签和所述预测人脸标签总数。
具体地，根据所述人脸交叉熵损失值对所述人脸质量评价网络进行优化，判断所述人脸交叉熵损失值和预设的损失阈值之间的大小，若所述人脸交叉熵损失值大于或者等于预设的损失阈值，调整所述人脸质量评价网络的内部参数，直至所述人脸交叉熵损失值小于预设的损失阈值，得到训练好的人脸质量评价网络。
优选地，内部参数可以是网络的权重、梯度。
进一步地，将所述人脸区域图像集输入至训练好的人脸质量评价网络中进行质量评价，得到人脸质量评价结果，所述人脸质量评价结果为图像模糊的结果和图像不模糊的结果。
S4、对所述标准图像集进行头部区域检测处理，得到头部区域图像集，将所述头部区域图像集输入至训练好的头部姿态估计网络进行预测评估处理，得到头部姿态角集合，根据所述头部姿态角集合和预设的姿态角公式进行计算，得到所述头部姿态角集合中不同头部姿态角的头部姿态角得分。
详细地，所述头部姿态角得分越高说明头部区域图像中为正面平视的人脸的概率越高，头部姿态角得分越低说明头部区域图像中为侧脸或低头的人脸的概率越高。
本发明实施例中，所述对所述标准图像集进行头部区域检测处理，得到头部区域图像集，包括：
对所述标准检测框进行头部外扩处理，得到头部外扩检测框；
利用所述头部外扩检测框对所述标准图像集进行头部区域的裁剪，得到头部区域图像集。
具体地，所述对所述标准检测框进行头部外扩处理，得到头部外扩检测框，包括：
将所述标准检测框的横坐标按照所述宽度的预设外扩值进行外扩，将所述标准检测框的纵坐标按照所述长度的预设外扩值进行外扩，得到外扩横坐标值和外扩纵坐标值；
将所述外扩横坐标值和外扩纵坐标值映射到所述二维坐标系上，得到头部外扩检测框。
进一步地，所述将所述头部区域图像集输入至训练好的头部姿态估计网络进行预测评估处理，得到头部姿态角集合之前，对所述头部姿态估计网络进行训练，所述方法还包括：
获取头部样本集，对所述头部样本集进行数据扩增处理，得到头部训练集；
将所述头部训练集输入至预设的头部姿态估计网络中，得到预测头部姿态标签；
根据所述预测头部姿态标签、预设的真实头部姿态标签和预设的头部姿态交叉熵损失函数，计算头部姿态交叉熵损失值；
利用预设的分类函数对所述预测头部姿态标签进行分类处理，得到n维概率值，对所述n维概率值进行期望处理，得到头部姿态角；
根据所述头部姿态角和预设的姿态角真实值，计算姿态角均方误差值，并根据所述头部姿态交叉熵损失值和所述姿态角均方误差值，计算最终损失值；
利用所述最终损失值对所述头部姿态估计网络进行优化，直至所述最终损失值小于预设的最终损失阈值时，得到训练好的头部姿态估计网络。
具体地，所述根据所述预测头部姿态标签、预设的真实头部姿态标签和预设的头部姿态交叉熵损失函数，计算头部姿态交叉熵损失值，包括：
所述头部姿态交叉熵损失函数为：
Figure BDA0002843800840000101
其中，
Figure BDA0002843800840000102
为所述头部姿态交叉熵损失值，y2(i)为所述预设的真实头部姿态标签，
Figure BDA0002843800840000103
为所述预测头部姿态标签，N为所述真实头部姿态标签和所述预测头部姿态标签总数。
进一步地，所述根据所述头部姿态角和预设的姿态角真实值，计算姿态角均方误差值，包括；
姿态角均方误差公式为：
Figure BDA0002843800840000111
其中，
Figure BDA0002843800840000112
为姿态角均方误差值，y3(i)为头部姿态角，
Figure BDA0002843800840000113
为姿态角真实值。
具体地，所述根据所述头部姿态交叉熵损失值和所述姿态角均方误差值，计算最终损失值，包括：
最终损失函数为：
Figure BDA0002843800840000114
其中，L为最终损失值，
Figure BDA0002843800840000115
为头部姿态交叉熵损失值，
Figure BDA0002843800840000116
为姿态角均方误差值，α为超参数。
优选地，本发明实施例中，α＝1。
具体地，根据所述最终损失值对所述头部姿态估计网络进行优化，判断所述最终损失值和预设的损失阈值之间的大小，若所述最终损失值大于或者等于预设的损失阈值，调整所述头部姿态估计网络的内部参数，直至所述最终损失值小于预设的损失阈值，得到训练好的头部姿态估计网络。
优选地，内部参数可以是网络的权重、梯度。
进一步地，所述根据所述头部姿态角集合中的头部姿态角和预设的姿态角公式进行计算，得到所述头部姿态角的头部姿态角得分，包括：
所述姿态角公式为：
Score＝100-|Attitudeangle|
其中，Score为头部姿态角得分，Attitudeangle为头部姿态角。
S5、根据所述人脸质量评价结果和所述头部姿态角得分对所述标准图像集进行过滤处理，得到目标人脸图像。
本发明实施例中，所述根据所述人脸质量评价结果和所头部姿态角得分对所述标准图像集进行过滤处理，得到目标人脸图像，包括：
获取所述标准图像集中标准图像对应的人脸质量评价和头部姿态角得分；
当所述人脸质量评价为模糊时，删除所述人脸质量评价为模糊对应的标准图像，当所述人脸质量评价为清晰时，保留所述人脸质量评价为清晰对应的标准图像；
当所述人脸质量评价为清晰对应的标准图像的所述头部姿态角得分大于预设的姿态角阈值时，保留对应的标准图像并将其输出为目标人脸图像。
本发明实施例通过过滤处理，得到高质量且头部姿态角更好的图像，用于人脸验证，能够提高人脸验证的准确性。
本发明实施例首先通过多目标跟踪算法对待识别视频流进行目标跟踪处理，得到包含多个用户标识的图像集，抓取了视频流出现的用户并对不同的用户赋予不同的用户标识，区分清楚并便于后续筛选目标用户标识的图像；利用预设的人脸检测网络对根据图像集获取到的标准图像集进行人脸检测处理，得到人脸区域图像集，并将人脸区域图像输入到人脸质量评价网络中进行评价，从而能够获取标准图像集中高质量的人脸质量评价结果。将所述头部区域图像集输入至训练好的头部姿态估计网络进行预测评估处理，得到头部姿态角集合，有效滤除侧脸和低头的人脸，高效返回最优正脸，根据所述头部姿态角集合和预设的姿态角公式进行计算，得到所述头部姿态角集合中不同头部姿态角的头部姿态角得分，避免了通过关键点计算姿态角引入的误差，有效地提高了姿态角识别准确率。根据人脸质量评价结果和头部姿态角得分对所述标准图像集进行过滤处理，得到目标人脸图像，综合人脸质量评价和头部姿态角得分进行过滤，结合人脸姿态信息，避免了保存到侧脸作为目标人脸图像，提高获取到的高质量评分的人脸图像的可识别性，进一步提高后续进行人脸识别的准确率，因此，本发明提出的人脸图像获取方法可以获取高质量的人脸图像。
如图2所示，是本发明实施例提供的人脸图像获取装置的模块示意图。
本发明所述人脸图像获取装置100可以安装于电子设备中。根据实现的功能，所述人脸图像获取装置100可以包括目标跟踪模块101、标准图像集生成模块102、质量评价模块103、头部姿态角得分计算模块104、过滤模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述目标跟踪模块101，用于获取待识别视频流，利用预设的多目标跟踪算法对所述待识别视频流进行目标跟踪处理，得到包含多个用户标识的图像集；
所述标准图像集生成模块102，用于对所述图像集进行筛选处理，从所述图像集中提取目标用户标识的图像，得到标准图像集；
所述质量评价模块103，用于利用预设的人脸检测网络对所述标准图像集进行人脸检测处理，得到人脸区域图像集，将所述人脸区域图像集输入至训练好的人脸质量评价网络中进行质量评价，得到所述标准图像集中不同标准图像的人脸质量评价结果；
所述头部姿态角得分计算模块104，用于对所述标准图像集进行头部区域检测处理，得到头部区域图像集，将所述头部区域图像集输入至训练好的头部姿态估计网络进行预测评估处理，得到头部姿态角集合，根据所述头部姿态角集合和预设的姿态角公式进行计算，得到所述头部姿态角集合中不同头部姿态角的头部姿态角得分；
所述过滤模块105，用于根据所述人脸质量评价结果和所头部姿态角得分对所述标准图像集进行过滤处理，得到目标人脸图像。
详细地，所述人脸图像获取装置100各模块的具体实施方式如下：
所述目标跟踪模块101，用于获取待识别视频流，利用预设的多目标跟踪算法对所述待识别视频流进行目标跟踪处理，得到包含多个用户标识的图像集。
本发明实施例中，所述待识别视频流为通过摄像头获取到的一段或者是多段视频流，例如，通过摄像头获取到的银行操作间的监控视频，或者，通过摄像头获取到的海关通道视频等。
所述待识别视频流中包含多个图像帧。
本发明一可选实施例中，所述用户标识可以为用户ID，对多张图像中的相同人户可用同一个用户ID标识，对多张图像中的不同用户可用不同用户ID标识。
获取到的多个用户标识的图像集可以是人脸图像集，也可以是不仅包含人脸还包含用户身高、外形、穿着等特征的图像。
优选的，所述多个用户标识的图像集为所述多个用户标识的人脸图像集。
具体的，所述利用预设的多目标跟踪算法对所述待识别视频流进行目标跟踪处理，得到包含多个用户标识的人脸图像集，包括：
对所述待识别视频帧创建多目标跟踪器，并对所述多目标跟踪器进行初始化处理，得到初始跟踪器；
利用所述初始跟踪器对所述待识别视频帧进行跟踪，判断所述初始跟踪器的窗口是否跟踪到人脸；
若所述初始跟踪器的窗口没有跟踪到人脸，返回至初始化处理的步骤；
若所述初始跟踪器的窗口跟踪到人脸，对所述人脸标注预设的用户标识，得到包含多个用户标识的人脸图像集。
所述标准图像集生成模块102，用于对所述图像集进行筛选处理，从所述图像集中提取目标用户标识的图像，得到标准图像集。
本发明实施例中，所述目标用户可以为多个用户标识中的图像数量最多的用户，或者，所述目标用户可以为多个用户标识中第一个创建用户标识的用户，又或者，所述目标用户可以为多个用户标识中任意用户。
本发明实施例中，将目标用户标识的图像进行汇总，得到标准图像集，则标准图像集中的图像均为目标用户的图像。
例如，所述图像集中包括多张图像，图像中包括人脸ID1、人脸ID2、人脸ID3、人脸ID4和人脸ID5的图像，将所述人脸ID1的图像进行提取汇总，得到标准图像集。
所述质量评价模块103，用于利用预设的人脸检测网络对所述标准图像集进行人脸检测处理，得到人脸区域图像集，将所述人脸区域图像集输入至训练好的人脸质量评价网络中进行质量评价，得到所述标准图像集中不同标准图像的人脸质量评价结果。
本发明实施例中，所述预设的人脸检测网络通过预训练样本进行训练得到，该预训练样本包含大量光线不佳的用户及用户人脸，从而得到的该人脸检测网络可以在光线不理想的情况下快速高效的人脸检测任务。
进一步地，本发明实施例中，所述利用预设的人脸检测网络对所述标准图像集进行人脸检测处理，得到人脸区域图像集，包括：
利用预设的人脸检测网络检测所述标准图像集中人脸的区域，得到标准检测框；
根据所述标准检测框从所述标准图像集中进行裁剪，得到人脸区域图像集。
详细地，所述人脸检测网络可以采用MobileNetV2为主干网络，采用UNet的结构作为附属网络进行后续检测，采用自顶向下的横向连接架构，从单个尺度输入构造特征金字塔，所述特征金字塔的层次为{Pl}＝3,4,5，其中，l表示金字塔层次，Pl表示金字塔的第l层。
本发明实施例中，得到的标准检测框可以是一个也可以是多个，标准检测框用于确定人脸图像的区域大小。
一可选实施例中，当通过人脸检测网络检测标准图像集中多张标准图像(如每张人脸图像)的人脸区域时，得到多个检测框，确定多个检测框中最大的检测框为标准检测框，或者，确定多个检测框中最小的检测框为标准检测框，或者，确定多个检测框中处于中位数的检测框为标准检测框。
另一可选实施例中，利用预设的人脸检测网络检测标准图像集中任意一张标准图像的人脸区域，得到标准检测框。
又一可选实施例中，利用预设的人脸检测网络检测标准图像集中人脸为正面的标准图像的人脸区域，得到标准检测框。
具体地，所述利用预设的人脸检测网络检测所述标准图像集中人脸的区域，得到标准检测框，包括：
利用所述人脸检测网络对所述标准图像集中的标准图像进行人脸特征提取，得到人脸热度图、人脸尺度图和人脸中心偏移量图；
确定所述人脸热度图中大于预设阈值的目标坐标点为人脸坐标点；
根据所述人脸坐标点从所述人脸中心偏移量图的对应位置获取人脸坐标偏移量，将所述人脸坐标偏移量与所述人脸坐标点进行相加，得到人脸中心位置；
根据所述人脸中心位置在所述人脸尺度图上进行指数换算，得到标准检测框。
具体的，可以对标准图像集中的一张或多张标准图像执行上述操作。
优选的，所述预设阈值为0.35。
进一步地，所述将所述人脸区域图像集输入至训练好的人脸质量评价网络中进行质量评价，得到人脸质量评价之前，所述方法还包括：
获取人脸样本集，对所述人脸样本集进行数据扩增处理，得到训练样本集；
将所述训练样本集输入至所述人脸质量评价网络中，得到预测人脸标签；
计算所述预测人脸标签和预设的真实人脸标签之间的人脸交叉熵损失值，根据所述人脸交叉熵损失值对所述人脸质量评价网络进行优化，直至所述人脸交叉熵损失值小于预设的损失阈值，得到训练好的人脸质量评价网络。
详细地，所述人脸质量评价网络可以采用迁移学习技术，将ResNet50网络去掉最一层，并接入自定义的全连接层和softmax层。
具体地，所述数据扩增处理包括随机裁剪、随机颜色抖动、随机亮度抖动、随机饱和度抖动、随机对比度抖动。
其中，所述随机裁剪是从一张图像上随机裁剪出若干张图像(例如通过python技术进行裁剪)；所述随机颜色抖动是对构成图像的色相产生位移，造成临近点状差异的色彩交叉效果；所述随机亮度抖动是在图像上造成明暗交叉的效果；所述随机饱和度抖动是产生饱和度差异状的交叉效果；所述随机对比度抖动是产生对比度差异状的交叉效果。
本发明实施例对所述人脸样本集进行数据扩增处理，可以扩大模型训练数据的数量，增加模型的鲁棒性。
进一步地，所述计算所述预测人脸标签和预设的真实人脸标签之间的人脸交叉熵损失值，利用预设的人脸交叉熵损失值公式进行计算，包括：
所述人脸交叉熵损失值公式为：
Figure BDA0002843800840000161
其中，
Figure BDA0002843800840000162
为所述人脸交叉熵损失值，y1(i)为真实人脸标签，
Figure BDA0002843800840000163
为预测人脸标签，N为所述真实人脸标签和所述预测人脸标签总数。
具体地，根据所述人脸交叉熵损失值对所述人脸质量评价网络进行优化，判断所述人脸交叉熵损失值和预设的损失阈值之间的大小，若所述人脸交叉熵损失值大于或者等于预设的损失阈值，调整所述人脸质量评价网络的内部参数，直至所述人脸交叉熵损失值小于预设的损失阈值，得到训练好的人脸质量评价网络。
优选地，内部参数可以是网络的权重、梯度。
进一步地，将所述人脸区域图像集输入至训练好的人脸质量评价网络中进行质量评价，得到人脸质量评价结果，所述人脸质量评价结果为图像模糊的结果和图像不模糊的结果。
所述头部姿态角得分计算模块104，用于对所述标准图像集进行头部区域检测处理，得到头部区域图像集，将所述头部区域图像集输入至训练好的头部姿态估计网络进行预测评估处理，得到头部姿态角集合，根据所述头部姿态角集合和预设的姿态角公式进行计算，得到所述头部姿态角集合中不同头部姿态角的头部姿态角得分。
详细地，所述头部姿态角得分越高说明头部区域图像中为正面平视的人脸的概率越高，头部姿态角得分越低说明头部区域图像中为侧脸或低头的人脸的概率越高。
本发明实施例中，所述对所述标准图像集进行头部区域检测处理，得到头部区域图像集，包括：
对所述标准检测框进行头部外扩处理，得到头部外扩检测框；
利用所述头部外扩检测框对所述标准图像集进行头部区域的裁剪，得到头部区域图像集。
具体地，所述对所述标准检测框进行头部外扩处理，得到头部外扩检测框，包括：
将所述标准检测框的横坐标按照所述宽度的预设外扩值进行外扩，将所述标准检测框的纵坐标按照所述长度的预设外扩值进行外扩，得到外扩横坐标值和外扩纵坐标值；
将所述外扩横坐标值和外扩纵坐标值映射到所述二维坐标系上，得到头部外扩检测框。
进一步地，所述装置还包括头部姿态估计网络模块，所述头部姿态估计网络模块用于：
得到头部姿态角集合之前，对所述头部姿态估计网络进行训练。
所述头部姿态估计网络具体用于：
获取头部样本集，对所述头部样本集进行数据扩增处理，得到头部训练集；
将所述头部训练集输入至预设的头部姿态估计网络中，得到预测头部姿态标签；
根据所述预测头部姿态标签、预设的真实头部姿态标签和预设的头部姿态交叉熵损失函数，计算头部姿态交叉熵损失值；
利用预设的分类函数对所述预测头部姿态标签进行分类处理，得到n维概率值，对所述n维概率值进行期望处理，得到头部姿态角；
根据所述头部姿态角和预设的姿态角真实值，计算姿态角均方误差值，并根据所述头部姿态交叉熵损失值和所述姿态角均方误差值，计算最终损失值；
利用所述最终损失值对所述头部姿态估计网络进行优化，直至所述最终损失值小于预设的最终损失阈值时，得到训练好的头部姿态估计网络。
具体地，所述根据所述预测头部姿态标签、预设的真实头部姿态标签和预设的头部姿态交叉熵损失函数，计算头部姿态交叉熵损失值，包括：
所述头部姿态交叉熵损失函数为：
Figure BDA0002843800840000181
其中，
Figure BDA0002843800840000182
为所述头部姿态交叉熵损失值，y2(i)为所述预设的真实头部姿态标签，
Figure BDA0002843800840000183
为所述预测头部姿态标签，N为所述真实头部姿态标签和所述预测头部姿态标签总数。
进一步地，所述根据所述头部姿态角和预设的姿态角真实值，计算姿态角均方误差值，包括；
姿态角均方误差公式为：
Figure BDA0002843800840000184
其中，
Figure BDA0002843800840000185
为姿态角均方误差值，y3(i)为头部姿态角，
Figure BDA0002843800840000186
为姿态角真实值。
具体地，所述根据所述头部姿态交叉熵损失值和所述姿态角均方误差值，计算最终损失值，包括：
最终损失函数为：
Figure BDA0002843800840000187
其中，L为最终损失值，
Figure BDA0002843800840000188
为头部姿态交叉熵损失值，
Figure BDA0002843800840000189
为姿态角均方误差值，α为超参数。
优选地，本发明实施例中，α＝1。
具体地，根据所述最终损失值对所述头部姿态估计网络进行优化，判断所述最终损失值和预设的损失阈值之间的大小，若所述最终损失值大于或者等于预设的损失阈值，调整所述头部姿态估计网络的内部参数，直至所述最终损失值小于预设的损失阈值，得到训练好的头部姿态估计网络。
优选地，内部参数可以是网络的权重、梯度。
进一步地，所述根据所述头部姿态角集合中的头部姿态角和预设的姿态角公式进行计算，得到所述头部姿态角的头部姿态角得分，包括：
所述姿态角公式为：
Score＝100-|Attitudeangle|
其中，Score为头部姿态角得分，Attitudeangle为头部姿态角。
所述过滤模块105，用于根据所述人脸质量评价结果和所述头部姿态角得分对所述标准图像集进行过滤处理，得到目标人脸图像。
本发明实施例中，所述根据所述人脸质量评价结果和所头部姿态角得分对所述标准图像集进行过滤处理，得到目标人脸图像，包括：
获取所述标准图像集中标准图像对应的人脸质量评价和头部姿态角得分；
当所述人脸质量评价为模糊时，删除所述人脸质量评价为模糊对应的标准图像，当所述人脸质量评价为清晰时，保留所述人脸质量评价为清晰对应的标准图像；
当所述人脸质量评价为清晰对应的标准图像的所述头部姿态角得分大于预设的姿态角阈值时，保留对应的标准图像并将其输出为目标人脸图像。
本发明实施例通过过滤处理，得到高质量且头部姿态角更好的图像，用于人脸验证，能够提高人脸验证的准确性。
本发明实施例首先通过多目标跟踪算法对待识别视频流进行目标跟踪处理，得到包含多个用户标识的图像集，抓取了视频流出现的用户并对不同的用户赋予不同的用户标识，区分清楚并便于后续筛选目标用户标识的图像；利用预设的人脸检测网络对根据图像集获取到的标准图像集进行人脸检测处理，得到人脸区域图像集，并将人脸区域图像输入到人脸质量评价网络中进行评价，从而能够获取标准图像集中高质量的人脸质量评价结果。将所述头部区域图像集输入至训练好的头部姿态估计网络进行预测评估处理，得到头部姿态角集合，有效滤除侧脸和低头的人脸，高效返回最优正脸，根据所述头部姿态角集合和预设的姿态角公式进行计算，得到所述头部姿态角集合中不同头部姿态角的头部姿态角得分，避免了通过关键点计算姿态角引入的误差，有效地提高了姿态角识别准确率。根据人脸质量评价结果和头部姿态角得分对所述标准图像集进行过滤处理，得到目标人脸图像，综合人脸质量评价和头部姿态角得分进行过滤，结合人脸姿态信息，避免了保存到侧脸作为目标人脸图像，提高获取到的高质量评分的人脸图像的可识别性，进一步提高后续进行人脸识别的准确率，因此，本发明提出的人脸图像获取装置可以获取高质量的人脸图像。
如图3所示，是本发明实现人脸图像获取方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如人脸图像获取程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如人脸图像获取程序12的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行人脸图像获取程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的人脸图像获取程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
获取待识别视频流，利用预设的多目标跟踪算法对所述待识别视频流进行目标跟踪处理，得到包含多个用户标识的图像集；
对所述图像集进行筛选处理，从所述图像集中提取目标用户标识的图像，得到标准图像集；
利用预设的人脸检测网络对所述标准图像集进行人脸检测处理，得到人脸区域图像集，将所述人脸区域图像集输入至训练好的人脸质量评价网络中进行质量评价，得到所述标准图像集中不同标准图像的人脸质量评价结果；
对所述标准图像集进行头部区域检测处理，得到头部区域图像集，将所述头部区域图像集输入至训练好的头部姿态估计网络进行预测评估处理，得到头部姿态角集合，根据所述头部姿态角集合和预设的姿态角公式进行计算，得到所述头部姿态角集合中不同头部姿态角的头部姿态角得分；
根据所述人脸质量评价结果和所头部姿态角得分对所述标准图像集进行过滤处理，得到目标人脸图像。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
获取待识别视频流，利用预设的多目标跟踪算法对所述待识别视频流进行目标跟踪处理，得到包含多个用户标识的图像集；
对所述图像集进行筛选处理，从所述图像集中提取目标用户标识的图像，得到标准图像集；
利用预设的人脸检测网络对所述标准图像集进行人脸检测处理，得到人脸区域图像集，将所述人脸区域图像集输入至训练好的人脸质量评价网络中进行质量评价，得到所述标准图像集中不同标准图像的人脸质量评价结果；
对所述标准图像集进行头部区域检测处理，得到头部区域图像集，将所述头部区域图像集输入至训练好的头部姿态估计网络进行预测评估处理，得到头部姿态角集合，根据所述头部姿态角集合和预设的姿态角公式进行计算，得到所述头部姿态角集合中不同头部姿态角的头部姿态角得分；
根据所述人脸质量评价结果和所头部姿态角得分对所述标准图像集进行过滤处理，得到目标人脸图像。
进一步地，所述计算机可用存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图表记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种人脸图像获取方法，其特征在于，所述方法包括：
获取待识别视频流，利用预设的多目标跟踪算法对所述待识别视频流进行目标跟踪处理，得到包含多个用户标识的图像集；
对所述图像集进行筛选处理，从所述图像集中提取目标用户标识的图像，得到标准图像集；
利用预设的人脸检测网络对所述标准图像集进行人脸检测处理，得到人脸区域图像集，将所述人脸区域图像集输入至训练好的人脸质量评价网络中进行质量评价，得到所述标准图像集中不同标准图像的人脸质量评价结果；
对所述标准图像集进行头部区域检测处理，得到头部区域图像集，将所述头部区域图像集输入至训练好的头部姿态估计网络进行预测评估处理，得到头部姿态角集合，根据所述头部姿态角集合和预设的姿态角公式进行计算，得到所述头部姿态角集合中不同头部姿态角的头部姿态角得分；
根据所述人脸质量评价结果和所头部姿态角得分对所述标准图像集进行过滤处理，得到目标人脸图像。
2.如权利要求1所述的人脸图像获取方法，其特征在于，所述利用预设的人脸检测网络对所述标准图像集进行人脸检测处理，得到人脸区域图像集，包括：
利用预设的人脸检测网络检测所述标准图像集中人脸的区域，得到标准检测框；
根据所述标准检测框从所述标准图像集中进行裁剪，得到人脸区域图像集。
3.如权利要求2所述的人脸图像获取方法，其特征在于，所述利用预设的人脸检测网络检测所述标准图像集中人脸的区域，得到标准检测框，包括：
利用所述人脸检测网络对所述标准图像集中的标准图像进行人脸特征提取，得到人脸热度图、人脸尺度图和人脸中心偏移量图；
确定所述人脸热度图中大于预设阈值的目标坐标点为人脸坐标点；
根据所述人脸坐标点从所述人脸中心偏移量图的对应位置获取人脸坐标偏移量，将所述人脸坐标偏移量与所述人脸坐标点进行相加，得到人脸中心位置；
根据所述人脸中心位置在所述人脸尺度图上进行指数换算，得到标准检测框。
4.如权利要求2所述的人脸图像获取方法，其特征在于，所述对所述标准图像集进行头部区域检测处理，得到头部区域图像集，包括：
对所述标准检测框进行头部外扩处理，得到头部外扩检测框；
利用所述头部外扩检测框对所述标准图像集进行头部区域的裁剪，得到头部区域图像集。
5.如权利要求4所述的人脸图像获取方法，其特征在于，所述对所述标准检测框进行头部外扩处理，得到头部外扩检测框，包括：
将所述标准检测框映射到预设的二维坐标系上，得到所述标准检测框的横坐标、纵坐标以及长度和宽度；
将所述标准检测框的横坐标按照所述宽度的预设外扩值进行外扩，将所述标准检测框的纵坐标按照所述长度的预设外扩值进行外扩，得到外扩横坐标值和外扩纵坐标值；
将所述外扩横坐标值和外扩纵坐标值映射到所述二维坐标系上，得到头部外扩检测框。
6.如权利要求1至5中任一项所述的人脸图像获取方法，其特征在于，所述将所述头部区域图像集输入至训练好的头部姿态估计网络进行预测评估处理，得到头部姿态角集合之前，所述方法还包括：
获取头部样本集，对所述头部样本集进行预处理，得到头部训练集；
将所述头部训练集输入至预设的姿态估计网络中，得到预测头部姿态标签；
根据所述预测头部姿态标签、预设的真实头部姿态标签和预设的头部姿态交叉熵损失值公式，计算头部姿态交叉熵损失值；
利用预设的分类函数对所述预测头部姿态标签进行分类处理，得到n维概率值，对所述n维概率值进行期望处理，得到头部姿态角；
根据所述头部姿态角和预设的姿态角真实值，计算姿态角均方误差值，并根据所述头部姿态交叉熵损失值和所述姿态角均方误差值，计算最终损失值；
利用所述最终损失值对所述姿态估计网络进行优化，直至所述最终损失值小于预设的最终损失阈值时，得到训练好的头部姿态估计网络。
7.如权利要求6所述的人脸图像获取方法，其特征在于，所述根据所述预测头部姿态标签、预设的真实头部姿态标签和预设的头部姿态交叉熵损失值公式，计算头部姿态交叉熵损失值，包括：
所述头部姿态交叉熵损失值公式为：
Figure FDA0002843800830000031
其中，
Figure FDA0002843800830000032
为所述头部姿态交叉熵损失值，y2(i)为所述预设的真实头部姿态标签，
Figure FDA0002843800830000033
为所述预测头部姿态标签，N为所述真实头部姿态标签和所述预测头部姿态标签总数。
8.一种人脸图像获取装置，其特征在于，所述装置包括：
目标跟踪模块，用于获取待识别视频流，利用预设的多目标跟踪算法对所述待识别视频流进行目标跟踪处理，得到包含多个用户标识的图像集；
标准图像集生成模块，用于对所述图像集进行筛选处理，从所述图像集中提取目标用户标识的图像，得到标准图像集；
质量评价模块，用于利用预设的人脸检测网络对所述标准图像集进行人脸检测处理，得到人脸区域图像集，将所述人脸区域图像集输入至训练好的人脸质量评价网络中进行质量评价，得到所述标准图像集中不同标准图像的人脸质量评价结果；
头部姿态角得分计算模块，用于对所述标准图像集进行头部区域检测处理，得到头部区域图像集，将所述头部区域图像集输入至训练好的头部姿态估计网络进行预测评估处理，得到头部姿态角集合，根据所述头部姿态角集合和预设的姿态角公式进行计算，得到所述头部姿态角集合中不同头部姿态角的头部姿态角得分；
过滤模块，用于根据所述人脸质量评价结果和所头部姿态角得分对所述标准图像集进行过滤处理，得到目标人脸图像。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的人脸图像获取方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的人脸图像获取方法。
CN202011502199.XA 2020-12-18 2020-12-18 人脸图像获取方法、装置、电子设备及介质 Active CN112528903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011502199.XA CN112528903B (zh) 2020-12-18 2020-12-18 人脸图像获取方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011502199.XA CN112528903B (zh) 2020-12-18 2020-12-18 人脸图像获取方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN112528903A true CN112528903A (zh) 2021-03-19
CN112528903B CN112528903B (zh) 2023-10-31

Family

ID=75001408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011502199.XA Active CN112528903B (zh) 2020-12-18 2020-12-18 人脸图像获取方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN112528903B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378762A (zh) * 2021-06-25 2021-09-10 宁波星巡智能科技有限公司 坐姿智能监测方法、装置、设备及存储介质
WO2022247118A1 (zh) * 2021-05-24 2022-12-01 深圳市优必选科技股份有限公司 一种推送方法、推送装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN110647811A (zh) * 2019-08-15 2020-01-03 中国平安人寿保险股份有限公司 人脸姿态检测方法、装置及计算机可读存储介质
CN110826402A (zh) * 2019-09-27 2020-02-21 深圳市华付信息技术有限公司 一种基于多任务的人脸质量估计方法
CN111199197A (zh) * 2019-12-26 2020-05-26 深圳市优必选科技股份有限公司 一种人脸识别的图像提取方法及处理设备
CN111860055A (zh) * 2019-04-29 2020-10-30 北京眼神智能科技有限公司 人脸静默活体检测方法、装置、可读存储介质及设备
WO2020244032A1 (zh) * 2019-06-03 2020-12-10 罗普特科技集团股份有限公司 用于检测人脸图像的方法和装置
CN112084856A (zh) * 2020-08-05 2020-12-15 深圳市优必选科技股份有限公司 一种人脸姿态检测方法、装置、终端设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN111860055A (zh) * 2019-04-29 2020-10-30 北京眼神智能科技有限公司 人脸静默活体检测方法、装置、可读存储介质及设备
WO2020244032A1 (zh) * 2019-06-03 2020-12-10 罗普特科技集团股份有限公司 用于检测人脸图像的方法和装置
CN110647811A (zh) * 2019-08-15 2020-01-03 中国平安人寿保险股份有限公司 人脸姿态检测方法、装置及计算机可读存储介质
CN110826402A (zh) * 2019-09-27 2020-02-21 深圳市华付信息技术有限公司 一种基于多任务的人脸质量估计方法
CN111199197A (zh) * 2019-12-26 2020-05-26 深圳市优必选科技股份有限公司 一种人脸识别的图像提取方法及处理设备
CN112084856A (zh) * 2020-08-05 2020-12-15 深圳市优必选科技股份有限公司 一种人脸姿态检测方法、装置、终端设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022247118A1 (zh) * 2021-05-24 2022-12-01 深圳市优必选科技股份有限公司 一种推送方法、推送装置及电子设备
CN113378762A (zh) * 2021-06-25 2021-09-10 宁波星巡智能科技有限公司 坐姿智能监测方法、装置、设备及存储介质
CN113378762B (zh) * 2021-06-25 2023-08-08 宁波星巡智能科技有限公司 坐姿智能监测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112528903B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN112418216B (zh) 一种复杂自然场景图像中的文字检测方法
CN112137591B (zh) 基于视频流的目标物位置检测方法、装置、设备及介质
CN112699775A (zh) 基于深度学习的证件识别方法、装置、设备及存储介质
CN112446919A (zh) 物体位姿估计方法、装置、电子设备及计算机存储介质
CN111311010B (zh) 车辆风险预测方法、装置、电子设备及可读存储介质
CN113283446A (zh) 图像中目标物识别方法、装置、电子设备及存储介质
CN112507934A (zh) 活体检测方法、装置、电子设备及存储介质
CN112052850A (zh) 车牌识别方法、装置、电子设备及存储介质
CN111695609A (zh) 目标物损伤程度判定方法、装置、电子设备及存储介质
CN113435335B (zh) 微观表情识别方法、装置、电子设备及存储介质
CN106778650A (zh) 基于多类型信息融合的场景自适应行人检测方法和系统
CN113033543A (zh) 曲形文本识别方法、装置、设备及介质
CN112528903B (zh) 人脸图像获取方法、装置、电子设备及介质
CN113705460A (zh) 图像中人脸睁眼闭眼检测方法、装置、设备及存储介质
CN112528908A (zh) 活体检测方法、装置、电子设备及存储介质
CN114708461A (zh) 基于多模态学习模型的分类方法、装置、设备及存储介质
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN115690615A (zh) 一种面向视频流的深度学习目标识别方法及系统
CN111814743A (zh) 笔迹识别方法、装置及计算机可读存储介质
CN109508714B (zh) 一种低成本多通道实时数字仪表盘视觉识别方法及系统
CN113420684A (zh) 基于特征提取的报表识别方法、装置、电子设备及介质
CN112329666A (zh) 人脸识别方法、装置、电子设备及存储介质
CN112507903A (zh) 假脸检测方法、装置、电子设备及计算机可读存储介质
CN113591433A (zh) 一种文本排版方法、装置、存储介质及计算机设备
CN114463685B (zh) 行为识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant