CN110222565A - 一种人脸检测方法、装置、电子设备及存储介质 - Google Patents

一种人脸检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110222565A
CN110222565A CN201910346118.2A CN201910346118A CN110222565A CN 110222565 A CN110222565 A CN 110222565A CN 201910346118 A CN201910346118 A CN 201910346118A CN 110222565 A CN110222565 A CN 110222565A
Authority
CN
China
Prior art keywords
face
key point
network
candidate frame
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910346118.2A
Other languages
English (en)
Inventor
王鹏
孙锐
阚俊松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HEFEI JINYI SCIENCE AND TECHNOLOGY Co Ltd
Original Assignee
HEFEI JINYI SCIENCE AND TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HEFEI JINYI SCIENCE AND TECHNOLOGY Co Ltd filed Critical HEFEI JINYI SCIENCE AND TECHNOLOGY Co Ltd
Priority to CN201910346118.2A priority Critical patent/CN110222565A/zh
Publication of CN110222565A publication Critical patent/CN110222565A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸检测方法、装置、电子设备及存储介质，涉及智能视频监控技术领域；其中，该方法包括：将采集到的视频流输入至预构建过的图像金字塔，生成不同尺度的缩略图；将不同尺度的缩略图输入至预训练过的级联渐进网络；当级联渐进网络根据缩略图判断视频流中存在人脸，则生成第一人脸候选框和第一人脸关键点；使用人脸关键点检测网络对第一人脸候选框进行处理，生成第二人脸关键点；根据第一人脸关键点与第二人脸关键点，生成人脸关键点光流映射；根据人脸关键点光流映射对视频流中的人脸进行校正。本申请在提高人脸检测的效率的同时，还对检测到的人脸进行校正，保证人脸检测的准确性。

Description

一种人脸检测方法、装置、电子设备及存储介质
技术领域
本发明涉及智能视频监控技术领域，具体涉及一种人脸检测方法、装置、电子设备及存储介质。
背景技术
人脸检测是自动人脸识别系统中的一个关键环节，随着视频监控在城市空间的快速普及，公安部门采集了海量无约束开放环境下的视频，视频流中的人脸检测存在尺度变化、局部遮挡、运动模糊以及光照变化等复杂问题，人脸检测的好坏会影响整个人脸识别系统性能和效率；其应用背景已经远远超过了人脸识别系统的范畴，在基于内容的检索、数字视频处理、视频检测等方面有着重要的应用价值。但是由于处理速度、视角、光照和尺度变化，使得人脸检测依然存在很多挑战，其中关于人脸旋转问题存在旋转人脸数据集不足，网络高度复杂的问题。
目前解决人脸旋转不变性的常见方式有以下几种方式，第一种是通过高度复杂网络学习旋转不变特征；第二种是对样本进行划分，训练多个模型；第三种是首先对人脸进行初步定位后，再调整候选框位置；但是这三种方式并没有很好的解决视频中旋转不变性的人脸检测问题，同时存在处理速度较慢、缺乏时间一致性等缺点；而且现有技术中，如果人脸一旦发生短暂扭曲或发生遮挡，就会导致检测失败，检测效率较低。因此，设计一种能够克服现有技术缺点的人脸检测方法迫在眉睫。
发明内容
本发明旨在提供一种人脸检测方法、装置、电子设备及存储介质，其能够克服现有技术的缺陷。本发明的发明目的通过以下技术方案得以实现：
本申请实施例的第一方面提供了一种人脸检测方法，所述方法包括：
将采集到的视频流输入至预构建过的图像金字塔，生成不同尺度的缩略图；
将所述不同尺度的缩略图输入至预训练过的级联渐进网络；
当所述级联渐进网络根据所述缩略图判断视频流中存在人脸，则生成第一人脸候选框和第一人脸关键点；
使用人脸关键点检测网络对所述第一人脸候选框进行处理，生成第二人脸关键点；
根据所述第一人脸关键点与所述第二人脸关键点，生成人脸关键点光流映射；
根据所述人脸关键点光流映射对所述视频流中的人脸进行校正。
在一些实施例中，所述还包括构建图像金字塔，具体包括：获取不同比例的人脸图像图像作为训练样本；对所述训练样本进行高斯平滑处理后，经亚采样处理获取所述训练样本不同尺度的缩略图。
在一些实施例中，所述预训练过的级联渐进网络包括第一级级联渐进网络、第二级级联渐进网络和第三级级联渐进网络；
当所述级联渐进网络根据所述缩略图判断视频流中存在人脸，则生成第一人脸候选框和第一人脸关键点具体包括：
当所述第一级级联渐进网络根据所述缩略图判断视频流中存在人脸，则生成初始人脸候选框及人脸候选框回归向量；
将所述初始人脸候选框及所述人脸候选框回归向量输入至所述第二级级联渐进网络，生成第一人脸候选框；
将所述第一人脸候选框输入至所述第三级级联渐进网络，生成第一人脸关键点。
在一些实施例中，所述方法还包括训练级联渐进网络，具体包括：从公开的数据集中采集人脸样本数据、非人脸样本数据及人脸关键点数据，并进行相应标注；根据被标注的人脸样本数据、非人脸样本数据及人脸关键点数据分级训练级联渐进网络，得到所述级联渐进网络。
本申请实施例的第二方面提供了一种人脸检测装置，所述装置包括：
采集模块，用于采集视频流；
缩略图生成模块，将所述采集模块采集到的视频流输入至预构建过的图像金字塔，生成不同尺度的缩略图；
输入模块，用于将所述缩略图生成模块生成的不同尺度的缩略图输入至预训练过的级联渐进网络；
第一生成模块，用于当所述级联渐进网络根据所述缩略图判断视频流中存在人脸，则生成第一人脸候选框和第一人脸关键点；
第二生成模块，用于使用人脸关键点检测网络对所述第一生成模块生成的第一人脸候选框进行处理，生成第二人脸关键点；
第三生成模块，用于根据所述第一生成模块生成的第一人脸关键点和所述第二生成模块生成的所述第二人脸关键点，生成人脸关键点光流映射；
校正模块，用于根据所述第三生成模块生成的人脸关键点光流映射对所述视频流中的人脸进行校正。
在一些实施例中，所述装置还包括：构建图像金字塔模块；
所述构建金字塔模块具体用于，获取不同比例的人脸图像图像作为训练样本；对所述训练样本进行高斯平滑处理后，经亚采样处理获取所述训练样本不同尺度的缩略图。
在一些实施例中，所述第一生成模块包括第一生成子模块、第二生成子模块和第三生成子模块；所述第一生成模块中预训练过的级联渐进网络包括第一级级联渐进网络、第二级级联渐进网络和第三级级联渐进网络；
所述第一生成子模块，用于所述第一级级联渐进网络根据所述缩略图判断视频流中存在人脸，则生成初始人脸候选框及人脸候选框回归向量；
所述第二生成子模块，用于将所述初始人脸候选框及所述人脸候选框回归向量输入至所述第二级级联渐进网络，生成第一人脸候选框；
所述第三生成子模块，用于将所述第一人脸候选框输入至所述第三级级联渐进网络，生成第一人脸关键点。
在一些实施例中，所述装置还包括训练模块；所述训练模块具体包括：样本数据采集子模块和训练子模块；
所述样本数据采集子模块，用于从公开的数据集中采集人脸样本数据、非人脸样本数据及人脸关键点数据，并进行相应标注；
所述训练子模块，用于根据所述样本数据采集子模块标注过的人脸样本数据、非人脸样本数据及人脸关键点数据分级训练级联渐进网络，得到所述级联渐进网络。
本申请实施例的第三方面提供了一种电子设备，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前述各实施例所述的方法。
本申请实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的方法。
本发明所达到的有益效果：本申请公开的技术方案在使用级联渐进网络进行人脸检测的基础上，使用独立的人脸关键点检测网络加快人脸检测速度，同时利用光流映射对人脸进行校正；在提高人脸检测的效率的同时，还对人脸进行校正，保证人脸检测的准确性。
附图说明
为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请的一些实施例所示的一种人脸检测方法的流程示意图；
图2是根据本申请的一些实施例所示的一种人脸检测装置的模块结构框图；
图3是根据本申请的一些实施例所示的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，高度复杂人脸检测网络一般以通用框架为主，主要分为三类：FasterR-CNN、SSD、YOLO；这种高度复杂网络对比传统方法在准确性上有较高的优势，但并没有很好的针对人脸旋转问题，常见的旋转不变性人脸检测还是以传统方法为主；通用检测人脸网络虽然能使得检测效果得到提高，但是单纯运用较深的网络会使处理速度较慢，同时缺乏时间一致性；通用网络进行级联的方式虽然可以加快检测速度，但在视频流中进行人脸检测缺少一种方法来保存面部信息，不仅可能出现人脸候选框的跳变，而且如果一个面部短暂扭曲或发生遮挡，以至检测突然失败。
本申请一个实施例提供了一种人脸检测方法，如图1所示；具体地，将级联渐进网络和光流映射加入人脸检测过程可以很好的解决上述问题；其中，光流是指平面上，光照模式的变化情况，是指视频图像中各点像素随时间的运动情况；光流包含了目标的运动信息，通常是从相邻视频帧中，估计出第一张图像中各个像素点在相邻图像中的位置，可被观察者用来确定目标的运动情况，因而在运动估计、自动驾驶和行为识别方面都有广泛应用。引入光流深度网络能更好的学习视频流中的运动信息。
步骤101、采集视频流；
步骤102、将采集到的视频流输入至预构建好的图像金字塔，生成不同尺度的缩略图；
在本实施例中，步骤102之前还需构建图像金字塔；
具体地，获取不同比例的人脸图像作为训练样本，对训练样本进行高斯平滑处理后，再借助亚采样获取训练样本不同尺度的缩略图；
更具体地，假设视频流当前帧J0分辨率大小为M×N，金字塔第l层是由l-1层图像Jl-1经高斯窗口函数W卷积和向下采样得到的，获取图像金字塔公式如下：
其中0≤i＜M/2l,0≤j＜N/2l,0≤l≤t，t为分解层数，W大小为(2s+1)×(2s+1)。
步骤103、将所述不同尺度的缩略图输入至预训练过的级联渐进网络；
在本实施例中，步骤103之前还包括：获取人脸、非人脸样本图像及人脸关键点数据，对级联渐进网络进行训练；具体过程如下所示：
步骤A1、从公开的数据集中获取人脸样本数据、非人脸样本数据及人脸关键点数据，并对人脸样本数据、非人脸样本数据进行相应标注；
本实施例中公开的数据集中包括大量视频图像，从视频图像中获取人脸、非人脸样本图像及人脸关键点数据；具体地，通过在视频图像上标注人脸边界框的坐标信息，获取实际人脸边界框的坐标信息；同时，在视频图像上用随机框选取一定区域并标注对应随机框的坐标信息，根据随机框的坐标信息与实际人脸边界框的坐标信息获取随机框与实际人脸边界框的重叠区域，根据重叠区域的比例大小决定人脸、非人脸样本数据的划分；
进一步地，人脸样本数据包括人脸正样本数据和部分人脸样本数据；具体地，当重叠区域的比例大于阈值a时，随机框选取的区域为人脸样本数据中的人脸正样本数据；当重叠区域的比例小于阈值b时，随机框选取的区域为非人脸样本数据；当重叠区域的比例在阈值a至阈值b之间时，随机框选取的区域为人脸样本数据中的部分人脸样本数据；
还需要说明的是，人脸正样本数据和非人脸样本数据用于人脸与非人脸的分类任务，人脸正样本数据与部分人脸样本数据用于人脸边界框的回归任务；
步骤A2、根据标注过的人脸样本数据、非人脸样本数据及人脸关键点数据训练级联渐进网络；
在本实施例中，步骤A2具体包括：
步骤A2-1、对第一级级联渐进网络进行训练，进行人脸分类并生成初始人脸候选框及人脸候选框回归向量；
具体地，将步骤A1中标注过的人脸样本数据、非人脸样本数据输入至人脸分类的交叉熵损失函数进行训练学习；其中，人脸分类的交叉熵损失函数具体如下式所示，
其中，pi是人脸的概率，为背景的真实标签。
人脸候选框回归方程为：
还需说明的是，标注过的人脸样本数据、非人脸样本数据作为输入源采用如下所示的训练式进行训练：
其中，第一级级联渐进网络与第二级级联渐进网络中αdet均设置为1，αbox为0.5。级联渐进网络的整个训练过程就是上式函数最小化的过程，其中αj表示任务重要性，βi j为样本标签，为人脸分类的交叉熵损失函数。
还需要说明的是，使用人脸候选框回归的方法来校正一些人脸候选窗，使用非极大值抑制合并重叠的人脸候选框。
步骤A2-2、根据第一级级联渐进网络生成的人脸候选框及人脸候选框回归向量进行第二级级联渐进网络训练，进行的人脸候选框的除燥，输出最终人脸候选框；
具体地，在本实施例中，将第一级级联渐进网络生成的人脸候选框输入至第二级级联渐进网络训练，筛选并去掉错误的人脸候选框，继续使用非极大值抑制合并，获取除燥后的人脸候选框，输出最终人脸候选框；
步骤A2-3、进行第三级级联渐进网络训练，输出人脸关键点；
在本实施例中，将第一级级联渐进网络生成的人脸候选框回归向量、第二级级联渐进网络生成的最终人脸候选框以及采集到的人脸关键点数据作为输入源输入至第三级级联渐进网络训练，和人脸关键点。
具体地，人脸关键点包括5个特征点位置；
其中，通过欧式距离计算的回归损失来进行关键点定位：
其中，为通过网络预测得到，为实际的真实标签。y是左上角x、左上角y、长、宽四个元素(参数)所组成。计算网络预测的地标位置和真实地标的欧式距离，并将其最小化；
需要说明的是，在进行第三级级联渐进网络训练时，输入源的训练公式如下所示：
其中，αdet设置为1，αbox为0.5，αlandmark为1。
还需要说明的是，由于人脸特征点占图像比例较小，虽然最大池化操作能减小输入大小，使神经网络能专注于重要元素，但是容易导致人脸特征点的信息损失；第三级级联渐进网络做了相应改进，不仅取消了最大池化，同时网络将输出五个面部特征位置。
步骤104、如果所述训练好的级联渐进网络根据所述不同尺度的缩略图判断视频流中存在人脸，则生成所述视频流中第一人脸候选框和第一人脸关键点；
在本实施例中，步骤104具体包括：
步骤104-1、将不同尺度的缩略图输入至第一级级联渐进网络，判断是否存在人脸，如果存在人脸，则生成初始人脸候选框及人脸候选框回归向量；
步骤104-2、将所述初始人脸候选框及所述人脸候选框回归向量输入至第二级级联渐进网络，生成第一人脸候选框；
步骤104-3、将所述第一人脸候选框输入至第三级级联渐进网络，生成第一人脸关键点。
在本实施例中，步骤104之前还包括：所述训练好的级联渐进网络根据所述不同尺度的缩略图判断视频流中是否存在人脸，如果存在人脸，则生成所述视频流中第一人脸候选框和第一人脸关键点；如果不存在人脸，则输出无人脸。
步骤105、使用人脸关键点检测网络对所述第一人脸候选框进行处理，生成所述视频流中第二人脸关键点；
在本实施例中，为了加速对视频流中的视频帧的处理，使用单独的人脸关键点检测网络对所述级联渐进网络产生的第一人脸候选框进行处理，生成第二人脸关键点；
需要说明的是，本实施例中，对于视频流的处理是以视频帧为单位进行的，即一个视频帧处理完，再处理第二个视频帧；对视频流进行实际处理的过程中，可以将正在检测的当前帧视频图像作为第二视频帧，以当前视频帧之前的一帧视频图像作为第一视频帧；其中，一个视频帧会生成3张不同尺度的缩略图。
具体地，所述级联渐进网络对视频流中的第一视频帧进行人脸候选框及人脸关键点的定位，生成第一视频帧人脸候选框和第一视频帧人脸关键点位置；根据所述第一视频帧人脸候选框获取第二视频帧人脸候选框，使用人脸关键点检测网络对所述第二视频帧人脸候选框进行人脸关键点的定位，生成第二视频帧人脸关键点位置，即第二人脸关键点位置；实质上，第一视频帧人脸候选框与第二人视频帧人脸候选框基本相同。
步骤106、根据所述第一人脸关键点与所述第二人脸关键点，生成人脸关键点光流映射；
在本实施例中，光流映射可以有效的检测到人脸位置的变化；光流映射主要基于变分能量模型的优化算法，给视频图像中每个像素赋予一个速度矢量，形成一个运动矢量场；根据每个像素的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动的人脸时，目标与背景存在相对运动。人脸位置移动所形成的速度矢量必然和背景的速度矢量有所不同，为此便可以计算出人脸的位置变化，从而校正人脸。而通过神经网络的学习能力，使用光流深度网络来进行光流的提取，从而更好的利用视频中的运动信息。
步骤107、根据所述人脸关键点光流映射对视频流中的人脸进行校正。
在本实施例中，级联渐进网络由于关键点的位置对人脸候选框的校正有直接影响。通用网络框架由于没有考虑到时间信息，产生的人脸边界框不稳定。尽管脸部不发生移动，边界框的大小和位置也会有变化，有时会因此丢失一些中间帧的跟踪。我们引入光流深度网络，使用光流映射来保存人脸以及先前计算的信息,从而减少因面部短暂扭曲或遮挡时而产生的检测失败。为了让校正结果更加准确，一方面将人脸关键定位任务进行分离并去除了部分网络的最大池化以提高人脸关键点定位精度。将级联渐进网络与光流深度网络结合能有效解决平面内旋转人脸检测问题，算法检测速度有较大优势，同时视频中窗口抖动问题得到了很好解决。
本申请一个实施例还提供了一种人脸检测装置200；具体地，人脸检测装置200如图2所示；
采集模块201，用于采集视频流；
缩略图生成模块202，将所述采集模块201采集到的视频流输入至预构建过的图像金字塔，生成不同尺度的缩略图；
输入模块203，用于将所述缩略图生成模块202生成的不同尺度的缩略图输入至预训练过的级联渐进网络；
第一生成模块204，用于当所述级联渐进网络根据所述缩略图判断视频流中存在人脸，则生成第一人脸候选框和第一人脸关键点；
第二生成模块205，用于使用人脸关键点检测网络对所述第一生成模块204生成的第一人脸候选框进行处理，生成第二人脸关键点；
第三生成模块206，用于根据所述第一生成模块204生成的第一人脸关键点和所述第二生成模块205生成的所述第二人脸关键点，生成人脸关键点光流映射；
校正模块207，用于根据所述第三生成模块206生成的人脸关键点光流映射对所述视频流中的人脸进行校正。
在一些实施例中，所述装置还包括：构建图像金字塔模块；
所述构建金字塔模块具体用于，获取不同比例的人脸图像图像作为训练样本；对所述训练样本进行高斯平滑处理后，经亚采样处理获取所述训练样本不同尺度的缩略图。
在一些实施例中，所述第一生成模块204包括第一生成子模块、第二生成子模块和第三生成子模块；所述第一生成模块204中预训练过的级联渐进网络包括第一级级联渐进网络、第二级级联渐进网络和第三级级联渐进网络；
所述第一生成子模块，用于所述第一级级联渐进网络根据所述缩略图判断视频流中存在人脸，则生成初始人脸候选框及人脸候选框回归向量；
所述第二生成子模块，用于将所述初始人脸候选框及所述人脸候选框回归向量输入至所述第二级级联渐进网络，生成第一人脸候选框；
所述第三生成子模块，用于将所述第一人脸候选框输入至所述第三级级联渐进网络，生成第一人脸关键点。
在一些实施例中，所述装置还包括训练模块；所述训练模块具体包括：样本数据采集子模块和训练子模块；
所述样本数据采集子模块，用于从公开的数据集中采集人脸样本数据、非人脸样本数据及人脸关键点数据，并进行相应标注；
所述训练子模块，用于根据所述样本数据采集子模块标注过的人脸样本数据、非人脸样本数据及人脸关键点数据分级训练级联渐进网络，得到所述预训练过的级联渐进网络。
本申请一个实施例提供了电子设备，如图3所示，该电子设备300包括：
存储器330以及一个或多个处理器310；
其中，所述存储器330与所述一个或多个处理器310通信连接，所述存储器330中存储有可被所述一个或多个处理器执行的指令332，所述指令332被所述一个或多个处理器310执行，以使所述一个或多个处理器310执行本申请前述实施例中的方法。
具体地，处理器310和存储器330可以通过总线或者其他方式连接，图3中以通过总线340连接为例。处理器310可以为中央处理器(Central Processing Unit，CPU)。处理器310还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器330作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的级联渐进网络等。处理器310通过运行存储在存储器330中的非暂态软件程序、指令以及模块332，从而执行处理器的各种功能应用以及数据处理。
存储器330可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器310所创建的数据等。此外，存储器330可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器330可选包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络(比如通过通信接口320)连接至处理器310。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请的一个实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被执行后执行本申请前述实施例中的方法。
前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可移动介质。计算机可读取存储介质具体包括，但不限于，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。
尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的，但本领域技术人员可以认识到，还可结合其他类型的程序模块来执行其他实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解，此处所述的本主题可以使用其他计算机系统配置来实践，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等，也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备的两者中。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
综上所述，通过本实施例公开的技术方案，不仅使用级联渐进网络进行人脸检测，同时使用独立的人脸关键点检测网络加快人脸检测速度，还利用光流映射对人脸进行校正，在提高人脸检测的效率的同时，还对检测到的人脸进行校正，保证人脸检测的准确性。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种人脸检测方法，其特征在于，所述方法包括：
将采集到的视频流输入至预构建过的图像金字塔，生成不同尺度的缩略图；
将所述不同尺度的缩略图输入至预训练过的级联渐进网络；
当所述级联渐进网络根据所述缩略图判断所述视频流中存在人脸，则生成第一人脸候选框和第一人脸关键点；
使用人脸关键点检测网络对所述第一人脸候选框进行处理，生成第二人脸关键点；
根据所述第一人脸关键点与所述第二人脸关键点，生成人脸关键点光流映射；
根据所述人脸关键点光流映射对所述视频流中的人脸进行校正。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括构建图像金字塔，具体包括：获取不同比例的人脸图像图像作为训练样本；对所述训练样本进行高斯平滑处理后，经亚采样处理获取所述训练样本不同尺度的缩略图。
3.根据权利要求1所述的方法，其特征在于，所述预训练过的级联渐进网络包括第一级级联渐进网络、第二级级联渐进网络和第三级级联渐进网络；
当所述级联渐进网络根据所述缩略图判断视频流中存在人脸，则生成第一人脸候选框和第一人脸关键点具体包括：
当所述第一级级联渐进网络根据所述缩略图判断视频流中存在人脸，则生成初始人脸候选框及人脸候选框回归向量；
将所述初始人脸候选框及所述人脸候选框回归向量输入至所述第二级级联渐进网络，生成第一人脸候选框；
将所述第一人脸候选框输入至所述第三级级联渐进网络，生成第一人脸关键点。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括训练级联渐进网络，具体包括：从公开的数据集中采集人脸样本数据、非人脸样本数据及人脸关键点数据，并进行相应标注；根据被标注的人脸样本数据、非人脸样本数据及人脸关键点数据分级训练级联渐进网络，得到所述级联渐进网络。
5.一种人脸检测装置，其特征在于，所述装置包括：
采集模块，用于采集视频流；
缩略图生成模块，将所述采集模块采集到的视频流输入至预构建过的图像金字塔，生成不同尺度的缩略图；
输入模块，用于将所述缩略图生成模块生成的不同尺度的缩略图输入至预训练过的级联渐进网络；
第一生成模块，用于当所述级联渐进网络根据所述缩略图判断视频流中存在人脸，则生成第一人脸候选框和第一人脸关键点；
第二生成模块，用于使用人脸关键点检测网络对所述第一生成模块生成的第一人脸候选框进行处理，生成第二人脸关键点；
第三生成模块，用于根据所述第一生成模块生成的第一人脸关键点和所述第二生成模块生成的所述第二人脸关键点，生成人脸关键点光流映射；
校正模块，用于根据所述第三生成模块生成的人脸关键点光流映射对所述视频流中的人脸进行校正。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：构建图像金字塔模块；
所述构建金字塔模块具体用于，获取不同比例的人脸图像图像作为训练样本；对所述训练样本进行高斯平滑处理后，经亚采样处理获取所述训练样本不同尺度的缩略图。
7.根据权利要求5所述的装置，其特征在于，所述第一生成模块包括第一生成子模块、第二生成子模块和第三生成子模块；所述第一生成模块中预训练过的级联渐进网络包括第一级级联渐进网络、第二级级联渐进网络和第三级级联渐进网络；
所述第一生成子模块，用于所述第一级级联渐进网络根据所述缩略图判断视频流中存在人脸，则生成初始人脸候选框及人脸候选框回归向量；
所述第二生成子模块，用于将所述初始人脸候选框及所述人脸候选框回归向量输入至所述第二级级联渐进网络，生成第一人脸候选框；
所述第三生成子模块，用于将所述第一人脸候选框输入至所述第三级级联渐进网络，生成第一人脸关键点。
8.根据权利要求5所述的装置，其特征在于，所述装置还包括训练模块；所述训练模块具体包括：样本数据采集子模块和训练子模块；
所述样本数据采集子模块，用于从公开的数据集中采集人脸样本数据、非人脸样本数据及人脸关键点数据，并进行相应标注；
所述训练子模块，用于根据所述样本数据采集子模块标注过的人脸样本数据、非人脸样本数据及人脸关键点数据分级训练级联渐进网络，得到所述级联渐进网络。
9.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如权利要求1-4任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如权利要求1-4任一项所述的方法。
CN201910346118.2A 2019-04-26 2019-04-26 一种人脸检测方法、装置、电子设备及存储介质 Pending CN110222565A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910346118.2A CN110222565A (zh) 2019-04-26 2019-04-26 一种人脸检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910346118.2A CN110222565A (zh) 2019-04-26 2019-04-26 一种人脸检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110222565A true CN110222565A (zh) 2019-09-10

Family

ID=67820087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910346118.2A Pending CN110222565A (zh) 2019-04-26 2019-04-26 一种人脸检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110222565A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866500A (zh) * 2019-11-19 2020-03-06 上海眼控科技股份有限公司 人脸检测对齐系统、方法、装置、平台、移动终端和存储介质
CN111063011A (zh) * 2019-12-16 2020-04-24 北京蜜莱坞网络科技有限公司 一种人脸图像处理方法、装置、设备和介质
CN111428657A (zh) * 2020-03-27 2020-07-17 杭州趣维科技有限公司 一种实时旋转不变的人脸关键点检测方法
CN113487646A (zh) * 2021-07-22 2021-10-08 合肥英睿系统技术有限公司 一种运动目标检测方法、装置、设备及存储介质
CN114418901A (zh) * 2022-03-30 2022-04-29 江西中业智能科技有限公司 基于Retinaface算法的图像美颜处理方法、系统、存储介质及设备
WO2022213761A1 (zh) * 2021-04-08 2022-10-13 腾讯科技（深圳）有限公司 一种图像处理方法、装置、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160148079A1 (en) * 2014-11-21 2016-05-26 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
CN105981041A (zh) * 2014-05-29 2016-09-28 北京旷视科技有限公司 使用粗到细级联神经网络的面部关键点定位
US20170147905A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc Systems and methods for end-to-end object detection
CN107239736A (zh) * 2017-04-28 2017-10-10 北京智慧眼科技股份有限公司 基于多任务级联卷积神经网络的人脸检测方法及检测装置
CN107967456A (zh) * 2017-11-27 2018-04-27 电子科技大学 一种基于人脸关键点的多神经网络级联识别人脸方法
CN108345832A (zh) * 2017-12-28 2018-07-31 新智数字科技有限公司 一种人脸检测的方法、装置及设备
CN108550130A (zh) * 2018-04-23 2018-09-18 南京邮电大学 一种图像金字塔模型的多尺度透射图融合方法
CN108564029A (zh) * 2018-04-12 2018-09-21 厦门大学 基于级联多任务学习深度神经网络的人脸属性识别方法
CN108830262A (zh) * 2018-07-25 2018-11-16 上海电力学院 自然状态下多角度人脸表情识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105981041A (zh) * 2014-05-29 2016-09-28 北京旷视科技有限公司 使用粗到细级联神经网络的面部关键点定位
US20160148079A1 (en) * 2014-11-21 2016-05-26 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US20170147905A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc Systems and methods for end-to-end object detection
CN107239736A (zh) * 2017-04-28 2017-10-10 北京智慧眼科技股份有限公司 基于多任务级联卷积神经网络的人脸检测方法及检测装置
CN107967456A (zh) * 2017-11-27 2018-04-27 电子科技大学 一种基于人脸关键点的多神经网络级联识别人脸方法
CN108345832A (zh) * 2017-12-28 2018-07-31 新智数字科技有限公司 一种人脸检测的方法、装置及设备
CN108564029A (zh) * 2018-04-12 2018-09-21 厦门大学 基于级联多任务学习深度神经网络的人脸属性识别方法
CN108550130A (zh) * 2018-04-23 2018-09-18 南京邮电大学 一种图像金字塔模型的多尺度透射图融合方法
CN108830262A (zh) * 2018-07-25 2018-11-16 上海电力学院 自然状态下多角度人脸表情识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
YOSHUA BENGIO ET AL.: "《deep learning》", 3 October 2015 *
张学: "视频中多姿态人脸的特征点定位研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
徐光柱等: "《实用性目标检测与跟踪算法原理与应用》", 30 June 2015 *
贾瑞明等: "基于卷积神经网络的交通灯识别", 《北方工业大学学报》 *
高培贤等: "针对图像隐写分析的卷积神经网络结构设计", 《中国科技论文》 *
魏立线等: "基于卷积神经网络的图像隐写分析方法", 《计算机应用研究》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866500A (zh) * 2019-11-19 2020-03-06 上海眼控科技股份有限公司 人脸检测对齐系统、方法、装置、平台、移动终端和存储介质
CN111063011A (zh) * 2019-12-16 2020-04-24 北京蜜莱坞网络科技有限公司 一种人脸图像处理方法、装置、设备和介质
CN111063011B (zh) * 2019-12-16 2023-06-23 北京蜜莱坞网络科技有限公司 一种人脸图像处理方法、装置、设备和介质
CN111428657A (zh) * 2020-03-27 2020-07-17 杭州趣维科技有限公司 一种实时旋转不变的人脸关键点检测方法
WO2022213761A1 (zh) * 2021-04-08 2022-10-13 腾讯科技（深圳）有限公司 一种图像处理方法、装置、电子设备和存储介质
CN113487646A (zh) * 2021-07-22 2021-10-08 合肥英睿系统技术有限公司 一种运动目标检测方法、装置、设备及存储介质
CN114418901A (zh) * 2022-03-30 2022-04-29 江西中业智能科技有限公司 基于Retinaface算法的图像美颜处理方法、系统、存储介质及设备

Similar Documents

Publication Publication Date Title
CN110222565A (zh) 一种人脸检测方法、装置、电子设备及存储介质
Hu et al. Direction-aware spatial context features for shadow detection
Noh et al. Improving occlusion and hard negative handling for single-stage pedestrian detectors
Mariano et al. Performance evaluation of object detection algorithms
US20200410212A1 (en) Fast side-face interference resistant face detection method
CN107480730A (zh) 电力设备识别模型构建方法和系统、电力设备的识别方法
Aytekin et al. Automatic object segmentation by quantum cuts
Ventura et al. Iterative deep learning for road topology extraction
Xie et al. Fewer is more: Efficient object detection in large aerial images
CN108664838A (zh) 基于改进rpn深度网络的端到端的监控场景行人检测方法
CN104346802A (zh) 一种人员离岗监控方法及设备
CN109697441A (zh) 一种目标检测方法、装置及计算机设备
CN103955950B (zh) 一种利用关键点特征匹配的图像跟踪方法
CN108986152A (zh) 一种基于差分图像的异物检测方法及装置
Zhou et al. TS4Net: Two-stage sample selective strategy for rotating object detection
Neuhausen et al. Automatic window detection in facade images
Sun et al. Salience biased loss for object detection in aerial images
Ma et al. Location-aware box reasoning for anchor-based single-shot object detection
CN109544516A (zh) 图像检测方法及装置
Yang et al. Building detection in high spatial resolution remote sensing imagery with the U-Rotation Detection Network
CN109558790A (zh) 一种行人目标检测方法、装置及系统
Guan et al. EARL: an elliptical distribution aided adaptive rotation label assignment for oriented object detection in remote sensing images
Wu et al. Bounding box projection for regression uncertainty in oriented object detection
Chen et al. Alfpn: adaptive learning feature pyramid network for small object detection
Cuevas et al. Identification of river hydromorphological features using Viola-Jones Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190910

RJ01 Rejection of invention patent application after publication