CN109800704B - 抓拍视频人脸检测的方法及装置 - Google Patents

Abstract

本发明公开了一种抓拍视频人脸检测的方法及装置，其中，该方法包括：利用SSD神经网络检测出视频帧序列中的人脸图片；对人脸图片进行关键点检测，得到人脸关键点；确定人脸检测是否有蒙脸检测请求；如果人脸检测没有蒙脸检测请求，则进行人脸关键点过滤处理，保留并输出存在人脸关键点的人脸图片；如果人脸检测有蒙脸检测请求，则进行人脸图片帧过滤处理，保留并输出同一人脸出现的第三帧及第三帧以上的人脸图片。本发明的技术方案能够降低对视频人脸检测的误检。

Description

抓拍视频人脸检测的方法及装置

技术领域

本发明涉及视频处理技术领域，尤其涉及一种抓拍视频人脸检测的方法、装置、终端及可读存储介质。

背景技术

在监控或抓拍视频中，通常采用开源的深度学习网络SSD进行人脸检测，并从视频帧序列的图像中抠出人脸图片。在实际的人脸检测中，由于存在各种因素，利用上述方式检测人脸碰到误检较多的问题，检出的图片中很多都不是人脸，有些场景误检率甚至高达20％，严重影响了抠图图片效果。

有鉴于此，有必要提出对目前的人脸检测技术进行进一步的改进。

发明内容

为解决上述至少一技术问题，本发明的主要目的是提供一种抓拍视频人脸检测的方法、装置、终端及可读存储介质。

为实现上述目的，本发明采用的第一个技术方案为：提供一种抓拍视频人脸检测的方法，包括：

利用SSD神经网络检测出视频帧序列中的人脸图片；

对人脸图片进行关键点检测，得到人脸关键点；

确定人脸检测是否有蒙脸检测请求；

如果人脸检测没有蒙脸检测请求，则进行人脸关键点过滤处理，保留并输出存在人脸关键点的人脸图片；

如果人脸检测有蒙脸检测请求，则进行人脸图片帧过滤处理，保留并输出同一人脸出现的第三帧及第三帧以上的人脸图片。

其中，所述利用SSD神经网络检测出视频帧序列中的人脸图片，包括：

初始化NNIE神经网络加速引擎；

在视频原图数据拷贝至NNIE神经网络加速引擎后，利用SSD神经网络对视频原图中的人脸进行检测并输出人脸框坐标；

对输出的人脸框坐标进行去重处理。

其中，所述对人脸图片进行关键点检测，得到人脸关键点，包括：

根据人脸框坐标从视频原图数据中抠出人脸图片；

将人脸图片填充成正方形图片，且人脸图片位于正方形图片中间；

将填充后的人脸图片缩小到预设的分辨率；

将缩小后的人脸图片输入NNIE神经网络加速引擎进行关键点检测，得到人脸关键点坐标。

其中，所述人脸关键点包括左眼中心、右眼中心、鼻尖、左嘴角边及右嘴角边。

其中，所述进行人脸关键点过滤处理，保留并输出存在人脸关键点的人脸图片，包括：

确定人脸图片是否检测到人脸关键点；

如果人脸图片检测到有人脸关键点，则保留并输出存在人脸关键点的人脸图片；

如果人脸图片没有检测到人脸关键点，则该人脸图片为误检图片，并过滤误检图片。

其中，所述进行人脸图片帧过滤处理，保留并输出同一人脸出现的第三帧及第三帧以上的人脸图片，包括：

获取同一人脸id的连续多帧人脸图片；

过滤同一人脸id的第一帧及第二帧的人脸图片，并将同一人脸id的第三帧及第三帧以上的人脸图片作为目标人脸图片输出。

为实现上述目的，本发明采用的第二个技术方案为：提供一种抓拍视频人脸检测的装置，包括：

人脸检测模块，用于利用SSD神经网络检测出视频帧序列中的人脸图片；

关键点检测模块，用于对人脸图片进行关键点检测，得到人脸关键点；

确定模块，用于确定人脸检测是否有蒙脸检测请求；

关键点过滤模块，用于在人脸检测没有蒙脸检测请求时，进行人脸关键点过滤处理，保留并输出存在人脸关键点的人脸图片；

图片帧过滤模块，用于在人脸检测有蒙脸检测请求时，进行人脸图片帧过滤处理，保留并输出同一人脸出现的第三帧及第三帧以上的人脸图片。

为实现上述目的，本发明采用的第三个技术方案为：提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现上述方法的步骤。

为实现上述目的，本发明采用的第四个技术方案为：提供一种可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现上述的方法的步骤。

本发明的技术方案通过先利用SSD神经网络检测出视频帧序列中的人脸图片；然后对人脸图片进行关键点检测，得到人脸关键点；再确定人脸检测是否有蒙脸检测请求；如果人脸检测没有蒙脸检测请求，则进行人脸关键点过滤处理，保留并输出存在人脸关键点的人脸图片；如果人脸检测有蒙脸检测请求，则进行人脸图片帧过滤处理，保留并输出同一人脸出现的第三帧及第三帧以上的人脸图片，能够在有蒙脸请求时，采用人脸图片帧过滤处理，过滤误检人脸图片；在无蒙脸请求时，采用人脸关键点过滤处理，过滤误检人脸图片；能够降低对视频人脸检测的误检率。

附图说明

图1为本发明一实施例抓拍视频人脸检测的方法的方法流程图；

图2为本发明一实施例抓拍视频人脸检测的装置的模块方框图；

图3为本发明一实施例终端的内部结构图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

SSD(Single Shot MultiBox Detector)：是一种基于深度学习的物体检测网络。

NNIE：NNIE(Neural Netwrok Inference Engine),是海思hi3559芯片中专门针对神经网络特别是深度学习卷积神经网络进行加速处理的硬件单元。

请参照图1，图1为本发明一实施例抓拍视频人脸检测的方法的方法流程图。在本发明实施例中，该抓拍视频人脸检测的方法，包括：

步骤S10、利用SSD神经网络检测出视频帧序列中的人脸图片；

步骤S20、对人脸图片进行关键点检测，得到人脸关键点；

步骤S30、确定人脸图片是否有蒙脸检测请求；

步骤S40、如果人脸图片没有蒙脸检测请求，则进行人脸关键点过滤处理，保留并输出存在人脸关键点的人脸图片；

步骤S50、如果人脸图片有蒙脸检测请求，则进行人脸图片帧过滤处理，保留并输出第三帧及第三帧以上的人脸图片。

本实施例中，上述的视频帧序列是与海思hi3559芯片相连的摄像头所捕捉。视频帧序列使用NV21数据格式，视频分辨率为960*540。利用NNIE神经网络加速引擎支持SSD前半部分网络的实现检测出人脸；SSD神经网络后半部分priorbox层，softmax层，detectionoutput层用arm cpu实现。神经网络采用开源的神经网络，神经网络是CNN层，所以可以用NNIE来实现，在从视频原图检测到有人脸图片，对人脸图片的关键点检测。

然后确定人脸检测是否有蒙脸检测请求，在有蒙脸检测请求时采用人脸图片帧过滤算法，以过滤一闪而过的图片(就是某帧视频检测到了误检图片，而下一帧及以后就检测不到了，而正常的人脸则是一直都可以检测到)。在没有蒙脸检测请求时采用人脸关键点过滤处理，过滤掉无人脸关键点的人脸图片。

本发明的技术方案通过先利用SSD神经网络检测出视频帧序列中的人脸图片；然后对人脸图片进行关键点检测，得到人脸关键点；再确定人脸检测是否有蒙脸检测请求；如果人脸检测没有蒙脸检测请求，则进行人脸关键点过滤处理，保留并输出存在人脸关键点的人脸图片；如果人脸检测有蒙脸检测请求，则进行人脸图片帧过滤处理，保留并输出同一人脸出现的第三帧及第三帧以上的人脸图片，能够在有蒙脸检测请求时，采用人脸图片帧过滤算法，过滤误检人脸图片；在无蒙脸检测请求时，采用人脸关键点过滤处理，过滤误检人脸图片；能够降低对视频人脸检测的误检率。

在一具体的实施方式中，所述利用SSD神经网络检测出视频帧序列中的人脸图片，包括：

初始化NNIE神经网络加速引擎；

在视频原图数据拷贝至NNIE神经网络加速引擎后，利用SSD神经网络对视频原图中的人脸进行检测并输出人脸框坐标；

对输出的人脸框坐标进行去重处理。

本实施例中，视频原图数据的分辨率为960*540，视频原图数据通过内存拷贝至NNIE神经网络加速引擎，用SSD前半部分神经网络进行计算；用ssd前半部分的神经网络输出来分别计算priorbox层神经网络，softmax层神经网络，detectionoutput层神经网络，并进行nms非极大值抑制。输出人脸框坐标。将输出的人脸框坐标进行去重，对于重合的人脸框只用其中一个人脸框。

在一具体的实施方式中，所述对人脸图片进行关键点检测，得到人脸关键点，包括：

根据人脸框坐标从视频原图数据中抠出人脸图片；

将人脸图片填充成正方形图片，且人脸图片位于正方形图片中间；

将填充后的人脸图片缩小到预设的分辨率；

将缩小后的人脸图片输入NNIE神经网络加速引擎进行关键点检测，得到人脸关键点坐标。

本实施例中，人脸框坐标有4个，4个人脸框坐标可以围成长方形，人脸图片为长方形，然后将长方形人脸图片填充呈正方形，以居中填充方式，让人脸图片居中设置。而后将填充后的人脸图片缩小到预设的分辨率后，进行人脸关键点检测，得到人脸关键点坐标。

其中，所述人脸关键点包括左眼中心、右眼中心、鼻尖、左嘴角边及右嘴角边。

在一具体的实施方式中，所述进行人脸关键点过滤处理，保留并输出存在人脸关键点的人脸图片，包括：

确定人脸图片是否检测到人脸关键点；

如果人脸图片检测到有人脸关键点，则保留并输出存在人脸关键点的人脸图片；

如果人脸图片没有检测到人脸关键点，则该人脸图片为误检图片，并过滤误检图片。

本实施例中，进行人脸关键点过滤处理时，如果人脸图片检测到有人脸关键点，则表示该人脸图片检测成功，保留并输出人脸图片；如果人脸图片没有检测到人脸关键点，则表示该人脸图片为误检，过滤该人脸图片。

在一具体的实施方式中，所述进行人脸图片帧过滤处理，保留并输出同一人脸出现的第三帧及第三帧以上的人脸图片，包括：

获取同一人脸id的连续多帧人脸图片；

过滤同一人脸id的第一帧及第二帧的人脸图片，并将同一人脸id的第三帧及第三帧以上的人脸图片作为目标人脸图片输出。

本实施例中，进行人脸图片帧过滤处理时，为了过滤防止一闪而过的图片，直接过滤同一人脸id的第一帧及第二帧，并将同一人脸id的第三帧及第三帧以上的人脸图片作为目标人脸图片输出。

请参照图2，图2为本发明一实施例抓拍视频人脸检测的装置的模块方框图。本发明的实施例中，该抓拍视频人脸检测的装置，包括：

人脸检测模块10，用于利用SSD神经网络检测出视频帧序列中的人脸图片；

关键点检测模块20，用于对人脸图片进行关键点检测，得到人脸关键点；

确定模块30，用于确定人脸检测是否有蒙脸检测请求；

关键点过滤模块40，用于在人脸检测没有蒙脸检测请求时，进行人脸关键点过滤处理，保留并输出存在人脸关键点的人脸图片；

图片帧过滤模块50，用于在人脸检测有蒙脸检测请求时，进行人脸图片帧过滤处理，保留并输出同一人脸出现的第三帧及第三帧以上的人脸图片。

本实施例中，上述的视频帧序列是与hi3559芯片相连的摄像头所捕捉。视频帧序列使用NV21数据格式，视频分辨率为960*540。采用人脸检测模块10，利用NNIE神经网络加速引擎支持SSD前半部分网络的实现检测出人脸；SSD神经网络后半部分priorbox层，softmax层，detectionoutput层用arm cpu实现。神经网络采用开源的神经网络，神经网络是CNN层，可以用NNIE来实现，在从视频原图检测到有人脸图片，利用关键点检测模块20，对人脸图片的关键点检测。而后根据确定模块30，确定人脸检测是否有蒙脸检测请求。在有蒙脸检测请求时采用图片帧过滤模块50对人脸图片帧进行检测，以过滤一闪而过的图片(就是某帧视频检测到了误检图片，而下一帧及以后就检测不到了，而正常的人脸则是一直都可以检测到)。在没有蒙脸检测时利用关键点过滤模块40对人脸关键点进行过滤处理，过滤掉无人脸关键点的人脸图片。

请参照图3，图3为本发明一实施例终端的内部结构图。在一实施例中，该终端包括通过系统总线连接的处理器、存储器及网络接口。其中，该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、程序和数据库。该内存储器为非易失性存储介质中的操作系统和程序的运行提供环境。该终端的网络接口用于与外部的终端通过网络连接通信。该程序被处理器执行时以实现抓拍视频人脸检测的方法。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以上各个方法实施例中的步骤。

在一个实施例中，提供了一种可读存储介质，其上存储有程序，程序被处理器执行时实现以上各个方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过程序来指令相关的硬件来完成，所述的程序可存储于一非易失性可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (7)

1.一种抓拍视频人脸检测的方法，其特征在于，所述抓拍视频人脸检测的方法，包括：

利用SSD神经网络检测出视频帧序列中的人脸图片；

对人脸图片进行关键点检测，得到人脸关键点；

确定人脸检测是否有蒙脸检测请求；

如果人脸检测没有蒙脸检测请求，则进行人脸关键点过滤处理，保留并输出存在人脸关键点的人脸图片，具体包括：

确定人脸图片是否检测到人脸关键点；

如果人脸图片检测到有人脸关键点，则保留并输出存在人脸关键点的人脸图片；

如果人脸图片没有检测到人脸关键点，则该人脸图片为误检图片，并过滤误检图片；

如果人脸检测有蒙脸检测请求，则进行人脸图片帧过滤处理，保留并输出同一人脸出现的第三帧及第三帧以上的人脸图片，具体包括：

获取同一人脸id的连续多帧人脸图片；

过滤同一人脸id第一帧及第二帧的人脸图片，并将同一人脸id第三帧及第三帧以上的人脸图片作为目标人脸图片输出。

2.如权利要求1所述的抓拍视频人脸检测的方法，其特征在于，所述利用SSD神经网络检测出视频帧序列中的人脸图片，包括：

初始化NNIE神经网络加速引擎；

在视频原图数据拷贝至NNIE神经网络加速引擎后，利用SSD神经网络对视频原图中的人脸进行检测并输出人脸框坐标；

对输出的人脸框坐标进行去重处理。

3.如权利要求2所述的抓拍视频人脸检测的方法，其特征在于，所述对人脸图片进行关键点检测，得到人脸关键点，包括：

根据人脸框坐标从视频原图数据中抠出人脸图片；

将人脸图片填充成正方形图片，且人脸图片位于正方形图片中间；

将填充后的人脸图片缩小到预设的分辨率；

将缩小后的人脸图片输入NNIE神经网络加速引擎进行关键点检测，得到人脸关键点坐标。

4.如权利要求3所述的抓拍视频人脸检测的方法，其特征在于，所述人脸关键点包括左眼中心、右眼中心、鼻尖、左嘴角边及右嘴角边。

5.一种抓拍视频人脸检测的装置，其特征在于，所述抓拍视频人脸检测的装置，包括：

人脸检测模块，用于利用SSD神经网络检测出视频帧序列中的人脸图片；

关键点检测模块，用于对人脸图片进行关键点检测，得到人脸关键点；

确定模块，用于确定人脸检测是否有蒙脸检测请求；

关键点过滤模块，用于在人脸检测没有蒙脸检测请求时，进行人脸关键点过滤处理，保留并输出存在人脸关键点的人脸图片，具体的，确定人脸图片是否检测到人脸关键点；如果人脸图片检测到有人脸关键点，则保留并输出存在人脸关键点的人脸图片；如果人脸图片没有检测到人脸关键点，则该人脸图片为误检图片，并过滤误检图片；

图片帧过滤模块，用于在人脸检测有蒙脸检测请求时，进行人脸图片帧过滤处理，保留并输出同一人脸出现的第三帧及第三帧以上的人脸图片，具体的，获取同一人脸id的连续多帧人脸图片；过滤同一人脸id第一帧及第二帧的人脸图片，并将同一人脸id第三帧及第三帧以上的人脸图片作为目标人脸图片输出。

6.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4中任一项所述方法的步骤。

7.一种可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。

Images