CN112487852A - 嵌入式设备的人脸检测方法及装置、存储介质、终端 - Google Patents

嵌入式设备的人脸检测方法及装置、存储介质、终端 Download PDF

Info

Publication number
CN112487852A
CN112487852A CN201910865633.1A CN201910865633A CN112487852A CN 112487852 A CN112487852 A CN 112487852A CN 201910865633 A CN201910865633 A CN 201910865633A CN 112487852 A CN112487852 A CN 112487852A
Authority
CN
China
Prior art keywords
face
training
mobilenet
ssd
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910865633.1A
Other languages
English (en)
Inventor
达声蔚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qigan Electronic Information Technology Co ltd
Original Assignee
Shanghai Qigan Electronic Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qigan Electronic Information Technology Co ltd filed Critical Shanghai Qigan Electronic Information Technology Co ltd
Priority to CN201910865633.1A priority Critical patent/CN112487852A/zh
Publication of CN112487852A publication Critical patent/CN112487852A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种嵌入式设备的人脸检测方法及装置、存储介质、终端，所述人脸检测方法包括：确定MobileNet‑SSD网络模型为人脸检测模型，并确定人脸训练数据集的数据格式；基于所述数据格式的人脸训练数据集，训练所述MobileNet‑SSD网络模型，在训练时，所述MobileNet‑SSD网络模型中的SSD算法采用的特征图的尺度是根据所述人脸训练数据集中各个人脸训练数据的图像尺寸确定的；使用训练后的MobileNet‑SSD模型检测待检测图像中的人脸。通过本发明提供的技术方案，可以基于嵌入式设备较快速、较准确地进行人脸检测。

Description

嵌入式设备的人脸检测方法及装置、存储介质、终端
技术领域
本发明涉及大数据处理技术领域，具体地涉及一种嵌入式设备的人脸检测方法及装置、存储介质、终端。
背景技术
随着计算机视觉技术的快速发展以及深度学习在计算机视觉技术的普及应用，以深度学习技术为背景的人脸识别技术已经成为计算机视觉的主流研究方向。人脸识别是利用终端摄像机及摄像头采集包含人脸的图像或者视频流，并在图像或视频流中自动进行人脸检测、人脸特征点定位及验证、实现人脸匹配识别的一系列技术。
例如，移动端手机人脸识别验证锁屏解锁；应用程序(Application，简称APP)人脸识别验证开启；超市刷脸支付；火车站闸机人脸识别通行；以及人脸识别考勤打卡机系统等等；这些都涉及到人脸识别技术，然而在人脸识别时，前提是需要先进行人脸检测，人脸检测的快慢及准确率的直接影响到人脸识别的准确度及系统的用户体验。
基于深度学习的人脸检测技术将计算机视觉任务提升到了一个新的高度，总体的趋势是为了达到更高的准确性构建更深更复杂的网络，但是现有技术中，这些网络在尺度和速度上难以满足移动终端设备或者嵌入式设备的要求，现有人脸检测方案还有缺陷，需要进一步改进。
发明内容
本发明解决的技术问题是如何基于嵌入式设备快速、准确地进行人脸检测。
为解决上述技术问题，本发明实施例提供一种嵌入式设备的人脸检测方法，包括：确定MobileNet-SSD网络模型为人脸检测模型，并确定人脸训练数据集的数据格式；基于所述数据格式的人脸训练数据集，训练所述MobileNet-SSD网络模型，在训练时，所述MobileNet-SSD网络模型中的SSD算法采用的特征图的尺度是根据所述人脸训练数据集中各个人脸训练数据的图像尺寸确定的；使用训练后的MobileNet-SSD模型检测待检测图像中的人脸。
可选的，所述人脸训练数据的图像尺寸为300×300，所述SSD算法采用的特征图的尺度为多个，分别是9×9、4×4、2×2和1×1。
可选的，所述训练所述MobileNet-SSD网络模型包括：采用快速功能嵌入卷积神经网络框架，对所述MobileNet-SSD网络模型进行训练。
可选的，在使用训练后的MobileNet-SSD模型检测待检测图像中的人脸之前，所述人脸检测方法还包括：对量化得到的MobileNet-SSD模型进行测试；如果进行所述测试时，测试图像包含人脸，但人脸检测结果未检测到人脸，则重新量化所述训练后的MobileNet-SSD网络模型。
可选的，所述采用快速功能嵌入卷积神经网络框架，对所述MobileNet-SSD网络模型进行训练包括：判断所述训练后的MobileNet-SSD网络模型是否满足预设停止训练条件；如果满足所述预设停止训练条件，则停止训练，否则，继续采用所述快速功能嵌入卷积神经网络框架训练所述MobileNet-SSD网络模型，直至达到预设训练次数或满足所述预设停止训练条件。
可选的，所述SSD算法采用如下公式确定所述特征图的先验框的尺寸，
Figure BDA0002201185620000021
其中，
Figure BDA0002201185620000022
表示第k个所述先验框的宽，
Figure BDA0002201185620000023
表示第k个所述先验框的高；sk表示第k个特征图的尺寸，m表示所述SSD算法采用的特征图的数量，0<smin<smax<1，smin表示所述先验框的最小尺寸，smax表示所述先验框的最大尺寸，k为正整数。
可选的，所述先验框的置信度误差公式为：
Figure BDA0002201185620000024
其中，
Figure BDA0002201185620000025
其中，Lconf(x,c)表示置信度误差，x表示所述人脸训练数据的训练样本，c表示所述训练样本的置信度分值，
Figure BDA0002201185620000031
表示所述训练样本x的第i个先验框与第j个真实框的概率，
Figure BDA0002201185620000032
表示所述第i个训练样本为人脸的概率，
Figure BDA0002201185620000033
表示
Figure BDA0002201185620000034
的估计，p表示类别，Pos表示正训练样本，Neg表示负训练样本，N表示所述正训练样本的数量，
Figure BDA0002201185620000035
表示e的
Figure BDA0002201185620000036
次方,log表示取对数，
Figure BDA0002201185620000037
表示非人脸类别。
为解决上述技术问题，本发明实施例还提供一种嵌入式设备的人脸检测装置，包括：确定模块，用于确定MobileNet-SSD网络模型为人脸检测模型，并确定人脸训练数据集的数据格式；训练模块，基于所述数据格式的人脸训练数据集，训练所述MobileNet-SSD网络模型，在训练时，所述MobileNet-SSD网络模型中的SSD算法采用的特征图的尺度是根据所述人脸训练数据集中各个人脸训练数据的图像尺寸确定的；检测模块，用于使用训练后的MobileNet-SSD模型检测待检测图像中的人脸。
为解决上述技术问题，本发明实施例还提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述方法的步骤。
为解决上述技术问题，本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明实施例提供一种嵌入式设备的人脸检测方法，包括：确定MobileNet-SSD网络模型为人脸检测模型，并确定人脸训练数据集的数据格式；基于所述数据格式的人脸训练数据集，训练所述MobileNet-SSD网络模型，在训练时，所述MobileNet-SSD网络模型中的SSD算法采用的特征图的尺度是根据所述人脸训练数据集中各个人脸训练数据的图像尺寸确定的；使用训练后的MobileNet-SSD模型检测待检测图像中的人脸。本发明实施例为计算量小、存储空间受限的嵌入式设备提供了一种较快速、准确率较高的人脸检测方法。具体而言，本发明实施例利用高效的MobileNet网络架构，把标准卷积分解成深度卷积(DepthwiseConvolution)和逐点卷积(Pointwise Convolution)，从而可以大幅度降低人脸卷积特征提取的参数量和计算量，易满足嵌入式设备的轻量化模型要求；而且单次多窗口检测(Single Shot multi-box Detector，简称SSD)算法能够融合人脸多尺度维度特征达到更加准确地检测人脸的目的。
进一步，所述人脸训练数据的图像尺寸为300×300，所述SSD算法采用的特征图的尺度为多个，分别是9×9、4×4、2×2和1×1。本发明实施例通过采用尺度为9×9、4×4、2×2和1×1的4个特征图进行融合处理，可以在满足计算精度的同时，尽量降低计算量，且能够检测到尺寸较小(也即像素较低)的人脸。
进一步，所述训练所述MobileNet-SSD网络模型包括：采用快速功能嵌入卷积神经网络框架(Convolutional Architecture for Fast Feature Embedding，简称Caffe)，对所述MobileNet-SSD网络模型进行训练。本发明实施例通过采用Caffe框架可以适应嵌入式设备需求，为实现嵌入式设备检测人脸提供可能。
附图说明
图1是本发明实施例的一种嵌入式设备的人脸检测方法的流程示意图；
图2是本发明实施例基于嵌入式设备K37的一种人脸检测方法的流程示意图；
图3是本发明实施例的一种标准的卷积核的结构示意图；
图4是本发明实施例的一种深度向卷积核分解的结构示意图；
图5是本发明实施例的一种逐点卷积核分解的结构示意图；
图6是本发明实施例的一种MobileNet-SSD网络结构示意图；
图7是本发明实施例的一种嵌入式设备的人脸检测装置的结构示意图。
具体实施方式
如背景技术所言，传统的人脸检测方法还存在缺陷，需要改进。
传统的人脸检测方法包括基于特征的人脸检测方法、基于模板的人脸检测方法、基于统计理论的人脸检测方法等。
本申请发明人发现，基于特征的人脸检测方法利用人脸的先验知识导出的规则进行人脸检测，缺点是无法精确的定义规则，规则过细将导致检测无法检测，规则笼统则导致检测的错误较高，检测的准确率不高。
基于模板的人脸检测方法是通过计算人脸模板和待检测图像之间的相关性来实现人脸检测，然而模板的大小、形状、尺寸无法自适应的变化，因此增加了该方法的局限性。
基于统计理论的人脸检测方法是指利用统计分析与机器学习的方法分别寻找人脸与非人脸样本特征，利用这些特征构建分类，使用分类进行人脸检测，但是这种方法需要大量的统计特性，样本训练费时费力。
为解决上述技术问题，本发明实施例提供一种嵌入式设备的人脸检测方法，包括：确定MobileNet-SSD网络模型为人脸检测模型，并确定人脸训练数据集的数据格式；基于所述数据格式的人脸训练数据集，训练所述MobileNet-SSD网络模型，在训练时，所述MobileNet-SSD网络模型中的SSD算法采用的特征图的尺度是根据所述人脸训练数据集中各个人脸训练数据的图像尺寸确定的；使用训练后的MobileNet-SSD模型检测待检测图像中的人脸。
本发明实施例为计算量小、存储空间受限的嵌入式设备提供了一种较快速、准确率较高的人脸检测方法。具体而言，本发明实施例利用高效的移动网络(MobileNet)架构，把标准卷积分解成深度卷积(Depthwise Convolution)和逐点卷积(PointwiseConvolution)，从而可以大幅度降低人脸卷积特征提取的参数量和计算量，易满足嵌入式设备的轻量化模型要求；而且单次多窗口检测(Single Shot Multi-box Detector，简称SSD)算法能够融合人脸多尺度维度特征达到更加准确地检测人脸的目的。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例的一种嵌入式设备的人脸检测方法的流程示意图。所述人脸检测方法可以应用于嵌入式设备，以对人脸进行检测。具体而言，所述人脸检测方法可以包括以下步骤：
步骤S101，确定MobileNet-SSD网络模型为人脸检测模型，并确定人脸训练数据集的数据格式；
步骤S102，基于所述数据格式的人脸训练数据集，训练所述MobileNet-SSD网络模型，在训练时，所述MobileNet-SSD网络模型中的SSD算法采用的特征图的尺度是根据所述人脸训练数据集中各个人脸训练数据的图像尺寸确定的；
步骤S103，使用训练后的MobileNet-SSD模型检测待检测图像中的人脸。快速功能嵌入卷积神经网络框架(Convolutional Architecture for Fast Feature Embedding，简称Caffe)是一个兼具表达性、速度和思维模块化的深度学习框架。
更具体而言，在步骤S101中，考虑到嵌入式设备的计算能力较差、存储空间较小，因而确定人脸检测模型采用MobileNet-SSD网络模型。并可以根据MobileNet-SSD网络模型，确定人脸训练数据集的数据格式。
在具体实施中，可以采用Caffe框架，对所述MobileNet-SSD网络模型进行训练。
在一个非限制性的例子中，为适配所述MobileNet-SSD网络模型，可以将所述人脸训练数据集的数据格式确定为LMDB格式。本领域技术人员理解，人脸训练数据集可以直接影响训练的精度及人脸检测的效果，因而在训练MobileNet-SSD网络模型之前，将人脸训练数据集处理成与所述MobileNet-SSD网络模型适配的格式是必不可少的步骤。
由于Caffe架构导入的人脸训练数据集是LMDB格式的，因而在具体实施时，可以下载FDDBface及WIDERface数据集作为所述MobileNet-SSD网络模型的人脸训练数据集。具体地，可以将所述人脸训练数据集中的每一人脸训练数据转换成data.mdb格式。所述人脸训练数据集可以用于MobileNet-SSD网络模型的训练，也可以作为测试数据集，用于检测所述MobileNet-SSD网络模型的效果。
在步骤S102中，可以基于所述数据格式的人脸训练数据集，训练所述MobileNet-SSD网络模型。在训练时，所述MobileNet-SSD网络模型中的SSD算法可以对MobileNet架构的不同卷积层的特征图(Feature Map)进行融合处理。进入融合处理的过程中，所述SSD算法采用的特征图的尺度可以根据所述人脸训练数据集中各个人脸训练数据的图像尺寸确定的。
在具体实施中，所述人脸训练数据集中的各个人脸训练数据的图像尺寸可以是相同的，例如300×300、600×600等等。所述SSD算法采用的特征图的尺度将随着卷积的过程获得的人脸特征图的尺寸而变化。变化的基本准则是随着卷积层数的增加人脸特征图的尺寸不断减小，可以减少采用的特征图的尺寸数量，且各个特征图的尺度也可以随之减小。
在一个非限制性的例子中，所述人脸训练数据的图像尺寸为300×300，所述SSD算法融合处理采用的特征图的尺度可以为9×9、4×4、2×2和1×1。
采用不同尺度的特征图进行人脸检测，优势在于：采用尺度比较大的特征图来检测图像尺寸相对较小的人脸，而尺度比较小的特征图可以检测图像尺寸较大的人脸，从而达到自适应检测人脸的大小。
在具体实施中，所述SSD算法可以采用如下公式确定所述特征图的先验框的尺寸，
Figure BDA0002201185620000071
其中，
Figure BDA0002201185620000072
表示第k个所述先验框的宽，
Figure BDA0002201185620000073
表示第k个所述先验框的高；sk表示第k个特征图的尺寸，m表示所述SSD算法采用的特征图的数量，0<smin<smax<1，smin表示所述先验框的最小尺寸，smax表示所述先验框的最大尺寸，k为正整数。
在具体实施中，所述先验框的置信度误差公式为：
Figure BDA0002201185620000074
其中，
Figure BDA0002201185620000075
其中，Lconf(x,c)表示置信度误差，x表示所述人脸训练数据的训练样本，c表示所述训练样本的置信度分值，
Figure BDA0002201185620000081
表示所述训练样本x的第i个先验框与第j个真实框的概率，
Figure BDA0002201185620000082
表示所述第i个训练样本为人脸的概率，
Figure BDA0002201185620000083
表示
Figure BDA0002201185620000084
的估计，p表示类别，Pos表示正训练样本，Neg表示负训练样本，N表示所述正训练样本的数量，
Figure BDA0002201185620000085
表示e的
Figure BDA0002201185620000086
次方,log表示取对数，
Figure BDA0002201185620000087
表示非人脸类别。其中，所述负训练样本指的是不包含人脸的训练样本，所述正训练样本指的是包含人脸的训练样本。
通过设置所述特征图的先验框的尺寸，计算置信度误差和，以置信度误差和不断减小为迭代训练准则，可以在预测精准度和计算复杂度之间实现平衡，有利于在保证检测准确度的条件下，尽量减小计算复杂度。
在训练过程中，可以判断所述训练后的MobileNet-SSD网络模型是否满足预设停止训练条件。如果满足所述预设停止训练条件，则停止训练，否则，如果不满足所述预设停止训练条件，则可以继续采用所述Caffe框架训练所述MobileNet-SSD网络模型，直至达到预设训练次数或满足所述预设停止训练条件。其中，所述预设停止条件为得到适配Caffe框架的最优MobileNet-SSD网络模型，以损失函数的值减小到相当小(本发明，损失为0.01)，并趋于稳定为准则。
在得到训练后的MobileNet-SSD网络模型之后，为压缩所述训练后的MobileNet-SSD网络模型，可以采用Caffe框架对所述训练后的MobileNet-SSD网络模型进行量化，之后，可以对量化得到的MobileNet-SSD模型进行测试。如果在测试过程中，测试图像包含人脸，但人脸检测结果却未检测到人脸，那么可以判定量化结果不准确，并可以重新量化所述训练后的MobileNet-SSD网络模型。
下面以嵌入式设备K37为例，对本发明实施例进行详细阐述。
图2是本发明实施例基于嵌入式设备K37的一种人脸检测方法的流程示意图。如图2所示，首先在步骤S201中，搭建K37硬件环境，并配置软件开发环境。
其中，K37硬件平台套件包括：K37开发板、12V电源适配器、柔性电路板(FlexiblePrinted Circuit，简称FPC)排线、USB线、FT232串口、串口线、电源线、2.0USB盘、网线。所述软件开发环境为：Intel-i5CPU，64位的乌班图(Ubuntu)16.04系统，2块图像处理器(Graphics Processing Unit)1080Ti显卡，16G内存，600G硬盘，Caffe深度学习架构开发环境。在具体实施中，可以首先安装Caffe依赖的编译库文件，适配Caffe深度开发环境，然后下载并安装Caffe架构，最后编译Caffe源码，接着在该环境下实现嵌入式设备K37的MobileNet-SSD人脸检测算法开发。
其次，在步骤S202中，构建MobileNet-SSD人脸检测网络模型。
MobileNet算法的核心是深度向卷积分解，主要通过将标准卷积分解成一个深度卷积和一个点卷积(1×1卷积核)。深度卷积将每个卷积核应用到每个通道，而1×1卷积用来组合通道卷积的输出。卷积的分解可以减少网络的计算量，从而精简化训练的网络模型提高人脸检测的速度，具体实现算法结构分解如图3至图5所示。
图3是本发明实施例的一种标准的卷积核的结构示意图。其中，C为卷积核的通道数，H、W分别表示卷积核的高度及宽度，N表示输出特征的通道数。若输出的卷积核的高度、宽度分别为G、K，标准卷积核的计算量S，则标准卷积核的计算量S＝W*H*C*N*G*K。
图4是本发明实施例的一种深度向卷积核分解的结构示意图。图4中，1表示该卷积核为单通道，H、W表示卷积核的高度及宽度，C表示输出特征的通道数。若输出的卷积核的高度、宽度分别为G、K，其中一部分积核的计算量为S1，则一部分积核的计算量S1＝W*H*1*C*G*K。
图5是本发明实施例的一种逐点卷积核分解的结构示意图。图5中，C表示该卷积核的通道数，1表示卷积核的高度及宽度，N表示输出特征的通道数。若输出的卷积核的高度、宽度分别为G、K，另一部分积核的计算量为S2，则另一部分积核的计算量S2＝1*1*C*N*G*K。
经过图3至图5的卷积核分解的计算量与标准卷积的计算量(以p表示)比较可以得出：
Figure BDA0002201185620000101
可见，深度向卷积分解的计算量将降低到原来的p倍数，这将有利于减小训练的模型，轻量化模型到嵌入式端，提高人脸检测速度。
进一步，构建嵌入式平台K37的MobileNet-SSD网络时会有大量的深度分解卷积网络结构，其中SSD算法将从不同层的不同尺寸的特征图(Feature Map)中提取图像的特征信息进行融合，从而获取较准的人脸检测信息，包括人脸坐标、人脸可信度分值，构建具体的MobileNet-SSD网络结构如图6所示。
图6是本发明实施例的一种MobileNet-SSD网络结构示意图。其中，所述SSD算法是利用不同卷积层的特征图进行融合处理的。在融合处理过程中，采用的特征图的尺度包括9×9，4×4，2×2，1×1，以实现利用较大的特征图来检测相对较小的目标，而较小的特征图检测较大的目标，从而达到自适应检测人脸的大小。
参考图6，首先，输入至第一级联卷积单元(图未示)的图像尺寸为300×300×3，其中，所述卷积单元包括深度向卷积分解部分(图未示)、卷积部分(图未示)及池化部分(图未示)。其次，从所述卷积单元输出的特征图为9×9×32。再次，可以将所述特征图为9×9×32作为第二级联的卷积单元的输入信息，并输出4×4×64的特征图。进一步，可以将所述4×4×64的特征图作为第三级联的卷积单元(图未示)，并从该卷积单元输出2×2×128的特征图；进一步，可以将所述2×2×128的特征图输入至第四级联的卷积单元(图未示)，并输出1×1×128的特征图。进一步，可以将所述1×1×128的特征图作为人脸检测结果，以得到人脸检测输出的部分信息。相应地，可以对所述第一级联卷积单元、第二级联的卷积单元、第三级联的卷积单元和第四级联的卷积单元中的各个卷积单元的特征图作为分类(classify)单元的输入，并将经过所述分类单元得到的输出结果作为人脸检测输出。其中，所述分类单元用于输出人脸分类检测结果，包括人脸及非人脸，及人脸的区域坐标点及置信度分值。
在具体实施中，可以设定所述SSD算法中的特征图的先验框，每个特征图的每个单元设置尺度或者长宽比不同的先验框，每个先验框对应输出的检测值包括检测人脸置信度的分值、边界框的坐标值，坐标值为(cx,cy,w,h)，分别表示边界框的中心坐标以及宽高。若先验框坐标为d＝(dcx,dcy,dw,dh)，对应的边界框为b＝(bcx,bcy,bw,bh)，则边界框的预测值l为
Figure BDA0002201185620000111
不同特征图的先验框大小及数量不同，先验框包括尺度和长宽比两个方面。对于先验框的尺度，其遵守的线性递增规则如下：
Figure BDA0002201185620000112
其中，smin＝0.1，smax＝0.9，m为选中的特征图的数目，例如m＝4。sk为第k个特征图对应的尺寸；长宽比取值可以表示为ar，
Figure BDA0002201185620000113
因此，可以得到先验框的宽高关系：
Figure BDA0002201185620000114
进一步，得到每个单元的先验框中心点为：
Figure BDA0002201185620000115
其中，|fk|为第k个特征图的大小。
在MobileNet-SSD人脸检测训练的过程中，首先确定训练图片中真实目标与哪个先验框来进行匹配，与之匹配的先验框所对应的边界框将负责预测该训练图片。训练的损失函数Loss定义为置信度误差与位置误差的加权和，
Figure BDA0002201185620000116
其中，N为先验框的正样本数量，α为权重系数，本发明实施例中，可以取α＝1，c为人脸检测置信度预测值。l为先验框的所对应边界框的位置预测值，g为真实值的位置参数，x为训练样本。对于位置误差，采用smoothL1计算，公式如下：
Figure BDA0002201185620000121
其中，
Figure BDA0002201185620000122
Pos表示正样本，当
Figure BDA0002201185620000123
时，表示第i个先验框与第j个真实值匹配。
Figure BDA0002201185620000124
表示真实值的位置参数估值，计算公式如下：
Figure BDA0002201185620000125
smoothL1函数的公式为：
Figure BDA0002201185620000126
对于置信度误差采用Softmax_loss定义：
Figure BDA0002201185620000127
其中，
Figure BDA0002201185620000128
p表示类别，Pos表示正样本，Neg表示负样本。
再次，继续参考图2，在步骤S203中，预处理人脸检测数据集。预处理后的人脸检测数据集可以适配MobileNet-SSD网络模型。
人脸检测数据集的处理直接影响到训练的精度及人脸检测的效果。在训练MobileNet-SSD人脸检测之前，必须将数据集处理成模型适配的格式，由于Caffe架构导入训练的数据是LMDB格式的，因而可以下载人脸检测数据集与标准(Face Detection DataSet and Benchmark，简称FDDB)数据集及人脸检测数据集WIDERface作为所述MobileNet-SSD网络模型的训练数据，并将训练数据转换成data.mdb格式的训练数据集及测试数据集。训练数据集用于所述MobileNet-SSD网络模型的训练，测试数据集用于检测所述MobileNet-SSD网络模型的效果。
在步骤S204中，使用Caffe架构训练所述MobileNet-SSD人脸检测模型。之后，在步骤S205中，判断模型是否为最优Caffe模型，也即判断训练得到的MobileNet-SSD人脸训练模型是否为最优Caffe模型。如果不是，则在步骤S2061中，重新构建并训练MobileNet-SSD人脸检测模型；如果是，则在步骤S2062中，获取最优Caffe模型及相关文件。
在具体实施中，可以在Ubuntu16.04终端配置好训练环境，包括MobileNet-SSD模型学习率的设定，每一次迭代训练的人脸数据量(Batch_size)的设定，训练次数的设定，GPU配置的设定，优化函数的选取，人脸训练数据集路径的配置等等。当模型开始训练时，记录训练误损失函数是否逐渐成下降趋势，当训练结束时获取最优的Caffe模型文件，如果获取的Caffe模型文件并非最优，则重构MobileNet-SSD人脸检测网，继续执行上述过程，直到获取最优的Caffe模型文件，或达到设定的训练次数为止。
进一步，在步骤S207中，量化所述最优Caffe模型，例如，可以生成deploy.cdnnQdata数据。
在具体实施中，首先给定MobileNet-SSD网络模型需要量化的网络模型Caffe模型以及网络(Prototxt)文件；接着从人脸训练数据集中选取10张以上不同场景的人脸图像作为定点化模型的数据库(DataBase)；然后创建量化参数文件，具体参数如表1所示。
表1
文件夹名称 描述
--network 设置网络模型路径
--input 用于测试生成定点模型的图像文件
--output 仿真输出结果文件路径
--debug result 输出最终结果
-g 用于网络定点的图像文件夹
之后，可以执行网络量化程序，在output文件夹下获得网络执行结果，可以得到MobileNet-SSD人脸检测量化模型：deploy.cdnnQdata。
进一步，在步骤S208中，编译嵌入式设备K37的ARM端软件开发工具包(SoftwareDevelopment Kit，简称SDK)，以生成编码器(img)文件。在步骤S209中，烧录img文件并上板测试。
在具体实施中，Ubuntu终端解压K37的SDK，配置product_profile文件，在SDK根目录执行“make img”指令，编译SDK完成后会在SDK的output文件夹自动生成img升级包。将img升级文件拷贝到2.0USB根目录，之后再K37开发板烧录img上级文件，进一步，在K37开发板的串口执行img烧录文件，开启K37相机推流软件观察嵌入式终端人脸检测效果。
之后，在步骤S210中，判断是否输出人脸检测结果。如果未输出，则转向步骤S2101，重新量化Caffe模型，并转向步骤S207，否则，在步骤S2102中，输出人脸检测位置框和可信度分值。
在一个光线不充分的条件下的测试结果中可以发现，单人脸检测结果的置信度分值为0.998230；多人脸(4个人脸)检测结果的置信度分值依次为0.892396,0.988525,0.839294,0.976440，可以说明该算法鲁棒性较好。进一步，经过调试仿真得出网络的运行速度较快，计算周期(cycle)如表2所示。
其中，周期与时间的计算转换与嵌入式设备的时钟频率相关，本发明实施例中，K37时钟频率为500M，计算时间单位以毫秒计，计算时间T的公式如下，其中，TInitialization_time表示初始化时间，TPre_process_time表示预处理时间，TInference_time表示推理时间(inference time)，TPost_process_time表示后置处理时间。
T＝(TInitialization_time+TPre_process_time+TInference_time+TPost_process_time)/500/1000。
表2
调试函数 周期
[DEBUG]ar_dump_statistics[DSP1]初始化时间 0
[DEBUG]ar_dump_statistics[DSP1]预处理时间 899063
[DEBUG]ar_dump_statistics[DSP1]推理时间 53768672
[DEBUG]ar_dump_statistics[DSP1]后置处理时间 29077
综上所述，本发明实施例提供一种基于嵌入式设备(例如，K37)的MobileNet-SSD的人脸检测方法，可以较好的解决传统人脸检测缺陷，能较好的运用在嵌入式设备及移动端；该方法不仅能通过MobileNet网络深度向卷积分解的作用减少网的计算量和参数，到达网络模型轻量级的作用；而且还能通过SSD方法准确提取不同卷积层特征尺度信息并进行融合处理，对不同尺寸人脸进行自适应的检测。
图7是本发明实施例的一种嵌入式设备的人脸检测装置，可以用于实施图1和图2所示方法技术方案。具体而言，所述嵌入式设备的人脸检测装置可以包括：确定模块71，用于确定MobileNet-SSD网络模型为人脸检测模型，并确定人脸训练数据集的数据格式；训练模块72，基于所述数据格式的人脸训练数据集，训练所述MobileNet-SSD网络模型，在训练时，所述MobileNet-SSD网络模型中的SSD算法采用的特征图的尺度是根据所述人脸训练数据集中各个人脸训练数据的图像尺寸确定的；检测模块73，用于使用训练后的MobileNet-SSD模型检测待检测图像中的人脸。
关于所述嵌入式设备的人脸检测装置的工作原理、工作方式的更多内容，可以参照上述图1和图2中所述技术方案的相关描述，这里不再赘述。
进一步地，本发明实施例还公开一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述图1和图2所示实施例中所述的方法技术方案。优选地，所述存储介质可以包括诸如非挥发性(non-volatile)存储器或者非瞬态(non-transitory)存储器等计算机可读存储介质。所述计算机可读存储介质可以包括ROM、RAM、磁盘或光盘等。
进一步地，本发明实施例还公开一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述图1和图2所示实施例中所述的方法技术方案。优选地，所述终端为嵌入式设备，例如，型号为K37的嵌入式设备。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种嵌入式设备的人脸检测方法，其特征在于，包括：
确定MobileNet-SSD网络模型为人脸检测模型，并确定人脸训练数据集的数据格式；
基于所述数据格式的人脸训练数据集，训练所述MobileNet-SSD网络模型，在训练时，所述MobileNet-SSD网络模型中的SSD算法采用的特征图的尺度是根据所述人脸训练数据集中各个人脸训练数据的图像尺寸确定的；
使用训练后的MobileNet-SSD模型检测待检测图像中的人脸。
2.根据权利要求1所述的人脸检测方法，其特征在于，所述人脸训练数据的图像尺寸为300×300，所述SSD算法采用的特征图的尺度为多个，分别是9×9、4×4、2×2和1×1。
3.根据权利要求1所述的人脸检测方法，其特征在于，所述训练所述MobileNet-SSD网络模型包括：
采用快速功能嵌入卷积神经网络框架，对所述MobileNet-SSD网络模型进行训练。
4.根据权利要求3所述的人脸检测方法，其特征在于，在使用训练后的MobileNet-SSD模型检测待检测图像中的人脸之前，所述人脸检测方法还包括：
对量化得到的MobileNet-SSD模型进行测试；
如果进行所述测试时，测试图像包含人脸，但人脸检测结果未检测到人脸，则重新量化所述训练后的MobileNet-SSD网络模型。
5.根据权利要求3所述的人脸检测方法，其特征在于，所述采用快速功能嵌入卷积神经网络框架，对所述MobileNet-SSD网络模型进行训练包括：
判断所述训练后的MobileNet-SSD网络模型是否满足预设停止训练条件；
如果满足所述预设停止训练条件，则停止训练，否则，继续采用所述快速功能嵌入卷积神经网络框架训练所述MobileNet-SSD网络模型，直至达到预设训练次数或满足所述预设停止训练条件。
6.根据权利要求1所述的人脸检测方法，其特征在于，所述SSD算法采用如下公式确定所述特征图的先验框的尺寸，
Figure FDA0002201185610000021
Figure FDA0002201185610000022
其中，
Figure FDA0002201185610000023
表示第k个所述先验框的宽，
Figure FDA0002201185610000024
表示第k个所述先验框的高；sk表示第k个特征图的尺寸，m表示所述SSD算法采用的特征图的数量，0<smin<smax<1，smin表示所述先验框的最小尺寸，smax表示所述先验框的最大尺寸，k为正整数。
7.根据权利要求6所述的人脸检测方法，其特征在于，所述先验框的置信度误差公式为：
Figure FDA0002201185610000025
其中，
Figure FDA0002201185610000026
其中，Lconf(x,c)表示置信度误差，x表示所述人脸训练数据的训练样本，c表示所述训练样本的置信度分值，
Figure FDA0002201185610000027
表示所述训练样本x的第i个先验框与第j个真实框的概率，
Figure FDA0002201185610000028
表示所述第i个训练样本为人脸的概率，
Figure FDA0002201185610000029
表示
Figure FDA00022011856100000210
的估计，p表示类别，Pos表示正训练样本，Neg表示负训练样本，N表示所述正训练样本的数量，
Figure FDA00022011856100000211
表示e的
Figure FDA00022011856100000212
次方,log表示取对数，
Figure FDA00022011856100000213
表示非人脸类别。
8.一种嵌入式设备的人脸检测装置，其特征在于，包括：
确定模块，用于确定MobileNet-SSD网络模型为人脸检测模型，并确定人脸训练数据集的数据格式；
训练模块，基于所述数据格式的人脸训练数据集，训练所述MobileNet-SSD网络模型，在训练时，所述MobileNet-SSD网络模型中的SSD算法采用的特征图的尺度是根据所述人脸训练数据集中各个人脸训练数据的图像尺寸确定的；
检测模块，用于使用训练后的MobileNet-SSD模型检测待检测图像中的人脸。
9.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至7任一项所述方法的步骤。
10.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至7任一项所述方法的步骤。
CN201910865633.1A 2019-09-12 2019-09-12 嵌入式设备的人脸检测方法及装置、存储介质、终端 Pending CN112487852A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910865633.1A CN112487852A (zh) 2019-09-12 2019-09-12 嵌入式设备的人脸检测方法及装置、存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910865633.1A CN112487852A (zh) 2019-09-12 2019-09-12 嵌入式设备的人脸检测方法及装置、存储介质、终端

Publications (1)

Publication Number Publication Date
CN112487852A true CN112487852A (zh) 2021-03-12

Family

ID=74920012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910865633.1A Pending CN112487852A (zh) 2019-09-12 2019-09-12 嵌入式设备的人脸检测方法及装置、存储介质、终端

Country Status (1)

Country Link
CN (1) CN112487852A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038474A (zh) * 2017-12-28 2018-05-15 深圳云天励飞技术有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN108229442A (zh) * 2018-02-07 2018-06-29 西南科技大学 基于ms-kcf的图像序列中人脸快速稳定检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038474A (zh) * 2017-12-28 2018-05-15 深圳云天励飞技术有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN108229442A (zh) * 2018-02-07 2018-06-29 西南科技大学 基于ms-kcf的图像序列中人脸快速稳定检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
叶远征 等: "基于MS-KCF模型的图像序列中人脸快速稳定检测", 《计算机应用》 *

Similar Documents

Publication Publication Date Title
JP6997309B2 (ja) 深層ニューラルネットワークを用いた画像処理システム及び処理方法
CN108320297B (zh) 一种视频目标实时跟踪方法及系统
CN106960219B (zh) 图片识别方法及装置、计算机设备及计算机可读介质
CN109960742B (zh) 局部信息的搜索方法及装置
CN108875931B (zh) 神经网络训练及图像处理方法、装置、系统
JP2022177232A (ja) 画像処理方法、テキスト認識方法及び装置
CN109165654B (zh) 一种目标定位模型的训练方法和目标定位方法及装置
CN109544516B (zh) 图像检测方法及装置
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN114429208A (zh) 基于残差结构剪枝的模型压缩方法、装置、设备及介质
CN112308069A (zh) 一种软件界面的点击测试方法、装置、设备及存储介质
CN116543261A (zh) 用于图像识别的模型训练方法、图像识别方法设备及介质
CN108520532B (zh) 识别视频中物体运动方向的方法及装置
CN111815748B (zh) 一种动画处理方法、装置、存储介质及电子设备
CN116227573B (zh) 分割模型训练方法、图像分割方法、装置及相关介质
CN114170481B (zh) 用于图像处理的方法、设备、存储介质和程序产品
CN112487852A (zh) 嵌入式设备的人脸检测方法及装置、存储介质、终端
CN112076463B (zh) 一种手机游戏轻量化方法
CN117693754A (zh) 训练用于图像修复的经掩模的自动编码器
CN115035042A (zh) 动作迁移模型的评价方法、装置、电子设备及存储介质
CN113095328A (zh) 一种基尼指数引导的基于自训练的语义分割方法
CN112084874A (zh) 一种物体检测方法、装置及终端设备
CN114596209A (zh) 指纹图像修复方法、系统、设备及存储介质
CN111539420A (zh) 基于注意力感知特征的全景图像显著性预测方法及系统
CN117576109B (zh) 一种缺陷检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210312

RJ01 Rejection of invention patent application after publication