CN110363137A - 人脸检测优化模型、方法、系统及其电子设备 - Google Patents
人脸检测优化模型、方法、系统及其电子设备 Download PDFInfo
- Publication number
- CN110363137A CN110363137A CN201910634329.6A CN201910634329A CN110363137A CN 110363137 A CN110363137 A CN 110363137A CN 201910634329 A CN201910634329 A CN 201910634329A CN 110363137 A CN110363137 A CN 110363137A
- Authority
- CN
- China
- Prior art keywords
- face datection
- face
- model
- datection
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明涉及一种针对嵌入式部署的人脸检测优化模型、方法、系统及其电子设备,构造一人脸检测训练集;提供一人脸检测训练模型,采用针对嵌入式端设计的网络作为特征提取骨干网络,对人脸检测训练模型进行构造;及将人脸检测训练集用于对构造后的人脸检测训练模型进行训练,以获得优化后的人脸检测模型。上述模型、方法及系统适用于嵌入式人脸识别系统在有限的计算能力下的高效人脸识别。
Description
【技术领域】
本发明涉及人工智能领域,其特别涉及一种针对嵌入式部署的人脸检测优化模型、方法、系统及其电子设备。
【背景技术】
自20世纪50年代开始,研究人员已经开始关注人脸识别这个技术领域,自此人脸识别就成为一个历史悠久的任务。
人脸识别作为计算机视觉中最基础、最广泛的应用,流程主要包括获取图像、人脸检测、人脸关键点对齐、特征提取和特征搜索五个部分,其中人脸检测是较为核心流程之一。
在传统的图像识别领域中,基本上是人工提取特征,不仅费时而且费力,更无法保证特征的有效性。
因此,亟待提供一种可有效解决上述人脸检测优化的新型技术方案。
【发明内容】
为解决现有人脸检测识别效率不高的问题,本发明提供一种针对嵌入式部署的人脸检测优化模型、方法、系统及其电子设备。
本发明为解决上述技术问题,提供如下的技术方案:一种针对嵌入式部署的人脸检测模型优化方法,其包括以下步骤:步骤S1,构造一人脸检测训练集;步骤S2,提供一人脸检测训练模型,采用针对嵌入式端设计的网络作为特征提取骨干网络,对人脸检测训练模型进行构造;及
步骤S3,将人脸检测训练集用于对构造后的人脸检测训练模型进行训练,以获得优化后的人脸检测模型;其中,步骤S1与步骤S2顺序可置换或可同步进行。
优选地,上述步骤S1具体包括以下步骤:步骤S11,提供一人脸检测数据集,获取所述人脸检测数据集中的符合预设要求的人脸数据;人脸数据包括先验框的最小边数值小于预设像素阈值的人脸;及步骤S12,获取人脸视频数据,使用至少一人脸检测器对所述人脸视频数据进行处理,然后辅以调整标注信息;步骤S13,将步骤S1中清洗过的人脸检测数据集和上述经调整标注信息的数据集进行合并,以此构成所述人脸检测训练集。
优选地,在上述步骤S2中,通过采用针对嵌入式端设计的网络作为卷积神经网络特征提取骨干网络,进行卷积神经网络特征提取后接入一特征金字塔机制的单发探测器,以对人脸检测训练模型进行构造。
优选地,上述步骤S2中的针对嵌入式端设计的网络为MobilenetV1网络或MobilenetV2网络。
优选地,上述步骤S2具体包括以下步骤:步骤S21,采用针对嵌入式端设计的MobilenetV2网络作为卷积神经网络的特征,根据所述卷积神经网络特征提取骨干网络;
步骤S22,将提取的所述骨干网络特征接入上述单发探测器;步骤S23,所述单发探测器依照程序生成设定阈值的先验框;及步骤S24,对所述单发探测器采用的特征金字塔机制进行改进。
优选地,在上述步骤S3中,将人脸检测训练集用于对构造后的人脸检测训练模型进行训练,在训练过程中,通过采用余弦退火算法来控制学习率,使用Focal Loss函数作为训练目标函数,并采用数据锚点采样方法作为数据增强的方式,以对人脸检测训练模型实现优化,以获得人脸检测优化模型。
优选地,在上述步骤S3之后还包括以下步骤:步骤S4,对所述人脸检测优化模型进行模型剪枝及模型量化处理;及步骤S5,将上述经模型剪枝及模型量化处理的人脸检测优化模型部署到开发板上,通过程序驱动人脸检测优化模型;及步骤S6,利用人脸检测优化模型进行人脸检测。
本发明为解决上述技术问题,提供又一技术方案如下:一种人脸检测优化方法,其包括以下步骤:步骤Sa,进行视频采集人脸数据;步骤Sb,判断采集的视频是否为需要进行人脸识别的视频,若是,则进入步骤Sc,若否,则返回步骤Sa;步骤Sc,对上述视频输出每个最高人脸质量的图片;及步骤Sd,进行活体检测,判断用户是否为活体,若是,则进入步骤Se,若否,则丢弃对应的图片;步骤Se,利用所述针对嵌入式部署的人脸检测模型优化方法获得的人脸检测优化模型对上述通过活体检测的图片进行人脸检测;及步骤Sf,输出人脸识别的结果。
本发明为解决上述技术问题,提供又一技术方案如下:一种人脸检测优化系统,其包括:视频采集模块,用于进行人脸采集;活体检测模块,用于对上述采集的视频进行区分,判断是否为活体;及人脸检测模块,利用针对嵌入式部署的人脸检测模型优化方法获得的人脸检测优化模型对上述通过活体检测的图片进行人脸检测,以实现人脸识别。
本发明为解决上述技术问题,提供又一技术方案如下:一种电子装置,其包括存储单元和处理单元,所述存储单元用于存储计算机程序,所述处理单元用于通过所述存储单元存储的计算机程序执行如上所述人脸检测优化方法中的步骤。
与现有技术相比,本发明所提供的人脸检测优化模型、方法、系统及其电子设备,具有如下的有益效果:
本发明提供了一种针对嵌入式部署的人脸检测模型优化方法,通过构造一人脸检测训练集;提供一人脸检测训练模型,采用针对嵌入式端设计的网络作为特征提取骨干网络,对人脸检测训练模型进行构造;及将人脸检测训练集用于对构造后的人脸检测训练模型进行训练,以获得优化后的人脸检测模型。上述针对嵌入式部署的人脸检测模型优化方法适用于嵌入式人脸识别系统在有限的计算能力下的高效人脸识别。
进一步地,本发明采用针对嵌入式端设计的MobilenetV2网络作为卷积神经网络的特征,根据所述卷积神经网络特征提取骨干网络;将提取的所述骨干网络特征接入上述单发探测器;所述单发探测器依照程序生成设定阈值的先验框;及对所述单发探测器采用的特征金字塔机制进行改进。与传统的VGG网络比,提升了针对嵌入式部署的人脸检测模型在嵌入式端的运行效率。
更进一步地,本发明将人脸检测训练集用于对构造后的人脸检测训练模型进行训练,在训练过程中,通过采用余弦退火算法来控制学习率,使用Focal Loss函数作为训练目标函数,并采用数据锚点采样方法作为数据增强的方式,以对人脸检测训练模型实现优化,以获得人脸检测优化模型。通过对学习率进行控制及选定训练目标函数,以对人脸检测训练模型实现优化,可大幅度提升人脸识别效率。
【附图说明】
图1是本发明第一实施例所提供的的针对嵌入式部署的人脸检测模型优化方法的步骤流程示意图;
图2是图1中所示步骤S1的步骤流程示意图;
图3是图1中所示步骤S2的步骤流程示意图;
图4是本发明第二实施例所提供的针对嵌入式部署的人脸检测优化方法的步骤流程示意图;
图5是本发明第三实施例所提供的针对嵌入式部署的人脸检测优化系统的功能模块示意图;
图6是本发明的第四实施例所提供的电子设备的功能模块示意图。
附图标注说明:
20,人脸检测优化系统;21,视频采集模块;22,活体检测模块;23,人脸检测模块;30,电子装置;31,存储单元;32,处理单元。
【具体实施方式】
为了使本发明的目的,技术方案及优点更加清楚明白,以下结合附图及实施实例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1,本发明的第一实施例提供一种针对嵌入式部署的人脸检测模型优化方法,其包括如下的步骤:
步骤S1,构造一人脸检测训练集;
步骤S2,提供一人脸检测训练模型,采用针对嵌入式端设计的网络作为特征提取骨干网络,对人脸检测训练模型进行构造;及
步骤S3,将人脸检测训练集用于对构造后的人脸检测训练模型进行训练,以获得优化后的人脸检测模型;
步骤S4,对所述人脸检测优化模型进行模型剪枝及模型量化处理;及
步骤S5,将上述经模型剪枝及模型量化处理的人脸检测优化模型部署到开发板上,通过程序驱动人脸检测优化模型;及
步骤S6,利用人脸检测优化模型进行人脸检测。
其中,步骤S1与步骤S2顺序可置换或可同步进行。
需要说明的是,人脸检测训练集、针对嵌入式端设计的网络及训练方式是构成所述人脸检测优化模型所要进行的步骤,三者缺一不可。而人脸检测训练集和针对嵌入式端设计的网络都是用于对人脸检测训练模型进行训练,两者之间无必然联系,可先后进行,也可同时进行,这里先对人脸检测数据集进行构造,再对针对嵌入式端设计的网络进行构造只不过是其中的一种实施方式。
可选的,上述步骤S1具体包括以下步骤:
步骤S11,提供一人脸检测数据集,获取所述人脸检测数据集中的符合预设要求的人脸数据;人脸数据包括先验框的最小边数值小于预设像素阈值的人脸;及
步骤S12,获取人脸视频数据,使用至少一人脸检测器对所述人脸视频数据进行处理,然后辅以调整标注信息;
步骤S13,将步骤S1中清洗过的人脸检测数据集和上述经调整标注信息的数据集进行合并,以此构成所述人脸检测训练集。
需要说明的是,这里选取的人脸检测数据集为开源widerface数据集,开源widerface数据集是目前用于训练人脸检测模型的优选数据集。首先,设定一个人脸先验框的最小边数值的像素阈值及设定一个最低清晰度,为了使图片清晰可见,该人脸先验眶的最小边的数值像素最低值设为20像素,清晰度最低设为标清等级,人脸先验眶的最小边的像素低于20像素、清晰度低于标清等级及人脸被遮挡的数据均要被剔除,构成清洗过后的开源widerface数据集;其次,通过人脸检测器对采集的人脸视频数据进行处理,这里人脸检测器是本领域技术人员可以通过常规手段制备出的产品,利用多个人脸检测器对采集到的人脸视频数据进行处理,通过已有经验值对数据进行调整及标注;最后使清洗过的开源widerface数据集结合调整、标注处理过的人脸视频数据集,构成本发明人脸检测优化模型的将用于训练的人脸检测训练集。
在上述步骤S2中,通过采用针对嵌入式端设计的网络作为卷积神经网络(CNN,Convolutional Neural Network)特征提取骨架(Backbone)网络,进行卷积神经网络特征提取后接入一特征金字塔机制(FPN,Feature Pyramid Networks)的单发探测器(SSD,Single Shot MultiBox Detector),以实现对人脸检测训练模型进行构造。
具体地,上述步骤S2中的针对嵌入式端设计的网络包括MobilenetV1网络及MobilenetV2网络。这里选取的是MobilenetV2网络,MobileNetV2是对MobileNetV1的改进,同样也是一个适用于人脸检测模型的轻量化卷积神经网络,MobilenetV2网络与VGG(Visual Geometry Group)网络比,提升了人脸检测优化模型的运行效率。
可选地,如图3所示,上述步骤S2具体包括以下步骤:
步骤S21,采用针对嵌入式端设计的MobilenetV2网络作为卷积神经网络的特征,根据所述卷积神经网络特征提取骨干网络;
步骤S22,将提取的所述骨干网络特征接入上述单发探测器;
步骤S23,所述单发探测器依照程序生成设定阈值的先验框;及
步骤S24,对所述单发探测器采用的特征金字塔机制进行改进。
需要说明的是,上述单发探测器依照程序生成设定阈值的先验框(Prior Box),此先验框设定的阈值为1:1,即先验框的宽高比为1:1。此种先验框的宽高比设定相对于通用的物体检测更加固定,因此提高了检测的准确率和效率。不仅如此,所述单发探测器采用的特征金字塔机制也进行了改进,具体说来,特征金字塔机制除了特征金字塔模型中的后几层的卷积做特征提取,对分辨率更高的中间层也会进行特征提取,使得人脸提取效率更高。
在上述步骤S3中,将人脸检测训练集用于对构造后的人脸检测训练模型进行训练,在训练过程中,通过采用余弦退火算法来控制学习率,使用Focal Loss函数作为训练目标函数,并采用数据锚点采样方法(data anchor sampling)作为数据增强的方式,以对人脸检测训练模型实现优化,以获得人脸检测优化模型;该种训练方式能针对不同尺度的人脸进行训练,不仅具备训练方式多样性的优点,相对于本领域常规操作,尤其对小人脸的识别率更加高效。
进一步的,所述人脸检测训练模型在进行训练过程中,使用了8块型号为GTX 1080Ti的图形处理器(GPU)用于训练,以增大批尺寸(Batch Size),从而提升对人脸的识别率。当然,图形处理器的型号不作限定,图形处理器的数量也不作限定,只要能实现增大批尺寸来提升对人脸的识别率即可。
本发明中将经模型剪枝及模型量化处理的人脸检测优化模型部署到开发板上,能够在保证精度的同时提高运行效率,便于快速进行人脸检测。其中,所述开发板的型号为RK3399,该种型号的开发板有利于提高人脸检测优化模型的运行效率,当然,所述开发板的型号不限,只要在能保证模型精度的同时提高运行效率即可。
需要说明的是,通过运用所述针对嵌入式部署的人脸检测模型优化方法,可以定位出多种状态下的人脸的准确位置,譬如不同视角、不同姿态、被遮挡的部分都可以被所述人脸检测优化模型精准定位,以此有利于人脸识别的准确率和效率。
请参阅图4,本发明的第二实施例提供一人脸检测优化方法,其包括以下步骤:
步骤Sa,进行视频采集人脸数据;
步骤Sb,判断采集的视频是否为需要进行人脸识别的视频,若是,则进入步骤Sc,若否,则返回步骤Sa;
步骤Sc,对上述视频输出每个最高人脸质量的图片;及
步骤Sd,进行活体检测,判断用户是否为活体,若是,则进入步骤Se,若否,则丢弃对应的图片;
步骤Se,利用基于所述针对嵌入式部署的人脸检测模型优化方法获得的人脸检测优化模型对上述通过活体检测的图片进行人脸检测;及
步骤Sf,输出人脸识别的结果。
需要说明的是,上述针对嵌入式部署的人脸检测模型优化方法对上述通过活体检测的图片进行人脸检测时,可以从人脸的不同大小、人脸位置、人脸不同的视角和姿态,可能被遮挡的人脸中,准确输出人脸的外接矩形在图像中的坐标,使得人脸识别适用性强,而且该人脸检测优化模型可以同时对多人进行识别,支持多人同时检测,进一步地提升了人脸识别效率。
请参阅图5,本发明的第三实施例提供一针对嵌入式部署的人脸检测优化系统20,其包括:
视频采集模块21,用于进行人脸采集;
活体检测模块22,用于对上述采集的视频进行区分,判断是否为活体;及
人脸检测模块23,利用所述针对嵌入式部署的人脸检测模型优化方法获得的人脸检测优化模型对上述通过活体检测的图片进行人脸检测,以实现人脸识别。
具体地,在本实施例中,有关视频采集、活体检测、人脸检测等相关内容,与上述第一、二实施例中的一致,在此不再赘述。
利用本发明所述的针对嵌入式部署的人脸检测优化方法所制备的系统不仅在有限的算力上提高了人脸检测的准确性,同时也具备运行速度快、识别效率高等优点,可以应用到对人脸识别及人脸匹配要求效率高的场景,譬如门店智能迎宾场景、机场安检场景等。
请参阅图6,本发明的第四实施例提供一电子设备30,所述电子设备30包括存储单元31和处理单元32,所述存储单元31用于存储计算机程序,所述处理单元32用于通过所述存储单元31存储的计算机程序执行上述第二实施例中所述人脸检测优化方法的具体步骤。
在本发明一些具体的实施例中,所述电子设备30可以是硬件,也可以是软件。当电子设备30为硬件时,可以是具有显示屏并且支持视频播放的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group AudioLayer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudioLayer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当电子设备30为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
所述存储单元31包括只读存储器(ROM)、随机访问存储器(RAM)及硬盘等的存储部分等,所述处理单元32可以根据存储在所述只读存储器(ROM)中的程序或者加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器(RAM)中,还存储有所述电子设备30操作所需的各种程序和数据。
所述电子设备30还可包括键盘、鼠标等的输入部分(图未示);所述电子设备30还可进一步包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分(图未示);以及所述电子设备30可进一步包括诸如LAN卡、调制解调器等的网络接口卡的通信部分(图未示)。所述通信部分经由诸如因特网的网络执行通信处理。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明所公开的实施例可包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装。
在该计算机程序被所述处理单元32执行时,执行本申请的所述人脸检测优化方法中限定的上述功能。需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本申请中,计算机可读存储介质还可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可采用一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言--诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明的附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方案中,方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,在此基于涉及的功能而确定。需要特别注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
在本发明的实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中。
作为另一方面,本发明的第五实施例还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,所述程序具体包括:提供一人脸检测数据集,基于预设条件对人脸检测数据集进行清洗,以构成所需人脸检测训练集;提供人脸检测训练模型,采用针对嵌入式端设计的网络作为特征提取的骨干网络,对人脸检测训练模型进行构造;及将人脸检测训练集用于对构造后的人脸检测训练模型进行训练,在训练过程中,通过对学习率进行控制及选定训练目标函数,以对人脸检测训练模型进行优化处理,以获得优化后的人脸检测模型。
与现有技术相比,本发明所提供的人脸检测优化模型、方法、系统及其电子设备,具有如下的有益效果:
本发明提供了一种针对嵌入式部署的人脸检测模型优化方法,通过构造一人脸检测训练集;提供一人脸检测训练模型,采用针对嵌入式端设计的网络作为特征提取骨干网络,对人脸检测训练模型进行构造;及将人脸检测训练集用于对构造后的人脸检测训练模型进行训练,以获得优化后的人脸检测模型。上述针对嵌入式部署的人脸检测模型优化方法适用于嵌入式人脸识别系统在有限的计算能力下的高效人脸识别。
进一步地,本发明采用针对嵌入式端设计的MobilenetV2网络作为卷积神经网络的特征,根据所述卷积神经网络特征提取骨干网络;将提取的所述骨干网络特征接入上述单发探测器;所述单发探测器依照程序生成设定阈值的先验框;及对所述单发探测器采用的特征金字塔机制进行改进。与传统的VGG网络比,提升了针对嵌入式部署的人脸检测模型在嵌入式端的运行效率。
更进一步地,本发明将人脸检测训练集用于对构造后的人脸检测训练模型进行训练,在训练过程中,通过采用余弦退火算法来控制学习率,使用Focal Loss函数作为训练目标函数,并采用数据锚点采样方法作为数据增强的方式,以对人脸检测训练模型实现优化,以获得人脸检测优化模型。通过对学习率进行控制及选定训练目标函数,以对人脸检测训练模型实现优化,可大幅度提升人脸识别效率。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内所作的任何修改,等同替换和改进等均应包含本发明的保护范围之内。
Claims (10)
1.一种针对嵌入式部署的人脸检测模型优化方法,其特征在于:其包括以下步骤:
步骤S1,构造一人脸检测训练集;
步骤S2,提供一人脸检测训练模型,采用针对嵌入式端设计的网络作为特征提取骨干网络,对人脸检测训练模型进行构造;及
步骤S3,将人脸检测训练集用于对构造后的人脸检测训练模型进行训练,以获得优化后的人脸检测模型;
其中,步骤S1与步骤S2顺序可置换或可同步进行。
2.如权利要求1中所述的一种针对嵌入式部署的人脸检测模型优化方法,其特征在于:上述步骤S1具体包括以下步骤:
步骤S11,提供一人脸检测数据集,获取所述人脸检测数据集中的符合预设要求的人脸数据;人脸数据包括先验框的最小边数值小于预设像素阈值的人脸;及
步骤S12,获取人脸视频数据,使用至少一人脸检测器对所述人脸视频数据进行处理,然后辅以调整标注信息;
步骤S13,将步骤S1中清洗过的人脸检测数据集和上述经调整标注信息的数据集进行合并,以此构成所述人脸检测训练集。
3.如权利要求1中所述的一种针对嵌入式部署的人脸检测模型优化方法,其特征在于:在上述步骤S2中,通过采用针对嵌入式端设计的网络作为卷积神经网络特征提取骨干网络,进行卷积神经网络特征提取后接入一特征金字塔机制的单发探测器,以对人脸检测训练模型进行构造。
4.如权利要求1中所述的一种针对嵌入式部署的人脸检测模型优化方法,其特征在于:上述步骤S2中的针对嵌入式端设计的网络为MobilenetV1网络或MobilenetV2网络。
5.如权利要求3中所述的一种针对嵌入式部署的人脸检测模型优化方法,其特征在于:上述步骤S2具体包括以下步骤:
步骤S21,采用针对嵌入式端设计的MobilenetV2网络作为卷积神经网络的特征,根据所述卷积神经网络特征提取骨干网络;
步骤S22,将提取的所述骨干网络特征接入上述单发探测器;
步骤S23,所述单发探测器依照程序生成设定阈值的先验框;及
步骤S24,对所述单发探测器采用的特征金字塔机制进行改进。
6.如权利要求1中所述的一种针对嵌入式部署的人脸检测模型优化方法,其特征在于:
在上述步骤S3中,将人脸检测训练集用于对构造后的人脸检测训练模型进行训练,在训练过程中,通过采用余弦退火算法来控制学习率,使用Focal Loss函数作为训练目标函数,并采用数据锚点采样方法作为数据增强的方式,以对人脸检测训练模型实现优化,以获得人脸检测优化模型。
7.如权利要求1中所述的一种针对嵌入式部署的人脸检测模型优化方法,其特征在于:在上述步骤S3之后还包括以下步骤:
步骤S4,对所述人脸检测优化模型进行模型剪枝及模型量化处理;及
步骤S5,将上述经模型剪枝及模型量化处理的人脸检测优化模型部署到开发板上,通过程序驱动人脸检测优化模型;及
步骤S6,利用人脸检测优化模型进行人脸检测。
8.一种针对嵌入式部署的人脸检测优化方法,其特征在于:其包括以下步骤:
步骤Sa,进行视频采集人脸数据;
步骤Sb,判断采集的视频是否为需要进行人脸识别的视频,若是,则进入步骤Sc,若否,则返回步骤Sa;
步骤Sc,对上述视频输出每个最高人脸质量的图片;及
步骤Sd,进行活体检测,判断用户是否为活体,若是,则进入步骤Se,若否,则丢弃对应的图片;
步骤Se,利用基于上述权利要求1-7中任一项所述针对嵌入式部署的人脸检测模型优化方法获得的人脸检测优化模型对上述通过活体检测的图片进行人脸检测;及
步骤Sf,输出人脸识别的结果。
9.一种针对嵌入式部署的人脸检测优化系统,其特征在于:所述人脸检测优化系统具体包括,
视频采集模块,用于进行人脸采集;
活体检测模块,用于对上述采集的视频进行区分,判断是否为活体;及
人脸检测模块,利用如权利要求1-7中任一项所述针对嵌入式部署的人脸检测模型优化方法获得的人脸检测优化模型对上述通过活体检测的图片进行人脸检测,以实现人脸识别。
10.一种电子装置,其特征在于:其包括存储单元和处理单元,所述存储单元用于存储计算机程序,所述处理单元用于通过所述存储单元存储的计算机程序执行所述权利要求8中所述针对嵌入式部署的人脸检测模型优化方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910634329.6A CN110363137A (zh) | 2019-07-12 | 2019-07-12 | 人脸检测优化模型、方法、系统及其电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910634329.6A CN110363137A (zh) | 2019-07-12 | 2019-07-12 | 人脸检测优化模型、方法、系统及其电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110363137A true CN110363137A (zh) | 2019-10-22 |
Family
ID=68219109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910634329.6A Withdrawn CN110363137A (zh) | 2019-07-12 | 2019-07-12 | 人脸检测优化模型、方法、系统及其电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110363137A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111680598A (zh) * | 2020-05-29 | 2020-09-18 | 北京百度网讯科技有限公司 | 人脸识别模型处理方法、装置、设备和存储介质 |
CN112633065A (zh) * | 2020-11-19 | 2021-04-09 | 特斯联科技集团有限公司 | 一种基于数据增强的人脸检测方法、系统、存储介质及终端 |
CN112712068A (zh) * | 2021-03-19 | 2021-04-27 | 腾讯科技(深圳)有限公司 | 一种关键点检测方法、装置、电子设备及存储介质 |
CN113139444A (zh) * | 2021-04-06 | 2021-07-20 | 上海工程技术大学 | 基于MobileNetV2的时空注意力口罩佩戴实时检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108229442A (zh) * | 2018-02-07 | 2018-06-29 | 西南科技大学 | 基于ms-kcf的图像序列中人脸快速稳定检测方法 |
CN108319938A (zh) * | 2017-12-31 | 2018-07-24 | 奥瞳系统科技有限公司 | 用于高性能人脸识别系统的高质量训练数据准备系统 |
CN109344731A (zh) * | 2018-09-10 | 2019-02-15 | 电子科技大学 | 基于神经网络的轻量级的人脸识别方法 |
US20190080012A1 (en) * | 2017-09-12 | 2019-03-14 | Yu Huang | Method and system for providing a highly-personalized recommendation engine |
CN109815810A (zh) * | 2018-12-20 | 2019-05-28 | 北京以萨技术股份有限公司 | 一种基于单摄像头的活体检测方法 |
CN110414371A (zh) * | 2019-07-08 | 2019-11-05 | 西南科技大学 | 一种基于多尺度核卷积神经网络的实时人脸表情识别方法 |
-
2019
- 2019-07-12 CN CN201910634329.6A patent/CN110363137A/zh not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190080012A1 (en) * | 2017-09-12 | 2019-03-14 | Yu Huang | Method and system for providing a highly-personalized recommendation engine |
CN108319938A (zh) * | 2017-12-31 | 2018-07-24 | 奥瞳系统科技有限公司 | 用于高性能人脸识别系统的高质量训练数据准备系统 |
CN108229442A (zh) * | 2018-02-07 | 2018-06-29 | 西南科技大学 | 基于ms-kcf的图像序列中人脸快速稳定检测方法 |
CN109344731A (zh) * | 2018-09-10 | 2019-02-15 | 电子科技大学 | 基于神经网络的轻量级的人脸识别方法 |
CN109815810A (zh) * | 2018-12-20 | 2019-05-28 | 北京以萨技术股份有限公司 | 一种基于单摄像头的活体检测方法 |
CN110414371A (zh) * | 2019-07-08 | 2019-11-05 | 西南科技大学 | 一种基于多尺度核卷积神经网络的实时人脸表情识别方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111680598A (zh) * | 2020-05-29 | 2020-09-18 | 北京百度网讯科技有限公司 | 人脸识别模型处理方法、装置、设备和存储介质 |
CN111680598B (zh) * | 2020-05-29 | 2023-09-12 | 北京百度网讯科技有限公司 | 人脸识别模型处理方法、装置、设备和存储介质 |
CN112633065A (zh) * | 2020-11-19 | 2021-04-09 | 特斯联科技集团有限公司 | 一种基于数据增强的人脸检测方法、系统、存储介质及终端 |
CN112712068A (zh) * | 2021-03-19 | 2021-04-27 | 腾讯科技(深圳)有限公司 | 一种关键点检测方法、装置、电子设备及存储介质 |
CN112712068B (zh) * | 2021-03-19 | 2021-07-06 | 腾讯科技(深圳)有限公司 | 一种关键点检测方法、装置、电子设备及存储介质 |
CN113139444A (zh) * | 2021-04-06 | 2021-07-20 | 上海工程技术大学 | 基于MobileNetV2的时空注意力口罩佩戴实时检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110363137A (zh) | 人脸检测优化模型、方法、系统及其电子设备 | |
CN110427917B (zh) | 用于检测关键点的方法和装置 | |
CN102547123B (zh) | 基于人脸识别技术的自适应视线跟踪系统及其跟踪方法 | |
CN103718175B (zh) | 检测对象姿势的设备、方法和介质 | |
CN109344908A (zh) | 用于生成模型的方法和装置 | |
CN103593654B (zh) | 一种人脸定位的方法与装置 | |
CN109934181A (zh) | 文本识别方法、装置、设备和计算机可读介质 | |
CN105493154A (zh) | 用于确定增强现实环境中的平面的范围的系统和方法 | |
CN108875932A (zh) | 图像识别方法、装置和系统及存储介质 | |
EP1872334A2 (en) | Method and system for the detection and the classification of events during motion actions | |
CN109446889A (zh) | 基于孪生匹配网络的物体追踪方法及装置 | |
CN111144325A (zh) | 变电站电力设备的故障识别定位方法、装置及设备 | |
CN109145828A (zh) | 用于生成视频类别检测模型的方法和装置 | |
CN103105924B (zh) | 人机交互方法和装置 | |
CN109214280A (zh) | 基于街景的店铺识别方法、装置、电子设备及存储介质 | |
CN110472460A (zh) | 人脸图像处理方法及装置 | |
CN108961330A (zh) | 基于图像的猪体长测算方法及系统 | |
CN108062544A (zh) | 用于人脸活体检测的方法和装置 | |
CN110490181A (zh) | 一种基于ocr识别技术的表单填写审核方法、装置、设备以及计算机存储介质 | |
CN112446350B (zh) | 一种改进YOLOv3复杂棉田背景下棉花检测方法 | |
CN106845416A (zh) | 障碍物识别方法及装置、计算机设备及可读介质 | |
CN109766796A (zh) | 一种面向密集人群的深度行人检测方法 | |
CN110110663A (zh) | 一种基于人脸属性的年龄识别方法及系统 | |
CN112307864A (zh) | 用于确定目标对象的方法、装置、人机交互系统 | |
CN109272543A (zh) | 用于生成模型的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20191022 |