CN110717424B - 一种基于预处理机制的实时极小人脸检测方法 - Google Patents
一种基于预处理机制的实时极小人脸检测方法 Download PDFInfo
- Publication number
- CN110717424B CN110717424B CN201910918034.1A CN201910918034A CN110717424B CN 110717424 B CN110717424 B CN 110717424B CN 201910918034 A CN201910918034 A CN 201910918034A CN 110717424 B CN110717424 B CN 110717424B
- Authority
- CN
- China
- Prior art keywords
- face
- region
- interest
- network
- minl
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明主要涉及人工智能领域中目标检测问题。针对复杂环境下极小人脸问题,提出了一种级联式人脸检测方法,该方法主要由两个神经网络和一个预处理机制构成。首先通过使用第一个神经网络,即SSD先将行人置信框进行检测,然后将区域传入预处理机制,该机制通过置信框的长宽自动预测人脸的感兴趣区域,并将感兴趣区域进行图像金字塔处理,由于第二个网络的输入尺寸是固定的,因此该算法使得第二个人脸检测网络可以检测不同大小的人脸。本发明提出的方法能够准确有效地检测出许多复杂环境下的极小人脸,并可以潜在地使用和整合于公共安全检测和人脸识别等领域中。
Description
技术领域
本发明主要涉及人工智能领域中目标检测问题,具体涉及一种基于预处理机制的实时极小人脸检测方法。
背景技术
在图像检测中,小目标的检测长久以来都是一个具有挑战性的课题,极小人脸检测也是被广泛关注的研究热点。目前常用的检测方法有:传统图像处理方法、神经网络等。使用通用的人脸模板来检测人脸是传统方法的主要研究领域之一。这种方法一般是通过计算被检测区域与模板之间的相关系数来确定是否存在人脸,但是极小人脸的特征不同于大人脸的特征且微小人脸仅包含十分有限的可获取信息,这些方法无法获得令人满意的检测效果。而神经网络方法也被广泛运用,但是基于神经网络的检测算法往往被设计为一个单一的深层卷积神经网络结构。但当人脸尺寸较小时时,所提取到的特征会在浅层的卷积层小于1像素,这也意味着在深层特征中每个像素包含的无关信息往往比真正感兴趣区域的信息会多很多,因此这些神经网络的方法在目标较小的情况下无法达到令人满意的效果。然而,单一浅层卷积神经网络无法获得足够的目标特征信息,因此级联框架被广泛应用于人脸检测的任务中。级联框架可以完成由粗到细的检测任务。也就是说,这种方法可以有效地缓解浅卷积层的信息丢失问题。
发明内容
为了解决极小人脸检测问题,本发明提出了一种基于两个独立神经网络和预处理机制的级联式人脸检测框架,具体步骤如下:
一种基于预处理机制的实时极小人脸检测方法,包括以下步骤:
第一步,采用SSD作为行人检测器,将图片传入该SSD得到行人的置信框的坐标值;
第二步,根据行人检测器得到的置信框的坐标值,所述坐标值为感兴趣区域左上角坐标和右下角坐标,预估人脸所在的区域作为感兴趣区域,左上角坐标为(x1,y1),右下角坐标为(x2,y2),设置阈值T为0.9,通过θ=(1-T)/2公式计算选择算子θ,感兴趣区域的高度H为H=θ×(x2-x1),则感兴趣区域的左上角坐标为(x1+H,y1),右下角坐标为(x2-H,y1+(x2-x1)-2H);
第三步,将感兴趣区域进行图像金字塔算法,尺寸阈值设置为12,缩放比例factor设置为0.7,同时计数变量count初始化为0,W,H分别是感兴趣区域的宽和高,minl是宽和高两个值中较小的值,如果minl小于12,则minl等于12,计算比例minl=minl*m;
第四步,当完成第三步,计算缩放倍数scales=scales+m*factorcount,对感兴趣区域图像进行缩放,缩放倍数为scales,minl=minl*factor,计数器count=count+1,并重复该步,直到minl>12,所缩放的感兴趣区域的集合即为图像金字塔;
第五步,最后,将图像金字塔传入第二个神经网络,该网络是多任务的检测器,分别为人脸识别任务和置信框检测任务,人脸识别任务的损失函数为Li=-(yi logpi+(1-yi)(1-logpi)),其中pi是计算出是某类的概率,yi是网络所预测的种类,yi仅能取0或1,0代表不是人脸,1代表是人脸,该网络的置信框检测任务的损失函数为 是网络所预测的坐标,bi是真实置信框的坐标;使用四个值来表示一个置信框,分别为左上角坐标,置信框的宽度和长度,因此/>和bi均是四维向量;该网络的总损失函数是人脸识别任务损失函数和置信框检测任务损失函数的加权和,公式为Lossi=t1×Li+t2×Gi,Li和Gi分别是人脸分类和置信框回归损失函数;t1和t2是每一项任务的全职,t1被设置为0.3而t2被设置为0.7,该检测器卷积层步长全部为1,池化层步长全部为2。
本发明具有以下有益效果
(1)本发明采用感兴趣区域作为人脸检测的预处理,可以大大的减少误检率,极大程度提高精度并且提升在复杂环境下的检测效果。
(2)同时本发明的检测框架是两个网络的级联式,可以完成由粗到细的检测,该发明可以潜在的应用在公共安全,如当发现远距离有可疑目标可以迅速切换成长焦镜头进行对准。
附图说明
图1为本发明的整体框架示意图;
图2本发明在不同情况下的人脸检测结果:(a)身体有一部分被遮挡的人脸检测结果;(b)复杂背景且身体部位被遮挡的人脸检测结果;(c)在良好光照下人脸及身体都有一定程度遮挡的人脸检测结果;(d)在极弱光照下人脸检测结果;图3各个方法检测人脸的结果。
具体实施方式
实施例1
(1)首先将图像传入SSD,本发明使用SSD作为行人检测器检测行人的坐标值。
(2)根据行人检测器得到的坐标值(左上角坐标和右下角坐标)预估人脸所在的区域作为感兴趣区域,左上角坐标为(x1,y1),右下角坐标为(x2,y2),设置阈值T为0.9,通过θ=(1-T)/2公式计算选择算子θ,感兴趣区域的高度H为H=θ×(x2-x1),则感兴趣区域的左上角坐标为(x1+H,y1),右下角坐标为(x2-H,y1+(x2-x1)-2H)。
(3)将感兴趣区域进行图像金字塔算法,尺寸阈值设置为12,缩放比例factor设置为0.7,同时计数变量count初始化为0。W,H分别是感兴趣区域的宽和高,minl是宽和高两个值中较小的值,如果minl小于12,则minl等于12。计算比例minl=minl*m。
(4)当完成上一步,计算缩放倍数scales=scales+m*factorcount,对感兴趣区域图像进行缩放,缩放倍数为scales,minl=minl*factor,计数器count=count+1。并重复该步,直到minl>12。所缩放的感兴趣区域的集合即为图像金字塔。
(5)最后将图像金字塔传入第二个神经网络,该网络是多任务的检测器,网络结构如图1的人脸检测器所示,所包含的任务分别为人脸识别任务和置信框检测任务。通过该网络将人脸区域进行准确的检测。
实施例2
采用Liu等人提出SSD进行目标检测,该方法采用特征分层提取,每一层都进行置信框检测和分类操作。
具体方法选自文献:Liu,W.;Anguelov,D.;Erhan,D.;Szegedy,C.;Reed,S.;Fu,C.Y.,et al.SSD:Single Shot MultiBox Detector.Presented at the EuropeanConference on Computer Vision,Amsterdam,Netherlands,October 8-October 16,2016,pp.21-37
实施例3
Hu等人提出HR,该网络结构对不同尺度的人脸使用不同的检测器,但是特征均是从相同的神经网络中进行提取的,另外该网络的输出是对全图进行了缩放操作。
具体方法选自文献:Hu,P.;Ramanan,D.Finding tiny faces.Presented at theIEEE Conference on Computer Vision and Pattern Recognition(CVPR),Honolulu,USA,2017,pp.1522-1530.
实施例4
VJ法是由Viola和Jones于2004年所提出的,该方法首先提取图像的Harr-like特征,将这些特征传入Adaboost分类器,进行人脸的检测。
具体方法选自文献:Viola,P.;Jones,M.J.Robust Real-Time FaceDetection.International Journal of Computer Vision,2004,volume 57(2),pp.137-154.
实施例5
Zhang等人提出了一个级联式的神经网络框架,该框架由三个子网络构成,完成由粗到细的检测,该框架是多任务的,分别为人脸分类、置信框检测、关键点提取三项任务。该网络框架的名称为MTCNN。
具体方法选自文献:Zhang,K.;Zhang,Z.;Li,Z.;Qiao,Y.Joint face detectionand alignment using multitask cascaded convolutional networks.IEEE SignalProcessing Letters,2016,volume 23(10),pp.1499-1503.
实施例6
Min等人提出MMSC方法,该方法首先使用梯度直方图检测图像中每个像素的特征,将这些特征传入支持向量机进行分类,以此检测到行人的置信框,以置信框的固定比例将人脸区域划出来,该方法的人脸检测是基于行人检测的,没有对人脸区域进行进一步的判断。
具体方法选自文献:Min,W.D.;Fan,M.D.;Li,J.;Han,Q.Real-time facerecognition based on face pre-identification detection and multi-scaleclassification.IET Computer Vision,2018,volume 13(2),pp.165-171.
由于小人脸数据集的缺失,本发明在自建数据集上进行了测试,该数据集包括1370张图片,2450张人脸,其中562张人脸的尺寸大于20×20,其余所有人脸均小于该尺寸,将上述实施例1-6进行对比得到相应的得到以下对比数据。
表1.不同方法MIoU的结果
表2.F1值在不同方法的测试结果
表3.不同方法的检测速度
从上表数据可以看出,本发明采用的检测方法与实例2-6其他检测方法相比,在复杂环境下,如光线不充足,遮挡严重等缺点。具有检测速度快、置信框著准确、检测精准等优势。
Claims (1)
1.一种基于预处理机制的实时极小人脸检测方法,其特征在于,包括以下步骤:
第一步,采用SSD作为行人检测器,将图片传入该SSD得到行人的置信框的坐标值;
第二步,根据行人检测器得到的置信框的坐标值,所述坐标值为感兴趣区域左上角坐标和右下角坐标,预估人脸所在的区域作为感兴趣区域,左上角坐标为(x1,y1),右下角坐标为(x2,y2),设置阈值T为0.9,通过θ=(1-T)/2公式计算选择算子θ,感兴趣区域的高度H为H=θ×(x2-x1),则感兴趣区域的左上角坐标为(x1+H,y1),右下角坐标为(x2-H,y1+(x2-x1)-2H);
第三步,将感兴趣区域进行图像金字塔算法,尺寸阈值设置为12,缩放比例factor设置为0.7,同时计数变量count初始化为0,W,H分别是感兴趣区域的宽和高,minl是宽和高两个值中较小的值,如果minl小于12,则minl等于12,计算比例minl=minl*m;
第四步,当完成第三步,计算缩放倍数scales=scales+m*factorcount,对感兴趣区域图像进行缩放,缩放倍数为scales,minl=minl*factor,计数器count=count+1,并重复该步,直到minl>12,所缩放的感兴趣区域的集合即为图像金字塔;
第五步,最后,将图像金字塔传入第二个神经网络,该网络是多任务的检测器,分别为人脸识别任务和置信框检测任务,人脸识别任务的损失函数为Li=-(yilogpi+(1-yi)(1-logpi)),其中pi是计算出是某类的概率,yi是网络所预测的种类,yi仅能取0或1,0代表不是人脸,1代表是人脸,该网络的置信框检测任务的损失函数为 是网络所预测的坐标,bi是真实置信框的坐标;使用四个值来表示一个置信框,分别为左上角坐标,置信框的宽度和长度,因此/>和bi均是四维向量;该网络的总损失函数是人脸识别任务损失函数和置信框检测任务损失函数的加权和,公式为Lossi=t1×Li+t2×Gi,Li和Gi分别是人脸分类和置信框回归损失函数;t1和t2是每一项任务的全职,t1被设置为0.3而t2被设置为0.7,该检测器卷积层步长全部为1,池化层步长全部为2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910918034.1A CN110717424B (zh) | 2019-09-26 | 2019-09-26 | 一种基于预处理机制的实时极小人脸检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910918034.1A CN110717424B (zh) | 2019-09-26 | 2019-09-26 | 一种基于预处理机制的实时极小人脸检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110717424A CN110717424A (zh) | 2020-01-21 |
CN110717424B true CN110717424B (zh) | 2023-06-30 |
Family
ID=69210911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910918034.1A Active CN110717424B (zh) | 2019-09-26 | 2019-09-26 | 一种基于预处理机制的实时极小人脸检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110717424B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274981B (zh) * | 2020-02-03 | 2021-10-08 | 中国人民解放军国防科技大学 | 目标检测网络构建方法及装置、目标检测方法 |
CN111310710A (zh) * | 2020-03-03 | 2020-06-19 | 平安科技(深圳)有限公司 | 人脸检测方法与系统 |
WO2021237555A1 (zh) * | 2020-05-28 | 2021-12-02 | 深圳市大疆创新科技有限公司 | 图像处理的方法、装置、可移动平台以及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902631A (zh) * | 2019-03-01 | 2019-06-18 | 北京视甄智能科技有限公司 | 一种基于图像金字塔的快速人脸检测方法 |
CN110046595A (zh) * | 2019-04-23 | 2019-07-23 | 福州大学 | 一种基于级联式多尺度的密集人脸检测方法 |
CN110263774A (zh) * | 2019-08-19 | 2019-09-20 | 珠海亿智电子科技有限公司 | 一种人脸检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2427911C1 (ru) * | 2010-02-05 | 2011-08-27 | Фирма "С1 Ко., Лтд." | Способ обнаружения лиц на изображении с применением каскада классификаторов |
-
2019
- 2019-09-26 CN CN201910918034.1A patent/CN110717424B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902631A (zh) * | 2019-03-01 | 2019-06-18 | 北京视甄智能科技有限公司 | 一种基于图像金字塔的快速人脸检测方法 |
CN110046595A (zh) * | 2019-04-23 | 2019-07-23 | 福州大学 | 一种基于级联式多尺度的密集人脸检测方法 |
CN110263774A (zh) * | 2019-08-19 | 2019-09-20 | 珠海亿智电子科技有限公司 | 一种人脸检测方法 |
Non-Patent Citations (2)
Title |
---|
Weidong Min et al.Real-time face recognition based on pre-identification and multi-scale classification.《Review by Valley Technologies》.2018,1-10. * |
刘宏哲等.基于单一神经网络的多尺度人脸检测.《电子与信息学报》.2018,第40卷(第11期),2598-2605. * |
Also Published As
Publication number | Publication date |
---|---|
CN110717424A (zh) | 2020-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108288033B (zh) | 一种基于随机蕨融合多特征的安全帽检测方法 | |
CN110717424B (zh) | 一种基于预处理机制的实时极小人脸检测方法 | |
Seow et al. | Neural network based skin color model for face detection | |
JP6532317B2 (ja) | 物体追尾装置、物体追尾方法及びプログラム | |
Guo et al. | Improved hand tracking system | |
Jiang et al. | Multiple pedestrian tracking using colour and motion models | |
CN109902576B (zh) | 一种头肩图像分类器的训练方法及应用 | |
Wang et al. | Sface: An efficient network for face detection in large scale variations | |
Mendes et al. | Movement detection and moving object distinction based on optical flow | |
Saif et al. | Real time vision based object detection from UAV aerial images: a conceptual framework | |
Nandhini et al. | SIFT algorithm-based Object detection and tracking in the video image | |
Kompella et al. | Detection and avoidance of semi-transparent obstacles using a collective-reward based approach | |
Sirmacek et al. | Automatic crowd analysis from airborne images | |
Padmashini et al. | Vision based algorithm for people counting using deep learning | |
Fung et al. | Effective moving cast shadow detection for monocular color traffic image sequences | |
Zakaria et al. | Particle swarm optimization and support vector machine for vehicle type classification in video stream | |
He et al. | A Pedestrian Detection Method Using SVM and CNN Multistage Classification. | |
Ó Conaire et al. | Detection thresholding using mutual information | |
Sial et al. | Spatio-temporal RGBD cuboids feature for human activity recognition | |
Jadhav et al. | Implementing a real time human detection and monitoring social distancing for Covid-19 using VJ algorithm and OpenCV | |
Yildirim et al. | Gender classification based on binary haar cascade | |
Shruthi et al. | Non-parametric histogram based skin modeling for skin detection | |
Kim et al. | Background modeling using adaptive properties of hybrid features | |
Song et al. | Object tracking with dual field-of-view switching in aerial videos | |
Kerdvibulvech | Hybrid model of human hand motion for cybernetics application |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |