CN103927519A - 一种实时人脸检测与过滤方法 - Google Patents
一种实时人脸检测与过滤方法 Download PDFInfo
- Publication number
- CN103927519A CN103927519A CN201410148550.8A CN201410148550A CN103927519A CN 103927519 A CN103927519 A CN 103927519A CN 201410148550 A CN201410148550 A CN 201410148550A CN 103927519 A CN103927519 A CN 103927519A
- Authority
- CN
- China
- Prior art keywords
- face
- image information
- image
- facial image
- human face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种实时人脸检测与过滤方法,包括以下步骤:前景检测;确定人脸检测区域;人脸检测,若检测到人脸,则提取人脸图像信息,并更新人脸图像信息链表后输出人脸图像,若未检测到人脸,则直接输出人脸图像;本发明的有益效果为:结合前景检测的方法确定检测区域,排除了大部分无需检测的区域,提高了检测效率,并降低了误检率,充分利用视频序列的空间信息和时间信息,能从检测出的一个人的多张人脸图像中过滤出一张比较清晰的人脸图像。
Description
技术领域
本发明涉及一种实时人脸检测与过滤方法。
背景技术
人脸识别技术在智能安防领域得到了越来越多的应用,人脸检测是自动人脸识别系统的第一步,也是一个关键环节。人脸检测技术就是从任意一幅给定的图像或者视频序列,采用一定的策略对其进行搜索以确定其中是否含有人脸,如果是则返回人脸的相关信息,比如位置、大小和姿态。在安防领域,监控摄像头在24小时全天监控中,大部分区域是固定不变的,这些区域并不包含人脸图像;此外,当人出现在监控区域内,摄像头可能连续检测到一个人的多张人脸图像,为了选择一张比较清晰的人脸图像,需要对多张人脸图进行过滤。常用的人脸检测是在整帧图像上进行搜索,比较耗时,而且容易产生误检。
发明内容
本发明的目的是提供一种实时人脸检测与过滤方法,以克服目前现有技术存在的上述不足。
本发明的目的是通过以下技术方案来实现:
一种实时人脸检测与过滤方法,包括以下步骤:
(1) 前景检测:提取当前帧的前景区域,并二值化前景区域图像,然后去除碎片区域,填充空洞区域;
(2) 确定人脸检测区域:将二值化后的前景区域分别向水平方向和垂直方向进行直方图投影,进一步去除前景图像左右两边及上下两边噪声的干扰;
(3)人脸检测:利用级联分类器算法进行人脸检测,若检测到人脸,并提取人脸图像信息I:人脸的位置P、大小S、人脸数据Data、检测到的次数nDetect、连续丢失检测的次数nLost和人脸的清晰度Q,并对人脸图像进行清晰度评价,然后执行步骤(4);若未检测到人脸,则直接执行步骤(5);
(4)更新人脸图像信息链表:若人脸图像信息链表为空值,则将人脸图像信息I加入人脸图像信息链表;若人脸图像信息链表存在N个人脸图像 ,则按以下步骤更新人脸图像信息列表:a)运用面积重叠法将I的人脸位置与人脸图像信息链表中人脸图像的人脸位置进行比较,若人脸图像信息链表中存在人脸图像与I的人脸图像为同一个人的人脸,则将人脸图像信息链表中的的人脸位置更新为I的人脸位置,同时将检测到的次数加1,将连续丢失检测的次数设置为0;若人脸图像信息I是新的一个人的人脸,将I加入人脸图像信息链表,然后执行步骤(5);b)比较人脸图像I和的清晰度,若I的清晰度大于的清晰度,则更新的人脸图像数据为I的人脸图像数据;反之,不更新人脸图像数据;以及
(5)输出人脸图像:遍历人脸图像信息链表,若人脸图像的信息在步骤(4)中未发生更新,则将连续丢失检测的次数加1,若满足:
,则将输出,并从人脸图像信息链表中删除。
其中,,分别为设定的检测到同一个人的人脸次数和连续丢失检测帧数的阈值。
进一步的,步骤1)中所述的前景检测的方法为帧间差分法,具体公式如下:
其中,为前景图像,为像素点坐标,为当前帧,为前一帧,为二值化阈值,F 为二值化前景图像的像素值。
若当前图像坐标上的像素值与上一帧图像中上的像素值的差异大于某一阈值时,则当前像素被认为是前景,否则为背景。
进一步的,所述二值化阈值采用大律法(OSTU)自动选取。
可选择的,所述二值化阈值采用人为设定的值。
进一步的,步骤(1)中所述去除碎片区域的方法是形态学方法。
进一步的,步骤2)中所述将二值化后的前景区域分别向水平方向和垂直方向进行直方图投影,其具体运算公式如下:
其中,,分别为水平方向和垂直方向的直方图,分别为人脸图像的宽和高,为二值化前景图像的像素值 。
设检测区域左上角的坐标为 ,右下角的坐标为 ,则检测区域各坐标可表示为:
其中,T为投影阈值。
进一步的,步骤(3)中对人脸图像进行清晰度评价的具体方法如下:
第一步,利用Sobel算子计算人脸图像的梯度幅值。
其中,和分别代表水平方向和垂直方向的Sobel算子。分别用 和 对图像进行卷积计算,得到水平方向和垂直方向的梯度图 、,那么梯度幅值为:
第二步,计算人脸图像的梯度方差:
其中,为梯度幅值图像的平均梯度值,梯度方差越大,说明图像越锐化
本发明的有益效果为:结合前景检测的方法确定检测区域,排除了大部分无需检测的区域,提高了检测效率,并降低了误检率,充分利用视频序列的空间信息和时间信息,能从检测出的一个人的多张人脸图像中过滤出一张比较清晰的人脸图像。
附图说明
下面根据附图对本发明作进一步详细说明。
图1是本发明实施例所述的实时人脸检测和过滤方法的流程图;
图2是人脸检测步骤的流程示意图。
具体实施方式
如图1-2所示,本发明实施例所述的一种实时人脸检测与过滤方法,具体地包括以下步骤:
1、前景检测。利用帧间差分的方法提取当前帧的前景区域,然后利用形态学方法去除碎片区域,填充空洞区域。
其中,为前景图像,为像素点坐标,为当前帧,为前一帧,为二值化阈值,该二值化阈值采用大律法(OSTU)自动选取或人为设定。
2、确定人脸检测区域。将二值化后的前景区域分别向水平方向和垂直方向进行直方图投影。
其中,,分别为水平方向和垂直方向的直方图,分别为人脸图像的宽和高,为二值化前景图像的像素值 。
设检测区域左上角的坐标为,右下角的坐标为。
其中,T为投影阈值,设为10个像素点,这样做的目的是进一步去除前景图像左右两边及上下两边噪声的干扰。
3、人脸检测。利用Viola-Jones提出的级联分类器算法进行人脸检测,若检测到人脸,则提取人脸图像信息I(包括人脸的位置(P),大小(S),人脸数据(Data),检测到的次数(nDetect),连续丢失检测的次数(nLost), 人脸的清晰度(Q)),若没有人脸则转至5。
利用haar特征实现了一个正面人脸检测分类器,将待检测图像送入分类器,若待检测子窗口能够通过所有的分类器,则认为是人脸,反之,若被任意一个分类器拒绝,则认为是非人脸。
本发明中人脸图像的清晰度主要利用梯度方差来评价,具体过程如下:
a) 利用Sobel算子计算人脸图像的梯度幅值。
其中和分别代表水平方向和垂直方向的Sobel算子。分别用和对图像进行卷积计算,得到水平方向和垂直方向的梯度图、,那么梯度幅值为
b) 计算人脸图像的梯度方差:
其中,为梯度幅值图像的平均梯度值,梯度方差越大,说明图像越锐化。
4、更新人脸图像信息链表。若人脸图像信息链表为NULL(空值),则将I加入人脸图像信息链表;若人脸图像信息链表存在N个人脸图像,则按以下步骤更新人脸图像信息列表:
a) 分别将I的人脸位置与人脸图像信息链表中人脸图像的人脸位置进行比较,并选出与I重叠面积最大的人脸图像,计算重叠面积与人脸图像I的面积的比值,若比值大于阈值(人为设定为0.4),则认为I和是属于同一个人的人脸,并将的人脸位置更新为,同时将(检测到的次数)加1,(连续丢失检测的次数)置为0;若比值小于,则认为人脸图像I是新的一个人的人脸,将I加入人脸图像信息链表,转至步骤5。
b) 比较人脸图像I和的清晰度,若,则更新的人脸图像数据为I的人脸图像数据;反之,不更新人脸图像数据。
5、输出人脸图像。遍历人脸图像信息链表,若人脸图像的信息在步骤4中没有发生更新,则加1,若满足:
其中,,分别为设定的检测到同一个人的人脸次数和连续丢失检测帧数的阈值。则将输出,并从人脸图像信息链表中删除。
非人脸图像在一段时间的连续帧数内,在视频中的同一位置误检的次数大部分为一次或者两次,而人脸图像则会连续检测到多次,因此检测帧数阈值设为5帧;在连续若干帧数内丢失检测某人的人脸,则判为该人已离开摄像头拍摄范围,此时输出人脸图像,丢失检测帧数阈值设为75帧。
本发明不局限于上述最佳实施方式,任何人在本发明的启示下都可得出其他各种形式的产品,但不论在其形状或结构上作任何变化,凡是具有与本申请相同或相近似的技术方案,均落在本发明的保护范围之内。
Claims (7)
1.一种实时人脸检测与过滤方法,其特征在于,包括以下步骤:
(1) 前景检测:提取当前帧的前景区域,并二值化前景区域图像,然后去除碎片区域,填充空洞区域;
(2) 确定人脸检测区域:将二值化后的前景区域分别向水平方向和垂直方向进行直方图投影,进一步去除前景图像左右两边及上下两边噪声的干扰;
(3)人脸检测:利用级联分类器算法进行人脸检测,若检测到人脸,并提取人脸图像信息I:人脸的位置P、大小S、人脸数据Data、检测到的次数nDetect、连续丢失检测的次数nLost和人脸的清晰度Q,并对人脸图像进行清晰度评价,然后执行步骤(4);若未检测到人脸,则直接执行步骤(5);
(4)更新人脸图像信息链表:若人脸图像信息链表为空值,则将人脸图像信息I加入人脸图像信息链表;若人脸图像信息链表存在N个人脸图像 ,则按以下步骤更新人脸图像信息列表:a)运用面积重叠法将I的人脸位置与人脸图像信息链表中人脸图像的人脸位置进行比较,若人脸图像信息链表中存在人脸图像与I的人脸图像为同一个人的人脸,则将人脸图像信息链表中的的人脸位置更新为I的人脸位置,同时将检测到的次数加1,将连续丢失检测的次数设置为0;若人脸图像信息I是新的一个人的人脸,将I加入人脸图像信息链表,然后执行步骤(5);b)比较人脸图像I和的清晰度,若I的清晰度大于的清晰度,则更新的人脸图像数据为I的人脸图像数据;反之,不更新人脸图像数据;以及
(5)输出人脸图像:遍历人脸图像信息链表,若人脸图像的信息在步骤(4)中未发生更新,则将连续丢失检测的次数加1,若满足:
,则将输出,并从人脸图像信息链表中删除;
其中,,分别为设定的检测到同一个人的人脸次数和连续丢失检测帧数的阈值。
2.根据权利要求1所述的一种实时人脸检测与过滤方法,其特征在于:步骤1)中,所述的前景检测的方法为帧间差分法,具体公式如下:
其中,为前景图像,为像素点坐标,为当前帧,为前一帧,为二值化阈值,F 为二值化前景图像的像素值;
若当前图像坐标上的像素值与上一帧图像中上的像素值的差异大于某一阈值时,则当前像素被认为是前景,否则为背景。
3.根据权利要求2所述的一种实时人脸检测与过滤方法,其特征在于:所述二值化阈值采用大律法(OSTU)自动选取。
4.根据权利要求2所述的一种实时人脸检测与过滤方法,其特征在于:所述二值化阈值采用人为设定的值。
5.根据权利要求3或4所述的一种实时人脸检测与过滤方法,其特征在于:步骤(1)中,所述去除碎片区域的方法是形态学方法。
6.根据权利要求3或4所述的一种实时人脸检测与过滤方法,其特征在于:步骤2)中,所述将二值化后的前景区域分别向水平方向和垂直方向进行直方图投影,其具体运算公式如下:
其中,,分别为水平方向和垂直方向的直方图,分别为人脸图像的宽和高,为二值化前景图像的像素值 ;
设检测区域左上角的坐标为 ,右下角的坐标为 ,则检测区域各坐标可表示为:
其中,T为投影阈值。
7.根据权利要求3或4所述的一种实时人脸检测与过滤的方法,其特征在于:步骤(3)中,对人脸图像进行清晰度评价的具体方法如下:
第一步,利用Sobel算子计算人脸图像的梯度幅值;
其中,和分别代表水平方向和垂直方向的Sobel算子;分别用 和 对图像进行卷积计算,得到水平方向和垂直方向的梯度图 、,那么梯度幅值为:
第二步,计算人脸图像的梯度方差:
其中,为梯度幅值图像的平均梯度值,梯度方差越大,说明图像越锐化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410148550.8A CN103927519A (zh) | 2014-04-14 | 2014-04-14 | 一种实时人脸检测与过滤方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410148550.8A CN103927519A (zh) | 2014-04-14 | 2014-04-14 | 一种实时人脸检测与过滤方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103927519A true CN103927519A (zh) | 2014-07-16 |
Family
ID=51145735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410148550.8A Pending CN103927519A (zh) | 2014-04-14 | 2014-04-14 | 一种实时人脸检测与过滤方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103927519A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550635A (zh) * | 2015-12-03 | 2016-05-04 | 小米科技有限责任公司 | 人脸检测方法及装置 |
CN106650675A (zh) * | 2016-12-28 | 2017-05-10 | 天津天地伟业生产力促进有限公司 | 一种基于嵌入式系统的实时人脸检测算法 |
CN107103265A (zh) * | 2016-02-19 | 2017-08-29 | 合肥君正科技有限公司 | 一种评估人脸检测算法的方法及装置 |
CN109002801A (zh) * | 2018-07-20 | 2018-12-14 | 燕山大学 | 一种基于视频监控的人脸遮挡检测方法及系统 |
CN109063685A (zh) * | 2018-08-28 | 2018-12-21 | 成都盯盯科技有限公司 | 人脸图样识别方法、装置、设备及存储介质 |
CN109800704A (zh) * | 2019-01-17 | 2019-05-24 | 深圳英飞拓智能技术有限公司 | 抓拍视频人脸检测的方法及装置 |
CN114040155A (zh) * | 2021-10-31 | 2022-02-11 | 中汽院(重庆)汽车检测有限公司 | 一种用于车辆全景环视图像测试系统 |
CN114442624A (zh) * | 2022-01-21 | 2022-05-06 | 美的集团(上海)有限公司 | 一种机器人的回充控制方法、装置及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080304714A1 (en) * | 2007-06-07 | 2008-12-11 | Juwei Lu | Pairwise Feature Learning With Boosting For Use In Face Detection |
CN102129644A (zh) * | 2011-03-08 | 2011-07-20 | 北京理工大学 | 一种具有受众特性感知与统计功能的智能广告系统 |
CN102496009A (zh) * | 2011-12-09 | 2012-06-13 | 北京汉邦高科数字技术股份有限公司 | 智能银行视频监控中的多人脸跟踪方法 |
CN103605971A (zh) * | 2013-12-04 | 2014-02-26 | 深圳市捷顺科技实业股份有限公司 | 一种捕获人脸图像的方法及装置 |
-
2014
- 2014-04-14 CN CN201410148550.8A patent/CN103927519A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080304714A1 (en) * | 2007-06-07 | 2008-12-11 | Juwei Lu | Pairwise Feature Learning With Boosting For Use In Face Detection |
CN102129644A (zh) * | 2011-03-08 | 2011-07-20 | 北京理工大学 | 一种具有受众特性感知与统计功能的智能广告系统 |
CN102496009A (zh) * | 2011-12-09 | 2012-06-13 | 北京汉邦高科数字技术股份有限公司 | 智能银行视频监控中的多人脸跟踪方法 |
CN103605971A (zh) * | 2013-12-04 | 2014-02-26 | 深圳市捷顺科技实业股份有限公司 | 一种捕获人脸图像的方法及装置 |
Non-Patent Citations (1)
Title |
---|
J.L.PECH-PACHECO等: ""Diatom autofocusing in brightfield microscopy: a comparative study"", 《PROCEEDINGS 15TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550635A (zh) * | 2015-12-03 | 2016-05-04 | 小米科技有限责任公司 | 人脸检测方法及装置 |
CN105550635B (zh) * | 2015-12-03 | 2019-04-16 | 小米科技有限责任公司 | 人脸检测方法及装置 |
CN107103265A (zh) * | 2016-02-19 | 2017-08-29 | 合肥君正科技有限公司 | 一种评估人脸检测算法的方法及装置 |
CN106650675A (zh) * | 2016-12-28 | 2017-05-10 | 天津天地伟业生产力促进有限公司 | 一种基于嵌入式系统的实时人脸检测算法 |
CN106650675B (zh) * | 2016-12-28 | 2020-01-21 | 天地伟业技术有限公司 | 一种基于嵌入式系统的实时人脸检测方法 |
CN109002801A (zh) * | 2018-07-20 | 2018-12-14 | 燕山大学 | 一种基于视频监控的人脸遮挡检测方法及系统 |
CN109002801B (zh) * | 2018-07-20 | 2021-01-15 | 燕山大学 | 一种基于视频监控的人脸遮挡检测方法及系统 |
CN109063685A (zh) * | 2018-08-28 | 2018-12-21 | 成都盯盯科技有限公司 | 人脸图样识别方法、装置、设备及存储介质 |
CN109800704A (zh) * | 2019-01-17 | 2019-05-24 | 深圳英飞拓智能技术有限公司 | 抓拍视频人脸检测的方法及装置 |
CN114040155A (zh) * | 2021-10-31 | 2022-02-11 | 中汽院(重庆)汽车检测有限公司 | 一种用于车辆全景环视图像测试系统 |
CN114442624A (zh) * | 2022-01-21 | 2022-05-06 | 美的集团(上海)有限公司 | 一种机器人的回充控制方法、装置及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103927519A (zh) | 一种实时人脸检测与过滤方法 | |
CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
JP6549797B2 (ja) | 通行人の頭部識別方法及びシステム | |
Lai et al. | Image-based vehicle tracking and classification on the highway | |
CN103116746B (zh) | 一种基于多特征融合技术的视频火焰探测方法 | |
CN102136059B (zh) | 一种基于视频分析的烟雾检测方法 | |
CN105187785B (zh) | 一种基于动态选取显著特征的跨卡口行人识别系统与方法 | |
US9390333B2 (en) | System and method for robust motion detection | |
CN103729858B (zh) | 一种视频监控系统中遗留物品的检测方法 | |
CN101477625B (zh) | 人体上半身检测方法和系统 | |
CN103927520A (zh) | 一种逆光环境下人脸检测方法 | |
CN103246896B (zh) | 一种鲁棒性车辆实时检测与跟踪方法 | |
CN101587606A (zh) | 一种展览场地人员流量检测方法及系统 | |
CN103605971B (zh) | 一种捕获人脸图像的方法及装置 | |
CN102903124A (zh) | 一种运动目标检测方法 | |
CN105303191A (zh) | 一种前视监视场景下的行人计数方法和装置 | |
CN101447023B (zh) | 人头检测方法和系统 | |
CN105160297A (zh) | 基于肤色特征的蒙面人事件自动检测方法 | |
CN102867177A (zh) | 一种基于图像灰度匹配的人数统计方法 | |
CN105678213A (zh) | 基于视频特征统计的双模式蒙面人事件自动检测方法 | |
CN109598706A (zh) | 一种摄像机镜头遮挡检测方法及系统 | |
CN103258232A (zh) | 一种基于双摄像头的公共场所人数估算方法 | |
CN102542246A (zh) | Atm机异常人脸检测方法 | |
CN103021179B (zh) | 基于实时监控视频中的安全带检测方法 | |
CN105069816B (zh) | 一种进出口人流量统计的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140716 |