CN105844235B - 基于视觉显著性的复杂环境人脸检测方法 - Google Patents

基于视觉显著性的复杂环境人脸检测方法 Download PDF

Info

Publication number
CN105844235B
CN105844235B CN201610164383.5A CN201610164383A CN105844235B CN 105844235 B CN105844235 B CN 105844235B CN 201610164383 A CN201610164383 A CN 201610164383A CN 105844235 B CN105844235 B CN 105844235B
Authority
CN
China
Prior art keywords
template
human face
face
region
sum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610164383.5A
Other languages
English (en)
Other versions
CN105844235A (zh
Inventor
童莹
陈凡
曹雪虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Qiyun Information Technology Co ltd
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN201610164383.5A priority Critical patent/CN105844235B/zh
Publication of CN105844235A publication Critical patent/CN105844235A/zh
Application granted granted Critical
Publication of CN105844235B publication Critical patent/CN105844235B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供一种基于视觉显著性的复杂环境人脸检测方法，首先利用视觉注意机制获取人脸显著图；然后分割显著图得到二值模板；利用形态学算子调整二值模板使其覆盖整个人脸区域；最后将模板与原图匹配，检测出人脸目标区域；该种基于视觉显著性的复杂环境人脸检测方法，利用视觉注意机制获取人脸显著图，根据显著图准确定位有效人脸目标区域，消除了复杂环境下光照、姿态、遮挡等因素的影响，达到无人工干预，自动、准确检测非约束人脸目标区域的目的。

Description

基于视觉显著性的复杂环境人脸检测方法
技术领域
本发明涉及一种基于视觉显著性的复杂环境人脸检测方法。
背景技术
人脸检测是非约束人脸识别中的一项关键技术，准确检测到复杂背景中的人脸区域对后续人脸识别工作至关重要。一方面可以降低后续工作的计算复杂度，另一方面也可以去除背景干扰，提高人脸特征的准确性。
目前常用的人脸检测算法主要有基于模板匹配的人脸检测算法和基于肤色的人脸检测算法两类。基于模板匹配的人脸检测算法是根据先验数据归纳出一个统一的人脸模板，然后手动选择人眼位置，得到人眼间的距离，根据该距离利用人脸模板检测出人脸区域；基于肤色的人脸检测算法主要依据是利用人脸的肤色与背景颜色差异实现人脸检测。这两种方法适用于单一环境的人脸检测，对于复杂环境的非约束人脸检测效果不理想。
现有技术方案的不足之处在于：
一、基于模板匹配的人脸检测算法虽然原理简单，但由于不同人脸差异大，人脸模板很难精确匹配所有人脸，再加上拍摄条件不受约束(例如光照影响、姿态变化、目标遮挡等)，该方法很难获得复杂环境下理想的人脸检测效果。另一方面，基于模板匹配的人脸检测算法需要手动选择两只人眼位置，耗时长且不具有自动检测的能力，不适用于智能人机交互。
二、基于肤色的人脸检测算法虽常用于彩色图像的人脸检测，但由于人体其他部位可能具有和人脸肤色相同的颜色，比如男性赤膊等，并且场景中某些目标也可能会和人脸皮肤具有相同的颜色，因此该方法鲁棒性差，不适用于复杂环境的人脸检测。
上述问题是在人脸检测过程中应当予以考虑并解决的问题。
发明内容
本发明的目的是提供一种基于视觉显著性的复杂环境人脸检测方法解决现有技术中存在的适用于单一环境的人脸检测，对于复杂环境的非约束人脸检测效果不理想的问题。
本发明的技术解决方案是：
一种基于视觉显著性的复杂环境人脸检测方法，首先利用视觉注意机制获取人脸显著图；然后分割显著图得到二值模板；利用形态学算子调整二值模板使其覆盖整个人脸区域；最后将模板与原图匹配，检测出人脸目标区域；具体包括以下步骤：
S1、输入原始图像即灰度图片I(x,y)，利用视觉显著图算法提取灰度图片I(x,y)中目标人脸区域显著图，记为S(x,y)；
S2、采用双三次插值算法调整显著图S(x,y)的图像尺寸为原始图像，把显著图S(x,y)中的每个像素按照灰度值强弱划分成n个等级，返回第m个百分位值，把该值作为阈值，分割显著图S(x,y)得到模板M1(x,y)；
S3、调整模板M1(x,y)得到精细模板M2(x,y)；
S4、依据所得精细模板M2(x,y)，来确定目标人脸区域；
S5、将原始图像I(x,y)与目标人脸区域作匹配，得到最终的人脸检测图。
进一步地，步骤S4具体为：
S41、初始化变量sum_x、sum_y、area，sum_x用以记录精细模板M2(x,y)中非零区域的横坐标之和，sum_y用以记录精细模板M2(x,y)中非零区域的纵坐标之和，area用以记录精细模板M2(x,y)中非零区域数目；
S42、遍历M2(x,y)，如果其中某个像素点值为1，就把area值加1，sum_x和sum_y的值分别加上该点对应的横纵坐标值；
S43、遍历完M2(x,y)之后，用area对sum_x和sum_y求平均就得到M2(x,y)的质心p；
S44、用edge函数处理M2(x,y)，得到M2(x,y)区域边缘的二值图像，求出质心p到区域边缘的最小距离d；
S45、以p为中心，以d为边长作正方形，这个正方形区域就是目标人脸所在的区域。
进一步地，步骤S3具体为：
S31、判断模板M1(x,y)是否有冗余，若是，模板M1(x,y)余留了目标人脸以外的区域，就把M1(x,y)中的冗余区域删除，只保留有用的区域；
S32、如果M1(x,y)没有完全覆盖整个目标人脸区域，就对M1(x,y)实施闭运算；
S33、如果M1(x,y)丢失信息过多，就对M1(x,y)进行孔洞填充；
S34、得到精细模板M2(x,y)。
本发明的有益效果是：
一、该种基于视觉显著性的复杂环境人脸检测方法，利用视觉注意机制获取人脸显著图，根据显著图准确定位有效人脸目标区域，消除了复杂环境下光照、姿态、遮挡等因素的影响，达到无人工干预，自动、准确检测非约束人脸目标区域的目的。
二、本发明去除了图片背景干扰，为准确提取人脸特征，实现非约束环境下的人脸验证、识别提供技术支持；
三、该种基于视觉显著性的复杂环境人脸检测方法，去除了图片背景干扰，将特征提取区域缩减为人脸目标区域，可以降低后续工作的计算复杂度，缩短运行时间。
附图说明
图1是本发明实施例的实现框架的说明示意图；
图2是实施例基于视觉显著性的复杂环境人脸检测方法的流程示意图。
图3是实施例中模板调整的说明示意图。
图4是实施例的端正人脸检测结果与基于模板的端正人脸检测结果的比较示意图。
图5是实施例的不端正人脸检测结果与基于模板的不端正人脸检测结果比较示意图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例利用人眼视觉注意机制提取目标显著图，根据显著图确定有效人脸目标区域，实现复杂环境下的人脸检测，为准确验证、识别非约束环境下的人脸提供技术支持。
实施例
一种基于视觉显著性的复杂环境人脸检测方法，实现框架如图1所示。首先利用视觉注意机制获取人脸显著图；然后分割显著图得到二值模板；利用形态学算子调整二值模板使其覆盖整个人脸区域；最后将模板与原图匹配，检测出人脸目标区域。
该种基于视觉显著性的复杂环境人脸检测方法的具体实现流程如图2所示。步骤描述如下：
S1、输入图像一幅250×250的灰度图片I(x,y)，利用视觉显著图算法提取目标人脸区域显著图，记为S(x,y)。
S2、采用双三次插值算法调整S(x,y)图像尺寸为原图大小250×250，把S(x,y)中的每个像素按照灰度值强弱划分成n个等级，返回第m个百分位值。把这个值作为阈值，分割显著图S(x,y)得到模板M1(x,y)。
S3、调整模板M1(x,y)得到精细模板M2(x,y)。如图3，判断模板M1(x,y)是否有冗余，若是，模板M1(x,y)余留了目标人脸以外的区域，就把M1(x,y)中的冗余区域删除，只保留有用的区域；判断模板M1(x,y)是否完全覆盖了目标人脸区域，如果M1(x,y)没有完全覆盖整个目标人脸区域，就对M1(x,y)实施闭运算；如果M1(x,y)丢失信息过多，就对M1(x,y)进行孔洞填充；得到精细模板M2(x,y)。
S4、确定目标人脸区域。初始化变量sum_x、sum_y、area，sum_x用以记录精细模板M2(x,y)中非零区域的横坐标之和，sum_y用以记录精细模板M2(x,y)中非零区域的纵坐标之和，area用以记录精细模板M2(x,y)中非零区域数目。遍历M2(x,y)，如果其中某个像素点值为1，就把area值加1，sum_x和sum_y的值分别加上该点对应的横纵坐标值。遍历完M2(x,y)之后，用area对sum_x和sum_y求平均就得到M2(x,y)的质心p。用edge函数处理M2(x,y)，得到M2(x,y)区域边缘的二值图像，求出质心p到区域边缘的最小距离d。以p为中心，以d为边长作正方形，这个正方形区域就是目标人脸所在的区域。
S5、将输入图片I(x,y)与目标人脸区域作匹配就得到最终的人脸检测图。
实施例效果对比分析
实施例与基于模板的人脸检测效果比较
基于模板的人脸检测算法是通过定位输入图片中人的两只眼睛，获取眼睛之间的线段距离D，再分别以D的中点为端点，向上0.5D距离和向下1.5D距离为另一端点作线段，以D和2D确定的矩形区域为人脸模板截取输入图片，从而达到人脸检测的目的。当检测姿态端正的正面人脸图片时，基于模板的人脸检测算法和实施例都可以检测出有效人脸区域，如图4所示；而检测姿态不端正的非正面人脸图片时，实施例人脸检测效果明显优于基于模板的人脸检测效果，如图5所示。其中，基于模板的人脸检测算法不能检测到完整的人脸区域，人脸面部信息损失严重，不适用于后期人脸识别；而实施例用视觉显著图准确定位人脸目标区域，不受人脸姿态的影响。
实施例与基于模板的人脸检测时间比较
人脸检测时间是指从输入一张人脸图片开始到人脸目标区域被检测出来为止的所有步骤运行时间。实施例与基于模板的人脸检测算法的人脸检测时间结果如表1所示。
表1 本发明与基于模板的人脸检测时间比较
从表1中可以看出，实施例的算法运行时间明显低于基于模板的人脸检测算法。这是由于基于模板的人脸检测算法是非自动的，需要手动选择人眼位置，所以消耗时间明显较长。
实施例在非约束人脸识别中的应用
从LFW数据库中选出有20张以上(包括20张)的人图片作为实验数据，共62类人，总共3023张图片。把这3023张图片作为输入，利用实施例提取人脸目标区域得到另一个新的人脸数据库(记为LFW-GBVS)。随机抽取数据库中每类人的10张图片作为训练样本，每类人剩下的图片作为测试样本，采用HOG描述子对两个人脸数据库进行特征提取，并用SVM分类器进行分类，得到的实验结果如表2所示。
表2 LFW与LFW-GBVS人脸库的识别性能比较
从表2可以看出，采用实施例提取人脸目标区域后，再进行特征提取和分类，可以使识别性能得到很大提升，一方面识别率提高到72.53％，是LFW人脸库识别率的2倍；另一方面算法运行时间为57.8s，降低为原来的1/4。这是因为实施例消除了背景干扰，准确检测出人脸目标区域，提高了人脸特征准确性，降低了后期操作的计算复杂度，所以实施例应用在非约束人脸识别方面是有效的。

Claims (2)

1.一种基于视觉显著性的复杂环境人脸检测方法，其特征在于，首先利用视觉注意机制获取人脸显著图；然后分割显著图得到二值模板；利用形态学算子调整二值模板使其覆盖整个人脸区域；最后将模板与原图匹配，检测出人脸目标区域；具体包括以下步骤：
S1、输入原始图像即灰度图片I(x,y)，利用视觉显著图算法提取灰度图片I(x,y)中目标人脸区域显著图，记为S(x,y)；
S2、采用双三次插值算法调整显著图S(x,y)的图像尺寸为原始图像，把显著图S(x,y)中的每个像素按照灰度值强弱划分成n个等级，返回第m个百分位值，把该值作为阈值，分割显著图S(x,y)得到模板M1(x,y)；
S3、调整模板M1(x,y)得到精细模板M2(x,y)；
S4、依据所得精细模板M2(x,y)，来确定目标人脸区域；步骤S4具体为：
S41、初始化变量sum_x、sum_y、area，sum_x用以记录精细模板M2(x,y)中非零区域的横坐标之和，sum_y用以记录精细模板M2(x,y)中非零区域的纵坐标之和，area用以记录精细模板M2(x,y)中非零区域数目；
S42、遍历M2(x,y)，如果其中某个像素点值为1，就把area值加1，sum_x和sum_y的值分别加上该点对应的横纵坐标值；
S43、遍历完M2(x,y)之后，用area对sum_x和sum_y求平均就得到M2(x,y)的质心p；
S44、用edge函数处理M2(x,y)，得到M2(x,y)区域边缘的二值图像，求出质心p到区域边缘的最小距离d；
S45、以p为中心，以d为边长作正方形，这个正方形区域就是目标人脸所在的区域；
S5、将原始图像I(x,y)与目标人脸区域作匹配，得到最终的人脸检测图。
2.如权利要求1所述的基于视觉显著性的复杂环境人脸检测方法，其特征在于，步骤S3具体为：
S31、判断模板M1(x,y)是否有冗余，若是，模板M1(x,y)余留了目标人脸以外的区域，就把M1(x,y)中的冗余区域删除，只保留有用的区域；
S32、如果M1(x,y)没有完全覆盖整个目标人脸区域，就对M1(x,y)实施闭运算；
S33、如果M1(x,y)丢失信息过多，就对M1(x,y)进行孔洞填充；
S34、得到精细模板M2(x,y)。
CN201610164383.5A 2016-03-22 2016-03-22 基于视觉显著性的复杂环境人脸检测方法 Expired - Fee Related CN105844235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610164383.5A CN105844235B (zh) 2016-03-22 2016-03-22 基于视觉显著性的复杂环境人脸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610164383.5A CN105844235B (zh) 2016-03-22 2016-03-22 基于视觉显著性的复杂环境人脸检测方法

Publications (2)

Publication Number Publication Date
CN105844235A CN105844235A (zh) 2016-08-10
CN105844235B true CN105844235B (zh) 2018-12-14

Family

ID=56587782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610164383.5A Expired - Fee Related CN105844235B (zh) 2016-03-22 2016-03-22 基于视觉显著性的复杂环境人脸检测方法

Country Status (1)

Country Link
CN (1) CN105844235B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485202A (zh) * 2016-09-18 2017-03-08 南京工程学院 非约束人脸识别系统及方法
CN109741280B (zh) * 2019-01-04 2022-04-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111027474B (zh) * 2019-12-09 2024-03-15 Oppo广东移动通信有限公司 人脸区域获取方法、装置、终端设备和存储介质
CN111127410B (zh) * 2019-12-13 2023-04-25 南京工程学院 一种汽车仪表盘印刷瑕疵的自动检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738426A (zh) * 2005-09-09 2006-02-22 南京大学 一种视频运动目标分割与跟踪方法
CN102663354A (zh) * 2012-03-26 2012-09-12 腾讯科技（深圳）有限公司 人脸标定方法和系统
CN102968786A (zh) * 2012-10-23 2013-03-13 西北工业大学 一种非监督的遥感图像潜在目标区域检测方法
CN103714548A (zh) * 2013-12-27 2014-04-09 西安电子科技大学 基于视觉注意的红外图像与可见光图像配准方法
CN106485202A (zh) * 2016-09-18 2017-03-08 南京工程学院 非约束人脸识别系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738426A (zh) * 2005-09-09 2006-02-22 南京大学 一种视频运动目标分割与跟踪方法
CN102663354A (zh) * 2012-03-26 2012-09-12 腾讯科技（深圳）有限公司 人脸标定方法和系统
CN102968786A (zh) * 2012-10-23 2013-03-13 西北工业大学 一种非监督的遥感图像潜在目标区域检测方法
CN103714548A (zh) * 2013-12-27 2014-04-09 西安电子科技大学 基于视觉注意的红外图像与可见光图像配准方法
CN106485202A (zh) * 2016-09-18 2017-03-08 南京工程学院 非约束人脸识别系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视觉显著目标的自适应分割;赵宏伟 等;《光学精密工程》;20130228;第21卷(第2期);摘要 *

Also Published As

Publication number Publication date
CN105844235A (zh) 2016-08-10

Similar Documents

Publication Publication Date Title
CN104008370B (zh) 一种视频人脸识别方法
Chiang et al. A novel method for detecting lips, eyes and faces in real time
CN103530599B (zh) 一种真实人脸和图片人脸的区别方法和系统
WO2019232862A1 (zh) 嘴巴模型训练方法、嘴巴识别方法、装置、设备及介质
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN105844235B (zh) 基于视觉显著性的复杂环境人脸检测方法
CN103310194B (zh) 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN105989331B (zh) 脸部特征提取装置、脸部特征提取方法、图像处理设备和图像处理方法
CN103914676A (zh) 一种在人脸识别中使用的方法和装置
CN105389554A (zh) 基于人脸识别的活体判别方法和设备
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
CN103577815A (zh) 一种人脸对齐方法和系统
CN104636749A (zh) 目标对象检测方法及装置
CN104123529A (zh) 人手检测方法及系统
CN106446862A (zh) 一种人脸检测方法及系统
CN103810491A (zh) 融合深度和灰度图像特征点的头姿估计兴趣点检测方法
CN112101208A (zh) 高龄老人特征串联融合手势识别方法及装置
CN103544478A (zh) 一种全方位人脸检测的方法及系统
Dittrich et al. People counting in crowded and outdoor scenes using a hybrid multi-camera approach
CN104050456A (zh) 一种基于不变矩的监测驾驶员眼睛状态的方法
EP3176726A1 (en) Method and device for positioning human eyes
CN106803307B (zh) 一种基于模板匹配的纸币面值面向识别方法
Charoenpong et al. A new method for occluded face detection from single viewpoint of head
CN103473567B (zh) 一种基于部分模型的车辆检测方法
Ohkawa et al. Fast Combined Separability Filter for Detecting Circular Objects.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190307

Address after: 510000 No. 1301, No. 246, 248 and 250 Wushan Road, Tianhe District, Guangzhou City, Guangdong Province, 09-10

Patentee after: Guangzhou Qiyun Information Technology Co.,Ltd.

Address before: 211167 1 Hong Kong Avenue, Jiangning Science Park, Nanjing, Jiangsu

Patentee before: Nanjing Institute of Technology

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181214

CF01 Termination of patent right due to non-payment of annual fee