CN105787432A - 基于结构感知的人脸遮挡检测方法 - Google Patents

基于结构感知的人脸遮挡检测方法 Download PDF

Info

Publication number
CN105787432A
CN105787432A CN201610028275.5A CN201610028275A CN105787432A CN 105787432 A CN105787432 A CN 105787432A CN 201610028275 A CN201610028275 A CN 201610028275A CN 105787432 A CN105787432 A CN 105787432A
Authority
CN
China
Prior art keywords
image
detected
blocking
operator
facial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610028275.5A
Other languages
English (en)
Other versions
CN105787432B (zh
Inventor
李小薪
李晶晶
梁荣华
冯远静
刘义鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201610028275.5A priority Critical patent/CN105787432B/zh
Publication of CN105787432A publication Critical patent/CN105787432A/zh
Application granted granted Critical
Publication of CN105787432B publication Critical patent/CN105787432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于结构感知的人脸遮挡检测方法,遮挡存在的形式尽管多种多样,但与正常人脸图像的结构差异主要表现在颜色、方向和纹理等三方面,而且一般以某种差异最为显著。为了凸显可能存在的显著结构差异,给出了六个特征变换域:恒等变换域、对数变换域、对数‑梯度模变换域、梯度方向变换域、拉普拉斯变换域、差分激励变换域,基于这六个特征变换域度量遮挡与人脸图像的各种结构误差,并对结构误差进行二值均值聚类和形态学滤波,从而得到六个可能的遮挡检测结果;为了自动判别哪种遮挡检测结果最优,给出了结构感知准则:最小边界正则化准则。实验表明,本发明所提供的方法能够有效地检测到遮挡的位置,并感知到遮挡的显著结构,具有很强的实用性。

Description

基于结构感知的人脸遮挡检测方法
技术领域
本发明涉及图像处理领域,尤其是人脸遮挡检测技术领域,主要用于检测现实中的有遮挡人脸图像中遮挡存在的位置。
背景技术
随着信息技术的高速发展,人脸识别技术已广泛应用于现实生活中,如:银行的各类ATM取款机对取款人的监控,海关关口对进出旅客的监控。对于面向现实的人脸识别系统而言,一个主要的困难是:人脸图像常常存在遮挡(如太阳镜、口罩、围巾等)。遮挡一方面会导致人脸图像中有效特征的丢失;另一方面会形成局部显著特征,使得现有的脸识别系统常常会根据这些局部显著特征做出误判,如把黑色的围巾当作黑色的胡子。因此,如何快速、准确地检测人脸图像的遮挡区域,是面向现实的人脸识别系统的关键任务,也是近年来的研究热点之一。
现有的方法主要包括:结构化稀疏误差编码、基于相关熵的稀疏表示分类、鲁棒稀疏编码、基于马尔科夫随机场的稀疏误差校验法、残差图编码方法等。它们共同的特征是:在同一个变换域中,利用无遮挡的训练样本,对有遮挡图像进行迭代重构与遮挡检测,也就是,遮挡检测基于图像重构,而图像重构又依赖于遮挡检测,两者反复迭代,直到收敛或满足最大迭代次数。这些方法的主要问题在于:检测结果的准确与否,过于依赖于有遮挡图像的重构,重构就意味着要利用无遮挡的训练样本完全重建有遮挡图像的无遮挡区域,然而,由有限的训练样本来预测待检测图像的无遮挡区域的所有变化是不可能的,这就会导致检测结果常常会出现“漏检”和“误检”,从而难以有效地完成遮挡检测的任务。
发明内容
为了克服现有的人脸检测和识别技术在处理有遮挡人脸图片时的效率较低、性能较差、准确性较低的不足,本发明提供一种准确性高、可行性好的基于结构感知的人脸遮挡检测方法。
本发明解决其技术问题所采用的技术方案是:
一种基于结构感知的人脸遮挡检测方法,所述人脸遮挡检测方法包括以下步骤:
步骤1将实数域上的m×n维的有遮挡的人脸图像y作为待检测的人脸图像,选取N个人脸图像的集合A={a1,a2,…,aN}作为训练样本,这里,ai为实数域上的m×n阶的不含遮挡的且在正常光照条件下采集到的人脸图像;
步骤2在恒等变换域I(·)中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到sI,这里,I(·)为恒等变换算子:I(y)=y,遮挡支撑s定义为集合{0,1}上的m×n阶矩阵,其中,s的第i行第j列元素为0,表示y的第i行第j列像素点未被遮挡,s的第i行第j列元素为1,表示y的第i行第j列像素点被遮挡;
步骤3在对数变换域log(·)中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到slog,这里,log(·)为对数算子;
步骤4在对数-梯度模变换域中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到这里,为对数-梯度模算子:其中,|·|为复数求模运算,为图像梯度算子:其中,(1j)2=-1表示虚数单位,hs为图像光滑滤波器的系数矩阵,hg为图像梯度滤波器的系数矩阵,符号*表示二维卷积,符号T表示矩阵或向量的转置;
步骤5在图像梯度方向变换域中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到这里,为图像梯度方向算子: 表示复数的虚部,表示复数的实部;
步骤6在拉普拉斯变换域中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到这里,为拉普拉斯算子: 为拉普拉斯滤波器的系数矩阵;
步骤7在差分激励变换域中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到这里,为差分激励算子:
步骤8令从S中选取最优的遮挡支撑的估计作为遮挡检测结果:
其中,为遮挡支撑sf的边缘,||·||1范数,定义为矩阵中所有元素的绝对值之和。
进一步,所述步骤2~步骤7中,在恒等变换域I(·)、对数变换域log(·)、对数-梯度模域变换域在图像梯度方向变换域拉普拉斯变换域差分激励变换域中的基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s的过程如下:
步骤a令f(·)为当前变换域的变换算子,计算待检测图像y和均值脸在变换域f(·)中的绝对误差:其中,均值脸即算术平均值:
步骤b将ef变换到CIM度量空间中,得到待检测图像y和均值脸的结构误差:其中,σ为实常数,符号⊙定义为两个矩阵的点乘,即对于任意两个m×n维矩阵a和b,a⊙b定义为:a⊙b=[aibi]i=1,…,m;j=1,…,n
步骤c对进行两类均值聚类,得到遮挡支撑s的初步估计:这里,为两类均值聚类算子;
步骤d对进行图像形态学滤波,得到遮挡支撑的进一步估计:这里, 为形态学腐蚀算子,为形态学膨胀算子,Λ为结构元素。
本发明的技术构思为:面向现实的人脸识别系统的一个主要的困难是:人脸图像常常存在遮挡。尽管遮挡一般是未知的且不可预料的,然而,自然形成的遮挡一般具有如下特征:i)在空间上具有局部性和连续性;ii)具有某种显著性结构:或者颜色变化比较突出,或者纹理变化比较突出,或者亮度变化比较突出;iii)与人脸图像的各种结构差异可归纳为:颜色差异、方向差异、边缘差异、纹理差异等4个方面。为了度量遮挡与人脸图像的各种结构差异,可以将图像依次变换到能够凸显某种结构的特征空间,如图2所示,然后进行误差度量;为了利用遮挡的空间局部性结构,进一步将各特征空间中的误差度量结果变换到基于相关熵的度量空间;为了利用遮挡的空间连续性结构,对相应于各特征空间的度量空间中的误差进行两类均值聚类和形态学滤波,得到遮挡位置在不同特征空间中的估计;为了自动感知遮挡与人脸图像的显著结构差异,采用最小遮挡边界正则性准则,即:自然形成的遮挡一般都有规则的边缘,这种“规则性”可以用遮挡的边缘长度来估计,具有最小边缘长度的遮挡位置的估计一般最为准确,通过这一准则,可以“感知”到最能够捕获遮挡与人脸图像的显著差异的特征变换,从而也就能“感知”到在哪一个备选的特征空间中检测到的遮挡位置最为准确。基于上述原因,本发明将基于这种人脸遮挡检测方法称为结构感知方法。实验表明,利用结构感知方法,可以快速而且准确地检测到人脸图像中的遮挡位置。
与现有技术相比,本发明的有益效果主要表现在:采用本发明所述方法,不需要迭代计算就可以高效、准确地检测到更为多样的面向现实的遮挡,包括:由强光光照或过于倾斜的拍摄角度所引发的曝光区域或阴影区域,亮度或纹理变化等完全不同的混合遮挡。
附图说明
图1是本发明所述人脸遮挡检测方法的流程图;
图2是本发明所述人脸遮挡检测方法的技术构思图;
图3是来自UMB-DB人脸数据库的待检测的有遮挡的人脸图像y、训练集图像A以及由训练集图像A算得的均值脸图像
图4是本发明所提供方法用图3所提供的均值脸图像对图3所提供的待检测的有遮挡的人脸图像y进行遮挡检测的具体实施过程;
图5是6幅在颜色、边缘、方向、纹理等方面各异的有遮挡人脸图像,这里的遮挡分别为:(a)白色手绢、(b)黑色围巾、(c)白色帽子、(d)手背、(e)浅色条纹围巾与白色帽子、(f)深浅色相间的条纹围巾;
图6是针对图5(a)中的有“白色手绢”遮挡的人脸图像,采用本发明所提供的方法实施遮挡检测的过程示意图,用以说明具有较高灰度值的遮挡如何被恒等变换“感知”,其中,黑色箭头所指向的图像的黑色区域为本发明所提供方法的遮挡检测结果,从上至下依次为:待检测人脸图像在变换域中的表示、均值脸图像在变换域中的表示、待检测人脸图像与均值脸图像在变换域中的结构误差、在变换域中的遮挡支撑的估计、所估计得的遮挡支撑的边缘长度、遮挡检测的结果,从左至右依次为上述各计算量所针对的六个特征变换域:恒等变换域、对数变换域、对数-梯度模变换域、梯度方向变换域、拉普拉斯变换域、差分激励变换域;
图7是针对图5(b)中的有“黑色围巾”遮挡的人脸图像,采用本发明所提供的方法实施遮挡检测的过程示意图,用以说明具有较低灰度值的遮挡如何被对数变换“感知”,其中,黑色箭头所指向的图像的黑色区域为本发明所提供方法的遮挡检测结果;
图8是针对图5(c)中的有“白色帽子”遮挡的人脸图像,采用本发明所提供的方法实施遮挡检测的过程示意图,用以说明具有较高灰度值且显著边缘特征的遮挡如何被对数-梯度模变换“感知”,其中,黑色箭头所指向的图像的黑色区域为本发明所提供方法的遮挡检测结果;
图9是针对图5(d)中的有“手背”遮挡的人脸图像,采用本发明所提供的方法实施遮挡检测的过程示意图,用以说明没有显著颜色变化仅有方向变化的遮挡如何被梯度方向变换“感知”,其中,黑色箭头所指向的图像的黑色区域为本发明所提供方法的遮挡检测结果;
图10是针对图5(e)中的有“浅色条纹围巾与白色帽子”混合遮挡的人脸图像,采用本发明所提供的方法实施遮挡检测的过程示意图,用以说明具有显著纹理特征和颜色变化的遮挡如何被拉普拉斯变换“感知”,其中,黑色箭头所指向的图像的黑色区域为本发明所提供方法的遮挡检测结果;
图11是针对图5(f)中的有“深浅色相间的条纹围巾”遮挡的人脸图像,采用本发明所提供的方法实施遮挡检测的过程示意图,用以说明具有显著纹理特征和颜色变化的遮挡如何被差分激励变换“感知”,其中,黑色箭头所指向的图像的黑色区域为本发明所提供方法的遮挡检测结果;
图12是采用本发明所提供的方法对16幅包含了七种常见的人脸遮挡实施遮挡检测所得到的检测结果的示意图,其中,16幅有遮挡人脸图像位于图12的最左侧列(a)~(p),所包含的七种常见的人脸遮包括:“手”、“矿泉水瓶”、“围巾”、“帽子”、“剪刀”、“书”、“手机”;图12的每一行中,待检测的人脸图像y放在最左边,然后从左至右依次是在恒等变换域、对数变换域、对数-梯度模变换域、梯度方向变换域、拉普拉斯变换域和差分激励变换域等六个变换域中遮挡检测的结果,其中,每幅图像的黑色区域表示所检测到的遮挡区域,每幅图像上方的数字表示所检测到的遮挡区域的边缘的长度;最小边缘长度用黑色方框框了起来,其下方图像中的黑色区域为最终的检测结果;其中,图12(1)展示了针对编号为(a)~(h)的8幅图的检测结果,图12(2)展示了针对编号为(i)~(p)的8幅图的检测结果。
具体实施方式
下面结合附图和实施例对本发明所提供方法做进一步说明。
参照图1~图12,一种基于结构感知的人脸遮挡检测方法,所述人脸遮挡检测方法包括以下步骤:
步骤1将实数域上的m×n维的有遮挡的人脸图像y作为待检测的人脸图像,选取N个人脸图像的集合A={a1,a2,…,aN}作为训练样本,这里,ai为实数域上的m×n阶的不含遮挡的且在正常光照条件下采集到的人脸图像;
步骤2在恒等变换域I(·)中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到sI,这里,I(·)为恒等变换算子:I(y)=y,遮挡支撑s定义为集合{0,1}上的m×n阶矩阵,其中,s的第i行第j列元素为0,表示y的第i行第j列像素点未被遮挡,s的第i行第j列元素为1,表示y的第i行第j列像素点被遮挡;
步骤3在对数变换域log(·)中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到slog,这里,log(·)为对数算子;
步骤4在对数-梯度模变换域中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到这里,为对数-梯度模算子:其中,|·|为复数求模运算,为图像梯度算子:其中,(1j)2=-1表示虚数单位,hs为图像光滑滤波器的系数矩阵,建议值为3×3阶的高斯低通滤波器hg为图像梯度滤波器的系数矩阵,建议值为3×3的高斯函数的一阶导符号*表示二维卷积,符号T表示矩阵或向量的转置;
步骤5在图像梯度方向变换域中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到这里,为图像梯度方向算子: 表示复数的虚部,表示复数的实部;
步骤6在拉普拉斯变换域中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到这里,为拉普拉斯算子: 为拉普拉斯滤波器的系数矩阵,其建议值为
步骤7在差分激励变换域中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到这里,为差分激励算子:
步骤8令从S中选取最优的遮挡支撑的估计作为遮挡检测结果:
其中,为遮挡支撑sf的边缘,||·||1范数,定义为矩阵中所有元素的绝对值之和。
进一步,所述步骤2~步骤7中,在恒等变换域I(·)、对数变换域log(·)、对数-梯度模域变换域在图像梯度方向变换域拉普拉斯变换域差分激励变换域中的基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s的过程如下:
步骤a令f(·)为当前变换域的变换算子,计算待检测图像y和均值脸在变换域f(·)中的绝对误差:其中,均值脸即算术平均值:
步骤b将ef变换到CIM度量空间中,得到待检测图像y和均值脸的结构误差:其中,σ为实常数,符号⊙定义为两个矩阵的点乘,即对于任意两个m×n维矩阵a和b,a⊙b定义为:a⊙b=[aibi]i=1,…,m;j=1,…,n
步骤c对进行两类均值聚类,得到遮挡支撑s的初步估计:这里,为两类均值聚类算子;
步骤d对进行图像形态学滤波,得到遮挡支撑的进一步估计:这里, 为形态学腐蚀算子,为形态学膨胀算子,Λ为结构元素,其建议值为:
为了更好地说明本发明所提供的方法如何实施,下面给出具体的例子:
步骤1从UMB-DB数据库中选取一个有水杯遮挡的图像y,维数为112×92,如图3(a)所示;从UMB-DB数据库中选取ID为:1、2、9、10、13、24、26、27、28、29、30、31、32、33、34等15个人的56张无遮挡和光照变化的人脸图像作为训练样本集A,每个样本的维数为112×92,如图3(c)所示;
步骤2计算A中所有训练样本的算术平均值如图3(b)所示;
步骤3初始化遮挡支撑集
步骤4令f(·)=I(·),计算待检测图像y和均值脸在I(·)变换域中的绝对误差:如图4(a1)所示;
步骤5将eI变换到CIM度量空间中,得到结构误差如图4(b1)所示;
步骤6对结构误差进行两类均值聚类,得到I(·)变换域中的遮挡支撑的初步估计如图4(c1)所示;
步骤7对进行图像形态学滤波,得到I(·)变换域中的遮挡支撑的估计如图4(d1)所示;
步骤8令S=S∪sI=sI
步骤9令f(·)=log(·),计算待检测图像y和均值脸在log(·)变换域中的绝对误差:如图4(a2)所示;
步骤10将elog变换到CIM度量空间中,得到结构误差如图4(b2)所示;
步骤11对结构误差进行两类均值聚类,得到log(·)变换域中的遮挡支撑的初步估计如图4(c2)所示;
步骤12对进行图像形态学滤波,得到log(·)变换域中的遮挡支撑的估计如图4(d2)所示;
步骤13令S=S∪slog={sI,slog};
步骤14令计算待检测图像y和均值脸变换域中的绝对误差:如图4(a3)所示;
步骤15将变换到CIM度量空间中,得到结构误差如图4(b3)所示;
步骤16对进行两类均值聚类,得到变换域中的遮挡支撑的初步估计如图4(c3)所示;
步骤17对进行图像形态学滤波,得到变换域中的遮挡支撑的估计如图4(d3)所示;
步骤18令
步骤19令计算待检测图像y和均值脸变换域中的绝对误差:如图4(a4)所示;
步骤20将变换到CIM度量空间中,得到结构误差如图4(b4)所示;
步骤21对进行两类均值聚类,得到变换域中的遮挡支撑的初步估计如图4(c4)所示;
步骤22对进行图像形态学滤波,得到变换域中的遮挡支撑的估计如图4(d4)所示;
步骤23令
步骤24令计算待检测图像y和均值脸变换域中的绝对误差:如图4(a5)所示;
步骤25将变换到CIM度量空间中,得到结构误差如图4(b5)所示;
步骤26对进行两类均值聚类,得到在变换域中的遮挡支撑的初步估计如图4(c5)所示;
步骤27对进行图像形态学滤波,得到在变换域中的遮挡支撑的估计如图4(d5)所示;
步骤28令
步骤29令计算待检测图像y和均值脸变换域中的绝对误差:如图4(a6)所示;
步骤30将变换到CIM度量空间中,得到结构误差如图4(b6)所示;
步骤31对进行两类均值聚类,得到在变换域中的遮挡支撑的初步估计如图4(c6)所示;
步骤32对进行图像形态学滤波,得到在变换域中的遮挡支撑的估计如图4(d6)所示;
步骤33令如图4(e)所示;
步骤34从S中选取最优的遮挡支撑的估计作为遮挡检测结果:
这一选取过程如图4(f)-图4(h)所示。图4(i)进一步显示了所检测到的遮挡区域在待检测人脸图像y中的位置,这里,用黑色区域加上白色边框突出显示所检测到的遮挡区域。
为了进一步说明本发明所提供方法的“结构感知”机制,图5进一步给出了6幅在颜色、边缘、方向、纹理等方面各异的有遮挡人脸图像,以这6幅有遮挡人脸图像为待检测人脸图像,图6、图7、图8、图9、图10和图11分别给出了本发明所提供方法的遮挡检测过程及检测结果,其中,黑色箭头所指向的图片中的黑色区域为本发明的最终检测结果。具体描述如下:
(1)针对图5(a)中的有“白色手绢”遮挡的人脸图像,图6显示了本发明所提供方法的遮挡检测过程和检测结果。由于“白色手绢”与人脸图像的显著结构差异为“颜色”且为“白色”(具有较高的灰度值),恒等变换I(·)主要凸显具有高灰度值的颜色差异,因此,“白色手绢”遮挡在I(·)变换域中被准确检测到了。
(2)针对图5(b)中的有“黑色围巾”遮挡的人脸图像,图7显示了本发明所提供方法的遮挡检测过程和检测结果。由于“黑色围巾”与人脸图像的显著结构差异为“颜色”且为“黑色”(具有较低的灰度值),对数变换log(·)主要凸显具有低灰度值的颜色差异,因此,“黑色围巾”遮挡在log(·)变换域中被准确检测到了。
(3)针对图5(c)中的有“白色帽子”遮挡的人脸图像,图8显示了本发明所提供方法的遮挡检测过程和检测结果。由于“白色帽子”与人脸图像的显著结构差异为“颜色”且为“白色”(具有较高的灰度值),对数-梯度模变换主要凸显具有高灰度值的颜色差异或边缘差异,因此,“白色帽子”遮挡在变换域中被准确检测到了。这里,尽管I(·)变换域也能凸显具有高灰度值的颜色差异,但相对于在变换域中的检测结果,在I(·)变换域中的检测结果的“误检”和“漏检”的区域较大,这一结果反应在其凌乱的轮廓结构上。
(4)针对图5(d)中的有“手背”遮挡的人脸图像,图9显示了本发明所提供方法的遮挡检测过程和检测结果。由于“手背”与人脸图像具有几乎相同的颜色,因此用于检测颜色差异的特征变换I(·)、log(·)和等不再适用;“手背”与人脸图像的结构差异主要反应在“方向”上,梯度方向变换主要用于凸显这一差异,因此,“手背”遮挡在变换域中被准确检测到了。
(5)针对图5(e)中的有“浅色条纹围巾与白色帽子”混合遮挡的人脸图像,图10显示了本发明所提供方法的遮挡检测过程和检测结果。由于“浅色条纹围巾与白色帽子”与人脸图像的结构差异主要反应在“颜色”和“纹理”两方面,拉普拉斯变换和差分激励变换都能够同时凸显这两方面的差异,但这里在差分激励变换域中“误检”了眼睛为遮挡,而在拉普拉斯变换域中的检测结果更为准确且具有更好的结构,本发明所提供的方法准确地“感知”到了这一最好的检测结果。
(6)针对图5(f)中的有“深浅色相间的条纹围巾”遮挡的人脸图像,图10显示了本发明所提供方法的遮挡检测过程和检测结果。由于“深浅色相间的条纹围巾”与人脸图像的结构差异主要反应在“颜色”和“纹理”两方面,拉普拉斯变换和差分激励变换都能够同时凸显这两方面的差异,但这里在差分激励变换域的检测结果更为准确且具有更好的结构,本发明所提供的方法准确地“感知”到了这一最好的检测结果。
进一步地,为了说明本发明所提供方法的普适性,针对现实中常见的七种人脸遮挡:“手”、“矿泉水瓶”、“围巾”、“帽子”、“剪刀”、“书”、“手机”,图12给出了包含了上述某一种或两种遮挡的16幅人脸图像以及针对每幅图像本发明所提供方法的遮挡检测结果,可以看出,本发明所提供方法能够很好地“感知”并检测到各种人脸遮挡。

Claims (2)

1.一种基于结构感知的人脸遮挡检测方法,其特征在于:所述人脸遮挡检测方法包括以下步骤:
步骤1将实数域上的m×n维的有遮挡的人脸图像y作为待检测的人脸图像,选取N个人脸图像的集合A={a1,a2,…,aN}作为训练样本,这里,ai为实数域上的m×n阶的不含遮挡的且在正常光照条件下采集到的人脸图像;
步骤2在恒等变换域I(·)中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到sI,这里,I(·)为恒等变换算子:I(y)=y,遮挡支撑s定义为集合{0,1}上的m×n阶矩阵,其中,s的第i行第j列元素为0,表示y的第i行第j列像素点未被遮挡,s的第i行第j列元素为1,表示y的第i行第j列像素点被遮挡;
步骤3在对数变换域log(·)中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到slog,这里,log(·)为对数算子;
步骤4在对数-梯度模变换域中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到这里,为对数-梯度模算子:其中,|·|为复数求模运算,为图像梯度算子: ▿ ( y ) = y * h s * h g + y * h s * h g T * 1 j , 其中,(1j)2=-1表示虚数单位,hs为图像光滑滤波器的系数矩阵,hg为图像梯度滤波器的系数矩阵,符号*表示二维卷积,符号T表示矩阵或向量的转置;
步骤5在图像梯度方向变换域中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到这里,为图像梯度方向算子: 表示复数的虚部,表示复数的实部;
步骤6在拉普拉斯变换域中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到这里,为拉普拉斯算子: 为拉普拉斯滤波器的系数矩阵;
步骤7在差分激励变换域中基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s,得到这里,为差分激励算子:
步骤8令从S中选取最优的遮挡支撑的估计作为遮挡检测结果:
其中,为遮挡支撑sf的边缘,||·||1范数,定义为矩阵中所有元素的绝对值之和。
2.如权利要求1所述的基于结构感知的人脸遮挡检测方法,其特征在于:所述步骤2~步骤7中,在恒等变换域I(·)、对数变换域log(·)、对数-梯度模域变换域在图像梯度方向变换域拉普拉斯变换域差分激励变换域中的基于结构误差度量与聚类方法估计待检测人脸图像y的遮挡支撑s的过程如下:
步骤a令f(·)为当前变换域的变换算子,计算待检测图像y和均值脸在变换域f(·)中的绝对误差:其中,均值脸即算术平均值: y ‾ = 1 N Σ k = 1 K Σ i = 1 N k a i k ;
步骤b将ef变换到CIM度量空间中,得到待检测图像y和均值脸的结构误差:其中,σ为实常数,符号定义为两个矩阵的点乘,即对于任意两个m×n维矩阵a和b,定义为:
步骤c对进行两类均值聚类,得到遮挡支撑s的初步估计:这里,为两类均值聚类算子;
步骤d对进行图像形态学滤波,得到遮挡支撑的进一步估计:这里, 为形态学腐蚀算子,为形态学膨胀算子,Λ为结构元素。
CN201610028275.5A 2016-01-15 2016-01-15 基于结构感知的人脸遮挡检测方法 Active CN105787432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610028275.5A CN105787432B (zh) 2016-01-15 2016-01-15 基于结构感知的人脸遮挡检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610028275.5A CN105787432B (zh) 2016-01-15 2016-01-15 基于结构感知的人脸遮挡检测方法

Publications (2)

Publication Number Publication Date
CN105787432A true CN105787432A (zh) 2016-07-20
CN105787432B CN105787432B (zh) 2019-02-05

Family

ID=56402478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610028275.5A Active CN105787432B (zh) 2016-01-15 2016-01-15 基于结构感知的人脸遮挡检测方法

Country Status (1)

Country Link
CN (1) CN105787432B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315995A (zh) * 2017-05-18 2017-11-03 中国科学院上海微系统与信息技术研究所 一种基于拉普拉斯对数脸及卷积神经网络的人脸识别方法
CN117275075A (zh) * 2023-11-01 2023-12-22 浙江同花顺智能科技有限公司 一种人脸遮挡检测方法、系统、装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1416425A1 (en) * 2002-11-04 2004-05-06 Samsung Electronics Co., Ltd. System and method for detecting a face
US7027620B2 (en) * 2001-06-07 2006-04-11 Sony Corporation Method of recognizing partially occluded and/or imprecisely localized faces
CN102750546A (zh) * 2012-06-07 2012-10-24 中山大学 基于结构化误差编码的人脸遮挡检测方法
CN104376311A (zh) * 2014-12-08 2015-02-25 广西大学 一种基于核贝叶斯压缩感知的人脸识别方法
CN104915639A (zh) * 2015-05-19 2015-09-16 浙江工业大学 基于混合误差编码的人脸识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027620B2 (en) * 2001-06-07 2006-04-11 Sony Corporation Method of recognizing partially occluded and/or imprecisely localized faces
EP1416425A1 (en) * 2002-11-04 2004-05-06 Samsung Electronics Co., Ltd. System and method for detecting a face
CN102750546A (zh) * 2012-06-07 2012-10-24 中山大学 基于结构化误差编码的人脸遮挡检测方法
CN104376311A (zh) * 2014-12-08 2015-02-25 广西大学 一种基于核贝叶斯压缩感知的人脸识别方法
CN104915639A (zh) * 2015-05-19 2015-09-16 浙江工业大学 基于混合误差编码的人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王志明等: "人脸遮挡区域检测与重建", 《计算机研究与发展》 *
薛雨丽等: "遮挡条件下的鲁棒表情识别方法", 《北京航空航天大学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315995A (zh) * 2017-05-18 2017-11-03 中国科学院上海微系统与信息技术研究所 一种基于拉普拉斯对数脸及卷积神经网络的人脸识别方法
CN107315995B (zh) * 2017-05-18 2020-07-31 中国科学院上海微系统与信息技术研究所 一种基于拉普拉斯对数脸及卷积神经网络的人脸识别方法
CN117275075A (zh) * 2023-11-01 2023-12-22 浙江同花顺智能科技有限公司 一种人脸遮挡检测方法、系统、装置和存储介质
CN117275075B (zh) * 2023-11-01 2024-02-13 浙江同花顺智能科技有限公司 一种人脸遮挡检测方法、系统、装置和存储介质

Also Published As

Publication number Publication date
CN105787432B (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
Hassen et al. Image sharpness assessment based on local phase coherence
Clausi et al. Comparing cooccurrence probabilities and Markov random fields for texture analysis of SAR sea ice imagery
CN103955926B (zh) 基于Semi-NMF的遥感图像变化检测方法
CN109409190A (zh) 基于梯度直方图和Canny边缘检测器的行人检测方法
CN108875600A (zh) 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN104408707B (zh) 一种快速数字成像模糊鉴别与复原图像质量评估方法
CN103927758B (zh) 一种基于对比度与角点最小凸包的显著性检测方法
CN109145921A (zh) 一种基于改进的直觉模糊c均值聚类的图像分割方法
CN101981582A (zh) 用于检测对象的方法、装置和程序
CN101398886A (zh) 一种基于双目被动立体视觉的快速三维人脸识别方法
CN104063702A (zh) 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
CN106611423B (zh) 基于脊波滤波器和反卷积结构模型的sar图像分割方法
CN106682678A (zh) 一种基于支撑域的图像角点检测和分类方法
CN103729842A (zh) 基于局部统计特征与整体显著性分析的织物疵点检测方法
CN109444169A (zh) 一种轴承缺陷检测方法及系统
CN105869166A (zh) 一种基于双目视觉的人体动作识别方法及系统
JP2017033197A (ja) 変化領域検出装置、方法、及びプログラム
CN104838422A (zh) 图像处理设备及方法
CN103295031A (zh) 一种基于正则风险最小化的图像目标计数方法
CN109886944A (zh) 一种基于多图谱的脑白质高信号检测和定位方法
CN108550146A (zh) 一种基于roi的图像质量评价方法
CN105354555A (zh) 一种基于概率图模型的三维人脸识别方法
Gu et al. Learning a blind image quality index based on visual saliency guided sampling and Gabor filtering
CN107392211A (zh) 基于视觉稀疏认知的显著目标检测方法
CN105787432A (zh) 基于结构感知的人脸遮挡检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant