CN105139000A - 一种去除眼镜痕迹的人脸识别方法及装置 - Google Patents

一种去除眼镜痕迹的人脸识别方法及装置 Download PDF

Info

Publication number
CN105139000A
CN105139000A CN201510590400.7A CN201510590400A CN105139000A CN 105139000 A CN105139000 A CN 105139000A CN 201510590400 A CN201510590400 A CN 201510590400A CN 105139000 A CN105139000 A CN 105139000A
Authority
CN
China
Prior art keywords
facial image
image
glasses
identified
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510590400.7A
Other languages
English (en)
Other versions
CN105139000B (zh
Inventor
陈鑫嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201510590400.7A priority Critical patent/CN105139000B/zh
Publication of CN105139000A publication Critical patent/CN105139000A/zh
Application granted granted Critical
Publication of CN105139000B publication Critical patent/CN105139000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

一种去除眼镜痕迹的人脸识别方法及装置,该方法通过预先训练的PCA模板对输入的待识别人脸图像进行重构,根据待识别人脸图像及重构后的图像,确定待识别人脸图像中眼镜像素及非眼镜像素的位置,利用非眼镜像素的位置,构建出不戴眼镜的人脸图像,然后将待识别人脸图像中所有的眼镜像素由不戴眼镜的人脸图像中相应位置的像素进行替换得到复原的人脸图像。本发明的装置包括重构模块、定位模块、不戴眼镜的人脸图像构建模块和复原模块。本发明的方法和装置去除了眼镜像素对重构图像的影响,提高了识别率。

Description

一种去除眼镜痕迹的人脸识别方法及装置
技术领域
本发明涉及人脸识别技术领域,尤其涉及一种去除眼镜痕迹的人脸识别方法及装置。
背景技术
人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。一般采用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部识别的一系列相关技术。人脸识别已成为一种重要的身份鉴别技术,其中特征脸方法又称为主成分分析法(PrincipleComponentAnalysis,PCA)是目前最流行的人脸识别方法之一,但是该方法人脸识别效果受很多因素的干扰,主要包括光照,姿态和遮挡。眼镜是人脸图像中最为常见的遮挡物,对识别率有着很大的影响。
为了降低眼镜对识别率的影响,人们对人脸图像中的眼镜提取和摘除已经有了一定的研究。例如SaitoY等人最早将PCA技术用于人脸图像的眼镜摘除,先用无眼镜的人脸图像来训练特征空间,然后用输入的戴眼镜的人脸图像在特征空间上投影,通过对投影向量重建来得到对应的无眼镜的人脸图像,最后将PCA重建得到的图像的上半部分和原始输入人脸图像的下半部分结合起来构成了最终的无眼镜人脸图像。但是该方法没有精确的检测眼镜的区域,对全部区域进行了重建,虽然利用PCA重建的人脸图像是无眼镜的,但实际上眼镜所带来的重建误差被分散到整幅人脸图像,不利于识别;没有充分利用遮挡区域的信息,导致重建效果不好。
发明内容
本发明的目的是提供一种去除眼镜痕迹的人脸识别方法及装置,去除了眼镜像素对重构图像的影响,提高了识别率。
为了实现上述目的,本发明技术方案如下:
一种去除眼镜痕迹的人脸识别方法,所述方法包括步骤:
步骤S1、输入待识别人脸图像,通过预先训练的PCA模板对输入的待识别人脸图像进行重构;
步骤S2、根据待识别人脸图像及重构后的图像,确定待识别人脸图像中眼镜像素及非眼镜像素的位置;
步骤S3、根据待识别人脸图像中眼镜像素及非眼镜像素的位置,构建出不戴眼镜的人脸图像;
步骤S4、将待识别人脸图像中所有的眼镜像素由不戴眼镜的人脸图像中相应位置的像素进行替换得到复原的人脸图像。
进一步地,所述方法还包括:
步骤S5、通过建立的PCA模板对复原人脸图像进行重构,得到重构后的复原人脸图像,计算待识别人脸图像与重构后的复原人脸图像的差值,如果该差值小于迭代阈值,则停止迭代,将复原人脸图像作为结果输出,否则将复原人脸图像作为待识别人脸图像,返回步骤S1,重新迭代计算。
通过步骤S5的重复迭代方法,复原人脸图像更加准确。
进一步地,所述通过建立的PCA模板对输入的待识别人脸图像或复原人脸图像进行重构,计算公式如下:
X k = ( X o - X ‾ ) * P k
X r = X k * P k T + X ‾
其中,Xo表示输入的人脸图像,表示PCA模板中的人脸均值图像,Pk表示经过PCA降维后的特征矩阵,Xk表示对输入的人脸图像降维后的图像,Xr表示对Xk重构后的图像。
进一步地,所述根据待识别人脸图像及重构后的图像,确定待识别人脸图像中眼镜像素及非眼镜像素的位置,包括:
S2.1、计算待识别人脸图像与当前重构后的图像的差值;
S2.2、将得到的差值与设定的迭代阈值进行比较,如果得到的差值大于设定的迭代阈值,则计算每个像素的权重,根据每个像素的权重对重构后的图像进行迭代计算,得到迭代后的重构图像,以迭代后的重新重构图像为当前重构后的图像,返回步骤S2.1;否则直接以当前重构后的图像计算每个像素的权重,确定待识别人脸图像中眼镜像素及非眼镜像素的位置。
进一步地,所述根据待识别人脸图像中眼镜像素及非眼镜像素的位置,构建出不戴眼镜的人脸图像,对于不戴眼镜的人脸图像为Xf,构建公式如下:
其中,表示PCA模板中的人脸均值图像,表示对应于特征向量Pn(n=0,1....s-1)的因子得分:
cosθ n = Σ t = 0 s - 1 ω t p n t x t Σ t = 0 s - 1 ω t x t 2 Σ t = 0 s - 1 ω t p n t 2
| | X 0 | | = Σ t = 0 s - 1 p n t 2 Σ t = 0 s - 1 ω t x t 2 Σ t = 0 s - 1 ω t p n t 2
其中||Pn||表示特征向量Pn的模值,Pnt表示特征向量Pn中第t个元素值,||Xo||表示输入的待识别人脸图像的模值,Xt表示待识别人脸图像s维行向量中第t个像素值,cosθn表示输入的待识别人脸原图像和特征向量Pn的相关系数,ωt表示像素的权重。
本发明还提出了一种去除眼镜痕迹的人脸识别装置,所述装置包括:
重构模块,用于接收输入的待识别人脸图像,通过预先训练的PCA模板对输入的待识别人脸图像进行重构;
定位模块,用于根据待识别人脸图像及重构后的图像,确定待识别人脸图像中眼镜像素及非眼镜像素的位置;
不戴眼镜的人脸图像构建模块,用于根据待识别人脸图像中眼镜像素及非眼镜像素的位置,构建出不戴眼镜的人脸图像;
复原模块,用于将待识别人脸图像中所有的眼镜像素由不戴眼镜的人脸图像中相应位置的像素进行替换得到复原的人脸图像。
进一步地,所述装置还包括:
复原图像判断模块,用于通过建立的PCA模板对复原人脸图像进行重构,得到重构后的复原人脸图像,计算待识别人脸图像与重构后的复原人脸图像的差值,如果该差值小于迭代阈值,则停止迭代,将复原人脸图像作为结果输出,否则将复原人脸图像作为待识别人脸图像,输入到重构模块重新迭代计算。
进一步地,所述重构模块通过建立的PCA模板对输入的待识别人脸图像或复原人脸图像进行重构,计算公式如下:
X k = ( X o - X ‾ ) * P k
X r = X k * P k T + X ‾
其中,Xo表示输入的人脸图像,表示PCA模板中的人脸均值图像,Pk表示经过PCA降维后的特征矩阵,Xk表示对输入的人脸图像降维后的图像,Xr表示对Xk重构后的图像。
对应地,所述定位模块在根据待识别人脸图像及重构后的图像,确定待识别人脸图像中眼镜像素及非眼镜像素的位置时,执行如下操作:
S2.1、计算待识别人脸图像与当前重构后的图像的差值;
S2.2、将得到的差值与设定的迭代阈值进行比较,如果得到的差值大于设定的迭代阈值,则计算每个像素的权重,根据每个像素的权重对重构后的图像进行迭代计算,得到迭代后的重构图像,以迭代后的重新重构图像为当前重构后的图像,返回S2.1;否则直接以当前重构后的图像计算每个像素的权重,确定待识别人脸图像中眼镜像素及非眼镜像素的位置。
对应地,所述不戴眼镜的人脸图像构建模块在根据待识别人脸图像中眼镜像素及非眼镜像素的位置,构建出不戴眼镜的人脸图像时,对于不戴眼镜的人脸图像为Xf,构建公式如下:
其中,表示PCA模板中的人脸均值图像,表示对应于特征向量Pn(n=0,1....s-1)的因子得分:
cosθ n = Σ t = 0 s - 1 ω t p n t x t Σ t = 0 s - 1 ω t x t 2 Σ t = 0 s - 1 ω t p n t 2
| | X 0 | | = Σ t = 0 s - 1 p n t 2 Σ t = 0 s - 1 ω t x t 2 Σ t = 0 s - 1 ω t p n t 2
其中||Pn||表示特征向量Pn的模值,Pnt表示特征向量Pn中第t个元素值,||Xo||表示输入的待识别人脸图像的模值,Xt表示待识别人脸图像s维行向量中第t个像素值,cosθn表示输入的待识别人脸原图像和特征向量Pn的相关系数,ωt表示像素的权重。
本发明提出了一种去除眼镜痕迹的人脸识别方法及装置,通过确定待识别人脸图像中眼镜像素及非眼镜像素的位置,利用非眼镜像素的位置,构建出不戴眼镜的人脸图像,然后将待识别人脸图像中所有的眼镜像素由不戴眼镜的人脸图像中相应位置的像素进行替换得到复原的人脸图像,去除了眼镜像素对重构图像的影响,提高了识别率。
附图说明
图1为本发明一种去除眼镜痕迹的人脸识别方法流程图。
具体实施方式
下面结合附图和实施例对本发明技术方案做进一步详细说明,以下实施例不构成对本发明的限定。
本发明基于主成分分析法PCA,PCA方法首先需要训练PCA模板,训练PCA模板的过程如下:
收集M张不戴眼镜的正面人脸图像,使用特征点定位方法标定人脸图像中两只眼睛的坐标,特征点定位方法可使用主动形状模型(ASM)算法或者贝叶斯切线模型等;
将上述准备的M张人脸图像统一缩放到瞳距为d个像素单位的尺度,并以两眼中心点为矩形中心,截取长宽各为h和w像素的区域作为待识别图像;
将每张待识别图像转化为s(s=h*w)维的行向量,可以得到向量Xi(i=0,1....M-1),通过计算得到人脸均值图像特征值λn(n=0,1....s-1,特征向量Pnn=0,1....s-1。根据特征值从大到小排序,取前k(k<s)个特征向量得到s*k的降维矩阵Pk
统计上述待识别图像的像素均值与标准方差,得到对应于每一个像素值dt(t=0,1....s-1)的均值和标准方差
需要说明的是,本实施例中无论用于训练PCA模版还是后面的待识别人脸图像都是经过特征点定位,统一缩放到瞳距为d个像素单位的尺度,并以两眼中心点为矩形中心,截取为长宽各为h和w像素的区域的待识别图像,以下称为待识别人脸图像。本实施例待识别人脸图像以两眼中心点为矩形中心,在矩形中心左右分别为w/2个像素,矩形中心上方为h/4个像素,矩形中心下方为3h/4个像素。
基于上述PCA模板,本实施例一种去除眼镜痕迹的人脸识别方法,如图1所示,包括步骤:
S1、输入待识别人脸图像,通过预先训练的PCA模板对输入的待识别人脸图像进行重构。
通过建立的PCA模板对输入的待识别人脸图像进行重构,重构的公式如下:
X k = ( X o - X &OverBar; ) * P k 公式1 X r = X k * P k T + X &OverBar; 公式2
其中,Xo表示输入的待识别人脸图像,表示PCA模板中的人脸均值图像,Pk表示经过PCA降维后的特征矩阵。Xk表示对待识别人脸图像降维后的图像,Xr表示对Xk重构后的图像。
S2、根据待识别人脸图像及重构后的图像,确定待识别人脸图像中眼镜像素及非眼镜像素的位置。
本实施例根据待识别人脸图像及重构后的图像,确定待识别人脸图像中眼镜像素及非眼镜像素的位置,眼镜像素是指被眼镜遮挡的区域内的像素,其他为非眼镜像素,过程如下:
S2.1、计算待识别人脸图像与当前重构后的图像的差值。
S2.2、将得到的差值与设定的迭代阈值进行比较,如果得到的差值大于设定的迭代阈值,则计算每个像素的权重,根据每个像素的权重对重构后的图像进行迭代计算,得到迭代后的重构图像,以迭代后的重新重构图像为当前重构后的图像,返回步骤S2.1;否则直接以当前重构后的图像计算每个像素的权重,确定待识别人脸图像中眼镜像素及非眼镜像素的位置。
假设当前重构后的图像为j为迭代次数,Xo表示输入的待识别人脸原图像,则待识别人脸图像与当前重构后的图像的差值D:
D = | X r j - X o | 公式3
如果:
| X r j - X o | &GreaterEqual; e 公式4
则根据下式计算每个像素的权重ωt(t=0,1....s-1):
&omega; t = 1 , i f d t < d t &OverBar; + &mu;d t s 0 , o t h e r s 公式5
其中dt(t=0,1....s-1)为当前重构后的图像中的像素对应的像素值,均值和标准方差为PCA模板对应的均值和标准方差。
根据每个像素的权重对重构后的图像进行迭代计算,得到迭代后的重构图像,计算公式如下:
X r j + 1 = &omega; t * X r j 公式6
以迭代后的重新重构图像为当前重构后的图像,返回步骤S2.1,直到前重构后的图像与待识别人脸图像的差值小于迭代阈值e,根据每个像素的权重,确定待识别人脸图像中眼镜像素及非眼镜像素的位置,即权重为1时,其对应的像素为非眼镜像素,权重为0时,为眼镜像素。
S3、根据待识别人脸图像中眼镜像素及非眼镜像素的位置,构建出不戴眼镜的人脸图像。
假设不戴眼镜的人脸图像为Xf,构建公式如下:
公式7
其中,表示PCA模板中的人脸均值图像,表示对应于特征向量Pn(n=0,1....s-1)的因子得分:
公式8
cos&theta; n = &Sigma; t = 0 s - 1 &omega; t p n t x t &Sigma; t = 0 s - 1 &omega; t x t 2 &Sigma; t = 0 s - 1 &omega; t p n t 2 公式9
| | X 0 | | = &Sigma; t = 0 s - 1 p n t 2 &Sigma; t = 0 s - 1 &omega; t x t 2 &Sigma; t = 0 s - 1 &omega; t p n t 2 公式10
其中||Pn||表示特征向量Pn的模值,Pnt表示特征向量Pn中第t个元素值,||Xo||表示输入的待识别人脸图像的模值,Xt表示待识别人脸图像s维行向量中第t个像素值,cosθn表示输入的待识别人脸原图像和特征向量Pn的相关系数。cosθn由非眼镜像素通过公式9和公式10计算得到,ωt表示像素的权重。
本实施例合理利用非眼镜像素进行不戴眼镜的人脸图像构建,避免眼镜像素进入构建,能够得到更加准确的不戴眼镜的人脸图像。
S4、将待识别人脸图像中所有的眼镜像素由不戴眼镜的人脸图像中相应位置的像素进行替换得到复原的人脸图像。
通过步骤S2确定了待识别人脸图像中眼镜像素及非眼镜像素的位置,将待识别人脸图像Xo中所有的眼镜像素由不戴眼镜的人脸图像Xf中相应位置的像素进行替换,就可以得到复原人脸图像X’o
进一步地,本实施例的方法还包括如下步骤:
S5、通过建立的PCA模板对复原人脸图像进行重构,得到重构后的复原人脸图像,计算待识别人脸图像与重构后的复原人脸图像的差值,如果该差值小于迭代阈值,则停止迭代,将复原人脸图像作为结果输出,否则将复原人脸图像作为待识别人脸图像,返回步骤S1,重新迭代计算。
当通过步骤S4得到复原人脸图像X’o后,再由公式1,公式2进行重构,重构得到重构后复原人脸图像X’r,如果:
|X’r-Xo|<e公式11
则停止迭代,将复原人脸图像X’o作为人脸识别去眼镜的最终结果;否则将复原人脸图像X’o作为待识别人脸图像Xo,返回步骤S1,重新迭代计算。
基于上述方法,本实施例还提出了一种去除眼镜痕迹的人脸识别装置,所述装置包括:
重构模块,用于接收输入的待识别人脸图像,通过预先训练的PCA模板对输入的待识别人脸图像进行重构;
定位模块,用于根据待识别人脸图像及重构后的图像,确定待识别人脸图像中眼镜像素及非眼镜像素的位置;
不戴眼镜的人脸图像构建模块,用于根据待识别人脸图像中眼镜像素及非眼镜像素的位置,构建出不戴眼镜的人脸图像;
复原模块,用于将待识别人脸图像中所有的眼镜像素由不戴眼镜的人脸图像中相应位置的像素进行替换得到复原的人脸图像。
进一步地,所述装置还包括:
复原图像判断模块,用于通过建立的PCA模板对复原人脸图像进行重构,得到重构后的复原人脸图像,计算待识别人脸图像与重构后的复原人脸图像的差值,如果该差值小于迭代阈值,则停止迭代,将复原人脸图像作为结果输出,否则将复原人脸图像作为待识别人脸图像,输入到重构模块重新迭代计算。
其中,重构模块、定位模块、不戴眼镜的人脸图像构建模块的工作原理在方法的描述中已经阐述,这里不再赘述。
以上实施例仅用以说明本发明的技术方案而非对其进行限制,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种去除眼镜痕迹的人脸识别方法,其特征在于,所述方法包括步骤:
步骤S1、输入待识别人脸图像,通过预先训练的PCA模板对输入的待识别人脸图像进行重构;
步骤S2、根据待识别人脸图像及重构后的图像,确定待识别人脸图像中眼镜像素及非眼镜像素的位置;
步骤S3、根据待识别人脸图像中眼镜像素及非眼镜像素的位置,构建出不戴眼镜的人脸图像;
步骤S4、将待识别人脸图像中所有的眼镜像素由不戴眼镜的人脸图像中相应位置的像素进行替换得到复原的人脸图像。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
步骤S5、通过建立的PCA模板对复原人脸图像进行重构,得到重构后的复原人脸图像,计算待识别人脸图像与重构后的复原人脸图像的差值,如果该差值小于迭代阈值,则停止迭代,将复原人脸图像作为结果输出,否则将复原人脸图像作为待识别人脸图像,返回步骤S1,重新迭代计算。
3.根据权利要求1或2所述的方法,其特征在于,所述通过建立的PCA模板对输入的待识别人脸图像或复原人脸图像进行重构,计算公式如下:
X k = ( X o - X &OverBar; ) * P k
X r = X k * P k T + X &OverBar;
其中,Xo表示输入的人脸图像,表示PCA模板中的人脸均值图像,Pk表示经过PCA降维后的特征矩阵,Xk表示对输入的人脸图像降维后的图像,Xr表示对Xk重构后的图像。
4.根据权利要求1所述的方法,其特征在于,所述根据待识别人脸图像及重构后的图像,确定待识别人脸图像中眼镜像素及非眼镜像素的位置,包括:
S2.1、计算待识别人脸图像与当前重构后的图像的差值;
S2.2、将得到的差值与设定的迭代阈值进行比较,如果得到的差值大于设定的迭代阈值,则计算每个像素的权重,根据每个像素的权重对重构后的图像进行迭代计算,得到迭代后的重构图像,以迭代后的重新重构图像为当前重构后的图像,返回步骤S2.1;否则直接以当前重构后的图像计算每个像素的权重,确定待识别人脸图像中眼镜像素及非眼镜像素的位置。
5.根据权利要求1所述的方法,其特征在于,所述根据待识别人脸图像中眼镜像素及非眼镜像素的位置,构建出不戴眼镜的人脸图像,对于不戴眼镜的人脸图像为Xf,构建公式如下:
其中,表示PCA模板中的人脸均值图像,表示对应于特征向量Pn(n=0,1….s-1)的因子得分:
cos&theta; n = &Sigma; t = 0 s - 1 &omega; t p n t x t &Sigma; t = 0 s - 1 &omega; t x t 2 &Sigma; t = 0 s - 1 &omega; t p n t 2
| | X 0 | | = &Sigma; t = 0 s - 1 p n t 2 &Sigma; t = 0 s - 1 &omega; t x t 2 &Sigma; t = 0 s - 1 &omega; t p n t 2
其中||Pn||表示特征向量Pn的模值,Pnt表示特征向量Pn中第t个元素值,||Xo||表示输入的待识别人脸图像的模值,Xt表示待识别人脸图像s维行向量中第t个像素值,cosθn表示输入的待识别人脸原图像和特征向量Pn的相关系数,ωt表示像素的权重。
6.一种去除眼镜痕迹的人脸识别装置,其特征在于,所述装置包括:
重构模块,用于接收输入的待识别人脸图像,通过预先训练的PCA模板对输入的待识别人脸图像进行重构;
定位模块,用于根据待识别人脸图像及重构后的图像,确定待识别人脸图像中眼镜像素及非眼镜像素的位置;
不戴眼镜的人脸图像构建模块,用于根据待识别人脸图像中眼镜像素及非眼镜像素的位置,构建出不戴眼镜的人脸图像;
复原模块,用于将待识别人脸图像中所有的眼镜像素由不戴眼镜的人脸图像中相应位置的像素进行替换得到复原的人脸图像。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
复原图像判断模块,用于通过建立的PCA模板对复原人脸图像进行重构,得到重构后的复原人脸图像,计算待识别人脸图像与重构后的复原人脸图像的差值,如果该差值小于迭代阈值,则停止迭代,将复原人脸图像作为结果输出,否则将复原人脸图像作为待识别人脸图像,输入到重构模块重新迭代计算。
8.根据权利要求6或7所述的装置,其特征在于,所述重构模块通过建立的PCA模板对输入的待识别人脸图像或复原人脸图像进行重构,计算公式如下:
X k = ( X o - X &OverBar; ) * P k
X r = X k * P k T + X &OverBar;
其中,Xo表示输入的人脸图像,表示PCA模板中的人脸均值图像,Pk表示经过PCA降维后的特征矩阵,Xk表示对输入的人脸图像降维后的图像,Xr表示对Xk重构后的图像。
9.根据权利要求6所述的装置,其特征在于,所述定位模块在根据待识别人脸图像及重构后的图像,确定待识别人脸图像中眼镜像素及非眼镜像素的位置时,执行如下操作:
S2.1、计算待识别人脸图像与当前重构后的图像的差值;
S2.2、将得到的差值与设定的迭代阈值进行比较,如果得到的差值大于设定的迭代阈值,则计算每个像素的权重,根据每个像素的权重对重构后的图像进行迭代计算,得到迭代后的重构图像,以迭代后的重新重构图像为当前重构后的图像,返回S2.1;否则直接以当前重构后的图像计算每个像素的权重,确定待识别人脸图像中眼镜像素及非眼镜像素的位置。
10.根据权利要求6所述的装置,其特征在于,所述不戴眼镜的人脸图像构建模块在根据待识别人脸图像中眼镜像素及非眼镜像素的位置,构建出不戴眼镜的人脸图像时,对于不戴眼镜的人脸图像为Xf,构建公式如下:
其中,表示PCA模板中的人脸均值图像,表示对应于特征向量Pn(n=0,1….s-1)的因子得分:
cos&theta; n = &Sigma; t = 0 s - 1 &omega; t p n t x t &Sigma; t = 0 s - 1 &omega; t x t 2 &Sigma; t = 0 s - 1 &omega; t p n t 2
| | X 0 | | = &Sigma; t = 0 s - 1 p n t 2 &Sigma; t = 0 s - 1 &omega; t x t 2 &Sigma; t = 0 s - 1 &omega; t p n t 2
其中||Pn||表示特征向量Pn的模值,Pnt表示特征向量Pn中第t个元素值,||Xo||表示输入的待识别人脸图像的模值,Xt表示待识别人脸图像s维行向量中第t个像素值,cosθn表示输入的待识别人脸原图像和特征向量Pn的相关系数,ωt表示像素的权重。
CN201510590400.7A 2015-09-16 2015-09-16 一种去除眼镜痕迹的人脸识别方法及装置 Active CN105139000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510590400.7A CN105139000B (zh) 2015-09-16 2015-09-16 一种去除眼镜痕迹的人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510590400.7A CN105139000B (zh) 2015-09-16 2015-09-16 一种去除眼镜痕迹的人脸识别方法及装置

Publications (2)

Publication Number Publication Date
CN105139000A true CN105139000A (zh) 2015-12-09
CN105139000B CN105139000B (zh) 2019-03-12

Family

ID=54724344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510590400.7A Active CN105139000B (zh) 2015-09-16 2015-09-16 一种去除眼镜痕迹的人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN105139000B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407912A (zh) * 2016-08-31 2017-02-15 腾讯科技(深圳)有限公司 一种人脸验证的方法及装置
CN107729886A (zh) * 2017-11-24 2018-02-23 北京小米移动软件有限公司 人脸图像的处理方法及装置
WO2018072102A1 (zh) * 2016-10-18 2018-04-26 华为技术有限公司 一种人脸图像中眼镜去除方法及装置
CN108076290A (zh) * 2017-12-20 2018-05-25 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108182390A (zh) * 2017-12-14 2018-06-19 浙江大华技术股份有限公司 一种基于人脸图像的眼镜框去除方法及装置
CN108932458A (zh) * 2017-05-24 2018-12-04 上海云从企业发展有限公司 恢复眼镜遮挡区域的人脸重建方法及装置
CN109215126A (zh) * 2018-09-21 2019-01-15 广州图语信息科技有限公司 基于低质量三维人脸点云的重构方法、装置及处理终端
CN109829448A (zh) * 2019-03-07 2019-05-31 苏州市科远软件技术开发有限公司 人脸识别方法、装置及存储介质
CN111881740A (zh) * 2020-06-19 2020-11-03 杭州魔点科技有限公司 人脸识别方法、装置、电子设备及介质
US11501563B2 (en) 2017-11-22 2022-11-15 Zhejiang Dahua Technology Co., Ltd. Image processing method and system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163289A (zh) * 2011-04-06 2011-08-24 北京中星微电子有限公司 人脸图像中眼镜的去除方法和装置、佩戴方法和装置
CN102306304A (zh) * 2011-03-25 2012-01-04 杜利利 人脸遮挡物识别方法及其装置
CN103020579A (zh) * 2011-09-22 2013-04-03 上海银晨智能识别科技有限公司 人脸识别方法及系统、人脸图像的眼镜框去除方法与装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306304A (zh) * 2011-03-25 2012-01-04 杜利利 人脸遮挡物识别方法及其装置
CN102163289A (zh) * 2011-04-06 2011-08-24 北京中星微电子有限公司 人脸图像中眼镜的去除方法和装置、佩戴方法和装置
CN103020579A (zh) * 2011-09-22 2013-04-03 上海银晨智能识别科技有限公司 人脸识别方法及系统、人脸图像的眼镜框去除方法与装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN DU ET AL.: "Eyeglasses removal from facial images", 《PATTERN RECOGNITION LETTERS》 *
李战明 等: "一种去除人脸图像中的眼镜的方法", 《工业仪表与自动化装置》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407912A (zh) * 2016-08-31 2017-02-15 腾讯科技(深圳)有限公司 一种人脸验证的方法及装置
WO2018072102A1 (zh) * 2016-10-18 2018-04-26 华为技术有限公司 一种人脸图像中眼镜去除方法及装置
CN109416727A (zh) * 2016-10-18 2019-03-01 华为技术有限公司 一种人脸图像中眼镜去除方法及装置
CN108932458A (zh) * 2017-05-24 2018-12-04 上海云从企业发展有限公司 恢复眼镜遮挡区域的人脸重建方法及装置
CN108932458B (zh) * 2017-05-24 2020-09-11 恒睿(重庆)人工智能技术研究院有限公司 恢复眼镜遮挡区域的人脸重建方法及装置
US11501563B2 (en) 2017-11-22 2022-11-15 Zhejiang Dahua Technology Co., Ltd. Image processing method and system
CN107729886A (zh) * 2017-11-24 2018-02-23 北京小米移动软件有限公司 人脸图像的处理方法及装置
CN108182390B (zh) * 2017-12-14 2019-09-17 浙江大华技术股份有限公司 一种基于人脸图像的眼镜框去除方法及装置
CN108182390A (zh) * 2017-12-14 2018-06-19 浙江大华技术股份有限公司 一种基于人脸图像的眼镜框去除方法及装置
CN108076290A (zh) * 2017-12-20 2018-05-25 维沃移动通信有限公司 一种图像处理方法及移动终端
CN109215126A (zh) * 2018-09-21 2019-01-15 广州图语信息科技有限公司 基于低质量三维人脸点云的重构方法、装置及处理终端
CN109829448A (zh) * 2019-03-07 2019-05-31 苏州市科远软件技术开发有限公司 人脸识别方法、装置及存储介质
CN109829448B (zh) * 2019-03-07 2021-05-28 苏州市科远软件技术开发有限公司 人脸识别方法、装置及存储介质
CN111881740A (zh) * 2020-06-19 2020-11-03 杭州魔点科技有限公司 人脸识别方法、装置、电子设备及介质
CN111881740B (zh) * 2020-06-19 2024-03-22 杭州魔点科技有限公司 人脸识别方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN105139000B (zh) 2019-03-12

Similar Documents

Publication Publication Date Title
CN105139000A (zh) 一种去除眼镜痕迹的人脸识别方法及装置
Lin et al. Gait recognition via effective global-local feature representation and local temporal aggregation
Zhang et al. Random Gabor based templates for facial expression recognition in images with facial occlusion
CN104143079B (zh) 人脸属性识别的方法和系统
Wang et al. Scene flow to action map: A new representation for rgb-d based action recognition with convolutional neural networks
Bilinski et al. Human violence recognition and detection in surveillance videos
CN103268497B (zh) 一种人脸姿态检测方法与在人脸识别中的应用
Gall et al. Hough forests for object detection, tracking, and action recognition
Rangesh et al. Driver gaze estimation in the real world: Overcoming the eyeglass challenge
CN105631861A (zh) 结合高度图从无标记单目图像中恢复三维人体姿态的方法
US20150235073A1 (en) Flexible part-based representation for real-world face recognition apparatus and methods
CN104091169A (zh) 基于多特征融合的行为识别方法
Liu et al. Adaptive object tracking by learning hybrid template online
CN112446342B (zh) 关键帧识别模型训练方法、识别方法及装置
CN105138972A (zh) 人脸认证方法和装置
CN104281845A (zh) 基于旋转不变字典学习模型的人脸识别方法
CN105740780A (zh) 人脸活体检测的方法和装置
Kim et al. Deep stereo confidence prediction for depth estimation
CN104715227A (zh) 人脸关键点的定位方法和装置
Zhang et al. Learning upper patch attention using dual-branch training strategy for masked face recognition
WO2019153175A1 (zh) 基于机器学习的遮挡人脸识别系统、方法及存储介质
CN113642393B (zh) 基于注意力机制的多特征融合视线估计方法
Núñez et al. Multiview 3D human pose estimation using improved least-squares and LSTM networks
CN103902992A (zh) 人脸识别方法
Cancela et al. Unsupervised trajectory modelling using temporal information via minimal paths

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200601

Address after: 250001 whole floor, building 3, Aosheng building, 1166 Xinluo street, Jinan area, Jinan pilot Free Trade Zone, Shandong Province

Patentee after: Jinan boguan Intelligent Technology Co., Ltd

Address before: Hangzhou City, Zhejiang province 310051 Binjiang District West Street Jiangling Road No. 88 building 10 South Block 1-11

Patentee before: ZHEJIANG UNIVIEW TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right