CN109948573A - 一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法 - Google Patents

一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法 Download PDF

Info

Publication number
CN109948573A
CN109948573A CN201910236935.2A CN201910236935A CN109948573A CN 109948573 A CN109948573 A CN 109948573A CN 201910236935 A CN201910236935 A CN 201910236935A CN 109948573 A CN109948573 A CN 109948573A
Authority
CN
China
Prior art keywords
network
face
sub
noise
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910236935.2A
Other languages
English (en)
Other versions
CN109948573B (zh
Inventor
严严
孟祥邦
王菡子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201910236935.2A priority Critical patent/CN109948573B/zh
Publication of CN109948573A publication Critical patent/CN109948573A/zh
Application granted granted Critical
Publication of CN109948573B publication Critical patent/CN109948573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法,涉及计算机视觉技术。首先设计去噪子网络和人脸识别子网络,在去噪子网络中,利用密集连接的方法,将网络前6层中各层产生的特征图由前往后进行逐层连接,以充分利用浅层网络产生的人脸特征。在人脸识别子网络中采用残差网络结构,利用恒等映射的方法对网络不同层之间进行捷径连接,可有效减少深层网络结构中出现的梯度消失现象。然后采用级联的方法,将去噪子网络和人脸识别子网络进行联合训练,获得噪声鲁棒的人脸表征,并设计了一个联合损失函数用于两个子网络的权值更新。最后根据训练好的网络模型,得到最终的噪声人脸识别结果。

Description

一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法
技术领域
本发明涉及计算机视觉技术,尤其是涉及一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法。
背景技术
在过去的几十年中,随着人脸识别技术的广泛应用,其在计算机视觉和模式识别方面受到越来越多的关注。近年来,由于深度学习的快速发展,人脸识别方法的准确性得到了极大的提高,在某些特定场景下已经超越人眼的识别极限。然而,由于光照、遮挡、噪声等外在干扰因素的影响,人脸识别在这些干扰环境下仍然面临极大的挑战。
随着深度学习的发展,卷积神经网络(CNN)已被广泛应用于各种计算机视觉任务中,并取得了极佳的效果。目前主流的人脸识别工作均采用卷积神经网络来进行。虽然人脸识别方法已经取得了很好的效果,但这些方法主要是基于干净的人脸图像数据集来设计的。当获取的人脸图像被噪声严重污染时,这些方法的性能会显著下降。
通常来说,有两种主要方法用于处理噪声下的人脸识别任务。一种方法是利用图像去噪技术,首先对输入的含噪声的人脸图像进行去噪处理,然后将去噪后的人脸图像输入到人脸识别网络中进行验证或识别。但图像去噪和人脸识别是作为两个独立的任务分别进行的,代表性的图像去噪方法包括BM3D(K.Dabov,A.Foi,V.Katkovnik,K.Egiazarian,“Image denoising by sparse3d transform-domain collaborative filtering”,IEEETransactions on Image Processing,vol.16,no.8,pp.2080-2095,2007.)和WNNM(S.Gu,L.Zhang,W.Zuo,X.Feng,“Weighted nuclear norm minimization with application toimage denoising”,in:IEEE Conference on Computer Vision and PatternRecognition,2014,pp.2862-2869.)。随着深度学习的发展,Zhang等人提出了一种基于深度CNN的图像去噪方法,称为DnCNN(K.Zhang,W.Zuo,Y.Chen,D.Meng,L.Zhang,“Beyond agaussian denoiser:Residual learning of deep CNN for image denoising”,IEEETransactions on Image Processing,vol.26,no.7,pp.3142-3155,2016.),它基于残差学习和批规范化方法进行训练,取得了很好的图像去噪效果。另一种方法是直接生成噪声鲁棒的人脸表征,Ding等人提出了一个抗噪声网络NR-Network(Y.Ding,Y.Cheng,X.Cheng,B.Li,Y.Xing,X.Yuan,“Noise-resistant network:a deeplearning method forfacerecognition under noise”,EURASIP Journal on Image and Video Processing,vol.2017,no.1,pp.43.2017.),其使用含噪声的人脸图像进行网络的训练,并采用“Inception”结构构建了一个抗噪声的深度卷积神经网络,将网络中不同层的特征图在最后一层全连接层进行堆叠,生成抗噪声的人脸表征。但是,由于其简单的网络架构以及使用了大量的池化操作,导致一部分人脸细节特征在训练过程中丢失,因而此方法无法在噪声下获得满意的人脸识别结果。
发明内容
本发明的目的在于提供一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法。
本发明包括以下步骤:
1)准备训练样本集:对于训练样本集中每幅图像进行人脸检测与人脸关键点检测操作,然后将人脸部分裁剪出,并对裁剪后的人脸图像随机添加高斯白噪声操作,从而获得含噪声的人脸训练样本集;
在步骤1)中,所述准备训练样本集的具体方法可包括以下子步骤:
1.1对训练样本集中每幅图像逐一进行人脸检测与人脸关键点的检测,采用MTCNN(K.Zhang,Z.Zhang,Z.Li,Y.Qiao,“Jointfacedetection and alignment using multi-task cascaded convolutional networks”,IEEE Signal Processing Letters,vol.23,no.10,pp.1499-1503,2016)方法,得到人脸关键点在每幅图像中的位置,并将人脸对齐到标准的人脸图像上;
1.2将每幅人脸图像进行切割,得到大小为64×64像素的人脸图像;
1.3对每幅人脸图像随机添加高斯白噪声(AWGN),高斯白噪声的强度表示为σ,其范围设置为σ∈[0,50],得到含噪声的人脸训练样本集。
2)设计去噪子网络:使用扩张卷积增大网络的感受野,获取更多背景信息,并利用密集连接的方法将去噪子网络各层产生的特征图从前往后进行逐层连接,完成浅层网络人脸特征的重利用,获得细节更丰富的人脸特征图;
在步骤2)中,所述设计去噪子网络的具体方法可包括以下子步骤:
2.1采用IRCNN(K.Zhang,W.Zuo,S.Gu,L.Zhang,“Learning deep CNN denoiserprior for image restoration”,in:IEEE Conference on Computer Vision andPattern Recognition,2017,pp.2808-2817.)网络结构的前6层,并在最后增加2层局部特征融合层,去噪子网络共包括8层网络结构,其中包含3种不同类型的块结构,第1层为“扩张卷积+修正线性单元”块,中间6层为“扩张卷积+批规范化+修正线性单元”块,最后1层为“扩张卷积”块;
2.2采用扩张卷积方法来增大网络的感受野,扩张因子从第1层到第8层分别设置为1,2,3,4,3,2,1,1,扩张卷积的卷积核大小均设置为3×3,整个去噪子网络最终可获得35×35的感受野,从而获得更丰富的人脸图像背景信息;
2.3采用“残差学习+批规范化”的方法加速深度卷积神经网络的训练速度,并且可以增强去噪子网络的去噪效果;
2.4采用密集连接方法(G.Huang,Z.Liu,L.v.Maaten,K.Q.Weinberger,“Denselyconnected convolutional networks”,in:IEEE Conference on Computer Vision andPattern Recognition,2017,pp.2261-2269)将去噪子网络前6层中各层产生的特征图由前往后进行逐层连接,以充分利用浅层网络产生的人脸特征,并在网络第6层将之前各层产生的特征图全部堆叠在一起,利用网络最后2层的局部特征融合方法将各层特征融合起来,生成更完整的人脸特征,密集连接公式如下:
Fl=Dl([F0,F1,···,Fl-1])
其中,F0,F1,···,Fl表示第0,1,…,l层产生的特征图,Dl表示第l层的密集连接操作;
2.5去噪子网络对含噪声的人脸图像中的噪声进行建模,为有效计算网络的损失完成反向传播过程,采用均方误差损失函数,公式如下:
其中,N为训练样本数,表示噪声人脸图像所含的噪声,表示噪声-干净人脸图像样本对,表示从第1个到第N个值的累加和运算,表示矩阵的Frobenius范数的平方。
3)设计人脸识别子网络:采用残差网络结构,对去噪后的人脸图像进行识别;
在步骤3)中,所述设计人脸识别子网络包括以下子步骤:
3.1设计的人脸识别子网络,其输入为去噪子网络去噪后的人脸特征图,采用残差网络结构构建一个20层的识别网络,利用恒等映射方法将不同层之间进行捷径连接,可有效减少梯度消失现象;
3.2采用AM-Softmax损失函数作为人脸识别子网络的损失函数,公式如下:
其中,N为训练样本数,C表示人脸种类数目,表示权重向量和特征向量fi之间的角度,log表示取对数操作,表示从第1个到第N个值的累加和运算,表示从1个到第c个(不包含第yi个)值的累加和运算,优化参数m和尺度因子s分别设置为0.35和30。
4)设计级联深度卷积神经网络结构:网络由去噪子网络和人脸识别子网络两部分组成,采用级联的方式将去噪子网络和人脸识别子网络进行联合训练,并设计一个联合损失函数用于两个子网络的参数更新;
在步骤4)中,所述设计级联深度卷积神经网络结构的具体方法为:采用级联训练方法将去噪子网络和人脸识别子网络进行联合训练,并设计一个联合损失函数对去噪子网络和人脸识别子网络损失函数的权重进行调整,联合损失函数公式如下:
Loss=λLossdenoise+(1-λ)Lossid
其中,Loss表示联合损失函数,Lossdenoise表示去噪子网络的损失函数,Lossid表示人脸识别子网络的损失函数,λ表示去噪子网络占整个网络的权重比例,设置为0.2。
5)将含噪声的人脸训练样本集中的所有图像输入级联深度卷积神经网络中,进行端到端的训练,得到训练好的噪声鲁棒人脸识别模型;
6)利用训练好的模型对含噪声的人脸图像进行识别。
本发明首先设计去噪子网络和人脸识别子网络,在去噪子网络中,利用密集连接的方法,将网络前6层中各层产生的特征图由前往后进行逐层连接,以充分利用浅层网络产生的人脸特征。在人脸识别子网络中采用残差网络结构,利用恒等映射的方法对网络不同层之间进行捷径连接,可有效减少深层网络结构中出现的梯度消失现象。然后采用级联的方法,将去噪子网络和人脸识别子网络进行联合训练,获得噪声鲁棒的人脸表征,并设计了一个联合损失函数用于两个子网络的权值更新。最后根据训练好的网络模型,得到最终的噪声人脸识别结果。
本发明使用级联的方式联合训练去噪子网络和人脸识别子网络,去噪子网络生成的图像有利于人脸识别子网络的训练,可生成更加噪声鲁棒的人脸表征,并且为了更好地指导两个子网络的权值更新,本发明设计了一个联合损失函数。本发明在去噪子网络中,采用密集连接的方法将网络前6层中不同层生成的的特征图进行逐层连接,充分利用了卷积神经网络中深层和浅层网络生成的人脸特征,可获得细节更丰富的人脸特征图,优化了人脸识别的效果。此外,本发明利用残差学习和批规范化方法来加速网络的训练以及提高网络的去噪效果,并利用局部特征融合层有效的减少了级联网络中参数的数量,加快了训练过程。
附图说明
图1为本发明实施例的框架图。
具体实施方式
下面结合附图和实施例对本发明的方法作详细说明。
参见图1,本发明实施例包括以下步骤:
1.准备训练样本集。
1.1.对训练样本集中每幅图像逐一进行人脸检测与人脸关键点的检测,采用MTCNN(K.Zhang,Z.Zhang,Z.Li,Y.Qiao,“Jointfacedetection and alignment usingmulti-task cascaded convolutional networks”,IEEE Signal Processing Letters,vol.23,no.10,pp.1499-1503,2016.)方法,得到人脸关键点在每幅图像中的位置,并将人脸对齐到标准的人脸图像上。
1.2将每幅人脸图像进行切割,得到大小为64×64像素的人脸图像。
1.3.对每幅人脸图像随机添加高斯白噪声(AWGN),高斯白噪声的强度表示为σ,其范围设置为σ∈[0,50],得到含噪声的人脸训练样本集。
2.设计去噪子网络。对输入的含有噪声的人脸图像进行去噪处理。
2.1采用IRCNN(K.Zhang,W.Zuo,S.Gu,L.Zhang,“Learning deep CNN denoiserprior for image restoration”,in:IEEE Conference on Computer Vision andPattern Recognition,2017,pp.2808-2817.)网络结构的前6层,并在最后增加2层局部特征融合层,去噪子网络共包括8层网络结构,其中包含3种不同类型的块结构,第1层为“扩张卷积+修正线性单元”块,中间6层为“扩张卷积+批规范化+修正线性单元”块,最后1层为“扩张卷积”块。
2.2利用扩张卷积的方法在不增加网络层数的前提下扩大网络的感受野,第1层至第8层扩张卷积层的扩张因子分别设置为1,2,3,4,3,2,1,1,扩张卷积的卷积核大小均设置为3×3,最终去噪子网络可获得35×35的感受野,从而得到更丰富的人脸图像背景信息。
2.3使用密集连接的方法,将去噪子网络前6层中各层产生的特征图从前往后进行逐层连接,完成浅层网络人脸特征的重利用,这样可有效保持人脸细节特征的完整度。密集连接公式如下:
Fl=Dl([F0,F1,···,Fl-1])
其中,F0,F1,···,Fl表示第0,1,…,l层产生的特征图,Dl表示第l层的密集连接操作。
2.4去噪子网络的最后2层使用局部特征融合层,利用卷积操作将之前各层产生的特征图进行局部特征融合,获得更加完整的人脸特征图,并有效减少网络的参数数量。局部特征融合公式如下:
Fl=LFFl([F0,F1,···,Fl-1])
其中,[F0,F1,···,Fl-1]表示第0,1,…,l-1层产生的特征图的叠加,LFFl表示第l层的局部特征融合操作。
2.5去噪子网络利用“残差学习+批规范化”的组合方法,可有效加快卷积神经网络的训练速度,并增强去噪网络的去噪效果。
2.6.使用均方误差损失作为去噪子网络的损失函数,对含噪声的人脸图像中的噪声进行建模,利用残差学习的方法得到去噪后的人脸特征图。损失函数如下:
其中,N为训练样本数,表示含噪声人脸图像所含的噪声,表示噪声-干净人脸图像样本对,表示从第1个到第N个值的累加和运算,表示矩阵的Frobenius范数的平方。
3.设计人脸识别子网络。输入为去噪子网络产生的去噪后的人脸特征图,采用残差网络结构,利用AM-Softmax损失函数进行损失计算,对去噪后的人脸图像进行识别。
3.1人脸识别子网络,采用AM-Softmax(F.Wang,W.Liu,H.Liu,J.Cheng,“Additivemargin softmax for face verification”,IEEE Signal Processing Letters,vol.25,no.7,pp.926-930,2018.)中的网络架构,由一个20层的残差网络及AM-Softmax损失函数组成。
3.2人脸识别子网络中利用恒等映射的方法,将卷积神经网络中不同层产生的特征图进行恒等映射,完成捷径连接。这样可有效减少由于网络层数过多导致的梯度消失现象。
3.3人脸识别子网络的AM-Softmax损失函数,将不同类间的分隔边界扩展为一个间隔区域,保持类间距离的同时可有效减小类内距离,有助于人脸识别的结果。损失函数公式如下:
其中,N为训练样本数,C表示人脸种类数目,表示权重向量和特征向量fi之间的角度,log表示取对数操作,表示从第1个到第N个值的累加和运算,表示从1个到第c个(不包含第yi个)值的累加和运算,优化参数m和尺度因子s分别设置为0.35和30。
4.设计级联的深度卷积神经网络结构。网络由去噪子网络和人脸识别子网络两部分组成,采用级联的方式将两个子网络进行联合训练,有助于生成噪声鲁棒的人脸表征,并且设计了一个联合损失函数用于指导两个子网络的参数更新。公式如下:
Loss=λLossdenoise+(1-λ)Lossid
其中,Loss表示联合损失函数,Lossdenoise表示去噪子网络的损失函数,Lossid表示人脸识别子网络的损失函数,λ表示去噪子网络占整个网络的权重比例,设置为0.2。
5.将含噪声的人脸训练样本集中的所有图像输入级联的深度卷积神经网络中,进行端到端的训练,得到训练好的模型。
6.利用训练好的模型进行含噪声的人脸图像的识别。
表1为在添加7种不同强度σ=[0,15,25,35,40,45,50]的高斯白噪声后的LFW数据集上,本发明提出的方法与其他方法的噪声人脸验证结果对比。
表1
σ=0 σ=15 σ=25 σ=35 σ=40 σ=45 σ=50
Base1 94.05 84.93 71.42 61.58 58.07 56.85 55.23
Base2 90.77 90.12 89.27 87.98 87.23 86.47 85.47
BM3D 94.08 92.68 91.25 88.87 87.83 86.95 85.38
WNNM 94.07 92.47 91.15 87.97 83.60 82.03 80.52
DnCNN 94.08 92.68 91.07 89.05 88.08 86.85 85.17
NR-Net 85.02 85.07 84.20 83.97 83.62 82.97 82.77
CNR-CNN 93.37 92.98 92.05 91.57 91.42 91.00 90.02
表2为在添加7种不同强度σ=[0,15,25,35,40,45,50]的高斯白噪声后的FERET数据集上,本发明提出的方法与其他方法的噪声人脸识别结果对比。
表2
σ=0 σ=15 σ=25 σ=35 σ=40 σ=45 σ=50
Base1 98.49 68.26 7.15 0.94 0.88 0.82 0.75
Base2 98.12 97.30 95.61 91.28 89.90 86.95 81.30
BM3D 98.49 97.93 92.41 79.49 69.13 56.90 44.86
WNNM 98.49 98.18 91.84 75.85 66.75 55.90 44.98
DnCNN 98.49 97.93 93.35 80.87 72.96 63.17 50.75
NR-Net 90.28 87.39 80.99 72.08 66.75 62.30 53.83
CNR-CNN 99.31 98.87 97.99 95.92 94.48 92.79 89.77
表3为在添加7种不同强度σ=[0,15,25,35,40,45,50]的高斯白噪声后的FEI数据集上,本发明提出的方法与其他方法的噪声人脸识别结果对比。
表3
σ=0 σ=15 σ=25 σ=35 σ=40 σ=45 σ=50
Base1 98.65 58.45 5.75 1.45 1.15 1.25 1.15
Base2 94.35 93.35 89.80 87.10 87.45 78.90 74.40
BM3D 98.65 95.00 87.55 74.70 70.95 61.65 54.35
WNNM 98.65 94.85 85.95 70.65 67.75 55.20 47.25
DnCNN 98.55 94.60 86.45 71.80 67.35 55.35 47.00
NR-Net 79.25 76.60 70.95 62.70 64.35 51.45 48.15
CNR-CNN 98.20 97.45 95.70 93.10 93.80 88.75 84.70
表4为在添加7种不同强度σ=[0,15,25,35,40,45,50]的高斯白噪声后的Cameral2数据集上,本发明提出的方法与其他方法的噪声人脸识别结果对比。
表4
σ=0 σ=15 σ=25 σ=35 σ=40 σ=45 σ=50
Base1 94.93 67.58 27.42 9.81 6.80 4.40 2.67
Base2 82.32 82.12 79.19 76.12 76.12 73.98 73.51
BM3D 94.93 91.46 86.39 78.25 72.92 66.78 61.71
WNNM 94.93 91.39 85.46 76.25 71.31 66.71 60.77
DnCNN 94.86 91.46 87.32 78.08 72.98 68.71 64.38
NR-Net 73.58 72.38 68.71 64.84 62.64 60.84 57.24
CNR-CNN 88.93 88.53 86.79 84.92 83.72 81.99 79.32
在表1~4中:
Base1对应改进版的人脸识别网络FaceNet网络在干净人脸数据集CASIA-WebFace下训练得到的模型;
Base2对应改进版的人脸识别网络FaceNet网络在随机添加高斯白噪声后的人脸数据集CASIA-WebFace下训练得到的模型;
BM3D对应K.Dabov等人提出的图像去噪方法(K.Dabov,A.Foi,V.Katkovnik,K.Egiazarian,“Image denoising by sparse3d transform-domain collaborativefiltering”,IEEE Transactions on Image Processing,vol.16,no.8,pp.2080-2095,2007.),人脸识别网络使用Basel;
WNNM对应S.Gu等人提出的图像去噪方法(S.Gu,L.Zhang,W.Zuo,X.Feng,“Weighted nuclear norm minimization with application to image denoising”,in:IEEE Conference on Computer Vision and Pattern Recognition,2014,pp.2862-2869.),人脸识别网络使用Base1;
DnCNN对应K.Zhang等人提出的图像去噪方法(K.Zhang,W.Zuo,Y.Chen,D.Meng,L.Zhang,“Beyond a gaussian denoiser:Residual learning of deep CNN for imagedenoising”,IEEE Transactions on Image Processing,vol.26,no.7,pp.3142-3155,2016.),人脸识别网络使用Base1;
NR-Net对应Y.Ding等人提出的方法(Y.Ding,Y.Cheng,X.Cheng,B.Li,Y.Xing,X.Yuan,“Noise-resistant network:a deep-learning method for face recognitionunder noise”,EURASIP Journal on Image and Video Processing,vol.2017,no.1,pp.43.2017.)。
CNR-CNN对应本发明公开的一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法。

Claims (5)

1.一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法,其特征在于包括以下步骤:
1)准备训练样本集:对于训练样本集中每幅图像进行人脸检测与人脸关键点检测操作,然后将人脸部分裁剪出来,并对裁剪后的人脸图像随机添加高斯白噪声操作,从而获得含噪声的人脸训练样本集;
2)设计去噪子网络:使用扩张卷积增大网络的感受野,获取更多背景信息,并利用密集连接结构将网络前6层中各层产生的特征图由前往后进行逐层连接,完成浅层网络人脸特征的重利用,获得细节更丰富的人脸图像;
3)设计人脸识别子网络:采用残差网络结构,对去噪后的人脸图像进行识别;
4)设计级联深度卷积神经网络结构:网络由去噪子网络和人脸识别子网络两部分组成,采用级联的方式将去噪子网络和人脸识别子网络进行联合训练,并设计一个联合损失函数用于两个子网络的参数更新;
5)将含噪声的人脸训练样本集中的所有图像输入级联深度卷积神经网络中,进行端到端的训练,得到训练好的模型;
6)利用训练好的模型对含噪声的人脸图像进行识别。
2.如权利要求1所述一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法,其特征在于在步骤1)中,所述准备训练样本集的具体方法包括以下子步骤:
1.1对训练样本集中每幅图像逐一进行人脸检测与人脸关键点的检测,采用MTCNN方法,得到人脸关键点在每幅图像中的位置,并将人脸对齐到标准的人脸图像上;
1.2将每幅人脸图像进行切割,得到大小为64×64像素的人脸图像;
1.3对每幅人脸图像随机添加高斯白噪声,高斯白噪声的强度表示为σ,其范围设置为σ∈[0,50],得到含噪声的人脸训练样本集。
3.如权利要求1所述一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法,其特征在于在步骤2)中,所述设计去噪子网络的具体方法包括以下子步骤:
2.1采用IRCNN网络结构的前6层,并在最后增加2层局部特征融合层,去噪子网络共包括8层网络结构,其中包含3种不同类型的块结构,第1层为“扩张卷积+修正线性单元”块,中间6层为“扩张卷积+批规范化+修正线性单元”块,最后1层为“扩张卷积”块;
2.2采用扩张卷积方法来增大网络的感受野,扩张因子从第1层到第8层分别设置为1,2,3,4,3,2,1,1,扩张卷积的卷积核大小均设置为3×3,整个去噪子网络最终获得35×35的感受野,从而获得更丰富的人脸图像背景信息;
2.3采用“残差学习+批规范化”的方法加速卷积神经网络的训练速度,并且增强去噪子网络的去噪效果;
2.4采用密集连接方法将去噪子网络前6层中各层产生的特征图由前往后进行逐层连接,以充分利用浅层网络产生的特征,并在网络第6层将之前各层生成的特征图全部堆叠在一起,利用网络最后2层的局部特征融合方法将各层特征融合起来,生成更完整的人脸特征,密集连接公式如下:
Fl=Dl([F0,F1,···,Fl-1])
其中,F0,F1,···,Fl表示第0,1,…,l层产生的特征图,Dl表示第l层的密集连接操作;
2.5去噪子网络对含噪声的人脸图像中的噪声进行建模,为有效计算网络的损失,采用均方误差损失函数,公式如下:
其中,N为训练样本数,表示噪声人脸图像所含的噪声,表示噪声-干净人脸图像样本对,表示从第1个到第N个值的累加和运算,表示矩阵的Frobenius范数的平方。
4.如权利要求1所述一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法,其特征在于在步骤3)中,所述设计人脸识别子网络包括以下子步骤:
3.1设计的人脸识别子网络,其输入为去噪子网络去噪后的人脸特征图,采用残差网络结构构建一个20层的识别网络,利用恒等映射方法将不同层之间进行捷径连接,有效减少梯度消失现象;
3.2采用AM-Softmax损失函数,损失函数公式如下:
其中,N为训练样本数,C表示人脸种类数目,表示权重向量和特征向量fi之间的角度,log表示取对数操作,表示从第1个到第N个值的累加和运算,表示从1个到第c个(不包含第yi个)值的累加和运算,优化参数m和尺度因子s分别设置为0.35和30。
5.如权利要求1所述一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法,其特征在于在步骤4)中,所述设计级联深度卷积神经网络结构的具体方法为:采用级联训练方法将去噪子网络和人脸识别子网络进行联合训练,并设计一个联合损失函数对去噪子网络和人脸识别子网络的权值进行调整,联合损失函数公式如下:
Loss=λLossdenoise+(1-λ)Lossid
其中,Loss表示联合损失函数,Lossdenoise表示去噪子网络的损失函数,Lossid表示人脸识别子网络的损失函数,λ表示去噪子网络占整个网络的权重比例,设置为0.2。
CN201910236935.2A 2019-03-27 2019-03-27 一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法 Active CN109948573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910236935.2A CN109948573B (zh) 2019-03-27 2019-03-27 一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910236935.2A CN109948573B (zh) 2019-03-27 2019-03-27 一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法

Publications (2)

Publication Number Publication Date
CN109948573A true CN109948573A (zh) 2019-06-28
CN109948573B CN109948573B (zh) 2021-08-17

Family

ID=67011076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910236935.2A Active CN109948573B (zh) 2019-03-27 2019-03-27 一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法

Country Status (1)

Country Link
CN (1) CN109948573B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263768A (zh) * 2019-07-19 2019-09-20 深圳市科葩信息技术有限公司 一种基于深度残差网络的人脸识别方法
CN110334667A (zh) * 2019-07-10 2019-10-15 广东工业大学 基于ircnn和mtcnn的具有尺度旋转不变性的静脉识别方法及系统
CN110399826A (zh) * 2019-07-22 2019-11-01 清华大学深圳研究生院 一种端到端人脸检测和识别方法
CN110458097A (zh) * 2019-08-09 2019-11-15 软通动力信息技术有限公司 一种人脸图片识别方法、装置、电子设备及存储介质
CN110969089A (zh) * 2019-11-01 2020-04-07 北京交通大学 噪声环境下的轻量级人脸识别系统及识别方法
CN111008576A (zh) * 2019-11-22 2020-04-14 高创安邦(北京)技术有限公司 行人检测及其模型训练、更新方法、设备及可读存储介质
CN111400540A (zh) * 2020-03-11 2020-07-10 金陵科技学院 一种基于挤压和激励残差网络的歌声检测方法
CN111461089A (zh) * 2020-06-17 2020-07-28 腾讯科技(深圳)有限公司 一种人脸检测的方法、人脸检测模型的训练方法及装置
CN111539246A (zh) * 2020-03-10 2020-08-14 西安电子科技大学 一种跨光谱人脸识别方法、装置、电子设备及其存储介质
CN111597933A (zh) * 2020-04-30 2020-08-28 北京的卢深视科技有限公司 人脸识别方法和装置
CN111783605A (zh) * 2020-06-24 2020-10-16 北京百度网讯科技有限公司 一种人脸图像识别方法、装置、设备及存储介质
CN111914726A (zh) * 2020-07-28 2020-11-10 联芯智能(南京)科技有限公司 基于多通道自适应注意力机制的行人检测方法
CN112200110A (zh) * 2020-10-19 2021-01-08 厦门大学 一种基于深度干扰分离学习的人脸表情识别方法
CN112862095A (zh) * 2021-02-02 2021-05-28 浙江大华技术股份有限公司 基于特征分析的自蒸馏学习方法、设备以及可读存储介质
CN113191220A (zh) * 2021-04-15 2021-07-30 广州紫为云科技有限公司 一种基于深度学习的双层车牌识别方法
CN114839613A (zh) * 2022-02-25 2022-08-02 哈尔滨工程大学 基于零次学习的未知信号识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
CN107609464A (zh) * 2017-07-24 2018-01-19 南京邮电大学 一种实时高精度人脸快速检测方法
CN108734199A (zh) * 2018-04-24 2018-11-02 西北工业大学 基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
CN107609464A (zh) * 2017-07-24 2018-01-19 南京邮电大学 一种实时高精度人脸快速检测方法
CN108734199A (zh) * 2018-04-24 2018-11-02 西北工业大学 基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DING LIU等: "When Image Denoising Meets High-Level Vision Tasks: A Deep Learning Approach", 《ARXIV》 *
FENG WANG等: "Additive Margin Softmax for Face Verification", 《ARXIV》 *
GAO HUANG等: "Densely Connected Convolutional Networks", 《ARXIV》 *
KAI ZHANG等: "Learning Deep CNN Denoiser Prior for Image Restoration", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334667A (zh) * 2019-07-10 2019-10-15 广东工业大学 基于ircnn和mtcnn的具有尺度旋转不变性的静脉识别方法及系统
CN110263768A (zh) * 2019-07-19 2019-09-20 深圳市科葩信息技术有限公司 一种基于深度残差网络的人脸识别方法
CN110399826A (zh) * 2019-07-22 2019-11-01 清华大学深圳研究生院 一种端到端人脸检测和识别方法
CN110399826B (zh) * 2019-07-22 2021-06-15 清华大学深圳研究生院 一种端到端人脸检测和识别方法
CN110458097A (zh) * 2019-08-09 2019-11-15 软通动力信息技术有限公司 一种人脸图片识别方法、装置、电子设备及存储介质
CN110969089A (zh) * 2019-11-01 2020-04-07 北京交通大学 噪声环境下的轻量级人脸识别系统及识别方法
CN110969089B (zh) * 2019-11-01 2023-08-18 北京交通大学 噪声环境下的轻量级人脸识别系统及识别方法
CN111008576A (zh) * 2019-11-22 2020-04-14 高创安邦(北京)技术有限公司 行人检测及其模型训练、更新方法、设备及可读存储介质
CN111008576B (zh) * 2019-11-22 2023-09-01 高创安邦(北京)技术有限公司 行人检测及其模型训练、更新方法、设备及可读存储介质
CN111539246A (zh) * 2020-03-10 2020-08-14 西安电子科技大学 一种跨光谱人脸识别方法、装置、电子设备及其存储介质
CN111400540B (zh) * 2020-03-11 2023-10-17 金陵科技学院 一种基于挤压和激励残差网络的歌声检测方法
CN111400540A (zh) * 2020-03-11 2020-07-10 金陵科技学院 一种基于挤压和激励残差网络的歌声检测方法
CN111597933A (zh) * 2020-04-30 2020-08-28 北京的卢深视科技有限公司 人脸识别方法和装置
CN111597933B (zh) * 2020-04-30 2023-07-14 合肥的卢深视科技有限公司 人脸识别方法和装置
CN111461089B (zh) * 2020-06-17 2020-09-15 腾讯科技(深圳)有限公司 一种人脸检测的方法、人脸检测模型的训练方法及装置
CN111461089A (zh) * 2020-06-17 2020-07-28 腾讯科技(深圳)有限公司 一种人脸检测的方法、人脸检测模型的训练方法及装置
CN111783605A (zh) * 2020-06-24 2020-10-16 北京百度网讯科技有限公司 一种人脸图像识别方法、装置、设备及存储介质
CN111783605B (zh) * 2020-06-24 2024-05-24 北京百度网讯科技有限公司 一种人脸图像识别方法、装置、设备及存储介质
WO2021258588A1 (zh) * 2020-06-24 2021-12-30 北京百度网讯科技有限公司 一种人脸图像识别方法、装置、设备及存储介质
JP2023529225A (ja) * 2020-06-24 2023-07-07 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 顔画像認識方法、装置、機器および記憶媒体
CN111914726A (zh) * 2020-07-28 2020-11-10 联芯智能(南京)科技有限公司 基于多通道自适应注意力机制的行人检测方法
CN111914726B (zh) * 2020-07-28 2024-05-07 联芯智能(南京)科技有限公司 基于多通道自适应注意力机制的行人检测方法
CN112200110A (zh) * 2020-10-19 2021-01-08 厦门大学 一种基于深度干扰分离学习的人脸表情识别方法
CN112862095B (zh) * 2021-02-02 2023-09-29 浙江大华技术股份有限公司 基于特征分析的自蒸馏学习方法、设备以及可读存储介质
CN112862095A (zh) * 2021-02-02 2021-05-28 浙江大华技术股份有限公司 基于特征分析的自蒸馏学习方法、设备以及可读存储介质
CN113191220A (zh) * 2021-04-15 2021-07-30 广州紫为云科技有限公司 一种基于深度学习的双层车牌识别方法
CN114839613A (zh) * 2022-02-25 2022-08-02 哈尔滨工程大学 基于零次学习的未知信号识别方法

Also Published As

Publication number Publication date
CN109948573B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN109948573A (zh) 一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法
Pistilli et al. Learning graph-convolutional representations for point cloud denoising
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN110796625B (zh) 一种基于组稀疏表示和加权全变分的图像压缩感知重构方法
CN111242864B (zh) 一种基于Gabor纹理约束的手指静脉图像修复方法
CN107679491A (zh) 一种融合多模态数据的3d卷积神经网络手语识别方法
CN106204482B (zh) 基于加权稀疏的混合噪声去除方法
CN108961675A (zh) 基于卷积神经网络的跌倒检测方法
CN108038420A (zh) 一种基于深度视频的人体行为识别方法
CN103049892A (zh) 基于相似块矩阵秩最小化的非局部图像去噪方法
CN110135438A (zh) 一种基于梯度幅值预运算的改进surf算法
CN112163609A (zh) 一种基于深度学习的图像块相似度计算方法
CN113870128A (zh) 一种基于深度卷积对抗式网络的数字壁画图像修复方法
CN112288645A (zh) 一种颅骨面貌复原模型构建方法及复原方法与系统
Guo et al. Multifeature extracting CNN with concatenation for image denoising
CN107133938A (zh) 基于小波系数统计模型的鲁棒图像融合方法
CN109345609A (zh) 基于卷积神经网络进行壁画图像去噪和线描画生成的方法
Jin et al. Semisupervised remote sensing image fusion using multiscale conditional generative adversarial network with siamese structure
CN107085834A (zh) 一种基于图像旋转和分块奇异值分解的图像去噪方法
CN106169180A (zh) 一种基于组的非局部稀疏表示加性噪声去除方法
CN114092354A (zh) 一种基于生成对抗网络的人脸图像修复方法
CN112767272A (zh) 一种权值自适应混合阶全变分图像去噪算法
Xu et al. Weighted lp norm sparse error constraint based ADMM for image denoising
CN107066943A (zh) 一种人脸检测方法及装置
Lifindra et al. Batik Style Transfer into Fractal Shape

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant