CN114463818A - 深度网络与Gabor高斯特征融合的人脸识别方法 - Google Patents

深度网络与Gabor高斯特征融合的人脸识别方法 Download PDF

Info

Publication number
CN114463818A
CN114463818A CN202210116196.5A CN202210116196A CN114463818A CN 114463818 A CN114463818 A CN 114463818A CN 202210116196 A CN202210116196 A CN 202210116196A CN 114463818 A CN114463818 A CN 114463818A
Authority
CN
China
Prior art keywords
features
gabor
face
gaussian
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210116196.5A
Other languages
English (en)
Inventor
李朝荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yibin University
Original Assignee
Yibin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yibin University filed Critical Yibin University
Priority to CN202210116196.5A priority Critical patent/CN114463818A/zh
Publication of CN114463818A publication Critical patent/CN114463818A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Abstract

本发明方法针现有深度网络的不足，本发明设计了一种有效的人脸识别方法，该方法将深度网络的高级特征和Gabor小波的低级特征进行融合。对于深度网络特征，采用了SENet网络模型，考虑了SENet网络的低层到高层Haar均值特征，分别进行PCA压缩；对于Gabor小波特征，将高斯分布拟合后嵌入到欧式空间，然后用PCA进行特征压缩。将深度网络特征和Gabor高斯特征融合的识别方式能适应戴口罩、墨镜等遮挡和强烈的光照不均问题，显著提升人脸识别准确率，满足复杂环境下的人脸识别需求。

Description

深度网络与Gabor高斯特征融合的人脸识别方法
技术领域
本发明涉及人基于机器视觉技术的人脸识别领域，尤其是涉及将深度网络特征与Gabor高斯特征融合的人脸识别方法。
背景技术
基于光学图像的人脸识别技术已经被广泛和深入研究，取得了很大成功。但是即便在现有的AI技术发展下，人脸自动识别问题还是没有得到很好解决；这些问题包括：大尺度姿势变化、强烈光照不均、面部遮挡，以及人脸细节特征(人脸属性识别)等复杂问题。
对于大尺度变化、遮挡和光照不均问题，传统的处理方法难以满足识别要求。近年，研究人员们借助于对抗网络GAN等技术对人脸进行修复，比起传统的人脸对其方法其性能得到极大提升，但是这样的修复同时也丢失掉了面部细节信息，不利于相似人脸之间的鉴别，不适合高精度人脸验证场景。这也说明了为什么GAN+CNN方法的性能在突飞猛进之后迅速达到瓶颈的重要原因。目前主流人脸识别网络是以残差结构为主的如目前主流的模型，比如ResNet、SENet，以及Transformer模型。从计算效率和识别准确率综合考虑，SENet网络是人脸识别的首先。但是由于复杂环境下的人脸识别非常困难，SENet也难以满足在实际环境下的识别需求。
发明内容
本发明方法针对上述深度网络模型的不足，提出一种基于SENet深度网络和Gabor小波高斯特征融合的人脸识别方法，该方法需要计算两种特征：“深度网络特征”和“Gabor高斯特征”。将两种特征融合能够显著提升人脸识别性能。SENet详细结构见2018年CVPR会议论文：JieHu，Li Shen和Gang Sun等人，《Squeeze-and-ExcitationNetworks》，SENet由一系列卷积层构成，总体结构可以分为：Conv1系列、Conv2系列、Conv3系列、Conv4系列、Conv5系列和尾部(averagepool,1000-dfc,softmax)；每个卷积系列也是由多个卷积层Conv和ReLu等层构成。本发明在每个卷积系列中抽取三组不同的卷积输出特征，并计算Haar多尺度均值特征，将这些Haar多尺度均值特征进行压缩后拼接为最终的人脸特征。深度网络特征由三部分组成：第一部分特征，将Conv1系列和Conv2系列的Haar多尺度均值特征拼接，并用独立主成分分析(PCA)进行压缩；第二部分特征，将Conv3系列和Conv4系列的Haar多尺度均值特征拼接，并用独立主成分分析(PCA)进行压缩；第三部分特征，将Conv5系列的Haar多尺度均值特征和尾部的输出的2048维度拼接，并用独立主成分分析(PCA)进行压缩。
SENet中Conv系列的输出特征由多个矩阵组成的三维矩阵，即：N×P×P，其中P是矩阵宽度，N是矩阵个数，不同卷积层的输出特征N与P是不同的。本发明用Haar多尺度方法来提取卷积输出的三维矩阵的特征。类似于Haar小波分解，首先计算第一尺度均值特征，即分别计算N个矩阵的平均值得到一个N维特征向量；对于矩阵M，其元素表示为Mi,j，该矩阵的平均值为：
Figure BDA0003496145500000021
然后计算第二尺度均值特征，将相邻两个矩阵的平均矩阵，假定Mj和Mj+1是两个相邻矩阵，则两个矩阵的平均结果也是一矩阵，其元素为Mi,j，表示为：
Figure BDA0003496145500000022
然后再利用公式(1)计算本尺度的均值特征；依次再计算第三尺度和第四尺度的均值特征。
对于Gabor高斯特征的计算，输入图像首先要分成大小相等的若干块，比如10×10个局部块，然后在每个局部块上进行，Gabor高斯局部特征计算，将这些局部特征拼接为一个高维向量，然后用PCA压缩便得到Gabor高斯特征。在局部块上进行的是Gabor高斯局部特征计算，即将局部块进行Gabor小波进行5尺度8方向分解，得到40个Gabor子带，假定图像大小是m×m，则每个Gabor子带也是m×m；将40个Gabor子带构造成一个40×m2的观察矩阵，该矩阵每一行代表一个变量，然后用最大似然法计算该观察矩阵的高斯模型，得到高斯模型的协方差矩阵参数C和均值向量参数μ；将高斯模型嵌入到对数欧氏空间，即：
Figure BDA0003496145500000023
E是矩阵，将其拉直便是局部块特征向量。这里拉直是指将矩阵里面的所有元素按照从上到下、从左到右的顺序存放为一个向量。
将“深度网络特征”和“Gabor高斯特征”直接拼接便能够得到最终的人脸特征。
附图说明
图1是本发明的深度特征计算流程图；
图2是Haar多尺度均值特征计算示意图；
图3是Gabor高斯局部特征计算流程图；
图4是Gabor高斯特征计算流程图；
图5是人脸最终特征计算示意图；
具体实施方式
下面结合附图对本发明方法作进一步说明，具体实施步骤如下：
步骤1，训练SENet网络，训练SENet需要在大型人脸数据库下进行，比如VGGFace2人脸数据库.
步骤2准备注册人脸数据库，该步骤可以从任何光学相机或者网络获得人脸图像，并用MTCNN进行人脸检测，该数据库也称为训练数据库；
步骤3模型学习，根据训练数据库，分别执行下面的计算：
步骤3.1计算深度特征，见图1；深度网络特征由三部分组成：第一部分特征，将Conv1系列和Conv2系列的Haar多尺度均值特征拼接；第二部分特征，将Conv3系列和Conv4系列的Haar多尺度均值特征拼接；第三部分特征，将Conv5系列的Haar多尺度均值特征和尾部的输出的2048维度拼接；
计算Haar多尺度均值特征流程见图2，卷积输出的特征是三维矩阵N×P×P，其中P是矩阵宽度，N是矩阵个数，不同卷积层的输出特征N与P是不同的；类似于Haar小波分解，首先计算第一尺度均值特征，即分别计算N个矩阵的平均值得到一个N维特征向量；对于矩阵M，其元素表示为Mi,j，该矩阵的平均值为：
Figure BDA0003496145500000031
然后计算第二尺度均值特征，将相邻两个矩阵的平均矩阵，假定Mj和Mj+1是两个相邻矩阵，则两个矩阵的平均结果也是一矩阵，其元素为Mi,j，表示为：
Figure BDA0003496145500000041
然后再利用公式(1)计算本尺度的均值特征；再依次计算第三尺度和第四尺度的均值特征；
将三部分特征保存到临时数据库，称为人脸特征数据库1，然后分别用独立主成分分析(PCA)对三部分特征进行压缩，该步骤会产生PCA压缩矩阵H1，H2，H3；最后将三部分压缩后的特征进行拼接得到深度特征向量，记为F1；
步骤3.2计算Gabor高斯特征：
输入图像首先要分成大小相等的若干块，本发明分为10×10个局部块，然后在每个局部块上计算“Gabor高斯局部特征”，将这些局部特征拼接为一个高维特征向量，并保存到临时数据库，称为人脸特征数据库2，然后用PCA压缩便得到Gabor高斯特征，该步骤会产生PCA压缩矩阵G，见图4；
Gabor高斯局部特征是在局部块上进行的，见图3，即将局部块进行Gabor小波进行5尺度8方向分解，得到40个Gabor子带，假定图像大小是m×m，则每个Gabor子带也是m×m；将40个Gabor子带构造成一个40×m2的观察矩阵，该矩阵每一行代表一个变量，然后用最大似然法来计算观察矩阵的高斯模型，得到高斯模型的协方差矩阵参数C和均值向量参数μ；将高斯模型嵌入到对数欧氏空间，即：
Figure BDA0003496145500000042
E是矩阵，将其拉直便是Gabor高斯局部特征向量，记为F2；这里拉直是指将矩阵里面的所有元素按照从上到下、从左到右的顺序存放为一个向量；
步骤4，计算最终人脸特征，见图5；
将步骤3.1计算的深度特征向量F1和步骤3.2计算的Gabor高斯局部特征向量拼接,便得到最终的人脸特征，即：
F＝[F1,F2] (4)
步骤5，人脸识别，用步骤2、步骤3和步骤4计算所有训练数据库中所有人的最终的人脸特征，并保存到永久数据库，称为人脸特征数据库3；当输入人脸图像I时，用MTCNN检测人脸，然后按照步骤3.1计算Haar多尺度特征并用PCA压缩矩阵H1，H2，H3进行压缩，得到深度特征；同时用3.2步骤计算Gabor高斯局部特征，然后用PCA压缩矩阵G乘以拼接的高维特征向量，得到Gabor高斯特征，最后用步骤4得到最终的人脸特征Fp；将人脸图像I的特征Fp与人脸特征数据库3中的人脸特征进行欧氏距离比较，当欧氏距离小于某个阈值则表示匹配成功，达到识别效果。

Claims (1)

1.本发明设计了一种人脸识别方法，尤其是涉及将深度网络特征与Gabor高斯特征融合的人脸识别方法，其特征在于它包括以下步骤：
步骤1，训练SENet网络，获得预训练SENet模型；训练SENet需要在大型人脸数据库下进行，比如VGGFace2人脸数据库；
步骤2准备注册人脸数据库，该步骤可以从任何光学相机录入人脸图像，并用，该数据库也称为训练数据库；
步骤3模型学习，根据训练数据库，分别执行下面的计算：
步骤3.1计算深度特征，见说明书附图1；深度网络特征由三部分组成：第一部分特征，将Conv1系列和Conv2系列的Haar多尺度均值特征拼接；第二部分特征，将Conv3系列和Conv4系列的Haar多尺度均值特征拼接；第三部分特征，将Conv5系列的Haar多尺度均值特征和尾部的输出的2048维度拼接；
计算Haar多尺度均值特征流程见说明书附图2，卷积输出的特征是三维矩阵N×P×P，其中P是矩阵宽度，N是矩阵个数，不同卷积层的输出特征N与P是不同的；类似于Haar小波分解，首先计算第一尺度均值特征，即分别计算N个矩阵的平均值得到一个N维特征向量；对于矩阵M，其元素表示为Mi,j，该矩阵的平均值为：
Figure FDA0003496145490000011
然后计算第二尺度均值特征，将相邻两个矩阵的平均矩阵，假定Mj和Mj+1是两个相邻矩阵，则两个矩阵的平均结果也是一矩阵，其元素为Mi,j，表示为：
Figure FDA0003496145490000012
然后再利用公式(1)计算本尺度的均值特征；再依次计算第三尺度和第四尺度的均值特征；
将三部分特征保存到临时数据库，称为人脸特征数据库1，然后分别用独立主成分分析(PCA)对三部分特征进行压缩，该步骤会产生PCA压缩矩阵H1，H2，H3；最后将三部分压缩后的特征进行拼接得到深度特征向量，记为F1；
步骤3.2计算Gabor高斯特征：
输入图像首先要分成大小相等的若干块，本发明分为10×10个局部块，然后在每个局部块上计算“Gabor高斯局部特征”，将这些局部特征拼接为一个高维特征向量，并保存到临时数据库，称为人脸特征数据库2，然后用PCA压缩便得到Gabor高斯特征，该步骤会产生PCA压缩矩阵G，见说明书附图4；
Gabor高斯局部特征是在局部块上进行的，见说明书附图3，即将局部块进行Gabor小波进行5尺度8方向分解，得到40个Gabor子带，假定图像大小是m×m，则每个Gabor子带也是m×m；将40个Gabor子带构造成一个40×m2的观察矩阵，该矩阵每一行代表一个变量，然后用最大似然法来计算观察矩阵的高斯模型，得到高斯模型的协方差矩阵参数C和均值向量参数μ；将高斯模型嵌入到对数欧氏空间，即：
Figure FDA0003496145490000021
E是矩阵，将其拉直便是Gabor高斯局部特征向量，记为F2；这里拉直是指将矩阵里面的所有元素按照从上到下、从左到右的顺序存放为一个向量；
步骤4，计算最终人脸特征，见说明书附图5；
将步骤3.1计算的深度特征向量F1和步骤3.2计算的Gabor高斯局部特征向量拼接,便得到最终的人脸特征，即：
F＝[F1,F2] (4)
步骤5，人脸识别，用步骤2、步骤3和步骤4计算所有训练数据库中所有人的最终的人脸特征，并保存到永久数据库，称为人脸特征数据库3；当输入人脸图像I时，用MTCNN检测人脸，然后按照步骤3.1计算Haar多尺度特征并用PCA压缩矩阵H1，H2，H3进行压缩，得到深度特征；同时用3.2步骤计算Gabor高斯局部特征，然后用PCA压缩矩阵G乘以拼接的高维特征向量，得到Gabor高斯特征，最后用步骤4得到最终的人脸特征Fp；将人脸图像I的特征Fp与人脸特征数据库3中的人脸特征进行欧氏距离比较，当欧氏距离小于某个阈值则表示匹配成功，达到识别效果。
CN202210116196.5A 2022-02-07 2022-02-07 深度网络与Gabor高斯特征融合的人脸识别方法 Pending CN114463818A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210116196.5A CN114463818A (zh) 2022-02-07 2022-02-07 深度网络与Gabor高斯特征融合的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210116196.5A CN114463818A (zh) 2022-02-07 2022-02-07 深度网络与Gabor高斯特征融合的人脸识别方法

Publications (1)

Publication Number Publication Date
CN114463818A true CN114463818A (zh) 2022-05-10

Family

ID=81411337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210116196.5A Pending CN114463818A (zh) 2022-02-07 2022-02-07 深度网络与Gabor高斯特征融合的人脸识别方法

Country Status (1)

Country Link
CN (1) CN114463818A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965553A (zh) * 2023-01-03 2023-04-14 无锡学院 基于多特征融合的人脸图像局部增强方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965553A (zh) * 2023-01-03 2023-04-14 无锡学院 基于多特征融合的人脸图像局部增强方法
CN115965553B (zh) * 2023-01-03 2023-12-19 无锡学院 基于多特征融合的人脸图像局部增强方法

Similar Documents

Publication Publication Date Title
CN112949565B (zh) 基于注意力机制的单样本部分遮挡人脸识别方法及系统
CN107977932B (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN110674874B (zh) 基于目标精细组件检测的细粒度图像识别方法
CN107330397B (zh) 一种基于大间隔相对距离度量学习的行人重识别方法
CN107408211B (zh) 用于物体的再识别的方法
Ranjan et al. Unconstrained age estimation with deep convolutional neural networks
CN108647560B (zh) 一种基于cnn的保持表情信息的人脸转移方法
CN110738146A (zh) 一种目标重识别神经网络及其构建方法和应用
CN109657595A (zh) 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法
Ren et al. CT-SRCNN: cascade trained and trimmed deep convolutional neural networks for image super resolution
CN110032925A (zh) 一种基于改进胶囊网络与算法的手势图像分割与识别方法
CN111401145B (zh) 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN111695513B (zh) 一种基于深度残差网络的人脸表情识别方法
CN111612024B (zh) 特征提取方法、装置、电子设备及计算机可读存储介质
CN110880010A (zh) 基于卷积神经网络的视觉slam闭环检测算法
CN111476248A (zh) 利用用于识别图像的1x1卷积的CNN方法及装置
CN114782977A (zh) 一种基于拓扑信息和亲和度信息引导行人重识别方法
Zhu et al. A-pixelhop: A green, robust and explainable fake-image detector
Hu et al. LDF-Net: Learning a displacement field network for face recognition across pose
CN114463818A (zh) 深度网络与Gabor高斯特征融合的人脸识别方法
CN116597224A (zh) 基于改进yolo v8网络模型的马铃薯缺陷检测方法
CN114882537A (zh) 一种基于神经辐射场的手指新视角图像生成方法
CN111199255A (zh) 基于darknet53网络的小目标检测网络模型及检测方法
CN110969101A (zh) 一种基于hog和特征描述子的人脸检测与跟踪方法
CN113033345B (zh) 基于公共特征子空间的v2v视频人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220510