CN110674774A - 一种改进的深度学习人脸面部表情识别方法及系统 - Google Patents

一种改进的深度学习人脸面部表情识别方法及系统 Download PDF

Info

Publication number
CN110674774A
CN110674774A CN201910937372.XA CN201910937372A CN110674774A CN 110674774 A CN110674774 A CN 110674774A CN 201910937372 A CN201910937372 A CN 201910937372A CN 110674774 A CN110674774 A CN 110674774A
Authority
CN
China
Prior art keywords
log
facial expression
gabor
image
gist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910937372.XA
Other languages
English (en)
Inventor
伊力哈木·亚尔买买提
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang University
Original Assignee
Xinjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang University filed Critical Xinjiang University
Priority to CN201910937372.XA priority Critical patent/CN110674774A/zh
Publication of CN110674774A publication Critical patent/CN110674774A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种改进的深度学习人脸面部表情识别方法及系统。所述方法首先对人脸面部表情图像提取其多个尺度和方向的Log‑Gabor特征向量图，再将所有的Log‑Gabor特征向量图按照统一的方式进行分块，再利用Gist算法对每张Log‑Gabor特征向量图进行处理，提取其Gist特征块，并将所有的Log‑Gabor特征向量图的Gist特征块级联起来作为一个人脸面部表情图像的级联融合特征向量，然后将多幅人脸面部表情图像样本的级联融合特征向量作为栈式自编码器(SAE)的输入特征进行训练，最后将训练后的表情特征输入到分类器中进行识别，获得最后的辨识结果。实验证明，本发明方法能够在非均匀光照下很好地提取人脸表情特征，具有很高的识别率，稳定的实时性和鲁棒性。

Description

一种改进的深度学习人脸面部表情识别方法及系统
技术领域
本发明涉及人脸面部表情识别技术领域，特别是涉及一种改进的深度学习人脸面部表情识别方法及系统。
背景技术
近些年来，随着人机交互技术的飞速发展，人脸表情识别日益受到研究者的关注。随着模式识别与人机交互技术的不断发展，人脸表情识别研宄己经成为智能化人机交互领域的热点研宄内容之一。目前，受控环境下的人脸表情识别研究已经取得了很大的进展，然而在自然环境下，表情图像通常存在许多不可控因素，使得现有表情识别算法性能表现不佳。由于人类情感表达的多样性和人脸表情自身的复杂性，单一类别特征并不能很好地用于表情识别，为此，越来越多的研究者开始趋于多特征融合方向的研究。
目前，主流的表情特征提取方法有活动外观模型(Active Appearance Model，AAM)，Gabor小波变换，线性判别分析(lineardiscriminant analysis，LDA)以及局部二元模式(Local BinaryPattern，LBP)等。在这些方法中，AAM能够描述对象的纹理和形状两种属性，但是难以确定初始参数，并且计算复杂；Gabor小波提取的是多尺度多方向信息，由此产生的高维特征向量不利于算法的实时处理；线性判别分析(LDA)可实现快速识别，但它依赖训练和检测图像的灰度相关性，有很大局限；相比于Gabor小波特征，局部二元模式(LBP)具有灰度和旋转不变性，同时在一定程度上可以抑制光照的影响，计算简单，是一种有效的局部纹理描述算子。然而在识别表情时，传统局部二元模式(LBP)算法很难精确描述不同方向上额头、眼睛、嘴巴等关键表情区域的灰度变化趋势，分类效果不太理想。
2006年，AI教父Hinton等训练了一个深层自编码器并逐渐缩小隐层，在30个单元时达到极值。相比30维的PCA(Principal ComponentsAnalysis，主成分分析)，其生成的编码所产生的重构误差更少，所学习到的特征更容易定性地解释。因此，SAE(StackedAutoencoder)具有优于其他方法的降维和特征表达效果；然而，它的性能优劣依赖于输入层的特征充分与否，如果特征表达不充分、噪声含量大，那么训练好的SAE模型并不理想。
发明内容
本发明的目的是提供一种改进的深度学习人脸面部表情识别方法及系统，以解决现有人脸面部表情识别方法识别结果不理想的问题。
为实现上述目的，本发明提供了如下方案：
一种改进的深度学习人脸面部表情识别方法，所述方法包括：
获取多幅人脸面部表情图像作为训练样本；
采用Log-Gabor滤波器提取所述人脸面部表情图像多个尺度和方向的Log-Gabor特征向量图；
采用Gist算法提取所述Log-Gabor特征向量图的级联融合特征向量；
将多幅所述人脸面部表情图像的所述级联融合特征向量作为栈式自编码器的输入，采用逐层贪婪训练法逐层训练所述栈式自编码器的网络参数，生成预训练后的栈式自编码器；
采用反向传播算法对所述预训练后的栈式自编码器的网络参数进行微调，训练得到最优栈式自编码器；
将softmax分类器作为所述最优栈式自编码器的输出层，构建人脸面部表情识别模型；
获取待识别人脸面部表情图像的待识别级联融合特征向量；
将所述待识别级联融合特征向量输入所述人脸面部表情识别模型，由所述人脸面部表情识别模型输出识别结果。
可选的，所述采用Log-Gabor滤波器提取所述人脸面部表情图像多个尺度和方向的Log-Gabor特征向量图，具体包括：
采用公式
Figure BDA0002221934870000021
提取每一幅所述人脸面部表情图像I的m个尺度n个方向的Log-Gabor特征向量图
Figure BDA0002221934870000022
其中
Figure BDA0002221934870000023
表示第i张Log-Gabor特征向量图；I(x,y)为所述人脸面部表情图像I在(x，y)点处的灰度值；Lμ,ν(x,y)表示μ尺度、ν方向的Log-Gabor滤波器；μ＝1,2,...,m；ν＝1,2,...,n。
可选的，所述采用Gist算法提取所述Log-Gabor特征向量图的级联融合特征向量，具体包括：
采用Gist算法提取第i张Log-Gabor特征向量图
Figure BDA0002221934870000031
的Gist特征块
将所有的
Figure BDA0002221934870000033
对应的Gist特征块
Figure BDA0002221934870000034
级联起来生成所述人脸面部表情图像的级联融合特征向量HLog-Gabor+Gist，其中
Figure BDA0002221934870000035
可选的，所述采用Gist算法提取第i张Log-Gabor特征向量图
Figure BDA0002221934870000036
的Gist特征块具体包括：
对所述Log-Gabor特征向量图进行分块，生成多个小块图像；
对每个所述小块图像，用nc个通道的滤波器进行卷积滤波，并将nc个通道滤波后的结果级联起来，形成所述小块图像的特征
Figure BDA0002221934870000039
其中，i＝1,2…,na×na，na×na为小块图像的数量；f(x,y)为所述Log-Gabor特征向量图F(x,y)的灰度图像，f(x,y)里的x,y为第i小块中的坐标值；gmn(x，y)表示大小为m*n的滤波器；函数
Figure BDA00022219348700000310
表示将nc个通道滤波后的结果进行级联；
Figure BDA00022219348700000311
表示所述小块图像进行第nc个通道滤波后所产生的特征值；
计算每一个所述小块图像的特征值并取平均值，得到所述小块图像的Gist特征
Figure BDA00022219348700000312
其中，表示所述小块图像在第nc个通道滤波后所产生的平均特征值；h′×w′为所述小块图像的大小；
将每一个所述小块图像中产生的nc个平均特征值
Figure BDA00022219348700000314
级联起来，生成整幅所述Log-Gabor特征向量图
Figure BDA00022219348700000315
的Gist特征块
Figure BDA00022219348700000316
一种改进的深度学习人脸面部表情识别系统，所述系统包括：
训练样本获取模块，用于获取多幅人脸面部表情图像作为训练样本；
特征向量图提取模块，用于采用Log-Gabor滤波器提取所述人脸面部表情图像多个尺度和方向的Log-Gabor特征向量图；
级联融合模块，用于采用Gist算法提取所述Log-Gabor特征向量图的级联融合特征向量；
栈式自编码器预训练模块，用于将多幅所述人脸面部表情图像的所述级联融合特征向量作为栈式自编码器的输入，采用逐层贪婪训练法逐层训练所述栈式自编码器的网络参数，生成预训练后的栈式自编码器；
网络参数微调模块，用于采用反向传播算法对所述预训练后的栈式自编码器的网络参数进行微调，训练得到最优栈式自编码器；
模型建立模块，用于将softmax分类器作为所述最优栈式自编码器的输出层，构建人脸面部表情识别模型；
待识别图像获取模块，用于获取待识别人脸面部表情图像的待识别级联融合特征向量；
人脸面部表情识别模块，用于将所述待识别级联融合特征向量输入所述人脸面部表情识别模型，由所述人脸面部表情识别模型输出识别结果。
可选的，所述特征向量图提取模块具体包括：
特征向量图提取单元，用于采用公式
Figure BDA0002221934870000041
提取每一幅所述人脸面部表情图像I的m个尺度n个方向的Log-Gabor特征向量图其中
Figure BDA0002221934870000043
表示第i张Log-Gabor特征向量图；I(x,y)为所述人脸面部表情图像I在(x，y)点处的灰度值；Lμ,ν(x,y)表示μ尺度、ν方向的Log-Gabor滤波器；μ＝1,2,...,m；ν＝1,2,...,n。
可选的，所述级联融合模块具体包括：
Gist特征块提取单元，用于采用Gist算法提取第i张Log-Gabor特征向量图
Figure BDA0002221934870000044
的Gist特征块
Figure BDA0002221934870000045
Gist特征块级联单元，用于将所有的
Figure BDA0002221934870000046
对应的Gist特征块
Figure BDA0002221934870000047
级联起来生成所述人脸面部表情图像的级联融合特征向量HLog-Gabor+Gist，其中
可选的，所述Gist特征块提取单元具体包括：
图像分块子单元，用于对所述Log-Gabor特征向量图进行分块，生成多个小块图像；
小块图像特征提取子单元，用于对每个所述小块图像，用nc个通道的滤波器进行卷积滤波，并将nc个通道滤波后的结果级联起来，形成所述小块图像的特征
Figure BDA0002221934870000052
其中，i＝1,2…,na×na，na×na为小块图像的数量；f(x,y)为所述Log-Gabor特征向量图F(x,y)的灰度图像，f(x,y)里的x,y为第i小块中的坐标值；gmn(x，y)表示大小为m*n的滤波器；函数
Figure BDA0002221934870000053
表示将nc个通道滤波后的结果进行级联；
Figure BDA0002221934870000054
表示所述小块图像进行第nc个通道滤波后所产生的特征值；
小块图像Gist特征计算子单元，用于计算每一个所述小块图像的特征值并取平均值，得到所述小块图像的Gist特征
Figure BDA0002221934870000055
其中，
Figure BDA0002221934870000056
表示所述小块图像在第nc个通道滤波后所产生的平均特征值；h′×w′为所述小块图像的大小；
Gist特征块生成子单元，用于将每一个所述小块图像中产生的nc个平均特征值
Figure BDA0002221934870000057
级联起来，生成整幅所述Log-Gabor特征向量图
Figure BDA0002221934870000058
的Gist特征块
Figure BDA0002221934870000059
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供一种改进的深度学习人脸面部表情识别方法及系统，所述方法首先对人脸面部表情图像提取其多个尺度和方向的Log-Gabor特征向量图，再将所有的Log-Gabor特征向量图按照统一的方式进行分块，再利用Gist算法对每张Log-Gabor特征向量图进行处理，提取其Gist特征块，并将所有的Log-Gabor特征向量图的Gist特征块级联起来作为一个人脸面部表情图像的级联融合特征向量，然后将多幅人脸面部表情图像样本的级联融合特征向量作为栈式自编码器(SAE)的输入特征进行训练，最后将训练后的表情特征输入到分类器中进行识别，获得最后的辨识结果。实验证明，本发明方法能够在非均匀光照下很好地提取人脸表情特征，具有很高的识别率，稳定的实时性和鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的改进的深度学习人脸面部表情识别方法的流程图；
图2为本发明提供的改进的深度学习人脸面部表情识别方法的原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种改进的深度学习人脸面部表情识别方法及系统，以解决现有人脸面部表情识别方法识别结果不理想的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明提供的改进的深度学习人脸面部表情识别方法的流程图，图2为本发明提供的改进的深度学习人脸面部表情识别方法的原理图。本发明方法是一种SAE特征融合下的人脸面部表情识别方法，所述方法首先将Log-Gabor特征向量与Gist特征块级联融合，再将级联融合的特征向量作为栈式自编码器(Stacked Autoencoders，SAE)的输入特征进行训练，最后将SAE的不同层特征融合作为softmax分类器的输入，得到人脸面部表情识别结果。参见图1和图2，本发明提供的改进的深度学习人脸面部表情识别方法具体包括：
步骤101：获取多幅人脸面部表情图像作为训练样本。
所述人脸面部表情图像(简称人脸图像)的大小为M×N。
步骤102：采用Log-Gabor滤波器提取所述人脸面部表情图像多个尺度和方向的Log-Gabor特征向量图。
对每一幅人脸图像I(大小为M×N)使用Log-Gabor滤波器组处理，提取其m个尺度n个方向的Log-Gabor特征向量，共得到mn个Log-Gabor特征向量表情图像
Figure BDA0002221934870000071
而且每个Log-Gabor特征向量图的规格也为M×N。
本发明采用的Log-Gabor滤波器为Gabor滤波器的一种改进。Gabor特征主要包含空间尺度、空间位置、方向选择等图像局部纹理信息。二维Gabor滤波器gα，β(z)定义为：
Figure BDA0002221934870000072
上式中，z＝(x,y)为图像上定点位置，α和β分别表示Gabor滤波器的方向和尺度(频率)，kα,β为滤波器的中心频率，kα,β＝kβ(cosφ,sinφ)T，kβ＝2(-β+2)2π，φ＝α·π/K，K为方向个数，i为复数算子，σ为滤波器的带宽，||·||表示模。
与传统的Gabor滤波器相比，Log-Gabor滤波器有了一定的改进。首先Log-Gabor滤波器没有直流分量，带宽可以扩展，能够处理亮度变化较大的图像；其次，Log-Gabor滤波器的传递函数在高频端有一个延长的尾巴，更适合对自然图像进行编码，克服了传统Gabor滤波器函数在低频表示过度而在高频表示不足的缺点。
本发明采用的二维Log-Gabor滤波器L(f，g)定义为：
Figure BDA0002221934870000073
上式中，f1＝fcosγ+gsinγ，g1＝-fsinγ+gcosγ，f代表径向分量，g代表方向分量，f0为滤波器的中心频率，γ为为滤波器的方向角度，k为控制f1方向的带宽，δ为控制g1方向的带宽。
为了获得人脸面部表情图像的Log-Gabor特征，需要将人脸图像与Log-Gabor滤波器进行卷积。若一幅人脸图像I的灰度值为I(x,y)，那么经过Log-Gabor滤波器后的结果为：
Figure BDA0002221934870000081
其中Lμ,ν(x,y)表示μ尺度，ν方向的Log-Gabor滤波器，μ＝1,2,...,m；ν＝1,2,...,n。F(x,y)为Log-Gabor滤波器滤波后的结果，
Figure BDA0002221934870000082
其中
Figure BDA0002221934870000083
为第i张Log-Gabor特征向量图。
Figure BDA0002221934870000084
代表卷积。I(x,y)为所述人脸面部表情图像I在(x，y)点处的灰度值。
通常情况下，选取m＝4个不同尺度(μ＝1,2,3,4)，n＝6个不同方向(v＝1,2,3,4,5,6)的Log-Gabor滤波器构成Log-Gabor滤波器组对人脸图像进行特征提取，得到所述人脸图像I的m个尺度n个方向的mn个Log-Gabor特征向量图
步骤103：采用Gist算法提取所述Log-Gabor特征向量图的级联融合特征向量。
将所有的Log-Gabor特征向量图按照统一的方式进行分块，利用Gist算法对每张Log-Gabor特征向量图
Figure BDA0002221934870000086
进行处理，利用公式(4)-(6)提取其Gist特征块
Figure BDA0002221934870000087
特征块
Figure BDA0002221934870000088
表示每个人脸图像样本中第i幅Log-Gabor特征向量图的Gist特征。将所有的
Figure BDA0002221934870000089
的Gist特征块级联起来作为一个人脸图像样本的特征向量HLog-Gabor+Gist，其中
Figure BDA00022219348700000811
本发明采用的Gist特征和Gabor特征原理类似，是一种生物启发式特征，该特征模拟人的视觉，形成对外部世界的一种空间表示，捕获图像中的上下文信息。Gist算法不是直接对整幅人脸图像用Gabor滤波器组进行处理，而是先对图像进行分块，对每一小块进行特征提取，再把所有的小块的Gist特征联合起来。Gist特征具体提取步骤如下：
⑴将一幅大小为h×w的灰度图像f(x,y)划分成大小相等的na×na个网格，则生成na×na个小块图像，每个网格(即小块图像)的大小为h′×w′，其中h′＝h/na，w′＝w/na。本发明中，f(x,y)为F(x,y)中任意一幅Log-Gabor特征向量图
Figure BDA00022219348700000812
的灰度图像。
⑵对每个小块图像用nc个通道的滤波器进行卷积滤波，并将nc个通道滤波后的结果级联起来，形成该小块图像的特征：
Figure BDA0002221934870000091
式中，i＝1,2…,na×na，na×na为小块图像的数量；f(x,y)里的x,y为第i个小块图像中的坐标值，gmn(x，y)表示大小为m*n的滤波器；函数
Figure BDA0002221934870000092
表示将nc个通道滤波后的结果进行级联；
Figure BDA0002221934870000093
即为所述小块图像进行第nc个通道滤波后所产生的特征值；Gi的维数为h′×w′×nc。
⑶将每一个小块图像计算出的特征值
Figure BDA0002221934870000094
取平均值，得到该小块图像的Gist特征：
Figure BDA0002221934870000095
其中，
Figure BDA0002221934870000096
表示在第nc个通道滤波后所产生的平均特征值；
Figure BDA0002221934870000097
表示第nc个通道滤波后所产生的特征值。h′×w′为所述小块图像的大小。这样，每一个小块图像就会产生nc个特征值。
⑷将第⑶步中每一个小块图像产生的nc个平均特征值级联起来，就得到了整幅特征向量图的Gist特征，其维数为na×na×nc。最后将所述Log-Gabor特征向量图
Figure BDA0002221934870000098
划分成4×4的网格，用4个尺度8个方向的Gabor滤波器组处理得到图像的Gist特征，则整幅图像的Gist特征维数为4×4×32＝512维，即
Figure BDA00022219348700000910
即为整幅所述Log-Gabor特征向量图
Figure BDA00022219348700000911
的Gist特征块。
将所有特征向量图
Figure BDA00022219348700000912
的Gist特征块
Figure BDA00022219348700000913
级联起来，作为一个人脸图像样本的级联融合特征向量HLog-Gabor+Gist，其中
Figure BDA00022219348700000914
步骤104：将多幅所述人脸面部表情图像的所述级联融合特征向量作为栈式自编码器的输入，采用逐层贪婪训练法逐层训练所述栈式自编码器的网络参数，生成预训练后的栈式自编码器。
将步骤103所得到的人脸图像样本的级联融合特征向量HLog-Gabor+Gist作为栈式自编码器SAE的输入，进行SAE网络的训练，融合特征中的互补信息，并采用逐层贪婪训练法，预训练栈式自编码器SAE的网络参数，生成预训练后的栈式自编码器。
自编码器是一种神经网络，包含输入层、隐藏层和输出重构层，其包括编码和解码两个过程。其中输入层和隐藏层组成编码器，将输入信号x编码转化为a，隐藏层和输出重构层之间构成解码器，将编码a变换为输出信号y，即：
a＝f(Wx+b) (7)
y＝g(W′a+b′) (8)
上式中，W和W′分别为编码层与解码层权值矩阵，b和b’分别为编码层与解码层的函数偏置项，f(·)与g(·)均代表映射函数，通常情况下取sigmoid函数。对于一个包含m个人脸图像样本的数据集，定义其代价函数J(W，b)为：
Figure BDA0002221934870000101
上式中，xi和yi分别表示自编码器第i个样本的输入和输出，Wji (l)代表第l层第i单元与第l+1层第j单元之间的连接权值，b表示偏置项，nl和sl分别表示网络层数和第l层的神经元数，si表示第i层的神经元数，λ表示权重衰减参数。
寻找最优的参数(W,b)使得代价函数J(W,b)最小时，则认为自编码器的输出y重构了输入x，此时隐层的输出a则可认为是输入x的特征表达。为使自编码器具有更强的特征表达能力，通常对网络的权值设置稀疏性限制，从而得到稀疏自编码器。
当aj (2)(x)表示在给定输入为x的情况下自编码器隐藏神经元j的输出，则隐藏神经元j的平均活跃度表示为：
Figure BDA0002221934870000111
上式中的稀疏自编码器通常限制网络平均激活度为
Figure BDA0002221934870000112
ρ是稀疏性参数，一般取一个接近于0的较小的值。
为了实现网络稀疏性限制，需要在优化目标函数中加入一个额外的稀疏惩罚因子，从而使得隐藏神经元的平均活跃度保持在较小范围内。稀疏后的代价函数JSparse(W，b)为：
Figure BDA0002221934870000113
β为惩罚因子，利用后向传播算法，计算代价函数JSparse(W，b)的偏导数，最后利用批量梯度下降法迭代更新参数W和b来求解SAE的最优解。
将前一层稀疏自编码器的输出作为其后一层自编器的输入，多层稀疏自编码器可组成本发明采用的栈式自编码器SAE。
采用逐层贪婪训练法对SAE的网络参数进行训练，即在训练某一层的参数时，将其它各层参数保持不变，逐层训练得到预训练后的栈式自编码器。
步骤105：采用反向传播算法对所述预训练后的栈式自编码器的网络参数进行微调，训练得到最优栈式自编码器。
为得到更好的结果，预训练过程完成之后，利用softmax分类器，对预训练后的SAE进行微调。通过计算概率：
Figure BDA0002221934870000115
利用softmax的分类结果与输入样本的标签，构建分类器的代价函数，通过反向传播算法，微调网络的权值，训练得到最优的模型参数θ，采用最优的模型参数θ构成最优栈式自编码器。上式中θj为参数向量，输入xi所属类必为概率最大的类别，l表示图像样本数，k为训练数据集包含的类别数目，yi表示第i幅图像实例对应的预测类别。
预训练结束后，将带标签的训练数据输入到SAE得到期望输出，并利用反向传播算法对网络权值进行微调，得到训练好的网络。本发明微调过程利用全局监督，使网络进而收敛至全局最小解，因此栈式自编码具有强大的特征表达能力，能更好的学习到输入的特征中的深层特征。与随机初始化网络参数相比，栈式自编码器通过无监督的预训练过程，使网络参数初始化至容易收敛的值，相当于暗示了隐含层需要学习的内容，再引入稀疏性，防止网络过拟合，提高了网络的泛化能力。
步骤106：将softmax分类器作为所述最优栈式自编码器的输出层，构建人脸面部表情识别模型。
所述最优栈式自编码器最后一个SAE隐含层只能输出输入数据的重构，不具有分类识别功能。为实现人脸面部表情的识别和分类，本发明在最后一个SAE隐含层后加入softmax分类器，将softmax分类器作为所述最优栈式自编码器的输出层，构建基于SAE和softmax分类器人脸面部表情识别模型。
步骤107：获取待识别人脸面部表情图像的待识别级联融合特征向量。
如图2所示，所述人脸面部表情识别模型的输入为级联融合特征向量HLog-Gabor+Gist。所述待识别人脸面部表情图像的待识别级联融合特征向量的提取方法与所述人脸图像样本的级联融合特征向量提取方法相同，均是采用Log-Gabor滤波器提取所述待识别人脸面部表情图像多个尺度和方向的Log-Gabor特征向量图；然后采用Gist算法提取所述Log-Gabor特征向量图的级联融合特征向量作为所述待识别人脸面部表情图像的待识别级联融合特征向量。
步骤108：将所述待识别级联融合特征向量输入所述人脸面部表情识别模型，由所述人脸面部表情识别模型输出识别结果。
测试训练好的网络模型，将测试集输入到SAE中，最后将SAE的不同层特征融合，再通过作为softmax分类器的输入，从而得到识别结果。
本发明改进的深度学习人脸面部表情识别方法是一种SAE特征融合下的人脸表情识别算法。所述方法首先将Log-Gabor特征向量与Gist特征块级联融合，再将级联融合的特征向量作为栈式自编码器(StackedAutoencoders，SAE)的输入特征进行训练，最后将SAE的不同层特征融合作为softmax分类器的输入，得到人脸面部表情识别结果。实验证明，本发明方法在非均匀光照下具有很好地提取人脸表情特征的特点，拥有很高的识别率，稳定的实时性和鲁棒性。
基于本发明提供的改进的深度学习人脸面部表情识别方法，本发明还提供一种改进的深度学习人脸面部表情识别系统，所述系统包括：
训练样本获取模块，用于获取多幅人脸面部表情图像作为训练样本；
特征向量图提取模块，用于采用Log-Gabor滤波器提取所述人脸面部表情图像多个尺度和方向的Log-Gabor特征向量图；
级联融合模块，用于采用Gist算法提取所述Log-Gabor特征向量图的级联融合特征向量；
栈式自编码器预训练模块，用于将多幅所述人脸面部表情图像的所述级联融合特征向量作为栈式自编码器的输入，采用逐层贪婪训练法逐层训练所述栈式自编码器的网络参数，生成预训练后的栈式自编码器；
网络参数微调模块，用于采用反向传播算法对所述预训练后的栈式自编码器的网络参数进行微调，训练得到最优栈式自编码器；
模型建立模块，用于将softmax分类器作为所述最优栈式自编码器的输出层，构建人脸面部表情识别模型；
待识别图像获取模块，用于获取待识别人脸面部表情图像的待识别级联融合特征向量；
人脸面部表情识别模块，用于将所述待识别级联融合特征向量输入所述人脸面部表情识别模型，由所述人脸面部表情识别模型输出识别结果。
其中，所述特征向量图提取模块具体包括：
特征向量图提取单元，用于采用公式
Figure BDA0002221934870000131
提取每一幅所述人脸面部表情图像I的m个尺度n个方向的Log-Gabor特征向量图
Figure BDA0002221934870000132
其中
Figure BDA0002221934870000133
表示第i张Log-Gabor特征向量图；I(x,y)为所述人脸面部表情图像I在(x，y)点处的灰度值；Lμ,ν(x,y)表示μ尺度、ν方向的Log-Gabor滤波器；μ＝1,2,...,m；ν＝1,2,...,n。
所述级联融合模块具体包括：
Gist特征块提取单元，用于采用Gist算法提取第i张Log-Gabor特征向量图
Figure BDA0002221934870000141
的Gist特征块
Figure BDA0002221934870000142
Gist特征块级联单元，用于将所有的
Figure BDA0002221934870000143
对应的Gist特征块
Figure BDA0002221934870000144
级联起来生成所述人脸面部表情图像的级联融合特征向量HLog-Gabor+Gist，其中
所述Gist特征块提取单元具体包括：
图像分块子单元，用于对所述Log-Gabor特征向量图
Figure BDA0002221934870000146
进行分块，生成多个小块图像；
小块图像特征提取子单元，用于对每个所述小块图像，用nc个通道的滤波器进行卷积滤波，并将nc个通道滤波后的结果级联起来，形成所述小块图像的特征
Figure BDA0002221934870000147
其中，i＝1,2…,na×na，na×na为小块图像的数量；f(x,y)为所述Log-Gabor特征向量图F(x,y)的灰度图像，f(x,y)里的x,y为第i小块中的坐标值；gmn(x，y)表示大小为m*n的滤波器；函数
Figure BDA0002221934870000148
表示将nc个通道滤波后的结果进行级联；
Figure BDA0002221934870000149
表示所述小块图像进行第nc个通道滤波后所产生的特征值；
小块图像Gist特征计算子单元，用于计算每一个所述小块图像的特征值并取平均值，得到所述小块图像的Gist特征
Figure BDA00022219348700001410
其中，
Figure BDA00022219348700001411
表示所述小块图像在第nc个通道滤波后所产生的平均特征值；h′×w′为所述小块图像的大小；
Gist特征块生成子单元，用于将每一个所述小块图像中产生的nc个平均特征值
Figure BDA00022219348700001412
级联起来，生成整幅所述Log-Gabor特征向量图
Figure BDA00022219348700001413
的Gist特征块
Figure BDA00022219348700001414
本发明方法及系统首先对一幅人脸图像提取其多个尺度和方向的Log-Gabor特征向量表情图像，再将所有的Log-Gabor特征向量图按照统一的方式进行分块，其次利用Gist算法对每张Log-Gabor特征向量图进行处理，提取其Gist特征块，将所有的Log-Gabor特征向量图的Gist特征块级联起来作为一个人脸表情样本的特征向量，然后将人脸表情样本的融合特征向量作为栈式自编码器(SAE)的输入特征进行训练，最后将训练后的表情特征输入到分类器中进行识别，获得最后的辨识结果。实验证明，本发明方法及系统能够在非均匀光照下很好地提取人脸表情特征，拥有很高的识别率，稳定的实时性和鲁棒性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种改进的深度学习人脸面部表情识别方法，其特征在于，所述方法包括：
获取多幅人脸面部表情图像作为训练样本；
采用Log-Gabor滤波器提取所述人脸面部表情图像多个尺度和方向的Log-Gabor特征向量图；
采用Gist算法提取所述Log-Gabor特征向量图的级联融合特征向量；
将多幅所述人脸面部表情图像的所述级联融合特征向量作为栈式自编码器的输入，采用逐层贪婪训练法逐层训练所述栈式自编码器的网络参数，生成预训练后的栈式自编码器；
采用反向传播算法对所述预训练后的栈式自编码器的网络参数进行微调，训练得到最优栈式自编码器；
将softmax分类器作为所述最优栈式自编码器的输出层，构建人脸面部表情识别模型；
获取待识别人脸面部表情图像的待识别级联融合特征向量；
将所述待识别级联融合特征向量输入所述人脸面部表情识别模型，由所述人脸面部表情识别模型输出识别结果。
2.根据权利要求1所述的改进的深度学习人脸面部表情识别方法，其特征在于，所述采用Log-Gabor滤波器提取所述人脸面部表情图像多个尺度和方向的Log-Gabor特征向量图，具体包括：
采用公式
Figure FDA0002221934860000011
提取每一幅所述人脸面部表情图像I的m个尺度n个方向的Log-Gabor特征向量图
Figure FDA0002221934860000012
其中
Figure FDA0002221934860000013
表示第i张Log-Gabor特征向量图；I(x,y)为所述人脸面部表情图像I在(x，y)点处的灰度值；Lμ,ν(x,y)表示μ尺度、ν方向的Log-Gabor滤波器；μ＝1,2,...,m；ν＝1,2,...,n。
3.根据权利要求2所述的改进的深度学习人脸面部表情识别方法，其特征在于，所述采用Gist算法提取所述Log-Gabor特征向量图的级联融合特征向量，具体包括：
采用Gist算法提取第i张Log-Gabor特征向量图
Figure FDA0002221934860000014
的Gist特征块
Figure FDA0002221934860000021
将所有的
Figure FDA0002221934860000022
对应的Gist特征块级联起来生成所述人脸面部表情图像的级联融合特征向量HLog-Gabor+Gist，其中
4.根据权利要求3所述的改进的深度学习人脸面部表情识别方法，其特征在于，所述采用Gist算法提取第i张Log-Gabor特征向量图
Figure FDA0002221934860000025
的Gist特征块
Figure FDA0002221934860000026
具体包括：
对所述Log-Gabor特征向量图
Figure FDA0002221934860000027
进行分块，生成多个小块图像；
对每个所述小块图像，用nc个通道的滤波器进行卷积滤波，并将nc个通道滤波后的结果级联起来，形成所述小块图像的特征
Figure FDA0002221934860000028
其中，i＝1,2…,na×na，na×na为小块图像的数量；f(x,y)为所述Log-Gabor特征向量图F(x,y)的灰度图像，f(x,y)里的x,y为第i小块中的坐标值；gmn(x，y)表示大小为m*n的滤波器；函数
Figure FDA0002221934860000029
表示将nc个通道滤波后的结果进行级联；
Figure FDA00022219348600000210
表示所述小块图像进行第nc个通道滤波后所产生的特征值；
计算每一个所述小块图像的特征值并取平均值，得到所述小块图像的Gist特征
Figure FDA00022219348600000211
其中，
Figure FDA00022219348600000212
表示所述小块图像在第nc个通道滤波后所产生的平均特征值；h′×w′为所述小块图像的大小；
将每一个所述小块图像中产生的nc个平均特征值
Figure FDA00022219348600000213
级联起来，生成整幅所述Log-Gabor特征向量图
Figure FDA00022219348600000214
的Gist特征块
Figure FDA00022219348600000215
5.一种改进的深度学习人脸面部表情识别系统，其特征在于，所述系统包括：
训练样本获取模块，用于获取多幅人脸面部表情图像作为训练样本；
特征向量图提取模块，用于采用Log-Gabor滤波器提取所述人脸面部表情图像多个尺度和方向的Log-Gabor特征向量图；
级联融合模块，用于采用Gist算法提取所述Log-Gabor特征向量图的级联融合特征向量；
栈式自编码器预训练模块，用于将多幅所述人脸面部表情图像的所述级联融合特征向量作为栈式自编码器的输入，采用逐层贪婪训练法逐层训练所述栈式自编码器的网络参数，生成预训练后的栈式自编码器；
网络参数微调模块，用于采用反向传播算法对所述预训练后的栈式自编码器的网络参数进行微调，训练得到最优栈式自编码器；
模型建立模块，用于将softmax分类器作为所述最优栈式自编码器的输出层，构建人脸面部表情识别模型；
待识别图像获取模块，用于获取待识别人脸面部表情图像的待识别级联融合特征向量；
人脸面部表情识别模块，用于将所述待识别级联融合特征向量输入所述人脸面部表情识别模型，由所述人脸面部表情识别模型输出识别结果。
6.根据权利要求5所述的改进的深度学习人脸面部表情识别系统，其特征在于，所述特征向量图提取模块具体包括：
特征向量图提取单元，用于采用公式
Figure FDA0002221934860000031
提取每一幅所述人脸面部表情图像I的m个尺度n个方向的Log-Gabor特征向量图
Figure FDA0002221934860000032
其中
Figure FDA0002221934860000033
表示第i张Log-Gabor特征向量图；I(x,y)为所述人脸面部表情图像I在(x，y)点处的灰度值；Lμ,ν(x,y)表示μ尺度、ν方向的Log-Gabor滤波器；μ＝1,2,...,m；ν＝1,2,...,n。
7.根据权利要求6所述的改进的深度学习人脸面部表情识别系统，其特征在于，所述级联融合模块具体包括：
Gist特征块提取单元，用于采用Gist算法提取第i张Log-Gabor特征向量图
Figure FDA0002221934860000034
的Gist特征块
Figure FDA0002221934860000035
Gist特征块级联单元，用于将所有的对应的Gist特征块
Figure FDA0002221934860000037
级联起来生成所述人脸面部表情图像的级联融合特征向量HLog-Gabor+Gist，其中
Figure FDA0002221934860000038
8.根据权利要求7所述的改进的深度学习人脸面部表情识别系统，其特征在于，所述Gist特征块提取单元具体包括：
图像分块子单元，用于对所述Log-Gabor特征向量图
Figure FDA0002221934860000041
进行分块，生成多个小块图像；
小块图像特征提取子单元，用于对每个所述小块图像，用nc个通道的滤波器进行卷积滤波，并将nc个通道滤波后的结果级联起来，形成所述小块图像的特征
Figure FDA0002221934860000042
其中，i＝1,2…,na×na，na×na为小块图像的数量；f(x,y)为所述Log-Gabor特征向量图F(x,y)的灰度图像，f(x,y)里的x,y为第i小块中的坐标值；gmn(x，y)表示大小为m*n的滤波器；函数
Figure FDA0002221934860000043
表示将nc个通道滤波后的结果进行级联；
Figure FDA0002221934860000044
表示所述小块图像进行第nc个通道滤波后所产生的特征值；
小块图像Gist特征计算子单元，用于计算每一个所述小块图像的特征值并取平均值，得到所述小块图像的Gist特征
Figure FDA0002221934860000045
其中，
Figure FDA0002221934860000046
表示所述小块图像在第nc个通道滤波后所产生的平均特征值；h′×w′为所述小块图像的大小；
Gist特征块生成子单元，用于将每一个所述小块图像中产生的nc个平均特征值
Figure FDA0002221934860000047
级联起来，生成整幅所述Log-Gabor特征向量图
Figure FDA0002221934860000048
的Gist特征块
Figure FDA0002221934860000049
CN201910937372.XA 2019-09-30 2019-09-30 一种改进的深度学习人脸面部表情识别方法及系统 Pending CN110674774A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910937372.XA CN110674774A (zh) 2019-09-30 2019-09-30 一种改进的深度学习人脸面部表情识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910937372.XA CN110674774A (zh) 2019-09-30 2019-09-30 一种改进的深度学习人脸面部表情识别方法及系统

Publications (1)

Publication Number Publication Date
CN110674774A true CN110674774A (zh) 2020-01-10

Family

ID=69080297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910937372.XA Pending CN110674774A (zh) 2019-09-30 2019-09-30 一种改进的深度学习人脸面部表情识别方法及系统

Country Status (1)

Country Link
CN (1) CN110674774A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036260A (zh) * 2020-08-10 2020-12-04 武汉星未来教育科技有限公司 一种自然环境下多尺度子块聚合的表情识别方法及系统
CN112132011A (zh) * 2020-09-22 2020-12-25 深圳市捷顺科技实业股份有限公司 一种面部识别方法、装置、设备及存储介质
CN112381018A (zh) * 2020-11-19 2021-02-19 北京影谱科技股份有限公司 基于改进弹性模块匹配算法的人脸表情识别方法
CN112861914A (zh) * 2021-01-12 2021-05-28 哈尔滨市科佳通用机电股份有限公司 一种高铁头罩前开闭脱漆故障检测方法
CN114861891A (zh) * 2022-07-05 2022-08-05 中国民航大学 基于改进的稀疏自编码器的空管系统态势特征提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664911A (zh) * 2018-05-04 2018-10-16 武汉科技大学 一种基于图像稀疏表示的鲁棒人脸识别方法
CN109522861A (zh) * 2018-11-28 2019-03-26 西南石油大学 一种人脸多类微表情识别方法
CN110287895A (zh) * 2019-04-17 2019-09-27 北京阳光易德科技股份有限公司 一种基于卷积神经网络进行情绪测量的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664911A (zh) * 2018-05-04 2018-10-16 武汉科技大学 一种基于图像稀疏表示的鲁棒人脸识别方法
CN109522861A (zh) * 2018-11-28 2019-03-26 西南石油大学 一种人脸多类微表情识别方法
CN110287895A (zh) * 2019-04-17 2019-09-27 北京阳光易德科技股份有限公司 一种基于卷积神经网络进行情绪测量的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘斌 等: "融合Gabor和Gist特征的人脸识别", 《计算机工程与应用》 *
张志禹 等: "堆栈式混合自编码器的人脸表情识别方法", 《计算机工程与应用》 *
李建军: "《基于图像深度信息的人体动作识别研究》", 31 December 2018, 重庆大学出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036260A (zh) * 2020-08-10 2020-12-04 武汉星未来教育科技有限公司 一种自然环境下多尺度子块聚合的表情识别方法及系统
CN112132011A (zh) * 2020-09-22 2020-12-25 深圳市捷顺科技实业股份有限公司 一种面部识别方法、装置、设备及存储介质
CN112132011B (zh) * 2020-09-22 2024-04-26 深圳市捷顺科技实业股份有限公司 一种面部识别方法、装置、设备及存储介质
CN112381018A (zh) * 2020-11-19 2021-02-19 北京影谱科技股份有限公司 基于改进弹性模块匹配算法的人脸表情识别方法
CN112861914A (zh) * 2021-01-12 2021-05-28 哈尔滨市科佳通用机电股份有限公司 一种高铁头罩前开闭脱漆故障检测方法
CN114861891A (zh) * 2022-07-05 2022-08-05 中国民航大学 基于改进的稀疏自编码器的空管系统态势特征提取方法

Similar Documents

Publication Publication Date Title
Rahman et al. A new benchmark on american sign language recognition using convolutional neural network
Zhang et al. A face emotion recognition method using convolutional neural network and image edge computing
Guo et al. A survey on deep learning based face recognition
Liu et al. A survey of deep neural network architectures and their applications
CN109472194B (zh) 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN110674774A (zh) 一种改进的深度学习人脸面部表情识别方法及系统
Kuo et al. Green learning: Introduction, examples and outlook
Feng et al. A fuzzy deep model based on fuzzy restricted Boltzmann machines for high-dimensional data classification
CN108304826A (zh) 基于卷积神经网络的人脸表情识别方法
CN104866810A (zh) 一种深度卷积神经网络的人脸识别方法
CN112949647B (zh) 三维场景描述方法、装置、电子设备和存储介质
CN111798369A (zh) 一种基于循环条件生成对抗网络的人脸衰老图像合成方法
Tscherepanow TopoART: A topology learning hierarchical ART network
CN113469236A (zh) 一种自我标签学习的深度聚类图像识别系统及方法
CN112464004A (zh) 一种多视角深度生成图像聚类方法
US11223782B2 (en) Video processing using a spectral decomposition layer
Chen et al. Overview of Deep Kernel Learning Based Techniques and Applications.
Shen et al. Learning high-level concepts by training a deep network on eye fixations
Xu et al. Face expression recognition based on convolutional neural network
Song et al. SP-GAN: Self-growing and pruning generative adversarial networks
CN114550057A (zh) 一种基于多模态表示学习的视频情绪识别方法
CN113222103A (zh) 神经网络的更新方法、分类方法和电子设备
Fallahzadeh et al. Facial expression recognition based on image gradient and deep convolutional neural network
CN110543888B (zh) 一种基于群集递归神经网络的图像分类方法
Dou et al. Coarse-to-fine trained multi-scale convolutional neural networks for image classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110

RJ01 Rejection of invention patent application after publication