CN111178312A - 基于多任务特征学习网络的人脸表情识别方法 - Google Patents
基于多任务特征学习网络的人脸表情识别方法 Download PDFInfo
- Publication number
- CN111178312A CN111178312A CN202010001546.4A CN202010001546A CN111178312A CN 111178312 A CN111178312 A CN 111178312A CN 202010001546 A CN202010001546 A CN 202010001546A CN 111178312 A CN111178312 A CN 111178312A
- Authority
- CN
- China
- Prior art keywords
- image
- data set
- layer
- ldp
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于多任务特征学习网络的人脸表情识别方法。首先,对数据集中的数据进行人脸检测及裁剪,再进行LDP和HOG手工特征处理,分别得到深度学习网络的输入数据集;然后,分别以原始图像、LDP、HOG图像作为多任务特征学习网络模型中三个子网络的输入,进行网络训练;最后,利用训练好的网络对图像进行人脸识别,得到人脸表情所属类别。由于本发明基于三个并行的卷积神经网络,构建出多任务特征学习网络模型,提取更丰富的人脸表情信息,降低了无关特征对表情识别的干扰从而导致表情错判的风险,提高人脸表情识别的可靠性,实现了对人脸表情的高效识别。
Description
技术领域
本发明属人脸表情识别技术领域,具体涉及一种基于多任务特征学习网络的人脸表情识别方法。
背景技术
在人脸表情识别系统中,表情特征提取是确保表情正确识别的关键。而传统的手工特征提取方法需要耗费大量的时间和人力,并且无法过滤与表情无关的其他特征,对识别结果造成干扰。而基于深度学习网络的人脸表情识别自动提取高层抽象特征,无需大量资源浪费就可以得到较高的性能。
文献“Yang,Biao,et al."Facial Expression Recognition using WeightedMixture Deep Neural Network Based on Double-channel Facial Images."IEEEAccess(2017):1-1.”公开了一种基于深度学习网络的人脸表情识别方法,该方法提出了一个双分支网络。首先,对原始数据库中的图像进行人脸检测和裁剪等预处理操作,在预处理后的图像中提取局部二值模式(Local Binary Pattern,LBP)手工特征;然后,将原始图像输入到部分VGG16网络中,而将经LBP处理后的图像输入到一个浅层卷积神经网络中;最后,将两分支的权重进行融合并分类成六种基本表情。但是,该方法存在以下问题:首先,LBP描述子只考虑中心像素与相邻像素之间的大小关系,描述的特征较为单一;其次,使用经典的浅层网络虽然能够提取到一些表情相关的特征,但也会忽略一些高层特征,无法更完整的提取所需的表情信息,对人脸表情识别系统的性能造成影响。
发明内容
为了克服现有基于深度学习网络的人脸表情识别方法表情信息提取不足、表情识别准确率低的不足,本发明提供一种基于多任务特征学习网络的人脸表情识别方法。首先,对数据集中的数据进行人脸检测及裁剪,再进行LDP和HOG手工特征处理,分别得到深度学习网络的输入数据集;然后,分别以原始图像、LDP、HOG图像作为多任务特征学习网络模型中三个子网络的输入,进行网络训练;最后,利用训练好的网络对图像进行人脸识别,得到人脸表情所属类别。由于本发明基于三个并行的卷积神经网络,构建出多任务特征学习网络模型,提取更丰富的人脸表情信息,降低了无关特征对表情识别的干扰从而导致表情错判的风险,提高人脸表情识别的可靠性,实现了对人脸表情的高效识别。
一种基于多任务特征学习网络的人脸表情识别方法,其特征在于步骤如下:
步骤1:对公开的人脸表情数据集CK+,按照其已经标定好的人脸68个基准点,采用AdaBoost算法对数据集中所有图像进行人脸检测,再利用基于基准点的最小外接矩形框进行人脸裁剪,裁剪后的所有图像构成实验用人脸图像数据集;然后,对人脸图像数据集中的图像分别顺时针旋转15°、30°、45°、60°和75°,所有旋转前和旋转后图像共同构成训练用原始图像数据集;对训练数据集中的每一幅图像采用LDP方法进行特征提取,得到训练用LDP特征数据集,对练数据集中的每一幅图像采用HOG方法进行特征提取,得到训练用HOG特征数据集;
步骤2:将训练用原始图像数据集输入到密集连接卷积神经网络,将训练用LDP特征数据集输入到浅层卷积神经网络一,将训练用HOG特征数据集输入到浅层卷积神经网络二,三个网络的输出分别转换为一维向量并连接后输入到一个全连接层,再经softmax分类器得到网络输出,即预测类别的准确率;设定网络的损失函数为交叉熵函数,采用随机梯度下降法进行网络训练,训练次数为200,得到训练好的多输入单输出的多任务特征学习网络;
所述的密集卷积神经网络包含3个顺序连接的密集块,每一个密集块包含12层网络,每一层卷积核大小为3×3,步长为1,激活函数为ReLU,每一层的输出直接作为下一层的输入,除最后一个密集块后接步长为2的全局平均池化以外,其余两个密集块后都接步长为2的平均池化;
所述的浅层卷积神经网络一包含10层卷积层和5层最大池化层,每层卷积层的卷积核大小为3×3,步长为1,激活函数为ReLU,每两层卷积层后接一层步长为2的最大池化层,每一层的输出直接作为下一层的输入;
所述的浅层卷积神经网络二包含13层卷积层和5层最大池化层,每层卷积层的卷积核大小为3×3,步长为1,激活函数为ReLU;以最大池化层为界分为五个部分,前两个部分的结构是每两层卷积层后接一层步长为2的最大池化,后个三部分的结构是每三层卷积层后接一层步长为2的最大池化;每一层的输出直接作为下一层的输入;
步骤3:将待识别人脸表情图像输入到训练好的多任务特征学习网络中,得到表情所属类别,完成图像的人脸表情识别。
特别地,步骤1中所述的LDP方法特征提取具体过程如下:
对图像上的每一个像素点,其坐标记为(x,y),选取以该像素点为中心,大小为3×3的邻域块,按下式计算得到该邻域块第i个方向的梯度值mi:
其中,i为方向序号,i=0,…,7,mi表示该3×3邻域块在第i个方向上的边缘梯度值,a为像素横坐标序号,b为像素纵坐标序号,I表示像素灰度值,Mi表示计算i方向梯度的Kirsch模板;
按照下式计算得到该像素点的LDP特征值:
其中,mk是第k个最大的边缘梯度值,k的可取值范围为1到7;
按照上述过程计算得到图像中每个像素点的LDP特征值,以所有像素点的LDP特征值为像素值,即得到该图像的LDP特征图像。
步骤1中所述的HOG方法特征提取具体过程如下:
将图像看成基于每个像素横、纵坐标的二维离散函数,对该二维离散函数求导,得到图像中每个像素的梯度,再将整幅图像分割成若干4×4大小的不重叠区域,每个4×4区域记为一个cell,统计每个cell的梯度方向直方图作为该cell的特征描述子,将每2×2个连续的cell组成一个块,将每个块内的所有cell的特征描述子进行归一化处理后得到归一化直方图向量,将图像内所有块的直方图向量串联,得到整幅图像的HOG特征。
本发明的有益效果是:由于采用了经LDP和HOG手工特征处理的图像与原始图像一起作为深度神经网络的输入,充分考虑了图像的方向和梯度信息;由于基于三个不同的深度卷积神经网络构建了多任务特征学习网络模型,能够提取更丰富的人脸表情信息,有效地避免无关特征对表情识别的干扰,提高人脸表情识别的可靠性。
具体实施方式
下面结合实施例对本发明进一步说明,本发明包括但不仅限于下述实施例。
本发明提供了一种基于多任务特征学习网络的人脸表情识别方法,其具体实现过程如下:
1、数据预处理和手工特征提取
本发明采用国际上公开发布的人脸表情数据集CK+为基础数据集,该数据集包含118个不同个体的981幅包含愤怒、厌恶、恐惧、快乐、悲伤和惊讶6种表情的人脸图像,并且,已经标定好人脸的68个基准点。
由于数据集包含的图像数量不足以提供深度学习网络训练所需的大量数据,因此,本发明首先采用图片旋转和随机裁剪的方法来增加图片数量。具体包括:首先,采用文献“Viola P,Jones M."Robust Real Time Object Detection."Proceedings of 2ndInternational Workshop on Statistical and Computational Theories of Vision,2001”中的AdaBoost算法对CK+数据集中的每一幅图像进行人脸检测,并进一步基于基准点的最小外接矩形框进行人脸裁剪操作,得到实验所用的人脸图像数据集。然后,对人脸图像数据集中的图像分别顺时针旋转15°、30°、45°、60°和75°,所有旋转前后的图像共同构成训练用原始图像数据集。
由于传统手工特征在描述局部纹理形状时具有很大的优越性,本发明在原始图像数据集的基础上分别提取局部方向模式(Local Directional Pattern,LDP)和方向梯度直方图(Histogram of Oriented Gradient,HOG)特征共同作为深度学习网络的输入。
LDP特征提取具体过程如下:
对图像上的每一个像素点,其坐标记为(x,y),选取以该像素点为中心,大小为3×3的邻域块,将该邻域块的灰度值与8个Kirsch模板相乘得到相应方向的梯度值(m0,...,m7):
其中,i为方向序号,i=0,…,7,mi表示该3×3邻域块在第i个方向上的边缘梯度值,a为像素横坐标序号,b为像素纵坐标序号,I表示像素灰度值,Mi表示计算i方向梯度的Kirsch模板。
然后,选择k个最重要的梯度值进行LDP编码,前k大的梯度值对应的二进制位置编码为1,其余(8-k)位编码为0,得到一个8位的二进制编码,本实施例选取k=3。再将此二进制编码转换为一个十进制值,即得到该像素点的LDP特征值。
因此,对于一个像素点,其LDP特征值计算公式表示为:
其中,mk是第k个最大的边缘梯度值。
以图像中所有像素点的LDP特征值为像素值,即得到该图像的LDP特征图像。
HOG描述子表示的是边缘梯度的结构特征。给定图像I,将整幅图像分割成小的连接区域,称为cell,统计每个cell的梯度直方图即可形成每个cell的描述子,然后将每几个cell组成一个block,串联每个cell中的特征描述子即可得到该block的HOG特征描述子,串联所有block的特征描述子即可得到图像I的HOG特征。本实施例设定每个cell的像素大小为4×4,每个block中有2×2个cell。
2、构建和训练多任务特征学习网络
本发明的多任务特征学习网络由三个子网络、一个全连接层和softmax分类器组成。基于现有的经典卷积神经网络,充分利用各种网络的优势,构建出具有三个并行子网的多任务特征学习网络,每个子任务网络提取不同的人脸表情特征,再将每个子网络输出的特征聚合后输入到一个全连接层进行特征融合,在全连接层后基于经典softmax分类器判定表情类别。
三个子网络分别为:密集连接卷积神经网络、浅层卷积神经网络一和浅层卷积神经网络二。将训练用原始图像数据集中的图像输入到密集连接卷积神经网络,经LDP特征提取后的图像输入到浅层卷积神经网络一,经HOG特征提取后的图像输入到浅层卷积神经网络二。
密集卷积神经网络包含3个顺序连接的密集块,每一个密集块包含12层网络,每一层卷积核大小为3×3,步长为1,每一层的激活函数为ReLU,以提取原始图像中更完整更深层次的特征。除了网络中的全局平均池化层外,其余的池化层都是步长为2,核大小为2×2的平均池化。网络的每一层直接与前面层相连,即每一层的输出直接作为下一层的输入,使每一层都可以从之前的层中获取信息,减轻了深层网络普遍存在的梯度消失和梯度弥散的问题。另外,每一层的特征都穿比到后续层,实现了特征重用,减少了不必要的计算量。
浅层卷积神经网络一包含10层卷积层和5层最大池化层,每层卷积层的卷积核大小为3×3,步长为1,激活函数为ReLU,每层最大池化层的步长为2,核大小为2×2。每两层卷积层后接一层步长为2的最大池化层,每一层的输出直接作为下一层的输入。因此以最大池化层为界分为五个部分。
浅层卷积神经网络二包含13层卷积层和5层最大池化层,每层卷积层和池化层的参数同浅层卷积神经网络一。浅层卷积神经网络二和浅层卷积神经网络一都以最大池化层为界分为五个部分,但是每部分的卷积层个数略有不同。浅层卷积神经网络二的前两部分的结构为:每两层卷积层后接一层步长为2的最大池化;后三部分的结构为:每三层卷积层后接一层步长为2的最大池化,每一层的输出直接作为下一层的输入。
将每一个子网络输出的多维向量平铺为一维向量,记为V1、V2和V3,便于特征融合。将V1、V2和V3连接得到聚合后的特征向量Vc,具体表达式为:
将聚合后的特征向量Vc送入全连接层中进行特征融合,再经分类器,判定表情类别。本发明采用softmax作为分类器,计算公式为:
其中,Si表示第i类的softmax预测值,i和j均为类别序号。
在进行表情类别预测时,每一个类别都对应一个小于1的计算值,且总和为1,最大计算值所对应的类别则为预测类。将预测类别与真实类别进行比较,计算训练数据集中预测正确类别的人脸表情图像数量占图像总数量的比例,输出即为本次训练的多任务特征学习网络的准确率。采用损失函数来计算预测错误类别的损失,本发明设定网络的损失函数为交叉熵函数Loss,函数定义为:
其中,M表示类别数量,c表示类别序号,yc表示真实标签,pc表示softmax的输出。本发明的网络参数都通过反向传播使用随机梯度下降法进行更新使损失不断减少,直至达到设定的最大训练次数200次,得到训练好的多输入单输出的多任务特征学习网络。
3、人脸表情识别
将待识别人脸表情图像输入到训练好的多任务特征学习网络中,输出为愤怒、厌恶、恐惧、快乐、悲伤和惊讶6种表情类别之一,即该待识别人脸表情图像的表情所属类别,从而完成图像的人脸表情识别。
本发明的基于多任务特征学习网络的人脸表情识别方法,由于经LDP和HOG手工特征处理的图像,充分考虑了图像的方向和梯度信息,将其与原始图像一起作为深度神经网络的输入,基于三个不同的深度卷积神经网络,构建多任务特征学习网络模型,提取更丰富的人脸表情信息,有效的避免了无关特征对表情识别的干扰,提高人脸表情识别的可靠性。本发明对人脸六种基本表情的识别率高达98.44%,相比于背景技术中文献方法的识别率97.02%具有显著的优越性。
Claims (3)
1.一种基于多任务特征学习网络的人脸表情识别方法,其特征在于步骤如下:
步骤1:对公开的人脸表情数据集CK+,按照其已经标定好的人脸68个基准点,采用AdaBoost算法对数据集中所有图像进行人脸检测,再利用基于基准点的最小外接矩形框进行人脸裁剪,裁剪后的所有图像构成实验用人脸图像数据集;然后,对人脸图像数据集中的图像分别顺时针旋转15°、30°、45°、60°和75°,所有旋转前和旋转后图像共同构成训练用原始图像数据集;对训练数据集中的每一幅图像采用LDP方法进行特征提取,得到训练用LDP特征数据集,对练数据集中的每一幅图像采用HOG方法进行特征提取,得到训练用HOG特征数据集;
步骤2:将训练用原始图像数据集输入到密集连接卷积神经网络,将训练用LDP特征数据集输入到浅层卷积神经网络一,将训练用HOG特征数据集输入到浅层卷积神经网络二,三个网络的输出分别转换为一维向量并连接后输入到一个全连接层,再经softmax分类器得到网络输出,即预测类别的准确率;设定网络的损失函数为交叉熵函数,采用随机梯度下降法进行网络训练,训练次数为200,得到训练好的多输入单输出的多任务特征学习网络;
所述的密集卷积神经网络包含3个顺序连接的密集块,每一个密集块包含12层网络,每一层卷积核大小为3×3,步长为1,激活函数为ReLU,每一层的输出直接作为下一层的输入,除最后一个密集块后接步长为2的全局平均池化以外,其余两个密集块后都接步长为2的平均池化;
所述的浅层卷积神经网络一包含10层卷积层和5层最大池化层,每层卷积层的卷积核大小为3×3,步长为1,激活函数为ReLU,每两层卷积层后接一层步长为2的最大池化层,每一层的输出直接作为下一层的输入;
所述的浅层卷积神经网络二包含13层卷积层和5层最大池化层,每层卷积层的卷积核大小为3×3,步长为1,激活函数为ReLU;以最大池化层为界分为五个部分,前两个部分的结构是每两层卷积层后接一层步长为2的最大池化,后个三部分的结构是每三层卷积层后接一层步长为2的最大池化;每一层的输出直接作为下一层的输入;
步骤3:将待识别人脸表情图像输入到训练好的多任务特征学习网络中,得到表情所属类别,完成图像的人脸表情识别。
2.如权利要求1所述的一种基于多任务特征学习网络的人脸表情识别方法,其特征在于:所述的LDP方法特征提取具体过程如下:
对图像上的每一个像素点,其坐标记为(x,y),选取以该像素点为中心,大小为3×3的邻域块,按下式计算得到该邻域块第i个方向的梯度值mi:
其中,i为方向序号,i=0,…,7,mi表示该3×3邻域块在第i个方向上的边缘梯度值,a为像素横坐标序号,b为像素纵坐标序号,I表示像素灰度值,Mi表示计算i方向梯度的Kirsch模板;
按照下式计算得到该像素点的LDP特征值:
其中,mk是第k个最大的边缘梯度值,k的可取值范围为1到7;
按照上述过程计算得到图像中每个像素点的LDP特征值,以所有像素点的LDP特征值为像素值,即得到该图像的LDP特征图像。
3.如权利要求1所述的一种基于多任务特征学习网络的人脸表情识别方法,其特征在于:所述的HOG方法特征提取具体过程如下:
将图像看成基于每个像素横、纵坐标的二维离散函数,对该二维离散函数求导,得到图像中每个像素的梯度,再将整幅图像分割成若干4×4大小的不重叠区域,每个4×4区域记为一个cell,统计每个cell的梯度方向直方图作为该cell的特征描述子,将每2×2个连续的cell组成一个块,将每个块内的所有cell的特征描述子进行归一化处理后得到归一化直方图向量,将图像内所有块的直方图向量串联,得到整幅图像的HOG特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010001546.4A CN111178312B (zh) | 2020-01-02 | 2020-01-02 | 基于多任务特征学习网络的人脸表情识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010001546.4A CN111178312B (zh) | 2020-01-02 | 2020-01-02 | 基于多任务特征学习网络的人脸表情识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111178312A true CN111178312A (zh) | 2020-05-19 |
CN111178312B CN111178312B (zh) | 2023-03-24 |
Family
ID=70654434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010001546.4A Active CN111178312B (zh) | 2020-01-02 | 2020-01-02 | 基于多任务特征学习网络的人脸表情识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111178312B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111938670A (zh) * | 2020-06-30 | 2020-11-17 | 齐鲁工业大学 | 基于人体骨架运动学特征信息的抑郁症识别方法及系统 |
CN111950389A (zh) * | 2020-07-22 | 2020-11-17 | 重庆邮电大学 | 一种基于轻量级网络的深度二值特征人脸表情识别方法 |
CN113239833A (zh) * | 2021-05-20 | 2021-08-10 | 厦门大学 | 一种基于双分支干扰分离网络的人脸表情识别方法 |
CN116052135A (zh) * | 2023-04-03 | 2023-05-02 | 吉林大学 | 一种基于纹理特征的雾天交通标志识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105117707A (zh) * | 2015-08-29 | 2015-12-02 | 电子科技大学 | 一种基于区域图像的人脸表情识别方法 |
CN107292256A (zh) * | 2017-06-14 | 2017-10-24 | 西安电子科技大学 | 基于辅任务的深度卷积小波神经网络表情识别方法 |
CN107729872A (zh) * | 2017-11-02 | 2018-02-23 | 北方工业大学 | 基于深度学习的人脸表情识别方法及装置 |
US20190311188A1 (en) * | 2018-12-05 | 2019-10-10 | Sichuan University | Face emotion recognition method based on dual-stream convolutional neural network |
EP3564854A1 (en) * | 2018-10-30 | 2019-11-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Facial expression recognition method, apparatus, electronic device, and storage medium |
-
2020
- 2020-01-02 CN CN202010001546.4A patent/CN111178312B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105117707A (zh) * | 2015-08-29 | 2015-12-02 | 电子科技大学 | 一种基于区域图像的人脸表情识别方法 |
CN107292256A (zh) * | 2017-06-14 | 2017-10-24 | 西安电子科技大学 | 基于辅任务的深度卷积小波神经网络表情识别方法 |
CN107729872A (zh) * | 2017-11-02 | 2018-02-23 | 北方工业大学 | 基于深度学习的人脸表情识别方法及装置 |
EP3564854A1 (en) * | 2018-10-30 | 2019-11-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Facial expression recognition method, apparatus, electronic device, and storage medium |
US20190311188A1 (en) * | 2018-12-05 | 2019-10-10 | Sichuan University | Face emotion recognition method based on dual-stream convolutional neural network |
Non-Patent Citations (2)
Title |
---|
李思泉等: "基于卷积神经网络的人脸表情识别研究", 《软件导刊》 * |
邹建成等: "一种基于卷积神经网络的人脸表情自动识别方法", 《北方工业大学学报》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111938670A (zh) * | 2020-06-30 | 2020-11-17 | 齐鲁工业大学 | 基于人体骨架运动学特征信息的抑郁症识别方法及系统 |
CN111938670B (zh) * | 2020-06-30 | 2022-07-05 | 齐鲁工业大学 | 基于人体骨架运动学特征信息的抑郁症识别方法及系统 |
CN111950389A (zh) * | 2020-07-22 | 2020-11-17 | 重庆邮电大学 | 一种基于轻量级网络的深度二值特征人脸表情识别方法 |
CN113239833A (zh) * | 2021-05-20 | 2021-08-10 | 厦门大学 | 一种基于双分支干扰分离网络的人脸表情识别方法 |
CN113239833B (zh) * | 2021-05-20 | 2023-08-29 | 厦门大学 | 一种基于双分支干扰分离网络的人脸表情识别方法 |
CN116052135A (zh) * | 2023-04-03 | 2023-05-02 | 吉林大学 | 一种基于纹理特征的雾天交通标志识别方法 |
CN116052135B (zh) * | 2023-04-03 | 2023-07-11 | 吉林大学 | 一种基于纹理特征的雾天交通标志识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111178312B (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111178312B (zh) | 基于多任务特征学习网络的人脸表情识别方法 | |
CN107292256B (zh) | 基于辅任务的深度卷积小波神经网络表情识别方法 | |
CN108764471B (zh) | 基于特征冗余分析的神经网络跨层剪枝方法 | |
CN112651438A (zh) | 多类别图像的分类方法、装置、终端设备和存储介质 | |
CN107358262B (zh) | 一种高分辨率图像的分类方法及分类装置 | |
CN110738207A (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
CN108510012A (zh) | 一种基于多尺度特征图的目标快速检测方法 | |
CN111696101A (zh) | 一种基于SE-Inception的轻量级茄科病害识别方法 | |
CN111627080B (zh) | 基于卷积神经与条件生成对抗性网络的灰度图像上色方法 | |
CN114694038A (zh) | 基于深度学习的高分辨率遥感影像分类方法及系统 | |
CN108491863A (zh) | 基于非负矩阵分解和卷积神经网络的彩色图像处理方法 | |
CN112507800A (zh) | 一种基于通道注意力机制和轻型卷积神经网络的行人多属性协同识别方法 | |
CN111339862A (zh) | 一种基于通道注意力机制的遥感场景分类方法及装置 | |
CN114330516A (zh) | 基于多图引导神经网络模型的小样本徽景图像分类 | |
CN114170659A (zh) | 一种基于注意力机制的面部情感识别方法 | |
Liu et al. | Image retrieval using CNN and low-level feature fusion for crime scene investigation image database | |
CN114882278A (zh) | 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置 | |
CN114463340A (zh) | 一种边缘信息引导的敏捷型遥感图像语义分割方法 | |
CN113688715A (zh) | 面部表情识别方法及系统 | |
CN113989296A (zh) | 基于改进U-net网络的无人机麦田遥感图像分割方法 | |
CN113378962A (zh) | 一种基于图注意力网络的服装属性识别方法与系统 | |
CN113361589A (zh) | 基于迁移学习与知识蒸馏的珍稀濒危植物叶片识别方法 | |
CN112861862A (zh) | 基于区域生长与深度学习结合的针对兵马俑点云的无监督分割方法 | |
CN117253222A (zh) | 基于多级信息融合机制的自然场景文本检测方法和装置 | |
CN111695450A (zh) | 一种基于IMobileNet的人脸快速识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |