CN112883941A - 一种基于并行神经网络的人脸表情识别方法 - Google Patents

一种基于并行神经网络的人脸表情识别方法 Download PDF

Info

Publication number
CN112883941A
CN112883941A CN202110412784.9A CN202110412784A CN112883941A CN 112883941 A CN112883941 A CN 112883941A CN 202110412784 A CN202110412784 A CN 202110412784A CN 112883941 A CN112883941 A CN 112883941A
Authority
CN
China
Prior art keywords
neural network
features
layer
image
facial expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110412784.9A
Other languages
English (en)
Inventor
李靖宇
苗壮
耿佳浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202110412784.9A priority Critical patent/CN112883941A/zh
Publication of CN112883941A publication Critical patent/CN112883941A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种基于并行神经网络的人脸表情识别方法，包括：人脸检测，获取人脸图像；将人脸图像直方图均衡化处理；提取CS‑LBP局部纹理特征；利用并行神经网络分别进行特征提取；提取的特征送入两层全连接层进行降维；采用加权融合的方法融合特征；送入softmax层进行分类，输出人脸表情。本方法采用并行神经网络架构，充分利用图像的CS‑LBP局部纹理特征，在卷积神经网络中嵌入注意力机制，自动聚焦网络感兴趣的特征区域，抑制无用特征，提高了特征提取的效率。在训练过程中采用隔离损失函数，减小同一类的特征的差异，增大不同类之间特征的空间分布，增强神经网络所提取特征的判别性。

Description

一种基于并行神经网络的人脸表情识别方法
技术领域
本发明涉及一种人脸表情识别方法，属于图像识别领域。
背景技术
人脸表情识别是计算机视觉领域的研究热点，在通信工程，医疗卫生，安全驾驶，社会情感分析等多个领域都显示出了广泛的应用前景。当前的人脸表情识别算法主要是基于传统方法和基于深度学习方法。传统的人脸特征提取算法主要有主成分分析(PrincipalComponent Analysis,PCA)、尺度不变特征变换(Scale-Invariant FeatureTransformation,SIFT)、局部二值模式(Local Binary Patterns,LBP)、Gabor小波变换以及方向梯度直方图(Histogram OfGradient,HOG)等，分类算法主要有支持向量机(SupportVectorMachine,SVM)、K近邻等，随着人工智能技术越来越成熟，深度学习方法在图像识别领域大放异彩，深度神经网络(Deep neural network,DNN)被应用于表情识别并取得了较好的成绩。
然而目前的表情识别方法易受到图片噪声和人为干扰因素的影响造成识别正确率欠佳，而且单通道的神经网络从图像全局出发，容易忽略图像局部特征，造成特征损失的问题，稳定性较差。
发明内容
本发明要解决的技术问题是人脸表情识别过程中单一通道卷积神经网络特征损失的问题，提出了一种基于并行神经网络的人脸表情识别方法。
为了达到上述目的，本发明采用的技术方案是：
S1、对待识别的图像进行人脸检测，获取人脸区域；
S2、对获取的人脸图像做直方图均衡化处理；
S3、提取人脸图像的CS-LBP局部纹理特征；
S4、利用并行神经网络分别对步骤S2和步骤S3获取的图进行特征提取，加入网络注意力机制聚焦有用特征，剔除无效特征；
S5、将步骤S4获取的特征送入两层全连接层进行降维；
S6、将步骤S5中降维后的特征采用加权融合的方式融合成新的特征；
S7、将步骤S6中的新特征送入全连接层利用Softmax激活函数对其进行分类，输出表情。
进一步的，所述步骤S1中人脸检测获取人脸区域采用MTCNN网络模型，其具体方法包括：
S11、将图像进行“金字塔”变换，以解决目标多尺度问题。
S12、将步骤S11中获取的“图片金字塔”输入到卷积神经网络P-net中，得到大量的候选区域。
S13、将步骤S12中经过P-net筛选出来的照片送入较复杂的卷积神经网络R-net中进行精调，对P-net产生的多张人脸区域进行细化选择，并且舍去大部分的错误输入，提高人脸区域的可信度。
S14、将步骤S13中的候选区域输入到神经网路O-net中继续筛选，输出准确的bbox坐标和landmark坐标，获取准确的人脸区域。
进一步的，所述步骤S2中图像直方图均衡化处理的具体方法是：统计直方图每个灰度级出现的次数，累计归一化的直方图，利用映射关系计算新的像素值，处理后的图像灰度范围变大，图像对比度增强。
进一步的，所述步骤S3中CS-LBP的具体内容是：
CS-LBP是一种描述图像局部纹理特征的算子，该算子对光照变化与轮廓模糊具有一定的鲁棒性，还可以表达图像局部纹理的空间结构，计算复杂度低且抗噪声能力强，并且能够准确无误的描述图像中每一点与其相邻点在灰度值上的大小关系。CS-LBP局部纹理特征是通过使用图像对角位置像素对进行编码其计算过程如下：
Figure BDA0003024790320000021
式中：g(pi,pi+(N/2))计算公式是通过使用像素值做差值，对差值取绝对值后判断与阈值t的大小关系进行计算如下所示：
Figure BDA0003024790320000022
进一步的，所述步骤S4包括：
S41、将步骤S2中直方图均衡化后的人脸图像X＝(x1,x2,...,xn)送入基于网络注意力机制的卷积神经网络CNN1中，经过若干层卷积运算和最大池化运算之后，获得相应的特征fH＝(fH 1,fH 2,...,fH m)，其中卷积运算过程如下所示：
Figure BDA0003024790320000023
其中，CBAM为网络注意力机制；L为当前层；L-1为前一层；
Figure BDA0003024790320000024
表示当前层的第j个特征区域；
Figure BDA0003024790320000025
表示前一层第i个特征区域；K表示两个区域的卷积核；
Figure BDA0003024790320000026
当前层第j个特征区域的偏置；Mj为当前层特征区域的数量；f(.)为激活函数。
S42、将步骤S3获取的CS-LBP特征图X'＝(x'1,x'2,...,x'n)送入基于注意力机制的卷积神经网络CNN2中，经过若干层卷积运算和最大池化运算之后获取到相应的局部特征fL＝(fL 1,fL 2,...,fL k)；
S43、特征经过展平层之后获到特征向量
Figure BDA0003024790320000027
和
Figure BDA0003024790320000028
进一步的，步骤S5中降维的具体方法为：
S51、将步骤S4中提取到的特征向量
Figure BDA0003024790320000029
输入到两层全连接层fc1-1和fc1-2中进行降维，采用Relu激活函数，如下所示：
Figure BDA00030247903200000210
全连接层各层结构如下所示：
fc1-1＝{s1,s2,...,s500}
fc1-2＝{s1,s2,...,s6}
其中，s表示当前全连接层的神经元，fc1-1中有500个神经元，fc1-2中有6个神经元，全连接层最后输出维度为6的特征向量
Figure BDA00030247903200000211
S52、将步骤S4中提取到的特征向量fL输入到两层全连接层fc2-1和fc2-2中进行降维，各层结构如下所示：
fc2-1＝{l1,l2,...,l500}
fc2-2＝{l1,l2,...,l6}
其中，l表示当前全连接层的神经元，fc2-1中有500个神经元，fc2-2中有6个神经元，全连接层最后输出维度为6的特征向量
Figure BDA0003024790320000031
进一步的，所述步骤S6具体为：
将步骤S5中的特征
Figure BDA0003024790320000032
和
Figure BDA0003024790320000033
加权融合后形成新的特征Fz，设置权重系数k来调节两个通道的特征比重，融合过程如下所示：
Figure BDA0003024790320000034
当k取0或1的时候表示只有一个单通道的网络。
进一步的，所述步骤S7中Softmax激活函数分类过程如下所示：
Figure BDA0003024790320000035
其中，Z是上一层的输出，Softmax的输入，维度为C，yi为某一类别的概率值，i的取值代表了类别数。
本发明的先进点在于：
1、本发明采用双通道并行神经网络的方法提取特征，直方图均衡化后的图像用于提取全局特征，CS-LBP局部纹理特征图用于提取图像局部特征，然后采用加权融合的方式，将局部特征和全局特征有效融合，获取更有效的特征信息。
2、在卷积神经网络中引入注意力机制，在特征提取的过程中自动聚焦网络感兴趣的特征区域，抑制无用特征，提高了特征提取的效率。
3、采用新的损失函数—隔离损失，隔离损失不仅能减小同一类的特征的差异，而且能够增大不同类之间特征的空间分布，增强神经网络所提取特征的判别性。
附图说明
图1为基于并行神经网络的人脸表情识别方法流程图。
图2为图像直方图均衡化后的特征提取网络结构示意图。
图3为CS-LBP特征图特征提取网络结构示意图。
图4为并行神经网络整体结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1，
参见图1-图4，本实施例1提供了一种基于并行神经网络的人脸表情识别方法，
包括如下步骤：
S1、对待识别的图像进行人脸检测，获取人脸区域；
步骤S1中待识别的图像使用国际中一些人脸表情公开数据集，比如FER2013，CK+，和Jaffe等，或者采用摄像头获取图像，并将图片用于人脸检测和分割，具体步骤为：
S11、将图像进行“金字塔”变换，以解决目标多尺度问题。
S12、将步骤S11中获取的“图片金字塔”输入到卷积神经网络P-net中，得到大量的候选区域。
S13、将步骤S12中经过P-net筛选出来的照片送入较复杂的卷积神经网络R-net中进行精调，对P-net产生的多张人脸区域进行细化选择，并且舍去大部分的错误输入，提高人脸区域的可信度。
S14、将步骤S13中的候选区域输入到神经网路O-net中继续筛选，输出准确的bbox坐标和landmark坐标，获取准确的人脸区域。
具体的说，S1步骤是从人脸表情数据库，或者摄像头获取图像，然后使用MTCNN网络对图像进行人脸检测，筛选出可信度最高的人脸区域，去除图像中背景的干扰，最终获取大小为64*64的人脸灰度图。
S2、对获取的人脸图像做直方图均衡化处理；
具体的说，图像的直方图均衡化的方法是：统计直方图每个灰度级出现的次数，累计归一化的直方图，利用映射关系计算新的像素值，对在图像中像素个数多的灰度值(即对画面起主要作用的灰度值)进行展宽，而对像素个数少的灰度值(即对画面不起主要作用的灰度值)进行归并，从而增大对比度，达到使图像清晰的效果。
S3、提取人脸图像的CS-LBP局部纹理特征；
步骤S3中CS-LBP局部纹理特征是通过使用图像对角位置像素对其进行编码，其计算过程如下：
Figure BDA0003024790320000041
式中：g(pi,pi+(N/2))计算公式是通过使用像素值做差值，对差值取绝对值后判断与阈值t的大小关系进行计算如下所示：
Figure BDA0003024790320000042
具体的说，步骤S3计算了图像的CS-LBP局部纹理特征，CS-LBP是一种描述图像局部纹理特征的算子，该算子对光照变化与轮廓模糊具有一定的鲁棒性，还可以表达图像局部纹理的空间结构，计算复杂度低且抗噪声能力强，并且能够准确无误的描述图像中每一点与其相邻点在灰度值上的大小关系。最终获得大小为64*64的CS-LBP的特征图。
S4、利用并行神经网络分别对步骤S2和步骤S3获取的图进行特征提取，加入网络注意力机制聚焦有用特征，剔除无效特征；
步骤S4具体包括：
S41、将步骤S2中直方图均衡化后的人脸图像X＝(x1,x2,...,xn)送入基于网络注意力机制的卷积神经网络CNN1中，经过卷积运算和最大池化运算之后，获取相应的全局特征fH＝(fH 1,fH 2,...,fH m)，其中卷积运算过程如下所示：
Figure BDA0003024790320000043
其中，CBAM为网络注意力机制；L为当前层；L-1为前一层；
Figure BDA0003024790320000044
表示当前层的第j个特征区域；
Figure BDA0003024790320000045
表示前一层第i个特征区域；K表示两个区域的卷积核；
Figure BDA0003024790320000046
当前层第j个特征区域的偏置；Mj为当前层特征区域的数量；f(.)为激活函数。
参见图2，CNN1的网络的具体结构为：第一层为两个卷积核大小为3*3，通道为64的卷积层，后接一个最大池化层；第二层为两个卷积核大小为3*3，通道为128的卷积层，后接一个最大池化层；第三层为四个卷积核大小为3*3，通道为256的卷积层，后接一个最大池化层；第四层为四个卷积核大小为3*3，通道为256的卷积层，后接一个最大池化层；第五层为四个卷积核大小为3*3，通道为512的卷积层，后接一个最大池化层；最后接入两层全连接层，节点数分别是500和6，在全连接层加入Dropout预防过拟合，设置Dropout值为0.5。
S42、将步骤S3获取的CS-LBP特征图X'＝(x'1,x'2,...,x'n)送入基于注意力机制的卷积神经网络CNN2中，采用较小卷积核提取局部特征，经过若干层卷积运算和最大池化运算之后获取到相应的局部特征fL＝(fL 1,fL 2,...,fL k)；
参见图3，CNN2的网络的具体结构为：第一层是一个卷积核大小为5*5的卷积层，后接一个最大池化层；第二层是卷积核大小为3*3的卷积层，后接一个最大池化层；第3层是卷积核为3*3的卷积层，后接一个最大池化层；特征提取完毕后送入展平层，最后接入两层全连接层节点数分别是500和6，在全连接层加入Dropout预防过拟合，设置Dropout值为0.5。
S43、特征经过展平层之后获到特征向量
Figure BDA0003024790320000051
和
Figure BDA0003024790320000052
S5、将步骤S4获取的特征送入两层全连接层进行降维；
步骤S5具体包括：
S51、将步骤S4中提取到的特征向量
Figure BDA0003024790320000053
输入到两层全连接层fc1-1和fc1-2中进行降维，采用Relu激活函数，如下所示：
Figure BDA0003024790320000054
各层结构如下所示：
fc1-1＝{s1,s2,...,s500}
fc1-2＝{s1,s2,...,s6}
其中，s表示当前全连接层的神经元，fc1-1中有500个神经元，fc1-2中有6个神经元，全连接层最后输出维度为6的特征向量
Figure BDA0003024790320000055
S52、将步骤S4中提取到的特征向量fL输入到来两层全连接层fc2-1和fc2-2进行降维，各层结构如下所示：
fc2-1＝{l1,l2,...,l500}
fc2-2＝{l1,l2,...,l6}
其中，l表示当前全连接层的神经元，fc2-1中有500个神经元，fc2-2中有6个神经元全连接层最后输出维度为6的特征向量
Figure BDA0003024790320000056
具体的说，将CNN1和CNN2输出的特征分别降为和输出相同维度的特征，为特征融合做准备。
S6、将步骤S5中降维后的特征利用加权融合的方式融合成新的特征；
参见图4，将步骤S5中的特征
Figure BDA0003024790320000057
和
Figure BDA0003024790320000058
加权融合后形成新的特征Fz，设置权重系数k来调节两个通道的特征比重，融合过程如下所示：
Figure BDA0003024790320000059
当k取0或1的时候表示只有一个单通道的网络。
加权融合的好处就是可以调节不同神经网络输出特征的比例，通过大量实验寻找k的最佳取值，为0.6。
S7、将步骤S6中的新特征送入全连接层利用Softmax激活函数对其进行分类，输出表情；
所述步骤S7中Softmax激活函数分类过程如下所示：
Figure BDA0003024790320000061
其中，Z是上一层的输出，Softmax的输入，维度为C，yi为某一类别的概率值，i的取值代表了类别数，此处将表情分为6类，分别是生气(anger)、厌恶(disgust)、恐惧(fear)、开心(happy)、伤心(sad)、惊讶(surprised)，最后的分类结果为输出最大概率值的神经元节点所对应的类别。
本发明未详述之处，均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种基于并行神经网络的人脸表情识别方法，其特征在于，包括以下几个步骤：
S1、对待识别的图像进行人脸检测，获取人脸区域；
S2、对获取的人脸图像做直方图均衡化处理；
S3、提取人脸图像的CS-LBP局部纹理特征；
S4、利用并行神经网络分别对步骤S2和步骤S3获取的图进行特征提取，加入网络注意力机制聚焦有用特征，剔除无效特征；
S5、将步骤S4获取的特征送入两层全连接层进行降维；
S6、将步骤S5中降维后的特征利用加权融合的方式融合成新的特征；
S7、将步骤S6中的新特征送入全连接层利用Softmax激活函数对其进行分类，输出表情。
2.根据权利要求1所述的基于并行神经网络的人脸表情识别方法，其特征在于，所述步骤S1包括：
S11、将图像进行“金字塔”变换，以解决目标多尺度问题。
S12、将步骤S11中获取的“图片金字塔”输入到卷积神经网络P-net中，得到大量的候选区域。
S13、将步骤S12中经过P-net筛选出来的照片送入较复杂的卷积神经网络R-net中进行精调，对P-net产生的多张人脸区域进行细化选择，并且舍去大部分的错误输入，提高人脸区域的可信度。
S14、将步骤S13中的候选区域输入到神经网路O-net中继续筛选，输出准确的bbox坐标和landmark坐标，获取准确的人脸区域。
3.根据权利要求2所述的基于并行神经网络的人脸表情识别方法，其特征在于，在所述步骤S2中，统计直方图每个灰度级出现的次数，累计归一化的直方图，利用映射关系计算新的像素值，对在图像中像素个数多的灰度值进行展宽，而对像素个数少的灰度值进行归并，获取更清晰的图像。
4.根据权利要求3所述的基于并行神经网络的人脸表情识别方法，其特征在于，在所述步骤S3中，计算原始图像的CS-LBP特征，计算过程为：
Figure FDA0003024790310000011
式中：g(pi,pi+(N/2))计算公式是通过使用像素值做差值，对差值取绝对值后判断与阈值t的大小关系进行计算如下所示：
Figure FDA0003024790310000012
5.根据权利要求4所述的基于并行神经网络的人脸表情识别方法，其特征在于，在所述步骤S4包括：
S41、将步骤S2中直方图均衡化后的人脸图像X＝(x1,x2,...,xn)送入基于网络注意力机制的卷积神经网络CNN1中，经过若干层卷积运算和最大池化运算之后，获取相应的全局特征fH＝(fH 1,fH 2,...,fH m)，其中卷积运算过程如下所示：
Figure FDA0003024790310000013
其中，CBAM为网络注意力机制；L为当前层；L-1为前一层；
Figure FDA0003024790310000014
表示当前层的第j个特征区域；
Figure FDA0003024790310000015
表示前一层第i个特征区域；K表示两个区域的卷积核；
Figure FDA0003024790310000016
当前层第j个特征区域的偏置；Mj为当前层特征区域的数量；f(.)为激活函数。
S42、将步骤S3获取的CS-LBP特征图X'＝(x'1,x'2,...,x'n)送入基于注意力机制的卷积神经网络CNN2中，经过若干层卷积运算和最大池化运算之后获取到相应的局部特征fL＝(fL 1,fL 2,...,fL k)；
S43、特征经过展平层之后获到特征向量
Figure FDA0003024790310000021
和
Figure FDA0003024790310000022
6.根据权利要求5所述的基于并行神经网络的人脸表情识别方法，其特征在于，在所述步骤S5包括：
S51、将步骤S4中提取到的特征向量
Figure FDA0003024790310000023
输入到两层全连接层fc1-1和fc1-2中进行降维，采用Relu激活函数，如下所示：
Figure FDA0003024790310000024
各层结构如下所示：
fc1-1＝{s1,s2,...,s500}
fc1-2＝{s1,s2,...,s6}
其中，s表示当前全连接层的神经元，fc1-1中有500个神经元，fc1-2中有6个神经元，全连接层最后输出维度为6的特征向量
Figure FDA0003024790310000025
S52、将步骤S4中提取到的特征向量fL输入到来两层全连接层fc2-1和fc2-2进行降维，各层结构如下所示：
fc2-1＝{l1,l2,...,l500}
fc2-2＝{l1,l2,...,l6}
其中，l表示当前全连接层的神经元，fc2-1中有500个神经元，fc2-2中有6个神经元全连接层最后输出维度为6的特征向量
Figure FDA0003024790310000026
7.根据权利要求6所述的基于并行神经网络的人脸表情识别方法，其特征在于，在所述步骤S6中加权融合的计算方法为：
将步骤S5中的特征
Figure FDA0003024790310000027
和
Figure FDA0003024790310000028
加权融合后形成新的特征Fz，设置权重系数k来调节两个通道的特征比重，融合过程如下所示：
Figure FDA0003024790310000029
当k取0或1的时候表示只有一个单通道的网络。
8.根据权利要求7所述的基于并行神经网络的人脸表情识别方法，其特征在于，在所述步骤S7中Softmax激活函数的表达式为：
Figure FDA00030247903100000210
其中，Z是上一层的输出，Softmax的输入，维度为C，yi为某一类别的概率值，i的取值代表了类别数，此处将表情分为6类，分别是生气(anger)、厌恶(disgust)、恐惧(fear)、开心(happy)、伤心(sad)、惊讶(surprised)，最后的分类结果为输出最大概率值的神经元节点所对应的类别。
CN202110412784.9A 2021-04-16 2021-04-16 一种基于并行神经网络的人脸表情识别方法 Pending CN112883941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110412784.9A CN112883941A (zh) 2021-04-16 2021-04-16 一种基于并行神经网络的人脸表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110412784.9A CN112883941A (zh) 2021-04-16 2021-04-16 一种基于并行神经网络的人脸表情识别方法

Publications (1)

Publication Number Publication Date
CN112883941A true CN112883941A (zh) 2021-06-01

Family

ID=76040657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110412784.9A Pending CN112883941A (zh) 2021-04-16 2021-04-16 一种基于并行神经网络的人脸表情识别方法

Country Status (1)

Country Link
CN (1) CN112883941A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221842A (zh) * 2021-06-04 2021-08-06 第六镜科技(北京)有限公司 模型训练方法、图像识别方法、装置、设备及介质
CN113869981A (zh) * 2021-09-29 2021-12-31 平安银行股份有限公司 线下产品推荐方法、装置、设备及可读存储介质
CN116030276A (zh) * 2023-03-29 2023-04-28 东莞市永惟实业有限公司 一种印刷图像识别系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344693A (zh) * 2018-08-13 2019-02-15 华南理工大学 一种基于深度学习的人脸多区域融合表情识别方法
CN109522818A (zh) * 2018-10-29 2019-03-26 中国科学院深圳先进技术研究院 一种表情识别的方法、装置、终端设备及存储介质
CN109815924A (zh) * 2019-01-29 2019-05-28 成都旷视金智科技有限公司 表情识别方法、装置及系统
CN110287846A (zh) * 2019-06-19 2019-09-27 南京云智控产业技术研究院有限公司 一种基于注意力机制的人脸关键点检测方法
CN112597873A (zh) * 2020-12-18 2021-04-02 南京邮电大学 一种基于深度学习的双通道人脸表情识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344693A (zh) * 2018-08-13 2019-02-15 华南理工大学 一种基于深度学习的人脸多区域融合表情识别方法
CN109522818A (zh) * 2018-10-29 2019-03-26 中国科学院深圳先进技术研究院 一种表情识别的方法、装置、终端设备及存储介质
CN109815924A (zh) * 2019-01-29 2019-05-28 成都旷视金智科技有限公司 表情识别方法、装置及系统
CN110287846A (zh) * 2019-06-19 2019-09-27 南京云智控产业技术研究院有限公司 一种基于注意力机制的人脸关键点检测方法
CN112597873A (zh) * 2020-12-18 2021-04-02 南京邮电大学 一种基于深度学习的双通道人脸表情识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221842A (zh) * 2021-06-04 2021-08-06 第六镜科技(北京)有限公司 模型训练方法、图像识别方法、装置、设备及介质
CN113221842B (zh) * 2021-06-04 2023-12-29 第六镜科技(北京)集团有限责任公司 模型训练方法、图像识别方法、装置、设备及介质
CN113869981A (zh) * 2021-09-29 2021-12-31 平安银行股份有限公司 线下产品推荐方法、装置、设备及可读存储介质
CN116030276A (zh) * 2023-03-29 2023-04-28 东莞市永惟实业有限公司 一种印刷图像识别系统

Similar Documents

Publication Publication Date Title
Kim et al. Efficient facial expression recognition algorithm based on hierarchical deep neural network structure
CN108460356B (zh) 一种基于监控系统的人脸图像自动处理系统
CN106529447B (zh) 一种小样本人脸识别方法
Anagnostopoulos et al. License plate recognition from still images and video sequences: A survey
CN112883941A (zh) 一种基于并行神经网络的人脸表情识别方法
CN110097050B (zh) 行人检测方法、装置、计算机设备及存储介质
KR102132407B1 (ko) 점진적 딥러닝 학습을 이용한 적응적 영상 인식 기반 감성 추정 방법 및 장치
CN112560831A (zh) 一种基于多尺度空间校正的行人属性识别方法
CN111274987A (zh) 人脸表情识别方法及人脸表情识别装置
CN112597873A (zh) 一种基于深度学习的双通道人脸表情识别方法
CN107818299A (zh) 基于融合hog特征和深度信念网络的人脸识别算法
CN113592894B (zh) 一种基于边界框和同现特征预测的图像分割方法
CN111209873A (zh) 一种基于深度学习的高精度人脸关键点定位方法及系统
Tao et al. DGLFV: Deep generalized label algorithm for finger-vein recognition
Tong et al. Adaptive weight based on overlapping blocks network for facial expression recognition
CN113763417B (zh) 一种基于孪生网络和残差结构的目标跟踪方法
CN113435315A (zh) 一种基于双路神经网络特征聚合的表情识别方法
CN110910497B (zh) 实现增强现实地图的方法和系统
CN112016592A (zh) 基于交叉领域类别感知的领域适应语义分割方法及装置
Deeksha et al. Classification of Brain Tumor and its types using Convolutional Neural Network
Agarwal et al. Convolutional Neural Network Based Facial Expression Recognition Using Image Filtering Techniques.
Nanthini et al. A novel Deep CNN based LDnet model with the combination of 2D and 3D CNN for Face Liveness Detection
Dalara et al. Entity Recognition in Indian Sculpture using CLAHE and machine learning
CN113642383A (zh) 一种基于联合损失多特征融合的人脸表情识别方法
Nguyen et al. LAWNet: A Lightweight Attention-Based Deep Learning Model for Wrist Vein Verification in Smartphones Using RGB Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210601