CN109376625A - 一种基于卷积神经网络的面部表情识别方法 - Google Patents

一种基于卷积神经网络的面部表情识别方法 Download PDF

Info

Publication number
CN109376625A
CN109376625A CN201811177679.6A CN201811177679A CN109376625A CN 109376625 A CN109376625 A CN 109376625A CN 201811177679 A CN201811177679 A CN 201811177679A CN 109376625 A CN109376625 A CN 109376625A
Authority
CN
China
Prior art keywords
carried out
input picture
face
characteristic pattern
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811177679.6A
Other languages
English (en)
Inventor
殷敬敬
王洪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201811177679.6A priority Critical patent/CN109376625A/zh
Publication of CN109376625A publication Critical patent/CN109376625A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于卷积神经网络的面部表情识别方法，至少包括离线训练过程和在线识别过程；所述离线识别过程，包括：通过采集单元采集输入图像；灰度化处理所述输入图像，并检测灰度化处理后的图像；统一所述灰度化处理后的图像的尺寸；构建基于卷积神经网络的面部表情识别的网络模型；对图像P’进行数据增强及并统一尺寸；对所述网络模型进行训练并对训练后的网络模型进行保存。在线识别过程，至少包括以下步骤：通过采集单元采集输入图像；将所述输入图像输入所述训练后的网络模型；得到在线识别结果。本发明通过与传统的人工提取表情特征的方法相比，实现了自动对人脸表情特征进行提取，从而进行表情识别，并提高了对表情识别的速度。

Description

一种基于卷积神经网络的面部表情识别方法
技术领域
本发明涉及基于图像处理及深度学习的面部表情识别技术领域，具体而 言，尤其涉及一种基于卷积神经网络的面部表情识别方法。
背景技术
在现实生活中，通过观察人脸表情可以使我们更好的去沟通交流，从情 感理解的角度来看，人脸表情可以从侧面反映研究对象的心理状态。同时对 人脸表情进行识别在电子类消费品行业、家庭娱乐、智能终端人机交互、安 全领域等都有着极为广泛的应用。传统的基于人工提取表情特征进行分类识 别的方法最主要的问题在于特定背景下人脸表情图像的预处理、特征提取以 及训练的分类器的泛化能力强弱都会影响最终的分类结果。并且由于现实情 况下输入样本和已有样本训练可能存在巨大差异，必须针对特定情形进行图像预处理及特征提取造成识别时间较长不能满足实时的需求。
发明内容
根据上述提出现实情况下输入样本和已有样本训练可能存在巨大差异， 必须针对特定情形进行图像预处理及特征提取造成识别时间较长不能满足实 时的需求的技术问题，而提供一种基于卷积神经网络的面部表情识别方法。
本发明涉及一种基于卷积神经网络的面部表情识别方法，其特征在于， 至少包括离线训练过程和在线识别过程；所述离线识别过程，至少包括以下 步骤：
S11：通过采集单元采集输入图像P；
S12：灰度化处理所述输入图像P，并检测灰度化处理后的图像P’；
S13：统一所述灰度化处理后的图像P’的尺寸；
S14：构建基于卷积神经网络的面部表情识别的网络模型；
S15：对图像P’进行数据增强及并统一尺寸；
S16：对所述网络模型进行训练并对训练后的网络模型进行保存；
所述在线识别过程，至少包括以下步骤：
S21：通过采集单元采集输入图像Pz；
S22：将所述输入图像Pz输入所述训练后的网络模型；
S23：得到在线识别结果。
进一步的，所述步骤S12至少还包括以下步骤：
S121：对所述输入图像进行灰度化处理；所述灰度化处理公式为：
Gray(i,j)＝0.39*R(i,j)+0.5*G(i,j)+0.11*B(i,j)；
其中，R、G和B分别表示红色、绿色和蓝色通道的值，Gray(i,j)表示转 换后的灰度值；
S122：通过OpenCV开源库中的人脸检测，OpenCV开源库中的人脸检 测对该灰度图像进行人脸检测；所述人脸检测将检测到的人脸位置存储在 vector<Rect>类型的一维向量里，令人脸位置变量为faces，其中Rect存储人 脸矩阵的左上角坐标和矩阵的长和宽，Rect(int a,int b,int c,int d)其中，(a,b) 为矩形的左上角坐标，c,d分别表示矩形的长和宽；
S23：得到灰度处理后的图像P’。
进一步的，所述步骤S3至少包含：
S131：根据所述faces的坐标确定人脸在人脸图像的坐标位置；
S132：对检测到的所述人脸图像坐标进行剪裁，保留人脸区域得到opencv 检测到的人脸图像；
S133：使用插值方式为最近邻插值的方式对剪裁后的人脸图像进行尺寸 调整，将剪裁后图像尺寸调整为48*48像素。
进一步的，步骤S14还包括：S141：利用tensorflow深度学习框架构建 我们的卷积神经网络，首先输入到conv_1层进行卷积操作，通过3*3的卷积 核对输入图像进行卷积操作，则特征图为48*48*32；再采用Relu激励函数对 卷积层进行非线性操作，则特征图为48*48*32；所述Relu激励函数为：
S142：在pool1层对上一层的输出进行池化操作，通过Max Pooling方法 进行池化，池化窗口为2*2，则特征图为24*24*32；
S143：在conv2层对pool1层进行卷积操作，使用3*3的卷积核对输入 图像进行卷积操作，此时特征图为24*24*64；再采用Relu激励函数对卷积层 进行非线性操作，则特征图为24*24*64；
S144：在pool2层对上一层的输出进行池化操作，通过Max Pooling方法 进行池化，池化窗口为2*2，则特征图为12*12*64；
S145：在conv3层对所述pool2层进行卷积操作，通过3*3的卷积核对 输入图像进行卷积操作，则特征图为12*12*128；再采用Relu激励函数对卷 积层进行非线性操作，则特征图为12*12*128；
S146：在pool3层对上一层的输出进行池化操作，通过Max Pooling方法 进行池化，池化窗口为2*2，则特征图为6*6*128；
S147：Fc4全连接层中特征图为1*1*128；
S148：Fc5与输出层相连接特征图为1*1*7，通过Softmax分类器最终实 现训练出7种表情；所述7种表情为0＝中性，1＝愤怒，2＝厌恶，3＝害怕，4＝ 高兴，5＝悲伤，6＝惊讶，实现对人脸表情的识别。
更进一步的，步骤S15至少还包括：S151：定义初始化weight参数的时 候conv1，conv2和conv3采用截断的正态分布初始化权重，标准差设置为0.05， 则在所述Fc4层定义初始化参数时采用截断的正态分布来初始化权重并给权 重添加一个L2的loss；
S152：损失函数采用多分类交叉熵损失函数，优化器选择Adam Optimizer， 将学习速率设为1e-3，将训练样本进行分批训练，每批15张图片进行训练， epochs设置为20；多分类交叉熵损失函数为：
loss＝-∑xp(x)log(q(x))；
其中，P(x)表示实际标签的概率分布，q(x)表示预测标签的概率分布；
S153：在每一步的训练中首先获得一个批次图片，然后计算loss损失函 数，通过Adam优化器不断跟新训练参数。
进一步的，所述步骤S16至少还包括：S161：利用采集单元对人脸进行 拍摄；
S162：对拍摄的照片进行灰度化处理、opencv库进行人脸检测、剪裁和 统一尺寸；
S163：将图片输入到我们训练好的expRecognition网络模型中进行检测， 最终输出面部表情属于每种表情的概率，选择概率最大值所对应的表情则为 输出；所述概率计算公式如下：
其中，j表示第j类的分类情况，K表示类别数，P(Cj＝j|x)表示样本x属于 j类的概率，表示模型参量，是对概率进行归一化，即所有概率相加 为1。
较现有技术相比，本发明具有以下优点：
本发明提供的基于神经网络的面部表情识别方法，通过与传统的人工提 取表情特征的方法相比，实现了自动对人脸表情特征进行提取，从而进行表 情识别，并提高了对表情识别的速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下 面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明整体流程示意图。
图2为本发明待采集数据集图像的原图。
图3为本发明待采集数据集图像统一尺寸后的图像。
图4为本发明expRecognition网络模型示意图
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实 施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第 一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后 次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本 发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外， 术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含， 例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于 清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1-4所示，本发明提供了一种基于卷积神经网络的面部表情识别方 法，至少包括离线训练过程和在线识别过程。
作为优选的实施方式，所述离线识别过程，至少包括以下步骤：
步骤S11：通过采集单元采集输入图像P；
步骤S12：灰度化处理所述输入图像P，并检测灰度化处理后的图像P’；
步骤S13：统一所述灰度化处理后的图像P’的尺寸；
步骤S14：构建基于卷积神经网络的面部表情识别的网络模型；
步骤S15：对图像P’进行数据增强及并统一尺寸；
步骤S16：对所述网络模型进行训练并对训练后的网络模型进行保存。
作为优选的实施方式，步骤S12至少还包括以下步骤：
在本实施方式中，步骤S121：对所述输入图像进行灰度化处理；所述灰 度化处理公式为：
Gray(i,j)＝0.39*R(i,j)+0.5*G(i,j)+0.11*B(i,j)；
其中，R、G和B分别表示红色、绿色和蓝色通道的值，Gray(i,j)表示转 换后的灰度值。可以理解为在其它的实施方式中，所述灰度化处理还可以通 过现有技术中的手段进行转换，只要能够满足能够降低采集图像的颜色即可。
在本实施方式中，步骤S122：通过OpenCV开源库中的人脸检测，OpenCV 开源库中的人脸检测对该灰度图像进行人脸检测；所述人脸检测将检测到的 人脸位置存储在vector<Rect>类型的一维向量里，令人脸位置变量为faces， 其中Rect存储人脸矩阵的左上角坐标和矩阵的长和宽，Rect(int a,int b,int c,int d)其中，(a,b)为矩形的左上角坐标，c,d分别表示矩形的长和宽；
S23：得到灰度处理后的图像P’。
作为一种优选的实施方式，步骤S3至少还包含：
S131：根据所述faces的坐标确定人脸在人脸图像的坐标位置；
S132：对检测到的所述人脸图像坐标进行剪裁，保留人脸区域得到opencv 检测到的人脸图像；
S133：使用插值方式为最近邻插值的方式对剪裁后的人脸图像进行尺寸 调整，将剪裁后图像尺寸调整为48*48像素。
在本实施方式中，步骤S14还包括：S141：利用tensorflow深度学习框 架构建我们的卷积神经网络，首先输入到conv_1层进行卷积操作，通过3*3 的卷积核对输入图像进行卷积操作，则特征图为48*48*32；再采用Relu激励 函数对卷积层进行非线性操作，则特征图为48*48*32；所述Relu激励函数为：
S142：在pool1层对上一层的输出进行池化操作，通过Max Pooling方法 进行池化，池化窗口为2*2，则特征图为24*24*32；
S143：在conv2层对pool1层进行卷积操作，使用3*3的卷积核对输入 图像进行卷积操作，此时特征图为24*24*64；再采用Relu激励函数对卷积层 进行非线性操作，则特征图为24*24*64；
S144：在pool2层对上一层的输出进行池化操作，通过Max Pooling方法 进行池化，池化窗口为2*2，则特征图为12*12*64；
S145：在conv3层对所述pool2层进行卷积操作，通过3*3的卷积核对 输入图像进行卷积操作，则特征图为12*12*128；再采用Relu激励函数对卷 积层进行非线性操作，则特征图为12*12*128；
S146：在pool3层对上一层的输出进行池化操作，通过Max Pooling方法 进行池化，池化窗口为2*2，则特征图为6*6*128；
S147：Fc4全连接层中特征图为1*1*128；
S148：Fc5与输出层相连接特征图为1*1*7，通过Softmax分类器最终实 现训练出7种表情；所述7种表情为0＝中性，1＝愤怒，2＝厌恶，3＝害怕，4＝ 高兴，5＝悲伤，6＝惊讶，实现对人脸表情的识别。
作为优选的实施方式，所述expRecognition网络，使用Tensorflow搭建 网络，其中包括输入层、卷积层、激励函数、池化层、卷积层、激励函数、 池化层、卷积层、激励函数、池化层、全连接层和输出层。其中输入层是一 个48*48的人脸图像，conv1层有32个特征图，共有(3*3+1)*32＝320个训 练参数，conv1层有64个特征图，共有(3*3+1)*64＝640个训练参数，conv3 层有128个特征图，共有(3*3+1)*128＝1280个特征图，FC4共有 6*6*128*128+1＝589825个训练参数，FC5层与输出层连接，共有有 128*7+1＝897个训练参数，此网络共有592962个训练参数。
作为优选的实施方式，作为优选的实施方式，卷积前后输入输出大小的 公式如下：
第l层输入大小为：W1*H1*D1
第l+1层输出大小为：
D2＝K
其中：K表示filter的个数，F表示filter的大小，S表示步长，P表示 边界填充。
作为优选的实施方式，作为一种实施例，作为本申请的一种表情库共有 123个视频包括593个人脸图像序列共8个表情标签，其中蔑视表情不常见， 因此在分类中忽略蔑视表情，因此共有327个表情序列共7种表情标签，0＝ 中性，1＝愤怒，2＝厌恶，3＝害怕，4＝高兴，5＝悲伤，6＝惊讶。通过查看数据 集我们发现数据集中存在着样本分布不均衡的问题，参考此次采用的是灰度 图像，于是采用旋转、尺度变化及对比度变换的方式对数据集进行扩充，扩 充之后的表情数量如表1：
表1扩充后CK+表情库各表情的数量
0 1 2 3 4 5 6
中性 愤怒 厌恶 害怕 高兴 悲伤 惊讶
训练集 936 883 954 827 956 827 917
测试集 85 79 82 75 81 79 79
作为本申请一种优选的方法，步骤S15至少还包括：S151：定义初始化 weight参数的时候conv1，conv2和conv3采用截断的正态分布初始化权重， 标准差设置为0.05，则在所述Fc4层定义初始化参数时采用截断的正态分布 来初始化权重并给权重添加一个L2的loss；
S152：损失函数采用多分类交叉熵损失函数，优化器选择Adam Optimizer， 将学习速率设为1e-3，将训练样本进行分批训练，每批15张图片进行训练， epochs设置为20；多分类交叉熵损失函数为：
loss＝-∑xp(x)log(q(x))；
其中，P(x)表示实际标签的概率分布，q(x)表示预测标签的概率分布；
S153：在每一步的训练中首先获得一个批次图片，然后计算loss损失函 数，通过Adam优化器不断跟新训练参数。
进一步的，所述步骤S16至少还包括：S161：利用采集单元对人脸进行 拍摄；
S162：对拍摄的照片进行灰度化处理、opencv库进行人脸检测、剪裁和 统一尺寸；
S163：将图片输入到我们训练好的expRecognition网络模型中进行检测， 最终输出面部表情属于每种表情的概率，选择概率最大值所对应的表情则为 输出；所述概率计算公式如下：
其中，j表示第j类的分类情况，K表示类别数，P(Cj＝j|x)表示样本x属于 j类的概率，表示模型参量，是对概率进行归一化，即所有概率相加 为1。
作为本申请的一种实施例，经过数据增强之后的样本共有6300张训练样 本，557张测试样本，模型训练的思路是在将图片输入到网络中训练之前， 通过OpenCV开源库中的图像分割函数对图像进行剪裁，保留人脸区域，去 除背景区域。之后，将去除背景后的人脸图像的尺寸统一为48*48像素最后 将预处理之后图片作为网络的输入，训练expRecognition网络模型。定义初 始化weight参数的时候conv1，conv2和conv3采用截断的正态分布来初始化 权重，标准差设置为0.05，在Fc4层定义初始化参数时采用除了采用截断的 正态分布来初始化权重之外，同时给权重添加一个L2的loss，相当于做了一 个正则化处理来防止过拟合，损失函数采用多分类交叉熵损失函数，优化器 选择AdamOptimizer，将学习速率设为1e-3，将训练样本进行分批训练，每 批15张图片进行训练，epochs设置为20。
作为本申请的一种优选的实施方式，所述方法还包括在线识别过程。在 线识别过程至少包括以下步骤：
步骤S21：通过采集单元采集输入图像Pz；
步骤S22：将所述输入图像Pz输入所述训练后的网络模型；
步骤S23：得到在线识别结果。
可以理解为在其它的实施方式中，在线的识别过程还可以按照实际情况 进行选择，只要能够满足能够将得到准确的识别记过即可。作为优选的实施 方式当实际检测过程中出现未识别过的图像时，则将图像储存在表情库中。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施 例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可 通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例 如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划 分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些 特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接 耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接， 可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方， 或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全 部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单 元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单 元的形式实现。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对 其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并 不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于卷积神经网络的面部表情识别方法，其特征在于，至少包括离线训练过程和在线识别过程；
所述离线识别过程，至少包括以下步骤：
S11：通过采集单元采集输入图像P；
S12：灰度化处理所述输入图像P，并检测灰度化处理后的图像P’；
S13：统一所述灰度化处理后的图像P’的尺寸；
S14：构建基于卷积神经网络的面部表情识别的网络模型；
S15：对图像P’进行数据增强及并统一尺寸；
S16：对所述网络模型进行训练并对训练后的网络模型进行保存；
所述在线识别过程，至少包括以下步骤：
S21：通过采集单元采集输入图像Pz；
S22：将所述输入图像Pz输入所述训练后的网络模型；
S23：得到在线识别结果。
2.根据权利要求1所述的一种基于卷积神经网络的面部表情识别方法，其特征还在于：所述步骤S12至少还包括以下步骤：
S121：对所述输入图像进行灰度化处理；所述灰度化处理公式为：
Gray(i,j)＝0.39*R(i,j)+0.5*G(i,j)+0.11*B(i,j)；
其中，R、G和B分别表示红色、绿色和蓝色通道的值，Gray(i,j)表示转换后的灰度值；
S122：通过OpenCV开源库中的人脸检测，OpenCV开源库中的人脸检测对该灰度图像进行人脸检测；所述人脸检测将检测到的人脸位置存储在vector<Rect>类型的一维向量里，令人脸位置变量为faces，其中Rect存储人脸矩阵的左上角坐标和矩阵的长和宽，Rect(inta,int b,int c,int d)其中，(a,b)为矩形的左上角坐标，c,d分别表示矩形的长和宽；
S23：得到灰度处理后的图像P’。
3.根据权利要求1所述的一种基于卷积神经网络的面部表情识别方法，其特征还在于：所述步骤S13至少包含：
S131：根据所述faces的坐标确定人脸在人脸图像的坐标位置；
S132：对检测到的所述人脸图像坐标进行剪裁，保留人脸区域得到opencv检测到的人脸图像；
S133：使用插值方式为最近邻插值的方式对剪裁后的人脸图像进行尺寸调整，将剪裁后图像尺寸调整为48*48像素。
4.根据权利要求1所述的一种基于卷积神经网络的面部表情识别方法，其特征还在于：所述步骤S14至少包含
S141：利用tensorflow深度学习框架构建我们的卷积神经网络，首先输入到conv_1层进行卷积操作，通过3*3的卷积核对输入图像进行卷积操作，则特征图为48*48*32；再采用Relu激励函数对卷积层进行非线性操作，则特征图为48*48*32；所述Relu激励函数为：
S142：在pool1层对上一层的输出进行池化操作，通过Max Pooling方法进行池化，池化窗口为2*2，则特征图为24*24*32；
S143：在conv2层对pool1层进行卷积操作，使用3*3的卷积核对输入图像进行卷积操作，此时特征图为24*24*64；再采用Relu激励函数对卷积层进行非线性操作，则特征图为24*24*64；
S144：在pool2层对上一层的输出进行池化操作，通过Max Pooling方法进行池化，池化窗口为2*2，则特征图为12*12*64；
S145：在conv3层对所述pool2层进行卷积操作，通过3*3的卷积核对输入图像进行卷积操作，则特征图为12*12*128；再采用Relu激励函数对卷积层进行非线性操作，则特征图为12*12*128；
S146：在pool3层对上一层的输出进行池化操作，通过Max Pooling方法进行池化，池化窗口为2*2，则特征图为6*6*128；
S147：Fc4全连接层中特征图为1*1*128；
S148：Fc5与输出层相连接特征图为1*1*7，通过Softmax分类器最终实现训练出7种表情；所述7种表情为0＝中性，1＝愤怒，2＝厌恶，3＝害怕，4＝高兴，5＝悲伤，6＝惊讶，实现对人脸表情的识别。
5.根据权利要求1所述的一种基于卷积神经网络的面部表情识别方法，其特征还在于：所述步骤S15至少包含
S151：定义初始化weight参数的时候conv1，conv2和conv3采用截断的正态分布初始化权重，标准差设置为0.05，则在所述Fc4层定义初始化参数时采用截断的正态分布来初始化权重并给权重添加一个L2的loss；
S152：损失函数采用多分类交叉熵损失函数，优化器选择Adam Optimizer，将学习速率设为1e-3，将训练样本进行分批训练，每批15张图片进行训练，epochs设置为20；多分类交叉熵损失函数为：
loss＝-∑xp(x)log(q(x))；
其中，P(x)表示实际标签的概率分布，q(x)表示预测标签的概率分布；
S153：在每一步的训练中首先获得一个批次图片，然后计算loss损失函数，通过Adam优化器不断跟新训练参数。
6.根据权利要求1所述的一种基于卷积神经网络的面部表情识别方法，其特征还在于：所述步骤S16至少包含
S161：利用采集单元对人脸进行拍摄；
S162：对拍摄的照片进行灰度化处理、opencv库进行人脸检测、剪裁和统一尺寸；
S163：将图片输入到我们训练好的expRecognition网络模型中进行检测，最终输出面部表情属于每种表情的概率，选择概率最大值所对应的表情则为输出；所述概率计算公式如下：
其中，j表示第j类的分类情况，K表示类别数，P(Cj＝j|x)表示样本x属于j类的概率，表示模型参量，是对概率进行归一化，即所有概率相加为1。
CN201811177679.6A 2018-10-10 2018-10-10 一种基于卷积神经网络的面部表情识别方法 Pending CN109376625A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811177679.6A CN109376625A (zh) 2018-10-10 2018-10-10 一种基于卷积神经网络的面部表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811177679.6A CN109376625A (zh) 2018-10-10 2018-10-10 一种基于卷积神经网络的面部表情识别方法

Publications (1)

Publication Number Publication Date
CN109376625A true CN109376625A (zh) 2019-02-22

Family

ID=65404009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811177679.6A Pending CN109376625A (zh) 2018-10-10 2018-10-10 一种基于卷积神经网络的面部表情识别方法

Country Status (1)

Country Link
CN (1) CN109376625A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009059A (zh) * 2019-04-16 2019-07-12 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN110046576A (zh) * 2019-04-17 2019-07-23 内蒙古工业大学 一种训练识别面部表情的方法和装置
CN110175588A (zh) * 2019-05-30 2019-08-27 山东大学 一种基于元学习的少样本面部表情识别方法及系统
CN110532900A (zh) * 2019-08-09 2019-12-03 西安电子科技大学 基于U-Net和LS-CNN的人脸表情识别方法
CN112183213A (zh) * 2019-09-02 2021-01-05 沈阳理工大学 一种基于Intral-Class Gap GAN的面部表情识别方法
CN112446266A (zh) * 2019-09-04 2021-03-05 北京君正集成电路股份有限公司 一种适合前端的人脸识别网络结构
CN112686145A (zh) * 2020-12-29 2021-04-20 广东各有所爱信息科技有限公司 一种面部皮肤肤质的识别方法及其智能终端
CN112966625A (zh) * 2021-03-16 2021-06-15 北京邮电大学 一种基于改进的vgg-16网络模型的表情识别方法及装置
CN113642467A (zh) * 2021-08-16 2021-11-12 江苏师范大学 一种基于改进vgg网络模型的人脸表情识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654049A (zh) * 2015-12-29 2016-06-08 中国科学院深圳先进技术研究院 人脸表情识别的方法及装置
CN107423707A (zh) * 2017-07-25 2017-12-01 深圳帕罗人工智能科技有限公司 一种基于复杂环境下的人脸情绪识别方法
CN107491726A (zh) * 2017-07-04 2017-12-19 重庆邮电大学 一种基于多通道并行卷积神经网络的实时表情识别方法
CN108256426A (zh) * 2017-12-15 2018-07-06 安徽四创电子股份有限公司 一种基于卷积神经网络的人脸表情识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654049A (zh) * 2015-12-29 2016-06-08 中国科学院深圳先进技术研究院 人脸表情识别的方法及装置
CN107491726A (zh) * 2017-07-04 2017-12-19 重庆邮电大学 一种基于多通道并行卷积神经网络的实时表情识别方法
CN107423707A (zh) * 2017-07-25 2017-12-01 深圳帕罗人工智能科技有限公司 一种基于复杂环境下的人脸情绪识别方法
CN108256426A (zh) * 2017-12-15 2018-07-06 安徽四创电子股份有限公司 一种基于卷积神经网络的人脸表情识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何嘉利: "基于深度学习的表情识别", 《中国优秀硕士学位论文全文数据库》 *
程曦: "基于深度学习的表情识别方法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009059B (zh) * 2019-04-16 2022-03-29 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN110009059A (zh) * 2019-04-16 2019-07-12 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN110046576A (zh) * 2019-04-17 2019-07-23 内蒙古工业大学 一种训练识别面部表情的方法和装置
CN110175588A (zh) * 2019-05-30 2019-08-27 山东大学 一种基于元学习的少样本面部表情识别方法及系统
CN110532900A (zh) * 2019-08-09 2019-12-03 西安电子科技大学 基于U-Net和LS-CNN的人脸表情识别方法
CN110532900B (zh) * 2019-08-09 2021-07-27 西安电子科技大学 基于U-Net和LS-CNN的人脸表情识别方法
CN112183213A (zh) * 2019-09-02 2021-01-05 沈阳理工大学 一种基于Intral-Class Gap GAN的面部表情识别方法
CN112183213B (zh) * 2019-09-02 2024-02-02 沈阳理工大学 一种基于Intral-Class Gap GAN的面部表情识别方法
CN112446266A (zh) * 2019-09-04 2021-03-05 北京君正集成电路股份有限公司 一种适合前端的人脸识别网络结构
CN112446266B (zh) * 2019-09-04 2024-03-29 北京君正集成电路股份有限公司 一种适合前端的人脸识别网络结构
CN112686145A (zh) * 2020-12-29 2021-04-20 广东各有所爱信息科技有限公司 一种面部皮肤肤质的识别方法及其智能终端
CN112966625A (zh) * 2021-03-16 2021-06-15 北京邮电大学 一种基于改进的vgg-16网络模型的表情识别方法及装置
CN113642467B (zh) * 2021-08-16 2023-12-01 江苏师范大学 一种基于改进vgg网络模型的人脸表情识别方法
CN113642467A (zh) * 2021-08-16 2021-11-12 江苏师范大学 一种基于改进vgg网络模型的人脸表情识别方法

Similar Documents

Publication Publication Date Title
CN109376625A (zh) 一种基于卷积神经网络的面部表情识别方法
Kumar et al. Resnet-based approach for detection and classification of plant leaf diseases
Lu et al. Region-based colour modelling for joint crop and maize tassel segmentation
CN108388896A (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN108734719A (zh) 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法
CN109344699A (zh) 基于分层深度卷积神经网络的冬枣病害识别方法
CN108717524A (zh) 一种基于双摄手机和人工智能系统的手势识别系统及方法
CN107563389A (zh) 一种基于深度学习的农作物病害识别方法
CN106529568A (zh) 一种基于bp神经网络的珍珠多分类方法
CN106709528A (zh) 基于多目标函数深度学习的车辆重识别方法及装置
Mahdikhanlou et al. Plant leaf classification using centroid distance and axis of least inertia method
CN109145964B (zh) 一种实现图像颜色聚类的方法和系统
CN108710916A (zh) 图片分类的方法及装置
Ayyub et al. Fruit disease classification and identification using image processing
CN109598341A (zh) 一种基于遗传算法的卷积神经网络训练成果检测及可视化方法
CN106296709A (zh) 一种基于粒子群及模糊均值聚类的细胞图像分割方法
CN109753962A (zh) 基于混合网络的自然场景图像中文本区域的处理方法
Nuruzzaman et al. Machine vision based potato species recognition
Tian et al. An image processing method for green apple lesion detection in natural environment based on GA-BPNN and SVM
CN104573701A (zh) 一种玉米雄穗性状的自动检测方法
Castelo-Quispe et al. Optimization of brazil-nuts classification process through automation using colour spaces in computer vision
CN113221913A (zh) 一种基于高斯概率决策级融合的农林病虫害细粒度识别方法及装置
CN112489049A (zh) 基于超像素和svm的成熟番茄果实的分割方法及系统
CN109948577B (zh) 一种布料识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190222

RJ01 Rejection of invention patent application after publication