CN110399821A - 基于人脸表情识别的顾客满意度获取方法 - Google Patents

基于人脸表情识别的顾客满意度获取方法 Download PDF

Info

Publication number
CN110399821A
CN110399821A CN201910645551.6A CN201910645551A CN110399821A CN 110399821 A CN110399821 A CN 110399821A CN 201910645551 A CN201910645551 A CN 201910645551A CN 110399821 A CN110399821 A CN 110399821A
Authority
CN
China
Prior art keywords
indicate
classification
feature
layer
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910645551.6A
Other languages
English (en)
Other versions
CN110399821B (zh
Inventor
赵勤
高浩然
陈宇宁
卢柄屹
侯瑞君
徐腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Normal University
Original Assignee
Shanghai Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Normal University filed Critical Shanghai Normal University
Priority to CN201910645551.6A priority Critical patent/CN110399821B/zh
Publication of CN110399821A publication Critical patent/CN110399821A/zh
Application granted granted Critical
Publication of CN110399821B publication Critical patent/CN110399821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于人脸表情识别的顾客满意度获取方法，包括：通过摄像头采集图像；基于Haar特征的AdaBoost人脸检测方法，对采集图像进行人脸检测；选取fer2013表情数据集，训练卷积神经网络，得到表情识别模型；由表情识别模型对检测到的人脸图片进行表情识别，得到表情分类结果；根据表情分类结果，获取对应的顾客满意度结果。与现有技术相比，本发明基于Haar特征的AdaBoost分类器实现人脸检测、基于卷积神经网络实现表情识别，将两者有效结合以获取顾客满意度结果，并且对传统卷积神经网络结构进行了改进，提高了训练速度、缩短了训练时间、增强了卷积神经网络的鲁棒性，能够精准提取表情特征。

Description

基于人脸表情识别的顾客满意度获取方法
技术领域
本发明涉及人脸表情识别技术领域，尤其是涉及一种基于人脸表情识别的顾客满意度获取方法。
背景技术
心理学家Mehrabian曾给出一个公式：感情表露＝7％的言词+38％的声音+55％的面部表情，说明人脸表情含有丰富的人体行为信息，是情感最主要的载体。人脸表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别的对象的情绪，实现计算机对人脸表情的解析与识别。人脸表情识别在社会上的应用非常广泛，主要的应用领域包括人机交互、智能控制、安全、医疗、通信等领域：就心理学而言，面部表情识别技术可以用于预防犯罪等方面，促进心理学的发展；就医学而言，面部表情识别技术可以帮助医生更好的分析病人的精神状态，做出正确的诊断，从而提高医疗水平，降低国家在医疗方面的支出；就计算机科学领域的发展而言，面部表情识别技术对于实现自然人机交互具有重大意义，面部表情识别技术的研究有利于人脸识别以及面部图像处理的研究，对于计算机的图像理解也有很大的推动作用。
基于此，当前大多数行业的顾客满意度都是通过线下或线上调查问卷的方法获得的，这种方法的效率低，且不能保证结果的全面性及准确性，如果通过人脸表情识别来获取顾客满意度，有利于直观全面地获取顾客满意度，提高顾客满意度获取的速度及准确性。
根据对人脑的研究表明，人脸检测识别和人脸的表情识别是分开、并行的处理过程，随着人脸的计算机处理技术(包括人脸检测和人脸识别)不断完善，利用计算机进行面部表情分析也就成为可能，但表情识别也是一个非常困难的研究方向，主要体现在人脸检测的准确性，以及人脸检测与表情识别的结合有效性上。
目前，人脸表情识别的方法大致可以分为四类：基于模板的匹配方法、基于神经网络的方法、基于概率模型的方法和基于支持向量机的方法，国际上通常采用主成分分析法(PCA)、基于独立分量分析ICA的算法进行表情特征的提取，以及采用深度学习方法进行表情特征的识别，国内对于人脸表情识别的研究比较晚，邓洪波和金连文提出了一个基于局部Gabor滤波器组及PCA+LDA的人脸表情识别方法；南京邮电大学的卢官名等人提出一种基于卷积神经网络的人脸表情识别方法，使得计算机学习到的特征更具有推广性和表征能力；周宇旋，吴秦等人提出了判别性完全局部二值模式人脸表情识别，利用最近邻分类器进行分类识别；黄寿喜，邱卫根提出了基于改进的深度信念网络的人脸表情识别，针对目前人脸表情识别鲁棒性较差的问题，改进了深度信念网络的人脸表情识别方法，让人脸表情识别与深度信念网络更好的结合。
尽管上述方法均能实现人脸表情识别，但由于没有将人脸检测及表情识别进行有效结合，且人脸检测的准确率低，最终导致人脸表情识别结果并不精确，此外，传统的VGGNet卷积神经网络在进行表情识别时通常需要多个处理层进行不断深度学习，其鲁棒性差，容易导致部分表情信息丢失，且识别过程和时间都比较冗长。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于人脸表情识别的顾客满意度获取方法。
本发明的目的可以通过以下技术方案来实现：一种基于人脸表情识别的顾客满意度获取方法，包括以下步骤：
S1、通过摄像头采集图像；
S2、基于Haar特征的AdaBoost人脸检测方法，对采集图像进行人脸检测，并对检测到的人脸图片进行标记及转化；
S3、选取fer2013表情数据集，训练卷积神经网络，得到表情识别模型；
S4、由表情识别模型对标记的人脸图片进行表情识别，得到表情分类结果；
S5、根据表情分类结果，获取对应的顾客满意度结果。
优选的，所述步骤S2具体包括以下步骤：
S21、从采集图像中提取Haar特征；
S22、基于训练数据集，对AdaBoost分类器进行训练分类，得到人脸分类器；
S23、根据采集图像中提取的Harr特征，由人脸分类器进行人脸检测，对采集图像中检测到的人脸图片进行标记，并将标记的人脸图片转化为48像素×48像素。
优选的，所述步骤S21具体是将采集图像的内部特征分为四种类型：边缘特征、线性特征、中心特征和对角线特征，所述边缘特征、线性特征、中心特征和对角线特征组合成Haar特征模板，其中，Haar特征模板内包括白色矩形区域和黑色矩形区域，Haar特征的特征值具体为：
式中，C表示Haar特征的特征值，GS表示灰度值，W表示白色矩形区域，B表示黑色矩形区域。
优选的，所述步骤S22具体包括以下步骤：
S221、初始化训练数据集的权值分布，其中，训练数据集为：
U＝((c1，d1)，(c2，d2)，…，(ci，di)，…，(cN，dN)}
i＝1，2，…，N
式中，N表示训练数据集U中的样本数量，ci表示样本图像，di表示样本标签，当di＝-1时，判断ci不是人脸图像，当di＝1时，判断ci是人脸图像；
训练数据集U中的样本图像一共有k个Harr特征；
训练数据集的初始权值分布为：
式中，D1表示第一次训练的分类器的初始权重组合，w1i为第一次训练的分类器的第i个权重；
S222、基于训练数据集，进行AdaBoost分类器训练，得到k个Haar特征对应的k个基本弱分类器；
S223、计算k个基本弱分类器对应的k个分类误差率，其中，分类误差率为：
m＝1，2，…，M
式中，m表示当前训练次数，Gm(ci)表示基本弱分类器，P(Gm(ci)≠di)表示基本弱分类器输出结果与样本标签值不一致的概率；
S224、从k个分类误差率中选取数值最小的分类误差率作为最小分类误差率，将该最小分类误差率对应的基本弱分类器定义为最佳弱分类器Hm(c)；
S225、计算最佳弱分类器Hm(c)的系数为：
式中，am表示最佳弱分类器的系数；
S226、根据最佳弱分类器的系数，更新训练数据集的权值分布，对每个权值进行归一化处理：
Dm+1＝(wm+1，1，wm+1，2，…wm+1，N)
式中，Dm+1表示第m+1次训练的分类器的权值组合，wm+1，i表示第m+1次训练的分类器的第i个权值，Zm表示归一化因子；
S227、重复步骤S222至步骤S226，进行M次迭代，得到M个最佳弱分类器，集合M个弱分类器构成一个强分类器：
得到人脸分类器为：
G(c)＝sign(h(c))
式中，sign为符号函数，当h(c)大于0，G(c)输出为1，当h(c)小于0，G(c)输出为-1。
优选的，所述步骤S3具体包括以下步骤：
S31、选取fer2013表情数据集作为表情识别数据集，将表情识别数据集中的图片按照8∶1∶1的比例划分为训练集、验证集和测试集，并将训练集、验证集和测试集分别转化成对应的二维矩阵；
S32、对表情识别数据集中的所有图片进行灰度化和归一化处理；
S33、构建卷积神经网络，其中，卷积神经网络的结构由依次连接的处理层、flatten层、第一全连接层、第一dropout层、第二全连接层、第二dropout层和softmax层组成，其中，处理层包括依次连接的三个子处理层，子处理层由依次连接的第一零填充层、第一卷积层、第二零填充层、第二卷积层、最大池化层和子处理dropout层组成；
S34、输入训练集的二维矩阵给卷积神经网络，在子处理层中，第一零填充层对训练集进行扩充，在训练集图片外围补充0像素点，之后输入第一卷积层，由过滤器进行卷积运算，得到第一特征图，第一特征图依次经过第二零填充层和第二卷积层后，得到第二特征图，再由最大池化层对第二特征图进行区域最大化操作，最终从子处理dropout层输出处理后的训练集二维向量；
S35、经过三个子处理层后，将处理后的训练集二维向量输入给flatten层，使二维向量展平成一维向量，再依次经过第一全连接层、第一dropout层、第二全连接层和第二dropout层，最终由softmax层输出训练集的分类结果，完成卷积神经网络的参数确定；
S36、输入验证集和测试集的二维矩阵给参数确定完成的卷积神经网络，由验证集对参数确定完成的卷积神经网络的泛化能力进行验证，由测试集得到卷积神经网络的损失函数的值，若该损失函数的值在预设阈值范围内，则完成卷积神经网络的训练，得到表情识别模型，否则需返回步骤S34。
优选的，所述步骤S32中灰度化处理是使图像的RGB三个彩色分量相等，归一化处理是将图像矩阵映射到0～1。
优选的，所述步骤S34中第一特征图和第二特征图分别为第一卷积层和第二卷积层的输出特征图，具体为：
式中，表示第l卷积层输出特征图的第r个节点，表示第l卷积层第r个节点(x，y，z)的权重，X和Y均表示卷积层中过滤器的尺寸，Z表示卷积层中过滤器的深度，f为激活函数，表示第(l-1)卷积层输出特征图中节点(x，y，z)的取值，bcl，r表示第l卷积层第r个节点的偏置项；
所述步骤S34中区域最大化操作是由最大池化层在第二特征图的一个区域内选择出一个最大的像素点，具体为：
式中，表示第n池化层特征图的第s个节点，maximum表示池化层最大化操作，表示第(n-1)卷积层输出特征图的第s个节点，bmn.s表示第n池化层第s个节点的偏置项；
所述步骤S34中子处理dropout层用于减少卷积神经网络的参数和计算量。
优选的，所述步骤S35中softmax层的分类函数为：
式中，J表示softmax层的分类数量，o＝j|q表示向量q属于第j个分类，P(o＝j|q)表示向量q属于第j个分类的概率，vj表示第j个分类的权重，qT表示向量q的转置；
所述步骤S36中损失函数为交叉熵损失函数：
式中，yj表示真实值，表示经过卷积神经网络的输出值，交叉熵损失函数的值越低，表示输出值越接近真实值。
优选的，所述步骤S4和步骤S5中表情分类结果包括高兴、伤心、生气、惊讶、厌恶、恐惧和中性一共7种表情，所述步骤S5中顾客满意度结果包括满意、不满意和中性一共3种结果。
优选的，所述步骤S5中表情分类结果与顾客满意度结果之间具体的对应关系为：高兴和惊讶的表情均对应于满意；厌恶、恐惧、伤心和生气的表情均对应于不满意，中性表情仅对应于中性。
与现有技术相比，本发明具有以下优点：
一、本发明将基于Harr特征的人脸检测与基于卷积神经网络的表情识别进行有效结合，既能够保证人脸检测的准确性，同时对传统VGGNet卷积神经网络的结构进行了改进，提高了表情识别的正确率。
二、本发明在在传统VGGNet卷积神经网络结构的基础上，通过零填充层进行图像扩充，以控制特征图的尺寸，尤其针对小像素的人脸图像，能够精准地提取表情相应特征，同时通过减少处理层的数量，加快了训练速度、缩短了训练时间，提高整个卷积神经网络的鲁棒性。
附图说明
图1为本发明的方法流程图；
图2为实施例中卷积神经网络的模型结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
如图1所示，一种基于人脸表情识别的顾客满意度获取方法，包括以下步骤：
S1、通过摄像头采集图像；
S2、基于Haar特征的AdaBoost人脸检测方法，对采集图像进行人脸检测，并对检测到的人脸图片进行标记及转化；
S3、选取fer2013表情数据集，训练卷积神经网络，得到表情识别模型；
S4、由表情识别模型对标记的人脸图片进行表情识别，得到表情分类结果；
S5、根据表情分类结果，获取对应的顾客满意度结果。
其中，步骤S2的具体过程包括：
从图像中提取Haar特征进行训练分类，Haar特征是在图像检测中描述图像特征的一种方法，Haar特征将图像的内部特征分成四种类型：边缘特征、线性特征、中心特征和对角线特征，这些特征共同组成Haar特征模板，具体模板如表1所示：
表1
在图片中，每个区域的具有该区域的Haar特征的特征值，其值为白色矩形区域的灰度值减去黑色矩形区域的灰度值，即
式中，C表示Haar特征的特征值，GS表示灰度值，W表示白色矩形区域，B表示黑色矩形区域；
将提取出的大量Haar特征进行训练分类，人脸区域和非人脸区域具有不同的Haar特征，将提取出的Haar特征通过AdaBoost分类器训练分类，得到人脸分类器，就可以运用到人脸检测中：
(1)初始化训练数据集的权值分布，其中，训练数据集为：
U＝{(c1，d1)，(c2，d2)，…，(ci，di)，…，(cN，dN)}
i＝1，2，…，N
式中，N表示训练数据集U中的样本数量，ci表示样本图像，di表示样本标签，当di＝-1时，判断ci不是人脸图像，当di＝1时，判断ci是人脸图像；
训练数据集U中的样本图像一共有k个Harr特征；
训练数据集的初始权值分布为：
式中，D1表示第一次训练的分类器的初始权重组合，w1i为第一次训练的分类器的第i个权重；
(2)基于训练数据集，进行AdaBoost分类器训练，得到k个Haar特征对应的k个基本弱分类器；
(3)计算k个基本弱分类器对应的k个分类误差率，其中，分类误差率为：
m＝1，2，…，M
式中，m表示当前训练次数，Gm(ci)表示基本弱分类器，P(Gm(ci)≠di)表示基本弱分类器输出结果与样本标签值不一致的概率；
(4)从k个分类误差率中选取数值最小的分类误差率作为最小分类误差率，将该最小分类误差率对应的基本弱分类器定义为最佳弱分类器Hm(c)；
(5)计算最佳弱分类器Hm(c)的系数为：
式中，am表示最佳弱分类器的系数；
(6)根据最佳弱分类器的系数，更新训练数据集的权值分布，对每个权值进行归一化处理：
Dm+1＝(wm+1，1，wm+1，2，…wm+1，N)
式中，Dm+1表示第m+1次训练的分类器的权值组合，wm+1，i表示第m+1次训练的分类器的第i个权值，Zm表示归一化因子；
(7)重复步骤S222至步骤S226，进行M次迭代，得到M个最佳弱分类器，集合M个弱分类器构成一个强分类器：
得到人脸分类器为：
G(c)＝sign(h(c))
式中，sign为符号函数，当h(c)大于0，G(c)输出为1，当h(c)小于0，G(c)输出为-1；
通过人脸分类器，将摄像头采集到的图像进行人脸识别，用方框框出其中的人脸图片，再将框出来的人脸图片大小转化为48像素×48像素。
步骤S3的具体过程包括：
首先，使用包含35887张人脸表情图片的fer2013表情数据库作为训练集，通过使用新的卷积神经网络，能够较为准确地将相应的人脸表情分为高兴、伤心、害怕、惊讶、厌恶、生气及中性一共7种表情，其中训练集包含28708张，验证集和测试集均为3589张，对于训练集，生气的图片有3995张、厌恶的图片有436张、害怕的图片4097张、高兴的图片有7215张、伤心的图片有4830张、惊讶的图片有3171张、中性的图片有4965张，所有图片的大小均为48×48像素，并且将fer2013表情数据集按照8：1：1的比例划分为训练集、验证集、测试集；
对数据集进行灰度化和归一化的图片与处理操作，灰度化，指将图像的RGB色彩分量全部相等，让R、G、B的三个量相同，范围为0-255，其中255为白色，0为黑色。归一化指把图像矩阵映射到0-1进行处理，从而提高卷积神经网络的训练速度和精度，其公式为：
式中，nor表示归一化处理前的图像，nor′表示归一化处理后的图像；
之后，设计卷积神经网络结构，如图2所示，该卷积神经网络的结构包括依次连接的处理层、flatten层、第一全连接层、第一dropout层、第二全连接层、第二dropout层和softmax层组成，其中，处理层包括依次连接的三个子处理层，子处理层由依次连接的第一零填充层、第一卷积层、第二零填充层、第二卷积层、最大池化层和子处理dropout层组成；
设置学习率为0.001，衰退率为0.0005，dropout层比率为0.45，分类的类比为7类，对应于7中表情，动量值为0.0001，训练轮数为12轮，批处理大小为128；
将训练集、验证集和测试集转化成二维矩阵输入到卷积神经网络中，使用训练集对卷积神经网络进行相应的训练，通过零填充层对训练集进行扩充，在图片外围补充0像素点，之后输入到卷积层中，将上一层传过来的输出作为本层的输入，由过滤器进行卷积运算，得到特征图，并将这个特征图作为下一层的输入：
式中，表示第l卷积层输出特征图的第r个节点，表示第l卷积层第r个节点(x，y，z)的权重，X和Y均表示卷积层中过滤器的尺寸，Z表示卷积层中过滤器的深度，f为激活函数，本实施例中的卷积层激活函数采用ReLU函数，表示第(l-1)卷积层输出特征图中节点(x，y，z)的取值，bcl，r表示第l卷积层第r个节点的偏置项；
在通过卷积层之后，继续经过第二个零填充层和卷积层，通过两次零填充层和卷积层之后，将卷积层输出的特征图作为池化层的输入，降低卷积神经网络的复杂度，采取最大池化层进行池化处理，最大池化层是将特征图的一个区域进行最大化操作，即在一个区域内选出其中一个最大的像素点：
式中，表示第n池化层特征图的第s个节点，maximum表示池化层最大化操作，表示第(n-1)卷积层输出特征图的第s个节点，bmn.s表示第n池化层第s个节点的偏置项；
通过池化层之后，将输出通过子处理dropout层，从而减少卷积神经网络的参数和计算量，然后将输出再次通过上述操作2次，即训练集依次经过三个子处理层，并且第一个子处理层的卷积层参数中卷积核深度为16，感受视野为3*3，池化层区域大小为2*2，步长为2；第二个子处理层的卷积层参数中卷积核深度为32，感受视野为3*3，池化层区域大小为2*2，步长为2；第三个子处理层的卷积层参数中深度为64，感受视野为3*3，池化层区域大小为2*2，步长为2；
通过多次卷积池化操作后，使用flatten函数将二维向量展平成一维向量，经过全连接层后，最后通过softmax层进行分类：
式中，J表示softmax层的分类数量，o＝j|q表示向量q属于第j个分类，P(o＝j|q)表示向量q属于第j个分类的概率，vj表示第j个分类的权重，qT表示向量q的转置；
卷积神经网络的损失函数为交叉熵损失函数：
式中，yj表示真实值，表示经过卷积神经网络的输出值，交叉熵损失函数的值越低，表示输出值越接近真实值，本实施例选用Adam优化器对卷积神经网络进行优化；
本实施例中，全连接层的神经元数量为2048，softmax层的神经元数量为7，即分类为7，对应于7种表情，Dropout值为0.45；
最后，通过训练集对卷积神经网络的参数和权值进行相应的确定，确定好相应的参数后，将验证集和测试集输入到卷积神经网络中，重复上述步骤，进行验证和测试，其中，验证集验证训练所得到的卷积神经网络的泛化能力，对于测试集，使用交叉熵损失函数得出模型的损失函数值，若所得到的损失函数值在预先设定的阈值范围内，则说明卷积神经网络模型训练成功，得到表情识别模型；
对训练所得到的表情识别模型进行性能和正确率评估，得出表情识别的混淆矩阵，经实验分析和对比得知，最终表情识别模型的准确率为61.73％，其中判别fer2013中表情的正确率为65±5％，满足判定表情的正确率要求，由此可以看出，通过本发明的卷积神经网络模型对人脸表情进行识别，其结果是非常有效的。
步骤S4是将表情识别模型和人脸分类器进行有效结合，先对摄像头采集的图像进行人脸检测，之后对人脸图片进行表情识别，得到表情分类结果。
步骤S5是根据表情分类结果，得到对应的顾客满意度结果，本实施例的表情分类结果包括高兴、伤心、生气、惊讶、厌恶、恐惧、和中性一共7种表情，并且在7种表情分类结果中，将顾客满意度结果划分为最实用的三类：满意、不满意与中性，满意对应于高兴和惊讶两种表情；不满意对应于厌恶、恐惧、伤心和生气四种表情；中性对应于中性表情，从而通过表情识别实现对顾客满意度的获取。
综上所述，本发明基于Haar特征的AdaBoost分类器进行人脸检测、基于卷积神经网络进行表情识别，并将这两者进行有效结合，从而实现对于视频和图片上人脸的表情进行识别。其中，基于Haar特征的AdaBoost人脸检测，检测的正确率超过90％，检测的正确率较高；基于卷积神经网络的表情识别准确率为61.73％，判别fer2013中表情的正确率为65±5％，满足判定表情的正确率要求。
由此可见，本发明针对人脸表情进行识别，能够有效地提取人脸表情的特征，得到较为精确的结果，具有很好的实际应用的前景，除此之外，本发明考量到面部表情占顾客情绪的55％，基于表情识别来获取顾客满意度，相较于传统的填写调查问卷的方式，更加方便快捷，简单有效。

Claims (10)

1.一种基于人脸表情识别的顾客满意度获取方法，其特征在于，包括以下步骤：
S1、通过摄像头采集图像；
S2、基于Haar特征的AdaBoost人脸检测方法，对采集图像进行人脸检测，并对检测到的人脸图片进行标记及转化；
S3、选取fer2013表情数据集，训练卷积神经网络，得到表情识别模型；
S4、由表情识别模型对标记的人脸图片进行表情识别，得到表情分类结果；
S5、根据表情分类结果，获取对应的顾客满意度结果。
2.根据权利要求1所述的一种基于人脸表情识别的顾客满意度获取方法，其特征在于，所述步骤S2具体包括以下步骤：
S21、从采集图像中提取Haar特征；
S22、基于训练数据集，对AdaBoost分类器进行训练分类，得到人脸分类器；
S23、根据采集图像中提取的Harr特征，由人脸分类器进行人脸检测，对采集图像中检测到的人脸图片进行标记，并将标记的人脸图片转化为48像素×48像素。
3.根据权利要求2所述的一种基于人脸表情识别的顾客满意度获取方法，其特征在于，所述步骤S21具体是将采集图像的内部特征分为四种类型：边缘特征、线性特征、中心特征和对角线特征，所述边缘特征、线性特征、中心特征和对角线特征组合成Haar特征模板，其中，Haar特征模板内包括白色矩形区域和黑色矩形区域，Haar特征的特征值具体为：
式中，C表示Haar特征的特征值，GS表示灰度值，W表示白色矩形区域，B表示黑色矩形区域。
4.根据权利要求2所述的一种基于人脸表情识别的顾客满意度获取方法，其特征在于，所述步骤S22具体包括以下步骤：
S221、初始化训练数据集的权值分布，其中，训练数据集为：
U＝{(c1，d1)，(c2，d2)，…，(ci，di)，…，(cN，dN)}
i＝1，2，…，N
式中，N表示训练数据集U中的样本数量，ci表示样本图像，di表示样本标签，当di＝-1时，判断ci不是人脸图像，当di＝1时，判断ci是人脸图像；
训练数据集U中的样本图像一共有k个Harr特征；
训练数据集的初始权值分布为：
式中，D1表示第一次训练的分类器的初始权重组合，w1i为第一次训练的分类器的第i个权重；
S222、基于训练数据集，进行AdaBoost分类器训练，得到k个Haar特征对应的k个基本弱分类器；
S223、计算k个基本弱分类器对应的k个分类误差率，其中，分类误差率为：
式中，m表示当前训练次数，Gm(ci)表示基本弱分类器，P(Gm(ci)≠di)表示基本弱分类器输出结果与样本标签值不一致的概率；
S224、从k个分类误差率中选取数值最小的分类误差率作为最小分类误差率，将该最小分类误差率对应的基本弱分类器定义为最佳弱分类器Hm(c)；
S225、计算最佳弱分类器Hm(c)的系数为：
式中，am表示最佳弱分类器的系数；
S226、根据最佳弱分类器的系数，更新训练数据集的权值分布，对每个权值进行归一化处理：
Dm+1＝(wm+1，1，wm+1，2，…wm+1，N)
式中，Dm+1表示第m+1次训练的分类器的权值组合，wm+1，i表示第m+1次训练的分类器的第i个权值，Zm表示归一化因子；
S227、重复步骤S222至步骤S226，进行M次迭代，得到M个最佳弱分类器，集合M个弱分类器构成一个强分类器：
得到人脸分类器为：
G(c)＝sign(h(c))
式中，sign为符号函数，当h(c)大于0，G(c)输出为1，当h(c)小于0，G(c)输出为-1。
5.根据权利要求1所述的一种基于人脸表情识别的顾客满意度获取方法，其特征在于，所述步骤S3具体包括以下步骤：
S31、选取fer2013表情数据集作为表情识别数据集，将表情识别数据集中的图片按照8∶1∶1的比例划分为训练集、验证集和测试集，并将训练集、验证集和测试集分别转化成对应的二维矩阵；
S32、对表情识别数据集中的所有图片进行灰度化和归一化处理；
S33、构建卷积神经网络，其中，卷积神经网络的结构由依次连接的处理层、flatten层、第一全连接层、第一dropout层、第二全连接层、第二dropout层和softmax层组成，其中，处理层包括依次连接的三个子处理层，子处理层由依次连接的第一零填充层、第一卷积层、第二零填充层、第二卷积层、最大池化层和子处理dropout层组成；
S34、输入训练集的二维矩阵给卷积神经网络，在子处理层中，第一零填充层对训练集进行扩充，在训练集图片外围补充0像素点，之后输入第一卷积层，由过滤器进行卷积运算，得到第一特征图，第一特征图依次经过第二零填充层和第二卷积层后，得到第二特征图，再由最大池化层对第二特征图进行区域最大化操作，最终从子处理dropout层输出处理后的训练集二维向量；
S35、经过三个子处理层后，将处理后的训练集二维向量输入给flatten层，使二维向量展平成一维向量，再依次经过第一全连接层、第一dropout层、第二全连接层和第二dropout层，最终由softmax层输出训练集的分类结果，完成卷积神经网络的参数确定；
S36、输入验证集和测试集的二维矩阵给参数确定完成的卷积神经网络，由验证集对参数确定完成的卷积神经网络的泛化能力进行验证，由测试集得到卷积神经网络的损失函数的值，若该损失函数的值在预设阈值范围内，则完成卷积神经网络的训练，得到表情识别模型，否则需返回步骤S34。
6.根据权利要求5所述的一种基于人脸表情识别的顾客满意度获取方法，其特征在于，所述步骤S32中灰度化处理是使图像的RGB三个彩色分量相等，归一化处理是将图像矩阵映射到0～1。
7.根据权利要求5所述的一种基于人脸表情识别的顾客满意度获取方法，其特征在于，所述步骤S34中第一特征图和第二特征图分别为第一卷积层和第二卷积层的输出特征图，具体为：
式中，表示第l卷积层输出特征图的第r个节点，表示第l卷积层第r个节点(x，y，z)的权重，X和Y均表示卷积层中过滤器的尺寸，Z表示卷积层中过滤器的深度，f为激活函数，表示第(l-1)卷积层输出特征图中节点(x，y，z)的取值，bcl，r表示第l卷积层第r个节点的偏置项；
所述步骤S34中区域最大化操作是由最大池化层在第二特征图的一个区域内选择出一个最大的像素点，具体为：
式中，表示第n池化层特征图的第s个节点，maximum表示池化层最大化操作，表示第(n-1)卷积层输出特征图的第s个节点，bmn.s表示第n池化层第s个节点的偏置项；
所述步骤S34中子处理dropout层用于减少卷积神经网络的参数和计算量。
8.根据权利要求5所述的一种基于人脸表情识别的顾客满意度获取方法，其特征在于，所述步骤S35中softmax层的分类函数为：
式中，J表示softmax层的分类数量，o＝j|q表示向量q属于第j个分类，P(o＝j|q)表示向量q属于第j个分类的概率，vj表示第j个分类的权重，qT表示向量q的转置；
所述步骤S36中损失函数为交叉熵损失函数：
式中，yj表示真实值，表示经过卷积神经网络的输出值，交叉熵损失函数的值越低，表示输出值越接近真实值。
9.根据权利要求1所述的一种基于人脸表情识别的顾客满意度获取方法，其特征在于，所述步骤S4和步骤S5中表情分类结果包括高兴、伤心、生气、惊讶、厌恶、恐惧和中性一共7种表情，所述步骤S5中顾客满意度结果包括满意、不满意和中性一共3种结果。
10.根据权利要求9所述的一种基于人脸表情识别的顾客满意度获取方法，其特征在于，所述步骤S5中表情分类结果与顾客满意度结果之间具体的对应关系为：高兴和惊讶的表情均对应于满意；厌恶、恐惧、伤心和生气的表情均对应于不满意，中性表情仅对应于中性。
CN201910645551.6A 2019-07-17 2019-07-17 基于人脸表情识别的顾客满意度获取方法 Active CN110399821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910645551.6A CN110399821B (zh) 2019-07-17 2019-07-17 基于人脸表情识别的顾客满意度获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910645551.6A CN110399821B (zh) 2019-07-17 2019-07-17 基于人脸表情识别的顾客满意度获取方法

Publications (2)

Publication Number Publication Date
CN110399821A true CN110399821A (zh) 2019-11-01
CN110399821B CN110399821B (zh) 2023-05-30

Family

ID=68324506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910645551.6A Active CN110399821B (zh) 2019-07-17 2019-07-17 基于人脸表情识别的顾客满意度获取方法

Country Status (1)

Country Link
CN (1) CN110399821B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991346A (zh) * 2019-12-04 2020-04-10 厦门市美亚柏科信息股份有限公司 一种疑似吸毒人员识别的方法、装置及存储介质
CN111191598A (zh) * 2019-12-30 2020-05-22 青岛联合创智科技有限公司 一种基于智能陪伴机器人的人脸表情识别方法
CN111274895A (zh) * 2020-01-15 2020-06-12 新疆大学 基于空洞卷积的cnn微表情识别方法
CN111931630A (zh) * 2020-08-05 2020-11-13 重庆邮电大学 一种基于人脸特征点数据增强的动态表情识别方法
CN112084863A (zh) * 2020-08-06 2020-12-15 珠海格力电器股份有限公司 一种基于表情的满意度分析方法、装置及存储介质
CN112580458A (zh) * 2020-12-10 2021-03-30 中国地质大学（武汉） 人脸表情识别方法、装置、设备及存储介质
CN112966128A (zh) * 2021-02-23 2021-06-15 武汉大学 基于实时情感识别的自媒体内容推荐方法
CN112990097A (zh) * 2021-04-13 2021-06-18 电子科技大学 一种基于对抗消除的人脸表情识别方法
CN113723205A (zh) * 2021-08-04 2021-11-30 中国人民解放军陆军勤务学院 一种基于人脸底库特征分组的人脸识别方法
CN114944000A (zh) * 2022-06-07 2022-08-26 重庆第二师范学院 一种基于多尺度特征提取的人脸表情识别模型
CN115880751A (zh) * 2022-11-22 2023-03-31 山东鲁软数字科技有限公司 一种基于表情识别的用户体验度量方法
CN116570367A (zh) * 2023-05-12 2023-08-11 北京长木谷医疗科技股份有限公司 机器人手术操作骨磨削骨质智能感知预测方法装置及设备
CN118096226A (zh) * 2024-04-26 2024-05-28 北京五洲天宇认证中心 一种基于监控数据的顾客满意度评估方法和评估系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485214A (zh) * 2016-09-28 2017-03-08 天津工业大学 一种基于卷积神经网络的眼睛和嘴部状态识别方法
CN106845330A (zh) * 2016-11-17 2017-06-13 北京品恩科技股份有限公司 一种基于深度卷积神经网络的二维人脸识别模型的训练方法
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
CN107729872A (zh) * 2017-11-02 2018-02-23 北方工业大学 基于深度学习的人脸表情识别方法及装置
CN108294759A (zh) * 2017-01-13 2018-07-20 天津工业大学 一种基于cnn眼部状态识别的驾驶员疲劳检测方法
CN109376692A (zh) * 2018-11-22 2019-02-22 河海大学常州校区 面向人脸表情识别的迁移卷积神经网络方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018169690A (ja) * 2017-03-29 2018-11-01 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN108304788B (zh) * 2018-01-18 2022-06-14 陕西炬云信息科技有限公司 基于深度神经网络的人脸识别方法
AU2018101313A4 (en) * 2018-09-07 2018-10-11 Gao, Jiafan Mr Image recognition of dangerous tools based on deep learning
AU2018101317A4 (en) * 2018-09-07 2018-10-11 Chen, Guoyi Mr A Deep Learning Based System for Animal Species Classification
CN109341703B (zh) * 2018-09-18 2022-07-01 北京航空航天大学 一种全周期采用CNNs特征检测的视觉SLAM算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485214A (zh) * 2016-09-28 2017-03-08 天津工业大学 一种基于卷积神经网络的眼睛和嘴部状态识别方法
CN106845330A (zh) * 2016-11-17 2017-06-13 北京品恩科技股份有限公司 一种基于深度卷积神经网络的二维人脸识别模型的训练方法
CN108294759A (zh) * 2017-01-13 2018-07-20 天津工业大学 一种基于cnn眼部状态识别的驾驶员疲劳检测方法
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
CN107729872A (zh) * 2017-11-02 2018-02-23 北方工业大学 基于深度学习的人脸表情识别方法及装置
CN109376692A (zh) * 2018-11-22 2019-02-22 河海大学常州校区 面向人脸表情识别的迁移卷积神经网络方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张浩: "基于深度学习模型的人脸性别识别方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
陈航: "《基于卷积神经网络的表情识别研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991346A (zh) * 2019-12-04 2020-04-10 厦门市美亚柏科信息股份有限公司 一种疑似吸毒人员识别的方法、装置及存储介质
CN111191598A (zh) * 2019-12-30 2020-05-22 青岛联合创智科技有限公司 一种基于智能陪伴机器人的人脸表情识别方法
CN111274895A (zh) * 2020-01-15 2020-06-12 新疆大学 基于空洞卷积的cnn微表情识别方法
CN111931630B (zh) * 2020-08-05 2022-09-09 重庆邮电大学 一种基于人脸特征点数据增强的动态表情识别方法
CN111931630A (zh) * 2020-08-05 2020-11-13 重庆邮电大学 一种基于人脸特征点数据增强的动态表情识别方法
CN112084863A (zh) * 2020-08-06 2020-12-15 珠海格力电器股份有限公司 一种基于表情的满意度分析方法、装置及存储介质
CN112580458B (zh) * 2020-12-10 2023-06-20 中国地质大学（武汉） 人脸表情识别方法、装置、设备及存储介质
CN112580458A (zh) * 2020-12-10 2021-03-30 中国地质大学（武汉） 人脸表情识别方法、装置、设备及存储介质
CN112966128A (zh) * 2021-02-23 2021-06-15 武汉大学 基于实时情感识别的自媒体内容推荐方法
CN112990097A (zh) * 2021-04-13 2021-06-18 电子科技大学 一种基于对抗消除的人脸表情识别方法
CN113723205A (zh) * 2021-08-04 2021-11-30 中国人民解放军陆军勤务学院 一种基于人脸底库特征分组的人脸识别方法
CN114944000A (zh) * 2022-06-07 2022-08-26 重庆第二师范学院 一种基于多尺度特征提取的人脸表情识别模型
CN114944000B (zh) * 2022-06-07 2024-04-19 重庆第二师范学院 一种基于多尺度特征提取的人脸表情识别方法
CN115880751A (zh) * 2022-11-22 2023-03-31 山东鲁软数字科技有限公司 一种基于表情识别的用户体验度量方法
CN116570367A (zh) * 2023-05-12 2023-08-11 北京长木谷医疗科技股份有限公司 机器人手术操作骨磨削骨质智能感知预测方法装置及设备
CN118096226A (zh) * 2024-04-26 2024-05-28 北京五洲天宇认证中心 一种基于监控数据的顾客满意度评估方法和评估系统

Also Published As

Publication number Publication date
CN110399821B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN110399821A (zh) 基于人脸表情识别的顾客满意度获取方法
Zhang et al. A face emotion recognition method using convolutional neural network and image edge computing
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN106650806B (zh) 一种用于行人检测的协同式深度网络模型方法
CN105447473B (zh) 一种基于PCANet-CNN的任意姿态人脸表情识别方法
CN104835507B (zh) 一种串并结合的多模式情感信息融合与识别方法
CN107085704A (zh) 基于elm自编码算法的快速人脸表情识别方法
CN108596039A (zh) 一种基于3d卷积神经网络的双模态情感识别方法及系统
CN109101938B (zh) 一种基于卷积神经网络的多标签年龄估计方法
CN103996018B (zh) 基于4dlbp的人脸识别方法
Hou et al. Classification of tongue color based on CNN
CN107977932A (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN106503654A (zh) 一种基于深度稀疏自编码网络的人脸情感识别方法
CN106504064A (zh) 基于深度卷积神经网络的服装分类与搭配推荐方法及系统
CN106778506A (zh) 一种融合深度图像和多通道特征的表情识别方法
CN106919920A (zh) 基于卷积特征和空间视觉词袋模型的场景识别方法
CN106326874A (zh) 一种人眼图像中的虹膜识别方法及其装置
CN109753950A (zh) 动态人脸表情识别方法
Zhang et al. An novel end-to-end network for automatic student engagement recognition
CN108304823A (zh) 一种基于双卷积cnn和长短时记忆网络的表情识别方法
CN105005765A (zh) 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法
CN106529504B (zh) 一种复合时空特征的双模态视频情感识别方法
CN110197729A (zh) 基于深度学习的静息态fMRI数据分类方法和装置
CN110321967A (zh) 基于卷积神经网络的图像分类改进算法
CN106529395B (zh) 基于深度置信网络和k均值聚类的签名图像鉴定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant