CN111401193A - 获取表情识别模型的方法及装置、表情识别方法及装置 - Google Patents
获取表情识别模型的方法及装置、表情识别方法及装置 Download PDFInfo
- Publication number
- CN111401193A CN111401193A CN202010162575.9A CN202010162575A CN111401193A CN 111401193 A CN111401193 A CN 111401193A CN 202010162575 A CN202010162575 A CN 202010162575A CN 111401193 A CN111401193 A CN 111401193A
- Authority
- CN
- China
- Prior art keywords
- expression
- face
- expression recognition
- model
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 189
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012549 training Methods 0.000 claims abstract description 105
- 230000008921 facial expression Effects 0.000 claims abstract description 65
- 238000013135 deep learning Methods 0.000 claims abstract description 22
- 238000004590 computer program Methods 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种获取表情识别模型的方法及装置、表情识别方法及装置、存储介质及电子装置，其中，获取表情识别模型的方法包括：获取多组第一训练数据，其中，所述多组第一训练数据中的每组数据包括：图像、与图像对应的人脸以及与人脸对应的表情；基于人脸识别模型构造表情识别初始模型；使用所述多组第一训练数据通过深度学习对所述表情识别初始模型进行训练，以得到表情识别模型。通过本发明，解决了相关技术中存在的由于表情识别模型导致的人脸表情识别准确率低，泛化性差，稳定性差的问题，提高了人脸表情识别的准确率和泛化能力，达到了识别结果的稳定性强的效果。
Description
技术领域
本发明涉及通信领域，具体而言，涉及一种获取表情识别模型的方法及装置、表情识别方法及装置、存储介质及电子装置。
背景技术
表情识别就是识别出当前人脸的面部表情，这些不同的面部表情表达了个体不同的情绪状态以及当前的生理心理反应，它是人类身体语言的一部分，也是向外界传递当前个体状态的一种方式。现有的人脸表情图像库主要包括人类的7种基本表情(即平静、高兴、悲伤、惊讶、恐惧、愤怒、厌恶)。
在相关技术中，人脸表情识别主要学习平均人脸的不同表情，从而判断当前人脸的表情。表情识别的方案主要包括两部分：训练过程，识别过程。在相关技术中，人脸表情识别过程示意图可参见附图1。
在训练过程中，输入大量包含背景的不同人脸照片和当前图片中人脸表情的标签。所有输入人脸表情模型的图片会先经过人脸检测，人脸对齐系统作为人脸表情识别的预处理阶段，将经过对齐矫正的人脸(正脸)输入到人脸表情模型中进行训练。CNN(Convolutional Neural Network，卷积神经网络)模型在各层初始化高斯概率分布，然后通过反向传播算法迭代优化，当模型中的参数基本上不再发生变化即训练达到稳定状态，训练过程结束。其中，CNN模型主要包含卷积层(Convolution)，池化层(Subsampling)和全连接层(Full-connected，简称为FC)这三种基本结构。CNN模型示意图可参见附图2。
在识别过程中，利用手机或其他拍摄设备，任意拍摄一张新的RGB人脸图像(图像基本要求：清晰，人脸最小尺寸40*40像素，人脸在左右上下偏转角度不能超过45°)，仍然经过相同的人脸检测，人脸对齐系统，把经过对齐矫正的人脸(正脸)输入到人脸表情CNN模型中，通过CNN得到7种基本表情的不同概率，选取其中概率最大的一项作为当前人脸的表情，到此识别过程结束。其中，人脸表情识别示意图可参见附图3。
在相关技术中，表情识别模型导致表情识别准确率偏低，对于不同人种、不同脸型的人的识别结果差异性很大，表情识别泛化性差，在视频连续动态识别过程中，识别结果稳定性差。
由此可知，在相关技术中存在由于表情识别模型导致的人脸表情识别准确率低，泛化性差，稳定性差的问题。
针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种获取表情识别模型的方法及装置、表情识别方法及装置、存储介质及电子装置，以至少解决相关技术中存在的由于表情识别模型导致的人脸表情识别准确率低，泛化性差，稳定性差的问题。
根据本发明的一个实施例，提供了一种获取表情识别模型的方法，包括：获取多组第一训练数据，其中，所述多组第一训练数据中的每组数据包括：图像、与图像对应的人脸以及与人脸对应的表情；基于人脸识别模型构造表情识别初始模型；使用所述多组第一训练数据通过深度学习对所述表情识别初始模型进行训练，以得到表情识别模型。
根据本发明的另一个实施例，提供了一种表情识别方法，包括：确定目标图像；将所述目标图像输入至通过前述实施例的方法训练得到的表情识别模型中进行分析，以确定与所述目标图像对应的目标表情；输出所述目标表情。
根据本发明的又一个实施例，提供了一种获取表情识别模型的装置，包括：获取模块，用于获取多组第一训练数据，其中，所述多组第一训练数据中的每组数据包括：图像、与图像对应的人脸以及与人脸对应的表情；构造模块，用于基于人脸识别模型构造表情识别初始模型；训练模块，用于使用所述多组第一训练数据通过深度学习对所述表情识别初始模型进行训练，以得到表情识别模型。
根据本发明的又一个实施例，提供了一种表情识别装置，包括：第一确定模块，用于确定目标图像；第二确定模块，用于将所述目标图像输入至通过前述实施例的方法训练得到的表情识别模型中进行分析，以确定与所述目标图像对应的目标表情；输出模块，用于输出所述目标表情。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，基于人脸识别模型构造表情识别初始模型，使用多组第一训练数据通过深度学习训练表情识别初始模型以得到表情识别模型，由于人脸识别算法模型稳定，识别准确率高，说明人脸识别已经达到很高稳定性和准确率，即能够准确识别出不同人种，不同脸型等特质。在此基础上，创建表情识别初始模型，并通过大量的数据对该模型进行训练得到表情识别模型，避免了由于人脸本身的差异造成的表情的错误识别，从而提高模型泛化能力，保证了识别结果的稳定性，因此，可以解决相关技术中存在的由于表情识别模型导致的人脸表情识别准确率低，泛化性差，稳定性差的问题，提高了人脸表情识别的准确率和泛化能力，达到了识别结果的稳定性强的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是相关技术中人脸表情识别过程示意图；
图2是相关技术中CNN模型示意图；
图3是相关技术中人脸表情识别示意图；
图4是相关技术中人脸识别流程图；
图5是本发明实施例的一种获取表情识别模型的方法、表情识别方法的移动终端的硬件结构框图；
图6是根据本发明实施例的获取表情识别模型的方法的流程图；
图7是根据本发明可选实施例的人脸识别模型训练流程图；
图8是根据本发明可选实施例的表情识别初始模型形成过程示意图；
图9是根据本发明实施例的表情识别方法的流程图；
图10是根据本发明可选实施例的表情识别模型流程图；
图11是根据本发明实施例的获取表情识别模型的装置的结构框图；
图12是根据本发明实施例的表情识别装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
首先对相关技术中的人脸识别流程进行说明：
图4是相关技术中人脸识别流程图，如图4所述，该流程包括：
步骤S402，把含背景的人脸图片经过人脸检测对齐系统矫正，作为模型训练集Training Faces。
步骤S404，利用SE-ResNet50(一种网络模型)的卷积神经网络提取特征图。
步骤S406，利用全连接层FC1将特征图转化为人脸抽象特征。
步骤S408，计算ArcFace Loss损失函数。
步骤S410，计算相应的预测值，根据预测值和实际标签，通过反向传播方式，更新模型参数。
需要说明的是，步骤S402-410是训练过程，并且步骤S402-410是重复执行的，直到模型参数稳定，此时训练完成。
步骤S412，把模型导入，并用人脸检测对齐系统矫正当前测试图片。
步骤S414，通过SE-ResNet50的模型计算，得到人脸特征图，在全连接层FC1把人脸特征图计算为人脸抽象特征。
步骤S416，计算当前人脸抽象特征a与其他人脸抽象特征b的余弦相似度，计算公式是：
步骤S418，对余弦相似度排序，分值越高，表示两个人越相似。当余弦相似度大于某阈值(cos(θ)≥γ)，即认为两张脸为同一人。
需要说明的是，步骤S412-S418是人脸识别过程。
针对相关技术中存在人脸表情识别方法准确率低，泛化性差，稳定性差的问题，本发明提出了一种用于改进上述问题的方法，下面结合实施例对本发明进行说明：
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图5是本发明实施例的一种获取表情识别模型的方法、表情识别方法的移动终端的硬件结构框图。如图5所示，移动终端50可以包括一个或多个(图5中仅示出一个)处理器502(处理器502可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器504，可选地，上述移动终端还可以包括用于通信功能的传输设备506以及输入输出设备508。本领域普通技术人员可以理解，图5所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端50还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。
存储器504可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的获取表情识别模型的方法对应的计算机程序，处理器502通过运行存储在存储器504内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器504可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器504可进一步包括相对于处理器502远程设置的存储器，这些远程存储器可以通过网络连接至移动终端50。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置506用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端50的通信供应商提供的无线网络。在一个实例中，传输装置506包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置506可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种获取表情识别模型的方法，图6是根据本发明实施例的获取表情识别模型的方法的流程图，如图6所示，该流程包括如下步骤：
步骤S602，获取多组第一训练数据，其中，所述多组第一训练数据中的每组数据包括：图像、与图像对应的人脸以及与人脸对应的表情；
步骤S604，基于人脸识别模型构造表情识别初始模型；
步骤S606，使用所述多组第一训练数据通过深度学习对所述表情识别初始模型进行训练，以得到表情识别模型。
在上述实施例中，上述第一训练数据可以包括人脸表情训练数据，在人脸表情训练数据中可以包括与人脸识别训练数据相同的照片，识别出来的N个人的人脸信息，同一个人包括7张(本实施例中7张仅是示例性说明，在具体应用中还可以是其他数量的图片，并且也可以对应其他表情类型)基本表情图片(即，平静、高兴、悲伤、惊讶、恐惧、愤怒、厌恶)，另外，为了保证识别的准确性，也可以对该7张基本表情图片做一定的要求，例如要求图片中的姿态是正脸，背景相同背景，照片最小像素不得小于40*40像素和照片需要清晰，不经过任何PS处理等。
可选地，上述步骤的执行主体可以是后台处理器，或者其他的具备类似处理能力的设备，还可以是至少数据处理设备的机器，其中，数据处理设备可以包括计算机、手机等终端，但不限于此。
通过本发明，基于人脸识别模型构造表情识别初始模型，使用多组第一训练数据通过深度学习训练表情识别初始模型以得到表情识别模型，由于人脸识别算法模型稳定，识别准确率高，说明人脸识别已经达到很高稳定性和准确率，即能够准确识别出不同人种，不同脸型等特质。在此基础上，创建表情识别初始模型，并通过大量的数据对该模型进行训练得到表情识别模型，避免了由于人脸本身的差异造成的表情的错误识别，从而提高模型泛化能力，保证了识别结果的稳定性，因此，可以解决相关技术中存在的由于表情识别模型导致的人脸表情识别准确率低，泛化性差，稳定性差的问题，提高了人脸表情识别的准确率和泛化能力，达到了识别结果的稳定性强的效果。
在一个可选的实施例中，基于人脸识别模型构造表情识别初始模型包括：训练得到所述人脸识别模型；去掉所述人脸识别模型中包括的且位于第一全连接层之后的用于计算ArcFace Loss损失函数的第一模块以及用于输入人脸识别结果的第二模块；在所述第一全连接层之后依次添加用于对人脸抽象特征进行线性修正的全连接层模块以及用于输出表情识别结果的第三模块，以得到表情识别初始模型；使用所述多组第一训练数据通过深度学习对所述表情识别初始模型进行训练，以得到所述表情识别模型。
在本实施例中，人脸识别模型训练流程图可参见附图7，如图7所示，该流程包括：
步骤S702，把原始含背景人脸识别训练数据输入到人脸检测对齐系统进行矫正，将矫正后的图片作为人脸识别模型训练集的Training Faces。
步骤S704，初始化SE-ResNet50所有层参数为高斯概率分布p～N(0，1)，将Training Faces输入到网络中计算特征图。
步骤S706，利用全连接层FC1将特征图转化为人脸抽象特征。
步骤S708，计算ArcFace Loss损失函数及相应的预测值。
步骤S710，根据预测值和实际标签，通过反向传播方式，更新模型参数。即，模型上涉及到的所有参数都进行更新。
需要说明的是，步骤S702-S710是重复执行的，直到模型参数稳定，此时训练完成。
在本实施例中，第一模块可以为ArcFace Loss模块，第二模块可以为Labels模块，考虑到第一模块、第二模块是为了提高识别精度和识别训练，与表情识别无关，因此，在本发明实施例中去掉了第一模块和第二模块，以节省训练时间。此外，在去掉了第一模块和第二模块之后，在第一全连接层之后还依次添加了全连接层模块以及第三模块，其中，全连接层模块中包括的全连接层的数量可以灵活设置，例如，可以在全连接层模块中设置一个或者两个或者更多个全连接层，第三模块可以为Labels模块，用于输出表情识别结果，上述全连接层模块可以对人脸抽象特征进行线性修正，提高表情识别准确率。
在一个可选的实施例中，训练得到所述人脸识别模型包括：使用所述多组第一训练数据中包括的图像和与图像对应的人脸通过深度学习对人脸识别初始模型进行训练，以得到所述人脸识别模型。在本实施例中，人脸识别模型可以由人脸识别训练数据训练得到，其中，人脸识别训练数据可以包括N个人，同一个人有Ai张数量不等的各种照片(比如背景不同，妆容不同等)，此外，为了提高识别精度，可以对Ai张照片做一定的限制，例如，限制m≤Ai≤M，例如，限制照片的最小像素为40*40像素，照片的质量要求清晰，不经过任何PS处理等。需要说明的是，本发明对照片的数量上限、下限不做限制。
在一个可选的实施例中，所述全连接层模块包括至少两个全连接层。在本实施例中，全连接层可以对人脸抽象特征进行线性修正，提高表情识别准确率，因此，全连接层模块中包括的全连接层越多，可以越准确的识别表情，需要说明的是，设置全连接层模块中包括两个全连接层是一种可选的实施例，在实际应用中还可以基于实际需要的表情识别精度设置更多的全连接层。
在一个可选的实施例中，使用所述多组第一训练数据通过深度学习对所述表情识别初始模型进行训练，以得到所述表情识别模型包括：使用所述多组第一训练数据通过深度学习对所述表情识别初始模型中包括的所述第一全连接层到所述第三模块之间的目标参数进行调整，以得到包括有参数值稳定的所述目标参数的所述表情识别模型。在本实施例中，对表情识别初始模型训练步骤如下：
步骤S2，把原始含背景人脸表情识别训练数据输入到人脸检测对齐系统进行矫正，将矫正后的图片作为人脸识别模型训练集的Training Faces输入到表情识别初始模型。在本实施例中，表情识别初始模型是基于训练好的人脸识别模型构建的，即，在训练好人脸识别模型之后，保留人脸识别模型的一部分，并在保留部分的基础上添加其他模块来构建得到，例如，保留人脸识别模型的Training Faces到FC1 Layer，在此基础上，在FC1Layer后添加FC2 Layer和FC3 Layer以及Label来得到表情识别初始模型，其中，FC2Layer和FC3 Layer对应于上述全连接层模块中包括的两个全连接层，Label对应于上述的第三模块。
步骤S4，把人脸识别训练好的模型，即，Training Faces到FC1 Layer的所有参数，导入到表情识别初始模型中。
步骤S6，将FC2 Layer和FC3 Layer层参数初始化为高斯概率分布p～N(0，1)。
步骤S8，通过SE-ResNet50的模型对输入Training Faces计算，得到人脸特征图。
步骤S10，利用全连接层FC1 Layer将二维特征图转化为一维人脸抽象特征。
步骤S12，利用全连接层FC2 Layer，FC3 Layer对一维人脸抽象特征做线性修正，输出的结果即为Label预测值。
步骤S14，根据Label预测值和实际标签，通过反向传播方式，更新模型参数。需要说明的是，此处反向传播只执行到FC1 Layer，也就是说只更新FC1 Layer到Labels之间的参数，而不是更新模型的所有参数。
重复以上步骤，直到FC2 Layer，FC3 Layer参数稳定，此时人脸表情识别模型训练完成。
可选地，表情识别初始模型形成过程示意图可参见附图8，如图8所示，在人脸识别模型82中去掉ArcFace Loss模块、Labels模块，保持从Training Faces到第一连接层的模型在后续不做任何改变，在第一全连接层之后依次添加全连接层模块和Labels模块得到表情识别初始模型84。
在本实施例中提供了一种表情识别方法，图9是根据本发明实施例的表情识别方法的流程图，如图9所示，该流程包括如下步骤：
步骤S902，确定目标图像；
步骤S904，将所述目标图像输入至通过前述任一实施例所述的方法训练得到的表情识别模型中进行分析，以确定与所述目标图像对应的目标表情；
步骤S906，输出所述目标表情。
通过本发明，基于人脸识别模型构造表情识别初始模型，使用多组第一训练数据通过深度学习训练表情识别初始模型以得到表情识别模型，由于人脸识别算法模型稳定，识别准确率高，说明人脸识别已经达到很高稳定性和准确率，即能够准确识别出不同人种，不同脸型等特质。在此基础上，创建表情识别初始模型，并通过大量的数据对该模型进行训练得到表情识别模型，避免了由于人脸本身的差异造成的表情的错误识别，从而提高模型泛化能力，保证了识别结果的稳定性，因此，可以解决相关技术中存在的由于表情识别模型导致的人脸表情识别准确率低，泛化性差，稳定性差的问题，提高了人脸表情识别的准确率和泛化能力，达到了识别结果的稳定性强的效果。
在一个可选的实施例中，将所述目标图像输入至所述表情识别模型中进行分析，以确定与所述目标图像对应的目标表情包括：校正所述目标图像中的人脸图像，以得到目标校正图像；计算所述目标校正图像，以得到人脸表情特征图；将所述人脸表情特征图转换为人脸表情抽象特征图；基于所述人脸表情抽象特征图确定与所述目标图像对应的所述目标表情。在本实施例中，对原始图像中的人脸图像进行校正后，计算校正后的图像的人脸表情特征图，再将人脸表情特征图转换为人脸表情抽象特征图，基于人脸表情抽象特征图识别出与其对应的表情，提高了表情识别的准确率。
在一个可选的实施例中，基于所述人脸表情抽象特征图确定与所述目标图像对应的所述目标表情包括：对所述人脸表情抽象特征图做线性修正，以得到至少两个表情的概率值；将概率值最大的表情确定为与所述目标图像对应的所述目标表情。在本实施例中，对人脸表情抽象特征图做线性修正可以得到预测表情的概率值，将概率值最大的表情确定为目标图像所对应的目标表情。
在本实施例中，表情识别模型流程图可参见附图10，如图10所示，该流程包括以下步骤：
步骤S1002，把人脸表情识别训练好的参数，导入到模型中。把测试人脸表情图片输入到人脸检测对齐系统进行矫正，得到测试集合Testing Faces。
步骤S1004，通过SE-ResNet50模型的参数与Testing Faces计算，得到人脸表情特征图。
步骤S1006，利用全连接层FC1 Layer把人脸表情特征图计算为人脸表情抽象特征。
步骤S1008，利用全连接层FC2 Layer把人脸表情特征图计算为人脸表情抽象特征。
步骤S1010，利用全连接层FC3 Layer把人脸表情特征图计算为人脸表情抽象特征。
步骤S1012，利用softmax函数把人脸表情抽象特征计算为各个类别的概率，并选择其中概率最大的作为最终预测的当前人脸表情(即7种基本表情中的1种)。即，FC3 Layer输出后经过softmax函数得到一个概率向量，将最大向量确定为最后的Label。
通过前述实施例，可以有效提高人脸表情识别模型的泛化能力和稳定性。其中，基于人脸识别方法能够准确提取当前人脸的特征，然后基于这些特征再做表情识别，能够避免出现由于人脸本身差异导致即使同一表情，在不同人脸中会有不同识别结果，从而导致泛化能力不高、稳定性不强、导致识别结果偏低的问题。在本发明实施例中，采用将两训练集分两步导入方式。由于要考虑模型泛化能力，即，首先要能够准确识别出不同人种，不同脸型等特质，因此，在第一步要训练出人脸识别模型，并在此基础上进行第二步的人脸表情识别模型训练。由于在第一阶段已经训练完成人脸识别模型作为表情识别模型的基础，因此在后续过程中，只做全连接层FC2 Layer，FC3 Layer的参数调整，即局部反向传播方法。人脸识别模型有很强区分人脸特质的功能，区分出人脸特质的差异后，基于此标准来识别表情，人脸表情识别的准确率和泛化能力，达到了识别结果的稳定性强的效果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种表情识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图11是根据本发明实施例的获取表情识别模型的装置的结构框图，如图11所示，该装置包括：
获取模块1102，用于获取多组第一训练数据，其中，所述多组第一训练数据中的每组数据包括：图像、与图像对应的人脸以及与人脸对应的表情；
构造模块1104，用于基于人脸识别模型构造表情识别初始模型；
训练模块1106，用于使用所述多组第一训练数据通过深度学习对所述表情识别初始模型进行训练，以得到表情识别模型。
在一个可选的实施例中，所述构造模块1104可以通过以下方式实现基于人脸识别模型构造表情识别初始模型：训练得到所述人脸识别模型；去掉所述人脸识别模型中包括的且位于第一全连接层之后的用于计算ArcFace Loss损失函数的第一模块以及用于输入人脸识别结果的第二模块；在所述第一全连接层之后依次添加用于对人脸抽象特征进行线性修正的全连接层模块以及用于输出表情识别结果的第三模块，以得到所述表情识别初始模型。
在一个可选的实施例中，所述构造模块1104可以通过以下方式实现训练得到所述人脸识别模型：使用所述多组第一训练数据中包括的图像和与图像对应的人脸通过深度学习对人脸识别初始模型进行训练，以得到所述人脸识别模型。
在一个可选的实施例中，所述训练模块1106可以通过以下方式实现使用所述多组第一训练数据通过深度学习对所述表情识别初始模型进行训练，以得到所述表情识别模型：使用所述多组第一训练数据通过深度学习对所述表情识别初始模型中包括的所述第一全连接层到所述第三模块之间的目标参数进行调整，以得到包括有参数值稳定的所述目标参数的所述表情识别模型。
在一个可选的实施例中，所述全连接层模块包括至少两个全连接层。
图12是根据本发明实施例的表情识别装置的结构框图，如图12所示，该装置包括：
第一确定模块1202，用于确定目标图像；
第二确定模块1204，用于将所述目标图像输入至前述任一实施例中所述的方法训练得到的表情识别模型中进行分析，以确定与所述目标图像对应的目标表情；
输出模块1206，用于输出所述目标表情。
在一个可选的实施例中，所述第二确定模块1204可以通过以下方式实现将所述目标图像输入至所述表情识别模型中进行分析，以确定与所述目标图像对应的目标表情：校正所述目标图像中的人脸图像，以得到目标校正图像；计算所述目标校正图像，以得到人脸表情特征图；将所述人脸表情特征图转换为人脸表情抽象特征图；基于所述人脸表情抽象特征图确定与所述目标图像对应的所述目标表情。
在一个可选的实施例中，所述第二确定模块1204可以如下方式实现基于所述人脸表情抽象特征图确定与所述目标图像对应的所述目标表情：对所述人脸表情抽象特征图做线性修正，以得到至少两个表情的概率值；将概率值最大的表情确定为与所述目标图像对应的所述目标表情。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取多组第一训练数据，其中，所述多组第一训练数据中的每组数据包括：图像、与图像对应的人脸以及与人脸对应的表情；
S2，基于人脸识别模型构造表情识别初始模型；
S3，使用所述多组第一训练数据通过深度学习对所述表情识别初始模型进行训练，以得到表情识别模型。
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的计算机程序：
S1，确定目标图像；
S2，将所述目标图像输入至通过前述任一实施例所述的方法训练得到的表情识别模型中进行分析，以确定与所述目标图像对应的目标表情；
S3，输出所述目标表情。
可选地，在本实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取多组第一训练数据，其中，所述多组第一训练数据中的每组数据包括：图像、与图像对应的人脸以及与人脸对应的表情；
S2，基于人脸识别模型构造表情识别初始模型；
S3，使用所述多组第一训练数据通过深度学习对所述表情识别初始模型进行训练，以得到表情识别模型。
可选地，上述处理器还被设置为存储用于执行以下步骤的计算机程序：
S1，确定目标图像；
S2，将所述目标图像输入至通过前述任一实施例所述的方法训练得到的表情识别模型中进行分析，以确定与所述目标图像对应的目标表情；
S3，输出所述目标表情。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种获取表情识别模型的方法，其特征在于，包括：
获取多组第一训练数据，其中，所述多组第一训练数据中的每组数据包括：图像、与图像对应的人脸以及与人脸对应的表情；
基于人脸识别模型构造表情识别初始模型；
使用所述多组第一训练数据通过深度学习对所述表情识别初始模型进行训练，以得到表情识别模型。
2.根据权利要求1所述的方法，其特征在于，基于人脸识别模型构造表情识别初始模型包括：
训练得到所述人脸识别模型；
去掉所述人脸识别模型中包括的且位于第一全连接层之后的用于计算ArcFace Loss损失函数的第一模块以及用于输入人脸识别结果的第二模块；
在所述第一全连接层之后依次添加用于对人脸抽象特征进行线性修正的全连接层模块以及用于输出表情识别结果的第三模块，以得到所述表情识别初始模型。
3.根据权利要求2所述的方法，其特征在于，训练得到所述人脸识别模型包括：
使用所述多组第一训练数据中包括的图像和与图像对应的人脸通过深度学习对人脸识别初始模型进行训练，以得到所述人脸识别模型。
4.根据权利要求2所述的方法，其特征在于，使用所述多组第一训练数据通过深度学习对所述表情识别初始模型进行训练，以得到所述表情识别模型包括：
使用所述多组第一训练数据通过深度学习对所述表情识别初始模型中包括的所述第一全连接层到所述第三模块之间的目标参数进行调整，以得到包括有参数值稳定的所述目标参数的所述表情识别模型。
5.根据权利要求2所述的方法，其特征在于，所述全连接层模块包括至少两个全连接层。
6.一种表情识别方法，其特征在于，包括：
确定目标图像；
将所述目标图像输入至通过权利要求1至5中任一项所述的方法训练得到的表情识别模型中进行分析，以确定与所述目标图像对应的目标表情；
输出所述目标表情。
7.根据权利要求6所述的方法，其特征在于，将所述目标图像输入至所述表情识别模型中进行分析，以确定与所述目标图像对应的目标表情包括：
校正所述目标图像中的人脸图像，以得到目标校正图像；
计算所述目标校正图像，以得到人脸表情特征图；
将所述人脸表情特征图转换为人脸表情抽象特征图；
基于所述人脸表情抽象特征图确定与所述目标图像对应的所述目标表情。
8.根据权利要求7所述的方法，其特征在于，基于所述人脸表情抽象特征图确定与所述目标图像对应的所述目标表情包括：
对所述人脸表情抽象特征图做线性修正，以得到至少两个表情的概率值；
将概率值最大的表情确定为与所述目标图像对应的所述目标表情。
9.一种获取表情识别模型的装置，其特征在于，包括：
获取模块，用于获取多组第一训练数据，其中，所述多组第一训练数据中的每组数据包括：图像、与图像对应的人脸以及与人脸对应的表情；
构造模块，用于基于人脸识别模型构造表情识别初始模型；
训练模块，用于使用所述多组第一训练数据通过深度学习对所述表情识别初始模型进行训练，以得到表情识别模型。
10.一种表情识别装置，其特征在于，包括：
第一确定模块，用于确定目标图像；
第二确定模块，用于将所述目标图像输入至通过权利要求1至5中任一项所述的方法训练得到的表情识别模型中进行分析，以确定与所述目标图像对应的目标表情；
输出模块，用于输出所述目标表情。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法，或者执行权利要求6-8任一项中所述的方法。
12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法，或者执行权利要求6-8任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010162575.9A CN111401193B (zh) | 2020-03-10 | 2020-03-10 | 获取表情识别模型的方法及装置、表情识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010162575.9A CN111401193B (zh) | 2020-03-10 | 2020-03-10 | 获取表情识别模型的方法及装置、表情识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111401193A true CN111401193A (zh) | 2020-07-10 |
| CN111401193B CN111401193B (zh) | 2023-11-28 |
Family
ID=71432297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010162575.9A Active CN111401193B (zh) | 2020-03-10 | 2020-03-10 | 获取表情识别模型的方法及装置、表情识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111401193B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112581417A (zh) * | 2020-12-14 | 2021-03-30 | 深圳市众采堂艺术空间设计有限公司 | 一种人脸表情获取修饰成像系统、方法 |
| CN112784776A (zh) * | 2021-01-26 | 2021-05-11 | 山西三友和智慧信息技术股份有限公司 | 一种基于改进残差网络的bpd面部情绪识别方法 |
| CN116912921A (zh) * | 2023-09-12 | 2023-10-20 | 深圳须弥云图空间科技有限公司 | 表情识别方法、装置、电子设备及可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170357847A1 (en) * | 2016-06-10 | 2017-12-14 | Marwan Jabri | Biologically inspired apparatus and methods for pattern recognition |
| KR20180037436A (ko) * | 2016-10-04 | 2018-04-12 | 한화테크윈 주식회사 | 다중 크기 컨볼루션 블록 층을 이용한 얼굴 인식 장치 |
| CN108229257A (zh) * | 2016-12-21 | 2018-06-29 | 田文洪 | 一种基于深度学习和Spark的人脸识别特征并行训练方法 |
| CN109784153A (zh) * | 2018-12-10 | 2019-05-21 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、计算机设备及存储介质 |
| CN109993100A (zh) * | 2019-03-27 | 2019-07-09 | 南京邮电大学 | 基于深层特征聚类的人脸表情识别的实现方法 |
| CN110414378A (zh) * | 2019-07-10 | 2019-11-05 | 南京信息工程大学 | 一种基于异质人脸图像融合特征的人脸识别方法 |
| CN110443162A (zh) * | 2019-07-19 | 2019-11-12 | 南京邮电大学 | 一种用于伪装人脸识别的两段式训练方法 |
-
2020
- 2020-03-10 CN CN202010162575.9A patent/CN111401193B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170357847A1 (en) * | 2016-06-10 | 2017-12-14 | Marwan Jabri | Biologically inspired apparatus and methods for pattern recognition |
| KR20180037436A (ko) * | 2016-10-04 | 2018-04-12 | 한화테크윈 주식회사 | 다중 크기 컨볼루션 블록 층을 이용한 얼굴 인식 장치 |
| CN108229257A (zh) * | 2016-12-21 | 2018-06-29 | 田文洪 | 一种基于深度学习和Spark的人脸识别特征并行训练方法 |
| CN109784153A (zh) * | 2018-12-10 | 2019-05-21 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、计算机设备及存储介质 |
| CN109993100A (zh) * | 2019-03-27 | 2019-07-09 | 南京邮电大学 | 基于深层特征聚类的人脸表情识别的实现方法 |
| CN110414378A (zh) * | 2019-07-10 | 2019-11-05 | 南京信息工程大学 | 一种基于异质人脸图像融合特征的人脸识别方法 |
| CN110443162A (zh) * | 2019-07-19 | 2019-11-12 | 南京邮电大学 | 一种用于伪装人脸识别的两段式训练方法 |
Non-Patent Citations (2)
| Title |
|---|
| DIMITRIOS KOLLIAS: "Expression, Affect, Action Unit Recognition:Aff-Wild2, Multi-Task Learning and ArcFace", pages 1 - 10 * |
| 董飞艳: "卷积神经网络的分布式训练在表情识别中的应用", 软件, vol. 41, no. 1, pages 160 - 164 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112581417A (zh) * | 2020-12-14 | 2021-03-30 | 深圳市众采堂艺术空间设计有限公司 | 一种人脸表情获取修饰成像系统、方法 |
| CN112784776A (zh) * | 2021-01-26 | 2021-05-11 | 山西三友和智慧信息技术股份有限公司 | 一种基于改进残差网络的bpd面部情绪识别方法 |
| CN116912921A (zh) * | 2023-09-12 | 2023-10-20 | 深圳须弥云图空间科技有限公司 | 表情识别方法、装置、电子设备及可读存储介质 |
| CN116912921B (zh) * | 2023-09-12 | 2024-02-20 | 深圳须弥云图空间科技有限公司 | 表情识别方法、装置、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111401193B (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111401193B (zh) | 获取表情识别模型的方法及装置、表情识别方法及装置 | |
| CN110276406B (zh) | 表情分类方法、装置、计算机设备及存储介质 | |
| CN111368943B (zh) | 图像中对象的识别方法和装置、存储介质及电子装置 | |
| CN111310731A (zh) | 基于人工智能的视频推荐方法、装置、设备及存储介质 | |
| CN110288513B (zh) | 用于改变人脸属性的方法、装置、设备和存储介质 | |
| US20220237917A1 (en) | Video comparison method and apparatus, computer device, and storage medium | |
| CN113538441A (zh) | 图像分割模型的处理方法、图像处理方法及装置 | |
| CN111414946A (zh) | 基于人工智能的医疗影像的噪声数据识别方法和相关装置 | |
| CN112801054B (zh) | 人脸识别模型的处理方法、人脸识别方法及装置 | |
| CN111108508B (zh) | 脸部情感识别方法、智能装置和计算机可读存储介质 | |
| CN114332994A (zh) | 训练年龄预测模型的方法、年龄检测方法及相关装置 | |
| CN110222718A (zh) | 图像处理的方法及装置 | |
| CN110866469A (zh) | 一种人脸五官识别方法、装置、设备及介质 | |
| CN111401105B (zh) | 一种视频表情识别方法、装置及设备 | |
| CN113761105A (zh) | 文本数据处理方法、装置、设备以及介质 | |
| CN114170484B (zh) | 图片属性预测方法、装置、电子设备和存储介质 | |
| CN115984930A (zh) | 微表情识别方法、装置、微表情识别模型的训练方法 | |
| CN117726884B (zh) | 对象类别识别模型的训练方法、对象类别识别方法及装置 | |
| CN116701706B (zh) | 一种基于人工智能的数据处理方法、装置、设备及介质 | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN111429414A (zh) | 基于人工智能的病灶影像样本确定方法和相关装置 | |
| CN113128278A (zh) | 一种图像识别方法及装置 | |
| CN116958626A (zh) | 一种图像分类模型训练、图像分类方法、装置及电子设备 | |
| CN116958729A (zh) | 对象分类模型的训练、对象分类方法、装置及存储介质 | |
| CN115205956A (zh) | 左右眼检测模型训练方法、识别左右眼的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |