CN107169409A - 一种情感识别方法及装置 - Google Patents

一种情感识别方法及装置 Download PDF

Info

Publication number
CN107169409A
CN107169409A CN201710210060.XA CN201710210060A CN107169409A CN 107169409 A CN107169409 A CN 107169409A CN 201710210060 A CN201710210060 A CN 201710210060A CN 107169409 A CN107169409 A CN 107169409A
Authority
CN
China
Prior art keywords
emotion
video
result
identified
emotion result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710210060.XA
Other languages
English (en)
Inventor
范音
路香菊
李典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201710210060.XA priority Critical patent/CN107169409A/zh
Publication of CN107169409A publication Critical patent/CN107169409A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种情感识别方法及装置，应用于多媒体技术领域，所述方法包括：通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，得到第一情感结果；通过预先建立的三维卷积神经网络模型识别所述待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，得到第二情感结果；对所述第一情感结果、所述第二情感结果进行融合计算，得到所述待识别视频的融合结果；根据所述融合结果中的最大值，通过预先建立的融合结果和情感类型的对应关系，得到所述待识别视频的情感类型。本发明实施例中递归神经网络模型和三维卷积神经网络模型的互补性，提高了识别视频情感类型的准确度。

Description

一种情感识别方法及装置
技术领域
本发明涉及多媒体技术领域，特别是涉及一种情感识别方法及装置。
背景技术
随着人工智能技术的迅速发展，情感识别能够通过画面和声音判断人物情绪，让机器真正“懂”用户，这将极大促进视频理解、人机交互等智能领域的发展。情感识别是视频画面情感、音频情感识别等多个领域技术的综合体。视频画面情感识别利用人工智能的算法，通过视频画面中人物表情、动作和姿态等信息识别出人物情绪。而音频情感识别主要根据人在不同情感下语音信号的非平稳性特征，通过提取语音的音质、韵律、频谱等声学特征，来判断情绪变化。
传统的卷积神经网络(CNN，convolutional neural networks)能提取出图像的外观特征，在图像识别领域取得了很好的效果。然而，CNN只能处理单张图像。因此，先通过CNN提取视频每帧图像的外观特征，再通过递归神经网络(RNN，Recurrent Neural Network)提取图像序列的时间特征，通过视频的外观特征和时间特征识别视频的情感。其中，情感类型可以分为愤怒、恶心、害怕、高兴、悲伤、惊讶和中立七种基本情感。目前，由于带有情感标注的数据量少，RNN情感识别尤其是某几类情感(如恶心、惊讶)识别的准确度较低。
发明内容
本发明实施例的目的在于提供一种情感识别方法及装置，以提高视频情感识别的准确度。具体技术方案如下：
本发明实施例公开了一种情感识别方法，包括：
通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，得到第一情感结果；
通过预先建立的三维卷积神经网络模型识别所述待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，得到第二情感结果；
在得到所述第一情感结果及所述第二情感结果时，对所述第一情感结果、所述第二情感结果进行融合计算，得到所述待识别视频的融合结果；
根据所述融合结果中的最大值，通过预先建立的融合结果和情感类型的对应关系，得到所述待识别视频的情感类型。
可选的，位于所述通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，之前，所述方法还包括：
对所述待识别视频进行预处理，得到所述待识别视频的帧序列。
可选的，位于所述通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，之前，所述方法还包括：
通过卷积神经网络对FER2013数据库中的具有基本表情的人脸图像进行训练，建立卷积神经网络模型；
通过递归神经网络对所述卷积神经网络模型的外观特征进行训练，建立递归神经网络模型；
通过三维卷积神经网络对AFEW6.0数据库中的具有基本表情的视频片段进行训练，得到三维卷积神经网络模型。
可选的，所述对所述待识别视频进行预处理，得到所述待识别视频的帧序列的步骤，包括：
对所述待识别视频中的每一帧图片做仿射变换，得到所述帧序列。
可选的，所述对所述第一情感结果、所述第二情感结果进行融合计算，得到所述待识别视频的融合结果的步骤，包括：
根据公式：Wvideo＝a1×WCNN-RNN+(1-a1)×WC3D，
得到融合结果Wvideo，其中，WCNN-RNN为所述第一情感结果，WC3D为所述第二情感结果，a1为第一情感结果参数，1-a1为第二情感结果参数，a1为大于0且小于1的数值。
可选的，位于所述对所述第一情感结果、所述第二情感结果进行融合计算，之前，所述方法还包括：
提取所述待识别视频的音频特征，通过支持向量机模型识别所述音频特征，得到音频情感结果；
在得到所述第一情感结果、所述第二情感结果及所述音频情感结果时，对所述第一情感结果、所述第二情感结果及所述音频情感结果进行融合计算，得到所述待识别视频的融合结果。
可选的，所述对所述第一情感结果、所述第二情感结果及所述音频情感结果进行融合计算，得到所述待识别视频的融合结果的步骤，包括：
根据公式：
Wvideo＝w1×WCNN-RNN+w2×WC3D+(1-w1-w2)×WAudio，得到融合结果Wvideo，
其中，WCNN-RNN为所述第一情感结果，WC3D为所述第二情感结果，WAudio为所述音频情感结果，w1为第一情感结果参数，w2为第二情感结果参数，1-w1-w2为音频情感结果参数，w1、w2和w1+w2为大于0且小于1的数值。
本发明实施例还公开了一种情感识别装置，包括：
第一情感结果模块，用于通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，得到第一情感结果；
第二情感结果模块，用于通过预先建立的三维卷积神经网络模型识别所述待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，得到第二情感结果；
融合结果模块，用于在得到所述第一情感结果及所述第二情感结果时，对所述第一情感结果、所述第二情感结果进行融合计算，得到所述待识别视频的融合结果；
情感类型模块，用于根据所述融合结果中的最大值，通过预先建立的融合结果和情感类型的对应关系，得到所述待识别视频的情感类型。
可选的，本发明实施例的情感识别装置，还包括：
预处理模块，用于对所述待识别视频进行预处理，得到所述待识别视频的帧序列。
可选的，本发明实施例的情感识别装置，还包括：
卷积神经网络模型建立模块，用于通过卷积神经网络对FER2013数据库中的具有基本表情的人脸图像进行训练，建立卷积神经网络模型；
递归神经网络模型建立模块，用于通过递归神经网络对所述卷积神经网络模型的外观特征进行训练，建立递归神经网络模型；
三维卷积神经网络模型建立模块，用于通过三维卷积神经网络对AFEW6.0数据库中的具有基本表情的视频片段进行训练，得到三维卷积神经网络模型。
可选的，所述预处理模块具体用于对所述待识别视频中的每一帧图片做仿射变换，得到所述帧序列。
可选的，所述融合结果模块具体用于，根据公式：
Wvideo＝a1×WCNN-RNN+(1-a1)×WC3D，
得到融合结果Wvideo，其中，WCNN-RNN为所述第一情感结果，WC3D为所述第二情感结果，a1为第一情感结果参数，1-a1为第二情感结果参数，a1为大于0且小于1的数值。
可选的，本发明实施例的情感识别装置，还包括：
音频情感结果模块，用于提取所述待识别视频的音频特征，通过支持向量机模型识别所述音频特征，得到音频情感结果；
所述融合结果模块还用于，在得到所述第一情感结果、所述第二情感结果及所述音频情感结果时，对所述第一情感结果、所述第二情感结果及所述音频情感结果进行融合计算，得到所述待识别视频的融合结果。
可选的，融合结果模块具体用于，根据公式：
Wvideo＝w1×WCNN-RNN+w2×WC3D+(1-w1-w2)×WAudio，得到融合结果Wvideo，
其中，WCNN-RNN为所述第一情感结果，WC3D为所述第二情感结果，WAudio为所述音频情感结果，w1为第一情感结果参数，w2为第二情感结果参数，1-w1-w2为音频情感结果参数，w1、w2和w1+w2为大于0且小于1的数值。
本发明实施例提供的情感识别方法及装置，通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和帧序列的时间特征，得到第一情感结果；通过预先建立的三维卷积神经网络模型识别待识别视频的帧序列中人脸的外观特征和帧序列的时间特征，得到第二情感结果；对第一情感结果、第二情感结果进行融合计算，得到待识别视频的融合结果；根据融合结果中的最大值，通过预先建立的融合结果和情感类型的对应关系，得到待识别视频的情感类型。本发明实施例通过将递归神经网络模型和三维卷积神经网络模型相结合，提高了识别视频情感类型的准确度。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的情感识别方法的一种流程图；
图2为本发明实施例的情感识别方法的另一种流程图；
图3为本发明实施例的情感识别方法的另一种流程图；
图4为本发明实施例的情感识别装置的一种结构图；
图5为本发明实施例的情感识别装置的另一种结构图；
图6为本发明实施例的情感识别装置的另一种结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，通过递归神经网络可以识别视频的帧序列中人脸的外观特征和帧序列的时间特征，对视频的情感类型做出识别。但是，该方法对于部分微表情识别的准确度比较低。因此，本发明实施例公开了一种情感识别方法及装置，下面首先对情感识别方法进行详细说明。
参见图1，图1为本发明实施例的情感识别方法的一种流程图，包括以下步骤：
S101，通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和帧序列的时间特征，得到第一情感结果。
本发明实施例中，递归神经网络模型首先通过卷积神经网络提取视频的每一帧图片的外观特征，其中，外观特征可以包括：颜色特征、纹理特征、形状特征、空间关系特征等。然后将外观特征作为递归神经网络的输入，通过递归神经网络提取视频的帧序列的时间特征，时间特征可以包括：帧序列中每一帧图片的时间，即帧图片之间的互连关系。通过递归神经网络模型，根据外观特征和时间特征，得到第一情感结果。
其中，递归神经网络模型包括：视频和情感向量的对应关系，视频也就是图片序列，情感向量为连续的几个数值，且数值的和为1。例如，基本情感类型为7种，分别为愤怒、恶心、害怕、高兴、悲伤、惊讶和中立。那么，输出的情感向量为7个数值，这7个数值分别对应愤怒、恶心、害怕、高兴、悲伤、惊讶和中立的概率，当然，这7个数值的和为1。因此，通过递归神经网络模型可以根据输入的视频得到该视频对应输出的情感向量，即，7种情感类型的概率。相应地，得到的第一情感结果即为7种情感类型的概率。
S102，通过预先建立的三维卷积神经网络模型识别待识别视频的帧序列中人脸的外观特征和帧序列的时间特征，得到第二情感结果。
与S101相同的是，三维卷积神经网络模型包括：视频和情感向量的对应关系。但是，三维卷积神经网络可同时提取视频的帧序列的外观特征和时间特征，因此，三维卷积神经网络可以捕捉到微表情的细微变化，从而识别某些微表情，例如：恶心、惊讶等，进而提高情感识别的准确度。
S103，在得到第一情感结果及第二情感结果时，对第一情感结果、第二情感结果进行融合计算，得到待识别视频的融合结果。
需要说明的是，通过递归神经网络模型和三维卷积神经网络模型都可以得到视频对应的情感类型，由于递归神经网络模型对高兴和愤怒等较明显的表情具有很好的识别性能，三维卷积神经网络模型对微表情具有很好的识别性能，可以将两种模型进行互补，即，将两种结果进行融合计算，得到准确度更高的待识别视频的融合结果。
S104，根据融合结果中的最大值，通过预先建立的融合结果和情感类型的对应关系，得到待识别视频的情感类型。
由S101和S102可知，第一情感结果和第二情感结果都为情感向量，那么，通过两种模型的融合，得到的融合结果也为情感向量。而融合结果和情感类型的对应关系是预先建立的，例如，该对应关系为：融合结果为情感向量，该情感向量中的7个数值依次和愤怒、恶心、害怕、高兴、悲伤、惊讶、中立相对应，如果融合结果为：0.1、0.15、0.1、0.1、0.2、0.1、0.25，则表明待识别视频的情感类型中愤怒的概率为0.1，恶心的概率为0.15，害怕的概率为0.1、高兴的概率为0.1，悲伤的概率为0.2，惊讶的概率为0.1，中立的概率为0.25。显然，融合结果中的最大值为0.25，那么，最终得到的待识别视频的情感类型为中立。
可见，本发明实施例的情感识别方法，通过预先建立的递归神经网络模型和预先建立的三维卷积神经网络模型分别识别待识别视频的帧序列中人脸的外观特征和帧序列的时间特征，得到第一情感结果和第二情感结果；对第一情感结果、第二情感结果进行融合计算，得到待识别视频的融合结果；根据融合结果中的最大值，通过预先建立的融合结果和情感类型的对应关系，得到待识别视频的情感类型。本发明实施例通过将递归神经网络模型和三维卷积神经网络模型相结合，并将两种模型得到的情感结果融合，提高了识别视频情感类型的准确度。
参见图2，图2为本发明实施例的情感识别方法的另一种流程图，在图1实施例的基础上，还包括：
S201，对待识别视频进行预处理，得到待识别视频的帧序列。
需要说明的是，本发明实施例识别的是视频的情感类型，即，视频的每一帧图片中的人脸图片的情感类型。而对于给定的视频，不是每一帧图片都可以直接提取人脸图片的外观特征，需要对视频的每一帧图片进行预处理，即，检测人脸图片中的人脸关键点，并根据人脸关键点做仿射变换，得到待识别视频的帧序列，进而提取待识别视频的帧序列的外观特征。
参见图3，图3为本发明实施例的情感识别方法的另一种流程图，在图1实施例的基础上，还包括：
S301，通过卷积神经网络对FER2013数据库中的具有基本表情的人脸图像进行训练，建立卷积神经网络模型。
具体的，FER2013数据库为包含七种基本表情的表情数据库。由于FER2013数据库的数据量小，因此，需要重新训练一个深度学习模型。即，通过卷积神经网络训练使得FER2013数据库在人脸识别模型的基础上做微调，从而建立卷积神经网络模型。需要解释的是，人脸识别模型为与表情无关的模型，这样，机器不需要重新学习，而可以直接对情感类型进行分类，从而简化卷积神经网络模型训练的过程。卷积神经网络模型包括：图片和情感向量的对应关系。
S302，通过递归神经网络对卷积神经网络模型的外观特征进行训练，建立递归神经网络模型。
其中，卷积神经网络模型每次只能处理单张图片，即，每次只能提取单张图片的外观特征，递归神经网络可以提取图片序列的时间特征。那么，将卷积神经网络模型的外观特征作为递归神经网络的输入，与递归神经网络提取的时间特征相结合，通过训练，得到递归神经网络模型。递归神经网络模型中包括视频和情感向量的对应关系，使得输入视频时，得到视频对应的情感类型。
S303，通过三维卷积神经网络对AFEW6.0数据库中的具有基本表情的视频片段进行训练，得到三维卷积神经网络模型。
具体的，AFEW6.0数据库为包括七种基本表情视频片段的数据库，三维卷积神经网络可以同时提取视频的每一帧图片的外观特征和视频的帧序列的时间特征，通过三维卷积神经网络使得AFEW6.0数据库在视频识别模型的基础上做微调，从而建立三维卷积神经网络模型。三维卷积神经网络模型中包括视频和情感向量的对应关系，使得输入视频时，得到视频对应的情感类型。
本发明实施例的一种实现方式中，对待识别视频进行预处理，得到待识别视频的帧序列的步骤，包括：
对待识别视频中的每一帧图片做仿射变换，得到帧序列。
更为具体的，仿射变换在几何上定义为两个向量空间之间的一个仿射变换或者仿射映射，由一个非奇异的线性变换接上一个平移变换组成。图片的仿射变换可以理解为图片的平移、拉伸和压缩等等。举例而言，如果待识别视频中的一帧图片中人脸是倾斜的，可根据仿射变换将倾斜的人脸变换为平直的人脸，方便后续提取图片中人脸的外观特征。由于仿射变换属于现有技术，在此不再进行详细描述。当然，其他可以实现提取图片中人脸的外观特征的方式也都是可以的，在此不做限定。
本发明实施例的一种实现方式中，对第一情感结果、第二情感结果进行融合计算，得到待识别视频的融合结果的步骤，包括：
根据公式：Wvideo＝a1×WCNN-RNN+(1-a1)×WC3D，
得到融合结果Wvideo，其中，WCNN-RNN为第一情感结果，WC3D为第二情感结果，a1为第一情感结果参数，1-a1为第二情感结果参数，a1为大于0且小于1的数值。
更为具体的，在得到第一情感结果和第二情感结果之后，将第一情感结果和第二情感结果进行融合，得到待识别视频的融合结果。需要说明的是，a1为通过验证得到的数值。首先，在评估递归神经网络模型或三维卷积神经网络模型时，将具有情感类型的视频样本作为递归神经网络模型或三维卷积神经网络模型的输入，将通过递归神经网络模型或三维卷积神经网络模型得到的情感类型与已知的情感类型进行对比，通过不断调节递归神经网络模型或三维卷积神经网络模型内部的参数，使得递归神经网络模型或三维卷积神经网络模型最优。然后，在递归神经网络模型和三维卷积神经网络模型相结合时，将具有情感类型的视频样本作为递归神经网络模型和三维卷积神经网络模型的输入，将通过递归神经网络模型和三维卷积神经网络模型计算得到的情感类型和已知情感类型进行对比，通过不断调节a1，使得递归神经网络模型和三维卷积神经网络模型两种模型结合之后得到的结果达到最优，即，使得到的结果与已知结果最接近。
本发明实施例中，结合递归神经网络模型对高兴、愤怒等表情具有较高识别性的优点，以及三维卷积神经网络模型对惊讶、恶心等微表情具有较高识别性的优点，得到待识别视频最终的情感类型。因此，本发明实施例的情感识别方法识别视频情感的准确度更高。
可选的，位于对第一情感结果、第二情感结果进行融合计算，之前，本发明实施例的情感识别方法还包括：
提取待识别视频的音频特征，通过支持向量机模型识别音频特征，得到音频情感结果。
在得到所述第一情感结果、所述第二情感结果及所述音频情感结果时，对第一情感结果、第二情感结果及音频情感结果进行融合计算，得到待识别视频的融合结果。
需要说明的是，通过递归神经网络模型和三维卷积神经网络模型两种模型得到的情感类型，仅仅是通过对视频中图片的处理得到的，而视频除了一帧一帧的图片之外，还包括声音。本发明实施例中，还可以提取视频的音频特征，通过对音频的识别，得到音频情感结果。其中，音频特征包括：语速、振幅和音频等。支持向量机模型为有监督的学习模型，通常用来进行模式识别、分类以及回归分析。当然，该支持向量机模型也是通过训练得到的。同样的，得到的音频情感结果也为情感向量。
本发明实施例的一种实现方式中，对第一情感结果、第二情感结果及音频情感结果进行融合计算，得到待识别视频的融合结果的步骤，包括：
根据公式：
Wvideo＝w1×WCNN-RNN+w2×WC3D+(1-w1-w2)×WAudio，得到融合结果Wvideo，w1×WCNN-RNN+w2×WC3D+(1-w1-w2)×WAudio
其中，WCNN-RNN为第一情感结果，WC3D为第二情感结果，WAudio为音频情感结果，w1为第一情感结果参数，w2为第二情感结果参数，1-w1-w2为音频情感结果参数，w1、w2和w1+w2为大于0且小于1的数值。
在得到音频情感结果之后，将音频情感结果与第一情感结果、第二情感结果相融合，得到待识别视频的融合结果。其中，w1和w2的选取方法与上述a1的选取方法相同，在此不再赘述。显然，将音频情感结果与第一情感结果以及第二情感结果结合，递归神经网络模型、三维卷积神经网络模型和支持向量机模型中参数的训练过程将会复杂化，但是得到的情感类型准确性更高。
相应于上述方法实施例，本发明实施例还公开了一种情感识别装置，参见图4，图4为本发明实施例的情感识别装置的一种结构图，包括：
第一情感结果模块401，用于通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和帧序列的时间特征，得到第一情感结果。
第二情感结果模块402，用于通过预先建立的三维卷积神经网络模型识别待识别视频的帧序列中人脸的外观特征和帧序列的时间特征，得到第二情感结果。
融合结果模块403，用于在得到第一情感结果及第二情感结果时，对第一情感结果、第二情感结果进行融合计算，得到待识别视频的融合结果。
情感类型模块404，用于根据融合结果中的最大值，通过预先建立的融合结果和情感类型的对应关系，得到待识别视频的情感类型。
可见，本发明实施例的情感识别装置，通过预先建立的递归神经网络模型和预先建立的三维卷积神经网络模型分别识别待识别视频的帧序列中人脸的外观特征和帧序列的时间特征，得到第一情感结果和第二情感结果；对第一情感结果、第二情感结果进行融合计算，得到待识别视频的融合结果；根据融合结果中的最大值，通过预先建立的融合结果和情感类型的对应关系，得到待识别视频的情感类型。本发明实施例通过将递归神经网络模型和三维卷积神经网络模型相结合，并将两种模型得到的情感结果融合，提高了识别视频情感类型的准确度。
需要说明的是，本发明实施例的装置是应用上述情感识别方法的装置，则上述情感识别方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
参见图5，图5为本发明实施例的情感识别装置的另一种结构图，在图4实施例的基础上，还包括：
预处理模块501，用于对待识别视频进行预处理，得到待识别视频的帧序列。
参见图6，图6为本发明实施例的情感识别装置的另一种结构图，在图4实施例的基础上，还包括：
卷积神经网络模型建立模块601，用于通过卷积神经网络对FER2013数据库中的具有基本表情的人脸图像进行训练，建立卷积神经网络模型。
递归神经网络模型建立模块602，用于通过递归神经网络对卷积神经网络模型的外观特征进行训练，建立递归神经网络模型。
三维卷积神经网络模型建立模块603，用于通过三维卷积神经网络对AFEW6.0数据库中的具有基本表情的视频片段进行训练，得到三维卷积神经网络模型。
可选的，本发明实施例的情感识别装置中，预处理模块具体用于对待识别视频中的每一帧图片做仿射变换，得到帧序列。
可选的，本发明实施例的情感识别装置中，融合结果模块具体用于，根据公式：Wvideo＝a1×WCNN-RNN+(1-a1)×WC3D，
得到融合结果Wvideo，其中，WCNN-RNN为第一情感结果，WC3D为第二情感结果，a1为第一情感结果参数，1-a1为第二情感结果参数，a1为大于0且小于1的数值。
可选的，本发明实施例的情感识别装置，还包括：
音频情感结果模块，用于提取待识别视频的音频特征，通过支持向量机模型识别音频特征，得到音频情感结果。
融合结果模块还用于，对第一情感结果、第二情感结果及音频情感结果进行融合计算，得到待识别视频的融合结果。
融合结果模块具体用于，根据公式：
Wvideo＝w1×WCNN-RNN+w2×WC3D+(1-w1-w2)×WAudio，得到融合结果Wvideo，
其中，WCNN-RNN为第一情感结果，WC3D为第二情感结果，WAudio为音频情感结果，w1为第一情感结果参数，w2为第二情感结果参数，1-w1-w2为音频情感结果参数，w1、w2和w1+w2为大于0且小于1的数值。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (14)

1.一种情感识别方法，其特征在于，包括：
通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，得到第一情感结果；
通过预先建立的三维卷积神经网络模型识别所述待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，得到第二情感结果；
在得到所述第一情感结果及所述第二情感结果时，对所述第一情感结果、所述第二情感结果进行融合计算，得到所述待识别视频的融合结果；
根据所述融合结果中的最大值，通过预先建立的融合结果和情感类型的对应关系，得到所述待识别视频的情感类型。
2.根据权利要求1所述的情感识别方法，其特征在于，位于所述通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，之前，所述方法还包括：
对所述待识别视频进行预处理，得到所述待识别视频的帧序列。
3.根据权利要求1所述的情感识别方法，其特征在于，位于所述通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，之前，所述方法还包括：
通过卷积神经网络对FER2013数据库中的具有基本表情的人脸图像进行训练，建立卷积神经网络模型；
通过递归神经网络对所述卷积神经网络模型的外观特征进行训练，建立递归神经网络模型；
通过三维卷积神经网络对AFEW6.0数据库中的具有基本表情的视频片段进行训练，得到三维卷积神经网络模型。
4.根据权利要求2所述的情感识别方法，其特征在于，所述对所述待识别视频进行预处理，得到所述待识别视频的帧序列的步骤，包括：
对所述待识别视频中的每一帧图片做仿射变换，得到所述帧序列。
5.根据权利要求1所述的情感识别方法，其特征在于，所述对所述第一情感结果、所述第二情感结果进行融合计算，得到所述待识别视频的融合结果的步骤，包括：
根据公式：Wvideo＝a1×WCNN-RNN+(1-a1)×WC3D，
得到融合结果Wvideo，其中，WCNN-RNN为所述第一情感结果，WC3D为所述第二情感结果，a1为第一情感结果参数，1-a1为第二情感结果参数，a1为大于0且小于1的数值。
6.根据权利要求1所述的情感识别方法，其特征在于，位于所述对所述第一情感结果、所述第二情感结果进行融合计算，之前，所述方法还包括：
提取所述待识别视频的音频特征，通过支持向量机模型识别所述音频特征，得到音频情感结果；
在得到所述第一情感结果、所述第二情感结果及所述音频情感结果时，对所述第一情感结果、所述第二情感结果及所述音频情感结果进行融合计算，得到所述待识别视频的融合结果。
7.根据权利要求6所述的情感识别方法，其特征在于，所述对所述第一情感结果、所述第二情感结果及所述音频情感结果进行融合计算，得到所述待识别视频的融合结果的步骤，包括：
根据公式：
Wvideo＝w1×WCNN-RNN+w2×WC3D+(1-w1-w2)×WAudio，得到融合结果Wvideo，
其中，WCNN-RNN为所述第一情感结果，WC3D为所述第二情感结果，WAudio为所述音频情感结果，w1为第一情感结果参数，w2为第二情感结果参数，1-w1-w2为音频情感结果参数，w1、w2和w1+w2为大于0且小于1的数值。
8.一种情感识别装置，其特征在于，包括：
第一情感结果模块，用于通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，得到第一情感结果；
第二情感结果模块，用于通过预先建立的三维卷积神经网络模型识别所述待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，得到第二情感结果；
融合结果模块，用于在得到所述第一情感结果及所述第二情感结果时，对所述第一情感结果、所述第二情感结果进行融合计算，得到所述待识别视频的融合结果；
情感类型模块，用于根据所述融合结果中的最大值，通过预先建立的融合结果和情感类型的对应关系，得到所述待识别视频的情感类型。
9.根据权利要求8所述的情感识别装置，其特征在于，还包括：
预处理模块，用于对所述待识别视频进行预处理，得到所述待识别视频的帧序列。
10.根据权利要求8所述的情感识别装置，其特征在于，还包括：
卷积神经网络模型建立模块，用于通过卷积神经网络对FER2013数据库中的具有基本表情的人脸图像进行训练，建立卷积神经网络模型；
递归神经网络模型建立模块，用于通过递归神经网络对所述卷积神经网络模型的外观特征进行训练，建立递归神经网络模型；
三维卷积神经网络模型建立模块，用于通过三维卷积神经网络对AFEW6.0数据库中的具有基本表情的视频片段进行训练，得到三维卷积神经网络模型。
11.根据权利要求9所述的情感识别装置，其特征在于，所述预处理模块具体用于对所述待识别视频中的每一帧图片做仿射变换，得到所述帧序列。
12.根据权利要求8所述的情感识别装置，其特征在于，所述融合结果模块具体用于，根据公式：Wvideo＝a1×WCNN-RNN+(1-a1)×WC3D，
得到融合结果Wvideo，其中，WCNN-RNN为所述第一情感结果，WC3D为所述第二情感结果，a1为第一情感结果参数，1-a1为第二情感结果参数，a1为大于0且小于1的数值。
13.根据权利要求8所述的情感识别装置，其特征在于，还包括：
音频情感结果模块，用于提取所述待识别视频的音频特征，通过支持向量机模型识别所述音频特征，得到音频情感结果；
所述融合结果模块还用于，在得到所述第一情感结果、所述第二情感结果及所述音频情感结果时，对所述第一情感结果、所述第二情感结果及所述音频情感结果进行融合计算，得到所述待识别视频的融合结果。
14.根据权利要求13所述的情感识别装置，其特征在于，融合结果模块具体用于，根据公式：
Wvideo＝w1×WCNN-RNN+w2×WC3D+(1-w1-w2)×WAudio，得到融合结果Wvideo，
其中，WCNN-RNN为所述第一情感结果，WC3D为所述第二情感结果，WAudio为所述音频情感结果，w1为第一情感结果参数，w2为第二情感结果参数，1-w1-w2为音频情感结果参数，w1、w2和w1+w2为大于0且小于1的数值。
CN201710210060.XA 2017-03-31 2017-03-31 一种情感识别方法及装置 Pending CN107169409A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710210060.XA CN107169409A (zh) 2017-03-31 2017-03-31 一种情感识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710210060.XA CN107169409A (zh) 2017-03-31 2017-03-31 一种情感识别方法及装置

Publications (1)

Publication Number Publication Date
CN107169409A true CN107169409A (zh) 2017-09-15

Family

ID=59848980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710210060.XA Pending CN107169409A (zh) 2017-03-31 2017-03-31 一种情感识别方法及装置

Country Status (1)

Country Link
CN (1) CN107169409A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107919137A (zh) * 2017-10-25 2018-04-17 平安普惠企业管理有限公司 远程审批方法、装置、设备及可读存储介质
CN107948732A (zh) * 2017-12-04 2018-04-20 京东方科技集团股份有限公司 视频的播放方法、视频播放装置及系统
CN108200282A (zh) * 2017-12-28 2018-06-22 广东欧珀移动通信有限公司 应用启动方法、装置、存储介质及电子设备
CN108597541A (zh) * 2018-04-28 2018-09-28 南京师范大学 一种增强愤怒与开心识别的语音情感识别方法及系统
CN108597539A (zh) * 2018-02-09 2018-09-28 桂林电子科技大学 基于参数迁移和语谱图的语音情感识别方法
CN108921096A (zh) * 2018-06-29 2018-11-30 北京百度网讯科技有限公司 时间跟踪方法、装置、设备及计算机可读介质
CN108985377A (zh) * 2018-07-18 2018-12-11 太原理工大学 一种基于深层网络的多特征融合的图像高级语义识别方法
CN109147826A (zh) * 2018-08-22 2019-01-04 平安科技（深圳）有限公司 音乐情感识别方法、装置、计算机设备及计算机存储介质
CN109614895A (zh) * 2018-10-29 2019-04-12 山东大学 一种基于attention特征融合的多模态情感识别的方法
CN109657079A (zh) * 2018-11-13 2019-04-19 平安科技（深圳）有限公司 一种图像描述方法及终端设备
CN109783684A (zh) * 2019-01-25 2019-05-21 科大讯飞股份有限公司 一种视频的情感识别方法、装置、设备及可读存储介质
CN110223712A (zh) * 2019-06-05 2019-09-10 西安交通大学 一种基于双向卷积循环稀疏网络的音乐情感识别方法
CN110569795A (zh) * 2018-03-13 2019-12-13 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备
WO2023151289A1 (zh) * 2022-02-09 2023-08-17 苏州浪潮智能科技有限公司 情感识别方法、训练方法、装置、设备、存储介质及产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975856A (zh) * 2006-10-30 2007-06-06 邹采荣 一种基于支持向量机的语音情感识别方法
CN103400145A (zh) * 2013-07-19 2013-11-20 北京理工大学 基于线索神经网络的语音-视觉融合情感识别方法
CN104835507A (zh) * 2015-03-30 2015-08-12 渤海大学 一种串并结合的多模式情感信息融合与识别方法
CN105469065A (zh) * 2015-12-07 2016-04-06 中国科学院自动化研究所 一种基于递归神经网络的离散情感识别方法
CN105976809A (zh) * 2016-05-25 2016-09-28 中国地质大学（武汉） 基于语音和面部表情的双模态情感融合的识别方法及系统
CN106250832A (zh) * 2016-07-25 2016-12-21 华南理工大学 一种基于集成卷积神经网络的民族识别方法
CN106250855A (zh) * 2016-08-02 2016-12-21 南京邮电大学 一种基于多核学习的多模态情感识别方法
CN106529503A (zh) * 2016-11-30 2017-03-22 华南理工大学 一种集成卷积神经网络人脸情感识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975856A (zh) * 2006-10-30 2007-06-06 邹采荣 一种基于支持向量机的语音情感识别方法
CN103400145A (zh) * 2013-07-19 2013-11-20 北京理工大学 基于线索神经网络的语音-视觉融合情感识别方法
CN104835507A (zh) * 2015-03-30 2015-08-12 渤海大学 一种串并结合的多模式情感信息融合与识别方法
CN105469065A (zh) * 2015-12-07 2016-04-06 中国科学院自动化研究所 一种基于递归神经网络的离散情感识别方法
CN105976809A (zh) * 2016-05-25 2016-09-28 中国地质大学（武汉） 基于语音和面部表情的双模态情感融合的识别方法及系统
CN106250832A (zh) * 2016-07-25 2016-12-21 华南理工大学 一种基于集成卷积神经网络的民族识别方法
CN106250855A (zh) * 2016-08-02 2016-12-21 南京邮电大学 一种基于多核学习的多模态情感识别方法
CN106529503A (zh) * 2016-11-30 2017-03-22 华南理工大学 一种集成卷积神经网络人脸情感识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YIN FAN 等: "Video-Based Emotion Recognition using CNN-RNN and C3D Hybrid Networks", 《ICMI "16: PROCEEDINGS OF THE 18TH ACM INTERNATIONAL CONFERENCE ON MULTIMODAL INTERACTION》 *
牛新亚: "基于深度学习的人脸表情识别研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107919137A (zh) * 2017-10-25 2018-04-17 平安普惠企业管理有限公司 远程审批方法、装置、设备及可读存储介质
CN107948732A (zh) * 2017-12-04 2018-04-20 京东方科技集团股份有限公司 视频的播放方法、视频播放装置及系统
CN107948732B (zh) * 2017-12-04 2020-12-01 京东方科技集团股份有限公司 视频的播放方法、视频播放装置及系统
CN108200282A (zh) * 2017-12-28 2018-06-22 广东欧珀移动通信有限公司 应用启动方法、装置、存储介质及电子设备
CN108200282B (zh) * 2017-12-28 2020-11-13 Oppo广东移动通信有限公司 应用启动方法、装置、存储介质及电子设备
CN108597539A (zh) * 2018-02-09 2018-09-28 桂林电子科技大学 基于参数迁移和语谱图的语音情感识别方法
CN108597539B (zh) * 2018-02-09 2021-09-03 桂林电子科技大学 基于参数迁移和语谱图的语音情感识别方法
CN110569795A (zh) * 2018-03-13 2019-12-13 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备
CN110569795B (zh) * 2018-03-13 2022-10-14 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备
CN108597541A (zh) * 2018-04-28 2018-09-28 南京师范大学 一种增强愤怒与开心识别的语音情感识别方法及系统
CN108597541B (zh) * 2018-04-28 2020-10-02 南京师范大学 一种增强愤怒与开心识别的语音情感识别方法及系统
CN108921096A (zh) * 2018-06-29 2018-11-30 北京百度网讯科技有限公司 时间跟踪方法、装置、设备及计算机可读介质
CN108985377A (zh) * 2018-07-18 2018-12-11 太原理工大学 一种基于深层网络的多特征融合的图像高级语义识别方法
CN109147826A (zh) * 2018-08-22 2019-01-04 平安科技（深圳）有限公司 音乐情感识别方法、装置、计算机设备及计算机存储介质
CN109147826B (zh) * 2018-08-22 2022-12-27 平安科技（深圳）有限公司 音乐情感识别方法、装置、计算机设备及计算机存储介质
CN110751208A (zh) * 2018-10-29 2020-02-04 山东大学 一种基于自权重差分编码器进行多模态特征融合的服刑人员情感识别方法
CN110751208B (zh) * 2018-10-29 2020-06-30 山东大学 一种基于自权重差分编码器进行多模态特征融合的服刑人员情感识别方法
CN109614895A (zh) * 2018-10-29 2019-04-12 山东大学 一种基于attention特征融合的多模态情感识别的方法
CN109657079A (zh) * 2018-11-13 2019-04-19 平安科技（深圳）有限公司 一种图像描述方法及终端设备
CN109783684A (zh) * 2019-01-25 2019-05-21 科大讯飞股份有限公司 一种视频的情感识别方法、装置、设备及可读存储介质
CN110223712A (zh) * 2019-06-05 2019-09-10 西安交通大学 一种基于双向卷积循环稀疏网络的音乐情感识别方法
CN110223712B (zh) * 2019-06-05 2021-04-20 西安交通大学 一种基于双向卷积循环稀疏网络的音乐情感识别方法
WO2023151289A1 (zh) * 2022-02-09 2023-08-17 苏州浪潮智能科技有限公司 情感识别方法、训练方法、装置、设备、存储介质及产品

Similar Documents

Publication Publication Date Title
CN107169409A (zh) 一种情感识别方法及装置
CN112348075B (zh) 一种基于情景注意力神经网络的多模态情感识别方法
Luo et al. Investigation on Joint Representation Learning for Robust Feature Extraction in Speech Emotion Recognition.
Xie et al. Speech emotion classification using attention-based LSTM
CN110992987B (zh) 语音信号中针对通用特定语音的并联特征提取系统及方法
CN107679522B (zh) 基于多流lstm的动作识别方法
Zhang et al. Short and long range relation based spatio-temporal transformer for micro-expression recognition
CN108363973B (zh) 一种无约束的3d表情迁移方法
CN103400145A (zh) 基于线索神经网络的语音-视觉融合情感识别方法
CN109410911A (zh) 基于语音识别的人工智能学习方法
CN111401116B (zh) 基于增强卷积和空时lstm网络的双模态情感识别方法
CN113516990B (zh) 一种语音增强方法、训练神经网络的方法以及相关设备
CN112151030A (zh) 一种基于多模态的复杂场景语音识别方法和装置
WO2023284435A1 (zh) 生成动画的方法及装置
CN109948721A (zh) 一种基于视频描述的视频场景分类方法
CN107016046A (zh) 基于视觉场景化的智能机器人对话方法及系统
CN116758451A (zh) 基于多尺度和全局交叉注意力的视听情感识别方法及系统
Han et al. Global spatio-temporal attention for action recognition based on 3D human skeleton data
CN117115312B (zh) 一种语音驱动面部动画方法、装置、设备及介质
Chen et al. Talking head generation driven by speech-related facial action units and audio-based on multimodal representation fusion
CN115187705B (zh) 一种语音驱动人脸关键点序列生成方法及装置
Chen An analysis of Mandarin emotional tendency recognition based on expression spatiotemporal feature recognition
CN113269068B (zh) 一种基于多模态特征调节与嵌入表示增强的手势识别方法
CN108694939A (zh) 语音搜索优化方法、装置和系统
CN106713899A (zh) 基于全息成像和语音识别的交互三维立体影像系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170915