CN110083716A - 基于藏文的多模态情感计算方法及系统 - Google Patents

Abstract

本发明实施例提供了一种基于藏文的多模态情感计算方法、系统及服务器。本发明实施例的方法中，首先，获取待分类的藏文数据，并从该藏文数据中采集视频信号、语音信号和文本信息，然后，分别提取出高层视频特征、高层语音特征和文本特征，并基于深度学习模型进行学习，获得高层融合特征，最后，基于SVM在分类情感语料库中将高层融合特征进行分类后，存入分类情感语料库。从而可以填补藏文在情感分析中的空白状态，为藏文多模态情感分析提供基础语料，有利于藏文多模态情感分析的发展，还可以推动藏文的自然语言处理能力和智能情感识别能力，提高藏文的人工智能信息处理能力，另外在三模态相互融合的情况下，可有效提升藏文数据的情感识别率。

Description

基于藏文的多模态情感计算方法及系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于藏文的多模态情感计算方法及系统。

背景技术

情感语料库是情感分析技术的基础，目前以单模态的情感语料库较多而且较全备。单模态语料库以文本、语音、人脸表情为主，有些语料库涉及身体手势、生理数据等。但无论是哪一种单模态语料库在进行情感识别时，均具有各自的局限性，所以构建多模态情感语料库是极为必要的。

而藏文作为一种重要的语言在情感分析基本处于空白状态，基于藏文的多模态情感语料库的构建可以为藏文多模态情感分析提供基础语料，有利于藏文多模态情感分析的发展，还可以推动藏文的自然语言处理能力和智能情感识别能力，提高藏文的人工智能信息处理能力。

发明内容

有鉴于此，本发明实施例提供了一种基于藏文的多模态情感计算方法、系统及服务器。

第一方面，本发明实施例提供了一种基于藏文的多模态情感计算方法，该方法包括：

获取待分类的藏文数据，并从该藏文数据中采集视频信号、语音信号和文本信息；

从所述视频信号、语音信号和文本信息中分别提取出高层视频特征、高层语音特征和文本特征；

基于深度学习模型对高层视频特征、高层语音特征和文本特征进行学习，获得高层融合特征；

基于SVM在分类情感语料库中将所述高层融合特征进行分类。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述分类情感语料库通过如下方法进行构建：

采集原始藏文数据；

基于预设数据结构将所述原始藏文数据切分并处理为视频数据、语音数据和文本数据；

对所述视频数据、语音数据和文本数据进行情感类别标记后，存入分类情感语料库。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，从所述视频信号中提取出高层视频特征，具体包括：

对所述视频信号进行分帧处理后，将按照时序将相邻两帧图像合并为一张帧图像；

基于人脸识别算法对全部所述帧图像进行人脸检测以识别出人脸图像；

对人脸图像进行纹理特征提取，以获得高层视频特征。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，从所述语音信号中提取出高层语音特征，具体包括：

对所述语音信号进行预处理后，通过语音分析工具进行分析梅尔频率倒谱的特征提取，以获得高层语音特征。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，通过深度学习模型对高层视频特征、高层语音特征和文本特征进行学习，得出高层融合特征，具体包括：

将同一藏文数据的高层视频特征、高层语音特征和文本特征三种模态拼接为统一特征向量，以得出三模态的高层融合特征；以及，

通过自动编码器算法将同一藏文数据对应的高层视频特征与高层语音特征、高层视频特征与文本特征、高层语音特征与文本特征两种模态分别进行学习，以得出三种双模态高层融合特征；

通过自动编码器算法将同一藏文数据对应的高层视频特征、高层语音特征和文本特征分别进行学习，以得出三种单模态高层融合特征；

所述高层融合特征包括一种三模态的高层融合特征、三种双模态高层融合特征和三种单模态高层融合特征。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，通过SVM将所述高层融合特征进行分类后，存入分类情感语料库，具体包括：

通过SVM将所述高层融合特征分类为高兴、中性、焦虑、厌倦、厌恶、恐惧、悲伤和吃惊九种情感类型后，存入分类情感语料库。

第二方面，本发明实施例提供了一种基于藏文的多模态情感计算系统，包括：

获取模块，用于获取待分类的藏文数据，并从该藏文数据中采集视频信号、语音信号和文本信息；

提取模块，用于从所述视频信号、语音信号和文本信息中分别提取出高层视频特征、高层语音特征和文本特征；

处理模块，用于基于深度学习模型对高层视频特征、高层语音特征和文本特征进行学习，获得高层融合特征；

分类模块，用于基于SVM在分类情感语料库中将所述高层融合特征进行分类。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，还包括构建模块，具体用于：

采集原始藏文数据；

基于预设数据结构将所述原始藏文数据切分并处理为视频数据、语音数据和文本数据；

对所述视频数据、语音数据和文本数据进行情感类别标记后，存入分类情感语料库。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述提取模块具体用于：

对所述视频信号进行分帧处理后，将按照时序将相邻两帧图像合并为一张帧图像；

基于人脸识别算法对全部所述帧图像进行人脸检测以识别出人脸图像；

对人脸图像进行纹理特征提取，以获得高层视频特征。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述提取模块具体用于：

对所述语音信号进行预处理后，通过语音分析工具进行分析梅尔频率倒谱的特征提取，以获得高层语音特征。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述处理模块具体用于：

将同一藏文数据的高层视频特征、高层语音特征和文本特征三种模态拼接为统一特征向量，以得出三模态的高层融合特征；以及，

通过自动编码器算法将同一藏文数据对应的高层视频特征与高层语音特征、高层视频特征与文本特征、高层语音特征与文本特征两种模态分别进行学习，以得出三种双模态高层融合特征；

通过自动编码器算法将同一藏文数据对应的高层视频特征、高层语音特征和文本特征分别进行学习，以得出三种单模态高层融合特征；

所述高层融合特征包括一种三模态的高层融合特征、三种双模态高层融合特征和三种单模态高层融合特征。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述分类模块具体用于：

通过SVM将所述高层融合特征分类为高兴、中性、焦虑、厌倦、厌恶、恐惧、悲伤和吃惊九种情感类型后，存入分类情感语料库。

第三方面，本发明提供了一种服务器，包括所述的基于藏文的多模态情感计算系统。

上述技术方案中的一个技术方案具有如下有益效果：

本发明实施例的方法中，首先，获取待分类的藏文数据，并从该藏文数据中采集视频信号、语音信号和文本信息，然后，从视频信号、语音信号和文本信息中分别提取出高层视频特征、高层语音特征和文本特征，基于深度学习模型对高层视频特征、高层语音特征和文本特征进行学习，获得高层融合特征，最后，基于SVM在分类情感语料库中将高层融合特征进行分类。从而可以填补藏文在情感分析中的空白状态，为藏文多模态情感分析提供基础语料，有利于藏文多模态情感分析的发展，还可以推动藏文的自然语言处理能力和智能情感识别能力，提高藏文的人工智能信息处理能力，另外在三模态相互融合的情况下，可有效提升藏文数据的情感识别率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的一种基于藏文的多模态情感计算方法的流程示意图；

图2为本发明实施例所提供的一种基于藏文的多模态情感计算系统的功能方块图；

图3为本发明实施例提供的一种服务器的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种基于藏文的多模态情感计算方法，该方法包括：

S101、获取待分类的藏文数据，并从该藏文数据中采集视频信号、语音信号和文本信息；

S102、从所述视频信号、语音信号和文本信息中分别提取出高层视频特征、高层语音特征和文本特征；

S103、基于深度学习模型对高层视频特征、高层语音特征和文本特征进行学习，获得高层融合特征；

S104、基于SVM在分类情感语料库中将所述高层融合特征进行分类。

需要说明的是，S101中的信号与信息的采集可采用半自动的方式进行。将原始藏文数据切分为3-10s的视频信号，然后通过自动方式提取视频信号中的语音信号，以及通过人工方式写入视频信号中对应的汉、藏文本。

本发明在实施时，需要分别从所述视频信号、语音信号和文本信息中提取出高层视频特征、高层语音特征和文本特征。下面对此稍作说明。

1)从所述视频信号中提取出高层视频特征，具体包括：

a、对所述视频信号进行分帧处理后，将按照时序将相邻两帧图像合并为一张帧图像；

b、基于人脸识别算法对全部所述帧图像进行人脸检测以识别出人脸图像；

c、对人脸图像进行纹理特征提取，以获得高层视频特征。

具体的，需要对视频信号进行帧处理、人脸检测和特征提取后，最终得到视频信号的高层特征。通常基于视频信号的情感识别分为两种，一种是提取视频中的图像和语音信息进行识别，另一种是直接提取视频图像进行识别。

因为本发明数据库的建立是基于包含有图像和较清晰语音片段视频信号进行的，故通过人脸表情信息进行识别，包括帧处理、人脸检测和特征提取三个子部分。

帧处理：对一段视频信号进行分帧处理，得到一帧帧的视频图片。在此部分中，为了考虑视频的时序性，利用50％的重叠率将前后两帧图像合成为一张图像，具有较好的识别效果。

人脸检测：直接对帧图像进行识别，图像中其他物体可能会对识别对象造成一些不必要的影响，而且图像的维度也较大。对帧图像进行人脸检测，将检测到的人脸图像进行识别，可以使分类算法不受其他无关信息的干扰，同时可以起到降维的作用。

特征提取：人脸特征提取有两种方法，一种是直接将检测到的人脸图片输入到深度学习网络中进行学习，即可得到人脸的深度特征。另一种是利用计算机视觉方法提取人脸图像的纹理特征，例如Harr特征、Gabor特征、LBP(Local Binary Pattern，局部二值特征)、HOG(Histogram ofOriented Gradient，方向梯度直方图特征)和SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)等。

2)从所述语音信号中提取出高层语音特征，具体包括：

对所述语音信号进行预处理后，通过语音分析工具进行分析梅尔频率倒谱的特征提取，以获得高层语音特征。

本发明在具在进行语音信号特征的提取使，考虑到了语音的短时韵律特征、频谱特征以及其他统计学相关的特征，例如基语音率、基音范围、共振峰、声道的横截面面积、梅尔频率倒谱系数、语音强度和语音速率等。本发明实施例在进行语音情感特征的提取之前，对语音信号进行预处理，预处理主要包括：滤波、降噪、预加重、分帧与加窗。另外，对语音信号来说，有用的信息多集中在某些频段，故可以先将其经过滤波以去除掉一些无用的频段，只保留有用的频段信息，然后经过降噪处理来去除语音信号中包含的噪声。通过语音分析工具，如HTK(Hidden Markov ModelToolkit，隐马尔科夫模型工具包)等，可以得到描述一个语音的相关特征：基语音率，基音范围，共振峰，语音强度，语音速率等。然后进行MFCC(Mel Frequency Cepstrum Coefficient，梅尔频率倒谱系数)特征的提取，MFCC是由一系列完整组成梅尔频率倒谱的系数所组成的，MFCC完全独立于信号，对输入的语音信号不做任何的假定与限制，而且其是在听觉模型的研究基础上所提取出来的一种特征，对人耳的听觉特性有更好的体现，相比于一些基于声道模型的特征参数如线性预测倒谱系数来说，其鲁棒性更好，而且更为重要的一点是其能在低信噪比情况下达到较好的识别效果。

需要说明的是，S103中对于高层视频特征进行学习时采用SVM(Support VectorMachine，支持向量机)机器学习算法和CNN-RNN(卷积神经网络与递归神经网络)深度学习算法。对于高层语音特征进行学习时采用SVM(Support Vector Machine，支持向量机)机器学习算法和LSTM(Long Short-Term Memory，长短期记忆网络)深度学习算法。对于文字特征进行学习时采用SVM(Support Vector Machine，支持向量机)机器学习算法和CNN-LSTM(卷积神经网络与长短期记忆网络)深度学习算法。

具体实施时，通过深度学习模型对高层视频特征、高层语音特征和文本特征进行学习，得出高层融合特征，具体包括：

将同一藏文数据的高层视频特征、高层语音特征和文本特征三种模态拼接为统一特征向量，以得出三模态的高层融合特征；以及，

通过自动编码器算法将同一藏文数据对应的高层视频特征与高层语音特征、高层视频特征与文本特征、高层语音特征与文本特征两种模态分别进行学习，以得出三种双模态高层融合特征；

通过自动编码器算法将同一藏文数据对应的高层视频特征、高层语音特征和文本特征分别进行学习，以得出三种单模态高层融合特征；

所述高层融合特征包括一种三模态的高层融合特征、三种双模态高层融合特征和三种单模态高层融合特征。

具体实施时，通过SVM将所述高层融合特征分类为高兴、中性、焦虑、厌倦、厌恶、恐惧、悲伤和吃惊九种情感类型后，存入分类情感语料库。本申请构建的语料库包含文本、视频及音频，其中文本包含汉文及藏文。情感分析中对文本的处理不涉及大量的增删和更新，故语料库中文本以txt格式存储，方便后期使用；音频存储为通用的mp3格式；视频存储为mp4格式。语料命名格式，藏文多模态语料库考虑了藏文的不同方言种类、所切分视频类别(电影、电视剧、综艺等)、视频中人物性别和年龄段，细化情感分类为9类。

需要说明的是，本发明实施例中的分类情感语料库通过如下方法进行构建：

采集原始藏文数据；

基于预设数据结构将所述原始藏文数据切分并处理为视频数据、语音数据和文本数据；

对所述视频数据、语音数据和文本数据进行情感类别标记后，存入分类情感语料库。

待达到预设数据容量后即完成分类情感语料库的构建。

本发明实施例提供的技术方案具有以下有益效果：

本发明实施例的方法中，首先，获取待分类的藏文数据，并从该藏文数据中采集视频信号、语音信号和文本信息，然后，从视频信号、语音信号和文本信息中分别提取出高层视频特征、高层语音特征和文本特征，基于深度学习模型对高层视频特征、高层语音特征和文本特征进行学习，获得高层融合特征，最后，基于SVM在分类情感语料库中将高层融合特征进行分类后，存入分类情感语料库。从而可以填补藏文在情感分析中的空白状态，为藏文多模态情感分析提供基础语料，有利于藏文多模态情感分析的发展，还可以推动藏文的自然语言处理能力和智能情感识别能力，提高藏文的人工智能信息处理能力，另外在三模态相互融合的情况下，可有效提升藏文数据的情感识别率。

基于相同的构思，本发明实施例进一步给出实现上述方法实施例中各步骤及方法的系统实施例。

请参考图2，其为本发明实施例所提供的一种基于藏文的多模态情感计算系统的功能方块图，如图2所示，该系统包括：

获取模块210，用于获取待分类的藏文数据，并从该藏文数据中采集视频信号、语音信号和文本信息；

提取模块220，用于从所述视频信号、语音信号和文本信息中分别提取出高层视频特征、高层语音特征和文本特征；

处理模块230，用于基于深度学习模型对高层视频特征、高层语音特征和文本特征进行学习，获得高层融合特征；

分类模块240，用于基于SVM在分类情感语料库中将所述高层融合特征进行分类。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，还包括构建模块250，具体用于：

采集原始藏文数据；

基于预设数据结构将所述原始藏文数据切分并处理为视频数据、语音数据和文本数据；

对所述视频数据、语音数据和文本数据进行情感类别标记后，存入分类情感语料库。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述提取模块具体用于：

对所述视频信号进行分帧处理后，将按照时序将相邻两帧图像合并为一张帧图像；

基于人脸识别算法对全部所述帧图像进行人脸检测以识别出人脸图像；

对人脸图像进行纹理特征提取，以获得高层视频特征。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述提取模块具体用于：

对所述语音信号进行预处理后，通过语音分析工具进行分析梅尔频率倒谱的特征提取，以获得高层语音特征。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述处理模块具体用于：

将同一藏文数据的高层视频特征、高层语音特征和文本特征三种模态拼接为统一特征向量，以得出三模态的高层融合特征；以及，

通过自动编码器算法将同一藏文数据对应的高层视频特征与高层语音特征、高层视频特征与文本特征、高层语音特征与文本特征两种模态分别进行学习，以得出三种双模态高层融合特征；

通过自动编码器算法将同一藏文数据对应的高层视频特征、高层语音特征和文本特征分别进行学习，以得出三种单模态高层融合特征；

所述高层融合特征包括一种三模态的高层融合特征、三种双模态高层融合特征和三种单模态高层融合特征。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述分类模块具体用于：

通过SVM将所述高层融合特征分类为高兴、中性、焦虑、厌倦、厌恶、恐惧、悲伤和吃惊九种情感类型后，存入分类情感语料库。

由于本实施例中的各单元模块能够执行图1所示的方法，本实施例未详细描述的部分，可参考对图1的相关说明。

图3是本发明的一个实施例服务器的结构示意图。请参考图3，在硬件层面，该服务器包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该服务器还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry StandardArchitecture，工业标准体系结构)总线、PCI(Per-ipheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended I-ndustryStandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

在一种可能实现的方式中，处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，也可从其它设备上获取相应的计算机程序，以在逻辑层面上形成基于藏文的多模态情感计算系统。处理器，执行存储器所存放的程序，以通过执行的程序实现本发明任一实施例中提供的基于藏文的多模态情感计算方法。

本发明实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的服务器执行时，能够使该服务器执行本发明任一实施例中提供的基于藏文的多模态情感计算方法。

上述如本发明图3所示实施例提供的基于藏文的多模态情感计算系统执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

本发明实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的服务器执行时，能够使该服务器执行本发明任一实施例中提供的基于藏文的多模态情感计算方法。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元或模块分别描述。当然，在实施本发明时可以把各单元或模块的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种基于藏文的多模态情感计算方法，其特征在于，所述方法包括：

获取待分类的藏文数据，并从该藏文数据中采集视频信号、语音信号和文本信息；

从所述视频信号、语音信号和文本信息中分别提取出高层视频特征、高层语音特征和文本特征；

基于深度学习模型对高层视频特征、高层语音特征和文本特征进行学习，获得高层融合特征；

基于SVM在分类情感语料库中将所述高层融合特征进行分类。

2.根据权利要求1所述的方法，其特征在于，所述分类情感语料库通过如下方法进行构建：

采集原始藏文数据；

基于预设数据结构将所述原始藏文数据切分并处理为视频数据、语音数据和文本数据；

对所述视频数据、语音数据和文本数据进行情感类别标记后，存入分类情感语料库。

3.根据权利要求1所述的方法，其特征在于，从所述视频信号中提取出高层视频特征，具体包括：

对所述视频信号进行分帧处理后，将按照时序将相邻两帧图像合并为一张帧图像；

基于人脸识别算法对全部所述帧图像进行人脸检测以识别出人脸图像；

对人脸图像进行纹理特征提取，以获得高层视频特征。

4.根据权利要求1所述的方法，其特征在于，从所述语音信号中提取出高层语音特征，具体包括：

对所述语音信号进行预处理后，通过语音分析工具进行分析梅尔频率倒谱的特征提取，以获得高层语音特征。

5.根据权利要求1所述的方法，其特征在于，通过深度学习模型对高层视频特征、高层语音特征和文本特征进行学习，得出高层融合特征，具体包括：

将同一藏文数据的高层视频特征、高层语音特征和文本特征三种模态拼接为统一特征向量，以得出三模态的高层融合特征；以及，

通过自动编码器算法将同一藏文数据对应的高层视频特征与高层语音特征、高层视频特征与文本特征、高层语音特征与文本特征两种模态分别进行学习，以得出三种双模态高层融合特征；

通过自动编码器算法将同一藏文数据对应的高层视频特征、高层语音特征和文本特征分别进行学习，以得出三种单模态高层融合特征；

所述高层融合特征包括一种三模态的高层融合特征、三种双模态高层融合特征和三种单模态高层融合特征。

6.一种基于藏文的多模态情感计算系统，其特征在于，所述系统包括：

获取模块，用于获取待分类的藏文数据，并从该藏文数据中采集视频信号、语音信号和文本信息；

提取模块，用于从所述视频信号、语音信号和文本信息中分别提取出高层视频特征、高层语音特征和文本特征；

处理模块，用于基于深度学习模型对高层视频特征、高层语音特征和文本特征进行学习，获得高层融合特征；

分类模块，用于基于SVM在分类情感语料库中将所述高层融合特征进行分类。

7.如权利要求6所述的系统，其特征在于，还包括构建模块，具体用于：

采集原始藏文数据；

基于预设数据结构将所述原始藏文数据切分并处理为视频数据、语音数据和文本数据；

对所述视频数据、语音数据和文本数据进行情感类别标记后，存入分类情感语料库。

8.如权利要求6所述的系统，其特征在于，所述提取模块具体用于：

对所述视频信号进行分帧处理后，将按照时序将相邻两帧图像合并为一张帧图像；

基于人脸识别算法对全部所述帧图像进行人脸检测以识别出人脸图像；

对人脸图像进行纹理特征提取，以获得高层视频特征。

9.如权利要求6所述的系统，其特征在于，所述提取模块具体用于：

对所述语音信号进行预处理后，通过语音分析工具进行分析梅尔频率倒谱的特征提取，以获得高层语音特征。

10.如权利要求6所述的系统，其特征在于，所述处理模块具体用于：

将同一藏文数据的高层视频特征、高层语音特征和文本特征三种模态拼接为统一特征向量，以得出三模态的高层融合特征；以及，

通过自动编码器算法将同一藏文数据对应的高层视频特征与高层语音特征、高层视频特征与文本特征、高层语音特征与文本特征两种模态分别进行学习，以得出三种双模态高层融合特征；

通过自动编码器算法将同一藏文数据对应的高层视频特征、高层语音特征和文本特征分别进行学习，以得出三种单模态高层融合特征；

所述高层融合特征包括一种三模态的高层融合特征、三种双模态高层融合特征和三种单模态高层融合特征。