CN107437090A - 基于语音、表情与心电信号的三模态连续情感预测方法 - Google Patents
基于语音、表情与心电信号的三模态连续情感预测方法 Download PDFInfo
- Publication number
- CN107437090A CN107437090A CN201610369828.3A CN201610369828A CN107437090A CN 107437090 A CN107437090 A CN 107437090A CN 201610369828 A CN201610369828 A CN 201610369828A CN 107437090 A CN107437090 A CN 107437090A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mtd
- emotion
- alpha
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Abstract
本发明公开了一种基于语音、表情与心电信号的三模态连续情感预测方法，该方法将三个模态的情感特征进行组合并做了特征选择，对经过选择后的特征进行训练得到一个预测模型，再将这个模型用于测试样本的情感预测，综合利用了情感表达过程中的各种模态的信息，以此实现了各模态情感信息之间的交叉互补，同时减少了各模态信息的冗余性，加强了各模态之间的关联性，能有效地提高连续情感预测的准确率，为人机交互领域的情感交流系统提供了一种新的方法和途径。
Description
技术领域
本发明属于图像处理与模式识别领域，涉及一种连续情感预测方法，特别涉及一种基于语音、表情与心电信号的三模态连续情感预测方法。
背景技术
人类情感在人类交流方面扮演着至关重要的角色，其传递的信息非常丰富。随着科学技术和人类社会的不断进步，智能机器步入了千家万户，能感知人类情感并做出相应反映的人机交互领域迫切地需要得到发展。至于如何有效地进行人机交互，首要的关键点在于如何使机器正确地识别出人类所表达出的情感，即所谓的情感识别。
人类的情感状态可以被人为地分成一些类别，如高兴，悲伤，惊讶，生气，害怕，厌恶等，有关情感分类识别的研究也取得了一定的进展。但遗憾的是，这种分类方法始终不能很好地反应出情感表达者当前真正的情感，因为人类的情感非常复杂，单一的某个情感标签并不能准确地表达出一个人此刻的感受。
另一方面，我们也可以把情感状态在某些维度上来进行一定的划分，例如激励-效价维的划分，这种划分方法在表达人类情感方面有其独到的优势，能更加贴切地还原一个人此刻真实的情感状态。所谓的激励维就是一种对情感的强烈程度的描绘方式，如果把激励维看成是一条直线，那么直线的一端表示情感有多激烈，而另一端就表示情感有多平静。效价维则是一种在情感的正反层面上的一种描绘方式，同样的道理，如果直线的一端表示情感有多积极，则另一端就表示情感有多消极。激励-效价维主要是从情感的强度和正反面两个维度来对情感进行刻画的。由这两个情感维度组成的维度空间就可以完整地表达出人类所有的情感。相较于传统的将情感划分为某些具体的类别的方式，这种方法体现出了较为明显的优势，便于对人类的某些情感进行更为准确地划分。
单单只利用某一种模态的信息来预测情感的方式，称为单模态情感识别。在现实生活中，人类情感的表达方式是多种多样的，在说话的同时，我们会做出相应的表情，有时还会伴随着一些肢体动作。所以，从现实的人类情感交互的过程中，我们可以看到，单一模态的情感信息是不完善且不丰富的，对于情感的准确判别是远远不够的，各个模态的情感信息之间是相辅相成，缺一不可的。
由于多模态特征数据的庞大性与复杂性，导致在后期处理的时候可能遭遇实时性及稳定性不足的问题，因此利用特征选择技术，我们可以对特征进行一定的筛选与优化，以使其更能反映出样本的真实特性，增加了系统的实时性与鲁棒性。
目前，人工智能领域得到了飞速的发展，如何让冰冷的机器顺利地感知人类表达出来的情感是学术界的一项热门课题。然而现今还只停留在单模态如表情或语音的情感识别上，能综合各种模态的情感信息的情感识别方法还有待发展，本发明针对开发人机交互系统的需求，提出一种基于语音信号、表情信号与心电信号的三模态连续情感预测方法。
发明内容
技术问题：针对开发人机交互系统的需求，提出一种基于语音、表情与心电信号的三模态连续情感预测方法，解决现有技术不能充分利用人类表达情感过程中各模态情感信息的问题，为人机交互领域的情感识别系统开辟出一条新的途径。
技术方案：本发明的基于语音、表情与心电信号的三模态连续情感预测方法，其特征在于该方法包括以下步骤：
1.1、分别对三模态数据库中训练样本和测试样本的各个模态提取出不同的情感特征，将提取得到的训练样本和测试样本的语音特征矩阵分别用Vtr和Vte来表示，同样的，表情特征矩阵分别用Ftr和Fte来表示，心电信号特征矩阵分别用Etr和Ete来表示；
1.2、对训练样本和测试样本的各个模态的情感特征进行时间对准并归一化，归一化范围为0-1，归一化公式如下表示：
其中xi,xi分别表示数据归一化前后的值，xmin,xmax分别表示数据中的最小和最大值，将归一化后的各模态训练样本和测试样本的特征矩阵分别表示为Vtr',Ftr',Etr'和Vte',Fte',Ete'；
1.3、利用RReliefF算法对各个模态的特征分别进行特征选择，将经过特征选择后的训练样本和测试样本的特征矩阵分别表示为Vtr”,Ftr”,Etr”和Vte”,Fte”,Ete”；
1.4、采用特征层融合的方法，将训练样本和测试样本的经过特征选择后的各个模态每个样本的情感特征向量首尾串接起来，组合成融合后的特征，用Futr和Fute来表示，其中：
Futr＝[Vtr” Ftr” Etr”]，Fute＝[Vte” Fte” Ete”]
1.5、在得到融合后的训练样本的情感特征后，将其与情感数值向量Y一起用数据集FutrY来表示，FutrY＝[Futr Y]，其中情感数值向量Y是由一系列连续的情感数值组成的，Futr＝[x1,x2,...,xp]，Y＝[y1,y2,...,yp]，xp∈Rq是一个q维的特征向量，yp∈R是目标输出值，经过对训练样本特征数据的训练学习，最终得到一个回归函数，使其在给定特征向量xp时，得到的回归函数值能最大程度地靠近原样本数据集中的yp，即达到对原数据最好的拟合；
1.5.1、将训练样本的特征数据集FutrY向高维空间进行映射，以使其变为类别可分的，假设此映射关系用来表示，用ω来表示此回归函数的系数向量，则整个回归函数的形式可以写作：其中，b为回归函数的偏置，在预先给定惩罚因子C＞0与不敏感惩罚系数ε＞0的情况下，此问题就可以看作是一个极值最优化问题，如下式所示：
式中，ψp和ψp *称为松弛因子，其约束条件可以表示如下：
这是一个凸二次优化问题，将其转化为对偶规划问题，如下所示：
式中，其约束条件表示如下：
这里，我们用高斯核函数来代替Qij，然后求解上述最优化问题，最终得到的回归函数可以表示如下：
式中
1.6、得到回归函数后，将测试样本的经过融合后的特征Fute代入到回归函数中，就可以得到情感预测值。
有益效果：实验结果表明，本发明通过三种模态情感特征之间的相互融合及特征选择技术的应用，减少了数据的冗余性，加强了数据之间的关联性，在连续情感预测的过程中，能有效地对情感进行连续预测，提高了连续情感预测的准确率，为人机交互领域的情感交流系统提供了一种新的方法和途径。
与现有的方法相比，本发明的优点在于：
(1)综合利用了人类情感表达过程中的三种模态的情感信息，相比于单模态的情感预测，具有更高的准确性和客观性。
(2)特征选择技术的应用，减少了数据的冗余性，增强了数据之间的相关性，进一步提高了情感预测的准确率，并改善了系统的实时性。
(3)区别于传统的将情感划分为一些特定的类别的方法，将情感在笛卡尔空间中进行了划分，有更好的准确性。
附图说明
图1是本发明的基于语音、表情与心电信号的三模态连续情感预测方法，该方法流程图。
图2是三模态情感数据库中的部分图像。
具体实施方式
本发明的基于语音、表情与心电信号的三模态连续情感预测方法的实现主要包含以下步骤：
步骤1：建立三模态情感数据库
库中的数据收集过程如下：参与人员两两分成一组，协作完成某项任务，任务过程中，两者通过视频电话进行交流。交流进行时由相关工作人员利用专业的实验仪器记录下参与者的语音，表情以及相应的心电信号。所有这些数据都是时间连续且同步的。最终记录下的数据由视频信号及相应的心电信号组成。最后，由6位评测人员逐一对每段视频在三种模态上分别添加连续的情感数值，即判别目标人物此刻的情感状态。情感数值的添加是利用ANNEMO工具来完成的。最终得到了语音信号，表情信号，心电信号三种模态的记录数据及其相应的连续情感数值，建立三模态连续情感数据库。
步骤2：对各个模态的样本进行特征提取
对各模态特征的提取方法及特征种类，描述如下：
对于语音信号特征的提取，主要是利用一个开源的语音特征提取工具箱openSMILE来实现的。一共提取了65个声学特征，包括语音的声谱，复倒谱，韵律以及声音品质等特征。其中有4个与能量有关的特征，55个与谱有关的特征和6个与发音有关的特征。这些特征提取出来之后再分别求得其各自的一阶导数，从而组成了一个130维的语音特征。
对于面部表情信号特征的提取，首先对面部进行一定的区域划分，通常情况下，可以将其量化为两种类型的面部描绘子，即外观方面与几何方面。在面部表情特征提取的过程中，考虑到面部外观方面的基本特点，采用了LGBP-TOP(Local Gabor Binary Patternsfrom Three Orthogonal Planes)对其提取了情感特征。在面部几何方面则采用面部特征点标定(facial landmarks)的方法来提取特征。从视频的每一帧(25赫兹)都提取出20维情感特征，再配以它们的一阶导数，共40维特征组成。这20维的情感特征包括15个与表情相关的面部活动单元(AU)，头部在三维空间中的位置以及在头部周围光流的均值和标准差。同样的，分别求得其各自的一阶导数，共同组成了一个40维的面部表情特征。
在心电信号特征的提取过程中，通过给生理信号加窗来提取生理信号的特征，窗口类型为交叠窗口(overlapping windows)，窗宽为4秒。最终得到了一个54维的生理数据特征。其涵盖了心率(HR)，心率变率(HRV)，过零率，4个第一统计矩，NLD，NSI，谱熵，斜率，平均频率再加上12个谱系数，HR在低频和高频时的能量和LF/HF率等心电信号特征。
步骤3：对提取得到的特征进行预处理
将提取得到的训练样本和测试样本的语音特征矩阵分别用Vtr和Vte来表示，同样的，表情特征矩阵分别用Ftr和Fte来表示，心电信号特征矩阵分别用Etr和Ete来表示。
对训练样本和测试样本的各个模态的情感特征进行时间对准并归一化，归一化范围为0-1。归一化公式可以表达如下：
其中xi,xi *分别表示数据归一化前后的值，xmin,xmax分别表示数据中的最小和最大值。将归一化后的各模态训练样本和测试样本的特征矩阵分别表示为Vtr',Ftr',Etr'和Vte',Fte',Ete'。
利用RReliefF算法对各个模态的特征分别进行特征选择，将经过特征选择后的训练样本和测试样本的特征矩阵分别表示为Vtr”,Ftr”,Etr”和Vte”,Fte”,Ete”。
采用特征层融合的方法，将训练样本和测试样本的经过特征选择后的各个模态每个样本的情感特征向量首尾串接起来，组合成融合后的特征，用Futr和Fute来表示。其中：
Futr＝[Vtr” Ftr” Etr”]，Fute＝[Vte” Fte” Ete”]
步骤4：利用训练样本的经过预处理的特征进行训练得到最优的回归函数
在得到融合后的训练样本的情感特征后，将其与情感数值向量Y一起用数据集FutrY来表示，FutrY＝[Futr Y]。其中情感数值向量Y是由一系列连续的情感数值组成的，Futr＝[x1,x2,...,xp]，Y＝[y1,y2,...,yp]，xp∈Rq是一个q维的特征向量，yp∈R是目标输出值。经过对训练样本特征数据的训练学习，最终得到一个回归函数，使其在给定特征向量xp时，得到的回归函数值能最大程度地靠近原样本数据集中的yp，即达到对原数据最好的拟合。
将训练样本的特征数据集FutrY向高维空间进行映射，以使其变为类别可分的，假设此映射关系用来表示，用ω来表示此回归函数的系数向量，则整个回归函数的形式可以写作：其中，b为回归函数的偏置。在预先给定惩罚因子C＞0与不敏感惩罚系数ε＞0的情况下，此问题就可以看作是一个极值最优化问题，如下式所示：
式中，ψp和ψp *称为松弛因子。其约束条件可以表示如下：
容易看出，这是一个凸二次优化问题，可以将其转化为对偶规划问题，如下所示：
式中，其约束条件表示如下：
这里，我们用高斯核函数来代替Qij，然后求解上述最优化问题，最终得到的回归函数可以表示如下：
式中
步骤5：将测试样本经过预处理的特征代入得到的回归函数中，得到情感预测值
得到回归函数后，将测试样本的经过预处理后的情感特征代入回归函数中，就得到情感预测值。
Claims (1)
1.一种基于语音、表情与心电信号的三模态连续情感预测方法，其特征在于该方法包括以下步骤：
1.1、分别对三模态数据库中训练样本和测试样本的各个模态提取出不同的情感特征，将提取得到的训练样本和测试样本的语音特征矩阵分别用Vtr和Vte来表示，同样的，表情特征矩阵分别用Ftr和Fte来表示，心电信号特征矩阵分别用Etr和Ete来表示；
1.2、对训练样本和测试样本的各个模态的情感特征进行时间对准并归一化，归一化范围为0-1，归一化公式如下表示：
<mrow>
<msup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>*</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
<mrow>
<msub>
<mi>x</mi>
<mi>max</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>min</mi>
</msub>
</mrow>
</mfrac>
</mrow>
其中xi,xi *分别表示数据归一化前后的值，xmin,xmax分别表示数据中的最小和最大值，将归一化后的各模态训练样本和测试样本的特征矩阵分别表示为Vtr',Ftr',Etr'和Vte',Fte',Ete'；
1.3、利用RReliefF算法对各个模态的特征分别进行特征选择，将经过特征选择后的训练样本和测试样本的特征矩阵分别表示为Vtr”,Ftr”,Etr”和Vte”,Fte”,Ete”；
1.4、采用特征层融合的方法，将训练样本和测试样本的经过特征选择后的各个模态每个样本的情感特征向量首尾串接起来，组合成融合后的特征，用Futr和Fute来表示，其中：
Futr＝[Vtr”Ftr”Etr”]，Fute＝[Vte”Fte”Ete”]
1.5、在得到融合后的训练样本的情感特征后，将其与情感数值向量Y一起用数据集FutrY来表示，FutrY＝[Futr Y]，其中情感数值向量Y是由一系列连续的情感数值组成的，Futr＝[x1,x2,...,xp]，Y＝[y1,y2,...,yp]，xp∈Rq是一个q维的特征向量，yp∈R是目标输出值，经过对训练样本特征数据的训练学习，最终得到一个回归函数，使其在给定特征向量xp时，得到的回归函数值能最大程度地靠近原样本数据集中的yp，即达到对原数据最好的拟合；
1.5.1、将训练样本的特征数据集FutrY向高维空间进行映射，以使其变为类别可分的，假设此映射关系用来表示，用ω来表示此回归函数的系数向量，则整个回归函数的形式可以写作：其中，b为回归函数的偏置，在预先给定惩罚因子C＞0与不敏感惩罚系数ε＞0的情况下，此问题就可以看作是一个极值最优化问题，如下式所示：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<mi>&omega;</mi>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<mi>C</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>q</mi>
</munderover>
<mrow>
<mo>(</mo>
<msub>
<mi>&psi;</mi>
<mi>p</mi>
</msub>
<mo>+</mo>
<msubsup>
<mi>&psi;</mi>
<mi>p</mi>
<mo>*</mo>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
式中，ψp和ψp *称为松弛因子，其约束条件可以表示如下：
这是一个凸二次优化问题，将其转化为对偶规划问题，如下所示：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msup>
<mrow>
<mo>(</mo>
<mi>&alpha;</mi>
<mo>-</mo>
<msup>
<mi>&alpha;</mi>
<mo>*</mo>
</msup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mi>Q</mi>
<mrow>
<mo>(</mo>
<mi>&alpha;</mi>
<mo>-</mo>
<msup>
<mi>&alpha;</mi>
<mo>*</mo>
</msup>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>&epsiv;</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>q</mi>
</munderover>
<mrow>
<mo>(</mo>
<msub>
<mi>&alpha;</mi>
<mi>p</mi>
</msub>
<mo>+</mo>
<msubsup>
<mi>&alpha;</mi>
<mi>p</mi>
<mo>*</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>q</mi>
</munderover>
<msub>
<mi>y</mi>
<mi>p</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>&alpha;</mi>
<mi>p</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>&alpha;</mi>
<mi>p</mi>
<mo>*</mo>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
式中，其约束条件表示如下：
<mfenced open = "" close = "}">
<mtable>
<mtr>
<mtd>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>q</mi>
</munderover>
<mrow>
<mo>(</mo>
<msub>
<mi>&alpha;</mi>
<mi>p</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>&alpha;</mi>
<mi>p</mi>
<mo>*</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>&le;</mo>
<msub>
<mi>&alpha;</mi>
<mi>p</mi>
</msub>
<mo>,</mo>
<mi>C</mi>
<mo>&GreaterEqual;</mo>
<msubsup>
<mi>&alpha;</mi>
<mi>p</mi>
<mo>*</mo>
</msubsup>
<mo>,</mo>
<mi>p</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<mi>q</mi>
<mo>,</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
这里，我们用高斯核函数来代替Qij，然后求解上述最优化问题，最终得到的回归函数可以表示如下：
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>q</mi>
</munderover>
<mrow>
<mo>(</mo>
<mo>-</mo>
<msub>
<mi>&alpha;</mi>
<mi>p</mi>
</msub>
<mo>+</mo>
<msubsup>
<mi>&alpha;</mi>
<mi>p</mi>
<mo>*</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mi>K</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>p</mi>
</msub>
<mo>,</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>b</mi>
<mo>.</mo>
</mrow>
式中
1.6、得到回归函数后，将测试样本的经过融合后的特征Fute代入到回归函数中，就可以得到情感预测值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610369828.3A CN107437090A (zh) | 2016-05-28 | 2016-05-28 | 基于语音、表情与心电信号的三模态连续情感预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610369828.3A CN107437090A (zh) | 2016-05-28 | 2016-05-28 | 基于语音、表情与心电信号的三模态连续情感预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107437090A true CN107437090A (zh) | 2017-12-05 |
Family
ID=60454271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610369828.3A Pending CN107437090A (zh) | 2016-05-28 | 2016-05-28 | 基于语音、表情与心电信号的三模态连续情感预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107437090A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108806724A (zh) * | 2018-08-15 | 2018-11-13 | 太原理工大学 | 一种情感语音pad值预测方法及系统 |
| CN109190550A (zh) * | 2018-08-29 | 2019-01-11 | 沈阳康泰电子科技股份有限公司 | 联合微表情多输入信息的深度神经网络多源数据融合方法 |
| CN110363229A (zh) * | 2019-06-27 | 2019-10-22 | 岭南师范学院 | 一种基于改进RReliefF和mRMR相结合的人体特征参数选择方法 |
| CN110507335A (zh) * | 2019-08-23 | 2019-11-29 | 山东大学 | 基于多模态信息的服刑人员心理健康状态评估方法及系统 |
| CN110717410A (zh) * | 2019-09-23 | 2020-01-21 | 湖南检信智能科技有限公司 | 语音情感和面部表情双模态识别系统 |
-
2016
- 2016-05-28 CN CN201610369828.3A patent/CN107437090A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108806724A (zh) * | 2018-08-15 | 2018-11-13 | 太原理工大学 | 一种情感语音pad值预测方法及系统 |
| CN109190550A (zh) * | 2018-08-29 | 2019-01-11 | 沈阳康泰电子科技股份有限公司 | 联合微表情多输入信息的深度神经网络多源数据融合方法 |
| CN110363229A (zh) * | 2019-06-27 | 2019-10-22 | 岭南师范学院 | 一种基于改进RReliefF和mRMR相结合的人体特征参数选择方法 |
| CN110363229B (zh) * | 2019-06-27 | 2021-07-27 | 岭南师范学院 | 一种基于改进RReliefF和mRMR相结合的人体特征参数选择方法 |
| CN110507335A (zh) * | 2019-08-23 | 2019-11-29 | 山东大学 | 基于多模态信息的服刑人员心理健康状态评估方法及系统 |
| CN110507335B (zh) * | 2019-08-23 | 2021-01-01 | 山东大学 | 基于多模态信息的服刑人员心理健康状态评估方法及系统 |
| CN110717410A (zh) * | 2019-09-23 | 2020-01-21 | 湖南检信智能科技有限公司 | 语音情感和面部表情双模态识别系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109409296B (zh) | 将人脸表情识别和语音情感识别融合的视频情感识别方法 | |
| CN108877801B (zh) | 基于多模态情绪识别系统的多轮对话语义理解子系统 | |
| CN108899050B (zh) | 基于多模态情绪识别系统的语音信号分析子系统 | |
| CN103366618B (zh) | 基于人工智能与虚拟现实用于汉语学习培训的场景设备 | |
| CN108805087A (zh) | 基于多模态情绪识别系统的时序语义融合关联判断子系统 | |
| CN108805089A (zh) | 基于多模态的情绪识别方法 | |
| CN108805088A (zh) | 基于多模态情绪识别系统的生理信号分析子系统 | |
| CN103996155A (zh) | 智能交互及心理慰藉机器人服务系统 | |
| Tao et al. | Affective computing: A review | |
| CN101187990A (zh) | 一种会话机器人系统 | |
| CN103218842B (zh) | 一种语音同步驱动三维人脸口型与面部姿势动画的方法 | |
| CN107437090A (zh) | 基于语音、表情与心电信号的三模态连续情感预测方法 | |
| CN103268495B (zh) | 计算机系统中基于先验知识聚类的人体行为建模识别方法 | |
| CN106529503B (zh) | 一种集成卷积神经网络人脸情感识别方法 | |
| CN108334583A (zh) | 情感交互方法及装置、计算机可读存储介质、计算机设备 | |
| Ferstl et al. | Adversarial gesture generation with realistic gesture phasing | |
| CN110110169A (zh) | 人机交互方法及人机交互装置 | |
| CN111081371A (zh) | 基于虚拟现实的孤独症早期筛查评估系统及方法 | |
| Bourbakis et al. | Extracting and associating meta-features for understanding people’s emotional behaviour: face and speech | |
| CN107038154A (zh) | 一种文本情感识别方法和装置 | |
| CN112418172A (zh) | 基于多模信息智能处理单元的多模信息融合情感分析方法 | |
| Prasomphan | Detecting human emotion via speech recognition by using speech spectrogram | |
| CN110443309A (zh) | 一种结合跨模态关联关系模型的肌电信号手势识别方法 | |
| Qi et al. | Music-driven dance generation | |
| CN110956142A (zh) | 一种智能交互培训系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171205 |