CN105512609A - 一种基于核超限学习机的多模融合视频情感识别方法 - Google Patents

一种基于核超限学习机的多模融合视频情感识别方法 Download PDF

Info

Publication number
CN105512609A
CN105512609A CN201510829902.0A CN201510829902A CN105512609A CN 105512609 A CN105512609 A CN 105512609A CN 201510829902 A CN201510829902 A CN 201510829902A CN 105512609 A CN105512609 A CN 105512609A
Authority
CN
China
Prior art keywords
video
feature
brain electrical
learning machine
core
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510829902.0A
Other languages
English (en)
Other versions
CN105512609B (zh
Inventor
段立娟
葛卉
杨震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201510829902.0A priority Critical patent/CN105512609B/zh
Publication of CN105512609A publication Critical patent/CN105512609A/zh
Application granted granted Critical
Publication of CN105512609B publication Critical patent/CN105512609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于核超限学习机的多模融合视频情感识别方法，对视频的图像信息和音频信息进行特征提取、特征选择，从而获得视频特征；将采集的多通道脑电信号进行预处理、特征提取、特征选择，从而获得脑电特征；建立基于核超限学习机的多模融合视频情感识别模型；将视频特征和脑电特征输入到基于核超限学习机的多模融合视频情感识别模型中进行视频情感识别，得出最终的分类正确率。本发明利用基于核超限学习机的多模融合视频情感识别模型，操作简单，识别速度快，对于三类视频情感数据分类正确率高。利用视频和脑电这两种模态的数据，使得描述视频内容更完整，比起利用单模进行视频情感识别，本发明方法的分类正确率更高。

Description

一种基于核超限学习机的多模融合视频情感识别方法
技术领域
本发明涉及模式识别方法，特别是涉及视频情感识别方法。
背景技术
随着多媒体技术的高速发展，各种各样的数字视频在短期内大量涌现。然而，有些视频的内容并不适合未成年人观看，例如带有暴力和色情内容的视频。为了未成年人的健康成长，建立一个良好的网络环境是非常必要的。准确识别不同视频的情感内容是建立一个良好的网络环境的基础。如何准确识别不同视频的情感内容对很多研究者来说是个重要且具有挑战性的话题。
比起单模态，多模态能更全面地描述视频内容，进而能更准确地识别视频包含的情感。因此，用多模融合的方法进行视频情感识别如今已经越来越流行。在目前多模融合方法中，面部表情、语音、视频、文本及生物信号是较普遍被使用到的模态。在先前的研究中，各种各样的分类器被采用，例如支持向量机、神经网络、隐马尔可夫模型等等。
传统的视频情感识别方法一般是提取视频本身的图像信息和音频信息来进行视频情感的识别。该方法有两点不足：(1)单依靠视频的信息对视频的情感内容进行判断，而没有考虑到人看了视频之后的感受，容易造成信息偏失；(2)仅依靠视频本身的信息进行视频情感识别，识别准确率较低。
发明内容
针对上述传统的视频情感识别方法的不足，本发明提出一种基于核超限学习机的多模融合视频情感识别方法。该方法在利用视频的图像信息和音频信息的基础上，加入观看视频的受试者的脑电信号进行多模融合分析，使用于情感识别的信息更全面，更利用了核超限学习机学习速度快、识别率高的特性，使视频情感识别的分类正确率更高。
实现本发明方法的主要思路是：对视频的图像信息和音频信息进行特征提取、特征选择，从而获得视频特征；将采集的多通道脑电信号进行预处理、特征提取、特征选择，从而获得脑电特征；建立基于核超限学习机的多模融合视频情感识别模型；将视频特征和脑电特征输入到基于核超限学习机(Kernel-basedELM)的多模融合视频情感识别模型中进行视频情感识别，得出最终的分类正确率。
一种基于核超限学习机的多模融合视频情感识别方法，包括如下步骤：
(1)建立视频数据库
从电影、纪录片、电视节目中截取90个视频片段，每个视频片段持续时间是6s。每个视频仅包含一类情感，每类情感对应30个视频片段，即共有三类不同的视频情感。
(2)获得视频特征向量
视频库中的每一个视频为一个样本。对一个样本中包含的音频信息，提取常用的25维音频特征。对一个样本中包含的图像信息，提取图像的颜色特征和塔式关键词直方图特征，从而获得原始图像特征。再用双输入对称相关性方法对原始图像特征进行特征选择，得到25维图像特征。最后将音频特征和图像特征按样本量不变、维度增加的方法形成视频特征向量。
(3)采集脑电信号
在屏幕上随机地播放视频库中的视频。受试者佩戴电极帽，并观看屏幕上的视频。采集受试者的脑电信号。
(4)获得脑电特征
将采集到的脑电信号进行预处理，即降采样和带通滤波器去伪迹，再用小波包分解法(WPD)对预处理后的脑电信号进行特征提取，得到原始脑电特征。再用决策树算法(DT)对原始脑电特征进行特征选择，得到脑电特征向量。
(5)建立基于核超限学习机的多模融合视频情感识别模型
按照图1的方法建立基于核超限学习机的多模融合视频情感识别模型。
(6)获得分类正确率
将步骤(1)中得到的视频特征和步骤(2)中得到的脑电特征，输入到步骤(3)所建立的视频情感模型中，利用十折交叉验证法，得到最终的分类正确率。
与现有技术相比，本发明具有以下明显的优势和有益效果：
(1)本发明提出一种基于核超限学习机的多模融合视频情感识别模型，操作简单，识别速度快，对于三类视频情感数据分类正确率高。
(2)本发明利用了视频和脑电这两种模态的数据，使得描述视频内容更完整，比起利用单模(视频信号或脑电信号)进行视频情感识别，本发明方法的分类正确率更高。实验表明，运用本发明方法进行三类视频情感识别的分类正确率为76.67％，比仅用视频信号进行视频情感识别的方法提高了3.34％，又比仅使用脑电信号进行视频情感识别的方法提高了21.11％。
附图说明
图1为本发明所提出的基于核超限学习机的多模融合视频情感识别模型的示意图；
图2为本发明所涉及方法的流程图；
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
本发明所涉及方法的流程图如图2所示，包括以下步骤：
步骤1，建立视频数据库。
从各类电影、纪录片、电视节目中截取N个视频片段，每个视频片段持续时间是t秒。每个视频仅包含一类情感，每类情感对应N/3个视频片段，即共有三类不同的视频情感。
步骤2，获得视频特征向量。
视频库中的每一个视频为一个样本。对一个样本中包含的音频信息，提取常用的25维音频特征，如表1所示。对一个视频样本，用基于颜色直方图的层次聚类的方法，每秒视频提取3个关键帧，共提取3*t帧图像。对于一个视频帧，在HSV空间，H设置成24，S设置成22，V设置成22，提取到256维颜色特征。对于一个视频帧，提取塔式关键词直方图(PHOW)特征，虚词个数为W，层数为Q，从而获得W*22(Q-1)维PHOW特征，最终获得(256+W*22(Q-1))维的原始图像特征。再用双输入对称相关性方法(DISR)对原始图像特征进行特征选择，得到25维图像特征。将音频特征和图像特征按样本量不变、维度增加的方法形成一个视频的视频特征。对于N个视频，可获得NX50视频特征向量。
表125维音频特征
步骤3，采集脑电信号。
数据采自于P名健康的受试者，其中M名男性、(P-M)名女性，年龄均在24至28岁。受试者的实验任务是观看屏幕上播放的视频片段。从三类视频片段中，每类随机选N/9个片段。总共N/3个视频片段供一个受试者观看。受试者脑电信号将被E个电极(10-20系统)纪录，采样率为1000Hz。
步骤4，获得脑电特征向量。
将采集到的脑电信号降采样到500Hz，再从脑电信号中去掉眼电信号，最后用8-30Hz的带通滤波器去掉伪迹。设置时间窗为1s。由于一个视频片段的持续时间是t秒，故对一个受试者观看一个视频片段所采集到的一个电极的脑电信号，可分为t段。对个人受试者的一个电极的一段脑电信号，用小波包变换进行特征提取，分解层数分为J，小波基为db6，获得2J维脑电特征。一个视频片段对应的一个受试者的E个电极的t段脑电信号，得到E*2J*t维脑电特征。一个视频片段对应的P个受试者的E个电极的t段脑电信号，得到P*E*2J*t维脑电特征。对P*E*2J*t维小波包提取后的脑电特征进行决策树算法特征选择，得到Z维脑电特征。对N个视频片段，共可获得NXZ脑电特征向量。
步骤5，建立基于核超限学习机的多模融合视频情感识别模型。
按照图1的方法建立基于核超限学习机的多模融合视频情感识别模型。
整个模型包括三个子系统：脑电特征处理子系统、视频特征处理子系统及融合特征处理子系统。图1中，脑电特征处理子系统主体是核超限学习机1，输入脑电特征向量，输出对于脑电特征向量的响应值向量；视频特征处理子系统主体是核超限学习机2，输入视频特征向量，输出对于视频特征向量的响应值向量；融合特征处理子系统主体是核超限学习机3，将脑电特征向量的响应值向量与视频特征向量的响应值向量合并成融拼接成待输入的融合特征向量，输出对于融合特征向量的响应值向量。Ei表示对应于一个视频片段的脑电特征向量，Ei的维度为Z。Vi为一个视频片段所对应的视频特征向量，其维度为50.t表示核超限学习机的实际输出。若实际输出TE＝[tE1…tEc],且实际输出TE＝[tD1…tDc]，则决策特征Di＝[TETD]。模型会输出最终决策结果，即判别输入进去的特征为哪一类视频的特征。
步骤六，获得分类正确率。
将步骤1中得到的视频特征和步骤2中得到的脑电特征，输入到步骤(3)所建立的视频情感模型中，利用十折交叉验证法，即：将得到的(视频或者脑电)特征向量按照样本量分成十份，轮流使其中的一份用于测试，其余的九份用于训练，通过十折交叉验证法得到十次的分类正确率，将这十次的分类正确率求平均值，得到最终的分类正确率。
为了验证本发明的有效性，以及与单模视频情感识别方法相比性能的优劣，进行了一组对比实验，三种分类方法的正确率如表2所示。
表2本发明方法与两种单模视频情感识别方法的比较结果
由表2可以看出，运用本发明方法进行三类视频情感识别的分类正确率为76.67％，比仅用视频信号进行视频情感识别的方法提高了3.34％，又比仅使用脑电信号进行视频情感识别的方法提高了21.11％。

Claims (2)

1.一种基于核超限学习机的多模融合视频情感识别方法，其特征在于：
该方法在利用视频的图像信息和音频信息的基础上，加入观看视频的受试者的脑电信号进行多模融合分析，使用于情感识别的信息更全面，更利用了核超限学习机学习速度快、识别率高的特性，使视频情感识别的分类正确率更高；
实现本发明方法的主要步骤如下：对视频的图像信息和音频信息进行特征提取、特征选择，从而获得视频特征；将采集的多通道脑电信号进行预处理、特征提取、特征选择，从而获得脑电特征；建立基于核超限学习机的多模融合视频情感识别模型；将视频特征和脑电特征输入到基于核超限学习机的多模融合视频情感识别模型中进行视频情感识别，得出最终的分类正确率；
其详细步骤如下：
(1)建立视频数据库
从电影、纪录片、电视节目中截取90个视频片段，每个视频片段持续时间是6s；每个视频仅包含一类情感，每类情感对应30个视频片段，即共有三类不同的视频情感；
(2)获得视频特征向量
视频库中的每一个视频为一个样本；对一个样本中包含的音频信息，提取常用的25维音频特征；对一个样本中包含的图像信息，提取图像的颜色特征和塔式关键词直方图特征，从而获得原始图像特征；再用双输入对称相关性方法对原始图像特征进行特征选择，得到25维图像特征；最后将音频特征和图像特征按样本量不变、维度增加的方法形成视频特征向量；
(3)采集脑电信号
在屏幕上随机地播放视频库中的视频；受试者佩戴电极帽，并观看屏幕上的视频；采集受试者的脑电信号；
(4)获得脑电特征
将采集到的脑电信号进行预处理，即降采样和带通滤波器去伪迹，再用小波包分解法对预处理后的脑电信号进行特征提取，得到原始脑电特征；再用决策树算法对原始脑电特征进行特征选择，得到脑电特征向量；
(5)建立基于核超限学习机的多模融合视频情感识别模型
建立基于核超限学习机的多模融合视频情感识别模型；
(6)获得分类正确率
将步骤(1)中得到的视频特征和步骤(2)中得到的脑电特征，输入到步骤(3)所建立的视频情感模型中，利用十折交叉验证法，得到最终的分类正确率。
2.根据权利要求1所述的一种基于核超限学习机的多模融合视频情感识别方法，其特征在于：
本发明所涉及方法的流程包括以下步骤：
步骤1，建立视频数据库；
从各类电影、纪录片、电视节目中截取N个视频片段，每个视频片段持续时间是t秒；每个视频仅包含一类情感，每类情感对应N/3个视频片段，即共有三类不同的视频情感；
步骤2，获得视频特征向量；
视频库中的每一个视频为一个样本；对一个样本中包含的音频信息，提取常用的25维音频特征，如表1所示；对一个视频样本，用基于颜色直方图的层次聚类的方法，每秒视频提取3个关键帧，共提取3*t帧图像；对于一个视频帧，在HSV空间，H设置成24，S设置成22，V设置成22，提取到256维颜色特征；对于一个视频帧，提取塔式关键词直方图(PHOW)特征，虚词个数为W，层数为Q，从而获得W*22(Q-1)维PHOW特征，最终获得(256+W*22(Q-1))维的原始图像特征；再用双输入对称相关性方法(DISR)对原始图像特征进行特征选择，得到25维图像特征；将音频特征和图像特征按样本量不变、维度增加的方法形成一个视频的视频特征；对于N个视频，可获得NX50视频特征向量；
表125维音频特征
步骤3，采集脑电信号；
数据采自于P名健康的受试者，其中M名男性、(P-M)名女性，年龄均在24至28岁；受试者的实验任务是观看屏幕上播放的视频片段；从三类视频片段中，每类随机选N/9个片段；总共N/3个视频片段供一个受试者观看；受试者脑电信号将被E个电极(10-20系统)纪录，采样率为1000Hz；
步骤4，获得脑电特征向量；
将采集到的脑电信号降采样到500Hz，再从脑电信号中去掉眼电信号，最后用8-30Hz的带通滤波器去掉伪迹；设置时间窗为1s；由于一个视频片段的持续时间是t秒，故对一个受试者观看一个视频片段所采集到的一个电极的脑电信号，可分为t段；对个人受试者的一个电极的一段脑电信号，用小波包变换进行特征提取，分解层数分为J，小波基为db6，获得2J维脑电特征；一个视频片段对应的一个受试者的E个电极的t段脑电信号，得到E*2J*t维脑电特征；一个视频片段对应的P个受试者的E个电极的t段脑电信号，得到P*E*2J*t维脑电特征；对P*E*2J*t维小波包提取后的脑电特征进行决策树算法特征选择，得到Z维脑电特征；对N个视频片段，共可获得NXZ脑电特征向量；
步骤5，建立基于核超限学习机的多模融合视频情感识别模型；
建立基于核超限学习机的多模融合视频情感识别模型；
整个模型包括三个子系统：脑电特征处理子系统、视频特征处理子系统及融合特征处理子系统；脑电特征处理子系统主体是核超限学习机1，输入脑电特征向量，输出对于脑电特征向量的响应值向量；视频特征处理子系统主体是核超限学习机2，输入视频特征向量，输出对于视频特征向量的响应值向量；融合特征处理子系统主体是核超限学习机3，将脑电特征向量的响应值向量与视频特征向量的响应值向量合并成融拼接成待输入的融合特征向量，输出对于融合特征向量的响应值向量；Ei表示对应于一个视频片段的脑电特征向量，Ei的维度为Z；Vi为一个视频片段所对应的视频特征向量，其维度为50.t表示核超限学习机的实际输出；若实际输出TE＝[tE1…tEc],且实际输出TE＝[tD1…tDc]，则决策特征Di＝[TETD]；模型会输出最终决策结果，即判别输入进去的特征为哪一类视频的特征；
步骤六，获得分类正确率；
将步骤1中得到的视频特征和步骤2中得到的脑电特征，输入到步骤(3)所建立的视频情感模型中，利用十折交叉验证法，即：将得到的(视频或者脑电)特征向量按照样本量分成十份，轮流使其中的一份用于测试，其余的九份用于训练，通过十折交叉验证法得到十次的分类正确率，将这十次的分类正确率求平均值，得到最终的分类正确率。
CN201510829902.0A 2015-11-25 2015-11-25 一种基于核超限学习机的多模融合视频情感识别方法 Active CN105512609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510829902.0A CN105512609B (zh) 2015-11-25 2015-11-25 一种基于核超限学习机的多模融合视频情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510829902.0A CN105512609B (zh) 2015-11-25 2015-11-25 一种基于核超限学习机的多模融合视频情感识别方法

Publications (2)

Publication Number Publication Date
CN105512609A true CN105512609A (zh) 2016-04-20
CN105512609B CN105512609B (zh) 2019-04-12

Family

ID=55720576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510829902.0A Active CN105512609B (zh) 2015-11-25 2015-11-25 一种基于核超限学习机的多模融合视频情感识别方法

Country Status (1)

Country Link
CN (1) CN105512609B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845458A (zh) * 2017-03-05 2017-06-13 北京工业大学 一种基于核超限学习机的快速交通标识检测方法
CN107145909A (zh) * 2017-05-08 2017-09-08 哈尔滨工业大学 光学元件损伤所属表面的分类方法
CN107180236A (zh) * 2017-06-02 2017-09-19 北京工业大学 一种基于类脑模型的多模态情感识别方法
CN107463952A (zh) * 2017-07-21 2017-12-12 清华大学 一种基于多模态融合深度学习的物体材质分类方法
CN108205686A (zh) * 2017-12-06 2018-06-26 中国电子科技集团公司电子科学研究院 视频情感分类方法及装置
CN108241856A (zh) * 2018-01-12 2018-07-03 新华智云科技有限公司 资讯信息生成方法及设备
CN108542385A (zh) * 2018-04-02 2018-09-18 东北电力大学 一种利用嗅觉脑电波进行感官风味物质分类的方法
CN108836326A (zh) * 2018-04-02 2018-11-20 东北电力大学 一种基于嗅觉脑电波和小波包进行感官物质分类的方法
CN109460737A (zh) * 2018-11-13 2019-03-12 四川大学 一种基于增强式残差神经网络的多模态语音情感识别方法
CN110215202A (zh) * 2019-05-14 2019-09-10 杭州电子科技大学 基于步态非线性特征的心电rr间隔预测关联方法
CN111681636A (zh) * 2020-06-16 2020-09-18 深圳市华创技术有限公司 基于脑机接口技术语音生成方法及医疗系统和终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541261A (zh) * 2012-01-19 2012-07-04 北京工业大学 基于脑电信号特征的影片剪辑筛选辅助仪及实现方法
CN102715911A (zh) * 2012-06-15 2012-10-10 天津大学 基于脑电特征的情绪状态识别方法
EP2642427A2 (en) * 2012-03-21 2013-09-25 Intellectual Ventures Fund 83 LLC Video concept classification using temporally-correlated grouplets
CN103473555A (zh) * 2013-08-26 2013-12-25 中国科学院自动化研究所 基于多视角多示例学习的恐怖视频场景识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541261A (zh) * 2012-01-19 2012-07-04 北京工业大学 基于脑电信号特征的影片剪辑筛选辅助仪及实现方法
EP2642427A2 (en) * 2012-03-21 2013-09-25 Intellectual Ventures Fund 83 LLC Video concept classification using temporally-correlated grouplets
CN102715911A (zh) * 2012-06-15 2012-10-10 天津大学 基于脑电特征的情绪状态识别方法
CN103473555A (zh) * 2013-08-26 2013-12-25 中国科学院自动化研究所 基于多视角多示例学习的恐怖视频场景识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
S. ZHANG ET AL.: "Affective MTV analysis based on arousal and valence features", 《IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845458A (zh) * 2017-03-05 2017-06-13 北京工业大学 一种基于核超限学习机的快速交通标识检测方法
CN106845458B (zh) * 2017-03-05 2020-11-27 北京工业大学 一种基于核超限学习机的快速交通标识检测方法
CN107145909A (zh) * 2017-05-08 2017-09-08 哈尔滨工业大学 光学元件损伤所属表面的分类方法
CN107145909B (zh) * 2017-05-08 2021-02-02 哈尔滨工业大学 光学元件损伤所属表面的分类方法
CN107180236B (zh) * 2017-06-02 2020-02-11 北京工业大学 一种基于类脑模型的多模态情感识别方法
CN107180236A (zh) * 2017-06-02 2017-09-19 北京工业大学 一种基于类脑模型的多模态情感识别方法
CN107463952A (zh) * 2017-07-21 2017-12-12 清华大学 一种基于多模态融合深度学习的物体材质分类方法
CN107463952B (zh) * 2017-07-21 2020-04-03 清华大学 一种基于多模态融合深度学习的物体材质分类方法
CN108205686A (zh) * 2017-12-06 2018-06-26 中国电子科技集团公司电子科学研究院 视频情感分类方法及装置
CN108241856B (zh) * 2018-01-12 2019-03-01 新华智云科技有限公司 资讯信息生成方法及设备
CN108241856A (zh) * 2018-01-12 2018-07-03 新华智云科技有限公司 资讯信息生成方法及设备
CN108836326A (zh) * 2018-04-02 2018-11-20 东北电力大学 一种基于嗅觉脑电波和小波包进行感官物质分类的方法
CN108542385A (zh) * 2018-04-02 2018-09-18 东北电力大学 一种利用嗅觉脑电波进行感官风味物质分类的方法
CN109460737A (zh) * 2018-11-13 2019-03-12 四川大学 一种基于增强式残差神经网络的多模态语音情感识别方法
CN110215202A (zh) * 2019-05-14 2019-09-10 杭州电子科技大学 基于步态非线性特征的心电rr间隔预测关联方法
CN111681636A (zh) * 2020-06-16 2020-09-18 深圳市华创技术有限公司 基于脑机接口技术语音生成方法及医疗系统和终端
CN111681636B (zh) * 2020-06-16 2022-02-18 深圳市华创技术有限公司 基于脑机接口技术语音生成方法及医疗系统和终端

Also Published As

Publication number Publication date
CN105512609B (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN105512609A (zh) 一种基于核超限学习机的多模融合视频情感识别方法
CN107197384B (zh) 应用于视频直播平台的虚拟机器人多模态交互方法和系统
CN110353673A (zh) 一种基于标准互信息的脑电通道选择方法
CN104795067B (zh) 语音交互方法及装置
Hong et al. Dynamic captioning: video accessibility enhancement for hearing impairment
CN103761284B (zh) 一种视频检索方法和系统
Ma et al. ElderReact: a multimodal dataset for recognizing emotional response in aging adults
CN113095428A (zh) 一种融合脑电和刺激源信息的视频情感分类方法及系统
CN103690165A (zh) 一种跨诱发模式情绪脑电识别建模方法
CN102855317B (zh) 一种基于演示视频的多模式索引方法及系统
CN103631941B (zh) 基于脑电的目标图像检索系统
CN103412646A (zh) 基于脑机交互的音乐情绪化推荐方法
CN109978034B (zh) 一种基于数据增强的声场景辨识方法
CN113598774A (zh) 基于多通道脑电数据的积极情绪多标签分类方法及装置
CN105516802A (zh) 多特征融合的新闻视频摘要提取方法
CN107507620A (zh) 一种语音播报声音设置方法、装置、移动终端及存储介质
WO2019109289A1 (zh) 基于情绪的内容推荐方法、装置、头戴式设备和存储介质
Conneau et al. Assessment of new spectral features for eeg-based emotion recognition
CN111150372B (zh) 一种结合快速表示学习和语义学习的睡眠阶段分期系统
CN110037693A (zh) 一种基于面部表情和eeg的情绪分类方法
CN111898526A (zh) 基于多流卷积神经网络的肌电手势识别方法
CN110141258A (zh) 一种情绪状态检测方法、设备及终端
CN109009096A (zh) 一种对影视作品在线客观评价的系统及方法
CN116842361A (zh) 基于时频注意力混合深度网络的癫痫脑电信号识别方法
CN110287376A (zh) 一种基于剧本和字幕分析的抽取重要电影片段的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20160420

Assignee: Zhihua Yunjing Henan Digital Technology Co.,Ltd.

Assignor: Beijing University of Technology

Contract record no.: X2024980000226

Denomination of invention: A Multi mode Fusion Video Emotion Recognition Method Based on Kernel Overlimit Learning Machine

Granted publication date: 20190412

License type: Common License

Record date: 20240105

Application publication date: 20160420

Assignee: Henan zhuodoo Information Technology Co.,Ltd.

Assignor: Beijing University of Technology

Contract record no.: X2024980000138

Denomination of invention: A Multi mode Fusion Video Emotion Recognition Method Based on Kernel Overlimit Learning Machine

Granted publication date: 20190412

License type: Common License

Record date: 20240104

Application publication date: 20160420

Assignee: Luoyang Lexiang Network Technology Co.,Ltd.

Assignor: Beijing University of Technology

Contract record no.: X2024980000083

Denomination of invention: A Multi mode Fusion Video Emotion Recognition Method Based on Kernel Overlimit Learning Machine

Granted publication date: 20190412

License type: Common License

Record date: 20240104

EE01 Entry into force of recordation of patent licensing contract