CN105512609A - 一种基于核超限学习机的多模融合视频情感识别方法 - Google Patents
一种基于核超限学习机的多模融合视频情感识别方法 Download PDFInfo
- Publication number
- CN105512609A CN105512609A CN201510829902.0A CN201510829902A CN105512609A CN 105512609 A CN105512609 A CN 105512609A CN 201510829902 A CN201510829902 A CN 201510829902A CN 105512609 A CN105512609 A CN 105512609A
- Authority
- CN
- China
- Prior art keywords
- video
- eeg
- features
- feature
- emotion recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000004927 fusion Effects 0.000 title claims abstract description 33
- 230000008451 emotion Effects 0.000 title claims abstract description 20
- 230000008909 emotion recognition Effects 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract 2
- 239000013598 vector Substances 0.000 claims description 45
- 230000004044 response Effects 0.000 claims description 10
- 238000002790 cross-validation Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 210000004556 brain Anatomy 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims 1
- 230000002996 emotional effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000007526 fusion splicing Methods 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于核超限学习机的多模融合视频情感识别方法，对视频的图像信息和音频信息进行特征提取、特征选择，从而获得视频特征；将采集的多通道脑电信号进行预处理、特征提取、特征选择，从而获得脑电特征；建立基于核超限学习机的多模融合视频情感识别模型；将视频特征和脑电特征输入到基于核超限学习机的多模融合视频情感识别模型中进行视频情感识别，得出最终的分类正确率。本发明利用基于核超限学习机的多模融合视频情感识别模型，操作简单，识别速度快，对于三类视频情感数据分类正确率高。利用视频和脑电这两种模态的数据，使得描述视频内容更完整，比起利用单模进行视频情感识别，本发明方法的分类正确率更高。
Description
技术领域
本发明涉及模式识别方法，特别是涉及视频情感识别方法。
背景技术
随着多媒体技术的高速发展，各种各样的数字视频在短期内大量涌现。然而，有些视频的内容并不适合未成年人观看，例如带有暴力和色情内容的视频。为了未成年人的健康成长，建立一个良好的网络环境是非常必要的。准确识别不同视频的情感内容是建立一个良好的网络环境的基础。如何准确识别不同视频的情感内容对很多研究者来说是个重要且具有挑战性的话题。
比起单模态，多模态能更全面地描述视频内容，进而能更准确地识别视频包含的情感。因此，用多模融合的方法进行视频情感识别如今已经越来越流行。在目前多模融合方法中，面部表情、语音、视频、文本及生物信号是较普遍被使用到的模态。在先前的研究中，各种各样的分类器被采用，例如支持向量机、神经网络、隐马尔可夫模型等等。
传统的视频情感识别方法一般是提取视频本身的图像信息和音频信息来进行视频情感的识别。该方法有两点不足：(1)单依靠视频的信息对视频的情感内容进行判断，而没有考虑到人看了视频之后的感受，容易造成信息偏失；(2)仅依靠视频本身的信息进行视频情感识别，识别准确率较低。
发明内容
针对上述传统的视频情感识别方法的不足，本发明提出一种基于核超限学习机的多模融合视频情感识别方法。该方法在利用视频的图像信息和音频信息的基础上，加入观看视频的受试者的脑电信号进行多模融合分析，使用于情感识别的信息更全面，更利用了核超限学习机学习速度快、识别率高的特性，使视频情感识别的分类正确率更高。
实现本发明方法的主要思路是：对视频的图像信息和音频信息进行特征提取、特征选择，从而获得视频特征；将采集的多通道脑电信号进行预处理、特征提取、特征选择，从而获得脑电特征；建立基于核超限学习机的多模融合视频情感识别模型；将视频特征和脑电特征输入到基于核超限学习机(Kernel-basedELM)的多模融合视频情感识别模型中进行视频情感识别，得出最终的分类正确率。
一种基于核超限学习机的多模融合视频情感识别方法，包括如下步骤：
(1)建立视频数据库
从电影、纪录片、电视节目中截取90个视频片段，每个视频片段持续时间是6s。每个视频仅包含一类情感，每类情感对应30个视频片段，即共有三类不同的视频情感。
(2)获得视频特征向量
视频库中的每一个视频为一个样本。对一个样本中包含的音频信息，提取常用的25维音频特征。对一个样本中包含的图像信息，提取图像的颜色特征和塔式关键词直方图特征，从而获得原始图像特征。再用双输入对称相关性方法对原始图像特征进行特征选择，得到25维图像特征。最后将音频特征和图像特征按样本量不变、维度增加的方法形成视频特征向量。
(3)采集脑电信号
在屏幕上随机地播放视频库中的视频。受试者佩戴电极帽，并观看屏幕上的视频。采集受试者的脑电信号。
(4)获得脑电特征
将采集到的脑电信号进行预处理，即降采样和带通滤波器去伪迹，再用小波包分解法(WPD)对预处理后的脑电信号进行特征提取，得到原始脑电特征。再用决策树算法(DT)对原始脑电特征进行特征选择，得到脑电特征向量。
(5)建立基于核超限学习机的多模融合视频情感识别模型
按照图1的方法建立基于核超限学习机的多模融合视频情感识别模型。
(6)获得分类正确率
将步骤(1)中得到的视频特征和步骤(2)中得到的脑电特征，输入到步骤(3)所建立的视频情感模型中，利用十折交叉验证法，得到最终的分类正确率。
与现有技术相比，本发明具有以下明显的优势和有益效果：
(1)本发明提出一种基于核超限学习机的多模融合视频情感识别模型，操作简单，识别速度快，对于三类视频情感数据分类正确率高。
(2)本发明利用了视频和脑电这两种模态的数据，使得描述视频内容更完整，比起利用单模(视频信号或脑电信号)进行视频情感识别，本发明方法的分类正确率更高。实验表明，运用本发明方法进行三类视频情感识别的分类正确率为76.67％，比仅用视频信号进行视频情感识别的方法提高了3.34％，又比仅使用脑电信号进行视频情感识别的方法提高了21.11％。
附图说明
图1为本发明所提出的基于核超限学习机的多模融合视频情感识别模型的示意图；
图2为本发明所涉及方法的流程图；
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
本发明所涉及方法的流程图如图2所示，包括以下步骤：
步骤1，建立视频数据库。
从各类电影、纪录片、电视节目中截取N个视频片段，每个视频片段持续时间是t秒。每个视频仅包含一类情感，每类情感对应N/3个视频片段，即共有三类不同的视频情感。
步骤2，获得视频特征向量。
视频库中的每一个视频为一个样本。对一个样本中包含的音频信息，提取常用的25维音频特征，如表1所示。对一个视频样本，用基于颜色直方图的层次聚类的方法，每秒视频提取3个关键帧，共提取3*t帧图像。对于一个视频帧，在HSV空间，H设置成24，S设置成22，V设置成22，提取到256维颜色特征。对于一个视频帧，提取塔式关键词直方图(PHOW)特征，虚词个数为W，层数为Q，从而获得W*22(Q-1)维PHOW特征，最终获得(256+W*22(Q-1))维的原始图像特征。再用双输入对称相关性方法(DISR)对原始图像特征进行特征选择，得到25维图像特征。将音频特征和图像特征按样本量不变、维度增加的方法形成一个视频的视频特征。对于N个视频，可获得NX50视频特征向量。
表125维音频特征
步骤3，采集脑电信号。
数据采自于P名健康的受试者，其中M名男性、(P-M)名女性，年龄均在24至28岁。受试者的实验任务是观看屏幕上播放的视频片段。从三类视频片段中，每类随机选N/9个片段。总共N/3个视频片段供一个受试者观看。受试者脑电信号将被E个电极(10-20系统)纪录，采样率为1000Hz。
步骤4，获得脑电特征向量。
将采集到的脑电信号降采样到500Hz，再从脑电信号中去掉眼电信号，最后用8-30Hz的带通滤波器去掉伪迹。设置时间窗为1s。由于一个视频片段的持续时间是t秒，故对一个受试者观看一个视频片段所采集到的一个电极的脑电信号，可分为t段。对个人受试者的一个电极的一段脑电信号，用小波包变换进行特征提取，分解层数分为J，小波基为db6，获得2J维脑电特征。一个视频片段对应的一个受试者的E个电极的t段脑电信号，得到E*2J*t维脑电特征。一个视频片段对应的P个受试者的E个电极的t段脑电信号，得到P*E*2J*t维脑电特征。对P*E*2J*t维小波包提取后的脑电特征进行决策树算法特征选择，得到Z维脑电特征。对N个视频片段，共可获得NXZ脑电特征向量。
步骤5，建立基于核超限学习机的多模融合视频情感识别模型。
按照图1的方法建立基于核超限学习机的多模融合视频情感识别模型。
整个模型包括三个子系统：脑电特征处理子系统、视频特征处理子系统及融合特征处理子系统。图1中，脑电特征处理子系统主体是核超限学习机1，输入脑电特征向量，输出对于脑电特征向量的响应值向量；视频特征处理子系统主体是核超限学习机2，输入视频特征向量，输出对于视频特征向量的响应值向量；融合特征处理子系统主体是核超限学习机3，将脑电特征向量的响应值向量与视频特征向量的响应值向量合并成融拼接成待输入的融合特征向量，输出对于融合特征向量的响应值向量。Ei表示对应于一个视频片段的脑电特征向量，Ei的维度为Z。Vi为一个视频片段所对应的视频特征向量，其维度为50.t表示核超限学习机的实际输出。若实际输出TE＝[tE1…tEc],且实际输出TE＝[tD1…tDc]，则决策特征Di＝[TETD]。模型会输出最终决策结果，即判别输入进去的特征为哪一类视频的特征。
步骤六，获得分类正确率。
将步骤1中得到的视频特征和步骤2中得到的脑电特征，输入到步骤(3)所建立的视频情感模型中，利用十折交叉验证法，即：将得到的(视频或者脑电)特征向量按照样本量分成十份，轮流使其中的一份用于测试，其余的九份用于训练，通过十折交叉验证法得到十次的分类正确率，将这十次的分类正确率求平均值，得到最终的分类正确率。
为了验证本发明的有效性，以及与单模视频情感识别方法相比性能的优劣，进行了一组对比实验，三种分类方法的正确率如表2所示。
表2本发明方法与两种单模视频情感识别方法的比较结果
由表2可以看出，运用本发明方法进行三类视频情感识别的分类正确率为76.67％，比仅用视频信号进行视频情感识别的方法提高了3.34％，又比仅使用脑电信号进行视频情感识别的方法提高了21.11％。
Claims (2)
1.一种基于核超限学习机的多模融合视频情感识别方法，其特征在于：
该方法在利用视频的图像信息和音频信息的基础上，加入观看视频的受试者的脑电信号进行多模融合分析，使用于情感识别的信息更全面，更利用了核超限学习机学习速度快、识别率高的特性，使视频情感识别的分类正确率更高；
实现本发明方法的主要步骤如下：对视频的图像信息和音频信息进行特征提取、特征选择，从而获得视频特征；将采集的多通道脑电信号进行预处理、特征提取、特征选择，从而获得脑电特征；建立基于核超限学习机的多模融合视频情感识别模型；将视频特征和脑电特征输入到基于核超限学习机的多模融合视频情感识别模型中进行视频情感识别，得出最终的分类正确率；
其详细步骤如下：
(1)建立视频数据库
从电影、纪录片、电视节目中截取90个视频片段，每个视频片段持续时间是6s；每个视频仅包含一类情感，每类情感对应30个视频片段，即共有三类不同的视频情感；
(2)获得视频特征向量
视频库中的每一个视频为一个样本；对一个样本中包含的音频信息，提取常用的25维音频特征；对一个样本中包含的图像信息，提取图像的颜色特征和塔式关键词直方图特征，从而获得原始图像特征；再用双输入对称相关性方法对原始图像特征进行特征选择，得到25维图像特征；最后将音频特征和图像特征按样本量不变、维度增加的方法形成视频特征向量；
(3)采集脑电信号
在屏幕上随机地播放视频库中的视频；受试者佩戴电极帽，并观看屏幕上的视频；采集受试者的脑电信号；
(4)获得脑电特征
将采集到的脑电信号进行预处理，即降采样和带通滤波器去伪迹，再用小波包分解法对预处理后的脑电信号进行特征提取，得到原始脑电特征；再用决策树算法对原始脑电特征进行特征选择，得到脑电特征向量；
(5)建立基于核超限学习机的多模融合视频情感识别模型
建立基于核超限学习机的多模融合视频情感识别模型；
(6)获得分类正确率
将步骤(1)中得到的视频特征和步骤(2)中得到的脑电特征，输入到步骤(3)所建立的视频情感模型中，利用十折交叉验证法，得到最终的分类正确率。
2.根据权利要求1所述的一种基于核超限学习机的多模融合视频情感识别方法，其特征在于：
本发明所涉及方法的流程包括以下步骤：
步骤1，建立视频数据库；
从各类电影、纪录片、电视节目中截取N个视频片段，每个视频片段持续时间是t秒；每个视频仅包含一类情感，每类情感对应N/3个视频片段，即共有三类不同的视频情感；
步骤2，获得视频特征向量；
视频库中的每一个视频为一个样本；对一个样本中包含的音频信息，提取常用的25维音频特征，如表1所示；对一个视频样本，用基于颜色直方图的层次聚类的方法，每秒视频提取3个关键帧，共提取3*t帧图像；对于一个视频帧，在HSV空间，H设置成24，S设置成22，V设置成22，提取到256维颜色特征；对于一个视频帧，提取塔式关键词直方图(PHOW)特征，虚词个数为W，层数为Q，从而获得W*22(Q-1)维PHOW特征，最终获得(256+W*22(Q-1))维的原始图像特征；再用双输入对称相关性方法(DISR)对原始图像特征进行特征选择，得到25维图像特征；将音频特征和图像特征按样本量不变、维度增加的方法形成一个视频的视频特征；对于N个视频，可获得NX50视频特征向量；
表125维音频特征
步骤3，采集脑电信号；
数据采自于P名健康的受试者，其中M名男性、(P-M)名女性，年龄均在24至28岁；受试者的实验任务是观看屏幕上播放的视频片段；从三类视频片段中，每类随机选N/9个片段；总共N/3个视频片段供一个受试者观看；受试者脑电信号将被E个电极(10-20系统)纪录，采样率为1000Hz；
步骤4，获得脑电特征向量；
将采集到的脑电信号降采样到500Hz，再从脑电信号中去掉眼电信号，最后用8-30Hz的带通滤波器去掉伪迹；设置时间窗为1s；由于一个视频片段的持续时间是t秒，故对一个受试者观看一个视频片段所采集到的一个电极的脑电信号，可分为t段；对个人受试者的一个电极的一段脑电信号，用小波包变换进行特征提取，分解层数分为J，小波基为db6，获得2J维脑电特征；一个视频片段对应的一个受试者的E个电极的t段脑电信号，得到E*2J*t维脑电特征；一个视频片段对应的P个受试者的E个电极的t段脑电信号，得到P*E*2J*t维脑电特征；对P*E*2J*t维小波包提取后的脑电特征进行决策树算法特征选择，得到Z维脑电特征；对N个视频片段，共可获得NXZ脑电特征向量；
步骤5，建立基于核超限学习机的多模融合视频情感识别模型；
建立基于核超限学习机的多模融合视频情感识别模型；
整个模型包括三个子系统：脑电特征处理子系统、视频特征处理子系统及融合特征处理子系统；脑电特征处理子系统主体是核超限学习机1，输入脑电特征向量，输出对于脑电特征向量的响应值向量；视频特征处理子系统主体是核超限学习机2，输入视频特征向量，输出对于视频特征向量的响应值向量；融合特征处理子系统主体是核超限学习机3，将脑电特征向量的响应值向量与视频特征向量的响应值向量合并成融拼接成待输入的融合特征向量，输出对于融合特征向量的响应值向量；Ei表示对应于一个视频片段的脑电特征向量，Ei的维度为Z；Vi为一个视频片段所对应的视频特征向量，其维度为50.t表示核超限学习机的实际输出；若实际输出TE＝[tE1…tEc],且实际输出TE＝[tD1…tDc]，则决策特征Di＝[TETD]；模型会输出最终决策结果，即判别输入进去的特征为哪一类视频的特征；
步骤六，获得分类正确率；
将步骤1中得到的视频特征和步骤2中得到的脑电特征，输入到步骤(3)所建立的视频情感模型中，利用十折交叉验证法，即：将得到的(视频或者脑电)特征向量按照样本量分成十份，轮流使其中的一份用于测试，其余的九份用于训练，通过十折交叉验证法得到十次的分类正确率，将这十次的分类正确率求平均值，得到最终的分类正确率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510829902.0A CN105512609B (zh) | 2015-11-25 | 2015-11-25 | 一种基于核超限学习机的多模融合视频情感识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510829902.0A CN105512609B (zh) | 2015-11-25 | 2015-11-25 | 一种基于核超限学习机的多模融合视频情感识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105512609A true CN105512609A (zh) | 2016-04-20 |
| CN105512609B CN105512609B (zh) | 2019-04-12 |
Family
ID=55720576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510829902.0A Active CN105512609B (zh) | 2015-11-25 | 2015-11-25 | 一种基于核超限学习机的多模融合视频情感识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105512609B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845458A (zh) * | 2017-03-05 | 2017-06-13 | 北京工业大学 | 一种基于核超限学习机的快速交通标识检测方法 |
| CN107145909A (zh) * | 2017-05-08 | 2017-09-08 | 哈尔滨工业大学 | 光学元件损伤所属表面的分类方法 |
| CN107180236A (zh) * | 2017-06-02 | 2017-09-19 | 北京工业大学 | 一种基于类脑模型的多模态情感识别方法 |
| CN107463952A (zh) * | 2017-07-21 | 2017-12-12 | 清华大学 | 一种基于多模态融合深度学习的物体材质分类方法 |
| CN108205686A (zh) * | 2017-12-06 | 2018-06-26 | 中国电子科技集团公司电子科学研究院 | 视频情感分类方法及装置 |
| CN108241856A (zh) * | 2018-01-12 | 2018-07-03 | 新华智云科技有限公司 | 资讯信息生成方法及设备 |
| CN108542385A (zh) * | 2018-04-02 | 2018-09-18 | 东北电力大学 | 一种利用嗅觉脑电波进行感官风味物质分类的方法 |
| CN108836326A (zh) * | 2018-04-02 | 2018-11-20 | 东北电力大学 | 一种基于嗅觉脑电波和小波包进行感官物质分类的方法 |
| CN109460737A (zh) * | 2018-11-13 | 2019-03-12 | 四川大学 | 一种基于增强式残差神经网络的多模态语音情感识别方法 |
| CN110215202A (zh) * | 2019-05-14 | 2019-09-10 | 杭州电子科技大学 | 基于步态非线性特征的心电rr间隔预测关联方法 |
| CN111681636A (zh) * | 2020-06-16 | 2020-09-18 | 深圳市华创技术有限公司 | 基于脑机接口技术语音生成方法及医疗系统和终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102541261A (zh) * | 2012-01-19 | 2012-07-04 | 北京工业大学 | 基于脑电信号特征的影片剪辑筛选辅助仪及实现方法 |
| CN102715911A (zh) * | 2012-06-15 | 2012-10-10 | 天津大学 | 基于脑电特征的情绪状态识别方法 |
| EP2642427A2 (en) * | 2012-03-21 | 2013-09-25 | Intellectual Ventures Fund 83 LLC | Video concept classification using temporally-correlated grouplets |
| CN103473555A (zh) * | 2013-08-26 | 2013-12-25 | 中国科学院自动化研究所 | 基于多视角多示例学习的恐怖视频场景识别方法 |
-
2015
- 2015-11-25 CN CN201510829902.0A patent/CN105512609B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102541261A (zh) * | 2012-01-19 | 2012-07-04 | 北京工业大学 | 基于脑电信号特征的影片剪辑筛选辅助仪及实现方法 |
| EP2642427A2 (en) * | 2012-03-21 | 2013-09-25 | Intellectual Ventures Fund 83 LLC | Video concept classification using temporally-correlated grouplets |
| CN102715911A (zh) * | 2012-06-15 | 2012-10-10 | 天津大学 | 基于脑电特征的情绪状态识别方法 |
| CN103473555A (zh) * | 2013-08-26 | 2013-12-25 | 中国科学院自动化研究所 | 基于多视角多示例学习的恐怖视频场景识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| S. ZHANG ET AL.: "Affective MTV analysis based on arousal and valence features", 《IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845458A (zh) * | 2017-03-05 | 2017-06-13 | 北京工业大学 | 一种基于核超限学习机的快速交通标识检测方法 |
| CN106845458B (zh) * | 2017-03-05 | 2020-11-27 | 北京工业大学 | 一种基于核超限学习机的快速交通标识检测方法 |
| CN107145909A (zh) * | 2017-05-08 | 2017-09-08 | 哈尔滨工业大学 | 光学元件损伤所属表面的分类方法 |
| CN107145909B (zh) * | 2017-05-08 | 2021-02-02 | 哈尔滨工业大学 | 光学元件损伤所属表面的分类方法 |
| CN107180236B (zh) * | 2017-06-02 | 2020-02-11 | 北京工业大学 | 一种基于类脑模型的多模态情感识别方法 |
| CN107180236A (zh) * | 2017-06-02 | 2017-09-19 | 北京工业大学 | 一种基于类脑模型的多模态情感识别方法 |
| CN107463952A (zh) * | 2017-07-21 | 2017-12-12 | 清华大学 | 一种基于多模态融合深度学习的物体材质分类方法 |
| CN107463952B (zh) * | 2017-07-21 | 2020-04-03 | 清华大学 | 一种基于多模态融合深度学习的物体材质分类方法 |
| CN108205686A (zh) * | 2017-12-06 | 2018-06-26 | 中国电子科技集团公司电子科学研究院 | 视频情感分类方法及装置 |
| CN108241856B (zh) * | 2018-01-12 | 2019-03-01 | 新华智云科技有限公司 | 资讯信息生成方法及设备 |
| CN108241856A (zh) * | 2018-01-12 | 2018-07-03 | 新华智云科技有限公司 | 资讯信息生成方法及设备 |
| CN108836326A (zh) * | 2018-04-02 | 2018-11-20 | 东北电力大学 | 一种基于嗅觉脑电波和小波包进行感官物质分类的方法 |
| CN108542385A (zh) * | 2018-04-02 | 2018-09-18 | 东北电力大学 | 一种利用嗅觉脑电波进行感官风味物质分类的方法 |
| CN109460737A (zh) * | 2018-11-13 | 2019-03-12 | 四川大学 | 一种基于增强式残差神经网络的多模态语音情感识别方法 |
| CN110215202A (zh) * | 2019-05-14 | 2019-09-10 | 杭州电子科技大学 | 基于步态非线性特征的心电rr间隔预测关联方法 |
| CN111681636A (zh) * | 2020-06-16 | 2020-09-18 | 深圳市华创技术有限公司 | 基于脑机接口技术语音生成方法及医疗系统和终端 |
| CN111681636B (zh) * | 2020-06-16 | 2022-02-18 | 深圳市华创技术有限公司 | 基于脑机接口技术语音生成方法及医疗系统和终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105512609B (zh) | 2019-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105512609A (zh) | 一种基于核超限学习机的多模融合视频情感识别方法 | |
| Kuhnke et al. | Two-stream aural-visual affect analysis in the wild | |
| D’Eusanio et al. | A transformer-based network for dynamic hand gesture recognition | |
| Guo et al. | Multimodal emotion recognition from eye image, eye movement and EEG using deep neural networks | |
| Huang et al. | Egocentric audio-visual object localization | |
| Oneata et al. | Action and event recognition with fisher vectors on a compact feature set | |
| CN103856689B (zh) | 面向新闻视频的人物对话字幕提取方法 | |
| CN111666845A (zh) | 基于关键帧采样的小样本深度学习多模态手语识别方法 | |
| Youssef et al. | Auto-optimized multimodal expression recognition framework using 3D kinect data for ASD therapeutic aid | |
| KR20150064977A (ko) | 얼굴정보 기반의 비디오 분석 및 시각화 시스템 | |
| CN114519880B (zh) | 基于跨模态自监督学习的主动说话人识别方法 | |
| Mou et al. | Alone versus in-a-group: A comparative analysis of facial affect recognition | |
| CN118262114A (zh) | 一种多模态实时交互决策的方法及系统 | |
| Haq et al. | Using lip reading recognition to predict daily Mandarin conversation | |
| Perusquía-Hernández et al. | Smile action unit detection from distal wearable electromyography and computer vision | |
| Zhang et al. | Evaluation of texture and geometry for dimensional facial expression recognition | |
| Ruiz et al. | Human emotion detection through facial expressions for commercial analysis | |
| Li et al. | Openhumanvid: A large-scale high-quality dataset for enhancing human-centric video generation | |
| Chen et al. | Hierarchical cross-modal talking face generationwith dynamic pixel-wise loss | |
| Li et al. | MEMOS: A Multi-modal Emotion Stream Database for Temporal Spontaneous Emotional State Detection | |
| EP4348598A1 (fr) | Procédé pour la prédiction automatique de l'effet émotionnel produit par une séquence de jeu vidéo | |
| Chen et al. | Audio-visual saliency prediction for movie viewing in immersive environments: Dataset and benchmarks | |
| Fang et al. | Integrating holistic and local information to estimate emotional reaction intensity | |
| CN112839260A (zh) | 基于安卓系统的智能数字电视节目推荐方法、装置及电视 | |
| KR20110029805A (ko) | 시각 기반 사용자 연령대 구분 및 추정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20160420 Assignee: Zhihua Yunjing Henan Digital Technology Co.,Ltd. Assignor: Beijing University of Technology Contract record no.: X2024980000226 Denomination of invention: A Multi mode Fusion Video Emotion Recognition Method Based on Kernel Overlimit Learning Machine Granted publication date: 20190412 License type: Common License Record date: 20240105 Application publication date: 20160420 Assignee: Henan zhuodoo Information Technology Co.,Ltd. Assignor: Beijing University of Technology Contract record no.: X2024980000138 Denomination of invention: A Multi mode Fusion Video Emotion Recognition Method Based on Kernel Overlimit Learning Machine Granted publication date: 20190412 License type: Common License Record date: 20240104 Application publication date: 20160420 Assignee: Luoyang Lexiang Network Technology Co.,Ltd. Assignor: Beijing University of Technology Contract record no.: X2024980000083 Denomination of invention: A Multi mode Fusion Video Emotion Recognition Method Based on Kernel Overlimit Learning Machine Granted publication date: 20190412 License type: Common License Record date: 20240104 |