CN108205686A - 视频情感分类方法及装置 - Google Patents

视频情感分类方法及装置 Download PDF

Info

Publication number
CN108205686A
CN108205686A CN201711275006.XA CN201711275006A CN108205686A CN 108205686 A CN108205686 A CN 108205686A CN 201711275006 A CN201711275006 A CN 201711275006A CN 108205686 A CN108205686 A CN 108205686A
Authority
CN
China
Prior art keywords
data
video
row
time series
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711275006.XA
Other languages
English (en)
Inventor
仝小敏
李鹏
吉祥
吴鸽鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electronics Technology Group Corp CETC
Electronic Science Research Institute of CTEC
Original Assignee
China Electronics Technology Group Corp CETC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electronics Technology Group Corp CETC filed Critical China Electronics Technology Group Corp CETC
Priority to CN201711275006.XA priority Critical patent/CN108205686A/zh
Publication of CN108205686A publication Critical patent/CN108205686A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Physiology (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种视频情感分类方法及装置，所述分类方法包括：获得用户观看视频时的脑电图信号的时间序列数据；从获得的时间序列数据中选择分类特征；根据所述分类特征，对所述视频的视频情感进行分类。本发明通过从脑电图信号的时间序列数据中提取特征，挖掘出更有效的分类特征，从而大大提高视频情感的分类准确率。

Description

视频情感分类方法及装置
技术领域
本发明涉及情感识别技术领域，特别是涉及一种视频情感分类方法及装置。
背景技术
视频情感识别是计算机视觉的研究热点，视频情感识别是为了识别视频中包含的积极、消极等情感，按照不同的情感类型将视频进行分类，视频情感识别在视频推荐、视频分类、广告设计等领域有重要的研究价值。
现有的视频情感分类方法通过提取脑电图信号的时域和频域特征等传统方法实现分类，由于只能从海量大脑响应数据中提取到数量有限的特征，把大量有效的特征给过滤掉了，难以涵盖所有有分辨能力的特征，分类准确率还有待提高。
发明内容
为了克服上述缺陷，本发明要解决的技术问题是提供一种视频情感分类方法及装置，用以至少提高现有视频情感分类的准确率。
为解决上述技术问题，本发明中的一种视频情感分类方法，包括：
获得用户观看视频时的脑电图信号的时间序列数据；
从获得的时间序列数据中选择分类特征；
根据所述分类特征，对所述视频的视频情感进行分类。
为解决上述技术问题，本发明中的一种视频情感分类装置，包括存储器和处理器；所述存储器存储有视频情感分类计算机程序，所述处理器执行所述计算机程序，以实现如上所述方法的步骤。
本发明有益效果如下：
本发明通过从脑电图信号的时间序列数据中提取特征，挖掘出更有效的分类特征，从而大大提高视频情感的分类准确率。
附图说明
图1是本发明实施例中一种视频情感分类方法的流程图；
图2是本发明实施例中一种视频情感分类装置的结构示意图。
具体实施方式
为了解决现有技术的问题，本发明提供了一种视频情感分类方法及装置，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不限定本发明。
实施例一
本发明实施例提供一种视频情感分类方法，如图1所示，所述方法包括：
S101，获得用户观看视频时的脑电图信号的时间序列数据；
S102，从获得的时间序列数据中选择分类特征；
S103，根据所述分类特征，对所述视频的视频情感进行分类。
本发明实施例中视频也可以称为音乐视频。
本发明实施例中脑电图信号也可以简称为脑电图。
作为视频情感识别的一个指标，视频愉悦度被用来评价视频的积极和消极程度，视频愉悦度识别算法研究近年来受到研究者的关注。本发明实施例中特征选择是为了从数据中选取能够有效区分不同愉悦度视频的特征，但是目前的数据处理方法得到的脑电图特征分类准确率还有待提高，原因在于现有脑电图时域和频域信号的分类能力有限，数据中隐藏的辨识特征没有得到的挖据，有效特征产生了丢失，其实，脑电图时间序列中包含人类识别视频情感的特征，蕴藏着丰富的情感分类特征，因此，相对于传统的时域和频域特征，本发明实施例直接对脑电图信号的时间序列数据进行预处理和特征提取，避免有效分类特征的丢失，从而挖掘出脑电图中包含的更有效的情感分类特征。
在上述实施例的基础上，进一步提出上述实施例的变型。
在本发明实施例中，可选地，所述获得用户观看视频时的脑电图信号的时间序列数据，包括：
通过多个脑电图采集通道，采集用户观看多个视频时的脑电图信号的时间序列数据。
为了描述简洁，本发明实施例中脑电图采集通道可以简称为脑电图通道或通道。
本发明实施例中用户也可以称为测试者。
例如，通过32个通道，采集用户40个视频的脑电图信号。
在本发明实施例中，可选地，所述通过多个脑电图采集通道，采集用户观看多个视频时的脑电图信号的时间序列数据之后，包括：
将采集的时间序列数据中每一列数据的数据范围调整一致，得到各个脑电图采集通道的标准化时间序列数据。
在本发明实施例中，可选地，所述从获得的时间序列数据中选择分类特征，包括：
从各个脑电图采集通道的标准化时间序列数据中选择分类特征。
在本发明实施例中，可选地，通过最小冗余最大相关度标准mRMR，从各个脑电图采集通道的标准化时间序列数据中选择分类特征。
在本发明实施例中，可选地，所述根据所述分类特征，对所述视频的视频情感进行分类，包括：
根据所述分类特征，标注各个视频的视频愉悦度。
在本发明实施例中，可选地，所述将采集的时间序列数据中每一列的时间序列数据的范围调整一致，包括：
对于每个脑电图采集通道：
根据所述视频的数量和预设的列长，确定该脑电图采集通道采集的间序列数据；
对于每一列，根据该列对应的间序列数据、该列对应的间序列数据的平均值和该列对应的间序列数据的标准差，确定该列的标准化间序列数据。
在本发明实施例中，可选地，采用下式确定该列的标准化间序列数据Data′(j)：
Data′(j)＝(Data(j)-μ(Data(j)))/σ(Data(j)) (1)
式中，j表示列数，Data(j)表示脑电图采集通道采集的第j列间序列数据，μ(Data(j))表示Data(j)的平均值，σ(Data(j))表示Data(j)的标准差。
在本发明实施例中，可选地，所述列长为每个脑电图采集通道在预设时间内采集的数据长度。本发明实施例中预设时间采用1分钟(60秒)，列长采用8064。
例如，对每个测试者的每个脑电图通道，利用mRMR特征选择算法对每个通道的脑电图信号进行特征选择，然后将每个通道提取的脑电图特征用于该测试者的40个视频的愉悦度分类，得到每个测试者每个脑电图通道数据对40个视频的愉悦度分类准确率，最后计算每个测试者40个通道的平均分类准确率作为该测试者对40个视频的分类准确率。
详细地，本发明实施例首先针对每个测试者每个脑电图通道所对应的40个视频的数据按列标准化，使得脑电图数据范围一致，利于后续处理；其次，采用mRMR特征选择方法对每个测试者的每个脑电图通道的时间序列数据直接进行特征选择，从而挖掘出时间序列中潜藏的具有较强情感分类能力的特征；最后，针对每个测试者的每个脑电图通道，利用选择得到的特征对40个视频进行视频愉悦度分类，得到40个视频的愉悦度分类准确率，将每个脑电图通道的分类准确率进行平均作为该测试者对40个视频的最后分类准确率。
以下以DEAP数据库的脑电图信号为例，说明本发明实施例中方法，实现过程包括：
(1)标准化过程：
输入32个测试者观看40个音乐视频的脑电图信号，对每个测试者的脑电图信号按列进行如下数据标准化处理。
对于每个测试者的每个脑电图采集通道，对其观看40视频的脑电图初始信号Data进行标准化，将数据范围调整一致，便于后续特征选择方法进行处理。其中Data＝40×8064，40表示每个测试者观看的40个音乐视频，8064为1分钟内每个通道采集的数据长度，对Data按列进行数据标准化处理，公式如下：
Data′(j)＝(Data(j)-μ(Data(j)))/σ(Data(j)) (1)
(2)脑电图特征选择过程：
利用mRMR特征选择方法对每个测试者的每个通道脑电图信号进行特征选择，得到分类准确率高的脑电图特征。
对于单个测试者的每个脑电图通道数据，我们分别利用mRMR特征选择方法进行特征选择，选择出每个通道最有区分能力的特征。mRMR特征算法目的是为了选取与分类最相关的特征，同时特征之间的冗余度最小，符合脑电图信号特征提取的需求，mRMR定义了如下两个函数实现最大相关和最小冗余：
其中，S表示特征的集合，c表示类别，I(xi；c)表示特征与类别之间的互信息；I(xi,xj)表示特征与特征之间的互信息，互信息的定义如下所示：
其中，x，y表示两个随机变量，p(x)、p(y)、p(x,y)表示概率密度函数。
mRMR算法中要实现的特征与类别最大相关，特征之间最小冗余通过以下函数实现：
maxΦ(D,R),Φ＝D-R (5)
最佳特征集合的选择为假定一个有m个特征的数据集Sm，需要从剩下的数据{S-Sm}选择使得公式(5)最大化的第m+1个特征为：
(3)音乐视频的愉悦度分类。
利用每个测试者的脑电图特征对音乐视频进行分类，得到每个测试者每个通道脑电图信号对40个音乐视频的分类准确率，将32个通道的分类准确率平均得到该测试者对40个音乐视频的愉悦度分类准确率。
本发明实施例采用4折交叉验证，即将40个视频的脑电图数据分为4份，每次采用3份作为训练集，剩余1份作为测试集，采用SVM作为分类器，重复4次，保证每份数据都被测试过，将4次测试结果进行平均，得到该测试者的某个通道对40个视频的分类准确率。
(4)输出分类准确率。
为了验证本发明实施例的有效性，将本发明实施例与基于时域特征的方法、基于频域特征的方法、卡方特征选择方法进行了对比实验，相对于传统方法和卡方特征选择算法，本发明实施例中的32个测试者平均分类准确率为86.2％，比传统的时域特征提高了15.4％，比传统的频域特征提高了16.4％，比卡方特征选择方法提高了9.1％，本发明测试者最高分类准确率为91.9％，比传统的时域特征测试者最高分类准确率提高了9.4％，比传统的频域特征测试者最高分类准确率提高了6.9％，比卡方特征选择提高了5.3％。从结果中可以看出，本发明实施例提出的特征选择算法可以获取到分类准确率更高的特征。
实施例二
本发明实施例提供一种视频情感分类装置，如图2所示，所述装置包括存储器20和处理器22；所述存储器20存储有视频情感分类计算机程序，所述处理器22执行所述计算机程序，以实现如实施例一中任意一项所述方法的步骤。
本发明实施例在具体实现时可以参阅实施例一，具有相应的技术效果。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频情感分类方法，其特征在于，所述方法包括：
获得用户观看视频时的脑电图信号的时间序列数据；
从获得的时间序列数据中选择分类特征；
根据所述分类特征，对所述视频的视频情感进行分类。
2.如权利要求1所述的方法，其特征在于，所述获得用户观看视频时的脑电图信号的时间序列数据，包括：
通过多个脑电图采集通道，采集用户观看多个视频时的脑电图信号的时间序列数据。
3.如权利要求2所述的方法，其特征在于，所述通过多个脑电图采集通道，采集用户观看多个视频时的脑电图信号的时间序列数据之后，包括：
将采集的时间序列数据中每一列数据的数据范围调整一致，得到各个脑电图采集通道的标准化时间序列数据。
4.如权利要求3所述的方法，其特征在于，所述从获得的时间序列数据中选择分类特征，包括：
从各个脑电图采集通道的标准化时间序列数据中选择分类特征。
5.如权利要求4所述的方法，其特征在于，通过最小冗余最大相关度标准，从各个脑电图采集通道的标准化时间序列数据中选择分类特征。
6.如权利要求4所述的方法，其特征在于，所述根据所述分类特征，对所述视频的视频情感进行分类，包括：
根据所述分类特征，标注各个视频的视频愉悦度。
7.如权利要求3所述的方法，其特征在于，所述将采集的时间序列数据中每一列的时间序列数据的范围调整一致，包括：
对于每个脑电图采集通道：
根据所述视频的数量和预设的列长，确定该脑电图采集通道采集的间序列数据；
对于每一列，根据该列对应的间序列数据、该列对应的间序列数据的平均值和该列对应的间序列数据的标准差，确定该列的标准化间序列数据。
8.如权利要求7所述的方法，其特征在于，采用下式确定该列的标准化间序列数据Data′(j)：
Data′(j)＝(Data(j)-μ(Data(j)))/σ(Data(j))；
式中，j表示列数，Data(j)表示脑电图采集通道采集的第j列间序列数据，μ(Data(j))表示Data(j)的平均值，σ(Data(j))表示Data(j)的标准差。
9.如权利要求7所述的方法，其特征在于，所述列长为每个脑电图采集通道在预设时间内采集的数据长度。
10.一种视频情感分类装置，其特征在于，所述装置包括存储器和处理器；所述存储器存储有视频情感分类计算机程序，所述处理器执行所述计算机程序，以实现如权利要求1-9中任意一项所述方法的步骤。
CN201711275006.XA 2017-12-06 2017-12-06 视频情感分类方法及装置 Pending CN108205686A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711275006.XA CN108205686A (zh) 2017-12-06 2017-12-06 视频情感分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711275006.XA CN108205686A (zh) 2017-12-06 2017-12-06 视频情感分类方法及装置

Publications (1)

Publication Number Publication Date
CN108205686A true CN108205686A (zh) 2018-06-26

Family

ID=62604583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711275006.XA Pending CN108205686A (zh) 2017-12-06 2017-12-06 视频情感分类方法及装置

Country Status (1)

Country Link
CN (1) CN108205686A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190658A (zh) * 2018-07-19 2019-01-11 中国电子科技集团公司电子科学研究院 视频觉醒度分类方法、装置及计算机设备
CN110008874A (zh) * 2019-03-25 2019-07-12 联想(北京)有限公司 数据处理方法及其装置、计算机系统及可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867052A (zh) * 2012-09-13 2013-01-09 河海大学 一种基于特征点符号聚集近似的时间序列异常挖掘方法
CN105446484A (zh) * 2015-11-19 2016-03-30 浙江大学 一种基于隐马尔科夫模型的肌电信号手势识别方法
CN105512609A (zh) * 2015-11-25 2016-04-20 北京工业大学 一种基于核超限学习机的多模融合视频情感识别方法
CN106691378A (zh) * 2016-12-16 2017-05-24 深圳市唯特视科技有限公司 一种基于脑电图数据的深度学习视觉分类方法
CN107247881A (zh) * 2017-06-20 2017-10-13 北京大数医达科技有限公司 一种多模态智能分析方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867052A (zh) * 2012-09-13 2013-01-09 河海大学 一种基于特征点符号聚集近似的时间序列异常挖掘方法
CN105446484A (zh) * 2015-11-19 2016-03-30 浙江大学 一种基于隐马尔科夫模型的肌电信号手势识别方法
CN105512609A (zh) * 2015-11-25 2016-04-20 北京工业大学 一种基于核超限学习机的多模融合视频情感识别方法
CN106691378A (zh) * 2016-12-16 2017-05-24 深圳市唯特视科技有限公司 一种基于脑电图数据的深度学习视觉分类方法
CN107247881A (zh) * 2017-06-20 2017-10-13 北京大数医达科技有限公司 一种多模态智能分析方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190658A (zh) * 2018-07-19 2019-01-11 中国电子科技集团公司电子科学研究院 视频觉醒度分类方法、装置及计算机设备
CN110008874A (zh) * 2019-03-25 2019-07-12 联想(北京)有限公司 数据处理方法及其装置、计算机系统及可读介质

Similar Documents

Publication Publication Date Title
CN107742107B (zh) 人脸图像分类方法、装置及服务器
CN109697416B (zh) 一种视频数据处理方法和相关装置
CN110353675B (zh) 基于图片生成的脑电信号情感识别方法及装置
Abd El Meguid et al. Fully automated recognition of spontaneous facial expressions in videos using random forest classifiers
Zhang et al. Random Gabor based templates for facial expression recognition in images with facial occlusion
CN111523462B (zh) 基于自注意增强cnn的视频序列表情识别系统及方法
CN108197532A (zh) 人脸识别的方法、装置及计算机装置
CN103258157B (zh) 一种基于手指信息的在线笔迹认证方法及系统
CN105512609B (zh) 一种基于核超限学习机的多模融合视频情感识别方法
CN108446635A (zh) 一种利用脑电信号辅助偏好获取协同过滤推荐系统及方法
CN104866831B (zh) 特征加权的人脸识别算法
CN106909946A (zh) 一种多模态融合的商品分类系统
CN110503076A (zh) 基于人工智能的视频分类方法、装置、设备和介质
CN105740808B (zh) 人脸识别方法和装置
CN110232331B (zh) 一种在线人脸聚类的方法及系统
CN110113634A (zh) 一种信息互动方法、装置、设备及存储介质
Paul et al. Extraction of facial feature points using cumulative histogram
CN106855883A (zh) 基于视觉词袋模型的人脸图像检索方法
CN113762138A (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
CN109800790A (zh) 一种面向高维数据的特征选择方法
CN108205686A (zh) 视频情感分类方法及装置
CN109086794A (zh) 一种基于t-lda主题模型的驾驶行为模式识方法
CN103366175A (zh) 基于潜在狄利克雷分配的自然图像分类方法
Wang et al. Text2sketch: Learning face sketch from facial attribute text
Rhee Improvement feature vector: Autoregressive model of median filter residual

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180626