CN107193378A - 基于脑电波机器学习的情感判定装置及方法 - Google Patents

基于脑电波机器学习的情感判定装置及方法 Download PDF

Info

Publication number
CN107193378A
CN107193378A CN201710359954.5A CN201710359954A CN107193378A CN 107193378 A CN107193378 A CN 107193378A CN 201710359954 A CN201710359954 A CN 201710359954A CN 107193378 A CN107193378 A CN 107193378A
Authority
CN
China
Prior art keywords
module
data
emotion
model
brain wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710359954.5A
Other languages
English (en)
Inventor
王恩
聂瑜
孙广志
杨仲尧
吴洋
杨永健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201710359954.5A priority Critical patent/CN107193378A/zh
Publication of CN107193378A publication Critical patent/CN107193378A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • G06F2218/04Denoising

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Neurology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Dermatology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于脑电波机器学习的情感判定装置及方法,用于生物信息学、信号处理以及机器学习领域。原始脑电波数据经预处理后具有8个维度;使用到的机器学习方法有主成分分析(PCA)、K均值(K‑means);情感判定是判定情感为正性情感抑或负性情感。优点在于:采用无监督的学习方法,避免了人工标记所导致的误差;采用低通滤波对原始脑电波数据进行处理,过滤掉了噪声;可移植性强,目前可在树莓派上应用,使得便携性得到提高;结果判定速度快,实时性强。

Description

基于脑电波机器学习的情感判定装置及方法
技术领域
本发明涉及生物信息学、信号处理以及机器学习领域,特别涉及一种基于脑电波机器学习的情感判定装置及方法。
背景技术
情感的判定尚未形成统一的理论认识。近代的学者通过研究和实验提出了各自的情感集,如James的情感集,Ekman的情感集等。研究者们通过进一步研究,发现情感之间还存在一定的相关性,比如愤怒与厌恶有时会同时出现,因此出现了Lange的二维情感判定模型。该模型也是目前最常见的判定模型,使用纵坐标表现心情的愉悦度,从不喜欢逐渐过度到喜欢;使用横坐标表示状态的兴奋程度,从低迷过渡到兴奋。
常见的情感判定方法有两大类。第一类是基于非生理信号的判定,此类包括对面部表情的判定和对语音音调的判定。其优点是数据获取比较简单,不需要特殊的设备;缺点是不能保证情感判定的可靠性,因为会受到人的主观因素的影响。第二类是基于生理信号的判定。目前,国内外采用的生理信号主要有眼动(EOG),皮肤电反应(GSP),血容量脉搏(BVP),肌电(EMG),脑电(EEG),心电(ECG)等。
国内对情感判定的研究起步比较晚,但是也取得了一些研究成果。国内对情感判定的研究主要是基于语音、面部表情、姿态等情感行为的。例如,哈尔滨工业大学基于人脸识别和姿态等多个方面研究了多功能感知机,同时与海尔公司合作进行了服务机器人的研制。江苏大学基于MIT实验室对情感计算的研究,建立了自己的基于生理信号(SC、ECG、RSP、SKT)的情感数据库,并且在仿真实验中得到了85.3%的情感状态判定率。中科院心理研究所和清华大学合作,进行了基于语音的情感判定的研究。
目前的方法主要为有监督学习的方式,需要人工对脑电波数据进行标记,这存在着较大误差,一定程度上影响了判定结果。另外,原始脑电波数据存在的大量的伪迹与噪音,也会导致判定结果出现偏差。
发明内容
本发明的目的在于提供一种基于脑电波机器学习的情感判定装置及方法,解决了现有技术存在的数据中存在的噪音以及人工标记所导致的误差等问题。本发明采用无监督的学习方法,避免了人工标记所导致的误差。采用低通滤波对原始脑电波数据进行处理,过滤掉了噪声,避免其对结果造成影响。
本发明的上述目的通过以下技术方案实现:
基于脑电波机器学习的情感判定装置,包括数据传输模块、数据接收与处理模块、模型训练模块、模型输入模块、情感模式判定模块以及判定结果传输模块,所述数据传输模块与数据接收与处理模块相连,通过硬件向数据接收与处理模块传输所需数据,所述数据接收与处理模块分别与模型训练模块、情感模式判定模块相连,模型训练模块与模型输入模块相连,模型输入模块分别与内置模型库、情感模式判定模块相连,情感模式判定模块与判定结果传输模块相连。
本发明的另一目的在于提供一种基于脑电波机器学习的情感判定方法,包括如下步骤:
步骤(1)、数据传输模块通过硬件向数据接收与处理模块传输所需数据,数据传输模块没有输入,其输出为原始脑电波数据;
步骤(2)、数据接收与处理模块对接收到的原始脑电波数据进行处理以得到可用于分析的脑电波数据,数据接收与处理模块的输入为原始脑电波数据,输出为具有8个维度的脑电波数据;
步骤(3)、模型训练模块对模型进行训练,其输入为具有8个维度的脑电波数据,其输出为训练好的模型,即两个聚类中心,分别代表正性与负性;
步骤(4)、模型输入模块选择模型,可以使用通过数据自行训练的模型或者内置模型库中之前已经训练好的模型;
步骤(5)、情感模式判定模块使用选定的模型对脑电波数据进行分析,以判断相应的情感为正性或负性,情感模式判定模块的输入为脑电波数据与选定的模型,其输出为情感判定的结果,即正性或负性;
步骤(6)、判定结果传输模块将情感判定结果传递给与之相连的外部系统,如警报系统。本发明的有益效果在于:
1.采用无监督的学习方法,避免了人工标记所导致的误差;
2.采用低通滤波对原始脑电波数据进行处理,过滤掉了噪声;
3.可移植性强,目前可在树莓派上应用,使得便携性得到提高;
4.结果判定速度快,实时性强。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为本发明的基于脑电波机器学习的情感判定装置的总体框图;
图2为本发明的实例一的聚类效果图;
图3为本发明的实例二的实验样本。
具体实施方式
下面结合附图进一步说明本发明的详细内容及其具体实施方式。
参见图1至图3所示,本发明的基于脑电波机器学习的情感判定装置及方法,原始脑电波数据经预处理后具有8个维度;使用到的机器学习方法有主成分分析(PCA)、K均值(K-means);情感判定是判定情感为正性情感抑或负性情感。
参见图1所示,本发明的基于脑电波机器学习的情感判定装置,包括数据传输模块、数据接收与处理模块、模型训练模块、模型输入模块、情感模式判定模块以及判定结果传输模块,所述数据传输模块与数据接收与处理模块相连,通过硬件向数据接收与处理模块传输所需数据,所述数据接收与处理模块分别与模型训练模块、情感模式判定模块相连,模型训练模块与模型输入模块相连,模型输入模块分别与内置模型库、情感模式判定模块相连,情感模式判定模块与判定结果传输模块相连。
本发明的基于脑电波机器学习的情感判定方法,包括如下步骤:
步骤(1)、数据传输模块通过硬件向数据接收与处理模块传输所需数据,数据传输模块没有输入,其输出为具有一定格式的原始脑电波数据;
步骤(2)、数据接收与处理模块对接收到的原始脑电波数据进行处理以得到可用于分析的脑电波数据,数据接收与处理模块的输入为原始脑电波数据,输出为具有8个维度的脑电波数据;
步骤(3)、模型训练模块对模型进行训练,其输入为具有8个维度的脑电波数据,其输出为训练好的模型,即两个聚类中心,分别代表正性与负性;
步骤(4)、模型输入模块选择模型,可以使用通过数据自行训练的模型或者内置模型库中之前已经训练好的模型;
步骤(5)、情感模式判定模块使用选定的模型对脑电波数据进行分析,以判断相应的情感为正性或负性,情感模式判定模块的输入为脑电波数据与选定的模型,其输出为情感判定的结果,即正性或负性;
步骤(6)、判定结果传输模块将情感判定结果传递给与之相连的外部系统,如警报系统。
实例一:
数据采集:
实验人员首先挑选若干喜剧与悲剧中具有强烈情感感染力的片段,并对其进行编排。实验在研讨室进行,影片片段通过投影仪进行播放,而数据采集则通过让受试者观看视频片段来完成。其间,受试者需佩戴数据采集设备以完成数据采集,实验人员需记录下受试者的干扰性动作(如咳嗽),以便减少误差。
数据传输:
数据经由采集设备传输到分析设备中,实验中通过减少采集设备与分析设备的距离与周围电磁场干扰来减少误差。
数据接收与处理:
使用低通滤波算法对接收到的原始脑电波数据进行降噪处理。
模型训练:
首先采用主成分分析法对经过预处理的脑电波数据进行降维处理,主要过程如下:
1.原始指标数据的标准化采集p维随机向量x=(x1,x2,...xp)T,n个样品xi=(xi1,xi2,...,xip)T,i=1,2,...n,n>p,构造样本阵,对样本阵元进行如下标准化变换:
其中得标准化阵Z;
2.对标准化阵Z求相关系数矩阵
其中,
3.解样本相关矩阵R的特征方程得p个特征根,确定主成分
确定m值,使信息的利用率达85%以上,对每个λj,j=1,2,...m,解方程组Rb=λjb得单位特征向量
4.将标准化后的指标变量转换为主成分
U1称为第一主成分,U2称为第二主成分,…,Up称为第p主成分。
将从上述过程中获得的前m个主成分定义为降维后的脑电波数据。接下来,使用K均值算法对降维后的脑电波数据进行聚类,具体过程如下:
1.随机选取2个中心点;
2.遍历所有数据,将每个数据划分到最近中心点的簇中;
3.计算每个簇中所有点的平均值,并作为该的新中心点;
4.重复2-3,直到2个中心点的位置不再变化后,得到最优的中心点,即分别代表正性和负性两种情感的聚类中心。
模型输入:
选择要使用的模型,模型可以是通过数据自行训练的模型或者之前已经训练好的模型。
情感模式判定:
使用选定的模型,对脑电波数据进行分析,以判断相应的情感为正性抑或负性,过程如下:
1.实时对一小段时间内的脑电波数据进行主成分分析
2.计算每一刻对应的降维后的脑电波数据与正负类聚类中心的距离,选取较近的聚类中心所代表的类为该时刻的情感类别。
判定结果传输:
将情感判定结果传递给与之相连的外部系统,如警报系统。
实例二:
数据采集:
在研讨室内使用投影仪播放,测试者与投影仪的屏幕距离为两米,图片大小固定不变,同时测试之前,播放5张图片来帮助测试者熟悉流程。实验开始前,先给受试者播放几段使人平静的音乐,当测试者情绪稳定时,开始播放图片,先是黑十字图片,播放2s。接下来随机放正或负性的图片一张,一张7s,之后显示灰色的横杠4s,流程如图3所示。
数据传输模块、数据接收与处理模块、模型训练模块、模型输入模块、情感模式判定模块以及判定结果传输模块的处理过程与实例一中相同。
以上所述仅为本发明的优选实例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡对本发明所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于脑电波机器学习的情感判定装置,其特征在于:包括数据传输模块、数据接收与处理模块、模型训练模块、模型输入模块、情感模式判定模块以及判定结果传输模块,所述数据传输模块与数据接收与处理模块相连,通过硬件向数据接收与处理模块传输所需数据,所述数据接收与处理模块分别与模型训练模块、情感模式判定模块相连,模型训练模块与模型输入模块相连,模型输入模块分别与内置模型库、情感模式判定模块相连,情感模式判定模块与判定结果传输模块相连。
2.根据权利要求1所述的基于脑电波机器学习的情感判定装置,其特征在于:判定方法包括如下步骤:
步骤(1)、数据传输模块通过硬件向数据接收与处理模块传输所需数据,数据传输模块没有输入,其输出为原始脑电波数据;
步骤(2)、数据接收与处理模块对接收到的原始脑电波数据进行处理以得到可用于分析的脑电波数据,数据接收与处理模块的输入为原始脑电波数据,输出为具有8个维度的脑电波数据;
步骤(3)、模型训练模块对模型进行训练,其输入为具有8个维度的脑电波数据,其输出为训练好的模型,即两个聚类中心,分别代表正性与负性;
步骤(4)、模型输入模块选择模型,可以使用通过数据自行训练的模型或者内置模型库中之前已经训练好的模型;
步骤(5)、情感模式判定模块使用选定的模型对脑电波数据进行分析,以判断相应的情感为正性或负性,情感模式判定模块的输入为脑电波数据与选定的模型,其输出为情感判定的结果,即正性或负性;
步骤(6)、判定结果传输模块将情感判定结果传递给与之相连的外部系统。
CN201710359954.5A 2017-05-20 2017-05-20 基于脑电波机器学习的情感判定装置及方法 Pending CN107193378A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710359954.5A CN107193378A (zh) 2017-05-20 2017-05-20 基于脑电波机器学习的情感判定装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710359954.5A CN107193378A (zh) 2017-05-20 2017-05-20 基于脑电波机器学习的情感判定装置及方法

Publications (1)

Publication Number Publication Date
CN107193378A true CN107193378A (zh) 2017-09-22

Family

ID=59875772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710359954.5A Pending CN107193378A (zh) 2017-05-20 2017-05-20 基于脑电波机器学习的情感判定装置及方法

Country Status (1)

Country Link
CN (1) CN107193378A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108836364A (zh) * 2018-04-19 2018-11-20 中国人民解放军陆军工程大学 基于脑波能量聚类分析的心理状态判定方法及系统
CN109602414A (zh) * 2018-11-12 2019-04-12 安徽心之声医疗科技有限公司 一种多视角转换的心电信号数据增强方法
CN109754091A (zh) * 2018-12-24 2019-05-14 上海乂学教育科技有限公司 一种基于脑波技术的自适应学习引擎训练系统及其应用
CN110472395A (zh) * 2019-08-05 2019-11-19 武汉联影医疗科技有限公司 脑波数据处理方法、装置、设备、介质及脑波数据处理器
CN111339431A (zh) * 2020-05-15 2020-06-26 支付宝(杭州)信息技术有限公司 一种目标信息的识别方法和系统
CN112370746A (zh) * 2020-11-12 2021-02-19 浙大宁波理工学院 基于在线自适应预测神经网络的智能健身负载控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090062681A1 (en) * 2007-08-29 2009-03-05 Neurofocus, Inc. Content based selection and meta tagging of advertisement breaks
CN105395192A (zh) * 2015-12-09 2016-03-16 恒爱高科(北京)科技有限公司 一种基于脑电的可穿戴情感识别方法和系统
CN105894039A (zh) * 2016-04-25 2016-08-24 京东方科技集团股份有限公司 情绪识别模型建立方法、情绪识别方法及装置、智能设备
CN106560765A (zh) * 2016-06-14 2017-04-12 深圳创达云睿智能科技有限公司 一种虚拟现实中内容交互的方法和装置
CN106620990A (zh) * 2016-11-24 2017-05-10 深圳创达云睿智能科技有限公司 一种调节情绪的方法及其装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090062681A1 (en) * 2007-08-29 2009-03-05 Neurofocus, Inc. Content based selection and meta tagging of advertisement breaks
CN105395192A (zh) * 2015-12-09 2016-03-16 恒爱高科(北京)科技有限公司 一种基于脑电的可穿戴情感识别方法和系统
CN105894039A (zh) * 2016-04-25 2016-08-24 京东方科技集团股份有限公司 情绪识别模型建立方法、情绪识别方法及装置、智能设备
CN106560765A (zh) * 2016-06-14 2017-04-12 深圳创达云睿智能科技有限公司 一种虚拟现实中内容交互的方法和装置
CN106620990A (zh) * 2016-11-24 2017-05-10 深圳创达云睿智能科技有限公司 一种调节情绪的方法及其装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108836364A (zh) * 2018-04-19 2018-11-20 中国人民解放军陆军工程大学 基于脑波能量聚类分析的心理状态判定方法及系统
CN109602414A (zh) * 2018-11-12 2019-04-12 安徽心之声医疗科技有限公司 一种多视角转换的心电信号数据增强方法
CN109754091A (zh) * 2018-12-24 2019-05-14 上海乂学教育科技有限公司 一种基于脑波技术的自适应学习引擎训练系统及其应用
CN109754091B (zh) * 2018-12-24 2020-05-19 上海乂学教育科技有限公司 一种基于脑波技术的自适应学习引擎训练系统及其应用
CN110472395A (zh) * 2019-08-05 2019-11-19 武汉联影医疗科技有限公司 脑波数据处理方法、装置、设备、介质及脑波数据处理器
CN111339431A (zh) * 2020-05-15 2020-06-26 支付宝(杭州)信息技术有限公司 一种目标信息的识别方法和系统
CN112370746A (zh) * 2020-11-12 2021-02-19 浙大宁波理工学院 基于在线自适应预测神经网络的智能健身负载控制系统

Similar Documents

Publication Publication Date Title
CN107193378A (zh) 基于脑电波机器学习的情感判定装置及方法
CN110507335B (zh) 基于多模态信息的服刑人员心理健康状态评估方法及系统
CN110516161B (zh) 一种推荐方法及装置
Liao et al. Deep facial spatiotemporal network for engagement prediction in online learning
CN107622797B (zh) 一种基于声音的身体状况确定系统及方法
CN109875579A (zh) 情绪健康管理系统和情绪健康管理方法
JP7091471B2 (ja) スマート・トイレ及び電気器具システム
CN110289003A (zh) 一种声纹识别的方法、模型训练的方法以及服务器
Komeili et al. Feature selection for nonstationary data: Application to human recognition using medical biometrics
US20150123766A1 (en) Escalating biometric identification
CN108899037A (zh) 动物声纹特征提取方法、装置及电子设备
Liu et al. Vocal resonance: Using internal body voice for wearable authentication
CN105393252A (zh) 生理数据采集和分析
CN112800998A (zh) 融合注意力机制和dmcca的多模态情感识别方法及系统
CN109508755B (zh) 一种基于图像认知的心理测评方法
CN106901758B (zh) 一种基于卷积神经网络的言语置信度评测方法
CN111202517A (zh) 一种睡眠自动分期方法、系统、介质及电子设备
CN109949935A (zh) 一种基于人工智能的个性化终端服务校园健康平台
Lu et al. Combined CNN and LSTM for motor imagery classification
CN110135244A (zh) 一种基于脑-机协同智能的表情识别方法
CN110244854A (zh) 一种多类别脑电数据识别的人工智能方法
Bhamare et al. Deep neural networks for lie detection with attention on bio-signals
CN116230234A (zh) 多模态特征一致性心理健康异常识别方法及系统
Moreno-Rodriguez et al. BIOMEX-DB: A cognitive audiovisual dataset for unimodal and multimodal biometric systems
CN110473176A (zh) 图像处理方法及装置、眼底图像处理方法、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170922