CN112465152B - 一种适用于情绪脑-机接口的在线迁移学习方法 - Google Patents

一种适用于情绪脑-机接口的在线迁移学习方法 Download PDF

Info

Publication number
CN112465152B
CN112465152B CN202011394394.5A CN202011394394A CN112465152B CN 112465152 B CN112465152 B CN 112465152B CN 202011394394 A CN202011394394 A CN 202011394394A CN 112465152 B CN112465152 B CN 112465152B
Authority
CN
China
Prior art keywords
classifier
data
integration
classifiers
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011394394.5A
Other languages
English (en)
Other versions
CN112465152A (zh
Inventor
李劲鹏
陈昊
蔡挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Huamei Hospital University of CAS
Original Assignee
Ningbo Huamei Hospital University of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Huamei Hospital University of CAS filed Critical Ningbo Huamei Hospital University of CAS
Priority to CN202011394394.5A priority Critical patent/CN112465152B/zh
Publication of CN112465152A publication Critical patent/CN112465152A/zh
Application granted granted Critical
Publication of CN112465152B publication Critical patent/CN112465152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Artificial Intelligence (AREA)
  • Neurosurgery (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种适用于情绪脑‑机接口的在线迁移学习方法，包括以下步骤：A.分类器训练：数据池的历史数据中，训练得到基准分类器
Figure 449997DEST_PATH_IMAGE001
并保存；B.分类器权重化：拿出数据池中的m个分类器，分别进行测试得到对应的m个准确率；C.实例选择：将m个源数据堆砌成一个310维的大型矩阵，将基准分类器
Figure 786128DEST_PATH_IMAGE001
用于对这些数据的测试，得到对应的预测标签后跟真实标签进行对比；D.分类器更新：步骤C中得到基准分类器中准确率高的数据，合并为一个新的310维的矩阵，作为训练数据再去更新基准分类器
Figure 834987DEST_PATH_IMAGE001
；E.分类器集成：将数据池中的m个分类器和
Figure 845668DEST_PATH_IMAGE001
基准分类器进行分类器集成。其优点在于：结合被试数据和历史数据，能够提升算法效果和速度，提高准确率。

Description

一种适用于情绪脑-机接口的在线迁移学习方法
技术领域
本发明涉及计算机情绪识别技术领域，具体地说是一种适用于情绪脑-机接口的在线迁移学习方法。
背景技术
情感识别在人类的感知、推理、决策、社交和行为选择中起到关键作用，在构建更加友好和人性化的人机交互系统的时候，人类的情感因素应该被考虑进去，其中包括能感知、识别和理解人类情感的智能机器。实现这一目标的第一步是情绪识别，这是一种结合了生理学、神经科学和计算机科学的跨学科技术。
传统的情绪识别方法使用了面部表情、语言、物理动作来推断人的情绪，这些信号虽然容易采集，但是由于不同文化不同背景的人有不同的表达习惯，这些采集出来的数据难以用来真正识别情感。在过去5年内，基于脑电图的情绪识别得到了大范围的关注，脑电信号是一种比传统方法更准确、更客观的生理信号。随着可穿戴、非植入式的电极设备的发明和发展，脑电图已经成为情绪识别中重要的一种方法。
基于脑电的情绪识别流程为：
1）用刺激来激发情绪。最近的研究都通过播放影片刺激。
2）脑电信号的记录和预处理。在刺激过程中，脑电信号会被采集并被打上对应的标签，通常被试者也会进行自检测试来确保被激发的情绪与影片刺激的目标情绪一致；预处理阶段通常包括了采样，滤波器和人工去除噪声。
3）特征提取。通常情况下，脑电信号中存在许多的噪声信息，这些噪声信息对于情绪识别存在极大的影响，为了得到一个更好的信噪比，特征提取是一个必须的步骤。
4）训练分类器。这一步应用了机器学习作为情绪分类器，通常使用的分类器为支持向量机和逻辑回归等。
在近几年，深度学习也展现出了高于传统机器学习方法的优越性，但是需要耗费大量时间和大量训练数据以保持模型的性能。在实际应用中，由于脑电很难一次性全部采集，更多的情况是先采集到单个被试的前部分脑电并打上标签，然后对于之后新采集到的脑电进行预测分析；另外实际情况中，除了刚被采集的被试的数据外，也存在一些历史采集的脑电数据，如果单纯仅使用被试的数据进行分析处理的话，是对历史数据的一种浪费。
发明内容
本发明之目的是弥补上述之不足，向社会公开结合被试数据和历史数据，能够提升算法效果和速度，提高准确率的一种适用于情绪脑-机接口的在线迁移学习方法。
本发明的技术方案是这样实现的：
一种适用于情绪脑-机接口的在线迁移学习方法，包括以下步骤：
A.分类器训练：在数据池的历史数据中，对于目标被试的带标签数据
Figure 557034DEST_PATH_IMAGE001
，用带有一 个线性核的支持向量机进行训练，得到基准分类器
Figure 349540DEST_PATH_IMAGE002
并保存；
B.分类器权重化：拿出数据池中的m个分类器，分别在目标被试的带标签数据
Figure 129278DEST_PATH_IMAGE001
上 进行测试，得到对应的m个准确率，并保存准确率；
C.实例选择：将m个源数据堆砌成一个310维的大型矩阵，然后将基准分类器
Figure 399853DEST_PATH_IMAGE002
用 于对这些数据的测试，得到对应的预测标签后跟真实标签进行对比，然后根据带标签的数 据
Figure 214225DEST_PATH_IMAGE001
的数量作为依据，成倍地选择增量样本；
D.分类器更新：得到从步骤C中根据基准分类器选择出的数据后，将它们与目标被 试带标签的数据
Figure 912054DEST_PATH_IMAGE001
合并为一个新的310维的矩阵后，作为训练数据再去更新基准分类器
Figure 179087DEST_PATH_IMAGE002
；
E.分类器集成：将数据池中的m个分类器和
Figure 253354DEST_PATH_IMAGE002
基准分类器进行分类器集成，用集成 后的分类器去测试被试不带标签的数据
Figure 922232DEST_PATH_IMAGE003
。
进一步优化本技术方案的措施是：
所述的步骤C中，采用点积作为衡量预测和真实标签的相关度的准则，点积越大，预测结果和真实结果相关度越高。
所述的步骤E中，数据池中的m个分类器和
Figure 790962DEST_PATH_IMAGE002
基准分类器进行分类器集成，采用带 权重的套装集成方式。
所述的分类器集成中，基准分类器的权重设置为
Figure 545292DEST_PATH_IMAGE004
，其他的分类器的权重 为1。
所述的分类器集成中，准确率低于0.6的分类器，不参与集成。
本发明与现有技术相比的优点是：
本发明以迁移学习为基础，结合历史数据中与被试数据相关度高的数据和机器学习自动化学习数据特征的能力，在大量已有信息中提取出适合作为新任务的知识在高纬度脑电信息中准确分辨情绪标签。充分利用已存在的分类器来帮助基准分类器达到更好的性能，能够提升算法效果和速度，提高准确率。
附图说明
图1为本发明的工作原理图。
具体实施方式
下面结合附图进一步详细描述本发明：
如图1所示，
一种适用于情绪脑-机接口的在线迁移学习方法，包括以下步骤：
A.分类器训练：在数据池的历史数据中，对于目标被试的带标签数据
Figure 282304DEST_PATH_IMAGE001
，用带有一 个线性核的支持向量机进行训练，得到基准分类器
Figure 681055DEST_PATH_IMAGE002
并保存；并在目标被试的不带标签数 据上测试
Figure 110899DEST_PATH_IMAGE003
，该分类器基本上能训练到高于90%的预测率。
B.分类器权重化(模型权重分配)：拿出数据池中的m个分类器，分别在目标被试的 带标签数据
Figure 227891DEST_PATH_IMAGE001
上进行测试，得到对应的m个准确率，并保存准确率；准确率定义为预测正确 的/全部的样本数，即TP+TN/（TP+TN+FP+FN）。其中，TP（True Positives）是预测为正样本， 实际也为正样本；TN（True Negatives）是预测为负样本，实际也为负样本；FP（False Positives）是预测为正样本，实际为负样本；FN（False Negatives）是预测为负样本，实际 为正样本。
C.实例选择：将m个源数据堆砌成一个310维的大型矩阵，该大型矩阵包含万数量 级别的带标签的数据，然后将基准分类器
Figure 378381DEST_PATH_IMAGE002
用于对这些数据的测试，得到对应的预测标签 后跟真实标签进行对比，这里采用点积作为衡量预测和真实标签的相关度的准则，点积越 大，预测结果和真实结果相关度越高，然后根据带标签的数据
Figure 21852DEST_PATH_IMAGE001
的数量作为依据，成倍地选 择增量样本；经过测试，扩增4倍量的数据，效果较佳。
D.分类器更新：得到从步骤C中根据基准分类器选择出的数据后，将它们与目标被 试带标签的数据
Figure 232384DEST_PATH_IMAGE001
合并为一个新的310维的矩阵后，作为训练数据再去更新基准分类器
Figure 961306DEST_PATH_IMAGE002
； 经过更新后的分类器较步骤A中的分类器，在大部分迁移情况下也基本上有着2%以上的性 能提升，在部分迁移情况下性能提升可达10%。
E.分类器集成：将数据池中的m个分类器和
Figure 915487DEST_PATH_IMAGE002
基准分类器进行分类器集成，用集成 后的分类器去测试被试不带标签的数据
Figure 413464DEST_PATH_IMAGE003
。通过分类器集成可以充分利用已存在的分类器 来帮助基准分类器达到更好的性能。数据池中的m个分类器和
Figure 185111DEST_PATH_IMAGE002
基准分类器进行分类器集 成，采用带权重的套装集成方式，即赋予各个分类器不同的权重，然后将预测结果相加起来 作为最终的预测结果，这里，让基准分类器在所有分类器中占主导地位，将基准分类器的权 重设置为
Figure 489143DEST_PATH_IMAGE004
，其他的分类器的权重设置为1。由于个别分类器所学习到的知识在实际 的目标数据预测中可能带来极大的噪声，所以我们设置了一个阈值0.6，即准确率低于0.6 的分类器，不参与分类器集成。经过试验对比，用集成后的分类器去测试被试不带标签的数 据
Figure 371648DEST_PATH_IMAGE003
较原始基准分类器性能上有显著提升，准确率提升了2%至14%。
如图1所示，在模型(分类器)训练过程中，本发明涉及分类自动分配权重、实例智 能选择、分类自动更新、分类集成方法。在分类器训练过程中，使用带有情绪标签的样本训 练预测模型，随后，该分类器以参数形式存在于服务器中。在测试过程即应用过程中，无情 绪标签的样本输入情绪识别模型，模型快速分析样本，并返回样本所对应的情绪标签。
Figure 333919DEST_PATH_IMAGE005
代表已有的脑电历史数据和对应的在这些数据上已经训练过的分类器
Figure 276467DEST_PATH_IMAGE006
。
Figure 855347DEST_PATH_IMAGE001
代表目标被试的已经打上标签的数据，
Figure 275964DEST_PATH_IMAGE002
表示在
Figure 623900DEST_PATH_IMAGE001
上训练出来的基准分 类器。
Figure 737350DEST_PATH_IMAGE007
代表源数据池中已有的分类器对于
Figure 662581DEST_PATH_IMAGE001
的预测，然后根据这个预测出 来的准确率定各个分类器在之后集成时候的权重。
Figure 762255DEST_PATH_IMAGE008
代表基准分类器
Figure 823752DEST_PATH_IMAGE002
根据源数据池中各 个数据的表现能力来选择跟目标数据相关的数据，最后
Figure 983469DEST_PATH_IMAGE003
代表被试目标数据中新进的未带 标签的数据。
上述过程中，涵盖了两种主要算法：
(1)脑电相关数据的选择算法。在本发明中，在步骤C中如何更好地选择相关的数据以帮助模型的性能提升是关键点之一。经过多重选择方式的测试，最后确定了根据步骤A中训练好的基准分类器在源数据池中的数据集上的分类表现，然后根据对应的衡量标准来选择分类器有较高分类准确率的数据。
(2)预测模型的集成算法。在本发明中，除了在基准分类器上通过增加相关数据来提升分类性能外，还结合了模型集成算法，通过选择强相关的其他分类器，来帮助基准分类器做出更准确的预测。
本发明以迁移学习为基础，结合历史数据中与被试数据相关度高的数据和机器学习自动化学习数据特征的能力，在大量已有信息中提取出适合作为新任务的知识在高纬度脑电信息中准确分辨情绪标签。充分利用已存在的分类器来帮助基准分类器达到更好的性能，能够提升算法效果和速度，提高准确率。
本发明的最佳实施例已被阐明，由本领域普通技术人员做出的各种变化或改型都不会脱离本发明的范围。

Claims (5)

1.一种适用于情绪脑-机接口的在线迁移学习方法，其特征是：包括以下步骤：
步骤一、用刺激来激发情绪，并采集情绪脑电信号；
步骤二、脑电信号的记录和预处理，对采集的脑电信号打上对应的标签；
步骤三、特征提取；
步骤四、训练分类器：
A.分类器训练：在数据池的历史数据中，对于目标被试的带标签数据
Figure DEST_PATH_IMAGE001
，用带有一个线 性核的支持向量机进行训练，得到基准分类器
Figure 935299DEST_PATH_IMAGE002
并保存；
B.分类器权重化：拿出数据池中的m个分类器，分别在目标被试的带标签数据
Figure 948386DEST_PATH_IMAGE001
上进行 测试，得到对应的m个准确率，并保存准确率；
C.实例选择：将m个源数据堆砌成一个310维的大型矩阵，然后将基准分类器
Figure 472908DEST_PATH_IMAGE002
用于对 这些数据的测试，得到对应的预测标签后跟真实标签进行对比，然后根据带标签的数据
Figure 663456DEST_PATH_IMAGE001
的 数量作为依据，成倍地选择增量样本；
D.分类器更新：得到从步骤C中根据基准分类器选择出的数据后，将它们与目标被试带 标签的数据
Figure 541413DEST_PATH_IMAGE001
合并为一个新的310维的矩阵后，作为训练数据再去更新基准分类器
Figure 595957DEST_PATH_IMAGE002
；
E.分类器集成：将数据池中的m个分类器和
Figure 229063DEST_PATH_IMAGE002
基准分类器进行分类器集成，用集成后的 分类器去测试被试不带标签的数据
Figure DEST_PATH_IMAGE003
；
步骤五、采用步骤四中训练后的分类器来分析待测脑电信号，输出情绪结果。
2.根据权利要求1所述的一种适用于情绪脑-机接口的在线迁移学习方法，其特征是：所述的步骤C中，采用点积作为衡量预测和真实标签的相关度的准则，点积越大，预测结果和真实结果相关度越高。
3.根据权利要求1所述的一种适用于情绪脑-机接口的在线迁移学习方法，其特征是： 所述的步骤E中，数据池中的m个分类器和
Figure 47853DEST_PATH_IMAGE002
基准分类器进行分类器集成，采用带权重的套 装集成方式。
4.根据权利要求3所述的一种适用于情绪脑-机接口的在线迁移学习方法，其特征是： 所述的分类器集成中，基准分类器的权重设置为
Figure 526238DEST_PATH_IMAGE004
，其他的分类器的权重为1。
5.根据权利要求4所述的一种适用于情绪脑-机接口的在线迁移学习方法，其特征是：所述的分类器集成中，准确率低于0.6的分类器，不参与集成。
CN202011394394.5A 2020-12-03 2020-12-03 一种适用于情绪脑-机接口的在线迁移学习方法 Active CN112465152B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011394394.5A CN112465152B (zh) 2020-12-03 2020-12-03 一种适用于情绪脑-机接口的在线迁移学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011394394.5A CN112465152B (zh) 2020-12-03 2020-12-03 一种适用于情绪脑-机接口的在线迁移学习方法

Publications (2)

Publication Number Publication Date
CN112465152A CN112465152A (zh) 2021-03-09
CN112465152B true CN112465152B (zh) 2022-11-29

Family

ID=74806400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011394394.5A Active CN112465152B (zh) 2020-12-03 2020-12-03 一种适用于情绪脑-机接口的在线迁移学习方法

Country Status (1)

Country Link
CN (1) CN112465152B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521656A (zh) * 2011-12-29 2012-06-27 北京工商大学 非平衡样本分类的集成迁移学习方法
CN104508671A (zh) * 2012-06-21 2015-04-08 菲利普莫里斯生产公司 用于通过集成的偏差校正和分类预测生成生物标记签名的系统和方法
CN107316061A (zh) * 2017-06-22 2017-11-03 华南理工大学 一种深度迁移学习的不平衡分类集成方法
CN108460134A (zh) * 2018-03-06 2018-08-28 云南大学 基于多源域集成迁移学习的文本主题分类模型及分类方法
CN110070105A (zh) * 2019-03-25 2019-07-30 中国科学院自动化研究所 基于元学习实例快速筛选的脑电情绪识别方法、系统
CN111134667A (zh) * 2020-01-19 2020-05-12 中国人民解放军战略支援部队信息工程大学 基于脑电信号的时间迁移情绪识别方法及系统
CN111598187A (zh) * 2019-08-27 2020-08-28 华南理工大学 一种基于核宽度学习系统的渐进式集成分类方法
CN111723661A (zh) * 2020-05-18 2020-09-29 华南理工大学 一种基于流形嵌入分布对齐的脑机接口迁移学习方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160162807A1 (en) * 2014-12-04 2016-06-09 Carnegie Mellon University, A Pennsylvania Non-Profit Corporation Emotion Recognition System and Method for Modulating the Behavior of Intelligent Systems
US11586970B2 (en) * 2018-01-30 2023-02-21 Wipro Limited Systems and methods for initial learning of an adaptive deterministic classifier for data extraction

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521656A (zh) * 2011-12-29 2012-06-27 北京工商大学 非平衡样本分类的集成迁移学习方法
CN104508671A (zh) * 2012-06-21 2015-04-08 菲利普莫里斯生产公司 用于通过集成的偏差校正和分类预测生成生物标记签名的系统和方法
CN107316061A (zh) * 2017-06-22 2017-11-03 华南理工大学 一种深度迁移学习的不平衡分类集成方法
CN108460134A (zh) * 2018-03-06 2018-08-28 云南大学 基于多源域集成迁移学习的文本主题分类模型及分类方法
CN110070105A (zh) * 2019-03-25 2019-07-30 中国科学院自动化研究所 基于元学习实例快速筛选的脑电情绪识别方法、系统
CN111598187A (zh) * 2019-08-27 2020-08-28 华南理工大学 一种基于核宽度学习系统的渐进式集成分类方法
CN111134667A (zh) * 2020-01-19 2020-05-12 中国人民解放军战略支援部队信息工程大学 基于脑电信号的时间迁移情绪识别方法及系统
CN111723661A (zh) * 2020-05-18 2020-09-29 华南理工大学 一种基于流形嵌入分布对齐的脑机接口迁移学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多源域迁移学习的脑电情感识别;娄晓光,等;《计算机工程与设计》;20200731;第41卷(第07期);全文 *

Also Published As

Publication number Publication date
CN112465152A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN103714261A (zh) 二阶段混合模型的智能辅助医疗决策支持方法
CN110569982A (zh) 一种基于元学习的主动采样方法
CN109086794B (zh) 一种基于t-lda主题模型的驾驶行为模式识方法
CN113722474A (zh) 文本分类方法、装置、设备及存储介质
CN113069117A (zh) 一种基于时间卷积神经网络的脑电情绪识别方法及系统
CN115563484A (zh) 一种基于生理唤醒识别的街道绿化品质检测方法
CN113936795A (zh) 一种老年肺癌发病危险因素定量分析方法
Nafiz et al. Automated Detection of COVID-19 Cough Sound using Mel-Spectrogram Images and Convolutional Neural Network
Acharjee et al. Potato leaf diseases detection using deep learning
Saroja et al. Data‐Driven Decision Making in IoT Healthcare Systems—COVID‐19: A Case Study
Rangulov et al. Emotion recognition on large video dataset based on convolutional feature extractor and recurrent neural network
CN109101883A (zh) 一种抑郁倾向评价装置及系统
CN112465152B (zh) 一种适用于情绪脑-机接口的在线迁移学习方法
Abdullah et al. Parkinson’s Disease Symptom Detection using Hybrid Feature Extraction and Classification Model
Dsouza et al. Real Time Facial Emotion Recognition Using CNN
CN112465054B (zh) 一种基于fcn的多变量时间序列数据分类方法
CN113361653A (zh) 基于数据样本增强的深度学习模型去偏方法和装置
Chakraborty A study on different classification models for predicting dyslexia
Nadeeshani et al. Automated analysis of children emotion expression levels
Wang et al. MFCC-based deep convolutional neural network for audio depression recognition
Upadhyay et al. Stacked SVM model for Dysthymia prediction in undergraduates students
Kumar et al. VGG 16 Based Human Emotion Classification Using Thermal Images Through Transfer Learning
CN116503674B (zh) 一种基于语义指导的小样本图像分类方法、装置及介质
Akhila et al. Classification of Cervical Cancer Using an Autoencoder and Cascaded Multilayer Perceptron
John Practical cough detection in presence of background noise and preliminary differential diagnosis from cough sound using artificial intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant