CN103077205A - 一种利用声音刺激诱发的erp进行语义声音搜索的方法 - Google Patents

一种利用声音刺激诱发的erp进行语义声音搜索的方法 Download PDF

Info

Publication number
CN103077205A
CN103077205A CN2012105833949A CN201210583394A CN103077205A CN 103077205 A CN103077205 A CN 103077205A CN 2012105833949 A CN2012105833949 A CN 2012105833949A CN 201210583394 A CN201210583394 A CN 201210583394A CN 103077205 A CN103077205 A CN 103077205A
Authority
CN
China
Prior art keywords
erp
sonic stimulation
semantic
sound
eeg signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012105833949A
Other languages
English (en)
Inventor
王怡雯
蒋磊
肖思远
蔡邦宇
张嘉璐
陈卫东
郑筱祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN2012105833949A priority Critical patent/CN103077205A/zh
Publication of CN103077205A publication Critical patent/CN103077205A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种利用声音刺激诱发的ERP进行语义声音搜索的方法，包括以下步骤：(1)向用户依次施加各类语义相关的声音刺激，使用户对各类语义相关的声音刺激产生相应的原始脑电信号；(2)在施加声音刺激的同时采集用户对所施加的声音刺激产生的原始脑电信号，并对原始脑电信号进行放大以及数字化处理；(3)将步骤(2)中处理得到的脑电信号进行ERP检测分析，依据ERP检测分析的结果，在步骤(1)中施加的各类语义相关的声音刺激中确定用户需要的一类语义的声音。本发明利用声音刺激诱发的ERP进行语义声音搜索的方法，利用用户在作为目标的一类语义的声音刺激和非目标语义的声音刺激诱发的ERP的差异，快速、准确地搜索到用户需要的一类语义的声音。

Description

一种利用声音刺激诱发的ERP进行语义声音搜索的方法
技术领域
本发明涉及脑机交互技术领域，具体涉及一种利用声音刺激诱发的ERP进行语义声音搜索的方法。
背景技术
在人感知外界环境的过程中，声音是非常重要的媒介，占总信息量的20％左右。随着互联网技术的飞速发展，声音数据呈几何级数增长，如何对海量的声音数据进行快速有效的搜索成为一个亟待解决的问题。
现阶段的声音数据搜索方式主要基于文本，即首先生成声音文件的文本标注，然后使用文本搜索技术实现对声音数据的搜索，但是，由于声音的很多重要的特征，比如声音所包含的语义很难用简单的文本表示，所以基于文本的搜索方式并不适用于对声音数据的搜索。
基于语义的声音搜索是声音检索领域的一门新兴技术，它提取声音数据包含的底层听觉特征，推导出其表达的人类认知的高层语义概念，并与用户的搜索请求中的语义信息相匹配，从而得出搜索结果。但是，由于原始声音数据仅仅是非语义非结构化的二进制流，缺乏语义的描述和结构化的组织，因而基于语义的声音搜索受到了极大的限制。
虽然随着互联网技术的发展，人们开发出了一系列基于语义的搜索方法，但是相对于日趋成熟的图像与视频搜索，声音搜索仍然相对滞后。
事件相关电位(Event Related Potential，ERP)从上世纪六七十年代起在神经科学领域有广泛的应用，它是指当外加一种特定的刺激，作用于感觉系统或脑的某一部位，在给予刺激或撤销刺激时，在脑区引起的电位变化。
1988年，Farwell和Donchin发明的“P300”打字机开启了将ERP技术运用到脑机接口(Brain Computer Interface，BCI)领域的新纪元。在接下来的二十多年时间里，基于ERP的BCI技术有了长足的发展，给人们提供了一种与外界交互的新的方式。
现有技术中的BCI系统通常包括：向用户施加刺激的脑电信号诱发系统，采集用户脑电信号的脑电信号采集系统以及对采集到的脑电信号进行分析的脑电信号分析系统。
当人对不同的刺激的关注程度或者感兴趣程度不同时，诱发的ERP将会有显著差异，通过使用一定的信号处理和模式识别算法，可以识别出这种差异，从而找出人关注的或者感兴趣的特定刺激。
基于ERP的这一特点，已经有人将ERP运用在图片搜索上，如美国哥伦比亚大学的Paul Sajda教授使用经典的RSVP(Rapid Serial VisualPresentation)范式诱发ERP，并将对ERP的分析与计算机视觉相结合，实现了在数据库中的快速图片搜索，然而，目前还未见利用ERP对声音搜索的报道。
发明内容
本发明提供了一种利用声音刺激诱发的ERP进行语义声音搜索的方法，能够快速、准确地搜索到具有同一语义的声音。
一种利用声音刺激诱发的ERP进行语义声音搜索的方法，包括以下步骤：
(1)向用户依次施加各类语义相关的声音刺激，使用户对各类语义相关的声音刺激产生相应的原始脑电信号；
(2)在施加声音刺激的同时采集用户对所施加的声音刺激产生的原始脑电信号，并对原始脑电信号进行放大以及数字化处理；
(3)将步骤(2)中处理得到的脑电信号进行ERP检测分析，依据ERP检测分析的结果，在步骤(1)中施加的语义相关的声音刺激中确定用户需要的一类语义的声音。
作为优选，所述步骤(1)中向用户施加各类语义相关的声音刺激之前，设置用于让用户集中注意力，并减少眨眼和身体移动的倒计时时间。
在利用声音刺激诱发的ERP进行语义声音搜索的过程中，需要用户集中注意力，在语义声音搜索之前设置倒计时时间，有助于得到ERP特征明显的原始脑电信号，提高声音搜索的准确性。
根据用户的需要以及应用环境的不同，为达到最佳的声音搜索效果，用户可以对声音刺激的参数进行修改，例如设置声音刺激时间间隔，同类语义的声音刺激出现的次数等参数。
如果相同语义的声音刺激连续出现，则脑电信号中的ERP强度会有所降低，因此，为了保证脑电信号中的ERP强度满足要求，优选地，所述步骤(1)中向用户依次施加各类语义相关的声音刺激时，各类语义相关的声音刺激随机出现且相同语义的声音刺激非连续出现。
为了得到最佳的声音搜索结果，优选地，所述步骤(1)中各类语义相关的声音刺激的时间间隔为500ms，同种语义的声音刺激出现10次。
作为优选，在步骤(3)中对脑电信号进行ERP检测分析之前，对脑电信号进行预处理，所述预处理包括：去除脑电信号中的直流成分，使用眼电信号相关消减算法去除脑电信号中的眼电伪迹，使用带通滤波器滤波。
去除脑电信号中的漂移成分和高频噪声以及可能对声音搜索结果造成干扰的眼电伪迹，提高声音搜索结果的可靠性。
作为优选，所述步骤(3)中对脑电信号进行ERP检测分析的具体过程为：根据不同语义的声音刺激出现的时间点，将脑电信号分为若干数据段，将相同语义的声音刺激对应的数据段进行叠加平均，得到每种语义的声音刺激诱发的平均ERP的特征向量，通过平均ERP的特征向量判断用户所需的一类语义的声音刺激，该语义的声音刺激即为语义声音搜索的结果。
依据平均ERP的特征向量判断用户所需的一类语义的声音可以采用线性或非线性的分类器，在利用平均ERP的特征向量判断用户所需的一类语义的声音之前，需要训练分类器以确定该用户特定的分类器参数。
本发明一种利用声音刺激诱发的ERP进行语义声音搜索的方法，利用用户在作为目标的一类语义的声音刺激和非目标语义的声音刺激诱发的ERP的差异，快速、准确地搜索到用户需要的一类语义的声音。
附图说明
图1为实现本发明利用声音刺激诱发的ERP进行语义声音搜索的方法的系统示意图；
图2为本发明利用声音刺激诱发的ERP进行语义声音搜索的方法中声音刺激的时间分布示意图；
图3为本发明利用声音刺激诱发的ERP进行语义声音搜索的方法流程图；
图4为本发明利用声音刺激诱发的ERP进行语义声音搜索的方法中处理原始脑电信号的流程图；
图5为本发明利用声音刺激诱发的ERP进行语义声音搜索的方法中ERP检测分析的流程图。
具体实施方式
下面结合附图，对本发明一种利用声音刺激诱发的ERP进行语义声音搜索的方法做详细描述。
一种利用声音刺激诱发的ERP进行语义声音搜索的方法，包括以下步骤：
(1)向用户施加各类语义相关的声音刺激，使用户对各类语义相关的声音刺激产生相应的原始脑电信号；
(2)在施加声音刺激的同时采集用户对所施加的声音刺激产生的原始脑电信号，并对原始脑电信号进行放大以及数字化处理；
(3)将步骤(2)中处理得到的脑电信号进行ERP检测分析，依据ERP检测分析的结果，确定用户所需的一类语义的声音。
如图1所示，通过用户界面进行声音刺激参数的设定，为了保证利用ERP进行声音判定的可靠性，一般设置声音刺激的时间间隔为500ms，同种语义的声音刺激出现10次。
在向用户施加声音刺激之前，让用户集中注意力并尽量减少眨眼和身体移动等动作，以免在脑电信息中产生干扰信号，例如，设置显示屏，在施加声音刺激之前，在显示屏中央显示5秒钟倒计时，倒计时结束后，依据声音刺激参数的设定向用户施加声音刺激。
如图3所示，向用户施加5s倒计时后，依次向用户施加各类语义的声音刺激，每个声音刺激持续时间为500ms，相邻两段声音刺激之间的间隔时间也为500ms，也即相邻两个声音刺激开始的时刻相距1000ms。
在对用户施加声音刺激的过程中，为了帮助用户集中注意力，减少因眼球转动而在脑电信号中出现干扰信号，用户双眼需正视纯灰色显示屏中央的黑色十字。
本实施例中选择青蛙、鱼、狗、虎、马、猫、鸟和羊等8种常见动物的声音作为声音刺激，代表8种不同的语义声音类别，即每一种动物的叫声为一种语义声音类别。
原始的声音素材均从专业的音效网站下载得到，为了保证声音刺激的效果，仅选择明显且有代表性的声音(如青蛙的呱呱声、鱼的吐泡声、狗的吠声、虎的吼声、马的嘶鸣声、猫的喵喵声、鸟的啼叫声以及羊的咩咩声)，从而让用户可以在非常短的时间内准确区别声音刺激的种类。
同时，为了保证声音刺激诱发的ERP质量，使用Adobe Audition(AdobeSystem)对声音文件作了如下标准化处理：
a、每个声音文件的长度统一为500ms，并将每个声音文件中语义辨识度最高部分的长度控制在420～450ms，对声音文件的开始10ms和结尾10ms做渐变处理使相邻声音刺激间衔接的噪声减到最小；
b、对所有声音文件进行“降噪”、“去除嘶声”等处理，使用频谱分析，去除声音频谱中主要分布频率以外的高频和低频成分，确保声音纯度，然后对所有声音文件的响度进行标准化，保证声音响度基本相同；
c、声音文件格式统一采用wav格式、22050Hz采样率、16位立体声，并且保证每个声音文件大小相近(49～53KB)。
声音文件经过标准化处理后，每种语义的声音有至少30种不同的候选声音文件。
为了确保声音的辨识度，让不同的人对声音文件进行辨别，剔除普遍反映不容易辨认的声音文件，最终每种语义类别(即每种动物的叫声)选出15个声音文件，声音文件的总数为8×15＝120。
在每次语义声音搜索的过程中，可通过刺激参数设置界面对同种语义的声音刺激出现的次数进行设置，从每种语义类别的15个声音文件中随机选取若干个声音文件作为声音刺激。
通常情况下，每一次语义声音搜索过程中，每种语义类别选择10个声音文件作为声音刺激，因此，声音刺激的总数为8×10＝80。
每一次语义声音搜索过程分为10轮，每轮中每种语义类别的声音各随机出现一次，为了保证诱发的ERP的鲁棒性，相邻两轮中相同语义的声音刺激避免连续出现。
如图2所示，将每一次语义搜索的时间划分为80段，每8时间段为一轮，每轮的8时间段分别对应一种语义的声音，且相邻轮中相同语义的声音不连续出现。
为了帮助用户集中注意力，诱发质量更高的ERP，用户可以对听到的目标语义的声音刺激计数。即用户第一次听到目标语义的声音则默念“1”，第二次听到则默念“2”，以此类推。
目标语义的声音也即用户需要的一类语义的声音，例如目标语义为老虎，则听到老虎的声音即计数。
在施加声音刺激的同时，利用64导电极帽采集用户的脑电信号，参考电极置于用户的鼻尖，接地电极为AFz，将采集到的用户头皮的原始脑电信号和每个声音刺激对应的事件代码等，通过USB接口实时存入PC机中。
为了保证脑电信号的质量，控制64导电极帽的电极与用户头皮之间的电阻在30kΩ以下。
此外，在用户的左眼处接有垂直双极眼电电极以监测用户的眨眼情况。脑电信号的采样率通常设置为1000Hz，使用上限为200Hz的模拟低通滤波器滤除高频干扰，同时使用50Hz的陷波滤波器滤除工频干扰。
如图4所示，原始脑电信号经过放大以及数字化处理后，进一步进行预处理，预处理包括：去除脑电信号中的直流成分，使用眼电信号相关消减算法去除脑电信号中的眼电伪迹，使用通带为0.5Hz～30Hz的2阶巴特沃兹(Butterworth)带通滤波器滤波。
预处理完毕后，提取每个声音刺激出现之前的200ms到出现之后800ms总计1000ms时长的数据段，以声音刺激出现之前200ms信号的平均值作为基线，将相同语义的声音对应的数据段进行叠加平均，得到每种语义的声音诱发的平均ERP。
如图2所示，例如时间点3和时间点4之间的声音为老虎的声音，时间点78和时间点79之间的声音也为老虎的声音，则将得到的相应时间段内的ERP进行叠加平均，得到老虎声音刺激诱发的平均ERP，本实施例中每次声音搜索每一语义的声音出现10次，将相应10个时间段内的声音刺激诱发的ERP进行叠加平均，得到每种语义的声音诱发的平均ERP。
可以采用各种特征提取的方法提取平均ERP的特征，得到平均ERP的特征向量，例如，提取每种语义的声音诱发的平均ERP中声音刺激出现之后0～800ms的部分，在采样频率为1000Hz时，共有800个采样点，采用降采样因子为20的滑动平均降采样方法把采样点降为40个，然后把每个通道的40个采样点首尾连接得到平均ERP的特征向量。
获得平均ERP的特征向量后，对平均ERP的特征向量进行分类比较，从而得到声音搜索结果，分类比较可以使用BCI领域常用的线性或者非线性分类算法，本发明采用SWLDA(Stepwise Linear Discriminant Analysis)作为分类器。
如图5所示，首先将每种语义的声音对应的平均ERP的特征向量输入到已经训练好的SWLDA分类器中，得到每个平均ERP的特征向量对应的输出值，然后找出最大的输出值所对应的事件代码，该事件代码对应的语义的声音即为搜索的结果。
例如，平均ERP的特征向量的最大的输出值对应的事件代码代表老虎，则相应的搜索结果为老虎的声音。
在使用本发明对声音进行搜索之前，需要训练分类器的参数，训练的流程与实际的语义声音搜索流程基本一致，唯一的不同是训练时不提供反馈输出。需要指出的是，本发明的搜索性能与用户的主观参与度十分相关，一旦用户出现疲劳而无法集中注意力时，应该停止搜索，待休息足够长的时间后再重新开始。

Claims (6)

1.一种利用声音刺激诱发的ERP进行语义声音搜索的方法，其特征在于，包括以下步骤：
(1)向用户依次施加各类语义相关的声音刺激，使用户对各类语义相关的声音刺激产生相应的原始脑电信号；
(2)在施加声音刺激的同时采集用户对所施加的声音刺激产生的原始脑电信号，并对原始脑电信号进行放大以及数字化处理；
(3)将步骤(2)中处理得到的脑电信号进行ERP检测分析，依据ERP检测分析的结果，在步骤(1)中施加的各类语义相关的声音刺激中确定用户需要的一类语义的声音。
2.如权利要求1所述的利用声音刺激诱发的ERP进行语义声音搜索的方法，其特征在于，所述步骤(1)中向用户施加各类语义相关的声音刺激之前，设置用于让用户集中注意力，并减少眨眼和身体移动的倒计时时间。
3.如权利要求2所述的利用声音刺激诱发的ERP进行语义声音搜索的方法，其特征在于，所述步骤(1)中向用户依次施加各类语义相关的声音刺激时，各类语义相关的声音刺激随机出现且相同语义的声音刺激非连续出现。
4.如权利要求3所述的利用声音刺激诱发的ERP进行语义声音搜索的方法，其特征在于，所述步骤(1)中各类语义相关的声音刺激的时间间隔为500ms，同种语义的声音刺激出现10次。
5.如权利要求4所述的利用声音刺激诱发的ERP进行语义声音搜索的方法，其特征在于，在步骤(3)中对脑电信号进行ERP检测分析之前，对脑电信号进行预处理，所述预处理包括：去除脑电信号中的直流成分，使用眼电信号相关消减算法去除脑电信号中的眼电伪迹，使用带通滤波器滤波。
6.如权利要求5所述的利用声音刺激诱发的ERP进行语义声音搜索的方法，其特征在于，所述步骤(3)中对脑电信号进行ERP检测分析的具体过程为：根据不同语义的声音刺激出现的时间点，将脑电信号分为若干数据段，将相同语义的声音刺激对应的数据段进行叠加平均，得到每种语义的声音刺激诱发的平均ERP的特征向量，依据平均ERP的特征向量判断用户所需的一类语义的声音刺激，该语义的声音刺激即为语义声音搜索的结果。
CN2012105833949A 2012-12-27 2012-12-27 一种利用声音刺激诱发的erp进行语义声音搜索的方法 Pending CN103077205A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012105833949A CN103077205A (zh) 2012-12-27 2012-12-27 一种利用声音刺激诱发的erp进行语义声音搜索的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012105833949A CN103077205A (zh) 2012-12-27 2012-12-27 一种利用声音刺激诱发的erp进行语义声音搜索的方法

Publications (1)

Publication Number Publication Date
CN103077205A true CN103077205A (zh) 2013-05-01

Family

ID=48153735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012105833949A Pending CN103077205A (zh) 2012-12-27 2012-12-27 一种利用声音刺激诱发的erp进行语义声音搜索的方法

Country Status (1)

Country Link
CN (1) CN103077205A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489453A (zh) * 2013-06-28 2014-01-01 陆蔚华 基于声学参数的产品情感量化方法
CN103631941A (zh) * 2013-12-11 2014-03-12 北京师范大学 基于脑电的目标图像检索系统
CN106527732A (zh) * 2016-11-30 2017-03-22 中国医学科学院生物医学工程研究所 体感电刺激脑机接口中特征信号的选择和优化方法
CN107427250A (zh) * 2015-04-06 2017-12-01 国立研究开发法人情报通信研究机构 通过脑活动的解析推测感知语义内容的推测方法
CN108852348A (zh) * 2018-05-14 2018-11-23 中国人民解放军军事科学院军事医学研究院 头皮脑电的采集位点排序方法及系统
CN112869754A (zh) * 2021-01-08 2021-06-01 浙江大学 一种脑机融合的神经信号测谎方法
CN113419626A (zh) * 2021-06-17 2021-09-21 深圳大学 基于声音刺激序列的稳态认知响应分析的方法、装置
CN114781461A (zh) * 2022-05-25 2022-07-22 北京理工大学 一种基于听觉脑机接口的目标探测方法与系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030195883A1 (en) * 2002-04-15 2003-10-16 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning
CN101339455A (zh) * 2008-08-07 2009-01-07 北京师范大学 基于人脸识别特异性波n170成分的脑机接口系统
CN101464729A (zh) * 2009-01-05 2009-06-24 清华大学 基于听觉认知神经信号的自主意愿表达方法
US20090312624A1 (en) * 2008-02-25 2009-12-17 Berridge Craig W Electrophysiological screens for cognitive modulators
CN102184019A (zh) * 2011-05-16 2011-09-14 天津大学 基于隐性注意的视听联合刺激脑-机接口方法
CN102793540A (zh) * 2012-06-14 2012-11-28 天津大学 一种视听认知事件相关电位实验范式的优化方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030195883A1 (en) * 2002-04-15 2003-10-16 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning
US20090312624A1 (en) * 2008-02-25 2009-12-17 Berridge Craig W Electrophysiological screens for cognitive modulators
CN101339455A (zh) * 2008-08-07 2009-01-07 北京师范大学 基于人脸识别特异性波n170成分的脑机接口系统
CN101464729A (zh) * 2009-01-05 2009-06-24 清华大学 基于听觉认知神经信号的自主意愿表达方法
CN102184019A (zh) * 2011-05-16 2011-09-14 天津大学 基于隐性注意的视听联合刺激脑-机接口方法
CN102793540A (zh) * 2012-06-14 2012-11-28 天津大学 一种视听认知事件相关电位实验范式的优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴边: "基于P300电位的新型BCI中文输入虚拟键盘系统", 《电子学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489453A (zh) * 2013-06-28 2014-01-01 陆蔚华 基于声学参数的产品情感量化方法
CN103489453B (zh) * 2013-06-28 2015-12-23 陆蔚华 基于声学参数的产品情感量化方法
CN103631941A (zh) * 2013-12-11 2014-03-12 北京师范大学 基于脑电的目标图像检索系统
CN103631941B (zh) * 2013-12-11 2019-10-25 北京师范大学 基于脑电的目标图像检索系统
CN107427250A (zh) * 2015-04-06 2017-12-01 国立研究开发法人情报通信研究机构 通过脑活动的解析推测感知语义内容的推测方法
CN106527732A (zh) * 2016-11-30 2017-03-22 中国医学科学院生物医学工程研究所 体感电刺激脑机接口中特征信号的选择和优化方法
CN106527732B (zh) * 2016-11-30 2019-04-19 中国医学科学院生物医学工程研究所 体感电刺激脑机接口中特征信号的选择和优化方法
CN108852348A (zh) * 2018-05-14 2018-11-23 中国人民解放军军事科学院军事医学研究院 头皮脑电的采集位点排序方法及系统
CN112869754A (zh) * 2021-01-08 2021-06-01 浙江大学 一种脑机融合的神经信号测谎方法
CN113419626A (zh) * 2021-06-17 2021-09-21 深圳大学 基于声音刺激序列的稳态认知响应分析的方法、装置
CN114781461A (zh) * 2022-05-25 2022-07-22 北京理工大学 一种基于听觉脑机接口的目标探测方法与系统

Similar Documents

Publication Publication Date Title
CN103077205A (zh) 一种利用声音刺激诱发的erp进行语义声音搜索的方法
Krishna et al. An efficient mixture model approach in brain-machine interface systems for extracting the psychological status of mentally impaired persons using EEG signals
CN110070105B (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
KR20150076167A (ko) 감각 및 인지 프로파일링을 위한 시스템 및 방법
CN111544015B (zh) 基于认知力的操控工效分析方法、设备及系统
CN111598451B (zh) 基于任务执行能力的操控工效分析方法、设备及系统
CN114999237B (zh) 一种智慧教育互动教学方法
CN103077206A (zh) 一种基于事件相关电位的图片语义分类搜索方法
CN105212949A (zh) 一种使用皮肤电信号进行文化体验情感识别的方法
CN115376695A (zh) 基于扩展现实的神经心理评估及干预的方法、系统和装置
CN107669266A (zh) 一种动物脑电分析系统
CN115713246A (zh) 一种关于虚拟场景的多模态人机交互的性能评估方法
Li et al. Multi-modal emotion recognition based on deep learning of EEG and audio signals
CN108509869A (zh) 基于OpenBCI的特征集优化在线训练方法
US11666267B2 (en) Knowledge, interest and experience discovery by psychophysiologic response to external stimulation
CN117883082A (zh) 一种异常情绪识别方法、系统、设备及介质
Jaswal et al. Empirical analysis of multiple modalities for emotion recognition using convolutional neural network
CN112957049A (zh) 基于脑机接口设备技术的注意力状态监测装置及方法
CN117407748A (zh) 基于图卷积和融合注意力的脑电情绪识别方法
Gao et al. An ICA/HHT hybrid approach for automatic ocular artifact correction
CN115633961A (zh) 基于动态加权决策融合恐高情绪识别模型构建方法与系统
CN114063773A (zh) 基于卷积神经网络和脑电大数据的跨个体脑机接口系统
KR101548453B1 (ko) 뇌파신호 및 눈 깜빡임 신호의 획득과 분석 기술을 이용한 문화 콘텐츠 평가 방법 및 장치
Lan et al. Stable feature selection for EEG-based emotion recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130501