CN106502386B - 一种建立色觉自动识别的非注意事件相关电位脑-机接口的方法 - Google Patents

一种建立色觉自动识别的非注意事件相关电位脑-机接口的方法 Download PDF

Info

Publication number
CN106502386B
CN106502386B CN201610847891.3A CN201610847891A CN106502386B CN 106502386 B CN106502386 B CN 106502386B CN 201610847891 A CN201610847891 A CN 201610847891A CN 106502386 B CN106502386 B CN 106502386B
Authority
CN
China
Prior art keywords
colour
colour vision
related potential
event related
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610847891.3A
Other languages
English (en)
Other versions
CN106502386A (zh
Inventor
陶陆阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201610847891.3A priority Critical patent/CN106502386B/zh
Priority to PCT/CN2016/101833 priority patent/WO2018053886A1/zh
Publication of CN106502386A publication Critical patent/CN106502386A/zh
Application granted granted Critical
Publication of CN106502386B publication Critical patent/CN106502386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及一种色觉自动识别的非注意事件相关电位脑‑机接口方法，包括以下步骤：将事件相关电位处理装置与检测脑电信号的放大器及多导联电极帽连接；设定上述处理装置中颜色刺激图片对用户的色觉刺激参数；在用户进行色觉刺激的同时对用户施加听觉刺激；采集上述过程中用户的非注意事件相关电位的原始脑电信号；应用事件相关电位处理装置对原始脑电信号进行处理和分析，得到不同色觉序列刺激产生的时序性特异成分，并根据这些特异成分建立色觉自动识别的非注意事件相关电位脑‑机接口。本发明建立的色觉ERP非注意加工脑‑机接口，为色觉自动识别的脑‑机交互以及客观检测色觉功能提供新的技术手段，克服需要用户主观配合的缺点。

Description

一种建立色觉自动识别的非注意事件相关电位脑-机接口的 方法
技术领域
本发明涉及人机交互技术领域，尤其涉及一种建立色觉自动识别的非注意事件相关电位脑-机接口的方法。
背景技术
色觉是视觉功能基本而重要的组成部分，是人类视网膜视锥细胞的特殊感觉功能。正常人眼可见光线的波长是390～780毫微米，一般可辨出包括红、橙、黄、绿、青、蓝、紫7种主要颜色在内的120～180种不同的颜色，如缺乏色觉或色觉不正常，就是色盲或色弱。因视锥细胞集中分布在视网膜中心部，故中心部辨色能力最强，周边部视网膜对绿、红、黄、蓝4种颜色的感受力依次降低并逐渐消失。因红、绿、蓝3种色光作适当混合可产生白光以及光谱上的任何颜色，所以目前多用“三原色学说”来解释色觉机理。
脑-机接口(brain computer interface，BCI)系统是一种不需要外周神经与肌肉参与的通讯系统，它旨在建立人脑与外部世界直接交流的通道，通过提取特征性脑电信号，从而将识别出的大脑指令或者信息传递给被控制的外部设备，最终完成大脑对外部设备的直接控制。相对于其它信号的BCI系统，基于视觉诱发电位的BCI通常具有更高的信息传输率、时间分辨率、系统简便等优点。色觉的检查方法包括假同色图检查法、彩色绒线检查法、色相排列法、色觉镜检查法等，但所有检查方法均需要被试者主观配合，都是利用事件相关电位(event related potential，ERP)、功能磁共振及近红外检测方法对大脑主动的注意加工过程进行识别，而缺乏对大脑自动加工时大脑变化进行识别的方法及与其相对应的非注意加工脑机接口基础数据。
鉴于上述原因，本发明人积极加以研究创新，以期创建一种新型色觉自动识别的非注意事件相关电位脑-机接口方法，使其更具有产业上的利用价值。
发明内容
为解决上述技术问题，本发明的目的是提供一种建立色觉自动识别的非注意事件相关电位脑-机接口的方法，建立视觉ERP刺激序列和采集方法，研究大脑在颜色变化过程中的自动感知，进而建立自动判断颜色变化的脑-机接口，本发明对建立脑-机颜色的信息交互并开发相应的仪器检测设备具有广泛的应用前景。
本发明公开了一种建立色觉自动识别的非注意事件相关电位脑-机接口的方法，包括以下步骤：
(1)将事件相关电位处理装置与检测脑电信号的放大器及多导联电极帽连接；
(2)设定事件相关电位处理装置中颜色刺激图片对用户的色觉刺激参数；
(3)在用户进行色觉刺激的同时对用户施加听觉刺激；
(4)通过放大器及多导联电极帽采集步骤(3)过程中用户的非注意事件相关电位的原始脑电信号；
(5)应用事件相关电位处理装置对原始脑电信号进行处理和分析，得到色觉刺激产生的差异成分，比对色觉刺激与差异成分的相关性，建立色觉自动识别的非注意事件相关电位脑-机接口。
进一步的，在步骤(2)中，色觉刺激包括标准刺激和偏差刺激，标准刺激与偏差刺激为不同颜色。
进一步的，在步骤(2)中，色觉刺激参数包括颜色刺激图片呈现时，每个颜色刺激图片的形状和大小、每个颜色刺激图片的呈现时间、相邻两个颜色刺激图片的间隔时间、颜色刺激图片出现的次数及标准刺激和偏差刺激出现的概率。
进一步的，每个颜色刺激图片的呈现时间为100-500ms，相邻两个颜色刺激图片的间隔时间为500-1000ms，颜色刺激图片出现次数为300-500次，标准刺激出现的概率为70～80％，偏差刺激出现的概率为20～30％。
进一步的，标准刺激和偏差刺激的颜色为红色、绿色、蓝色、橙色、黄色、青色或紫色中的一种或几种。
进一步的，在步骤(1)中，事件相关电位处理装置为计算机。
进一步的，在步骤(1)中，多导联电极帽为16～64多导联电极帽。
进一步的，在步骤(2)中，用户与颜色刺激图片的距离为1m～5m。
进一步的，在步骤(5)中，对原始脑电信号进行处理和分析包括步骤：脑电预览、去除眼电和肌电伪迹，脑电分段、基线校正、去除伪迹、叠加平均、数字滤波和平滑化处理，保存并进行总平均后进行波形的识别与测量。
进一步的，在步骤(5)中，差异成分包括P1、N1、P2、N2、vMMN和P3a成分。
进一步的，色觉自动识别包括色觉检测、基于色觉的脑-机交互的电子娱乐以及基于色觉活动开发的色觉检测仪、色觉检测软件或基于色觉的脑-机交互电子娱乐机。
进一步的，在步骤(1)中，采用国际10-20脑电记录系统电极分布采集该过程中用户的非注意事件相关电位的原始脑电信号。
进一步的，在步骤(2)中，颜色刺激图片的形状为圆形，圆形的直径5～10cm。
进一步的，在步骤(3)中，用户眼睛水平直视色觉刺激，选择单眼活动，遮蔽非实验用眼。
进一步的，在步骤(3)中，用户需要回答关于听觉刺激内容的相关问题。
进一步的，在步骤(5)中，对所有成分以刺激起始点到波峰顶点之间的时间段作为其潜伏期，对于P1、N1、P2、N2和P3成分，波幅的测量采用基线—波峰的方法，vMMN和P3a成分波幅用相应时间窗内的平均波幅进行分析。
进一步的，对于用户可以区分的颜色，偏差刺激出现时会产生特征性的P1、N1和P2、N2及vMMN和P3a成分，比对相应的刺激时间频率可以确定被试者能够识别哪一种颜色。
进一步的，对于用户不能区分的颜色，偏差刺激出现时，不会产生特征性的P1、N1和P2、N2及vMMN和P3a成分。
借由上述方案，本发明具有以下优点：
针对目前缺少颜色变化自动识别的脑-机接口，本发明以“高级视中枢可对视觉信息刺激进行非注意加工”为理论依据，设计动态变化的颜色刺激图片，通过中心视野随机呈现不同颜色刺激图片的方式，通过脑电采集设备记录不同颜色刺激图片所诱导出的多导脑电信号，分析大脑视中枢的非注意加工ERP成分，建立色觉变化自动识别ERP脑-机接口；应用本发明所设计的技术方法，可以建立色觉刺激与大脑自动处理产生的ERP波形进行交互对应识别，建立色觉ERP非注意加工脑-机接口，可根据颜色刺激序列的变化找出被试者对不同颜色变化的反应，为客观检测色觉功能提供新的技术手段，克服需要被试者主观配合的缺点，本发明对建立脑-机颜色的信息交互并开发相应的仪器检测设备具有广泛的应用前景，可为临床、眼视光和司法鉴定行业服务，并将产生巨大的社会效益和经济效益。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下为本发明的实施例，并配合附图详细说明如后。
附图说明
图1是本发明色觉刺激显现示意图；
图2是本发明脑电记录系统电极分布示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本发明的建立非注意事件相关电位脑-机接口用于基于色觉活动的方法，包括以下步骤：首先将事件相关电位处理装置与检测脑电信号的放大器及多导联电极帽连接；设定事件相关电位处理装置中颜色刺激图片对用户的色觉刺激参数；在用户进行色觉刺激的同时对用户施加听觉刺激；通过放大器及多导联电极帽采集上述过程中用户的非注意事件相关电位的原始脑电信号；应用事件相关电位处理装置对原始脑电信号进行处理和分析，得到色觉刺激产生的差异成分，比对色觉刺激与差异成分的相关性，找出用户可识别的相应颜色，建立色觉自动识别的非注意事件相关电位脑-机接口。
具体实施方式如下：
在电脑上应用E-prime软件建立跨通道视觉Oddball刺激非注意实验模式，颜色刺激图片为直径10mm的圆形，包括红色的标准刺激和绿色的偏差刺激，被试者与电脑屏幕的测试距离为1m(相当于33°视野范围)，标准刺激出现概率为80％、偏差刺激的出现概率为20％。颜色刺激图片呈现时间为300ms，相邻两个颜色刺激图片的刺激间隔时间为500ms，刺激次数300次，图1为本发明色觉刺激显现示意图。
将32导联电极帽戴在受试者头上，采用国际10-20脑电记录系统电极分布方式(如图2所示)采集以下过程中用户的非注意事件相关电位的原始脑电信号。图2中，Cz电极为冠状线与矢状线的交点，Oz电极为枕骨粗隆中线上方1.5cm～3cm处，Fz电极为前额正中鼻根部上方1.5cm～3cm处。然后令受试者坐于暗室的靠背椅上，眼角膜与电视屏中心等高，即眼睛水平直视于显示屏中央。被试实验眼单眼进行实验，用遮盖物遮蔽非实验用眼。色觉刺激图片随机呈现在电脑屏幕上，与此同时要求被试认真注意听觉刺激声音“ne”并进行计数，同时眼睛平视前方屏幕中央即可，结束后让被试者回答听觉刺激出现的次数。
对采集的ERP波形进行脑电预览、去除眼电和肌电等伪迹后，进行脑电分段、基线校正、去除伪迹、叠加平均、数字滤波和平滑化处理等，保存并进行总平均后进行波形的识别与测量，最后进行统计分析。对所有成分以刺激起始点到波峰顶点之间的时间段作为其潜伏期，对于P1、N1、P2、N2和P3等成分，波幅的测量采用基线－波峰的方法，vMMN和P3a成分波幅用相应时间窗内的平均波幅进行统计分析。
若被试者可以区分偏差刺激的颜色，每当偏差刺激出现时都会产生特征性的P1、N1和P2、N2及vMMN和P3a成分，比对相应的刺激时间频率可以确定被试者能够识别该颜色，若在偏差刺激呈现时没能够引出上述ERP成分时，可以确定被试者不能识别该颜色。
以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (9)

1.一种建立色觉自动识别的非注意事件相关电位脑-机接口的方法，其特征在于，包括以下步骤：
(1)将事件相关电位处理装置与检测脑电信号的放大器及多导联电极帽连接；
(2)设定所述事件相关电位处理装置中颜色刺激图片对用户的色觉刺激参数；所述色觉刺激包括标准刺激和偏差刺激，所述标准刺激与偏差刺激为不同颜色；
(3)在用户进行色觉刺激的同时对用户施加听觉刺激；
(4)通过所述放大器及所述多导联电极帽采集步骤(3)过程中用户的非注意事件相关电位的原始脑电信号；
(5)应用所述事件相关电位处理装置对所述原始脑电信号进行处理和分析，得到不同色觉序列刺激产生的时序性特异成分，并根据这些特异成分建立色觉自动识别的非注意事件相关电位脑-机接口。
2.根据权利要求1所述的建立色觉自动识别的非注意事件相关电位脑-机接口的方法，其特征在于：在步骤(2)中，所述色觉刺激参数包括每个所述颜色刺激图片的形状和大小、每个所述颜色刺激图片的呈现时间、相邻两个颜色刺激图片的间隔时间、所述颜色刺激图片出现的次数及所述标准刺激和偏差刺激出现的概率。
3.根据权利要求2所述的建立色觉自动识别的非注意事件相关电位脑-机接口的方法，其特征在于：每个所述颜色刺激图片的呈现时间为100-500ms，相邻两个颜色刺激图片的间隔时间为500-1000ms，所述颜色刺激图片出现次数为300-500次，所述标准刺激出现的概率为70～80％，所述的偏差刺激概率为20～30％。
4.根据权利要求1所述的建立色觉自动识别的非注意事件相关电位脑-机接口的方法，其特征在于：所述标准刺激和偏差刺激的颜色为红色、绿色、蓝色、橙色、黄色、青色或紫色中的一种或几种。
5.根据权利要求1所述的建立色觉自动识别的非注意事件相关电位脑-机接口的方法，其特征在于：在步骤(1)中，所述事件相关电位处理装置为计算机。
6.根据权利要求1所述的建立色觉自动识别的非注意事件相关电位脑-机接口的方法，其特征在于：在步骤(1)中，所述多导联电极帽为16～64多导联电极帽。
7.根据权利要求1所述的建立色觉自动识别的非注意事件相关电位脑-机接口的方法，其特征在于：在步骤(2)中，用户与所述颜色刺激图片的距离为1m～5m。
8.根据权利要求1所述的建立色觉自动识别的非注意事件相关电位脑-机接口的方法，其特征在于，在步骤(5)中，对所述原始脑电信号进行处理和分析包括步骤：脑电预览、去除眼电和肌电伪迹，脑电分段、基线校正、去除伪迹、叠加平均、数字滤波和平滑化处理，保存并进行总平均后进行波形的识别与测量。
9.根据权利要求1所述的建立色觉自动识别的非注意事件相关电位脑-机接口的方法，其特征在于：在步骤(5)中，所述特异成分包括P1、N1、P2、N2、vMMN和P3a成分。
CN201610847891.3A 2016-09-26 2016-09-26 一种建立色觉自动识别的非注意事件相关电位脑-机接口的方法 Active CN106502386B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610847891.3A CN106502386B (zh) 2016-09-26 2016-09-26 一种建立色觉自动识别的非注意事件相关电位脑-机接口的方法
PCT/CN2016/101833 WO2018053886A1 (zh) 2016-09-26 2016-10-12 色觉自动识别的非注意事件相关电位脑-机接口的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610847891.3A CN106502386B (zh) 2016-09-26 2016-09-26 一种建立色觉自动识别的非注意事件相关电位脑-机接口的方法

Publications (2)

Publication Number Publication Date
CN106502386A CN106502386A (zh) 2017-03-15
CN106502386B true CN106502386B (zh) 2018-07-31

Family

ID=58290380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610847891.3A Active CN106502386B (zh) 2016-09-26 2016-09-26 一种建立色觉自动识别的非注意事件相关电位脑-机接口的方法

Country Status (2)

Country Link
CN (1) CN106502386B (zh)
WO (1) WO2018053886A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110063727A (zh) * 2018-01-24 2019-07-30 苏州维视诺电子科技有限公司 一种判断用户视觉能力的方法和系统
CN110244836A (zh) * 2019-04-22 2019-09-17 广东工业大学 一种通过p300脑波分析筛选游戏防沉迷警示色的方法
CN112137616B (zh) * 2020-09-22 2022-09-02 天津大学 一种多感觉脑-体联合刺激的意识检测装置
CN116860145B (zh) * 2023-08-31 2023-11-24 小舟科技有限公司 一种基于用户bci信息的aigc个性化图像生成方法及相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201696A (zh) * 2007-11-29 2008-06-18 浙江大学 基于p300脑电电位的中文输入bci系统
CN105266805A (zh) * 2015-10-23 2016-01-27 华南理工大学 一种基于视听觉脑机接口的意识状态检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7546158B2 (en) * 2003-06-05 2009-06-09 The Regents Of The University Of California Communication methods based on brain computer interfaces
US10120413B2 (en) * 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
CN104888332B (zh) * 2015-03-21 2018-09-14 徐志强 一种用于治疗自闭症的“注意”切换训练装置
CN105868562A (zh) * 2016-03-31 2016-08-17 天津大学 基于稳态视觉诱发电位调制的神经工效增强方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201696A (zh) * 2007-11-29 2008-06-18 浙江大学 基于p300脑电电位的中文输入bci系统
CN105266805A (zh) * 2015-10-23 2016-01-27 华南理工大学 一种基于视听觉脑机接口的意识状态检测方法

Also Published As

Publication number Publication date
CN106502386A (zh) 2017-03-15
WO2018053886A1 (zh) 2018-03-29

Similar Documents

Publication Publication Date Title
CN106502386B (zh) 一种建立色觉自动识别的非注意事件相关电位脑-机接口的方法
Czigler et al. Memory-based detection of task-irrelevant visual changes
Vogel et al. The visual N1 component as an index of a discrimination process
CN103399639B (zh) 基于ssvep和p300联合脑机接口方法及装置
Hakvoort et al. Comparison of PSDA and CCA detection methods in a SSVEP-based BCI-system
Goddard et al. Combination of subcortical color channels in human visual cortex
Bi et al. The effect of crowding on orientation-selective adaptation in human early visual cortex
CN106484106A (zh) 视敏度自动识别的非注意事件相关电位脑‑机接口方法
Knoell et al. Spatiotemporal profile of peri-saccadic contrast sensitivity
Li et al. Perceptual color map in macaque visual area V4
US20200060573A1 (en) Head mountable device
CN102793540A (zh) 一种视听认知事件相关电位实验范式的优化方法
WO2019144893A1 (zh) 一种判断用户视觉能力的方法和系统
CN110262658B (zh) 一种基于强化注意的脑机接口字符输入系统及实现方法
CN110464298B (zh) 一种脑电信号处理装置和方法
CN109222970A (zh) 视力客观评定的设备及视觉诱发电位的检测系统与方法
CN112842360B (zh) 一种判断优势眼和非优势眼的方法及系统
Henry et al. Distinct spatiotemporal mechanisms underlie extra-classical receptive field modulation in macaque V1 microcircuits
Xie et al. The different oscillation patterns of alpha band in the early and later stages of working memory maintenance
CN106445140B (zh) 静视野自动识别的非注意事件相关电位脑-机接口方法
CN105395197A (zh) 旋转偏差对立体观看舒适度影响的脑电分析方法
Rokszin et al. The interplay of holistic shape, local feature and color information in object categorization
Rubinstein et al. Optokinetic nystagmus suppression as an index of the allocation of visual attention
Xu et al. Investigation of the bio-stimulation of children's reading interest by chromatic pattern visual evoked potential
Ruttiger et al. Transient cells can be neurometrically sustained: The positional accuracy of retinal signals to moving targets

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Tao Luyang

Inventor after: Chen Xiping

Inventor before: Tao Luyang

CB03 Change of inventor or designer information