CN114138108A - 脑机交互装置、系统和方法 - Google Patents
脑机交互装置、系统和方法 Download PDFInfo
- Publication number
- CN114138108A CN114138108A CN202111215527.2A CN202111215527A CN114138108A CN 114138108 A CN114138108 A CN 114138108A CN 202111215527 A CN202111215527 A CN 202111215527A CN 114138108 A CN114138108 A CN 114138108A
- Authority
- CN
- China
- Prior art keywords
- identified
- brain
- interactive
- computer interaction
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000002452 interceptive effect Effects 0.000 claims abstract description 147
- 238000012545 processing Methods 0.000 claims abstract description 82
- 238000007781 pre-processing Methods 0.000 claims description 16
- 210000004556 brain Anatomy 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 238000010183 spectrum analysis Methods 0.000 claims description 7
- 238000010219 correlation analysis Methods 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 230000000638 stimulation Effects 0.000 abstract description 11
- 230000008569 process Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 11
- 230000000763 evoking effect Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 210000003710 cerebral cortex Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及一种脑机交互装置、系统和方法，脑机交互装置包括显示模块、采集模块以及处理模块，其中：显示模块，用于获取多个待识别交互图像并显示，待识别交互图像包括独立光源投射到显示界面形成的图像，显示界面的刷新频率与待识别交互图像的闪烁频率不同；采集模块，用于获取被采集者基于待识别交互图像产生的脑电信号，并将脑电信号传输至处理模块；处理模块，用于接收脑电信号并进行识别以获取识别结果，识别结果包括被采集者注视的目标交互图像。通过独立光源投射以获取待识别交互图像，使得待识别交互图像的闪烁频率不会受到屏幕刷新频率的影响，解决了脑机交互过程中刺激图像的刷新频率不够稳定的技术问题，提高了脑机交互的准确性。
Description
技术领域
本申请涉及人机交互领域，特别是涉及脑机交互装置、系统和方法。
背景技术
随着人机交互技术的不断发展，基于脑电信号、肌电信号等生物电信号的交互技术的应用价值不断提高。当人眼注视固定刷新频率的刺激图像时，大脑皮层会产生一个与该固定刷新频率相关联的响应，即稳态视觉诱发电位(SSVEP)。例如，当人眼注视的刺激图像的刷新频率为15Hz时，大脑中会产生15Hz、30Hz、45Hz等特定频率的电位响应。
为了实现脑电控制，现有技术中利用稳态视觉诱发电位的特性，在屏幕上显示一系列不同刷新频率的刺激图像，通过分析用户的脑电信号判断用户正在注视哪个刺激图像，并根据判断结果输出控制指令，从而实现脑电控制。但是，由于刺激图像只能直接在屏幕上进行显示，刺激图像的刷新频率会受到屏幕刷新频率的限制，导致刺激图像的刷新频率不够稳定。
针对相关技术中存在的刺激图像的刷新频率不够稳定的技术问题，目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种脑机交互装置、系统和方法，以解决相关技术中刺激图像的刷新频率不够稳定的问题。
第一方面，在本实施例中提供了一种脑机交互装置，所述脑机交互装置包括显示模块、采集模块以及处理模块，其中：
所述显示模块，用于获取多个待识别交互图像并显示，所述待识别交互图像包括独立光源投射到显示界面形成的图像，所述显示界面的刷新频率与所述待识别交互图像的闪烁频率不同；
所述采集模块，用于获取被采集者基于所述待识别交互图像产生的脑电信号，并将所述脑电信号传输至所述处理模块；
所述处理模块，用于接收所述脑电信号并进行识别以获取识别结果，所述识别结果包括被采集者注视的目标交互图像。
在其中的一些实施例中，多个所述待识别交互图像的闪烁频率均不相同。
在其中的一些实施例中，所述处理模块还用于控制独立光源将所述待识别交互图像投射到显示界面，并调节所述待识别交互图像的显示位置和/或显示内容。
在其中的一些实施例中，所述采集模块还用于对所述脑电信号进行预处理操作，所述预处理操作包括信号放大、信号滤波、信号降噪中的至少一种。
在其中的一些实施例中，所述处理模块还用于获取所述脑电信号的频率特征，并基于所述频率特征获取所述识别结果。
在其中的一些实施例中，所述处理模块还用于基于典型相关分析方法和/或FFT频谱分析方法对所述频率特征进行分析，以获取所述识别结果。
在其中的一些实施例中，所述处理模块还用于获取所述识别结果对应的控制指令，并将所述控制指令传输至对应的执行模块，以使所述执行模块执行所述控制指令。
在其中的一些实施例中，所述待识别交互图像的闪烁频率的范围为4-80Hz。
第二方面，在本实施例中提供了一种脑机交互系统，应用于AR设备或VR设备，所述脑机交互系统包括显示镜片、采集模块以及主机，其中：
所述显示镜片，用于获取多个待识别交互图像并显示，所述待识别交互图像包括独立光源投射到显示界面形成的图像，所述显示界面的刷新频率与所述待识别交互图像的闪烁频率不同；
所述采集模块，用于获取被采集者基于所述待识别交互图像产生的脑电信号，并将所述脑电信号传输至所述主机；
所述主机，用于接收所述脑电信号并进行识别以获取识别结果，所述识别结果包括被采集者注视的目标交互图像。
第三方面，在本实施例中提供了一种脑机交互方法，包括：
获取多个待识别交互图像并显示，所述待识别交互图像包括独立光源投射到显示界面形成的图像，所述显示界面的刷新频率与所述待识别交互图像的闪烁频率不同；
获取被采集者基于所述待识别交互图像产生的脑电信号；
对所述脑电信号进行识别以获取识别结果，所述识别结果包括被采集者注视的目标交互图像。
与相关技术相比，在本实施例中提供的脑机交互装置、系统和方法，所述脑机交互装置包括显示模块、采集模块以及处理模块，其中：所述显示模块，用于获取多个待识别交互图像并显示，所述待识别交互图像包括独立光源投射到显示界面形成的图像，所述显示界面的刷新频率与所述待识别交互图像的闪烁频率不同；所述采集模块，用于获取被采集者基于所述待识别交互图像产生的脑电信号，并将所述脑电信号传输至所述处理模块；所述处理模块，用于接收所述脑电信号并进行识别以获取识别结果，所述识别结果包括被采集者注视的目标交互图像。通过独立光源投射以获取待识别交互图像，使得待识别交互图像的闪烁频率不会受到屏幕刷新频率的影响，解决了脑机交互过程中刺激图像的刷新频率不够稳定的技术问题，提高了脑机交互的准确性。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明一实施例的脑机交互装置的结构框图；
图2是本发明另一实施例的脑机交互装置的结构框图；
图3是本发明一实施例的待识别交互图像的示意图；
图4是本发明另一实施例的脑机交互装置的结构框图；
图5是本发明一实施例的待识别交互图像信号的波形图；
图6是本发明另一实施例的脑机交互装置的结构框图；
图7是本发明另一实施例的脑机交互装置的结构框图；
图8是本发明另一实施例的脑机交互装置的结构框图；
图9是本发明一实施例的脑机交互系统的结构示意图；
图10是本发明一实施例的脑机交互方法的流程示意图；
图11是本发明另一实施例的脑机交互方法的流程示意图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
示例性地，当人眼注视固定刷新频率的刺激图像时，大脑皮层会产生一个与该固定刷新频率相关联的响应，即稳态视觉诱发电位(SSVEP)。在现有技术中常常利用稳态视觉诱发电位实现意念打字，即在屏幕上显示不同的字母，每个字母按照各自的刷新频率进行闪烁，同时采集被采集者的脑电信号，通过对脑电信号中的频率成分进行分析以判断被采集者注视的字母，实现意念打字。此外基于稳态视觉诱发电位还可以控制物体或者机器的行动方向以实现意念控制，本发明对此不再赘述。
请参阅图1，图1是本发明一实施例的脑机交互装置的结构框图。在本实施例中，脑机交互装置包括显示模块100、采集模块200以及处理模块300，其中：显示模块100，用于获取多个待识别交互图像并显示，待识别交互图像包括独立光源投射到显示界面形成的图像，显示界面的刷新频率与待识别交互图像的闪烁频率不同；采集模块200，用于获取被采集者基于待识别交互图像产生的脑电信号，并将脑电信号传输至处理模块300；处理模块300，用于接收脑电信号并进行识别以获取识别结果，识别结果包括被采集者注视的目标交互图像。
示例性地，显示模块100包括但不限于具有图像获取及显示功能的模块，用于获取并显示待识别交互图像。其中，待识别交互图像为第三方独立光源投射到显示模块100的显示界面形成的图像，并且该显示界面的刷新频率与待识别交互图像的闪烁频率不同。可以理解的，显示模块100的显示界面还可用于显示自身的图像，以作为待识别交互图像的背景。
示例性地，采集模块200用于获取被采集者的脑电信号，并将该脑电信号传输至处理模块300。具体的，当被采集者注视某个待识别交互图像中的内容时，其脑电信号中会出现与待识别交互图像的闪烁频率相关联的成分，即稳态视觉诱发电位(SSVEP)。采集被采集者的脑电信号并进行分析，即可知道被采集者注视的是哪个待识别交互图像，由此实现脑机交互。
示例性地，处理模块300用于接收采集模块200传输的脑电信号，并对脑电信号的频率成分进行分析和识别，以获取最终的识别结果。其中，该识别结果包括被采集者注视的目标交互图像。根据该识别结果，可以执行与目标交互图像相关的操作，例如输入目标交互图像中的字符，或者执行目标交互图像中的指令等。具体的，目标交互图像可以是待识别交互图像中的任一个。
本实施例中脑机交互装置包括显示模块、采集模块以及处理模块，其中：显示模块，用于获取多个待识别交互图像并显示，待识别交互图像包括独立光源投射到显示界面形成的图像，显示界面的刷新频率与待识别交互图像的闪烁频率不同；采集模块，用于获取被采集者基于待识别交互图像产生的脑电信号，并将脑电信号传输至处理模块；处理模块，用于接收脑电信号并进行识别以获取识别结果，识别结果包括被采集者注视的目标交互图像。通过独立光源投射以获取待识别交互图像，使得待识别交互图像的闪烁频率不会受到屏幕刷新频率的影响，解决了脑机交互过程中刺激图像的刷新频率不够稳定的技术问题，提高了脑机交互的准确性。
在另一个实施例中，多个待识别交互图像的闪烁频率均不相同。
示例性地，显示模块100中获取的多个待识别交互图像的闪烁频率均不相同。可以理解的，当被采集者注视不同的待识别交互图像时，由于待识别交互图像的闪烁频率不同，且被采集者的脑电信号的频率成分与注视的待识别交互图像的闪烁频率相关联，因此被采集者产生的脑电信号中的频率成分也不相同。基于此，可以对被采集者注视的待识别交互图像进行分析和识别。
请参阅图2，图2是本发明另一实施例的脑机交互装置的结构框图。具体的，显示模块100包括分别与处理模块300相连的第一独立发光单元110、第二独立发光单元120以及图像显示单元130，其中：第一独立发光单元110，用于产生第一独立光源，并将第一独立光源投射至图像显示单元130，以形成第一待识别交互图像；第二独立发光单元120，用于产生第二独立光源，并将第二独立光源投射至图像显示单元130，以形成第二待识别交互图像；图像显示单元130，用于将第一待识别交互图像以及第二待识别交互图像叠加至显示界面。
示例性地，第一独立发光单元110基于预设的第一闪烁频率和显示内容产生第一独立光源，并将该第一独立光源投射到图像显示单元130，在图像显示单元130的显示界面形成第一待识别交互图像。
示例性地，第二独立发光单元120基于预设的第二闪烁频率和显示内容产生第二独立光源，并将该第二独立光源投射到图像显示单元130，在图像显示单元130的显示界面形成第二待识别交互图像。可以理解的，第一待识别交互图像的闪烁频率和显示内容与第二待识别交互图像不同。
示例性地，图像显示单元130用于获取第一待识别交互图像以及第二待识别交互图像，并将第一待识别交互图像以及第二待识别交互图像叠加到显示界面，并与图像显示单元130自身的图像一起显示在显示界面。可以理解的，本实施例中显示界面的刷新频率与本实施例中的第一待识别交互图像以及第二待识别交互图像的闪烁频率均不相同。
请参阅图3，图3是本发明一实施例的待识别交互图像的示意图。具体的，图像显示单元130除了显示自身的图像以外，还会在刺激区域叠加第一独立发光单元110以及第二独立发光单元120投射的第一独立光源以及第二独立光源，以形成第一待识别交互图像以及第二待识别交互图像。其中，第一待识别交互图像和第二待识别交互图像可以包括不同的闪烁频率和显示内容，还可以包括不同的区域大小、动态效果等，本实施例对此不再赘述。
请参阅图4，图4是本发明另一实施例的脑机交互装置的结构框图。具体的，显示模块100还包括第一驱动单元140以及第二驱动单元150，第一驱动单元140与第一独立发光单元110相连，第二驱动单元150与第二独立发光单元120相连，其中：第一驱动单元140，用于控制第一独立发光单元110按照第一闪烁频率进行变换；第二驱动单元150，用于控制第二独立发光单元120按照第二闪烁频率进行变换。
示例性地，第一驱动单元140用于对第一独立发光单元110的闪烁频率进行控制，使得第一独立发光单元110能够按照第一闪烁频率进行变换，并在显示界面的预设位置显示第一待识别交互图像。在其中一个具体实施例中，第一驱动单元140为PWM驱动电路。
示例性地，第二驱动单元150用于对第二独立发光单元120的闪烁频率进行控制，使得第二独立发光单元120能够按照第二闪烁频率进行变换，并在显示界面的预设位置显示第二待识别交互图像。在其中一个具体实施例中，第二驱动单元150为PWM驱动电路。可以理解的，第一闪烁频率与第二闪烁频率的数值大小并不相同。
示例性地，本实施例中的第一驱动单元140以及第二驱动单元150还分别与处理模块300进行连接，由处理模块300对第一驱动单元140以及第二驱动单元150进行配置，以获取相应的驱动信号，进一步对第一独立发光单元110以及第二独立发光单元120的闪烁频率进行调制。
请参阅图5，图5是本发明一实施例的待识别交互图像信号的波形图。在其中一个具体实施例中，显示界面通常以高频率进行调制(例如1kHz)，其调制周期为Tc，则显示界面的调制频率为：
其中，显示界面自身的图像中所有像素按照预设的刷新频率进行刷新(例如60Hz、90Hz、120Hz、144Hz等)。第一闪烁频率以及第二闪烁频率的数值大小均与显示界面的预设刷新频率不同，并且第一闪烁频率与第二闪烁频率之间也不相同。不同的待识别交互图像区域通过不同的闪烁频率，诱发被采集者产生不同频率的脑电信号。具体的，第一待识别交互图像的信号周期为TA，第一闪烁频率的大小：
第二待识别交互图像的信号周期为TB，第二闪烁频率的大小：
本实施例中多个待识别交互图像的闪烁频率均不相同，当被采集者注视不同的待识别交互图像时，由于待识别交互图像的闪烁频率不同，且被采集者的脑电信号的频率成分与注视的待识别交互图像的闪烁频率相关联，因此被采集者产生的脑电信号中的频率成分也不相同。基于此，可以确定每个待识别交互图像所对应的唯一脑机交互指令，提高了脑机交互的准确性。
在另一个实施例中，独立光源包括独立发光像素以及独立投射光源中的至少一种。
示例性地，独立光源可以是穿插在显示界面的像素队列中的多个独立发光像素，以在显示界面形成独立的待识别交互图像；也可以是第三方投射的独立光源，通过显示界面的反射形成独立的待识别交互图像。
具体的，第一独立发光单元110可以是独立发光像素驱动单元或者独立光源投射单元，也可以是其他类型的独立发光单元，还可以是上述独立发光单元的组合，本实施例对此不作限制。其中，独立发光像素驱动单元用于驱动显示界面的独立发光像素，该独立发光像素穿插于显示界面的屏幕像素队列中，以在任意位置形成任意内容的第一待识别交互图像，并与显示界面自身的图像叠加在一起；独立光源投射单元用于通过投影、反射等方式将其发出的独立光源投射到显示界面，形成第一待识别交互图像并与显示界面自身的图像进行叠加。具体的，独立光源投射单元可以是LED光源投射单元。可以理解的，本实施例也适用于第二独立发光单元120，对此本实施例不再赘述。
在另一个实施例中，处理模块300还用于控制独立光源将待识别交互图像投射到显示界面，并调节待识别交互图像的显示位置和/或显示内容。
示例性地，处理模块300还用于调制独立光源，并控制独立光源将待识别交互图像投射到显示界面，进一步调节待识别交互图像在显示界面的显示位置和/或显示内容。具体的，根据具体的使用场景和交互需求，对待识别交互图像的位置和内容进行调节，使得显示界面范围内能够显示不同图像内容和闪烁频率的待识别交互图像。
在另一个实施例中，采集模块200还用于对脑电信号进行预处理操作，预处理操作包括信号放大、信号滤波、信号降噪中的至少一种。
示例性地，采集模块200在获取被采集者的脑电信号后，进一步对脑电信号进行预处理操作。其中，预处理操作包括信号放大、信号滤波以及信号降噪等，还可以包括其他信号处理方法，本实施例对此不作限制。
请参阅图6，图6是本发明另一实施例的脑机交互装置的结构框图。具体的，采集模块200包括相互连接的信号采集单元210以及信号处理单元220，其中：信号采集单元210，用于采集获取被采集者基于待识别交互图像产生的脑电信号；信号处理单元220，用于对脑电信号进行预处理操作，并将处理后的脑电信号传输至处理模块300。
示例性地，信号采集单元210与用户头部接触，用于采集被采集者基于待识别交互图像产生的脑电信号，并将脑电信号传输至信号处理单元220。由于基于待识别交互图像产生的脑电信号与大脑的视觉皮层活动相关，因此优选地在枕叶区采集脑电信号。在其中一个具体实施例中，信号采集单元210包括电极，电极与头皮接触，以采集脑电信号。
示例性地，信号处理单元220的输入端与信号采集单元210的输出端连接，信号处理单元220的输出端与处理模块300的输入端连接，用于获取信号采集单元210传输的脑电信号，并对脑电信号进行预处理操作，最后将经过预处理操作的脑电信号传输至处理模块300。在其中一个具体实施例中，信号处理单元220包括但不限于滤波电路以及信号放大电路。
本实施例采集模块200还用于对脑电信号进行预处理操作，预处理操作包括信号放大、信号滤波、信号降噪中的至少一种。通过对获取的脑电信号进行预处理操作，提高了脑电信号的质量，进一步提高了脑机交互的准确性。
在另一个实施例中，处理模块300还用于获取脑电信号的频率特征，并基于频率特征获取识别结果。
示例性地，处理模块300获取脑电信号后，对脑电信号进行分析，并提取脑电信号的频率特征，基于该频率特征匹配对应的识别结果，即被采集者注视的目标交互图像。可以理解的，脑电信号的频率特征与被采集者注视的待识别交互图像的闪烁频率相关联，基于该特性可以准确获取被采集者注视的目标交互图像。
在另一个实施例中，处理模块300还用于基于典型相关分析方法和/或FFT频谱分析方法对频率特征进行分析，以获取识别结果。
示例性地，处理模块300获取脑电信号的频率特征后，基于典型相关分析方法或者FFT频谱分析方法对频率特征进行分析，从而获取最终的识别结果。其中，典型相关分析方法是指利用综合变量之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法，FFT频谱分析方法是指基于快速傅里叶变换对频率信号进行分解的方法。可以理解的，基于典型相关分析方法或FFT频谱分析方法，可以更准确地对频率特征进行分析以获取识别结果，进一步提高脑机交互的准确性。
在另一个实施例中，处理模块300还用于获取识别结果对应的控制指令，并将控制指令传输至对应的执行模块，以使执行模块执行控制指令。
示例性地，处理模块300对脑电信号进行分析并获取识别结果，进一步获取该识别结果对应的控制指令，可以理解的，识别结果与控制指令的对应关系是预先存储在数据库的。获取控制指令后，将该控制指令传输给对应的执行模块，并控制该执行模块指令该控制指令，最终实现脑机交互。
请参阅图7，图7是本发明另一实施例的脑机交互装置的结构框图。具体的，处理模块300包括相互连接的处理单元310以及通信单元320，其中：处理单元310，用于接收脑电信号并进行分析以得到频率特征，基于频率特征获取识别结果，并输出识别结果对应的控制指令至通信单元320；通信单元320，用于接收控制指令，并将控制指令传输至对应的执行模块，以使执行模块执行控制指令，实现脑机交互。
示例性地，处理单元310的输入端还与采集模块200的输出端连接，处理单元310的输出端与通信单元320的输入端连接，以用于获取采集模块200输出的脑电信号，并对脑电信号进行处理，提取脑电信号中的频率特征，进一步基于频率特征得到识别结果，最终将识别结果对应的控制指令传输至通信单元320。具体的，通过CCA分析或者FFT频谱分析等方法对频率特征进行分析以得到识别结果，并基于该识别结果匹配对应的控制指令。其中，识别结果包括被采集者注视的目标交互图像，控制指令用于控制对应的执行模块执行相关操作。在其中一个具体实施例中，处理单元310包括但不限于中央处理器。
可选的，处理单元310还可以进一步对脑电信号进行滤波、去噪等处理操作，以进一步提高脑电信号的质量。
示例性地，通信单元320的输入端与处理单元310的输出端连接，通信单元320的输出端与执行模块进行连接，用于接收处理单元310传输的控制指令，并将控制指令传输至对应的执行模块，使得执行模块执行相关操作，从而实现处理单元310与执行模块之间的业务通信。
在另一个实施例中，处理模块300还用于获取脑机交互指令，并基于脑机交互指令控制显示模块100以及采集模块200。
示例性地，处理模块300获取用户或者其他设备输出的脑机交互指令，根据脑机交互指令对显示模块100以及采集模块200进行控制。具体的，处理模块300基于脑机交互指令控制显示模块100以及采集模块200的运行。
在其中一个具体实施例中，在进行脑机交互之前，处理模块300获取用户的脑机交互指令，并控制显示模块100以及采集模块200进入工作状态，以开始脑机交互。具体的，脑机交互指令可以由用户输入，也可以由处理模块300根据用户的某一动作直接获取。
请参阅图8，图8是本发明另一实施例的脑机交互装置的结构框图。具体的，显示模块100包括头戴式设备显示单元160、第一独立发光单元110、第二独立发光单元120、图像显示单元130、第一驱动单元140以及第二驱动单元150，采集模块200包括信号采集单元210以及信号处理单元220，处理模块300包括处理单元310以及通信单元320。此外，本实施例中的脑机交互装置还包括多个执行模块。
具体的，显示模块100中的第一驱动单元140以及第二驱动单元150的输入端与处理单元310连接，第一驱动单元140以及第二驱动单元150的输出端分别与第一独立发光单元110以及第二独立发光单元120连接，以用于根据处理单元310的控制指令对第一独立发光单元110以及第二独立发光单元120的闪烁频率进行调控；第一独立发光单元110以及第二独立发光单元120的输入端分别与第一驱动单元140以及第二驱动单元150连接，以根据第一驱动单元140以及第二驱动单元150的调控指令产生预设频率的独立光源，进一步在显示界面形成闪烁频率不同的第一待识别交互图像以及第二待识别交互图像；图像显示单元130与处理单元310相连，用于显示自身的图像，并将第一待识别交互图像以及第二待识别交互图像叠加至图像显示单元130自身的图像；头戴式设备显示单元160分别于第一独立发光单元110、第二独立发光单元120以及图像显示单元130连接，用于将获取待识别交互图像，并将待识别交互图像显示于用户眼前。
示例性地，采集模块200中的信号采集单元210信号处理单元220连接，信号采集单元210一端接触被采集者脑部，以采集脑电信号，并将脑电信号传输至信号处理单元220；信号处理单元220的输入端与信号采集单元210的输出端连接，用于获取信号采集单元210输出的脑电信号，并对脑电信号进行滤波、去噪、放大等预处理操作，最后将经过预处理操作的脑电信号传输至处理单元310。
示例性地，处理模块300中的处理单元310的输入端与信号处理单元220相连，处理模块300的输出端与通信单元320相连，用于接收信号处理单元220传输的脑电信号并进行分析，获取脑电信号的识别结果，并将该识别结果对应的控制指令传输至通信单元320；通信单元320的输入端与处理单元310相连，通信单元320的输出端与多个执行模块相连，用于获取控制指令并将该控制指令分发给多个执行模块，使得执行模块执行相关指令操作，最终实现脑机交互。
本实施例中处理模块300还用于获取脑机交互指令，并基于脑机交互指令控制显示模块100以及采集模块200。通过处理模块300获取的脑机交互指令对显示模块100以及采集模块200进行控制，提高了脑机交互装置各个模块的协调性与集成性。
在另一个实施例中，待识别交互图像的闪烁频率的范围为4-80Hz。
示例性地，能够诱发稳态视觉诱发电位的闪烁频率大概分为三个范围：低频区(4-15Hz)、中频区(15-30Hz)以及高频区(30-80Hz)。其中，低频区和中频区虽然比较容易诱发稳态视觉诱发电位，但是也容易引起视觉疲劳、头晕等不适感，甚至可能诱发癫痫，因此不宜长期使用。
优选的，由于高频区的图像闪烁较快，人眼不会轻易察觉，因此视觉效果更为舒适。在其中一个具体实施例中，第一待识别交互图像的第一闪烁频率为30Hz，第二待识别交互图像的第二闪烁频率为45Hz，显示界面的刷新频率为60Hz。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
请参阅图9，图9公开了本发明一实施例的脑机交互系统的结构示意图。在另一个实施例中，脑机交互系统应用于AR设备或VR设备，脑机交互系统包括显示镜片、采集模块以及主机，其中：显示镜片，用于获取多个待识别交互图像并显示，待识别交互图像包括独立光源投射到显示界面形成的图像，显示界面的刷新频率与待识别交互图像的闪烁频率不同；采集模块，用于获取被采集者基于待识别交互图像产生的脑电信号，并将脑电信号传输至主机；主机，用于接收脑电信号并进行识别以获取识别结果，识别结果包括被采集者注视的目标交互图像。该脑机交互系统还可以包括交互模块，交互模块位于采集模块和主机之间，用于传输采集模块与主机之间的数据。
请参阅图10，图10是本发明一实施例的脑机交互方法的流程示意图。在本实施例中，脑机交互方法包括：
S2：获取多个待识别交互图像并显示，待识别交互图像包括独立光源投射到显示界面形成的图像，显示界面的刷新频率与待识别交互图像的闪烁频率不同。
示例性地，获取多个待识别交互图像并在显示界面显示。其中，待识别交互图像为第三方独立光源投射到显示界面形成的图像，并且该显示界面的刷新频率与待识别交互图像的闪烁频率不同。可以理解的，显示界面还用于显示自身的图像，以作为待识别交互图像的背景。
S4：获取被采集者基于待识别交互图像产生的脑电信号。
示例性地，获取被采集者的脑电信号。具体的，当被采集者注视某个待识别交互图像中的内容时，其脑电信号中会出现与待识别交互图像的闪烁频率相关联的成分，即稳态视觉诱发电位。采集被采集者的脑电信号并进行分析，即可知道被采集者注视的是哪个待识别交互图像，由此实现脑机交互。
S6：对脑电信号进行识别以获取识别结果，识别结果包括被采集者注视的目标交互图像。
示例性地，对脑电信号的频率成分进行分析和识别，以获取最终的识别结果。其中，该识别结果包括被采集者注视的目标交互图像。根据该识别结果，可以执行与目标交互图像相关的操作，例如输入目标交互图像中的字符，或者执行目标交互图像中的指令等。
请参阅图11，图11是本发明另一实施例的脑机交互方法的流程示意图。具体的，对驱动电路进行配置，以控制发光单元按照不同的预设闪烁频率进行变换；在显示设备显示待识别交互图像，并采集与待识别交互图像相关联的脑电信号；对脑电信号进行分析以获取识别结果，最后输出与识别结果相关联的控制指令，控制相关设备执行指令操作，实现脑机交互。
本实施例获取多个待识别交互图像并显示，待识别交互图像包括独立光源投射到显示界面形成的图像，显示界面的刷新频率与待识别交互图像的闪烁频率不同；获取被采集者基于待识别交互图像产生的脑电信号；对脑电信号进行识别以获取识别结果，识别结果包括被采集者注视的目标交互图像。通过独立光源投射以获取待识别交互图像，使得待识别交互图像的闪烁频率不会受到屏幕刷新频率的影响，解决了脑机交互过程中刺激图像的刷新频率不够稳定的技术问题，提高了脑机交互的准确性。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种脑机交互装置，其特征在于，所述脑机交互装置包括显示模块、采集模块以及处理模块，其中：
所述显示模块，用于获取多个待识别交互图像并显示，所述待识别交互图像包括独立光源投射到显示界面形成的图像，所述显示界面的刷新频率与所述待识别交互图像的闪烁频率不同；
所述采集模块，用于获取被采集者基于所述待识别交互图像产生的脑电信号，并将所述脑电信号传输至所述处理模块；
所述处理模块，用于接收所述脑电信号并进行识别以获取识别结果，所述识别结果包括被采集者注视的目标交互图像。
2.根据权利要求1所述的脑机交互装置，其特征在于，多个所述待识别交互图像的闪烁频率均不相同。
3.根据权利要求1所述的脑机交互装置，其特征在于，所述处理模块还用于控制独立光源将所述待识别交互图像投射到显示界面，并调节所述待识别交互图像的显示位置和/或显示内容。
4.根据权利要求1所述的脑机交互装置，其特征在于，所述采集模块还用于对所述脑电信号进行预处理操作，所述预处理操作包括信号放大、信号滤波、信号降噪中的至少一种。
5.根据权利要求1所述的脑机交互装置，其特征在于，所述处理模块还用于获取所述脑电信号的频率特征，并基于所述频率特征获取所述识别结果。
6.根据权利要求5所述的脑机交互装置，其特征在于，所述处理模块还用于基于典型相关分析方法和/或FFT频谱分析方法对所述频率特征进行分析，以获取所述识别结果。
7.根据权利要求1所述的脑机交互装置，其特征在于，所述处理模块还用于获取所述识别结果对应的控制指令，并将所述控制指令传输至对应的执行模块，以使所述执行模块执行所述控制指令。
8.根据权利要求1所述的脑机交互装置，其特征在于，所述待识别交互图像的闪烁频率的范围为4-80Hz。
9.一种脑机交互系统，应用于AR设备或VR设备，其特征在于，所述脑机交互系统包括显示镜片、采集模块以及主机，其中：
所述显示镜片，用于获取多个待识别交互图像并显示，所述待识别交互图像包括独立光源投射到显示界面形成的图像，所述显示界面的刷新频率与所述待识别交互图像的闪烁频率不同；
所述采集模块，用于获取被采集者基于所述待识别交互图像产生的脑电信号，并将所述脑电信号传输至所述主机；
所述主机，用于接收所述脑电信号并进行识别以获取识别结果，所述识别结果包括被采集者注视的目标交互图像。
10.一种脑机交互方法，其特征在于，包括：
获取多个待识别交互图像并显示，所述待识别交互图像包括独立光源投射到显示界面形成的图像，所述显示界面的刷新频率与所述待识别交互图像的闪烁频率不同；
获取被采集者基于所述待识别交互图像产生的脑电信号；
对所述脑电信号进行识别以获取识别结果，所述识别结果包括被采集者注视的目标交互图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111215527.2A CN114138108A (zh) | 2021-10-19 | 2021-10-19 | 脑机交互装置、系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111215527.2A CN114138108A (zh) | 2021-10-19 | 2021-10-19 | 脑机交互装置、系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114138108A true CN114138108A (zh) | 2022-03-04 |
Family
ID=80394428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111215527.2A Pending CN114138108A (zh) | 2021-10-19 | 2021-10-19 | 脑机交互装置、系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114138108A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114967920A (zh) * | 2022-05-20 | 2022-08-30 | 重庆长安汽车股份有限公司 | 一种抬头显示与脑肌电联合交互控制系统及方法、车辆 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140192173A1 (en) * | 2012-04-25 | 2014-07-10 | Beijing Boe Optoelectronics Technologies Co., Ltd. | Holographic liquid crystal display, stereo display method, and stereo display system |
| KR20160064839A (ko) * | 2014-11-28 | 2016-06-08 | 삼성전자주식회사 | 저주파 화면 표시 방법 및 이를 수행하는 전자장치 |
| CN106491251A (zh) * | 2016-09-27 | 2017-03-15 | 中国医学科学院生物医学工程研究所 | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 |
| CN109366508A (zh) * | 2018-09-25 | 2019-02-22 | 中国医学科学院生物医学工程研究所 | 一种基于bci的高级机械臂控制系统及其实现方法 |
| CN110007769A (zh) * | 2019-04-16 | 2019-07-12 | 山东建筑大学 | 一种基于异步脑机接口的交流系统和方法 |
| CN111694425A (zh) * | 2020-04-27 | 2020-09-22 | 中国电子科技集团公司第二十七研究所 | 一种基于ar-ssvep的目标识别方法及系统 |
| CN113180992A (zh) * | 2021-03-03 | 2021-07-30 | 浙江工业大学 | 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法 |
| CN113282180A (zh) * | 2021-07-07 | 2021-08-20 | 中国工商银行股份有限公司 | 一种基于脑机接口的交互系统、方法及装置 |
| CN113345546A (zh) * | 2021-06-10 | 2021-09-03 | 西安交通大学 | 一种基于稳态视觉诱发电位的手功能主动康复训练系统及方法 |
| CN113360876A (zh) * | 2021-06-30 | 2021-09-07 | 杭州回车电子科技有限公司 | 基于ssvep的身份识别方法、装置、电子装置和存储介质 |
-
2021
- 2021-10-19 CN CN202111215527.2A patent/CN114138108A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140192173A1 (en) * | 2012-04-25 | 2014-07-10 | Beijing Boe Optoelectronics Technologies Co., Ltd. | Holographic liquid crystal display, stereo display method, and stereo display system |
| KR20160064839A (ko) * | 2014-11-28 | 2016-06-08 | 삼성전자주식회사 | 저주파 화면 표시 방법 및 이를 수행하는 전자장치 |
| CN106491251A (zh) * | 2016-09-27 | 2017-03-15 | 中国医学科学院生物医学工程研究所 | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 |
| CN109366508A (zh) * | 2018-09-25 | 2019-02-22 | 中国医学科学院生物医学工程研究所 | 一种基于bci的高级机械臂控制系统及其实现方法 |
| CN110007769A (zh) * | 2019-04-16 | 2019-07-12 | 山东建筑大学 | 一种基于异步脑机接口的交流系统和方法 |
| CN111694425A (zh) * | 2020-04-27 | 2020-09-22 | 中国电子科技集团公司第二十七研究所 | 一种基于ar-ssvep的目标识别方法及系统 |
| CN113180992A (zh) * | 2021-03-03 | 2021-07-30 | 浙江工业大学 | 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法 |
| CN113345546A (zh) * | 2021-06-10 | 2021-09-03 | 西安交通大学 | 一种基于稳态视觉诱发电位的手功能主动康复训练系统及方法 |
| CN113360876A (zh) * | 2021-06-30 | 2021-09-07 | 杭州回车电子科技有限公司 | 基于ssvep的身份识别方法、装置、电子装置和存储介质 |
| CN113282180A (zh) * | 2021-07-07 | 2021-08-20 | 中国工商银行股份有限公司 | 一种基于脑机接口的交互系统、方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 夏阳等: "《神经信息学基础》", 30 September 2015, 电子科技大学出版社, pages: 221 - 225 * |
| 覃玉荣: "《稳态视觉诱发电位变化特性研究》", 31 July 2020, 北京理工大学出版社, pages: 54 - 57 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114967920A (zh) * | 2022-05-20 | 2022-08-30 | 重庆长安汽车股份有限公司 | 一种抬头显示与脑肌电联合交互控制系统及方法、车辆 |
| CN114967920B (zh) * | 2022-05-20 | 2024-07-12 | 重庆长安汽车股份有限公司 | 一种抬头显示与脑肌电联合交互控制系统及方法、车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11445972B2 (en) | Brain-computer interface for user's visual focus detection | |
| Mehmood et al. | Emotion classification of EEG brain signal using SVM and KNN | |
| Chang et al. | Eliciting dual-frequency SSVEP using a hybrid SSVEP-P300 BCI | |
| CN103092340B (zh) | 一种脑-机接口视觉刺激方法及信号识别方法 | |
| Scholler et al. | Toward a direct measure of video quality perception using EEG | |
| Frantzidis et al. | Toward emotion aware computing: an integrated approach using multichannel neurophysiological recordings and affective visual stimuli | |
| Piantoni et al. | Beta oscillations correlate with the probability of perceiving rivalrous visual stimuli | |
| CN103019383A (zh) | 一种稳态视觉诱发电位脑—机接口信号识别方法 | |
| US7338171B2 (en) | Method and apparatus for visual drive control | |
| CN114138109B (zh) | 基于脑机交互的ar设备 | |
| CN105260025A (zh) | 基于移动终端的稳态视觉诱发电位脑机接口系统 | |
| CN113053492B (zh) | 基于用户背景和情绪的自适应虚拟现实干预系统及方法 | |
| CN114138108A (zh) | 脑机交互装置、系统和方法 | |
| Park et al. | EEG oscillations reflect visual short-term memory processes for the change detection in human faces | |
| Li et al. | An adaptive P300 model for controlling a humanoid robot with mind | |
| KR20140129820A (ko) | 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치 | |
| Geske et al. | Differences in brain information processing between print and computer screens: Bottom-up and top-down attention factors | |
| RU2725782C2 (ru) | Система для коммуникации пользователей без использования мышечных движений и речи | |
| Koo et al. | SSVEP response on Oculus Rift | |
| CN109274908B (zh) | 基于左右脑分工理论的增强阈下信息刺激强度的装置 | |
| CN107463259B (zh) | 车载显示设备以及用于车载显示设备的交互方法、装置 | |
| CN114138107A (zh) | 脑机交互装置、系统和方法 | |
| Zao et al. | 37‐4: Invited Paper: Intelligent Virtual‐Reality Head‐Mounted Displays with Brain Monitoring and Visual Function Assessment | |
| Zhang et al. | An independent brain-computer interface based on covert shifts of non-spatial visual attention | |
| CN114746830A (zh) | 视觉脑机接口 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220304 |
|
| RJ01 | Rejection of invention patent application after publication |