CN114138107A - 脑机交互装置、系统和方法 - Google Patents

脑机交互装置、系统和方法 Download PDF

Info

Publication number
CN114138107A
CN114138107A CN202111215504.1A CN202111215504A CN114138107A CN 114138107 A CN114138107 A CN 114138107A CN 202111215504 A CN202111215504 A CN 202111215504A CN 114138107 A CN114138107 A CN 114138107A
Authority
CN
China
Prior art keywords
brain
frequency
computer interaction
module
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111215504.1A
Other languages
English (en)
Inventor
陈子豪
童路遥
易昊翔
丘志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Enter Electronic Technology Co ltd
Original Assignee
Hangzhou Enter Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Enter Electronic Technology Co ltd filed Critical Hangzhou Enter Electronic Technology Co ltd
Priority to CN202111215504.1A priority Critical patent/CN114138107A/zh
Publication of CN114138107A publication Critical patent/CN114138107A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种脑机交互装置、系统和方法，脑机交互装置包括显示模块、采集模块以及处理模块，其中：显示模块包括多个可独立调节开关频率的像素点，预设区域内的所有像素点按照预设闪烁频率进行闪烁，以形成待识别交互图像；预设区域外的所有像素点按照显示界面的刷新频率进行刷新；采集模块，用于获取被采集者基于待识别交互图像产生的脑电信号，并将脑电信号传输至处理模块；处理模块，用于接收脑电信号并进行识别以获取识别结果，识别结果包括被采集者注视的目标交互图像。通过本发明，解决了脑机交互过程中刺激图像的刷新频率不够稳定的技术问题，提高了脑机交互的准确性。

Description

脑机交互装置、系统和方法
技术领域
本申请涉及人机交互领域，特别是涉及脑机交互装置、系统和方法。
背景技术
随着人机交互技术的不断发展，基于脑电信号、肌电信号等生物电信号的交互技术的应用价值不断提高。当人眼注视固定刷新频率的刺激图像时，大脑皮层会产生一个与该固定刷新频率相关联的响应，即稳态视觉诱发电位(SSVEP)。例如，当人眼注视的刺激图像的刷新频率为15Hz时，大脑中会产生15Hz、30Hz、45Hz等特定频率的电位响应。
为了实现脑电控制，现有技术中利用稳态视觉诱发电位的特性，在屏幕上显示一系列不同刷新频率的刺激图像，通过分析用户的脑电信号判断用户正在注视哪个刺激图像，并根据判断结果输出控制指令，从而实现脑电控制。但是，由于刺激图像只能直接在屏幕上进行显示，刺激图像的刷新频率会受到屏幕刷新频率的限制，导致刺激图像的刷新频率不够稳定。
针对相关技术中存在的刺激图像的刷新频率不够稳定的技术问题，目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种脑机交互装置、系统和方法，以解决相关技术中刺激图像的刷新频率不够稳定的问题。
第一方面，在本实施例中提供了一种脑机交互装置，所述脑机交互装置包括显示模块、采集模块以及处理模块，其中：
所述显示模块包括多个可独立调节开关频率的像素点，预设区域内的所有像素点按照预设闪烁频率进行闪烁，以形成待识别交互图像；预设区域外的所有像素点按照显示界面的刷新频率进行刷新；
所述采集模块，用于获取被采集者基于所述待识别交互图像产生的脑电信号，并将所述脑电信号传输至所述处理模块；
所述处理模块，用于接收所述脑电信号并进行识别以获取识别结果，所述识别结果包括被采集者注视的目标交互图像。
在其中的一些实施例中，多个所述待识别交互图像的预设闪烁频率均不相同。
在其中的一些实施例中，所述处理模块还用于调节所述待识别交互图像的预设闪烁频率。
在其中的一些实施例中，所述显示模块还包括多个驱动单元，每个所述驱动单元均与单个所述待识别交互图像的像素点相对应，用于对所述像素点的预设闪烁频率进行调节。
在其中的一些实施例中，所述显示模块至少包括OLED显示屏幕、miniLED显示屏幕以及microLED显示屏幕。
在其中的一些实施例中，所述采集模块还用于对所述脑电信号进行预处理操作，所述预处理操作包括信号放大、信号滤波、信号降噪中的至少一种。
在其中的一些实施例中，所述处理模块还用于获取所述脑电信号的频率特征，并基于所述频率特征获取所述识别结果。
在其中的一些实施例中，所述处理模块还用于获取所述识别结果对应的控制指令，并将所述控制指令传输至对应的执行模块，以使所述执行模块执行所述控制指令。
第二方面，在本实施例中提供了一种脑机交互系统，应用于AR设备或VR设备，所述脑机交互系统包括显示镜片、采集模块以及主机，其中：
所述显示镜片包括多个可独立调节开关频率的像素点，预设区域内的所有像素点按照预设闪烁频率进行闪烁，以形成待识别交互图像；预设区域外的所有像素点按照显示界面的刷新频率进行刷新；
所述采集模块，用于获取被采集者基于所述待识别交互图像产生的脑电信号，并将所述脑电信号传输至所述主机；
所述主机，用于接收所述脑电信号并进行识别以获取识别结果，所述识别结果包括被采集者注视的目标交互图像。
第三方面，在本实施例中提供了一种脑机交互方法，包括：
控制预设区域内的所有像素点按照预设闪烁频率进行闪烁，以形成待识别交互图像，并控制预设区域外的所有像素点按照显示界面的刷新频率进行刷新；
获取被采集者基于所述待识别交互图像产生的脑电信号；
接收所述脑电信号并进行识别以获取识别结果，所述识别结果包括被采集者注视的目标交互图像。
与相关技术相比，在本实施例中提供的脑机交互装置、系统和方法，所述脑机交互装置包括显示模块、采集模块以及处理模块，其中：所述显示模块包括多个可独立调节开关频率的像素点，预设区域内的所有像素点按照预设闪烁频率进行闪烁，以形成待识别交互图像；预设区域外的所有像素点按照显示界面的刷新频率进行刷新；所述采集模块，用于获取被采集者基于所述待识别交互图像产生的脑电信号，并将所述脑电信号传输至所述处理模块；所述处理模块，用于接收所述脑电信号并进行识别以获取识别结果，所述识别结果包括被采集者注视的目标交互图像。通过对预设区域的像素点的预设闪烁频率进行调节以形成待识别交互图像，并且待识别交互图像的预设闪烁频率与显示界面的刷新频率不同，解决了脑机交互过程中刺激图像的刷新频率不够稳定的技术问题，提高了脑机交互的准确性。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明一实施例的脑机交互装置的结构框图；
图2是本发明另一实施例的脑机交互装置的结构框图；
图3是本发明一实施例的待识别交互图像的示意图；
图4是本发明另一实施例的脑机交互装置的结构框图；
图5是本发明一实施例的待识别交互图像信号的波形图；
图6是本发明另一实施例的脑机交互装置的结构框图；
图7是本发明另一实施例的脑机交互装置的结构框图；
图8是本发明另一实施例的脑机交互装置的结构框图；
图9是本发明一实施例的脑机交互系统的结构示意图；
图10是本发明一实施例的脑机交互方法的流程示意图；
图11是本发明另一实施例的脑机交互方法的流程示意图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
示例性地，当人眼注视固定刷新频率的刺激图像时，大脑皮层会产生一个与该固定刷新频率相关联的响应，即稳态视觉诱发电位(SSVEP)。在现有技术中常常利用稳态视觉诱发电位实现意念打字，即在屏幕上显示不同的字母，每个字母按照各自的刷新频率进行闪烁，同时采集被采集者的脑电信号，通过对脑电信号中的频率成分进行分析以判断被采集者注视的字母，实现意念打字。此外基于稳态视觉诱发电位还可以控制物体或者机器的行动方向以实现意念控制，本发明对此不再赘述。
示例性地，当前手机、VR设备、AR设备等终端设备使用的OLED以及microLED显示屏与传统的LCD显示屏的发光原理并不相同。其中，LCD显示屏是通过背光板控制发光，而OLED显示屏是通过控制每个像素点的发光元件的RGB三通道的亮度来显示图像。进一步，显示屏的亮度控制方式也有两种，即PWM调光控制和DC调光控制。其中，DC调光是通过调控输入的电压进行调控，PWM调光是通过PWM波的占空比来调整亮度。为了提高视觉的舒适度，当前使用的PWM调光方式的频率普遍在1kHz左右。
请参阅图1，图1是本发明一实施例的脑机交互装置的结构框图。在本实施例中，脑机交互装置包括显示模块100、采集模块200以及处理模块300，其中：显示模块100包括多个可独立调节开关频率的像素点，预设区域内的所有像素点按照预设闪烁频率进行闪烁，以形成待识别交互图像；预设区域外的所有像素点按照显示界面的刷新频率进行刷新；采集模块200，用于获取被采集者基于待识别交互图像产生的脑电信号，并将脑电信号传输至处理模块；处理模块300，用于接收脑电信号并进行识别以获取识别结果，识别结果包括被采集者注视的目标交互图像。
示例性地，显示模块100包括多个可独立调节开关频率的像素点，其中，像素点可以由显示模块100的内部发光元件进行控制，并按照一定的频率进行闪烁。具体的，显示模块100控制预设区域内的像素点以一定的预设闪烁频率进行闪烁，以形成待识别交互图像，使得待识别交互图像与显示界面以不同的频率进行显示。其中，预设区域是指预先设定的用于显示待识别交互图像的区域，其位置可基于待识别交互图像的显示需求进行调整，其数量可以为一个或者多个。
在其中一个具体实施例中，处理模块300根据待识别交互图像的位置对屏幕中的像素点进行分区。对于常规的显示界面的像素点，按照正常屏幕的显示方式进行配置，即采用高频率(如1kHz)进行闪烁，并以一定的刷新频率(如60Hz、90Hz、120Hz或144Hz等)进行刷新；对于待识别交互图像内的像素点，按照设定的SSVEP诱发频率(例如40Hz)对该区域内的像素点进行调制，从而在显示界面呈现稳定闪烁的待识别交互图像。
示例性地，采集模块200用于获取被采集者的脑电信号，并将该脑电信号传输至处理模块300。具体的，当被采集者注视某个待识别交互图像中的内容时，其脑电信号中会出现与待识别交互图像的预设闪烁频率相关联的成分，即稳态视觉诱发电位(SSVEP)。采集被采集者的脑电信号并进行分析，即可知道被采集者注视的是哪个待识别交互图像，由此实现脑机交互。
示例性地，处理模块300用于接收采集模块200传输的脑电信号，并对脑电信号的频率成分进行分析和识别，以获取最终的识别结果。其中，该识别结果包括被采集者注视的目标交互图像。根据该识别结果，可以执行与目标交互图像相关的操作，例如输入目标交互图像中的字符，或者执行目标交互图像中的指令等。具体的，目标交互图像可以是待识别交互图像中的任意一个。
本实施例中脑机交互装置包括显示模块、采集模块以及处理模块，其中：显示模块包括多个可独立调节开关频率的像素点，预设区域内的所有像素点按照预设闪烁频率进行闪烁，以形成待识别交互图像；预设区域外的所有像素点按照显示界面的刷新频率进行刷新；采集模块，用于获取被采集者基于待识别交互图像产生的脑电信号，并将脑电信号传输至处理模块；处理模块，用于接收脑电信号并进行识别以获取识别结果，识别结果包括被采集者注视的目标交互图像。通过对预设区域的像素点的预设闪烁频率进行调节以形成待识别交互图像，并且待识别交互图像的预设闪烁频率与显示界面的刷新频率不同，解决了脑机交互过程中刺激图像的刷新频率不够稳定的技术问题，提高了脑机交互的准确性。
在另一个实施例中，多个待识别交互图像的预设闪烁频率均不相同。
可以理解的，当人眼注视固定刷新频率的刺激图像时，大脑皮层会产生一个与该固定刷新频率相关联的响应，即稳态视觉诱发电位(SSVEP)。例如刺激图像的刷新频率为15Hz时，大脑皮层会产生15Hz、30Hz、45Hz等的频率响应。基于此，当存在多个不同刷新频率的刺激图像时，通过对被采集者脑电信号中的频率成分进行分析，即可确定被采集者注视的刺激图像。
示例性地，显示模块100中显示的多个待识别交互图像的预设闪烁频率均不相同。可以理解的，当被采集者注视不同的待识别交互图像时，由于待识别交互图像的预设闪烁频率不同，且被采集者的脑电信号的频率成分与注视的待识别交互图像的预设闪烁频率相关联，因此被采集者产生的脑电信号中的频率成分也不相同。基于此，可以对被采集者注视的待识别交互图像进行分析和识别。
为方便说明，本实施例以两个待识别交互图像为例。请参阅图2，图2是本发明另一实施例的脑机交互装置的结构框图。具体的，显示模块100包括第一调频像素110、第二调频像素120以及常规像素130，其中：第一调频像素110，用于按照第一预设闪烁频率进行闪烁，以形成第一待识别交互图像；第二调频像素120，用于按照第二预设闪烁频率进行闪烁，以形成第二待识别交互图像；常规像素130，用于显示屏幕自身的背景图像。可以理解的，第一预设闪烁频率的数值大小和第二预设闪烁频率不同。
应当说明的是，本实施例中的第一调频像素110、第二调频像素120以及常规像素130，并不限于单独某一个像素点，而是指构成第一待识别交互图像、第二待识别交互图像以及背景图像的所有像素点，以下实施例对此不再赘述。
本实施例中多个待识别交互图像的预设闪烁频率均不相同，当被采集者注视不同的待识别交互图像时，由于待识别交互图像的预设闪烁频率不同，且被采集者的脑电信号的频率成分与注视的待识别交互图像的预设闪烁频率相关联，因此被采集者产生的脑电信号中的频率成分也不相同。基于此，可以确定每个待识别交互图像所对应的唯一脑机交互指令，提高了脑机交互的准确性。
在另一个实施例中，处理模块300还用于调节待识别交互图像的预设闪烁频率。
示例性地，处理模块300与显示模块100连接，用于调节待识别交互图像的预设闪烁频率。具体的，处理模块300获取待识别交互图像的显示位置，基于该位置信息，将屏幕中的所有像素点划分成调频像素以及常规像素，其中，调频像素用于显示待识别交互图像，常规像素用于显示屏幕自身的图像。通过对屏幕中的调频像素进行调制，实现待识别交互图像的预设闪烁频率的调节。其中，位置信息包括但不限于待识别交互图像的顶点坐标、待识别交互图像的尺寸参数。
请参阅图3，图3是本发明一实施例的待识别交互图像的示意图。具体的，可独立调节预设闪烁频率的屏幕由大量密集的像素点排列组成。在需要实现脑机交互时，处理模块300通过对像素进行划分，将屏幕分成显示界面区域以及第一待识别交互图像区域、第二待识别交互图像区域。根据第一待识别交互图像以及第二待识别交互图像的位置，分别对第一待识别交互图像区域以及第二待识别交互图像区域的像素点进行调频配置以获取不同的预设闪烁频率，而显示界面区域则保留屏幕的刷新频率。可以理解的，屏幕中的任意一个像素点都可以在不同的情形下配置成显示界面常规像素或者待识别交互图像像素。
示例性地，待识别交互图像可以根据具体场景设置成任意的交互内容，并且可以是随着时间变化的图像，以呈现动画效果，只要保证该待识别交互图像的所有像素点均被配置为预设闪烁频率即可。
在另一个实施例中，显示模块还包括多个驱动单元，每个所述驱动单元均与单个所述待识别交互图像的像素点相对应，用于对像素点的预设闪烁频率进行调节。
示例性地，本实施例通过多个驱动单元对像素点的预设闪烁频率进行调制，其中每个驱动单元均与单个待识别交互图像的像素点相对应，以获取预设闪烁频率与显示界面的刷新频率不同多个待识别交互图像。在其中一个具体实施例中，驱动单元包括PWM驱动电路。
请参阅图4，图4是本发明另一实施例的脑机交互装置的结构框图。具体的，显示模块100还包括第一驱动单元140以及第二驱动单元150，其中：第一驱动单元140，用于控制第一调频像素110按照第一预设闪烁频率进行闪烁；第二驱动单元150，用于控制第二调频像素120按照第二预设闪烁频率进行闪烁。
示例性地，第一驱动单元140用于对第一预设区域的第一调频像素110的预设闪烁频率进行控制，使得第一预设区域内的像素点能够按照第一预设闪烁频率进行闪烁，以获取第一待识别交互图像。
示例性地，第二驱动单元150用于对第二预设区域的第二调频像素120的预设闪烁频率进行控制，使得第二预设区域内的像素点能够按照第二预设闪烁频率进行闪烁，以获取第二待识别交互图像。
示例性地，本实施例中的驱动单元还用于对常规像素以及调频像素的状态进行切换，以使得常规像素切换至调频像素，或者调频像素切换至常规像素。
示例性地，本实施例中的第一驱动单元140以及第二驱动单元150还分别与处理模块300进行连接，由处理模块300对第一驱动单元140以及第二驱动单元150进行配置，以获取相应的驱动信号，进一步对第一调频像素110以及第二调频像素120的预设闪烁频率进行调制。具体的，处理模块300控制第一驱动单元140以及第二驱动单元150对不同预设区域的像素点进行调制，使得显示界面按照正常的刷新频率进行显示，而第一交互图像区域和第二交互图像区域的分别按照第一预设闪烁频率以及第二预设闪烁频率进行闪烁。
请参阅图5，图5是本发明一实施例的待识别交互图像信号的波形图。在其中一个具体实施例中，显示界面通常以高频率进行调制(例如1kHz)，其调制周期为Tc，则显示界面的调制频率为：
Figure BDA0003310455700000081
其中，显示界面自身的图像中所有像素按照预设的刷新频率进行刷新(例如60Hz、90Hz、120Hz、144Hz等)。第一预设闪烁频率以及第二预设闪烁频率的数值大小均与显示界面的预设刷新频率不同，并且第一预设闪烁频率与第二预设闪烁频率之间也不相同。不同的待识别交互图像区域通过不同的预设闪烁频率，诱发被采集者产生不同频率的脑电信号。具体的，第一待识别交互图像的信号周期为TA，第一预设闪烁频率的大小：
Figure BDA0003310455700000082
第二待识别交互图像的信号周期为TB，第二预设闪烁频率的大小：
Figure BDA0003310455700000083
本实施例中显示模块还包括多个驱动单元，每个所述驱动单元均与单个所述待识别交互图像的像素点相对应，用于对像素点的预设闪烁频率进行调节。通过多个驱动单元分别对不同的待识别交互图像的像素点的预设闪烁频率进行调控，控制方式简单灵活，并且提高了像素点预设闪烁频率的稳定性。
在另一个实施例中，显示模块100至少包括OLED显示屏幕、miniLED显示屏幕以及microLED显示屏幕。
示例性地，显示模块100包括具有独立调频特性的显示屏幕，例如OLED显示屏幕、miniLED显示屏幕以及microLED显示屏幕等。其中，OLED显示屏幕是指通过有机发光二极管进行显示的屏幕；而miniLED显示屏幕以及microLED显示屏幕是指通过无机金属半导体进行显示的屏幕。可以理解的，本实施例仅仅作为示例，本发明中的显示模块并不限于上述显示屏幕。
本实施例的显示模块100至少包括OLED显示屏幕、miniLED显示屏幕以及microLED显示屏幕，通过上述显示屏幕，实现了像素点预设闪烁频率的独立调节，并且相比于其他显示屏幕，本实施例中的显示屏幕降低了设备功耗，并且提高了响应速度和分辨率，进一步提高了脑机交互的体验感。
在另一个实施例中，处理模块300还用于控制待识别交互图像，并调节待识别交互图像的显示位置和/或显示内容。
示例性地，处理模块300还用于调制像素点，并控制像素点在显示界面显示待识别交互图像，进一步调节待识别交互图像在显示界面的显示位置和/或显示内容。具体的，根据具体的使用场景和交互需求，对待识别交互图像的位置和内容进行调节，使得显示界面范围内能够显示不同图像内容和预设闪烁频率的待识别交互图像。
在另一个实施例中，采集模块200还用于对脑电信号进行预处理操作，预处理操作包括信号放大、信号滤波、信号降噪中的至少一种。
示例性地，采集模块200在获取被采集者的脑电信号后，进一步对脑电信号进行预处理操作。其中，预处理操作包括信号放大、信号滤波以及信号降噪等，还可以包括其他信号处理方法，本实施例对此不作限制。
请参阅图6，图6是本发明另一实施例的脑机交互装置的结构框图。具体的，采集模块200包括相互连接的信号采集单元210以及信号处理单元220，其中：信号采集单元210，用于采集获取被采集者基于待识别交互图像产生的脑电信号；信号处理单元220，用于对脑电信号进行预处理操作，并将处理后的脑电信号传输至处理模块300。
示例性地，信号采集单元210与用户头部接触，用于采集被采集者基于待识别交互图像产生的脑电信号，并将脑电信号传输至信号处理单元220。由于基于待识别交互图像产生的脑电信号与大脑的视觉皮层活动相关，因此优选地在枕叶区采集脑电信号。在其中一个具体实施例中，信号采集单元210包括电极，电极与头皮接触，以采集脑电信号。
示例性地，信号处理单元220的输入端与信号采集单元210的输出端连接，信号处理单元220的输出端与处理模块300的输入端连接，用于获取信号采集单元210传输的脑电信号，并对脑电信号进行预处理操作，最后将经过预处理操作的脑电信号传输至处理模块300。在其中一个具体实施例中，信号处理单元220包括但不限于滤波电路以及信号放大电路。
本实施例采集模块200还用于对脑电信号进行预处理操作，预处理操作包括信号放大、信号滤波、信号降噪中的至少一种。通过对获取的脑电信号进行预处理操作，提高了脑电信号的质量，进一步提高了脑机交互的准确性。
在另一个实施例中，处理模块300还用于获取脑电信号的频率特征，并基于频率特征获取识别结果。
示例性地，处理模块300获取脑电信号后，对脑电信号进行分析，并提取脑电信号的频率特征，基于该频率特征匹配对应的识别结果，即被采集者注视的目标交互图像。可以理解的，脑电信号的频率特征与被采集者注视的待识别交互图像的预设闪烁频率相关联，基于该特性可以准确获取被采集者注视的目标交互图像。
在另一个实施例中，处理模块300还用于基于典型相关分析方法和/或FFT频谱分析方法对频率特征进行分析，以获取识别结果。
示例性地，处理模块300获取脑电信号的频率特征后，基于典型相关分析方法或者FFT频谱分析方法对频率特征进行分析，从而获取最终的识别结果。其中，典型相关分析方法是指利用综合变量之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法，FFT频谱分析方法是指基于快速傅里叶变换对频率信号进行分解的方法。可以理解的，基于典型相关分析方法或FFT频谱分析方法，可以更准确地对频率特征进行分析以获取识别结果，进一步提高脑机交互的准确性。
在另一个实施例中，处理模块300还用于获取识别结果对应的控制指令，并将控制指令传输至对应的执行模块，以使执行模块执行控制指令。
示例性地，处理模块300对脑电信号进行分析并获取识别结果，进一步获取该识别结果对应的控制指令，可以理解的，识别结果与控制指令的对应关系是预先存储在数据库的。获取控制指令后，将该控制指令传输给对应的执行模块，并控制该执行模块指令该控制指令，最终实现脑机交互。
请参阅图7，图7是本发明另一实施例的脑机交互装置的结构框图。具体的，处理模块300包括相互连接的处理单元310以及通信单元320，其中：处理单元310，用于接收脑电信号并进行分析以得到频率特征，基于频率特征获取识别结果，并输出识别结果对应的控制指令至通信单元320；通信单元320，用于接收控制指令，并将控制指令传输至对应的执行模块，以使执行模块执行控制指令，实现脑机交互。
示例性地，处理单元310的输入端还与采集模块200的输出端连接，处理单元310的输出端与通信单元320的输入端连接，以用于获取采集模块200输出的脑电信号，并对脑电信号进行处理，提取脑电信号中的频率特征，进一步基于频率特征得到识别结果，最终将识别结果对应的控制指令传输至通信单元320。具体的，通过CCA分析或者FFT频谱分析等方法对频率特征进行分析以得到识别结果，并基于该识别结果匹配对应的控制指令。其中，识别结果包括被采集者注视的目标交互图像，控制指令用于控制对应的执行模块执行相关操作。在其中一个具体实施例中，处理单元310包括但不限于中央处理器。
可选的，处理单元310还可以进一步对脑电信号进行滤波、去噪等处理操作，以进一步提高脑电信号的质量。
示例性地，通信单元320的输入端与处理单元310的输出端连接，通信单元320的输出端与执行模块进行连接，用于接收处理单元310传输的控制指令，并将控制指令传输至对应的执行模块，使得执行模块执行相关操作，从而实现处理单元310与执行模块之间的业务通信。
在另一个实施例中，处理模块300还用于获取脑机交互指令，并基于脑机交互指令控制显示模块100以及采集模块200。
示例性地，处理模块300获取用户或者其他设备输出的脑机交互指令，根据脑机交互指令对显示模块100以及采集模块200进行控制。具体的，处理模块300基于脑机交互指令控制显示模块100以及采集模块200的运行。
在其中一个具体实施例中，在进行脑机交互之前，处理模块300获取用户的脑机交互指令，并控制显示模块100以及采集模块200进入工作状态，以开始脑机交互。具体的，脑机交互指令可以由用户输入，也可以由处理模块300根据用户的某一动作直接获取。
请参阅图8，图8是本发明另一实施例的脑机交互装置的结构框图。具体的，显示模块100包括头戴式设备显示单元160、第一调频像素110、第二调频像素120、常规像素130、第一驱动单元140以及第二驱动单元150，采集模块200包括信号采集单元210以及信号处理单元220，处理模块300包括处理单元310以及通信单元320。此外，本实施例中的脑机交互装置还包括多个执行模块。
具体的，显示模块100中的第一驱动单元140以及第二驱动单元150的输入端与处理单元310连接，用于根据处理单元310的控制指令对第一调频像素110以及第二调频像素120的预设闪烁频率进行调控；第一调频像素110以及第二调频像素120根据第一驱动单元140以及第二驱动单元150的调控指令，产生预设闪烁频率不同的第一待识别交互图像以及第二待识别交互图像；常规像素130用于显示自身的图像；头戴式设备显示单元160用于获取待识别交互图像，并将待识别交互图像显示于用户眼前。
示例性地，采集模块200中的信号采集单元210信号处理单元220连接，信号采集单元210一端接触被采集者脑部，以采集脑电信号，并将脑电信号传输至信号处理单元220；信号处理单元220的输入端与信号采集单元210的输出端连接，用于获取信号采集单元210输出的脑电信号，并对脑电信号进行滤波、去噪、放大等预处理操作，最后将经过预处理操作的脑电信号传输至处理单元310。
示例性地，处理模块300中的处理单元310的输入端与信号处理单元220相连，处理模块300的输出端与通信单元320相连，用于接收信号处理单元220传输的脑电信号并进行分析，获取脑电信号的识别结果，并将该识别结果对应的控制指令传输至通信单元320；通信单元320的输入端与处理单元310相连，通信单元320的输出端与多个执行模块相连，用于获取控制指令并将该控制指令分发给多个执行模块，使得执行模块执行相关指令操作，最终实现脑机交互。
本实施例中处理模块300还用于获取脑机交互指令，并基于脑机交互指令控制显示模块100以及采集模块200。通过处理模块300获取的脑机交互指令对显示模块100以及采集模块200进行控制，提高了脑机交互装置各个模块的协调性与集成性。
在另一个实施例中，待识别交互图像的预设闪烁频率的范围为4-80Hz。
示例性地，能够诱发稳态视觉诱发电位的预设闪烁频率大概分为三个范围：低频区(4-15Hz)、中频区(15-30Hz)以及高频区(30-80Hz)。其中，低频区和中频区虽然比较容易诱发稳态视觉诱发电位，但是也容易引起视觉疲劳、头晕等不适感，甚至可能诱发癫痫，因此不宜长期使用。
优选的，由于高频区的图像闪烁较快，人眼不会轻易察觉，因此视觉效果更为舒适。在其中一个具体实施例中，第一待识别交互图像的第一预设闪烁频率为30Hz，第二待识别交互图像的第二预设闪烁频率为45Hz，显示界面的刷新频率为60Hz。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
请参阅图9，图9公开了本发明一实施例的脑机交互系统的结构示意图。在另一个实施例中，脑机交互系统应用于AR设备或VR设备，脑机交互系统包括显示镜片、采集模块以及主机，其中：显示镜片包括多个可独立调节开关频率的像素点，预设区域内的所有像素点按照预设闪烁频率进行闪烁，以形成待识别交互图像；预设区域外的所有像素点按照显示界面的刷新频率进行刷新；采集模块，用于获取被采集者基于待识别交互图像产生的脑电信号，并将脑电信号传输至主机；主机，用于接收脑电信号并进行识别以获取识别结果，识别结果包括被采集者注视的目标交互图像。该脑机交互系统还可以包括交互模块，交互模块位于采集模块和主机之间，用于传输采集模块与主机之间的数据。
请参阅图10，图10是本发明一实施例的脑机交互方法的流程示意图。在本实施例中，脑机交互方法包括：
S2：控制预设区域内的所有像素点按照预设闪烁频率进行闪烁，以形成待识别交互图像，并控制预设区域外的所有像素点按照显示界面的刷新频率进行刷新。
示例性地，在显示界面显示多个待识别交互图像。具体的，控制预设区域内的像素点以一定的预设闪烁频率进行闪烁，以形成待识别交互图像，使得待识别交互图像与显示界面以不同的频率进行显示。
S4：获取被采集者基于待识别交互图像产生的脑电信号。
示例性地，获取被采集者的脑电信号。具体的，当被采集者注视某个待识别交互图像中的内容时，其脑电信号中会出现与待识别交互图像的预设闪烁频率相关联的成分，即稳态视觉诱发电位。采集被采集者的脑电信号并进行分析，即可知道被采集者注视的是哪个待识别交互图像，由此实现脑机交互。
S6：接收脑电信号并进行识别以获取识别结果，识别结果包括被采集者注视的目标交互图像。
示例性地，对脑电信号的频率成分进行分析和识别，以获取最终的识别结果。其中，该识别结果包括被采集者注视的目标交互图像。根据该识别结果，可以执行与目标交互图像相关的操作，例如输入目标交互图像中的字符，或者执行目标交互图像中的指令等。
请参阅图11，图11是本发明另一实施例的脑机交互方法的流程示意图。具体的，对驱动电路进行配置，以控制像素点按照不同的预设闪烁频率进行变换；在显示设备显示待识别交互图像，并采集与待识别交互图像相关联的脑电信号；对脑电信号进行分析以获取识别结果，最后输出与识别结果相关联的控制指令，控制相关设备执行指令操作，实现脑机交互。
本实施例控制预设区域内的所有像素点按照预设闪烁频率进行闪烁，以形成待识别交互图像，并控制预设区域外的所有像素点按照显示界面的刷新频率进行刷新；获取被采集者基于待识别交互图像产生的脑电信号；接收脑电信号并进行识别以获取识别结果，识别结果包括被采集者注视的目标交互图像。通过对预设区域的像素点的预设闪烁频率进行调节以形成待识别交互图像，并且待识别交互图像的预设闪烁频率与显示界面的刷新频率不同，解决了脑机交互过程中刺激图像的刷新频率不够稳定的技术问题，提高了脑机交互的准确性。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种脑机交互装置，其特征在于，所述脑机交互装置包括显示模块、采集模块以及处理模块，其中：
所述显示模块包括多个可独立调节开关频率的像素点，预设区域内的所有像素点按照预设闪烁频率进行闪烁，以形成待识别交互图像；预设区域外的所有像素点按照显示界面的刷新频率进行刷新；
所述采集模块，用于获取被采集者基于所述待识别交互图像产生的脑电信号，并将所述脑电信号传输至所述处理模块；
所述处理模块，用于接收所述脑电信号并进行识别以获取识别结果，所述识别结果包括被采集者注视的目标交互图像。
2.根据权利要求1所述的脑机交互装置，其特征在于，多个所述待识别交互图像的预设闪烁频率均不相同。
3.根据权利要求1所述的脑机交互装置，其特征在于，所述处理模块还用于调节所述待识别交互图像的预设闪烁频率。
4.根据权利要求1所述的脑机交互装置，其特征在于，所述显示模块还包括多个驱动单元，每个所述驱动单元均与单个所述待识别交互图像的像素点相对应，用于对所述像素点的预设闪烁频率进行调节。
5.根据权利要求1所述的脑机交互装置，其特征在于，所述显示模块至少包括OLED显示屏幕、miniLED显示屏幕以及microLED显示屏幕。
6.根据权利要求1所述的脑机交互装置，其特征在于，所述采集模块还用于对所述脑电信号进行预处理操作，所述预处理操作包括信号放大、信号滤波、信号降噪中的至少一种。
7.根据权利要求1所述的脑机交互装置，其特征在于，所述处理模块还用于获取所述脑电信号的频率特征，并基于所述频率特征获取所述识别结果。
8.根据权利要求1所述的脑机交互装置，其特征在于，所述处理模块还用于获取所述识别结果对应的控制指令，并将所述控制指令传输至对应的执行模块，以使所述执行模块执行所述控制指令。
9.一种脑机交互系统，应用于AR设备或VR设备，其特征在于，所述脑机交互系统包括显示镜片、采集模块以及主机，其中：
所述显示镜片包括多个可独立调节开关频率的像素点，预设区域内的所有像素点按照预设闪烁频率进行闪烁，以形成待识别交互图像；预设区域外的所有像素点按照显示界面的刷新频率进行刷新；
所述采集模块，用于获取被采集者基于所述待识别交互图像产生的脑电信号，并将所述脑电信号传输至所述主机；
所述主机，用于接收所述脑电信号并进行识别以获取识别结果，所述识别结果包括被采集者注视的目标交互图像。
10.一种脑机交互方法，其特征在于，包括：
控制预设区域内的所有像素点按照预设闪烁频率进行闪烁，以形成待识别交互图像，并控制预设区域外的所有像素点按照显示界面的刷新频率进行刷新；
获取被采集者基于所述待识别交互图像产生的脑电信号；
接收所述脑电信号并进行识别以获取识别结果，所述识别结果包括被采集者注视的目标交互图像。
CN202111215504.1A 2021-10-19 2021-10-19 脑机交互装置、系统和方法 Pending CN114138107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111215504.1A CN114138107A (zh) 2021-10-19 2021-10-19 脑机交互装置、系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111215504.1A CN114138107A (zh) 2021-10-19 2021-10-19 脑机交互装置、系统和方法

Publications (1)

Publication Number Publication Date
CN114138107A true CN114138107A (zh) 2022-03-04

Family

ID=80394394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111215504.1A Pending CN114138107A (zh) 2021-10-19 2021-10-19 脑机交互装置、系统和方法

Country Status (1)

Country Link
CN (1) CN114138107A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204759349U (zh) * 2015-05-15 2015-11-11 中国计量学院 一种基于稳态视觉诱发电位的飞行器控制装置
CN107229330A (zh) * 2017-04-25 2017-10-03 中国农业大学 一种基于稳态视觉诱发电位的文字输入方法及装置
CN109366508A (zh) * 2018-09-25 2019-02-22 中国医学科学院生物医学工程研究所 一种基于bci的高级机械臂控制系统及其实现方法
CN110007769A (zh) * 2019-04-16 2019-07-12 山东建筑大学 一种基于异步脑机接口的交流系统和方法
CN111399652A (zh) * 2020-03-20 2020-07-10 南开大学 基于分层ssvep与视觉辅助的多机器人混合系统
CN211001203U (zh) * 2019-11-13 2020-07-14 蓝色传感（北京）科技有限公司 基于脑电信号的人车交互系统
CN111694425A (zh) * 2020-04-27 2020-09-22 中国电子科技集团公司第二十七研究所 一种基于ar-ssvep的目标识别方法及系统
CN113180992A (zh) * 2021-03-03 2021-07-30 浙江工业大学 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法
CN113282180A (zh) * 2021-07-07 2021-08-20 中国工商银行股份有限公司 一种基于脑机接口的交互系统、方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204759349U (zh) * 2015-05-15 2015-11-11 中国计量学院 一种基于稳态视觉诱发电位的飞行器控制装置
CN107229330A (zh) * 2017-04-25 2017-10-03 中国农业大学 一种基于稳态视觉诱发电位的文字输入方法及装置
CN109366508A (zh) * 2018-09-25 2019-02-22 中国医学科学院生物医学工程研究所 一种基于bci的高级机械臂控制系统及其实现方法
CN110007769A (zh) * 2019-04-16 2019-07-12 山东建筑大学 一种基于异步脑机接口的交流系统和方法
CN211001203U (zh) * 2019-11-13 2020-07-14 蓝色传感（北京）科技有限公司 基于脑电信号的人车交互系统
CN111399652A (zh) * 2020-03-20 2020-07-10 南开大学 基于分层ssvep与视觉辅助的多机器人混合系统
CN111694425A (zh) * 2020-04-27 2020-09-22 中国电子科技集团公司第二十七研究所 一种基于ar-ssvep的目标识别方法及系统
CN113180992A (zh) * 2021-03-03 2021-07-30 浙江工业大学 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法
CN113282180A (zh) * 2021-07-07 2021-08-20 中国工商银行股份有限公司 一种基于脑机接口的交互系统、方法及装置

Similar Documents

Publication Publication Date Title
Chang et al. Eliciting dual-frequency SSVEP using a hybrid SSVEP-P300 BCI
CN103092340B (zh) 一种脑-机接口视觉刺激方法及信号识别方法
US11445972B2 (en) Brain-computer interface for user's visual focus detection
US8648800B2 (en) Control method and system of brain computer interface with stepping delay flickering sequence
CN105260025A (zh) 基于移动终端的稳态视觉诱发电位脑机接口系统
US7338171B2 (en) Method and apparatus for visual drive control
CN108294748A (zh) 一种基于稳态视觉诱发的脑电信号采集与分类方法
EP3396495B1 (en) Neurocomputer system for selecting commands on the basis of recording brain activity
CN112882567B (zh) 人机交互方法、人机交互装置及存储介质
CN114138109B (zh) 基于脑机交互的ar设备
KR101465878B1 (ko) 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치
CN108319367B (zh) 一种基于运动起始诱发电位的脑机接口方法
CN114138107A (zh) 脑机交互装置、系统和方法
Geske et al. Differences in brain information processing between print and computer screens: Bottom-up and top-down attention factors
CN107463259B (zh) 车载显示设备以及用于车载显示设备的交互方法、装置
Koo et al. SSVEP response on Oculus Rift
CN114138108A (zh) 脑机交互装置、系统和方法
CN116382481A (zh) 一种基于脑机接口技术的人机交互眼镜
CN114115547B (zh) 一种混合脑机接口的目标呈现方法及装置
RU2018142364A (ru) Система для коммуникации пользователей без использования мышечных движений и речи
Zao et al. 37‐4: Invited Paper: Intelligent Virtual‐Reality Head‐Mounted Displays with Brain Monitoring and Visual Function Assessment
Zhang et al. An independent brain-computer interface based on covert shifts of non-spatial visual attention
CN114746830A (zh) 视觉脑机接口
CN117742495A (zh) 基于ssvep和ivep的混合范式脑机接口方法和系统、介质及终端
EP4300266A1 (en) Human-computer interaction method, human-computer interaction device, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination