CN110850795A - 一种基于ssvep脑机接口的仪器仪表控制系统 - Google Patents

一种基于ssvep脑机接口的仪器仪表控制系统 Download PDF

Info

Publication number
CN110850795A
CN110850795A CN201911306146.8A CN201911306146A CN110850795A CN 110850795 A CN110850795 A CN 110850795A CN 201911306146 A CN201911306146 A CN 201911306146A CN 110850795 A CN110850795 A CN 110850795A
Authority
CN
China
Prior art keywords
instrument
stimulation
light source
stimulation target
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911306146.8A
Other languages
English (en)
Inventor
王帅
王子腾
郑德智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201911306146.8A priority Critical patent/CN110850795A/zh
Publication of CN110850795A publication Critical patent/CN110850795A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/325—Display of status information by lamps or LED's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于SSVEP脑机接口的仪器仪表控制系统，通过基于SSVEP的脑机接口实现对仪器仪表的控制，利用光源刺激装置提供对应于仪器仪表各项功能的刺激目标，即利用光源刺激装置中的刺激目标取代仪器仪表的原始按键，当使用者需要控制仪器仪表执行某种指令时，使用者无需与仪器仪表进行肢体接触，仅需佩戴可穿戴脑电传感器并注视光源刺激装置中与该指令对应的刺激目标即可，这样，使用者仅通过目光注视即可实现对仪器仪表的控制，无需外部神经和肌肉的参与，使用者在操控仪器仪表的过程中可以继续双手的工作，从而可以免去机械手等不必要的外部辅助工具，缩减生产开销，提高操作效率，还可以免除极端条件下重复繁琐的准备工作。

Description

一种基于SSVEP脑机接口的仪器仪表控制系统
技术领域
本发明涉及脑机接口领域、LED显示器领域和仪器仪表控制领域，尤其涉及一种基于SSVEP脑机接口的仪器仪表控制系统。
背景技术
仪器仪表是现代化生产中不可或缺的部分，在当今时代对推动科学技术发展和创新有着不可或缺的作用。
仪器仪表在实际使用过程中，总是需要使用人员进行相关操作，例如，示波器使用过程中总是需要依照被测量的实际情况对仪器测量的灵敏度、扫描速度等参数进行修改。然而，受限于生产条件，使用人员的双手并不总是处于可操作仪器仪表的状态，例如，双手正在超净箱中进行无菌操作，此时出于便利性和安全性不能将双手从超净箱中移出，因此，需要通过无需手部操控的方式实现对仪器仪表的控制，但目前尚未出现很好的解决方法。
仪器仪表控制领域特别是在多功能或高精度仪器仪表方面，对仪器仪表的控制都需要人的双手进行配合，很难将人手从操控仪器检测的过程中解放出来，很大程度地限制了生产力的进一步提高，关键时刻甚至会引入不必要的测量误差，造成严重的经济损失。
发明内容
有鉴于此，本发明提供了一种基于SSVEP脑机接口的仪器仪表控制系统，用以通过无需手部操控的方式实现对仪器仪表的控制。
因此，本发明提供了一种基于SSVEP脑机接口的仪器仪表控制系统，包括：光源刺激装置、入耳式脑电信号采集装置、与所述光源刺激装置电性连接的脑电信号分析处理装置以及与所述脑电信号分析处理装置电性连接的仪器仪表控制装置；其中，
所述光源刺激装置，包括与仪器仪表的各个按键对应的多个刺激目标，各所述刺激目标按照互不相同的闪烁频率进行闪烁，且各所述闪烁频率互质，各所述刺激目标的颜色不同；各所述刺激目标通过液晶显示屏和/或LED灯实现；用于在使用者注视任一刺激目标时刺激使用者的大脑皮层产生与该刺激目标对应的SSVEP信号；
所述入耳式脑电信号采集装置，用于对使用者大脑皮层产生的SSVEP信号进行采集，并对所述SSVEP信号进行滤波放大和模数转换后，将得到的数字信号利用蓝牙发送给所述脑电信号分析处理装置；
所述脑电信号分析处理装置，用于确定各所述刺激目标的颜色和闪烁频率以及各所述刺激目标对应的指令，将各所述刺激目标的颜色和闪烁频率发送给所述光源刺激装置，并生成与各所述刺激目标一一对应的标准信号，将所述入耳式脑电信号采集装置发送的数字信号与各所述标准信号进行对比，通过特征提取算法考虑各所述闪烁频率的谐波和次谐波得到与所述数字信号最接近的标准信号，与所述数字信号最接近的标准信号对应的刺激目标为使用者注视的刺激目标，从而识别出与使用者注视的刺激目标对应的指令，并将所述指令通过串口传输给所述仪器仪表控制装置；在所述脑电信号分析处理装置每次成功识别出指令之前，每个所述刺激目标的颜色固定且按照固定的闪烁频率进行闪烁；
所述光源刺激装置，还用于根据所述脑电信号分析处理装置发送的各所述刺激目标的颜色和闪烁频率，对各所述刺激目标的颜色和闪烁频率进行设置；
所述仪器仪表控制装置，用于将接收的指令通过I/O口传输给所述仪器仪表，控制所述仪器仪表执行所述指令。
在一种可能的实现方式中，在本发明提供的上述仪器仪表控制系统中，所述脑电信号分析处理装置，还用于在每次成功识别出指令后，改变与该指令对应的刺激目标的颜色和闪烁频率。
在一种可能的实现方式中，在本发明提供的上述仪器仪表控制系统中，所述光源刺激装置，包括：与所述仪器仪表的各个按键对应的多个LED灯、控制电路和驱动电路；其中，
各所述LED灯安装在一块单独的电路板上，或者，各所述LED灯安装在所述仪器仪表的外壳上；
所述控制电路和所述驱动电路，用于根据所述脑电信号分析处理装置发送的各所述刺激目标的颜色和闪烁频率，采用脉冲宽度调制或者数模转换控制方式，实现对每个所述LED灯的颜色和闪烁频率进行设置。
在一种可能的实现方式中，在本发明提供的上述仪器仪表控制系统中，所述光源刺激装置包括：液晶显示屏、控制电路和驱动电路；其中，
所述液晶显示屏分为中间区域和包围所述中间区域的周边区域；其中，所述中间区域用于显示所述仪器仪表的操作界面和操作结果；所述周边区域用于显示与所述仪器仪表的各个按键对应的多个刺激目标，并在靠近每个所述刺激目标的地方显示该刺激目标表示的功能名称；
所述控制电路和所述驱动电路，用于根据所述脑电信号分析处理装置发送的各所述刺激目标的颜色和闪烁频率，采用脉冲宽度调制或者数模转换控制方式，实现对每个所述刺激目标的颜色和闪烁频率进行设置。
在一种可能的实现方式中，在本发明提供的上述仪器仪表控制系统中，所述光源刺激装置包括：液晶显示屏、与所述仪器仪表的各个按键对应的多个LED灯、控制电路和驱动电路；其中，
所述液晶显示屏分为中间区域和包围所述中间区域的周边区域；其中，所述中间区域用于显示所述仪器仪表的操作界面和操作结果；所述周边区域用于在靠近每个所述LED灯的地方显示该LED灯表示的功能名称；
各所述LED灯围绕所述液晶显示屏的四周进行设置；
所述控制电路和所述驱动电路，用于根据所述脑电信号分析处理装置发送的各所述刺激目标的颜色和闪烁频率，采用脉冲宽度调制或者数模转换控制方式，实现对每个所述LED灯的颜色和闪烁频率进行设置。
在一种可能的实现方式中，在本发明提供的上述仪器仪表控制系统中，所述入耳式脑电信号采集装置，包括：塞入耳内的耳塞、夹在耳垂上的耳夹、挂在耳廓背面且与所述耳塞固定连接的耳挂、以及与所述耳塞固定连接且分别与所述耳塞和所述耳夹电性连接的信号处理器；其中，
所述耳塞表面涂抹有银-氯化银材料，作为测量电极，用于采集使用者大脑皮层产生的SSVEP信号；
所述耳夹与耳垂的接触处涂抹有氯化银材料，作为地电极，用于为采集的SSVEP信号提供地电位；
所述耳挂，用于固定所述耳塞；
所述信号处理器，用于对采集的SSVEP信号进行滤波放大和模数转换，并将得到的数字信号利用蓝牙发送给所述脑电信号分析处理装置。
在一种可能的实现方式中，在本发明提供的上述仪器仪表控制系统中，所述光源刺激装置与所述仪器仪表控制装置电性连接；
所述仪器仪表控制装置，还用于将指令传输给所述光源刺激装置；
所述光源刺激装置，还用于将与接收的指令对应的刺激目标设为选中状态。
在一种可能的实现方式中，在本发明提供的上述仪器仪表控制系统中，所述仪器仪表控制装置，还用于对各所述刺激目标的注视顺序进行组合，不同的注视顺序对应不同的指令。
在一种可能的实现方式中，在本发明提供的上述仪器仪表控制系统中，所述仪器仪表控制装置，还用于对每个所述刺激目标设置一系列的指令。
本发明提供的上述仪器仪表控制系统，通过基于SSVEP的脑机接口实现对仪器仪表的控制，利用光源刺激装置提供对应于仪器仪表各项功能的刺激目标，即利用光源刺激装置中的刺激目标取代仪器仪表的原始按键，当使用者需要控制仪器仪表执行某种指令时，使用者无需与仪器仪表进行肢体接触，仅需佩戴可穿戴脑电传感器并注视光源刺激装置中与该指令对应的刺激目标即可，这样，使用者仅通过目光注视即可实现对仪器仪表的控制，无需外部神经和肌肉的参与，将使用者的双手从仪器仪表的操作中解放出来，也就是说使用者在操控仪器仪表的过程中可以继续双手的工作，从而可以免去机械手等不必要的外部辅助工具，缩减生产开销，可以最大程度地减少操控仪器仪表对生产操作的负担，从而可以大幅提高操作效率，并在一定程度上保证测量的精密性和准确性，并且，还可以免除极端条件下重复繁琐的准备工作，例如，无菌箱操作时双手无需从无菌环境中取出，因此，可免除双手重新进入无菌箱时复杂的消毒过程。本发明提供的上述仪器仪表控制系统成本低，体积小，便于携带和运输，并且具有很强的普适性，可以适用于对各种仪器仪表的控制，通过更改各刺激目标对应的功能，即可实现更多的作战场景应用，在满足仪器仪表操作的准确性和便捷性的同时也使得操作变得简单。
附图说明
图1为本发明提供的一种基于SSVEP脑机接口的仪器仪表控制系统中脑电信号分析处理装置信号处理的流程示意图；
图2为基于本发明提供的一种基于SSVEP脑机接口的仪器仪表控制系统对仪器仪表进行改装后的结构示意图；
图3为基于本发明提供的一种基于SSVEP脑机接口的仪器仪表控制系统将光源刺激装置中的刺激目标与仪器仪表的显示屏组合后的示意图之一；
图4为基于本发明提供的一种基于SSVEP脑机接口的仪器仪表控制系统将光源刺激装置中的刺激目标与仪器仪表的显示屏组合后的示意图之二；
图5为本发明提供的一种基于SSVEP脑机接口的仪器仪表控制系统的流程示意图。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本发明。
本发明提供的一种基于SSVEP脑机接口的仪器仪表控制系统，包括：光源刺激装置、入耳式脑电信号采集装置、与光源刺激装置电性连接的脑电信号分析处理装置以及与脑电信号分析处理装置电性连接的仪器仪表控制装置；其中，
光源刺激装置，包括与仪器仪表的各个按键对应的多个刺激目标，各刺激目标按照互不相同的闪烁频率进行闪烁，且各闪烁频率互质，各刺激目标的颜色不同；各刺激目标通过液晶显示屏和/或LED灯实现；用于在使用者注视任一刺激目标时刺激使用者的大脑皮层产生与该刺激目标对应的SSVEP信号；
入耳式脑电信号采集装置，用于对使用者大脑皮层产生的SSVEP信号进行采集，并对SSVEP信号进行滤波放大和模数转换后，将得到的数字信号利用蓝牙发送给脑电信号分析处理装置；
脑电信号分析处理装置，用于确定各刺激目标的颜色和闪烁频率以及各刺激目标对应的指令，将各刺激目标的颜色和闪烁频率发送给光源刺激装置，并生成与各刺激目标一一对应的标准信号，将入耳式脑电信号采集装置发送的数字信号与各标准信号进行对比，通过特征提取算法考虑各闪烁频率的谐波和次谐波得到与数字信号最接近的标准信号，与数字信号最接近的标准信号对应的刺激目标为使用者注视的刺激目标，从而识别出与使用者注视的刺激目标对应的指令，并将指令通过串口传输给仪器仪表控制装置；在脑电信号分析处理装置每次成功识别出指令之前，每个刺激目标的颜色固定且按照固定的闪烁频率进行闪烁；具体地，脑电信号分析处理装置可以采用单片机这种微处理器；
光源刺激装置，还用于根据脑电信号分析处理装置发送的各刺激目标的颜色和闪烁频率，对各刺激目标的颜色和闪烁频率进行设置；
仪器仪表控制装置，用于将接收的指令通过I/O口传输给仪器仪表，控制仪器仪表执行指令。
本发明提供的上述仪器仪表控制系统，通过基于稳态视觉诱发电位(Steady-State Visual Evoked Potentials,SSVEP)的脑机接口(Brain-Computer Interface,BCI)实现对仪器仪表的控制，利用光源刺激装置提供对应于仪器仪表各项功能的刺激目标，即利用光源刺激装置中的刺激目标取代仪器仪表的原始按键，当使用者需要控制仪器仪表执行某种指令时，使用者无需与仪器仪表进行肢体接触，仅需佩戴可穿戴脑电传感器并注视光源刺激装置中与该指令对应的刺激目标即可，这样，使用者仅通过目光注视即可实现对仪器仪表的控制，无需外部神经和肌肉的参与，使用者在操控仪器仪表的过程中可以继续双手的工作，从而可以免去机械手等不必要的外部辅助工具，缩减生产开销，提高操作效率。
值得注意的是，由于不同闪烁频率的标准信号与入耳式脑电信号采集装置发送的数字信号，经特征提取算法处理后得到的相关系数中，数值较高的不仅有各闪烁频率的基波频率及其倍频，还有与闪烁频率成简单整数比的频率。例如，使用者观察的刺激目标以18Hz进行闪烁，那么9Hz、12Hz、18Hz、24Hz、27Hz、36Hz等频率对应的相关系数都有可能较高，此现象的原因在于SSVEP信号的谐波成分与标准信号的谐波成分都对特征提取系数有贡献。基于此，本发明设计采用15，16，17，19，21，23等互质的闪烁频率，且经实验验证，采用互质的闪烁频率可以避免上述问题，由于各闪烁频率的谐波成分之间不会出现重叠，因此可以提高系统识别的准确率。然而，采用互质的闪烁频率会造成可供选择的频率非常有限，为解决这一问题，可考虑到采集更长时间的数据，当采集的数据足够多使得频谱的频率分辨力能够分辨0.2Hz的频谱间隔时，可以考虑采用具有小数部分的频率作为闪烁频率，例如15.2/16.2/17.2等，这些频率的公约数仅为0.2，在所设计的滤波器的通频带之外，对识别结果无明显影响。
并且，本发明使用的特征提取算法不仅考虑各闪烁频率的谐波成分，例如，闪烁频率为10Hz，谐波成分就是20Hz、30Hz、40Hz等，特征提取算法还考虑次谐波成分，也就是5Hz、2.5Hz等，同时考虑各闪烁频率的谐波和次谐波，可以有效提升识别准确率。
需要说明的是，在本发明提供的上述仪器仪表控制系统中，特征提取算法可以为FBCCA(基于滤波器组的典型相关性分析)算法、TRCA(任务相关分析)算法、CCA(典型相关性分析)算法、PSDA(功率谱密度分析)算法、MEC(最小能量组合)算法和FFT(快速傅里叶变换)算法中的任意一种，在此不做限定。
由于脑电信号具有滞后性，当使用者注视刺激目标后，例如一个以10Hz频率闪烁的刺激目标，在使用者的大脑会产生对应的SSVEP信号，该SSVEP信号在10Hz频率处具有峰值，当使用者不再注视该刺激目标后，使用者的大脑信号中很可能依然具有10Hz频率的峰值，此时，若脑电信号分析处理装置识别出10Hz为有效的刺激目标的闪烁频率，则会执行该刺激目标对应的指令，从而引起误判。因此，为了防止误判，在本发明提供的上述仪器仪表控制系统中，脑电信号分析处理装置可以在每次成功识别出指令后，改变与该指令对应的刺激目标的颜色和闪烁频率，这样，即使大脑信号中仍具有10Hz频率的峰值，脑电信号分析处理装置也不会将10Hz识别为有效的刺激目标的闪烁频率，而是将10Hz作为噪声，从而可以避免误判的产生，提高系统的可靠性。
在具体实施时，本发明提供的上述仪器仪表控制系统，可以直接适用于现有的仪器仪表，即无需对现有的仪器仪表进行改装，可以另外搭建一个光源刺激装置；或者，也可以对现有的仪器仪表进行改装，例如，可以进行如下三种方式的改装：将仪器仪表原本的按键替换为可按某一频率闪烁的LED灯，或通过一块液晶显示屏(LCD)将刺激目标与仪器仪表的显示屏组合在一起，或采用LCD和LED相结合的方式将刺激目标与仪器仪表的显示屏组合在一起。下面对上述四种结构的光源刺激装置进行详细说明。
第一种结构的光源刺激装置：无需对现有的仪器仪表进行改装，可以另外搭建一个光源刺激装置，这种结构可以省去改装仪器仪表的成本。该结构的光源刺激装置可以包括与仪器仪表的各个按键对应的多个LED灯、控制电路和驱动电路；其中，各LED灯安装在一块单独的电路板上；控制电路和驱动电路可以根据脑电信号分析处理装置发送的各刺激目标的颜色和闪烁频率，采用脉冲宽度调制(PWM)或者数模转换(D/A)控制方式实现对每个LED灯的颜色和闪烁频率进行设置。使用者通过注视某一LED灯，即为选中该LED灯对应的功能，即可实现对该仪器仪表的控制。具体地，控制电路可以为FPGA电路，或者，也可以为其他MCU电路，在此不做限定。每个LED灯的颜色可以为RGB三基色，因此，光源刺激装置可以显示全彩色。
第二种结构的光源刺激装置：对现有的仪器仪表进行改装，将仪器仪表原本的按键替换为可按某一频率闪烁的LED灯。该结构的光源刺激装置可以包括与仪器仪表的各个按键对应的多个LED灯、控制电路和驱动电路；其中，各LED灯安装在仪器仪表的外壳上；控制电路和驱动电路可以根据脑电信号分析处理装置发送的各刺激目标的颜色和闪烁频率，采用脉冲宽度调制或者数模转换控制方式实现对每个LED灯的颜色和闪烁频率进行设置。例如，改装后的仪器仪表，如图2所示，在该仪器仪表显示屏1的右侧，将原本的按键替换为可按某一频率闪烁的LED灯2，使用者通过注视某一LED灯，即为选中该LED灯对应的功能，即可实现对该仪器仪表的控制。具体地，控制电路可以为FPGA电路，或者，也可以为其他MCU电路，在此不做限定。每个LED灯的颜色可以为RGB三基色，因此，光源刺激装置可以显示全彩色。
第三种结构的光源刺激装置：对现有的仪器仪表进行改装，通过一块LCD将刺激目标与仪器仪表的显示屏组合在一起。该结构的光源刺激装置包括液晶显示屏、控制电路和驱动电路；其中，液晶显示屏，如图3所示，可以分为中间区域3和包围中间区域3的周边区域4；其中，中间区域3可以显示仪器仪表的操作界面和操作结果；周边区域4可以显示与仪器仪表的各个按键对应的多个刺激目标5，并在靠近每个刺激目标5的地方显示该刺激目标5表示的功能名称(例如“确认/测量”)；图3以示波器作为被控制的仪器仪表，可以实现波形的上下移动、放大、缩小设置以及测量通道的选择，并且，通过菜单和上下左右的配合还可以实现示波器各种参数的设置；控制电路和驱动电路可以根据脑电信号分析处理装置发送的各刺激目标的颜色和闪烁频率，采用脉冲宽度调制或者数模转换控制方式实现对每个刺激目标的颜色和闪烁频率进行设置。这种结构的优点是LCD可以显示任意画面，因此可以随意变更刺激目标的形状、大小和位置，具有很强的灵活性，缺点是刺激目标的闪烁频率受LCD刷新频率的限制，刺激目标的闪烁频率小于LCD刷新频率的一半，这是由于LCD只能按照一定的刷新频率一帧一帧地显示所需画面，而刺激目标的闪烁波形(正弦波形)是连续的理想量，当LCD按照正弦波形进行显示时，需要对理想的正弦波形进行采样，根据采样定理，为了避免频谱中的缠绕，使得采样得到的信号是有效的，需要采样频率高于被采样信号最高频率的两倍，即需要LCD的刷新频率达到所需产生的信号频率的两倍以上，因此，刺激目标的闪烁频率只能实现LCD刷新频率的一半以下。具体地，控制电路可以为FPGA电路，或者，也可以为其他MCU电路，在此不做限定。每个LED灯的颜色可以为RGB三基色，因此，光源刺激装置可以显示全彩色。
第四种结构的光源刺激装置：对现有的仪器仪表进行改装，采用LCD和LED相结合的方式将刺激目标与仪器仪表的显示屏组合在一起。该结构的光源刺激装置包括液晶显示屏、与仪器仪表的各个按键对应的多个LED灯、控制电路和驱动电路；其中，液晶显示屏，如图4所示，可以分为中间区域3和包围中间区域3的周边区域4；其中，中间区域3可以显示仪器仪表的操作界面和操作结果；周边区域4可以在靠近每个LED灯2的地方显示该LED灯表示的功能名称；各LED灯2围绕液晶显示屏的四周进行设置；控制电路和驱动电路可以根据脑电信号分析处理装置发送的各刺激目标的颜色和闪烁频率，采用脉冲宽度调制或者数模转换控制方式实现对每个LED灯的颜色和闪烁频率进行设置。这种结构的优点是LED可以实现任意频率、任意波形的刺激，因此不受LCD自身刷新频率的影响，缺点是LED的安装一旦固定后较难更改，灵活性不足，可以考虑采用可拆卸的固定方式进行LED的固定，以增强其灵活性。具体地，控制电路可以为FPGA电路，或者，也可以为其他MCU电路，在此不做限定。每个LED灯的颜色可以为RGB三基色，因此，光源刺激装置可以显示全彩色。
在具体实施时，在本发明提供的上述仪器仪表控制系统中，入耳式脑电信号采集装置，可以包括：塞入耳内的耳塞、夹在耳垂上的耳夹、挂在耳廓背面且与耳塞固定连接的耳挂、以及与耳塞固定连接且分别与耳塞和耳夹电性连接的信号处理器；其中，耳挂主要起固定耳塞的作用，防止耳塞在耳道内晃动，避免由于耳塞与耳道摩擦造成的噪声干扰；耳塞表面涂抹有银-氯化银材料，作为测量电极，可以采集使用者大脑皮层产生的SSVEP信号；耳夹与耳垂的接触处涂抹有氯化银材料，作为地电极，可以为采集的SSVEP信号提供地电位；信号处理器，可以对采集的SSVEP信号进行滤波放大和模数转换，并将得到的数字信号利用蓝牙发送给脑电信号分析处理装置。使用者大脑皮层产生的SSVEP信号不仅能在大脑皮层检测到，也能在耳部检测到，并且，耳部无毛发遮挡，耳塞处的测量电极更容易与皮层紧密接触，从而能够更好地测量皮层电位，此外，入耳式脑电信号采集装置与头戴式脑电信号采集装置相比，穿戴更为简单，携带更为方便，具有即戴即用的巨大优势，非常适合于生产操作人员的使用。信号处理器首先对SSVEP信号进行滤波处理，这是由于从耳部采集的SSVEP信号中除了含有稳态视觉诱发电位外，还有很多其他脑电成分，同时还可能具有空间中散布的各种电磁干扰成分，例如市电工频等，因此，对SSVEP信号进行基本的滤波处理可以避免将信号采集过程中耦合的噪声信号引入后续的信号分析处理过程中，从而可以有效地降低后续信号分析处理的负担；信号处理器将滤波后的SSVEP信号进行放大，可以降低信号传递至脑电信号分析处理装置时耦合的噪声对系统的影响；信号处理器对滤波放大后的SSVEP信号进行模数转换后可以通过蓝牙或WIFI等数据传输方式传递给脑电信号分析处理装置。
在具体实施时，在本发明提供的上述仪器仪表控制系统中，光源刺激装置可以与仪器仪表控制装置电性连接，仪器仪表控制装置还可以将指令传输给光源刺激装置，光源刺激装置中的控制电路和驱动电路还可以将与接收的指令对应的刺激目标设为选中状态，例如，可以将该刺激目标的颜色由红色更改为绿色，以提示使用者操作成功，从而提供良好的操作反馈。
在具体实施时，在本发明提供的上述仪器仪表控制系统中，仪器仪表控制装置还可以对各刺激目标的注视顺序进行组合，不同的注视顺序对应不同的指令，或者，还可以设置多级菜单，这样，可以通过少量的刺激目标实现多种功能，从而可以实现对复杂仪器仪表的精确控制。
在具体实施时，在本发明提供的上述仪器仪表控制系统中，仪器仪表控制装置还可以对每个刺激目标设置一系列的指令，也就是将一系列的常用操作定义为一个刺激目标对应的功能，这样，当脑电信号分析处理装置识别出刺激目标时，会通过仪器仪表控制装置控制仪器仪表执行该刺激目标对应的一系列指令，从而可以进一步简化操作步骤，例如，可以将示波器中的“测量”刺激目标设定为自动根据所测量信号的特征进行波形的抓取和记录。
由于在分析脑电信号特征时，主要分析的是脑电信号的频谱特征，即脑电信号所具有的频率分量，这个频率分量与刺激目标所具有的频率应该是一致的，例如理想情况下，10Hz频率闪烁的刺激目标激发的脑电信号应该也仅在10Hz频率处具有峰值，当脑电信号分析处理装置发现信号在10Hz频率处具有峰值时，即可判断使用者注视的是以10Hz频率闪烁的刺激目标，因此，在每次识别刺激目标对应的指令的过程中，刺激目标的闪烁频率应该固定，以防止激发出其他频率的信号而导致误判。对于不同的刺激目标，需要利用控制电路和驱动电路设置不同的闪烁频率，除此之外，还可以设置不同的亮度和闪烁波形(如方波、正弦波、锯齿波、三角波等任意波形)，其中，正弦波的频谱在信号频率处具有单一峰值，因此，刺激目标的闪烁波形优选正弦波。
基于本发明实施例提供的上述仪器仪表控制系统，如图5所示，对系统流程进行详细说明，使用者注视光源刺激装置中待执行指令对应的刺激目标，使用者的大脑皮层产生对应的SSVEP信号，通过佩戴在使用者耳部的入耳式脑电信号采集装置对该SSVEP信号进行采集，并对该SSVEP信号进行滤波放大和模数转换，得到处理后的数字信号利用蓝牙发送给脑电信号分析处理装置进行进一步分析，脑电信号分析处理装置对接收的数字信号进行特征提取和模式分类后，将得到的指令通过串口传递给仪器仪表控制装置，仪器仪表控制装置接收到指令后，控制仪器仪表执行该指令，从而实现对仪器仪表的控制。
本发明提供的上述仪器仪表控制系统，通过基于SSVEP的脑机接口实现对仪器仪表的控制，利用光源刺激装置提供对应于仪器仪表各项功能的刺激目标，即利用光源刺激装置中的刺激目标取代仪器仪表的原始按键，当使用者需要控制仪器仪表执行某种指令时，使用者无需与仪器仪表进行肢体接触，仅需佩戴可穿戴脑电传感器并注视光源刺激装置中与该指令对应的刺激目标即可，这样，使用者仅通过目光注视即可实现对仪器仪表的控制，无需外部神经和肌肉的参与，将使用者的双手从仪器仪表的操作中解放出来，也就是说使用者在操控仪器仪表的过程中可以继续双手的工作，从而可以免去机械手等不必要的外部辅助工具，缩减生产开销，可以最大程度地减少操控仪器仪表对生产操作的负担，从而可以大幅提高操作效率，并在一定程度上保证测量的精密性和准确性，并且，还可以免除极端条件下重复繁琐的准备工作，例如，无菌箱操作时双手无需从无菌环境中取出，因此，可免除双手重新进入无菌箱时复杂的消毒过程。本发明提供的上述仪器仪表控制系统成本低，体积小，便于携带和运输，并且具有很强的普适性，可以适用于对各种仪器仪表的控制，通过更改各刺激目标对应的功能，即可实现更多的作战场景应用，在满足仪器仪表操作的准确性和便捷性的同时也使得操作变得简单。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于SSVEP脑机接口的仪器仪表控制系统，其特征在于，包括：光源刺激装置、入耳式脑电信号采集装置、与所述光源刺激装置电性连接的脑电信号分析处理装置以及与所述脑电信号分析处理装置电性连接的仪器仪表控制装置；其中，
所述光源刺激装置，包括与仪器仪表的各个按键对应的多个刺激目标；各所述刺激目标按照互不相同的闪烁频率进行闪烁，且各所述闪烁频率互质，各所述刺激目标的颜色不同；各所述刺激目标通过液晶显示屏和/或LED灯实现；用于在使用者注视任一刺激目标时刺激使用者的大脑皮层产生与该刺激目标对应的SSVEP信号；
所述入耳式脑电信号采集装置，用于对使用者大脑皮层产生的SSVEP信号进行采集，并对所述SSVEP信号进行滤波放大和模数转换后，将得到的数字信号利用蓝牙发送给所述脑电信号分析处理装置；
所述脑电信号分析处理装置，用于确定各所述刺激目标的颜色和闪烁频率以及各所述刺激目标对应的指令，将各所述刺激目标的颜色和闪烁频率发送给所述光源刺激装置，并生成与各所述刺激目标一一对应的标准信号，将所述入耳式脑电信号采集装置发送的数字信号与各所述标准信号进行对比，通特征提取算法考虑各所述闪烁频率的谐波和次谐波得到与所述数字信号最接近的标准信号，与所述数字信号最接近的标准信号对应的刺激目标为使用者注视的刺激目标，从而识别出与使用者注视的刺激目标对应的指令，并将所述指令通过串口传输给所述仪器仪表控制装置；在所述脑电信号分析处理装置每次成功识别出指令之前，每个所述刺激目标的颜色固定且按照固定的闪烁频率进行闪烁；
所述光源刺激装置，还用于根据所述脑电信号分析处理装置发送的各所述刺激目标的颜色和闪烁频率，对各所述刺激目标的颜色和闪烁频率进行设置；
所述仪器仪表控制装置，用于将接收的指令通过I/O口传输给所述仪器仪表，控制所述仪器仪表执行所述指令。
2.如权利要求1所述的仪器仪表控制系统，其特征在于，所述脑电信号分析处理装置，还用于在每次成功识别出指令后，改变与该指令对应的刺激目标的颜色和闪烁频率。
3.如权利要求1所述的仪器仪表控制系统，其特征在于，所述光源刺激装置，包括：与所述仪器仪表的各个按键对应的多个LED灯、控制电路和驱动电路；其中，
各所述LED灯安装在一块单独的电路板上，或者，各所述LED灯安装在所述仪器仪表的外壳上；
所述控制电路和所述驱动电路，用于根据所述脑电信号分析处理装置发送的各所述刺激目标的颜色和闪烁频率，采用脉冲宽度调制或者数模转换控制方式，实现对每个所述LED灯的颜色和闪烁频率进行设置。
4.如权利要求1所述的仪器仪表控制系统，其特征在于，所述光源刺激装置包括：液晶显示屏、控制电路和驱动电路；其中，
所述液晶显示屏分为中间区域和包围所述中间区域的周边区域；其中，所述中间区域用于显示所述仪器仪表的操作界面和操作结果；所述周边区域用于显示与所述仪器仪表的各个按键对应的多个刺激目标，并在靠近每个所述刺激目标的地方显示该刺激目标表示的功能名称；
所述控制电路和所述驱动电路，用于根据所述脑电信号分析处理装置发送的各所述刺激目标的颜色和闪烁频率，采用脉冲宽度调制或者数模转换控制方式，实现对每个所述刺激目标的颜色和闪烁频率进行设置。
5.如权利要求1所述的仪器仪表控制系统，其特征在于，所述光源刺激装置包括：液晶显示屏、与所述仪器仪表的各个按键对应的多个LED灯、控制电路和驱动电路；其中，
所述液晶显示屏分为中间区域和包围所述中间区域的周边区域；其中，所述中间区域用于显示所述仪器仪表的操作界面和操作结果；所述周边区域用于在靠近每个所述LED灯的地方显示该LED灯表示的功能名称；
各所述LED灯围绕所述液晶显示屏的四周进行设置；
所述控制电路和所述驱动电路，用于根据所述脑电信号分析处理装置发送的各所述刺激目标的颜色和闪烁频率，采用脉冲宽度调制或者数模转换控制方式，实现对每个所述LED灯的颜色和闪烁频率进行设置。
6.如权利要求1-5任一项所述的仪器仪表控制系统，其特征在于，所述入耳式脑电信号采集装置，包括：塞入耳内的耳塞、夹在耳垂上的耳夹、挂在耳廓背面且与所述耳塞固定连接的耳挂、以及与所述耳塞固定连接且分别与所述耳塞和所述耳夹电性连接的信号处理器；其中，
所述耳塞表面涂抹有银-氯化银材料，作为测量电极，用于采集使用者大脑皮层产生的SSVEP信号；
所述耳夹与耳垂的接触处涂抹有氯化银材料，作为地电极，用于为采集的SSVEP信号提供地电位；
所述耳挂，用于固定所述耳塞；
所述信号处理器，用于对采集的SSVEP信号进行滤波放大和模数转换，并将得到的数字信号利用蓝牙发送给所述脑电信号分析处理装置。
7.如权利要求1-5任一项所述的仪器仪表控制系统，其特征在于，所述光源刺激装置与所述仪器仪表控制装置电性连接；
所述仪器仪表控制装置，还用于将指令传输给所述光源刺激装置；
所述光源刺激装置，还用于将与接收的指令对应的刺激目标设为选中状态。
8.如权利要求1-5任一项所述的仪器仪表控制系统，其特征在于，所述仪器仪表控制装置，还用于对各所述刺激目标的注视顺序进行组合，不同的注视顺序对应不同的指令。
9.如权利要求1-8任一项所述的仪器仪表控制系统，其特征在于，所述仪器仪表控制装置，还用于对每个所述刺激目标设置一系列的指令。
CN201911306146.8A 2019-12-18 2019-12-18 一种基于ssvep脑机接口的仪器仪表控制系统 Pending CN110850795A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911306146.8A CN110850795A (zh) 2019-12-18 2019-12-18 一种基于ssvep脑机接口的仪器仪表控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911306146.8A CN110850795A (zh) 2019-12-18 2019-12-18 一种基于ssvep脑机接口的仪器仪表控制系统

Publications (1)

Publication Number Publication Date
CN110850795A true CN110850795A (zh) 2020-02-28

Family

ID=69609682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911306146.8A Pending CN110850795A (zh) 2019-12-18 2019-12-18 一种基于ssvep脑机接口的仪器仪表控制系统

Country Status (1)

Country Link
CN (1) CN110850795A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111571619A (zh) * 2020-04-17 2020-08-25 上海大学 一种基于ssvep脑控机械臂抓取的生活辅助系统与方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103845137A (zh) * 2014-03-19 2014-06-11 北京工业大学 基于稳态视觉诱发脑机接口的机器人控制方法
CN105022488A (zh) * 2015-07-20 2015-11-04 北京工业大学 基于ssvep脑电电位的无线bci输入系统
CN106214391A (zh) * 2016-07-21 2016-12-14 山东建筑大学 基于脑机接口的智能护理床及其控制方法
CN107440713A (zh) * 2017-07-31 2017-12-08 天津易念波科技有限公司 通过脑电波信号产生电子产品控制命令的方法及系统
WO2018182534A1 (en) * 2017-03-31 2018-10-04 Agency For Science, Technology And Research A computer system for acquiring a control command

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103845137A (zh) * 2014-03-19 2014-06-11 北京工业大学 基于稳态视觉诱发脑机接口的机器人控制方法
CN105022488A (zh) * 2015-07-20 2015-11-04 北京工业大学 基于ssvep脑电电位的无线bci输入系统
CN106214391A (zh) * 2016-07-21 2016-12-14 山东建筑大学 基于脑机接口的智能护理床及其控制方法
WO2018182534A1 (en) * 2017-03-31 2018-10-04 Agency For Science, Technology And Research A computer system for acquiring a control command
CN107440713A (zh) * 2017-07-31 2017-12-08 天津易念波科技有限公司 通过脑电波信号产生电子产品控制命令的方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111571619A (zh) * 2020-04-17 2020-08-25 上海大学 一种基于ssvep脑控机械臂抓取的生活辅助系统与方法

Similar Documents

Publication Publication Date Title
Liu et al. Implementation of SSVEP based BCI with Emotiv EPOC
CN109271020B (zh) 一种基于眼动追踪的稳态视觉诱发脑机接口性能评价方法
CN100366215C (zh) 基于脑电稳态诱发响应的控制方法及系统和感官测试方法及系统
US8648800B2 (en) Control method and system of brain computer interface with stepping delay flickering sequence
US20120299822A1 (en) Communication and Device Control System Based on Multi-Frequency, Multi-Phase Encoded Visual Evoked Brain Waves
US20120249614A1 (en) Visual drive control method and apparatus with multi phase encoding
US10219754B1 (en) Modulation and demodulation techniques for a health monitoring system
US7338171B2 (en) Method and apparatus for visual drive control
US20090264787A1 (en) Communication and Device Control System Based on Multi-Frequency, Multi-Phase Encoded visual Evoked Brain Waves
CN110850795A (zh) 一种基于ssvep脑机接口的仪器仪表控制系统
CN105929937A (zh) 一种基于稳态视觉诱发电位的手机音乐播放系统
CN106725415B (zh) 电生理信号的处理方法和装置
US20210321927A1 (en) Method and device for monitoring vital sign of user
KR101465878B1 (ko) 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치
EP3471596A1 (en) System and method for determining sleep need dissipation without monitoring brain activity during a sleep session
Mouli et al. Eliciting higher SSVEP response from LED visual stimulus with varying luminosity levels
Mouli et al. Radial photic stimulation for maximal EEG response for BCI applications
US11723580B2 (en) Objective EEG quantitative measurement method for amblyopia
Li et al. Influence of stimuli color combination on online SSVEP-based BCI performance
Zao et al. 37‐4: Invited Paper: Intelligent Virtual‐Reality Head‐Mounted Displays with Brain Monitoring and Visual Function Assessment
Mouli et al. A configurable, inexpensive, portable, multi-channel, multi-frequency, multi-chromatic RGB LED system for SSVEP stimulation
CN106419840B (zh) 信号处理方法、装置及监护设备
Punsawad et al. Minimal-assisted SSVEP-based brain-computer interface device
Tsuru et al. A new stimulation for steady-state visually evoked potentials based brain-computer interface using semi-transmissive patterns with smartglasses
Kramberger et al. Binocular phase-coded visual stimuli for SSVEP-based BCI

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200228

RJ01 Rejection of invention patent application after publication