CN111752392B - 脑机接口中精准视觉刺激控制方法 - Google Patents

脑机接口中精准视觉刺激控制方法 Download PDF

Info

Publication number
CN111752392B
CN111752392B CN202010629983.0A CN202010629983A CN111752392B CN 111752392 B CN111752392 B CN 111752392B CN 202010629983 A CN202010629983 A CN 202010629983A CN 111752392 B CN111752392 B CN 111752392B
Authority
CN
China
Prior art keywords
controller
actuator
interface
visual stimulation
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010629983.0A
Other languages
English (en)
Other versions
CN111752392A (zh
Inventor
黄志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202010629983.0A priority Critical patent/CN111752392B/zh
Publication of CN111752392A publication Critical patent/CN111752392A/zh
Priority to US17/435,172 priority patent/US11868530B2/en
Priority to PCT/CN2021/074084 priority patent/WO2022001098A1/zh
Application granted granted Critical
Publication of CN111752392B publication Critical patent/CN111752392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Software Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种脑机接口中精准视觉刺激控制方法。采用视觉刺激来诱发特定的脑电信号模式并实时识别脑电信号模式是脑机接口的常见做法。然而，由于进程调度的影响，负责展现视觉刺激的进程有时被调度出CPU，视觉刺激的精准度和脑电信号模式的识别效果难以保证。本发明设计了一种控制方法来支持脑机接口中的精准视觉刺激。实现该方法的软件系统包含生成器、执行器和控制器三个组件。生成器按照实验要求自动生成一个图像序列。执行器是运行在GPU上的组件。在实验开始时控制器异步调用执行器的接口启动执行器，执行器用精准的方式展现生成器生成的图像序列，在实验结束时控制器异步调用执行器的接口停止视觉刺激的展现。

Description

脑机接口中精准视觉刺激控制方法
技术领域
本发明涉及一种脑机接口中精准视觉刺激控制方法。
背景技术
采用视觉刺激来诱发特定的脑电信号模式并实时识别脑电信号模式是脑机接口的常见做法。然而，由于进程调度的影响，负责展现视觉刺激的进程有时被调度出CPU，视觉刺激的精准度和脑电信号模式的识别效果难以保证。因此本发明设计了一种控制方法来支持脑机接口中的精准视觉刺激。
发明内容
本发明的目的在于克服现有缺陷，提供一种脑机接口中精准视觉刺激控制方法。
为实现上述目的，本发明的技术方案是：一种脑机接口中精准视觉刺激控制方法，实现这一方法的软件系统由生成器、执行器和控制器三个组件构成，它们各自的功能和相互关系如下：
生成器是运行在CPU上的组件，通过与实验员的交互接收精准视觉刺激的参数，依据显示器的刷新率按照参数的要求自动生成一个图像序列；执行器是运行在GPU上的组件，实现start和stop两个支持异步调用的接口，start接口被调用后开始运行，运行过程中按显示器的刷新率在屏幕上逐帧展现生成器生成的图像序列，stop接口被调用后停止运行；控制器是运行在CPU上的组件，在实验开始时异步调用执行器的start接口启动精准视觉刺激的展现过程，随即访问与脑电仪相连的硬件接口在脑电信号中写入标记，在实验结束时异步调用执行器的stop接口停止视觉刺激的展现。
在本发明一实施例中，所述生成器的实现要点包括：
运行时生成器是一个独立的进程；生成器具有交互界面，允许实验员通过交互界面来描述脑机接口中精准视觉刺激的呈现方式；呈现方式包括背景画面、刺激区域的位置和形状、刺激的闪烁方式；闪烁方式包括随机序列方式和正弦波方式；随机序列方式的含义是，用0表示暗，用1表示亮，用0和1构成的随机序列来控制刺激区域在每一帧上的亮或暗；正弦波方式的含义是，用一个指定的正弦函数来确定刺激区域在每一帧上的亮度；随机序列方式需要实验员指定随机序列，正弦波方式需要实验员指定正弦函数的幅值、频率和相位；生成器内部实现的算法在实验员完成参数输入后依据显示器的刷新率自动生成一个图像序列。
在本发明一实施例中，所述执行器的实现要点包括：
执行器是一个运行在GPU上的组件，运行时不会受到操作系统进程调度的影响，能够精准地按照屏幕的刷新率用生成器生成的图像序列刷新屏幕；执行器的start和stop接口允许调用者启动或停止视觉刺激呈现过程；执行器的start和stop接口都支持异步调用，调用者成功调用这两个接口后都会立即返回。
在本发明一实施例中，所述控制器的实现要点包括：
运行时控制器是一个独立的进程；控制器与执行器间的异步调用机制确保控制器不会因调用而阻塞，控制器成功调用执行器的start和stop接口后立即返回；控制器按照实验员的要求在确切的时刻调用执行器的start接口启动一次实验过程，调用执行器的stop接口停止实验过程；控制器具备访问与脑电仪相连的硬件接口的功能，在调用执行器的start接口后立即调用此功能向脑电信号里写入标记；控制器还具备实时获取脑电信号的功能，在启动一次实验过程后调用此功能实时获取脑电信号；控制器实时获取脑电信号的功能通过与负责脑电信号采集的进程共享一个内存区块来实现，负责脑电信号采集的进程把新采集到的脑电信号数据块存入到共享内存块，控制器从共享内存块中取出新的脑电信号数据块；为了保障脑电信号数据块在负责脑电信号采集的进程和控制器之间正确传递，两个进程必须保持生产者消费者模型所描述的同步关系，这一同步关系采用信号量机制实现；此外，控制器还具备采用预设的算法实时处理脑电信号的功能，每获得一个脑电信号数据块处理一次，在一次实验过程结束的时候综合每次处理结果形成反馈呈现给用户。
相较于现有技术，本发明具有以下有益效果：
本发明脑机接口中精准视觉刺激控制方法克服了现有视觉刺激的精准度和脑电信号模式的识别效果难以保证的缺陷，通过本发明方法能够大大提高视觉刺激的精准度和脑电信号模式的识别效果。
附图说明
图1为本发明方法的软件系统组件图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明提供了一种脑机接口中精准视觉刺激控制方法，如图1所示，实现这一方法的软件系统由生成器、执行器和控制器三个组件构成，它们各自的功能和相互关系如下：
生成器是运行在CPU上的组件，通过与实验员的交互接收精准视觉刺激的参数，依据显示器的刷新率（本实例中显示器的刷新率为每秒60帧）按照参数的要求自动生成一个图像序列；
执行器是运行在GPU上的组件，实现start和stop两个支持异步调用的接口，start接口被调用后开始运行，运行过程中按显示器的刷新率在屏幕上逐帧展现生成器生成的图像序列，stop接口被调用后停止运行；
控制器是运行在CPU上的组件，在实验开始时异步调用执行器的start接口启动精准视觉刺激的展现过程，随即访问与脑电仪相连的并口在脑电信号中写入标记，在实验结束时异步调用执行器的stop接口停止视觉刺激的展现。
本实例中，生成器进一步具有以下特点：
运行时生成器是一个独立的进程；生成器具有交互界面，允许实验员通过交互界面来描述脑机接口中精准视觉刺激的呈现方式；呈现方式包括背景画面、刺激区域的位置和形状、刺激的闪烁方式；闪烁方式包括随机序列方式和正弦波方式；随机序列方式的含义是，用0表示暗，用1表示亮，用0和1构成的随机序列来控制刺激区域在每一帧上的亮或暗；正弦波方式的含义是，用一个指定的正弦函数来确定刺激区域在每一帧上的亮度；随机序列方式需要实验员指定随机序列，正弦波方式需要实验员指定正弦函数的幅值、频率和相位；生成器内部实现的算法在实验员完成参数输入后依据显示器的刷新率（本实例中显示器的刷新率为每秒60帧）自动生成一个图像序列。
本实例中，执行器进一步具有以下特点：
执行器是一个运行在GPU上的组件，运行时不会受到操作系统进程调度的影响，能够精准地按照屏幕的刷新率（本实例中显示器的刷新率为每秒60帧）用生成器生成的图像序列刷新屏幕；执行器的start和stop接口允许调用者启动或停止视觉刺激呈现过程；执行器的start和stop接口都支持异步调用，调用者成功调用这两个接口后都会立即返回。
本实例中，控制器进一步具有以下特点：
运行时控制器是一个独立的进程；控制器与执行器间的异步调用机制确保控制器不会因调用而阻塞，控制器成功调用执行器的start和stop接口后立即返回；控制器按照实验员的要求在确切的时刻调用执行器的start接口启动一次实验过程，调用执行器的stop接口停止实验过程；控制器具备访问与脑电仪相连的并口的功能，在调用执行器的start接口后立即调用此功能向脑电信号里写入标记；控制器还具备实时获取脑电信号的功能，在启动一次实验过程后调用此功能实时获取脑电信号；控制器实时获取脑电信号的功能通过与负责脑电信号采集的进程共享一个内存区块来实现，负责脑电信号采集的进程把新采集到的脑电信号数据块存入到共享内存块，控制器从共享内存块中取出新的脑电信号数据块；为了保障脑电信号数据块在负责脑电信号采集的进程和控制器之间正确传递，两个进程必须保持生产者消费者模型所描述的同步关系，这一同步关系采用信号量机制实现；此外，控制器还具备采用预设的算法实时处理脑电信号的功能，每获得一个脑电信号数据块处理一次，在一次实验过程结束的时候综合每次处理结果形成反馈呈现给用户。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种脑机接口中精准视觉刺激控制方法，其特征在于，实现这一方法的软件系统由生成器、执行器和控制器三个组件构成，它们各自的功能和相互关系如下：
生成器是运行在CPU上的组件，通过与实验员的交互接收精准视觉刺激的参数，依据显示器的刷新率按照参数的要求自动生成一个图像序列；执行器是运行在GPU上的组件，实现start和stop两个支持异步调用的接口，start接口被调用后开始运行，运行过程中按显示器的刷新率在屏幕上逐帧展现生成器生成的图像序列，stop接口被调用后停止运行；控制器是运行在CPU上的组件，在实验开始时异步调用执行器的start接口启动精准视觉刺激的展现过程，随即访问与脑电仪相连的硬件接口在脑电信号中写入标记，在实验结束时异步调用执行器的stop接口停止视觉刺激的展现；
所述执行器的实现要点包括：
执行器是一个运行在GPU上的组件，运行时不会受到操作系统进程调度的影响，能够精准地按照屏幕的刷新率用生成器生成的图像序列刷新屏幕；执行器的start和stop接口允许调用者启动或停止视觉刺激呈现过程；执行器的start和stop接口都支持异步调用，调用者成功调用这两个接口后都会立即返回。
2.根据权利要求1所述的脑机接口中精准视觉刺激控制方法，其特征在于，所述生成器的实现要点包括：
运行时生成器是一个独立的进程；生成器具有交互界面，允许实验员通过交互界面来描述脑机接口中精准视觉刺激的呈现方式；呈现方式包括背景画面、刺激区域的位置和形状、刺激的闪烁方式；闪烁方式包括随机序列方式和正弦波方式；随机序列方式的含义是，用0表示暗，用1表示亮，用0和1构成的随机序列来控制刺激区域在每一帧上的亮或暗；正弦波方式的含义是，用一个指定的正弦函数来确定刺激区域在每一帧上的亮度；随机序列方式需要实验员指定随机序列，正弦波方式需要实验员指定正弦函数的幅值、频率和相位；生成器内部实现的算法在实验员完成参数输入后依据显示器的刷新率自动生成一个图像序列。
3.根据权利要求1所述的脑机接口中精准视觉刺激控制方法，其特征在于，所述控制器的实现要点包括：
运行时控制器是一个独立的进程；控制器与执行器间的异步调用机制确保控制器不会因调用而阻塞，控制器成功调用执行器的start和stop接口后立即返回；控制器按照实验员的要求在确切的时刻调用执行器的start接口启动一次实验过程，调用执行器的stop接口停止实验过程；控制器具备访问与脑电仪相连的硬件接口的功能，在调用执行器的start接口后立即调用此功能向脑电信号里写入标记；控制器还具备实时获取脑电信号的功能，在启动一次实验过程后调用此功能实时获取脑电信号；控制器实时获取脑电信号的功能通过与负责脑电信号采集的进程共享一个内存区块来实现，负责脑电信号采集的进程把新采集到的脑电信号数据块存入到共享内存块，控制器从共享内存块中取出新的脑电信号数据块；为了保障脑电信号数据块在负责脑电信号采集的进程和控制器之间正确传递，两个进程必须保持生产者消费者模型所描述的同步关系，这一同步关系采用信号量机制实现；此外，控制器还具备采用预设的算法实时处理脑电信号的功能，每获得一个脑电信号数据块处理一次，在一次实验过程结束的时候综合每次处理结果形成反馈呈现给用户。
CN202010629983.0A 2020-07-03 2020-07-03 脑机接口中精准视觉刺激控制方法 Active CN111752392B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010629983.0A CN111752392B (zh) 2020-07-03 2020-07-03 脑机接口中精准视觉刺激控制方法
US17/435,172 US11868530B2 (en) 2020-07-03 2021-01-28 Accurate control method of visual stimuli for brain-computer interface
PCT/CN2021/074084 WO2022001098A1 (zh) 2020-07-03 2021-01-28 脑机接口中精准视觉刺激控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010629983.0A CN111752392B (zh) 2020-07-03 2020-07-03 脑机接口中精准视觉刺激控制方法

Publications (2)

Publication Number Publication Date
CN111752392A CN111752392A (zh) 2020-10-09
CN111752392B true CN111752392B (zh) 2022-07-08

Family

ID=72678815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010629983.0A Active CN111752392B (zh) 2020-07-03 2020-07-03 脑机接口中精准视觉刺激控制方法

Country Status (3)

Country Link
US (1) US11868530B2 (zh)
CN (1) CN111752392B (zh)
WO (1) WO2022001098A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752392B (zh) * 2020-07-03 2022-07-08 福州大学 脑机接口中精准视觉刺激控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105137830A (zh) * 2015-08-03 2015-12-09 广东工业大学 一种基于视觉诱发脑机接口的国画机器手及其绘图方法
CN106462796A (zh) * 2014-05-30 2017-02-22 密歇根大学董事会 用于促进多项选择答案的直接选择和状态变化的识别的脑机接口
CN108415554A (zh) * 2018-01-18 2018-08-17 大连理工大学 一种基于p300的脑控机器人系统及其实现方法
CN108803873A (zh) * 2018-05-22 2018-11-13 西安交通大学 一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法
CN109445580A (zh) * 2018-10-17 2019-03-08 福州大学 基于脑机接口的信任博弈实验系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789441B (zh) * 2012-08-09 2015-03-18 上海海事大学 基于稳态诱发电位的异步脑机接口系统及其实现方法
EP2972662A4 (en) * 2013-03-15 2017-03-01 Intel Corporation Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals
WO2014207008A1 (en) * 2013-06-28 2014-12-31 Danmarks Tekniske Universitet Brain-computer interface
WO2017179486A1 (ja) * 2016-04-14 2017-10-19 国立研究開発法人産業技術総合研究所 意思解読装置及び意思伝達支援装置
KR102143920B1 (ko) * 2017-11-16 2020-08-12 고려대학교 산학협력단 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치 및 그 정보 처리 방법
US20190043154A1 (en) * 2017-12-26 2019-02-07 Intel Corporation Concentration based adaptive graphics quality
CN109376843B (zh) * 2018-10-12 2021-01-08 山东师范大学 基于fpga的脑电信号快速分类方法、实现方法及装置
CN111752392B (zh) * 2020-07-03 2022-07-08 福州大学 脑机接口中精准视觉刺激控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462796A (zh) * 2014-05-30 2017-02-22 密歇根大学董事会 用于促进多项选择答案的直接选择和状态变化的识别的脑机接口
CN105137830A (zh) * 2015-08-03 2015-12-09 广东工业大学 一种基于视觉诱发脑机接口的国画机器手及其绘图方法
CN108415554A (zh) * 2018-01-18 2018-08-17 大连理工大学 一种基于p300的脑控机器人系统及其实现方法
CN108803873A (zh) * 2018-05-22 2018-11-13 西安交通大学 一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法
CN109445580A (zh) * 2018-10-17 2019-03-08 福州大学 基于脑机接口的信任博弈实验系统

Also Published As

Publication number Publication date
CN111752392A (zh) 2020-10-09
WO2022001098A1 (zh) 2022-01-06
US20230136433A1 (en) 2023-05-04
US11868530B2 (en) 2024-01-09

Similar Documents

Publication Publication Date Title
AU2013201418B2 (en) Aircrew training system
US9043042B2 (en) Method to map gaze position to information display in vehicle
Ehm et al. Ambiguous figures and binding: EEG frequency modulations during multistable perception
US10281980B2 (en) System and method for eye-reactive display
Santini et al. EyeRIS: a general-purpose system for eye-movement-contingent display control
CN111752392B (zh) 脑机接口中精准视觉刺激控制方法
US20140180060A1 (en) Methods and Systems for Automated Functional MRI in Clinical Applications
CA3071714A1 (en) Visualization system for deep brain stimulation
CN106936995A (zh) 一种移动终端帧率的控制方法、装置及移动终端
Sergent et al. Top–down modulation of human early visual cortex after stimulus offset supports successful postcued report
CN109828664B (zh) 基于感觉反馈动态调整的稳态视觉诱发电位脑机接口方法
Files et al. The visual mismatch negativity elicited with visual speech stimuli
KR20180034277A (ko) 뇌 자극을 통한 기억력 훈련 장치, 방법 및 프로그램
US10679343B2 (en) Ophthalmic image processing apparatus and ophthalmic image processing program
CN114698389A (zh) 脑机接口
Schmitter et al. Commonalities and differences in predictive neural processing of discrete vs continuous action feedback
CN106648430A (zh) 一种智能显示下拉刷新动画的方法及装置
JP3914090B2 (ja) 眼球運動解析システム及び眼球撮像装置
CN114578975B (zh) 眼动追踪设备的注视点质量评测方法及系统
JP2007319408A (ja) 眼科装置及び視野データ処理方法
RU2018142364A (ru) Система для коммуникации пользователей без использования мышечных движений и речи
Soetens et al. Response monitoring and expectancy in random serial RT tasks
JPH11123181A (ja) データ表示方法
JP2020049005A (ja) 印象評価システム、及び、印象評価方法
van Diepen Foveal stimulus degradation during scene perception

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant