CN114115547B - 一种混合脑机接口的目标呈现方法及装置 - Google Patents

一种混合脑机接口的目标呈现方法及装置 Download PDF

Info

Publication number
CN114115547B
CN114115547B CN202210097273.7A CN202210097273A CN114115547B CN 114115547 B CN114115547 B CN 114115547B CN 202210097273 A CN202210097273 A CN 202210097273A CN 114115547 B CN114115547 B CN 114115547B
Authority
CN
China
Prior art keywords
target
picture
frequency
state
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210097273.7A
Other languages
English (en)
Other versions
CN114115547A (zh
Inventor
陈小刚
崔红岩
迟新一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Biomedical Engineering of CAMS and PUMC
Original Assignee
Institute of Biomedical Engineering of CAMS and PUMC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Biomedical Engineering of CAMS and PUMC filed Critical Institute of Biomedical Engineering of CAMS and PUMC
Priority to CN202210097273.7A priority Critical patent/CN114115547B/zh
Publication of CN114115547A publication Critical patent/CN114115547A/zh
Application granted granted Critical
Publication of CN114115547B publication Critical patent/CN114115547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种混合脑机接口的目标呈现方法及装置，包括采集目标图片，目标图片的内容为身体部位；身体部位对应第一运动状态和第二运动状态，目标图片包括对应第一运动状态的第一状态子图片和对应第二运动状态的第二状态子图片；确定目标图片的切换频率和闪烁频率；呈现目标图片，以在用户凝视目标图片时引导用户执行运动想象任务，呈现的目标图片中，第一状态子图片和第二状态子图片之间以切换频率进行切换，第一状态子图片和第二状态子图片均以闪烁频率进行闪烁。

Description

一种混合脑机接口的目标呈现方法及装置
技术领域
本公开涉及脑机接口技术领域，尤其涉及一种混合脑机接口的目标呈现方法及装置。
背景技术
脑机接口是一种将大脑神经活动解码为特定指令，实现大脑与外部设备交互的通信或控制系统。无创脑机接口以非侵入性的神经成像技术采集大脑信号，如功能性磁共振成像，功能性近红外成像，脑磁图，脑电图等。脑电图因其高时间分辨率，便携和低成本的特点在脑机接口研究中得到广泛应用。
稳态视觉诱发电位脑机接口和运动想象脑机接口是两种经典的基于脑电的单模态脑机接口。稳态视觉诱发电位脑机接口依赖于用户注视按一定频率周期变化的视觉刺激时所诱发的包含刺激频率及其高次谐波成分的周期性响应，即稳态视觉诱发电位。这类脑机接口信噪比高，可编码目标数量多，常用于高通讯速率脑机接口系统的构建。运动想象脑机接口则采用用户进行身体不同部位运动的心理模拟时自发的脑电模式来表征用户主观意图。自发脑电相比于稳态视觉诱发电位信噪比较低，可用于分类的脑电模式较少，运动想象脑机接口的脑机接口盲的比例在几种经典脑机接口中较高；但这类脑入信号或模态的固有缺点，在性能和适用人群方面受到一定制约，因此近年来多种信号融合所构建的多模态脑机接口，或称混合脑机接口，得到了蓬勃发展。混合脑机接口通过多种信号的组合扩展了现有的控制能力，提高了系统的实用性，鲁棒性和普适性。例如，同步结合运动想象和稳态视觉诱发电位的混合脑机接口通过增加可分类特征，有效改善了运动想象脑机接口盲现象。
其中，公开号为CN 102866775A的“基于多模式融合的脑机接口控制系统及方法”中，用户通过凝视闪烁的发光二极管，并同时根据声音提示进行运动想象的方法执行混合任务；公开号为CN 103699216 B 的“一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法”以及公开号为CN 103699217 A的“一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统及方法”中，用户均需要在凝视计算机屏幕上闪烁的刺激键的同时进行运动想象的方法执行混合任务。
现有的上述方案中，为了诱发稳定的稳态视觉诱发电位，用于进行闪烁的刺激键均使用如方块或箭头等部件，观察者需要将视觉上的注意力集中在这类部件进行闪烁所带来的刺激上，同时还需要对如上述方块或箭头等部件进行运动想象的任务，这些方式所执行的两种任务相关性很差，容易出现忘记运动想象或者专注想象而减少视觉上的注意力的情况。
发明内容
本公开提供一种混合脑机接口的目标呈现方法及装置，以至少解决现有技术中存在的以上技术问题。
本公开一方面提供一种方法，包括采集目标图片，所述目标图片的内容为身体部位；所述身体部位对应第一运动状态和第二运动状态，所述目标图片包括对应所述第一运动状态的第一状态子图片和对应所述第二运动状态的第二状态子图片；
确定所述目标图片的切换频率和闪烁频率；
呈现所述目标图片，以在用户凝视所述目标图片时引导所述用户执行运动想象任务，所述呈现的目标图片中，所述第一状态子图片和所述第二状态子图片之间以所述切换频率进行切换，所述第一状态子图片和所述第二状态子图片均以所述闪烁频率进行闪烁。
在一可实施方式中，所述呈现所述目标图片，该方法还包括：同时呈现多组所述目标图片，以使用户凝视任一组所述目标图片，并通过被凝视的所述目标图片引导用户执行运动想象任务。
在一可实施方式中，所述采集目标图片后，该方法还包括：
按照所述身体部位对所述目标图片进行分类，得到与所述身体部位对应的集合，每个集合中包括至少一组目标图片。
在一可实施方式中，所述确定所述目标图片的闪烁频率和切换频率，包括：确定所述目标图片的闪烁频率和切换频率，以使用户执行凝视时产生特定频率的稳态视觉诱发电位，且使同一所述集合中的多组目标图片中每组目标图片对应的所述特定频率均不同；
所述特定频率根据所述闪烁频率和切换频率得到。
在一可实施方式中，所述特定频率根据所述闪烁频率和切换频率得到，包括：将所述闪烁频率与第一变量相乘得到第一子频率，将所述切换频率与第二变量相乘得到第二子频率；所述第一变量和所述第二变量为正整数；
将所述第一子频率与所述第二子频率相加或相减，得到所述特定频率。
在一可实施方式中，所述确定所述目标图片的闪烁频率和切换频率，包括：确定同一所述集合的、以及不同所述集合的所述目标图片的闪烁频率一致，以引导用户关注于运动想象；
确定不同所述集合的所述目标图片对应的所述特定频率不同，以引导用户关注于对身体部位的控制。
在一可实施方式中，所述闪烁频率大于等于30
Figure DEST_PATH_IMAGE001
。
在一可实施方式中，所述切换频率大于等于0.5
Figure 476622DEST_PATH_IMAGE001
小于等于1.5
Figure 106187DEST_PATH_IMAGE001
。
本公开另一方面提供一种装置，包括：
采集模块，用于采集目标图片，所述目标图片的内容为身体部位；所述身体部位对应第一运动状态和第二运动状态，所述目标图片包括对应所述第一运动状态的第一状态子图片和对应所述第二运动状态的第二状态子图片；
处理模块，用于确定所述目标图片的切换频率和闪烁频率；
呈现模块，用于呈现所述目标图片，以在用户凝视所述目标图片引导所述用户执行运动想象任务，所述呈现的目标图片中，第一状态子图片和所述第二运动状态之间以所述切换频率进行切换，所述第一状态子图片和所述第二状态子图片均以所述闪烁频率进行闪烁。
在一可实施方式中，所述呈现模块，还用于同时呈现多组所述目标图片，以使用户凝视任一组所述目标图片，并通过被凝视的所述目标图片引导用户执行运动想象任务。
基于上述方案，本公开通过引入展示身体部位的目标图片，确定目标图片中身体部位运动状态的切换频率，即第一状态子图片和第二状态子图片的切换频率，在用户执行凝视任务接收视觉刺激的同时，展现身体部位的第一运动状态和第二运动状态，加强用户执行运动想象任务时的画面感，降低现有两种任务混合执行的难度，提高用户同时执行凝视和运动想象两种任务的相关性。
附图说明
图1所示为本公开一实施例提供的混合脑机接口的目标呈现方法的流程示意图；
图2所示为本公开一另实施例提供的混合脑机接口的目标呈现方法的流程示意图；
图3所示为本公开一实施例提供的混合脑机接口的目标呈现装置的结构示意图。
具体实施方式
为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
为了提高用户执行凝视和运动想象任务的相关性，如图1所示，本公开一实施例提供了一种混合脑机接口的目标呈现方法，包括：
步骤101，采集目标图片，所述目标图片的内容为身体部位；所述身体部位对应第一运动状态和第二运动状态，所述目标图片包括对应所述第一运动状态的第一状态子图片和对应所述第二运动状态的第二状态子图片；
在一示例中，身体部位包括左手、右手、双脚和舌头等，左手和右手对应的第一运动状态为张开，对应的第二运动状态为闭合；双脚对应的第一运动状态为抬起，对应的第二运动状态为落下；舌头对应的第一运动状态可为抬起或翘起，对应的第二运动状态可为落下或下压，由于舌头的运动状态以及运动时的频率不够直观，本示例中不再多加描述。
因此，当目标图片的内容所展示的身体部位为右手时，目标图片包括右手呈现张开的第一状态子图片和右手呈现闭合的第二状态子图片；
当目标图片的内容所展示的身体部位为左手时，目标图片包括左手呈现张开的第一状态子图片和左手呈现闭合的第二状态子图片；
当目标图片的内容所展示的身体部位为双脚时，目标图片包括双脚呈现抬起的第一状态子图片和双脚呈现落下的第二状态子图片；
应该理解的是，目标图片的内容所展示的身体部位不局限于上面列举的几种，此处仅为举例，在此不做具体限定。
步骤102，确定所述目标图片的切换频率和闪烁频率；
为了同步结合用户的运动想象和稳态视觉诱发电位，采集用户的混合脑电信号，需要采取对视觉的刺激和对运动状态想象的刺激。
用户需要同时执行凝视任务和身体部位的运动想象任务，为此需要对目标图片的闪烁频率和切换频率进行确定。
步骤103，呈现所述目标图片，以在用户凝视所述目标图片时引导所述用户执行运动想象任务，所述呈现的目标图片中，所述第一状态子图片和所述第二状态子图片之间以所述切换频率进行切换，所述第一状态子图片和所述第二状态子图片均以所述闪烁频率进行闪烁；
由于一组目标图片只有一个闪烁频率，而一组目标图片包括第一状态子图片和第二状态子图片，因此第一状态子图片和第二状态子图片以同一个闪烁频率进行闪烁。
为了使用户在凝视目标图片的同时更好的执行运动想象任务，以增强用户进行对运动想象的画面感，需要对第一状态子图片和第二状态子图片进行来回切换，这个切换的频率则为目标图片的切换频率，则切换频率可表征对应的身体部位的运动频率。
例如，目标图片的内容所展示的身体部位为右手，第一状态子图片为右手张开，第二状态子图片为右手闭合，假设以一秒一次的频率对第一状态子图片和第二状态子图片进行切换，在用户凝视该目标图片时，看到的便是一秒内完成右手张开再右手闭合，下一秒右手张开再右手闭合，再一秒如此重复。
再例如，由于目标图片还同时以闪烁频率进行闪烁，假设以一秒四次的频率进行闪烁，结合上述以目标图片的内容展示为右手、一秒一次的切换频率来说，用户凝视该目标图片时，看到的便是一秒内完成右手张开再右手闭合，同时右手张开闪烁两次，右手闭合闪烁两次，下一秒时继续右手张开再右手闭合，同时右手张开闪烁两次，右手闭合闪烁两次，再一秒如此重复。
需要强调的是，此处的闪烁频率和运动频率仅为举例以进行说明，并非实际的频率数值，具体的闪烁频率和运动频率的确定，应根据具体实验要求调整，在此不做具体限定。
在一示例中，目标图片可以有多组。目标图片根据其内容的身体部位构成对应的集合，同种身体部位对应的集合包括多组目标图片；
例如，身体部位有左手、右手和双脚，即便每种身体部位以一组目标图片的方式展示，也至少存在三组目标图片，分别展示了左手、右手和双脚。
此外，每种身体部位也可通过多组目标图片的方式展示，以展示的身体部位为右手为例，可以呈现多组目标图片用于展示右手，此种情况下，右手对应的集合中，应包括了多组展示的身体部位为右手的目标图片。
为了扩大目标数量以得到更多的采集结果，对于左手、右手和双脚，即对应每种身体部位的集合都采集多组目标图片。
在一示例中，同一集合中的多组目标图片，其内容展示为相同身体部位，确定这些目标图片的闪烁频率和切换频率，以使用户在凝视目标图片时产生特定频率的稳态视觉诱发电位，且使同一集合中的多组目标图片中每组目标图片对应的特定频率均不同；可以理解的是，此处的特定频率为稳态视觉诱发电位的特定频率。因此，至少需要用户在看到目标图片并执行混合任务时，引发的稳态视觉诱发电位有所区别，而要达到这个效果，则至少保证展示同一身体部位的目标图片对应的稳态视觉诱发电位的特定频率互不相同。
特定频率通过闪烁频率和切换频率共同作用得到，因此需要确定闪烁频率和切换频率，即配置合适的闪烁频率和切换频率。
在一示例中，可按如下公式得到特定频率：
Figure 483072DEST_PATH_IMAGE002
m、n和j为正整数，i为身体部位对应的标识，j为第i个身体部位对应集合内的第j组目标图片，F为闪烁频率，f为切换频率。
即将闪烁频率与第一变量相乘得到第一子频率，将切换频率与第二变量相乘得到第二子频率；第一变量和所述第二变量为正整数；将第一子频率与第二子频率相加或相减，得到特定频率。
例如，身体部位包括左手、右手和双脚，左手对应的标识为1，右手对应的标识为2， 双脚对应的标识为3，每个身体部位对应的集合内都具有三组目标图片。则左手对应的集合 内，目标图片的闪烁频率分别为
Figure DEST_PATH_IMAGE003
、、
Figure 509672DEST_PATH_IMAGE004
，目标图片的切换频率分别为、
Figure DEST_PATH_IMAGE005
、
Figure 676211DEST_PATH_IMAGE006
; 右手对应的 集合内，目标图片的闪烁频率分别为
Figure DEST_PATH_IMAGE007
、
Figure 707752DEST_PATH_IMAGE008
、
Figure DEST_PATH_IMAGE009
，目标图片的切换频率分别为
Figure 677628DEST_PATH_IMAGE010
、
Figure DEST_PATH_IMAGE011
、
Figure 630672DEST_PATH_IMAGE012
；双 脚对应的集合内，目标图片的闪烁频率分别为
Figure DEST_PATH_IMAGE013
、
Figure 600902DEST_PATH_IMAGE014
、
Figure DEST_PATH_IMAGE015
，目标图片的切换频率分别为
Figure 719905DEST_PATH_IMAGE016
、、
Figure DEST_PATH_IMAGE017
。
再例如，在一示例中，
Figure 32069DEST_PATH_IMAGE018
>>
Figure DEST_PATH_IMAGE019
,
Figure 721676DEST_PATH_IMAGE018
类似于一种载波，将较为低频的
Figure 948127DEST_PATH_IMAGE019
及其谐波频率 调制到较高的
Figure 141211DEST_PATH_IMAGE018
及其谐波频率上，由于在稳态视觉诱发电位中三次谐波的频率成分相对微 弱，在获取特定频率的时候通常只检测二次谐波，因此，利用上述公式得到特定频率时，m取 1或2，n取1或2即可，如此，通过m和n取值的全部组合，上述公式便可得到8个特定频率。
确定对应左手的集合中的第一组目标图片的闪烁频率为30
Figure 545648DEST_PATH_IMAGE001
，切换频率为1
Figure 207704DEST_PATH_IMAGE001
，取 m为1或2，n为1或2，即存在m=1,n=1、m=1,n=2、m=2,n=1以及m=2,n=2四种取值组合，根据上述 公式中的加减操作，可以得到8个特定频率，分别为：28，29，31，32，58，59，61，62。
确定对应左手的集合中的第二组目标图片的闪烁频率为30
Figure 988578DEST_PATH_IMAGE001
，切换频率为2
Figure 239431DEST_PATH_IMAGE001
，取 m为1或2，n为1或2，即存在m=1,n=1、m=1,n=2、m=2,n=1以及m=2,n=2四种取值组合，根据上述 公式中的加减操作，可以得到8个特定频率，分别为：26，28，32，34，56，58，62，64。其中，特定 频率28、32、58和62与第一组目标的特定频率有相同部分，因此需要重新确定闪烁频率和切 换频率，如重新确定第二组目标图片的切换频率为1.5
Figure 329616DEST_PATH_IMAGE001
，闪烁频率为30
Figure 931498DEST_PATH_IMAGE001
不变，取m为1或 2，n为1或2，根据上述公式，可以得到8个特定频率，分别为：27，28.5，31.5，33，57，58.5， 61.5，63。此时，第二组目标图片的特定频率与第一组目标图片的特定频率没有相同部分， 因此，可确定闪烁频率为30
Figure 312801DEST_PATH_IMAGE001
，切换频率为1.5
Figure 168893DEST_PATH_IMAGE001
作为第二组目标图片的编码频率。
因此，用户在凝视通过不同编码频率的目标图像所带来的视觉刺激时，能够产生可区分的稳态视觉诱发电位脑电信号。
在一示例中，同时呈现多组目标图片，以使用户凝视任一组目标图片，通过被凝视的目标图片引导用户执行运动想象任务。其中，多组目标图片属于不同集合，因此呈现的多组图片既包括展示不同身体部位的目标图片，也包括展示同一部位的目标图片，但同一部位的目标图片对应的特定频率不同。
在一示例中，本方法在确定目标图片的闪烁频率和切换频率时，可以结合不同的应用场景，在上述方案的基础上，针对性的进行调整。
例如，若重点在于关注用户的运动想象能力，如应用于脑卒中患者的运动康复场 景，可以减少目标图片的总数，令同一集合的、以及不同集合的目标图片的闪烁频率一致， 即
Figure 977449DEST_PATH_IMAGE020
=
Figure DEST_PATH_IMAGE021
=
Figure 587334DEST_PATH_IMAGE022
。此外，在此基础上，还可令同一集合的、以及不同集合的目标图片的切换频率 均不同，即
Figure DEST_PATH_IMAGE023
，此处仅为举例，并非代表存在9组目标 图片以供调整切换频率，具体应在选取要求的基础上根据实际情况进行适应性调整，在此 不做具体限定。因此，可以进一步保证用户更多的关注身体部位的类型和身体部位运动速 度的差异。
再例如，若重点关注用户对身体部位的控制，增加与身体部位相关的控制指令的数量，则合理选择目标图片的闪烁频率和切换频率，不必限制闪烁频率一致，相对于更关注用户运动想象带来的目标图片数量的局限上，进一步扩大目标图片的数量，在同一集合内多组目标图片之间的特定频率不同的基础上，确定不同集合的多组目标图片之间的特定频率也区别设置。应该理解的是，本方案是基于不同集合的多组目标图片之间的特定频率可以相同也可以不同，再进一步限定的。打个比方，右手对应集合内的多组目标图片对应的特定频率各不相同，左手、右手和双脚对应的不同集合内的多组目标图片之间对应的特定频率也各不相同。将左手、右手和双脚对应的不同集合之间的特定频率设置不同，可以进一步扩大目标图片之间的呈现差异。
在一示例中，由于运动想象脑电信号的特定频率在8-30
Figure 241169DEST_PATH_IMAGE001
之间，如果目标图片的 闪烁频率也在这一频率范围内，则可能会干扰后续对运动想象脑电信号的特征提取。因此， 本方案确定闪烁频率大于等于30
Figure 14084DEST_PATH_IMAGE001
。在进行后续的处理时，影响运动想象脑电信号的部分 稳态视觉诱发电位脑电信号会被滤除，避开执行运动想象任务时能量变化明显的特征频率 范围，保证了凝视任务和运动想象混合执行的精度。同时，目标图片采用30
Figure 196804DEST_PATH_IMAGE001
以上的闪烁频 率，可降低因闪烁带来的视觉疲劳，进一步的提升了用户执行凝视和运动想象任务时的舒 适性。
在一示例中，通过设置切换频率大于等于0.5
Figure 507699DEST_PATH_IMAGE001
小于等于1.5
Figure 434067DEST_PATH_IMAGE001
，以引导用户在合 适的感知范围内执行运动想象任务。
本公开通过引入展示身体部位的目标图片，确定目标图片中身体部位运动状态的切换频率，即第一子状态图片和第二子状态图片的切换频率，在用户执行凝视任务接收视觉刺激的同时，展现身体部位的第一运动状态和第二运动状态，加强用户执行运动想象任务时的画面感，降低现有两种任务混合执行的难度，提高用户同时执行凝视和运动想象两种任务的相关性。
此外，目标图片所直观展示的身体部位，对应的切换频率即身体部位的运动频率，既可以用来诱发稳态视觉诱发电位，又可以作为视觉提示，避免用户凝视单纯的LED组件或亮度均匀的闪烁目标时空想身体部位的运动，降低混合任务执行的难度。
在一示例中，如图2所示，本公开还提供了一种利用上述方法进行混合脑机接口的目标呈现的具体实施例，如下所述：
201，确定三种身体部位，每个身体部位对应三组目标图片；
本方案中一共采集9组目标图片，分别为左手对应的集合内的目标图片，闪烁频率 分别为
Figure 763286DEST_PATH_IMAGE003
、
Figure 179224DEST_PATH_IMAGE024
、
Figure 711836DEST_PATH_IMAGE004
，切换频率分别为
Figure DEST_PATH_IMAGE025
、
Figure 254944DEST_PATH_IMAGE005
、
Figure 189402DEST_PATH_IMAGE006
; 右手对应的集合内的目标图片，闪烁频率分 别为
Figure 25509DEST_PATH_IMAGE007
、
Figure 45418DEST_PATH_IMAGE008
、
Figure 313588DEST_PATH_IMAGE009
，切换频率分别为
Figure 915602DEST_PATH_IMAGE010
、
Figure 876604DEST_PATH_IMAGE011
、
Figure 118230DEST_PATH_IMAGE012
；双脚对应的集合内的目标图片，闪烁频率分别 为
Figure 236096DEST_PATH_IMAGE013
、
Figure 410726DEST_PATH_IMAGE014
、
Figure 11471DEST_PATH_IMAGE015
，切换频率分别为
Figure 22284DEST_PATH_IMAGE016
、
Figure 428994DEST_PATH_IMAGE026
、
Figure 458130DEST_PATH_IMAGE017
。
202，选用屏幕刷新率为120
Figure 473185DEST_PATH_IMAGE001
的显示器，为步骤201中的各组目标图片确定对应的 闪烁频率和切换频率；
其中，确定
Figure DEST_PATH_IMAGE027
，
Figure 548458DEST_PATH_IMAGE028
，
Figure DEST_PATH_IMAGE029
，j=1,2,3；由于闪烁频率35 Hz非屏幕 刷新率120 Hz的整数分频，因此目标的闪烁刺激均采用正弦编码方法，即通过调整每帧亮 度值，使其按照正弦波规律变化，从而实现所需的刺激频率。为每种身体部位对应的集合内 的多组目标图片分别赋予不同的切换频率，
Figure 978433DEST_PATH_IMAGE030
，
Figure DEST_PATH_IMAGE031
，
Figure 970398DEST_PATH_IMAGE032
，i=1,2,3,即显 示器分别以每100帧，75帧和60帧切换一次身体部位的运动状态。
以
Figure 178525DEST_PATH_IMAGE025
为例，通过120除以0.6，得到200帧，则表明在200帧内需要完成左手在张开和 闭合的状态展示，因此每100帧则进行一次左手张开和闭合的切换。
203，将9组目标图片呈现在显示器上，以使用户凝视任一组目标图片，并同时执行凝视和运动想象任务；
用户在凝视通过不同编码频率的目标图像所带来的视觉刺激时，产生可区分的稳态视觉诱发电位脑电信号；用户在想象不同类型的身体部位进行运动时，产生可区分的运动想象脑电信号；通过不同的稳态视觉诱发电位脑电信号和运动想象脑电信号组合产生可区分的混合脑电信号。
因此，通过采集用户执行203步骤所产生的混合脑电信号，即可提取稳态视觉诱发电位脑电信号和运动想象脑电信号的特征。
本公开一实施例还提供了一种混合脑机接口的目标呈现装置，如图3所示，该装置包括：
采集模块10，用于采集目标图片，所述目标图片的内容为身体部位；所述身体部位对应第一运动状态和第二运动状态，所述目标图片包括对应所述第一运动状态的第一状态子图片和对应所述第二运动状态的第二状态子图片；
处理模块20，用于确定所述目标图片的切换频率和闪烁频率；
呈现模块30，用于呈现所述目标图片，以在用户凝视所述目标图片时引导所述用户执行运动想象任务，所述呈现的目标图片中，所述第一状态子图片和所述第二状态子图片之间以所述切换频率进行切换，所述第一状态子图片和所述第二状态子图片均以所述闪烁频率进行闪烁。
所述呈现模块30，还用于同时呈现多组所述目标图片，以使用户凝视任一组所述目标图片，并通过被凝视的所述目标图片引导用户执行运动想象任务。
所述采集模块10，还用于按照所述身体部位对所述目标图片进行分类，得到与所述身体部位对应的集合，每个集合中包括至少一组目标图片。
除了上述方法和装置以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (8)

1.一种混合脑机接口的目标呈现方法，其特征在于，包括：
采集目标图片，所述目标图片的内容为身体部位；所述身体部位对应第一运动状态和第二运动状态，所述目标图片包括对应所述第一运动状态的第一状态子图片和对应所述第二运动状态的第二状态子图片；所述采集目标图片后，还包括按照所述身体部位对所述目标图片进行分类，得到与所述身体部位对应的集合，每个集合中包括至少一组目标图片；
确定所述目标图片的切换频率和闪烁频率，以使用户执行凝视时产生特定频率的稳态视觉诱发电位，且使同一所述集合中的多组目标图片中每组目标图片对应的所述特定频率均不同，所述特定频率根据所述闪烁频率和切换频率得到；
呈现所述目标图片，以在用户凝视所述目标图片时引导所述用户执行运动想象任务，所述呈现的目标图片中，所述第一状态子图片和所述第二状态子图片之间以所述切换频率进行切换，所述第一状态子图片和所述第二状态子图片均以所述闪烁频率进行闪烁。
2.根据权利要求1所述的混合脑机接口的目标呈现方法，其特征在于，所述呈现所述目标图片，该方法还包括：同时呈现多组所述目标图片，以使用户凝视任一组所述目标图片，并通过被凝视的所述目标图片引导用户执行运动想象任务。
3.根据权利要求1或2所述的混合脑机接口的目标呈现方法，其特征在于，所述特定频率根据所述闪烁频率和切换频率得到，包括：
将所述闪烁频率与第一变量相乘得到第一子频率，将所述切换频率与第二变量相乘得到第二子频率；所述第一变量和所述第二变量为正整数；
将所述第一子频率与所述第二子频率相加或相减，得到所述特定频率。
4.根据权利要求3所述的混合脑机接口的目标呈现方法，其特征在于，所述确定所述目标图片的闪烁频率和切换频率，包括：
确定同一所述集合的、以及不同所述集合的所述目标图片的闪烁频率一致，以引导用户关注于运动想象；
确定不同所述集合的所述目标图片对应的所述特定频率不同，以引导用户关注于对身体部位的控制。
5.根据权利要求1所述的混合脑机接口的目标呈现方法，其特征在于，所述闪烁频率大于等于30Hz。
6.根据权利要求1所述的混合脑机接口的目标呈现方法，其特征在于，所述切换频率大于等于0.5Hz小于等于1.5Hz。
7.一种混合脑机接口的目标呈现装置，其特征在于，包括：
采集模块，用于采集目标图片，所述目标图片的内容为身体部位；所述身体部位对应第一运动状态和第二运动状态，所述目标图片包括对应所述第一运动状态的第一状态子图片和对应所述第二运动状态的第二状态子图片；所述采集目标图片后，还包括按照所述身体部位对所述目标图片进行分类，得到与所述身体部位对应的集合，每个集合中包括至少一组目标图片；
处理模块，用于确定所述目标图片的切换频率和闪烁频率，以使用户执行凝视时产生特定频率的稳态视觉诱发电位，且使同一所述集合中的多组目标图片中每组目标图片对应的所述特定频率均不同，所述特定频率根据所述闪烁频率和切换频率得到；
呈现模块，用于呈现所述目标图片，以在用户凝视所述目标图片时引导所述用户执行运动想象任务，所述呈现的目标图片中，所述第一状态子图片和所述第二状态子图片之间以所述切换频率进行切换，所述第一状态子图片和所述第二状态子图片均以所述闪烁频率进行闪烁。
8.根据权利要求7所述的混合脑机接口的目标呈现装置，其特征在于：所述呈现模块，还用于同时呈现多组所述目标图片，以使用户凝视任一组所述目标图片，并通过被凝视的所述目标图片引导用户执行运动想象任务。
CN202210097273.7A 2022-01-27 2022-01-27 一种混合脑机接口的目标呈现方法及装置 Active CN114115547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210097273.7A CN114115547B (zh) 2022-01-27 2022-01-27 一种混合脑机接口的目标呈现方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210097273.7A CN114115547B (zh) 2022-01-27 2022-01-27 一种混合脑机接口的目标呈现方法及装置

Publications (2)

Publication Number Publication Date
CN114115547A CN114115547A (zh) 2022-03-01
CN114115547B true CN114115547B (zh) 2022-05-13

Family

ID=80361798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210097273.7A Active CN114115547B (zh) 2022-01-27 2022-01-27 一种混合脑机接口的目标呈现方法及装置

Country Status (1)

Country Link
CN (1) CN114115547B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115268747B (zh) * 2022-07-26 2023-04-14 中国医学科学院生物医学工程研究所 脑机接口数据处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477405A (zh) * 2009-01-05 2009-07-08 清华大学 基于左右视野两个频率刺激的稳态视觉诱发脑机接口方法
CN105260025A (zh) * 2015-10-15 2016-01-20 中国兵器科学研究院 基于移动终端的稳态视觉诱发电位脑机接口系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5711056B2 (ja) * 2011-06-21 2015-04-30 アイシン精機株式会社 脳波インターフェースシステム
US10524683B2 (en) * 2013-04-16 2020-01-07 Korea University Research And Business Foundation EEG-based brain-machine interface apparatus and method for recognizing human-intention using flickering visual stimulus
CN103699216B (zh) * 2013-11-18 2016-08-17 南昌大学 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法
CN104850230B (zh) * 2015-05-26 2018-02-09 福州大学 模拟键盘鼠标的脑机接口控制方法
CN105242784B (zh) * 2015-10-12 2018-02-09 中国医学科学院生物医学工程研究所 基于交叉调制频率的稳态视觉诱发电位脑‑机接口方法
CN106951064B (zh) * 2016-11-22 2019-05-03 西安交通大学 引入对象连续动作的稳态视觉诱发范式设计及辨识方法
CN110442244A (zh) * 2019-08-22 2019-11-12 中国农业大学 一种基于脑机接口的虚拟现实游戏交互方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477405A (zh) * 2009-01-05 2009-07-08 清华大学 基于左右视野两个频率刺激的稳态视觉诱发脑机接口方法
CN105260025A (zh) * 2015-10-15 2016-01-20 中国兵器科学研究院 基于移动终端的稳态视觉诱发电位脑机接口系统

Also Published As

Publication number Publication date
CN114115547A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
Won et al. Motion-based rapid serial visual presentation for gaze-independent brain-computer interfaces
Fazel-Rezai et al. P300 brain computer interface: current challenges and emerging trends
US20230043749A1 (en) Brain-computer interface for user's visual focus detection
CN110121885A (zh) 用于利用注视跟踪的vr、低等待时间无线hmd视频流传输的有凹视频链接
JPWO2013018267A1 (ja) 提示制御装置、及び提示制御方法
Enns et al. The role of clarity and blur in guiding visual attention in photographs.
JP2019036307A (ja) 非接触ユーザインターフェースのためのシステムおよび方法
Orhan et al. Offline analysis of context contribution to ERP-based typing BCI performance
Wenzel et al. Real-time inference of word relevance from electroencephalogram and eye gaze
CN114115547B (zh) 一种混合脑机接口的目标呈现方法及装置
Shafer-Skelton et al. Object-location binding across a saccade: A retinotopic spatial congruency bias
Ušćumlić et al. Active visual search in non-stationary scenes: coping with temporal variability and uncertainty
US9824607B1 (en) Brain machine interface for extracting user intentions with subliminal decision-related stimuli
Zhang et al. The effect of stimulus number on the recognition accuracy and information transfer rate of SSVEP–BCI in augmented reality
't Hart et al. Attention in natural scenes: contrast affects rapid visual processing and fixations alike
CN111728608A (zh) 基于增强现实的脑电信号分析方法、装置、介质及设备
O'Connell et al. Dissociation of salience-driven and content-driven spatial attention to scene category with predictive decoding of gaze patterns
Gong et al. An idle state-detecting method based on transient visual evoked potentials for an asynchronous ERP-based BCI
Zenner et al. Induce a Blink of the Eye: Evaluating Techniques for Triggering Eye Blinks in Virtual Reality
RU2725782C2 (ru) Система для коммуникации пользователей без использования мышечных движений и речи
Jiang et al. A hybrid brain-computer interface based on visual evoked potential and pupillary response
CN116048266A (zh) 一种融合基于摄像头式视线跟踪技术的脑机接口系统
Otto et al. Attention and non-retinotopic feature integration
Wang et al. Research on a spatial–temporal characterisation of blink-triggered eye control interactions
Hammoud et al. Introduction to eye monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant