CN109166612B - 一种基于眼动及脑电信息的大型游戏场景康复系统及方法 - Google Patents

一种基于眼动及脑电信息的大型游戏场景康复系统及方法 Download PDF

Info

Publication number
CN109166612B
CN109166612B CN201810925012.3A CN201810925012A CN109166612B CN 109166612 B CN109166612 B CN 109166612B CN 201810925012 A CN201810925012 A CN 201810925012A CN 109166612 B CN109166612 B CN 109166612B
Authority
CN
China
Prior art keywords
patient
picture
bci
game scene
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810925012.3A
Other languages
English (en)
Other versions
CN109166612A (zh
Inventor
王晶
刘刚
郭晓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Medical Technology Co., Ltd.
Original Assignee
Shenzhen Rhb Medical Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Rhb Medical Tech Co ltd filed Critical Shenzhen Rhb Medical Tech Co ltd
Priority to CN201810925012.3A priority Critical patent/CN109166612B/zh
Publication of CN109166612A publication Critical patent/CN109166612A/zh
Application granted granted Critical
Publication of CN109166612B publication Critical patent/CN109166612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising

Abstract

本发明公开了一种基于眼动及脑电信息的大型游戏场景康复系统及方法，包括脑电电极、机械外骨骼、显示屏、眼动仪和控制摇杆及BCI判断按键装置，脑电电极设置在患者的头顶，机械外骨骼设置在患者的患侧，机械外骨骼上设置有触物感振子模块，控制摇杆及BCI判断按键装置设置在患者的健侧，显示屏设置在患者的前方，与计算机连接，眼动仪设置在显示屏上，通过健侧和患侧配合完成康复大型游戏。本发明巧妙的将脑机接口技术与游戏巧妙结合，搭建了一种新型框架，避免了BCI意图识别少的缺点，基于本研究的框架模式可以嵌入多种康复游戏，使得患者的康复训练形成了沉浸式游戏场景整体。

Description

一种基于眼动及脑电信息的大型游戏场景康复系统及方法
技术领域
本发明属于医疗康复设备技术领域，具体涉及一种基于眼动及脑电信息的大型游戏场景康复系统及方法。
背景技术
随着人口老龄化的出现，中风患者数量逐年增多。在中风患者中只有少数轻微患者可以自然恢复，大部分中风患者都会遗留下残疾问题。对于中风患者来说术后的康复训练至关重要，康复的首要目标是恢复身体、心理和社会功能，提高各种运动、感觉和认知障碍患者的生活质量。
近几年，脑机接口技术、康复机器人技术及游戏开发技术不断发展，在中风运动康复、中风感觉康复及中风认知障碍康复方面得到了广泛的应用，然而，进一步分析，这些技术均存在或多或少的不足，到目前为止没有在巧妙发挥各自优势避免劣势的基础上将多种技术融合一起的更全面系统的康复方案。
脑机接口技术有着主动意图识别的优势，可以用来控制各类外部设备，例如：机械外骨骼、屏幕中的光标等，经过主动的训练能够促进神经重塑。不过，考虑到中风病人的病情特点，脑机接口技术仅仅能够使用非侵入式技术，目前非侵入式脑机接口可识别意图少，所以很难开发大型脑机接口系统，亟需一种在避免劣势的基础上能够做到顺畅自然的康复系统。
游戏开发技术能够提高患者中风训练的兴趣，这对需要接受高强度训练的中风患者来说至关重要，并且使用各种游戏进项康复训练极大提高了中风患者的认知功能。目前市场上出现了各种基于简单交互的小游戏康复训练系统，并且这些康复训练游戏显著地提高了患者康复的效果。然而，小游戏始终无法形成一种强大的沉浸感，长期使用会使得患者兴趣下降。大型场景类的游戏可以增加患者对康复系统的吸引力，和其他系统的融合方式仍是一大难题。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于眼动及脑电信息的大型游戏场景康复系统及方法，可以使用健侧和患侧协同的方式完成大型游戏的操作，在患侧操作方面，采取了眼动信息及脑电信息整合的多意图识别方案，反馈上采取了震动沉浸式反馈，在保证患者体验游戏的乐趣的同时实现更加自然的神经回路重建，从而促进中风患者运动、感觉及认知上的康复。
本发明采用以下技术方案：
一种基于眼动及脑电信息的大型游戏场景康复系统，包括脑电电极、机械外骨骼、显示屏、眼动仪和控制摇杆及BCI判断按键装置，脑电电极设置在患者的头顶，机械外骨骼设置在患者的患侧，机械外骨骼上设置有触物感振子模块，控制摇杆及BCI判断按键装置设置在患者的健侧，显示屏设置在患者的前方，与计算机连接，眼动仪设置在显示屏上，通过健侧和患侧配合完成康复大型游戏。
具体的，触物感振子模块包括指尖振子、指背振子和手背振子，指尖振子分布在患手的指尖，指背振子分布于患手指背，手背振子分布在患手的手背。
进一步的，指尖振子的振子单一控制，指背振子的每根手指单独控制，手背振子的振子为多个统一控制。
具体的，显示屏分为主画面和副画面，主画面和副画面根据系统流程由游戏场景画面和BCI画面交替呈现。
进一步的，副画面所在位置为显示屏上患侧手所在位置对应的屏幕下方。
具体的，控制摇杆及BCI判断按键装置包括控制摇杆和BCI判断按键，控制摇杆用于控制行走，BCI判断按键是BCI阶段开始的开关按钮。
具体的，眼动仪和脑电电极采集到患者的视线及脑电的信息，之后传给计算机，计算机识别出患者想要执行性的动作及意图的强度，并进行分类，根据判别的结果给于机械外骨骼、震动触觉物感反馈、游戏反馈。
一种基于眼动及脑电信息的大型游戏场景康复系统的操作方法，包括以下步骤：
S1、患者睁开眼睛，观看游戏场景画面，同时健侧手控制控制摇杆及BCI判断按键装置实现第一视角的走动，当找到想要操作的物体后，按下控制摇杆及BCI判断按键装置，进入患侧BCI阶段判断；
S2、BCI画面转化为主画面，主画面中出现+字，然后显示屏出现提醒患者观察并模仿的文字及语音提醒，在执行观察并模仿时显示屏根据游戏场景中手的状态显示推测的患者想执行动作的动画多宫格，患者通过视线进行选择，游戏场景画面和BCI画面始终保持场景的同步；
S3、主画面中出现动作的手势动画，当患者视线移动到想要执行动作动画的时候，眼动仪识别患者所观看的动作并放大，根据要执行的动作指尖和指背处的触物感振子模块产生震动触感，患者进行观察并模仿意图动画；
S4、计算机根据采集到的脑电信息判断患者执行观察并模仿期间的意图强度及意图分类；
S5、主画面切换为游戏场景画面，若意图分类为患者想要执行意图，游戏场景中肢体会执行上一步患者选择的动作，机械外骨骼带动患手同步此动作，并在碰触到物体后产生持续性的震动触物反馈，副窗口BCI画面出现以意图强弱为基础的分数反馈；
S6、语音提示闭眼放松，进入闭眼放松环节，显示屏为黑屏，直到大脑状态回复到放松状态，语音提示睁开眼睛，重复执行以上步骤。
具体的，步骤S5中，若意图分类为患者观察想象强度低且分类错误，则主画面中不会产生任何运动且无震动，但副窗口仍有以意图强弱为基础的分数反馈。
具体的，游戏场景画面的行走过程中，患侧手指碰触到物体后所对应手指会产生相应位置的震动触觉反馈，除患侧手部外的其他肢体碰触到物体后，手背会产生震动的碰触反馈；抓取物体后患手一直有震动触物感；在执行观察模仿时，具有对应动作的患手触物感震动。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于眼动及脑电信息的大型游戏场景康复系统，通过脑电电极采集患者脑电信息，机械外骨骼对患侧进行训练，将眼动与脑电结合增加了脑机接口技术的增加了意图分类数目；将大型游戏场景融入康复训练之中增加了游戏的沉浸感；实现了健侧与患侧的协同控制，有助于中风患者双手的协调性锻炼；执行观察模仿阶段具有触物感及视觉冲击，增加了运动观察模仿的效果；反馈阶段具有触觉、视觉、动觉等多模式反馈增加了脑机接口在神经重塑中纠错的反馈强度；
进一步的，触觉反馈使中风患者感觉恢复的重要手段，在本发明中，分别在患侧指尖、指背及手背处设定振子，患侧指尖、指背及其他肢体在患者行走过程中碰触到虚拟场景中的物体后会产生震动触物感反馈，这样有有助于患者的感觉的恢复及游戏沉浸感的增加。
进一步的，指尖及指背在执行观察模仿的时候会有与进行模仿的动作同步的震动反馈，如抓杯子动作，患者的所有指尖振子都会震动，形成触物反馈，如张开手，所有指背振子都会震动，产生指背触物感。如捏起笔，拇指、食指和中指指尖会产生震动。基于以上触物感及视觉的刺激会极大地增加患者大脑视觉皮层、感觉运动皮层等相关皮层的激活，产生更加稳定的脑电信号，此脑电信号有助于脑机接口技术的解码，且强烈的刺激更有利于患者的神经重塑。
另外，指尖振子在抓取到物后处闭眼放松阶段均会有与游戏场景画面同步的触物感反馈，产生一直抓住物体的感觉，此方式更加强烈的刺激了大脑感觉皮层，且代入了及强的沉浸感，增加患者的兴趣。
进一步的，主画面及副画面分别由游戏场景画面和BCI画面交替进行，在游戏场景画面为主画面的时候，BCI画面为副画面，此时，主画面可以为患者带来强大的游戏沉浸感，副画面为主画面中患手的放大画面，在行走过程中患者可以实时关注自己患侧虚拟肢体，产生更强的视觉刺激；在BCI画面为主画面，游戏场景画面为副画面时，主画面起到了BCI引导刺激的作用，有助于脑机接口技术的解码及意图识别，副画面使得患者随时观看到自己在游戏场景中的情况，可以形成更强的连贯感，使得患者更能沉浸到训练与娱乐之中。
进一步的，副画面为BCI画面时，副画面起到了患者患侧虚拟肢放大的作用，形成了更加强烈的视觉刺激，使得患者更加关注自己患侧肢体且由于虚拟肢体中患侧手为正常手部状态，使得患者产生患侧肢体正常的幻觉，更有助于神经重塑；
副画面为游戏场景画面时，副画面为虚拟场景画面，使得患者能够随时关注自己在虚拟场景中的状态，游戏更加连贯，激发患者兴趣。
本发明还公开了一种基于眼动及脑电信息的大型游戏场景康复系统的操作方法，利用患者的健侧使患者沉浸到大型游戏场景康复中去，让患者感受到自己漫步在城市、街道或大自然之中，可以缓解患者患病后长期在病房的不适，另外，健侧患侧的协同控制有助于患者健侧与患侧协调性的锻炼；可以在场景中设定下各种游戏的触发场景，将多种康复游戏融入其中，使得游戏更连贯，激发患者更强的兴趣；在行走过程中，肢体碰到虚拟物体或已抓住虚拟物体会产生相应的震动，形成强大的触物反馈，实现了触觉与视觉对患者大脑的双重刺激，更有助于神经重塑；使得患者可以进入脑机接口选择阶段，将游戏与脑机接口技术巧妙结合，患侧执行的每一个动作都由BCI按键按下后进入BCI阶段主动判读，实现患者的主动训练；BCI阶段的引导，语音及提示及+字能够调控患者的状态，使得大脑更加符合脑机接口训练康复的要求；多宫格的动画会根据患者所处的游戏动画环境及手部状态推测出患者可能执行的动作，使得选择更加简单。
综上所述，本发明巧妙的将脑机接口技术与游戏巧妙结合，搭建了一种新型框架，避免了BCI意图识别少的缺点，基于本研究的框架模式可以嵌入多种康复游戏，使得患者的康复训练形成了沉浸式游戏场景整体。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明康复训练系统图；
图2为本发明控制摇杆及BCI判断按键装置图；
图3为本发明患手触物感振子示意图；
图4为本发明流程图；
图5为本发明多宫格意图选择图。
其中：1.患者；2.脑电电极；3.机械外骨骼；4.显示屏；5.计算机；6.主画面；7.副画面；8.眼动仪；9.控制摇杆及BCI判断按键装置；10.触物感振子模块；11.控制摇杆；12.BCI判断按键；13.指尖振子；14.指背振子；15.手背振子。
具体实施方式
请参阅图1，本发明提供了一种基于眼动及脑电信息的大型游戏场景康复系统，包括脑电电极2，机械外骨骼3，高分辨率显示屏4，计算机5，眼动仪8，控制摇杆及BCI判断按键装置9和触物感振子模块10，脑电电极2、机械外骨骼3、高分辨率显示屏4、眼动仪8和控制摇杆及BCI判断按键装置9均与计算机5连接。
患者1坐在舒适的椅子上，患侧穿戴机械外骨骼3，指尖处有指尖振子13、指背处有指背振子14、手背处有手背振子15，头部布置脑电电极2，健侧放置有控制摇杆及BCI判断按键装置9，患者前方有高分辨率显示屏4，屏中分为主画面6和副画面7，主画面6和副画面7根据系统流程由游戏场景画面和BCI画面交替呈现，高分辨率显示屏4处放置有眼动仪8。
患者1通过健侧控制摇杆及BCI判断按键装置9，可以实现大型场景游戏中任务的走动，当走动到想要执行的物体处，患者1可按动BCI判断按键12，进行脑机接口阶段的意图识别判断阶段，眼动仪9和脑电电极2会采集到患者视线及脑电的信息，之后传给计算机，计算机通过融合算法，识别出患者想要执行性的动作及意图的强度，并进行分类，根据判别的结果给于机械外骨骼、震动触觉物感反馈、游戏反馈。
高分辨率显示屏分为主画面6和副画面7，主画面6和副画面7由游戏场景画面和BCI画面依据患者所在阶段动态切换；
康复大型游戏的完成需要健侧和患侧配合完成；
副画面7所在位置为显示屏上患侧手所在位置对应的屏幕下方，如左侧为患侧手，副画面则在显示屏左下方。
请参阅图2，包括控制摇杆11，BCI判断按键12，其中控制摇杆11控制行走，BCI判断按键12是BCI阶段开始的开关按钮。
请参阅图3，指尖振子13分布在患手的指尖，振子单一控制，指背振子14分布于患手指背，每根手指单独控制，手背振子15分布在患手的手背，振子多个统一控制。
患侧手指碰触到物体后所对应手指会产生相应位置的震动触觉反馈，除患侧手部外，其他肢体碰触到物体后，手背会产生震动的碰触反馈。
本发明将眼动与脑电结合增加了意图识别数目；将大型游戏场景融入康复训练之中增加了游戏的沉浸感；实现了健侧与患侧的协同控制，有助于中风患者双手的协调性锻炼；执行观察模仿阶段具有触物感及视觉冲击，增加了运动观察模仿的效果；反馈阶段具有触觉、视觉、动觉等多模式反馈增加了脑机接口在神经重塑中纠错的反馈强度；本研究巧妙的将脑机接口技术与游戏巧妙结合，搭建了一种新型框架，避免了BCI意图识别少的缺点，基于本研究的框架模式可以嵌入多种康复游戏，使得患者的康复训练形成了沉浸式游戏场景整体；此外，本研究的大型游戏整体框架可以在场景中嵌入多个小游戏，患者可以在大场景模式下通过健侧走到小游戏触发场景中，完成小游戏的步入，同样，也可以通过健侧摇杆行走按键完成小游戏的退出，重新回到大游戏场景，重新寻找下一个触发小游戏区域，完成了康复小游戏的集成。
请参阅图4，本发明一种基于眼动及脑电信息的大型游戏场景康复系统及方法，包括三个阶段：漫游行走、意图物体、BCI阶段，分为游戏场景画面、BCI画面、声音，反馈及患者进行描述，游戏场景画面及BCI画面中，1表示此时该画面为主画面，2表示此时该画面为副画面。
具体流程如下：
S1.患者睁开眼睛，观看游戏场景画面，同时可由健侧手控制摇杆实现第一视角的走动，当找到想要操作的物体后，可以按下BCI判断按键，进入患侧BCI阶段判断；
利用患者的健侧使患者沉浸到大型游戏场景康复中去，让患者感受到自己漫步在城市、街道或大自然之中，可以缓解患者患病后长期在病房的不适，另外，健侧患侧的协同控制有助于患者健侧与患侧协调性的锻炼；；
进一步，可以在场景中设定下各种游戏的触发场景，将多种康复游戏融入其中，例如：患者走入篮球场，则进入抓起篮球并扔入框中的小游戏，患者进入农场，则进入拔萝卜装进框子的小游戏；另外，小游戏的退出也可以患者健侧控制摇杆走出游戏触发场景设计。基于以上方法可以将多种现有康复小游戏融入其中，使得游戏更连贯，激发患者更强的兴趣；
进一步，在行走过程中，肢体碰到虚拟物体或已抓住虚拟物体会产生相应的震动，形成强大的触物反馈，实现了触觉与视觉对患者大脑的双重刺激，更有助于神经重塑；
进一步，BCI判断按键的设计使得患者可以进入脑机接口选择阶段，将游戏与脑机接口技术巧妙结合，患侧执行的每一个动作都由BCI按键按下后进入BCI阶段主动判读，实现患者的主动训练。
S2.此时BCI画面会转化为主画面，主画面中出现“+”字，患者集中注意力，然后出现提醒患者观察并模仿的文字及语音提醒，在执行观察并模仿时显示屏根据游戏场景中手的状态显示推测的患者想执行动作的动画多宫格；
BCI画面是游戏场景画面的患侧手部放大画面；BCI观察模仿动作由游戏场景图画面同步，动作所操作的物体及所呈现的角度均由游戏场景决定。
BCI阶段的引导，语音及提示及+字能够调控患者的状态，使得大脑更加符合脑机接口训练康复的要求。
S3.主画面中会出现各种动作的手势动画，当患者视线移动到想要执行动作动画的时候，眼动仪会快速识别患者所观看的动作并放大且根据要执行的动作指尖振子和指背振子会产生震动触感，患者需要观察并模仿想要做的意图动画；
脑机接口技术与眼动仪的结合，实现了患者主动意图的诱发与识别；多宫格的手势动画呈现使得患者可以由实现直接确定想要执行的动作，实现意图选择；
进一步，多宫格的动画会根据患者所处的游戏动画环境及手部状态推测出患者可能执行的动作，使得选择更加简单；
进一步，视线选取画面放大后，振子产生于BCI画面及游戏场景画面同步的触物感，患者更加容易模仿想要执行的动作，激发患者视觉皮层、感觉运动皮层等相关区域，产生更强的皮层激活，更加有助于脑机接口技术的识别；
此外，多宫格及方法可由眼动仪快速识别完成，使得患者选择为无意识的有主动执行想要执行的动作的感觉，达到了多意图主动执行的目的。
S4.计算机会根据采集到的脑电信息判断患者执行观察并模仿期间的意图强度及意图分类；
脑机接口技术的识别，基于非侵入的脑机接口意图识别少，中风患者脑部患病，脑电信号异常，使得可用于识别的意图更加少，本方法使用中风患者能够使用的运动想象完成的事件相关去同步/同步(ERD/ERS)信号，完成了结合眼动仪实现了多意图的主动识别，其中脑机接口技术能够确保患者大脑执行了运动模仿且大脑运动感觉皮层已激活，可以促进神经重塑，达到康复的目的。
S5.主画面切换为游戏场景画面，若意图分类为患者想要执行意图，游戏场景中肢体会执行上一步患者选择的动作且机械外骨骼也会带动患手同步此动作，并在碰触到物体后产生持续性的震动触物反馈，副窗口BCI画面会出现以意图强弱为基础的分数反馈，若意图分类为患者观察想象强度低且分类错误，则主画面中不会产生任何运动且无震动，但副窗口仍有以意图强弱为基础的分数反馈；
脑机接口意图确定后的反馈部分，包含了视觉反馈、触觉反馈及分数反馈，由于先前患者有对意图动作的物体的选择，这一步反馈确定是否完成，如未完成，患者可以自己选择继续执行(按下BCI判断按键)或再找其他物体。多重反馈的加入极大程度加强了运动反馈回路，同时增加了游戏沉浸感。
S6.无论意图分类如何接下来语音会提示闭眼放松，进入闭眼放松环节，显示屏为黑屏，直到大脑状态回复到放松状态，语音提示睁开眼睛，之后执行上述步骤。
为患者大脑状态调控阶段，使得大脑由运动激活状态转变为放松状态，此状态的调控有助于大脑的神经重塑。
游戏场景画面的行走过程中，患侧手指碰触到物体后所对应手指会产生相应位置的震动触觉反馈，除患侧手部外的其他肢体碰触到物体后，手背会产生震动的碰触反馈；抓取物体后患手一直有震动触物感；在执行观察模仿时，具有对应动作的患手触物感震动。
本发明大型游戏整体框架可以在场景中嵌入多个小游戏，患者可以在大场景模式下通过健侧走到小游戏触发场景中，完成小游戏的步入，同样，也可以通过健侧摇杆行走按键完成小游戏的退出，重新回到大游戏场景，重新寻找下一个触发小游戏区域。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
患者坐在舒适的椅子上，患侧穿戴机械外骨骼，其中指尖处有指尖振子、指背处有指背振子、手背处有手背振子，头部布置脑电电极，健侧放置有控制摇杆及BCI判断按键，患者前方有高分辨率的显示屏，屏中分为主画面和副画面，主画面和副画面根据系统流程由游戏场景画面和BCI画面交替呈现。
游戏场景画面在行走过程中，患侧手指碰触到物体后所对应手指会产生相应位置的震动触觉反馈，除患侧手部外，其他肢体碰触到物体后，手背会产生震动的碰触反馈。
游戏场景中找到对应物体后可以按下BCI选择按键，进入患侧BCI阶段的判断。
BCI画面在BCI阶段会转化为主屏幕，在执行观察并模仿的时候会出现根据游戏场景中手的状态推测的患者可能想执行的动作的动画多宫格，患者可以在无意间由视线进行选择。
基于多宫格的眼动仪动作识别与脑电信号的脑机接口系统的融合判断，完成了多意图的识别。
在BCI控制后，闭眼放松以实现患者状态调控的过程；抓取物体后患手一直有震动触物感；在执行观察模仿时，具有对应动作的患手触物感震动；康复大型游戏的完成需要健侧和患侧配合完成；游戏场景画面和BCI画面始终保持场景的同步，其中BCI画面是游戏场景画面的患侧手部放大画面；BCI观察模仿动作由游戏场景图画面同步，动作所操作的物体及所呈现的角度均有游戏场景决定。副画面所在位置为显示屏上患侧手所在位置对应的屏幕下方，如左侧为患侧手，副画面则在显示屏左下方。
请参阅图5，BCI画面在BCI阶段会转化为主屏幕，在执行观察并模仿的时候会出现根据游戏场景中手的状态推测的患者可能想执行的动作的动画多宫格，患者可以在无意间由视线进行选择。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (8)

1.一种基于眼动及脑电信息的大型游戏场景康复系统，其特征在于，包括脑电电极(2)、机械外骨骼(3)、显示屏(4)、眼动仪(8)和控制摇杆及BCI判断按键装置(9)，脑电电极(2)设置在患者(1)的头顶，机械外骨骼(3)设置在患者(1)的患侧，机械外骨骼(3)上设置有触物感振子模块(10)，控制摇杆及BCI判断按键装置(9)设置在患者(1)的健侧，显示屏(4)设置在患者(1)的前方，与计算机(5)连接，显示屏(4)分为主画面(6)和副画面(7)，主画面(6)和副画面(7)根据系统流程由游戏场景画面和BCI画面交替呈现，副画面(7)所在位置为显示屏(4)上患侧手所在位置对应的屏幕下方，眼动仪(8)设置在显示屏(4)上，通过健侧和患侧配合完成康复大型游戏。
2.根据权利要求1所述的一种基于眼动及脑电信息的大型游戏场景康复系统，其特征在于，触物感振子模块(10)包括指尖振子(13)、指背振子(14)和手背振子(15)，指尖振子(13)分布在患手的指尖，指背振子(14)分布于患手指背，手背振子(15)分布在患手的手背。
3.根据权利要求2所述的一种基于眼动及脑电信息的大型游戏场景康复系统，其特征在于，指尖振子(13)的振子采用单一控制，指背振子(14)的每根手指采用单独控制，手背振子(15)的振子采用统一控制。
4.根据权利要求1所述的一种基于眼动及脑电信息的大型游戏场景康复系统，其特征在于，控制摇杆及BCI判断按键装置(9)包括控制摇杆(11)和BCI判断按键(12)，控制摇杆(11)用于控制行走，BCI判断按键(12)是BCI阶段开始的开关按钮。
5.根据权利要求1所述的一种基于眼动及脑电信息的大型游戏场景康复系统，其特征在于，眼动仪(9)和脑电电极(2)采集到患者(1)的视线及脑电的信息，之后传给计算机(5)，计算机(55)识别出患者(1)想要执行性的动作及意图的强度，并进行分类，根据判别的结果给于机械外骨骼(3)、震动触觉物感反馈、游戏反馈。
6.一种根据权利要求1至5中任一项所述基于眼动及脑电信息的大型游戏场景康复系统的操作方法，其特征在于，包括以下步骤：
S1、患者睁开眼睛，观看游戏场景画面，同时健侧手控制控制摇杆及BCI判断按键装置实现第一视角的走动，当找到想要操作的物体后，按下控制摇杆及BCI判断按键装置，进入患侧BCI阶段判断；
S2、BCI画面转化为主画面，主画面中出现+字，然后显示屏出现提醒患者观察并模仿的文字及语音提醒，在执行观察并模仿时显示屏根据游戏场景中手的状态显示推测的患者想执行动作的动画多宫格，患者通过视线进行选择，游戏场景画面和BCI画面始终保持场景的同步；
S3、主画面中出现动作的手势动画，当患者视线移动到想要执行动作动画的时候，眼动仪识别患者所观看的动作并放大，根据要执行的动作指尖和指背处的触物感振子模块产生震动触感，患者进行观察并模仿意图动画；
S4、计算机根据采集到的脑电信息判断患者执行观察并模仿期间的意图强度及意图分类；
S5、主画面切换为游戏场景画面，若意图分类为患者想要执行意图，游戏场景中肢体会执行上一步患者选择的动作，机械外骨骼带动患手同步此动作，并在碰触到物体后产生持续性的震动触物反馈，副窗口BCI画面出现以意图强弱为基础的分数反馈；
S6、语音提示闭眼放松，进入闭眼放松环节，显示屏为黑屏，直到大脑状态回复到放松状态，语音提示睁开眼睛，重复执行以上步骤。
7.根据权利要求6所述的一种基于眼动及脑电信息的大型游戏场景康复系统的操作方法，其特征在于，步骤S5中，若意图分类为患者观察想象强度低且分类错误，则主画面中不会产生任何运动且无震动，但副窗口仍有以意图强弱为基础的分数反馈。
8.根据权利要求6所述的一种基于眼动及脑电信息的大型游戏场景康复系统的操作方法，其特征在于，游戏场景画面的行走过程中，患侧手指碰触到物体后所对应手指会产生相应位置的震动触觉反馈，除患侧手部外的其他肢体碰触到物体后，手背会产生震动的碰触反馈；抓取物体后患手一直有震动触物感；在执行观察模仿时，具有对应动作的患手触物感震动。
CN201810925012.3A 2018-08-14 2018-08-14 一种基于眼动及脑电信息的大型游戏场景康复系统及方法 Active CN109166612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810925012.3A CN109166612B (zh) 2018-08-14 2018-08-14 一种基于眼动及脑电信息的大型游戏场景康复系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810925012.3A CN109166612B (zh) 2018-08-14 2018-08-14 一种基于眼动及脑电信息的大型游戏场景康复系统及方法

Publications (2)

Publication Number Publication Date
CN109166612A CN109166612A (zh) 2019-01-08
CN109166612B true CN109166612B (zh) 2020-11-06

Family

ID=64895698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810925012.3A Active CN109166612B (zh) 2018-08-14 2018-08-14 一种基于眼动及脑电信息的大型游戏场景康复系统及方法

Country Status (1)

Country Link
CN (1) CN109166612B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109920517A (zh) * 2019-03-27 2019-06-21 桂林市优帮妥医疗科技有限公司 一种游戏化康复系统及其工作方法
CN111161834B (zh) * 2019-12-27 2023-07-18 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 一种帕金森病的脑控步态训练系统和方法
CN111991806A (zh) * 2020-08-28 2020-11-27 北京捷通华声科技股份有限公司 游戏操控方法及装置
CN112998725A (zh) * 2021-02-10 2021-06-22 天津理工大学 一种基于运动观察的脑机接口技术的康复方法与系统
CN113274032A (zh) * 2021-04-29 2021-08-20 上海大学 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法
CN114237387A (zh) * 2021-12-01 2022-03-25 辽宁科技大学 一种脑机接口多模式康复训练系统
CN116898161A (zh) * 2023-06-16 2023-10-20 青岛登云智上科技有限公司 智能穿戴服装系统及其应用方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202533867U (zh) * 2012-04-17 2012-11-14 北京七鑫易维信息技术有限公司 一种头戴式眼控显示终端
WO2013061185A1 (en) * 2011-10-25 2013-05-02 Koninklijke Philips Electronics N.V. Sleep stage classification device with background oscillation emitter.
CN103300850A (zh) * 2013-04-19 2013-09-18 杭州电子科技大学 一种中风病人脑电信号采集与处理的方法
CN107358026A (zh) * 2017-06-14 2017-11-17 中国人民解放军信息工程大学 一种基于脑机接口和物联网的残疾人智能陪护系统
CN108938397A (zh) * 2017-05-27 2018-12-07 京东方光科技有限公司 按摩手套及疲劳驾驶按摩系统
CN110442232A (zh) * 2019-06-18 2019-11-12 中国人民解放军军事科学院国防科技创新研究院 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150190249A1 (en) * 2012-06-27 2015-07-09 Hitachi, Ltd. Wearable Power Assist System

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013061185A1 (en) * 2011-10-25 2013-05-02 Koninklijke Philips Electronics N.V. Sleep stage classification device with background oscillation emitter.
CN202533867U (zh) * 2012-04-17 2012-11-14 北京七鑫易维信息技术有限公司 一种头戴式眼控显示终端
CN103300850A (zh) * 2013-04-19 2013-09-18 杭州电子科技大学 一种中风病人脑电信号采集与处理的方法
CN108938397A (zh) * 2017-05-27 2018-12-07 京东方光科技有限公司 按摩手套及疲劳驾驶按摩系统
CN107358026A (zh) * 2017-06-14 2017-11-17 中国人民解放军信息工程大学 一种基于脑机接口和物联网的残疾人智能陪护系统
CN110442232A (zh) * 2019-06-18 2019-11-12 中国人民解放军军事科学院国防科技创新研究院 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
可穿戴技术在康复医学领域中的研究进展;张文豪;《中国康复理论与实践》;20170731;第792-795页 *
康复机器人的人机交互控制方法;梁旭;《中国科学:信息科学》;20180131;第24-46页 *

Also Published As

Publication number Publication date
CN109166612A (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
CN109166612B (zh) 一种基于眼动及脑电信息的大型游戏场景康复系统及方法
Nijholt et al. Turning shortcomings into challenges: Brain–computer interfaces for games
Scherer et al. Toward self-paced brain–computer communication: navigation through virtual worlds
Neuper et al. Motor imagery and EEG-based control of spelling devices and neuroprostheses
US9390630B2 (en) Accelerated learning, entertainment and cognitive therapy using augmented reality comprising combined haptic, auditory, and visual stimulation
CN109875501B (zh) 生理参数测量和反馈系统
Gamberini et al. A game a day keeps the doctor away: A short review of computer games in mental healthcare
US20220065580A1 (en) Accelerated Learning, Entertainment and Cognitive Therapy Using Augmented Reality Comprising Combined Haptic, Auditory, and Visual Stimulation
US9724598B2 (en) Bimanual integrative virtual rehabilitation systems and methods
CN112244774A (zh) 脑机接口康复训练系统及方法
CN108140421A (zh) 运动训练
CN101301507A (zh) 可用于全脑开发的大脑潜能激活系统及其使用方法
CN110737331B (zh) 基于多任务脑机接口的个性化认知训练及康复方法、装置及设备
Kober et al. BCI and games: playful, experience-oriented learning by vivid feedback?
Zarrilli " Inner Movement" between Practices of Meditation, Martial Arts, and Acting: A Focused Examination of Affect, Feeling, Sensing, and Sensory Attunement
Perdikis et al. Brain racers
CN113593671A (zh) 基于Leap Motion手势识别的虚拟康复游戏的自调整方法及装置
CN113035000A (zh) 一种面向中枢整合康复治疗技术的虚拟现实训练系统
Yang et al. Tangible interactive upper limb training device
Becker et al. Physiologically interactive gaming with the 3D agent Max
CN108969864A (zh) 基于vr技术的抑郁症康复治疗装置及其使用方法
Scherer et al. Lets play tic-tac-toe: a brain-computer interface case study in cerebral palsy
Abd Latif et al. A gaming-based system for stroke patients physical rehabilitation
Ning et al. A Review on Serious Games for Exercise Rehabilitation
Tadayon A person-centric design framework for at-home motor learning in serious games

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190628

Address after: 518103 Fuhai Street Ocean Development Zone, Baoan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Medical Technology Co., Ltd.

Address before: 518001 International Trust Building No. 1012 Hongling Middle Road, Shenzhen City, Guangdong Province

Applicant before: Gong Yingqing

GR01 Patent grant
GR01 Patent grant