CN112114670A - 一种基于混合脑机接口的人机共驾系统及其控制方法 - Google Patents
一种基于混合脑机接口的人机共驾系统及其控制方法 Download PDFInfo
- Publication number
- CN112114670A CN112114670A CN202010947182.9A CN202010947182A CN112114670A CN 112114670 A CN112114670 A CN 112114670A CN 202010947182 A CN202010947182 A CN 202010947182A CN 112114670 A CN112114670 A CN 112114670A
- Authority
- CN
- China
- Prior art keywords
- control
- electroencephalogram
- computer
- mobile robot
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 210000004556 brain Anatomy 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000033001 locomotion Effects 0.000 claims description 49
- 230000000638 stimulation Effects 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 16
- 239000011521 glass Substances 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000010219 correlation analysis Methods 0.000 claims description 4
- 238000003909 pattern recognition Methods 0.000 claims description 4
- 230000000763 evoking effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims 2
- 230000003993 interaction Effects 0.000 abstract description 13
- 230000008878 coupling Effects 0.000 abstract description 9
- 238000010168 coupling process Methods 0.000 abstract description 9
- 238000005859 coupling reaction Methods 0.000 abstract description 9
- 230000009471 action Effects 0.000 abstract description 5
- 241000282414 Homo sapiens Species 0.000 abstract description 4
- 230000008447 perception Effects 0.000 abstract description 3
- 102000054999 human core Human genes 0.000 abstract 1
- 108700026469 human core Proteins 0.000 abstract 1
- 230000001133 acceleration Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开一种基于混合脑机接口的人机共驾系统及其控制方法，可实现机器人完全脑控和人机共驾两种模式控制，在机器人控制中突出人核心作用，充分利用人经验智慧和智能机器人精确感知实行决策，辅助用户进行安全控制，用户可接收反馈信息，且系统可不断学习用户操作模式，不断积累操作数据和VR场景进行训练时数据均可用于提升系统性能，使人机交互更安全高效，增强人机交互耦合，在人机共驾和智能机器人方面具有重要应用价值；相较于单一模态BCI系统，本混合BCI系统具有多种控制指令、更好操作性和鲁棒性，操作控制更多样，人机交互模式更符合实际应用，解决脑控机器人操作模式单一和控制命令过于简单问题。
Description
技术领域
本发明涉及智能机器人技术领域，尤其涉及的是一种基于混合脑机接口的人机共驾系统及其控制方法。
背景技术
脑机接口（Brain-Computer Interface，BCI）是一种多学科交叉融合的技术，其通过直接从大脑中提取特定的生物电信号，依据认知神经科学和模式识别等理论进行有效地解码，完成大脑与外部环境的直接通讯，从而实现操纵计算机、机器人等外部设备，并且可把外界信息通过刺激反馈给大脑。近年来，脑科学与类脑智能技术逐渐引起人们的注意，成为人工智能发展的研究热点，美国、德国、英国等发达国家陆续推进脑科学计划，抢占未来技术制高点。
BCI技术可充分利用用户长期以来积累的经验、知识以及人类独特的直觉、灵感等能力做出决策判断，并通过用户的脑电信号快速便捷地控制机器人。作为一种不依靠四肢的特殊人机交互方式，能为运动功能受限或者完全丧失活动能力的患者开辟出一种直接通过大脑意念控制机器人的交互通道，解决残疾人日常出行困难问题。BCI技术势必会给国家军事、医疗设备，健康娱乐等领域的发展带来重要影响。
基于单一模态的BCI系统输出的命令数量较少，控制功能受限，多分类任务的识别准确率较低且用户操作容错性较差，人机交互耦合度不高，完全人工脑控的控制方式存在安全隐患，易发生控制失误带来严重后果，操作功能和安全性无法达到机器人的实际控制要求。申请号为201710542674.8的专利公开了利用左右手的运动想象（Motor Imagery，MI）信号实现了智能康复机器人进行上肢康复训练，这种基于MI的单一模态BCI系统因其信号的产生原理，可分类的控制命令数量少且识别准确率较低。申请号201410103602.X的专利公开了一种利用稳态视觉诱发电位（Steady State Visual Evoked Potential，SSVEP）信号实现来了机器人的前进、后退、左转、右转的4种控制命令，该BCI系统不足之处在于完全依赖用户集中注视特定频率闪烁的视觉刺激目标达到控制目的，用户易产生视觉疲劳，而且系统没有启停、各级加速、各级减速、后退以及不同幅度的转向功能，没有人机共驾模式，无法对用户的操作进行安全评估和优化，易出现操作失误。在传统基于BCI的移动机器人控制系统中，用户一次控制意图只能输出一个固定对应的速度或者方向转角的改变量，如出现操作失误，只有通过BCI系统进行下一次的控制调整，不能及时更正，这极易造成危险。
因此，现有的技术还有待于改进和发展。
发明内容
本发明的目的在于提供一种基于混合脑机接口的人机共驾系统及其控制方法，通过融合多种信号且具有人机共驾模式的混合BCI系统，达到优势互补、取长补短的目的，使其系统更加安全可靠，从而完成对机器人更加复杂的运动控制。
本发明的技术方案如下：一种基于混合脑机接口的人机共驾系统，其中，包括：
模态显示模块，用于系统MI和SSVEP两种模态提示刺激的显示、控制指令的显示、机器人运动信息和环境信息的显示；
脑电采集模块，用于采集MI脑电信号和SSVEP脑电信号；
脑电处理模块，接收脑电采集模块输送过来的脑电信号数据，对脑电信号数据进行解码，对MI和SSVEP脑电信号数据的预处理、特征提取和模式分类，并将用户的控制意图转换成移动机器人可识别的控制信号传输给移动机器人；将模式分类识别之后的控制命令结果输出至模态显示模块；
无线通讯模块，实现与移动机器人的无线通讯；
MPC控制器，根据获取移动机器人离左右车道的距离、各方向障碍物距离、运动速度和方向转角对用户操作进行安全评估，根据评估结果调节移动机器人的控制指令参数，使移动机器人的控制处于安全条件内，实现人机共驾。
所述的基于混合脑机接口的人机共驾系统，其中，还包括自适应学习模块，用于储存数据并根据用户每一次的操作数据和脑电信号数据不断优化分类器的参数。
所述的基于混合脑机接口的人机共驾系统，其中，还包括反馈模块，用于将移动机器人的位置、运动状态和外界环境信息发送至模态显示模块；并且当移动机器人前方遇到障碍或者当移动机器人完成预设任务时，发送反馈信号。
所述的基于混合脑机接口的人机共驾系统，其中，所述模态显示模块包括多屏幕计算机和VR眼镜：处于MI模态时多屏幕计算机的显示器或VR眼镜中呈现想象左手、右手、舌头或者双脚运动的4种功能提示，处于SSVEP模态时多屏幕计算机的显示器或VR眼镜中呈现16种不同频率闪烁的视觉刺激块。
一种如上述任一所述的基于混合脑机接口的人机共驾系统的控制方法，其中，具体包括以下步骤：
通过模态显示模块发出提示与视觉刺激诱导产生MI运动想象和SSVEP稳态视觉诱发电位的脑电信号；
通过脑电采集模块采集脑电信号；
通过脑电处理模块处理分析脑电信号，得到控制信号；
通过无线通讯模块输出控制信号至移动机器人；
当移动机器人在MI模态控制下可选择启动MPC控制器实现人机共驾模式，MPC控制器根据获取的移动机器人离左右车道的距离、各方向障碍物距离、运动速度和方向转角对用户操作进行安全评估，根据评估结果调节移动机器人的控制指令参数，使移动机器人的控制处于安全条件内。
所述的基于混合脑机接口的人机共驾系统的控制方法，其中，当移动机器人在MI模态控制下可选择切换完全脑控和人机共驾模式，也可选择启动训练模式，通过VR眼镜实现虚拟机器人进行MI和SSVEP模态下的自由训练和实验训练；在SSVEP模态下，可实现移动机器人的16种运动功能指令；自适应学习模块不断储存并学习用户的操作数据和脑电数据，调节分类器模型。
所述的基于混合脑机接口的人机共驾系统的控制方法，其中，所述通过脑电处理模块处理分析脑电信号，在MI模态信号处理时，脑电处理模块运用小波分解重构法对MI信号进行滤波去噪，再运用经优化后的CSP算法对脑电信号进行特征提取。
所述的基于混合脑机接口的人机共驾系统的控制方法，其中，所述通过脑电处理模块处理分析脑电信号，在SSVEP模态信号处理时，脑电处理模块对SSVEP信号进行小波阈值去噪，再通过多重集典型相关分析进行脑电信号的模式识别分类。
所述的基于混合脑机接口的人机共驾系统的控制方法，其中，自适应学习模块储存数据并根据用户每一次的操作数据和脑电信号数据不断优化分类器的参数。
所述的基于混合脑机接口的人机共驾系统的控制方法，其中，反馈模块将移动机器人的位置、运动状态和外界环境信息发送至模态显示模块；并且当移动机器人前方遇到障碍或者当移动机器人完成预设任务时，发送反馈信号。
本发明的有益效果：本发明通过提供一种基于混合脑机接口的人机共驾系统及其控制方法，可实现对移动机器人完全脑控和人机共驾两种模式控制，在机器人控制中突出人的核心作用，充分利用人的经验智慧和智能机器人精确感知实行决策，实时辅助用户进行安全控制，用户可实时接收反馈信息，同时机器人系统可不断学习用户操作模式，不断积累储存操作数据和VR场景进行训练所产生的数据均可用于提升系统性能，从而使人机交互更加安全高效，增强人机交互耦合，在人机共驾和智能机器人方面具有重要应用价值；本系统运用分类组合算法使系统具有更好分类效果；相较于单一模态的BCI系统，本混合BCI系统具有多种控制指令，具有更好操作性和鲁棒性，操作控制更多样，人机交互模式更符合实际应用要求，解决脑控机器人操作模式单一和控制命令过于简单问题。
附图说明
图1是本发明中基于混合脑机接口的人机共驾系统的示意图。
图2是本发明中MI模态下提示界面示意图。
图3是本发明中SSVEP模态下16种控制指令界面示意图。
图4是本发明中基于混合脑机接口的人机共驾系统的控制方法的步骤流程图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如图1所示，一种基于混合脑机接口的人机共驾系统，包括：
模态显示模块1，用于系统MI和SSVEP两种模态提示刺激的显示、控制指令的显示、机器人运动信息和环境信息的显示；包括多屏幕计算机和VR眼镜，其中多屏幕计算机的显示器为刷新频率为240 Hz的液晶显示器：处于MI模态时多屏幕计算机的显示器或VR眼镜中呈现想象左手、右手、舌头或者双脚运动的“←”、“→”、“↑”或者“↓”功能提示，处于SSVEP模态时显示器或VR眼镜中呈现16种不同频率闪烁的视觉刺激块，便于用户产生相应的脑电信号。
脑电采集模块2，用于采集用户在想象左手、右手、双脚或者舌头运动时的MI脑电信号和注视16个视觉刺激块时的SSVEP脑电信号，并将脑电信号数据输入到脑电处理模块3；包括电极帽、滤波器、D/A转换器、放大器、微处理器和通讯装置；其中电极帽符合10-20国际标准导联系统的要求，用于对脑电信号的采集；滤波器、D/A转换器、放大器用于对脑电信号进行相应处理，微处理器用于控制脑电采集模块2的正常运行，通讯装置用于连接脑电采集模块2和脑电处理模块3的通讯；放大器有32、64和128导联可供选择。
脑电处理模块3，为上位机部分，用于脑电信号数据的解码，包括MI和SSVEP脑电信号数据的预处理、特征提取和模式分类，并将用户的控制意图转换成机器可识别的控制信号传输给机器人，分类识别之后的控制命令结果显示到模态显示模块1，便于用户判断识别即将产生的控制意图。
无线通讯模块4，实现两种主要的通信功能，其一是上位机（即脑电处理模块3）发送控制命令传输到机器人控制模块，通信时可根据不同的使用环境和条件采用Wi-Fi、蓝牙或者5G中的一种或者多种组合的通讯方式；另一个功能是将移动机器人通过传感器等检测所得的相关状态信息传送给模态显示模块1进行显示。
机器人控制模块将脑电处理模块3输出的一系列定性的控制命令符进行量化处理，将其转换成移动机器人实际运动的方向转角和速度，根据每种命令符代表的控制功能可输出相对应的方向转角和速度的变化量。
移动机器人上搭载运动监测单元，运动监测单元包括状态检测传感器、摄像头、毫米波雷达和北斗卫星信号接收装置等，可实时监测分析移动机器人的位置、运动状态和外界环境信息。
自适应学习模块，用于储存数据并根据用户每一次的操作数据和脑电数据不断优化分类器的参数，改进信号处理分析性能和机器人控制效果。
MPC控制器6，MPC控制器6通过运动监测单元分析得到移动机器人离左右车道的距离、各方向（前方、左侧、右侧、左前方、右前方、左后方和右后方）障碍物距离、运动速度和方向转角，完成用户操作的安全评估，帮助用户调节控制指令参数（包括速度和方向转角），使机器人的控制处于安全条件内，实现人机共驾。
反馈模块7，用于将移动机器人的位置、运动状态和外界环境信息发送至模态显示模块1，并且当移动机器人前方遇到障碍或者当移动机器人完成预设任务时，可发送反馈信号，给予用户相关的声音和光刺激反馈。
如图4所示，一种基于混合脑机接口的人机共驾系统的控制方法，具体包括以下步骤：
S1：通过脑电采集模块2采集脑电信号。
用户穿戴电极帽，将湿电极置于用户大脑头皮处，并涂抹适量导电膏降低电极阻抗，根据MI和SSVEP信号的产生机理，电极放置规则符合10-20国际标准导联系统要求，选择位于脑部的感觉运动区和枕叶区的电极采集脑电信号，脑电采集模块2为64导联，MI信号采集电极为FC3、FCz、FC4、C3、Cz、C4，SSVEP信号采集电极为O1、O2、Oz、PO4、PO3和POz，双侧乳突为参考电极，GND电极接地，同时保证脑电采集设备各部分导通良好。
系统开机时，模态显示模块1呈现MI提示界面，如图2所示。
在MI模态下，模态显示模块1呈现“←”、“→”、“↑”或者“↓”的提示界面，其中，“←”表示想象左手运动，“→”表示“想象右手运动”，“↑”表示“想象舌头运动”、“↓”表示“想象双脚运动”。用户通过想象运动产生MI脑电信号，想象左手、右手、双脚和舌头运动分别对应控制意图为：“启动机器人”、“切换SSVEP模态”、“启动人机共驾模式”和“启动训练模式”，首次使用系统进入MI模态时需进行想象运动的训练，以便采集出高质量的脑电信号和训练出高准确率的分类器。
在SSVEP模态下，模态显示模块1呈现16个特定频率闪烁方块的视觉刺激界面，用户通过眼睛集中视觉刺激块产生SSVEP脑电信号。刺激闪烁周期为屏幕刷新周期的整数倍时采集脑电信号质量更好，除此之外，刺激频率之间不能存在倍数关系，因此，在刷新频率为240 Hz的液晶显示屏中16个视觉刺激块的闪烁频率分别为6.32 Hz、6.67 Hz、7.06 Hz、7.27Hz、7.74Hz、8.28Hz、8.57 Hz、8.89Hz、9.23 Hz、9.6Hz、10 Hz、10.43Hz、10.91 Hz、11.43Hz、12 Hz和15 Hz，分别对应控制意图为“前进”、“停驻”、“紧急停止”、“后退”、“1级加速”、“2级加速”、“3级加速”、“1级减速”、“2级减速”、“3级减速”、“大幅度右转”、“小幅度左转”、“大幅度左转”、“小幅度右转”、“关机”和“切换MI模态”，如图3所示。
脑电采集模块2将收集的原始脑电信号进行放大、滤波和模数转换处理并通过串口通讯传输至脑电处理模块3，数据传输更新方式为第一次调用一个单位时窗长度的数据输出，之后数据不断迭代原有数据，设置滑动窗口长度为4s，步长为2s。
S2：处理分析脑电信号，得到控制信号。
1）MI模态信号处理
脑电处理模块3运用小波分解重构法对MI信号进行滤波去噪，利用小波变换(WaveletTransform，WT)的多分辨率特性去除各项信号噪声，提高信噪比。比较各类小波基函数与EEG信号波形相似程度，选用Daubechies小波（多贝西小波）系中的db4小波，原始EEG（脑电）数据的采样率为256 Hz，根据Nyquist（奈奎斯特频率）采样定理可知，其有效频率为128Hz，经6层分解后，利用小波分解的D3、D4、D5分量系数完成重构，滤掉与信号特征不相关的高频和低频部分，从而得到数据矩阵S。
运用改进的“一对多”共空间模式（Common Spatial Pattern，CSP）算法对信号进行特征提取，对每个种类（左手、右手、舌头或者双脚）脑电数据求取平均协方差矩阵C i （i=1，2，3，4），求和得到四类平均协方差之和
，对
进行特征值分解之后，可得到白化矩阵P，每次识别将一类平均协方差矩阵视为单独类别，其余三类平均协方差矩阵视为另一种类，这样可得到两类协方差矩阵的变换形式：
运用S 1 、S 2 共同特征向量矩阵D的前m个最大特征值组成D 1 和其余特征向量值组成D 2 ，之后构建空间滤波器
，将经过小波变换的数据矩阵S进行CSP映射，得到投影之后的新信号
，计算投影信号Z i 的方差，之后取对数得到
：
改进CSP算法将所得的值f 1 ，f 2 ，f 3 ，f 4 之间的平方差作为多种类运动想象任务的特征值
：
最后，将提取的特征矩阵输入至训练好的BP神经网络（Back Propagation NeuralNetwork，BPNN）分类器模型，分类器识别分类控制意图之后将其转化成移动机器人可识别的控制信号，BP神经网络因其优良的多维函数映射能力，对非线性的EEG数据可实现快速分类，即使比较复杂的样本BP神经网络也可实现模式分类，因此对输入的EEG数据信噪比要求不高，识别准确率高。
2）SSVEP模态信号处理
脑电处理模块3对SSVEP信号进行小波阈值去噪，选用Daubechies小波系中的db4小波，分解层数为6，采用软阈值函数去除信号中无用频段的噪声干扰。
通过多重集典型相关分析（Multiset Canonical Correlation Analysis，MsetCCA）进行脑电信号的模式识别分类，与典型相关分析（Canonical CorrelationAnalysis，CCA）不同，MsetCCA利用经小波阈值去噪过的SSVEP信号构造出与m种刺激频率相应的参考信号
，与CCA的正余弦序列相比，采取MsetCCA构造的参考信号中含有真实SSVEP信号的重要成分，可全面地反映出信号特征，识别准确率更高且更为可靠。构造参考信号后计算出待测信号X与参考信号Y之间典型相关系数
：
式中，
、
,分别为
和
类内协方差；
，为X和Y类间协方差；x和y被投影在
和
上，
为典型相关系数。
运算可得到m个典型相关系数
，则所识别的目标刺激频率
：
识别出目标刺激频率类别后将其转化成机器人可识别的控制信号。
在SSVEP控制模态下，用户可能处于空闲状态，此时可能造成错误指令输出，因此通过阈值法判断用户是否处于空闲状态，当所计算出的最大典型相关系数
大于阈值
，系统判定为非空闲状态，输出指令，若最大典型相关系数
小于阈值
，则判定为用户处于空闲状态，不输出控制指令。分类识别之后的控制命令结果反馈到模态显示模块1，以便用户进行下一步决策判断。
S3：将控制信号通过无线传输至移动机器人。
根据不同使用环境和条件，将控制信号通过Wi-Fi、蓝牙或者5G中一种或多种组合的无线通讯方式传输至移动机器人的机器人控制模块。
S4：实时控制机器人。
机器人控制模块接收控制信号之后，完成与用户意图相应的控制指令。MI模态下可实现“启动机器人”、“切换SSVEP模态”、“启动人机共驾模式”和“启动训练模式”四种系统功能；
MI模态控制指令说明：
1）启动机器人：激活机器人系统，进入SSVEP控制模态，自动检查整个控制系统状态是否良好。
2）切换SSVEP模态：从MI模态切换到SSVEP模态，界面立即显示视觉刺激界面。
3）启动人机共驾模式：启用MPC控制器6，MPC控制器6将实时控制参数（速度和方向转角）进行安全评估判断，当判断出用户控制命令使机器人处于危险状况时，控制器进行控制参数调节，使机器人运动处于安全范围。
4）启动训练模式：用户戴上VR眼镜，进入虚拟环境，用户通过控制VR世界中的虚拟机器人进行MI和SSVEP模态下的自由训练和实验训练，系统不断储存并学习用户的操作数据和脑电数据，调节分类器模型，提升系统性能，增强人机耦合。自由训练时，用户可选择在VR中任意道路场景进行控制运动，实验训练如下：
MI模态的实验训练：单个训练试次（trial）开始时计算机会发出“开始”声作为提示，同时显示器出现“！”图案，提示被试准备。当到达第1秒结束时，显示器随机出现“←”、“→”、“↑”或者“↓”，分别对应想象“左手”、“右手”、“舌头”或者“双脚”运动，被试正式开始通过想象运动，一直持续4秒的时间，随后机器人在VR场景中实行相关系统指令，被试进入到休息阶段，持续4秒的时间，之后开始下一个试次。
SSVEP模态的实验训练：每个试次开始时，16个白色刺激块静止，其中目标刺激块带有红色方框提示，一直持续1秒；之后计算机发出“滴”的声音，提醒被试接下来进入刺激状态，16个刺激块按照设定的频率进行闪烁，此时被试需集中注意力注视之前带有红色方框的目标刺激块，持续4秒，随后机器人在VR场景中实行相关控制指令，目标刺激块随机出现，为了避免视觉疲劳，经视觉刺激后被试有6秒的充分时间休息，休息之后进入下一个试次。
SSVEP模态作为移动机器人的主要控制模式，用户每次通过注视16个视觉刺激块中的一个目标刺激块，分别实现机器人的“前进”、“停驻”、“紧急停止”、“后退”、“1级加速”、“2级加速”、“3级加速”、“1级减速”、“2级减速”、“3级减速”、“大幅度右转”、“小幅度左转”、“大幅度左转”、“小幅度右转”、“关机”和“切换MI模态”16种控制指令。
SSVEP模态控制指令说明：
1）前进：移动机器人以固定速度匀速前进。
2）停驻：移动机器人运动速度降为0，停止运动直至等待下次控制命令发出。紧急停止：紧急情况时，移动机器人立即停止所有运动并且关机，开启自锁，直至系统重新开机。
3）后退：机器人以固定速度开始匀速倒退行驶。
4）1、2、3级加速：移动机器人以逐级提升的加速度（1级＜2级＜3级）进行加速行驶。
5）1、2、3级减速：移动机器人以逐级提升的制动减速度（1级＜2级＜3级）进行减速行驶。
6）大、小幅度左转：移动机器人以不同大小的方向转角进行侧向左转。
7）大、小幅度右转：移动机器人以不同大小的方向转角进行侧向右转。
8）关机：移动机器人关闭整个控制系统。
9）切换MI模态：机器人停止运动，立即切换为MI模态，显示提示界面。
人机共驾模式下，MPC控制器6通过运动监测单元分析得到移动机器人离左右车道的距离、各方向（前方、左侧、右侧、左前方、右前方、左后方和右后方）障碍物距离、运动速度和方向转角，不断对用户操作进行评估，有权限采取辅助控制措施并对控制参数速度和方向转角进行修正，使移动机器人处于安全运动范围。
S5：储存并反馈机器人控制信息。
执行控制命令后，移动机器人的运动检测传感器和北斗卫星导航系统分析机器人的位置、运动状态和外界环境信息，将这些信息通过无线通讯模块4发送至模态显示模块1，用户可实时查看到这些信息。同时自适应学习模块储存并运用这些数据信息不断学习用户的操作经验，训练得到识别效果更好的分类器用于脑电信号识别，实现人机交互更好的耦合。
经运动监测单元分析遭遇特殊情况时，当移动机器人完成预设任务或通过运动监测单元的传感器识别到前方障碍时，移动机器人发送反馈信号，模态显示模块1给予用户相关的声音和光刺激反馈，帮助用户进行下一步决策。
本技术方案相对于现有技术，具有以下优点：
（1）可实现对移动机器人的完全脑控和人机共驾的两种模式控制，在机器人控制中突出人的核心作用，充分利用人的经验智慧和智能机器人的精确感知实行决策，实时辅助用户进行安全控制，用户可实时接收反馈信息，同时机器人系统可不断学习用户的操作模式，提升系统系能，从而使人机交互更加安全高效，在人机共驾和智能机器人方面具有重要应用价值，解决残疾人日常出行困难问题。
（2）相比较于单一模态的BCI系统，本技术方案的混合BCI系统具有多种控制指令，系统具有更好的操作性和鲁棒性，操作控制更多样，人机交互模式更符合实际应用要求，解决脑控机器人的操作模式单一和控制命令过于简单的问题，如表1所示。基于MI和SSVEP的混合BCI实现对机器人系统的20种控制功能，包括4种系统功能——“启动机器人”、“切换SSVEP模态”、“启动人机共驾模式”和“启动训练模式”和16种机器人的控制指令——“前进”、“停驻”、“紧急停止”、“后退”、“1级加速”、“2级加速”、“3级加速”、“1级减速”、“2级减速”、“3级减速”、“大幅度右转”、“小幅度左转”、“大幅度左转”、“小幅度右转”、“关机”和“切换MI模态”16种控制指令，可实现机器人在各种场景下的复杂任务。
表
不同BCI系统的性能比较
（3）本技术方案的BCI系统运用的分类组合算法具有更好分类效果，同时用户不断积累储存的操作数据和VR场景进行训练所产生的数据均可用于提升系统性能，从而增强人机交互耦合。对于MI信号，运用结合小波变换和改进的CSP算法信号进行多类任务的特征提取，在通过对信号信噪比要求不高的BPNN分类器进行模式识别，有效提高了MI信号的识别准确率。如表2所示，运用2008年脑机接口大赛的MI信号官方数据分析，将本技术方案中组合算法（小波变换+改进CSP+BPNN分类器）与其他算法的识别准确率进行比较，比较可知，BPNN分类器的分类效果优于传统的支持向量机（Support Vector Machine，SVM），本技术方案的组合算法在MI信号分类识别中具有优势。如表3所示，对于SSVEP信号，通过采集20名被试离线数据分析，时间窗口长度相同的情况下，MsetCCA比传统CCA具有更好的分类准确率。
表2 MI信号各算法组合分类效果比较
表3 SSVEP信号CCA与MsetCCA比较
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于混合脑机接口的人机共驾系统，其特征在于，包括：
模态显示模块，用于系统MI和SSVEP两种模态提示刺激的显示、控制指令的显示、机器人运动信息和环境信息的显示；
脑电采集模块，用于采集MI脑电信号和SSVEP脑电信号；
脑电处理模块，接收脑电采集模块输送过来的脑电信号数据，对脑电信号数据进行解码，对MI和SSVEP脑电信号数据的预处理、特征提取和模式分类，并将用户的控制意图转换成移动机器人可识别的控制信号传输给移动机器人；将模式分类识别之后的控制命令结果输出至模态显示模块；
无线通讯模块，实现与移动机器人的无线通讯；
MPC控制器，根据获取移动机器人离左右车道的距离、各方向障碍物距离、运动速度和方向转角对用户操作进行安全评估，根据评估结果调节移动机器人的控制指令参数，使移动机器人的控制处于安全条件内，实现人机共驾。
2.根据权利要求1所述的基于混合脑机接口的人机共驾系统，其特征在于，还包括自适应学习模块，用于储存数据并根据用户每一次的操作数据和脑电信号数据不断优化分类器的参数。
3.根据权利要求1所述的基于混合脑机接口的人机共驾系统，其特征在于，还包括反馈模块，用于将移动机器人的位置、运动状态和外界环境信息发送至模态显示模块；并且当移动机器人前方遇到障碍或者当移动机器人完成预设任务时，发送反馈信号。
4.根据权利要求1所述的基于混合脑机接口的人机共驾系统，其特征在于，所述模态显示模块包括多屏幕计算机和VR眼镜：处于MI模态时多屏幕计算机的显示器或VR眼镜中呈现想象左手、右手、舌头或者双脚运动的4种功能提示，处于SSVEP模态时多屏幕计算机的显示器或VR眼镜中呈现16种不同频率闪烁的视觉刺激块。
5.一种如权利要求1至4任一所述的基于混合脑机接口的人机共驾系统的控制方法，其特征在于，具体包括以下步骤：
通过模态显示模块发出提示与视觉刺激诱导产生MI运动想象和SSVEP稳态视觉诱发电位的脑电信号；
通过脑电采集模块采集脑电信号；
通过脑电处理模块处理分析脑电信号，得到控制信号；
通过无线通讯模块输出控制信号至移动机器人；
当移动机器人在MI模态控制下可选择启动MPC控制器实现人机共驾模式，MPC控制器根据获取的移动机器人离左右车道的距离、各方向障碍物距离、运动速度和方向转角对用户操作进行安全评估，根据评估结果调节移动机器人的控制指令参数，使移动机器人的控制处于安全条件内。
6.根据权利要求5所述的基于混合脑机接口的人机共驾系统的控制方法，其特征在于，当移动机器人在MI模态控制下可选择切换完全脑控和人机共驾模式，也可选择启动训练模式，通过VR眼镜实现虚拟机器人进行MI和SSVEP模态下的自由训练和实验训练；在SSVEP模态下，可实现移动机器人的16种运动功能指令；自适应学习模块不断储存并学习用户的操作数据和脑电数据，调节分类器模型。
7.根据权利要求5所述的基于混合脑机接口的人机共驾系统的控制方法，其特征在于，所述通过脑电处理模块处理分析脑电信号，在MI模态信号处理时，脑电处理模块运用小波分解重构法对MI信号进行滤波去噪，再运用经优化后的CSP算法对脑电信号进行特征提取。
8.根据权利要求5所述的基于混合脑机接口的人机共驾系统的控制方法，其特征在于，所述通过脑电处理模块处理分析脑电信号，在SSVEP模态信号处理时，脑电处理模块对SSVEP信号进行小波阈值去噪，再通过多重集典型相关分析进行脑电信号的模式识别分类。
9.根据权利要求5所述的基于混合脑机接口的人机共驾系统的控制方法，其特征在于，自适应学习模块储存数据并根据用户每一次的操作数据和脑电信号数据不断优化分类器的参数。
10.根据权利要求5所述的基于混合脑机接口的人机共驾系统的控制方法，其特征在于，反馈模块将移动机器人的位置、运动状态和外界环境信息发送至模态显示模块；并且当移动机器人前方遇到障碍或者当移动机器人完成预设任务时，发送反馈信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010947182.9A CN112114670B (zh) | 2020-09-10 | 2020-09-10 | 一种基于混合脑机接口的人机共驾系统及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010947182.9A CN112114670B (zh) | 2020-09-10 | 2020-09-10 | 一种基于混合脑机接口的人机共驾系统及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112114670A true CN112114670A (zh) | 2020-12-22 |
| CN112114670B CN112114670B (zh) | 2023-04-07 |
Family
ID=73802434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010947182.9A Active CN112114670B (zh) | 2020-09-10 | 2020-09-10 | 一种基于混合脑机接口的人机共驾系统及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112114670B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883914A (zh) * | 2021-03-19 | 2021-06-01 | 西安科技大学 | 一种多分类器结合的矿用机器人意念感知与决策方法 |
| CN113212410A (zh) * | 2021-04-28 | 2021-08-06 | 三峡大学 | 一种脑波智能驾驶系统 |
| CN113778580A (zh) * | 2021-07-28 | 2021-12-10 | 赤子城网络技术（北京）有限公司 | 模态用户界面显示方法、电子设备及存储介质 |
| CN113867363A (zh) * | 2021-10-22 | 2021-12-31 | 广州小鹏自动驾驶科技有限公司 | 一种车辆控制方法、装置、车辆和存储介质 |
| CN114089628A (zh) * | 2021-10-25 | 2022-02-25 | 西北工业大学 | 一种基于稳态视觉刺激的脑驱移动机器人控制系统和方法 |
| CN114145756A (zh) * | 2021-12-15 | 2022-03-08 | 电子科技大学中山学院 | 协作机器人控制方法、装置及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102866775A (zh) * | 2012-09-04 | 2013-01-09 | 同济大学 | 基于多模式融合的脑机接口控制系统及方法 |
| CN103699216A (zh) * | 2013-11-18 | 2014-04-02 | 南昌大学 | 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法 |
| CN107483992A (zh) * | 2017-07-11 | 2017-12-15 | 昆明理工大学 | 一种基于ssvep和运动想象的智能电视遥控方法 |
-
2020
- 2020-09-10 CN CN202010947182.9A patent/CN112114670B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102866775A (zh) * | 2012-09-04 | 2013-01-09 | 同济大学 | 基于多模式融合的脑机接口控制系统及方法 |
| CN103699216A (zh) * | 2013-11-18 | 2014-04-02 | 南昌大学 | 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法 |
| CN107483992A (zh) * | 2017-07-11 | 2017-12-15 | 昆明理工大学 | 一种基于ssvep和运动想象的智能电视遥控方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李翔等: "一种基于两种不同范式的混合型脑-机接口系统", 《中国生物医学工程学报》 * |
| 林铭铎 等: "基于SSVEP与运动想象的实时脑控阿凡达系统" * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883914A (zh) * | 2021-03-19 | 2021-06-01 | 西安科技大学 | 一种多分类器结合的矿用机器人意念感知与决策方法 |
| CN112883914B (zh) * | 2021-03-19 | 2024-03-19 | 西安科技大学 | 一种多分类器结合的矿用机器人意念感知与决策方法 |
| CN113212410A (zh) * | 2021-04-28 | 2021-08-06 | 三峡大学 | 一种脑波智能驾驶系统 |
| CN113778580A (zh) * | 2021-07-28 | 2021-12-10 | 赤子城网络技术（北京）有限公司 | 模态用户界面显示方法、电子设备及存储介质 |
| CN113778580B (zh) * | 2021-07-28 | 2023-12-08 | 赤子城网络技术（北京）有限公司 | 模态用户界面显示方法、电子设备及存储介质 |
| CN113867363A (zh) * | 2021-10-22 | 2021-12-31 | 广州小鹏自动驾驶科技有限公司 | 一种车辆控制方法、装置、车辆和存储介质 |
| CN113867363B (zh) * | 2021-10-22 | 2024-06-07 | 广州小鹏自动驾驶科技有限公司 | 一种车辆控制方法、装置、车辆和存储介质 |
| CN114089628A (zh) * | 2021-10-25 | 2022-02-25 | 西北工业大学 | 一种基于稳态视觉刺激的脑驱移动机器人控制系统和方法 |
| CN114145756A (zh) * | 2021-12-15 | 2022-03-08 | 电子科技大学中山学院 | 协作机器人控制方法、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112114670B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112114670B (zh) | 一种基于混合脑机接口的人机共驾系统及其控制方法 | |
| Wang et al. | An asynchronous wheelchair control by hybrid EEG–EOG brain–computer interface | |
| Rao et al. | Brain-computer interfacing [in the spotlight] | |
| JP5662456B2 (ja) | 時間領域における感覚誘発電位（ｓｅｐ）の分類／検出 | |
| Blankertz et al. | Classifying single trial EEG: Towards brain computer interfacing | |
| CN107957783B (zh) | 一种基于脑电与肌电信息的多模式智能控制系统及方法 | |
| Mao et al. | A brain–robot interaction system by fusing human and machine intelligence | |
| CN110584898B (zh) | 一种基于多传感器的脑控轮椅自动避障方法 | |
| CN107212883B (zh) | 一种基于脑电控制的机械臂写字装置及控制方法 | |
| CN110727353A (zh) | 基于二维意图所定义的控制部件控制方法和装置 | |
| CN110716578A (zh) | 一种基于混合型脑机接口的飞行器控制系统及其控制方法 | |
| CN109875583B (zh) | 一种基于ar技术的疲劳驾驶检测系统及方法 | |
| CN112114662A (zh) | 一种现实增强的自适应动态多场景诱发脑控方法 | |
| CN110658742A (zh) | 多模态协同操控的轮椅控制系统及方法 | |
| CN102654793A (zh) | 基于双模校验机制的脑电驱动高可靠操控系统 | |
| CN113616436A (zh) | 一种基于运动想象脑电与头姿的智能轮椅及控制方法 | |
| CN113332101A (zh) | 基于脑机接口的康复训练装置的控制方法和装置 | |
| CN107168313A (zh) | 控制车辆驾驶的方法及装置 | |
| CN114138109B (zh) | 基于脑机交互的ar设备 | |
| Shi et al. | Indoor space target searching based on EEG and EOG for UAV | |
| CN112057082B (zh) | 基于脑机接口的机器人辅助脑瘫康复表情训练系统 | |
| Liu et al. | Detection of lower-limb movement intention from EEG signals | |
| Petrushin et al. | Effect of a click-like feedback on motor imagery in EEG-BCI and eye-tracking hybrid control for telepresence | |
| CN109814720B (zh) | 一种设备的脑控方法及系统 | |
| Blankertz et al. | The Berlin brain-computer interface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |