CN117873330A - 一种脑电-眼动混合遥操作机器人控制方法、系统及装置 - Google Patents
一种脑电-眼动混合遥操作机器人控制方法、系统及装置 Download PDFInfo
- Publication number
- CN117873330A CN117873330A CN202410271887.1A CN202410271887A CN117873330A CN 117873330 A CN117873330 A CN 117873330A CN 202410271887 A CN202410271887 A CN 202410271887A CN 117873330 A CN117873330 A CN 117873330A
- Authority
- CN
- China
- Prior art keywords
- user
- control
- robot
- module
- electroencephalogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000000638 stimulation Effects 0.000 claims abstract description 49
- 230000000007 visual effect Effects 0.000 claims abstract description 40
- 210000004556 brain Anatomy 0.000 claims abstract description 35
- 230000004424 eye movement Effects 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 16
- 210000000707 wrist Anatomy 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000001953 sensory effect Effects 0.000 claims description 7
- 230000001960 triggered effect Effects 0.000 claims description 7
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 208000030533 eye disease Diseases 0.000 claims description 3
- 230000008054 signal transmission Effects 0.000 claims description 3
- 230000004936 stimulating effect Effects 0.000 claims description 3
- 210000004247 hand Anatomy 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 230000002045 lasting effect Effects 0.000 description 3
- 210000004761 scalp Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003447 ipsilateral effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000002418 meninge Anatomy 0.000 description 1
- 210000000337 motor cortex Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 210000004092 somatosensory cortex Anatomy 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 208000020431 spinal cord injury Diseases 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供一种脑电‑眼动混合遥操作机器人控制方法、系统及装置，涉及脑机接口领域。该脑电‑眼动混合遥操作机器人控制方法，包括采集用户运动想象训练的数字脑电信号并在训练中提供振动刺激辅助训练在线分类器；将远端控制场景通过视觉控制界面提供给用户，在控制过程中实时获取用户的眼动注视位置和脑电信号；通过用户注视位置估计用户的运动意图，并根据估计结果提供振动触觉反馈；在施加振动反馈后采集用户运动想象脑电信号并使用预训练的在线分类器实时解码用户运动意图；将运动想象解码结果转化为控制指令并控制机器人执行相应的任务。本发明提高了脑控遥操作机器人系统的鲁棒性，提高了用户的控制临场感和控制效率。
Description
技术领域
本发明涉及脑机接口技术领域，具体为一种脑电-眼动混合遥操作机器人控制方法、系统及装置。
背景技术
脑-机接口（BCI）是一种不依赖于正常的由外周神经和肌肉组成的输出通路的通讯系统，是一种以脑电信号或其他相关技术为基础，将大脑活动特征解码转化为预定义的命令，从而实现与外界交流或者控制其他外部设备的先进技术。
脑机接口技术根据信号来源和传输方式不同，可以分为侵入式、半侵入式和非侵入式三种。其中在头皮放置电极采集的脑电信号称为头皮脑电信号（EEG），这种方法因其非侵入式的采集方式较为简单快速，对人体无害而被广泛应用。而因为头皮于大脑之间存在脑膜、颅骨等多层组织的阻隔，导致EEG信号的信噪比很低，进而使得基于EEG信号的脑机接口解码率较低，在脑控机器人系统中难以获得稳定可靠的控制信号。因此，如何提升EEG-BCI的解码表现、提高脑控机器人系统的控制效率和鲁棒性是脑机接口技术领域的一个关键问题。
触觉刺激可以用于给BCI系统提供反馈，尤其适用于视力缺损或脊髓损伤的使用者，同时有研究发现，振动刺激可以激活大脑体感皮层，同侧振动刺激与运动想象的结合可以提高运动想象的解码率，但是运动想象是一种自发主动型范式，在实际应用中并不能预测使用者想象的是哪一侧肢体所以无法直接将振动刺激应用于想象侧，因此目前尚未以这种方式应用于机器人控制系统中。
在脑控机器人系统中，除了要实现对控制指令的高效率解码外，用于切换控制方式等的“脑开关”功能也至关重要，传统技术方案使用按钮、声控或是不同脑电信号方式，系统较为复杂，不够直观。如何利用触觉刺激与眼动信号，在无需使用者肢体运动的情况下实现对远端机器人抓取任务的高效控制，使控制系统实现较高的鲁棒性是一种富有挑战性的问题。
发明内容
（一）解决的技术问题
针对现有技术的不足，本发明提供了一种脑电-眼动混合遥操作机器人控制方法、系统及装置，解决了如何利用触觉刺激与眼动信号，在无需使用者肢体运动的情况下实现对远端机器人抓取任务的高效控制，使控制系统实现较高的鲁棒性的问题。
（二）技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
第一方面，提供了一种脑电-眼动混合遥操作机器人控制方法，包括：
采集实时图像在控制界面进行展示，并通过语音提示使用者注视目标物体；
采集使用者的眼动信号，当判断到使用者对一个区域产生注视事件时，获取该注视事件的注视点在控制显示器上的坐标；
根据注视点的坐标对应的不同功能区域，对应切换前进、切换后退、初始化、触发左手振动刺激、触发右手振动刺激、触发双手振动刺激六种指令；
视觉指令执行结束后，使用语音提示使用者开始执行运动想象任务；
采集使用者运动想象脑电信号，并根据预训练的分类器实时分类解码，根据分类解码结果控制机器人运动；
机器人运动执行结束之后根据移动距离计算当前末端位置，若末端位置在夹取范围外则语音提示使用者进入下一次注视信号采集，若末端位置在目标物品夹取范围内则机器人自动调整位姿完成夹取，任务结束。
优选的，使用者在使用脑电控制机器人之前进行运动想象分类训练，使用者根据显示屏提供的视觉指令执行运动想象训练任务，振动刺激在开始想象前施加在即将想象运动手的手腕，对使用者的运动想象数据进行特征提取并训练在线分类器；
所述运动想象分类训练中显示屏提供的视觉指令是：向左或向右的箭头提示使用者执行左手或右手运动想象，想象前的振动刺激持续时间为1秒；
所述特征提取采用共空间模式，所述训练在线分类器使用支持向量机算法。
优选的，所述注视事件根据使用者目光停留在显示屏上某个区域超过0.5秒来判定。
优选的，所述注视坐标对应的功能区域包括四个有明显边界的区域，其中三个区域分别用文字标明或符号代指前进，后退和结束，注视相应区域对应切换前进、切换后退和初始化任务，第四个区域实时显示摄像头传回的图像，注视第四个区域中线左侧对应触发左手振动刺激，注视第四个区域中线右侧对应触发右手振动刺激，若注视点坐标在以上四个功能区域以外，则对应触发双手振动刺激。
优选的，所述夹取范围是指以目标物体中心坐标为圆心，半径10厘米的圆形区域。
第二方面，提供了一种用于实现所述的脑电-眼动混合遥操作机器人控制方法的控制系统，包括以下模块:
脑电信号采集模块，用于采集用户实时脑电数字信号；
视觉显示模块，用于在运动想象训练阶段显示想象指令以及在机器人控制阶段显示视觉控制界面，包括机器人端实时图像功能区域；
眼动采集模块，用于实时获取用户对于显示屏的实时注视位置坐标，并分析判断该坐标所属的功能区域；
信号分析模块，用于分析用户注视位置进而决定振动刺激的输出，还用于对用户的运动想象信号进行分类解码；
信息传输模块，用于实现不同模块之间信息的传输，包括控制端与机器人端的控制指令、实时图像传输，采集模块与控制系统之间的数字信号传输；
振动刺激模块，用于根据控制主机的控制指令给用户提供振动刺激输出，刺激使用者的感觉通道；
图像采集模块，用于获取控制场景的实时图像，方便用户在远端实时观察机器人控制情况；
机器人控制模块，用于根据用户端传输的指令控制机器人完成预期的任务，根据机器人相对坐标计算机器人当前位置，根据控制模式自主完成对机器人运动的控制；
其中，脑电信号采集模块和眼动采集模块的输出端与信号分析模块的输入端相连，信号分析模块的输出端分别与信息传输模块和振动刺激模块的输入端相连；所述图像采集模块的输出端与信息传输模块的输入端相连，信息传输模块的输出端与视觉显示模块的输入端相连，机器人控制模块与信息传输模块相连；振动刺激模块直接作用于使用者身体。
优选的，所述脑电信号采集模块包括依次连接的脑电帽、脑电信号放大器、低通和带阻滤波器、模数转换模块及通信模块。
优选的，所述视觉显示模块在显示屏显示包括图像采集模块传输的机器人实时控制画面和视觉按钮。
优选的，所述振动刺激模块使用两个振动刺激器分别固定于使用者左侧和右侧手腕以施加振动刺激。
第三方面，提供了一种脑电-眼动混合遥操作机器人控制装置，包括：
第一采集模块，被配置为采集实时图像在控制界面进行展示，并通过语音提示使用者注视目标物体；
第二采集模块，被配置为采集使用者的眼动信号，当判断到使用者对一个区域产生注视事件时，获取该注视事件的注视点在控制显示器上的坐标；
处理模块，被配置为根据注视点的坐标对应的不同功能区域，对应切换前进、切换后退、初始化、触发左手振动刺激、触发右手振动刺激、触发双手振动刺激六种指令；
第一执行模块，被配置为视觉指令执行结束后，使用语音提示使用者开始执行运动想象任务；
第三采集模块，被配置为采集使用者运动想象脑电信号，并根据预训练的分类器实时分类解码，根据分类解码结果控制机器人运动；
第二执行模块，被配置为机器人运动执行结束之后根据移动距离计算当前末端位置，若末端位置在夹取范围外则语音提示使用者进入下一次注视信号采集，若末端位置在目标物品夹取范围内则机器人自动调整位姿完成夹取，任务结束。
（三）有益效果
（1）本发明一种脑电-眼动混合遥操作机器人控制方法、系统及装置，给脑电控制遥操作机器人场景提供了一种更新颖的控制方法，解决了用户遥操作中难以获得临场视角、脑控效率低下、控制流程复杂难以独立完成等痛点。通过采集眼动信号判断使用者的控制意图，从而指导振动触觉刺激的施加，通过合理应用振动刺激来增强使用者大脑感觉运动皮层的激活程度，提高运动想象范式的解码率，进而提高脑控机器人系统的控制效率和鲁棒性。振动触觉刺激对运动想象任务的影响并不是决定性的，这使得眼动信号中存在的错误判断不会直接影响最终的控制指令，在很大程度上可以帮助减少“BCI盲”问题，使得这种脑控机器人系统的应用范围更加广泛。
（2）本发明一种脑电-眼动混合遥操作机器人控制方法、系统及装置，出的这种视觉和触觉反馈结合的控制方法并不需要使用者额外的肢体运动，适用于中风、瘫痪、肌萎缩侧索硬化等病症的患者，具有很强的实际应用意义。在本发明中，眼动信号除了用于辅助振动刺激施加之外还作为一种鲁棒性很强的“脑开关”，用于切换控制模式等指令，这使得该系统可以由使用者独立控制运行，相比于传统的需要按钮、开关等方式切换的控制系统更具有实际应用价值，控制流程更简单，更容易理解。
附图说明
图1为本发明基于触觉增强的脑电-眼动混合遥操作机器人控制系统的结构示意图。
图2为本发明实施例中机器人控制流程图。
图3为本发明实施例中运动想象训练范式流程示意图。
图4为本发明实施例中脑电-眼动混合遥操作机器人单次控制时间流程示意图。
图5为本发明实施例中视觉控制界面样例图。
图6为本发明实施例中具体实时案例示意图。
具体实施方式
下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图2所示，本发明的一个实施例提供了一种脑电-眼动混合遥操作机器人控制方法，包括：
采集实时图像在控制界面进行展示，并通过语音提示使用者注视目标物体；
采集使用者的眼动信号，当判断到使用者对一个区域产生注视事件时，获取该注视事件的注视点在控制显示器上的坐标；
根据注视点的坐标对应的不同功能区域，对应切换前进、切换后退、初始化、触发左手振动刺激、触发右手振动刺激、触发双手振动刺激六种指令；
视觉指令执行结束后，使用语音提示使用者开始执行运动想象任务；
采集使用者运动想象脑电信号，并根据预训练的分类器实时分类解码，根据分类解码结果控制机器人运动；
机器人运动执行结束之后根据移动距离计算当前末端位置，若末端位置在夹取范围外则语音提示使用者进入下一次注视信号采集，若末端位置在目标物品夹取范围内则机器人自动调整位姿完成夹取，任务结束。
进一步的，使用者在使用脑电控制机器人之前进行运动想象分类训练，使用者根据显示屏提供的视觉指令执行运动想象训练任务，振动刺激在开始想象前施加在即将想象运动手的手腕，对使用者的运动想象数据进行特征提取并训练在线分类器；
运动想象分类训练中显示屏提供的视觉指令是：向左或向右的箭头提示使用者执行左手或右手运动想象，想象前的振动刺激持续时间为1秒；
特征提取采用共空间模式（CSP），训练在线分类器使用支持向量机（SVM）算法。
方法中的语音提示可以通过不同长度的“Beep”声或中文语音来提供。
进一步的，注视事件根据使用者目光停留在显示屏上某个区域超过0.5秒来判定。
进一步的，注视坐标对应的功能区域包括四个有明显边界的区域，其中三个区域分别用文字标明或符号代指前进，后退和结束，注视相应区域对应切换前进、切换后退和初始化任务，第四个区域实时显示摄像头传回的图像，注视第四个区域中线左侧对应触发左手振动刺激，注视第四个区域中线右侧对应触发右手振动刺激，若注视点坐标在以上四个功能区域以外，则对应触发双手振动刺激。
方法中运动想象任务包括想象左手或右手挥手动作。
方法中前进模式下，分类结果为想象左手运动则对应控制机器人向左前方45度移动5厘米，分类结果为想象右手运动则对应控制机器人向右前方45度移动5厘米；在后退模式下，分类结果为想象左手运动则对应控制机器人向左后方45度移动5厘米，分类结果为想象右手运动则对应控制机器人向右后方45度移动5厘米。
进一步的，夹取范围是指以目标物体中心坐标为圆心，半径10厘米的圆形区域。
具体实施案例场景如图6所示，使用者头戴脑电采集帽2坐在显示屏3前，脑电帽与包括脑电信号放大器在内的脑电采集设备5相连。眼动信号采集设备1放置在屏幕和使用者中间，实时采集使用者眼动信号。两个振动刺激器4用医用胶布分别固定在使用者左右手手腕中央。
具体操作时，包括如下步骤：
步骤1、使用者按要求坐在舒适的座椅上，头部佩戴好脑电采集帽。通过眼动仪配套标定程序标定使用者双眼映射在显示屏中的注视点，实时采集使用者的脑电数字信号及眼动注视坐标点。
步骤2、使用者根据图3所示的时间流程进行运动想象训练，执行一定数量的运动想象任务后使用练习数据训练得到在线分类器用于后续对左右手运动想象任务的在线分类。
训练过程中，显示屏显示四种模式的刺激，包括：1. 屏幕显示白色十字，使用者放松休息不进行想象；2. 屏幕显示白色十字同时中间出现白色圆点，此时在使用者的想象侧施加振动刺激，使用者准备进行运动想象；3. 屏幕显示白色十字，十字左侧或右侧出现白色箭头图案，使用者根据箭头指向方向执行左手或右手运动想象任务。
步骤3、使用者根据图4所示的控制时间流程图实现对机器人的控制，通过多次控制流程的重复最终达到抓取目标物体的任务。
单次控制时间流程中，一声持续200ms的“Beep”声提示使用者单次控制流程开始，使用者开始注视显示屏中想要抓取的目标物体，同时眼动仪采集这第一秒内使用者的注视坐标信息，根据注视坐标判断使用者想向左或右移动机械手，并在相应方向的手腕施加持续1秒的振动刺激。之后提取第2-4秒的脑电信号用于运动想象分类，得到的分类结果用于控制机械手运动。同时在第5秒播放持续1秒的“Beep”声提示使用者单次控制任务结束。被试可以在任务下发后的实时控制图像上观察到机械手的运动情况，并在这2秒时间内休息。
如果眼动信号采集时间内使用者注视的坐标不在实时图像功能范围内，则判断是否在“前进”，“后退”和“结束”视觉按钮范围内，若在则对应执行前进/后退控制模式的切换或结束控制流程，将机器人初始化。在这三类指令下发后本次控制流程机器人不再根据运动想象结果执行运动。
如果注视坐标在所有功能区域以外，振动刺激同时施加在左右手两侧，并根据运动想象分类结果完成对机械手运动的控制。
步骤4、机器人运动执行结束之后根据移动距离计算当前末端位置，若末端位置不在夹取范围则继续播放下一个200ms的“Beep”声提示使用者进入下一次控制流程，若末端位置在目标物品夹取范围内则机器人自动调整位姿完成夹取，任务结束。
本发明采用上述方法，进行了实际应用测试，使用长短不一的“Beep”声提示使用者处于不同的控制阶段，受试者表示声音长度分别为200ms和1s最容易区分。实验表明在短“Beep”声后采集1s的眼动注视数据可以较好地反映使用者的目标抓取意图，振动刺激长度1s的感受最为明显且能显著激活大脑体感皮层，而考虑到信息传输率，提取的运动想象脑电数据段长度以2s为宜。以上参数流程如图4所示，由此达到一个总时长约7s的单次控制流程，达到遥操作机器人控制目的。
综上，本发明设计了一种基于触觉增强的脑电-眼动混合控制遥操作机器人系统，使用由眼动辅助控制的触觉刺激增强了脑电控制系统的有效性和鲁棒性，克服了传统脑电控制系统中解码率低、个体差异大、存在“BCI盲”现象等问题，使得EEG-BCI的应用范围得到了拓展。同时解决了通过视触觉结合的方式解决了遥操作机器人控制场景中用户难以获得临场视角、想象运动难、临场感低下、控制流程复杂难以独立完成等痛点，眼动视觉在本发明中的作用除了可以辅助判断使用者的控制意图外，还作为一种鲁棒性很强的“脑开关”使用，可以用于切换控制模式、回到初始状态等指令，这使得该系统可以由使用者独立控制运行，相比于传统的需要按钮、声音控制等方式切换的控制系统更具有实际应用价值，控制流程更简单，更容易理解，也大大提高了脑电控制系统的容错率。
如图1所示，本发明又一个实施例提供了一种用于实现的脑电-眼动混合遥操作机器人控制方法的控制系统，包括以下模块:
脑电信号采集模块，用于采集用户实时脑电数字信号；
视觉显示模块，用于在运动想象训练阶段显示想象指令以及在机器人控制阶段显示视觉控制界面，如图5所示，包括机器人端实时图像功能区域；
眼动采集模块，用于实时获取用户对于显示屏的实时注视位置坐标，并分析判断该坐标所属的功能区域；
信号分析模块，用于分析用户注视位置进而决定振动刺激的输出，还用于对用户的运动想象信号进行分类解码；
信息传输模块，用于实现不同模块之间信息的传输，包括控制端与机器人端的控制指令、实时图像传输，采集模块与控制系统之间的数字信号传输；
振动刺激模块，用于根据控制主机的控制指令给用户提供振动刺激输出，刺激使用者的感觉通道；
图像采集模块，用于获取控制场景的实时图像，方便用户在远端实时观察机器人控制情况；
机器人控制模块，用于根据用户端传输的指令控制机器人完成预期的任务，根据机器人相对坐标计算机器人当前位置，根据控制模式自主完成对机器人运动的控制；
其中，脑电信号采集模块和眼动采集模块的输出端与信号分析模块的输入端相连，信号分析模块的输出端分别与信息传输模块和振动刺激模块的输入端相连；图像采集模块的输出端与信息传输模块的输入端相连，信息传输模块的输出端与视觉显示模块的输入端相连，机器人控制模块与信息传输模块相连；振动刺激模块直接作用于使用者身体。
其中脑电信号采集模块使用脑电帽和放大器采集被试实时脑电信号，眼动采集模块使用 Eyelink 眼动仪获取被试对于视觉刺激显示屏的实时注视位置坐标，这两个模块采集的信息经过信号分析模块的分析与处理，转换成对远端机器人的控制指令以及振动刺激的控制指令。振动刺激模块包含两个振动电机，根据信号分析模块传输的指令控制电机振动，信息传输模块使用 TCP/IP 协议实现远端的机器人系统与主端控制系统的通信，同时也负责将图像采集模块采集的实时控制场景图像传输到视觉显示模块，视觉显示模块通过软件界面展示远端的控制视角以及眼动控制指令的图形按钮。最后，机器人控制模块根据预先标定的位置坐标及主端发来的控制指令控制机械臂完成对目标的抓取和码放。
进一步的，脑电信号采集模块用于采集使用者运动想象时产生的数字脑电信号脑；电信号采集模块包括依次连接的脑电帽、脑电信号放大器、低通和带阻滤波器、模数转换模块及通信模块。脑电帽佩戴于受试者头部，并采集使用者运动想象时产生的脑电信号，依次经脑电信号放大器进行放大、低通和带阻滤波器进行低通滤波、模数转换模块进行模数转换后得到数字脑电信号，并通过通信模块将数字脑电信号传输至信号分析模块。
眼动信号采集模块用于实时采集使用者注视显示屏的坐标点信息，主要包括眼动仪和通信模块，眼动仪通过红外眼动追踪等方式定位使用者的瞳孔运动，并根据预先标定的空间关系计算使用者所注视的显示屏位置坐标，最后通过通信模块实时传输至信号分析模块。
视觉显示模块包括一个显示屏，用于显示控制界面，界面显示包括控制按键及远端机器人视角的实时图像。
信号分析模块用于分析处理眼动和脑电信号，使用CSP算法对脑电信号进行特征提取，再用SVM算法对使用者运动想象的类型进行分类，计算使用者眼动注视信号对应的显示屏坐标，根据坐标所在的不同功能区域判断当前要执行的任务，并对应下发包括振动刺激控制指令、机器人控制指令等。
信息传输模块用于传输不同模块间的数据和信号，使用包括串口通讯、TCP/IP通讯及蓝牙通信等方式完成对脑电信号、眼动信号、实时图像数据、振动控制信号和机器人控制信号的传输。
振动刺激模块用于根据信号分析模块输出的控制指令控制振动电机振动刺激使用者的感觉通道，通过固定在使用者腕部的振动刺激器施加振动刺激以激活使用者的感觉通道。振动电机可以采用两个线性振动电机，分别使用医用胶布固定在使用者左右手腕处。且可以在左右手设置不同的振动频率以强化触觉差异，例如左手振动刺激频率设为23Hz，右手振动频率设为27Hz，适配人体感觉系统对左右触觉敏感程度的差异。
图像采集模块包括一个固定在机器人手爪腕部的摄像头，用于实时获取机器人手爪的视觉图像。
机器人控制模块用于根据信号分析模块输出的控制指令控制机器人执行包括移动、抓取、复位等任务。
数字脑电信号包括分别想象左手或右手挥手运动信号。
进一步的，视觉显示模块在显示屏显示包括图像采集模块传输的机器人实时控制画面和视觉按钮，包含“前进”、“后退”和“结束”三个内容。
进一步的，振动刺激模块使用两个振动刺激器分别固定于使用者左侧和右侧手腕以施加振动刺激。
图像采集模块可以使用固定在机器人手腕部的摄像头采集实时图像。
本发明又一个实施例提供了一种脑电-眼动混合遥操作机器人控制装置，包括：
第一采集模块，被配置为采集实时图像在控制界面进行展示，并通过语音提示使用者注视目标物体；
第二采集模块，被配置为采集使用者的眼动信号，当判断到使用者对一个区域产生注视事件时，获取该注视事件的注视点在控制显示器上的坐标；
处理模块，被配置为根据注视点的坐标对应的不同功能区域，对应切换前进、切换后退、初始化、触发左手振动刺激、触发右手振动刺激、触发双手振动刺激六种指令；
第一执行模块，被配置为视觉指令执行结束后，使用语音提示使用者开始执行运动想象任务；
第三采集模块，被配置为采集使用者运动想象脑电信号，并根据预训练的分类器实时分类解码，根据分类解码结果控制机器人运动；
第二执行模块，被配置为机器人运动执行结束之后根据移动距离计算当前末端位置，若末端位置在夹取范围外则语音提示使用者进入下一次注视信号采集，若末端位置在目标物品夹取范围内则机器人自动调整位姿完成夹取，任务结束。
本申请的实施例可提供为方法或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种脑电-眼动混合遥操作机器人控制方法，其特征在于，包括：
采集实时图像在控制界面进行展示，并通过语音提示使用者注视目标物体；
采集使用者的眼动信号，当判断到使用者对一个区域产生注视事件时，获取该注视事件的注视点在控制显示器上的坐标；
根据注视点的坐标对应的不同功能区域，对应切换前进、切换后退、初始化、触发左手振动刺激、触发右手振动刺激、触发双手振动刺激六种指令；
视觉指令执行结束后，使用语音提示使用者开始执行运动想象任务；
采集使用者运动想象脑电信号，并根据预训练的分类器实时分类解码，根据分类解码结果控制机器人运动；
机器人运动执行结束之后根据移动距离计算当前末端位置，若末端位置在夹取范围外则语音提示使用者进入下一次注视信号采集，若末端位置在目标物品夹取范围内则机器人自动调整位姿完成夹取，任务结束。
2.根据权利要求1所述的一种脑电-眼动混合遥操作机器人控制方法，其特征在于：使用者在使用脑电控制机器人之前进行运动想象分类训练，使用者根据显示屏提供的视觉指令执行运动想象训练任务，振动刺激在开始想象前施加在即将想象运动手的手腕，对使用者的运动想象数据进行特征提取并训练在线分类器；
所述运动想象分类训练中显示屏提供的视觉指令是：向左或向右的箭头提示使用者执行左手或右手运动想象，想象前的振动刺激持续时间为1秒；
所述特征提取采用共空间模式，所述训练在线分类器使用支持向量机算法。
3.根据权利要求1所述的一种脑电-眼动混合遥操作机器人控制方法，其特征在于：所述注视事件根据使用者目光停留在显示屏上某个区域超过0.5秒来判定。
4.根据权利要求1所述的一种脑电-眼动混合遥操作机器人控制方法，其特征在于：所述注视坐标对应的功能区域包括四个有明显边界的区域，其中三个区域分别用文字标明或符号代指前进，后退和结束，注视相应区域对应切换前进、切换后退和初始化任务，第四个区域实时显示摄像头传回的图像，注视第四个区域中线左侧对应触发左手振动刺激，注视第四个区域中线右侧对应触发右手振动刺激，若注视点坐标在以上四个功能区域以外，则对应触发双手振动刺激。
5.根据权利要求1所述的一种脑电-眼动混合遥操作机器人控制方法，其特征在于：所述夹取范围是指以目标物体中心坐标为圆心，半径10厘米的圆形区域。
6.一种用于实现权利要求1-5任意一项所述的脑电-眼动混合遥操作机器人控制方法的控制系统，其特征在于，包括以下模块:
脑电信号采集模块，用于采集用户实时脑电数字信号；
视觉显示模块，用于在运动想象训练阶段显示想象指令以及在机器人控制阶段显示视觉控制界面，包括机器人端实时图像功能区域；
眼动采集模块，用于实时获取用户对于显示屏的实时注视位置坐标，并分析判断该坐标所属的功能区域；
信号分析模块，用于分析用户注视位置进而决定振动刺激的输出，还用于对用户的运动想象信号进行分类解码；
信息传输模块，用于实现不同模块之间信息的传输，包括控制端与机器人端的控制指令、实时图像传输，采集模块与控制系统之间的数字信号传输；
振动刺激模块，用于根据控制主机的控制指令给用户提供振动刺激输出，刺激使用者的感觉通道；
图像采集模块，用于获取控制场景的实时图像，方便用户在远端实时观察机器人控制情况；
机器人控制模块，用于根据用户端传输的指令控制机器人完成预期的任务，根据机器人相对坐标计算机器人当前位置，根据控制模式自主完成对机器人运动的控制；
其中，脑电信号采集模块和眼动采集模块的输出端与信号分析模块的输入端相连，信号分析模块的输出端分别与信息传输模块和振动刺激模块的输入端相连；所述图像采集模块的输出端与信息传输模块的输入端相连，信息传输模块的输出端与视觉显示模块的输入端相连，机器人控制模块与信息传输模块相连；振动刺激模块直接作用于使用者身体。
7.根据权利要求6所述的一种脑电-眼动混合遥操作机器人控制系统，其特征在于：所述脑电信号采集模块包括依次连接的脑电帽、脑电信号放大器、低通和带阻滤波器、模数转换模块及通信模块。
8.根据权利要求6所述的一种脑电-眼动混合遥操作机器人控制系统，其特征在于：所述视觉显示模块在显示屏显示包括图像采集模块传输的机器人实时控制画面和视觉按钮。
9.根据权利要求6所述的一种脑电-眼动混合遥操作机器人控制系统，其特征在于：所述振动刺激模块使用两个振动刺激器分别固定于使用者左侧和右侧手腕以施加振动刺激。
10.一种脑电-眼动混合遥操作机器人控制装置，其特征在于，包括：
第一采集模块，被配置为采集实时图像在控制界面进行展示，并通过语音提示使用者注视目标物体；
第二采集模块，被配置为采集使用者的眼动信号，当判断到使用者对一个区域产生注视事件时，获取该注视事件的注视点在控制显示器上的坐标；
处理模块，被配置为根据注视点的坐标对应的不同功能区域，对应切换前进、切换后退、初始化、触发左手振动刺激、触发右手振动刺激、触发双手振动刺激六种指令；
第一执行模块，被配置为视觉指令执行结束后，使用语音提示使用者开始执行运动想象任务；
第三采集模块，被配置为采集使用者运动想象脑电信号，并根据预训练的分类器实时分类解码，根据分类解码结果控制机器人运动；
第二执行模块，被配置为机器人运动执行结束之后根据移动距离计算当前末端位置，若末端位置在夹取范围外则语音提示使用者进入下一次注视信号采集，若末端位置在目标物品夹取范围内则机器人自动调整位姿完成夹取，任务结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410271887.1A CN117873330B (zh) | 2024-03-11 | 2024-03-11 | 一种脑电-眼动混合遥操作机器人控制方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410271887.1A CN117873330B (zh) | 2024-03-11 | 2024-03-11 | 一种脑电-眼动混合遥操作机器人控制方法、系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117873330A true CN117873330A (zh) | 2024-04-12 |
| CN117873330B CN117873330B (zh) | 2024-05-17 |
Family
ID=90597119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410271887.1A Active CN117873330B (zh) | 2024-03-11 | 2024-03-11 | 一种脑电-眼动混合遥操作机器人控制方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117873330B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118512271A (zh) * | 2024-07-18 | 2024-08-20 | 深圳市精锋医疗科技股份有限公司 | 应用于手术机器人的负压吸引系统及控制方法和介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140347265A1 (en) * | 2013-03-15 | 2014-11-27 | Interaxon Inc. | Wearable computing apparatus and method |
| CN109521880A (zh) * | 2018-11-27 | 2019-03-26 | 东南大学 | 一种基于混合生物电信号驱动的遥操作机器人系统及方法 |
| CN109605385A (zh) * | 2018-11-28 | 2019-04-12 | 东南大学 | 一种混合脑机接口驱动的康复辅助机器人 |
| CN109656365A (zh) * | 2018-12-19 | 2019-04-19 | 东南大学 | 一种基于实时闭环振动刺激增强的脑机接口方法及系统 |
| CN109685031A (zh) * | 2018-12-29 | 2019-04-26 | 河海大学常州校区 | 一种脑机接口中脑电信号特征分类方法及系统 |
| US20190387995A1 (en) * | 2016-12-20 | 2019-12-26 | South China University Of Technology | Brain-Computer Interface Based Robotic Arm Self-Assisting System and Method |
| US20200097076A1 (en) * | 2018-09-21 | 2020-03-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
| CN112518743A (zh) * | 2020-11-20 | 2021-03-19 | 南京航空航天大学 | 一种面向空间机械臂在轨操作的多模态神经解码控制系统及方法 |
| KR20210129437A (ko) * | 2020-04-20 | 2021-10-28 | 한국과학기술연구원 | 동작 상상에 따른 뇌파를 이용하는 로봇 제어 시스템 및 제어 방법 |
| CN115454238A (zh) * | 2022-08-30 | 2022-12-09 | 重庆长安汽车股份有限公司 | 一种基于ssvep-mi融合的人车交互控制方法、装置及汽车 |
| CN115509355A (zh) * | 2022-09-23 | 2022-12-23 | 中国矿业大学 | 一种整合视觉下的mi-bci交互控制系统及方法 |
| CN116048266A (zh) * | 2023-01-20 | 2023-05-02 | 天津大学 | 一种融合基于摄像头式视线跟踪技术的脑机接口系统 |
| KR20230093103A (ko) * | 2021-12-17 | 2023-06-27 | 재단법인대구경북과학기술원 | 뇌파 기반의 맞춤형 주행 제어 장치 및 그 방법 |
-
2024
- 2024-03-11 CN CN202410271887.1A patent/CN117873330B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140347265A1 (en) * | 2013-03-15 | 2014-11-27 | Interaxon Inc. | Wearable computing apparatus and method |
| US20190387995A1 (en) * | 2016-12-20 | 2019-12-26 | South China University Of Technology | Brain-Computer Interface Based Robotic Arm Self-Assisting System and Method |
| US20200097076A1 (en) * | 2018-09-21 | 2020-03-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
| CN109521880A (zh) * | 2018-11-27 | 2019-03-26 | 东南大学 | 一种基于混合生物电信号驱动的遥操作机器人系统及方法 |
| CN109605385A (zh) * | 2018-11-28 | 2019-04-12 | 东南大学 | 一种混合脑机接口驱动的康复辅助机器人 |
| CN109656365A (zh) * | 2018-12-19 | 2019-04-19 | 东南大学 | 一种基于实时闭环振动刺激增强的脑机接口方法及系统 |
| CN109685031A (zh) * | 2018-12-29 | 2019-04-26 | 河海大学常州校区 | 一种脑机接口中脑电信号特征分类方法及系统 |
| KR20210129437A (ko) * | 2020-04-20 | 2021-10-28 | 한국과학기술연구원 | 동작 상상에 따른 뇌파를 이용하는 로봇 제어 시스템 및 제어 방법 |
| CN112518743A (zh) * | 2020-11-20 | 2021-03-19 | 南京航空航天大学 | 一种面向空间机械臂在轨操作的多模态神经解码控制系统及方法 |
| KR20230093103A (ko) * | 2021-12-17 | 2023-06-27 | 재단법인대구경북과학기술원 | 뇌파 기반의 맞춤형 주행 제어 장치 및 그 방법 |
| CN115454238A (zh) * | 2022-08-30 | 2022-12-09 | 重庆长安汽车股份有限公司 | 一种基于ssvep-mi融合的人车交互控制方法、装置及汽车 |
| CN115509355A (zh) * | 2022-09-23 | 2022-12-23 | 中国矿业大学 | 一种整合视觉下的mi-bci交互控制系统及方法 |
| CN116048266A (zh) * | 2023-01-20 | 2023-05-02 | 天津大学 | 一种融合基于摄像头式视线跟踪技术的脑机接口系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118512271A (zh) * | 2024-07-18 | 2024-08-20 | 深圳市精锋医疗科技股份有限公司 | 应用于手术机器人的负压吸引系统及控制方法和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117873330B (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117873330B (zh) | 一种脑电-眼动混合遥操作机器人控制方法、系统及装置 | |
| Müller-Putz et al. | A single-switch BCI based on passive and imagined movements: toward restoring communication in minimally conscious patients | |
| CN106214391B (zh) | 基于脑机接口的智能护理床及其控制方法 | |
| Tonet et al. | Defining brain–machine interface applications by matching interface performance with device requirements | |
| WO2011140303A1 (en) | Time domain-based methods for noninvasive brain-machine interfaces | |
| Noronha et al. | “Wink to grasp”—comparing eye, voice & EMG gesture control of grasp with soft-robotic gloves | |
| CN109166612B (zh) | 一种基于眼动及脑电信息的大型游戏场景康复系统及方法 | |
| Al-Quraishi et al. | Multimodal fusion approach based on EEG and EMG signals for lower limb movement recognition | |
| RU2741215C1 (ru) | Система нейрореабилитации и способ нейрореабилитации | |
| JP2009531077A (ja) | エフェクターのリアル・タイム制御のための装置と方法 | |
| CN112987917B (zh) | 运动想象增强方法、装置、电子设备和存储介质 | |
| Wang et al. | Brain-controlled wheelchair review: From wet electrode to dry electrode, from single modal to hybrid modal, from synchronous to asynchronous | |
| Baxter et al. | Noninvasive control of a robotic arm in multiple dimensions using scalp electroencephalogram | |
| CN115364327A (zh) | 基于运动想象的手功能训练和评估康复手套系统 | |
| Nisar et al. | Brain-computer interface: controlling a robotic arm using facial expressions | |
| CN117860544B (zh) | 一种基于多模态虚拟现实交互的智能按摩系统 | |
| Levitskaya et al. | Brain-computer interface: the future in the present | |
| Mcfarland et al. | Brain–computer interfaces for the operation of robotic and prosthetic devices | |
| Petrushin et al. | Effect of a click-like feedback on motor imagery in EEG-BCI and eye-tracking hybrid control for telepresence | |
| JP6755507B2 (ja) | 脳活動訓練システム及び脳活動訓練システムの作動方法 | |
| US20240082533A1 (en) | System for functional rehabilitation and/or pain rehabilitation due to sensorimotor impairment | |
| CN115624338A (zh) | 一种上肢刺激反馈康复装置及其控制方法 | |
| Kæseler et al. | Brain patterns generated while using a tongue control interface: a preliminary study with two individuals with ALS | |
| Bala et al. | EEG-Based Load Control System for Physically Challenged People | |
| Titkanlou et al. | Design of BCI-Based Exoskeleton System for Knee Rehabilitation. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |