CN103116279A - 脑控机器人系统的模糊离散事件共享控制方法 - Google Patents
脑控机器人系统的模糊离散事件共享控制方法 Download PDFInfo
- Publication number
- CN103116279A CN103116279A CN2013100152211A CN201310015221A CN103116279A CN 103116279 A CN103116279 A CN 103116279A CN 2013100152211 A CN2013100152211 A CN 2013100152211A CN 201310015221 A CN201310015221 A CN 201310015221A CN 103116279 A CN103116279 A CN 103116279A
- Authority
- CN
- China
- Prior art keywords
- robot
- brain
- control
- fuzzy
- discrete event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Feedback Control In General (AREA)
- Manipulator (AREA)
Abstract
本发明属于脑机接口领域,是一种脑控机器人系统的模糊离散事件共享控制方法,它是采用人脑控制命令与基于模糊离散事件系统的机器人自主控制相结合的方法,在线识别运动想象的脑电信号并以此作为优先级最高的控制命令来控制机器人的前进、左转、右转行为,而当无脑控命令时,则运行基于模糊离散事件系统的自主控制模块,把机器人的避障、靠墙行驶自主控制状态模糊化,针对路径中障碍物的大小,距离远近等模糊事件形成一个模糊离散事件系统。该发明通过共享控制的方法弥补了脑机接口信息传输速率低,识别错误率高,控制时延等问题,增强了机器人在复杂环境中的自适应性。
Description
技术领域
本发明属于脑-机接口领域,涉及一种将脑电控制与自动控制技术相结合的机器人共享控制方法,特别涉及一种对驱动脑-机接口系统状态演变的离散事件进行模糊化处理的控制方法。
背景技术
脑-机接口(Brain-Computer Interface ,BCI)是在人脑和计算机或其他电子设备之间建立的一种不依赖于常规大脑输出通道(外周神经和肌肉组织)的直接信息交流和控制通道。BCI研究的初衷是为那些由于疾病使得部分或全部失去自主肌肉控制的人们提供一种与外界的交互方式,但随着BCI技术的发展与成熟,BCI的应用也逐渐广泛起来,脑控机器人就是其中的研究热点之一。脑控机器人技术将BCI和机器人控制技术相结合,通过对脑电信号的识别来达到对机器人的行为控制。对于一个实用的BCI系统来说,需要连续地在线分析脑电信号而不需要预先定义时间段,也就是所谓的异步BCI系统,它不仅能较准确地检测出意识控制状态(intentional-control, IC), 还能发现无控制状态(no-control, NC), 也就是空闲状态。但目前基于脑电信号的BCI系统的指令识别准确率还不高,对于快速和复杂序列的机器人运动而言控制速度太慢,指令延迟程度严重,交互性能较差。近些年,对于BCI系统实现机器人控制的研究主要集中于对于脑电信号的识别算法,例如Graz 科技大学的BCI-lab利用一类运动想象电位进行了虚拟场景中的轮椅前进控制实验,提出了一种logarithmic band power (BP) 特征提取算法对IC 和NC状态进行分类识别;Mason 等研究利用运动想象和自发运动相关电位提取实验,提出了空闲状态无加据活动的假设,在特定的频带范围内比较归一化能量,给出了低频异步开关设计实现IC和NC两种状态检测的方法;Tran等人发现在运动想象电位某些特定的频段,IC状态的EEG信号的复杂性低于NC状态,因此提出一种基于选择性子带熵的状态检测方法等。虽然以上方法对识别准确率有了一定提高,但对于一个具有连续动力学特性的机器人系统而言,其控制信号的实时性难以保证,而且机器人的大小、机械特性各异,其所处的环境也是各不相同,甚至在相同的环境里,机器人每时每刻所处的传感器能探测的范围的环境也是不同的,这就造成了控制命令直接控制机器人难以达到预想控制效果的问题。瑞士的Millan团队首次将脑控命令与自动控制技术相结合,采用共享控制方法使机器人的控制权在直接脑控和局部自主控制之间进行共享和交互,修正机器人系统运动轨迹偏差,其方法证明了利用异步操作模式连续控制复杂机器人系统的可行性,但目前的控制方法并没有对系统的时滞和自适应性做深入的研究分析,仍然存在着信息传输速率低、时延等问题。因此需要在人脑和机器人之间建立一种辅助的共享控制方法,以弥补信息传输速率低、系统时延等问题带来的影响。
发明内容
为了克服现有技术中存在的不足,本发明目的是提供一种脑控机器人系
统的模糊离散事件共享控制方法。本发明利用模糊离散事件共享控制方法实现利用脑电信号对机器人的稳定控制,它与传统的基于时间的控制方法不同,基于事件的控制方法与时间无关,能够有效改善脑机交互过程中的时延问题,而模糊理论的引入则能够有效的分析事件的不确定因素,从而弥补因脑控命令少而难以实现机器人的连续命令控制的不足。
为了实现上述发明目的,解决现有技术中所存在的问题,本发明采取的技
术方案是:一种脑控机器人系统的模糊离散事件共享控制方法,包括以下步骤:
(1)、利用脑电采集设备采集运动想象任务下的脑电信号作为训练数据,进行特征提取,计算分类器参数从而构建分类器模型,然后对实时采集的运动想象脑电信号进行特征提取与分类,分类结果作为对机器人施加的前进、左转以及右转的脑控命令;
(2)、对步骤(1)中检测的脑控命令进行离散事件控制,结合机器人系统的模糊离散事件自主控制实现人机共享控制,具体步骤如下:
其中,代表机器人前进、左转、右转运动状态的集合,是脑控命令事件的总集合,表示是转移函数,是机器人系统的初始运动状态;将脑控命令作为优先级最高的控制命令,通过TCP/IP协议传送至机器人,并以运动想象的持续时间作为机器人运动的控制变量,表示为:
进行状态转移建模,表示为:
(a)、通过机器人的激光传感器采集半径为4m,角度为负50o至正50o
(b)通过机器人激光传感器采集半径为4m,角度为负90o至正90o范围
内的直线路径信息,计算其与机器人的距离LD以及相对角度:
人最近直线路径的LD及相应输入至模糊算法,经模糊运算后,得到模糊输出的靠墙行驶所需的速度及转角,为2时表示机器人靠左墙行驶,为3时表示机器人靠右墙行驶;机器人以此参数驶向其距离最近的直线路径,并调整到距离该路径0.2m的水平位置后继续前进,从而实现自主靠墙行驶行为;
(c)、结合机器人自主避障与靠墙行驶行为,建立机器人自主行为控制模糊离散事件系统,首先 确定系统初始状态=,其中,表示时刻状态的隶属程度;然后对机器人激光传感器采集的环境信息进行常规模糊运算得到模糊关系映射,其中 ,表示从状态转移到状态的隶属程度;之后计算系统下一状态
其中 ,“”为最大-乘积运算,最后计算最终行为:
这里,和分别表示时刻机器人行为的线速度与转角,机器人以此参数行驶,实现自主控制。结合脑控命令离散事件控制和机器人系统的模糊离散事件自主控制实现人机共享控制。首先以脑控命令作为优先级最高的控制命令控制机器人的行为,在此过程中,系统会检测脑控命令与当前环境信息的符合程度,当障碍物与机器人距离小于0.2m,而机器人仍然接收到靠近障碍物的脑控命令时,判断脑控命令为错误命令并切换到机器人自主控制,对错误的控制命令进行修正。当没有脑控命令出现时,机器人进入自主控制,启动模糊离散事件系统计算机器人的速度与转角,进而控制其行为。
本发明有益效果是:一种脑控机器人系统的模糊离散事件共享控制方法,它是采用基于模糊离散事件系统的机器人自主控制与人脑控制命令相结合的方法,在线识别运动想象的脑电信号并以其作为优先级最高的控制命令来分别控制机器人的前进、左转、右转行为,而当无脑控命令时,则运行基于模糊离散事件系统的自主控制模块,把机器人的避障、靠墙行驶自主控制状态模糊化,针对路径中障碍物的大小,距离远近等模糊事件形成一个模糊离散事件系统。与已有技术相比,该发明通过共享控制的方法弥补了脑机接口信息传输速率低,识别错误率高,控制时延等问题,增强了机器人在复杂环境中的自适应性。
附图说明
图1是本发明中脑控机器人的系统框图。
图2是本发明中机器人控制的流程图。
图3是本发明中脑控机器人系统的模糊离散共享控制有限自动机框图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示,脑控机器人系统主要包括脑电数据采集、特征提取与分类器训练、建立分类器模型、在线特征提取与分类、共享控制模块及机器人。具体工作过程如下:
第一步,采集脑电信号训练数据,采用NeuroScan采集C3,C4,CZ,FC3,FC4,CP3,CPZ,CP4电极处的脑电数据。采集过程中需要被试者注视屏幕,在屏幕出现左箭头、右箭头、上箭头的同时开始进行运动想象,箭头出现持续4秒,在此期间需要进行持续的想象运动,箭头消失后,被试者进行2秒的休息,如此循环共采集90次的EEG数据。
第二步,特征提取与分类器训练并建立分类器模型,对采集的EEG数据进行830Hz滤波,采用CSP对EEG信号进行特征提取,采用交叉验证的方式,使用SVM对其进行分类训练,得到分类器参数,建立在线SVM分类器。采用100ms重叠率为25%的滑动时间窗在线采集被试者的脑电信息,经过CSP特征提取与SVM分类后,输出前进、左转、右转的控制命令。
第三步,实现共享控制,本发明采用美国ActivMedia Robotics公司的Pioneer3-DX型机器人进行控制,通过TCP/IP协议进行脑控命令与机器人之间的数据传输。
如图2所示,共享控制流程如下:
步骤(1),初始化脑电设备与机器人设备,开启相应程序,进入步骤(2)。步骤(2),系统判断是否有脑控命令信息,有则进入步骤(3),否则进入步骤(4)。
步骤(3),首先进行脑控命令的检测,判断其是否符合环境信息,即检
测当障碍物与机器人距离小于0.2m时,机器人是否仍然接收到靠近障碍物的脑控命令,有则进入步骤(4),否则进入脑控命令模式,在脑控命令持续时间内,执行以作为恒定线速度的前进命令或者以作为转角的左转或右转的命令,随后系统判断控制命令的结束与否,结束则进入步骤(2),否则等待控制命令结束。
步骤(4),进入机器人自主控制模式,通过机器人激光传感器采集环境信息,通过模糊运算计算糊关系映射,然后计算系统下一状态,最后对避障和靠墙行驶进行控制行为融合,得到避障与靠墙行驶行为融合后的线速度与转角,输出控制命令并判断其是否执行完毕,执行完毕则进入步骤(2),否则等待控制命令执行完毕。
Claims (1)
1.一种脑控机器人系统的模糊离散事件共享控制方法,其特征包括以下步骤:
(1)、利用脑电采集设备采集运动想象任务下的脑电信号作为训练数据,进行特征提取,计算分类器参数从而构建分类器模型,然后对实时采集的运动想象脑电信号进行特征提取与分类,分类结果作为对机器人施加的前进、左转以及右转的脑控命令;
(2)对步骤(1)中检测的脑控命令进行离散事件控制,结合机器人系统的模糊离散事件自主控制实现人机共享控制,具体步骤如下:
(A)、建立脑控命令离散事件集,采用有限状态自动机 对脑控命令离散事件进行状态转移建模,表示为:
其中,代表机器人前进、左转、右转运动状态的集合,是脑控命令事件的总集合,表示是转移函数,是机器人系统的初始运动状态;将脑控命令作为优先级最高的控制命令,通过TCP/IP协议传送至机器人,并以运动想象的持续时间作为机器人运动的控制变量,表示为:
(B)、建立机器人自主行为的模糊离散事件集,采用模糊有限状态自动机
进行状态转移建模,表示为:
这里, 代表机器人避障、靠左墙行驶、靠右墙行驶的有限模糊状态的集合,为状态转移模糊事件集,
(a)、通过机器人的激光传感器采集半径为4m,角度为负50o至正50o
(b)通过机器人激光传感器采集半径为4m,角度为负90o至正90o范围
人最近直线路径的LD及相应输入至模糊算法,经模糊运算后,得到模糊输出的靠墙行驶所需的速度及转角,为2时表示机器人靠左墙行驶,为3时表示机器人靠右墙行驶;机器人以此参数驶向其距离最近的直线路径,并调整到距离该路径0.2m的水平位置后继续前进,从而实现自主靠墙行驶行为;
(c)、结合机器人自主避障与靠墙行驶行为,建立机器人自主行为控制模糊离散事件系统,首先确定系统初始状态=,其中,表示时刻状态的隶属程度;然后对机器人激光传感器采集的环境信息进行常规模糊运算得到模糊关系映射,其中 ,表示从状态转移到状态的隶属程度;之后计算系统下一状态
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310015221.1A CN103116279B (zh) | 2013-01-16 | 2013-01-16 | 脑控机器人系统的模糊离散事件共享控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310015221.1A CN103116279B (zh) | 2013-01-16 | 2013-01-16 | 脑控机器人系统的模糊离散事件共享控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103116279A true CN103116279A (zh) | 2013-05-22 |
CN103116279B CN103116279B (zh) | 2015-07-15 |
Family
ID=48414693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310015221.1A Expired - Fee Related CN103116279B (zh) | 2013-01-16 | 2013-01-16 | 脑控机器人系统的模糊离散事件共享控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103116279B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103926831A (zh) * | 2014-02-26 | 2014-07-16 | 南京邮电大学 | 基于混杂理论的机器人辅助肌力训练控制方法及系统 |
CN103970012A (zh) * | 2014-02-26 | 2014-08-06 | 南京邮电大学 | 基于生物阻抗辨识的机器人辅助肌力混杂控制方法及控制系统 |
CN104523268A (zh) * | 2015-01-15 | 2015-04-22 | 江南大学 | 一种具备迁移学习能力的脑电信号识别模糊系统方法 |
CN107669416A (zh) * | 2017-09-30 | 2018-02-09 | 五邑大学 | 基于持续‑轻快运动想象神经解码的轮椅系统及控制方法 |
CN108108763A (zh) * | 2017-12-25 | 2018-06-01 | 中国科学院深圳先进技术研究院 | 脑电分类模型生成方法、装置及电子设备 |
CN108415554A (zh) * | 2018-01-18 | 2018-08-17 | 大连理工大学 | 一种基于p300的脑控机器人系统及其实现方法 |
CN109799710A (zh) * | 2019-02-02 | 2019-05-24 | 南京林业大学 | 基于多方位肌电信号的老年座椅运动控制方法和系统 |
CN110584898A (zh) * | 2019-10-08 | 2019-12-20 | 南京邮电大学 | 一种基于多传感器的脑控轮椅自动避障方法 |
CN110955251A (zh) * | 2019-12-25 | 2020-04-03 | 华侨大学 | 基于Petri网的移动机器人脑机协同控制方法和系统 |
CN111443603A (zh) * | 2020-03-31 | 2020-07-24 | 东华大学 | 基于自适应模糊神经网络系统的机器人共享控制方法 |
CN112035992A (zh) * | 2019-05-14 | 2020-12-04 | 中国科学院沈阳自动化研究所 | 一种基于多目标优化的自主遥控水下机器人共享控制方法 |
CN112148011A (zh) * | 2020-09-24 | 2020-12-29 | 东南大学 | 一种未知环境下脑电移动机器人共享控制方法 |
WO2021233180A1 (zh) * | 2020-05-19 | 2021-11-25 | 深圳忆海原识科技有限公司 | 具有记忆与信息抽象功能的类脑神经网络 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110055597A1 (en) * | 2009-09-01 | 2011-03-03 | Nvidia Corporation | Regulating power using a fuzzy logic control system |
CN202161317U (zh) * | 2011-07-29 | 2012-03-14 | 中国科学院沈阳自动化研究所 | 脑电和近红外光谱联合采集脑信号的头盔 |
CN102814815A (zh) * | 2012-08-24 | 2012-12-12 | 广东工业大学 | 一种虚拟工程机器人系统及控制方法 |
-
2013
- 2013-01-16 CN CN201310015221.1A patent/CN103116279B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110055597A1 (en) * | 2009-09-01 | 2011-03-03 | Nvidia Corporation | Regulating power using a fuzzy logic control system |
CN202161317U (zh) * | 2011-07-29 | 2012-03-14 | 中国科学院沈阳自动化研究所 | 脑电和近红外光谱联合采集脑信号的头盔 |
CN102814815A (zh) * | 2012-08-24 | 2012-12-12 | 广东工业大学 | 一种虚拟工程机器人系统及控制方法 |
Non-Patent Citations (1)
Title |
---|
薛匡正: "脑控机器人系统运动控制算法研究", 《中国优秀硕士学位论文全文数据库,信息科技辑》 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103926831A (zh) * | 2014-02-26 | 2014-07-16 | 南京邮电大学 | 基于混杂理论的机器人辅助肌力训练控制方法及系统 |
CN103970012A (zh) * | 2014-02-26 | 2014-08-06 | 南京邮电大学 | 基于生物阻抗辨识的机器人辅助肌力混杂控制方法及控制系统 |
CN104523268A (zh) * | 2015-01-15 | 2015-04-22 | 江南大学 | 一种具备迁移学习能力的脑电信号识别模糊系统方法 |
CN104523268B (zh) * | 2015-01-15 | 2017-02-22 | 江南大学 | 一种具备迁移学习能力的脑电信号识别模糊系统方法 |
CN107669416A (zh) * | 2017-09-30 | 2018-02-09 | 五邑大学 | 基于持续‑轻快运动想象神经解码的轮椅系统及控制方法 |
CN108108763A (zh) * | 2017-12-25 | 2018-06-01 | 中国科学院深圳先进技术研究院 | 脑电分类模型生成方法、装置及电子设备 |
CN108108763B (zh) * | 2017-12-25 | 2021-07-23 | 中国科学院深圳先进技术研究院 | 脑电分类模型生成方法、装置及电子设备 |
CN108415554A (zh) * | 2018-01-18 | 2018-08-17 | 大连理工大学 | 一种基于p300的脑控机器人系统及其实现方法 |
CN108415554B (zh) * | 2018-01-18 | 2020-11-10 | 大连理工大学 | 一种基于p300的脑控机器人系统及其实现方法 |
CN109799710A (zh) * | 2019-02-02 | 2019-05-24 | 南京林业大学 | 基于多方位肌电信号的老年座椅运动控制方法和系统 |
CN109799710B (zh) * | 2019-02-02 | 2021-12-03 | 南京林业大学 | 基于多方位肌电信号的老年座椅运动控制方法和系统 |
CN112035992A (zh) * | 2019-05-14 | 2020-12-04 | 中国科学院沈阳自动化研究所 | 一种基于多目标优化的自主遥控水下机器人共享控制方法 |
CN112035992B (zh) * | 2019-05-14 | 2024-01-09 | 中国科学院沈阳自动化研究所 | 一种基于多目标优化的自主遥控水下机器人共享控制方法 |
CN110584898A (zh) * | 2019-10-08 | 2019-12-20 | 南京邮电大学 | 一种基于多传感器的脑控轮椅自动避障方法 |
CN110955251A (zh) * | 2019-12-25 | 2020-04-03 | 华侨大学 | 基于Petri网的移动机器人脑机协同控制方法和系统 |
CN111443603A (zh) * | 2020-03-31 | 2020-07-24 | 东华大学 | 基于自适应模糊神经网络系统的机器人共享控制方法 |
WO2021233180A1 (zh) * | 2020-05-19 | 2021-11-25 | 深圳忆海原识科技有限公司 | 具有记忆与信息抽象功能的类脑神经网络 |
WO2022062169A1 (zh) * | 2020-09-24 | 2022-03-31 | 东南大学 | 一种未知环境下脑电移动机器人共享控制方法 |
CN112148011B (zh) * | 2020-09-24 | 2022-04-15 | 东南大学 | 一种未知环境下脑电移动机器人共享控制方法 |
CN112148011A (zh) * | 2020-09-24 | 2020-12-29 | 东南大学 | 一种未知环境下脑电移动机器人共享控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103116279B (zh) | 2015-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103116279B (zh) | 脑控机器人系统的模糊离散事件共享控制方法 | |
CN103679203B (zh) | 机器人的人脸检测与情感识别系统及方法 | |
CN104083258B (zh) | 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法 | |
CN106237604A (zh) | 可穿戴设备及利用其监测运动状态的方法 | |
CN103353935A (zh) | 一种用于智能家居系统的3d动态手势识别方法 | |
CN105807926A (zh) | 一种基于三维连续动态手势识别的无人机人机交互方法 | |
Lu | A motion control method of intelligent wheelchair based on hand gesture recognition | |
CN107765855A (zh) | 一种基于手势识别控制机器人运动的方法和系统 | |
CN105425791A (zh) | 一种基于视觉定位的群机器人控制系统及方法 | |
CN106378780A (zh) | 一种机器人系统、控制机器人的方法和服务器 | |
CN106054882A (zh) | 一种机器人避障方法 | |
CN112148011B (zh) | 一种未知环境下脑电移动机器人共享控制方法 | |
CN106708251A (zh) | 一种基于眼球追踪技术的智能眼镜控制方法 | |
CN102980454B (zh) | 一种基于脑机结合的机器人排爆系统的排爆方法 | |
CN103605466A (zh) | 一种基于面部识别操控终端的方法 | |
CN104062972B (zh) | 一种可移动家用设备与人相对位置调整控制方法及其系统 | |
CN110497405B (zh) | 用于驱控一体化控制系统的力反馈人机协作防碰撞检测方法及模块 | |
CN102830798A (zh) | 单臂机器人基于Kinect的无标记人手跟踪方法 | |
CN110955251A (zh) | 基于Petri网的移动机器人脑机协同控制方法和系统 | |
CN108089695A (zh) | 一种控制可移动设备的方法和装置 | |
CN108499081A (zh) | 一种智能穿戴设备的控制方法及智能穿戴设备 | |
CN113128339A (zh) | 一种基于行为识别的智能车辆运行控制系统和方法 | |
CN110802594B (zh) | 一种手势控制方法、芯片及遛娃机器人 | |
CN108062102A (zh) | 一种手势控制具有辅助避障功能的移动机器人遥操作系统 | |
CN103177245A (zh) | 手势识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150715 Termination date: 20220116 |