CN112518743B - 一种面向空间机械臂在轨操作的多模态神经解码控制系统及方法 - Google Patents
一种面向空间机械臂在轨操作的多模态神经解码控制系统及方法 Download PDFInfo
- Publication number
- CN112518743B CN112518743B CN202011312820.6A CN202011312820A CN112518743B CN 112518743 B CN112518743 B CN 112518743B CN 202011312820 A CN202011312820 A CN 202011312820A CN 112518743 B CN112518743 B CN 112518743B
- Authority
- CN
- China
- Prior art keywords
- signal
- signals
- electroencephalogram
- image
- space manipulator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000001537 neural effect Effects 0.000 title claims abstract description 20
- 230000033001 locomotion Effects 0.000 claims abstract description 27
- 238000004891 communication Methods 0.000 claims abstract description 21
- VZCCETWTMQHEPK-QNEBEIHSSA-N gamma-linolenic acid Chemical compound CCCCC\C=C/C\C=C/C\C=C/CCCCC(O)=O VZCCETWTMQHEPK-QNEBEIHSSA-N 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000000306 recurrent effect Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000009432 framing Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 241000287181 Sturnus vulgaris Species 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 3
- 238000003909 pattern recognition Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 5
- 239000011159 matrix material Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 239000013598 vector Substances 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种面向空间机械臂在轨操作的多模态神经解码控制系统及方法，利用Emotiv Epoc+脑电仪采集脑电信号和眼电信号，用电脑自带的麦克风采集语音信号；模式识别模块将四类脑电信号和四类语音信号融合解码，识别有意识眨眼信号；控制模块将脑电信号和语音信号的融合解码结果以及有意识眨眼信号通过UDP网络通信传入构建的unity环境中，转换为控制信号，控制虚拟环境中的空间机械臂移动并抓取目标物品。本发明针对航天员在太空中失重的情况，采用通过生物信息控制虚拟环境下的空间机械臂移动的方法完成移动指定目标的任务，达到较好的人‑机交互效果。
Description
技术领域
本发明涉及人-机交互智能控制技术，尤其涉及面向空间机械臂在轨操作的多模态神经解码控制系统及方法。
背景技术
空间站作为航天站，是一种放置在太空中、固定在轨道上长期运行的巨型卫星，以载人从事各种太空活动，形成多用途航天中心。在实际运行中，空间站可以和多个航天器进行同时对接，形成大型轨道联合体。空间站的多种优势除了用于科学实验，还被应用在军事领域中，具有独特的军事应用功能，空间机器臂对于空间站的正常运行起着巨大的作用。
早期的空间机械臂控制通过键盘、按钮和示教盒进行的，操作复杂，只能完成简单任务。近几年，人机交互应用于国际空间站在轨操作，如Robonaut2完成了诸如与航天员在太空中首次握手、人机交互式协同操作旋钮、面板、阀门等方面的测试；KIROBO机器人在轨与日本航天员之间人机对话等交互式测试。但涉及的生物信息较单一、实现任务少。
发明内容
发明目的：本发明的一个目的是提供一种面向空间机械臂在轨操作的多模态神经解码控制系统。
本发明的另一个目的是提供一种面向空间机械臂在轨操作的多模态神经解码控制方法，该方法消除了航天员由于在空间失重环境下身体不便或环境受限等原因在与空间机械臂进行交互时遇到的输入障碍，具有较高的控制精度。
技术方案：本发明的一种面向空间机械臂在轨操作的多模态神经解码控制系统，包括目标定位模块、信号采集模块、模式识别模块和控制模块，其中，目标定位模块用于定位环境中目标物品位置，信号采集模块用于采集脑电信号、眼电信号和语音信号，模式识别模块用于解码四类脑电信号、有意识眼电信号和四类语音信号，四类脑电信号包括左手运动想象信号、右手运动想象信号、双脚运动想象信号和舌头运动想象信号，四类语音信号包括left、right、down、up，控制模块将四类脑电信号和四类语音信号的解码结果、有意识眼电信号通过UDP网络通信传入构建的unity环境中，转换为控制信号，控制虚拟环境中的空间机械臂移动并抓取目标物品。
优选的，目标定位模块包括图像采集模块、图像处理模块和图片识别模块，受试者注视目标物品时，利用图像采集模块拍摄受试者人脸图像；图像处理模块利用opencv中的人眼识别分类器识别人脸图像，填充图像外围，使图像大小为130*130像素，将图像进行灰度处理；图片识别模块采用卷积神经网络得到目标物品的坐标。
优选的，信号采集模块包括脑电信号采集模块、眼电信号采集模块和语音信号采集模块，脑电信号和眼电信号利用Emotiv Epoc+脑电仪采集，在Emotiv Pro软件平台中得到实时信号；脑电信号采样频率为250Hz，眼电信号采集频率为256Hz，语音信号利用电脑自带的麦克风采集，每次采集时间持续1s，采集频率为16kHz。
优选的，模式识别模块包括脑电信号特征提取模块、眼电信号识别模块、语音信号特征提取模块和脑电信号与语音信号融合模块，将信号采集模块采集的脑电信号采用基于小波系数的共空间模式方法提取特征；将信号采集模块采集的眼电信号在滤除噪声后，选择标准差和峰值作为特征，采用K-近邻的方法识别有意识眨眼信号；将信号采集模块采集的语音信号提取梅尔倒谱系数作为特征，将脑电信号特征与语音信号特征融合，采用循环神经网络进行分类，得到解码结果。
优选的，控制模块包括unity搭建的环境、空间机械臂和UDP网络通信，用unity 3d平台搭建虚拟空间机械臂并在环境中设置目标物品；利用UDP网络通信将模式识别模块得到的解码结果传递给unity 3d平台，控制空间机械臂移动并抓取目标物品。
本发明的一种面向空间机械臂在轨操作的多模态神经解码控制方法，包括以下步骤：
S1、在unity 3d平台中搭建一个空间机械臂并设置一个目标物品，受试者注视目标物品，用opencv中的摄像机拍摄受试者脸部图像，获取目标物品的位置，受试者注视空间机械臂底座，用opencv中的摄像机拍摄受试者脸部图像，获取空间机械臂底座的位置，通过计算得到目标物品在机械臂坐标系下的相对位置；
S2、采集脑电信号和语音信号，并提取脑电信号特征和语音信号特征；
S3、将脑电信号与语音信号融合，并将融合后的解码结果利用UDP网络通信发送到电脑中，unity 3d读取解码结果，控制空间机械臂运动；
S4、在unity 3d平台观察机械臂末端坐标是否到达目标物品坐标位置，若到达，则执行步骤S5，若未到达，则返回步骤S2，直到机械臂末端坐标到达目标物品位置；
S5、采集眼电信号，识别有意识眨眼信号，当判断传入信号为有意识眨眼信号时，将判断结果通过UDP网络通信发送到电脑中，unity 3d读取判断结果，作为控制信号控制空间机械臂末端抓取目标物品。
进一步的，步骤S1包括以下步骤：
S11、将电脑屏幕平均分为16*9块矩形，每块矩形大小相同，屏幕左上角定义为坐标原点(0，0)，计算每块矩形坐标；
S12、受试者注视目标物品所在矩形，调用opencv中的摄像机拍摄受试者脸部图像，用opencv中的基于haar特征的级联boosted左眼分类器截取左眼图像；用黑色填充图像外围，使图像大小为130*130像素，将图像进行灰度处理；将灰度处理后的图像输入卷积神经网络中，得到受试者注视目标物品所在矩形坐标；
S13、受试者注视空间机械臂底座所在矩形，调用opencv中的摄像机拍摄受试者脸部图像，用opencv中的基于haar特征的级联boosted左眼分类器截取左眼图像；用黑色填充图像外围，使图像大小为130*130像素，将图像进行灰度处理；将灰度处理后的图像输入卷积神经网络中，得到受试者注视空间机械臂底座所在矩形坐标；计算其与目标物品所在矩形坐标差，得到目标物品与空间机械臂底座的相对坐标。
进一步的，步骤S2包括以下步骤：
S21、用Emotiv Epoc+脑电仪在Emotiv Pro软件平台上采集脑电信号，将EmotivEpoc+脑电仪戴在受试者头部，利用Emotiv Pro软件平台采集脑电信息；每次采集时间持续8s左右，第2s时，屏幕上出现指示箭头，当屏幕出现左箭头时，想象左手运动；当屏幕出现右箭头时，想象右手运动；当屏幕出现向上箭头时，想象舌头运动；当屏幕出现向下箭头时，想象双脚运动；3s到6s时，受试者保持该动作想象，信号采样频率为250Hz；训练模型时，选取C3、C4、Cz通道的脑电信号，先通过0.5-100Hz的带通滤波器和50Hz的陷波滤波器滤波，再采用FastICA进行盲源分离，选择db5作为基信号，对脑电信号进行五层小波分解，对第三层、第四层的细节系数用共空间模式一对一空间滤波，使每类信号得到3*3个特征；
S22、用麦克风采集语音信号，生成wav格式语音文件，采集时间为1s，采集频率为16kHz，音频声道数为2；将语音信号预加重、分帧、加窗后提取梅尔倒谱系数作为特征。
进一步的，步骤S3包括以下步骤：
S31、将语音信号提取的梅尔倒谱系数特征用主成分分析方法降维，然后用共空间模式一对一空间滤波，使每类信号得到9个特征，将这些特征与脑电信号提取的特征在特征层融合，使每类信号得到18维特征，采用循环神经网络对提取的特征进行分类，得到信号融合的解码结果；
S32、利用UDP网络通信将解码结果发送到本机地址，unity 3d从本机接收解码结果，将其作为控制信号控制空间机械臂运动。
进一步的，步骤S5包括以下步骤：
用Emotiv Epoc+脑电仪在Emotiv Pro软件平台采集眼电信号，采集频率为256Hz；采用6阶巴特沃斯滤波器得到0.5-60Hz的14通道眼电信号，再采用infomax进行盲源分离，用小波去噪的方法滤去高频噪声的影响，选择标准差和峰值作为特征，采用K-近邻的方法识别有意识眨眼信号；当判断传入信号为有意识眨眼信号时，将判断结果利用UDP网络通信发送到本机地址；利用unity 3d平台接收判断结果，作为控制信号控制空间机械臂末端抓取目标物品。
有益效果：与现有技术相比，本发明通过采集航天员的生物信息(脑电信号、眼电信号、语音信号)控制空间机械臂在轨捕获目标物品；脑电信号采用基于小波系数的共空间模式方法提取特征，将脑电信号提取特征与语音信号提取特征融合，采用循环神经网络进行分类，提高分类准确性，降低误操作的可能性。移动空间机械臂到达指定位置后，采集航天员的眼电信息确认并控制空间机械臂末端抓取目标物品，将眼电信号应用于控制过程中。该方法将脑电、眼电和语音等生物信息融合，通过多模态神经解码，实现航天员在轨操作空间机械臂，具有创造性，提高航天员在失重太空操作空间机械臂的稳定性与可靠性。本发明针对航天员在太空中失重的情况，采用通过生物信息控制虚拟环境下的空间机械臂移动的方法完成移动指定目标的任务，达到较好的人-机交互效果。
附图说明
图1为本发明的系统整体结构示意图；
图2为本发明方法流程图；
图3为本发明目标定位模块示意图；
图4为本发明目标定位模块卷积神经网络示意图；
图5为Emotiv Epoc+脑电采集通道示意图；
图6为本发明脑电信号特征提取模块示意图；
图7为本发明语音信号特征提取模块示意图；
图8为本发明脑电信号与语音信号融合模块示意图；
图9为本发明脑电信号与语音信号融合模块循环神经网络示意图；
图10为本发明眼电信号识别模块示意图。
具体实施方式
下面，结合附图对本发明做进一步详细说明。
本发明将脑-眼动跟踪技术应用到失重环境下空间机械臂的姿态稳定控制。脑-眼动控制作为一种新型的控制方式，摆脱了对肢体动作的要求，突破了依赖航天员操作鼠标键盘、操作杆等传统手动控制的局限性，消除了由于在空间失重环境下身体不便或环境受限等原因在与空间机械臂进行交互时遇到的输入障碍，实现双向多模态人机交互，完成空间机械臂在太空捕获失效的卫星、或完成空间站装备作业，增强我国在太空领域的优势。
本发明的一种面向空间机械臂在轨操作的多模态神经解码控制系统，包括目标定位模块、信号采集模块、模式识别模块和控制模块，其中，目标定位模块用于定位环境中目标物品位置，信号采集模块用于采集脑电信号、有意识眨眼信号和语音信号，模式识别模块用于解码四类脑电信号(左手运动想象信号、右手运动想象信号、双脚运动想象信号、舌头运动想象信号)、有意识眼电信号和四类语音信号(left、right、down、up)，控制模块将四类脑电信号和四类语音信号的解码结果、有意识眼电信号通过UDP网络通信传入构建的unity环境中，转换为控制信号，控制虚拟环境中的空间机械臂移动并抓取目标物品。
用unity 3d平台搭建虚拟空间机械臂并在设置目标物品，受试者注视目标物品，用opencv中的摄像机拍摄受试者脸部图像，获取目标物品的位置，受试者注视空间机械臂底座，用opencv中的摄像机拍摄受试者脸部图像，获取空间机械臂底座的位置，通过计算得到目标物品在机械臂坐标系下的相对位置；脑电信号和眼电信号利用EmotivEpoc+脑电仪采集。脑电信号采样频率为250Hz。眼电信号采集频率为256Hz。语音信号利用电脑自带的麦克风采集，每次采集时间持续1s，采集频率为16kHz。脑电信号采用基于小波包系数的共空间模式方法提取特征。眼电信号在滤除噪声后，选择标准差和峰值作为特征，采用K-近邻的方法识别有意识眨眼信号。语音信号，提取梅尔倒谱系数作为特征。将脑电信号特征与语音信号特征融合，采用循环神经网络进行解码，得到解码结果。利用UDP网络通信将解码结果传递给unity 3d平台，控制空间机械臂移动。当机械臂末端移动到目标物品时，识别有意识眨眼信号抓取物品。如图1所示。
如图2所示，一种面向空间机械臂在轨操作的多模态神经解码控制方法，包括以下步骤：
S1、在unity 3d平台中搭建一个空间机械臂并设置一个目标物品，受试者注视目标物品，用opencv中的摄像机拍摄受试者脸部图像，获取目标物品的位置，受试者注视空间机械臂底座，用opencv中的摄像机拍摄受试者脸部图像，获取空间机械臂底座的位置，通过计算得到目标物品在机械臂坐标系下的相对坐标。如图3所示。具体的：
S11、将电脑屏幕平均分为16*9块矩形，每块矩形大小相同，屏幕左上角定义为坐标原点(0，0)，计算每块矩形坐标。
S12、受试者注视目标物品所在矩形，调用opencv中的摄像机拍摄受试者脸部图像，用opencv中的基于haar特征的级联boosted左眼分类器截取左眼图像；用黑色填充图像外围，使图像大小为130*130像素，将图像进行灰度处理；将灰度处理后的图像输入卷积神经网络中，得到受试者注视目标物品所在矩形坐标。
S13、受试者注视空间机械臂底座所在矩形，调用opencv中的摄像机拍摄受试者脸部图像，用opencv中的基于haar特征的级联boosted左眼分类器截取左眼图像；用黑色填充图像外围，使图像大小为130*130像素，将图像进行灰度处理；将灰度处理后的图像输入卷积神经网络中，得到受试者注视空间机械臂底座所在矩形坐标；计算其与目标物品所在矩形坐标差，得到目标物品与空间机械臂底座的相对坐标。目标定位模块卷积神经网络示意图如图4所示。
S2、采集脑电信号和语音信号，并提取脑电信号特征和语音信号特征；
S21、用Emotiv Epoc+脑电仪在Emotiv Pro软件平台采集脑电信号。将EmotivEpoc+脑电仪戴在受试者头部，利用Emotiv Pro软件平台采集脑电信息。每次采集时间持续8s左右，第2s时，屏幕上出现指示箭头。当屏幕出现左箭头时，想象左手运动；当屏幕出现右箭头时，想象右手运动；当屏幕出现向上箭头时，想象舌头运动；当屏幕出现向下箭头时，想象双脚运动。3s到6s时，受试者保持该动作想象。信号采样频率为250Hz。训练模型时，如图5所示，选取C3、C4、Cz通道的脑电信号，先通过0.5-100Hz的巴特沃斯带通滤波器和50Hz的陷波滤波器滤波，再采用FastICA进行盲源分离。选择db5作为基信号，对脑电信号进行五层小波分解。
表1五层小波分解频带范围表
对第三层、第四层(16-31Hz)的细节系数用共空间模式(Common Space Pattern,CSP)一对一空间滤波，共得到6个空间滤波器，使每类信号得到3*3个特征向量。实时识别时，用上述方法采集脑电信号、滤波并提取特征。如图6所示。
共空间模式(Common Space Pattern,CSP)步骤如下：
若第k类脑电信号Xk可表示为：
其中，N表示通道数，T表示采样点数，xi(j)表示第i个通道的第j个采样点。
1)求取脑电信号的规范化协方差矩阵Rk：
设两类任务的规范化协方差矩阵分别为R1和R2。
2)复合的规范化协方差矩阵Rc：
Rc＝R1+R2；
3)对规范化协方差矩阵Rc进行特征值分解：
其中，λc为特征值矩阵，Uc为特征向量法矩阵。
4)构造白化变换矩阵Q：
5)利用白化变换矩阵Q对协方差矩阵R1和R2处理：
S1＝QR1QT，S2＝QR2QT；
其中，S1、S2具有相同的特征向量，存在对角矩阵λ1、λ2和特征向量矩阵B，对S1、S2进行主分量分解，可得：
S1＝Bλ1BT，S2＝Bλ2BT，且(λ1+λ2＝I)；
由上式可知，若λ1中特征值按降序排列，则λ2中特征值按升序排列，B是S1、S2特征向量组成的矩阵；即当S1特征值最大时，S2特征值最小。保证了两类信号差异最大化。
6)求取投影矩阵，即空间滤波器W：
W＝BTQ；
7)通过空间滤波器W得到特征矩阵Zk和特征向量fk。
Zk＝WT×Xk；
S22、用麦克风采集语音信号，生成wav格式语音文件，采集时间为1s，采集频率为16kHz，音频声道数为2。将语音信号预加重、分帧、加汉明窗后提取梅尔倒谱系数(MelFrequency Cepstral Coefficients,MFCC)作为特征。实时识别时，用上述方法采集语音信号、预处理并提取特征。如图7所示。
将400个采样点集合成一个观测单位，称为帧，为了避免相邻两帧的变化过大，两相邻帧之间取240个重复的取样点，将语音信号分为了98帧。将每一帧上加上汉明窗，增加帧左端和右端的连续性。汉明窗的公式如下：
其中，a取0.46。
分帧后的信号为S(n)，则加汉明窗后的信号为：
S′(n)＝S(n)×W(n，a)；
将分帧信号经过快速傅里叶变换得到频谱上的能量分布：
将经过快速傅里叶变换的信号取绝对值的平方得到语音信号的能量谱。将能量谱通过一组有40个三角形滤波器的滤波器组。
第m个三角滤波器的频率响应定义为：
其中，f(m)表示第m个三角滤波器的中心频率，
第m个滤波器对分帧信号进行滤波后得到的能量值为：
三角带通滤波器对频谱进行平滑化，并消除谐波的作用，突显语音信号的共振峰。
将得到的能量值进行离散余弦变换(Discrete Cosine Transform,DCT)，得到梅尔倒谱系数：
其中，L为梅尔倒谱系数的阶数，取12。M为三角滤波器的个数，取40。
S3、将脑电信号与语音信号融合，并将融合后的解码结果写入电脑串口中，进行控制空间机械臂运动；如图8所示。
S31、将语音信号提取的梅尔倒谱系数特征用主成分分析方法(PrincipleComponentAnalysis,PCA)降维，然后用共空间模式一对一空间滤波，使每类信号得到9个特征向量，将每类语音信号得到的9个特征向量与对应的每类脑电信号得到的9个特征向量拼接，(左手运动想象与left语音信号拼接，右手运动想象与right语音信号拼接，双脚运动想象与down语音信号拼接，舌头运动想象与up语音信号拼接)使每类信号得到18个特征向量，采用循环神经网络对提取的特征进行解码，得到信号融合的解码结果，循环神经网络结构如图9所示。采用脑电信号和语音信号融合识别的方法提高了解码准确率，降低误操作的可能性。
S32、利用UDP网络通信将解码结果发送到本机地址，unity 3d从本机接收解码结果，将其作为控制信号控制空间机械臂运动。如表1所示，当脑电信号为左手运动想象信号，语音信号为left时，空间机械臂腰部逆时针转动；当脑电信号为右手运动想象信号，语音信号为right时，空间机械臂腰部顺时针转动；当脑电信号为双脚运动想象信号，语音信号为down时，空间机械臂小臂逆时针转动；当脑电信号为舌头运动想象信号，语音信号为up时，空间机械臂小臂顺时针转动。
表2控制指令与空间机械臂动作对应关系
S4、在unity 3d平台观察机械臂末端坐标是否到达目标物品坐标位置，若到达，则执行步骤S5，若未到达，则返回步骤S2，直到机械臂末端坐标到达目标物品坐标位置。
S5、采集眼电信号，识别有意识眨眼信号，当判断传入信号为有意识眨眼信号时，将判断结果通过UDP网络通信发送到电脑中，unity 3d读取判断结果，作为控制信号控制空间机械臂末端抓取目标物品。眼电信号识别模块示意图如图10所示。
具体的：用Emotiv Epoc+脑电仪在Emotiv Pro软件平台采集眼电信号，采集频率为256Hz。采用6阶巴特沃斯滤波器得到0.5-60Hz的14通道眼电信号，再采用infomax进行盲源分离，用小波去噪的方法滤去高频噪声的影响。
其中，小波去噪的阈值为：
其中，mSampEn为14个通道样本熵的均值，σSampEn为14个通道样本熵的标准差，N为采样点数，t为t分布，Nf为t分布的自由度，取13。mkurtosis为14个通道峰度的均值，σkurtosis为14个通道峰度的标准差。
选择去噪后眼电信号的标准差和峰值作为特征，采用K-近邻(K-NearestNeighbour,KNN)的方法分类有意识眨眼信号和无意识眨眼信号。当判断传入信号为有意识眨眼信号时，将判断结果通过UDP网络通信发送到电脑中，unity 3d读取判断结果，作为控制信号控制空间机械臂末端抓取目标物品。
综上，发明摄像头定位虚拟环境中目标物品位置利用Emotiv Epoc+脑电仪采集脑电信号和眼电信号，用电脑自带的麦克风采集语音信号；模式识别模块解码四类脑电信号(左手运动想象信号、右手运动想象信号、双脚运动想象信号、舌头运动想象信号)和四类语音信号(left、right、down、up)融合结果、识别有意识眨眼信号；控制模块将脑电信号和语音信号的融合解码结果以及有意识眨眼信号通过UDP网络通信传入构建的unity环境中，转换为控制信号，控制虚拟环境中的空间机械臂移动并抓取目标物品。本发明针对航天员在太空中失重的情况，采用通过生物信息控制虚拟环境下的空间机械臂移动的方法完成移动指定目标的任务，达到较好的人-机交互效果。
Claims (9)
1.一种面向空间机械臂在轨操作的多模态神经解码控制系统，其特征在于，包括目标定位模块、信号采集模块、模式识别模块和控制模块，其中，目标定位模块用于定位环境中目标物品位置，信号采集模块用于采集脑电信号、眼电信号和语音信号，模式识别模块用于解码四类脑电信号、有意识眼电信号和四类语音信号，四类脑电信号包括左手运动想象信号、右手运动想象信号、双脚运动想象信号和舌头运动想象信号，四类语音信号包括left、right、down、up，控制模块将四类脑电信号和四类语音信号的解码结果、有意识眼电信号通过UDP网络通信传入构建的unity环境中，转换为控制信号，控制虚拟环境中的空间机械臂移动并抓取目标物品；
模式识别模块包括脑电信号特征提取模块、眼电信号识别模块、语音信号特征提取模块和脑电信号与语音信号融合模块，将信号采集模块采集的脑电信号采用基于小波系数的共空间模式方法提取特征；将信号采集模块采集的眼电信号在滤除噪声后，选择标准差和峰值作为特征，采用K-近邻的方法识别有意识眨眼信号；将信号采集模块采集的语音信号提取梅尔倒谱系数作为特征，将脑电信号特征与语音信号特征融合，采用循环神经网络进行分类，得到解码结果。
2.根据权利要求1所述的面向空间机械臂在轨操作的多模态神经解码控制系统，其特征在于，目标定位模块包括图像采集模块、图像处理模块和图片识别模块，受试者注视目标物品时，利用图像采集模块拍摄受试者人脸图像；图像处理模块利用opencv中的人眼识别分类器识别人脸图像，填充图像外围，使图像大小为130*130像素，将图像进行灰度处理；图片识别模块采用卷积神经网络得到目标物品的坐标。
3.根据权利要求1所述的面向空间机械臂在轨操作的多模态神经解码控制系统，其特征在于，信号采集模块包括脑电信号采集模块、眼电信号采集模块和语音信号采集模块，脑电信号和眼电信号利用Emotiv Epoc+脑电仪采集，在Emotiv Pro软件平台中得到实时信号；脑电信号采样频率为250Hz，眼电信号采集频率为256Hz，语音信号利用电脑自带的麦克风采集，每次采集时间持续1s，采集频率为16kHz。
4.根据权利要求1所述的面向空间机械臂在轨操作的多模态神经解码控制系统，其特征在于，控制模块包括unity搭建的环境、空间机械臂和UDP网络通信，用unity 3d平台搭建虚拟空间机械臂并在环境中设置目标物品；利用UDP网络通信将模式识别模块得到的解码结果传递给unity 3d平台，控制空间机械臂移动并抓取目标物品。
5.一种面向空间机械臂在轨操作的多模态神经解码控制方法，其特征在于，包括以下步骤：
S1、在unity 3d平台中搭建一个空间机械臂并设置一个目标物品，受试者注视目标物品，用opencv中的摄像机拍摄受试者脸部图像，获取目标物品的位置，受试者注视空间机械臂底座，用opencv中的摄像机拍摄受试者脸部图像，获取空间机械臂底座的位置，通过计算得到目标物品在机械臂坐标系下的相对位置；
S2、采集脑电信号和语音信号，并提取脑电信号特征和语音信号特征；
S3、将脑电信号与语音信号融合，并将融合后的解码结果利用UDP网络通信发送到电脑中，unity 3d读取解码结果，控制空间机械臂运动；
S4、在unity 3d平台观察机械臂末端坐标是否到达目标物品坐标位置，若到达，则执行步骤S5，若未到达，则返回步骤S2，直到机械臂末端坐标到达目标物品位置；
S5、采集眼电信号，识别有意识眨眼信号，当判断传入信号为有意识眨眼信号时，将判断结果通过UDP网络通信发送到电脑中，unity 3d读取判断结果，作为控制信号控制空间机械臂末端抓取目标物品。
6.根据权利要求5所述的一种面向空间机械臂在轨操作的多模态神经解码控制方法，其特征在于，步骤S1包括以下步骤：
S11、将电脑屏幕平均分为16*9块矩形，每块矩形大小相同，屏幕左上角定义为坐标原点(0，0)，计算每块矩形坐标；
S12、受试者注视目标物品所在矩形，调用opencv中的摄像机拍摄受试者脸部图像，用opencv中的基于haar特征的级联boosted左眼分类器截取左眼图像；用黑色填充图像外围，使图像大小为130*130像素，将图像进行灰度处理；将灰度处理后的图像输入卷积神经网络中，得到受试者注视目标物品所在矩形坐标；
S13、受试者注视空间机械臂底座所在矩形，调用opencv中的摄像机拍摄受试者脸部图像，用opencv中的基于haar特征的级联boosted左眼分类器截取左眼图像；用黑色填充图像外围，使图像大小为130*130像素，将图像进行灰度处理；将灰度处理后的图像输入卷积神经网络中，得到受试者注视空间机械臂底座所在矩形坐标；计算其与目标物品所在矩形坐标差，得到目标物品与空间机械臂底座的相对坐标。
7.根据权利要求5所述的一种面向空间机械臂在轨操作的多模态神经解码控制方法，其特征在于，步骤S2包括以下步骤：
S21、用Emotiv Epoc+脑电仪在Emotiv Pro软件平台上采集脑电信号，将Emotiv Epoc+脑电仪戴在受试者头部，利用Emotiv Pro软件平台采集脑电信息；每次采集时间持续8s左右，第2s时，屏幕上出现指示箭头，当屏幕出现左箭头时，想象左手运动；当屏幕出现右箭头时，想象右手运动；当屏幕出现向上箭头时，想象舌头运动；当屏幕出现向下箭头时，想象双脚运动；3s到6s时，受试者保持该动作想象，信号采样频率为250Hz；训练模型时，选取C3、C4、Cz通道的脑电信号，先通过0.5-100Hz的带通滤波器和50Hz的陷波滤波器滤波，再采用FastICA进行盲源分离，选择db5作为基信号，对脑电信号进行五层小波分解，对第三层、第四层的细节系数用共空间模式一对一空间滤波，使每类信号得到3*3个特征；
S22、用麦克风采集语音信号，生成wav格式语音文件，采集时间为1s，采集频率为16kHz，音频声道数为2；将语音信号预加重、分帧、加窗后提取梅尔倒谱系数作为特征。
8.根据权利要求5所述的一种面向空间机械臂在轨操作的多模态神经解码控制方法，其特征在于，步骤S3包括以下步骤：
S31、将语音信号提取的梅尔倒谱系数特征用主成分分析方法降维，然后用共空间模式一对一空间滤波，使每类信号得到9个特征，将这些特征与脑电信号提取的特征在特征层融合，使每类信号得到18维特征，采用循环神经网络对提取的特征进行分类，得到信号融合的解码结果；
S32、利用UDP网络通信将解码结果发送到本机地址，unity 3d从本机接收解码结果，将其作为控制信号控制空间机械臂运动。
9.根据权利要求5所述的一种面向空间机械臂在轨操作的多模态神经解码控制方法，其特征在于，步骤S5包括以下步骤：
用Emotiv Epoc+脑电仪在Emotiv Pro软件平台采集眼电信号，采集频率为256Hz；采用6阶巴特沃斯滤波器得到0.5-60Hz的14通道眼电信号，再采用infomax进行盲源分离，用小波去噪的方法滤去高频噪声的影响，选择标准差和峰值作为特征，采用K-近邻的方法识别有意识眨眼信号；当判断传入信号为有意识眨眼信号时，将判断结果利用UDP网络通信发送到本机地址；利用unity 3d平台接收判断结果，作为控制信号控制空间机械臂末端抓取目标物品。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011312820.6A CN112518743B (zh) | 2020-11-20 | 2020-11-20 | 一种面向空间机械臂在轨操作的多模态神经解码控制系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011312820.6A CN112518743B (zh) | 2020-11-20 | 2020-11-20 | 一种面向空间机械臂在轨操作的多模态神经解码控制系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112518743A CN112518743A (zh) | 2021-03-19 |
| CN112518743B true CN112518743B (zh) | 2022-04-01 |
Family
ID=74982031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011312820.6A Active CN112518743B (zh) | 2020-11-20 | 2020-11-20 | 一种面向空间机械臂在轨操作的多模态神经解码控制系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112518743B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113199469B (zh) * | 2021-03-23 | 2022-07-08 | 中国人民解放军63919部队 | 空间机械臂系统、空间机械臂系统的控制方法及存储介质 |
| CN113276113A (zh) * | 2021-05-17 | 2021-08-20 | 南京航空航天大学 | 一种面向空间机械臂在轨操作的视线定位和语音控制系统及方法 |
| CN113951896A (zh) * | 2021-09-10 | 2022-01-21 | 之江实验室 | 一种基于颅内脑电和头皮脑电融合的脑机接口解码方法 |
| CN114201041B (zh) * | 2021-11-09 | 2024-01-26 | 北京电子工程总体研究所 | 一种基于脑机接口的人机交互指挥方法和装置 |
| CN114327048B (zh) * | 2021-12-07 | 2024-04-19 | 山东华数信息技术股份有限公司 | 一种基于脑电信号和眼电信号的机械臂控制方法及系统 |
| CN117873330B (zh) * | 2024-03-11 | 2024-05-17 | 河海大学 | 一种脑电-眼动混合遥操作机器人控制方法、系统及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101590648A (zh) * | 2009-05-14 | 2009-12-02 | 天津工程师范学院 | 基于脑-机接口的服务机器人系统 |
| CN102866775A (zh) * | 2012-09-04 | 2013-01-09 | 同济大学 | 基于多模式融合的脑机接口控制系统及方法 |
| DE102012013733A1 (de) * | 2012-07-11 | 2014-01-16 | Hans-Peter Blomeyer-Bartenstein | Vorrichtung zur EEG-Ableitung und Weiterleitung mit integrierter Elektronik für Neurofeedback |
| CN108646726A (zh) * | 2018-04-03 | 2018-10-12 | 山东农业大学 | 基于脑电波的轮椅控制方法以及结合语音的轮椅控制系统 |
| KR20190072277A (ko) * | 2017-12-15 | 2019-06-25 | 주식회사 디자인에이포인트 | 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1927551A (zh) * | 2006-09-30 | 2007-03-14 | 电子科技大学 | 一种视导脑声控的残障辅助机器人 |
| US10179407B2 (en) * | 2014-11-16 | 2019-01-15 | Robologics Ltd. | Dynamic multi-sensor and multi-robot interface system |
| CN104985599B (zh) * | 2015-07-20 | 2018-07-10 | 百度在线网络技术（北京）有限公司 | 基于人工智能的智能机器人控制方法、系统及智能机器人 |
| CN106933345B (zh) * | 2017-01-18 | 2020-02-07 | 北京光年无限科技有限公司 | 用于智能机器人的多模态交互方法及装置 |
| CN107609516B (zh) * | 2017-09-13 | 2019-10-08 | 重庆爱威视科技有限公司 | 自适应眼动追踪方法 |
| CN109623835B (zh) * | 2018-12-05 | 2023-08-29 | 济南大学 | 基于多模态信息融合的轮椅机械手系统 |
| CN110916652A (zh) * | 2019-10-21 | 2020-03-27 | 昆明理工大学 | 用于基于运动想象的脑电控制机器人移动的数据采集装置、方法及其应用 |
-
2020
- 2020-11-20 CN CN202011312820.6A patent/CN112518743B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101590648A (zh) * | 2009-05-14 | 2009-12-02 | 天津工程师范学院 | 基于脑-机接口的服务机器人系统 |
| DE102012013733A1 (de) * | 2012-07-11 | 2014-01-16 | Hans-Peter Blomeyer-Bartenstein | Vorrichtung zur EEG-Ableitung und Weiterleitung mit integrierter Elektronik für Neurofeedback |
| CN102866775A (zh) * | 2012-09-04 | 2013-01-09 | 同济大学 | 基于多模式融合的脑机接口控制系统及方法 |
| KR20190072277A (ko) * | 2017-12-15 | 2019-06-25 | 주식회사 디자인에이포인트 | 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치 |
| CN108646726A (zh) * | 2018-04-03 | 2018-10-12 | 山东农业大学 | 基于脑电波的轮椅控制方法以及结合语音的轮椅控制系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112518743A (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112518743B (zh) | 一种面向空间机械臂在轨操作的多模态神经解码控制系统及方法 | |
| US20180186452A1 (en) | Unmanned Aerial Vehicle Interactive Apparatus and Method Based on Deep Learning Posture Estimation | |
| Chevtchenko et al. | A convolutional neural network with feature fusion for real-time hand posture recognition | |
| Li | Human–robot interaction based on gesture and movement recognition | |
| CN107894836B (zh) | 基于手势和语音识别的遥感图像处理与展示的人机交互方法 | |
| KR20060029043A (ko) | 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법 | |
| CN104410883A (zh) | 一种移动可穿戴非接触式交互系统与方法 | |
| CN108297108B (zh) | 一种球形跟随机器人及其跟随控制方法 | |
| Javeed et al. | Body-worn hybrid-sensors based motion patterns detection via bag-of-features and Fuzzy logic optimization | |
| Nakadai et al. | Real-time speaker localization and speech separation by audio-visual integration | |
| CN106407993A (zh) | 一种基于图像识别技术的智能语音机器人系统及方法 | |
| CN111399652A (zh) | 基于分层ssvep与视觉辅助的多机器人混合系统 | |
| Hafeez et al. | Multi-fusion sensors for action recognition based on discriminative motion cues and random forest | |
| CN110412996A (zh) | 一种基于手势和眼动的无人机操控方法、装置和系统 | |
| CN110807391A (zh) | 基于视觉的人-无人机交互用人体姿态指令识别方法 | |
| Padhi et al. | Hand gesture recognition using densenet201-mediapipe hybrid modelling | |
| CN110188179B (zh) | 语音定向识别交互方法、装置、设备及介质 | |
| CN111898420A (zh) | 一种唇语识别系统 | |
| Liu et al. | Texture classification by audio-tactile crossmodal congruence | |
| CN113276113A (zh) | 一种面向空间机械臂在轨操作的视线定位和语音控制系统及方法 | |
| Baranwal et al. | Indian sign language gesture recognition using discrete wavelet packet transform | |
| CN112101094A (zh) | 一种基于肢体语言的自杀风险评估方法 | |
| CN116476074A (zh) | 基于混合现实技术的远程机械臂操作系统及人机交互方法 | |
| Kühn et al. | Multimodal saliency-based attention: A lazy robot's approach | |
| Haritaoglu et al. | Attentive Toys. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |