CN107212883B - 一种基于脑电控制的机械臂写字装置及控制方法 - Google Patents
一种基于脑电控制的机械臂写字装置及控制方法 Download PDFInfo
- Publication number
- CN107212883B CN107212883B CN201710374005.4A CN201710374005A CN107212883B CN 107212883 B CN107212883 B CN 107212883B CN 201710374005 A CN201710374005 A CN 201710374005A CN 107212883 B CN107212883 B CN 107212883B
- Authority
- CN
- China
- Prior art keywords
- task
- eeg signals
- mechanical arm
- signal
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 230000009471 action Effects 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 230000003993 interaction Effects 0.000 claims abstract description 6
- 230000003340 mental effect Effects 0.000 claims description 35
- 238000004458 analytical method Methods 0.000 claims description 34
- 230000033001 locomotion Effects 0.000 claims description 27
- 230000033764 rhythmic process Effects 0.000 claims description 25
- 230000000638 stimulation Effects 0.000 claims description 23
- 238000000354 decomposition reaction Methods 0.000 claims description 11
- 238000010219 correlation analysis Methods 0.000 claims description 10
- 239000002184 metal Substances 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 210000000624 ear auricle Anatomy 0.000 claims description 4
- 229920000728 polyester Polymers 0.000 claims description 4
- 230000005611 electricity Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000001149 cognitive effect Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000006698 induction Effects 0.000 description 3
- 206010008190 Cerebrovascular accident Diseases 0.000 description 2
- 241001062009 Indigofera Species 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 2
- 208000006011 Stroke Diseases 0.000 description 2
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- VZCCETWTMQHEPK-QNEBEIHSSA-N gamma-linolenic acid Chemical compound CCCCC\C=C/C\C=C/C\C=C/CCCCC(O)=O VZCCETWTMQHEPK-QNEBEIHSSA-N 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Fuzzy Systems (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于脑电控制的机械臂写字装置及控制方法，涉及认知神经科学技术领域，其特征在于，至少包括：脑电采集设备；信号处理设备；所述信号处理设备接收脑电采集设备的采集信息，并将采集信息进行数据处理；具体的数据处理过程依次为：数据滤波，小波滤波，特征提取，分类，分类结果转换，执行书写动作的机械臂；所述机械臂接收信号处理设备的控制指令，并根据上述控制指令执行相应的指令动作。本发明具有操作简单、使用安全、抗噪能力强、稳定性好的优点，为实现人机交互提供了一种现实可行的方案。
Description
技术领域
本发明涉及认知神经科学技术领域，特别是涉及一种基于脑电控制的机械臂写字装置及控制方法。
背景技术
众所周知，对于瘫痪，肌萎缩性侧索硬化，中风等患者而言，与外界环境沟通一直是一种难题。但随着计算机技术，临床康复技术，心理学技术以及传感器技术的不断发展，使得脑机接口技术不再仅仅是一种幻想，而成为了一种现实的技术。
现有的用于沟通交流的脑机接口系统大多是利用计算机显示屏上的交流。因此不能满足瘫痪，肌萎缩性侧索硬化，中风等患者想写出实际文字的实际需求，同时大多数脑电采集系统具有笨重，昂贵等缺点，因此不能实际应用于患者的家庭生活中。
发明内容
本发明要解决的技术问题是：提供一种基于脑电控制的机械臂写字装置及控制方法；该基于脑电控制的机械臂写字装置及控制方法通过采集脑电信息，通过数据处理后进而控制机械臂实现书写的功能。
本发明为解决公知技术中存在的技术问题所采取的技术方案是：
一种基于脑电控制的机械臂写字装置，至少包括：
脑电采集设备；
信号处理设备；所述信号处理设备接收脑电采集设备的采集信息，并将采集信息进行数据处理；具体的数据处理过程依次为：
数据滤波，基于有限冲击响应的0.01-32赫兹的带通滤波器，提取与运动想象任务、咬牙任务、稳态视觉诱发任务相关的脑电信号，去除心电，工频伪迹以及环境噪声，提高脑电信号的信噪比；
小波滤波，基于小波变换分析，把脑电信号进行多层分解，分析每一层的脑电信号，找到有效的脑电信号部分，对有效的脑电信号部分进行重构，消除脑电信号中的基波漂移，提高脑电信号的信噪比；
特征提取，基于mu节律的二阶矩能量分析，计算在不同运动想象任务下mu节律能量明显的差异，降低特征分类的难度；基于典型相关性分析，计算在不同的稳态视觉刺激任务下相关系数的明显不同，提供给信号分类；基于标准偏差和峰值距离分析，检测咬牙任务的发生；
分类，基于线性分类器，利用特征提取中mu节律的二阶矩能量对运动想象任务分析，求得不同任务下的能量差异，构造线性分类器，对运动想象任务的脑电信号进行分类；利用特征提取中典型相关性对稳态视觉刺激任务分析，比较不同视觉频率刺激下的相关系数差异，找到最大值作为分类的输出结果；利用特征提取中标准偏差和峰值距离对咬牙任务分析，构造线性分类器，对咬牙任务进行实时监测；
分类结果转换，基于典型相关性分析，将稳态视觉刺激任务下的输出结果转换为相应的字符，每组字符即为一个控制指令；
执行书写动作的机械臂；所述机械臂接收信号处理设备的控制指令，并根据上述控制指令执行相应的指令动作。
作为优选，本发明还采用了如下的技术方案：
进一步：所述脑电采集设备包括：采集P7、P8、O1、O2、FC5、FC6、F7、F8八个位置的脑电信号的电极传感器、位于耳垂后方的CMS和DRL参考电极传感器；以及脑电信号采集模块；上述P7、P8、O1、O2、FC5、FC6、F7、F8八个位置为10-20国际标准导联中定义的八个点位。
进一步：所述脑电采集设备通过WIFI模块与信号处理设备进行数据交互。
进一步：所述电极传感器包括镀金的金属片、聚酯毡垫。
进一步：所述参考电极传感器包括镀金的金属片、橡胶垫。
进一步：所述机械臂通过WIFI模块与信号处理设备进行数据交互。
一种基于脑电控制的机械臂写字装置的控制方法，其特征在于：包括如下步骤：
步骤101、利用脑电采集设备采集八个电极传感器、CMS和DRL参考电极传感器的采集信息，并将采集信息发送给信号处理设备；
步骤102、所述信号处理设备接收脑电采集设备的采集信息，并将采集信息进行数据处理；具体的数据处理过程依次为：
脑电信号处理程序包括：
数据滤波，基于有限冲击响应的0.01-32赫兹的带通滤波器，提取与运动想象任务，咬牙任务，稳态视觉诱发任务相关的脑电信号，去除心电，工频伪迹以及环境噪声，提高脑电信号的信噪比；
小波滤波，基于小波变换分析，把脑电信号进行多层分解，分析每一层的脑电信号，找到有效的脑电信号部分，对有效的脑电信号部分进行重构，消除了脑电信号中的基波漂移，提高脑电信号的信噪比；小波函数定义如下：
ψ(t)∈L1(R)∩L2(R),并且则称ψ(t)是一个母小波，对母小波可以进行伸缩平移，公式如下：
其中，ψa,b(t)是小波函数,a是尺度因子，b是平移因子，在上式中a和b都属于实数R；
脑电信号x(n)利用下式进行小波分解与重构：
其中，AL是低频分量，Dj是在不同尺度下的高频分量，L是分解层的数量；
特征提取，基于mu节律的二阶矩能量分析，计算在不同运动想象任务下mu节律能量明显的差异，降低特征分类的难度，对于脑电信号x(n)，假设长度为N,则其二阶矩能量E2的估计为：
基于典型相关性分析，计算在不同的稳态视觉刺激任务下相关系数的明显不同，提供给信号分类；X和Y是两个多维随机变量，其线性组合分别为wX∈RH×1和wY∈RI×1；典型相关性分析算法的目的是寻找一组权重变量X∈RH×J和Y∈RI×J，从而使得x和y的相关系数达到最大；公式如下：
其中，是最大相关系数，可以用来分析脑电信号和参考信号的相关性大小；
基于标准偏差和峰值距离分析，检测咬牙任务的发生，从而减少执行错误任务的发生；
分类，基于线性分类器，利用特征提取中mu节律的二阶矩能量对运动想象任务分析，求得不同任务下的能量差异，构造线性分类器，对运动想象任务的脑电信号进行分类，公式如下：
其中，E是mu节律二阶矩能量，α是能量阈值，用于判断运动想象任务；
如果表示受试者想象的左手运动，之后对应着四种不同的稳态视觉诱发任务；如果表示受试者想象的右手运动，之后对应着两种不同的稳态视觉诱发任务；如果表示受试者没有进行运动想象任务，处于空闲状态，则不会进入到之后的稳态视觉诱发任务；
利用特征提取中典型相关性对稳态视觉刺激任务分析，比较不同视觉频率刺激下的相关系数差异，找到最大值作为分类的输出结果，参考信号Yi的公式如下：
其中，N是采样点的数量，S是采样频率，Nh是谐波的数量，fi是刺激源的刺激频率，t是不同采样点所对应的时间；
输出的控制命令K利用如下公式完成：
其中，ρi是脑电信号和各频率的参考信号的最大相关系数；
利用特征提取中标准偏差和峰值距离对咬牙任务分析，构造线性分类器，对咬牙任务进行实时监测，公式如下：
其中，Ss是标准偏差，Sp是峰值距离，β和η分别是标准偏差阈值和峰值距离阈值，用于判断咬牙任务。如果表示受试者处于“牙齿咬紧”状态；如果则表示受试者处于“自然”状态，即没有进行“牙齿咬紧”任务；
步骤103、机械臂接收信号处理设备的控制指令，并根据上述控制指令执行相应的指令动作。
本发明具有的优点和积极效果是：
通过采用上述技术方案，本发明的目的是为了给那些残疾患者提供一种与外界环境交流的机会，改善他们的生活质量和品质。系统的设备由便携式脑电采集设备，信号处理设备，串口电路以及机械臂依次相连组成。便携式脑电信号采集设备是一种佩戴和使用方便的脑电信号采集帽，主要用于采集用户的运动想象任务，咬牙任务和稳态视觉诱发任务下的脑电信号；信号处理装置是对采集到的脑电信号进行数据分析的处理模块，主要完成信号的预处理，特征提取，特征分类和命令转换；串口电路将识别出的命令信号再次转换为电压信号；机械臂是家用的工业级性能桌面四轴机器人，可以控制完成向前，向后，向左，向右，向上和向下六种动作的变化。本发明具有操作简单、使用安全、抗噪能力强、稳定性好的优点，为实现人机交互提供了一种现实可行的方案。
附图说明
图1是本发明优选实施例的整体框图；
图2是本发明优选实施例的流程图；
图3是本发明优选实施例中脑电采集帽设备电信号采集模块部分的的结构图；
图4是本发明优选实施例中传感器使用状态时的放置位置示意图；
图5是本发明优选实施例中机械臂的结构图。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下：
请参阅图1至图5，一种基于脑电控制的机械臂写字装置，用于书写英文和数字；采用一种基于脑电控制的机械臂写字系统，包括佩戴在用户大脑上的脑电采集设备，本优选实施例中的脑电采集设备为脑电采集帽，脑电采集帽将采集到的脑电信号通过WiFi传输给信号处理设备，信号处理设备通过计算机串口与串口电路连接，串口电路通过蓝牙传输控制机械臂。
所述脑电采集帽采集用户运动想象任务、咬牙任务和稳态视觉诱发任务过程中的脑电信号，这里规定，首先用户完成运动想象任务，然后用户完成稳态视觉诱发任务。当用户的运动想象任务发生错误时，启动面部表情任务重新返回运动想象任务，不进入稳态视觉诱发任务；当用户的运动想象任务正确时，不启动面部表情任务，直接进入稳态视觉诱发任务。
所述的机械臂是4轴高精度、高重复定位精度、带步进电机的开源机械臂。机械臂具有三个主要的控制电机，控制机械臂在三维空间上的运转，从而决定了机械臂的前、后、左、右、上和下的运动。
所述的采集脑电信号的电极传感器包括：镀金的金属片；湿润的聚酯毡垫。
所述的参考电极传感器包括：镀金的金属片；干燥的橡胶垫。
所述的脑电信号采集模块包括前置级放大电路，高通滤波器，低通滤波器，后置级放大电路，模数转换电路，及无线传输电路。
信号处理设备包括：台式电脑或笔记本电脑；运行于电脑上的脑电信号处理程序；以及接收脑电信号信号数据的接收器。脑电信号处理程序包括：
数据滤波，基于有限冲击响应的0.01-32赫兹的带通滤波器，提取与运动想象任务，咬牙任务，稳态视觉诱发任务相关的脑电信号，去除心电，工频伪迹以及环境噪声，提高脑电信号的信噪比。
小波滤波，基于小波变换分析，把脑电信号进行多层分解，分析每一层的脑电信号，找到有效的脑电信号部分，对有效的脑电信号部分进行重构，消除了脑电信号中的基波漂移，提高脑电信号的信噪比。
特征提取，基于mu节律的二阶矩能量分析，计算在不同运动想象任务下mu节律能量明显的差异，降低特征分类的难度；基于典型相关性分析，计算在不同的稳态视觉刺激任务下相关系数的明显不同，提供给信号分类。基于标准偏差和峰值距离分析，检测咬牙任务的发生，从而减少执行错误任务的发生。
分类，基于线性分类器，利用特征提取中mu节律的二阶矩能量对运动想象任务分析，求得不同任务下的能量差异，构造线性分类器，对运动想象任务的脑电信号进行分类；利用特征提取中典型相关性对稳态视觉刺激任务分析，比较不同视觉频率刺激下的相关系数差异，找到最大值作为分类的输出结果；利用特征提取中标准偏差和峰值距离对咬牙任务分析，构造线性分类器，对咬牙任务进行实时监测。
分类结果转换，基于典型相关性分析，将稳态视觉刺激任务下的输出结果转换为相应的字符，并输入到电脑中的串口助手中，从而作为输出结果输出给串口。
串口电路包括：STC12C5A60S2单片机，蓝牙发射装置。STC12C5A60S2通过串口接收到信号处理装置的输出结果，信号处理装置的输出结果转换为范围在0到3.3伏之间的电压信号，信号处理装置的不同输出结果对应着不同的电压信号。STC12C5A60S2单片机的电压信号传输给蓝牙发射装置。
机械臂(4)包括：机械臂，蓝牙接收装置。蓝牙接收装置接收蓝牙发射装置通过蓝牙传输出的控制命令，从而控制机械臂完成相应的运动。
一种基于脑电控制的机械臂写字装置，主要包括：
佩戴在用户大脑上的脑电采集帽，脑电采集帽将采集到的脑电信号通过WiFi传输给信号处理装置，信号处理装置通过计算机串口与串口电路连接，串口电路通过蓝牙传输控制机械臂，系统的整体框图如图1所示。
其中便携式脑电采集帽是通过采集用户的大脑头皮运动感觉区和枕叶区的P7、P8、O1、O2、FC5、FC6、F7、F8电极的脑电信号。在脑电信号的采集过程中，首先用户通过运动想象任务(想象左手运动或右手运动)从而产生事件相关同步化和事件相关去同步化现象。然后用户通过稳态视觉诱发任务选择注视相应的刺激频率，其中当用户最初完成想象左手运动任务的前提下，用户可以通过选择注视不同的视觉诱发刺激完成对机械臂前，后，左，右方向运动的控制；当用户最初完成想象右手运动任务的前提下，用户可以通过选择注视不同的视觉诱发刺激完成对机械臂上、下方向运动的控制。通过监测是否存在咬牙任务，从而判断出运动想象任务是否正确，当存在咬牙任务时，则重新进入最开始的运动想象任务，当不存在咬牙任务时，则进入稳态视觉诱发任务，图2为系统的流程图。采集到的脑电信号经过前置级放大电路后经过高通和低通滤波器进行滤波，滤波后经过后置级放大电路进行放大并经过模数转换电路转化为数字量，最后经过无线传输电路发送给信号处理装置，图3为便携式脑电采集帽脑电信号采集模块部分的的结构图。
其中采集帽是便携式脑电采集帽，便携式脑电采集帽使用国际20导联10-20参考系统的P7、P8、O1、O2、FC5、FC6、F7、F8八个位置的采集脑电信号的电极传感器；位于耳垂后方的CMS和DRL参考电极传感器，FC5和FC6采集运动想象任务的脑电信号，P7、P8、O1和O2采集稳态视觉诱发任务的脑电信号，F7和F8监测咬牙任务的脑电信号；图4为大脑电极在头皮上的放置位置示意图。
其中采集脑电信号的电极传感器是由镀金的金属片和湿润的聚酯毡垫组成，导电性能强。
其中参考电极传感器是由镀金的金属片和干燥的橡胶垫组成，作为接地电极，位于耳垂正后方。
其中信号处理装置包括台式电脑或笔记本电脑，运行于电脑上的脑电信号处理程序，接收脑电信号信号数据的接收器。脑电信号处理程序包括：
第一次预处理，对脑电信号进行0.01-32赫兹的带通滤波，去除心电，工频伪迹以及环境噪声。
第二次预处理，采用小波变换对脑电信号进行多层分解，对每一层的脑电信号进行分析，找到有效的脑电信号部分，对有效的脑电信号部分进行重构，消除脑电信号中的基波漂移。
利用mu节律的二阶矩能量分析来计算在不同运动想象任务下mu节律的能量值。
利用典型相关性分析来计算在不同的稳态视觉刺激任务下相关系数的值。
利用标准偏差和峰值距离分析来检测咬牙任务的发生。
利用线性分类器1对特征提取出的运动想象任务进行分类，利用典型相关性计算出的相关系数的值，找到最大值作为分类的输出结果；利用线性分类器2，对咬牙任务进行实时检测。
其中串口电路包括STC12C5A60S2单片机和蓝牙发射装置。STC12C5A60S2通过串口接收到信号处理装置的输出结果(“1”，“2”，“3”，“4”，“5”，“6”)，并把信号处理装置的输出结果转换为范围在0到3.3伏之间的电压信号，并传输给蓝牙发射装置。
其中机械臂包括机械臂和蓝牙接收装置。蓝牙接收装置接收蓝牙发射装置通过蓝牙传输出的控制命令，并控制机械臂完成相应的运动。
一种基于脑电控制的机械臂写字装置的控制方法，包括如下步骤：
步骤101、利用脑电采集设备采集八个电极传感器、CMS和DRL参考电极传感器的采集信息，并将采集信息发送给信号处理设备；
步骤102、所述信号处理设备接收脑电采集设备的采集信息，并将采集信息进行数据处理；具体的数据处理过程依次为：
脑电信号处理程序包括：
数据滤波，基于有限冲击响应的0.01-32赫兹的带通滤波器，提取与运动想象任务，咬牙任务，稳态视觉诱发任务相关的脑电信号，去除心电，工频伪迹以及环境噪声，提高脑电信号的信噪比；
小波滤波，基于小波变换分析，把脑电信号进行多层分解，分析每一层的脑电信号，找到有效的脑电信号部分，对有效的脑电信号部分进行重构，消除了脑电信号中的基波漂移，提高脑电信号的信噪比；小波函数定义如下：
ψ(t)∈L1(R)∩L2(R),并且则称ψ(t)是一个母小波，对母小波可以进行伸缩平移，公式如下：
其中，ψa,b(t)是小波函数,a是尺度因子，b是平移因子，在上式中a和b都属于实数R；
脑电信号x(n)利用下式进行小波分解与重构：
其中，AL是低频分量，Dj是在不同尺度下的高频分量，L是分解层的数量；
特征提取，基于mu节律的二阶矩能量分析，计算在不同运动想象任务下mu节律能量明显的差异，降低特征分类的难度，对于脑电信号x(n)，假设长度为N,则其二阶矩能量E2的估计为：
基于典型相关性分析，计算在不同的稳态视觉刺激任务下相关系数的明显不同，提供给信号分类；X和Y是两个多维随机变量，其线性组合分别为wX∈RH×1和wY∈RI×1；典型相关性分析算法的目的是寻找一组权重变量X∈RH×J和Y∈RI×J，从而使得x和y的相关系数达到最大；公式如下：
其中，是最大相关系数，可以用来分析脑电信号和参考信号的相关性大小；
基于标准偏差和峰值距离分析，检测咬牙任务的发生，从而减少执行错误任务的发生；
分类，基于线性分类器，利用特征提取中mu节律的二阶矩能量对运动想象任务分析，求得不同任务下的能量差异，构造线性分类器，对运动想象任务的脑电信号进行分类，公式如下：
其中，E是mu节律二阶矩能量，α是能量阈值，用于判断运动想象任务；
如果表示受试者想象的左手运动，之后对应着四种不同的稳态视觉诱发任务；如果表示受试者想象的右手运动，之后对应着两种不同的稳态视觉诱发任务；如果表示受试者没有进行运动想象任务，处于空闲状态，则不会进入到之后的稳态视觉诱发任务；
利用特征提取中典型相关性对稳态视觉刺激任务分析，比较不同视觉频率刺激下的相关系数差异，找到最大值作为分类的输出结果，参考信号Yi的公式如下：
其中，N是采样点的数量，S是采样频率，Nh是谐波的数量，fi是刺激源的刺激频率，t是不同采样点所对应的时间；
输出的控制命令K利用如下公式完成：
其中，ρi是脑电信号和各频率的参考信号的最大相关系数；
利用特征提取中标准偏差和峰值距离对咬牙任务分析，构造线性分类器，对咬牙任务进行实时监测，公式如下：
其中，Ss是标准偏差，Sp是峰值距离，β和η分别是标准偏差阈值和峰值距离阈值，用于判断咬牙任务。如果表示受试者处于“牙齿咬紧”状态；如果则表示受试者处于“自然”状态，即没有进行“牙齿咬紧”任务；
步骤103、机械臂接收信号处理设备的控制指令，并根据上述控制指令执行相应的指令动作。
上述优选实施例的具体工作过程为：
步骤1，开启Emotiv EPOC脑电采集帽的开关，采集用户的脑电信号。
具体的脑电采集过程为：FC5和FC6采集运动想象任务的脑电信号，P7、P8、O1和O2采集稳态视觉诱发任务的脑电信号，F7和F8监测咬牙任务的脑电信号。采集到的脑电信号通过无线传输电路传输给信号处理装置。
步骤2，通过与电脑连接的无线接收电路把脑电信号传输给信号处理装置，利用第一次预处理得到用户的有效信号，去除心电，工频伪迹和环境噪声，利用第二次预处理，采用小波变换对脑电信号进行多层分解，对每一层的脑电信号进行分析，找到有效的脑电信号部分，对有效的脑电信号部分进行重构，消除脑电信号中的基波漂移。在特征提取中，利用mu节律的二阶矩能量分析来计算在不同运动想象任务下mu节律的能量值，利用典型相关性分析来计算在不同的稳态视觉刺激任务下相关系数的值，利用标准偏差和峰值距离分析来检测咬牙任务的发生。在分类中，利用线性分类器1对特征提取出的运动想象任务进行分类，利用典型相关性计算出的相关系数的值，找到最大值作为分类的输出结果；利用线性分类器2，对咬牙任务进行实时检测。
步骤3，将步骤2调用的控制指令通过串口助手发送给与串口电路相连接的STC12C5A60S2单片机，并且STC12C5A60S2单片机根据接收到的控制指令输出相应的电压信号给蓝牙发射装置。
步骤4，蓝牙发射装置将控制命令发送给蓝牙接收装置(蓝牙接收装置与机械臂相连接)，从而蓝牙接收装置控制机械臂的运动状态，此运动状态包括向前，向后，向左，向右，向上和向下方向的运动。
以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。
Claims (7)
1.一种基于脑电控制的机械臂写字装置，其特征在于，至少包括：
脑电采集设备；
信号处理设备；所述信号处理设备接收脑电采集设备的采集信息，并将采集信息进行数据处理；具体的数据处理过程依次为：
数据滤波，基于有限冲击响应的0.01-32赫兹的带通滤波器，提取与运动想象任务、咬牙任务、稳态视觉诱发任务相关的脑电信号，去除心电，工频伪迹以及环境噪声，提高脑电信号的信噪比；
小波滤波，基于小波变换分析，把脑电信号进行多层分解，分析每一层的脑电信号，找到有效的脑电信号部分，对有效的脑电信号部分进行重构，消除脑电信号中的基波漂移，提高脑电信号的信噪比；
特征提取，基于mu节律的二阶矩能量分析，计算在不同运动想象任务下mu节律能量明显的差异，降低特征分类的难度；基于典型相关性分析，计算在不同的稳态视觉刺激任务下相关系数的明显不同，提供给信号分类；基于标准偏差和峰值距离分析，检测咬牙任务的发生；
分类，基于线性分类器，利用特征提取中mu节律的二阶矩能量对运动想象任务分析，求得不同任务下的能量差异，构造线性分类器，对运动想象任务的脑电信号进行分类；利用特征提取中典型相关性对稳态视觉刺激任务分析，比较不同视觉频率刺激下的相关系数差异，找到最大值作为分类的输出结果；利用特征提取中标准偏差和峰值距离对咬牙任务分析，构造线性分类器，对咬牙任务进行实时监测；
分类结果转换，基于典型相关性分析，将稳态视觉刺激任务下的输出结果转换为相应的字符，每组字符即为一个控制指令；
执行书写动作的机械臂；所述机械臂接收信号处理设备的控制指令，并根据上述控制指令执行相应的指令动作。
2.根据权利要求1所述的基于脑电控制的机械臂写字装置，其特征在于：所述脑电采集设备包括：采集P7、P8、O1、O2、FC5、FC6、F7、F8八个位置的脑电信号的电极传感器、位于耳垂后方的CMS和DRL参考电极传感器；以及脑电信号采集模块；上述P7、P8、O1、O2、FC5、FC6、F7、F8八个位置为10-20国际标准导联中定义的八个点位。
3.根据权利要求1所述的基于脑电控制的机械臂写字装置，其特征在于：所述脑电采集设备通过WIFI模块与信号处理设备进行数据交互。
4.根据权利要求2所述的基于脑电控制的机械臂写字装置，其特征在于：所述电极传感器包括镀金的金属片、聚酯毡垫。
5.根据权利要求2所述的基于脑电控制的机械臂写字装置，其特征在于：所述参考电极传感器包括镀金的金属片、橡胶垫。
6.根据权利要求1所述的基于脑电控制的机械臂写字装置，其特征在于：所述机械臂通过WIFI模块与信号处理设备进行数据交互。
7.一种基于脑电控制的机械臂写字装置的控制方法，其特征在于：包括如下步骤：
步骤101、利用脑电采集设备采集八个电极传感器、CMS和DRL参考电极传感器的采集信息，并将采集信息发送给信号处理设备；
步骤102、所述信号处理设备接收脑电采集设备的采集信息，并将采集信息进行数据处理；具体的数据处理过程依次为：
脑电信号处理程序包括：
数据滤波，基于有限冲击响应的0.01-32赫兹的带通滤波器，提取与运动想象任务，咬牙任务，稳态视觉诱发任务相关的脑电信号，去除心电，工频伪迹以及环境噪声，提高脑电信号的信噪比；
小波滤波，基于小波变换分析，把脑电信号进行多层分解，分析每一层的脑电信号，找到有效的脑电信号部分，对有效的脑电信号部分进行重构，消除了脑电信号中的基波漂移，提高脑电信号的信噪比；小波函数定义如下：
ψ(t)∈L1(R)∩L2(R),并且则称ψ(t)是一个母小波，对母小波可以进行伸缩平移，公式如下：
其中，ψa,b(t)是小波函数,a是尺度因子，b是平移因子，在上式中a和b都属于实数R；
脑电信号x(n)利用下式进行小波分解与重构：
其中，AL是低频分量，Dj是在不同尺度下的高频分量，L是分解层的数量；
特征提取，基于mu节律的二阶矩能量分析，计算在不同运动想象任务下mu节律能量明显的差异，降低特征分类的难度，对于脑电信号x(n)，假设长度为N,则其二阶矩能量E2的估计为：
基于典型相关性分析，计算在不同的稳态视觉刺激任务下相关系数的明显不同，提供给信号分类；X和Y是两个多维随机变量，其线性组合分别为wX∈RH×1和wY∈RI×1；典型相关性分析算法的目的是寻找一组权重变量X∈RH×J和Y∈RI×J，从而使得x和y的相关系数达到最大；公式如下：
其中，是最大相关系数，可以用来分析脑电信号和参考信号的相关性大小；
基于标准偏差和峰值距离分析，检测咬牙任务的发生，从而减少执行错误任务的发生；
分类，基于线性分类器，利用特征提取中mu节律的二阶矩能量对运动想象任务分析，求得不同任务下的能量差异，构造线性分类器，对运动想象任务的脑电信号进行分类，公式如下：
其中，E是mu节律二阶矩能量，α是能量阈值，用于判断运动想象任务；
如果表示受试者想象的左手运动，之后对应着四种不同的稳态视觉诱发任务；如果表示受试者想象的右手运动，之后对应着两种不同的稳态视觉诱发任务；如果表示受试者没有进行运动想象任务，处于空闲状态，则不会进入到之后的稳态视觉诱发任务；
利用特征提取中典型相关性对稳态视觉刺激任务分析，比较不同视觉频率刺激下的相关系数差异，找到最大值作为分类的输出结果，参考信号Yi的公式如下：
其中，N是采样点的数量，S是采样频率，Nh是谐波的数量，fi是刺激源的刺激频率，t是不同采样点所对应的时间；
输出的控制命令K利用如下公式完成：
其中，ρi是脑电信号和各频率的参考信号的最大相关系数；
利用特征提取中标准偏差和峰值距离对咬牙任务分析，构造线性分类器，对咬牙任务进行实时监测，公式如下：
其中，Ss是标准偏差，Sp是峰值距离，β和η分别是标准偏差阈值和峰值距离阈值，用于判断咬牙任务，如果表示受试者处于“牙齿咬紧”状态；如果则表示受试者处于“自然”状态，即没有进行“牙齿咬紧”任务；
步骤103、机械臂接收信号处理设备的控制指令，并根据上述控制指令执行相应的指令动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710374005.4A CN107212883B (zh) | 2017-05-24 | 2017-05-24 | 一种基于脑电控制的机械臂写字装置及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710374005.4A CN107212883B (zh) | 2017-05-24 | 2017-05-24 | 一种基于脑电控制的机械臂写字装置及控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107212883A CN107212883A (zh) | 2017-09-29 |
| CN107212883B true CN107212883B (zh) | 2019-10-18 |
Family
ID=59944699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710374005.4A Active CN107212883B (zh) | 2017-05-24 | 2017-05-24 | 一种基于脑电控制的机械臂写字装置及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107212883B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108363975A (zh) * | 2018-02-09 | 2018-08-03 | 黑龙江大学 | 一种基于摄像头视觉检测的字迹清除系统及方法 |
| CN108762303A (zh) * | 2018-06-07 | 2018-11-06 | 重庆邮电大学 | 一种基于运动想象的便携式脑控无人机系统及控制方法 |
| CN108919947B (zh) * | 2018-06-20 | 2021-01-29 | 北京航空航天大学 | 一种通过视觉诱发电位来实现的脑机接口系统及方法 |
| CN110221684A (zh) * | 2019-03-01 | 2019-09-10 | Oppo广东移动通信有限公司 | 装置控制方法、系统、电子装置及计算机可读存储介质 |
| CN110315541B (zh) * | 2019-07-22 | 2020-10-27 | 华中科技大学 | 多自由度机械臂的脑电、眼电脑机控制系统 |
| CN114886388B (zh) * | 2022-07-12 | 2022-11-22 | 浙江普可医疗科技有限公司 | 一种麻醉深度监测过程中脑电信号质量的评估方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699226A (zh) * | 2013-12-18 | 2014-04-02 | 天津大学 | 一种基于多信息融合的三模态串行脑-机接口方法 |
| KR20140084545A (ko) * | 2012-12-27 | 2014-07-07 | 현대자동차주식회사 | 뇌파측정을 이용한 매니퓰레이터 제어방법 |
| CN103995582A (zh) * | 2014-04-25 | 2014-08-20 | 南昌大学 | 一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9211078B2 (en) * | 2010-09-03 | 2015-12-15 | Faculdades Católicas, a nonprofit association, maintainer of the Pontificia Universidade Católica of Rio de Janeiro | Process and device for brain computer interface |
-
2017
- 2017-05-24 CN CN201710374005.4A patent/CN107212883B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140084545A (ko) * | 2012-12-27 | 2014-07-07 | 현대자동차주식회사 | 뇌파측정을 이용한 매니퓰레이터 제어방법 |
| CN103699226A (zh) * | 2013-12-18 | 2014-04-02 | 天津大学 | 一种基于多信息融合的三模态串行脑-机接口方法 |
| CN103995582A (zh) * | 2014-04-25 | 2014-08-20 | 南昌大学 | 一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于稳态视觉诱发电位的在线脑机接口研究;董恩增 等;《计算机工程与应用》;20151028;第154-159页 * |
| 外骨骼机器人运动优化与脑机控制;徐鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215;I140-1075 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107212883A (zh) | 2017-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107212883B (zh) | 一种基于脑电控制的机械臂写字装置及控制方法 | |
| CN108304068B (zh) | 一种基于脑机接口的上肢康复训练机器人控制系统及方法 | |
| CN103793058B (zh) | 一种主动式脑机交互系统运动想象任务分类方法及装置 | |
| CN103699226B (zh) | 一种基于多信息融合的三模态串行脑-机接口方法 | |
| Fang et al. | A multichannel surface EMG system for hand motion recognition | |
| Lee et al. | A brain-wave-actuated small robot car using ensemble empirical mode decomposition-based approach | |
| CN110123314B (zh) | 基于脑电信号判断大脑专注放松状态的方法 | |
| CN106963372B (zh) | 一种脑电-肌电信号融合装置及融合方法 | |
| CN105708587B (zh) | 一种运动想象模式脑机接口触发的下肢外骨骼训练方法及系统 | |
| CN110058691A (zh) | 基于嵌入式的可穿戴无线干电极脑电采集处理系统及方法 | |
| CN104997581B (zh) | 基于面部表情驱动脑电信号的假手控制方法及装置 | |
| CN105769173A (zh) | 一种具有心电信号去噪功能的心电监测系统 | |
| CN111856958A (zh) | 智能家居控制系统、控制方法、计算机设备及存储介质 | |
| CN111930238A (zh) | 基于动态ssvep范式的脑机接口系统实现方法及装置 | |
| Fang et al. | Development of a surface emg acquisition system with novel electrodes configuration and signal representation | |
| CN107480716A (zh) | 一种结合eog和视频的扫视信号识别方法及系统 | |
| CN105286860A (zh) | 一种基于双树复小波能量差的运动想象脑电信号识别方法 | |
| CN112099624B (zh) | 多模态菱形框架式电容感应手势识别系统 | |
| CN111513991B (zh) | 基于人工智能技术的主动式手部全指康复设备 | |
| CN110472595B (zh) | 脑电信号的识别模型构建方法、装置以及识别方法、装置 | |
| CN116360600A (zh) | 一种基于稳态视觉诱发电位的空间定位系统 | |
| CN113359991B (zh) | 一种面向残疾人的智能脑控机械臂辅助进食系统及方法 | |
| CN208511016U (zh) | 一种生命体征综合检测分析系统 | |
| CN204759349U (zh) | 一种基于稳态视觉诱发电位的飞行器控制装置 | |
| CN106476281B (zh) | 基于眨眼识别与视觉诱发的3d打印机控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| OL01 | Intention to license declared |