CN106108893B - 基于眼电、脑电的运动想象训练人机交互系统设计方法 - Google Patents
基于眼电、脑电的运动想象训练人机交互系统设计方法 Download PDFInfo
- Publication number
- CN106108893B CN106108893B CN201610447259.XA CN201610447259A CN106108893B CN 106108893 B CN106108893 B CN 106108893B CN 201610447259 A CN201610447259 A CN 201610447259A CN 106108893 B CN106108893 B CN 106108893B
- Authority
- CN
- China
- Prior art keywords
- signal
- feature
- sample
- mental imagery
- eeg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003340 mental effect Effects 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 25
- 210000004556 brain Anatomy 0.000 title claims abstract description 22
- 230000005611 electricity Effects 0.000 title claims abstract description 21
- 238000013461 design Methods 0.000 title claims abstract description 5
- 230000033001 locomotion Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000000537 electroencephalography Methods 0.000 claims description 71
- 239000013598 vector Substances 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 14
- 238000003909 pattern recognition Methods 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000007476 Maximum Likelihood Methods 0.000 claims description 6
- 238000002474 experimental method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000007477 logistic regression Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 210000004761 scalp Anatomy 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 210000001364 upper extremity Anatomy 0.000 abstract description 4
- 208000012661 Dyskinesia Diseases 0.000 abstract description 2
- 230000010354 integration Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000000624 ear auricle Anatomy 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 240000006409 Acacia auriculiformis Species 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Psychology (AREA)
- Ophthalmology & Optometry (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于眼电、脑电的运动想象训练人机交互系统设计方法，本发明提供一种面向运动功能障碍患者，能及时有效地对其大脑运动想象状态进行识别并反馈的方法。该方法是大脑在进行上肢运动想象过程中，利用信号采集设备获取人体完成特定上肢动作时，其脑电信号和眼电信号变化的数据，并存入个体化数据库作为信息源，再分别对脑电信号和眼电信号进行特征提取，利用基于信息融合方案的准则将两类特征融合作为新的运动想象特征，并对新的运动想象特征进行识别，进而对人完成指定动作时的运动想象状态进行识别。
Description
技术领域
本发明属于生物电信号处理领域，涉及到目前康复医疗中，人体在完成特定动作时，系统将脑电信号、眼电信号融合，进行模式识别，同时将识别结果反馈给用户，辅助用户完成上肢的运动想象训练，具体涉及一种基于眼电、脑电的运动想象训练人机交互系统设计方法。
背景技术
人机交互系统由采集系统记录用户的运动想象EEG信号，再传递到信号处理系统中去，获取信号特征向量，并进行模式识别，最后将模式识别的结果发送给神经反馈装置，由神经反馈装置将用户运动想象执行情况反馈给用户。
但由实验中运动想象EEG信号模式识别的结果分析表明，多模式的运动想象EEG信号识别率较低，而且不同人的同类运动所产生的脑电信号信息间也会存在较大的个体差异，降低信号识别率，因此目前脑电信号识别方法还不能达到实际应用的要求。但针对两种运动想象EEG信号模式识别的结果，如“想象左”和“想象右”，其识别结果准确率可达到90％以上
实验中注意到人体在进行运动想象康复训练时，眼睛产生与想象方向一致的动作。例如想象左手握杯子时，眼睛会自然的向杯子看去，此类伴随运动产生的眼电信号中包含对大脑运动想象模式识别有助益的信息，而且眼电信号特征明显，信噪比高，识别准确率高于90％。但人的眼睛有时会不自觉产生动作，此时大脑并没有进行运动想象，此时的眼电信号并不能辅助脑电信号识别，反而会对脑电信号识别造成误导。
将脑电信号、眼电信号中包含的有效信息融合的方法可消除无意识眼电信号造成的误导，并提高脑电信号识别准确率，及时准确的对不同个体的脑电信号进行模式识别，但目前该类算法的构建方式仍需进一步研究和探索。传统的信息融合是指多传感器的数据在一定准则下加以自动分析、综合以完成所需的决策和评估而进行的信息处理过程。因此可将实验中获取到的脑电信号和眼电信号分别处理，再在一定准则下完成信息融合，最后基于融合的信息做出决策，进而判断患者当前的运动想象状况。
发明内容
本发明的目的是针对现有技术的不足，提供一种面向运动功能障碍患者，能及时有效地对其大脑运动想象状态进行识别并反馈的方法。该方法是大脑在进行上肢运动想象过程中，利用信号采集设备获取人体完成特定上肢动作时，其脑电信号和眼电信号变化的数据，并存入个体化数据库作为信息源，再分别对脑电信号和眼电信号进行特征提取，利用基于信息融合方案的准则将两类特征融合作为新的运动想象特征，并对新的运动想象特征进行识别，进而对人完成指定动作时的运动想象状态进行识别。
本发明方法包括以下各步骤：
步骤1.对预处理后的运动想象脑电信号进行特征提取，具体是：
小波变换是傅立叶变换的新发展，小波变换系数能反映信号在时域及频域的局部信息。因而，小波分析作为一种时频分析方法，在生物医学信号处理方面有着广阔的应用前景，特别适合像EEG这类非平稳信号处理。
设预处理后的EEG离散信号为f(t)，则f(t)的离散小波变换和逆变换定义为：
式中，为小波序列，是小波基函数。j,k分别代表频率分辨率和时间平移量。fj(t)表示信号f(t)在某一尺度(2j)的分量。对信号f(t)可以利用Mallat算法进行有限层分解，得到：
式中，L分为分解层数，AL为低通逼近分量，Dj为不同尺度下的细节分量，信号的整个频带划分为一个个子频带，设信号f(t)的采样频率为fs，则AL,DL,DL-1...,D1各分量所对应的子频带依次为：
对应的逼近系数及各层小波系数记作cAL,cDL,cDL-1,...,cD1。将要分析的EEG信号，由想象左手运动和想象右手运动产生，本文中的信号来源是将脑电拾电传感器中的头皮拾电电极放置到国际脑电图学会标准10-20导联系统所确定的，头顶部与大脑感觉运动区对应的位置为C3、CZ以及C4位置，只取脑电采集仪器C3导联和C4导联的脑电信号，分别对不同思维任务的EEG样本数据进行6层分解，f(t)＝A6+D6+D5+D4+D3+D2+D1。设C3导信号逼近系数为c3A6，C4导信号逼近系数为c4A6，取两者差值C＝c3A6-c4A6。计算EEG信号小波分解后各层小波能量，如求cAL的小波能量其中j＝3,4，为cAL中的第i个元素，再计算C3，C4各层小波能量的差值最后计算小波能量差值E的各层相对小波能量最后将逼近系数差值和相对小波能量组合成为EEG信号的特征向量TEEG＝[C,e]，其中
步骤2.提取预处理后的眼电信号特征，具体是：
经观察发现EOG信号在眼动时具有明显的特征，本发明采用夹角余弦法提取EOG信号的特征。几何中常采用夹角余弦来衡量两个模式向量的相似度，夹角余弦对于特征较为明显的波形具有较高的分辨能力，夹角余弦法计算实验采集到的EOG信号与训练样本间的夹角来衡量待测EOG信号与样本之间的相似度。设预处理后的EOG信号为g(t)＝[g(1),g(2),...,g(n)]，n为样本点数，选取EOG信号训练样本gl(t)＝[gl(1),gl(2),...,gl(n)]和gr(t)＝[gr(1),gr(2),...,gr(n)]，作为向左看与向右看的训练样本。计算待测信号与向左看EOG信号夹角余弦公式为：
计算待测信号与向右看EOG信号夹角余弦公式为：
式中cosθl，cosθr分别代表待测信号与向左看EOG信号，向右看EOG信号之间的夹角。显然cosθl,cosθr∈[-1,1]，夹角余弦值接近1，说明待测信号与训练样本之间的相似度越高；越接近-1，说明样本与待测样本之间呈方向相反的关系，越接近0，说明相似度越低。最后将两个夹角余弦值组合作为EOG信号特征TEOG＝[cosθl,cosθr]。
步骤3.脑电信号特征与眼电信号进行融合，从而对运动想象特征进行分析，具体是：
以上方法获取到两类特征维数不一致，眼电信号特征维数较低，脑电信号维数较高，若是直接使用将导致脑电信号在最后处理时占的权重较高，而眼电信号占的权重较低，因此，直接组合两类特征进行分类获得的结果可能并不理想。因此将EEG信号处理得到的特征采取降维处理是必要的，设为脑电信号向左看样本，为脑电信号向右看样本，为待测信号样本，将这三个样本组合成为一个矩阵A，求A的协方差矩阵
cov(A)为3*3矩阵，取其第一行上的2，3两个元素作为新的脑电信号特征最后将其与眼电信号组合获取融合特征
步骤4.脑电、眼电进行模式识别，并由人机交互系统反馈出来，具体是：
由以上步骤得到融合后的特征T，选取想象左、想象右的融合特征若干作为训练样本。
(1)logistic分类器的构建：
在分类情况下，经过学习后的logistic分类器是一组权值w0,w1,...,wn，当训练样本的数据输入时，这组权值与待测数据按照线性加和得到x＝w0+w1T1+...+wnTn，这里T1,T2,...,Tn是每个训练样本的特征。之后按照sigmoid函数的形式求出
其定义域为(-∞,+∞)，值域为(0，1)，所以logistic回归最关键的问题就是研究如何求得w0,w1,...,wn这组权值。这组权值可采用极大似然估计来求得，设条件概率P(y＝1|x)＝p为根据待测样本y相对于某事件x发生的概率。那么logistic回归模型可以表示为
这里称为logistic函数。其中g(x)＝w0+w1x1+...+wnxn，那么在x条件下y不发生的概率为
所以事件发生与不发生的概率之比为
这个比值称为事件发生比。对其取对数得式(10)，再由极大似然估计求得参数。
假设有m个观测样本，观测值分别为y1,y2,...,ym，设pi＝P(yi＝1|xi)为给定条件下得到yi＝1的概率，同样的yi＝0的概率为1-pi，所以得到一个观测值的概率为因为各个观测样本之间相互独立，那么他们的联合分布为边缘分布的乘积，得到似然函数为
最大似然估计即为求出参数w0,w1,...,wn，使得L(w)取得最大值，对函数取对数得到
继续对这n+1个wi分别求偏导，得到n+1个方程，当对参数wk求偏导时
从而问题转化为解这n+1个方程组。解方程得到w0,w1,...,wn这n+1个参数后logistic分类器构建完毕。
(2)获取运动想象模式分类结果，并将结果通过人机界面展示给用户
将待识别的融合特征输入到已构建完毕的logistic分类器中，得到运动想象分类结果。制作与运动想象相匹配的图像、声音、文字等，再将运动想象分类结果与已制作的文字、声音、图像进行绑定，从而实现运动想象分类结果转换为文字、声音、图像通过友好的人机界面展示给用户。
本发明的有益效果在于：逻辑简单，操作方便，可有效提取脑电信号特征与眼电信号特征，通过降低高维的脑电信号的维数以提高眼电信号在运动想象识别率所占的权重，并将两种特征融合在一起作为人体运动想象状态的特征，有利于提高运动想象状态的模式识别准确率，有利于将脑电信号转化为具体的信息反馈给使用者，降低脑电信号特征维数还有利于运动想象状态的识别效率，从而可有效应用于运动想象状态进行在线识别，从而提高脑电信号在运动想象康复训练中的使用效果。
附图说明
图1为本发明的流程示意图。
具体实施方式
本发明所提出的一种基于眼电和脑电的上肢康复人机交互系统设计方案，是将脑电拾电传感器中的头皮拾电电极放置到国际脑电图学会标准10-20导联系统所确定的，头顶部与大脑感觉运动区对应的位置为C3、CZ以及C4位置，采集用户对应的三路脑电信号；同时将眼电拾电传感器的拾电电极放置在左眼眼角外侧，参考电极放置在左耳耳垂，GND电极放置在右耳耳垂位置。将由传感器采集到的三路脑电信号以及水平眼电信号经过截取，消噪等预处理环节后应用本发明提出的方法进行用户运动想象意图识别。
如图1所示，本发明方法包括四个步骤：(1)提取经过预处理后的运动想象EEG信号特征；(2)提取预处理后EOG信号的特征(3)对EEG信号特征进行降维，最终融合EEG信号特征与EOG特征；(4)基于融合后的特征构建logistic分类器，并对特征分类，最终通过友好的人机界面反馈给用户。
整个系统流程图如图1所示。
步骤1：提取预处理后运动想象EEG信号C3、C4两路脑电信号的相对小波能量以及逼近系数差值作为运动想象特征，并构造特征向量TEEG
用小波包变换对消噪预处理后的脑电信号进行分解和重构，得到各种节律波所对应的相对小波能量，计算获取逼近系数差值，并串接为特征向量。
所采集的各导EEG信号均是长度一致的时间序列，记为xc3,xc4，截取其中n个连续样点Xc3＝[xc3(i+1),xc3(i+2),...,xc3(i+n)]，Xc4＝[xc4(i+1),xc4(i+2),...,xc4(i+n)]，分解成L＝6层，f(t)＝A6+D6+D5+D4+D3+D2+D1，A6为第六层的逼近分量，D6,D5,D4,D3,D2,D1分别为各层的细节分量，分别取C3、C4对应第六层逼近分量的逼近系数c3A6、c4A6，求两者差值C＝c3A6-c4A6。再分别计算C3、C4各层小波能量组成向量求两者差值E，中的每个元素都为E3,E4中对应元素的差值，最后获取E中元素的相对小波能量
得到最后将各类特征向量串接为一个新的特征向量TEEG＝[C,e]。
步骤2.提取预处理后的眼电信号特征，并构造特征向量TEOG。
选择与脑电信号相对应的一段眼电信号
XEOG＝[xEOG(i+1),xEOG(i+2),...,xEOG(i+n)]，设向左看、向右看眼电信号样本分别为
将XEOG，带入计算夹角余弦的公式中，利用公式(4)(5)计算待识别眼电信号与向左看、向右看样本之间的夹角余弦值，记录cosθl，cosθr，将两者联接组成EOG信号特征向量TEOG＝[cosθl,cosθr]。
步骤3.基于所提取的EOG信号特征与EEG信号特征，应用本文提出的特征融合方案，获取新的融合特征T。
(1)对EEG信号特征TEEG进行降维处理
分别选取向左看、向右看运动想象EEG信号样本，根据以上方法处理并获取其特征向量，为向左看脑电信号样本的特征向量，为向右看脑电信号样本的特征向量，为待测信号样本的特征向量，将这三个样本组合成为一个矩阵A，求A的协方差矩阵cov(A)为3*3矩阵，其中的每个元素都是特征向量两两之间的协方差，取其第一行上的2，3两个元素待测样本与向左看样本特征向量之间的协方差，待测样本与向右看样本特征向量之间的协方差，将这两个协方差组合作为新的脑电信号特征
(2)EEG信号特征与EOG信号特征融合
采用上述方案获取脑电信号特征再把相对应的EOG信号特征联接在一起，组成新的运动想象特征向量步骤4.获取特征向量分类结果，并反馈给用户
(1)构建运动想象logistic分类器
选取n个训练样本，当这组训练样本的数据输入时，权值与训练样本数据按照线性加和得到x＝w0+w1T1+...+wnTn，这里T1,T2,...,Tn是每个训练样本的特征。之后按照sigmoid函数的形式求出式(6)，其定义域为(-∞,+∞)，值域为(0，1)。接下来通过极大似然估计来求得logistic回归中最为关键的问题，即求w0,w1,...,wn这组权值。设条件概率P(y＝1|x)＝p为根据待测样本y相对于某事件x发生的概率。那么logistic回归模型可以表示为式(7)，这里称为logistic函数。其中g(x)＝w0+w1T1+...+wnTn，那么在x条件下y不发生的概率为式(8)，由此可得出事件发生与不发生的概率之比为式(9)，eg(x)这个比值为事件发生比。对其取对数得到
再通过极大似然估计求得参数，取10个运动想象特征训练样本，运动想象特征训练样本分别为y1,y2,...,y10，其中前五个与后五个训练样本分别代表想象左特征训练样本，想象右特征训练样本。设pi＝P(yi＝1|xi)为给定条件下得到yi＝1的概率，同样的yi＝0的概率为1-pi，由此得到一个观测值的概率为因为各个观测样本之间相互独立，那么他们的联合分布为边缘分布的乘积，得到似然函数为式(11)，最大似然估计即为求出参数w0,w1,w2,...,w10，使得L(w)取得最大值，对函数取对数得到式(12)，继续对这10+1个wi分别求偏导，得到10+1个方程，如公式(13)所示，将实际数据代入来求参数，从而问题转化为解这10+1个方程组。解方程得到w0,w1,...,w10，从结果中获取这10+1个参数后代入logistic算式中，logistic分类器构建完毕。(2)获取运动想象特征向量分类结果
将待识别的融合特征输入到已构建完毕的logistic分类器中，得到运动想象分类结果。
(3)通过友好的人机界面反馈给用户
制作与运动想象相匹配的图像、声音、文字等，再将运动想象特征分类结果与已制作的文字、声音、图像进行绑定，同时构建友好的人机界面，通过此界面可显示文字、声音、图像，从而运动想象状态转换为文字、声音、图像通过友好的人机界面展示给用户。
Claims (1)
1.基于眼电、脑电的运动想象训练人机交互系统设计方法，其特征在于，该方法具体包括以下步骤：
步骤1.对预处理后的运动想象脑电信号进行特征提取；
设预处理后的EEG离散信号为f(t)，则f(t)的离散小波变换和逆变换定义为：
式中，为小波序列，是小波基函数；j,k分别代表频率分辨率和时间平移量；fj(t)表示信号f(t)在某一尺度2j的分量；对信号f(t)可以利用Mallat算法进行有限层分解，得到：
式中，L分为分解层数，AL为低通逼近分量，Dj为不同尺度下的细节分量，信号的整个频带划分为一个个子频带，设信号f(t)的采样频率为fs，则AL,DL,DL-1...,D1各分量所对应的子频带依次为：对应的逼近系数及各层小波系数记作cAL,cDL,cDL-1,...,cD1；将要分析的EEG信号，由想象左手运动和想象右手运动产生，本文中的信号来源是将脑电拾电传感器中的头皮拾电电极放置到国际脑电图学会标准10-20导联系统所确定的，头顶部与大脑感觉运动区对应的位置为C3、CZ以及C4位置，只取脑电采集仪器C3导联和C4导联的脑电信号，分别对不同思维任务的EEG样本数据进行6层分解，f(t)＝A6+D6+D5+D4+D3+D2+D1；设C3导信号逼近系数为c3A6，C4导信号逼近系数为c4A6，取两者差值C＝c3A6-c4A6；计算EEG信号小波分解后各层小波能量，如求cAL的小波能量其中j＝3,4，为cAL中的第i个元素，再计算C3，C4各层小波能量的差值最后计算小波能量差值E的各层相对小波能量最后将逼近系数差值和相对小波能量组合成为EEG信号的特征向量TEEG＝[C,e]，其中
步骤2.提取预处理后的眼电信号特征；
采用夹角余弦法提取EOG信号的特征；夹角余弦法计算实验采集到的EOG信号与训练样本间的夹角来衡量待测EOG信号与样本之间的相似度；设预处理后的EOG信号为g(t)＝[g(1),g(2),...,g(n)]，n为样本点数，选取EOG信号训练样本gl(t)＝[gl(1),gl(2),...,gl(n)]和gr(t)＝[gr(1),gr(2),...,gr(n)]，作为向左看与向右看的训练样本；计算待测信号与向左看EOG信号夹角余弦公式为：
计算待测信号与向右看EOG信号夹角余弦公式为：
式中cosθl，cosθr分别代表待测信号与向左看EOG信号，向右看EOG信号之间的夹角；显然cosθl,cosθr∈[-1,1]，夹角余弦值接近1，说明待测信号与训练样本之间的相似度越高；越接近-1，说明样本与待测样本之间呈方向相反的关系，越接近0，说明相似度越低；最后将两个夹角余弦值组合作为EOG信号特征TEOG＝[cosθl,cosθr]；
步骤3.脑电信号特征与眼电信号进行融合，从而对运动想象特征进行分析；
对EEG信号处理得到的特征采取降维处理，设为脑电信号向左看样本，为脑电信号向右看样本，为待测信号样本，将这三个样本组合成为一个矩阵A，求A的协方差矩阵cov(A)为3*3矩阵，取其第一行上的2，3两个元素作为新的脑电信号特征最后将其与眼电信号串接组合获取融合特征
步骤4.脑电、眼电进行模式识别，并由人机交互系统反馈出来；
由以上步骤得到融合后的特征T，选取想象左、想象右的融合特征若干作为训练样本；
(1)logistic分类器的构建：
在分类情况下，经过学习后的logistic分类器是一组权值w0,w1,...,wn，当训练样本的数据输入时，这组权值与待测数据按照线性加和得到x＝w0+w1T1+...+wnTn，这里T1,T2,...,Tn是每个训练样本的特征；之后按照sigmoid函数的形式求出
其定义域为(-∞,+∞)，值域为(0，1)，采用极大似然估计来求得w0,w1,...,wn这组权值，设条件概率P(y＝1|x)＝p为根据待测样本y相对于某事件x发生的概率；那么logistic回归模型可以表示为
这里称为logistic函数；其中g(x)＝w0+w1x1+...+wnxn，那么在x条件下y不发生的概率为
所以事件发生与不发生的概率之比为
这个比值称为事件发生比；对其取对数得式(10)，再由极大似然估计求得参数；
假设有m个观测样本，观测值分别为y1,y2,...,ym，设pi＝P(yi＝1|xi)为给定条件下得到yi＝1的概率，同样的yi＝0的概率为1-pi，所以得到一个观测值的概率为因为各个观测样本之间相互独立，那么他们的联合分布为边缘分布的乘积，得到似然函数为
最大似然估计即为求出参数w0,w1,...,wn，使得L(w)取得最大值，对函数取对数得到
继续对这n+1个wi分别求偏导，得到n+1个方程，当对参数wk求偏导时
解这n+1个方程组；解方程得到w0,w1,...,wn这n+1个参数后logistic分类器构建完毕；
(2)获取运动想象模式分类结果，并将结果通过人机界面展示给用户
将待识别的融合特征输入到已构建完毕的logistic分类器中，得到运动想象分类结果；制作与运动想象相匹配的图像、声音、文字，再将运动想象分类结果与已制作的文字、声音、图像进行绑定，从而实现运动想象分类结果转换为文字、声音、图像通过友好的人机界面展示给用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610447259.XA CN106108893B (zh) | 2016-06-20 | 2016-06-20 | 基于眼电、脑电的运动想象训练人机交互系统设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610447259.XA CN106108893B (zh) | 2016-06-20 | 2016-06-20 | 基于眼电、脑电的运动想象训练人机交互系统设计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106108893A CN106108893A (zh) | 2016-11-16 |
| CN106108893B true CN106108893B (zh) | 2019-03-01 |
Family
ID=57470236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610447259.XA Expired - Fee Related CN106108893B (zh) | 2016-06-20 | 2016-06-20 | 基于眼电、脑电的运动想象训练人机交互系统设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106108893B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107037883A (zh) * | 2017-04-13 | 2017-08-11 | 安徽大学 | 一种基于运动想象的混合脑机接口系统及方法 |
| CN107126193B (zh) * | 2017-04-20 | 2020-02-28 | 杭州电子科技大学 | 基于滞后阶数自适应选择的多变量因果关系分析方法 |
| CN107562191A (zh) * | 2017-08-03 | 2018-01-09 | 天津大学 | 基于混合特征的精细想象动作在线脑‑机接口方法 |
| CN109241836B (zh) * | 2018-07-27 | 2022-03-01 | 杭州电子科技大学 | 一种脑电信号实时特征提取方法 |
| CN109284004B (zh) * | 2018-10-29 | 2022-01-04 | 中国矿业大学 | 一种基于脑机接口的智能护理系统 |
| CN109634407B (zh) * | 2018-11-08 | 2022-03-04 | 中国运载火箭技术研究院 | 一种基于多模人机传感信息同步采集与融合的控制方法 |
| CN109875552B (zh) * | 2019-02-01 | 2021-09-28 | 五邑大学 | 一种疲劳检测方法、装置及其存储介质 |
| CN110598616B (zh) * | 2019-09-03 | 2022-01-14 | 浙江工业大学 | 一种人机系统中人的状态的识别方法 |
| CN110531861B (zh) * | 2019-09-06 | 2021-11-19 | 腾讯科技（深圳）有限公司 | 运动想象脑电信号的处理方法和装置及存储介质 |
| CN110584624B (zh) * | 2019-09-18 | 2022-04-01 | 中国科学院微电子研究所 | 基于夹角值的脉搏波特征点识别方法 |
| CN110732082B (zh) * | 2019-09-27 | 2023-09-12 | 杭州电子科技大学 | 一种经颅直流电刺激和功能性电刺激的运动功能康复方法 |
| CN112698720B (zh) * | 2020-12-23 | 2022-07-08 | 杭州电子科技大学 | 一种基于互信息特征提取及多人融合的运动想象识别方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4876988B2 (ja) * | 2007-03-13 | 2012-02-15 | 日本電気株式会社 | ブレイン・コンピュータ・インタフェース装置 |
| CN102573619B (zh) * | 2008-12-19 | 2015-04-22 | 新加坡科技研究局 | 用于生成注意力水平表示的设备和方法 |
| CN103429145B (zh) * | 2010-03-31 | 2015-09-02 | 新加坡科技研究局 | 用于运动康复的方法和系统 |
| WO2011144959A1 (en) * | 2010-05-17 | 2011-11-24 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Direct neural interface system and method of calibrating it |
| CN102521505B (zh) * | 2011-12-08 | 2014-11-26 | 杭州电子科技大学 | 用于控制意图识别的脑电和眼电信号决策融合方法 |
| CN102940490B (zh) * | 2012-10-19 | 2014-06-18 | 西安电子科技大学 | 基于非线性动力学的运动想象脑电信号特征提取方法 |
| CN103793058B (zh) * | 2014-02-13 | 2016-09-28 | 山西大学 | 一种主动式脑机交互系统运动想象任务分类方法及装置 |
| CN104091172B (zh) * | 2014-07-04 | 2018-03-16 | 北京工业大学 | 一种运动想象脑电信号的特征提取方法 |
-
2016
- 2016-06-20 CN CN201610447259.XA patent/CN106108893B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN106108893A (zh) | 2016-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106108893B (zh) | 基于眼电、脑电的运动想象训练人机交互系统设计方法 | |
| Zhao et al. | ECG authentication system design incorporating a convolutional neural network and generalized S-Transformation | |
| CN106980367B (zh) | 一种基于肌电地形图的手势识别方法 | |
| Huang et al. | S-EEGNet: Electroencephalogram signal classification based on a separable convolution neural network with bilinear interpolation | |
| Göksu | BCI oriented EEG analysis using log energy entropy of wavelet packets | |
| CN111523601B (zh) | 一种基于知识引导和生成对抗学习的潜在情绪识别方法 | |
| CN107184198A (zh) | 一种心电信号分类识别方法 | |
| Fatimah et al. | Hand movement recognition from sEMG signals using Fourier decomposition method | |
| CN109745033A (zh) | 基于时频二维图像和机器学习的动态心电质量评估方法 | |
| CN110658915A (zh) | 一种基于双流网络的肌电信号手势识别方法 | |
| Cheng et al. | The optimal wavelet basis function selection in feature extraction of motor imagery electroencephalogram based on wavelet packet transformation | |
| Oweis et al. | ANN-based EMG classification for myoelectric control | |
| An et al. | Electroencephalogram emotion recognition based on 3D feature fusion and convolutional autoencoder | |
| CN114298216A (zh) | 一种基于时间-频域融合Transformer的脑电视觉分类方法 | |
| El Boujnouni et al. | A wavelet-based capsule neural network for ECG biometric identification | |
| CN111898526B (zh) | 基于多流卷积神经网络的肌电手势识别方法 | |
| Samyoun et al. | Stress detection via sensor translation | |
| Sun et al. | A multiscale feature extraction network based on channel-spatial attention for electromyographic signal classification | |
| Kuila et al. | Feature extraction of electrocardiogram signal using machine learning classification | |
| Wang et al. | A deep learning approach using attention mechanism and transfer learning for electromyographic hand gesture estimation | |
| Wang et al. | Hand gesture recognition using smooth wavelet packet transformation and hybrid CNN based on surface EMG and accelerometer signal | |
| CN113128384A (zh) | 一种基于深度学习的脑卒中康复系统脑机接口软件关键技术方法 | |
| CN105708441A (zh) | 可佩戴指套及心电图和脉象采集终端 | |
| Sueaseenak et al. | An accurate forearm EMG signal classification method using two‐channel electrode | |
| Khanmohammadi et al. | Fetal gender identification using machine and deep learning algorithms on phonocardiogram signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200715 Address after: 25 / F, block D, Tsinghua Science Park, Keji 2nd Road, Zhangba Street office, hi tech Zone, Xi'an City, Shaanxi Province Patentee after: Xi'an Huinao Intelligent Technology Co.,Ltd. Address before: Hangzhou City, Zhejiang province 310018 Xiasha Higher Education Park No. 2 street Patentee before: HANGZHOU DIANZI University |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190301 |