CN108852349B - 一种利用皮层脑电信号的运动解码方法 - Google Patents
一种利用皮层脑电信号的运动解码方法 Download PDFInfo
- Publication number
- CN108852349B CN108852349B CN201810475341.2A CN201810475341A CN108852349B CN 108852349 B CN108852349 B CN 108852349B CN 201810475341 A CN201810475341 A CN 201810475341A CN 108852349 B CN108852349 B CN 108852349B
- Authority
- CN
- China
- Prior art keywords
- data
- spectral density
- power spectral
- electroencephalogram
- cortical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Power Engineering (AREA)
- Psychology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种利用皮层脑电信号的运动解码方法,包括以下步骤:(1)获取待处理皮层脑电数据,对数据进行预处理后提取有效动作数据段;(2)对有效动作数据段进行特征提取,得到每个频段的平均功率谱密度;(3)将平均功率谱密度在通道和频段维度上进行特征筛选,得到训练集特征向量和验证集特征向量;(4)将训练集特征向量放入循环神经网络模型进行训练,根据验证集特征向量的预测结果进行参数调整;(5)用调整好的参数训练循环神经网络模型进行预测,得到待处理皮层脑电数据的手势动作标签。利用本发明,能够高效地使用皮质脑电信号对手势工作进行预测,并能有效地减少预测延迟时间。
Description
技术领域
本发明涉及脑电数据分析领域,具体涉及一种利用皮层脑电信号的运动解码方法。
背景技术
近年来,由于皮层脑电信号是通过硬脑膜下覆盖的贴片电极采集且不侵入大脑皮层,同时又具有高时空分辨率和长期稳定性的优点,因此受到广泛地关注,但是皮层脑电信号在假肢和机械设备控制方面依旧面临着很大的挑战。一方面皮层脑电信号数据包含了大量与大脑特征以及状态相关的信息,是进行大脑状态判断的重要工具。如何从丰富的皮层脑电信号中提取有效且鲁棒的特征信息成为了一个难题。另一方面皮层脑电信号是一种多通道的时序信号,每一个时序数据段中都包含了很多时序信息,如何高效地从时序特征解码皮层脑电信号也面临着许多挑战。
申请号为201611052250的中国专利文献公开了一种基于临床皮层脑电信号控制机械手运动的脑机接口系统,包括信号采集模块、脑电特征提取及解码模块、机械手控制模块以及外设模块,信号采集模块将采集到的临床脑电信号进行预处理后输入到脑电特征提取及解码模块,脑电特征提取及解码模块提取预处理的脑电信号的特征,机械手控制模块对预处理后的脑电信号的特征进行分类,并将类标发送到机械手,完成手势运动;外设模块监督和反馈机械手执行的任务。但是,该发明只能够筛选通道维度的特征,并不能筛选频率维度的特征造成了特征冗余,降低了计算速度,而且使用支持向量机作为分类器不能很好的分析时序特征。
申请号为201110023235的中国专利文献公开了一种基于脑-机接口的家电遥控装置及方法。该方法包括:使用户带着电极帽观察操刺激序列;通过脑电信号采集系统来获取用户大脑产生的脑电信号;将所述脑电信号经过放大、滤波,提取特征然后进行分类,得到鲁棒性好的脑电P300信号;根据P300信号的时间信息和序列闪烁的时间,产生控制脉冲;由遥控器接口电路输出相应触发信号控制家电设备。该发明能够实现家用电器开关及功能切换的无肢体动作遥控过程,可让全身性重症瘫痪但头脑功能正常的残疾人自行实现对电视机或其它家用电器的遥控操作,大大方便了用户。但是,该发明对于脑电数据特征具有针对性,使用的通道选择方法较为简单,选出的通道和特征关度不高,而且该方法没有针对数据的时序特征进行分析解码。
发明内容
本发明提供了一种利用皮层脑电信号的运动解码方法,能够高效地使用皮质脑电信号对手势工作进行预测,并能有效地减少预测延迟时间。
一种利用皮层脑电信号的运动解码方法,包括以下步骤:
(1)获取待处理皮层脑电数据,对数据进行预处理后提取有效动作数据段;
(2)将有效动作数据段划分为训练数据集、测试数据集和验证数据集后对每个通道分别提取功率谱密度特征,并根据频段划分得到每个频段的平均功率谱密度;
(3)将求得的平均功率谱密度在通道和频段维度上进行特征筛选,得到训练集特征向量和验证集特征向量;
(4)将训练集特征向量放入循环神经网络模型进行训练,根据验证集特征向量的预测结果进行参数调整;
(5)用调整好的参数训练循环神经网络模型对待处理数据进行预测,得到待处理皮层脑电数据的手势动作标签。
本发明结合脑电信号的时频特征,以及在通道和频率维度上的特征选择模块,使用循环神经网络进行对较短时间的数据进行解码预测,能够快速准确地对手势动作进行预测。
步骤(1)中,所述的预处理包括降采样、低通滤波、数据降噪、动作时间标签对齐,其中,所述数据降噪的方法为均值索引降噪,计算表达式如下:
在步骤(1)中提到的有效动作数据段指的是被试者正确完整的完成指定动作,并且被完整采集到的动作数据段。
步骤(2)的主要是对步骤(1)中的每个有效数据段进行特征提取,具体包含如下步骤:
(2-1)将有效动作数据段按照多折交叉测试的方法划分为训练数据集、测试数据集和验证数据集;
(2-2)对每个数据段,以时间增长方向使用长度100-1200ms、增量100ms的滑窗分段,并提取每个滑窗分段的数据,对其每个通道提取功率谱密度特征,功率谱密度的计算方法采用Welch法。
(2-3)对每个数据段,从其动作开始时间标签处为起始点,以时间减少方向使用长度300ms-1000ms、增量100ms的滑窗分段,对所有滑窗分段的功率谱密度特征求平均值,将平均值应用于对步骤(2-2)提取的特征归一化处理,特征归一化处理方法如下:
其中Sc.f(i)是动作时期脑电数据段中第i个通道c频率f的功率谱密度特征。
(2-4)将步骤(2-3)中归一化后的每个功率谱密度特征按照频段划分,频段分布为:4-12Hz,12-40Hz,40-70Hz,70-135Hz,135-200Hz,求频段平均功率谱密度。
步骤(3)中,对步骤(2)求得的训练数据段、验证数据段的平均功率谱密度使用贪心特征选择算法在通道和频段维度上进行特征筛选,将每个通道中每个频段的平均功率谱密度看作一个特征,首先对每个特征使用支持向量机计算其分类准确率,选取准确率最高的特征初始化特征向量,此时特征向量维度为1,然后再将剩余的每个特征于特征向量组合得到新的特征向量并使用支持向量机对其解码性能进行评估,选取使准确率最高的新特征向量,如此循环,直到解码性能不再提高为止。
步骤(4)和步骤(5)中使用的循环神经网络模型为长短期记忆(Long Short-TermMemory,LSTM)模型。皮层脑电信号是复杂的时变信号,在不同时间尺度上具有复杂的相关性,因此相比于深度神经网络而言,循环神经网络具有的循环连接功能更适合处理这类复杂时序数据。作为循环神经网络的一种,长短期记忆模型比循环神经网络更适合处理和预测事件滞后且时间不定的长时序列。
本发明具有以下有益效果:
1、本发明可以有效的利用并分期数据中的时序信息,能比现有技术获得更高的识别准确率。
2、本发明可以处理较短时间的数据,获得比现有技术更高的识别准确率,减少了延迟滞后时间。
附图说明
图1为本发明的流程示意图;
图2为本发明循环神经网络中不同隐性单元数量的解码性能;
图3为本发明实施例中病人1在不同时间延迟下使用本发明方法的测试结果;
图4为本发明实施例中病人2在不同时间延迟下使用本发明方法的测试结果。
具体实施方式
下面结合附图,对本发明利用皮层脑电信号的运动解码方法做详细描述
如图1所示,一种利用皮层脑电信号的运动解码方法,包括以下步骤:
(1)获取待处理皮层脑电数据并对其进行预处理,我们获得了2位病人的临床皮层脑电数据,所有数据都是基于4x8的电极整列获得,一共32个通道,首先由于原始数据采样率为30kHz,一般手部运动信息在皮质脑电信号的200Hz以下频段内,因此为了降低计算量,我们将数据降采样为2000Hz,并对其进行500Hz低通滤波;由于原动作时间标签是有10Hz的数据手套信号进行标定,因此我们将其动作时间标签对齐到2000Hz的皮质脑电信号,并根据动作的开始和结束时间戳提取有效动作数据段;因为原始数据中含有很强的工频噪声,为了获得更好的解码性能,我们采用均值索引降噪,其具体计算表达式如下:
(2)对步骤(1)中的每个有效数据段进行特征提取,具体包含如下步骤:
(2.1)对每个数据段,从其动作开始时间标签处向后使用多种不同时间长度的滑窗分段,并提取每个滑窗分段的数据,对其每个通道提取功率谱密度特征,功率谱密度的计算方法采用Welch法。为了测试不同延迟下的解码性能,我们使用了100-1200ms,增量为100ms的12种不同长度的数据段,对每个种长度的数据段,假设其长度为L,如果L大于300ms,则其滑动窗口长度w为300ms,滑动窗口的步进s为s=(L-300)/9,所有滑动窗口滑动次数为10次。
(2.2)对每个数据段,从其动作前始时间标签处向前使用多种不同时间长度的滑窗分段,对所有滑窗分段的功率谱密度特征求平均值,将平均值应用于对步骤(2.1)提取的特征归一化处理,特征归一化处理方法如下:
其中Sc.f(i)是动作时期脑电数据段中第i个通道c频率f的功率谱密度特征。
(2.3)将步骤(2.2)中归一化后的每个功率谱密度特征按照频段划分,频段分布为:4-12Hz,12-40Hz,40-70Hz,70-135Hz,135-200Hz,求频段平均功率谱密度。
(3)对步骤(2)求得的训练数据段、验证数据段的平均功率谱密度使用贪心特征选择算法在通道和频段维度上进行特征筛选,将每个通道中每个频段的平均功率谱密度看作一个特征,首先对每个特征使用支持向量机计算其分类准确率,选取准确率最高的特征初始化特征向量,此时特征向量维度为1,然后再将剩余的每个特征于特征向量组合得到新的特征向量并使用支持向量机对其解码性能进行评估,选取使准确率最高的新特征向量,如此循环,直到解码性能不再提高为止。由于选出来的特征很多,我们挑选了前6个特征,因为6个以上的特征时对预测准确率的提升已经趋向于饱和,选出的6个特征如表1所示。
表1
(4)使用步骤(3)得到的特征向量进行识别手势,具体包含如下步骤:
(4.1)将训练集特征向量放入基于长短期记忆模型的循环神经网络进行训练,通过对验证数据集特征向量的预测结果进行参数调整,从而得到最佳模型参数。
我们对循环神经网络中得隐性单元数进行了调整,尝试了8,16,32,64,128种不同的参数,图2显示了调参的结果,根据结果可以看出,选择16个隐性单元数量时模型达到最佳性能。
(4.2)用调整好的参数训练一个最优的循环神经网络模型对待测试数据集进行预测,得到待处理皮层脑电数据的手势动作标签。我们测试步骤(2.1)中描述的不同时间长度的来评测不同时间延迟下的预测性能,结果如图3、图4所示,根据结果可以看出,500ms的延迟下可以的到不错的预测性能。
Claims (8)
1.一种利用皮层脑电信号的运动解码方法,其特征在于,包括以下步骤:
(1)获取待处理皮层脑电数据,对数据进行预处理后提取有效动作数据段;
(2)将有效动作数据段划分为训练数据集、测试数据集和验证数据集后对每个通道分别提取功率谱密度特征,并根据频段划分得到每个频段的平均功率谱密度;
(3)将求得的平均功率谱密度在通道和频段维度上进行特征筛选,得到训练集特征向量和验证集特征向量;
(4)将训练集特征向量放入循环神经网络模型进行训练,根据验证集特征向量的预测结果进行参数调整;
(5)用调整好的参数训练循环神经网络模型对待处理数据进行预测,得到待处理皮层脑电数据的手势动作标签。
3.根据权利要求1所述的利用皮层脑电信号的运动解码方法,其特征在于,步骤(2)的具体步骤如下:
(2-1)将有效动作数据段按照多折交叉测试的方法划分为训练数据集、测试数据集和验证数据集;
(2-2)对每个数据段,从其动作开始时间标签处为起始点,以时间增长方向使用长度100-1200ms、增量100ms的滑窗分段,并提取每个滑窗分段的数据,对其每个通道提取功率谱密度特征;
(2-3)对每个数据段,从其动作开始时间标签处为起始点,以时间减少方向使用长度300ms-1000ms、增量100ms的滑窗分段,对所有滑窗分段的功率谱密度特征求平均值,将平均值应用于对步骤(2-2)提取的特征归一化处理;
(2-4)将归一化后的每个功率谱密度特征按照频段划分,得到频段平均功率谱密度。
4.根据权利要求3所述的利用皮层脑电信号的运动解码方法,其特征在于,步骤(2-2)中,所述功率谱密度特征的提取方法为welch法。
6.根据权利要求1所述的利用皮层脑电信号的运动解码方法,其特征在于,步骤(3)中,特征筛选采用贪心特征选择算法,特征筛选过程中使用支持向量机计算分类准确率。
7.根据权利要求1或3所述的利用皮层脑电信号的运动解码方法,其特征在于,所述的频段划分包括:4-12Hz,12-40Hz,40-70Hz,70-135Hz,135-200Hz。
8.根据权利要求1所述的利用皮层脑电信号的运动解码方法,其特征在于,步骤(4)与步骤(5)中使用的循环神经网络模型为长短期记忆模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810475341.2A CN108852349B (zh) | 2018-05-17 | 2018-05-17 | 一种利用皮层脑电信号的运动解码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810475341.2A CN108852349B (zh) | 2018-05-17 | 2018-05-17 | 一种利用皮层脑电信号的运动解码方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108852349A CN108852349A (zh) | 2018-11-23 |
CN108852349B true CN108852349B (zh) | 2020-06-30 |
Family
ID=64333631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810475341.2A Active CN108852349B (zh) | 2018-05-17 | 2018-05-17 | 一种利用皮层脑电信号的运动解码方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108852349B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886070A (zh) * | 2018-12-24 | 2019-06-14 | 珠海格力电器股份有限公司 | 一种设备控制方法、装置、存储介质及设备 |
CN111857352B (zh) * | 2020-07-30 | 2022-04-08 | 太原科技大学 | 一种基于想象式脑机接口的手势识别方法 |
CN113712711A (zh) * | 2021-09-13 | 2021-11-30 | 北京信息科技大学 | 假肢接受腔体的舒适度评估方法、装置及存储介质 |
CN114027855B (zh) * | 2021-12-13 | 2022-09-23 | 北京航空航天大学 | 一种识别头部运动意图的脑电信号解码方法及系统 |
CN115617180B (zh) * | 2022-12-02 | 2023-04-07 | 浙江大学 | 一种基于侵入式脑机接口的灵巧手部运动解码方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104571505A (zh) * | 2014-12-24 | 2015-04-29 | 天津大学 | 一种基于序列性复合肢体想象动作的脑-机接口方法 |
CN106446762A (zh) * | 2016-07-07 | 2017-02-22 | 哈尔滨工程大学 | 一种基于稀疏表征分类算法的运动想象脑电分类处理方法 |
CN106821681A (zh) * | 2017-02-27 | 2017-06-13 | 浙江工业大学 | 一种基于运动想象的上肢外骨骼控制方法及系统 |
-
2018
- 2018-05-17 CN CN201810475341.2A patent/CN108852349B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104571505A (zh) * | 2014-12-24 | 2015-04-29 | 天津大学 | 一种基于序列性复合肢体想象动作的脑-机接口方法 |
CN106446762A (zh) * | 2016-07-07 | 2017-02-22 | 哈尔滨工程大学 | 一种基于稀疏表征分类算法的运动想象脑电分类处理方法 |
CN106821681A (zh) * | 2017-02-27 | 2017-06-13 | 浙江工业大学 | 一种基于运动想象的上肢外骨骼控制方法及系统 |
Non-Patent Citations (2)
Title |
---|
动物脑电-行为同步记录及分析系统;张韶岷 等;《浙江大学学报》;20091130;第2028-2033页 * |
脑机融合系统综述;吴朝晖 等;《生命科学》;20140630;第645-649页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108852349A (zh) | 2018-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108852349B (zh) | 一种利用皮层脑电信号的运动解码方法 | |
Yang et al. | A hardware-efficient scalable spike sorting neural signal processor module for implantable high-channel-count brain machine interfaces | |
CN110353702A (zh) | 一种基于浅层卷积神经网络的情感识别方法及系统 | |
CN106726030A (zh) | 基于临床脑电信号控制机械手运动的脑机接口系统及其应用 | |
US20070179396A1 (en) | Method and System for Detecting and Classifying Facial Muscle Movements | |
CN110598676B (zh) | 基于置信度得分模型的深度学习手势肌电信号识别方法 | |
Coyle et al. | A time-frequency approach to feature extraction for a brain-computer interface with a comparative analysis of performance measures | |
CN108681396A (zh) | 基于脑-肌电双模态神经信号的人机交互系统及其方法 | |
WO2008097201A1 (en) | A system and method for processing brain signals in a bci system | |
CN110135285B (zh) | 一种使用单导设备的脑电静息态身份认证方法及装置 | |
CN106175754B (zh) | 睡眠状态分析中清醒状态检测装置 | |
CN110013249A (zh) | 一种便携式可调式的头戴癫痫监测仪 | |
CN108992066A (zh) | 基于肌电信号的便携式下肢行为模式实时识别系统及方法 | |
CN107518896B (zh) | 一种肌电臂环佩戴位置预测方法和系统 | |
CN103955270A (zh) | 一种基于p300的脑机接口系统的字符高速输入方法 | |
CN110141258A (zh) | 一种情绪状态检测方法、设备及终端 | |
CN108523883A (zh) | 一种基于实际动作建模的左右食指连续运动想象识别系统 | |
Ouyang et al. | Electroencephelograph based brain machine interface for controlling a robotic arm | |
CN111584027B (zh) | 融合复杂网络和图卷积的脑控康复系统运动想象识别系统 | |
WO2018214522A1 (zh) | 肌电信号采集方法及装置 | |
CN106333676B (zh) | 清醒状态下的脑电信号数据类型的标注装置 | |
CN106843509B (zh) | 一种脑机接口系统 | |
CN111783719A (zh) | 一种肌电控制方法及装置 | |
Lisogurski et al. | Identification of finger flexions from continuous EEG as a brain computer interface | |
Prabhakar et al. | EM based non-linear regression and singular value decomposition for epilepsy classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |