CN116019462B - 运动执行和运动意图的分析方法、装置及存储介质 - Google Patents
运动执行和运动意图的分析方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116019462B CN116019462B CN202310323420.2A CN202310323420A CN116019462B CN 116019462 B CN116019462 B CN 116019462B CN 202310323420 A CN202310323420 A CN 202310323420A CN 116019462 B CN116019462 B CN 116019462B
- Authority
- CN
- China
- Prior art keywords
- frequency
- analysis
- motion
- time
- wavelet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims abstract description 75
- 238000004458 analytical method Methods 0.000 claims abstract description 59
- 210000004556 brain Anatomy 0.000 claims abstract description 31
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 23
- 238000010219 correlation analysis Methods 0.000 claims abstract description 18
- 238000012935 Averaging Methods 0.000 claims abstract description 7
- 238000001266 bandaging Methods 0.000 claims abstract description 7
- 238000001228 spectrum Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 101100428008 Homo sapiens UTP6 gene Proteins 0.000 claims description 3
- 102100037934 U3 small nucleolar RNA-associated protein 6 homolog Human genes 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000000386 athletic effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003137 locomotive effect Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000010355 oscillation Effects 0.000 description 3
- 210000001152 parietal lobe Anatomy 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000037147 athletic performance Effects 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000001652 frontal lobe Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005312 nonlinear dynamic Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001936 parietal effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 210000003478 temporal lobe Anatomy 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 229910021607 Silver chloride Inorganic materials 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000005714 functional activity Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000001595 mastoid Anatomy 0.000 description 1
- 230000037023 motor activity Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- HKZLPVFGJNLROG-UHFFFAOYSA-M silver monochloride Chemical compound [Cl-].[Ag+] HKZLPVFGJNLROG-UHFFFAOYSA-M 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000005654 stationary process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请实施例公开了一种运动执行和运动意图的分析方法、装置及存储介质，其中运动执行和运动意图的分析方法包括：获取对象的原始脑电图信号；利用多重分形分析方法，选择事件相关去同步和事件相关同步最明显的两个脑区作为选定区域；利用时间‑频率分析方法，确定选定波段，获取选定波段的小波能量值，在选定区域的脑电图通道上，对选定波段的小波能量值进行平均；根据平均小波能量值在时间上的演变，利用经验模式分解方法提取小于预设值的低频率分量；基于低频率分量进行时间‑频率相关性分析，在时间上对相关性进行数值微分，并提取相关性表现出反相增加和减少的情况；基于相关性大小的预定义阈值提取真实运动和/或想象运动相关的单个事件。
Description
技术领域
本申请涉及医学图像处理技术领域，具体涉及一种运动执行和运动意图的分析方法、装置及存储介质。
背景技术
脑机接口（brain–computer interface，BCI）是神经科学、物理学和工程学中一个十分具有潜力的新兴现代技术，可以被应用于医学、工业等各种领域。众所周知，脑机接口是基于对大脑电（或磁）活动的特征形式的实时检测，并将获得的信息转换为可以用于控制硬件的计算机指令。目前，发达的神经接口允许人们控制光标的2-D移动、组织部分语言以及控制一些最简单的动作。BCI可以有效地用于康复、控制外骨骼和机器人。
脑机接口可以使用非侵入性或侵入性方法记录脑电活动，然后将其转换为用户的控制命令。起初，通常认为只有使用植入大脑的电极的侵入性脑机接口才能提供机械臂或神经假体的多维运动控制。同时，无创脑机接口已经被证明是可以用于基本通信和控制的前瞻性设备。无创脑机接口基于对多通道EEG（脑电图）信号记录特征的在线分析和提取，使其成为研究脑功能活动的有力工具。它可以估计神经系统在不同节律产生过程中的参与程度以及属于不同大脑结构的神经元之间的相互作用。脑机接口的操作在很大程度上取决于生成人类稳定且可再现的认知活动模式的可能性，然后将其转换为控制命令。在这种情况下，最有希望的方法就是使用运动意图。
有很多技术可以分析运动意图的神经生理学特征，从而可以将其转化为控制计算机系统的命令，例如基于事件相关电位注册的方法、机器学习和人工智能、隔离信号的时间-频率结构的技术以及使用多通道数据恢复不同大脑区域之间连接等方法。这些技术在经过训练的受试者中得到了积极的结果，参与者在几次训练后能够用控制二维移动光标。
然而，很少能有脑机接口可以应用于未经训练的受试者，这在当下是一个更具挑战性的任务。由于EEG信号的噪音和不稳定特性以及受试者之间的变异性，现有运动图像分类算法在应用于未经训练的受试者时的性能并不是很稳健。
发明内容
本申请实施例的目的在于提供一种运动执行和运动意图的分析方法、装置及存储介质，用以解决现有技术中由于EEG信号的噪音和不稳定特性以及受试者之间的变异性，现有运动图像分类算法在应用于未经训练的受试者时的性能并不是很稳健的问题。
为实现上述目的，本申请实施例提供一种运动执行和运动意图的分析方法，包括：获取对象的原始脑电图信号；
利用多重分形分析方法，选择事件相关去同步和事件相关同步最明显的两个脑区作为选定区域；
利用时间-频率分析方法，确定选定波段，获取所述选定波段的小波能量值，在所述原始脑电图信号中所述选定区域的脑电图通道上，对所述选定波段的小波能量值进行平均，得到平均小波能量值；
根据所述平均小波能量值在时间上的演变，利用经验模式分解方法提取小于预设值的低频率分量；
基于所述低频率分量进行时间-频率相关性分析，在时间上对经过所述时间-频率相关性分析所获得的相关性进行数值微分，并提取所述相关性表现出反相增加和减少的情况；
基于所述相关性大小的预定义阈值提取真实运动和/或想象运动相关的单个事件，以完成运动执行和运动意图的分析。
可选地，所述获取对象的原始脑电图信号包括：
分别获取对象执行预设的真实运动和想象运动任务时的脑电图信号，作为所述原始脑电图信号。
可选地，所述利用多重分形分析方法，选择事件相关去同步和事件相关同步最明显的两个脑区作为选定区域包括：
使用小波变换模极大值法估计所述原始脑电图信号的复杂性以获取真实运动动作和想象运动意图之间区别最显著的大脑区域，从而确定所述选定区域。
可选地，所述利用时间-频率分析方法，确定选定波段包括：
基于连续小波变换，获取原始脑电图信号的小波能量谱；
根据所述原始脑电图信号每个的脑电图通道，通过计算所述小波能量谱所指示的频带和每个阶段的平均值，分别计算获取脑电图的不同阶段对应的小波能量值，以确定所述选定波段。
可选地，所述利用经验模式分解方法提取小于预设值的低频率分量包括：
使用经验模式分解从原始脑电图信号中的频谱能量的时间演化中提取低频趋势，包括：
S1、求所述原始脑电图信号的最小值和最大值；
S2、对所述最小值和最大值之间的信号进行插值，并构建两个包络；
S3、基于所述包络，获取所述原始脑电图信号的低频分量；
S4、基于所述低频分量，提取所述原始脑电图信号的高频分量；
S5、重复步骤S1至S4，以得到所述低频趋势，并计算后续经验模式，以得到所述低频率分量。
可选地，所述选定波段为
和/>
波段。
为实现上述目的，本申请还提供一种运动执行和运动意图的分析装置，包括：存储器；以及
与所述存储器连接的处理器，所述处理器被配置成：
获取对象的原始脑电图信号；
利用多重分形分析方法，选择事件相关去同步和事件相关同步最明显的两个脑区作为选定区域；
利用时间-频率分析方法，确定选定波段，获取所述选定波段的小波能量值，在所述原始脑电图信号中所述选定区域的脑电图通道上，对所述选定波段的小波能量值进行平均，得到平均小波能量值；
根据所述平均小波能量值在时间上的演变，利用经验模式分解方法提取小于预设值的低频率分量；
基于所述低频率分量进行时间-频率相关性分析，在时间上对经过所述时间-频率相关性分析所获得的相关性进行数值微分，并提取所述相关性表现出反相增加和减少的情况；
基于所述相关性大小的预定义阈值提取真实运动和/或想象运动相关的单个事件，以完成运动执行和运动意图的分析。
为实现上述目的，本申请还提供一种计算机存储介质，其上存储有计算机程序，其中所述计算机程序被机器执行时实现如上所述的方法的步骤。
本申请实施例具有如下优点：
本申请实施例提供一种运动执行和运动意图的分析方法，包括：获取对象的原始脑电图信号；利用多重分形分析方法，选择事件相关去同步和事件相关同步最明显的两个脑区作为选定区域；利用时间-频率分析方法，确定选定波段，获取所述选定波段的小波能量值，在所述原始脑电图信号中所述选定区域的脑电图通道上，对所述选定波段的小波能量值进行平均，得到平均小波能量值；根据所述平均小波能量值在时间上的演变，利用经验模式分解方法提取小于预设值的低频率分量；基于所述低频率分量进行时间-频率相关性分析，在时间上对经过所述时间-频率相关性分析所获得的相关性进行数值微分，并提取所述相关性表现出反相增加和减少的情况；基于所述相关性大小的预定义阈值提取真实运动和/或想象运动相关的单个事件，以完成运动执行和运动意图的分析。
通过上述方法，应用非线性动力学方法，首先基于经验模式分解从信号中提取低频趋势；然后将多重分形分析应用于脑电图信号，以揭示真实运动动作和运动意图之间区别最显著的大脑区域；最后使用基于时间-频率小波的脑电图活动分析，详细分析所考虑的脑区域的结构，并区分了在大脑不同区域发生的特征性振荡模式，以及运动执行（或运动意图）发生时的相互作用。基于上述结果所构建的实时识别运动执行和运动意图的自动化算法，可以应用于为未经培训的用户构建脑机接口，减少了脑机接口受操作员熟练程度和受试者间变异性的影响，从而提高了算法的稳健性，并增强了脑机接口系统的适用性，具有巨大的应用价值。
附图说明
为了更清楚地说明本申请的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
图1为本申请实施例提供的一种运动执行和运动意图的分析方法的流程图；
图2为本申请实施例提供的一种运动执行和运动意图的分析方法的原始脑电图信号获取示意图；
图3为本申请实施例提供的一种运动执行和运动意图的分析方法的多重分形分析的Hölder指数估计示意图；
图4为本申请实施例提供的一种运动执行和运动意图的分析方法的小波能量变化的时间-频率图；
图5为本申请实施例提供的一种运动执行和运动意图的分析方法的
通道记录的典型脑电图信号/>
的经验模式分解示例；
图6为本申请实施例提供的一种运动执行和运动意图的分析方法的分析EEG的结果示意图；
图7为本申请实施例提供的一种运动执行和运动意图的分析装置的模块框图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本申请一实施例提供一种运动执行和运动意图的分析方法，参考图1，图1为本申请的一实施方式中提供的一种运动执行和运动意图的分析方法的流程图，应当理解的是，该方法还可以包括未示出的附加框和/或可以省略所示出的框，本申请的范围在此方面不受限制。
在步骤101处，获取对象的原始脑电图信号。
在一些实施例中，所述获取对象的原始脑电图信号包括：
分别获取对象执行预设的真实运动和想象运动任务时的脑电图信号，作为所述原始脑电图信号。
具体地，从19个记录电极以250Hz采样率获取多通道EEG信号，两个参考电极放置在10–20国际系统的标准位置。使用放置在“TIEN–20”膏上的杯状粘结剂Ag/AgCl电极记录EEG（脑电图）数据。使用研磨性“NuPrep”凝胶增加皮肤的导电性并降低其电阻。安装电极时监测阻抗，并在实验期间测量阻抗。通常，阻抗值在2～5
范围内变化。接地电极N位于前额上方，两个参考电极/>
位于乳突上。EEG信号通过带通滤波器和50Hz陷波滤波器进行滤波，带通滤波器的截止点为1Hz（HP）和100Hz（LP）。测试过程如图2所示。测试对象被要求执行两种预设的任务：缓慢抬起右手（及肩关节）（real arm movement，RAM），并在给定的时间间隔内想象这样的动作（imaginary arm movement，IAM）（图2（a））。整个过程分为10个阶段，5个真实动作阶段（/>
）和5个想象动作阶段（/>
）。每个RE阶段之后是IM阶段。实验以5分钟的背景EEG记录（/>
）开始，以5分钟背景EEG记录（/>
）结束（图2（b）），背景EEG=RE阶段的EEG+IM阶段的EEG，背景EEG即为原始脑电图信号。每个阶段之前都有一条简短的可视消息，其中包含/>
=20个相同的事件。阶段中的每个事件之前都有一条简短的声音消息，并且在保留的时间间隔内执行/>
。测试过程在特殊实验室进行，外部刺激的影响如噪音和强光等均被最小化。
在步骤102处，利用多重分形分析方法，选择事件相关去同步和事件相关同步最明显的两个脑区作为选定区域。
在一些实施例中，所述利用多重分形分析方法，选择事件相关去同步和事件相关同步最明显的两个脑区作为选定区域包括：
使用小波变换模极大值法估计所述原始脑电图信号的复杂性以获取真实运动动作和想象运动意图之间区别最显著的大脑区域，从而确定所述选定区域。
具体地，多重分形分析方法：
使用小波变换模极大值（wavelet transform modulus maxima，WTMM）法估计原始EEG信号的复杂性以揭示真实运动动作和想象运动意图之间区别最显著的大脑区域。该方法被广泛用于描述非平稳时间序列中的复杂标度现象。它给出了基于连续小波变换的信号
的奇异谱：
其中，
和/>
表征小波函数/>
的尺度和平移。在多重分形分析中，主要使用实值小波，如MHAT函数：
奇点
附近，小波系数的幂律相关性/>
以/>
指数/>
发生。/>
的值表征奇异性的强度，并沿信号/>
变化。为了提供奇点的统计分析，主要应用基于配分函数的方法。它假设提取所有骨架线（/>
的局部最大值线）并构造函数：
其中，
是标度/>
处的一整套骨架线，/>
为与线/>
相关的最大值的位置，
为标度指数。/>
的值可以通过分析双对数图中的相关性找到。之后，可以得出
指数/>
和奇异谱/>
：
函数
是由指数/>
表征的奇点的豪斯多夫维数/>
。奇异谱的位置由平均/>
指数/>
确定，而奇异谱的宽度量化了分析数据的不均匀程度。它经常被用作非平稳过程的复杂性度量。
WTMM结合了复杂性分析和相关性分析，是研究非平稳和非均匀过程的有力工具。在该方法的第一阶段应用小波变换可以忽略分析数据中出现的多项式趋势。因此，在应用WTMM方法之前，无需对EEG数据进行预处理。在计算奇异谱
时，考虑了两个主要度量：表征数据不均匀性（复杂性）程度的谱宽度和反映相关特性的平均/>
指数/>
。该分析揭示了第二个数量的主要区别。与标准相关分析相比，WTMM提供了更快的估计量收敛，因此可以基于短数据集的复杂过程作出更好表征，能够提高有限量生理数据的不同生理状态之间的分离质量。对奇异谱进行的估计揭示了反映在/>
位置上的真实手部运动和想象手部运动之间的显著差异，即图3中所示的平均/>
指数/>
（图3中，(a)与右臂真实（RE）和想象（IM）运动相关的平均Hölder指数，根据EEG通道“Cz”估计。(b)Hölder指数与真实（RE）和想象（IM）运动的EEG信号相关，根据EEG通道Cz和C3计算并平均。*所有数据均显示为平均值±SE）。
在步骤103处，利用时间-频率分析方法，确定选定波段，获取所述选定波段的小波能量值，在所述原始脑电图信号中所述选定区域的脑电图通道上，对所述选定波段的小波能量值进行平均，得到平均小波能量值。
在一些实施例中，所述利用时间-频率分析方法，确定选定波段包括：
基于连续小波变换，获取原始脑电图信号的小波能量谱；
根据所述原始脑电图信号每个的脑电图通道，通过计算所述小波能量谱所指示的频带和每个阶段的平均值，分别计算获取脑电图的不同阶段对应的小波能量值，以确定所述选定波段。
具体地，时间-频率分析方法：
时间-频率分析基于连续小波变换，其中复值Morlet小波被选为母函数
在频带
中计算小波能量谱/>
。对于原始EEG信号的每个EEG通道，通过计算/>
所指示的频带和每个实验阶段的（RE）、（IM）和（BCG）的小波能量的平均值，分别计算与真实运动、想象运动和背景EEG相关的整个小波能量/>
、/>
和/>
的值：
在
波段（1–5Hz）、/>
波段（8–13Hz）和/>
波段（10–30Hz）的频率范围内，通过对相应频带上的/>
值进行平均，计算每个EEG通道的能量值/>
、/>
和/>
如图4所示为时间-频率相关性分析，说明了小波能量
，/>
Hz，
s与图4（a）相对于背景EEG的真实运动和图4（b）想象运动相关联。图4中为对所有21个EEG通道记录的100次EEG试验的数据的平均值。根据记录电极的位置，时间-频率图被标记并位于头状布局上。红色和蓝色表示时间-频率平面，在真实或想象运动期间，能量值分别增加和减少。颜色饱和度显示变化的程度。
通过时间-频率分析得出
波段（/>
）与/>
波段（/>
Hz）（即选定波段）可以有效地用于提取未经训练的受试者中与真实运动和想象运动相关的大脑活动的特征（图4）。在真实运动过程中，/>
-波段的事件相关去同步（event-relateddesynchronization，ERD）发生在颞叶、中央叶和顶叶，/>
-波段的事件相关同步（event-related synchronization，ERS）在额叶最为明显。在想象运动过程中，/>
-波段表现出ERS，主要表现在中央和顶叶，而颞叶则明显减少。与真实运动的执行类似，想象运动的特征是额叶/>
-活动的显著变化，而运动执行（motion execution，ME）与/>
-波段的ERS相关，运动意图（motion imaginary，MI）以/>
-波段的ERD为特征。
在步骤104处，根据所述平均小波能量值在时间上的演变，利用经验模式分解方法提取小于预设值的低频率分量。
在一些实施例中，所述利用经验模式分解方法提取小于预设值的低频率分量包括：
使用经验模式分解从原始脑电图信号中的频谱能量的时间演化中提取低频趋势，包括：
S1、求所述原始脑电图信号的最小值和最大值；
S2、对所述最小值和最大值之间的信号进行插值，并构建两个包络；
S3、基于所述包络，获取所述原始脑电图信号的低频分量；
S4、基于所述低频分量，提取所述原始脑电图信号的高频分量；
S5、重复步骤S1至S4，以得到所述低频趋势，并计算后续经验模式，以得到所述低频率分量。
具体地，经验模式分解方法：
使用经验模式分解（Empirical mode decomposition，EMD）从原始脑电图信号中的频谱能量的时间演化中提取低频趋势。这种最新的复杂非线性和非平稳信号是研究实验脑电信号的一种很有前途的工具。EMD最重要的优点之一是基本函数不是预先确定的，如傅里叶或小波分析，它们是从高度依赖于初始信号结构的分析信号本身导出的。这一特性使得EMD的应用非常方便，并且对于信号分析具有高度适应性。
EMD方法允许将初始信号（例如，EEG）分解为具有零平均值的振幅调制分量之和，称为经验模式（empirical modes，EM）。信号
（在本实施例中，就是指原始脑电图信号）的EMD算法包括以下几个步骤：
1.求信号
的所有极值（最小值和最大值）；
2.对最小值和最大值之间的信号进行插值，并构建两个包络：
和/>
；
3.计算信号低频分量（趋势）
:
4.提取信号的高频分量（经验模式）
:
5.重复步骤1-4以得到趋势
，并计算后续经验模式。
EMD算法的步骤1-4允许计算第一个EM。为了计算第二个、第三个和随后的EM，必须分别针对第一个、第二个趋势
（而不是初始信号/>
）重复所有步骤。
EEG信号
的EMD示例如图5所示。图5包含原始EEG信号/>
和为该片段计算的前四个EM的分段。每个EM的特征在于其自身的频率范围，EM的总数及其频率范围高度依赖于初始信号。第一个EM具有最高的频率，随着EM数量的增加，后者变得更低。不同EM的频率范围大多对应于信号上的不同振荡模式。为了从信号/>
中提取所需的低频趋势，必须考虑具有最低频率的电磁波。
在步骤105处，基于所述低频率分量进行时间-频率相关性分析，在时间上对经过所述时间-频率相关性分析所获得的相关性进行数值微分，并提取所述相关性表现出反相增加和减少的情况。
在步骤106处，基于所述相关性大小的预定义阈值提取真实运动和/或想象运动相关的单个事件，以完成运动执行和运动意图的分析。
图6展示了将上述自动化算法应用于EEG信号分析的一个结果示意图，其中（a）真实运动以及（b）相应想象运动的演示。在图6（a）、图6（b）右侧上半部分，对记录EEG信号的区域A和B进行着色，并分别用于估计
和/>
活动的变化。对这些区域进行时间-频率分析。然后，对于运动动作执行的/>
-活动在中央、顶叶和颞叶进行分析，而对于想象运动的
-活动在额叶、中央、顶叶和枕叶进行分析。对两种情况下额叶的δ-活性进行分析。在图6（a）、图6（b）左侧上半部分，显示了从这些大脑区域记录的典型EEG轨迹。垂直虚线表示运动动作/意图开始的时刻。/>
和/>
的值分别对应于在/>
和/>
上平均的小波能量，它们归属于区域A和B的一组EEG轨迹上。/>
和/>
分别是针对相关性/>
和/>
计算的第4类经验模式。/>
和/>
定义经验模式/>
和/>
的时间导数。阴影区域突出显示/>
和/>
（真实运动）和/>
和/>
（想象运动）。这些条件对应于真实运动中/>
-活动的增加和/>
-活动的减少，以及想象运动中/>
-活动的减少和/>
-活动的增加。图6下半部分中的脉冲表示（a）真实运动和（b）想象运动发生的时刻。可以看出，本算法能够从EEG中识别真实运动和想象运动。应用于包括20个ME事件和20个MI事件的测试，能够正确识别19个ME事件以及16个MI事件，错误事件数分别为0和2。
通过上述方法，应用非线性动力学方法，首先基于经验模式分解从信号中提取低频趋势；然后将多重分形分析应用于脑电图信号，以揭示真实运动动作和运动意图之间区别最显著的大脑区域；最后使用基于时间-频率小波的脑电图活动分析，详细分析所考虑的脑区域的结构，并区分了在大脑不同区域发生的特征性振荡模式，以及运动执行（或运动意图）发生时的相互作用。基于上述结果所构建的实时识别运动执行和运动意图的自动化算法，可以应用于为未经培训的用户构建脑机接口，减少了脑机接口受操作员熟练程度和受试者间变异性的影响，从而提高了算法的稳健性，并增强了脑机接口系统的适用性，具有巨大的应用价值。
图7为本申请实施例提供的一种运动执行和运动意图的分析装置的模块框图。该装置包括：
存储器201；以及与所述存储器201连接的处理器202，所述处理器202被配置成：获取对象的原始脑电图信号；
利用多重分形分析方法，选择事件相关去同步和事件相关同步最明显的两个脑区作为选定区域；
利用时间-频率分析方法，确定选定波段，获取所述选定波段的小波能量值，在所述原始脑电图信号中所述选定区域的脑电图通道上，对所述选定波段的小波能量值进行平均，得到平均小波能量值；
根据所述平均小波能量值在时间上的演变，利用经验模式分解方法提取小于预设值的低频率分量；
基于所述低频率分量进行时间-频率相关性分析，在时间上对经过所述时间-频率相关性分析所获得的相关性进行数值微分，并提取所述相关性表现出反相增加和减少的情况；
基于所述相关性大小的预定义阈值提取真实运动和/或想象运动相关的单个事件，以完成运动执行和运动意图的分析。
在一些实施例中，所述处理器202还被配置成：所述获取对象的原始脑电图信号包括：
分别获取对象执行预设的真实运动和想象运动任务时的脑电图信号，作为所述原始脑电图信号。
在一些实施例中，所述处理器202还被配置成：所述利用多重分形分析方法，选择事件相关去同步和事件相关同步最明显的两个脑区作为选定区域包括：
使用小波变换模极大值法估计所述原始脑电图信号的复杂性以获取真实运动动作和想象运动意图之间区别最显著的大脑区域，从而确定所述选定区域。
在一些实施例中，所述处理器202还被配置成：所述利用时间-频率分析方法，确定选定波段包括：
基于连续小波变换，获取原始脑电图信号的小波能量谱；
根据所述原始脑电图信号每个的脑电图通道，通过计算所述小波能量谱所指示的频带和每个阶段的平均值，分别计算获取脑电图的不同阶段对应的小波能量值，以确定所述选定波段。
在一些实施例中，所述处理器202还被配置成：所述利用经验模式分解方法提取小于预设值的低频率分量包括：
使用经验模式分解从原始脑电图信号中的频谱能量的时间演化中提取低频趋势，包括：
S1、求所述原始脑电图信号的最小值和最大值；
S2、对所述最小值和最大值之间的信号进行插值，并构建两个包络；
S3、基于所述包络，获取所述原始脑电图信号的低频分量；
S4、基于所述低频分量，提取所述原始脑电图信号的高频分量；
S5、重复步骤S1至S4，以得到所述低频趋势，并计算后续经验模式，以得到所述低频率分量。
在一些实施例中，所述处理器202还被配置成：所述选定波段为
和/>
波段。
具体实现方法参考前述方法实施例，此处不再赘述。
本申请可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
虽然，上文中已经用一般性说明及具体实施例对本申请作了详尽的描述，但在本申请基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本申请精神的基础上所做的这些修改或改进，均属于本申请要求保护的范围。
Claims (7)
1.一种运动执行和运动意图的分析方法，其特征在于，包括：
获取对象的原始脑电图信号；
利用多重分形分析方法，选择事件相关去同步和事件相关同步最明显的两个脑区作为选定区域；其中，
使用小波变换模极大值法估计所述原始脑电图信号的复杂性以获取真实运动动作和想象运动意图之间区别最显著的大脑区域，从而确定所述选定区域，具体包括：
基于连续小波变换的信号
的奇异谱：
其中，
和/>
表征小波函数/>
的尺度和平移，在多重分形分析中，使用实值小波，包括MHAT函数：
奇点
附近，小波系数的幂律相，关性/>
以/>
指数/>
发生，/>
的值表征奇异性的强度，并沿信号/>
变化，应用基于配分函数的方法，提供奇点的统计分析；
利用时间-频率分析方法，确定选定波段，获取所述选定波段的小波能量值，在所述原始脑电图信号中所述选定区域的脑电图通道上，对所述选定波段的小波能量值进行平均，得到平均小波能量值；
根据所述平均小波能量值在时间上的演变，利用经验模式分解方法提取小于预设值的低频率分量；
基于所述低频率分量进行时间-频率相关性分析，在时间上对经过所述时间-频率相关性分析所获得的相关性进行数值微分，并提取所述相关性表现出反相增加和减少的情况；
基于所述相关性大小的预定义阈值提取真实运动和/或想象运动相关的单个事件，以完成运动执行和运动意图的分析。
2.根据权利要求1所述的运动执行和运动意图的分析方法，其特征在于，所述获取对象的原始脑电图信号包括：
分别获取对象执行预设的真实运动和想象运动任务时的脑电图信号，作为所述原始脑电图信号。
3.根据权利要求1所述的运动执行和运动意图的分析方法，其特征在于，所述利用时间-频率分析方法，确定选定波段包括：
基于连续小波变换，获取原始脑电图信号的小波能量谱；
根据所述原始脑电图信号每个的脑电图通道，通过计算所述小波能量谱所指示的频带和每个阶段的平均值，分别计算获取脑电图的不同阶段对应的小波能量值，以确定所述选定波段。
4.根据权利要求1所述的运动执行和运动意图的分析方法，其特征在于，所述利用经验模式分解方法提取小于预设值的低频率分量包括：
使用经验模式分解从原始脑电图信号中的频谱能量的时间演化中提取低频趋势，包括：
S1、求所述原始脑电图信号的最小值和最大值；
S2、对所述最小值和最大值之间的信号进行插值，并构建两个包络；
S3、基于所述包络，获取所述原始脑电图信号的低频分量；
S4、基于所述低频分量，提取所述原始脑电图信号的高频分量；
S5、重复步骤S1至S4，以得到所述低频趋势，并计算后续经验模式，以得到所述低频率分量。
5.根据权利要求1所述的运动执行和运动意图的分析方法，其特征在于，
所述选定波段为
和/>
波段。
6.一种运动执行和运动意图的分析装置，其特征在于，包括：
存储器；以及
与所述存储器连接的处理器，所述处理器被配置成：
获取对象的原始脑电图信号；
利用多重分形分析方法，选择事件相关去同步和事件相关同步最明显的两个脑区作为选定区域；其中，
使用小波变换模极大值法估计所述原始脑电图信号的复杂性以获取真实运动动作和想象运动意图之间区别最显著的大脑区域，从而确定所述选定区域，具体包括：
基于连续小波变换的信号
的奇异谱：
其中，
和/>
表征小波函数/>
的尺度和平移，在多重分形分析中，使用实值小波，包括MHAT函数：
奇点
附近，小波系数的幂律相关性/>
以/>
指数/>
发生，/>
的值表征奇异性的强度，并沿信号/>
变化，应用基于配分函数的方法，提供奇点的统计分析；
利用时间-频率分析方法，确定选定波段，获取所述选定波段的小波能量值，在所述原始脑电图信号中所述选定区域的脑电图通道上，对所述选定波段的小波能量值进行平均，得到平均小波能量值；
根据所述平均小波能量值在时间上的演变，利用经验模式分解方法提取小于预设值的低频率分量；
基于所述低频率分量进行时间-频率相关性分析，在时间上对经过所述时间-频率相关性分析所获得的相关性进行数值微分，并提取所述相关性表现出反相增加和减少的情况；
基于所述相关性大小的预定义阈值提取真实运动和/或想象运动相关的单个事件，以完成运动执行和运动意图的分析。
7.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被机器执行时实现如权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310323420.2A CN116019462B (zh) | 2023-03-30 | 2023-03-30 | 运动执行和运动意图的分析方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310323420.2A CN116019462B (zh) | 2023-03-30 | 2023-03-30 | 运动执行和运动意图的分析方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116019462A CN116019462A (zh) | 2023-04-28 |
| CN116019462B true CN116019462B (zh) | 2023-07-04 |
Family
ID=86077970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310323420.2A Active CN116019462B (zh) | 2023-03-30 | 2023-03-30 | 运动执行和运动意图的分析方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116019462B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722727A (zh) * | 2012-06-11 | 2012-10-10 | 杭州电子科技大学 | 基于脑功能网络邻接矩阵分解的脑电特征提取方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100571617C (zh) * | 2007-12-25 | 2009-12-23 | 天津大学 | 站起想象动作脑电的信号采集和特征提取方法 |
| CN104392444A (zh) * | 2014-11-18 | 2015-03-04 | 陕西师范大学 | 基于二维集合经验模式分解的医学mr图像特征提取方法 |
| RU2682492C1 (ru) * | 2018-02-26 | 2019-03-19 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Саратовский государственный технический университет имени Гагарина Ю.А." (СГТУ имени Гагарина Ю.А.) | Способ классификации сигналов ЭЭГ при воображении двигательной активности у нетренированного оператора |
| CN108829257B (zh) * | 2018-08-21 | 2021-04-23 | 北京工业大学 | 基于dtcwt和il-mvu的运动想象脑电信号的特征提取方法 |
| CN109375776B (zh) * | 2018-10-30 | 2021-07-23 | 东北师范大学 | 基于多任务rnn模型的脑电信号动作意图识别方法 |
| RU2751816C1 (ru) * | 2020-08-17 | 2021-07-19 | Автономная некоммерческая организация высшего образования «Университет Иннополис» | Способ классификации двигательной активности человека |
-
2023
- 2023-03-30 CN CN202310323420.2A patent/CN116019462B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722727A (zh) * | 2012-06-11 | 2012-10-10 | 杭州电子科技大学 | 基于脑功能网络邻接矩阵分解的脑电特征提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116019462A (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Somers et al. | A generic EEG artifact removal algorithm based on the multi-channel Wiener filter | |
| Maksimenko et al. | Nonlinear analysis of brain activity, associated with motor action and motor imaginary in untrained subjects | |
| Molla et al. | Artifact suppression from EEG signals using data adaptive time domain filtering | |
| Turnip et al. | Classifying mental activities from EEG-P300 signals using adaptive neural network | |
| Patil et al. | Feature extraction of EEG for emotion recognition using Hjorth features and higher order crossings | |
| Valderrama et al. | An automatic algorithm for blink-artifact suppression based on iterative template matching: Application to single channel recording of cortical auditory evoked potentials | |
| Soomro et al. | A method for automatic removal of eye blink artifacts from EEG based on EMD-ICA | |
| Molla et al. | Multivariate EMD based approach to EOG artifacts separation from EEG | |
| Mohamed et al. | Towards automated quality assessment measure for EEG signals | |
| Fatima et al. | Towards a low cost Brain-computer Interface for real time control of a 2 DOF robotic arm | |
| Turnip et al. | Improvement of BCI Performance Through Nonlinear Independent Component Analysis Extraction. | |
| Guarascio et al. | Automatic minimization of ocular artifacts from electroencephalogram: A novel approach by combining Complete EEMD with Adaptive Noise and Renyi's Entropy | |
| Shahbakhti et al. | SWT-kurtosis based algorithm for elimination of electrical shift and linear trend from EEG signals | |
| CN113723557A (zh) | 一种基于多频带时空卷积网络的抑郁脑电分类系统 | |
| Lee et al. | Single-trial event-related potential extraction through one-unit ICA-with-reference | |
| AU2020103949A4 (en) | EEG Signal Mixed Noise Processing Method, Equipment and Storage Medium | |
| Hettiarachchi et al. | Multivariate adaptive autoregressive modeling and Kalman filtering for motor imagery BCI | |
| Noorbasha et al. | Joint singular spectrum analysis and generalized Moreau envelope total variation for motion artifact removal from single channel EEG signals | |
| Ruan et al. | Feature extraction of SSVEP-based brain-computer interface with ICA and HHT method | |
| CN116019462B (zh) | 运动执行和运动意图的分析方法、装置及存储介质 | |
| Miljković et al. | Independent Component Analysis (ICA) methods for neonatal EEG artifact extraction: Sensitivity to variation of artifact properties | |
| Alam et al. | Performance evaluation of empirical mode decomposition for EEG artifact removal | |
| Rutkowski et al. | Multichannel spectral pattern separation-an EEG processing application | |
| Sutharsan et al. | Electroencephalogram signal processing with independent component analysis and cognitive stress classification using convolutional neural networks | |
| Ferdousy et al. | Electrooculographic and electromyographic artifacts removal from EEG |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |