CN115293210A - 一种基于脑电波的指令预测输出控制方法 - Google Patents

Abstract

本发明公开了一种基于脑电波的指令预测输出控制方法，包括数据预处理阶段：对采集的脑电波进行预处理；特征提取阶段：获取脑电波信号的特征；脑电波信号预测模型预测阶段：根据脑电波信号的特征进行预测输出。本发明的优点在于：预测输出结果准确可靠，可以准确预测出脑电波信号对应的指令；采用多冲脑电波处理机制，保证了输入脑电波信号的准确可靠，进而保证了预测输出结果的准确性。

Description

一种基于脑电波的指令预测输出控制方法

技术领域

本发明涉及脑电波处理领域，特别涉及一种基于脑电波的指令预测输出控制方法。

背景技术

现在人工智能发展迅速，智能语音技术、图像识别技术等发展已经相对完善，都可以运用于智能终端设备，脑电波控制作为新型控制技术也在不断崛起，目前随着智能终端设备的不断发展，很多智能终端设备尝试将脑电波控制技术进行应用，利用脑电波就可以实现对终端产品的控制，目前脑电波控制已经提出以意取物的设想，比如早上醒来，心念一动灯就开了，然后心里在默默想要下一个指令，咖啡机就已经帮你煮好咖啡了，还可以运用机器人的机械手臂来帮忙，而且这一切全都是基于脑电波来操控。

目前非侵入式脑电波监测是一种灵活、无创的大脑监测方法,广泛应用在运动想象脑机接口系统中,运动想象脑电图的识别精度是决定系统性能与实用性的关键因素。然而由于非侵入式脑电图采集时间长、个体差异大、影响因素多等原因,导致单个受试者可用于模型的训练的样本数量少,严重影响了对单个受试者所建立模型的准确性与实用性。因此如何实现预测准确的输出是需要解决的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于脑电波的指令预测输出控制方法，用于对脑电波进行预测来输出准确的脑电波预测结果。

为了实现上述目的，本发明采用的技术方案为：一种基于脑电波的指令预测输出控制方法，包括数据预处理阶段：对采集的脑电波进行预处理；

特征提取阶段：获取脑电波信号的特征；

脑电波信号预测模型预测阶段：根据脑电波信号的特征进行预测输出。

数据预处理阶段包括：

对脑电波的归一化处理；

对采集的脑电波信号滤波和降噪处理。

对脑电波的归一化处理包括采用窗函数参数以及广义S变换对信号进行时频域处理使其时频分布的分辨率得到改善；

采用集成经验模式分解法EEMD对脑电波信号进行降噪处理。

对采集的脑电波信号滤波和降噪处理包括：采用数字滤波器进行信号滤波处理以及通过小波阈值去噪处理脑电波信号进行去噪。

小波阈值去噪包括：选定小波基函数-sym小波基，利用SNR规则确定小波分解层数，将原始信号进行离散小波分解；对小波分解得到的小波系数选取合适的阈值规则进行阈值量化处理；对小波阈值去噪后的各级系数重构即得到去噪后的信号。

特征提取阶段包括采用STA/LTA比值法拾取脑电波信号然后对脑电波信号进行分析得到信号特征。

对脑电波信号进行分析包括时域分析和时频分析，获取得到脑电波信号的时域特征和时频特征。

脑电波信号的时域特征和时频特征采用共空间模式算法进行特征提取。

脑电波信号预测模型预测阶段包括：采用训练完成的脑电波预测模型对脑电波信号进行预测输出，预测输出对应的脑电波指令信号。

本发明的优点在于：预测输出结果准确可靠，可以准确预测出脑电波信号对应的指令；采用多冲脑电波处理机制，保证了输入脑电波信号的准确可靠，进而保证了预测输出结果的准确性。

附图说明

下面对本发明说明书各幅附图表达的内容及图中的标记作简要说明：

图1为本发明脑电波模型信号采集流程图；

图2为本发明脑电波信号控制流程图。

具体实施方式

下面对照附图，通过对最优实施例的描述，对本发明的具体实施方式作进一步详细的说明。

本发明不仅是要实现脑电波的准确预测还实现了基于脑电波的控制，将预测指令由用户进行二次选择来判断控制设备是否执行预测指令。具体方案包括：

一种基于脑电波的指令预测输出控制方法，包括

数据预处理阶段：对采集的脑电波进行预处理；

特征提取阶段：获取脑电波信号的特征；

脑电波信号预测模型预测阶段：根据脑电波信号的特征进行预测输出。输出的预测指令由用户进行指令二次选择，当选择该指令，则被选择的指令由控制设备进行指令脑电波指令；否则丢弃不执行。由于模型预测输出的指令为一个或多个，当为一个是用户二次选择是否执行，当为多个时，用户选择是否执行某一个，从而实现了一种用户二次选择的脑电波输出控制方法，使得控制更加准确可靠。

数据预处理阶段包括：

对脑电波的归一化处理；

对采集的脑电波信号滤波和降噪处理。

对脑电波的归一化处理包括采用窗函数参数以及广义S变换对信号进行时频域处理使其时频分布的分辨率得到改善；

采用集成经验模式分解法EEMD对脑电波信号进行降噪处理。

对采集的脑电波信号滤波和降噪处理包括：采用数字滤波器进行信号滤波处理以及通过小波阈值去噪处理脑电波信号进行去噪。

小波阈值去噪包括：选定小波基函数-sym小波基，利用SNR规则确定小波分解层数，将原始信号进行离散小波分解；对小波分解得到的小波系数选取合适的阈值规则进行阈值量化处理；对小波阈值去噪后的各级系数重构即得到去噪后的信号。

特征提取阶段包括采用STA/LTA比值法拾取脑电波信号然后对脑电波信号进行分析得到信号特征。

对脑电波信号进行分析包括时域分析和时频分析，获取得到脑电波信号的时域特征和时频特征。

脑电波信号的时域特征和时频特征采用共空间模式算法进行特征提取。

脑电波信号预测模型预测阶段包括：采用训练完成的脑电波预测模型对脑电波信号进行预测输出，预测输出对应的脑电波指令信号。模型采用图卷积神经网络进行建模、训练和预测。

在脑电波模型运用图卷积神经网络进行建立模型时，不仅仅对现有脑电波数据与指令进行点对点的建立模型，可以利用预测型神经网络，对脑电波数据与指令进行点对面的建立模型，以下有两种举例对本发明技术应用进行解释。当模型已检测到脑电波指令为“喝水”时，模型可对下一步脑电波指令进行预测可能为“将水杯拿过来”。当脑电波模型进行应用时可对采集的脑电波片段，不一定只分析出一个指令可对其指令进行预测，分析出多个指令，为受试者提供多种选项，让受试者进行二次选择，从而选择出更符合受试者意愿的指令，从而提高脑电波模型分析脑电波的准确率与应用成功率。为实现上述技术以及解决现有问题，本发明采用以下方案：

第一步：对采集的信号进行预处理方法：

(1)针对采集到的脑电波信号非平稳的特点，可运用窗函数参数，以及广义S变换，这种变换可根据信号差异灵活地调节高斯窗函数的宽度，有效的改善时频分布的分辨率。最后运用Java语言编译了一套脑电波信号处理软件(脑控EC)，实现了脑电波信号快速规范化处理。

(2)通过集成经验模式分解法(EEMD)对脑电波信号进行了预处理，利用图卷积神经网络模型阈值规则提取了脑电波信号的优势分量并重构，采用双尺度盒维数分形算法对重构后的信号进行分析。

以下为具体算法如下：

假设采集信号为x(n)(n＝1,2,3…,N)，为方便起见，令采样时间间隔Δt＝1，则有：

为确定函数

的待定系数a_j(j＝0，1，2…，m),为使函数

更接近离散数据x(n),应使两函数的离差平方和最小,即

m为函数方程的多项式阶次,其取值范围为：0≤j≤m

若函数E存在极值时,应满足条件：

再取E对a_j求偏导,可得一个m+1元线性方程:

m的取值决定趋势项的形式,一般而言,m取值过大后易出现畸变方程组,故本次m取值为2,经方程简化后,消除趋势项的计算公式为:

当消除趋势项后,为消除信号混叠的其它噪声,即信号上多叠加有毛刺,对信号进行光滑去噪很有必要,常见的平滑处理方法如滑动平均法,类似于取一加权平均因子e_n,与x(n)信号相乘叠加,结果y即光滑后的信号,公式如下:

其中,加权平均因子和满足

运用此方法则可对脑电波信号进行预处理。

第二步：对采集的信号滤波与降噪方法：

滤波：根据数字滤波器的特性，可将其分为无限脉冲滤波器(IIR，InfiniteImpulse Response)和有限脉冲滤波器(FIR，Finite Impulse Response)这两种滤波器的系统函数均可以Z变换表示为:

当A(Z)＝1时,是H(z)＝B(z)是z^-1的多项式,其对应的单位样值函数是有限长的,即FIR滤波器,当A(z)≠1时,即是IIR滤波器的阶数,表示系统反馈回路中的个数。

降噪：运用小波分析

(1)小波变换的窗函数不受具体形状和大小限制，可实现自由伸缩和变化连续小波变换定义如下：

其逆变换后,原函数为：

其中,C_ψ为母函数,可表示为：

其中,Ψ是ψ的傅里叶函数：0＜C_y＜+∞。

因利用连续小波变换计算小波系数需要极大地运算量,在实际运算中,通常将连续小波变换转变为离散小波变换,以此极大地降低运算量并提高计算效率。原信号经小波分解后，信号可分为近似部分和细节部分，其中，近似部分代表原信号的低频部分，细节部分代表原信号的高频部分。

(2)小波基的选择与阈值确定考虑到脑电波信号采集过程中易受一些环境及人为的干扰，在充分研究次声信号特点及小波去噪的原理基础上，发现sym小波基与脑电波信号的波形相似。sym小波基是有限紧支撑正交小波，其时域和频域的局部化能力强,尤其在信号的小波分解过程中可提供有限长的更实际更具体的数字滤波器，因此选择sym小波进行阈值去噪。

小波阈值去噪可分为硬阈值和软阈值函数两类。其中，硬阈值函数公式为

软阈值函数公式为:

γ为阈值函数,其表示：

其中,x为小波系数,f(x)为经阈值处理后的小波系数,σ为噪声标准差。

而在小波阈值处理时需选定相关规则，主要有固定阈值、无偏似然估计阈值、启发式阈值和极值阈值规则，经测试拟设定小波分解层数设为6层，采取无偏似然估计(rigrsure)阈值规则，小波分解后对各级系数作软阈值量化处理，最后将处理后的小波系数进行小波重构。

综上所述，目前小波去噪主要思路如下：(1)选定小波基函数-sym小波基，利用SNR规则确定小波分解层数，将原始信号进行离散小波分解；(2)对小波分解得到的小波系数选取合适的阈值规则进行阈值量化处理；(3)对小波阈值去噪后的各级系数重构即得到去噪后的信号。故本研究采取小波分解→小波系数提取→小波重构对信号去噪。为评价降噪效果，用信噪比(SNR)来评估降噪效果。通过与原始信号对比，信号的SNR值在一定程度可以反映去噪性能，信噪比定义如下：

式中，n表示采样点数，I表示原始信号，In表示降噪后的信号，分别计算不同分解层数的SNR值。从而进行阈值去噪。

第三步：对处理后的信号进行初至拾取方法：在判识一段新此时刻被认定为信号开始的时刻，为有效检测该时刻，多种自动判识初至波算法应运而生，其中，最常使用的自动判识技术为STA/LTA比值法。其中，STA(Short-Term Average)称为短时窗信号平均值，LTA(Long-Term Average)称为长时窗信号平均值。STA/LTA比值是一种类似于Signal/Noise方法，STA对时间序列振幅的快速变化非常敏感，而LTA则提供了关于背景噪声的信息。为避免STA和LTA窗口重叠，对于确保两个值之间的统计独立性非常重要。根据因果关系原则，STA窗口总是引导LTA窗口(Akram and Eaton，2016)。特征函数

CF(i)＝|Y(i)|

CF(i)＝Y(i)²

CF(i)＝|Y(i)-Y(i-1)|

CF(i)＝Y(i)²-Y(i-1)Y(i+1)

CF(i)＝Y(i)²+[Y(i)-Y(i-1)]²

本专利拟采用STA/LTA(Short-Term Average/Long-Term Average)之比来反映信号幅度、频率等特征的变化，当次声信号到达时，STA/LTA值会有一个突变，当其比值大于某一个阈值R时，则判定有新指令事件发生。R的计算公式如下：

其中，W_tta、W_sta分别是长、短时窗长度；A(i)是信号的幅度值。包含短时窗的长时窗在时间轴上逐点移动，计算得出STA和LTA，如果二者比值R大于设定阈值，则认为新指令事件发生，其中值突变处即为初至点。

第四步：对信号进行特征分析

1.时域特征

脑电波信号的时域统计特征有均值、均方值、有效值、方差、标准差、最大和最小值、峰值、峰-峰值等，这些都是有量纲指标。由它们演变而来的无量纲指标包括偏斜度(Skewness，S)、峭度(Kurtosis，K)、峰值指标(Crest Factor，CF)、波形指标(ShapeFactor，SF)、脉冲指标(Impulse Factor，IF)和裕度指标(Clearance Factor，CLF)等六类指标。

设一信号序列S＝(s1，s2，…st，…，s T)，T是信号长度，则六类时域无量纲指标定义如下：

偏斜度指标：

峭度指标：

峰度指标：

波形指标：

脉冲指标：

裕度指标：

其中,

和σ分别表示信号的均值和标准偏差。

2.时频特征时频分析是脑电波信号处理的关键，它可以将次声信号从一维状态拓展到二维，能更方便、直观的研究次声信号在时域与频域的变化。广义S变换是本专利用到的时频特征分析方法：

S变换定义如下:

窗函数w()定义为固定的高斯窗函数。

式中:f为采样频率,t，τ为时间,其中τ-t为窗函数在时间轴上移动的位置,δ(f)为尺度参数,与|f|有关,它控制着窗函数的宽度。

其中σ＝af+b(a＞o、b≥o),式中a和b通过调节高斯窗函数的宽度,以调节信号的时间和频率分辨率。当a＝0、b＝1时,广义S变换与原S变换相同。当a值增加,信号中高频率段分辨率上升,时间分辨率下降,而b值增加则可提高低频成分的时间分辨率,在实际应用中,可不断调节a、b两个参数以达到最佳时频效果。

相对于原高斯窗函数中|f|，广义S变换变为|f|/af+b，通过参数σ来调整时窗宽度，广义S变换定义如下：

w(τ-t，f，a，b)定义为广义S变换的窗函数，如式(3.50)：

由式(3.49)-(3.50)可得广义S变换：

S变换是可逆的,而且逆变换不会产生交叉项的干扰,对式(3.49)进行傅里叶逆变换即可得广义S变换的原函数：

从而完成时频特征的分析。

第五步：对信号进行特征提取后建立脑电波信号识别模型脑电波信号的特征提取选择目前较为成熟的共空间模式(以下简称CSP)算法。该算法的基本原理是通过训练空间滤波器,找到最优的空间投影,从而使两类信号能量之差最大，实现分类，具体的步骤如下：

(1)、分别计算两类脑电波信号X_m，X₁的协方差矩阵Rm，RI以及混合协方差R；

式中:trace(X)表示矩阵X对角线上所有元素之和，m和表示两类试验的试验次数。

(2)构造白化矩阵P并对其特征值S_m，S₁进行分解：

式中：∑表示特征值对角矩阵；U_b是特征向量矩阵。

(3)选取其中几个较大的特征值作为特征向量；

(4)利用特征向量构造空间滤波器F_m，F_e，并获取CSP投影矩。

则两类原始脑电波信号经过空间滤波器滤波后得到的源信号：

S_m＝F_mX

最后可得两个类别的特征：

将二分类CSP算法用到本文四个类别分类时，可以首先进行两两配对，共得到6对，再对每一对形成的特征进行统计，建立脑电波信号识别模型。

第六步：对脑电波信号的识别方法：

择模糊支持向量机(以下简称FSVM)，该算法能克服支持向量机抗噪性差的缺点，基本思想是对输入样本中的噪声设置较小的隶属度，削弱这些噪声样本带来的干扰作用，从而提升系统分类的准确性。

首先，FSVM相比于传统支持向量机的训练样本，增加了一项隶属度mi并称训练集为模糊训练集。

S＝{(x₁ y₁ m₁)(x₂ y₂ m₂)，…，，

(x_i y_i m_i)…(x_n y_n，m_n)}

式中:x_i∈Rⁿy_i糊数,m_i属于隶属度，oi≤1.

由此可得到最优分类面问题。

式中:ε_j是分类误差项。引入拉格朗日乘子a_i(i＝1，…，n)将上述转换为一个优化问题：

脑电波信号模式识别后可得到决策函数:

试验所用到的脑电波数据集来自于5位岁的健康受试者,其中,每位受试者均采集了180组脑电波信号,随机选取90组作为测试样本,另外90组作为训练样本,进行特征提取以及模式识别后得到的分类结果如表2所示。

表2

由表2可知,基于CSP特征提取法的测试集的平均识别率为80.8％,训练集的平均识别率为85.8％。试验证实,采用本专利的算法能够得到良好的分类效果。

第七步：利用Graph Database建立脑电波信号预测模型，并建立信号反馈多项性选择机制本专利采用编码网络与解码网络，所示。其中，编码网络由多头图注意力RNN网络和基于RotatE的分数策略两部分构成，解码网络由ConvKB成，在多头图注意力中采用了一个节点矩阵，节点矩阵中包含了所有的与其相连的邻接节点；并且在知识图谱中,每个邻接节点都与源节点存在一个固定的关系。于是为了合理的学习节点与节点间的关系,本步骤定义了一个嵌入单元

即节点i与节点j存在一个关系为k。为了能够合理的表示所有节点间的关系并产生参数迭代,本研究采用了如下方式对这一嵌入单元进行处理：

上述过程为关系组向量化的必要过程,通过上述过程,可以合理的通过权重的更替来学习到必要的数据特性。其中在节点、关系间的数据处理上采用数据拼接的形式,故在数据学习过程中节点、关系参数间的更替实际上是相互对立的过程。为了进一步挖掘相互独立的节点关系组间的隐含信息,本研究采用了RNN网络，主要目的是：

(1)学习邻居节点关系组间的数据关联性；(2)尽可能最大化参数间的差异。数学表达式如下：

net_ijk＝Leaky ReLU(RNN(c_ijk))

这里net_ijk为网路输出后的节点关系组,LeakReLU为激活函数。通过RNN后,本研究采用了多头注意机制,表达式如下

本研究给输出后的数据添加多头注意力,得到了一个带多头注意力的输出,公式表述如下：

其中a_iik表示注意力权重,elu为激活函数,e^‘ _i为最终的网络端的输出。最后,对嵌入的知识图数据的权重进行参数更替。

卷积神经网络中不仅有卷积层,具有池化、全连接、归一化等功能的基础层也包含在其层级结构中。卷积层以局部连接和权值共享的方式对前一层进行特征抽取,池化层通过降采样来降低特征的维度,同时使得网络能够一定程度上忽略目标的缩放、平移等相对位置的改变,避免模型过拟合。在卷积神经网络中,卷积层和池化层通常交替出现。全连接层的作用是将前面若干层学习到的特征综合起来,并与样本的标签形成映射。全连接层的特征通过激活层后传递给Softmax层,激活层采用ReLU、tanh等非线性激活函数向神经网络中加入非线性因素,提升了模型的拟合能力。Softmax层又称逻辑回归层,它负责对全连接层的输出进行归一化。在多分类任务中,Softmax层的归一化结果是输入样本属于每个类别的概率,通常以最大概率对应的类别作为输入样本的分类结果。

卷积神经网络的训练过程如下：各层对输入样本的特征进行提取、池化、融合等操作,得到网络的输出后采用损失函数计算与样本标签之间的误差,并通过反向传播算法更新每一层的权重参数,多次重复上述过程直至网络模型训练完毕。除上述内容之外,卷积神经网络的训练还包含dropout、梯度下降等技术点。单从算法角度上看，本步骤所提的编码部分完全可以实现预测输出。利用第七步算法即可对脑电波信号进行预测输出，从而达到提高脑电波信号处理的准确性，可让受试者进行二次选择出自己更想表达的指令。

传统的去噪方法众多，比如维纳滤波、中值滤波等，但多依赖于线性系统，需依赖于良好的状态函数。本实验采集到的声波信号属于非线性、非平稳信号，传统的去噪方法去噪范围有限，无法较好的刻画其非平稳特性，利用小波变换对信号进行多尺度分辨分析，分离得到不同频段信号，获取频段信号的相关性、能量比等多种指标，再选择一定阈值进行消噪再加以重构，即可实现信号与噪声的分离。小波分析是时频分析法的一种，类似于加窗傅里叶变换，二者均是使用窗函数内积原函数，不同之处在于窗函数形式不一，加窗傅里叶函数的窗函数具有固定的形状，而小波变换的窗函数不受具体形状和大小限制，可实现自由伸缩和变化。S变换综合了STFT和CWT的优点，窗函数是基于一个移动的、可伸缩的高斯局部化窗口，这使得可以根据频率或时间的变化自适应的调整窗口大小，可看出高斯窗在高频时有更好的时间分辨率，在低频时有更佳的频率分辨率。

显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，均在本发明的保护范围之内。

Claims (9)

1.一种基于脑电波的指令预测输出控制方法，其特征在于：

包括数据预处理阶段：对采集的脑电波进行预处理；

特征提取阶段：获取脑电波信号的特征；

脑电波信号预测模型预测阶段：根据脑电波信号的特征进行预测输出。

2.如权利要求1所述的一种基于脑电波的指令预测输出控制方法，其特征在于：

数据预处理阶段包括：

对脑电波的归一化处理；

对采集的脑电波信号滤波和降噪处理。

3.如权利要求2所述的一种基于脑电波的指令预测输出控制方法，其特征在于：

对脑电波的归一化处理包括采用窗函数参数以及广义S变换对信号进行时频域处理使其时频分布的分辨率得到改善；

采用集成经验模式分解法EEMD对脑电波信号进行降噪处理。

4.如权利要求2所述的一种基于脑电波的指令预测输出控制方法，其特征在于：对采集的脑电波信号滤波和降噪处理包括：采用数字滤波器进行信号滤波处理以及通过小波阈值去噪处理脑电波信号进行去噪。

5.如权利要求4所述的一种基于脑电波的指令预测输出控制方法，其特征在于：小波阈值去噪包括：选定小波基函数-sym小波基，利用SNR规则确定小波分解层数，将原始信号进行离散小波分解；对小波分解得到的小波系数选取合适的阈值规则进行阈值量化处理；对小波阈值去噪后的各级系数重构即得到去噪后的信号。

6.如权利要求1所述的一种基于脑电波的指令预测输出控制方法，其特征在于：特征提取阶段包括采用STA/LTA比值法拾取脑电波信号然后对脑电波信号进行分析得到信号特征。

7.如权利要求6所述的一种基于脑电波的指令预测输出控制方法，其特征在于：对脑电波信号进行分析包括时域分析和时频分析，获取得到脑电波信号的时域特征和时频特征。

8.如权利要求7所述的一种基于脑电波的指令预测输出控制方法，其特征在于：脑电波信号的时域特征和时频特征采用共空间模式算法进行特征提取。

9.如权利要求1所述的一种基于脑电波的指令预测输出控制方法，其特征在于：脑电波信号预测模型预测阶段包括：采用训练完成的脑电波预测模型对脑电波信号进行预测输出，预测输出对应的脑电波指令信号。

Images