CN107368849A - 一种基于互相关熵的共用空间模式空域特征提取方法 - Google Patents
一种基于互相关熵的共用空间模式空域特征提取方法 Download PDFInfo
- Publication number
- CN107368849A CN107368849A CN201710526466.9A CN201710526466A CN107368849A CN 107368849 A CN107368849 A CN 107368849A CN 201710526466 A CN201710526466 A CN 201710526466A CN 107368849 A CN107368849 A CN 107368849A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mfrac
- msup
- msub
- omega
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于互相关熵的共用空间模式空域特征提取方法，对传统共用空间模式算法的改进，提升对离群点的鲁棒性，互相关熵诱导测度能够在不同的动态区域内估计L2，L1和L0范数，因此可以被用来构建鲁棒代价函数，使用互相关熵诱导测度代替传统算法代价函数中的L2范数，即可得到新的鲁棒算法，该算法对离群点有很好的效果。
Description
【技术领域】
本发明属于信号处理领域，涉及一种基于互相关熵的共用空间模式空域特征提取方法。
【背景技术】
脑机接口能够将脑信号转换为控制指令，帮助严重瘫痪的病人不经过外周神经系统和肌肉与外界交流。脑电(electroencephalography)是一种脑机接口中广泛使用的信号，具有采集方便且非侵入式的特点。在基于脑电的脑机接口中，一个关键问题是如何鲁棒且准确地分类脑电信号。
为了能够从原始信号中提取有效的可分性特征，研究者们已经开发了很多种算法。其中，共用空间模式算法是一种非常有效的分析多通道两类脑电数据的方法。该算法能够找出多个空域滤波器，使得滤波后一类信号的方差最大，而另一类信号的方差最小。由于这种算法很有效，所以出现了很多变种算法，如共用空域谱模式算法(CSSP)，平稳共用空间模式算法(sCSP)，局部暂态共用空间模式算法(LTCSP)，正则化共用空间模式算法(RCSP)，聚合正则化共用空间模式算法(R-CSP-A)，稀疏共用空间模式算法(SCSP)，典型相关性分析共用空间模式算法(CCACSP)等。
传统的共用空间模式算法和它的大部分变种算法都对离群值敏感，因为这些算法建立在对协方差矩阵的估计上。在计算协方差矩阵时，需要使用L2范数。该范数会放大脑电数据中离群点的负面作用，并导致不合适的空域滤波器。不仅空域滤波器会受到影响，由此求出的特征也会受到离群值的影响。因此，非常有必要开发鲁棒的共用空间模式算法来减轻离群值对噪声的影响。
机器学习领域的相关文献证明了L1范数可以有效地减轻离群点对算法性能的负面影响，得到好的学习效果。有研究者提出了基于L1范数的共用空间模式算法(CSP-L1)，该算法使用L1范数代替传统算法代价函数中的L2范数。在此基础上，有人提出了基于广义范数的共用空间模式算法(CSP-Lp)，但考虑到p范数求解的复杂性和难度，作者认为p＝1应该是最好的选择。
在信号处理领域，互相关熵是一种在再生核希尔伯特空间(RKHS)定义的广义相关性度量。互相关熵诱导测度(CIM)的概念可以由互相关熵(correntropy)推导得到，它能够在不同的动态区域内估计L2,L1和L0范数。本质上，CIM是核空间下的“L2范数”，对应于输入空间的非线性距离度量。当输入空间两个向量的距离非常远的时候，CIM将会饱和，这个性质使得它非常适合处理数据中有离群点的学习问题。因此，基于CIM的共用空间模式算法也将会对离群点鲁棒，相比于传统的算法，能够得到更好的空域滤波器及特征，尤其是当离群点出现时。
【发明内容】
本发明的目的在于提供一种基于互相关熵的共用空间模式特征提取方法，该算法将互相关熵诱导测度(CIM)应用在共用空间模式(CSP)算法中，利用CIM对离群点鲁棒这一特性，使得新的算法能够从含有离群点的脑电数据中提取出好的可分性特征。
为实现上述目的，本发明采用如下方案：
基于互相关熵诱导测度的共用空间模式空域特征提取方法，假设有两类运动想象数据和c是通道数量，m＝l×Nx，l是每一个运动想象数据段的采样点数，Nx是一类的试验次数，n＝l×Ny，Ny是另一类的试验次数，m和n是这两类数据总样本点数；对这些数据的预处理分为三步：带通滤波器，中心化，尺度缩放，预处理后两类数据的协方差矩阵为和共用空间模式算法的目标函数为
式中ω为需要求解的空域滤波器，代表向量二范数的平方，该目标函数通过求解广义特征值方程Rxω＝λRyω来优化，λ为特征值，度量了两类数据方差的比值。
假设有两个N维向量x＝[x1,x2,L,xN],y＝[y1,y2,L,yN]，互相关熵诱导测度定义为
式中为高斯核，为互相关熵，σ为核宽度，(1)式中含有L2范数，因此共用空间模式算法对离群值敏感，使用互相关熵诱导测度代替(1)式中的L2范数，得到以下目标函数
式中xi和yj分别为X和Y的第i列和第j列数据，对(3)式两边取对数得到
对(4)式关于ω求导得到
在t时刻得到的空域滤波为ω(t)，则t+1时刻为
式中η为学习速率，求解一个空域滤波器的流程为：
该算法需要求解多个空域滤波器，分为两组，其中一组ω1,ω2,K,ωp通过最大化得到，另外一组ω′1,ω′2,K,ω′q通过最大化得到，p和q分别为两组滤波器的数量，一般p＝q，每一组内的滤波器之间相互正交；
假设一个新的数据段为由(p+q)个空域滤波器计算特征为f＝[f1,K,fp,f′1,K,f′q]T，其中
式中1≤k′≤p,1≤k≤q。
进一步，空域滤波器ω(t)的初始化向量设置为共用空间模式算法的解，或者设置为其他值。
进一步，核宽度σ是一个自由参数，通过在训练数据集上交叉验证得到最优值。
本发明基于互相关熵诱导测度(CIM)的鲁棒共用空间模式算法是一种特征提取算法，应用CIM将传统算法的代价函数改进，使其对离群点鲁棒，能够在离群点出现时获得更好的空域滤波器和特征，进而得到好的分类效果。在求解代价函数的流程中，每一步尝试多个学习速率值，选择能够使更新后代价函数最大的学习速率，这样可以使算法快速而稳定的收敛到最优值。当输入空间的两个向量距离较近时，CIM的性能类似于L2范数，位于欧几里得区域；当距离变大，CIM性能类似于L1范数，位于过渡区域；最终，当距离进一步增大，CIM会饱和，接近矫正区域(L0范数)。CIM中，核宽度σ能够控制CIM的度量范围，能够控制算法的鲁棒程度，当核宽度较小时，欧几里得区域较小，L0区域较大，鲁棒性较好。选择一个合适的核宽度，可以实现非常好的鲁棒性。
【附图说明】
图1是小样例下传统CSP，CSP-L1和CSP-CIM三种算法的实验效果；
图2展示了固定离群点分布参数，增加离群点出现频率时三种算法的被试之间平均分类效果；
图3展示了固定离群点出现频率，减小离群点的分布参数α时三种算法的被试之间平均分类效果；
图4展示了三种算法在不同核宽度下的被试之间平均分类准确率；
【具体实施方式】
下面结合附图对本发明做进一步说明。
本发明的基于互相关熵诱导测度(correntropy induced metric, CIM)的鲁棒共用空间模式(common spatial patterns, CSP)算法(CSP-CIM)，分为三部分，数据预处理，特征提取和分类，现具体介绍如下：
假设有两类EEG数据，代表一类，代表另一类，c是数据采集的通道数，l是每一次试验的采样点数。假设两类数据分别有Nx和Ny次试验，那么所有的EEG数据可以被表示为和其中m＝l×Nx，n＝l×Ny，是这两类数据总样本点数。对这些EEG数据要进行预处理，分为三步。假设某一个EEG数据段为首先使用带通滤波器滤波得到Zband-pass，再减去均值得到中心化的数据Zcentered，最后将数据缩放得到其中tr代表矩阵的迹。两类数据的协方差矩阵分别为和共用空间模式算法的目的在于求解多个空域滤波器，使得变换后两类数据一类的方差被最大化，另一类的方差被最小化。从数学上看，这一目的可以通过最大化以下目标函数来实现
式中ω是需要求解的空域滤波器。目标函数(1)的最优解可以通过求解以下广义特征问题得到
Rxω＝λRyω (2)
特征值λ衡量了两类方差的比值。在分类问题里，我们只使用对应于最大和最小几个特征值的特征向量。
给定两个N维向量x＝[x1,x2,L,xN],y＝[y1,y2,L,yN]，互相关熵的定义为
式中κ(,·,)是一个平移不变核，最常用的核是高斯核
式中σ是核宽度。高斯核满足Mercer理论，因此可以找到一个非线性映射将输入空间的数据映射到再生核希尔伯特空间(RKHS)。在RKHS内两个向量的内积可以用下式来估算
<Φ(x),Φ(y)>＝κ(x,y) (5)
使用这个非线性变换，输入空间的向量x和y可以被映射为
在RKHS内，这两个向量的内积为
根据式(6)，互相关熵诱导测度的定义为
当输入空间的两个向量距离较近时，CIM的性能类似于L2范数，位于欧几里得区域；当距离变大，CIM性能类似于L1范数，位于过渡区域；最终，当距离进一步增大，CIM会饱和，接近矫正区域(L0范数)。这个特性说明了CIM可以作为鲁棒或稀疏的代价函数。CIM中，核宽度σ能够控制CIM的度量范围，能够控制算法的鲁棒程度，当核宽度较小时，欧几里得区域较小，L0区域较大，算法鲁棒性较好。
将代价函数(1)重新写为
式中||·||2是L2范数。由(8)式可以看出，CSP算法对离群点敏感，因为L2范数会将大偏差数据的负面影响放大。EEG信号通常被噪声和伪迹污染。因此，非常有必要使用鲁棒的代价函数来提升CSP算法的性能。根据前述，CIM是一种鲁棒测度，因此可以使用CIM来代替(8)中的L2范数。将(7)代入(8)中得
式中xi和yj分别为X和Y的第i列和第j列数据，对(9)式两端取对数可得
梯度下降算法可以用来寻找(10)的最优解。关于ω的梯度为
在t时刻，空域滤波器表示为ω(t)，则ω(t+1)通过下式更新：
在实际应用中，需要求多对空域滤波器，分为两组。我们通过最大化目标函数(10)得到一组空域滤波器ω1,ω2,K,ωp，则另一组ω′1,ω′2,K,ω′q通过最大化得到。空域滤波器成对出现，所以p＝q。同一组内的空域滤波器之间是正交的，具体来说，当得到前h个空域滤波器ω1,ω2,K,ωh，则第(h+1)th个在优化目标函数同时要满足约束条件求解每一个空域滤波器的算法流程总结如下：
算法1中，在步骤(c)尝试一组不同的η，可以使空域滤波器快速且稳定地收敛到最优值。
利用求得的p+q个空域滤波器，可以得到特征。假设一个EEG试验的数据段为则该数据的特征是f＝[f1,K,fp,f1′,K,f′q]T，式中
且1≤k′≤p,1≤k≤q。则每一个EEG数据段的特征向量为p+q维。
得到特征后，即可进行分类。在机器学习领域，分类器有很多种，如支持向量机，决策树，神经网络等，我们使用线性判别分析(LDA)来预测样本标签。对于二分类问题，LDA将p+q维的特征向量映射到1维，映射后的数据类间距离与类内距离的比值被最大化。在训练阶段，可以得到映射向量和每一类EEG数据的中心。在测试阶段，计算映射后样本与每一类中心的距离，该样本属于距离小的那一类。
仿真分析
这里我们使用两个数据集来验证算法的性能，并且与传统的CSP算法以及CSP-L1算法比较。CSP-L1是一种优秀的算法，在提出该算法的文章中，表现出了优于很多CSP变种算法的性能。CSP-L1和CSP-CIM都是用传统CSP算法的解作为初始解。
第一个数据集为小样例。包含两类数据，都有50个点，由两个零均值的二维高斯分布生成，协方差矩阵分别为diag(0.2,5)和diag(5,0.2)，diag为取对角矩阵。一类样本由“o”表示，另一类由“*”标识，在“o”类里加入了点[10,10]，作为离群点。图中还画出了三种算法最小化“o”类散度的空域滤波器。没有离群点时，三种算法得到的空域滤波类似，分别为ωCSP＝[-0.9867，-0.0392]，ωCSP-L1＝[-0.9973,-0.0728]，ωCSP-CIM＝[-0.9994，-0.0335]。当离群点出现时，三种算法得到的空域滤波器分别为ωoCSP＝[-0.9254,0.2735]，ωoCSP-L1＝[-1.0000,0.0035]，ωoCSP-CIM＝[-0.9995,-0.0327]。CSP-L1的学习速率设定为0.01。CSP-CIM的核宽度设定为0.05，学习速率为0.1。从图1可以看出传统CSP算法的效果被离群点严重影响；而CSP-L1和CSP-CIM很好地减轻了离群点的负面影响。进一步观察，可以看出本专利提出的CSP-CIM要好于CSP-L1，因为CSP-CIM两种情况下获得的空域滤波器几乎相同，离群点对CSP-CIM的影响很小。这表明了该算法具很好的鲁棒性。
第二个数据集为第四届国际脑机接口大赛的IIa数据集。这些数据使用22个通道，从9个被试上测得。采样频率250Hz。有四类运动想象任务，左手，右手，双腿和舌头。每个被试的数据分为两部分，在不同天记录。这里我们只分类左手和右手的数据。对于每一次试验，提取视觉刺激后0.5秒到2.5秒的数据作为样本。对这些样本，首先进行预处理，使用5阶巴特沃斯带通滤波器，截止频率为8Hz和35Hz。在本实验中使用6个空域滤波器，即p＝q＝3。为验证算法的鲁棒性，在训练集上加入离群点。离群点由22维α稳定分布生成，有四个参数，分别为特征指数(0≤α≤2)，偏度(-1≤β≤1)，尺度参数(0＜γ＜∞)和位置参数(-∞＜δ＜∞)。加入离群点的时间点随机选取，每一种情况下实验被独立重复10次，并记录平均准确率。
对于CSP-L1和CSP-CIM算法，学习速率参数为一组位于1e-5和2.5之间的值。对于CSP-CIM算法，核宽度在0.001和0.1之间通过5折交叉验证选择。图2展示了三种算法在被试之间的平均准确率随着异常点出现频率增加时的变化情况。α稳定分布的参数为[α,β,γ,δ]＝[1.6,0,0.001,0]，离群点出现的频率从0到0.5(m+n)，步长为0.1(m+n)。当没有离群点时，所有算法的准确率都相似，但是当离群点的频率增加时，传统CSP算法的准确率迅速降低。而CSP-L1和CSP-CIM因为具有对离群点的鲁棒性，因而表现好得多。当离群点数量较少时，CSP-L1的表现比CSP-CIM稍微好一些；但随着离群点增多，CSP-CIM表现相对好一些。
图3展示了当参数α从1.6减小至1.0时(步长0.1)，三种算法的分类准确率的变化趋势。训练集上离群点的个数为0.3(m+n)。当α变小时，离群点的脉冲性更强。从图3可以看出，随着α变小，传统CSP和CSP-L1的准确率下降很快。但是本专利提出的CSP-CIM的分类准确率下降很慢，这说明了该算法对冲击噪声有很强的鲁棒性。鲁棒性要强于CSP-L1。表1展示了固定离群点出现频率，减小离群点的分布参数α时三种算法对每个被试的分类效果，是图3的详细展示。
表1
最后，我们研究核宽度对CSP-CIM性能的影响。图4展示了不同核宽度下9个被试下的平均分类准确率。可以看出，当核宽度σ比较大的时候，算法表现不好，因为此时CIM的表现类似于L2范数，会放大离群点的负面影响；当核宽度较小时(如σ＝0.003)，CSP-CIM可以实现很好的性能；但如果核宽度太小(如小于0.001)，则性能又会下降。因此，选择一个合适的核宽度非常重要。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。
Claims (4)
1.基于互相关熵的共用空间模式空域特征提取方法，其特征在于：假设有两类运动想象数据和c是通道数量，m＝l×Nx，l是每一个运动想象数据段的采样点数，Nx是一类的试验次数，n＝l×Ny，Ny是另一类的试验次数，m和n是这两类数据总样本点数；对这些数据的预处理分为三步：带通滤波器，中心化，尺度缩放，预处理后两类数据的协方差矩阵为和共用空间模式算法的目标函数为
<mrow>
<mi>J</mi>
<mrow>
<mo>(</mo>
<mi>&omega;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mi>&omega;</mi>
<mi>T</mi>
</msup>
<msub>
<mi>R</mi>
<mi>x</mi>
</msub>
<mi>&omega;</mi>
</mrow>
<mrow>
<msup>
<mi>&omega;</mi>
<mi>T</mi>
</msup>
<msub>
<mi>R</mi>
<mi>y</mi>
</msub>
<mi>&omega;</mi>
</mrow>
</mfrac>
<mo>=</mo>
<mfrac>
<mrow>
<mfrac>
<mn>1</mn>
<msub>
<mi>N</mi>
<mi>x</mi>
</msub>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>&omega;</mi>
<mi>T</mi>
</msup>
<mi>X</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
<mrow>
<mfrac>
<mn>1</mn>
<msub>
<mi>N</mi>
<mi>y</mi>
</msub>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>&omega;</mi>
<mi>T</mi>
</msup>
<mi>Y</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
式中ω为需要求解的空域滤波器，代表向量二范数的平方，该目标函数通过求解广义特征值方程Rxω＝λRyω来优化，λ为特征值，度量了两类数据方差的比值；
假设有两个N维向量x＝[x1,x2,L,xN],y＝[y1,y2,L,yN]，互相关熵诱导测度定义为
<mrow>
<mi>C</mi>
<mi>I</mi>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mi>&kappa;</mi>
<mrow>
<mo>(</mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>V</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
式中为高斯核，为互相关熵，σ为核宽度，(1)式中含有L2范数，因此共用空间模式算法对离群值敏感，使用互相关熵诱导测度代替(1)式中的L2范数，得到以下目标函数
<mrow>
<mover>
<mi>J</mi>
<mo>~</mo>
</mover>
<mrow>
<mo>(</mo>
<mi>&omega;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>C</mi>
<mi>I</mi>
<mi>M</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>&omega;</mi>
<mi>T</mi>
</msup>
<mi>X</mi>
<mo>,</mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>C</mi>
<mi>I</mi>
<mi>M</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>&omega;</mi>
<mi>T</mi>
</msup>
<mi>Y</mi>
<mo>,</mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>=</mo>
<mfrac>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mi>&kappa;</mi>
<mrow>
<mo>(</mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>V</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>&omega;</mi>
<mi>T</mi>
</msup>
<mi>X</mi>
<mo>,</mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
</msup>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mi>&kappa;</mi>
<mrow>
<mo>(</mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>V</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>&omega;</mi>
<mi>T</mi>
</msup>
<mi>Y</mi>
<mo>,</mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
</msup>
</mfrac>
<mo>=</mo>
<mfrac>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<msub>
<mi>E</mi>
<mi>i</mi>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
</msup>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<msub>
<mi>E</mi>
<mi>j</mi>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
</msup>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
式中xi和yj分别为X和Y的第i列和第j列数据，对(3)式两边取对数得到
<mrow>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mover>
<mi>J</mi>
<mo>~</mo>
</mover>
<mrow>
<mo>(</mo>
<mi>&omega;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mo>&lsqb;</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<msub>
<mi>E</mi>
<mi>i</mi>
</msub>
<mo>&rsqb;</mo>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mo>&lsqb;</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>E</mi>
<mi>j</mi>
</msub>
<mo>&rsqb;</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
对(4)式关于ω求导得到
<mrow>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>log</mi>
<mover>
<mi>J</mi>
<mo>~</mo>
</mover>
<mrow>
<mo>(</mo>
<mi>&omega;</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<mrow>
<mo>(</mo>
<mi>&omega;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<msub>
<mi>E</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msup>
<mi>&omega;</mi>
<mi>T</mi>
</msup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mi>1</mi>
<mi>m</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<msub>
<mi>E</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
<msub>
<mi>E</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msup>
<mi>&omega;</mi>
<mi>T</mi>
</msup>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>E</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
在t时刻得到的空域滤波器为ω(t)，则t+1时刻为
<mrow>
<mi>&omega;</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>&omega;</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>&eta;</mi>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mover>
<mi>J</mi>
<mo>~</mo>
</mover>
<mrow>
<mo>(</mo>
<mi>&omega;</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<mrow>
<mo>(</mo>
<mi>&omega;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
1
式中η为学习速率；
求解多个空域滤波器，分为两组，其中一组ω1,ω2,K,ωp通过最大化得到，另外一组ω′1,ω′2,K,ω′q通过最大化得到，p和q分别为两组滤波器的数量，一般p＝q，每一组内的滤波器之间相互正交；
假设一个新的数据段为由(p+q)个空域滤波器计算特征为f＝[f1,K,fp,f1′,K,fq′]T，其中
<mrow>
<msub>
<mi>f</mi>
<msup>
<mi>k</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mi>l</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>l</mi>
</munderover>
<mo>(</mo>
<mrow>
<mn>1</mn>
<mo>-</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mrow>
<mo>-</mo>
<mfrac>
<msup>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>&omega;</mi>
<msup>
<mi>k</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mi>T</mi>
</msup>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
</msup>
<mo>,</mo>
<msubsup>
<mi>f</mi>
<mi>k</mi>
<mo>&prime;</mo>
</msubsup>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mi>l</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>l</mi>
</munderover>
<mo>(</mo>
<mrow>
<mn>1</mn>
<mo>-</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mrow>
<mo>-</mo>
<mfrac>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&omega;</mi>
<mi>k</mi>
<mrow>
<mo>&prime;</mo>
<mi>T</mi>
</mrow>
</msubsup>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
式中1≤k′≤p,1≤k≤q。
2.根据权利要求1所述的基于互相关熵的共用空间模式空域特征提取方法，其特征在于：求解空域滤波器的流程为：
a)当t＝0，初始化核宽度σ，ω(t)，和一组学习速率参数η，将ω(t)调整为单位长度；
b)根据式(5)计算对于ω(t)的梯度；
c)对于每一个η，根据式(6)和式(4)计算更新后的空域滤波器(调整为单位长度)对应的目标函数值，选择使得目标函数值最大的η来更新ω(t+1)，令t←t+1；
d)若迭代停止条件没有满足的话则转向步骤b)，若满足转向下一步；
e)输出当前值ω(t)。
3.根据权利要求1所述的基于互相关熵的共用空间模式空域特征提取方法，其特征在于：空域滤波器ω(t)的初始化向量设置为共用空间模式算法的解，或者设置为其他值。
4.根据权利要求1所述的基于互相关熵的共用空间模式空域特征提取方法，其特征在于：核宽度σ是一个自由参数，通过在训练数据集上交叉验证得到最优值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710526466.9A CN107368849B (zh) | 2017-06-30 | 2017-06-30 | 一种基于互相关熵的共用空间模式空域特征提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710526466.9A CN107368849B (zh) | 2017-06-30 | 2017-06-30 | 一种基于互相关熵的共用空间模式空域特征提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107368849A true CN107368849A (zh) | 2017-11-21 |
| CN107368849B CN107368849B (zh) | 2020-04-28 |
Family
ID=60305742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710526466.9A Active CN107368849B (zh) | 2017-06-30 | 2017-06-30 | 一种基于互相关熵的共用空间模式空域特征提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107368849B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977651A (zh) * | 2017-12-21 | 2018-05-01 | 西安交通大学 | 基于量化最小误差熵的共用空间模式空域特征提取方法 |
| CN109034213A (zh) * | 2018-07-06 | 2018-12-18 | 华中师范大学 | 基于相关熵原则的高光谱图像分类方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0642272A2 (en) * | 1993-08-27 | 1995-03-08 | Sony United Kingdom Limited | Image data compression |
| WO2013003026A2 (en) * | 2011-06-30 | 2013-01-03 | University Of Florida Research Foundation, Inc. | Adaptive background estimation |
| CN105306010A (zh) * | 2015-11-10 | 2016-02-03 | 西安交通大学 | 一种基于最小误差熵的凸组合自适应滤波器设计方法 |
| CN106487358A (zh) * | 2016-09-30 | 2017-03-08 | 西南大学 | 一种基于统计线性回归的最大相关熵容积卡尔曼滤波方法 |
-
2017
- 2017-06-30 CN CN201710526466.9A patent/CN107368849B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0642272A2 (en) * | 1993-08-27 | 1995-03-08 | Sony United Kingdom Limited | Image data compression |
| WO2013003026A2 (en) * | 2011-06-30 | 2013-01-03 | University Of Florida Research Foundation, Inc. | Adaptive background estimation |
| CN105306010A (zh) * | 2015-11-10 | 2016-02-03 | 西安交通大学 | 一种基于最小误差熵的凸组合自适应滤波器设计方法 |
| CN106487358A (zh) * | 2016-09-30 | 2017-03-08 | 西南大学 | 一种基于统计线性回归的最大相关熵容积卡尔曼滤波方法 |
Non-Patent Citations (1)
| Title |
|---|
| FABIEN LOTTE 等: "Regularizing Common Spatial Patterns to Improve BCI Designs:Unified Theory and New Algorithms", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977651A (zh) * | 2017-12-21 | 2018-05-01 | 西安交通大学 | 基于量化最小误差熵的共用空间模式空域特征提取方法 |
| CN107977651B (zh) * | 2017-12-21 | 2019-12-24 | 西安交通大学 | 基于量化最小误差熵的共用空间模式空域特征提取方法 |
| CN109034213A (zh) * | 2018-07-06 | 2018-12-18 | 华中师范大学 | 基于相关熵原则的高光谱图像分类方法和系统 |
| CN109034213B (zh) * | 2018-07-06 | 2021-08-03 | 华中师范大学 | 基于相关熵原则的高光谱图像分类方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107368849B (zh) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105426842B (zh) | 基于支持向量机和表面肌电信号的多类手部动作识别方法 | |
| Mulaik | Confirmatory factor analysis | |
| Brockhaus et al. | Boosting functional regression models with FDboost | |
| CN107977651A (zh) | 基于量化最小误差熵的共用空间模式空域特征提取方法 | |
| AU2019101151A4 (en) | Classify Mental States from EEG Signal Using Xgboost Algorithm | |
| Singh et al. | Hierarchical geodesic models in diffeomorphisms | |
| CN103142229B (zh) | 扩散峭度张量成像的高阶张量特征参数提取方法 | |
| Ghorbanian et al. | An unsupervised feature extraction method based on band correlation clustering for hyperspectral image classification using limited training samples | |
| Yang et al. | Learning a deep similarity network for hyperspectral image classification | |
| CN116612335B (zh) | 一种基于对比学习的少样本细粒度图像分类方法 | |
| Yin et al. | Classification of eye tracking data using a convolutional neural network | |
| CN107368849A (zh) | 一种基于互相关熵的共用空间模式空域特征提取方法 | |
| Nie et al. | Deep melanoma classification with k-fold cross-validation for process optimization | |
| Rajamanickam | Statistical methods in psychological and educational research | |
| Jin et al. | A weighting method for feature dimension by semisupervised learning with entropy | |
| Mukhopadhyay et al. | LPiTrack: Eye movement pattern recognition algorithm and application to biometric identification | |
| Lu et al. | New method for rice disease identification based on improved deep residual shrinkage network | |
| CN110033862B (zh) | 一种基于加权有向图的中医量化诊断系统及存储介质 | |
| Goerttler et al. | Understanding concepts in graph signal processing for neurophysiological signal analysis | |
| CN114510956A (zh) | 基于黎曼空间量化的多类别运动想象脑电信号识别方法 | |
| Zhongli et al. | Image representation based PCA feature for image classification | |
| Long et al. | A hybrid model for invariant and perceptual texture mapping | |
| Meena et al. | Detection of epilepsy using graph signal processing of eeg signals with three features | |
| Zhang et al. | Design and application of electrocardiograph diagnosis system based on multifractal theory | |
| US20230259818A1 (en) | Learning device, feature calculation program generation method and similarity calculator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |