CN105302309B - 基于ssvep脑机接口的脑电波指令识别方法 - Google Patents

Abstract

本专利申请公开了脑指令的识别技术，具体涉及基于SSVEP脑机接口的脑电波指令识别方法。基于SSVEP脑机接口的脑电波指令识别方法，通过刺激源的闪烁频率对人的视觉进行刺激，采用“指令码元+特征位”的方法对刺激源进行编解码，其中指令码元为指令的编码，特征位处于确定位数的指令码元之间，起间隔识别的作用；使用电极采集受到刺激产生的脑电信号；将采集到的原始脑电信号进行滤波与解调，最终获得指令码元，从而获得想要的指令类型。本发明提出了增加特征位用于间隔识别的方法，克服了现有技术中存在的需要学习训练操作，检测结果错误率高，扩展指令数少等缺陷，提供了一种能对SSVEP脑电波信号与指令编码进行关联的脑电波指令识别方法。

Description

基于SSVEP脑机接口的脑电波指令识别方法

技术领域

本发明涉及一种脑指令识别技术，具体涉及基于SSVEP脑机接口的脑电波指令识别方法。

背景技术

研究表明，当受到一个固定频率的视觉刺激的时候，人的大脑视觉皮层会产生一个连续的与刺激频率有关（刺激频率的基频或倍频处）的响应。这个响应被称为稳态视觉诱发电位—Steady-State Visual Evoked Potentials,SSVEP。它可以可靠地应用于脑-机接口系统（BCIs）。

为了接收、检测并分析SSVEP信号，现有技术提供了一种FM-SSVEP刺激器系统，一种基于固定频率的稳态视觉刺激器系统，是指利用固定的几个不同的频率分别作为刺激信号，然后采集大脑在受到这些刺激时的脑电信号，进行数据分析和处理，进而得到SSVEP信号的频率，通过SSVEP信号的标志频率与刺激信号的频率进行对比，即可反馈出刺激信号的信息，从而完成指令的传递，该技术可应用到使用脑电拨号、控制等多个领域。

由于SSVEP中刺激信号有效频段较窄的特点，FM-SSVEP是利用几个不同的固定频率为指令进行编码，那么就存在频率分布的问题，另外由于在进行信号分析处理时，倍频干扰的存在更加限制了FM-SSVEP的应用，造成频率分布拥挤，指令编码数少，易相互干扰，解调和识别难等诸多缺陷。而FM-SSVEP由于其技术本身的限制，很难来解决这些问题，这就限制了刺激器的发展，当应对多指令应用时捉襟见肘。

为了解决上述技术问题，现有采用FSK技术替代FM技术，提供了一种FSK-SSVEP刺激器系统(SSVEP-Based Brain–Computer Interfaces Using FSK-Modulated VisualStimuli,IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, VOL. 60, NO. 10, OCTOBER2013),（如图1所示）通过频移键控的方式设计一系列将“0”、“1”进行排列组合的指令编码，再根据一一对应的原则，将各指令编码与特定的指令进行一一对应，也将各指令编码与特定的刺激信号进行一一对应。

采用训练学习的方法，先采用一种指令编码所对应的刺激信号来作用人眼，然后采集人脑对应的SSVEP脑电波信号，并采用处理设备“记住”此时SSVEP脑电波信号，再采用编程的方式，使处理设备将SSVEP脑电波信号与训练用的指令编码硬性关联起来。以此方法实现每种编码与对应SSVEP脑电波信号的关联。

实际应用时，处理设备只需要识别SSVEP脑电波信号与所“记住”哪一个电波信号图形比对相同，就能直接得出与其硬性关联的编码以及相关的指令信息。

上述处理方法实现的是SSVEP脑电波信号与指令编码的硬性关联，需要进行多次（与指令编码数量相同）训练学习，使处理设备预先记住所有指令编码对应的电波信号图形后才能投入应用。

发明内容

本发明意在提供一种基于SSVEP脑机接口的脑电波指令识别方法，相应的SSVEP脑机接口在使用前无需训练学习，就能对SSVEP脑电波信号与指令进行自动关联的脑电波指令识别方法，应用该方法的出错率低。

本方案中的基于SSVEP脑机接口的脑电波指令识别方法，包括如下步骤:

a.FSK编码，设计与具体指令一一对应的指令编码 ，所述指令编码包括码元和特征位，码元是由确定位数的标志位组成，所述标志位包括“0”与“1”，所述标志位通过排列组合形成与指令数量一致的码元，所述特征位为“2”，位于指令编码的起始位和/或终止位；

b. 将屏幕上划分出与各指令编码一一对应的显示区域，由三种频率f₀、 f₁和f₂信号分别表征两个标志位与一个特征位；按照指令编码中标志位与特征位的排列顺序，在与指令编码对应的显示区域内依次显示频率值为f₀、 f₁和f₂的闪烁刺激信号，统一设定每次闪烁刺激信号的持续时间为T；f₀、 f₁和f₂中任意两值相乘的乘积即为两者的最小公倍数；

c.观视者根据自身对具体指令的需要，根据一一对应关系，注视屏幕上的某一个显示区域，然后采集观视者的SSVEP信号；

d.对步骤c处理后的SSVEP信号进行解调，分析SSVEP信号内三种频率f₀、 f₁和f₂信号的时域分布状况，根据频率与标记位及特征位的一一对应关系，解码并组合出对应的码元；根据码元与指令的对应关系，解析出对应的具体指令。

采用本发明的技术方案，具有如下技术效果：

1、本发明中具体指令、指令编码、码元与显示区域成一一对应关系；闪烁刺激信号的频率、标志位及特征位、步骤d中SSVEP信号内所有频率信号的频率成一一对应关系。

具体指令、指令编码、码元与显示区域的对应关系只需要一次统一预设即可，不需要进行多次学习训练。

闪烁刺激信号的频率与步骤d中SSVEP信号内所有频率信号的频率均是数值信息，它们之间呈相等或倍频的对应关系，属于简单的数值计算，不需要进行图形比对，对应关系能够快速建立。为了防止f₀、 f₁和f₂三者的频率与其中一个的倍频信号相同，特限定f₀、 f₁和f₂中任意两值相乘的乘积即为两者的最小公倍数，由此来降低重合的概率，避免错误识别。

所述特征位与标志位是编码用的信息元，而且仅有三种，虽然频率值与特征位、标志位之间的关联属于人为硬性设定的对应关系，但是它们之间对应关系的建立仅需要人为进行初始指定即可。

与现有技术的多次学习训练，一一指定，然后再进行图形比对相比，本发明采用对应设定能够快速建立，操作也较为方便。而且通过图形比实现编码匹配（将标准图形与检测图形均转设成编码）易出现误判，对抗干扰的能力较差，本发明的码元-频率的对应关系更能体现信号本身真实的SSVEP信号信息，而不是图形相似度或编码匹配关系。

另外本发明独创性地采用第三种码元作为区分相邻码元的特征位“2”（现有技术是采用0与1的特殊组合实现相应的效果），由于特征位与码元完全不同，而且仅用于区分相邻码元，这样在分析长串编码时，人或智能设备都能快速准确识别出码元，避免由于没有特征位或用重复出现的0、1组成特征位所造成的识别错误，提高了识别效率，降低了错误率。而且特征位可以放在码元的起始位，也可以放在末位，也可以起始位与末位均设置特征位。

进一步，所述步骤c后，对所采集的SSVEP信号进行滤波，然后进入步骤d中。

对SSVEP信号进行滤波可以保证后续解调时的准确性。

进一步，所述滤波，其步骤包括滤出5Hz～30Hz的信号；将该频段的信号进行FFT变换，将信号从时域转换到频域，然后进行滤波，对滤波后的信号再经IFFT变换，转换到时域；将经IFFT转换后所得的信号作为SSVEP信号，进入到步骤d中。

进一步，所述滤波，其步骤包括滤出5Hz～30Hz的信号；对该频段的信号采用小波变换处理，将SSVEP信号分离出来，然后进入到步骤d中。

SSVEP信号的特点：稳态刺激的频率一般大于6Hz，在刺激大于6Hz时，每一次刺激所引起的瞬态VEP会在时间上发生重叠，继而形成稳态视觉诱发电位。SSVEP信号的有效频段较窄，根据脑神经科学的研究表明能够使神经系统产生相应的稳态诱发的电位的刺激频率处在一个相对较窄的频带，稳态视觉诱发电位的刺激频率在5到60Hz，然而高于30Hz的频率作为刺激源的时候，会对人的大脑产生不良的刺激，容易诱发癫痫，因此有效的频段在5到30Hz。

无论是频域、时域转换还是小波变换均是现有成熟的提高信噪比的方法，两者的使用及比较均是现有技术，本发明不作缀述。

进一步，所述模拟滤波器滤出的信号其频率在X₁~X₂之间，其中X₁为f₀、 f₁和f₂其之间的最大值，X₂为f₀、 f₁和f₂其之间的最小值。

为了防止模拟信号中出现倍频信号，直接将滤波范围限定在f₀、 f₁和f₂中的最大值与最小值之间，而且f₀、 f₁和f₂任意两两之间的最小公倍数是两者的乘积，这样的滤波频段内，不可能产生倍频信号，更有利于后续的准确解调。

进一步，所述解调，包括将SSVEP信号与特征位的同频信号相乘，根据正交相干解调的原理来确定f₂信号（为描述方便，将频率为f₂的波形信号简称为f₂信号或f₂波形信号，频率为f₁、f₀的波形信号也作相应简称处理）在时域上的分布状况，相邻两f₂信号之间的波形信号所占据的时间段即是一段码元所占据的时间间隔。

先确定码元的时间间隔，快速达到识别码元时域区间的目的，然后可以通过频率检测的方式（如计算波形在单位时间内过零的次数），计算上述时域区间内f₀与f₁的分布情况（单个标志位与特征位所占据的时间段是等长的）。

进一步，所述解调，其步骤包括将SSVEP信号分别与两个标志位的同频信号相乘，根据正交相干解调的原理分别确定f₀与 f₁在时域上的分布状况，从而确定所有码元时域上的分布状况。

可以通过分别检测，来分别确定f₀与 f₁在时域上的分布状况，然后两种分布信息组合就能确定码元在时域上的分布状况。由于经过正交相干解调的同频信号会变为全正或全负的倍频信号，在所述的分别检测过程中，确定既不是f₀也不是f₁的波形信号即可确定为是频率为f₂的波形信号，然后以f₂波形信号作为间隔来区分两个相邻的码元，以此达到快速识别，避免出错的目的。

当然本步骤也可以在识别出f₂波形信号后进行，均能实现相应的效果。

进一步，所述解调，其步骤还包括将SSVEP信号与f₀或 f₁的同频信号相乘，根据正交相干解调的原理分别确定f₀或 f₁信号在时域上的分布状况，结合码元所占据的时间间隔，就能得出所有码元时域上的分布状况。

在识别出f₂波形信号在时域上的分布情况后，再对f₀或 f₁中的一个进行识别，例如f₀波形信号被确定的，SSVEP信号中剩下的未识别的波形其频率必然是f₁。

附图说明

图1本发明基于SSVEP脑机接口的脑电波指令识别方法的信号流向图。

图2为 FSK编码调制的波形变换的原理示意图。

图3为码元间隔识别的波形变换图。

图4为FSK某一标志位解调的波形变换图。

具体实施方式

下面通过具体实施方式对本发明作进一步详细的说明：

实施例基本如附图1所示：本发明的软件设计上包括FSK编码，将FSK编码应用于SSVEP脑机接口是本装置的重要创新点，如图2所示的FSK编码方式，FSK编码后的信号源能够携带更多的信息，根据具体的应用环境更改FSK相关参数，来达到指令扩容的目的。如图1所示，在本发明中选择两个标志频率7Hz和10Hz分别作为“0”和“1”，将码元的长度设置为4，如：“1101”，即可完成16个指令的编码，调整码元的长度需要考虑SSVEP信号可用频段窄的问题，因此可以成指数倍对相关指令进行扩容，较传统方式完成指令扩容将变成很简单的工作。

如图1所示，在编码阶段，先要进行码元间隔，在码元编码完成后，本装置在相邻码元之间增加了一个标志位特征位“2”，选择合适的特征频率13Hz作为特征位“2”，将相邻的码元隔开，相当于一个校验位，用另外一个不同频率（区别于FSK的两个特征频率标志频率）来表达这个标志位特征位，本装置中采用的13Hz的频率来表述，标志位特征位是在调制的过程中设置，在信号解调的过程中进行关键作用。

如图1、2所示，要在FSK编码阶段根据指令编码中“0”“1”“2”的排列，生成特定的波形图（如图2所示将幅值表征“0”、“1”的电平转换为特定频率的波形）。

本发明的硬件基础包括前端刺激器，制作时要考虑刺激器的硬件设计(如划分出多个显示区域的显示屏)、软件控制、刺激源的选择。如图1所示，硬件设计上，将刺激源进行阵列排布，使得刺激源之间不互相干扰，产生稳定的刺激信号。本装置采用LED作为刺激源，一个显示区域内设置一个刺激点，采用四个LED源作为一个刺激点，增加刺激强度，增强了对干扰因素的抵抗能力。每个显示区域根据对应指令编码（4个标志位+1个特征位）所转换的波形（转换原理如图2所示）进行闪烁。本装置采用的是以p1和p0为端头的通道作为采集数据的电极通道，通过电极以250bps的波特率对受测人员进行脑电采集，如图1所示，对在受刺激人的脑电信号进行采集，原始的脑电平其微弱在本装置中，采集的过程对原始的脑电数据进行数据放大滤波处理，放大滤波的过程为放大—滤波—放大—滤波，两次放大滤波，所述滤波为7～13Hz带通滤波，滤波后再进行一定的去噪处理（如先进行FFT变换，再进行IFFT处理；也可以直接采用小波变换进行处理）就是对应的模拟脑电信号。

进一步进行AD转换，对ADS1299的功能进行裁剪，裁除冗余的功能，留下多通道的ADC模块，利用该ADC模块连将模拟脑电信号转换为数字脑电信号。

在得到数字脑电信号后，本装置采用数字滤波和信号增强的方法对数字脑电信号进行处理，增强信号的信噪比，得到能够被用来解调使用的SSVEP信号。

本发明的解调方式多样，可以如图2所示，将码元间隔检测与标志位检测同步进行，也能先进行标志位检测，再进行码元间隔检测，还可以先进行码元间隔检测，再进行标志位检测。

现以先进行码元间隔检测检测，再进行标志位检测为例，来说明本发明的工作原理。

如图1所示，得到的待处理的SSVEP信号(即上述用来解调使用的SSVEP信号)后，进入解调单元。在进行解调之前对待处理的SSVEP信号进行码元间隔检测，用待处理的SSVEP信号与一个和特征位频率同频的信号(13Hz)相乘，如图3所示，特征位相关的波形信号会因为同频的关系会变为“全正”（本实施例为全正，但在实际操作中也有全负的情况，但绝不会半正半负），则这些全正信号为特征位，特征位之间为指令码元。

如图4所示，将待处理的SSVEP信号(即上述用来解调使用的SSVEP信号)与一个标志位的同频信号10Hz相乘，同频的部分会全部变为“全正”，这个部分全部为“1”，对应的另外的部分则全部为另一个标志位“0”。

结合图3中的特征位，对图4中的指令码元进行分隔。按照预设的码元的长度（4位标志位），即可得到数据的正确顺序，还原码元信号。如图4所示，解调出来的码元（按时间轴方向进行排列）为1001、1001、1001。所以获得正确的指令码元为1001。

在本发明中，使用与编码信息对应的刺激闪烁信号对视觉进行刺激，由人体的大脑产生的一个全新的信号，这个全新的信号中含有与调制信号同样特性的部分，本系统的很大一部分工作就是要解析出含有与调制信号含有同样特性的这一部分信号，这个过程与通信领域的信号处理有极大的不同，是生物领域范围的信号处理，在解析出这个信号之后，可以进行码元恢复。

本装置采用的码元恢复后进行解调的方式，有效地避免了上面提到的传统解调方式的弊端，解析出码元间隔后，将码元间隔的位置确定，就可以得到码元的起始位置，确定了起始位置，再结合码元的长度，得到的直接是目标指令，完全不用再进行分析处理，很容易就可以确定具体的指令。得到确定的指令之后，只需要与调制的时候设置的指令集的内容进行比对，即获得需要的指令。

传统的解调方式由于没有设置特征位，并且没有合适的手段将两个相邻的码元区分开，很难做对码元的正确识别，如一个码元的编码为“1001”，若没有设置特征位对码元隔开，解调的时候得到的编码的数据可能为“0011001”这种无序的难以解析的编码数据，即使还原出了编码后，也不可能得到绝对正确的指令信息；相对的如果加入了特征位后，不能设计合适的算法将码元间隔从信号中解析出来，不但不能提高识别率，反而人为的增加干扰信号，为后面的解调工作增加了难度。一些先进行解调，之后对得到的编码数据进行分析处理的算法，也存在不可避免的系统误差，如对上面提到的“0011001”进行解码，可能得到“0011”、“0110”、“1100”、“1001”等多种可能的情况，那么在进行编码工作的时候，指令集中就不能同时存在这些编码方式，这将会缩小指令集的容量，极大的限制了FSK在脑机接口上的应用，而且码元越长，产生的系统误差便越大，解码的难度也将成指数倍的增长。

由于脑电信号的特殊性，很难跟通信领域的信号做同样的解调处理。通信领域是信号的传输，传输的信号具有随机性和不确定性，而在本系统中，调制的信号是重复的，具有确定性。在本系统中是对指令集进行编码，每一个指令使用一个固定的编码方式代替，并且编码信号重复地进行发送（在显示区域内，刺激点根据指令代码反复闪烁），从而对视觉产生重复的刺激信号，但它对大脑的刺激起始时刻仍具有不确定性。因此需要对脑电信号进行码元间隔检测和码元恢复（也就是对指令集码元的识别），码元间隔检测的目的是分隔重复相邻的码元，经过码元间隔后恢复的码元才能确定刺激源指令编码以及指令类型。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (1)

1.基于SSVEP脑机接口的脑电波指令识别方法，其特征在于，包括如下步骤: a.FSK编码，设计与具体指令一一对应的指令编码，所述指令编码包括码元和特征位，码元是由确定位数的标志位组成，所述标志位包括“0”与“1”，所述标志位通过排列组合形成与指令数量一致的码元，所述特征位为“2”，位于指令编码的起始位和/或终止位； b. 将屏幕上划分出与各指令编码一一对应的显示区域，由三种频率f₀、 f₁和f₂信号分别表征两个标志位与一个特征位；按照指令编码中标志位与特征位的排列顺序，在与指令编码对应的显示区域内依次显示频率值为f₀、 f₁和f₂的闪烁刺激信号，统一设定每次闪烁刺激信号的持续时间为T；f₀、 f₁和f₂任意两两之间的最小公倍数是两者的乘积； c.观视者根据自身对具体指令的需要，根据一一对应关系，注视屏幕上的某一个显示区域；然后采集观视者的SSVEP信号，并对采集的信号进行放大和滤波处理； d.对步骤c处理后的SSVEP信号进行解调，分析SSVEP信号内三种频率f₀、 f₁和f₂信号的时域分布状况，根据频率与标记位及特征位的一一对应关系，解码并组合出对应的码元；根据码元与指令的对应关系，解析出对应的具体指令。