CN109034015B - Fsk-ssvep的解调系统及解调算法 - Google Patents

Fsk-ssvep的解调系统及解调算法 Download PDF

Info

Publication number
CN109034015B
CN109034015B CN201810757169.XA CN201810757169A CN109034015B CN 109034015 B CN109034015 B CN 109034015B CN 201810757169 A CN201810757169 A CN 201810757169A CN 109034015 B CN109034015 B CN 109034015B
Authority
CN
China
Prior art keywords
signal
stimulation
signals
ssvep
artifact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810757169.XA
Other languages
English (en)
Other versions
CN109034015A (zh
Inventor
赵德春
王霞
李文瀚
王力
程闪闪
王怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201810757169.XA priority Critical patent/CN109034015B/zh
Publication of CN109034015A publication Critical patent/CN109034015A/zh
Application granted granted Critical
Publication of CN109034015B publication Critical patent/CN109034015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • G06F2218/16Classification; Matching by matching signal segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及一种FSK‑SSVEP的解调系统及解调算法,属于脑机接口领域。系统由SSVEP刺激发生器、脑电信号采集装置以及信号处理三大模块组成。受试者在收到开始信号后,注视某个特定刺激,同时采集脑电信号,经过解调算法获得指令信号,并提示受试者不再注视视觉刺激器,从而停止数据采集。脑电信号采集装置用来采集受试者经过注视刺激装置产生的SSVEP脑电信号,采集到的脑电信号通过无线传输到智能终端的软件信号处理平台,在接收到脑电信号后,软件处理平台对其保存的号做预处理、FSK‑SSVEP信号解调和指令识别,最终分析出脑电信号中的有效成分并判断出受试者所注视的指令。

Description

FSK-SSVEP的解调系统及解调算法
技术领域
本发明属于脑机接口领域,涉及FSK-SSVEP的解调系统及解调算法。
背景技术
脑机接口(Brain-computer Interface,BCI),是一种人与计算机或其他电子设备之间的通讯系统,在不需要外周神经和肌肉活动的情况下它允许人们将外部刺激器产生的刺激信息或命令从人的大脑直接发送到外部世界中去。系统中,将被试注视刺激所产生的脑电信号通过特征提取翻译成计算机指令对电子设备进行操控,如:电脑、机器人等,是一种人机交互技术。该技术主要用于部分基本失去运动功能的瘫痪病人重建或再造新的神经通路,从而恢复运动功能。提高他们的生活自理能力。脑机接口技术不仅在医疗康复上起到主导作用外,其还被应用于日常生活、军事科学以及娱乐方面。随着脑机接口的技术及相关机制研究的不断发展,不仅促进了医学发展,还将促进脑康复、信号处理、芯片技术等众多交叉领域的快速发展。
“稳态视觉诱发电位”(Steady State Visual Evoked Potential,SSVEP)是视觉刺激诱发的脑电信号,由视觉皮层产生。LED或LCD经常用做刺激源,它通常使用多个刺激源进行视觉刺激,其在有效频率刺激的范围内连续闪烁以刺激视觉皮层。由于SSVEP时间分辨率高达几毫秒,所以其在实时应用中具有很大的潜力。典型的SSVEP-BCI为表示BCI命令的每个刺激目标分配一个特定的频率,并通过特征提取识别SSVEP的频率从而确定刺激源来执行的刺激所对应的命令。如果在液晶显示器或CRT显示器上显示视觉刺激,刺激频率受到刺激器的刷新率的限制,而缺乏可用的调制频率则是在基于SSVEP的BCI中需要解决的问题。即使LED刺激器能够在1-90Hz的频率范围内唤起SSVEP,但由于仍不清楚的生理机制,可以唤起能检测的SSVEP的可用频率仍然有限。
2013年Kimura等人提出了采用数字通信中频移键控(FSK)的编码策略。利用通信技术对刺激频率进行编码以改善可用频率受限和传输率低的问题。使用二进制编码策略编码刺激时,会面临“编码重复”的问题。当把刺激编码为“1011”时,在连续的周期刺激下比特流的输出将是“1011”的周期迭代,也就是1011101110111011,在使用二进制编码策略编码刺激时,容易造成一个刺激周期的结束与下一个刺激开始难以区分的。那么容易将输出认为是1101110111011101。针对这一问题,专利《基于SSVEP脑机接口的脑电拨指令方法(ZL201510743942.3)》在其研究基础上引入“码元2”,通过第三个频率来编码间隔符,来判断刺激过程中刺激周期的开始和结束,从而降低误码率。以及变时长编码的非侵入式脑机接口系统及编码方式(CN201710272431.7)。这几项专利公开了利用FSK方式编码刺激指令,其具体发明体现在编码方式上。但,由于脑电信号的特殊性在信号解调过程中不能简单地根据通信领域的解调方式进行,传统的通信解调方式不能满足脑电信号的需求。因此本发明进行了FSK-SSVEP解调算法的设计。
在目前本领域的研究中,引入“码元2”的FSK-SSVEP信号解调方式还停留正在使用传统FSK解调(相干解调、非相干解调等)方法来解调FSK-SSVEP信号,虽然利用传统解调能成功恢复部分FSK-SSVEP信号的码元序列,一组含有三个刺激周期的数据中,一般情况下多则可以正确还原出两个周期的码元序列,少则没有正确码元序列输出(极少数据可以将三个周期的码元序列正确还原)。由于脑电信号的随机性与非平稳性,传统解调方法解决不了在解调过程中遇到的信息重复以及其计算过程中判决条件过于依赖人为主观经验设置等问题,从而导致采集信号的可用性低以及解调的准确度不高。
发明内容
有鉴于此,本发明的目的在于提供一种FSK-SSVEP的解调系统及解调算法,系统由SSVEP刺激发生器、脑电信号采集装置以及信号处理三大模块组成同时对解调算法进行了详细地设计。
其中,受试者在收到开始信号后(如语音提示),注视某个特定刺激,同时采集脑电信号。由于在整个编码刺激过程中,刺激序列周期迭代,所以受试者开始接受刺激的序列是随机的。因此受试者注视刺激源的时间应至少为刺激序列的两个周期。最后受试者收到停止信号(如语音提示)后不再注视视觉刺激器,并停止数据采集。
脑电信号采集装置用来采集受试者经过注视刺激装置产生的SSVEP脑电信号,采集到的脑电信号通过无线传输到智能终端的软件信号处理平台,在接收到脑电信号后,软件处理平台对其保存的号做预处理处理、FSK-SSVEP信号解调和指令识别,最终分析出脑电信号中的有效成分并判断出受试者所注视的指令。
传统的FSK-SSVEP系统中FSK的解调方法效果欠佳,为了适应脑电信号的特殊性,本系统在解调过程中将数据在时域上分段获得分段信号的特征值及其相应的权重,利用离线数据进行神经网络学习建立合理的模型,最后通过建立的模型将实验数据解调出来,实现的目标实时识别,从而增强系统的识别正确率以及稳定性。
为达到上述目的,本发明提供如下技术方案:
FSK-SSVEP的解调系统,该系统运行过程中视觉刺激模块产生刺激源,即一组刺激频率,其中视觉刺激器由主控板和发光二极管(LED)阵列板组成,主控板和LED阵列板之间以欧式插座连接,两个部分任意分离拆卸;选用LED显示视觉刺激;受试者通过注视刺激源产生SSVEP信号,同时脑电采集装置采集SSVEP信号,采集装置针对微伏级别EEG信号,采用低功耗高分辨率的A/D转换芯片作为前端模拟信号采集部分,由微控制单元通过无线传输模块与上位机或其他搭载无线传输模块的设备进行数据传输;采集装置包括A/D转换模块、主控模块、无线传输模块;最后将信号传输到信号解调平台进行信号解调,信号解调包括信号预处理、信号时域分段、各时段特征提取、特征值标准化、建立合理的模型和最后的结果输出。
FSK-SSVEP的解调算法,该方法包括以下步骤:
S1:信号预处理
1.通过主成分分析等方法去噪,去除多电极引起的背景噪声和生理噪声;
2.去伪迹,刺激伪影形态的可变性使得难以从每个单个刺激伪影波形直接提取模板;重叠和平均的模板减法仅适用于以高采样率记录的信号其中由于具有足够数量的采样点,刺激伪像形状是不变的;通过反向,用模板重建方法以去除低采样率信号中刺激伪像,将EMD技术用于去趋势,然后将去势的原始数据的数据序列用于构建伪像模板,选定的数据序列应包含大约整数个刺激脉冲伪影;首先找出去趋势原始数据中每个伪影的峰值点,并通过峰值检测进行标记;然后将伪像或其峰值点指定为一端,接下来预期会发现与其非常相似的伪像,因此我们通常认为它们之间存在大致整数个刺激脉冲伪影;为找出这个非常相似的伪像,首先通过排除它们之间的值发散和所选峰值超过设定阈值的点来排除一些峰值点;然后,通过搜索具有最小伪影点值平均偏差的伪影,将所选择的伪影形状逐个与剩余伪像的形状进行比较,以找到非常相似的伪像;数据序列中的刺激脉冲伪像的数量由N表示,并且数据点的数量由M表示;对于分割过程,使用线性插值方法将数据点的数量增加到最小公倍数;然后将该数据序列分成N个片段,这些片段重叠;绘制出N段非插值点中的原始数据点;然后使用移动平均滤波器对绘制的线进行平滑以重建伪像模板;构建模板后,将从原始数据中减去伪像模板;
3.采用巴特沃斯滤波器滤出间隔码对应频率的频带信号;巴特沃斯滤波器的特征在于通带频率响应曲线的平滑性和频率响应的减小特性;它可以用来滤除干扰和重叠成分,使信号更加稳定和明显;
S2:时域分段
利用希尔伯特变换找出间隔码对应编码频率的分布图,以时间轴顺序找出间隔符对应频率在采集时间中的有效峰值;即找到刺激过程中刺激周期的开始和结束时间,作为数据在时域上分段的标志;
S3:特征提取
特征获取用于FSK-SSVEP特征提取系统,包括:
(1)能量谱分析
1.受视者通过接收刺激源的刺激产生SSVEP信号,将采集到的信号依据码元刺激时间做分段,能量分析,提取各分段信号的特征值;
2.在采集SSVEP信号之前采集受试者未注视刺激器(且尽量保持大脑不思考的状态)时的EEG信号,截取与SSVEP信号相同时段的信号做能量谱分析计算出其能量值,计算两者差值;
3.其实质为判断受视者是否有集中注意力于刺激源上,设定阈值判断此段数据受试者处于接收到刺激源信息的时期;
(2)相关性分析
1.将分段信号与此段刺激源刺激频率的参考信号做相关性分析;
2.其实质为判断受试者产生的SSVEP信号与刺激信号的相符程度;
综合分段信号能量谱分析所得的能量差值和其与刺激源信号的相关系数作为权重,每个时段信号特征值由能量值与相关系数也就是权重值相乘得到;
上述特征提取过程中,特征值提取包括两方面:首先是能量谱分析,将采集到的SSVEP时域信号分段经时频转换将其转换到频域,通过能量变换公式将频谱转换为能量谱,然后计算能量差值;紧接着将分段信号与对应刺激频率相关的参考信号做相关性分析,根据其相关程度来反应SSVEP的响应;根据码元刺激时间做分段,保证在相同条件下采集的SSVEP信号在同时段内具有相同个数的特征值;
S4:特征值标准化
将提取的特征值标准化,通过以上步骤获取的能量差值做量化处理;将各个时段内获取的特征值作为参数,而与刺激信号频率的参考信号的相关性大小做权重建模;
S5:建立合理的模型
采用人工神经网络模型,将采集到离线的数据作为训练样本,根据分段的个数,设计神经网络节点的数量,将相关性系数作为节点的权重,进行网络的学习;学习完成后,将各个时段的特征值作为输入,输入到对应的节点,输出结果为对应解调序列,根据输出值判定输入数据的属性,即受试者注视的目标。
进一步,所述原始数据的特征采用深度学习算法自动选择;在深度学习中将时间、频率、幅值放入第一层网络,将能量与相关值放入第二层网络诸如此类下一层网络比上一层的信息更复杂、对于堆叠的多个层上一层的输出为下一层的输出以实现对输入数据的分级表达,在学习的过程中不断纠正神经网络的实际输出结果和预期结果之间的误差;通过构建具有很多隐层的学习模型和大量的训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性;根据深度模型的特征学习分类当前SSVEP信号的属性,从而达到目标识别的目的。
本发明的有益效果在于:
1.本系统的刺激装置两个部分之间可以任意分离拆卸,方便使用且节约空间,用LED灯做刺激源不仅便携了刺激装置,还避免了刺激频率受到刺激器刷新率的限制。
2.本系统的采集装置采用了高精度高集成度的模拟前端和AD转换芯片,其不仅达到降低脑电信号采集模块的功耗、简便系统设计、提高信噪比的效果,还有利于信号处理,因此本系统大大减小脑电信号采集装置的体积达到便携的目的。在本系统中,脑电信号采集装置集成安装于电极帽枕叶处,使用无线传装置作为数据传输方式,以此种形式将脑电信号的采集部分与电极帽结合起来并且形成独立部分,这在很大程度上提高了受试者的舒适性和灵活性。
3.相比传统的FSK解调方法,本系统解决了受试者接收到重复刺激信号时大脑容易产生信号重叠导致可用于解调的信号数量少以及解调困难的问题。相比典型相关分析算法解决了由于受试者接收刺激的随机性而解调过程中无法判断对应码元开始位置的困扰。本系统运用希尔伯特变换找出间隔符所在位置实现信号分段,再利用神经网络建立模型通过学习来解调信号,学习过程中不仅根据分段信号反映的信号的特征,还将每组信号内的分段信号间通过网络节点以及多组信号组通过多次学习来建立组内信号与组间信号的联系。充分利用信号本身的特性使整个解调系统更符合脑电信号的随机性以及非平稳性,能够得到准确、客观的解调结果,大大提高了采集信号的使用率以及解调的正确率。而使用深度学习不用人为选择信号特征用于模型训练,其在数据量足够大的情况下自动选择数据的特征,在模型建立期间对网络的权值进行优化使得输出结果贴近输入避免信息丢失,很大程度上提升了整个系统的运算速度以及智能性。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚,本发明提供如下附图进行说明:
图1为本发明系统示意图;
图2为本发明解调算法流程图。
具体实施方式
下面将结合附图,对本发明的优选实施例进行详细的描述。
系统方案
图1为本发明系统示意图,系统运行过程中视觉刺激模块产生刺激源(一组刺激频率),其中视觉刺激器由主控板和发光二极管(LED)阵列板组成,主控板和LED阵列板之间以欧式插座连接,其设计可使两个部分之间任意分离拆卸,方便使用且节约空间。主控板可安装铜柱作为刺激器的稳定基座。选用LED显示视觉刺激,既避免了刺激频率受到刺激器的刷新率的限制同时又简便了设备,增强了系统的便携性。受试者通过注视刺激源产生SSVEP信号,与此同时脑电采集装置采集SSVEP信号,采集装置是针对微伏(μV)级别EEG信号而设计的,采用低功耗高分辨率的A/D转换芯片作为前端模拟信号采集部分,由微控制单元通过无线传输模块与上位机或其他搭载无线传输模块的设备进行数据传输。它包括A/D转换模块、主控模块、无线传输模块。整个设备具有高速率的信号采集以及处理单元,且其具有功耗低、体积小、通信能力强等特点。最后将信号传输到信号解调平台进行信号解调,信号解调主要包括了信号预处理、信号时域分段、各时段特征提取、特征值标准化、建立合理的模型和最后的结果输出。
解调算法
FSK-SSVEP信号解调,如图2所示,其中:
一、信号预处理
1.通过主成分分析等方法去噪,去除多电极引起的背景噪声、生理噪声(肌电、眼电等)等;
2.去伪迹,刺激伪影形态的可变性使得难以从每个单个刺激伪影波形直接提取模板。重叠和平均的模板减法仅适用于以高采样率记录的信号其中由于具有足够数量的采样点,刺激伪像形状是不变的。通过反向,用模板重建方法以去除低采样率信号中刺激伪像,将EMD技术用于去趋势,然后将去势的原始数据的数据序列用于构建伪像模板,选定的数据序列应包含大约整数个刺激脉冲伪影。首先找出去趋势原始数据中每个伪影的峰值点,并通过峰值检测进行标记。然后将伪像(或其峰值点)指定为一端,接下来预期会发现与其非常相似的伪像,因此我们通常认为它们之间存在大致整数个刺激脉冲伪影。为了找出这个非常相似的伪像,首先通过排除它们之间的值发散和所选峰值超过设定阈值的点来排除一些峰值点。然后,通过搜索具有最小伪影点值平均偏差的伪影,将所选择的伪影形状逐个与剩余伪像的形状进行比较,以找到非常相似的伪像。数据序列中的刺激脉冲伪像的数量由N表示,并且数据点的数量由M表示。对于分割过程,使用线性插值方法将数据点的数量增加到最小公倍数。然后将该数据序列分成N个片段,这些片段重叠。绘制出N段(非插值点)中的原始数据点。然后使用移动平均滤波器对绘制的线进行平滑以重建伪像模板。构建模板后,将从原始数据中减去伪像模板;
3.采用巴特沃斯滤波器滤出间隔码对应频率的频带信号。巴特沃斯滤波器的特征在于通带频率响应曲线的平滑性和频率响应的减小特性。它可以用来滤除干扰和重叠成分,使信号更加稳定和明显。
二、时域分段
利用希尔伯特变换找出间隔码对应编码频率的分布图,以时间轴顺序找出间隔符对应频率在采集时间中的有效峰值。即找到刺激过程中刺激周期的开始和结束时间,作为数据在时域上分段的标志。
三、特征提取
特征获取用于FSK-SSVEP特征提取系统,包括:
能量谱分析
1.受视者通过接收刺激源的刺激产生SSVEP信号,将采集到的信号依据码元刺激时间做分段,能量分析,提取各分段信号的特征值;
2.在采集SSVEP信号之前采集受试者未注视刺激器(且尽量保持大脑不思考的状态)时的EEG信号,截取与SSVEP信号相同时段的信号做能量谱分析计算出其能量值,计算两者差值;
3.其实质为判断受视者是否有集中注意力于刺激源上,设定阈值判断此段数据受试者处于接收到刺激源信息的时期。
相关性分析
1.将分段信号与此段刺激源刺激频率的参考信号做相关性分析;
2.其实质为判断受试者产生的SSVEP信号与刺激信号的相符程度。
综合分段信号能量谱分析所得的能量差值和其与刺激源信号的相关系数作为权重,每个时段信号特征值由能量值与相关系数也就是权重值相乘得到。
上述特征提取过程中,特征值提取包括两方面:首先是能量谱分析,将采集到的SSVEP时域信号分段经时频转换将其转换到频域,通过能量变换公式将频谱转换为能量谱,然后计算能量差值。紧接着将分段信号与对应刺激频率相关的参考信号做相关性分析,根据其相关程度来反应SSVEP的响应。根据码元刺激时间做分段,保证在相同条件下采集的SSVEP信号在同时段内具有相同个数的特征值。
四、特征值标准化
将提取的特征值标准化,通过以上步骤获取的能量差值做量化处理;将各个时段内获取的特征值作为参数,而与刺激信号频率的参考信号的相关性大小做权重建模。
五、建立合理的模型
在上述步骤中,采用人工神经网络模型,将采集到离线的数据作为训练样本,根据分段的个数,设计神经网络节点的数量,将相关性系数作为节点的权重,进行网络的学习。学习完成后,将各个时段的特征值作为输入,输入到对应的节点,输出结果为对应解调序列,根据输出值判定输入数据的属性,即受试者注视的目标。
当然也可以使用深度学习算法去自动选择原始数据的特征,所有特征完全在网络中自动呈现,并非出自人工设计。在深度学习中将时间、频率、幅值放入第一层网络,将能量与相关值放入第二层网络诸如此类下一层网络比上一层的信息更复杂、对于堆叠的多个层上一层的输出为下一层的输出以实现对输入数据的分级表达,在学习的过程中不断纠正神经网络的实际输出结果和预期结果之间的误差。这里的一系列操作包含的范围很宽,可以是简单的矩阵乘法,也可以是卷积、池化和LSTM等稍复杂的运算。通过构建具有很多隐层的学习模型和大量的训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性。根据深度模型的特征学习分类当前SSVEP信号的属性,从而达到目标识别的目的。
实施例:
受试者带上的电极帽电极排布方式按照国际10-20系统进行排列,根据脑区功能分布,脑电信号采集装置集成安装于电极帽枕叶部份,刺激器上不同的LED灯代表着不同的指令,受试者在收到开始信号后(语音提示),开始注视某个特定刺激,同时开始采集脑电信号。其中:
(1)针对不同的受试者,从SSVEP可识别频率范围(5-20Hz)中选取三个效果最好的频率作为其FSK编码频率。
(2)在刺激频率的选取中不仅要注意受试着本身的生理因素,还需考虑倍频对实验结果的影响,所以选择刺激频率时尽量避开偶数频率值。
(3)采用频移键控进行数字通信。首先将BCI命令翻译为二进制码字,其中不同的命令由其独有的码元序列组成,如命令Bk={101},其由三个码元有序构成。根据其独有的码元序列可确定相应的BCI命令。
(4)用不同的二进制码字来表示视觉刺激中不同的刺激频率,如:0表示f0,1表示f1,2表示f2。其中‘0’、‘1’表示指令码,‘2’表示间隔码。
在采集到足够时间的信号后,受试者收到停止信号(语音提示)后不再注视视觉刺激器,此时也将停止数据采集。
脑电信号采集模块完成对微弱脑电信号的采集与发送,其中:
(1)通过AD转换模块完成SSVEP信号的采集以及实现转换功能;
(2)将经过AD转换后的SSVEP信号传给主控模块,主控模块将接收的信号发送给无线传输模块;
(3)无线传输模块完成信号的传送。
所述FSK-SSVEP脑电信号采集系统包括转换模块、主控模块、无线传输模块。采集装置完成SSVEP信号的采集以及发送到软件处理平台。
在软件信号处理平台上对采集到的SSVEP信号进行预处理、特征提取、信号解调以及指令识别,其中:
(1)将采集的脑电信号进行去噪(多通道背景噪声、眼电、肌电等)、去伪迹、滤波-滤出间隔符对应频率带;
(2)找出间隔符,利用希尔伯特变换绘制出滤波后的频带信号包络图。以时间轴顺序找出间隔符对应频率在采集时间中的有效峰值;找到刺激周期的开始和结束时间,作为数据在时域上分段依据;
(3)特征值获取,利用上述特征获取的方法获取个分段信号的特征值;
(4)将各个时段的特征值作为输入完成学习的神经网络模型;
(5)根据不同输出序列的确定受试者的注视目标,达到信号解调指令识别的目的,从而确定受试者意图。
最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。

Claims (3)

1.FSK-SSVEP的解调系统,其特征在于:该系统运行过程中视觉刺激模块产生刺激源,即一组刺激频率,其中视觉刺激器由主控板和发光二极管LED阵列板组成,主控板和LED阵列板之间以欧式插座连接,两个部分任意分离拆卸;使用LED显示视觉刺激;受试者通过注视刺激源产生SSVEP信号,同时脑电采集装置采集SSVEP信号,采集装置针对微伏级别EEG信号,采用低功耗高分辨率的A/D转换芯片作为前端模拟信号采集部分,由微控制单元通过无线传输模块与上位机进行数据传输;采集装置包括A/D转换模块、主控模块、无线传输模块;最后将信号传-输到智能平台进行信号解调,信号解调包括信号预处理、信号时域分段、各时段特征提取、特征值标准化、建立合理的模型和最后的结果输出。
2.FSK-SSVEP的解调算法,其特征在于:该算法包括以下步骤:
S1:信号预处理
(1)通过主成分分析方法去噪,去除多电极引起的背景噪声和生理噪声;
(2)去伪迹,刺激伪像形态的可变性使得难以从每个单个刺激伪像波形直接提取模板;重叠和平均的模板减法仅适用于以高采样率记录的信号;以高采样率记录的信号具有足够数量的采样点,刺激伪像形状是不变的;通过反向,用模板重建方法以去除低采样率信号中刺激伪像,将EMD技术用于去趋势,然后将去趋势的原始数据的数据序列用于构建伪像模板,选定的数据序列应包含整数个刺激脉冲伪像;首先找出去趋势原始数据中每个伪像的峰值点,并通过峰值检测进行标记;然后将伪像或其峰值点指定为一端,接下来预期会发现与其非常相似的伪像,认为它们之间存在整数个刺激脉冲伪像;为找出这个非常相似的伪像,首先通过排除它们之间的值发散和所选峰值超过设定阈值的点来排除一些峰值点;然后,通过搜索具有最小伪像点值平均偏差的伪像,将所选择的伪像形状逐个与剩余伪像的形状进行比较,以找到非常相似的伪像;数据序列中的刺激脉冲伪像的数量由N表示,并且数据点的数量由M表示;对于分割过程,使用线性插值方法将数据点的数量增加到最小公倍数;然后将该数据序列分成N个片段,这些片段重叠;绘制出N段非插值点中的原始数据点;然后使用移动平均滤波器对绘制的线进行平滑以重建伪像模板;构建模板后,将从原始数据中减去伪像模板;
(3)采用巴特沃斯滤波器滤除间隔码对应频率的频带信号;巴特沃斯滤波器的特征在于通带频率响应曲线的平滑性和频率响应的减小特性,用于滤除干扰和重叠成分,使信号更加稳定和明显;
S2:时域分段
利用希尔伯特变换找出间隔码对应编码频率的分布图,以时间轴顺序找出间隔符对应频率在采集时间中的有效峰值;即找到刺激过程中刺激周期的开始和结束时间,作为数据在时域上分段的标志;
S3:特征提取
(1)能量谱分析
①受视者通过接收刺激源的刺激产生SSVEP信号,将采集到的信号依据码元刺激时间做分段,然后进行能量分析,提取各分段信号的特征值;
②在采集SSVEP信号之前采集受试者未注视刺激器时的EEG信号,截取与SSVEP信号相同时段的信号做能量谱分析计算出其能量值,计算两者差值;
③其实质为判断受视者是否有集中注意力于刺激源上,设定阈值判断此段数据受试者处于接收到刺激源信息的时期;
(2)相关性分析
①将分段信号与此段刺激源刺激频率的参考信号做相关性分析;
②其实质为判断受试者产生的SSVEP信号与刺激信号的相符程度;
综合分段信号能量谱分析所得的能量差值和其与刺激源信号的相关系数作为权重,每个时段信号特征值由能量值与相关系数也就是权重值相乘得到;
上述特征提取过程中,特征值提取包括两方面:首先是能量谱分析,将采集到的SSVEP时域信号分段经时频转换获得频域特征,通过能量变换公式将频谱转换为能量谱,然后计算能量差值;紧接着将分段信号与对应刺激频率相关的参考信号做相关性分析,根据其相关程度来反应SSVEP的响应;根据码元刺激时间做分段,保证在相同条件下采集的SSVEP信号在同时段内具有相同个数的特征值;
S4:特征值标准化
将提取的特征值标准化,通过以上步骤获取的能量差值做量化处理;将各个时段内获取的特征值作为参数,而与刺激信号频率的参考信号的相关性大小做权重建模;
S5:建立合理的模型
采用人工神经网络模型,将采集到离线的数据作为训练样本,根据分段的个数,设计神经网络节点的数量,将相关性系数作为节点的权重,进行网络的学习;学习完成后,将各个时段的特征值作为输入,输入到对应的节点,输出结果为对应解调序列,根据输出值判定输入数据的属性,即受试者注视的目标。
3.根据权利要求2所述的FSK-SSVEP的解调算法,其特征在于:所述原始数据的特征采用深度学习算法自动选择;在深度学习中将时间、频率、幅值放入第一层网络,将能量与相关值放入第二层网络,诸如此类下一层网络比上一层的信息更复杂;对于堆叠的多个层,上一层的输出为下一层的输入,以实现对输入数据的分级表达,在学习的过程中不断纠正神经网络的实际输出结果和预期结果之间的误差;通过构建具有多隐层的学习模型和大量的训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性;根据深度模型的特征学习分类当前SSVEP信号的属性,从而达到目标识别的目的。
CN201810757169.XA 2018-07-11 2018-07-11 Fsk-ssvep的解调系统及解调算法 Active CN109034015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810757169.XA CN109034015B (zh) 2018-07-11 2018-07-11 Fsk-ssvep的解调系统及解调算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810757169.XA CN109034015B (zh) 2018-07-11 2018-07-11 Fsk-ssvep的解调系统及解调算法

Publications (2)

Publication Number Publication Date
CN109034015A CN109034015A (zh) 2018-12-18
CN109034015B true CN109034015B (zh) 2022-01-28

Family

ID=64640885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810757169.XA Active CN109034015B (zh) 2018-07-11 2018-07-11 Fsk-ssvep的解调系统及解调算法

Country Status (1)

Country Link
CN (1) CN109034015B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110141211B (zh) * 2019-06-13 2020-12-08 西安交通大学 一种基于经验模态分解的稳态视觉诱发电位的分类方法
CN111227801B (zh) * 2020-02-03 2022-06-10 天津大学 一种面向多源激活检测的声电神经成像系统
CN111743538A (zh) * 2020-07-06 2020-10-09 江苏集萃脑机融合智能技术研究所有限公司 脑机接口报警方法及系统
CN115590728B (zh) * 2022-10-17 2024-01-30 湖南大学 一种基于步态智能识别的时空调节振动康复刺激器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104635934A (zh) * 2015-02-28 2015-05-20 东南大学 基于逻辑思维和形象思维的脑机接口方法
CN105302309A (zh) * 2015-11-05 2016-02-03 重庆邮电大学 基于ssvep脑机接口的脑电波指令识别方法
CN105938397A (zh) * 2016-06-21 2016-09-14 西安交通大学 基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法
CN107193368A (zh) * 2017-04-24 2017-09-22 重庆邮电大学 变时长编码的非侵入式脑机接口系统及编码方式

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104635934A (zh) * 2015-02-28 2015-05-20 东南大学 基于逻辑思维和形象思维的脑机接口方法
CN105302309A (zh) * 2015-11-05 2016-02-03 重庆邮电大学 基于ssvep脑机接口的脑电波指令识别方法
CN105938397A (zh) * 2016-06-21 2016-09-14 西安交通大学 基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法
CN107193368A (zh) * 2017-04-24 2017-09-22 重庆邮电大学 变时长编码的非侵入式脑机接口系统及编码方式

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A SSVEP Stimuli Encoding Method Using Trinary Frequency-Shift Keying Encoded SSVEP (TFSK-SSVEP);Xing Zhao 等;《Frontiers in Human Neuroscience》;20170602;第1-9页 *
A Wireless Portable EEG Signal Acquisition and Processing System;Tan Fajiang 等;《航天医学与医学工程》;20160630;第29卷(第3期);第157-162页 *
便携式SSVEP-BCI系统研究;谭发江;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20170315;正文第2-5章 *

Also Published As

Publication number Publication date
CN109034015A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN109034015B (zh) Fsk-ssvep的解调系统及解调算法
CN110765920B (zh) 基于卷积神经网络的运动想象分类方法
CN110495880B (zh) 基于经颅电刺激脑肌耦合的运动障碍皮层可塑性管理方法
CN110070105B (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
CN101515200B (zh) 基于瞬态视觉诱发脑电的目标选择方法
CN113288183B (zh) 一种基于面颈部表面肌电的无声语音识别方法
CN102542283B (zh) 脑机接口的最优电极组自动选取方法
CN109674468A (zh) 一种单导脑电自动睡眠分期方法
CN102063180B (zh) 基于hht高频组合编码稳态视觉诱发电位脑机接口方法
CN108681396A (zh) 基于脑-肌电双模态神经信号的人机交互系统及其方法
CN110969108A (zh) 一种基于自主运动想象脑电的肢体动作识别方法
CN114533086B (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
CN107957783A (zh) 一种基于脑电与肌电信息的多模式智能控制系统及方法
Zhao et al. Deep CNN model based on serial-parallel structure optimization for four-class motor imagery EEG classification
CN107212883B (zh) 一种基于脑电控制的机械臂写字装置及控制方法
CN1317624C (zh) 基于瞬态视觉诱发电位提取脑机接口控制信号的方法
CN111407243A (zh) 一种基于深度学习的脉搏信号压力识别方法
CN116400800B (zh) 一种基于脑机接口和人工智能算法的als患者人机交互系统及方法
CN115640827B (zh) 对电刺激数据处理的智能闭环反馈网络方法及系统
CN105942975A (zh) 基于稳态视觉诱发的脑电信号处理方法
CN111930238A (zh) 基于动态ssvep范式的脑机接口系统实现方法及装置
CN114052744A (zh) 基于脉冲神经网络的心电信号分类方法
CN114652328A (zh) 一种用于失眠的双向闭环脑机交互电针参数智能匹配系统
CN114601476A (zh) 一种基于视频刺激下的eeg信号情感识别方法
CN117281479A (zh) 一种基于表面肌电信号多维度特征融合的人体下肢慢性疼痛判别方法、存储介质及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant