CN113017645A - 一种基于空洞卷积神经网络的p300信号检测方法 - Google Patents

一种基于空洞卷积神经网络的p300信号检测方法 Download PDF

Info

Publication number
CN113017645A
CN113017645A CN202110207669.8A CN202110207669A CN113017645A CN 113017645 A CN113017645 A CN 113017645A CN 202110207669 A CN202110207669 A CN 202110207669A CN 113017645 A CN113017645 A CN 113017645A
Authority
CN
China
Prior art keywords
convolution
character
time domain
neural network
hole
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110207669.8A
Other languages
English (en)
Other versions
CN113017645B (zh
Inventor
童俊
顾正晖
俞祝良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110207669.8A priority Critical patent/CN113017645B/zh
Publication of CN113017645A publication Critical patent/CN113017645A/zh
Application granted granted Critical
Publication of CN113017645B publication Critical patent/CN113017645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Power Engineering (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于空洞卷积神经网络的P300信号检测方法，包括步骤：1)采用P300字符拼写器进行实验，提取脑电信号即EEG作为训练集和测试集；2)所采集到的数据经过预处理操作，然后作为模型的输入数据集；3)设计空洞卷积神经网络，先使用一层标准卷积作为EEG数据集的空域滤波器，再设计一个基于空洞卷积的特征提取器获取多尺度时域特征，再通过一层标准卷积提取更高层级的时域特征后，经过下采样，最后添加全连接层作为网络输出，然后训练网络确定模型参数；4)通过计算网络的字符识别率和信息转化率来验证模型的性能。本发明方法具有结构简单，泛化能力强，字符识别准确率高，并有良好的信息转化率等特点。

Description

一种基于空洞卷积神经网络的P300信号检测方法
技术领域
本发明涉及脑电信号检测的技术领域，尤其是指一种基于空洞卷积神经网络的P300信号检测方法。
背景技术
脑机接口(brain-computer interface，简称BCI)，指在人或动物大脑与外部设备或计算机之间创建的直接连接，实现脑与设备的信息交换。对脑机接口的研究已持续了超过40年了。20世纪90年代中期以来，面向运动的脑机接口经历了迅速的发展。目前，脑机接口作为一种新型的人机交互方式正在逐渐成为脑科学研究的热门课题，在康复训练、高危作业、心理认知等领域具有很大的应用前途。
脑机接口利用源自脑部的神经生理信号来控制外部设备或计算机，而无需任何实际动作。简而言之，脑机接口能够提取用户的脑电信号，经过特定信号处理，模式识别等技术把脑电信号转换成输出控制信号使得特定的计算机系统执行相应操作。根据检测信号传感器的安置方式，脑机接口分为有创植入电极的侵入式脑机接口和无创头皮电极的非侵入式脑机接口。在非侵入式脑机接口中，EEG(electroencephalogram)脑电信号能够比较容易被记录，并且使用设备相对便宜。因此基于EEG脑电信号的研究得到广泛关注。
P300波是一种能够在EEG信号中检测到的事件相关电位(event relatedpotential，ERP)，是对发生概率相对较小的外界事件或刺激的反应，由于P300诱发电位一般出现在刺激发生后300ms左右，故称为P300信号。基于P300波的字符拼写系统最早由Farwell和Donchin提出，基于该拼写系统的实验范式和识别算法被相继提出。目前，已经有很多优秀的传统机器学习算法能够进行P300检测分类，例如基于支持向量机(SVM)的分类算法，基于独立成分分析(ICA)的分类算法，基于线性判别分析(LDA)的识别算法。也有很多在图像领域非常流行的深度学习方法能够对P300信号进行很好的检测分类，例如卷积神经网络(CNN)。然而传统的机器学习算法识别P300时需要手工提取特征，花费大量不必要的时间，并且泛化能力差，信息转化率不高。而深度学习方法具有避免手动设计输入模式，提高泛化能力和信息转化率等特点。但是，传统的卷积神经网络(CNN)想要提高识别准确率就需要更多的参数，由于脑机接口数据集中可用的样本数量有限，因此很容易产生过拟合的问题。
空洞卷积(Dilated Convolution)，是标准卷积的一种特殊形式，其通过在卷积核中的每个位置之间插入零(空洞)来增加卷积核的感受野，从而在提高卷积核大小的同时降低了计算成本。插入零的个数称为扩张率(dilation rate)，标准卷积也可以看做是扩张率为0的空洞卷积，我们可以设置不同的扩张率来捕获多尺度上下文信息。EEG信号是一种主观性的信号，即使在完全相同的环境下，每个受试者的EEG信号中的P300电位也不完全相同，因此利用空洞卷积来提取EEG信号的多尺度信息有助于提升网络的适应能力，提高识别准确率。并且空洞卷积可以任意扩大感受野，且不需要引入额外参数，结构简单，泛化能力强，是一种可行的检测P300信号的方法。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种可以提取多尺度特征、识别性能好、准确率高、泛化能力强的基于空洞卷积神经网络的P300信号检测方法，该方法是使用不同扩张率的空洞卷积同时提取多尺度时域特征，结构简单易于理解。字符实验准确率高，在短时间序列和长时间序列的脑电信号下，字符识别准确率更优于卷积神经网络(CNN)，这样也同时提高了信息转换率
为实现上述目的，本发明所提供的技术方案为：一种基于空洞卷积神经网络的P300信号检测方法，包括以下步骤：
1)脑电数据采集阶段
采用P300字符拼写器进行实验，提取受试者脑电信号EEG作为训练集和测试集；
2)数据预处理阶段
所采集到的脑电数据经过预处理操作，得到EEG数据集，然后作为空洞卷积神经网络的输入数据集；
3)搭建空洞卷积神经网络检测P300信号阶段
先使用一层标准卷积作为EEG数据集的空域滤波器，再设计一个基于空洞卷积的特征提取器获取多尺度时域特征，再通过一层标准卷积提取更高层级的时域特征后，经过下采样，最后添加全连接层作为空洞卷积神经网络输出，然后训练空洞卷积神经网络确定模型参数；
4)计算空洞卷积神经网络的字符识别率和信息转化率阶段
空洞卷积神经网络的输出结果即为输入信号中含有P300波的概率，进一步能够计算字符识别率和信息转化率来验证模型的性能。
所述步骤1)包括以下步骤过程：
1.1)首先，使用BCI2000平台的P3拼写器作为P300字符拼写器，该P300字符拼写器为一个6x6的字符矩阵，受试者注视一个给定的字符，P300字符拼写器以频率f连续随机地闪烁某一行或某一列，其中包含受试者注视字符的行和列闪烁时，会刺激大脑皮层产生P300信号，所有行和所有列全都闪烁一次为一个周期(epoch)，每个字符连续进行C次重复的周期(epoch)为一个字符实验组，所以一个字符实验组提取12x C个EEG信号；其中，电极通道选用国际10-20电极规范的64个电极，每次闪烁持续时间为tfms，两次闪烁之间的间隔时间为tims。
1.2)采集的数据经过0.1-60Hz的带通滤波，并且以fsHz的频率进行数字化，即1s内采样fs个点，然后将每个字符实验组提取出来的脑电信号进行采样得到n个点作为样本特征，训练集设置为m个字符，即m个字符实验组，故包含所有电极通道的训练集的数据格式为：m x n x64,测试数据集设置为k个字符，即k个字符实验组，故包含所有电极通道的测试集的数据格式为：k x n x64。
所述步骤2)包括以下步骤过程：
2.1)选择每次闪烁后的时间窗为前600ms或650ms，即1秒时间内总共fs个点中的前0.6fs或0.65fs个点，然后经过2倍下采样来减少维度得到时域特征值，选择10阶0.5～20Hz的FIR带通滤波，将训练集和测试集进行去噪滤波；
2.2)训练集中正样本为含有P300波的样本，负样本为不含P300波的样本；二者比例为1:5，所以将正样本复制5遍使训练集中正样本和负样本数量相等，从而解决正负样本不平衡问题，得到预处理后的训练集和测试集，即EEG数据集；将EEG数据集进行min-max标准化，使结果落到[0,1]区间。
所述步骤3)包括以下步骤过程：
3.1)将预处理后的EEG数据集作为空域滤波器的输入，设定空域滤波器的卷积参数；
3.2)在空域滤波器后面搭建一个多尺度特征提取器，提取多尺度时域特征；
3.3)将多尺度时域特征送入时域滤波器，设定时域滤波器的卷积参数；
3.4)将时域滤波器提取的特征进行下采样，在整平(Flatten)成一维向量之后连接全连接层和Softmax层，并设定损失函数；
3.5)使用反向传播算法作为空洞卷积神经网络的训练方法，训练出空洞卷积神经网络的参数。
在步骤3.1)中，空域滤波层的输入表示为：
Figure BDA0002951412760000051
其中，Nelec为脑电信号采集阶段中选定的电极通道数目，Nt为采用的时间窗序列的脑电数据点数，所以每一个样本为一个尺寸为
Figure BDA0002951412760000052
的矩阵，把每一个输入样本送入空域滤波器中，空域滤波器为标准卷积，通道数为Nch，卷积核尺寸为Nelec×1，卷积步长取1，激活函数选择tanh函数，其目的是实现最佳的通道组合功能，于是经过每个卷积核之后的输出都是一个1×Nt的张量。
在步骤3.2)中，将空域滤波层的输出同时连接到4个空洞卷积，每个空洞卷积的通道数都为Nch，即有Nch个卷积核，每个空洞卷积的卷积核尺寸相同，卷积核尺寸大小为1×Kn，其中Kn为空洞卷积的卷积核在时域特征上的宽度，卷积步长取1，激活函数选择tanh函数，但是每个空洞卷积的扩张率不同，对于不同空洞卷积，扩张率Dk分别取1、2、4、8，对应的感受野大小为1×(Dk×Kn-Dk+1)，则能够提取P300信号时域上不同尺度的信息；然后将4个空洞卷积提取的局部和全局特征聚合拼接在一起后连接到一个1x 1的卷积，通道数是Nch，其目的是为了降维，使得多尺度滤波器的输出信号与空域滤波层输入的信号的大小相同，但已经是融合了不同尺度的时域特征的新信号，故命名为多尺度特征提取器。
在步骤3.3)中，将多尺度特征提取器的输出连接到一个时域滤波器，在多尺度时域特征的基础上获取更高层次的特征，时域滤波器使用标准卷积，通道数为Nch，卷积核尺寸大小为1×Kt，其中Kt为时域滤波器的卷积核在时域特征上的宽度，卷积步长取1，激活函数选择tanh函数。
在步骤3.4)中，将时域滤波器提取的高层次特征进行2倍下采样，其目的是为了减少参数量，然后将Nch个通道整平(Flatten)变成一维向量，再将连接到全连接层作为网络的输出层，由于P300波的检测是一个二分类问题，所以该全连接层的神经元个数设置为2，激活函数使用Softmax函数，将输出转化成概率形式。
在步骤3.5)中，使用反向传播算法作为网络的训练方法，优化器使用随机梯度下降算法(SGD)，损失函数使用均方误差。
在步骤4)中，空洞卷积神经网络的输出结果为输入信号中含有P300波的概率；由测试集的实验结果，计算12次闪烁即六行六列中每行/列闪烁产生P300的累计概率；累计概率是指前Ci个重复周期(epoch)下，该行/列含有P300概率的和；由每个重复周期(epoch)下累计概率最大的行和列来确定预测输出字符，并与测试集真实的字符比较来计算字符识别准确率；
计算信息转化率：
Figure BDA0002951412760000061
式中，ITR表示信息转换率(the information transfer rate),P代表识别一个字符的概率，N代表类别数目(N＝36)，T表示识别一个字符所需要的时间，表达式如下：
T＝2.5+2.1×Ci,1≤Ci≤15
式中，Ci表示周期数(epoch)数。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明所采用的空洞卷积神经网络与传统的机器学习进行P300信号检测相比，具有无需手工提取特征，泛化能力强，字符识别准确率高等优点。
2、本发明与深度学习中卷积神经网络(CNN)进行P300信号检测相比，具有结构简单，参数量更少，可以同时提取多尺度特征，字符识别准确率高，信息转化率高等优点。
附图说明
图1为本发明P300信号检测的工作流程示意图。
图2为本发明的P300字符拼写器示意图。
图3为本发明的脑电信号电极分布图。
图4为本发明的网络模型结构图。
图5为本发明的字符识别准确率示意图。
图6为本发明的字符识别信息转化率示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
参见图1所示，本实施例所提供的基于空洞卷积神经网络的P300信号检测方法，包括以下步骤：
1)脑电数据采集阶段
1.1)采用如图2所示的P300字符拼写器(具体为BCI2000平台的P3拼写器)进行字符实验，该P300字符拼写器为一个6x6的字符矩阵，拼写器行/列字符闪烁频率设定为：
f＝5.7Hz
拼写器以设定的频率f连续随机地闪烁某一行或某一列，其中包含受试者所注视字符的行和列闪烁时，会刺激大脑皮层产生P300信号。所有行和所有列(6行6列)全都闪烁一次为一个周期(epoch)。每个字符连续进行15次重复的周期(epoch)为一个实验组，所以一个字符实验组提取12x15个EEG信号。拼写器行/列每次闪烁持续时间为100ms，两次闪烁之间的间隔时间为75ms。采集脑电信号所用到的电极通道选用国际10-20电极规范的64个电极(channels)，电极分布图如图3所示。
1.2)所用数据为第三次BCI竞赛的数据集II(Competition III Dataset II)的数据集，采集的数据经过0.1-60Hz的带通滤波，并且以240Hz的频率进行数字化，即1秒时间内采样240个点。总共两个受试者(Subject A和Subject B)，两个受试者的数据格式完全一样。训练数据集为85个字符，即85个字符实验组，测试数据集为100个字符，即100个字符实验组。
2)数据预处理阶段
2.1)设置行/列每次闪烁后的时间窗为前600ms，即1秒时间内总共240个点中的前240x0.6＝144个点，然后经过下采样来减少维度至72，即时域特征维度为72，空域特征维度为所有电极通道数64，故单个样本数据格式为72x64。然后选择10阶0.5～20Hz的FIR带通滤波，将训练集和测试集进行去噪滤波。
2.2)6行6列总共12次闪烁中会有两次闪烁产生P300波。于是训练集含有P300波的样本数为：85x2x15＝2550，不含P300波的样本数为85x10x15＝12750。其中85表示训练集有85个字符实验组，15表示每个实验组有15个周期(epoch)。同理，测试集中含有P300波的样本数为：100x2x15＝3000，不含P300波的样本数为100x10x15＝15000。这样正负样本会产生数量不平衡的问题，于是把训练集中含有P300波的样本复制5份，这样含有P300波的样本数和不含P300波的样本数都为12750，训练集的正负样本平衡。预处理后的训练集和测试集数据格式为：25000x72x64，18000x72x64。最后将数据集进行min-max标准化，使结果落到[0,1]区间。
3)搭建空洞卷积神经网络检测P300信号阶段
3.1)将预处理后的EEG数据集作为空域滤波器的输入，设定空域滤波器的卷积参数；
空域滤波层的输入表示为：
Figure BDA0002951412760000091
其中，Nelec为脑电信号采集阶段中选定的电极通道数目，这里为64，Nt为采用的时间窗序列的脑电数据点数，这里为72，所以每一个样本为一个尺寸为64×72的矩阵，把每一个输入样本送入空域滤波器中，空域滤波器为标准卷积，通道数为20，卷积核尺寸为64×1，卷积步长取1，激活函数选择tanh函数，其目的是实现最佳的通道组合功能，于是经过每个卷积核之后的输出都是一个1×72的张量。
3.2)在空域滤波器后面搭建一个多尺度特征提取器，提取多尺度时域特征；
将空域滤波层的输出同时连接到4个空洞卷积，每个空洞卷积的通道数都为20，即有20个卷积核，每个空洞卷积的卷积核尺寸相同，都为1×9，卷积步长取1，激活函数选择tanh函数，但是每个空洞卷积的扩张率不同，对于不同空洞卷积，扩张率分别取1、2、4、8，对应的感受野大小分别为1×9、1×17、1×17、1×33、1×65，则能够提取P300信号时域上不同尺度的信息；然后将4个空洞卷积提取的局部和全局特征聚合拼接在一起后连接到一个1x1的卷积，通道数是20，其目的是为了降维，使得多尺度滤波器的输出信号与空域滤波层输入的信号的大小相同，但已经是融合了不同尺度的时域特征的新信号，故命名为多尺度特征提取器。
3.3)将多尺度时域特征送入时域滤波器，设定时域滤波器的卷积参数；
将多尺度特征提取器的输出连接到一个时域滤波器，在多尺度时域特征的基础上获取更高层次的特征，时域滤波器使用标准卷积，通道数为20，卷积核尺寸为1×13，卷积步长取1，激活函数选择tanh函数。
3.4)将时域滤波器提取的特征进行下采样，在整平(Flatten)成一维向量之后连接全连接层和Softmax层，并设定损失函数；
将时域滤波器提取的高层次特征进行2倍下采样，其目的是为了减少参数量，然后将Nch个通道整平(Flatten)变成一维向量，再将连接到全连接层作为网络的输出层，由于P300波的检测是一个二分类问题，所以该全连接层的神经元个数设置为2，激活函数使用Softmax函数，将输出转化成概率形式。
3.5)使用反向传播算法作为网络的训练方法，优化器使用随机梯度下降算法(SGD)，损失函数使用均方误差。
本实施例搭建的网络结构及超参数设定如图4所示。
4)计算空洞卷积神经网络的字符识别率和信息转化率阶段
空洞卷积神经网络的输出结果为输入信号中含有P300波的概率。由测试集的实验结果，计算12次闪烁(六行六列)中每行/列闪烁产生P300的累计概率。累计概率是指前Ci个重复周期(epoch)下，该行/列含有P300概率的和。由每个重复周期(epoch)下累计概率最大的行和列来确定预测输出字符，并与测试集真实的字符比较来计算字符识别准确率。
计算信息转化率：
Figure BDA0002951412760000101
式中，ITR表示信息转换率(the information transfer rate),P代表识别一个字符的概率，N代表类别数目(N＝36)，T表示识别一个字符所需要的时间，表达式如下：
T＝2.5+2.1×Ci,1≤Ci≤15
式中，Ci表示周期(epoch)数。
分别采用卷积神经网络(CNN)和空洞卷积神经网络(Dilated CNN)，两个受试者字符识别准确率以及平均ITR分别如图5、图6所示，我们的空洞卷积神经网络不管是字符识别准确率还是信息转化率都是要优于普通卷积神经网络的。
综上所述，本发明为P300信号检测领域提供了一种有效方法，并且结构简单，参数量更少，无需手工提取特征，字符识别准确率高、信息转化率高、泛化能力强，对P300信号检测的研究很有意义，具有实际推广价值，值得推广。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于空洞卷积神经网络的P300信号检测方法，其特征在于，包括以下步骤：
1)脑电数据采集阶段
采用P300字符拼写器进行实验，提取受试者脑电信号EEG作为训练集和测试集；
2)数据预处理阶段
所采集到的脑电数据经过预处理操作，得到EEG数据集，然后作为空洞卷积神经网络的输入数据集；
3)搭建空洞卷积神经网络检测P300信号阶段
先使用一层标准卷积作为EEG数据集的空域滤波器，再设计一个基于空洞卷积的特征提取器获取多尺度时域特征，再通过一层标准卷积提取更高层级的时域特征后，经过下采样，最后添加全连接层作为空洞卷积神经网络输出，然后训练空洞卷积神经网络确定模型参数；
4)计算空洞卷积神经网络的字符识别率和信息转化率阶段
空洞卷积神经网络的输出结果即为输入信号中含有P300波的概率，进一步能够计算字符识别率和信息转化率来验证模型的性能。
2.根据权利要求1所述的一种基于空洞卷积神经网络的P300信号检测方法，其特征在于，所述步骤1)包括以下步骤过程：
1.1)首先，使用BCI2000平台的P3拼写器作为P300字符拼写器，该P300字符拼写器为一个6x6的字符矩阵，受试者注视一个给定的字符，P300字符拼写器以频率f连续随机地闪烁某一行或某一列，其中包含受试者注视字符的行和列闪烁时，会刺激大脑皮层产生P300信号，所有行和所有列全都闪烁一次为一个周期，每个字符连续进行C次重复的周期为一个字符实验组，所以一个字符实验组提取12 x C个EEG信号；其中，电极通道选用国际10-20电极规范的64个电极，每次闪烁持续时间为tfms，两次闪烁之间的间隔时间为tims。
1.2)采集的数据经过0.1-60Hz的带通滤波，并且以fsHz的频率进行数字化，即1s内采样fs个点，然后将每个字符实验组提取出来的脑电信号进行采样得到n个点作为样本特征，训练集设置为m个字符，即m个字符实验组，故包含所有电极通道的训练集的数据格式为：m xn x 64,测试数据集设置为k个字符，即k个字符实验组，故包含所有电极通道的测试集的数据格式为：k x n x 64。
3.根据权利要求1所述的一种基于空洞卷积神经网络的P300信号检测方法，其特征在于，所述步骤2)包括以下步骤过程：
2.1)选择每次闪烁后的时间窗为前600ms或650ms，即1秒时间内总共fs个点中的前0.6fs或0.65fs个点，然后经过2倍下采样来减少维度得到时域特征值，选择10阶0.5～20Hz的FIR带通滤波，将训练集和测试集进行去噪滤波；
2.2)训练集中正样本为含有P300波的样本，负样本为不含P300波的样本；二者比例为1:5，所以将正样本复制5遍使训练集中正样本和负样本数量相等，从而解决正负样本不平衡问题，得到预处理后的训练集和测试集，即EEG数据集；将EEG数据集进行min-max标准化，使结果落到[0,1]区间。
4.根据权利要求1所述的一种基于空洞卷积神经网络的P300信号检测方法，其特征在于，所述步骤3)包括以下步骤过程：
3.1)将预处理后的EEG数据集作为空域滤波器的输入，设定空域滤波器的卷积参数；
3.2)在空域滤波器后面搭建一个多尺度特征提取器，提取多尺度时域特征；
3.3)将多尺度时域特征送入时域滤波器，设定时域滤波器的卷积参数；
3.4)将时域滤波器提取的特征进行下采样，在整平成一维向量之后连接全连接层和Softmax层，并设定损失函数；
3.5)使用反向传播算法作为空洞卷积神经网络的训练方法，训练出空洞卷积神经网络的参数。
5.根据权利要求4所述的一种基于空洞卷积神经网络的P300信号检测方法，其特征在于：在步骤3.1)中，空域滤波层的输入表示为：
Figure FDA0002951412750000031
其中，Nelec为脑电信号采集阶段中选定的电极通道数目，Nt为采用的时间窗序列的脑电数据点数，所以每一个样本为一个尺寸为Nelec×Nt的矩阵，把每一个输入样本送入空域滤波器中，空域滤波器为标准卷积，通道数为Nch，卷积核尺寸为Nelec×1，卷积步长取1，激活函数选择tanh函数，其目的是实现最佳的通道组合功能，于是经过每个卷积核之后的输出都是一个Nt×1的张量。
6.根据权利要求4所述的一种基于空洞卷积神经网络的P300信号检测方法，其特征在于：在步骤3.2)中，将空域滤波层的输出同时连接到4个空洞卷积，每个空洞卷积的通道数都为Nch，即有Nch个卷积核，每个空洞卷积的卷积核尺寸相同，卷积核尺寸大小为1×Kn，其中Kn为空洞卷积的卷积核在时域特征上的宽度，卷积步长取1，激活函数选择tanh函数，但是每个空洞卷积的扩张率不同，对于不同空洞卷积，扩张率Dk分别取1、2、4、8，对应的感受野大小为1×(Dk×Kn-Dk+1)，则能够提取P300信号时域上不同尺度的信息；然后将4个空洞卷积提取的局部和全局特征聚合拼接在一起后连接到一个1x1的卷积，通道数是Nch，其目的是为了降维，使得多尺度滤波器的输出信号与空域滤波层输入的信号的大小相同，但已经是融合了不同尺度的时域特征的新信号，故命名为多尺度特征提取器。
7.根据权利要求4所述的一种基于空洞卷积神经网络的P300信号检测方法，其特征在于：在步骤3.3)中，将多尺度特征提取器的输出连接到一个时域滤波器，在多尺度时域特征的基础上获取更高层次的特征，时域滤波器使用标准卷积，通道数为Nch，卷积核尺寸大小为1×Kt，其中Kt为时域滤波器的卷积核在时域特征上的宽度，卷积步长取1，激活函数选择tanh函数。
8.根据权利要求4所述的一种基于空洞卷积神经网络的P300信号检测方法，其特征在于：在步骤3.4)中，将时域滤波器提取的高层次特征进行2倍下采样，其目的是为了减少参数量，然后将Nch个通道整平变成一维向量，再将连接到全连接层作为网络的输出层，由于P300波的检测是一个二分类问题，所以该全连接层的神经元个数设置为2，激活函数使用Softmax函数，将输出转化成概率形式。
9.根据权利要求4所述的一种基于空洞卷积神经网络的P300信号检测方法，其特征在于：在步骤3.5)中，使用反向传播算法作为网络的训练方法，优化器使用随机梯度下降算法SGD，损失函数使用均方误差。
10.根据权利要求1所述的一种基于空洞卷积神经网络的P300信号检测方法，其特征在于：在步骤4)中，空洞卷积神经网络的输出结果为输入信号中含有P300波的概率，由测试集的实验结果，计算12次闪烁即六行六列中每行/列闪烁产生P300的累计概率，累计概率是指前Ci个重复周期下，该行/列含有P300概率的和，由每个重复周期下累计概率最大的行和列来确定预测输出字符，并与测试集真实的字符比较来计算字符识别准确率；
然后计算信息转化率：
Figure FDA0002951412750000041
式中，ITR表示信息转换率,P代表识别一个字符的概率，N代表类别数目，T表示识别一个字符所需要的时间，表达式如下：
T＝2.5+2.1×Ci,1≤Ci≤15
式中，Ci表示周期数。
CN202110207669.8A 2021-02-25 2021-02-25 一种基于空洞卷积神经网络的p300信号检测方法 Active CN113017645B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110207669.8A CN113017645B (zh) 2021-02-25 2021-02-25 一种基于空洞卷积神经网络的p300信号检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110207669.8A CN113017645B (zh) 2021-02-25 2021-02-25 一种基于空洞卷积神经网络的p300信号检测方法

Publications (2)

Publication Number Publication Date
CN113017645A true CN113017645A (zh) 2021-06-25
CN113017645B CN113017645B (zh) 2022-03-29

Family

ID=76461048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110207669.8A Active CN113017645B (zh) 2021-02-25 2021-02-25 一种基于空洞卷积神经网络的p300信号检测方法

Country Status (1)

Country Link
CN (1) CN113017645B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114403912A (zh) * 2022-01-17 2022-04-29 明峰医疗系统股份有限公司 一种基于深度学习的能谱ct有效原子序数估计方法
CN115251909A (zh) * 2022-07-15 2022-11-01 山东大学 基于时空卷积神经网络的脑电信号评估听力的方法及装置
CN116229336A (zh) * 2023-05-10 2023-06-06 江西云眼视界科技股份有限公司 视频移动目标识别方法、系统、存储介质及计算机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304917A (zh) * 2018-01-17 2018-07-20 华南理工大学 一种基于lstm网络的p300信号检测方法
CN108960182A (zh) * 2018-07-19 2018-12-07 大连理工大学 一种基于深度学习的p300事件相关电位分类识别方法
CN110222643A (zh) * 2019-06-06 2019-09-10 西安交通大学 一种基于卷积神经网络的稳态视觉诱发电位信号分类方法
US20200187841A1 (en) * 2017-02-01 2020-06-18 Cerebian Inc. System and Method for Measuring Perceptual Experiences
CN111428601A (zh) * 2020-03-18 2020-07-17 五邑大学 一种基于ms-cnn的p300信号识别方法、装置及存储介质
CN111444747A (zh) * 2019-01-17 2020-07-24 复旦大学 一种基于迁移学习和空洞卷积的癫痫状态识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200187841A1 (en) * 2017-02-01 2020-06-18 Cerebian Inc. System and Method for Measuring Perceptual Experiences
CN108304917A (zh) * 2018-01-17 2018-07-20 华南理工大学 一种基于lstm网络的p300信号检测方法
CN108960182A (zh) * 2018-07-19 2018-12-07 大连理工大学 一种基于深度学习的p300事件相关电位分类识别方法
CN111444747A (zh) * 2019-01-17 2020-07-24 复旦大学 一种基于迁移学习和空洞卷积的癫痫状态识别方法
CN110222643A (zh) * 2019-06-06 2019-09-10 西安交通大学 一种基于卷积神经网络的稳态视觉诱发电位信号分类方法
CN111428601A (zh) * 2020-03-18 2020-07-17 五邑大学 一种基于ms-cnn的p300信号识别方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CECOTTI, H 等: "Convolutional Neural Networks for P300 Detection with Application to Brain-Computer Interfaces", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114403912A (zh) * 2022-01-17 2022-04-29 明峰医疗系统股份有限公司 一种基于深度学习的能谱ct有效原子序数估计方法
CN115251909A (zh) * 2022-07-15 2022-11-01 山东大学 基于时空卷积神经网络的脑电信号评估听力的方法及装置
CN115251909B (zh) * 2022-07-15 2024-04-30 山东大学 基于时空卷积神经网络的脑电信号评估听力的方法及装置
CN116229336A (zh) * 2023-05-10 2023-06-06 江西云眼视界科技股份有限公司 视频移动目标识别方法、系统、存储介质及计算机
CN116229336B (zh) * 2023-05-10 2023-08-18 江西云眼视界科技股份有限公司 视频移动目标识别方法、系统、存储介质及计算机

Also Published As

Publication number Publication date
CN113017645B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN108304917B (zh) 一种基于lstm网络的p300信号检测方法
CN113017645B (zh) 一种基于空洞卷积神经网络的p300信号检测方法
CN109389059B (zh) 一种基于cnn-lstm网络的p300检测方法
CN110069958B (zh) 一种密集深度卷积神经网络的脑电信号快速识别方法
Shan et al. A Simple Convolutional Neural Network for Accurate P300 Detection and Character Spelling in Brain Computer Interface.
CN109645989B (zh) 一种麻醉深度估计系统
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
WO2021184599A1 (zh) 一种基于ms-cnn的p300信号识别方法、装置及存储介质
CN108960182A (zh) 一种基于深度学习的p300事件相关电位分类识别方法
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及系统
CN112783327A (zh) 基于表面肌电信号进行手势识别的方法及系统
Li et al. Patient-specific seizure prediction from electroencephalogram signal via multichannel feedback capsule network
CN115804602A (zh) 基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质
CN116058800A (zh) 基于深度神经网络与脑机接口的自动睡眠分期系统
CN110472595B (zh) 脑电信号的识别模型构建方法、装置以及识别方法、装置
Liu et al. Extracting multi-scale and salient features by MSE based U-structure and CBAM for sleep staging
CN108962379A (zh) 一种脑神经系统疾病的手机辅助检测系统
CN114366103A (zh) 注意力评估方法、装置及电子设备
Xu et al. Eeg signal classification and feature extraction methods based on deep learning: A review
Zheng et al. Classification of motor imagery electrocorticogram signals for brain-computer interface
CN110738093B (zh) 基于改进小世界回声状态网络肌电的分类方法
Qu et al. Epileptogenic region detection based on deep CNN with transfer learning
CN116524380A (zh) 一种基于脑-机信号融合的目标检测方法
CN114997229A (zh) 一种基于脑电信号的运动想象分类方法和系统
CN114428555A (zh) 一种基于皮层源信号的脑电运动意图识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant