CN112884063A - 基于多元时空卷积神经网络的p300信号检测识别方法 - Google Patents

基于多元时空卷积神经网络的p300信号检测识别方法 Download PDF

Info

Publication number
CN112884063A
CN112884063A CN202110267497.3A CN202110267497A CN112884063A CN 112884063 A CN112884063 A CN 112884063A CN 202110267497 A CN202110267497 A CN 202110267497A CN 112884063 A CN112884063 A CN 112884063A
Authority
CN
China
Prior art keywords
neural network
time
signal data
signal
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110267497.3A
Other languages
English (en)
Other versions
CN112884063B (zh
Inventor
何家峰
段环环
程昱
施嘉辉
黄光达
崔珩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110267497.3A priority Critical patent/CN112884063B/zh
Publication of CN112884063A publication Critical patent/CN112884063A/zh
Application granted granted Critical
Publication of CN112884063B publication Critical patent/CN112884063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明提出一种基于多元时空卷积神经网络的P300信号检测识别方法，解决了现有P300信号检测识别性能低和通道间存在信息冗余的问题。具体过程如下，在采集完P300信号数据样本后，根据相关性对P300信号数据样本进行通道选择，有效去除通道间的冗余信息，提高了后续P300信号的检测性能，然后构建多元时空卷积神经网络模型并训练，最后进行P300信号检测和字符识别，评估多元时空卷积神经网络模型的检测效果，多元时空卷积神经网络可在相同的空间域上提取不同时间维度的P300信号特征，提取了丰富的特征信息，进一步提高网络的检测识别性能。

Description

基于多元时空卷积神经网络的P300信号检测识别方法
技术领域
本发明涉及脑电信号特征提取的技术领域，更具体地，涉及一种相关性通道选择和多元时空卷积神经网络的P300信号检测识别方法。
背景技术
脑机接口(Brain Computer Interface，BCI)研究的初衷是为残疾人提供一个与外界交流的方式。P300事件相关电位检测技术在BCI系统中占据着至关重要的地位，当人脑受到小概率事件刺激时，脑电信号中会出现一个潜伏期约为300ms的正向波峰，分析不同视觉刺激下的P300脑电数据，可转换成相应指令来实现对外部设备的控制，脑电数据通常是由脑电帽上的导联电极采集，采集的数据代表了大脑不同区域的神经电活动，有其空间特性，脑电帽上导联数通常采用32/64/128导设备，但这些电极之间往往存在冗余，会影响不同视觉下的字母识别性能。
传统的脑电信号特征提取方法主要有：时域法、频域法、时频域结合方法等。例如对脑电信号的幅值、方差分析可以提取时域特征，对脑电信号进行功率谱估计、快速傅里叶变换可以提取频域特征，对脑电信号进行小波变换可以提取时频域特征等，然后利用支持向量机(SVM)，线性判别分析(LDA)，贝叶斯判别分析(BLDA)等分类方法对所提取的特征进行分类。但以上方法所提取的脑电信号特征较为单一，并且需要手动的设计特征，过程复杂且耗时。
近些年来，深度学习在处理这种随时间变化的信号方面优势越来越明显，许多研究者将深度学习算法应用到脑信号分析领域，并且取得了一定的成果。如2018年12月7日，中国专利(公开号：CN108960182A)中公开了一种基于深度学习的P300事件相关电位分类识别方法，首先对视觉刺激下的脑电信号进行预处理，然后通过构建深度学习网络进行字符分类识别，该专利所提技术方案可以实现在减少实验次数的条件下，对脑电信号中P300事件相关电位进行分类识别，提高了字符识别正确率，但仅从时间或空间维度上提取P300信号的特征，不能同时提取P300信号的时空特征。
发明内容
为解决现有P300信号检测识别性能低和通道间存在信息冗余的问题，本发明提出一种基于多元时空卷积神经网络的P300信号检测识别方法，同时提取P300信号的时域、频域、空间域特征，有效提高系统的识别性能。
为了达到上述技术效果，本发明的技术方案如下：
一种基于多元时空卷积神经网络的P300信号检测识别方法，至少包括：
S1.利用脑电信号采集设备采集P300信号数据样本，组成P300信号数据集，根据相关性对P300信号数据样本进行通道选择，得到通道选择后的Cs个通道；
S2.将P300信号数据集划分为训练集和测试集，对训练集和测试集中的P300信号数据样本进行预处理；
S3.构建多元时空卷积神经网络，利用训练集对多元时空卷积神经网络进行训练；
S4.将预处理后的测试集输入至训练好的多元时空卷积神经网络，进行检测和字符识别；
S5.评估多元时空卷积神经网络的检测效果。
优选地，步骤S2所述的预处理过程包括：
将通道选择后的P300信号数据进行滤波；
计算每个P300信号数据样本的时域维度，进行时域划分；
标记标签：脑电信号采集设备采集的P300信号数据样本中包括含有P300的脑电信号样本，也存在无P300的脑电信号样本，将含有P300的脑电信号样本标记为1，无P300的脑电信号样本标记为0，含有P300的脑电信号样本数量小于无P300的脑电信号样本数量；
标签平衡：将含有P300的脑电信号样本复制，使其与无P300的脑电信号样本的标签数量平衡。
优选地，根据相关性对P300信号数据样本进行通道选择的表达式满足：
Figure BDA0002972803760000021
其中，设P300信号数据集共包含C个通道，通道选择后得到Cs个通道，表征空域特征维度；Xi，Yi分别表示两个不同通道中第i个P300信号数据样本，
Figure BDA0002972803760000022
分别表示不同通道的P300信号数据样本均值，r表示皮尔逊相关系数，当r在0.8～1之间时，两个通道间的信息能相互表示，剔除两个通道中的其中一个通道，得到通道选择后的Cs个通道，空域特征维度为Cs。
优选地，通道选择后的P300信号数据通过带通滤波器滤波，带通滤波器的频率范围为0.1～20Hz，采样频率f为250Hz。
优选地，每个P300信号数据样本的时域维度的表达式为：
Figure BDA0002972803760000031
其中，Nt表示时域维度；f表示采样频率；Tc表示时间窗的大小，满足：100ms≤Tc≤500ms。
优选地，步骤S3所述构建的多元时空卷积神经网络包括：输入层、时空卷积层、非线性层及全连接层，所述输入层对预处理后的P300信号数据样本进行BatchNormal2D处理，所述时空卷积层包括并行排列的具有不同卷积核大小的第一卷积层和第二卷积层，卷积核大小分别为(Cs，l1)和(Cs，l2)，Cs表示通道选择后的通道数，l1和l2表示分别表示第一卷积核和第二卷积核的时域大小；所述非线性层设有修正线性单元，非线性层接收时空卷积层的输出，所述全连接层将非线性层的输出转换为一维，全连接层包括第一全连接层、第二全连接层及第三全连接层，第一全连接层及第二全连接层均含有80个神经元，第三全连接层含有两个神经元。
优选地，采用梯度下降法对多元时空卷积神经网络进行训练。
优选地，在多元时空卷积神经网络训练时，以二分类交叉熵作为损失函数对多元时空卷积神经网络进行优化，损失函数表达式为：
Figure BDA0002972803760000032
Figure BDA0002972803760000033
其中，p(xi)表示第i个P300信号数据样本的预测分类概率；
Figure BDA0002972803760000034
表示第i个P300信号数据样本预测分类正确的个数；k表示样本总数，j均表示第j个样本；L(x,i)表示损失函数表达式。
优选地，输入层对预处理后的P300信号数据样本进行BatchNormal2D处理时，满足的表达式为：
Figure BDA0002972803760000041
Figure BDA0002972803760000042
Figure BDA0002972803760000043
Figure BDA0002972803760000044
其中，xi表示第i个P300信号数据样本，μB表示第m个P300信号数据样本均值，∈表示防止分母为零的常量，γ，β为线性变换的两个参数；σB表示m个样本的均方差，yi表示样本的预测类别。
优选地，设受试者的P300信号数据通过视觉刺激界面矩阵诱发，识别的字符在矩阵中的位置满足的表达式为：
Figure BDA0002972803760000045
Figure BDA0002972803760000046
Figure BDA0002972803760000047
其中，P(d,s)表示n次实验中多元卷积神经网络的输出概率，d表示实验的轮次；v表示n次实验总的输出概率；s表示对应的行或列；a表示字符的行；b表示字符的列；
步骤S5中，利用信息传输率ITR评估多元时空卷积神经网络的检测效果，信息传输率ITR的表达式为：
Figure BDA0002972803760000048
其中，P表示字符识别率，N表示P300信号数据样本的类别数，T表示识别一个字符所需时间。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出基于多元时空卷积神经网络的P300信号检测识别方法，在采集完P300信号数据样本后，根据相关性对P300信号数据样本进行通道选择，有效去除通道间的冗余信息，提高了后续P300信号的检测性能，然后构建多元时空卷积神经网络模型并训练，最后进行P300信号检测和字符识别，评估多元时空卷积神经网络模型的检测效果，多元时空卷积神经网络可在形同的空间域上提取不同时间维度的P300信号特征，丰富了特征信息，进一步提高网络的检测性能。
附图说明
图1表示本发明实施例中提出的基于多元时空卷积神经网络的P300信号检测识别方法的流程图；
图2表示本发明实施例中提出的视觉刺激界面和行列矩阵标识符的示意图；
图3表示本发明实施例中提出的脑电信号电极分布图；
图4表示本发明实施例中提出的P300信号波形图；
图5表示本发明实施例中提出的多元卷积神经网络模型的结构图；
图6表示利用本发明所提的多元卷积神经网络模型与现有其它模型检测P300信号的训练集准确度对比图；
图7表示利用本发明所提的多元卷积神经网络模型与现有其它模型检测P300信号的测试集准确度对比图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸；
对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的。
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示的基于多元时空卷积神经网络的P300信号检测识别方法的流程图，参见图1，整体层面，所述方法包括：
S1.利用脑电信号采集设备采集P300信号数据样本，组成P300信号数据集，根据相关性对P300信号数据样本进行通道选择，得到通道选择后的Cs个通道；根据相关性对P300信号数据样本进行通道选择的表达式满足：
Figure BDA0002972803760000051
其中，设P300信号数据集共包含C个通道，通道选择后得到Cs个通道，表征空域特征维度；Xi，Yi分别表示两个不同通道中第i个P300信号数据样本，
Figure BDA0002972803760000052
分别表示不同通道的P300信号数据样本均值，r表示皮尔逊相关系数，当r在0.8～1之间时，两个通道间的信息能相互表示，剔除两个通道中的其中一个通道，得到通道选择后的Cs个通道，空域特征维度为Cs。
S2.将P300信号数据集划分为训练集和测试集，对训练集和测试集中的P300信号数据样本进行预处理；所述的预处理过程包括：
将通道选择后的P300信号数据进行滤波；通道选择后的P300信号数据通过带通滤波器滤波，带通滤波器的频率范围为0.1～20Hz，采样频率f为250Hz；
计算每个P300信号数据样本的时域维度，进行时域划分；每个P300信号数据样本的时域维度的表达式为：
Figure BDA0002972803760000061
其中，Nt表示时域维度；f表示采样频率；Tc表示时间窗的大小，满足：100ms≤Tc≤500ms。
标记标签：脑电信号采集设备采集的P300信号数据样本中包括含有P300的脑电信号样本，也存在无P300的脑电信号样本，将含有P300的脑电信号样本标记为1，无P300的脑电信号样本标记为0，含有P300的脑电信号样本数量小于无P300的脑电信号样本数量；
标签平衡：将含有P300的脑电信号样本复制，使其与无P300的脑电信号样本的标签数量平衡。
S3.构建多元时空卷积神经网络，利用训练集对多元时空卷积神经网络进行训练；
在本实施例中，构建的多元时空卷积神经网络包括：输入层、时空卷积层、非线性层及全连接层，所述输入层对预处理后的P300信号数据样本进行BatchNormal2D处理，输入层对预处理后的P300信号数据样本进行BatchNormal2D处理时，满足的表达式为：
Figure BDA0002972803760000062
Figure BDA0002972803760000063
Figure BDA0002972803760000064
Figure BDA0002972803760000065
其中，xi表示第i个P300信号数据样本，B＝{x1，x2，…xm}，μB表示第m个P300信号数据样本均值，∈表示防止分母为零的常量，γ，β为线性变换的两个参数；σB表示m个样本的均方差，yi表示样本的预测类别；
所述时空卷积层包括并行排列的具有不同卷积核大小的第一卷积层和第二卷积层，卷积核大小分别为(Cs，l1)和(Cs，l2)，Cs表示通道选择后的通道数，l1和l2表示分别表示第一卷积核和第二卷积核的时域大小；所述非线性层设有修正线性单元，非线性层接收时空卷积层的输出，所述全连接层将非线性层的输出转换为一维，全连接层包括第一全连接层、第二全连接层及第三全连接层，第一全连接层及第二全连接层均含有80个神经元，第三全连接层含有两个神经元，采用梯度下降法对多元时空卷积神经网络进行训练，在多元时空卷积神经网络训练时，以二分类交叉熵作为损失函数对多元时空卷积神经网络进行优化，损失函数表达式为：
Figure BDA0002972803760000071
Figure BDA0002972803760000072
其中，p(xi)表示第i个P300信号数据样本的预测分类概率；
Figure BDA0002972803760000073
表示第i个P300信号数据样本预测分类正确的个数；k表示样本总数，j均表示第j个样本；L(x,i)表示损失函数表达式。
S4.将预处理后的测试集输入至训练好的多元时空卷积神经网络，进行检测和字符识别设受试者的P300信号数据通过视觉刺激界面矩阵诱发，识别的字符在矩阵中的位置满足的表达式为：
Figure BDA0002972803760000074
Figure BDA0002972803760000075
Figure BDA0002972803760000076
其中，P(d,s)表示n次实验中多元卷积神经网络的输出概率，d表示实验的轮次；v表示n次实验总的输出概率；s表示对应的行或列；a表示字符的行；b表示字符的列；
S5.评估多元时空卷积神经网络的检测效果。在本实施例中，利用信息传输率ITR评估多元时空卷积神经网络的检测效果，信息传输率ITR的表达式为：
Figure BDA0002972803760000081
其中，P表示字符识别率，N表示P300信号数据样本的类别数，T表示识别一个字符所需时间。
下面结合具体的实验对本申请所提的具体的方法进行说明，本发明通过P300脑机接口采集P300信号数据样本后组成P300信号数据集，数据集来自“2020第十七届华为杯数模C题”，提供了5名(A1～A5)健康成年被试的实验数据，视觉刺激界面和行列矩阵标识符的示意图如图2所示，数据集共有20个通道，脑电信号电极分布图如图3所示，首先，第一阶段：依据相关性进行通道选择，依据每名受试者所采集脑电信号的相关程度，将A1～A5的皮尔逊相关性阈值分别设置为：0.95，0.99，0.95，0.9999，0.99，将小于此阈值的通道剔除，选择出每名受试者的最优通道子集Cs，然后对训练集和测试集中的P300信号数据进行预处理，然后进入第二阶段：将其作为多源时空卷积神经网络模型的输入，预处理步骤如下：
滤波：通道选择后的P300脑电信号数据，经过一个频率范围为0.1～20Hz的带通滤波器，并且采样频率设置为f(Hz)，大小为250Hz；
时域划分：从字符闪烁开始，提取T大小的时间窗。每个训练/测试样本都由100(400msx250Hz)个采样点组成。每名受试者有12个训练字符，10个测试字符，每个字符重复闪烁5次，每次闪烁包含6行6列，因此每个受试者有720(12x12x5)个训练样本，测试数据集类似。在闪烁中，仅两个响应(包括P300)被标记为正样本，其余十次闪烁标记为负样本。
标记标签及标签平衡：对数据进行标记。将含有P300的脑电波信号标记为1，没有P300信号标记为0。一次实验行和列一共闪烁12次，而目标字符只在其中的某一行或某一列出现，故标记后的含有P300与不含P300的样本比例为1：5，将含有P300的样本复制五次，实现标签平衡，图4表示P300信号波形图，横坐标表示400ms内的采样数，纵坐标表示标准幅值。
构建一个多元时空卷积神经网络，多元时空卷积神经网络如图5所示，包括：
输入层：首先对预处理的数据进行BatchNormal2D处理，网络中包含tanh饱和激活函数，对应图5中指BN框，在训练过程中很容易陷入饱和区域。在这些激活功能之前添加Batchnomal2D可以使输入保持稳定，防止训练偏差并加速网络训练；
时空卷积层(spatial-Time Convolution)：该层有两个具有不同卷积核大小的卷积层并行排列。卷积核大小分别为(Cs，l1)和(Cs，l2)，Cs表示通道选择后的通道数。l1和l2表示卷积核的时域大小。这两个并行层在相同的空间维度上以不同的时间大小对前一层的输出进行时空滤波。该过程包含了通道组合和时间滤波，提取了P300信号的时间、空间和频率域特征。同时，在卷积过程中,采用l1和l2的步长，卷积核在卷积过程中不重叠，等效于进行下采样减少了参数量。
非线性层(Non-Linear)：先前层的输出通过整流线性单元(ReLU)，利用非线性函数加速梯度下降和反向传播，同时该过程避免了梯度消失问题。当输入在负的范围内时，ReLU值为零，这使得网络具有一定的稀疏性和更好的预测能力，同时减少了训练过程中过拟合发生。
全连接层(Fully Connection)：这个过程将非线性层的输出转换为一维，然后将其输出经过最后三个全连接层处理，前两个全连接层80个神经元组成，最后一层有2个神经元的输出。
多元时空卷积神经网络构建完毕后，进行P300信号进行检测和字符识别，对于模型输出结果，选择较大的输出值作为P300预测类别，1包含P300信号，0表示不包含P300，从而实现对测试集中的P300信号检测；在实验过程中，图2中所有行/列都会闪烁一次，从而生成相应的P300脑电数据。样本和标签的前六行和后六列被排序。对排序后的行/列样本分别进行训练。该过程将产生两个6行2列的数值矩阵(分别表示行/列的输出概率值)，矩阵的行表示目标字符的位置信息，矩阵的列表示P300是否存在，用0、1表示。但是，在实际测试中，一次实验无法准确判断目标字符的位置。累加五次试验的概率矩阵所产生的概率值v，然后选择概率值最大的行和列位置，从而确定目标字符(x，y)的位置。
通过计算P300检测和字符识别准确率评价模型识别性能，并利用T-检验等相关评估指标评估多元时空卷积神经网络检测效果，利用多元时空卷积神经网络在测试集上的P300检测准确率和字母识别率来评估模型的检测效果，图6显示了利用本发明所提的多元卷积神经网络模型与现有其它模型检测P300信号的训练集准确率对比图，图7显示了利用本发明所提的多元卷积神经网络模型与现有其它模型检测P300信号的测试集准确率对比图，其中图6与图7的横坐标均表示迭代次数，图6的纵坐标表示训练集准确率，图7纵坐标表示测试集准确率，其中，“○”表示本发明所提出的多元时空卷积神经网络的曲线标记，“☆”表示其它模型中，EEGNET网络的曲线标记，“△”表示其它模型中，OCLNN网络的曲线标记，“□”表示其它模型中，CCNN网络的曲线标记，“◇”表示其它模型中，BN3网络的曲线标记，通过图6与图7可以看出，本发明所构建的多元时空卷积神经网络取得了更好的效果，另外，从信息传输率ITR的角度对多元时空卷积神经网络性能进行评估，反应了多元时空卷积神经网络传输速度(bits/min)。利用信息传输率ITR评估多元时空卷积神经网络的检测效果，信息传输率ITR的表达式为：
Figure BDA0002972803760000101
其中，P表示字符识别率，N表示P300信号数据样本的类别数，T表示识别一个字符所需时间。
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于多元时空卷积神经网络的P300信号检测识别方法，其特征在于，至少包括：
S1.利用脑电信号采集设备采集P300信号数据样本，组成P300信号数据集，根据相关性对P300信号数据样本进行通道选择，得到通道选择后的Cs个通道；
S2.将P300信号数据集划分为训练集和测试集，对训练集和测试集中的P300信号数据样本进行预处理；
S3.构建多元时空卷积神经网络，利用训练集对多元时空卷积神经网络进行训练；
S4.将预处理后的测试集输入至训练好的多元时空卷积神经网络，进行检测和字符识别；
S5.评估多元时空卷积神经网络的检测效果。
2.根据权利要求1所述的基于多元时空卷积神经网络的P300信号检测识别方法，其特征在于，步骤S2所述的预处理过程包括：
将通道选择后的P300信号数据进行滤波；
计算每个P300信号数据样本的时域维度，进行时域划分；
标记标签：脑电信号采集设备采集的P300信号数据样本中包括含有P300的脑电信号样本，也存在无P300的脑电信号样本，将含有P300的脑电信号样本标记为1，无P300的脑电信号样本标记为0，含有P300的脑电信号样本数量小于无P300的脑电信号样本数量；
标签平衡：将含有P300的脑电信号样本复制，使其与无P300的脑电信号样本的标签数量平衡。
3.根据权利要求2所述的基于多元时空卷积神经网络的P300信号检测识别方法，其特征在于，根据相关性对P300信号数据样本进行通道选择的表达式满足：
Figure FDA0002972803750000011
其中，设P300信号数据集共包含C个通道，通道选择后得到Cs个通道，表征空域特征维度；Xi，Yi分别表示两个不同通道中第i个P300信号数据样本，
Figure FDA0002972803750000021
分别表示不同通道的P300信号数据样本均值，r表示皮尔逊相关系数，当r在0.8～1之间时，两个通道间的信息能相互表示，剔除两个通道中的其中一个通道，得到通道选择后的Cs个通道，空域特征维度为Cs。
4.根据权利要求3所述的基于多元时空卷积神经网络的P300信号检测识别方法，其特征在于，通道选择后的P300信号数据通过带通滤波器滤波，带通滤波器的频率范围为0.1～20Hz，采样频率f为250Hz。
5.根据权利要求4所述的基于多元时空卷积神经网络的P300信号检测识别方法，其特征在于，每个P300信号数据样本的时域维度的表达式为：
Figure FDA0002972803750000022
其中，Nt表示时域维度；f表示采样频率；Tc表示时间窗的大小，满足：100ms≤Tc≤500ms。
6.根据权利要求5所述的基于多元时空卷积神经网络的P300信号检测识别方法，其特征在于，步骤S3所述构建的多元时空卷积神经网络包括：输入层、时空卷积层、非线性层及全连接层，所述输入层对预处理后的P300信号数据样本进行BatchNormal2D处理，所述时空卷积层包括并行排列的具有不同卷积核大小的第一卷积层和第二卷积层，卷积核大小分别为(Cs，l1)和(Cs，l2)，Cs表示通道选择后的通道数，l1和l2表示分别表示第一卷积核和第二卷积核的时域大小；所述非线性层设有修正线性单元，非线性层接收时空卷积层的输出，所述全连接层将非线性层的输出转换为一维，全连接层包括第一全连接层、第二全连接层及第三全连接层，第一全连接层及第二全连接层均含有80个神经元，第三全连接层含有两个神经元。
7.根据权利要求6所述的基于多元时空卷积神经网络的P300信号检测识别方法，其特征在于，采用梯度下降法对多元时空卷积神经网络进行训练。
8.根据权利要求7所述的基于多元时空卷积神经网络的P300信号检测识别方法，其特征在于，在多元时空卷积神经网络训练时，以二分类交叉熵作为损失函数对多元时空卷积神经网络进行优化，损失函数表达式为：
Figure FDA0002972803750000031
Figure FDA0002972803750000032
其中，p(xi)表示第i个P300信号数据样本的预测分类概率；
Figure FDA0002972803750000033
表示第i个P300信号数据样本预测分类正确的个数；k表示样本总数，j均表示第j个样本；L(x,i)表示损失函数表达式。
9.根据权利要求8所述的基于多元时空卷积神经网络的P300信号检测识别方法，其特征在于，输入层对预处理后的P300信号数据样本进行BatchNormal2D处理时，满足的表达式为：
Figure FDA0002972803750000034
Figure FDA0002972803750000035
Figure FDA0002972803750000036
Figure FDA0002972803750000037
其中，xi表示第i个P300信号数据样本，μB表示第m个P300信号数据样本均值，∈表示防止分母为零的常量，γ，β为线性变换的两个参数；σB表示m个样本的均方差，yi表示样本的预测类别。
10.根据权利要求9所述的基于多元时空卷积神经网络的P300信号检测识别方法，其特征在于，设受试者的P300信号数据通过视觉刺激界面矩阵诱发，识别的字符在矩阵中的位置满足的表达式为：
Figure FDA0002972803750000038
Figure FDA0002972803750000039
Figure FDA00029728037500000310
其中，P(d,s)表示n次实验中多元卷积神经网络的输出概率，d表示实验的轮次；v表示n次实验总的输出概率；s表示对应的行或列；a表示字符的行；b表示字符的列；
步骤S5中，利用信息传输率ITR评估多元时空卷积神经网络的检测效果，信息传输率ITR的表达式为：
Figure FDA0002972803750000041
其中，P表示字符识别率，N表示P300信号数据样本的类别数，T表示识别一个字符所需时间。
CN202110267497.3A 2021-03-11 2021-03-11 基于多元时空卷积神经网络的p300信号检测识别方法 Active CN112884063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110267497.3A CN112884063B (zh) 2021-03-11 2021-03-11 基于多元时空卷积神经网络的p300信号检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110267497.3A CN112884063B (zh) 2021-03-11 2021-03-11 基于多元时空卷积神经网络的p300信号检测识别方法

Publications (2)

Publication Number Publication Date
CN112884063A true CN112884063A (zh) 2021-06-01
CN112884063B CN112884063B (zh) 2023-07-14

Family

ID=76042477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110267497.3A Active CN112884063B (zh) 2021-03-11 2021-03-11 基于多元时空卷积神经网络的p300信号检测识别方法

Country Status (1)

Country Link
CN (1) CN112884063B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408444A (zh) * 2021-06-24 2021-09-17 西安交通大学 一种基于cnn-svm的事件相关电位信号分类方法
CN113558644A (zh) * 2021-07-20 2021-10-29 陕西科技大学 一种3d矩阵与多维卷积网络的情感分类方法、介质和设备
CN115105095A (zh) * 2022-08-29 2022-09-27 成都体育学院 一种基于脑电信号的运动意图识别方法、系统和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304917A (zh) * 2018-01-17 2018-07-20 华南理工大学 一种基于lstm网络的p300信号检测方法
CN108960182A (zh) * 2018-07-19 2018-12-07 大连理工大学 一种基于深度学习的p300事件相关电位分类识别方法
CN109389059A (zh) * 2018-09-26 2019-02-26 华南理工大学 一种基于cnn-lstm网络的p300检测方法
CN110059565A (zh) * 2019-03-20 2019-07-26 杭州电子科技大学 一种基于改进卷积神经网络的p300脑电信号识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304917A (zh) * 2018-01-17 2018-07-20 华南理工大学 一种基于lstm网络的p300信号检测方法
CN108960182A (zh) * 2018-07-19 2018-12-07 大连理工大学 一种基于深度学习的p300事件相关电位分类识别方法
CN109389059A (zh) * 2018-09-26 2019-02-26 华南理工大学 一种基于cnn-lstm网络的p300检测方法
CN110059565A (zh) * 2019-03-20 2019-07-26 杭州电子科技大学 一种基于改进卷积神经网络的p300脑电信号识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408444A (zh) * 2021-06-24 2021-09-17 西安交通大学 一种基于cnn-svm的事件相关电位信号分类方法
CN113558644A (zh) * 2021-07-20 2021-10-29 陕西科技大学 一种3d矩阵与多维卷积网络的情感分类方法、介质和设备
CN113558644B (zh) * 2021-07-20 2024-03-22 陕西科技大学 一种3d矩阵与多维卷积网络的情感分类方法、介质和设备
CN115105095A (zh) * 2022-08-29 2022-09-27 成都体育学院 一种基于脑电信号的运动意图识别方法、系统和设备
CN115105095B (zh) * 2022-08-29 2022-11-18 成都体育学院 一种基于脑电信号的运动意图识别方法、系统和设备

Also Published As

Publication number Publication date
CN112884063B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN112884063B (zh) 基于多元时空卷积神经网络的p300信号检测识别方法
CN107924472B (zh) 基于脑部计算机界面的图像分类的方法及系统
CN110811609B (zh) 基于自适应模板匹配与机器学习算法融合的癫痫棘波智能检测装置
CN108960182B (zh) 一种基于深度学习的p300事件相关电位分类识别方法
CN111329474B (zh) 基于深度学习的脑电身份识别方法、系统及信息更新方法
CN102200833B (zh) 一种Speller BCI系统及其控制方法
CN111091074A (zh) 最优区域共空间模式的运动想象脑电信号分类方法
CN113951903B (zh) 基于脑电数据测定的高速铁路调度员超负荷状态识别方法
CN114533086A (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
CN113010013A (zh) 一种基于Wasserstein距离的运动想象脑电迁移学习方法
CN111067513B (zh) 一种特征权重自学习的睡眠质量检测关键脑区判定方法
CN110338760B (zh) 一种基于脑电图频域数据的精神分裂症三分类方法
CN114376524A (zh) 基于语音统计学习的意识评估方法及系统
CN112438741B (zh) 一种基于脑电特征迁移学习的驾驶状态检测方法及系统
CN116340825A (zh) 一种基于迁移学习的跨被试rsvp脑电信号的分类方法
CN113408444B (zh) 一种基于cnn-svm的事件相关电位信号分类方法
CN115964655A (zh) 一种基于互信息量的脑机接口中错误相关电位的监测方法
CN110516711B (zh) Mi-bci系统的训练集质量评估方法和单次训练样本的优化方法
CN114881089A (zh) 基于双分支融合模型的抑郁脑电分类方法
Li et al. P300 based single trial independent component analysis on EEG signal
CN112381124A (zh) 一种基于动态逆学习网络的提高脑机接口性能的方法
CN111012343A (zh) 基于Pearson相关性系数加权的跨个体脑-机接口
CN112650386B (zh) 一种基于pca-pcn的脑机接口字符输出系统
Fira Detection of P300 in a BCI Speller
Goel et al. On the use of spiking neural network for EEG classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant