CN108304917B - 一种基于lstm网络的p300信号检测方法 - Google Patents

一种基于lstm网络的p300信号检测方法 Download PDF

Info

Publication number
CN108304917B
CN108304917B CN201810043775.5A CN201810043775A CN108304917B CN 108304917 B CN108304917 B CN 108304917B CN 201810043775 A CN201810043775 A CN 201810043775A CN 108304917 B CN108304917 B CN 108304917B
Authority
CN
China
Prior art keywords
lstm
character
layer
network
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810043775.5A
Other languages
English (en)
Other versions
CN108304917A (zh
Inventor
肖郴杰
顾正晖
俞祝良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Guangda Innovation Technology Co.,Ltd.
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810043775.5A priority Critical patent/CN108304917B/zh
Publication of CN108304917A publication Critical patent/CN108304917A/zh
Application granted granted Critical
Publication of CN108304917B publication Critical patent/CN108304917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Character Discrimination (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于LSTM网络的P300信号检测方法，包括步骤：1)采用P300字符拼写器进行实验，提取脑电信号即EEG作为训练集和测试集；2)所采集到的数据经过预处理操作，然后作为模型的输入数据集；3)设计一个LSTM层作为EEG数据集的时空滤波器，LSTM层最后一个时间步后面添加全连接层，再添加Softmax层把网络的输出值转化为概率形式，然后训练网络确定模型参数，其中Softmax层是逻辑函数的泛化形式；4)通过计算模型评价指标以及测试集字符识别率来验证模型的性能。本发明方法具有无需手工提取特征，识别性能好，泛化能力强，并有良好的信息转化率等特点，是一种不错的P300分类算法。

Description

一种基于LSTM网络的P300信号检测方法
技术领域
本发明涉及脑电信号检测的技术领域，尤其是一种基于LSTM网络的P300信号检测方法。
背景技术
脑机接口(brain‐computer interface，简称BCI)，是在人脑或动物脑与外部设备间创建的直接连接通路。“脑”一词意指有机生命形式的脑或神经系统，而并非仅仅是抽象的“心智”(mind)。“机”意指任何处理或计算的设备，其形式可以从简单电路到硅芯片。脑机接口的研究已持续了超过30年了。20世纪90年代中期以来，从实验中获得的此类知识呈显著增长。目前，脑机接口作为一种新型的人机交互方式正在逐渐成为脑科学研究的热门课题，在康复工程、高危作业、心理认知等领域具有很大的应用前途。
脑机接口能够让人直接用脑活动与外界进行“交流”，而不需要任何肢体动作。它可以实现把大脑发出的信息直接用来驱动外部设备运行。简而言之，脑机接口能够提取用户的脑电信号，经过特定信号处理，模式识别等技术把脑电信号转换成输出控制信号使得特定的BCI系统执行相应操作。根据检测信号传感器的安置方式，脑机接口分为有创植入电极的侵入式脑机接口和无创头皮电极的非侵入式脑机接口。在非侵入式脑机接口中，EEG(electroencephalogram)脑电信号能够比较容易被记录，并且使用设备相对便宜。因此基于EEG脑电信号的研究得到广泛关注。
P300波是一种能够在EEG信号中检测到的事件相关电位(event relatedpotential，ERP)，是对发生概率相对较小的外界事件或刺激的反应，由于P300诱发电位一般出现在刺激发生后300ms左右，故称为P300信号。基于P300波的字符拼写系统最早由Farwell和Donchin提出，基于该拼写系统的实验范式和识别算法被相继提出。目前，已经有很多优秀的传统机器学习算法能够进行P300检测分类，例如基于支持向量机(SVM)的分类算法，基于独立成分分析(ICA)的分类算法，基于线性判别分析(LDA)的识别算法。也有很多在图像领域非常流行的深度学习方法能够对P300信号进行很好的检测分类，例如卷积神经网络(CNN),循环卷积神经网络(RCNN)。然而传统的机器学习算法识别P300时需要手工提取特征，花费大量不必要的时间，并且泛化能力差，信息转化率不高。而深度学习方法具有避免手动设计输入模式，提高泛化能力和信息转化率等特点。但卷积神经网络(CNN)识别P300的准确率和信息转化率有待进一步提高，而循环卷积神经网络(RCNN)的结构又略显复杂，并且参数太多，学习速度慢。
长短期记忆网络(LSTM),是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件，EEG信号中的P300电位正是与时间高度相关的序列信号。并且LSTM网络对EEG信号每个时间帧上所有特征的全连接操作与卷积神经网络(CNN)的空域卷积操作是一样的。因此LSTM网络能够同时处理EEG信号的时域信息和空域信息，并且结构简单，泛化能力强，是一种可行的检测P300信号的方法。
发明内容
本发明的目的在于克服现有技术的不足，提出了一种无需手工提取特征，识别性能好、准确率高、泛化能力强的基于LSTM网络的P300信号检测方法。该方法是一种使用长短期记忆细胞(LSTM Cell)的神经网络，能够同时处理EEG信号的时域和空域信息，结构简单易于理解。字符实验准确率高，在短时间序列和长时间序列的脑电信号下，字符识别准确率更优于卷积神经网络(CNN)，这样也同时提高了信息转换率。
为实现上述目的，本发明所提供的技术方案为：一种基于LSTM网络的P300信号检测方法，包括以下步骤：
1)脑电数据采集阶段
采用P300字符拼写器进行实验，提取受试者脑电信号(EEG)作为训练集和测试集；
2)数据预处理阶段
所采集到的数据经过预处理操作，然后作为模型的输入数据集；
3)搭建LSTM网络模型检测P300信号阶段
设计一个LSTM层作为EEG数据集的时空滤波器，LSTM层最后一个时间步后面添加全连接层，再添加Softmax层把网络的输出值转化为概率形式，然后训练网络确定模型参数，其中Softmax层是逻辑函数的泛化形式；
4)计算模型的各类评价指标和字符识别率阶段
通过计算模型评价指标以及测试集字符识别率来验证模型的性能。
所述步骤1)包括以下步骤过程：
1.1)首先P300字符拼写器采用BCI2000平台的P3拼写器，确定字符的闪烁频率,闪烁方式以及重复次数。选择采集脑电所用到的电极通道，确定字符拼写器行/列字符闪烁持续时间。
1.2)确定采样频率和滤波器带通频率，确定训练数据集的数据格式和测试数据集格式。
在步骤1.1)中，所用P300字符拼写器为BCI2000平台的P3拼写器。P300字符拼写器为一个6x6的字符矩阵，受试者注视一个给定的字符，矩阵拼写器的闪烁频率为：
f＝5.7(Hz)
P300拼写器以频率f连续随机地闪烁某一行或某一列，其中包含受试者注视字符的行和列闪烁时，会刺激大脑皮层产生P300信号。所有行和所有列全都闪烁一次为一个周期(epoch)。每个字符连续进行15次重复的周期(epoch)为一个字符实验组。所以，一个字符实验组提取12 x 15个EEG信号。
电极通道可以选用国际10‐20电极规范的64个电极。每次闪烁持续时间为100ms，两次闪烁之间的间隔时间为75ms。
在步骤1.2)中，采集的数据经过0.1‐60Hz的带通滤波，并且采样频率设置为240Hz，即1秒时间内采样240个点。
每个字符实验组提取出来的脑电信号进行采样得到n个点作为样本特征。训练数据集设置为m个字符，即m个字符实验组，故包含所有电极通道的训练数据集的数据格式为：m x n x 64,测试数据集类似。
所述步骤2)包括以下步骤过程：
2.1)选择行或列单次闪烁后的时间窗大小，确定下采样之后的时域特征维度，并选择所用的去噪滤波器。
2.2)分别计算训练集和测试集中正样本(含有P300波)和负样本(不含P300波)的样本个数。解决训练集中正样本和负样本数量不平衡的问题。得到预处理后的训练集和测试集。并将数据集进行归一化处理。
在步骤2.1)中，设置行/列每次闪烁后的时间窗为前600ms或前650ms，即1秒时间内总共240个点中的前144个点或178个点，然后经过下采样来减少维度至72或78，即时域特征维度为72或78。
选择10阶0.5～20Hz的FIR带通滤波，将训练集和测试集经过该滤波器滤波。
在步骤2.2)中，6行6列总共12次闪烁中包含受试者所注视的字符的行和列会产生P300波，故产生P300波的概率为2/12。当实验字符数为n时，数据集含有P300波的样本数为：n x 2x 15，不含P300波的样本数为n x 10x 15。
为使训练集的正负样本平衡，从而方便训练，把含有P300波的样本复制5份，这样含有P300波的样本数和不含P300波的样本数相等。
将数据集进行min‐max标准化，使结果落到[0,1]区间,表达式如下：
Figure BDA0001550258340000051
式中，X代表某个特征的的特征向量，Xmax和Xmin代表该特征向量的最大和最小值。
所述步骤3)包括以下步骤过程：
3.1)将预处理后的数据集作为LSTM层的输入，设定LSTM层的时间步数(step)；
3.2)在LSTM层最后一个时间步后面搭建全连接层和Softmax层，并设定损失函数；
3.3)使用前向传播算法计算LSTM网络的输出层结果；
3.4)使用随时间传递的反向传播算法(BPTT,Back Propagation Through Time)作为LSTM网络的训练方法，训练出LSTM网络的参数。
在步骤3.1)中，LSTM层的输入表示为：
Figure BDA0001550258340000052
Nelec为脑电信号采集阶段中选定的电极通道数目，Nt为采用的时间窗序列的脑电数据点数。所以，每一个样本为一个NelecxNt的矩阵。把每一个时间帧的Nelec个点作为一个集合输入到LSTM网络的一个时间步(timestep)中，于是LSTM层总共有Nt个时间步(time step)。
在步骤3.2)中，将LSTM层的最后一个时间步输出连接到全连接层，因为P300波的检测是一个二分类问题，所以该全连接层的单元数设置为2。在全连接层之后连接一个Softmax层，Softmax函数表达式为：
Figure BDA0001550258340000061
式中，zj和zk表示全连接层的第j个输出值和第k个输出值，在本模型中，j取1或2，σ(x)j表示Softmax层第j个输出结果；
损失函数使用二分类的交叉熵损失函数。
在步骤3.3)中，LSTM层中所使用的细胞单元为LSTM Cell。LSTM能够解决长期依赖性问题，故能够很好的处理时域特征的相关性，对EEG信号来说，每个LSTM细胞对每个时间步上所有特征的全连接操作与卷积神经网络(CNN)的空域卷积操作是一样的。故LSTM层能够同时处理EEG信号的时域信息和空域信息。
LSTM层前向传播算法如下：
LSTM细胞包括三个门，输入门，输出门，和遗忘门，分别控制着输入，输出和选择性记忆。
3.3.1)LSTM细胞之输入门：
输入门(input gate)负责处理当前序列位置的输入，由两部分组成，第一部分使用了sigmoid激活函数，输出为向量i(t),第二部分使用了tanh激活函数，输入门的输出为向量c'(t),两者的结果后面会进行Hadamard运算再去更新细胞状态C(t)。用数学表达式即为：
i(t)＝σ(Wi·h(t-1)+Ui·x(t)+bi)
c'(t)＝tanh(Wc·h(t-1)+Ucx(t)+bc)
其中Wi,Ui,bi,Wc,Uc,bc为线性关系的系数和偏置项，σ为sigmoid激活函数，tanh为双曲正切函数，h(t)和h(t-1)分别为t时刻和t‐1时刻的隐藏状态，x(t)为t时刻的输入向量。
3.3.2)LSTM细胞之遗忘门：
遗忘门控制是否遗忘的，在LSTM中即以一定的概率控制是否遗忘上一层的隐藏细胞状态，遗忘门的输入有上一序列的隐藏状态h(t-1)和本序列数据x(t)，通过一个激活函数，一般是sigmoid，得到遗忘门的输出f(t)。由于sigmoid的输出f(t)在[0,1]之间，因此这里的输出f(t)代表了遗忘上一层隐藏细胞状态的概率。用数学表达式即为：
f(t)＝σ(Wfh(t-1)+Ufx(t)+bf)
其中Wf，Uf，bf为线性关系的系数和偏置项，σ为sigmoid激活函数。
3.3.3)LSTM细胞之细胞状态更新：
遗忘门和输入门的结果都会作用于细胞状态C(t)，细胞状态C(t)由两部分组成，第一部分是t‐1时刻细胞状态C(t-1)和遗忘门输出f(t)的Hadamard积，第二部分是输入门的i(t)和c'(t)的Hadamard积，即：
C(t)＝C(t-1)⊙f(t)+i(t)⊙c'(t)
其中，⊙为Hadamard积，即对应位置相乘,式中C(t)表示t时刻的细胞状态，C(t-1)表示t‐1时刻的细胞状态。
3.3.4)LSTM细胞之输出门：
输出门输出结果o(t),它由上一序列的隐藏状态h(t-1)和本序列数据x(t)，以及激活函数sigmoid得到
隐藏状态h(t)的更新由两部分组成，第一部分是o(t),第二部分由细胞状态C(t)和tanh激活函数组成,即：
o(t)＝σ(Woh(t-1)+Uox(t)+bo)
h(t)＝o(t)⊙tanh(C(t))
式中，Wo，Uo，bo为输出门线性关系的系数和偏置项。
3.3.5)更新当前序列索引预测输出：
Figure BDA0001550258340000081
式中，
Figure BDA0001550258340000082
为当前序列索引预测输出，h(t)为当前序列隐藏状态，V和c分别为权重和偏置。
在步骤3.4)中，使用随时间传递的反向传播算法(BPTT)来训练网络。即从最后一个时间步将累积的残差通过时间步传递回来，从而更新网络参数。
训练开始时，全连接层使用Xavier初始化器，即初始化参数W服从如下均匀分布：
Figure BDA0001550258340000083
式中，ninputs为输入神经元个数，noutputs为输出神经元个数,U表示均匀分布。
LSTM层使用He_initialization初始化器，He_initialization和Xavier初始化器类似，区别是前者只考虑输入神经元个数，后者考虑输入神经元个数和输出神经元个数的平均。
训练确定LSTM细胞中神经元个数，LSTM层的网络层数，根据试验结果微调初始学习率，选择优化器类型Adam。
所述步骤4)包括以下步骤过程：
4.1)由测试集的实验结果，计算网络模型的评价指标。计算12次闪烁(六行六列)中每行/列闪烁产生P300的累计概率
4.2)确定测试集预测出来的字符，与真实的字符进行比较，并计算字符识别率和信息转换率
在步骤4.1)中，计算如下模型评价指标：
Figure BDA0001550258340000084
Figure BDA0001550258340000085
式中，TP表示真阳性，FN表示假阴性，FP表示假阳性，FN表示假阴性，Recall表示召回率，Precision表示精度，F1_socre为召回率和精度的调和平均。
用向量v表示12次闪烁中每次闪烁检测到P300的累计概率，累计概率是指前n个重复周期(epoch)下，该行/列含有P300概率的和，向量v的前6个值代表6个行中每个行的概率和，后6个值代表6个列中每个列的概率和，v的计算表达式为：
Figure BDA0001550258340000091
式中，P(i,j)表示第i个周期(epoch)下第j个闪烁含有P300的概率值，n为1至15之间的整数
在步骤4.2)中，真实的字符由测试集给出，预测的字符由下面的概率和最大的行和列确定：
Figure BDA0001550258340000092
Figure BDA0001550258340000093
式中，x,y分别表示预测字符的行坐标和列坐标
将100个真实字符集与100个预测字符集比较，计算出正确识别率P
信息转换率反映了P300字符拼写器识别速度，表达式如下：
Figure BDA0001550258340000094
式中，ITR表示信息转换率(the information transfer rate),P代表识别一个字符的概率，N代表类别数目(N＝36)，T表示识别一个字符所需要的时间，表达式如下：
T＝2.5+2.1·n,1≤n≤15
本发明与现有技术相比，具有如下优点与有益效果：
1.本发明所采用的LSTM网络模型与传统的机器学习进行P300信号检测相比，具有无需手工提取特征，泛化能力强，字符识别准确率高等优点。
2.本发明与深度学习中卷积神经网络(CNN)和循环卷积神经网络(RCNN)进行P300信号检测相比，具有结构简单，模型容易搭建，字符识别准确率高，信息转化率高等优点。
附图说明
图1为本发明P300信号检测的工作流程示意图。
图2为P300信号与非P300信号的对比图。
图3为本发明的脑电电极分布图。
图4为本发明的P300字符拼写器示意图。
图5为LSTM网络的结构示意图。
图6为LSTM细胞的结构示意图。
图7为LSTM网络与CNN网络的字符识别准确率对比图。
图8为LSTM网络与CNN网络以及E‐SVM网络信息转换率对比图。
具体实施方式
下面结合具体实施例对本发明做进一步的说明。
参见图1所示，本实施例所提供的基于LSTM网络的P300信号检测方法，包括以下步骤：
1)脑电数据采集阶段
1.1)采用P300字符拼写器(具体为BCI2000平台的P3拼写器)进行字符实验，确定字符闪烁频率,闪烁方式以及重复次数。选择采集脑电所用到的电极通道，确定字符拼写器行/列字符闪烁持续时间。
1.2)确定采样频率和滤波器带通频率，确定训练阶段所用字符个数和测试阶段所用字符个数。
2)数据预处理阶段
2.1)选择行或列单次闪烁后的时间窗大小，确定下采样之后的时域特征维度，并选择所用的去噪滤波器。
2.2)分别计算训练集和测试集中正样本(含有P300波)和负样本(不含P300波)的样本个数。解决训练集中正样本和负样本数量不平衡的问题。得到预处理后的训练集和测试集。并将数据集进行归一化处理。
3)搭建LSTM网络模型检测P300信号阶段
3.1)将预处理后的数据集作为LSTM层的输入，设定LSTM层的时间步数(step)。
3.2)在LSTM层最后一个时间步后面搭建全连接层和Softmax层，并设定损失函数
3.3)使用前向传播算法计算LSTM网络的输出层结果。
3.4)使用随时间传递的反向传播算法(BPTT)作为LSTM网络的训练方法，训练出LSTM网络的参数。
4)计算模型的各类评价指标和字符识别率阶段
4.1)由测试集的实验结果，计算网络模型的评价指标。计算12次闪烁(六行六列)中每行/列闪烁产生P300的累计概率
4.2)确定测试集预测出来的字符，与真实的字符进行比较，并计算字符识别率和信息转换率
进一步地，在脑电信号采集阶段通过如下的技术方案实现：
S11、所用P300字符拼写器为一个6x6的字符矩阵。如图4所示，矩阵拼写器的行/列字符闪烁频率为：
f＝5.7(Hz)
P300拼写器以频率f连续随机地闪烁某一行或某一列，其中包含受试者所注视字符的行和列闪烁时，会刺激大脑皮层产生P300信号，产生P300信号和未产生P300信号如图2所示。所有行和所有列(6行6列)全都闪烁一次为一个周期(epoch)。每个字符连续进行15次重复的周期(epoch)为一个实验组，所以一个字符实验组提取12x 15个EEG信号。
电极通道选用国际10‐20电极规范的64个电极(channels)。电极分布图如图3所示。图4拼写器行/列每次闪烁持续时间为100ms，两次闪烁之间的间隔时间为75ms。
S12、所用数据集为第三次BCI竞赛的数据集II(Competition III Dataset II)的数据集，采集的数据经过0.1‐60Hz的带通滤波，并且采样频率设置为240Hz，即1秒时间内采样240个点。。
总共两个受试者(Subject A和Subject B)，两个受试者的数据格式完全一样。。训练数据集为85个字符，即85个字符实验组，测试数据集为100个字符，即100个字符实验组。
数据预处理阶段，通过如下的技术方案实现：
S21、设置行/列每次闪烁后的时间窗为前600ms，即1秒时间内总共240个点中的前240 x 0.6＝144个点，然后经过下采样来减少维度至72，即时域特征维度为72，空域特征维度为所有电极通道数64，故单个样本数据格式为72 x 64。然后选择10阶0.5～20Hz的FIR带通滤波，将训练集和测试集经过该滤波器滤波。
S22、6行6列总共12次闪烁中会有两次闪烁产生P300波。于是训练集含有P300波的样本数为：85x2x15＝2550，不含P300波的样本数为85x10x15＝12750。其中85表示训练集有85个字符实验组，15表示每个实验组有15个周期(epoch)。同理，测试集中含有P300波的样本数为：100x2x15＝3000，不含P300波的样本数为100x10x15＝15000。
把训练集中含有P300波的样本复制5份，这样含有P300波的样本数和不含P300波的样本数都为12750，训练集的正负样本平衡。预处理后的训练集和测试集数据格式为：25000x72x64，18000x72x64。
将数据集进行min‐max标准化，使结果落到[0,1]区间，数据标准化表达式为：
Figure BDA0001550258340000131
搭建LSTM网络模型检测P300信号阶段，如图5,6所示，通过如下的技术方案实现：
S31、LSTM网络的单个样本输入表示为：
Figure BDA0001550258340000132
Nelec为脑电信号采集阶段中选定的电极通道数目，Nt为采用的时间窗序列的脑电数据点数。故本数据集下，每一个样本为一个72 x 64的矩阵，其中72为时域维度或者说时间帧，即Nt＝72，64为空域维度，即Nelec＝64。把每一个时间帧的64个点作为一个集合输入到LSTM层的一个时间步(time step)中，如图5中的X(0)、X(1)、X(t-1)、X(t)，于是LSTM层总共有72个时间步，即：
X(t)＝X(72)
S32、将LSTM层的最后一个时间步输出连接到全连接层，因为P300波的检测是一个二分类问题，所以该全连接层的单元数设置为2。在全连接层之后连接一个Softmax层，损失函数使用二分类的交叉熵损失函数：
S33、LSTM层中所使用的细胞为长短期记忆细胞(LSTM Cell)。如图6所示为LSTM细胞结构。前向传播过程在每个序列索引位置t的过程为：
1)更新输入门两部分输出：
i(t)＝σ(Wi·h(t-1)+Ui·x(t)+bi)
c'(t)＝tanh(Wc·h(t-1)+Ucx(t)+bc)
2)更新遗忘门输出：
f(t)＝σ(Wfh(t-1)+Ufx(t)+bf)
3)更新细胞状态：
C(t)＝C(t-1)⊙f(t)+i(t)⊙a(t)
4)更新输出门输出：
o(t)＝σ(Woh(t-1)+Uox(t)+bo)
h(t)＝o(t)⊙tanh(C(t))
5)更新当前序列索引预测输出：
Figure BDA0001550258340000141
S34、使用随时间传递的反向传播算法(BPTT)更新LSTM参数过程。
全连接层使用Xavier初始化器，LSTM层使用He_initialization初始化器，
设置LSTM Cell中神经元个数为150，LSTM层数为1效果最好，初始学习率设为0.001，选择优化器类型Adam。
计算模型的各类评价指标和字符识别率阶段，如图7,8所示,通过如下计算方式实现：
S41、计算如下模型评价指标：
Figure BDA0001550258340000142
Figure BDA0001550258340000143
式中，TP表示真阳性，FN表示假阴性，FP表示假阳性，FN表示假阴性，Recall表示召回率，Precision表示精度，F1_socre为召回率和精度的调和平均。
用向量v表示12次闪烁中每次闪烁检测到P300的累计概率，累计概率是指前n个重复周期(epoch)下，该行/列含有P300概率的和，向量v的前6个值代表6个行中每个行的概率和，后6个值代表6个列中每个列的概率和，v的计算表达式为：
Figure BDA0001550258340000151
式中，P(i,j)表示第i个周期(epoch)下第j个闪烁含有P300的概率值，n为1至15之间的整数。
S42、，真实的字符由测试集给出，预测的字符由下面的概率和最大的行和列确定：
Figure BDA0001550258340000152
Figure BDA0001550258340000153
式中，x,y分别表示预测字符的行坐标和列坐标
将100个真实字符集与100个预测字符集比较，计算出正确识别率P。如图7所示为本发明的方法与Cecotti的CNN算法的正确率比较，左边为受试者A的两种算法准确率比较，可以看出LSTM网络前期的识别率要优于卷积神经网络(CNN)，后期卷积神经网络(CNN)的识别率更好，而对于受试者B来说，无论是前期还是后期，LSTM网络都要优于卷积神经网络(CNN)。
计算信息转换率：
Figure BDA0001550258340000154
式中，ITR表示信息转换率(the information transfer rate),P代表识别一个字符的概率，N代表类别数目(N＝36)，T表示识别一个字符所需要的时间，表达式如下：
T＝2.5+2.1·n,1≤n≤15
分别采用卷积神经网络(CNN)，集成支持向量基(E‐SVM)和LSTM网络，两个受试者的平均ITR如图8所示，我们的LSTM网络的信息转化率是要优于其他两种方法的。
综上所述，本发明为P300信号检测领域提供了一种有效方法，并且结构简单，模型容易搭建，无需手工提取特征，字符识别准确率高、泛化能力强，对P300信号检测的研究很有意义，具有实际推广价值，值得推广。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (8)

1.一种基于LSTM网络的P300信号检测方法，其特征在于，包括以下步骤：
1)脑电数据采集阶段
采用P300字符拼写器进行实验，提取受试者脑电信号即EEG作为训练集和测试集；
2)数据预处理阶段
所采集到的数据经过预处理操作，然后作为模型的输入数据集，包括以下步骤过程：
2.1)选择行或列单次闪烁后的时间窗大小为T,T取值为600ms至650ms之间，确定下采样之后的时域特征维度为Nt,Nt的表达式为：
Figure FDA0002642212430000011
式中，h为采样频率；
故，时域特征维度为Nt,空域特征维度为电极通道数Nelec,单个样本数据格式为NtxNelec，然后选择所用的去噪滤波器；
2.2)分别计算训练集和测试集中正样本和负样本的样本个数，其中，正样本为含有P300波的样本，负样本为不含P300波的样本；二者比例为1:5，所以将正样本复制5遍使训练集中正样本和负样本数量相等，从而解决正负样本不平衡问题，得到预处理后的训练集和测试集，即数据集；将数据集进行min-max标准化，使结果落到[0,1]区间,表达式如下：
Figure FDA0002642212430000012
式中，X代表某个特征的的特征向量，Xmax和Xmin代表该特征向量的最大和最小值；
3)搭建LSTM网络模型检测P300信号阶段
设计一个LSTM层作为EEG数据集的时空滤波器，LSTM层最后一个时间步后面添加全连接层，再添加Softmax层把网络的输出值转化为概率形式，然后训练网络确定模型参数，其中Softmax层是逻辑函数的泛化形式；
4)计算模型的各类评价指标和字符识别率阶段
通过计算模型评价指标以及测试集字符识别率来验证模型的性能。
2.根据权利要求1所述的一种基于LSTM网络的P300信号检测方法，其特征在于，所述步骤1)包括以下步骤过程：
1.1)首先，P300字符拼写器采用BCI2000平台的P3拼写器，确定字符的闪烁频率f，P300字符拼写器以频率f连续随机地闪烁某一行或某一列，其中包含受试者注视字符的行和列闪烁时，会刺激大脑皮层产生P300信号；对于单个字符实验组，所有的行和列都闪烁一次为一个周期，设置重复周期数为K，通常K取15；采集脑电信号的电极通道数为Nelec，Nelec通常取64；
1.2)采集的EEG信号经过带通滤波，带通范围为0.1-60Hz，并且采样频率设置为h(Hz),h通常取240或120；
1.3)对每个字符实验组提取出来的脑电信号进行采样得到n个点作为样本特征，训练数据集设置为m个字符，即m个字符实验组，故训练数据集的数据格式为：mxnx64,测试数据集类似。
3.根据权利要求1所述的一种基于LSTM网络的P300信号检测方法，其特征在于，所述步骤3)包括以下步骤过程：
3.1)将预处理后的数据集作为LSTM层的输入，设定LSTM层的时间步数；
3.2)在LSTM层最后一个时间步后面搭建全连接层和Softmax层，并设定损失函数；
3.3)使用前向传播算法计算LSTM网络的输出层结果；
3.4)使用随时间传递的反向传播算法即BPTT算法作为LSTM网络的训练方法，训练出LSTM网络的参数。
4.根据权利要求3所述的一种基于LSTM网络的P300信号检测方法，其特征在于：在步骤3.1)中，LSTM网络的输入表示为：
Figure FDA0002642212430000031
Nelec为脑电信号采集阶段中选定的电极通道数目，Nt为采用的时间窗序列的脑电数据点数；所以，每一个样本为一个NelecxNt的矩阵，把每一个时间帧的Nelec个点作为一个集合输入到LSTM层的一个时间步中，于是LSTM层总共有Nt个时间步。
5.根据权利要求3所述的一种基于LSTM网络的P300信号检测方法，其特征在于，在步骤3.2)中，将LSTM层的最后一个时间步输出连接到全连接层，因为P300波的检测是一个二分类问题，所以该全连接层的单元数设置为2；在全连接层之后连接一个Softmax层，Softmax函数表达式为：
Figure FDA0002642212430000032
式中，zj和zk表示全连接层的第j个输出值和第k个输出值，在本模型中，j取1或2，σ(x)j表示Softmax层第j个输出结果；
损失函数使用二分类的交叉熵损失函数。
6.根据权利要求3所述的一种基于LSTM网络的P300信号检测方法，其特征在于，在步骤3.3)中，LSTM层中所使用的细胞为长短期记忆细胞即LSTM Cell，LSTM能够解决长期依赖性问题，故能够很好的处理时域特征的相关性；对EEG信号来说，每个LSTM细胞对每个时间步上所有特征的全连接操作与卷积神经网络即CNN的空域卷积操作是一样的；故LSTM层能够同时处理EEG信号的时域信息和空域信息；
LSTM细胞包括输入门、输出门、遗忘门这三个门，分别控制着输入、输出和选择性记忆；
LSTM细胞之输入门：
输入门负责处理当前序列位置的输入，由两部分组成，第一部分使用sigmoid激活函数，输出为向量i(t),第二部分使用tanh激活函数，输出为向量c'(t),两者的结果后面会进行Hadamard运算再去更新细胞状态C(t)，用数学表达式即为：
i(t)＝σ(Wi·h(t-1)+Ui·x(t)+bi)
c'(t)＝tanh(Wc·h(t-1)+Ucx(t)+bc)
其中，Wi、Ui、bi、Wc、Uc、bc为线性关系的系数和偏置项，σ为sigmoid激活函数，tanh为双曲正切函数，h(t)和h(t-1)分别为t时刻和t-1时刻的隐藏状态，x(t)为t时刻的输入向量；
LSTM细胞之遗忘门：
遗忘门控制是否遗忘的，在LSTM中即以一定的概率控制是否遗忘上一层的隐藏细胞状态，遗忘门的输入有上一序列的隐藏状态h(t-1)和本序列数据x(t)，通过一个sigmoid激活函数，得到遗忘门的输出f(t)；由于sigmoid的输出f(t)在[0,1]之间，因此这里的输出f(t)代表了遗忘上一层隐藏细胞状态的概率；用数学表达式即为：
f(t)＝σ(Wfh(t-1)+Ufx(t)+bf)
其中Wf、Uf、bf为线性关系的系数和偏置项，σ为sigmoid激活函数；
LSTM细胞之细胞状态更新：
遗忘门和输入门的结果都会作用于细胞状态C(t)，细胞状态C(t)由两部分组成，第一部分是t-1时刻细胞状态C(t-1)和遗忘门输出f(t)的Hadamard积，第二部分是输入门的i(t)和c'(t)的Hadamard积，即：
C(t)＝C(t-1)⊙f(t)+i(t)⊙c'(t)
其中，⊙为Hadamard积，即对应位置相乘,式中C(t)表示t时刻的细胞状态，C(t-1)表示t-1时刻的细胞状态；
LSTM细胞之输出门：
输出门输出结果o(t),它由t-1时刻的隐藏状态h(t-1)和t时刻数据x(t)，以及激活函数sigmoid得到；
隐藏状态h(t)的更新由两部分组成，第一部分是o(t),第二部分由细胞状态C(t)和tanh激活函数组成,即：
o(t)＝σ(Woh(t-1)+Uox(t)+bo)
h(t)＝o(t)⊙tanh(C(t))
更新当前序列索引预测输出：
Figure FDA0002642212430000051
式中，
Figure FDA0002642212430000052
为当前序列索引预测输出，h(t)为当前序列隐藏状态，V和c分别为权重和偏置。
7.根据权利要求3所述的一种基于LSTM网络的P300信号检测方法，其特征在于：在步骤3.4)中，使用随时间传递的反向传播算法来训练网络，即从最后一个时间步将累积的残差通过时间步传递回来，从而更新网络参数；
训练开始时，全连接层使用Xavier初始化器，即初始化参数W服从如下均匀分布：
Figure FDA0002642212430000053
式中，ninputs为输入神经元个数，noutputs为输出神经元个数,U表示均匀分布；
LSTM层使用He_initialization初始化器，He_initialization和Xavier初始化器类似，区别是前者只考虑输入神经元个数，后者考虑输入神经元个数和输出神经元个数的平均；
训练确定LSTM细胞中神经元个数，LSTM层的网络层数，根据试验结果微调初始学习率，选择优化器类型Adam。
8.根据权利要求1所述的一种基于LSTM网络的P300信号检测方法，其特征在于，所述步骤4)包括以下步骤过程：
4.1)由测试集的实验结果，计算如下网络模型的评价指标：
Figure FDA0002642212430000061
Figure FDA0002642212430000062
式中，TP表示真阳性，FN表示假阴性，FP表示假阳性，FN表示假阴性，Recall表示召回率，Precision表示精度，F1_socre为召回率和精度的调和平均；
计算12次闪烁即六行六列中每行/列闪烁产生P300的累计概率；
用向量v表示12次闪烁中每次闪烁检测到P300波的累计概率，累计概率是指前n个重复周期下，该行/列含有P300概率的和，向量v的前6个值代表6个行中每个行的概率和，后6个值代表6个列中每个列的概率和，v的计算表达式为：
Figure FDA0002642212430000063
式中，P(i,j)表示第i个周期下第j个闪烁含有P300的概率值，n为1至K之间的整数；
4.2)确定测试集预测出来的字符，与真实的字符进行比较，并计算字符识别率和信息转换率；
真实的字符由测试集给出，预测的字符由下面的概率和最大的行和列确定：
Figure FDA0002642212430000064
Figure FDA0002642212430000065
式中，x,y分别表示预测字符的行坐标和列坐标；
将真实字符集与预测字符集比较，计算出正确识别率P；
信息转换率反映了P300字符拼写器识别速度，表达式如下：
Figure FDA0002642212430000071
式中，ITR表示信息转换率,P代表识别一个字符的概率，log2表示以2为底的对数函数，N代表类别数目，在该拼写器下，N＝36，T表示识别一个字符所需要的时间，表达式如下：
T＝2.5+2.1·n,1≤n≤K
式中，n为前n个周期，K为单个字符实验组的重复周期数。
CN201810043775.5A 2018-01-17 2018-01-17 一种基于lstm网络的p300信号检测方法 Active CN108304917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810043775.5A CN108304917B (zh) 2018-01-17 2018-01-17 一种基于lstm网络的p300信号检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810043775.5A CN108304917B (zh) 2018-01-17 2018-01-17 一种基于lstm网络的p300信号检测方法

Publications (2)

Publication Number Publication Date
CN108304917A CN108304917A (zh) 2018-07-20
CN108304917B true CN108304917B (zh) 2020-11-24

Family

ID=62865583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810043775.5A Active CN108304917B (zh) 2018-01-17 2018-01-17 一种基于lstm网络的p300信号检测方法

Country Status (1)

Country Link
CN (1) CN108304917B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034092A (zh) * 2018-08-09 2018-12-18 燕山大学 用于监控系统的异常事件检测方法
CN110263606B (zh) * 2018-08-30 2020-09-25 周军 基于端到端卷积神经网络的头皮脑电特征提取分类方法
CN109124625B (zh) * 2018-09-04 2021-07-20 大连理工大学 一种驾驶员疲劳状态水平分级方法
CN109389059B (zh) * 2018-09-26 2021-09-21 华南理工大学 一种基于cnn-lstm网络的p300检测方法
CN109614885A (zh) * 2018-11-21 2019-04-12 齐鲁工业大学 一种基于lstm的脑电信号快速分类识别方法
CN109840511A (zh) * 2018-12-29 2019-06-04 深兰科技（上海）有限公司 一种信号分类方法、终端及存储介质
CN109784242B (zh) * 2018-12-31 2022-10-25 陕西师范大学 基于一维残差卷积神经网络的脑电信号去噪方法
CN109820525A (zh) * 2019-01-23 2019-05-31 五邑大学 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法
CN109948427A (zh) * 2019-01-24 2019-06-28 齐鲁工业大学 一种基于长短时记忆模型的意念识别方法
CN110084172B (zh) * 2019-04-23 2022-07-29 北京字节跳动网络技术有限公司 文字识别方法、装置和电子设备
CN110236525A (zh) * 2019-06-27 2019-09-17 上海数创医疗科技有限公司 一种基于迁移学习的室性心动过速心律识别用神经网络
CN110367933A (zh) * 2019-07-15 2019-10-25 天津大学 基于复杂网络和深度学习的睡眠阶段分类方法及应用
CN110244854A (zh) * 2019-07-16 2019-09-17 湖南大学 一种多类别脑电数据识别的人工智能方法
CN110516735B (zh) * 2019-08-27 2023-05-26 天津科技大学 一种基于LSTM网络和Adam算法的天然气管道事件分类方法
CN110633417B (zh) * 2019-09-12 2023-04-07 齐鲁工业大学 一种基于服务质量的web服务推荐的方法及系统
CN110766070A (zh) * 2019-10-22 2020-02-07 北京威信通信息技术股份有限公司 一种基于循环自编码器的稀少信号识别方法及装置
CN111134666B (zh) * 2020-01-09 2021-05-11 中国科学院软件研究所 一种多通道脑电数据的情绪识别方法及电子装置
CN111679970B (zh) * 2020-05-14 2022-09-27 南京理工大学 机器人软件系统运行环境状态预测方法
CN111865863B (zh) * 2020-07-20 2021-07-20 山东大学 一种基于rnn神经网络的ofdm信号检测方法
CN111861926B (zh) * 2020-07-24 2023-09-29 南京信息工程大学滨江学院 一种基于空域组增强机制与长短时记忆网络的图像去雨方法
CN112446289B (zh) * 2020-09-25 2023-08-22 华南理工大学 一种提高p300拼写器性能的方法
CN112381124B (zh) * 2020-10-30 2023-11-14 华南理工大学 一种基于动态逆学习网络的提高脑机接口性能的方法
CN112336357A (zh) * 2020-11-06 2021-02-09 山西三友和智慧信息技术股份有限公司 一种基于rnn-cnn的emg信号分类系统及方法
CN113017645B (zh) * 2021-02-25 2022-03-29 华南理工大学 一种基于空洞卷积神经网络的p300信号检测方法
CN112884063B (zh) * 2021-03-11 2023-07-14 广东工业大学 基于多元时空卷积神经网络的p300信号检测识别方法
CN113093695A (zh) * 2021-03-23 2021-07-09 武汉大学 一种数据驱动的sdn控制器故障诊断系统
CN113191395B (zh) * 2021-04-07 2024-02-09 杭州电子科技大学 一种基于双脑的多层次信息融合的目标检测方法
CN113343798A (zh) * 2021-05-25 2021-09-03 中电云脑(天津)科技有限公司 一种脑机接口分类模型的训练方法、装置、设备及介质
WO2023056614A1 (zh) * 2021-10-09 2023-04-13 大连理工大学 一种基于堆叠长短期记忆网络的轴流压气机旋转失速预测方法
CN115525076A (zh) * 2022-10-08 2022-12-27 北京航空航天大学 一种基于lstm神经网络的原子气室温度自抗扰控制方法
CN116881996B (zh) * 2023-09-07 2023-12-01 华南理工大学 基于鼠标操作的建模意图预测方法
CN117056708A (zh) * 2023-10-11 2023-11-14 成都大公博创信息技术有限公司 一种基于多尺度特征融合和cnn-lstm的ais信号识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515199A (zh) * 2009-03-24 2009-08-26 北京理工大学 一种基于视线跟踪和p300脑电电位的字符输入装置
CN103955270A (zh) * 2014-04-14 2014-07-30 华南理工大学 一种基于p300的脑机接口系统的字符高速输入方法
CN107468211A (zh) * 2010-01-18 2017-12-15 艾欧敏达有限公司 用于分析神经生理学数据的方法和系统以及评估系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10531806B2 (en) * 2013-12-17 2020-01-14 University Of Florida Research Foundation, Inc. Brain state advisory system using calibrated metrics and optimal time-series decomposition
US20170031440A1 (en) * 2015-07-28 2017-02-02 Kennesaw State University Research And Service Foundation, Inc. Brain-controlled interface system and candidate optimization for same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515199A (zh) * 2009-03-24 2009-08-26 北京理工大学 一种基于视线跟踪和p300脑电电位的字符输入装置
CN107468211A (zh) * 2010-01-18 2017-12-15 艾欧敏达有限公司 用于分析神经生理学数据的方法和系统以及评估系统
CN103955270A (zh) * 2014-04-14 2014-07-30 华南理工大学 一种基于p300的脑机接口系统的字符高速输入方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Deep learning based on Batch Normalization for P300 signal detection;Mingfei Liu;《Neurocomputing》;20170907;288-297页 *
DEEP RECURRENT CONVOLUTIONAL NEURAL NETWORKS FOR CLASSIFYING P300 BCI SIGNALS;R. K. Maddula;《Proceedings of the 7th Graz Brain-Computer Interface Conference 2017 》;20171231;1-7页 *
Grouped Automatic Relevance Determination and Its Application in Channel Selection for P300 BCIs;Tianyou Yu;《IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, VOL. 23, NO. 6, NOVEMBER 2015》;20151231;1068-1077页 *
LEARNING REPRESENTATIONS FROM EEG WITH DEEP RECURRENT-CONVOLUTIONAL NEURAL NETWORKS;Pouya Bashivan;《arXiv:1511.06448v3 [cs.LG] 29 Feb 2016》;20161231;1-15页 *

Also Published As

Publication number Publication date
CN108304917A (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
CN108304917B (zh) 一种基于lstm网络的p300信号检测方法
CN109389059B (zh) 一种基于cnn-lstm网络的p300检测方法
CN109784023B (zh) 基于深度学习的稳态视觉诱发脑电身份识别方法及系统
CN107961007A (zh) 一种结合卷积神经网络和长短时记忆网络的脑电识别方法
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
CN112656427A (zh) 一种基于维度模型的脑电信号情绪识别方法
Cheng et al. A motor imagery EEG feature extraction method based on energy principal component analysis and deep belief networks
CN108960182A (zh) 一种基于深度学习的p300事件相关电位分类识别方法
CN108577865A (zh) 一种心理状态确定方法及装置
CN110969108A (zh) 一种基于自主运动想象脑电的肢体动作识别方法
CN101828921A (zh) 基于视觉诱发脑电vep的身份识别方法
Thenmozhi et al. Feature selection using extreme gradient boosting Bayesian optimization to upgrade the classification performance of motor imagery signals for BCI
CN113017645B (zh) 一种基于空洞卷积神经网络的p300信号检测方法
CN109948427A (zh) 一种基于长短时记忆模型的意念识别方法
Li et al. Patient-specific seizure prediction from electroencephalogram signal via multichannel feedback capsule network
CN104571504A (zh) 一种基于想象动作的在线脑-机接口方法
CN118094317A (zh) 一种基于TimesNet和卷积神经网络的运动想象脑电信号分类系统
CN115859185A (zh) 基于脉冲卷积神经网络的脑电情绪识别方法
Kim et al. eRAD-Fe: Emotion recognition-assisted deep learning framework
CN112001305A (zh) 基于梯度提升决策树的特征优化ssvep异步识别方法
CN115530754A (zh) 基于深度学习的癫痫预警方法及装置
CN117338313B (zh) 基于堆叠集成技术的多维度特征脑电信号识别方法
CN112998725A (zh) 一种基于运动观察的脑机接口技术的康复方法与系统
CN110738093B (zh) 基于改进小世界回声状态网络肌电的分类方法
CN117407748A (zh) 基于图卷积和融合注意力的脑电情绪识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220325

Address after: 510530 No. 39, Ruihe Road, Huangpu District, Guangzhou, Guangdong

Patentee after: Guangzhou Guangda Innovation Technology Co.,Ltd.

Address before: 510640 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District

Patentee before: SOUTH CHINA University OF TECHNOLOGY

TR01 Transfer of patent right