CN107844755A - 一种结合dae和cnn的脑电信号特征提取与分类方法 - Google Patents
一种结合dae和cnn的脑电信号特征提取与分类方法 Download PDFInfo
- Publication number
- CN107844755A CN107844755A CN201710993587.4A CN201710993587A CN107844755A CN 107844755 A CN107844755 A CN 107844755A CN 201710993587 A CN201710993587 A CN 201710993587A CN 107844755 A CN107844755 A CN 107844755A
- Authority
- CN
- China
- Prior art keywords
- mrow
- data
- msup
- msub
- eeg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Physiology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Fuzzy Systems (AREA)
- Psychology (AREA)
- Image Analysis (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明请求保护一种结合降噪自动编码机和卷积神经网络的脑电信号特征提取与分类方法,该方法包括步骤:通过脑电信号采集仪采集脑电数据;对采集到的数据进行去除异样样本、去均值、信号滤波等预处理;使用加入噪声系数的自动编码机对脑电信号进行训练;将降噪自动编码机的隐含层作为特征数据输出;再将所得特征数据转化为类似图像格式;利用卷积神经网络进行分类;最后利用测试数据集对训练好的网络进行性能测试。本发明相对其余传统方法能够获得更高的分类准确率,更强的鲁棒性。
Description
技术领域
本发明属于一种脑电信号的特征提取及分类方法,尤其涉及一种结合降噪自动编码机和卷积神经网络的脑电信号特征提取与分类方法。
背景技术
脑机接口(brain-computer interface,BCI)是独立于外周神经组织与外部设备间直接建立通信通道,自首次提出后成为脑科学与认知科学领域研究热点。在脑机接口系统中,信号识别通常包括预处理、特征提取和分类三部分。
传统方法中,预处理方面:采用小波变换、ICA处理,空域滤波等方法,本发明参考其方法进行了三个步骤的信号预处理。特征提取方面:采用共同空间模式(CSP)对运动想象进行特征提取,但时域分析开销太大,对脑电通道数要求较高;利用自回归模型法(AR)进行预测,但AR模型适合单通道数据,对于复杂高维的脑电信号存在局限性,分类准确率不高。分类方法方面:运用线性判别分析(LDA),但LDA适用于线性样本,对本文提到的非线性脑电数据并不适用;运用了支持向量机(SVM),SVM可以较好解决复杂非线性数据,但作为有监督网络,训练、测试过程都需要标签,参数调整复杂。
降噪自动编码机(Denoising Auto Encoder,DAE)和卷积神经网络(Convolutional Neural Network,CNN)都属于深度学习理论。DAE首次提出后,应用于文本、图像等的降维,其效果优于传统的特征降维算法。CNN由Lecun提出后,被广泛应用于图像识别、人脸检测、文本处理等领域。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种减小未标记样本的浪费和提高模型的泛化能力,提高准确度的结合DAE和CNN的脑电信号特征提取与分类方法。本发明的技术方案如下:
一种结合DAE和CNN的脑电信号特征提取与分类方法,其包括以下步骤:
1)、通过脑电信号采集仪采集脑电数据;2)、对采集到的数据进行包括去除异样样本、去均值、信号滤波在内的预处理;3)、使用加入噪声系数的降噪自动编码机DAE对经过步骤2)预处理后的脑电信号进行无监督训练;4)、将降噪自动编码机DAE的隐含层的数据提取出来并加入步骤1)的原始脑电数据,形成新矩阵,将得到的新矩阵数据转化为图像数据格式作为卷积神经网络的输入数据;5)、利用卷积神经网络CNN进行训练分类;最后利用测试数据集对训练好的网络进行性能测试,输入测试数据集,将输出值与左右手标签对比,得到运动想象脑电信号的分类准确率。
进一步的,,所述步骤1)通过脑电信号采集仪采集脑电数据具体包括步骤:
对被采集对象,采集设备采用Emotiv+采集仪,电极根据国际10-20标准安放,采样频率为256Hz,采样通道选取14个即去除两个参考电极,采样时间为2-4s,去掉前期及后期不稳定信号,选取中间平稳的1秒信号,左右手想象任务各执行120次,将采集到的信号组成数据集,将数据集按照数据量大小3:1划分为训练集、测试集。
进一步的,所述步骤2)进行数据预处理包括步骤:首先进行去除异样样本,以平均电位作为基准值,每个样本数据与其对比,筛除差异值较大的;再进行信号数据去均值,将每个样本幅值减去平均幅值;最后进行信号滤波,采用两种滤波形式,频率滤波和空间滤波,即选择运动想象重要频带8~30Hz进行带通滤波,空间滤波采用大拉普拉斯参考。
进一步的,所述步骤3)将经过步骤2)预处理的脑电数据作为降噪自动编码机的输入,初始化自动降噪编码机的网络结构,构造含有两层隐含层的自动降噪编码机,并确定节点数[m,n,o];再设置加噪a系数,原始数据数据向量x乘以a得到x′,按照编码公式y=fθ(x′)=s(Wx′+b)得到第一层隐含层的输出,再将第一层隐含层的输出重复此步骤,得到隐含层的输出;再按解码公式z=gθ(y)=s(W′y+b′)得到网络输出,网络多次迭代训练,最小化损失函数来取得最佳参数,此时参数{w,b}按梯度下降法更新。
进一步的,利用最小化损失函数来获得最佳参数,具体包括以下步骤:
A1、令权值参数θ={W,b},θ′={W′,b′},DAE的损失函数如公式1:
采用损失函数最小化来优化参数,即优化函数如公式2:
fθ(xi)表示编码函数,gθ′表示解码函数求导,xi表示输入矩阵,θ*′表示加噪后权值参数,θ*表示原权值参数。
A2、训练过程中参数{w,b}按梯度下降法更新,流程如下:求出Δw=Δw+▽wL(x,z)Δb=Δb+▽bL(x,z)设置学习率ε大小,参数{w,b}按公式3、4更新。
b表示偏置
进一步的,所述步骤4)将训练好的降噪自动编码机的隐含层数据y提取出来,并加入原始输入数据,形成新矩阵,再将脑电信号数据转化为图像数据格式,作为卷积神经网络的输入数据;训练过程中初始化卷积神经网络各参数后,按照前向传播公式得到输出数据;按误差反向传播更新下采样层、卷积层、全连接层的参数;当误差满足一定的精度要求,保存权值和阈值,网络训练完成,反之继续迭代调整权值和阈值量,直至达到误差精度要求。进一步的,步骤4)中的降噪自动编码机的隐含层数据y提取出来,并加入原始输入数据,形成新矩阵{x,y},作为卷积神经网络的输入数据,具体包括以下步骤:
通过降噪自动编码机得到由隐含层和输入层组合而得的新输入数据矩阵y′如公式5所示:
y′=(x,y)=[x,s(wx′+b)] (5)
再将y′进行卷积运算、池化以及全连接。
所述按误差反向传播更新下采样层、卷积层、全连接层的参数,具体包括以下步骤:
A1、按公式(6)计算输出总误差En
其中N为分类类别数,t为期望输出,z为实际输出;
A2、按误差反向传播更新参数,卷积层按公式(7)、(8)更新:
A3、下采样层参数按公式(9)、(10)更新:
符号ο表示每个元素相乘;
A4、全连接层参数按公式(11)更新:
在以上公式中δl表示灵敏度,η为特定的学习率。
本发明的优点及有益效果如下:
本发明将机器学习中的深度学习思想应用于脑电信号识别,提出将自动编码机进行降噪改进,利用DAE对原始数据进行学习,将隐含层信息作为提取到的特征输出,形成新的输入数据,再将脑电数据转化为图像类似格式,利用卷积神经网络进行分类。本发明能够很好地提取出特征信号,分类器的泛化能力强,同时作为半监督网络,简化了数据采集过程和网络训练过程。
附图说明
图1是本发明提供优选实施例结合降噪自动编码机和卷积神经网络的脑电信
号特征提取与分类流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
(1)选取三名健康男性受试者,设备上有16个电极,其中包含参考电极CMS及DRL和14个可拆卸电极,按照国际标准10-20安放。实验环境安静且无噪声干扰,采集信号过程如下:t=0s时,实验开始,受试者保持脑部清醒且放松;t=2s时,出现提示音,受试者根据电脑屏幕标识执行左手或右手想象任务;t=4s时,受试者根据提示音结束本次任务,做短暂休息,准备下次实验。该设备采样频率为256Hz,采样时间为2-4s,去掉前期及后期不稳定信号,选取中间平稳的1秒信号,左右手想象任务各执行120次,即数据样本为240个,通道数为14,数据集大小为3584×240。
(2)脑电信号采集通常带有多种噪声,为了更好地进行特征提取及信号分类,本文进行了以下三个步骤的信号预处理过程:Step1:去除异样样本。以平均电位作为基准值,每个样本数据与其对比,筛除差异值较大的;Step2:去均值。为了降低运算复杂度,将每个样本幅值减去平均幅值。Step3:信号滤波;为了提高信噪比,本文采用了两种滤波形式,频率滤波和空间滤波。选择运动想象重要频带8~30Hz进行带通滤波,空间滤波采用大拉普拉斯参考。
(3)初始化自动降噪编码机网络结构,构造含有两层隐含层的自动降噪编码机,并确定节点数[m,n,o]。设置加噪a系数,原始数据x乘以a得到x′,按照编码函数,解码函数,和最小化损失函数,迭代多次,根据梯度下降法,获取降噪自动编码机的最佳参数。
(4)通过前面三个步骤将训练好的网络DAE的隐含层数据y提取出来,并加入原始输入数据,形成新矩阵{x,y},作为卷积神经网络的输入数据。
(5)初始化CNN网络各个权值w以及阈值参数。训练卷积神经网络得到输出数据。
对CNN的具体训练步骤如下:
输入层经过可学习的卷积核卷积,再通过激活函数得到C1卷积层。计算公式如(1)所示:
表示网络l层第j个神经元的激活值,f()为激活函数,为前层第i个特征图和当前层第j个特征图的卷积核,Mj为前一层特征数据集合,Bl为偏置项。卷积运算可以加强特征信号,减弱噪声数据。
网络经过卷积后,特征图个数增加,为了避免维数过大,卷积层后加入下采样运算,在保持原有信息的基础上,有效地降低了维度,计算过程如(2)所示:
其中down()为次抽样函数。降采样通过对输入特征集窗口滑动化分为多个n×n个小块,通过对每个块内求和、求均值等,使输出数据维度为原始的1n。
CNN模型在全连接层中,每个神经元与上层的每个神经元相连,输出通过对输入加权求和以及激活函数响应得到,运算过程如公式(3)所示:
其中f为激活函数,为全连接的权重系数,为偏置。
(6)按误差反向传播更新参数,更新卷积层、下采样层、全连接层参数。
(7)当误差满足一定的精度要求,保存权值和阈值,网络训练完成,反之继续迭代调整权值和阈值量,直至达到误差精度要求。
(8)输入测试数据,利用上述步骤训练好的网络模型进行测试,得到分类准确率。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (8)
1.一种结合DAE和CNN的脑电信号特征提取与分类方法,其特征在于,包括以下步骤:
1)、通过脑电信号采集仪采集脑电数据;2)、对采集到的数据进行包括去除异样样本、去均值、信号滤波在内的预处理;3)、使用加入噪声系数的降噪自动编码机DAE对经过步骤2)预处理后的脑电信号进行无监督训练;4)、将降噪自动编码机DAE的隐含层的数据提取出来并加入步骤1)的原始脑电数据,形成新矩阵,将得到的新矩阵数据转化为图像数据格式作为卷积神经网络的输入数据;5)、利用卷积神经网络CNN进行训练分类;最后利用测试数据集对训练好的网络进行性能测试,输入测试数据集,将输出值与左右手标签对比,得到运动想象脑电信号的分类准确率。
2.根据权利要求1所述的脑电信号特征提取与分类方法,其特征在于,所述步骤1)通过脑电信号采集仪采集脑电数据具体包括步骤:
对被采集对象,采集设备采用Emotiv+采集仪,电极根据国际10-20标准安放,采样频率为256Hz,采样通道选取14个即去除两个参考电极,采样时间为2-4s,去掉前期及后期不稳定信号,选取中间平稳的1秒信号,左右手想象任务各执行120次,将采集到的信号组成数据集,将数据集按照数据量大小3:1划分为训练集、测试集。
3.根据权利要求1或2所述的脑电信号特征提取与分类方法,其特征在于,所述步骤2)进行数据预处理包括步骤:首先进行去除异样样本,以平均电位作为基准值,每个样本数据与其对比,筛除差异值较大的;再进行信号数据去均值,将每个样本幅值减去平均幅值;最后进行信号滤波,采用两种滤波形式,频率滤波和空间滤波,即选择运动想象重要频带8~30Hz进行带通滤波,空间滤波采用大拉普拉斯参考。
4.根据权利要求3所述的脑电信号特征提取与分类方法,其特征在于,所述步骤3)将经过步骤2)预处理的脑电数据作为降噪自动编码机的输入,初始化自动降噪编码机的网络结构,构造含有两层隐含层的自动降噪编码机,并确定节点数[m,n,o];再设置加噪a系数,原始数据数据向量x乘以a得到x′,按照编码公式y=fθ(x′)=s(Wx′+b)得到第一层隐含层的输出,再将第一层隐含层的输出重复此步骤,得到隐含层的输出;再按解码公式z=gθ(y)=s(W′y+b′)得到网络输出,网络多次迭代训练,最小化损失函数来取得最佳参数,此时参数{w,b}按梯度下降法更新。
5.根据权利要求4所述的脑电信号特征提取与分类方法,其特征在于,利用最小化损失函数来获得最佳参数,具体包括以下步骤:
A1、令权值参数θ={W,b},θ′={W′,b′},DAE的损失函数如公式1:
<mrow>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>z</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mo>&lsqb;</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mi>lg</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>lg</mi>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
采用损失函数最小化来优化参数,即优化函数如公式2:
<mrow>
<mo>(</mo>
<msup>
<mi>&theta;</mi>
<mo>*</mo>
</msup>
<mo>,</mo>
<msup>
<mi>&theta;</mi>
<mrow>
<mo>*</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>)</mo>
<mo>=</mo>
<mi>arg</mi>
<mi> </mi>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mi>L</mi>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msup>
<msub>
<mi>g</mi>
<mi>&theta;</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>&lsqb;</mo>
<msub>
<mi>f</mi>
<mi>&theta;</mi>
</msub>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<mo>&rsqb;</mo>
<mo>)</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
fθ(xi)表示编码函数,gθ′表示解码函数求导,xi表示输入矩阵,θ*′表示加噪后权值参数,θ*表示原权值参数;
A2、训练过程中参数{w,b}按梯度下降法更新,流程如下:求出Δw=Δw+▽wL(x,z)Δb=Δb+▽bL(x,z)设置学习率ε大小,参数{w,b}按公式3、4更新。
<mrow>
<mi>w</mi>
<mo>=</mo>
<mi>w</mi>
<mo>-</mo>
<mi>&epsiv;</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<mi>&Delta;</mi>
<mi>w</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
b表示偏置。
6.根据权利要求5所述的脑电信号特征提取与分类方法,其特征在于,
所述步骤4)将训练好的降噪自动编码机的隐含层数据y提取出来,并加入原始输入数据,形成新矩阵,再将脑电信号数据转化为图像数据格式,作为卷积神经网络的输入数据;训练过程中初始化卷积神经网络各参数后,按照前向传播公式得到输出数据;按误差反向传播更新下采样层、卷积层、全连接层的参数;当误差满足一定的精度要求,保存权值和阈值,网络训练完成,反之继续迭代调整权值和阈值量,直至达到误差精度要求。
7.根据权利要求6所述的脑电信号特征提取与分类方法,其特征在于,步步骤4)中的降噪自动编码机的隐含层数据y提取出来,并加入原始输入数据,形成新矩阵{x,y},作为卷积神经网络的输入数据,具体包括以下步骤:
通过降噪自动编码机得到由隐含层和输入层组合而得的新输入数据矩阵y′如公式5所示:
y′=(x,y)=[x,s(wx′+b)] (5)
再将y′进行卷积运算、池化以及全连接。
8.根据权利要求6所述的脑电信号特征提取与分类方法,其特征在于,所述按误差反向传播更新下采样层、卷积层、全连接层的参数,具体包括以下步骤:
A1、按公式(6)计算输出总误差En 其中N为分类类别数,t为期望输出,z为实际输出;
A2、按误差反向传播更新参数,卷积层按公式(7)、(8)更新:
<mrow>
<msubsup>
<mi>&Delta;k</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<mo>-</mo>
<mi>&eta;</mi>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>E</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<msubsup>
<mi>K</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>l</mi>
</msubsup>
</mrow>
</mfrac>
<mo>=</mo>
<mo>-</mo>
<mi>&eta;</mi>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</munder>
<msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&delta;</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>p</mi>
<mi>i</mi>
<mrow>
<mi>l</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msup>
<mi>&Delta;b</mi>
<mi>l</mi>
</msup>
<mo>=</mo>
<mo>-</mo>
<mi>&eta;</mi>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>E</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<msup>
<mi>b</mi>
<mi>l</mi>
</msup>
</mrow>
</mfrac>
<mo>=</mo>
<mo>-</mo>
<mi>&eta;</mi>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</munder>
<msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&delta;</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
A3、下采样层参数按公式(9)、(10)更新:
符号表示每个元素相乘;
<mrow>
<msup>
<mi>&Delta;b</mi>
<mi>l</mi>
</msup>
<mo>=</mo>
<mo>-</mo>
<mi>&eta;</mi>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>E</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<msup>
<mi>b</mi>
<mi>l</mi>
</msup>
</mrow>
</mfrac>
<mo>=</mo>
<mo>-</mo>
<mi>&eta;</mi>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</munder>
<msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&delta;</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
A4、全连接层参数按公式(11)更新:
<mrow>
<msup>
<mi>&Delta;w</mi>
<mi>l</mi>
</msup>
<mo>=</mo>
<mo>-</mo>
<mi>&eta;</mi>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>E</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<msup>
<mi>u</mi>
<mi>l</mi>
</msup>
</mrow>
</mfrac>
<mo>=</mo>
<mo>-</mo>
<msup>
<mi>&eta;x</mi>
<mrow>
<mi>l</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msup>
<mrow>
<mo>(</mo>
<msup>
<mi>&delta;</mi>
<mi>l</mi>
</msup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
在以上公式中δl表示灵敏度,η为特定的学习率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710993587.4A CN107844755B (zh) | 2017-10-23 | 2017-10-23 | 一种结合dae和cnn的脑电信号特征提取与分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710993587.4A CN107844755B (zh) | 2017-10-23 | 2017-10-23 | 一种结合dae和cnn的脑电信号特征提取与分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107844755A true CN107844755A (zh) | 2018-03-27 |
CN107844755B CN107844755B (zh) | 2021-07-13 |
Family
ID=61662732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710993587.4A Active CN107844755B (zh) | 2017-10-23 | 2017-10-23 | 一种结合dae和cnn的脑电信号特征提取与分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107844755B (zh) |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108836312A (zh) * | 2018-07-13 | 2018-11-20 | 希蓝科技(北京)有限公司 | 一种新型基于人工智能的进行杂波剔除的方法及系统 |
CN108898222A (zh) * | 2018-06-26 | 2018-11-27 | 郑州云海信息技术有限公司 | 一种自动调节网络模型超参数的方法和装置 |
CN108898157A (zh) * | 2018-05-28 | 2018-11-27 | 浙江理工大学 | 基于卷积神经网络的数值型数据的雷达图表示的分类方法 |
CN108921141A (zh) * | 2018-08-16 | 2018-11-30 | 广东工业大学 | 一种基于深度自编码神经网络的脑电信号eeg特征提取方法 |
CN109002798A (zh) * | 2018-07-19 | 2018-12-14 | 大连理工大学 | 一种基于卷积神经网络的单导视觉诱发电位提取方法 |
CN109271898A (zh) * | 2018-08-31 | 2019-01-25 | 电子科技大学 | 基于优化卷积神经网络的溶洞体识别算法 |
CN109359610A (zh) * | 2018-10-26 | 2019-02-19 | 齐鲁工业大学 | 构建cnn-gb模型的方法及系统、数据特征分类方法 |
CN109711383A (zh) * | 2019-01-07 | 2019-05-03 | 重庆邮电大学 | 基于时频域的卷积神经网络运动想象脑电信号识别方法 |
CN109726751A (zh) * | 2018-12-21 | 2019-05-07 | 北京工业大学 | 基于深度卷积神经网络识别脑电成像图的方法 |
CN109766845A (zh) * | 2019-01-14 | 2019-05-17 | 首都医科大学宣武医院 | 一种脑电信号分类方法、装置、设备和介质 |
CN109784023A (zh) * | 2018-11-28 | 2019-05-21 | 西安电子科技大学 | 基于深度学习的稳态视觉诱发脑电身份识别方法及系统 |
CN109859570A (zh) * | 2018-12-24 | 2019-06-07 | 中国电子科技集团公司电子科学研究院 | 一种大脑训练方法及系统 |
CN109871882A (zh) * | 2019-01-24 | 2019-06-11 | 重庆邮电大学 | 基于高斯伯努利卷积深度置信网络的脑电信号分类方法 |
CN109965885A (zh) * | 2019-04-24 | 2019-07-05 | 中国科学院电子学研究所 | 一种基于去噪自动编码器的bcg信号降噪方法及装置 |
CN110169768A (zh) * | 2019-07-08 | 2019-08-27 | 河北大学 | 一种心电信号的自动降噪方法 |
CN110232341A (zh) * | 2019-05-30 | 2019-09-13 | 重庆邮电大学 | 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法 |
CN110263606A (zh) * | 2018-08-30 | 2019-09-20 | 周军 | 基于端到端卷积神经网络的头皮脑电特征提取分类方法 |
CN110751032A (zh) * | 2019-09-20 | 2020-02-04 | 华中科技大学 | 一种无需校准的脑机接口模型的训练方法 |
CN111012336A (zh) * | 2019-12-06 | 2020-04-17 | 重庆邮电大学 | 时空特征融合的并行卷积网络运动想象脑电图分类方法 |
CN111091193A (zh) * | 2019-10-31 | 2020-05-01 | 武汉大学 | 一种面向深度神经网络的基于差分隐私的域适应隐私保护方法 |
CN111265210A (zh) * | 2020-03-24 | 2020-06-12 | 华中科技大学 | 一种基于深度学习的房颤预测装置和设备 |
CN111476282A (zh) * | 2020-03-27 | 2020-07-31 | 东软集团股份有限公司 | 数据分类方法、装置、存储介质及电子设备 |
CN112308104A (zh) * | 2019-08-02 | 2021-02-02 | 杭州海康威视数字技术股份有限公司 | 异常识别方法、装置及计算机存储介质 |
CN112336318A (zh) * | 2019-08-09 | 2021-02-09 | 复旦大学 | 一种自适应多模态融合的脉搏位置精确定位方法 |
CN112364977A (zh) * | 2020-10-30 | 2021-02-12 | 南京航空航天大学 | 一种基于脑机接口的运动想象信号的无人机控制方法 |
CN112464837A (zh) * | 2020-12-03 | 2021-03-09 | 中国人民解放军战略支援部队信息工程大学 | 基于小数据样本的浅海水声通信信号调制识别方法及系统 |
CN112505010A (zh) * | 2020-12-01 | 2021-03-16 | 安徽理工大学 | 一种基于荧光光谱的变压器故障诊断装置及方法 |
CN112861625A (zh) * | 2021-01-05 | 2021-05-28 | 深圳技术大学 | 一种堆叠去噪自编码器模型确定方法 |
CN113361484A (zh) * | 2020-09-29 | 2021-09-07 | 中国人民解放军军事科学院国防科技创新研究院 | 针对eeg信号分类任务的深度学习网络架构搜索方法 |
WO2021189705A1 (zh) * | 2020-03-26 | 2021-09-30 | 五邑大学 | 一种脑电信号生成网络、方法及存储介质 |
CN114154400A (zh) * | 2021-11-15 | 2022-03-08 | 中国人民解放军63963部队 | 无人车辆健康状态检测系统及检测方法 |
CN114492501A (zh) * | 2021-12-13 | 2022-05-13 | 重庆邮电大学 | 基于改进smote算法的脑电信号样本扩充方法、介质及系统 |
CN115409073A (zh) * | 2022-10-31 | 2022-11-29 | 之江实验室 | 一种面向i/q信号识别的半监督宽度学习方法及装置 |
CN115844422A (zh) * | 2022-11-25 | 2023-03-28 | 重庆邮电大学 | 一种神经元锋电位分类方法 |
CN114492501B (zh) * | 2021-12-13 | 2024-09-27 | 重庆邮电大学 | 基于改进smote算法的脑电信号样本扩充方法、介质及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106529476A (zh) * | 2016-11-11 | 2017-03-22 | 重庆邮电大学 | 一种基于深层堆叠网络的脑电信号特征提取及分类方法 |
CN107145836A (zh) * | 2017-04-13 | 2017-09-08 | 西安电子科技大学 | 基于栈式边界辨别自编码器的高光谱图像分类方法 |
-
2017
- 2017-10-23 CN CN201710993587.4A patent/CN107844755B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106529476A (zh) * | 2016-11-11 | 2017-03-22 | 重庆邮电大学 | 一种基于深层堆叠网络的脑电信号特征提取及分类方法 |
CN107145836A (zh) * | 2017-04-13 | 2017-09-08 | 西安电子科技大学 | 基于栈式边界辨别自编码器的高光谱图像分类方法 |
Non-Patent Citations (4)
Title |
---|
PASCAL VINCENT ET AL.: "Extracting and Composing Robust Features with Denoising Autoencoders", 《PROCEEDINGS OF THE 25 TH INTERNATIONAL CONFERENCE》 * |
SUN WENJUN ET AL.: "A sparse auto-encoder-based deep neural network approach for induction motor faults classification", 《ELSEVIER》 * |
刘庆 等: "基于非监督预训练的结构优化卷积神经网络", 《工程科学与技术》 * |
张娜 等: "基于半监督学习的脑电信号特征提取及识别", 《工程科学与技术》 * |
Cited By (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108898157A (zh) * | 2018-05-28 | 2018-11-27 | 浙江理工大学 | 基于卷积神经网络的数值型数据的雷达图表示的分类方法 |
CN108898157B (zh) * | 2018-05-28 | 2021-12-24 | 浙江理工大学 | 基于卷积神经网络的数值型数据的雷达图表示的分类方法 |
CN108898222A (zh) * | 2018-06-26 | 2018-11-27 | 郑州云海信息技术有限公司 | 一种自动调节网络模型超参数的方法和装置 |
CN108836312A (zh) * | 2018-07-13 | 2018-11-20 | 希蓝科技(北京)有限公司 | 一种新型基于人工智能的进行杂波剔除的方法及系统 |
CN109002798A (zh) * | 2018-07-19 | 2018-12-14 | 大连理工大学 | 一种基于卷积神经网络的单导视觉诱发电位提取方法 |
CN108921141A (zh) * | 2018-08-16 | 2018-11-30 | 广东工业大学 | 一种基于深度自编码神经网络的脑电信号eeg特征提取方法 |
CN108921141B (zh) * | 2018-08-16 | 2021-10-19 | 广东工业大学 | 一种基于深度自编码神经网络的脑电信号eeg特征提取方法 |
CN110263606B (zh) * | 2018-08-30 | 2020-09-25 | 周军 | 基于端到端卷积神经网络的头皮脑电特征提取分类方法 |
CN110263606A (zh) * | 2018-08-30 | 2019-09-20 | 周军 | 基于端到端卷积神经网络的头皮脑电特征提取分类方法 |
CN109271898A (zh) * | 2018-08-31 | 2019-01-25 | 电子科技大学 | 基于优化卷积神经网络的溶洞体识别算法 |
CN109359610A (zh) * | 2018-10-26 | 2019-02-19 | 齐鲁工业大学 | 构建cnn-gb模型的方法及系统、数据特征分类方法 |
CN109784023A (zh) * | 2018-11-28 | 2019-05-21 | 西安电子科技大学 | 基于深度学习的稳态视觉诱发脑电身份识别方法及系统 |
CN109784023B (zh) * | 2018-11-28 | 2022-02-25 | 西安电子科技大学 | 基于深度学习的稳态视觉诱发脑电身份识别方法及系统 |
CN109726751A (zh) * | 2018-12-21 | 2019-05-07 | 北京工业大学 | 基于深度卷积神经网络识别脑电成像图的方法 |
CN109859570A (zh) * | 2018-12-24 | 2019-06-07 | 中国电子科技集团公司电子科学研究院 | 一种大脑训练方法及系统 |
CN109711383B (zh) * | 2019-01-07 | 2023-03-31 | 重庆邮电大学 | 基于时频域的卷积神经网络运动想象脑电信号识别方法 |
CN109711383A (zh) * | 2019-01-07 | 2019-05-03 | 重庆邮电大学 | 基于时频域的卷积神经网络运动想象脑电信号识别方法 |
CN109766845A (zh) * | 2019-01-14 | 2019-05-17 | 首都医科大学宣武医院 | 一种脑电信号分类方法、装置、设备和介质 |
CN109871882A (zh) * | 2019-01-24 | 2019-06-11 | 重庆邮电大学 | 基于高斯伯努利卷积深度置信网络的脑电信号分类方法 |
CN109965885A (zh) * | 2019-04-24 | 2019-07-05 | 中国科学院电子学研究所 | 一种基于去噪自动编码器的bcg信号降噪方法及装置 |
CN110232341B (zh) * | 2019-05-30 | 2022-05-03 | 重庆邮电大学 | 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法 |
CN110232341A (zh) * | 2019-05-30 | 2019-09-13 | 重庆邮电大学 | 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法 |
CN110169768A (zh) * | 2019-07-08 | 2019-08-27 | 河北大学 | 一种心电信号的自动降噪方法 |
CN112308104A (zh) * | 2019-08-02 | 2021-02-02 | 杭州海康威视数字技术股份有限公司 | 异常识别方法、装置及计算机存储介质 |
CN112336318B (zh) * | 2019-08-09 | 2022-02-18 | 复旦大学 | 一种自适应多模态融合的脉搏位置精确定位方法 |
CN112336318A (zh) * | 2019-08-09 | 2021-02-09 | 复旦大学 | 一种自适应多模态融合的脉搏位置精确定位方法 |
CN110751032B (zh) * | 2019-09-20 | 2022-08-02 | 华中科技大学 | 一种无需校准的脑机接口模型的训练方法 |
CN110751032A (zh) * | 2019-09-20 | 2020-02-04 | 华中科技大学 | 一种无需校准的脑机接口模型的训练方法 |
CN111091193A (zh) * | 2019-10-31 | 2020-05-01 | 武汉大学 | 一种面向深度神经网络的基于差分隐私的域适应隐私保护方法 |
CN111091193B (zh) * | 2019-10-31 | 2022-07-05 | 武汉大学 | 一种面向深度神经网络的基于差分隐私的域适应隐私保护方法 |
CN111012336A (zh) * | 2019-12-06 | 2020-04-17 | 重庆邮电大学 | 时空特征融合的并行卷积网络运动想象脑电图分类方法 |
CN111265210A (zh) * | 2020-03-24 | 2020-06-12 | 华中科技大学 | 一种基于深度学习的房颤预测装置和设备 |
WO2021189705A1 (zh) * | 2020-03-26 | 2021-09-30 | 五邑大学 | 一种脑电信号生成网络、方法及存储介质 |
CN111476282A (zh) * | 2020-03-27 | 2020-07-31 | 东软集团股份有限公司 | 数据分类方法、装置、存储介质及电子设备 |
CN113361484A (zh) * | 2020-09-29 | 2021-09-07 | 中国人民解放军军事科学院国防科技创新研究院 | 针对eeg信号分类任务的深度学习网络架构搜索方法 |
CN112364977A (zh) * | 2020-10-30 | 2021-02-12 | 南京航空航天大学 | 一种基于脑机接口的运动想象信号的无人机控制方法 |
CN112505010A (zh) * | 2020-12-01 | 2021-03-16 | 安徽理工大学 | 一种基于荧光光谱的变压器故障诊断装置及方法 |
CN112464837A (zh) * | 2020-12-03 | 2021-03-09 | 中国人民解放军战略支援部队信息工程大学 | 基于小数据样本的浅海水声通信信号调制识别方法及系统 |
CN112861625A (zh) * | 2021-01-05 | 2021-05-28 | 深圳技术大学 | 一种堆叠去噪自编码器模型确定方法 |
CN112861625B (zh) * | 2021-01-05 | 2023-07-04 | 深圳技术大学 | 一种堆叠去噪自编码器模型确定方法 |
CN114154400A (zh) * | 2021-11-15 | 2022-03-08 | 中国人民解放军63963部队 | 无人车辆健康状态检测系统及检测方法 |
CN114154400B (zh) * | 2021-11-15 | 2023-12-05 | 中国人民解放军63963部队 | 无人车辆健康状态检测系统及检测方法 |
CN114492501A (zh) * | 2021-12-13 | 2022-05-13 | 重庆邮电大学 | 基于改进smote算法的脑电信号样本扩充方法、介质及系统 |
CN114492501B (zh) * | 2021-12-13 | 2024-09-27 | 重庆邮电大学 | 基于改进smote算法的脑电信号样本扩充方法、介质及系统 |
CN115409073B (zh) * | 2022-10-31 | 2023-03-24 | 之江实验室 | 一种面向i/q信号识别的半监督宽度学习方法及装置 |
CN115409073A (zh) * | 2022-10-31 | 2022-11-29 | 之江实验室 | 一种面向i/q信号识别的半监督宽度学习方法及装置 |
CN115844422A (zh) * | 2022-11-25 | 2023-03-28 | 重庆邮电大学 | 一种神经元锋电位分类方法 |
CN115844422B (zh) * | 2022-11-25 | 2024-08-02 | 重庆邮电大学 | 一种神经元锋电位分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107844755B (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107844755A (zh) | 一种结合dae和cnn的脑电信号特征提取与分类方法 | |
CN111832416B (zh) | 一种基于增强卷积神经网络的运动想象脑电信号识别方法 | |
CN106909784A (zh) | 基于二维时频图像深度卷积神经网络的癫痫脑电识别方法 | |
CN110515456A (zh) | 基于注意力机制的脑电信号情感判别方法及装置 | |
CN110353673B (zh) | 一种基于标准互信息的脑电通道选择方法 | |
CN107961007A (zh) | 一种结合卷积神经网络和长短时记忆网络的脑电识别方法 | |
CN111387974B (zh) | 基于深度自编码的脑电特征优化与癫痫发作检测方法 | |
CN104771163A (zh) | 基于csp和r-csp算法的脑电信号特征提取方法 | |
CN109645989B (zh) | 一种麻醉深度估计系统 | |
CN107239142A (zh) | 一种结合公共空间模式算法和emd的脑电信号特征提取方法 | |
CN104586387A (zh) | 一种时、频、空域多参数脑电特征提取与融合方法 | |
CN114533086B (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
CN109711383A (zh) | 基于时频域的卷积神经网络运动想象脑电信号识别方法 | |
CN108960299A (zh) | 一种多类运动想象脑电信号的识别方法 | |
CN109598222B (zh) | 基于eemd数据增强的小波神经网络运动想象脑电分类方法 | |
CN106963370A (zh) | 一种基于支持向量机的脑电放松度识别方法及装置 | |
CN106725452A (zh) | 基于情感诱发的脑电信号识别方法 | |
CN111428601B (zh) | 一种基于ms-cnn的p300信号识别方法、装置及存储介质 | |
CN109730818A (zh) | 一种基于深度学习的假手控制方法 | |
CN112438741B (zh) | 一种基于脑电特征迁移学习的驾驶状态检测方法及系统 | |
CN110074779A (zh) | 一种脑电信号识别方法及装置 | |
CN113180659A (zh) | 一种基于三维特征和空洞全卷积网络的脑电情感识别系统 | |
CN109241879A (zh) | 基于加权复合多尺度模糊熵的运动想象脑电信号的特征提取方法 | |
CN113052099B (zh) | 一种基于卷积神经网络的ssvep分类方法 | |
CN117711442A (zh) | 一种基于cnn-gru融合模型的婴儿哭声分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |