CN110598628A - 一种基于集成深度学习的肌电信号手部运动识别方法 - Google Patents

一种基于集成深度学习的肌电信号手部运动识别方法 Download PDF

Info

Publication number
CN110598628A
CN110598628A CN201910860988.1A CN201910860988A CN110598628A CN 110598628 A CN110598628 A CN 110598628A CN 201910860988 A CN201910860988 A CN 201910860988A CN 110598628 A CN110598628 A CN 110598628A
Authority
CN
China
Prior art keywords
layer
data
convolution
frequency domain
electromyographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910860988.1A
Other languages
English (en)
Other versions
CN110598628B (zh
Inventor
沈澍
顾康
李文娟
顾永杰
刘光源
王思宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201910860988.1A priority Critical patent/CN110598628B/zh
Publication of CN110598628A publication Critical patent/CN110598628A/zh
Application granted granted Critical
Publication of CN110598628B publication Critical patent/CN110598628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于集成深度学习的肌电信号手部运动识别方法,首先对连续肌电信号进行窗口化分割。接着对肌电信号进行预处理,使用离散傅里叶变换提取肌电信号的频域表示数据,使用离散小波包变换提取肌电信号的时频域表示数据,使用min‑max方式对肌电信号时域、频域和时频域数据进行标准化。然后基于卷积神经网络设计了初级分类器模型,分别使用时域、频域和时频域表示数据训练三个初级分类器。最后基于Stacking的方法设计次级分类器,将三个初级分类生成的结果拼接,并用于次级分类器的训练,本发明避免了人工提取特征时重要信息的遗漏,提高了肌电信号手部运动识别的准确率。

Description

一种基于集成深度学习的肌电信号手部运动识别方法
技术领域
本发明涉及一种基于集成深度学习的肌电信号手部运动识别方法,属于深度学习、信号处理和模式识别领域。
背景技术
肌电信号是由人体的肌肉运动所产生的生物电信号的叠加。大量研究表明,使用肌电信号可以检测人体的运动意图。肌电信号的动作识别可以应用于手部假肢控制、轮椅控制、外骨骼以及虚拟交互等非入侵性的人机交互系统。随着传感器技术的发展,肌电信号的采集越来越稳定。因此,肌电信号的分析与识别也更加的受到关注,提升肌电信号识别的准确率也成为亟待解决的问题。
目前,大多数研究者都采用特征工程和机器学习的方法来对肌电信号进行分析与识别。例如R.Meattini等人利用滑动窗口的方式提取信号的均方根值特征,并且使用支持向量机模型进行训练与识别,在机械手抓握任务中取得了90%的准确率。但采用特征工程的方法来对肌电信号进行特征提取,难免会遗漏信号中比较重要的特征信息,从而影响肌电信号识别的准确率。
发明内容
发明目的:为了克服现有的肌电信号识别技术下特征提取会遗漏信号中重要信息和识别准确率不高的问题,本发明提供一种基于集成深度学习的肌电信号手部运动识别方法,利用了卷积神经网络强大的特征提取能力来对肌电信号进行特征提取。本发明采用了卷积神经网络和Stacking集成学习的方法自动提取肌电信号的特征,提升了肌电信号识别的准确率。采用Stacking集成学习的方法来集成三个初级分类器,以进一步提高肌电信号识别的准确率。
技术方案:为实现上述目的,本发明采用的技术方案为:
一种基于集成深度学习的肌电信号手部运动识别方法,包括以下步骤:
步骤1、采集肌电信号,使用重叠加窗的方式对连续肌电信号进行分割;
步骤2、根据分隔后的肌电信号分别提取肌电信号的频域表示数据和时频域表示数据,然后使用min-max的方法对时域、频域和时频域数据进行标准化;其计算公式分别如下:
离散傅里叶变换:
离散小波包变换:
min-max标准化方法:
其中,X(k)为离散傅里叶变换之后的信号,x(n)为肌电信号时域数据,N为窗口长度,e表示自然底数,j表示虚数单位,k表示样本的索引,xa,L1[n]表示上一级的低频部分进行小波包变换后的低频部分,K表示样本的点数,g[k]表示低频滤波,xa,L2[n]表示对上一级的低频部分进行小波包变换后的高频部分,h[k]表示高频滤波,xa,H1[n]表示对上一级的高频部分进行小波包变换后的低频部分,xa,H2[n]表示对上一级的高频部分进行小波包变换后的高频部分,xnormalization为标准化之后的数据,x为样本原始数据,xmax为样本数据的最大值,xmin为样本数据最小值;
步骤3、将经过标准化的时域、频域和时频域肌电信号用于训练三个初级分类器,并且分别输出三个初级分类器的预测结果;所述的初级分类器为基于卷积神经网络的肌电信号特征提取与分类模型,基于卷积神经网络的肌电信号特征提取与分类模型包括Input层(输入层)、IMS层(初始-最大池化-压缩与激励层)、Full-connected层(全连接层)以及Output层(输出层),所述初级分类器的IMS层主要由Inception Block(初始模块)、MaxPooling Block(最大池化模块)和SE Block(压缩和激励模块)组成;所述初级分类器的IMS层中的Inception Block由三个并行的卷积操作和一个级联的数据降维操作组成,并行卷积操作的第一个分支采用一层卷积层,其卷积核大小为1*1;并行卷积操作的第二个分支采用一个卷积层,其卷积核大小为1*3;并行卷积操作的第三个分支采用两层卷积层级联,其卷积核大小均为1*3;数据降维操作采用一层数据连接层和一层卷积层级联组成,其卷积核大小为1*1;Inception Block具体计算公式如下:
其中,为第i个样本的第j类输出,Fconv(x,[m,n,filters])为使用尺寸为[m,n,filters]的卷积核对样本进行的卷积运算,x(i)表示第i个样本,m,n表示滤波器的宽和高,filters表示滤波器的个数,Concat(x1,x2,…)为针对输入样本进行连接的操作,为第i个样本的输出;
步骤4、将三个初级分类器输出的分类结果进行数据拼接,用于训练次级分类器,最后由次级分类器输出手部运动分类的结果,所述的次级分类器主要为基于Stacking方法(堆叠方法)的神经网络分类模型;
步骤5、在进行肌电信号手部运动推理时,首先基于步骤1、2对肌电信号进行预处理,然后将数据经过步骤3训练好的初级分类器进行预测,最后将训练好的初级分类器预测的结果进行拼接,并且经过步骤4训练好的次级分类器进行分类,以获得手部运动分类的最后结果。
优选的:步骤1中采用的窗长为200ms,窗口增量为100ms。
优选的:步骤4中基于Stacking方法的神经网络分类模型包括:Input层(输入层)、SE Block(压缩和激励模块)、Full-connected层(全连接层)、Dropout层(舍弃层)以及Output层(输出层)。
本发明相比现有技术,具有以下有益效果:
(1)本发明通过卷积神经网络来提取肌电信号的特征,无需进行人工特征提取,有效的避免了信号中有效信息的遗漏。
(2)本发明通过Stacking集成学习的方式,对三个初级分类器进行集成,有效的提升了肌电信号识别的准确率。
(3)本发明中提出的方法的适用面广,适用性强,稍作修改便可应用于别的应用场合。
附图说明
图1为本发明的初级分类器的Inception Block结构图
图2为本发明的初级分类器的SE Block结构图
图3为本发明的初级分类器的IMS层结构图
图4为本发明的初级分类器的整体结构图
图5为本发明的次级分类器的整体结构图
图6为本发明的肌电信号手部运动推理流程图
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明,应理解这些实例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于集成深度学习的肌电信号手部运动识别方法,包括以下步骤:
步骤1、采集肌电信号,对连续肌电信号使用重叠窗口化的方法进行分割,采用的窗口长度为200ms,窗口的增量为100ms。
步骤2、在上述分割完成的肌电信号的基础上,使用离散傅里叶变换和离散小波变换提取肌电信号的频域和时频域表示,并且使用min-max标准化方法对时域、频域和时频域数据进行了标准化,具体处理公式如下:
离散傅里叶变换:
离散小波包变换:
min-max标准化方法:
其中X(k)为离散傅里叶变换之后的信号,x(n)为肌电信号时域数据,N为窗口长度。xa,L1[n]和xa,L2[n]为第a层离散小波变换的低频部分数据,xa,H1[n]和xa,H2[n]为第a层离散小波变换的高频部分数据。xnormalization为标准化之后的数据,x为样本原始数据,xmax为样本数据的最大值,xmin为样本数据最小值。
步骤3、将上述标准化之后的时频、频域和时频域数据用于训练三个初级分类器。本发明的初级分类器采用了基于卷积神经网络的结构来对肌电信号进行特征提取。如图1、4所示,是本发明设计的初级分类器中的Inception Block模块。该模块由三个并行的卷积操作和一个级联的数据降维操作组成。并行卷积操作的第一个分支采用一层卷积层,其卷积核大小为1*1。并行卷积操作的第二个分支采用一个卷积层,其卷积核大小为1*3。并行卷积操作的第三个分支采用两层卷积层级联,其卷积核大小均为1*3。数据降维操作采用一层数据连接层和一层卷积层级联组成,其卷积核大小为1*1。Inception Block具体计算公式如下:
其中为第i个样本的第j类输出。Fconv(x,[m,n,filters])为使用尺寸为[m,n,filters]的卷积核对样本进行的卷积运算。Concat(x1,x2,…)为针对输入样本进行连接的操作。为第i个样本的输出。
如图2所示为本发明设计的初级分类器的SE Block,该模块主要从特征通道层面来考虑,以提升网络的性能。该结构可以通过学习的方式来自动获取到每个特征通道的重要程度,然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。
如图3所示,本发明将上述的Inception Block、SE Block进行组合。并且添加上MaxPooling模块一起组成了IMS层。该层首先可以对数据进行多尺度的特征提取,然后对提取出来的多通道特征进行选择,最后可以对选择后的特征在通道的维度上进行重要性的标定。这样可以更好的提取出肌电信号中潜在的特征,有利于获取更好的分类准确率。
步骤4、将三个初级分类器输出的分类结果进行数据拼接,用于训练次级分类器。最后由次级分类器输出手部运动分类的结果。
如图5所示,为本发明基于Stacking方法设计的次级分类器,该分类器将三个初级分类器输出的结果作为输入。首先通过SE Block进行重要性的重新标定,然后通过多层神经网络的结构进行分类。
步骤5、在进行肌电信号手部运动推理时,如图6所示,首先将肌电信号的时域数据进行重叠窗口化分割。然后将数据经过数据预处理,该预处理包括:使用离散傅里叶变换提取频域表示数据、使用离散小波包变换提取时频域表示数据以及使用min-max方法进行数据的标准化。接着将预处理好的数据输入给三个初级分类器进行分类。最后将三个初级分类器的输出结果输入次级分类器中进行分类,以产生最后的预测结果。
本发明通过卷积神经网络强大的特征提取能力来实现对肌电信号的特征提取,避免了人工提取特征时重要信息的遗漏,本发明通过手臂的肌电信号能够识别40种手部运动。本发明采用了集成学习的方法对深度神经网络模型进行集成,提高了肌电信号手部运动识别的准确率。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于集成深度学习的肌电信号手部运动识别方法,其特征在于,包括以下步骤:
步骤1、采集肌电信号,使用重叠加窗的方式对连续肌电信号进行分割;
步骤2、根据分隔后的肌电信号分别提取肌电信号的频域表示数据和时频域表示数据,然后使用min-max的方法对时域、频域和时频域数据进行标准化;其计算公式分别如下:
离散傅里叶变换:
离散小波包变换:
min-max标准化方法:
其中,X(k)为离散傅里叶变换之后的信号,x(n)为肌电信号时域数据,N为窗口长度,e表示自然底数,j表示虚数单位,k表示样本的索引,xa,L1[n]表示对上一级的低频部分进行小波包变换后的低频部分,K表示样本的点数,g[k]表示低频滤波,xa,L2[n]表示对上一级的低频部分进行小波包变换后的高频部分,h[k]表示高频滤波,xa,H1[n]表示对上一级的高频部分进行小波包变换后的低频部分,xa,H2[n]表示对上一级的高频部分进行小波包变换后的高频部分,xnormalization为标准化之后的数据,x为样本原始数据,xmax为样本数据的最大值,xmin为样本数据最小值;
步骤3、将经过标准化的时域、频域和时频域肌电信号用于训练三个初级分类器,并且分别输出三个初级分类器的预测结果;所述的初级分类器为基于卷积神经网络的肌电信号特征提取与分类模型,基于卷积神经网络的肌电信号特征提取与分类模型包括输入层、初始-最大池化-压缩与激励层、全连接层以及输出层,所述初级分类器的初始-最大池化-压缩与激励层主要由初始模块、最大池化模块和压缩和激励模块组成;所述初级分类器的初始-最大池化-压缩与激励层中的初始模块由三个并行的卷积操作和一个级联的数据降维操作组成,并行卷积操作的第一个分支采用一层卷积层,其卷积核大小为1*1;并行卷积操作的第二个分支采用一个卷积层,其卷积核大小为1*3;并行卷积操作的第三个分支采用两层卷积层级联,其卷积核大小均为1*3;数据降维操作采用一层数据连接层和一层卷积层级联组成,其卷积核大小为1*1;初始模块具体计算公式如下:
其中,为第i个样本的第j类输出,Fconv(x,[m,n,filters])为使用尺寸为[m,n,filters]的卷积核对样本进行的卷积运算,x(i)表示第i个样本,m,n表示滤波器的宽和高,filters表示滤波器的个数,Concat(x1,x2,…)为针对输入样本进行连接的操作,为第i个样本的输出;
步骤4、将三个初级分类器输出的分类结果进行数据拼接,用于训练次级分类器,最后由次级分类器输出手部运动分类的结果,所述的次级分类器主要为基于堆叠方法的神经网络分类模型;
步骤5、在进行肌电信号手部运动推理时,首先基于步骤1、2对肌电信号进行预处理,然后将数据经过步骤3训练好的初级分类器进行预测,最后将训练好的初级分类器预测的结果进行拼接,并且经过步骤4训练好的次级分类器进行分类,以获得手部运动分类的最后结果。
2.根据权利要求1所述基于集成深度学习的肌电信号手部运动识别方法,其特征在于:步骤1中采用的窗长为200ms,窗口增量为100ms。
3.根据权利要求2所述基于集成深度学习的肌电信号手部运动识别方法,其特征在于:步骤4中基于堆叠方法的神经网络分类模型包括:输入层、压缩和激励模块、全连接层、舍弃层以及输出层。
CN201910860988.1A 2019-09-11 2019-09-11 一种基于集成深度学习的肌电信号手部运动识别方法 Active CN110598628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910860988.1A CN110598628B (zh) 2019-09-11 2019-09-11 一种基于集成深度学习的肌电信号手部运动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910860988.1A CN110598628B (zh) 2019-09-11 2019-09-11 一种基于集成深度学习的肌电信号手部运动识别方法

Publications (2)

Publication Number Publication Date
CN110598628A true CN110598628A (zh) 2019-12-20
CN110598628B CN110598628B (zh) 2022-08-02

Family

ID=68858940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910860988.1A Active CN110598628B (zh) 2019-09-11 2019-09-11 一种基于集成深度学习的肌电信号手部运动识别方法

Country Status (1)

Country Link
CN (1) CN110598628B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505822A (zh) * 2021-06-30 2021-10-15 中国矿业大学 基于表面肌电信号的多尺度信息融合上肢动作分类方法
CN113625319A (zh) * 2021-06-22 2021-11-09 北京邮电大学 基于集成学习的非视距信号检测方法和装置
CN114611563A (zh) * 2022-05-16 2022-06-10 北京大学第三医院(北京大学第三临床医学院) 一种跨部位识别针极肌电图神经源性损害的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
CN107811626A (zh) * 2017-09-10 2018-03-20 天津大学 一种基于一维卷积神经网络和s变换的心律失常分类方法
CN108388348A (zh) * 2018-03-19 2018-08-10 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN109711383A (zh) * 2019-01-07 2019-05-03 重庆邮电大学 基于时频域的卷积神经网络运动想象脑电信号识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
CN107811626A (zh) * 2017-09-10 2018-03-20 天津大学 一种基于一维卷积神经网络和s变换的心律失常分类方法
CN108388348A (zh) * 2018-03-19 2018-08-10 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN109711383A (zh) * 2019-01-07 2019-05-03 重庆邮电大学 基于时频域的卷积神经网络运动想象脑电信号识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113625319A (zh) * 2021-06-22 2021-11-09 北京邮电大学 基于集成学习的非视距信号检测方法和装置
CN113625319B (zh) * 2021-06-22 2023-12-05 北京邮电大学 基于集成学习的非视距信号检测方法和装置
CN113505822A (zh) * 2021-06-30 2021-10-15 中国矿业大学 基于表面肌电信号的多尺度信息融合上肢动作分类方法
CN113505822B (zh) * 2021-06-30 2022-02-15 中国矿业大学 基于表面肌电信号的多尺度信息融合上肢动作分类方法
CN114611563A (zh) * 2022-05-16 2022-06-10 北京大学第三医院(北京大学第三临床医学院) 一种跨部位识别针极肌电图神经源性损害的方法

Also Published As

Publication number Publication date
CN110598628B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN108491077B (zh) 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN105976809B (zh) 基于语音和面部表情的双模态情感融合的识别方法及系统
CN107844755B (zh) 一种结合dae和cnn的脑电信号特征提取与分类方法
CN110598628B (zh) 一种基于集成深度学习的肌电信号手部运动识别方法
CN105841961A (zh) 一种基于Morlet小波变换和卷积神经网络的轴承故障诊断方法
CN106803081A (zh) 一种基于多分类器集成的脑电分类方法
CN107845390A (zh) 一种基于pcnn语谱图特征融合的情感语音识别系统
CN101732110B (zh) 用于手部动作识别的脑电和肌电信号混沌特征融合方法
CN109598222B (zh) 基于eemd数据增强的小波神经网络运动想象脑电分类方法
CN113011302B (zh) 一种基于卷积神经网络的雷声信号识别系统及方法
CN113065526B (zh) 一种基于改进深度残差分组卷积网络的脑电信号分类方法
CN103092971B (zh) 一种用于脑机接口中的分类方法
CN105047194A (zh) 一种用于语音情感识别的自学习语谱图特征提取方法
CN108567418A (zh) 一种基于PCANet的脉搏信号亚健康检测方法及检测系统
CN112580486B (zh) 一种基于雷达微多普勒信号分离的人体行为分类方法
CN111326178A (zh) 基于卷积神经网络的多模态语音情感识别系统及方法
Majidnezhad et al. An ANN-based method for detecting vocal fold pathology
CN111476339A (zh) 滚动轴承故障特征提取方法、智能诊断方法及系统
CN110610172A (zh) 一种基于rnn-cnn架构的肌电手势识别方法
Renjith et al. Speech based emotion recognition in Tamil and Telugu using LPCC and hurst parameters—A comparitive study using KNN and ANN classifiers
CN113128353A (zh) 面向自然人机交互的情绪感知方法及其系统
CN113116361A (zh) 一种基于单导脑电的睡眠分期方法
CN115238796A (zh) 基于并行damscn-lstm的运动想象脑电信号分类方法
CN112006696A (zh) 基于皮肤电信号的情绪识别方法
CN113940638B (zh) 基于频域双特征融合的脉搏波信号识别分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant