CN109657651A - 一种基于肌电信号的下肢膝关节连续运动估计方法 - Google Patents

一种基于肌电信号的下肢膝关节连续运动估计方法 Download PDF

Info

Publication number
CN109657651A
CN109657651A CN201910038173.5A CN201910038173A CN109657651A CN 109657651 A CN109657651 A CN 109657651A CN 201910038173 A CN201910038173 A CN 201910038173A CN 109657651 A CN109657651 A CN 109657651A
Authority
CN
China
Prior art keywords
electromyography signal
signal
features
knee joint
semg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910038173.5A
Other languages
English (en)
Inventor
席旭刚
杨晨
石鹏
袁长敏
章燕
范影乐
罗志增
张启忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201910038173.5A priority Critical patent/CN109657651A/zh
Publication of CN109657651A publication Critical patent/CN109657651A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • G06F2218/16Classification; Matching by matching signal segments
    • G06F2218/20Classification; Matching by matching signal segments by applying autoregressive analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及到一种基于肌电信号的下肢膝关节连续运动估计方法。首先采集人体下肢膝关节在慢速、中速、快速运动模式下股二头肌,股四头肌,股外侧肌,股内侧肌,半腱肌,股薄肌的肌电信号和实时角度,然后提取信号的小波系数、均方根与排序熵等特征作为输入,再将三种特征结合成一种新的特征作为输入,并对特征数据进行归一化处理,并通过不同方法的比较,最终使用最小二乘支持向量机回归模型进行预测。实验结果表明,不同的特征在不同运动模式下具有不同的相对预测性能,结合三种特征的预测结果明显优于单独采用其中任何一种,且通过最小二乘支持向量机模型的预测非常准确,最终得到了一种较为理想的预测模型。

Description

一种基于肌电信号的下肢膝关节连续运动估计方法
技术领域
本发明属于模式识别领域,涉及一种肌电信号模式识别方法,特别涉及一种基于肌电信号的下肢膝关节连续运动的估计方法。
背景技术
人机交互技术是现今比较热门的前沿科学技术,表面肌电信号(surfaceElectromyography,sEMG)是人机交互的输入信号源。表面肌电信号是一种非平稳的微弱信号,是肌肉兴奋时与其相关的运动单元共同产生的一组动作电位序列在皮肤表面叠加而成的,它的特征区分明显,蕴含的信息丰富,且采集简单,无创伤,成为目前人机交互技术中热门的研究领域。
对于表面肌电信号的研究主要集中在特征提取和模式识别这两个过程。相应的研究成果也已经比较成熟,可以识别多个离散的动作类别。但在康复医疗机器人等领域更多时候需要的是对患者连续运动变量的预测,以实现对康复机器人的平滑柔顺控制,否则容易引起患者的二次损伤而无法达到康复效果。因此基于表面肌电信号的连续运动变量预测的研究受到越来越多的科研工作者关注。传统的常用方法是对信号消噪滤波后提取幅值绝对值、均方根等特征,并用BP神经网络建立sEMG与相关的连续运动关节变量之间的回归模型。Tanvir Anwar等人用自适应神经模糊推理系统预测模型,提取均方根特征,以trimf为隶属函数实现了对膝关节较好的预测结果。Nikhil等人用均方根作为特征,用并行神经网络算法预测手指节角轨迹,预测精度较高,与BP神经网络预测算法相比运算时间短且预测误差较小。AL Delis等人先提取自回归系数和幅值直方特征,接着用自组织特征映射模型对特征进行降维,最后用Levenberg-Marquardt算法预测膝关节角度。目前,国内外采用肌电信号进行关节连续运动估计研究不是很多,存在较大的研究空间。
发明内容
本发明为了建立下肢膝关节连续运动角度与相关肌电信号的回归模型,结合有无负重和三种运动速度设计了六个关节的伸屈运动模式。首先采集人体下肢膝关节在慢速、中速、快速运动模式下股二头肌,股四头肌,股外侧肌,股内侧肌,半腱肌,股薄肌的肌电信号和实时角度,然后提取信号的小波系数、均方根与排序熵等特征作为输入,再将三种特征结合成一种新的特征作为输入,并对特征数据进行归一化处理,并通过不同方法的比较,最终使用最小二乘支持向量机回归模型进行预测。实验结果表明,不同的特征在六种运动模式下具有不同的相对预测性能,结合三种特征的预测结果明显优于单独采用其中任何一种,且稳定性最好,最终得到了一种较为理想的预测模型。
为了实现以上目的,本发明方法主要包括以下步骤:
步骤一,获取关节连续运动的肌电信号和实时角度数据,具体是:通过肌电信号采集仪采集人体关节运动时相关肌肉的肌电信号,然后对其进行带通滤波处理。
步骤二,对预处理后的肌电信号进行特征提取,提取均方根,小波系数和排列熵,并使特征提取后的采样频率与关节角的采样频率保持一致。
1)均方根计算如下:
其中x1,x2...xn是肌电信号。
2)采用离散小波变换提取j层小波系数:
f(t)=AJ+∑j≤JDj
其中AJ是J层的近似值,Dj是j层的细节值。
细节值Dj
Dj=∑k∈Zαj,kφj,t(t)
其中Z是一组正整数,αj,k是小波系数,φj,t(t)是母小波函数,j和k均是属于Z的正整数,t是时间序列。
近似值AJ
AJ=∑j>JDj
其中Dj是j层的细节值。
3)排列熵计算如下:
其中PE是排列熵,y是信号序列,d是嵌入维数,l是时间延迟,p(πi)是i类排序类型出现的相对频率:
其中f(πi)是i类排序类型出现的次数,N是时间序列长度。
步骤三,对均方根,小波系数和排列熵三种特征向量进行维数相加,得到三维特征向量作为输入变量。
步骤四,对三维特征向量进行归一化处理,加快训练网络的收敛性和学习速度:
{sEMG}是肌电信号,{sEMGj(i)}是第j路肌电信号的第i序列,max({sEMGj(i)})和min({sEMGj(i)})分别是第j路肌电信号序列的最大值和最小值。
步骤五,将提取到的三维特征向量输入到最小二乘支持向量机回归模型中,得到最终预测结果。最小二乘支持向量机回归模型:
其中J(ω,e)是目标参数,L是训练样本指数,ω是训练样本的权向量,e是误差,b是偏置量,γ是惩罚因子,N是特征空间维数,yk是约束条件,函数的作用是把低维数据映射到高维数据。上述表达式的具体推导如下:
其中α是要求的参数,最终得到如下结果:
其中K(x,xk)是核函数。
本发明设计的基于肌电信号的下肢膝关节连续运动估计方法,具有如下特点:
本发明使用三种特征,即均方根、小波系数和排列熵的结合特征作为一个新的特征输入,所预测的效果明显优于单独采用一种特征,这是因为某些特征在不同的环境条件下的相对优劣性是会变化的,所以结合不同的特征可以克服单一特征在在某些条件下有良好的表现而在其它条件下效果不佳的缺陷,从而达到最佳的识别效果。本发明使用的最小二乘支持向量机回归模型相比传统的预测模型有明显的优势,具有更好的预测效果。相比于传统的预测方法,本发明在估计精度、实时性、动态特性、平滑性和鲁棒性等方面都有一定程度的改进。
附图说明
图1为本发明的实施流程图;
图2为本发明采集的六路肌电信号和实时角度图;
图3为本发明对肌电信号求得的特征图;
图4为将三种特征及其结合特征输入预测模型图;
图5(a)为无负重完成2个动作最终的预测模型效果图;
图5(b)为有负重完成2个动作最终的预测模型效果图;
图5(c)为无负重完成4个动作最终的预测模型效果图;
图5(d)为有负重完成4个动作最终的预测模型效果图;
图5(e)为无负重完成6个动作最终的预测模型效果图;
图5(f)为有负重完成6个动作最终的预测模型效果图。
具体实施方式
如图1所示,本实施例包括如下步骤:
步骤一,获取下肢膝关节连续运动的肌电信号和实时角度数据,具体是:通过DELSYS Trigno Wireless System肌电采集仪采集人体下肢六路肌肉的肌电信号,分别是股二头肌,股四头肌,股外侧肌,股内侧肌,半腱肌,股薄肌,然后对其进行带通滤波处理。同时通过Codamotion系统采集关节的实时角度。具体的实验动作为4名实验者坐在椅子上,10秒内分别在有负重和无负重情况下完成2、4、6个屈伸动作。采集的六路肌电信号和实时角度如图2所示。
步骤二,对预处理后的肌电信号进行特征提取,提取均方根,小波系数和排列熵,并使特征提取后的采样频率与关节角的采样频率保持一致,相关特征如图3所示。
1)均方根计算如下:
其中Xrms是数据的均方根值,x1,x2到xn是处理后的数据。为了同步膝关节角度数据频率,我们对肌电数据进行处理。每16个肌电序列中获取一个RMS特征值,即n=16。
2)采用离散小波变换提取j层小波系数:
f(t)=AJ+∑j≤JDj
其中AJ是J层的近似值,Dj是j层的细节值。
细节值Dj
Dj=∑k∈Zαj,kφj,t(t)
其中Z是一组正整数,αj,k是小波系数,φj,t(t)是母小波函数,j和k均是属于Z的正整数,t是时间序列。
近似值AJ
AJ=∑j>JDj
其中Dj是j层的细节值。
本发明采用db3为母小波,对肌电信号进行4层分解,即x(n)=CA4+CD4+CD3+CD2+CD1
3)排列熵计算如下:
其中PE是排列熵,y是信号序列,d是嵌入维数,l是时间延迟,p(πi)是i类排序类型出现的相对频率:
其中f(πi)是i类排序类型出现的次数,N是时间序列长度。
步骤三,对均方根,小波系数和排列熵三种特征向量进行维数相加,得到三维特征向量作为输入变量,如图4所示。
步骤四,对三维特征向量进行归一化处理,加快训练网络的收敛性和学习速度:
{sEMG}是肌电信号,{sEMGj(i)}是第j路肌电信号的第i序列,max({sEMGj(i)})和min({sEMGj(i)})分别是第j路肌电信号序列的最大值和最小值。
步骤五,将提取到的三维特征向量输入到最小二乘支持向量机回归模型中,得到最终预测效果如图5所示。最小二乘支持向量机回归模型:
其中J(ω,e)是目标参数,L是训练样本指数,ω是训练样本的权向量,e是误差,b是偏置量,γ是惩罚因子,N是特征空间维数,yk是约束条件,函数的作用是把低维数据映射到高维数据。上述表达式的具体推导如下:
其中α是要求的参数,最终得到如下结果:
其中K(x,xk)是核函数,本实例核函数采用径向基函数,最终表达式如下:
K(x,xk)=exp(||x-xk||2/2σ2)

Claims (1)

1.一种基于肌电信号的下肢膝关节连续运动估计方法,其特征在于,该方法包括如下步骤:
步骤一,获取关节连续运动的肌电信号和实时角度数据,具体是:通过肌电信号采集仪采集人体关节运动时相关肌肉的肌电信号,然后对其进行带通滤波处理;
步骤二,对预处理后的肌电信号进行特征提取,提取均方根,小波系数和排列熵,并使特征提取后的采样频率与关节角的采样频率保持一致;
1)均方根计算如下:
其中x1,x2...xn是肌电信号;
2)采用离散小波变换提取j层小波系数:
f(t)=AJ+∑j≤JDj
其中AJ是J层的近似值,Dj是j层的细节值;
细节值Dj
Dj=∑k∈Zαj,kφj,t(t)
其中Z是一组正整数,αj,k是小波系数,φj,t(t)是母小波函数,j和k均是属于Z的正整数,t是时间序列;
近似值AJ
AJ=∑j>JDj
其中Dj是j层的细节值;
3)排列熵计算如下:
其中PE是排列熵,y是信号序列,d是嵌入维数,l是时间延迟,p(πi)是i类排序类型出现的相对频率:
其中f(πi)是i类排序类型出现的次数,N是时间序列长度;
步骤三,对均方根,小波系数和排列熵三种特征向量进行维数相加,得到三维特征向量作为输入变量;
步骤四,对三维特征向量进行归一化处理,加快训练网络的收敛性和学习速度:
{sEMG}是肌电信号,{sEMGj(i)}是第j路肌电信号的第i序列,max({sEMGj(i)})和min({sEMGj(i)})分别是第j路肌电信号序列的最大值和最小值;
步骤五,将提取到的三维特征向量输入到最小二乘支持向量机回归模型中,得到最终预测结果;最小二乘支持向量机回归模型:
其中J(ω,e)是目标参数,L是训练样本指数,ω是训练样本的权向量,e是误差,b是偏置量,γ是惩罚因子,N是特征空间维数,yk是约束条件,函数的作用是把低维数据映射到高维数据;上述表达式的具体推导如下:
其中α是要求的参数,最终得到如下结果:
其中K(x,xk)是核函数。
CN201910038173.5A 2019-01-16 2019-01-16 一种基于肌电信号的下肢膝关节连续运动估计方法 Pending CN109657651A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910038173.5A CN109657651A (zh) 2019-01-16 2019-01-16 一种基于肌电信号的下肢膝关节连续运动估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910038173.5A CN109657651A (zh) 2019-01-16 2019-01-16 一种基于肌电信号的下肢膝关节连续运动估计方法

Publications (1)

Publication Number Publication Date
CN109657651A true CN109657651A (zh) 2019-04-19

Family

ID=66120113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910038173.5A Pending CN109657651A (zh) 2019-01-16 2019-01-16 一种基于肌电信号的下肢膝关节连续运动估计方法

Country Status (1)

Country Link
CN (1) CN109657651A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110464517A (zh) * 2019-08-16 2019-11-19 杭州电子科技大学 基于小波加权排列熵的肌电信号识别方法
CN110633644A (zh) * 2019-08-16 2019-12-31 杭州电子科技大学 基于肌电小波包分解和gabp的人体关节角度预测方法
CN111258426A (zh) * 2020-01-17 2020-06-09 杭州电子科技大学 基于肌电肌音模型和无迹粒子滤波的关节运动估计方法
CN111506190A (zh) * 2020-03-31 2020-08-07 哈尔滨工业大学 一种基于肌电的人体运动意图实时连续预测方法
CN112836617A (zh) * 2021-01-28 2021-05-25 北京理工大学前沿技术研究院 一种基于ipso-bpnn的长时人体下肢运动预测方法
CN113520413A (zh) * 2021-08-25 2021-10-22 长春工业大学 一种基于表面肌电信号的下肢多关节角度估计方法
CN114767463A (zh) * 2022-03-11 2022-07-22 上海电机学院 一种基于表面肌电的意识控制运动康复系统及其方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345641A (zh) * 2013-07-16 2013-10-09 杭州电子科技大学 基于小波包熵和支持向量机的手部肌电信号动作识别方法
CN104156339A (zh) * 2014-08-14 2014-11-19 石家庄铁道大学 一种利用二次排列熵识别周期微弱脉冲信号的方法
US20150105681A1 (en) * 2011-04-15 2015-04-16 Sorin Crm Sas Active medical device, including an implantable defibrillator, for detection of qrs complexes in a very noisy signal
CN106073702A (zh) * 2016-05-27 2016-11-09 燕山大学 基于小波‑传递熵的多时频尺度间脑肌电耦合分析方法
CN106333688A (zh) * 2016-09-21 2017-01-18 北京机械设备研究所 一种踝关节动作的实时辨识方法
CN107822629A (zh) * 2017-09-11 2018-03-23 上海傲意信息科技有限公司 四肢表面肌电轴的检测方法
US10149958B1 (en) * 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
CN109145729A (zh) * 2018-07-13 2019-01-04 杭州电子科技大学 基于改进小波阈值与eemd的肌电信号去噪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150105681A1 (en) * 2011-04-15 2015-04-16 Sorin Crm Sas Active medical device, including an implantable defibrillator, for detection of qrs complexes in a very noisy signal
CN103345641A (zh) * 2013-07-16 2013-10-09 杭州电子科技大学 基于小波包熵和支持向量机的手部肌电信号动作识别方法
CN104156339A (zh) * 2014-08-14 2014-11-19 石家庄铁道大学 一种利用二次排列熵识别周期微弱脉冲信号的方法
US10149958B1 (en) * 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
CN106073702A (zh) * 2016-05-27 2016-11-09 燕山大学 基于小波‑传递熵的多时频尺度间脑肌电耦合分析方法
CN106333688A (zh) * 2016-09-21 2017-01-18 北京机械设备研究所 一种踝关节动作的实时辨识方法
CN107822629A (zh) * 2017-09-11 2018-03-23 上海傲意信息科技有限公司 四肢表面肌电轴的检测方法
CN109145729A (zh) * 2018-07-13 2019-01-04 杭州电子科技大学 基于改进小波阈值与eemd的肌电信号去噪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Q. L. LI等: "Estimation of Lower Limb Periodic Motions from sEMG Using Least Squares Support Vector Regression", 《NEURAL PROCESSING LETTERS》 *
T. PUTTASAKUF等: "Feature extraction of wavelet transform coefficients for sEMG classification", 《THE 7TH 2014 BIOMEDICAL ENGINEERING INTERNATIONAL CONFERENCE》 *
刘秀云: "基于EMG-KJA神经肌骨动力学模型的下肢动作模式识别及运动轨迹预测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李阳丹: "基于生物电控制的人机交互技术研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110464517A (zh) * 2019-08-16 2019-11-19 杭州电子科技大学 基于小波加权排列熵的肌电信号识别方法
CN110633644A (zh) * 2019-08-16 2019-12-31 杭州电子科技大学 基于肌电小波包分解和gabp的人体关节角度预测方法
CN110464517B (zh) * 2019-08-16 2021-09-07 杭州电子科技大学 基于小波加权排列熵的肌电信号识别方法
CN111258426A (zh) * 2020-01-17 2020-06-09 杭州电子科技大学 基于肌电肌音模型和无迹粒子滤波的关节运动估计方法
CN111258426B (zh) * 2020-01-17 2023-03-21 杭州电子科技大学 基于肌电肌音模型和无迹粒子滤波的关节运动估计方法
CN111506190A (zh) * 2020-03-31 2020-08-07 哈尔滨工业大学 一种基于肌电的人体运动意图实时连续预测方法
CN112836617A (zh) * 2021-01-28 2021-05-25 北京理工大学前沿技术研究院 一种基于ipso-bpnn的长时人体下肢运动预测方法
CN113520413A (zh) * 2021-08-25 2021-10-22 长春工业大学 一种基于表面肌电信号的下肢多关节角度估计方法
CN114767463A (zh) * 2022-03-11 2022-07-22 上海电机学院 一种基于表面肌电的意识控制运动康复系统及其方法

Similar Documents

Publication Publication Date Title
CN109657651A (zh) 一种基于肌电信号的下肢膝关节连续运动估计方法
CN106067178B (zh) 一种基于肌肉协同激活模型的手部关节运动连续估计方法
CN102930284B (zh) 基于经验模态分解和分形的表面肌电信号模式识别方法
CN108743223B (zh) 一种基于健侧生物电控的智能外骨骼康复机械手及方法
CN109498370B (zh) 基于肌电小波关联维的下肢关节角度预测方法
Zhang et al. PCA and LDA for EMG-based control of bionic mechanical hand
Wang et al. Surface electromyography based estimation of knee joint angle by using correlation dimension of wavelet coefficient
CN108268844A (zh) 基于表面肌电信号的动作模式识别方法及装置
Li et al. Gait recognition based on EMG with different individuals and sample sizes
Tyacke et al. Hand gesture recognition via transient sEMG using transfer learning of dilated efficient CapsNet: towards generalization for neurorobotics
Ma et al. A novel and efficient feature extraction method for deep learning based continuous estimation
Ma et al. A real-time gait switching method for lower-limb exoskeleton robot based on sEMG signals
CN109645995A (zh) 基于肌电模型和无迹卡尔曼滤波的关节运动估计方法
Yu et al. The research of sEMG movement pattern classification based on multiple fused wavelet function
CN116831874A (zh) 一种基于肌电信号的下肢康复器控制方法
Song et al. Lower limb movement intent recognition based on grid search random forest algorithm
Zhang et al. Combined influence of classifiers, window lengths and number of channels on EMG pattern recognition for upper limb movement classification
CN110151176A (zh) 一种基于肌电信号的上肢肘关节连续运动估计方法
Sun et al. A fault-tolerant algorithm to enhance generalization of EMG-based pattern recognition for lower limb movement
Li et al. Continuous estimation of human knee-Joint angles from SEMG using wavelet neural network
Ge et al. Feature extraction and classification of hand movements surface electromyogram signals based on multi-method integration
CN110464517B (zh) 基于小波加权排列熵的肌电信号识别方法
Tang et al. sEMG-based estimation of knee joint angles and motion intention recognition
Song et al. Motion recognition of the bilateral upper-limb rehabilitation using sEMG based on ensemble EMD
Li et al. sEMG based joint angle estimation of lower limbs using LS-SVM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190419