CN109924977A - 一种基于cnn和lstm的表面肌电信号分类方法 - Google Patents

一种基于cnn和lstm的表面肌电信号分类方法 Download PDF

Info

Publication number
CN109924977A
CN109924977A CN201910218660.XA CN201910218660A CN109924977A CN 109924977 A CN109924977 A CN 109924977A CN 201910218660 A CN201910218660 A CN 201910218660A CN 109924977 A CN109924977 A CN 109924977A
Authority
CN
China
Prior art keywords
electromyogram signal
surface electromyogram
dimensional feature
time
high dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910218660.XA
Other languages
English (en)
Inventor
陈霸东
黄大维
任鹏举
王飞
袁泽剑
郑南宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201910218660.XA priority Critical patent/CN109924977A/zh
Publication of CN109924977A publication Critical patent/CN109924977A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于CNN和LSTM的表面肌电信号分类方法,使用滑动窗口将时间序列转化成为“数据‑标签”对,在每一个时间窗口内,对表面肌电信号应用汉明窗口并使用快速傅里叶变换计算时频谱Spectrogram,将时频谱数据沿时间轴方向叠加整合,并送入卷积神经网络,完成局部空间高位特征提取,得到高维特征,将高维特征沿数据叠加维度展开,恢复为时间序列,并送入长短时记忆网络,提取序列特征,将序列特征送入全连接网络,进行进一步的特征提取和整合,得到充分提取的高维特征,将充分提取的高维特征送入Softmax函数得到最终的分类结果。本发明的核心基于深度学习算法,通过深度特征在传统的手工提取特征之上进行进一步的分析和提取,明显提高了分类解码的精确度。

Description

一种基于CNN和LSTM的表面肌电信号分类方法
【技术领域】
本发明属于人机接口和养老助残领域,尤其是一种基于CNN和LSTM的表面肌电信号分类方法。
【背景技术】
表面肌电信号是用表面电极在人体皮肤采集的电信号,这种电信号是肌肉运动在肌肉纤维附近产生的电位差。当人体产生运动意图时,该意图产生于大脑,编码于神经信号中传达到脊髓,二次编码后经神经通路传递到对应的肢体(如上肢),神经信号造成肌肉纤维收缩产生电位差,肌肉牵引骨骼完成该运动。在这个过程中,运动意图最终编码于肌肉纤维收缩产生的电信号里。通过对该信号解码,即可以获得最初的运动意图,从而控制外部的机械。和直接解码脑信号以及神经信号相比,肌肉电信号更接近于动作实施的阶段,包含的信息更精确,信噪比更高,采集更方便。
机器学习是解码表面肌肉电信号的一种主要方法。该方法包含两个阶段:特征提取和在特征空间里的分类。传统的特征提取主要分为时域特征、频域特征和时频域特征,其中时频域特征的效果最好。但是现有的分类方法仅使用传统的手工提取特征,在分类精确度上仍有进一步提高的空间。
【发明内容】
本发明的目的在于克服上述现有技术的缺点,提供一种基于CNN和LSTM的表面肌电信号分类方法。以提高表面肌电信号的多分类精度。
为达到上述目的,本发明采用以下技术方案予以实现:
一种基于CNN和LSTM的表面肌电信号分类方法,包括如下步骤:
步骤1:使用滑动窗口将时间序列转化成为“数据-标签”对;
步骤2:在每一个时间窗口内,对表面肌电信号应用汉明窗口并使用快速傅里叶变换计算时频谱Spectrogram;
步骤3:将时频谱数据沿时间轴方向叠加整合,并送入卷积神经网络,完成局部空间高维特征提取,得到高维特征;
步骤4:将高维特征沿数据叠加维度展开,恢复为时间序列,并送入长短时记忆网络,提取序列特征;
步骤5:将序列特征送入全连接网络,进行特征提取和整合,得到充分提取的高维特征;
步骤6:将充分提取的高维特征送入Softmax函数得到最终的分类结果。
本发明进一步的改进在于:
所述步骤2中表面肌电信号来自Ninapro公开数据集。
所述表面肌电信号包含50种不同手部动作。
所述50种不同手部动作包含17种基本动作、23种功能性动作、9种发力模式以及1种休息姿势。
步骤3中卷积神经网络使用ReLU作为激活函数,使用随机梯度下降法对网络参数进行调整,使用交叉熵Cross Entropy作为损失函数,得到高维特征。
与现有技术相比,本发明具有以下有益效果:
本发明结合了传统的物理特征提取和神经网络的有点,以充分提取表面肌肉电信号中的有效信息进行手势识别,以卷积神经网络来提取空间信息,以长短时记忆网络来提取序列信息,提升了基于表面肌电信号的多手势识别的精度。通过以表面电极采集的肌肉电信号(表面肌电sEMG)作为输入,使用传统手工提取特征作为预处理,使用卷积神经网络作为特征提取器提取临近范围的局部空间特征,使用长短时记忆网络(LSTM)作为序列特征提取器提取时间序列中的序列信息,通过全连接网络获得最终的分类结果,完成整个操作。
【附图说明】
图1为本发明的方法框架图;
图2为本发明的卷积神经网络原理图;
图3和图4为本发明的长短时记忆网络原理图。
【具体实施方式】
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,不是全部的实施例,而并非要限制本发明公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要的混淆本发明公开的概念。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
下面结合附图对本发明做进一步详细描述:
参见图1,本发明一种基于CNN和LSTM的表面肌电信号分类方法,包含以下步骤:
(1)使用滑动窗口将时间序列转化成为“数据-标签”对;
(2)在每一个时间窗口内,对表面肌电信号应用汉明窗口并使用快速傅里叶变换计算时频谱Spectrogram;其中表面肌电数据来自网络上的Ninapro公开数据集,该数据集包含来自40个被试的50种不同手部动作。
17种基本动作包括如下:
1.伸展拇指;2.伸展食指和中指;3.伸展拇指、食指和中指;4.拇指蜷缩至小拇指处;5.五指张开并伸展;6.握拳;7.伸展食指;8.五指并拢并伸展;9.五指张开、伸展并沿中指逆时针旋转;10.五指张开、伸展并沿中指顺时针旋转;11.五指并拢、伸展并沿小拇指逆时针旋转;12.五指并拢、伸展并沿小拇指顺时针旋转;13.手腕下压;14.手腕上扬;15.五指并拢,手腕径向顺时针旋转;16.五指并拢,手腕径向逆时针旋转;17.握拳,手腕上扬;
23种功能性动作包括如下:
1.抓握大直径圆筒;2.抓握小直径圆筒;3.钩形抓握;4.伸展食指抓握;5.抓握中等直径圆筒;6.拇指、食指成环,其它手指伸展,进行抓取;7.除小拇指外,用其余手指的指尖抓取细棍;8.用所有手指抓握细棍;9.写字;10.握住网球;11.用大拇指、食指和中指握住网球;12.五指成爪握住半个网球;13.大拇指、食指、中指三指成爪握住半个网球;14.大拇指和食指捏住物体,其余手指伸展;15.拇指和食指的指尖捏住物体,其余手指伸展;16.大拇指、食指、中指、无名指四指握住物体;17.食指弯曲与大拇指夹住名片,其余手指蜷缩;18.四指并拢与大拇指平行握住书籍;19.五指沿边缘握住盘子,大拇指指向盘心;20.五指张开握住光盘;21.大拇指、食指和中指拧瓶盖;22.转动螺丝刀;23.食指伸展握住小刀;
9种发力模式包括如下:
1.小拇指用力伸展;2.无名指用力伸展;3.中指用力伸展;4.食指用力伸展;5.大拇指用力并拢;6.大拇指用力伸展;7.食指和小指同时用力伸展;8.中指和无名指同时用力伸展;9.食指和大拇指同时用力伸展
1种休息姿势为五指自然放松。
(3)为缩短网络训练时间,将时频谱数据沿时间轴方向叠加整合进行批处理,并送入卷积神经网络,完成局部空间高位特征提取,得到高维特征;另外原始的表面肌电数据被送入卷积神经网络中。该卷积网络使用ReLU作为激活函数,使用随机梯度下降法对网络参数进行调整,使用交叉熵Cross Entropy作为损失函数,获取最终的卷积特征提取网络。
如图2所示,用固定尺寸的卷积核在输入数据上与相应区域的数据做卷积运算,卷积核在输入数据上移动,从而得到当前卷积层的输出,并作为下一卷积层的输入。
(4)将高维特征沿数据叠加维度展开,恢复为时间序列,并送入长短时记忆网络,提取序列特征;
如图3和图4所示,图3显示的是一个序列输入,通过更新长短时记忆网络的隐状态来得到一个序列输出。图4显示的是隐状态更新的细节:
以上一个节点输出的隐状态ht-1和序列中的当前元素向量Xt作为输入,输出一个中间变量ft
ft=σ(Wf·[ht-1,Xt]+bf)
其中,σ是sigmoid函数,下同。
以上一个节点输出的隐状态ht-1和序列中的当前元素向量Xt作为输入,输出中间变量it
it=σ(Wi·[ht-1,Xt]+bi)
以上一个节点输出的元胞状态Ct-1和之前两步中得到的中间变量ft,it为输入,输出本节点的元胞状态Ct
其中*代表卷积运算,下同。
以上一个节点输出的隐状态ht-1和序列中的当前元素向量Xt以及上一步计算出的本节点的元胞状态Ct作为输入,输出本节点的隐状态ht
ot=σ(Wo·[ht-1,Xt]+bo)
ht=ot*tanh(Ct)
(5)将序列特征送入全连接网络,进行进一步的特征提取和整合,得到充分提取的高维特征;
(6)将充分提取的高维特征送入Softmax函数得到最终的分类结果。
本发明通过以表面电极采集的肌肉电信号(表面肌电sEMG)作为输入,使用传统手工提取特征作为预处理,使用卷积神经网络作为特征提取器提取临近范围的局部空间特征,使用长短时记忆网络(LSTM)作为序列特征提取器提取时间序列中的序列信息,通过全连接网络获得最终的分类结果,完成整个操作。本发明的核心基于深度学习算法,通过深度特征在传统的手工提取特征之上进行进一步的分析和提取,与仅使用手工提取特征(经过主成分分析PCA降维的时频谱Spectrogram)与传统分类器(支持向量机)的方法(下称传统方法)相比明显提高了分类解码的精确度。所有动作的整体识别准确率达到79.329%(传统方法的准确率为77.167%),其中基本动作的识别准确率可达到80.929%(传统方法的准确率为75.740%),发力模式识别准确率达到89.918%(传统方法的准确率为88.150%),功能性动作的识别准确率可达到67.139%(传统方法的准确率为67.610%)。本方法可以在表面肌电信号作为输入信号时,精确解码出手部运动的信息,辅助设计灵巧的残疾人假肢和灵巧的外骨骼系统,对养老助残的设备研究和人机接口的发展起到重要作用。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (5)

1.一种基于CNN和LSTM的表面肌电信号分类方法,其特征在于,包括如下步骤:
步骤1:使用滑动窗口将时间序列转化成为“数据-标签”对;
步骤2:在每一个时间窗口内,对表面肌电信号应用汉明窗口并使用快速傅里叶变换计算时频谱Spectrogram;
步骤3:将时频谱数据沿时间轴方向叠加整合,并送入卷积神经网络,完成局部空间高维特征提取,得到高维特征;
步骤4:将高维特征沿数据叠加维度展开,恢复为时间序列,并送入长短时记忆网络,提取序列特征;
步骤5:将序列特征送入全连接网络,进行特征提取和整合,得到充分提取的高维特征;
步骤6:将充分提取的高维特征送入Softmax函数得到最终的分类结果。
2.如权利要求1所述一种基于CNN和LSTM的表面肌电信号分类方法,其特征在于,所述步骤2中表面肌电信号来自Ninapro公开数据集。
3.如权利要求2所述一种基于CNN和LSTM的表面肌电信号分类方法,其特征在于,所述表面肌电信号包含50种不同手部动作。
4.如权利要求3所述一种基于CNN和LSTM的表面肌电信号分类方法,其特征在于,所述50种不同手部动作包含17种基本动作、23种功能性动作、9种发力模式以及1种休息姿势。
5.如权利要求1所述一种基于CNN和LSTM的表面肌电信号分类方法,其特征在于,步骤3中卷积神经网络使用ReLU作为激活函数,使用随机梯度下降法对网络参数进行调整,使用交叉熵Cross Entropy作为损失函数,得到高维特征。
CN201910218660.XA 2019-03-21 2019-03-21 一种基于cnn和lstm的表面肌电信号分类方法 Pending CN109924977A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910218660.XA CN109924977A (zh) 2019-03-21 2019-03-21 一种基于cnn和lstm的表面肌电信号分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910218660.XA CN109924977A (zh) 2019-03-21 2019-03-21 一种基于cnn和lstm的表面肌电信号分类方法

Publications (1)

Publication Number Publication Date
CN109924977A true CN109924977A (zh) 2019-06-25

Family

ID=66987962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910218660.XA Pending CN109924977A (zh) 2019-03-21 2019-03-21 一种基于cnn和lstm的表面肌电信号分类方法

Country Status (1)

Country Link
CN (1) CN109924977A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309797A (zh) * 2019-07-05 2019-10-08 齐鲁工业大学 融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统
CN110443309A (zh) * 2019-08-07 2019-11-12 浙江大学 一种结合跨模态关联关系模型的肌电信号手势识别方法
CN110658915A (zh) * 2019-07-24 2020-01-07 浙江工业大学 一种基于双流网络的肌电信号手势识别方法
CN110781719A (zh) * 2019-09-02 2020-02-11 中国航天员科研训练中心 非接触式与接触式协同的心理状态智能监测系统
CN111143691A (zh) * 2019-12-31 2020-05-12 四川长虹电器股份有限公司 一种联合信息抽取方法及装置
CN111192257A (zh) * 2020-01-02 2020-05-22 上海电气集团股份有限公司 一种确定设备状态的方法、系统及设备
CN111184512A (zh) * 2019-12-30 2020-05-22 电子科技大学 一种脑卒中患者上肢及手部康复训练动作识别方法
CN111476161A (zh) * 2020-04-07 2020-07-31 金陵科技学院 一种融合图像和生理信号双通道的体感动态手势识别方法
CN111772669A (zh) * 2020-08-18 2020-10-16 中国科学院合肥物质科学研究院 基于自适应长短时记忆网络的肘关节收缩肌力估计方法
CN111938660A (zh) * 2020-08-13 2020-11-17 电子科技大学 一种基于阵列肌电的卒中患者手部康复训练动作识别方法
CN112057047A (zh) * 2020-09-11 2020-12-11 首都师范大学 用于实现运动想象分类的装置及其混合网络系统构建方法
CN113397572A (zh) * 2021-07-23 2021-09-17 中国科学技术大学 基于Transformer模型的表面肌电信号分类方法及系统
CN113723497A (zh) * 2021-08-26 2021-11-30 广西大学 基于混合特征提取及Stacking模型的异常用电检测方法、装置、设备及存储介质
CN113842111A (zh) * 2020-06-28 2021-12-28 珠海格力电器股份有限公司 一种睡眠分期方法、装置、计算设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110118620A1 (en) * 2008-04-15 2011-05-19 Christopher Scheib Method and system for monitoring and displaying physiological conditions
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
CN107203692A (zh) * 2017-05-09 2017-09-26 哈尔滨工业大学(威海) 基于深度卷积神经网络的房颤检测的实现方法
CN107957783A (zh) * 2017-12-21 2018-04-24 北京航天测控技术有限公司 一种基于脑电与肌电信息的多模式智能控制系统及方法
CN108388348A (zh) * 2018-03-19 2018-08-10 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN108491077A (zh) * 2018-03-19 2018-09-04 浙江大学 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN109222966A (zh) * 2018-10-09 2019-01-18 山东大学 一种基于变分自编码器的脑电信号情感分类方法
CN109446957A (zh) * 2018-10-18 2019-03-08 广州云从人工智能技术有限公司 一种基于emg信号识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110118620A1 (en) * 2008-04-15 2011-05-19 Christopher Scheib Method and system for monitoring and displaying physiological conditions
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
CN107203692A (zh) * 2017-05-09 2017-09-26 哈尔滨工业大学(威海) 基于深度卷积神经网络的房颤检测的实现方法
CN107957783A (zh) * 2017-12-21 2018-04-24 北京航天测控技术有限公司 一种基于脑电与肌电信息的多模式智能控制系统及方法
CN108388348A (zh) * 2018-03-19 2018-08-10 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN108491077A (zh) * 2018-03-19 2018-09-04 浙江大学 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN109222966A (zh) * 2018-10-09 2019-01-18 山东大学 一种基于变分自编码器的脑电信号情感分类方法
CN109446957A (zh) * 2018-10-18 2019-03-08 广州云从人工智能技术有限公司 一种基于emg信号识别方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309797A (zh) * 2019-07-05 2019-10-08 齐鲁工业大学 融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统
CN110658915A (zh) * 2019-07-24 2020-01-07 浙江工业大学 一种基于双流网络的肌电信号手势识别方法
CN110443309A (zh) * 2019-08-07 2019-11-12 浙江大学 一种结合跨模态关联关系模型的肌电信号手势识别方法
CN110781719A (zh) * 2019-09-02 2020-02-11 中国航天员科研训练中心 非接触式与接触式协同的心理状态智能监测系统
CN111184512A (zh) * 2019-12-30 2020-05-22 电子科技大学 一种脑卒中患者上肢及手部康复训练动作识别方法
CN111184512B (zh) * 2019-12-30 2021-06-01 电子科技大学 一种脑卒中患者上肢及手部康复训练动作识别方法
CN111143691A (zh) * 2019-12-31 2020-05-12 四川长虹电器股份有限公司 一种联合信息抽取方法及装置
CN111143691B (zh) * 2019-12-31 2023-04-18 四川长虹电器股份有限公司 一种联合信息抽取方法及装置
CN111192257A (zh) * 2020-01-02 2020-05-22 上海电气集团股份有限公司 一种确定设备状态的方法、系统及设备
CN111192257B (zh) * 2020-01-02 2023-05-23 上海电气集团股份有限公司 一种确定设备状态的方法、系统及设备
CN111476161A (zh) * 2020-04-07 2020-07-31 金陵科技学院 一种融合图像和生理信号双通道的体感动态手势识别方法
CN113842111A (zh) * 2020-06-28 2021-12-28 珠海格力电器股份有限公司 一种睡眠分期方法、装置、计算设备及存储介质
CN111938660A (zh) * 2020-08-13 2020-11-17 电子科技大学 一种基于阵列肌电的卒中患者手部康复训练动作识别方法
CN111938660B (zh) * 2020-08-13 2022-04-12 电子科技大学 一种基于阵列肌电的卒中患者手部康复训练动作识别方法
CN111772669A (zh) * 2020-08-18 2020-10-16 中国科学院合肥物质科学研究院 基于自适应长短时记忆网络的肘关节收缩肌力估计方法
CN111772669B (zh) * 2020-08-18 2022-08-19 中国科学院合肥物质科学研究院 基于自适应长短时记忆网络的肘关节收缩肌力估计方法
CN112057047A (zh) * 2020-09-11 2020-12-11 首都师范大学 用于实现运动想象分类的装置及其混合网络系统构建方法
CN113397572A (zh) * 2021-07-23 2021-09-17 中国科学技术大学 基于Transformer模型的表面肌电信号分类方法及系统
CN113723497A (zh) * 2021-08-26 2021-11-30 广西大学 基于混合特征提取及Stacking模型的异常用电检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109924977A (zh) 一种基于cnn和lstm的表面肌电信号分类方法
Zhang et al. A comparative study on PCA and LDA based EMG pattern recognition for anthropomorphic robotic hand
Huang et al. Surface EMG decoding for hand gestures based on spectrogram and CNN-LSTM
CN103440498A (zh) 基于lda算法的表面肌电信号识别方法
CN110680313A (zh) 一种基于脉冲群智能算法并结合stft-psd和pca的癫痫时期分类方法
Zhang et al. PCA and LDA for EMG-based control of bionic mechanical hand
CN109213305A (zh) 一种基于表面肌电信号的手势识别方法
CN110413107A (zh) 基于肌电信号模式识别和粒子群优化的仿生机械手交互控制方法
Naik et al. Classification of finger extension and flexion of EMG and Cyberglove data with modified ICA weight matrix
Huang et al. EMG pattern recognition using decomposition techniques for constructing multiclass classifiers
CN109498370A (zh) 基于肌电小波关联维的下肢关节角度预测方法
Qureshi et al. E2cnn: An efficient concatenated cnn for classification of surface emg extracted from upper limb
CN108805067A (zh) 表面肌电信号手势识别方法
Moin et al. Analysis of contraction effort level in EMG-based gesture recognition using hyperdimensional computing
CN114384999B (zh) 基于自适应学习的用户无关肌电手势识别系统
Lv et al. Common spatial pattern and particle swarm optimization for channel selection in BCI
CN112036357B (zh) 一种基于表面肌电信号的上肢动作识别方法及系统
Castiblanco et al. Individual hand motion classification through EMG pattern recognition: Supervise and unsupervised methods
Li et al. Multi-pattern recognition of sEMG based on improved BP neural network algorithm
CN109766843A (zh) 基于改进的受限玻尔兹曼机的肌电信号特征提取方法
Hye et al. Artificial Intelligence for sEMG-based Muscular Movement Recognition for Hand Prosthesis
CN110059571A (zh) 一种基于极限学习机的表面肌电多分类方法
Kim et al. User Recognition System Based on Spectrogram Image Conversion Using EMG Signals.
CN110604578A (zh) 基于semg的人手手内动作识别方法
CN114569143A (zh) 一种基于注意力机制与多特征融合的肌电手势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190625