CN109726662A - 基于卷积和循环组合神经网络的多类别人体姿态识别方法 - Google Patents

基于卷积和循环组合神经网络的多类别人体姿态识别方法 Download PDF

Info

Publication number
CN109726662A
CN109726662A CN201811581051.2A CN201811581051A CN109726662A CN 109726662 A CN109726662 A CN 109726662A CN 201811581051 A CN201811581051 A CN 201811581051A CN 109726662 A CN109726662 A CN 109726662A
Authority
CN
China
Prior art keywords
convolution
data
combination neural
neural network
circulation combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811581051.2A
Other languages
English (en)
Inventor
王震宇
张雷
王�琦
刘文慧
王焜
滕起
毛进伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Nanjing Normal University
Original Assignee
Nanjing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Normal University filed Critical Nanjing Normal University
Priority to CN201811581051.2A priority Critical patent/CN109726662A/zh
Publication of CN109726662A publication Critical patent/CN109726662A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开了一种基于卷积和循环组合神经网络的多类别人体姿态识别方法,包括:步骤1,采集移动智能终端设备的加速度计和陀螺仪数据,记录对应的动作类别;步骤2,对加速度计和陀螺仪数据进行预处理,将数据分为训练样本和测试样本;步骤3,采用训练样本训练卷积和循环组合神经网络,再采用测试样本测试其准确率,并根据需求不断调整;步骤4,将训练完成的卷积和循环组合神经网络模型移植到移动智能终端上;步骤5,利用移动智能终端采集加速度计和陀螺仪数据,预处理后输入到训练好的卷积和循环组合神经网络模型,得到人体姿态识别结果。本发明识别精度高,识别类型多,可有效保护用户隐私;可应用于常用的智能电子设备,有较强的移植性。

Description

基于卷积和循环组合神经网络的多类别人体姿态识别方法
技术领域
本发明涉及人工智能领域的穿戴式智能监控方法,尤其涉及一种基于卷积和循环组合神经网络的多类别人体姿态识别方法。
背景技术
人体姿态识别技术在虚拟现实、移动游戏、医疗保健、人机交互、图像识别等领域有着广泛应用。大体上姿态识别技术分为二种:非穿戴式和穿戴式。非穿戴式技术顾名思义,指姿态识别设备不与人体直接接触的人体姿态识别技术,例如图像识别技术。穿戴式人体姿态识别技术相比于非穿戴式,有着空间不受限的优点,在研究和应用上有着更好的发展空间。由于人体姿态的多样性,以及个体动作的差异性,如何建立一种高识别精度的姿态识别模型是目前一直探讨和关注的研究课题。
通常,为了保持较高的识别精度,会在人体多出关节上安置多个传感器设备。虽然这种方法能够直观地发现各种动作的加速度特征,但实际应用中要求使用者携带多个传感器,很是不方便。如何使用较少甚至只是用一组传感器进行高准确率的人体姿态识别是一个非常实际的研究问题。
使用智能手机或智能手表的内置传感器进行人体姿态识别,国内外早已有很多研究应用,目前市面上多数智能手环手表和手机均有姿态识别的应用程序APP。此类人体姿态识别方法绝大多数为阈值检测法,即通过判断传感器原始或处理后的数据是否大于或小于预先设定的好阈值来分类动作类型。这种方法计算简单,占用智能移动设备的内存少,但与此同时,其缺点也很明显:不同产品准确率参差不齐,能够识别的动作类别也十分有限。这一方面是各个公司研发人员技术差距的原因,更重要的一方面原因是此类方法的局限。需要识别的动作类别越多,此种算法构建起来越复杂。
深度学习在模式识别上有着很好的发展前景。深度学习(Deep Learning)起源于人工神经网络(Artificial Neural Network,ANN)的研究。其中卷积神经网络是含有卷积层(Convolutional Layer)的神经网络。卷积神经网络在计算机视觉领域受到极大关注,卷积神经网络不仅可以处理一维数据(例如,文本),它还特别适合处理二维数据(例如,图像)和三维数据(例如,视频)。卷积神经网络属于人工智能范畴,在模式识别分类器的构建上比传统方法效率更高,且易于扩展,能够实现比传统方法动作识别类型更多的识别模型。
循环神经网络是一类特殊的人工神经网络,区别于神经网络其他模型,循环神经网络是一种节点定向连接成环的人工神经网络。因此,不同于前馈神经网络的是,RNN可以利用它内部的记忆来处理任意时序的输入序列,这让它可以更容易处理如不分段的手写识别、语音识别等。此外,随着RNN研究的深入,如大规模的文本分类,股票随时间的变化等问题都在尝试利用循环神经网络解决,并取得了相比传统方法甚至其他深度网络模型更优的预测效果。
发明内容
发明目的:为了解决现有技术存在的问题,本发明的目的是提供一种具有高识别精度,且能够识别多种动作类型的基于卷积和循环组合神经网络的多类别人体姿态识别方法。
技术方案:一种基于卷积和循环组合神经网络的多类别人体姿态识别方法,包括如下步骤:
步骤1,采集移动智能终端设备的加速度计和陀螺仪数据,并记录对应的动作类别;
步骤2,对加速度计和陀螺仪数据进行预处理,将数据分为训练样本和测试样本两类;
步骤3,采用训练样本训练卷积和循环组合神经网络,再用测试样本测试其准确率,并根据需求不断调整;
步骤4,将训练完成的卷积和循环组合神经网络模型移植到移动智能终端上;
步骤5,利用移动智能终端上实时采集的加速度计和陀螺仪数据,进行预处理后,输入到训练完成的卷积和循环组合神经网络模型,得到人体姿态识别结果。
所述步骤1中,采样频率设定为25-50Hz。
所述步骤2中,对数据进行预处理具体包括如下内容:对数据进行滤波、归一化处理,并将数据调整成卷积神经网络的输入格式。
所述步骤2中,将数据中的m%作为训练样本,n%作为测试样本,所述m%+n%=100%,且70%≤m%≤90%,10%≤n%≤30%。
所述步骤3具体包括如下内容:
步骤3.1,建立多层的卷积和循环组合神经网络模型;
步骤3.2,导入训练样本调节卷积和循环组合神经网络模型参数,得到高准确率的模型。
所述步骤3.1中,卷积和循环组合神经网络模型的结构包括:两层1维卷积和最大池化层、多层LSTM-RNN和一层输出层。
所述步骤3.2中,调节卷积和循环组合神经网络模型参数包括LSTM细胞神经元数量调节、损失函数及卷积核调节。
所述卷积和循环组合神经网络模型中,1维卷积核长度为8,两个1维卷积层的卷积核个数分别为16和32,第一层卷积核的数据尺寸为(128,9),共有16个卷积核;整个实验的池化核长度都为2,池化步长都为2,都使用最大池化策略;第二层卷积层的卷积核数据尺寸为(64,16),共有32个卷积核;多层LSTM-RNN由两个神经元个数为32的LSTM细胞单元组成,序列长度和输入数据单个序列单个时间维度上固有的长度均为32;学习率为0.001。
有益效果:和现有技术相比,本发明具有如下显著进步:1、利用人工智能-卷积和循环组合神经网络识别方法,识别精度高,识别类型多;2、识别方法识别的动作数量具有可扩展性,且扩展操作简单,易于开发人员操作;3、相比于视频或者图像识别的方法,可以有效的保护用户隐私;4、本发明可应用于人们常用的安卓智能手机和智能手表,有很好的移植性。
附图说明
图1是本发明的流程图;
图2是本发明的原理图;
图3(a)、图3(b)、图3(c)、图3(d)、图3(e)、图3(f)分别是走路、上楼、下楼、坐、站、躺六种不同动作对应的部分传感器数据波形示意图;
图4是交叉熵(cross_entropy)随训练次数的变化图;
图5是训练好的模型的混淆矩阵图。
具体实施方式
以下将结合附图和具体实施方式,对本发明的技术方案及有益效果进行详细说明。
一种基于卷积和循环组合神经网络的多类别人体姿态识别方法,包括如下步骤:
步骤1,在第三者监督记录的情况下采集移动智能终端设备的加速度计和陀螺仪数据,并预先附上动作类别标签,作为人体姿态识别模型进行训练时的样本来使用;
步骤2,对加速度计和陀螺仪数据进行预处理,包括对数据进行滤波、归一化处理,并将数据调整成卷积和循环组合神经网络的输入格式,将数据分为两类,一类是训练样本,一类是测试样本;
步骤3,采用训练样本训练卷积和循环组合神经网络,再用测试样本测试其准确率,并根据需求不断调整,具体包括:
3.1,建立多层的卷积和循环组合神经网络模型;
3.2,导入训练样本调节卷积和循环组合神经网络模型参数,得到高准确率的模型;其中,所述的卷积和循环组合神经网络模型参数调节,包括:LSTM细胞神经元数量调节,损失函数及卷积核调节。
步骤4,将训练好的卷积和循环组合神经网络模型(人体姿态识别模型)移植到移动智能终端上,实现实时终端姿态识别处理功能;
步骤5,利用移动智能终端采集加速度计和陀螺仪数据,进行预处理后,输入到训练好的卷积神经网络模型,得到人体姿态识别结果。
本发明基于预设的训练集和卷积神经网络结构训练得到人体姿态识别模型,能对走、跑、上楼、下楼、仰卧起坐、扫地、擦七种动作姿态进行识别。
图1为目标处理的流程图,从智能移动终端采集到人体运动的加速度计和陀螺仪时间序列后,整合处理后输入至初始卷积和循环组合神经网络进行模型训练,将训练好的符合设计要求的模型输出至移动终端上,使之能在移动智能终端上离线识别人体动作。
图2为卷积和循环组合神经网络结构图,主要包括:两层1维卷积和最大池化层,多层LSTM-RNN和一层输出层。输入是预处理后的加速度计和陀螺仪数据。
本实施例中,将采集智能终端的采样频率设定为50Hz。以此频率采集到的部分动作传感器数据波形如图3(a)、图3(b)、图3(c)、图3(d)、图3(e)、图3(f)所示。定义每2.56秒为一个动作样本,即每128组数据为一个样本。当然,采样频率可以根据实际需求自行设置合适的值。
为了训练卷积和循环组合神经网络,本发明将采集到的样本分为两类:训练样本和测试样本。训练样本作为卷积和循环组合神经网络的输入进行模型训练,测试样本作为识别准确率的考量依据。本实施例中,优选把数据集的70%作为训练集,把数据集的30%作为测试集。
作为卷积和循环组合神经网络的输入,本发明示例将九轴传感器数据尺寸设置为(128,9),分别代表长度和深度,以适配卷积和循环组合神经网络的训练。当然,可以根据实际需求自行设置合适的值,此处不做限定。
神经网络基本单元神经元的公式如下:
其中,x是神经元输入,n是输入参数个数,b是偏置,hW,b(x)是神经元输出。
卷积神经网络与普通神经网络的区别在于,卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中,一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中,通常包含若干个特征平面(featureMap),每个特征平面由一些矩形排列的神经元组成,同一特征平面的神经元共享权值,这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化,在网络的训练过程中卷积核将学习得到合理的权值。共享权值(卷积核)带来的直接好处是减少网络各层之间的连接,同时又降低了过拟合的风险。
本发明卷积部分只需要设置卷积核的长度及个数即可。卷积核长度和卷积核个数的取值为经验值,没有固定的取值方法,本发明示例中卷积核长度为8,两个卷积层的卷积核个数分别为16和32,此数据仅供参考。
子采样也叫做池化(pooling),通常有均值子采样(mean pooling)和最大值子采样(max pooling)两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度,减少了模型的参数。
循环神经网络的本质特征是在处理单元之间既有内部的反馈连接又有前馈连接。从系统观点看,它是一个反馈动力系统,在计算过程中体现过程动态特性,比前馈神经网络具有更强的动态行为和计算能力。循环神经网络现已成为国际上神经网络专家研究的重要对象之一。LSTM区别于RNN的地方,主要就在于它在算法中加入了一个判断信息有用与否的“处理器”,这个处理器作用的结构被称为cell。一个cell当中被放置了三扇门,分别叫做输入门、遗忘门和输出门。一个信息进入LSTM的网络当中,可以根据规则来判断是否有用。只有符合算法认证的信息才会留下,不符的信息则通过遗忘门被遗忘。说起来无非就是一进二出的工作原理,却可以在反复运算下解决神经网络中长期存在的大问题。目前已经证明,LSTM是解决长序依赖问题的有效技术,并且这种技术的普适性非常高,导致带来的可能性变化非常多。各研究者根据LSTM纷纷提出了自己的变量版本,这就让LSTM可以处理千变万化的垂直问题。
本发明循环部分采用多层LSTM-RNN,只需设置LSTM细胞的神经元个数。LSTM细胞的神经元个数的取值为经验值,没有固定的取值方法,本发明示例中LSTM细胞的神经元个数为32,此数据仅供参考。
模型最终的具体实验参数列举如下:第一层卷积核的数据尺寸为(128,9),卷积核的长度为8,共有16个卷积核;整个实验的池化核长度都为2,池化步长都为2,都使用最大池化策略;第二层卷积层的卷积核的数据尺寸为(64,16),卷积核的长度为8,共有32个卷积核;多层LSTM-RNN由两个神经元个数为32的LSTM细胞单元组成,序列长度和输入数据单个序列单个时间维度上固有的长度均为32;学习率为0.001。
若训练数据量不够大,则需要对数据进行重复使用。每次将1000个数据输入至神经网络进行训练并测量一次交叉熵,每50次测量一次识别准确率,其中交叉熵的变化图如图4所示。
根据混淆矩阵去调整网络参数如图5所示,当训练的卷积和循环组合神经网络符合设计要求,即可将该模型提取到移动智能终端上使用。若训练的卷积和循环组合神经网络不符合设计要求,需要修改各隐藏层的神经元个数。神经元个数修改到哪个值为宜,需要反复测试。若上述修改各隐藏层的神经元个数的方法对识别准确率影响甚微,建议添加隐藏层数或增加训练样本数。
需要说明的是,本发明实施例中的人体姿态识别装置具体可以集成在智能移动终端中,上述智能终端具体可以为智能手机、智能手表等终端,此处不作限定。
由上可见,本发明实施例中的人体姿态识别装置通过采集智能终端的传感器数据,基于采集到的所述智能终端的传感器数据,并将预处理后的数据输入已训练好的人体姿态识别模型,得到人体姿态识别结果。由于人体姿态识别模型是基于预设的训练集合卷积和循环组合神经网络训练得到,因此,通过将传感器数据预处理后输入已训练好的人体姿态识别模型,即可实现对人体姿态的识别,从而实现了基于传感器数据的非视觉手段的人体姿态识别。

Claims (8)

1.一种基于卷积和循环组合神经网络的多类别人体姿态识别方法,其特征在于,包括如下步骤:
步骤1,采集移动智能终端设备的加速度计和陀螺仪数据,并记录对应的动作类别;
步骤2,对加速度计和陀螺仪数据进行预处理,将数据分为训练样本和测试样本两类;
步骤3,采用训练样本训练卷积和循环组合神经网络,再用测试样本测试其准确率,并根据需求不断调整;
步骤4,将训练完成的卷积和循环组合神经网络模型移植到移动智能终端上;
步骤5,利用移动智能终端上实时采集的加速度计和陀螺仪数据,进行预处理后,输入到训练完成的卷积和循环组合神经网络模型,得到人体姿态识别结果。
2.根据权利要求1所述的多类别人体姿态识别方法,其特征在于:所述步骤1中,采样频率设定为25-50Hz。
3.根据权利要求1所述的多类别人体姿态识别方法,其特征在于,所述步骤2中,对数据进行预处理具体包括如下内容:对数据进行滤波、归一化处理,并将数据调整成卷积神经网络的输入格式。
4.根据权利要求1所述的多类别人体姿态识别方法,其特征在于:所述步骤2中,将数据中的m%作为训练样本,n%作为测试样本,所述m%+n%=100%,且70%≤m%≤90%,10%≤n%≤30%。
5.根据权利要求1所述的多类别人体姿态识别方法,其特征在于:所述步骤3具体包括如下内容:
步骤3.1,建立多层的卷积和循环组合神经网络模型;
步骤3.2,导入训练样本调节卷积和循环组合神经网络模型参数,得到高准确率的模型。
6.根据权利要求5所述的多类别人体姿态识别方法,其特征在于:所述步骤3.1中,卷积和循环组合神经网络模型的结构包括:两层1维卷积和最大池化层、多层LSTM-RNN和一层输出层。
7.根据权利要求5所述的多类别人体姿态识别方法,其特征在于:所述步骤3.2中,调节卷积和循环组合神经网络模型参数包括LSTM细胞神经元数量调节、损失函数及卷积核调节。
8.根据权利要求6所述的多类别人体姿态识别方法,其特征在于:所述卷积和循环组合神经网络模型中,1维卷积核长度为8,两个1维卷积层的卷积核个数分别为16和32,第一层卷积核的数据尺寸为(128,9),共有16个卷积核;整个实验的池化核长度都为2,池化步长都为2,都使用最大池化策略;第二层卷积层的卷积核数据尺寸为(64,16),共有32个卷积核;多层LSTM-RNN由两个神经元个数为32的LSTM细胞单元组成,序列长度和输入数据单个序列单个时间维度上固有的长度均为32;学习率为0.001。
CN201811581051.2A 2018-12-24 2018-12-24 基于卷积和循环组合神经网络的多类别人体姿态识别方法 Pending CN109726662A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811581051.2A CN109726662A (zh) 2018-12-24 2018-12-24 基于卷积和循环组合神经网络的多类别人体姿态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811581051.2A CN109726662A (zh) 2018-12-24 2018-12-24 基于卷积和循环组合神经网络的多类别人体姿态识别方法

Publications (1)

Publication Number Publication Date
CN109726662A true CN109726662A (zh) 2019-05-07

Family

ID=66297239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811581051.2A Pending CN109726662A (zh) 2018-12-24 2018-12-24 基于卷积和循环组合神经网络的多类别人体姿态识别方法

Country Status (1)

Country Link
CN (1) CN109726662A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245581A (zh) * 2019-05-25 2019-09-17 天津大学 一种基于深度学习和距离-多普勒序列的人体行为识别方法
CN110598744A (zh) * 2019-08-12 2019-12-20 浙江大学 一种基于惯性传感器和Edge TPU的实时人体行为识别系统及方法
CN110610158A (zh) * 2019-09-16 2019-12-24 南京师范大学 一种基于卷积和门控循环神经网络的人体姿态识别方法及系统
CN111488973A (zh) * 2020-04-09 2020-08-04 陕西师范大学 一种面向神经网络数据的预处理方法和装置
CN111860191A (zh) * 2020-06-24 2020-10-30 南京师范大学 一种基于信道选择卷积神经网络的人体姿态识别方法
CN114650928A (zh) * 2019-10-01 2022-06-21 福维亚泰克有限责任公司 智能车辆座椅

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092894A (zh) * 2017-04-28 2017-08-25 孙恩泽 一种基于lstm模型的运动行为识别方法
CN108062170A (zh) * 2017-12-15 2018-05-22 南京师范大学 基于卷积神经网络和智能终端的多类别人体姿态识别方法
WO2018159542A1 (ja) * 2017-03-03 2018-09-07 株式会社日立製作所 行動認識システムおよび行動認識方法
CN108764059A (zh) * 2018-05-04 2018-11-06 南京邮电大学 一种基于神经网络的人体行为识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159542A1 (ja) * 2017-03-03 2018-09-07 株式会社日立製作所 行動認識システムおよび行動認識方法
CN107092894A (zh) * 2017-04-28 2017-08-25 孙恩泽 一种基于lstm模型的运动行为识别方法
CN108062170A (zh) * 2017-12-15 2018-05-22 南京师范大学 基于卷积神经网络和智能终端的多类别人体姿态识别方法
CN108764059A (zh) * 2018-05-04 2018-11-06 南京邮电大学 一种基于神经网络的人体行为识别方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245581A (zh) * 2019-05-25 2019-09-17 天津大学 一种基于深度学习和距离-多普勒序列的人体行为识别方法
CN110245581B (zh) * 2019-05-25 2023-04-07 天津大学 一种基于深度学习和距离-多普勒序列的人体行为识别方法
CN110598744A (zh) * 2019-08-12 2019-12-20 浙江大学 一种基于惯性传感器和Edge TPU的实时人体行为识别系统及方法
CN110610158A (zh) * 2019-09-16 2019-12-24 南京师范大学 一种基于卷积和门控循环神经网络的人体姿态识别方法及系统
CN114650928A (zh) * 2019-10-01 2022-06-21 福维亚泰克有限责任公司 智能车辆座椅
CN111488973A (zh) * 2020-04-09 2020-08-04 陕西师范大学 一种面向神经网络数据的预处理方法和装置
CN111488973B (zh) * 2020-04-09 2023-08-18 陕西师范大学 一种面向神经网络数据的预处理方法和装置
CN111860191A (zh) * 2020-06-24 2020-10-30 南京师范大学 一种基于信道选择卷积神经网络的人体姿态识别方法

Similar Documents

Publication Publication Date Title
CN109726662A (zh) 基于卷积和循环组合神经网络的多类别人体姿态识别方法
CN108062170A (zh) 基于卷积神经网络和智能终端的多类别人体姿态识别方法
Jalal et al. A Triaxial acceleration-based human motion detection for ambient smart home system
CN107153871B (zh) 基于卷积神经网络和手机传感器数据的跌倒检测方法
Yan et al. Face recognition based on convolution neural network
CN107886061B (zh) 基于多模态深度玻尔兹曼机的人体行为识别方法及系统
Xu et al. Human activity recognition based on random forests
CN110610158A (zh) 一种基于卷积和门控循环神经网络的人体姿态识别方法及系统
CN108345846A (zh) 一种基于卷积神经网络的人体行为识别方法及识别系统
Su et al. HDL: Hierarchical deep learning model based human activity recognition using smartphone sensors
CN111178288B (zh) 基于局部误差逐层训练的人体姿态识别方法和装置
CN109685148A (zh) 多类别人体动作识别方法及识别系统
Bu Human motion gesture recognition algorithm in video based on convolutional neural features of training images
Mutegeki et al. Feature-representation transfer learning for human activity recognition
CN111954250A (zh) 一种轻量级Wi-Fi行为感知方法和系统
CN111723662B (zh) 一种基于卷积神经网络的人体姿态识别方法
Tang et al. A hybrid SAE and CNN classifier for motor imagery EEG classification
Gupta et al. Human Activity Recognition Using Pose Estimation and Machine Learning Algorithm.
CN109711324A (zh) 基于傅里叶变换和卷积神经网络的人体姿态识别方法
Yadahalli et al. Facial micro expression detection using deep learning architecture
Amroun et al. Dnn-based approach for recognition of human activity raw data in non-controlled environment
Wenzheng Human activity recognition based on acceleration sensor and neural network
Naidu et al. Stress recognition using facial landmarks and CNN (Alexnet)
CN113643283A (zh) 一种人体衰老状况的检测方法、装置、设备及存储介质
Wang et al. Design of static human posture recognition algorithm based on CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190507

RJ01 Rejection of invention patent application after publication