CN110414551A - 一种基于rcnn网络对医疗器械进行自动分类的方法及系统 - Google Patents

一种基于rcnn网络对医疗器械进行自动分类的方法及系统 Download PDF

Info

Publication number
CN110414551A
CN110414551A CN201910517050.XA CN201910517050A CN110414551A CN 110414551 A CN110414551 A CN 110414551A CN 201910517050 A CN201910517050 A CN 201910517050A CN 110414551 A CN110414551 A CN 110414551A
Authority
CN
China
Prior art keywords
network
image
rcnn
rcnn network
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910517050.XA
Other languages
English (en)
Inventor
田洪涛
高兴莲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910517050.XA priority Critical patent/CN110414551A/zh
Publication of CN110414551A publication Critical patent/CN110414551A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了一种基于RCNN网络对医疗器械进行自动分类的方法及系统，该系统采用手机终端拍摄医疗器械设备的图像或以图像导入方式获取器械的图像，将得到的图像作为RCNN网络的输入数据，通过机器学习算法分析出不同类别点数医疗器械设备的数目。本系统中提供的技术方案解决的问题包括：设备图像的获取、对获取的设备图像进行预处理降噪、利用RCNN网络学习每项设备的特征、识别指定设备图像的特征值、识别指定设备图像的特征值数量、更新卷积输出层的卷积核(权值)和偏置。

Description

一种基于RCNN网络对医疗器械进行自动分类的方法及系统
技术领域
本发明涉及图像识别及处理领域，更具体地说，涉及一种利用人工智能技术，对特定工作领域进行图像的识别与分析的方法及系统。
背景技术
目前，手术器材的数目清点都是手术团队内人员人工清点记录完成，我们以骨科膝关节置换手术为例，每一项骨科手术所用到的手术器械(咬骨刀、穿孔钳、活检钳、滑膜抓钳、关节刀、止血钳等等)多达三四十种甚至更多，总数量多达一两百个。在手术前期准备和术后整理的过程中，目前靠医护人员人工清点这些器械，在器材种类众多数量较大，且器材之间不容易区分的情况下，是很容易出现器材缺失，导致手术过程中重新添加新的器材进行消毒，耽搁手术过程中的时间，影响手术的成功率，术后错误计数遗漏器材等现象。
发明内容
本发明要解决的技术问题在于，针对现有技术的缺陷，提供一种基于RCNN网络对医疗器械进行自动分类的方法及系统。
本发明解决其技术问题所采用的技术方案是：构造一种基于RCNN网络对医疗器械进行自动分类的方法，包括以下步骤：
S1、数据获取：从包含若干张医疗器械图像的数据库中，获取医疗器械的图像数据集；所述数据库中包括的每张医疗器械图像，以手机终端现场拍摄或者以图片导入的方式获取到；
S2、数据预处理：利用OpenCV算法对所述图像数据集中的每一张图像进行预处理操作；所述预处理操作包括灰度化、阈值分割二值化和形态学去噪；
S3、数据分类：将进行预处理后的图像数据集，作为RCNN网络的训练数据集，对RCNN网络进行训练，并利用训练好的网络，针对用户单次输入的图像，识别出各类器械及每张器械对应的数量；其中，在RCNN网络中添加mask分支，来对产生的每个候选区域进行语义分割，即先定义物体在图像中的位置和区域后，在对物体进行分类。
进一步的，所述RCNN网络通过RCN网络和CNN网络对输入的图像进行处理，其中，输入到RCNN网络的每张图像，一方面经由RCN网络生成候选区域；另一方面通过CNN网络的卷积层提取输入图像的整体特征，得到输入图像的特征图；结合生成的候选区域和所述输入图像的特征图，得到每个候选区域的候选特征图；其中，根据所得的候选特征图，在对输入图像进行分类之前，利用RCNN网络的ROIAlign层对每一个候选特征图进行像素校正。
进一步的，RCNN网络中在ROIAlign层之后连接的是mask层，所述mask层包括mask分支；通过所述mask层来预测经校正后的每一个候选特征图中，候选区域上的每个像素点的所属类别。
进一步的，所述ROIAlign层对应K×m2维度的输出；其中，K为对应的类别个数，即输出K个mask分支，m为对应的池化分辨率；所述池化分辨率为7*7。
进一步的，在对RCNN网络进行训练的过程中，使用区域特征聚集的方式，解决候选区域池化操作中，由于两次量化所造成的区域不匹配的问题，具体为：使用双线性内插的方法，在获得坐标为浮点数的像素点上的图像数值后，对所得的图像数值进行池化操作，将整个特征聚集的过程转化为连续的操作，避免了区域不匹配的问题。
进一步的，所述RCNN网络中使用损失函数L，来反映当前通过预训练的网络模型所得的输出结果与实际的结果之间的差距；其中，所述损失函数L为将分类误差Lcls、检测误差Lbox和分割误差Lmask做和所得，损失函数的数学定义式为：
L＝Lcls+Lbox+Lmask。
本发明提供的一种基于RCNN网络对医疗器械进行自动分类的系统，，该系统包括以下模块：
数据获取模块，用于从数据库中获取医疗器械的图像数据集；
数据预处理模块，用于利用OpenCV算法对所述图像数据集中的每一张图像进行预处理操作；所述预处理操作包括灰度化、阈值分割二值化和形态学去噪；
数据分类模块，用于将进行预处理后的图像数据集，作为RCNN网络的训练数据集，对RCNN网络进行训练，并利用训练好的网络，针对用户单次输入的图像，识别出各类器械及每张器械对应的数量；其中，在RCNN网络中添加mask分支，来对产生的每个候选区域进行语义分割，即先定义物体在图像中的位置和区域后，在对物体进行分类。
进一步的，所述RCNN网络通过RCN网络和CNN网络对输入的图像进行处理，其中，输入到RCNN网络的每张图像，一方面经由RCN网络生成候选区域；另一方面通过CNN网络的卷积层提取输入图像的整体特征，得到输入图像的特征图；结合生成的候选区域和所述输入图像的特征图，得到每个候选区域的候选特征图；其中，根据所得的候选特征图，在对输入图像进行分类之前，利用RCNN网络的ROIAlign层对每一个候选特征图进行像素校正。
进一步的，RCNN网络中在ROIAlign层之后连接的是mask层，所述mask层包括mask分支；通过所述mask层来预测经校正后的每一个候选特征图中，候选区域上的每个像素点的所属类别。
进一步的，所述ROIAlign层对应K×m2维度的输出；其中，K为对应的类别个数，即输出K个mask分支，m为对应的池化分辨率；所述池化分辨率为7*7。
实施本发明的一种基于RCNN网络对医疗器械进行自动分类的方法及系统，具有以下有益效果：
1、通过OpenCV模块对待分类的图像进行灰度化、阈值分割二值化、形态学去噪进行初步的预处理，能够最快的识别出器械的特征值；
2、使用区域特征聚集方式，解决ROI Pooling操作中两次量化造成的区域不匹配的问题。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明对医疗器械进行自动分类的方法流程图；
图2是RCNN网络的内部结构图；
图3是训练网络与分析网络之间的关系图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
请参考图1，其为本发明对医疗器械进行自动分类的方法流程图，本发明构造一种基于RCNN网络对医疗器械进行自动分类的方法，包括以下步骤：
S1、数据获取：从包含若干张医疗器械图像的数据库中，获取医疗器械的图像数据集；所述数据库中包括的每张医疗器械图像，以手机终端现场拍摄或者以图片导入的方式获取到；
S2、数据预处理：利用OpenCV算法对所述图像数据集中的每一张图像进行预处理操作；所述预处理操作包括灰度化、阈值分割二值化和形态学去噪；
S3、数据分类：将进行预处理后的图像数据集，作为RCNN网络的训练数据集，对RCNN网络进行训练，并利用训练好的网络，针对用户单次输入的图像，识别出各类器械及每张器械对应的数量；其中，在RCNN网络中添加mask分支，来对产生的每个候选区域进行语义分割，即先定义物体在图像中的位置和区域后，在对物体进行分类；其中，所述ROIAlign层对应K×m2维度的输出；其中，K为对应的类别个数，即输出K个mask分支，m为对应的池化分辨率；所述池化分辨率为7*7。
请参考图2，其为RCNN网络的内部结构图，首先从图中可见，RCNN网络通过RCN网络和CNN网络对输入的图像进行处理，其中，输入到RCNN网络的每张图像，一方面经由RCN网络生成候选区域；另一方面通过CNN网络的卷积层提取输入图像的整体特征，得到输入图像的特征图；结合生成的候选区域和所述输入图像的特征图，得到每个候选区域的候选特征图；
其次，RCNN网络中在ROIAlign层之后连接的是mask层，所述mask层包括mask分支；生成的固定尺度特征图，通过所述mask层来预测每一个候选特征图中，候选区域上的每个像素点的所属类别；。
最后，在所述RCNN网络中使用损失函数L，来反映当前通过预训练的网络模型所得的输出结果与实际的结果之间的差距；其中，所述损失函数L为将分类误差Lcls、检测误差Lbox和分割误差Lmask做和所得，损失函数的数学定义式为：
L＝Lcls+Lbox+Lmask。
其中，通过位于RCNN网络尾部的全连接层，通过调节层与层之间的连接权重，使得损失函数L收敛。
请参考图3，其为训练网络与分析网络之间的关系图，由于在实际使用过程中，本发明所用到的数据库不可能完全将用户导入的图像包含在内，因此，网络的训练过程，并不是仅仅只是通过训练数据，来对网络进行训练，该网络在用户实际使用的时候，由用户输入图像(在实际使用过程中，用户自行导入的，例如手术室中放于无菌器械台上的医疗器械图片)到通过训练数据训练得到的RCNN网络中，得到相应的识别结果，而在所述训练得到的RCNN网络中，针对识别结果与训练结果，通过比对识别误差，在有误差的情况下，则更新RCNN网络调节层与层之间的连接权重W,返回到卷积神经的训练步骤，重新训练网络。
为了解决，候选区域池化操作中，由于两次量化所造成的区域不匹配的问题，在对RCNN网络进行训练的过程中，使用区域特征聚集的方式，具体为：使用双线性内插的方法，在获得坐标为浮点数的像素点上的图像数值后，对所得的图像数值进行池化操作，将整个特征聚集的过程转化为连续的操作，避免了区域不匹配的问题。
上述实施例主要以骨科膝关节置换手术为例，在实际应用过程中，共包括37种手术器械，器械的总数为186，经过在武汉协和医院实地调查，一个有经验的清点人员点完一套器械需要多次清点才能确保最后的准确性，所用时间多大15到20分钟。
目前本发明提出的医疗器械智能分类系统，在使用180万条数据进行训练和测试后，本实施例中使用了20万条数据进行系统验证，对于针对完全铺开的手术器械识别率为99.6％，能够准确的识别出各类器械与数量，平均识别时间为0.25647秒(由于客户终端网络问题无法准确估量，此处未计入图片上传服务器时间)。对于未完全铺开的手术器械识别率为96.1％，平均识别时间为0.45647秒。可以看出对完全铺开的手术器械识别率完全可以在实际应用中使用，在保障了准确率的同时，为医疗团队在手术前后节约大量的时间，为手术的开展提供更好的支持，术后的清点也减轻了清点人员的负担。同时对于未完全铺开的器械，由于场景的多样性，部分情况器械特征容易被完全遮挡，还需要更多的数据进行学习和训练提高准确度。
在实际应用场合，可以要求清点人员在照片导入之前，将手术器械尽量简单的散开，再使用本发明提供的分类系统对现场的医疗器械进行识别清点。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种基于RCNN网络对医疗器械进行自动分类的方法，其特征在于，包括步骤：
S1、数据获取：导入若干张医疗器械图像到数据库中，从数据库中获取医疗器械的图像数据集；
S2、数据预处理：利用OpenCV算法对所述图像数据集中的每一张图像进行预处理操作；所述预处理操作包括灰度化、阈值分割二值化和形态学去噪；
S3、数据分类：将进行预处理后的图像数据集，作为RCNN网络的训练数据集，对RCNN网络进行训练，并利用训练好的网络，针对用户单次输入的图像，识别出各类器械及每张器械对应的数量；其中，在RCNN网络中添加mask分支，来对产生的每个候选区域进行语义分割，即先定义物体在图像中的位置和区域后，在对物体进行分类。
2.根据权利要求1所述的自动识别方法，其特征在于，所述RCNN网络通过RCN网络和CNN网络对输入的图像进行处理，其中，输入到RCNN网络的每张图像，一方面经由RCN网络生成候选区域；另一方面通过CNN网络的卷积层提取输入图像的整体特征，得到输入图像的特征图；结合生成的候选区域和所述输入图像的特征图，得到每个候选区域的候选特征图；其中，根据所得的候选特征图，在对输入图像进行分类之前，利用RCNN网络的ROIAlign层对每一个候选特征图进行像素校正。
3.根据权利要求2所述的自动识别方法，其特征在于，RCNN网络中在ROIAlign层之后连接的是mask层，所述mask层包括mask分支；通过所述mask层来预测经校正后的每一个候选特征图中，候选区域上的每个像素点的所属类别。
4.根据权利要求3所述的自动识别方法，其特征在于，所述ROIAlign层对应K×m2维度的输出；其中，K为对应的类别个数，即输出K个mask分支，m为对应的池化分辨率；所述池化分辨率为7*7。
5.根据权利要求1所述的自动识别方法，其特征在于，在对RCNN网络进行训练的过程中，使用区域特征聚集的方式，解决候选区域池化操作中，由于两次量化所造成的区域不匹配的问题，具体为：使用双线性内插的方法，在获得坐标为浮点数的像素点上的图像数值后，对所得的图像数值进行池化操作，将整个特征聚集的过程转化为连续的操作，避免了区域不匹配的问题。
6.根据权利要求1所述的自动识别方法，其特征在于，所述RCNN网络中使用损失函数L，来反映当前通过预训练的网络模型所得的输出结果与实际的结果之间的差距；其中，所述损失函数L为将分类误差Lcls、检测误差Lbox和分割误差Lmask做和所得，损失函数的数学定义式为：
L＝Lcls+Lbox+Lmask。
7.一种基于RCNN网络对医疗器械进行自动分类的系统，其特征在于，该系统包括以下模块：
数据获取模块，用于从数据库中获取医疗器械的图像数据集；
数据预处理模块，用于利用OpenCV算法对所述图像数据集中的每一张图像进行预处理操作；所述预处理操作包括灰度化、阈值分割二值化和形态学去噪；
数据分类模块，用于将进行预处理后的图像数据集，作为RCNN网络的训练数据集，对RCNN网络进行训练，并利用训练好的网络，针对用户单次输入的图像，识别出各类器械及每张器械对应的数量；其中，在RCNN网络中添加mask分支，来对产生的每个候选区域进行语义分割，即先定义物体在图像中的位置和区域后，在对物体进行分类。
8.根据权利要求7所述的自动识别方法，其特征在于，所述RCNN网络通过RCN网络和CNN网络对输入的图像进行处理，其中，输入到RCNN网络的每张图像，一方面经由RCN网络生成候选区域；另一方面通过CNN网络的卷积层提取输入图像的整体特征，得到输入图像的特征图；结合生成的候选区域和所述输入图像的特征图，得到每个候选区域的候选特征图；其中，根据所得的候选特征图，在对输入图像进行分类之前，利用RCNN网络的ROIAlign层对每一个候选特征图进行像素校正。
9.根据权利要求8所述的自动识别方法，其特征在于，RCNN网络中在ROIAlign层之后连接的是mask层，所述mask层包括mask分支；通过所述mask层来预测经校正后的每一个候选特征图中，候选区域上的每个像素点的所属类别。
10.根据权利要求9所述的自动识别方法，其特征在于，所述ROIAlign层对应K×m2维度的输出；其中，K为对应的类别个数，即输出K个mask分支，m为对应的池化分辨率；所述池化分辨率为7*7。
CN201910517050.XA 2019-06-14 2019-06-14 一种基于rcnn网络对医疗器械进行自动分类的方法及系统 Pending CN110414551A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910517050.XA CN110414551A (zh) 2019-06-14 2019-06-14 一种基于rcnn网络对医疗器械进行自动分类的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910517050.XA CN110414551A (zh) 2019-06-14 2019-06-14 一种基于rcnn网络对医疗器械进行自动分类的方法及系统

Publications (1)

Publication Number Publication Date
CN110414551A true CN110414551A (zh) 2019-11-05

Family

ID=68359137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910517050.XA Pending CN110414551A (zh) 2019-06-14 2019-06-14 一种基于rcnn网络对医疗器械进行自动分类的方法及系统

Country Status (1)

Country Link
CN (1) CN110414551A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968114A (zh) * 2020-09-09 2020-11-20 山东大学第二医院 基于级联深度学习方法的骨科耗材检测方法及系统
CN112347908A (zh) * 2020-11-04 2021-02-09 大连理工大学 一种基于空间分组注意力模型的外科手术器械图像识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846314A (zh) * 2018-05-08 2018-11-20 天津大学 一种基于深度学习的食材辨识系统和食材辨识方法
CN109002841A (zh) * 2018-06-27 2018-12-14 淮阴工学院 一种基于Faster-RCNN模型的建筑构件提取方法
CN109858367A (zh) * 2018-12-29 2019-06-07 华中科技大学 工人通过支撑不安全行为的视觉自动化检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846314A (zh) * 2018-05-08 2018-11-20 天津大学 一种基于深度学习的食材辨识系统和食材辨识方法
CN109002841A (zh) * 2018-06-27 2018-12-14 淮阴工学院 一种基于Faster-RCNN模型的建筑构件提取方法
CN109858367A (zh) * 2018-12-29 2019-06-07 华中科技大学 工人通过支撑不安全行为的视觉自动化检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PAULA CATALINA USECHE MURILLO: "Tree-Structured CNN for the Classification of Surgical Instruments", 《INTERNATIONAL SYMPOSIUM ON INTELLIGENT COMPUTING SYSTEMS》 *
黄海松 等: "基于深度学习的零件实例分割识别研究", 《组合机床与自动化加工技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968114A (zh) * 2020-09-09 2020-11-20 山东大学第二医院 基于级联深度学习方法的骨科耗材检测方法及系统
CN112347908A (zh) * 2020-11-04 2021-02-09 大连理工大学 一种基于空间分组注意力模型的外科手术器械图像识别方法

Similar Documents

Publication Publication Date Title
CN107437092B (zh) 基于三维卷积神经网络的视网膜oct图像的分类方法
Kaymak et al. Breast cancer image classification using artificial neural networks
CN107610087B (zh) 一种基于深度学习的舌苔自动分割方法
CN105917353B (zh) 用于生物认证的特征提取及匹配以及模板更新
RU2431196C1 (ru) Способ определения уровня яркости в зоне интереса цифрового медицинского рентгеновского изображения
CN107506770A (zh) 糖尿病视网膜病变眼底照相标准图像生成方法
CN109670510A (zh) 一种基于深度学习的胃镜活检病理数据筛查系统和方法
CN108346145A (zh) 一种病理切片中非常规细胞的识别方法
CN107862694A (zh) 一种基于深度学习的手足口病检测系统
CN107368671A (zh) 基于大数据深度学习的良性胃炎病理诊断支持系统和方法
CN105640577A (zh) 一种自动检测放射影像中局部性病变的方法和系统
CN109544537A (zh) 髋关节x光图像快速自动分析方法
CN109033994A (zh) 一种基于卷积神经网络的人脸表情识别方法
CN111242865A (zh) 基于生成式对抗网络的眼底图像增强方法
CN109949280A (zh) 图像处理方法、装置、设备存储介质及生长发育评估系统
CN109741316A (zh) 医学影像智能评片系统
CN110414551A (zh) 一种基于rcnn网络对医疗器械进行自动分类的方法及系统
CN113989551A (zh) 一种基于改进ResNet网络的阿尔茨海默病分类方法
CN115762721A (zh) 一种基于计算机视觉技术的医疗影像质控方法和系统
Sallam et al. Diabetic retinopathy grading using resnet convolutional neural network
CN109003659A (zh) 胃幽门螺旋杆菌感染病理诊断支持系统和方法
CN116805415A (zh) 一种基于轻量化改进YOLOv5的笼养肉鸡健康状态识别方法
Wijerathna et al. Brain Tumor Detection Using Image Processing
Xin et al. Augmentation of Alzheimer Images Base on Visual Transform
CN117994266B (zh) 一种基于对抗性域适应的低质量眼底彩照智能分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191105

RJ01 Rejection of invention patent application after publication