CN109492534A - 一种基于Faster RCNN的跨场景多姿态的行人检测方法 - Google Patents

一种基于Faster RCNN的跨场景多姿态的行人检测方法 Download PDF

Info

Publication number
CN109492534A
CN109492534A CN201811186584.0A CN201811186584A CN109492534A CN 109492534 A CN109492534 A CN 109492534A CN 201811186584 A CN201811186584 A CN 201811186584A CN 109492534 A CN109492534 A CN 109492534A
Authority
CN
China
Prior art keywords
pedestrian
scene
faster rcnn
detection method
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811186584.0A
Other languages
English (en)
Inventor
毛亮
朱婷婷
林焕凯
黄仝宇
汪刚
宋兵
宋一兵
侯玉清
刘双广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gosuncn Technology Group Co Ltd
Original Assignee
Gosuncn Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gosuncn Technology Group Co Ltd filed Critical Gosuncn Technology Group Co Ltd
Priority to CN201811186584.0A priority Critical patent/CN109492534A/zh
Publication of CN109492534A publication Critical patent/CN109492534A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Abstract

本发明属于，涉及一种基于Faster RCNN的跨场景多姿态的行人检测方法，其对应用场景中的行人姿态进行统计分析，把行人姿态划分正面、背面、左侧面、右侧面、上面、躺着、趴着、特殊总共八类，获取各个办案场景的图片样本并对图片中的行人按姿态进行分类标注，对已标注好的样本集进行训练得到相应的网络模型，完成对跨场景多姿态的行人进行检测，大大地减少了漏检率和误识率。该算法泛化性能好，可以对不包含在训练集中的行人姿态进行有效地检测；行人检测率高，实时性强，可满足实际的应用需求。

Description

一种基于Faster RCNN的跨场景多姿态的行人检测方法
技术领域
本发明属于行人检测技术领域，特别涉及利用Faster RCNN(快速候选区域卷积神经网络)实现跨场景多姿态的行人检测，主要用于公安派出所办案区的视频监控场景中。
背景技术
公安办案民警办案完成后，需从办案区不同场景(如信息采集室、讯问室、侯问室等)的海量视频录像数据中把同一个嫌疑人的活动轨迹视频人工挑选出来形成案宗。这种做法需耗费大量人力、物力及时间，效率极其低下。为了提高公安办案民警的办案效率，提出针对公安办案区开发一套系统，其通过对嫌疑人活动轨迹的跟踪，实现视频的自动截取。该系统包括行人检测与行人再识别算法，本文主要是针对此应用场景开发一个行人检测算法。
目前基于图像的行人检测分类技术主要分为两种，一种是基于传统图像特征的方法，另一种是基于机器学习的方法。
基于传统图像特征的方法，主要用于固定背景的行人检测中，其使用光流法、帧差法等提取视频帧中的运动区域作为行人所在区域。此类方法容易把非人的运动目标检测为行人，且容易受到光照变化的影响，不适应于复杂多变的实际应用场景。
基于机器学习的方法，利用HOG(Histogram of Oriented Gradient)、Harr等特征描述子对行人特征进行描述，再通过Adaboost、SVM等分类器训练行人检测器进行行人检测。与传统图像特征方法不同的是，机器学习方法对尺度变化和成像背景光照具有一定地适应性和鲁棒性。但该类方法依赖于人工设计的特征描述子的描述能力，而人工设计的特征描述子的描述能力非常有限，对于复杂多变的实际应用场景，存在较高地漏检率和误检率。
公开号为“CN106056631A”的发明专利提出了一种基于运动区域的行人检测方法，其利用混合高斯模型提取运动前景，并使用形态学处理对运动前景的矩形包围框进行构建，进而提取包围框中HOG特征，最后利用预训练得到的SVM分类器确定该区域中是否有行人。该方法不适合行人静止或只有微小运动的情况，且其受光照、阴影变化影响较大。
公开号为“CN105913026A”的发明专利公开了一种基于Harr+PCA特征和概率神经网络的行人检测方法，其首先提取正样本集和负样本集的Haar特征，进而利用PCA对Haar特征向量进行降维，最后把降维后的Haar特征输入概率神经网络进行训练以得到行人检测器。该方法的特征描述依赖于Haar特征，而Haar特征描述能力非常有限，无法适应多角度多姿态的行人变化，且该方法没有实现网络端到端的训练测试。
现有的行人检测技术要求场景简单且行人模态单一，其对跨场景的适应性以及行人多姿态的泛化性低。但是在实际应用场景中，场景复杂且行人模态千变万化，现有的目标检测技术无法得到准确的检测结果，容易产生误检好漏检，不能满足派出所办案区的应用要求。
发明内容
本发明的目的是提出一种基于Faster RCNN的跨场景多姿态的行人检测方法，以解决现有技术中场景简单且行人模态单一，其对跨场景的适应性以及行人多姿态的泛化性低，无法稳定实时地满足派出所办案区的智能分析需求的问题。
本发明通过以下技术方案实现：
一种基于Faster RCNN的跨场景多姿态的行人检测方法，包括如下步骤：
(1)对应用场景中的行人姿态进行统计分析，把行人姿态划分正面、背面、左侧面、右侧面、上面、躺着、趴着、特殊总共八类；
(2)获取各个办案场景的图片样本并对图片中的行人按姿态进行分类标注；
(3)对已标注好的样本集进行训练得到相应的网络模型，完成对跨场景多姿态的行人进行检测。
进一步地，在所述的步骤(2)中进一步包括：
S1：从公安派出所办案区中收集各个场景的行人样本图像，并划分为训练集样本和测试集样本。
S2：对训练样本集进行标准化命名和标注，得到图像中行人的目标区域和所属姿态类别。
优选的，所述的各个场景包括信息采集室、侯问室、讯问室及通道。
进一步地，在所述的步骤(3)中进一步包括：
S3：设计Faster RCNN深度神经网络，将S2处理完成的训练集样本输入到网络中进行离线训练，获得行人检测器；
S4：建立标准测试库，包括公安派出所各类场景各种角度下各姿态的行人样本图像。
进一步地，在所述的步骤(3)之后进一步包括：S5：利用测试库对S3获得的行人检测器进行测试，并对测试结果进行分析。
优选的，若准确率、误检与漏检率均满足预设标准则把S3获得行人检测器作为最终的行人检测器，否则调整样本结构、网络参数以及网络结构再进入S1重新进行训练。
优选的，Faster RCNN训练过程主要由两部分组成：一是RPN全卷积神经网络候选框提取部分训练，此部分用于提取候选框；二是Fast RCNN检测部分训练，基于RPN提取的候选区域检测并识别候选区域中的行人目标。
优选的，RPN全卷积神经网络依次包括卷积层、特征图、候选区域网络以及选定候选区域四个步骤。
优选的，Fast RCNN检测部分包括全连接层，全连接层分为分类器层和回归层。
本发明还包括一种非易失性存储介质，其包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现上述基于Faster RCNN的跨场景多姿态的行人检测方法。
与现有技术相比，本发明至少具有下述的有益效果或优点：
本发明提供的这种基于Faster RCNN的跨场景多姿态的行人检测方法，其首先对应用场景中的行人姿态进行分类，进而对图片中的行人按姿态进行分类标注，最后利用已标注好的行人样本集进行训练得到相应的网络模型实现跨场景的多姿态的行人检测。该方法对行人姿态进行分类并使用卷积神经网络进行特征提取，特征表达能力强，且可实现端对端训练测试。在实际应用，该方法检测率高，漏检率和误检率低，实时性较好，能满足派出所办案区的智能需求。
附图说明
以下将结合附图对本发明做进一步详细说明；
图1是本发明的基于Faster RCNN的跨场景多姿态的行人检测方法的整体流程图；
图2是本发明的行人多姿态样本标注工具图；
图3是本发明的Faster RCNN训练过程流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有的行人检测技术无法稳定实时地满足派出所办案区的智能分析需求，本发明提出了一种基于Faster RCNN(快速候选区域卷积神经网络)场景多姿态的行人检测方法。在大量数据样本支撑的前提下，利用深度学习技术训练出Faster RCNN行人检测器，从而快速并准确地对公安派出所办案区各个场景中的行人进行检测。
具体通过以下技术方案来实现的：
1.1整体方案
一种基于Faster RCNN(快速候选区域卷积神经网络)的行人检测分类技术整体方案如图1，其主要包括以下几个步骤：
S1:对公安派出所办案区中的行人姿态进行统计，把行人姿态划分正面、背面、左侧面、右侧面、上面、躺着、趴着、特殊总共八类。
S2：从公安派出所办案区中收集各个场景(信息采集室、侯问室、讯问室、通道)的行人样本图像，并划分为训练集样本和测试集样本。
S3：对训练样本集进行标准化命名和标注，得到图像中行人的目标区域和所属姿态类别；
S4：设计Faster RCNN深度神经网络，将S3处理完成的训练集样本输入到网络中进行离线训练，获得行人的检测器；
S5：建立标准测试库，包括公安派出所各类场景各种角度下各姿态的行人样本图像；
S6：利用测试库对S4获得的行人检测器进行测试，并对测试结果进行分析。若达到较高的准确率与较低的误检与漏检率则把S4获得行人检测器作为最终的行人检测器，否则调整样本结构、网络参数以及网络结构在进入S2重新进行训练。
具体步骤见1.2～1.3。
1.2训练集样本处理
从公安派出所获取各个实际应用场景的图片样本，如表1，利用行人多姿态样本标注工具，如图2，框出图片中行人，并给与不同姿态行人以不同的类别，生成该图相应的xml标注信息文件，并对样本中各个类别进行统计。
表1训练集样本说明
中文名 数量
通道1 1010
通道2 1303
通道3 325
侯问室2 281
检查室 1091
讯问室1 1000
讯问室2 1000
讯问室3 460
讯问室4 789
讯问室5 764
训练集总计(张) 8013
1.3基于Faster RCNN的跨场景多姿态的行人检测器离线训练
Faster RCNN训练过程主要由两部分组成。一是RPN全卷积神经网络候选框提取部分训练，此部分用于提取候选框；二是Fast RCNN检测部分训练，基于RPN提取的候选区域检测并识别候选区域中的行人目标。其具体流程如图3。
1.4实验结果与分析
本方案实施例获取公安派出所各个场景的行人多姿态图片，如表2，进行测试。训练集配置如下：
CPU：i7-4790，3.60GHz；
内存：16G
GPU：GTX 960，显存8G；
本方案测试结果如表3所示。由表3可知，基于Faster RCNN的行人检测器整体上获得了95.06％的准确率，由此说明了本文所提出的方法在跨场景多姿态行人检测的有效性和准确性；1176张1920*1080分辨率的图片处理整体耗时200ms左右，基本上可以满足现实场景应用的需求。
表2测试集说明
中文名 数量
通道1 100
通道2 100
通道3 165
侯问室1 105
侯问室2 101
检查室 100
讯问室1 100
讯问室2 100
讯问室3 100
讯问室4 105
讯问室5 100
测试集总计(张) 1176
表3基于Faster RCNN的跨场景多姿态的行人检测器测试结果
综上所述，为了满足公安派出所办案区的智能分析需求，本发明提出一种基于Faster RCNN的跨场景多姿态行人检测方法，其首先对应用场景中的行人姿态进行统计分析，把行人姿态划分正面、背面、左侧面、右侧面、上面、躺着、趴着、特殊总共八类，进而获取各个办案场景的图片样本并对图片中的行人按姿态进行分类标注，最后对已标注好的样本集进行训练得到相应的网络模型，完成对跨场景多姿态的行人进行检测。本发明所提出的方法可有效地实现跨场景多姿态的行人检测，大大地减少了行人的误检和漏检，且实时性较高，可满足现实场景的应用需求。
本发明还包括一种非易失性存储介质，其包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现上述基于Faster RCNN的跨场景多姿态行人检测方法。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。

Claims (10)

1.一种基于Faster RCNN的跨场景多姿态的行人检测方法，其特征在于，包括如下步骤：
(1)对应用场景中的行人姿态进行统计分析，把行人姿态划分正面、背面、左侧面、右侧面、上面、躺着、趴着、特殊总共八类；
(2)获取各个办案场景的图片样本并对图片中的行人按姿态进行分类标注；
(3)对已标注好的样本集进行训练得到相应的网络模型，完成对跨场景多姿态的行人进行检测。
2.根据权利要求1所述的基于Faster RCNN的跨场景多姿态的行人检测方法，其特征在于，在所述的步骤(2)中进一步包括：
S1：从公安派出所办案区中收集各个场景的行人样本图像，并划分为训练集样本和测试集样本。
S2：对训练样本集进行标准化命名和标注，得到图像中行人的目标区域和所属姿态类别。
3.根据权利要求2所述的基于Faster RCNN的跨场景多姿态的行人检测方法，其特征在于，所述的各个场景包括信息采集室、侯问室、讯问室及通道。
4.根据权利要求2所述的基于Faster RCNN的跨场景多姿态的行人检测方法，其特征在于，在所述的步骤(3)中进一步包括：
S3：设计Faster RCNN深度神经网络，将S2处理完成的训练集样本输入到网络中进行离线训练，获得行人检测器；
S4：建立标准测试库，包括公安派出所各类场景各种角度下各姿态的行人样本图像。
5.根据权利要求4所述的基于Faster RCNN的跨场景多姿态的行人检测方法，其特征在于，在所述的步骤(3)之后进一步包括：S5：利用测试库对S3获得的行人检测器进行测试，并对测试结果进行分析。
6.根据权利要求5所述的基于Faster RCNN的跨场景多姿态的行人检测方法，其特征在于，若准确率、误检与漏检率均满足预设标准则把S3获得行人检测器作为最终的行人检测器，否则调整样本结构、网络参数以及网络结构再进入S1重新进行训练。
7.根据权利要求4所述的基于Faster RCNN的跨场景多姿态的行人检测方法，其特征在于，Faster RCNN训练过程主要由两部分组成：一是RPN全卷积神经网络候选框提取部分训练，此部分用于提取候选框；二是Fast RCNN检测部分训练，基于RPN提取的候选区域检测并识别候选区域中的行人目标。
8.根据权利要求7所述的基于Faster RCNN的跨场景多姿态的行人检测方法，其特征在于，RPN全卷积神经网络依次包括卷积层、特征图、候选区域网络以及选定候选区域四个步骤。
9.根据权利要求7所述的基于Faster RCNN的跨场景多姿态的行人检测方法，其特征在于，Fast RCNN检测部分包括全连接层，全连接层分为分类器层和回归层。
10.一种非易失性存储介质，其特征在于，包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现上述权利要求1-9任一项所述的方法。
CN201811186584.0A 2018-10-12 2018-10-12 一种基于Faster RCNN的跨场景多姿态的行人检测方法 Pending CN109492534A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811186584.0A CN109492534A (zh) 2018-10-12 2018-10-12 一种基于Faster RCNN的跨场景多姿态的行人检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811186584.0A CN109492534A (zh) 2018-10-12 2018-10-12 一种基于Faster RCNN的跨场景多姿态的行人检测方法

Publications (1)

Publication Number Publication Date
CN109492534A true CN109492534A (zh) 2019-03-19

Family

ID=65689547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811186584.0A Pending CN109492534A (zh) 2018-10-12 2018-10-12 一种基于Faster RCNN的跨场景多姿态的行人检测方法

Country Status (1)

Country Link
CN (1) CN109492534A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008927A (zh) * 2019-04-15 2019-07-12 河南大华安防科技股份有限公司 一种基于深度学习模型Fast-Rcnn改进的警情自动化判定方法
CN110569757A (zh) * 2019-08-26 2019-12-13 高新兴科技集团股份有限公司 基于深度学习的多姿态行人检测方法及计算机存储介质
CN111079519A (zh) * 2019-10-31 2020-04-28 高新兴科技集团股份有限公司 多姿态人体检测方法、计算机存储介质及电子设备
CN112163492A (zh) * 2020-09-21 2021-01-01 华南理工大学 一种长时跨场景优化的交通物体检测方法、系统及介质
CN112488071A (zh) * 2020-12-21 2021-03-12 重庆紫光华山智安科技有限公司 提取行人特征的方法、装置、电子设备和存储介质
CN112784723A (zh) * 2021-01-14 2021-05-11 金陵科技学院 一种基于IFast-RCNN算法的道路交通安全保护模型

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324938A (zh) * 2012-03-21 2013-09-25 日电（中国）有限公司 训练姿态分类器及物体分类器、物体检测的方法及装置
CN108304808A (zh) * 2018-02-06 2018-07-20 广东顺德西安交通大学研究院 一种基于时空信息与深度网络的监控视频对象检测方法
CN108564030A (zh) * 2018-04-12 2018-09-21 广州飒特红外股份有限公司 面向车载热成像行人检测的分类器训练方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324938A (zh) * 2012-03-21 2013-09-25 日电（中国）有限公司 训练姿态分类器及物体分类器、物体检测的方法及装置
CN108304808A (zh) * 2018-02-06 2018-07-20 广东顺德西安交通大学研究院 一种基于时空信息与深度网络的监控视频对象检测方法
CN108564030A (zh) * 2018-04-12 2018-09-21 广州飒特红外股份有限公司 面向车载热成像行人检测的分类器训练方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAOTONGZHAO，WEILI，ET.AL.: ""A Faster RCNN-based Pedestrian Detection System"", 《2016IEEE 84 TH VEHICULAR TECHNOLOGY CONFERENCE》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008927A (zh) * 2019-04-15 2019-07-12 河南大华安防科技股份有限公司 一种基于深度学习模型Fast-Rcnn改进的警情自动化判定方法
CN110569757A (zh) * 2019-08-26 2019-12-13 高新兴科技集团股份有限公司 基于深度学习的多姿态行人检测方法及计算机存储介质
CN110569757B (zh) * 2019-08-26 2022-05-06 高新兴科技集团股份有限公司 基于深度学习的多姿态行人检测方法及计算机存储介质
CN111079519A (zh) * 2019-10-31 2020-04-28 高新兴科技集团股份有限公司 多姿态人体检测方法、计算机存储介质及电子设备
CN111079519B (zh) * 2019-10-31 2023-08-29 高新兴科技集团股份有限公司 多姿态人体检测方法、计算机存储介质及电子设备
CN112163492A (zh) * 2020-09-21 2021-01-01 华南理工大学 一种长时跨场景优化的交通物体检测方法、系统及介质
CN112163492B (zh) * 2020-09-21 2023-09-08 华南理工大学 一种长时跨场景优化的交通物体检测方法、系统及介质
CN112488071A (zh) * 2020-12-21 2021-03-12 重庆紫光华山智安科技有限公司 提取行人特征的方法、装置、电子设备和存储介质
CN112488071B (zh) * 2020-12-21 2021-10-26 重庆紫光华山智安科技有限公司 提取行人特征的方法、装置、电子设备和存储介质
CN112784723A (zh) * 2021-01-14 2021-05-11 金陵科技学院 一种基于IFast-RCNN算法的道路交通安全保护模型

Similar Documents

Publication Publication Date Title
CN109492534A (zh) 一种基于Faster RCNN的跨场景多姿态的行人检测方法
Du et al. Saliency-guided single shot multibox detector for target detection in SAR images
CN105354548B (zh) 一种基于ImageNet检索的监控视频行人重识别方法
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN111783576B (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN105389562B (zh) 一种时空约束的监控视频行人重识别结果的二次优化方法
CN106022220A (zh) 一种体育视频中对参赛运动员进行多人脸跟踪的方法
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN104881865A (zh) 基于无人机图像分析的森林病虫害监测预警方法及其系统
CN103530638B (zh) 多摄像头下的行人匹配方法
CN107730515A (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN110334602B (zh) 一种基于卷积神经网络的人流量统计方法
CN109635634A (zh) 一种基于随机线性插值的行人再识别数据增强方法
CN109344842A (zh) 一种基于语义区域表达的行人重识别方法
CN113269091A (zh) 一种面向智慧园区的人员轨迹分析方法、设备及介质
CN106709438A (zh) 一种基于视频会议的人数统计方法
CN109409250A (zh) 一种基于深度学习的无交叠视域跨摄像机行人再识别方法
Rong et al. Pest identification and counting of yellow plate in field based on improved mask r-cnn
WO2021217764A1 (zh) 一种基于偏振成像的人脸活体检测方法
CN107194348A (zh) 一种图像中目标物体的主颜色识别方法
CN109271932A (zh) 基于颜色匹配的行人再识别方法
CN110533100A (zh) 一种基于机器学习进行cme检测和跟踪的方法
CN103106414A (zh) 一种智能视频监控中行人的检测方法
CN108154113A (zh) 基于全卷积网络热度图的跌倒事件检测方法
CN108875448B (zh) 一种行人再识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190319