CN113420695A - 一种基于MSRCR和YOLOv4-Tiny算法的火焰快速检测方法 - Google Patents
一种基于MSRCR和YOLOv4-Tiny算法的火焰快速检测方法 Download PDFInfo
- Publication number
- CN113420695A CN113420695A CN202110740829.5A CN202110740829A CN113420695A CN 113420695 A CN113420695 A CN 113420695A CN 202110740829 A CN202110740829 A CN 202110740829A CN 113420695 A CN113420695 A CN 113420695A
- Authority
- CN
- China
- Prior art keywords
- image
- flame
- msrcr
- yolov4
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 238000012544 monitoring process Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 239000000428 dust Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Fire-Detection Mechanisms (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于MSRCR和YOLOv4‑Tiny算法的火焰快速检测方法，包括步骤：通过摄像头获取需检测目标区域的监控视频图像，并将该监控视频图像传输给服务器中的火焰检测模块；火焰检测模块首先对监控视频图像进行抽帧处理，获取监控视频中每一帧的图像；利用MSRCR算法对获取的每一帧图像进行增强处理；将经过MSRCR算法处理过的图像调整到大小为608*608的目标图像，并生成608*608*3的图像矩阵，然后将归一化后的图像矩阵输入到训练好的YOLOv4‑Tiny算法模型中；获取YOLOv4‑Tiny算法模型预测结果，包括识别的火焰数量和火焰区域大小，并在经过MSRCR算法处理过的图像上绘制出火焰目标框，得到预测结果图像。本发明用于解决现有工业环境采集图像不清晰导致火焰检测结果准确率低和提升火焰识别速度的问题。
Description
技术领域
本发明涉及计算机领域和图像识别领域，具体涉及一种基于MSRCR和YOLOv4-Tiny算法的快速检测和识别火焰方法。
背景技术
在威胁社会公众安全的灾害中，火灾是最常见的灾害之一，火灾具有不确定性、复杂性、快速性等特征，其发生易造成严重的经济损失和人员伤亡。随着科技的发展，火灾预警系统中智能检测、智能监控技术被广泛应用。火灾报警系统的关键是火焰检测和识别。
当前，国内外研究人员在火灾检测技术上进行大量研究，取得一些突破，现有的火灾检测技术大致可以分为两大类，一是基于红外、烟感等传感器进行火灾检测。在室内火灾检测中这类技术简单有效，但在较大的室外空间，例如钢厂的生产车间、原料库等大型场所，由于温度、烟雾等信息不易采集，传感器因工业生产环境造成老化，漏报和误报率较高。二是基于人工选择特征模型的视频图像火灾检测。此方法对人工选择特征具有较大依赖，由于人工选择特征具有主观性和盲目性，泛化能力较差，会影响到火灾检测的准确率。
当前深度学习和计算机视觉技术广泛应用于图像分割和图像识别领域，深度学习中的卷积神经网络在图像分类和图像目标识别方面取得较好的效果，因而许多卷积神经网络算法被应用在视频图像的火焰检测中。但是，由于工业生产现场的环境影响，许多监控摄像头表面时间久后会产生灰尘、油污等，导致监控视频图像不清晰，通过此视频图像不易识别出火焰目标，同时由于火灾预警需要实时性，因此在视频图像中检测火焰目标需要很高的检测效率。
发明内容
本发明要解决的技术问题是提供一种基于MSRCR和YOLOv4-Tiny算法的火焰快速检测方法，旨在解决现有工业环境采集图像不清晰导致火焰检测结果准确率低和提升火焰识别速度的技术问题。
为解决上述技术问题，本发明的内容包括：
一种基于MSRCR和YOLOv4-Tiny算法的火焰快速检测方法，包括如下步骤：
步骤S1：通过摄像头获取需检测目标区域的监控视频图像，并将该监控视频图像传输给服务器中的火焰检测模块；
步骤S2：火焰检测模块首先对监控视频图像进行抽帧处理，获取监控视频中每一帧的图像；
步骤S3：利用MSRCR算法对获取的每一帧图像进行增强处理；
步骤S4：将经过MSRCR算法处理过的图像调整到大小为608*608的目标图像，并生成608*608*3的图像矩阵，然后将归一化后的图像矩阵输入到训练好的YOLOv4-Tiny算法模型中；
步骤S5：获取YOLOv4-Tiny算法模型预测结果，包括识别的火焰数量和火焰区域大小，并在经过MSRCR算法处理过的图像上绘制出火焰目标框，得到预测结果图像；
步骤S6：将每一帧的预测结果图像以视频流形式在显示器上展示，实时监控目标区域是否有火焰产生。
进一步的，所述步骤S3中，利用MSRCR算法对获取的每一帧图像进行增强处理，包括色彩增强、局部动态范围压缩、全局动态范围压缩以及增强图像中的边缘信息。
进一步的，所述步骤S4中，YOLOv4-Tiny算法模型的训练过程包括以下步骤：
步骤A1：采集大规模火焰图像数据和工业现场视频监控图像数据，对图像数据进行标注、制作训练集和测试集；
步骤A2：设定训练参数，包括Epoch、Batchsize、Iou、激活函数和优化方法；
步骤A3：对YOLOv4-Tiny模型进行训练，当loss值达到需求时停止训练；
步骤A4：对训练好的模型测试预测效果，若达到需求则保存模型，否则重复步骤A3过程继续训练。
进一步的，所述步骤S6中，将检测出火焰的信息以报警信号的形式发出。
本发明的有益效果是：
本发明提供了一种基于MSRCR和YOLOv4-Tiny算法的火焰快速检测方法，该方法采用MSRCR算法增强视频图像，使图像更加清晰，接近于实际场景，有效的解决了摄像头由于灰尘、油污或大雾等原因导致采集图像数据不清晰，而使检测图像中火焰不准确的问题。该方法采用轻量化YOLOv4-Tiny算法模型作为预测模型，算法参数量较少，在保证准确率的情况下使得检测速度大幅度提升，识别图像中火焰的速度最高可达300FPS，可在摄像头监控中实时检测火焰，保证有监控目标区域有火焰产生时立刻发出警报，保证监控视频的流畅性。
本发明的检测方法对目标场景进行针对性训练，算法模型具有灵活性，模型参数可以针对特殊场景进行适配，采用YOLOv4-Tiny算法训练效率更高，节省时间。并且本发明的检测方法具有很好的适配性，在普通电脑、摄像头和手持拍照设备中都可完成部署，需要匹配的硬件要求较低。
附图说明
图1是本发明实施例的设备结构示意图；
图2是本发明实施例的流程示意图；
图3是本发明中YOLOv4-Tiny算法训练流程示意图；
图4是本发明中MSRCR算法流程示意图；
图5是本发明YOLOv4-Tiny算法模型网络结构示意图；
图6是本发明经过MSRCR算法增强处理前后的图像示意图；
图7是本发明目标区域火焰检测效果的示意图。
具体实施方式
为便于理解本发明，下面结合附图和具体实施方式对本发明作进一步详细的说明。本领域技术人员应该明了，所述实施例仅仅是帮助理解本发明，不应视为对本发明的具体限制。
本发明基于MSRCR和YOLOv4-Tiny算法实现了快速检测视频图像里的火焰，主要由视频图像采集、MSRCR算法、YOLOv4-Tiny算法组成。如图1所示，为本发明的火焰快速检测方法所涉及的硬件运行环境，实现本方法的设备结构示意图。其中服务器设备和摄像头设备通过网关接入统一网段，服务器设备可以获取摄像头图像数据，显示器以视频流形式实时显示预测结果，检测到火焰时会发出报警并在火焰区域显示识别框。
如图2所示，本发明提供了一种基于MSRCR和YOLOv4-Tiny算法的火焰快速检测方法，包括如下步骤：
步骤S1：通过摄像头获取需检测目标区域的监控视频图像，并将该监控视频图像传输给服务器中的火焰检测模块；
步骤S2：火焰检测模块首先对监控视频图像进行抽帧处理，获取监控视频中每一帧的图像；
步骤S3：利用MSRCR算法对获取的每一帧图像进行增强处理，包括色彩增强、局部动态范围压缩、全局动态范围压缩以及增强图像中的边缘信息；MSRCR算法流程如图4所示，处理后的图像局部对比度提高，亮度与真实场景相似，如图6所示，左图显示为MSRCR处理前的视频图像，右是MSRCR显示为处理后的视频图像。
步骤S4：将经过MSRCR算法处理过的图像调整到大小为608*608的目标图像，并生成608*608*3的图像矩阵，然后将归一化后的图像矩阵输入到训练好的YOLOv4-Tiny算法模型中；
步骤S5：获取YOLOv4-Tiny算法模型预测结果，包括识别的火焰数量和火焰区域大小，并在经过MSRCR算法处理过的图像上绘制出火焰目标框，得到预测结果图像；预测结果如图7所示。
步骤S6：将每一帧的预测结果图像以视频流形式在显示器上展示，将检测出火焰的信息以报警信号的形式发出，实时监控目标区域是否有火焰产生。
如图3所示，上述步骤S4中，将目标图像输入训练好的YOLOv4-Tiny算法模型之前，对YOLOv4-Tiny算法模型的训练过程包括以下步骤：
步骤A1：采集大规模火焰图像数据和工业现场视频监控图像数据，对图像数据进行标注、制作训练集和测试集；
步骤A2：设定训练参数，包括Epoch、Batchsize、Iou、激活函数和优化方法等，YOLOv4-Tiny网络结构如图5所示；
步骤A3：对YOLOv4-Tiny模型进行训练，当loss值达到需求时停止训练；
步骤A4：对训练好的模型测试预测效果，若达到需求则保存模型，否则重复步骤A3过程继续训练。
本发明的检测方法采用MSRCR算法增强视频图像，使图像更加清晰，接近于实际场景，有效的解决了摄像头由于灰尘、油污或大雾等原因导致采集图像数据不清晰，而使检测图像中火焰不准确的问题。该方法采用轻量化YOLOv4-Tiny算法模型作为预测模型，算法参数量较少，在保证准确率的情况下使得检测速度大幅度提升，识别图像中火焰的速度最高可达300FPS，可在摄像头监控中实时检测火焰，保证有监控目标区域有火焰产生时立刻发出警报，保证监控视频的流畅性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (4)
1.一种基于MSRCR和YOLOv4-Tiny算法的火焰快速检测方法，其特征在于：所述检测方法包括如下步骤：
步骤S1：通过摄像头获取需检测目标区域的监控视频图像，并将该监控视频图像传输给服务器中的火焰检测模块；
步骤S2：火焰检测模块首先对监控视频图像进行抽帧处理，获取监控视频中每一帧的图像；
步骤S3：利用MSRCR算法对获取的每一帧图像进行增强处理；
步骤S4：将经过MSRCR算法处理过的图像调整到大小为608*608的目标图像，并生成608*608*3的图像矩阵，然后将归一化后的图像矩阵输入到训练好的YOLOv4-Tiny算法模型中；
步骤S5：获取YOLOv4-Tiny算法模型预测结果，包括识别的火焰数量和火焰区域大小，并在经过MSRCR算法处理过的图像上绘制出火焰目标框，得到预测结果图像；
步骤S6：将每一帧的预测结果图像以视频流形式在显示器上展示，实时监控目标区域是否有火焰产生。
2.根据权利要求1所述的基于MSRCR和YOLOv4-Tiny算法的火焰快速检测方法，其特征在于：所述步骤S3中，利用MSRCR算法对获取的每一帧图像进行增强处理，包括色彩增强、局部动态范围压缩、全局动态范围压缩以及增强图像中的边缘信息。
3.根据权利要求1所述的基于MSRCR和YOLOv4-Tiny算法的火焰快速检测方法，其特征在于：所述步骤S4中，YOLOv4-Tiny算法模型的训练过程包括以下步骤：
步骤A1：采集大规模火焰图像数据和工业现场视频监控图像数据，对图像数据进行标注、制作训练集和测试集；
步骤A2：设定训练参数，包括Epoch、Batchsize、Iou、激活函数和优化方法；
步骤A3：对YOLOv4-Tiny模型进行训练，当loss值达到需求时停止训练；
步骤A4：对训练好的模型测试预测效果，若达到需求则保存模型，否则重复步骤A3过程继续训练。
4.根据权利要求1所述的基于MSRCR和YOLOv4-Tiny算法的火焰快速检测方法，其特征在于：所述步骤S6中，将检测出火焰的信息以报警信号的形式发出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110740829.5A CN113420695A (zh) | 2021-07-01 | 2021-07-01 | 一种基于MSRCR和YOLOv4-Tiny算法的火焰快速检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110740829.5A CN113420695A (zh) | 2021-07-01 | 2021-07-01 | 一种基于MSRCR和YOLOv4-Tiny算法的火焰快速检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113420695A true CN113420695A (zh) | 2021-09-21 |
Family
ID=77717505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110740829.5A Pending CN113420695A (zh) | 2021-07-01 | 2021-07-01 | 一种基于MSRCR和YOLOv4-Tiny算法的火焰快速检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113420695A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114241420A (zh) * | 2021-12-20 | 2022-03-25 | 国能(泉州)热电有限公司 | 一种动火作业检测方法及装置 |
| CN114495386A (zh) * | 2022-02-21 | 2022-05-13 | 南京大谋光电科技有限公司 | 一种高炉煤气放散智能监测预警系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111382723A (zh) * | 2020-03-30 | 2020-07-07 | 北京云住养科技有限公司 | 求救识别的方法、装置及系统 |
| CN111797795A (zh) * | 2020-07-13 | 2020-10-20 | 燕山大学 | 一种基于YOLOv3与SSR的行人检测算法 |
| CN112232180A (zh) * | 2020-10-14 | 2021-01-15 | 上海海洋大学 | 一种夜晚水下鱼类目标检测方法 |
| CN112633174A (zh) * | 2020-12-23 | 2021-04-09 | 电子科技大学 | 一种基于改进的YOLOv4高穹顶场景下火灾检测方法、存储介质 |
| CN112906485A (zh) * | 2021-01-25 | 2021-06-04 | 杭州易享优智能科技有限公司 | 基于改进的yolo模型的视障人士辅助障碍物感知方法 |
| CN113011319A (zh) * | 2021-03-16 | 2021-06-22 | 上海应用技术大学 | 多尺度火灾目标识别方法及系统 |
-
2021
- 2021-07-01 CN CN202110740829.5A patent/CN113420695A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111382723A (zh) * | 2020-03-30 | 2020-07-07 | 北京云住养科技有限公司 | 求救识别的方法、装置及系统 |
| CN111797795A (zh) * | 2020-07-13 | 2020-10-20 | 燕山大学 | 一种基于YOLOv3与SSR的行人检测算法 |
| CN112232180A (zh) * | 2020-10-14 | 2021-01-15 | 上海海洋大学 | 一种夜晚水下鱼类目标检测方法 |
| CN112633174A (zh) * | 2020-12-23 | 2021-04-09 | 电子科技大学 | 一种基于改进的YOLOv4高穹顶场景下火灾检测方法、存储介质 |
| CN112906485A (zh) * | 2021-01-25 | 2021-06-04 | 杭州易享优智能科技有限公司 | 基于改进的yolo模型的视障人士辅助障碍物感知方法 |
| CN113011319A (zh) * | 2021-03-16 | 2021-06-22 | 上海应用技术大学 | 多尺度火灾目标识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| ZICONG JIANG ET AL: "Real-time object detection method based on improved YOLOv4-tiny", 《COMPUTER AND PATTERN RECOGNITION》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114241420A (zh) * | 2021-12-20 | 2022-03-25 | 国能(泉州)热电有限公司 | 一种动火作业检测方法及装置 |
| CN114495386A (zh) * | 2022-02-21 | 2022-05-13 | 南京大谋光电科技有限公司 | 一种高炉煤气放散智能监测预警系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4705090B2 (ja) | 煙感知装置及びその方法 | |
| CN113420695A (zh) | 一种基于MSRCR和YOLOv4-Tiny算法的火焰快速检测方法 | |
| KR102195706B1 (ko) | 침입 탐지방법 및 그 장치 | |
| CN106504464A (zh) | 基于红外热成像的森林防火监测系统及信息融合方法 | |
| US8301577B2 (en) | Intelligent monitoring system for establishing reliable background information in a complex image environment | |
| CN111476964A (zh) | 一种远程森林防火监控系统与方法 | |
| CN103152558B (zh) | 基于场景识别的入侵检测方法 | |
| CN107220969A (zh) | 产品灯位的测试方法及检测系统 | |
| CN116229668A (zh) | 基于红外视频监测的火灾定位系统 | |
| CN116434533A (zh) | 一种基于5g的ai智慧公路隧道综合监测平台 | |
| CN116403377A (zh) | 一种公共场所异常行为与隐患检测装置 | |
| CN115841730A (zh) | 视频监控系统、异常事件检测方法 | |
| CN107704818A (zh) | 一种基于视频图像的火灾检测系统 | |
| CN113052125B (zh) | 一种施工现场违章图像识别告警方法 | |
| CN104504842A (zh) | 一种安防摄像机及其制造方法 | |
| CN110120142B (zh) | 一种火灾烟雾视频智能监控预警系统及预警方法 | |
| CN116310922A (zh) | 石化厂区监控视频风险识别方法、系统、电子设备及存储介质 | |
| CN109873990A (zh) | 一种基于计算机视觉的矿山非法开采预警方法 | |
| CN212569977U (zh) | 基于灰色和rbf双层神经网络的火灾识别报警装置 | |
| CN117351649A (zh) | 一种综合YOLOv8和帧差法的落石识别监测系统及方法 | |
| CN117475341A (zh) | 多物理场融合的异常识别方法、系统、电子设备及存储介质 | |
| CN108985144B (zh) | 一种高效低成本图像火灾自动识别方法及装置 | |
| CN111427038A (zh) | 车库环境下基于视觉与77GHz雷达的目标识别方法 | |
| CN111551196B (zh) | 一种检修工位上是否有车辆的检测方法 | |
| EP3819817A1 (en) | A method and system of evaluating the valid analysis region of a specific scene |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210921 |
|
| RJ01 | Rejection of invention patent application after publication |