CN111046827A - 一种基于卷积神经网络的视频烟雾检测方法 - Google Patents
一种基于卷积神经网络的视频烟雾检测方法 Download PDFInfo
- Publication number
- CN111046827A CN111046827A CN201911323715.XA CN201911323715A CN111046827A CN 111046827 A CN111046827 A CN 111046827A CN 201911323715 A CN201911323715 A CN 201911323715A CN 111046827 A CN111046827 A CN 111046827A
- Authority
- CN
- China
- Prior art keywords
- smoke
- layer
- neural network
- convolutional neural
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种基于卷积神经网络的视频烟雾检测方法,属于图片识别领域。现有的火灾烟雾识别算法都有很强的场景针对性,特别容易受到环境的干扰的问题。一种基于卷积神经网络的视频烟雾检测方法,对获取的视频图像进行预处理的步骤;对预处理后的视频图像进行疑似烟雾区域提取的步骤;对获得的疑似烟雾区域,进行烟雾特征描述的步骤;基于卷积神经网络烟雾纹理识别框架,利用卷积神经网络方法对上一步获得的待测检测区域进行烟雾识别。将前景图像中的运动目标输入CNN模型进行烟雾识别,在减少静态物体干扰的同时,提高了烟雾检测的效率。
Description
技术领域
本发明涉及一种基于卷积神经网络的视频烟雾检测方法。
背景技术
火灾的检测研究可追溯到30多年前,最早的学者采用火焰为研究对象,并且以火焰的颜色和亮度为主要特征,以此出现了在色彩预处理上的研究,从RGB颜色模型,HSV颜色模型,以及YCbCr,但是这类方法检测效果并不准确,往往在野外火灾发生范围广泛以后才会预警,后来逐渐开始探索伴随着火灾出现的烟雾。对于烟雾特征,在国内视频图像烟雾检测起步较晚,并逐渐形成了以不同侧重点的研究状况。YaqinZhao,袁非牛等人采用LBP、LBPV、颜色空间上提取局部特征进行识别。李笋等人通过暗通道先验,在RGB颜色空间上通过一定的公式进行色彩增强。不过对于烟雾检测在预处理时往往不会采用一类预处理。在特征选取方面,很多研究人员逐渐开始尝试特征融合来进行识别,包括:颜色、背景、动态特征、纹理、形态等。使用烟雾的时空特征结合动态纹理特征进行烟雾检测,例如根据实验和观察分析烟雾的运动状态,提出向上运动的特征对烟雾进行识别有效的减少了来自云层的干扰。在视频图像分块方面,采取以分块后进行待检测区域的提取,以此来减少运算量。
近几年,随着深度学习技术的发展,以及大数据时代的来临,极其有利于卷积神经网络模型的训练和范化。越来越多的研究者对烟雾的识别开始采用卷积神经网络。虽然卷积神经网络模型的学习原理中不用人工手动提取特征。但是在烟雾检测当中仍然没有做到这一点。一种类似反馈的级联性卷积神经网络,将静态的纹理特征和原始图像的光流序号依次作为输入,在纹理特征符合烟雾特性时再次对该帧图像进行光流序号的输入和识别。虽然能有效降低的错误率,但是对于整幅连续几帧图像的光流序号计算量太大,难以实现实时监测。又有采用迁移学习技术用ImageNet数据集将Inception-v3网络模型训练好,提取边缘,颜色等特征迁移到烟雾数据集样本上。其模型在小样本数据集上有较好的表现,但是在防止噪声和抗干扰性上并不能有很好表现。通过三层的卷积神经网络作为识别模型,将参数进行了调整。以及使用Caff框架建立卷积神经网络,并对德国航天研究的火灾算法Fshell进行对比试验,证实卷积神经网络在这一领域存在发展和探索的潜力。也有:利用混合高斯背景建模和帧差相结合的方法提取运动区域,然后将此运动区域池化为上、中、下三部分,并在每个池化区域提取光流矢量特征和边缘方向直方图。考虑到烟雾运动在时域中的连续相关性,提取相邻三帧的烟雾特征向量以提高算法的鲁棒性。最后使用支持向量机进行训练和烟雾检测。
整体看来,大部分算法都有很强的场景针对性,特别容易受到环境的干扰。一旦场景变得复杂,算法性能将受到影响。且多数基于多特征的烟雾检测方法只是将不同特征简单组合叠加,这在效果和时间上都是不符合需求的,目前还缺少特征选择和组合的原则。特征提取算子基本都是手工设计的,未必反映了烟雾最本质的特征。此外,特征提取与分类识别方法的联系效果也没有衡量准则。
发明内容
本发明的目的是为了解决现有的火灾烟雾识别算法都有很强的场景针对性,特别容易受到环境的干扰的问题,而提出一种基于卷积神经网络的视频烟雾检测方法。
一种基于卷积神经网络的视频烟雾检测方法,所述方法通过以下步骤实现:
步骤一、对获取的视频图像进行预处理的步骤;
步骤二、对预处理后的视频图像进行疑似烟雾区域提取的步骤;
步骤三、对获得的疑似烟雾区域,进行烟雾特征描述的步骤;
步骤四、基于卷积神经网络烟雾纹理识别框架,利用卷积神经网络方法对上一步获得的待测检测区域进行烟雾识别。
本发明的有益效果为:
本发明提出了一种将高斯混合模型与卷积神经网络相结合的视频烟雾检测方法,具体是将视频前景图像中的运动目标输入 CNN 模型进行烟雾识别,在减少静态物体干扰的同时,提高了烟雾检测的效率。且满足复杂场景下视频烟雾检测的实时性,准确率等需求。
本发明具有适用范围广的优点。
具体实施方式
具体实施方式一:
本实施方式的一种基于卷积神经网络的视频烟雾检测方法,所述方法通过以下步骤实现:
步骤一、对获取的视频图像进行预处理的步骤;
步骤二、对预处理后的视频图像进行疑似烟雾区域提取的步骤;
步骤三、对获得的疑似烟雾区域,进行烟雾特征描述的步骤;
步骤四、基于卷积神经网络烟雾纹理识别框架,利用卷积神经网络方法对上一步获得的待测检测区域进行烟雾识别。
具体实施方式二:
与具体实施方式一不同的是,本实施方式的一种基于卷积神经网络的视频烟雾检测方法,所述的步骤一中,对获取的视频图像进行预处理的步骤是指,对输入的视频图像进行去噪,选择合适的颜色空间、提取关键帧等处理,提升目标区域的抗干扰能力,具体为:
首先,由摄像机获取烟雾场景视频图像;
然后,由背景减除法对采集的序列图像进行处理,初步提取出运动目标的前景图像;
最后,由形态学去除前景图像中的噪声干扰。
具体实施方式三:
与具体实施方式二不同的是,本实施方式的一种基于卷积神经网络的视频烟雾检测方法,所述的步骤二中,对预处理后的视频图像进行疑似烟雾区域提取的步骤是指,分析烟雾运动特点,包括:火焰颜色、火焰灰度、延误面积、延误颜色、烟雾形状和烟雾辐射强度,以分割出待检测的区域,减少运算量。
具体实施方式四:
与具体实施方式三不同的是,本实施方式的一种基于卷积神经网络的视频烟雾检测方法,所述的步骤三中,对获得的疑似烟雾区域,进行烟雾特征描述的步骤是指,选择识别的特征依据,输入待检测区域,具体为:
步骤三一、设计CNN网络模型结构,并对该网络模型进行训练和测试;其中,网络模型的结构参数和运行步骤依次如下:
(1)输入层:网络的输入为128×128的3通道RGB图像;
(2)第一层卷积层:由8个3×3的卷积核对输入图像进行卷积操作,卷积核的滑动步长为1;为保证输出图像尺寸不变,进行0填充(zero-padding)操作,最终输出8张128×128的特征图;激励函数为ReLU;
(3)第一层池化层:使用2×2的池化核对第一层卷积层的输出进行最大池化操作,池化核的滑动步长为2,经过该层后特征图的尺寸为64×64;
(4)第二层卷积层:由16个3×3的卷积核对第一层池化层的输出进行卷积操作,卷积核的滑动步长为1,进行0填充操作,最终输出16张64×64的特征图;激励函数为ReLU;
(5)第二层池化层:使用2×2的池化核对第二层卷积层的输出进行最大池化操作,池化核的滑动步长为2,经过该层后特征图的尺寸为32×32;
(6)第一层全连接层:该层由512个神经元构成;为了防止过拟合,在该层中采用了随机失活(dropout)技术;激励函数为ReLU;
(7)第二层全连接层:即输出层,由2个神经元构成,该层使用激励函数softmax输出2个目标类的概率为P i (i=1,2),分别对应烟雾和非烟雾运动目标,并使P i 满足下式:
步骤三二、将烟雾视频每帧图像提取的前景运动目标作为CNN网络模型结构的输入,经卷积层和池化层进行特征提取;
步骤三三、由全连接层实现对各运动目标的分类识别。
具体实施方式五:
与具体实施方式四不同的是,本实施方式的一种基于卷积神经网络的视频烟雾检测方法,所述的步骤四中,基于卷积神经网络烟雾纹理识别框架,利用卷积神经网络方法对上一步获得的待测检测区域进行烟雾识别是指,具体为:
对CNN网络模型结构的烟雾识别结果设定概率阈值:
式中,O m 表示烟雾视频中任意提取的前景图像运动目标;PO m 为CNN模型将O m 识别为烟雾的概率;只有当PO m 的值大于90%时,将Om最终被判定为烟雾,Smoke表示烟雾,Non-Smoke表示没有,otherwise表示除掉烟雾的其他识别结果;经概率阈值设定后的结果克制,有效的去除了烟雾误报,只保留了真实的烟雾区域。通过上式的烟雾概率阈值设定方法,能够去除视频烟雾检测过程中的大部分非烟运动干扰项,降低了烟雾误报率。
Claims (5)
1.一种基于卷积神经网络的视频烟雾检测方法,其特征在于:所述方法通过以下步骤实现:
步骤一、对获取的视频图像进行预处理的步骤;
步骤二、对预处理后的视频图像进行疑似烟雾区域提取的步骤;
步骤三、对获得的疑似烟雾区域,进行烟雾特征描述的步骤;
步骤四、基于卷积神经网络烟雾纹理识别框架,利用卷积神经网络方法对上一步获得的待测检测区域进行烟雾识别。
2.根据权利要求1所述一种基于卷积神经网络的视频烟雾检测方法,其特征在于:所述的步骤一中,对获取的视频图像进行预处理的步骤是指,对输入的视频图像进行去噪,选择合适的颜色空间、提取关键帧等处理,提升目标区域的抗干扰能力,具体为:
首先,由摄像机获取烟雾场景视频图像;
然后,由背景减除法对采集的序列图像进行处理,初步提取出运动目标的前景图像;
最后,由形态学去除前景图像中的噪声干扰。
3.根据权利要求1或2所述一种基于卷积神经网络的视频烟雾检测方法,其特征在于:所述的步骤二中,对预处理后的视频图像进行疑似烟雾区域提取的步骤是指,分析烟雾运动特点,包括:火焰颜色、火焰灰度、延误面积、延误颜色、烟雾形状和烟雾辐射强度,以分割出待检测的区域。
4.根据权利要求3所述一种基于卷积神经网络的视频烟雾检测方法,其特征在于:所述的步骤三中,对获得的疑似烟雾区域,进行烟雾特征描述的步骤是指,选择识别的特征依据,输入待检测区域,具体为:
步骤三一、设计CNN网络模型结构,并对该网络模型进行训练和测试;其中,网络模型的结构参数和运行步骤依次如下:
(1)输入层:网络的输入为128×128的3通道RGB图像;
(2)第一层卷积层:由8个3×3的卷积核对输入图像进行卷积操作,卷积核的滑动步长为1;为保证输出图像尺寸不变,进行0填充操作,最终输出8张128×128的特征图;激励函数为ReLU;
(3)第一层池化层:使用2×2的池化核对第一层卷积层的输出进行最大池化操作,池化核的滑动步长为2,经过该层后特征图的尺寸为64×64;
(4)第二层卷积层:由16个3×3的卷积核对第一层池化层的输出进行卷积操作,卷积核的滑动步长为1,进行0填充操作,最终输出16张64×64的特征图;激励函数为ReLU;
(5)第二层池化层:使用2×2的池化核对第二层卷积层的输出进行最大池化操作,池化核的滑动步长为2,经过该层后特征图的尺寸为32×32;
(6)第一层全连接层:该层由512个神经元构成;为了防止过拟合,在该层中采用了随机失活技术;激励函数为ReLU;
(7)第二层全连接层:即输出层,由2个神经元构成,该层使用激励函数softmax输出2个目标类的概率为P i (i=1,2),分别对应烟雾和非烟雾运动目标,并使P i 满足下式:
步骤三二、将烟雾视频每帧图像提取的前景运动目标作为CNN网络模型结构的输入,经卷积层和池化层进行特征提取;
步骤三三、由全连接层实现对各运动目标的分类识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911323715.XA CN111046827A (zh) | 2019-12-20 | 2019-12-20 | 一种基于卷积神经网络的视频烟雾检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911323715.XA CN111046827A (zh) | 2019-12-20 | 2019-12-20 | 一种基于卷积神经网络的视频烟雾检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111046827A true CN111046827A (zh) | 2020-04-21 |
Family
ID=70238128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911323715.XA Pending CN111046827A (zh) | 2019-12-20 | 2019-12-20 | 一种基于卷积神经网络的视频烟雾检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111046827A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111597909A (zh) * | 2020-04-22 | 2020-08-28 | 吉林省大河智能科技有限公司 | 一种基于视觉显著性的火灾检测判断方法 |
CN111767875A (zh) * | 2020-07-06 | 2020-10-13 | 中兴飞流信息科技有限公司 | 一种基于实例分割的隧道烟雾检测方法 |
CN111830924A (zh) * | 2020-08-04 | 2020-10-27 | 郑州信大先进技术研究院 | 建筑工程内部设施的统一管理与联动控制系统及方法 |
CN112215122A (zh) * | 2020-09-30 | 2021-01-12 | 中国科学院深圳先进技术研究院 | 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质 |
CN112258403A (zh) * | 2020-10-09 | 2021-01-22 | 哈尔滨理工大学 | 一种在动态烟雾中提取疑似烟雾区域的方法 |
CN113298130A (zh) * | 2021-05-14 | 2021-08-24 | 嘉洋智慧安全生产科技发展(北京)有限公司 | 目标图像的检测、目标对象检测模型的生成方法 |
CN114187734A (zh) * | 2021-12-01 | 2022-03-15 | 深圳市中西视通科技有限公司 | 一种用于烟雾报警的图像识别方法和系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104794486A (zh) * | 2015-04-10 | 2015-07-22 | 电子科技大学 | 基于多特征融合的视频烟雾检测方法 |
CN105574468A (zh) * | 2014-10-08 | 2016-05-11 | 深圳中兴力维技术有限公司 | 视频火焰检测方法、装置及系统 |
CN105741466A (zh) * | 2015-11-03 | 2016-07-06 | 天津艾思科尔科技有限公司 | 用于环保监测的飞行器 |
CN107749067A (zh) * | 2017-09-13 | 2018-03-02 | 华侨大学 | 基于运动特性和卷积神经网络的火灾烟雾检测方法 |
CN109598891A (zh) * | 2018-12-24 | 2019-04-09 | 中南民族大学 | 一种利用深度学习分类模型实现烟雾检测的方法和系统 |
-
2019
- 2019-12-20 CN CN201911323715.XA patent/CN111046827A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105574468A (zh) * | 2014-10-08 | 2016-05-11 | 深圳中兴力维技术有限公司 | 视频火焰检测方法、装置及系统 |
CN104794486A (zh) * | 2015-04-10 | 2015-07-22 | 电子科技大学 | 基于多特征融合的视频烟雾检测方法 |
CN105741466A (zh) * | 2015-11-03 | 2016-07-06 | 天津艾思科尔科技有限公司 | 用于环保监测的飞行器 |
CN107749067A (zh) * | 2017-09-13 | 2018-03-02 | 华侨大学 | 基于运动特性和卷积神经网络的火灾烟雾检测方法 |
CN109598891A (zh) * | 2018-12-24 | 2019-04-09 | 中南民族大学 | 一种利用深度学习分类模型实现烟雾检测的方法和系统 |
Non-Patent Citations (3)
Title |
---|
YAN ZHANG ET AL: "Video Smoke Detection Based on Convolution Neuxal Network", 《2017 INTERNATIONAL CONFERENCE ON COMPUTER SYSTEMS》 * |
卢誉声: "《移动平台深度神经网络实战 原理、架构与优化》", 30 November 2019 * |
史劲亭 等: "视频烟雾检测研究进展", 《中国图象图形学报》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111597909A (zh) * | 2020-04-22 | 2020-08-28 | 吉林省大河智能科技有限公司 | 一种基于视觉显著性的火灾检测判断方法 |
CN111767875A (zh) * | 2020-07-06 | 2020-10-13 | 中兴飞流信息科技有限公司 | 一种基于实例分割的隧道烟雾检测方法 |
CN111767875B (zh) * | 2020-07-06 | 2024-05-10 | 中兴飞流信息科技有限公司 | 一种基于实例分割的隧道烟雾检测方法 |
CN111830924A (zh) * | 2020-08-04 | 2020-10-27 | 郑州信大先进技术研究院 | 建筑工程内部设施的统一管理与联动控制系统及方法 |
CN111830924B (zh) * | 2020-08-04 | 2021-06-11 | 郑州信大先进技术研究院 | 建筑工程内部设施的统一管理与联动控制系统及方法 |
CN112215122A (zh) * | 2020-09-30 | 2021-01-12 | 中国科学院深圳先进技术研究院 | 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质 |
CN112215122B (zh) * | 2020-09-30 | 2023-10-24 | 中国科学院深圳先进技术研究院 | 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质 |
CN112258403A (zh) * | 2020-10-09 | 2021-01-22 | 哈尔滨理工大学 | 一种在动态烟雾中提取疑似烟雾区域的方法 |
CN113298130A (zh) * | 2021-05-14 | 2021-08-24 | 嘉洋智慧安全生产科技发展(北京)有限公司 | 目标图像的检测、目标对象检测模型的生成方法 |
CN113298130B (zh) * | 2021-05-14 | 2023-05-09 | 嘉洋智慧安全科技(北京)股份有限公司 | 目标图像的检测、目标对象检测模型的生成方法 |
CN114187734A (zh) * | 2021-12-01 | 2022-03-15 | 深圳市中西视通科技有限公司 | 一种用于烟雾报警的图像识别方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111046827A (zh) | 一种基于卷积神经网络的视频烟雾检测方法 | |
CN109977790A (zh) | 一种基于迁移学习的视频烟雾检测与识别方法 | |
Ye et al. | Dynamic texture based smoke detection using Surfacelet transform and HMT model | |
CN104392468B (zh) | 基于改进视觉背景提取的运动目标检测方法 | |
CN107025652B (zh) | 一种基于运动特性和颜色时空信息的火焰检测方法 | |
WO2019104767A1 (zh) | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 | |
CN105404847B (zh) | 一种遗留物实时检测方法 | |
CN111126136A (zh) | 一种基于图像识别的烟雾浓度量化方法 | |
CN109034210A (zh) | 基于超特征融合与多尺度金字塔网络的目标检测方法 | |
CN103942557B (zh) | 一种煤矿井下图像预处理方法 | |
CN113469050B (zh) | 基于图像细分类的火焰检测方法 | |
CN111860143B (zh) | 一种面向巡检机器人的火焰实时检测方法 | |
CN110334660A (zh) | 一种雾天条件下基于机器视觉的森林火灾监测方法 | |
CN110415260B (zh) | 基于字典与bp神经网络的烟雾图像分割与识别方法 | |
CN110874592A (zh) | 一种基于总有界变分的森林火灾烟雾图像检测方法 | |
CN110490043A (zh) | 一种基于区域划分和特征提取的森林烟火检测方法 | |
CN114202646A (zh) | 一种基于深度学习的红外图像吸烟检测方法与系统 | |
CN112488213A (zh) | 一种基于多尺度特征学习网络的火灾图片分类方法 | |
CN104616034B (zh) | 一种烟雾检测方法 | |
CN117475353A (zh) | 基于视频的异常烟雾识别方法及系统 | |
CN112766179A (zh) | 一种基于运动特征混合深度网络的火灾烟雾检测方法 | |
CN111091586A (zh) | 一种快速的烟雾动态遮挡区域检测和定位方法及其应用 | |
CN106355566A (zh) | 一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法 | |
Zulkarnain et al. | Fire Detection based on Smoke Image using Convolutional Neural Network (CNN) | |
CN108764311A (zh) | 一种遮挡目标检测方法、电子设备、存储介质及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200421 |