CN111582344A - 一种加油站卸油口盖状态识别方法 - Google Patents

一种加油站卸油口盖状态识别方法 Download PDF

Info

Publication number
CN111582344A
CN111582344A CN202010356027.XA CN202010356027A CN111582344A CN 111582344 A CN111582344 A CN 111582344A CN 202010356027 A CN202010356027 A CN 202010356027A CN 111582344 A CN111582344 A CN 111582344A
Authority
CN
China
Prior art keywords
discharge port
port cover
data set
oil discharge
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010356027.XA
Other languages
English (en)
Inventor
周斯加
杨承儒
陈志军
关超华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shangshan Zhicheng Suzhou Information Technology Co ltd
Original Assignee
Shangshan Zhicheng Suzhou Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shangshan Zhicheng Suzhou Information Technology Co ltd filed Critical Shangshan Zhicheng Suzhou Information Technology Co ltd
Priority to CN202010356027.XA priority Critical patent/CN111582344A/zh
Publication of CN111582344A publication Critical patent/CN111582344A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种加油站卸油口盖状态识别方法,包括获取加油站卸油作业现场包含识别标志的卸油口盖图片并预处理成样本数据集,且将样本数据集划分为训练数据集和测试数据集;构建Fast R‑CNN神经网络模型,并利用训练数据集及测试数据集对所述Fast R‑CNN神经网络模型进行训练及测试,直至模型满足预设要求收敛为止,得到训练好的Fast R‑CNN神经网络模型;获取加油站卸油作业现场实时卸油口盖图片,且进一步将所获取的实时卸油口盖图片导入训练好的Fast R‑CNN神经网络模型中识别,并根据识别结果,确定加油站卸油作业现场卸油口盖状态为打开或关闭。实施本发明,不仅具有较快的自检速度,还具有较高的检测精确度。

Description

一种加油站卸油口盖状态识别方法
技术领域
本发明涉及加油站卸油口盖检测技术领域,尤其涉及一种加油站卸油口盖状态识别方法。
背景技术
深度学习作为机器学习最重要的一个分支,主要应用于自然语言处理、语音识别和图像处理这三大领域。目前,图像处理领域是深度学习最为成熟的领域,在各大图像识别大赛中,深度学习算法远超其他机器学习算法。
但是,现有的深度学习算法应用于加油站卸油口盖检测上,不仅检测精确度较低,且检测速度较慢。因此,亟需一种加油站卸油口盖状态识别方法,在该方法中所采用的检测算法不仅有着较好的检测精确度,还有着较快的检测速度。
发明内容
本发明实施例所要解决的技术问题在于,提供一种加油站卸油口盖状态识别方法,不仅具有较快的自检速度,还具有较高的检测精确度。
为了解决上述技术问题,本发明实施例提供了一种加油站卸油口盖状态识别方法,所述方法包括以下步骤:
获取加油站卸油作业现场包含识别标志的卸油口盖图片并预处理成样本数据集,且将所述样本数据集划分为训练数据集和测试数据集;
构建Fast R-CNN神经网络模型,并利用训练数据集及测试数据集对所述Fast R-CNN神经网络模型进行训练及测试,直至模型满足预设要求收敛为止,得到训练好的FastR-CNN神经网络模型;
获取加油站卸油作业现场实时卸油口盖图片,且进一步将所获取的实时卸油口盖图片导入所述训练好的Fast R-CNN神经网络模型中识别,并根据识别结果,确定加油站卸油作业现场卸油口盖状态为打开或关闭。
其中,所述Fast R-CNN神经网络模型采用RPN网络来提取特征图中感兴趣区域;其中,所述RPN网络使用滑动窗口在特征图上进行滑动,以窗口中心点为基点,生成九个大小不相同的候选框,每个候选框都能映射到原图的一片区域,即为感兴趣区域。
其中,所述Fast R-CNN网络将感兴趣区域与图片样本中的标注框进行IOU计算,并设定IOU阈值,且待选取IOU值大于阈值的感兴趣区域和图片分别进行交叉熵运算和smoothL1loss计算来得到分类损失和回归损失后,进一步由所得到的分类损失和回归损失以反向传播的方式,对网络框架内所有权重参数进行更新。
其中,所述加油站卸油作业现场包含识别标志的卸油口盖图片是通过摄像机围绕卸油口盖开口方向180度绕半圆进行多角度、多距离和多高度拍摄的视频,且进一步通过编写PYTHON脚本并调用OPENCV对所拍摄的视频进行分解处理得到的图片。
其中,所述样本数据集是由分解处理得到的图片经数据增强处理后形成的。
其中,所述数据增强处理包括翻转、旋转、缩放、调整图片亮度和调整色彩饱和度。
其中,所述样本数据集是通过人工框选方式进行标注,并制作成VOC2007格式的数据集。
其中,所述方法进一步包括:
所述样本数据集标注过程中,对于存在遮挡及显示不全未超过百分之七十的消防器材,可对未遮挡部分进行标注。
其中,所述识别标志设置在贴纸上,且为至少填充两种颜色的正方形;其中,所述贴纸固定在所述卸油口盖上。
其中,所述根据识别结果,确定加油站卸油作业现场卸油口盖状态为打开或关闭的具体步骤为:
若识别结果中含有识别标志,则确定加油站卸油作业现场卸油口盖状态为关闭;反之,则确定加油站卸油作业现场卸油口盖状态为打开。
实施本发明实施例,具有如下有益效果:
1、本发明采用Fast R-CNN算法作为图像处理的基础算法,Fast R-CNN算法是第一个提出端到端训练的算法,具有较快的训练检测速度和较高的识别精度。它的训练速度比R-CNN快9倍,测试速度更是达到了惊人的213倍,在PASCAL VOC2012上实现了比较高的准确度。和SPPnet做比较,Fast-RCNN训练速度达3倍,测试速度达10倍;
2、本发明采用RPN网络进行感兴趣区域的提取,替代了以前的selectiveserch算法:鉴于selective serch算法属于传统机器学习算法,每滑一个窗口检测一次,相邻窗口信息重叠高且检测速度慢,将会生成较多无效的感兴趣区域,而PRN网络窗口滑动方式与传统窗口滑动策略不同,窗口滑动过的每一个位置都与输入图像中N个锚框相对应,且每一个锚框都有相对应的尺寸并以当前滑动窗口的原点为原点,因此RPN网络将会大大减少感兴趣区域提取的时间,提取感兴趣区域的质量也会提高,大大减少训练中的计算量,同时将原有的SVM分类器替换为全连接层,节省了大量的训练和检测时间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明实施例提供的加油站卸油口盖状态识别方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。
如图1所示,为本发明实施例中,提供的一种加油站卸油口盖状态识别方法,所述方法包括以下步骤:
步骤S1、获取加油站卸油作业现场包含识别标志的卸油口盖图片并预处理成样本数据集,且将所述样本数据集划分为训练数据集和测试数据集;
具体过程为,加油站卸油作业现场包含识别标志的卸油口盖图片是通过摄像机围绕卸油口盖开口方向180度绕半圆进行多角度、多距离和多高度拍摄的视频,且进一步通过编写PYTHON脚本并调用OPENCV对所拍摄的视频进行分解处理得到的图片;其中,识别标志设置在固定于卸油口盖的贴纸上,且为至少填充两种颜色的正方形(不能使用红色为底色)。
即首先通过摄像机对围绕卸油口盖开口方向180度绕半圆采集,可能进行多角度、多距离和多高度拍摄,得到加油站卸油作业现场包含识别标志的视频素材;如摄像机离卸油井盖距离分别为3米、5米、8米;摄像机高度分别为2米、3米、4米。其次,通过编写PYTHON脚本并调用OPENCV对加油站卸油作业现场包含识别标志的视频素材进行分解处理成样本数据集,且该样本数据集是由分解处理得到的图片经数据增强处理后形成的;其中,数据增强处理包括但不限于翻转、旋转、缩放、调整图片亮度、调整色彩饱和度等方式。
应当说明的是,样本数据集是通过在labelimg软件上使用人工框选方式进行标注,并制作成VOC2007格式的数据集,且样本数据集标注过程中,对于存在遮挡及显示不全未超过百分之七十的消防器材,可对未遮挡部分进行标注。即根据VOC2007格式数据集要求,标注完成后的样本数据集为图片和标注数据制作成的VOC2007数据集。
将所有图片和标注文件放置到数据集内,并通过PYTHON脚本生成训练数据集、测试数据集、验证数据集等。
步骤S2、构建Fast R-CNN神经网络模型,并利用训练数据集及测试数据集对所述Fast R-CNN神经网络模型进行训练及测试,直至模型满足预设要求收敛为止,得到训练好的Fast R-CNN神经网络模型;
具体过程为,构建Fast R-CNN神经网络模型,该Fast R-CNN神经网络模型采用RPN网络来提取特征图中感兴趣区域;其中,RPN网络使用滑动窗口在特征图上进行滑动,以窗口中心点为基点,生成九个大小不相同的候选框,每个候选框都能映射到原图的一片区域,即为感兴趣区域。
其中,Fast R-CNN网络将感兴趣区域与图片样本中的标注框进行IOU计算,并设定IOU阈值,且待选取IOU值大于阈值的感兴趣区域和图片分别进行交叉熵运算和smoothL1loss计算来得到分类损失和回归损失后,进一步由所得到的分类损失和回归损失以反向传播的方式,对网络框架内所有权重参数进行更新
在一个实施例中,感兴趣区域与图片样本中的标注框进行IOU计算,计算公式为:
Figure BDA0002473490990000051
其中,union为候选框与标注框交集的面积,area1为候选框面积,area2为标注框面积。
将IOU阈值设定为0.5,IOU值大于0.5的感兴趣区域作为正样本,IOU值小于0.5的感兴趣区域作为负样本。
对所有正样本根据IOU值进行排序,每张图片取前64个区域,将这些区域的坐标保存下来,作为该图片的训练样本;经过上方步骤,每个图片得到了64个区域坐标,即固定了每张图片感兴趣区域的数量,即可用于后续训练中。
采用batch_size=2进行训练,即每次输入2张图片以及128个感兴趣区域坐标,最终网络输出为大小为[128,1]的softmax向量,以及大小为[128,4]的坐标向量。对softmax向量与128个区域的独热码类标进行交叉熵的计算得到分类损失,128个区域的坐标复制classes次后与输出的坐标进行smoothL1loss计算得到回归损失,由分类损失和回归损失以反向传播的方式,对网络框架内所有权重参数进行更新,并经过多次迭代后,得训练好的Fast R-CNN神经网络模型作为卸油口盖识别标志的检测模型。
步骤S3、获取加油站卸油作业现场实时卸油口盖图片,且进一步将所获取的实时卸油口盖图片导入所述训练好的Fast R-CNN神经网络模型中识别,并根据识别结果,确定加油站卸油作业现场卸油口盖状态为打开或关闭。
具体过程为,首先在卸油口盖开口方向安装固定摄像头,进行实时卸油口盖图片采集。应当说明的是,固定摄像头需要保证当卸油口盖关闭后,卸油口盖上的识别标志消失在摄像头的视野内。
其次,将所获取的实时卸油口盖图片导入所述训练好的Fast R-CNN神经网络模型中进行识别,若识别结果中含有识别标志,则确定加油站卸油作业现场卸油口盖状态为关闭;反之,则确定加油站卸油作业现场卸油口盖状态为打开。
实施本发明实施例,具有如下有益效果:
1、本发明采用Fast R-CNN算法作为图像处理的基础算法,Fast R-CNN算法是第一个提出端到端训练的算法,具有较快的训练检测速度和较高的识别精度。它的训练速度比R-CNN快9倍,测试速度更是达到了惊人的213倍,在PASCAL VOC2012上实现了比较高的准确度。和SPPnet做比较,Fast-RCNN训练速度达3倍,测试速度达10倍;
2、本发明采用RPN网络进行感兴趣区域的提取,替代了以前的selectiveserch算法:鉴于selective serch算法属于传统机器学习算法,每滑一个窗口检测一次,相邻窗口信息重叠高且检测速度慢,将会生成较多无效的感兴趣区域,而PRN网络窗口滑动方式与传统窗口滑动策略不同,窗口滑动过的每一个位置都与输入图像中N个锚框相对应,且每一个锚框都有相对应的尺寸并以当前滑动窗口的原点为原点,因此RPN网络将会大大减少感兴趣区域提取的时间,提取感兴趣区域的质量也会提高,大大减少训练中的计算量,同时将原有的SVM分类器替换为全连接层,节省了大量的训练和检测时间。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘、光盘等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (10)

1.一种加油站卸油口盖状态识别方法,其特征在于,所述方法包括以下步骤:
获取加油站卸油作业现场包含识别标志的卸油口盖图片并预处理成样本数据集,且将所述样本数据集划分为训练数据集和测试数据集;
构建Fast R-CNN神经网络模型,并利用训练数据集及测试数据集对所述Fast R-CNN神经网络模型进行训练及测试,直至模型满足预设要求收敛为止,得到训练好的Fast R-CNN神经网络模型;
获取加油站卸油作业现场实时卸油口盖图片,且进一步将所获取的实时卸油口盖图片导入所述训练好的Fast R-CNN神经网络模型中识别,并根据识别结果,确定加油站卸油作业现场卸油口盖状态为打开或关闭。
2.如权利要求1中所述的加油站卸油口盖状态识别方法,其特征在于,所述Fast R-CNN神经网络模型采用RPN网络来提取特征图中感兴趣区域;其中,所述RPN网络使用滑动窗口在特征图上进行滑动,以窗口中心点为基点,生成九个大小不相同的候选框,每个候选框都能映射到原图的一片区域,即为感兴趣区域。
3.如权利要求2中所述的加油站卸油口盖状态识别方法,其特征在于,所述Fast R-CNN网络将感兴趣区域与图片样本中的标注框进行IOU计算,并设定IOU阈值,且待选取IOU值大于阈值的感兴趣区域和图片分别进行交叉熵运算和smoothL1loss计算来得到分类损失和回归损失后,进一步由所得到的分类损失和回归损失以反向传播的方式,对网络框架内所有权重参数进行更新。
4.如权利要求1所述的加油站卸油口盖状态识别方法,其特征在于,所述加油站卸油作业现场包含识别标志的卸油口盖图片是通过摄像机围绕卸油口盖开口方向180度绕半圆进行多角度、多距离和多高度拍摄的视频,且进一步通过编写PYTHON脚本并调用OPENCV对所拍摄的视频进行分解处理得到的图片。
5.如权利要求4所述的加油站卸油口盖状态识别方法,其特征在于,所述样本数据集是由分解处理得到的图片经数据增强处理后形成的。
6.如权利要求5所述的加油站卸油口盖状态识别方法,其特征在于,所述数据增强处理包括翻转、旋转、缩放、调整图片亮度和调整色彩饱和度。
7.如权利要求6中所述的加油站卸油口盖状态识别方法,其特征在于,所述样本数据集是通过人工框选方式进行标注,并制作成VOC2007格式的数据集。
8.如权利要求7所述的加油站卸油口盖状态识别方法,其特征在于,所述方法进一步包括:
所述样本数据集标注过程中,对于存在遮挡及显示不全未超过百分之七十的消防器材,可对未遮挡部分进行标注。
9.如权利要求4中所述的加油站卸油口盖状态识别方法,其特征在于,所述识别标志设置在贴纸上,且为至少填充两种颜色的正方形;其中,所述贴纸固定在所述卸油口盖上。
10.如权利要求1中所述的加油站卸油口盖状态识别方法,其特征在于,所述根据识别结果,确定加油站卸油作业现场卸油口盖状态为打开或关闭的具体步骤为:
若识别结果中含有识别标志,则确定加油站卸油作业现场卸油口盖状态为关闭;反之,则确定加油站卸油作业现场卸油口盖状态为打开。
CN202010356027.XA 2020-04-29 2020-04-29 一种加油站卸油口盖状态识别方法 Pending CN111582344A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010356027.XA CN111582344A (zh) 2020-04-29 2020-04-29 一种加油站卸油口盖状态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010356027.XA CN111582344A (zh) 2020-04-29 2020-04-29 一种加油站卸油口盖状态识别方法

Publications (1)

Publication Number Publication Date
CN111582344A true CN111582344A (zh) 2020-08-25

Family

ID=72120245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010356027.XA Pending CN111582344A (zh) 2020-04-29 2020-04-29 一种加油站卸油口盖状态识别方法

Country Status (1)

Country Link
CN (1) CN111582344A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364687A (zh) * 2020-09-29 2021-02-12 上善智城(苏州)信息科技有限公司 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统
CN114229780A (zh) * 2021-12-24 2022-03-25 贵州省劳动保护科学技术研究院(贵州省应急管理科学研究院) 一种卸油口机器视觉识别卸油工作的装置及工作方法
CN117789185A (zh) * 2024-02-28 2024-03-29 浙江驿公里智能科技有限公司 基于深度学习的汽车油孔姿态识别系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456723A (zh) * 2019-08-15 2019-11-15 成都睿晓科技有限公司 一种基于深度学习的加油站卸油区安全管控系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456723A (zh) * 2019-08-15 2019-11-15 成都睿晓科技有限公司 一种基于深度学习的加油站卸油区安全管控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
焦李成等, 西安电子科技大学出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364687A (zh) * 2020-09-29 2021-02-12 上善智城(苏州)信息科技有限公司 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统
CN114229780A (zh) * 2021-12-24 2022-03-25 贵州省劳动保护科学技术研究院(贵州省应急管理科学研究院) 一种卸油口机器视觉识别卸油工作的装置及工作方法
CN117789185A (zh) * 2024-02-28 2024-03-29 浙江驿公里智能科技有限公司 基于深度学习的汽车油孔姿态识别系统及方法
CN117789185B (zh) * 2024-02-28 2024-05-10 浙江驿公里智能科技有限公司 基于深度学习的汽车油孔姿态识别系统及方法

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
Luo et al. Traffic sign recognition using a multi-task convolutional neural network
US20210390319A1 (en) Scene change method and system combining instance segmentation and cycle generative adversarial networks
CN111582344A (zh) 一种加油站卸油口盖状态识别方法
CN110689000B (zh) 一种基于生成复杂环境下车牌样本的车辆车牌识别方法
CN107564004B (zh) 一种基于计算机辅助跟踪的篡改视频标注方法
CN113076900B (zh) 基于深度学习的试卷卷头学生信息自动检测方法
CN113762269B (zh) 基于神经网络的中文字符ocr识别方法、系统及介质
CN113011357A (zh) 基于时空融合的深度伪造人脸视频定位方法
CN114998220A (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN110659637A (zh) 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法
CN111339902A (zh) 一种数显仪表的液晶屏示数识别方法及装置
CN113378812A (zh) 一种基于Mask R-CNN和CRNN的数字表盘识别方法
CN116758421A (zh) 一种基于弱监督学习的遥感图像有向目标检测方法
CN114241495B (zh) 一种用于脱机手写文本识别的数据增强方法
CN114187664B (zh) 一种基于人工智能的跳绳计数系统
CN112102250A (zh) 训练数据为缺失标注的病理图像检测模型建立、检测方法
CN115205626A (zh) 一种应用于涂层缺陷检测领域的数据增强方法
CN114463197A (zh) 一种用于电力设备的文本识别方法及设备
CN110705535A (zh) 一种试卷版面文字行自动检测的方法
CN117831042A (zh) 遥感影像目标检测与分割方法、装置、设备和存储介质
CN113065559A (zh) 图像比对方法、装置、电子设备及存储介质
CN117437647A (zh) 基于深度学习和计算机视觉的甲骨文字检测方法
CN117351505A (zh) 信息码的识别方法、装置、设备及存储介质
CN112364687A (zh) 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825

RJ01 Rejection of invention patent application after publication