CN111814635A - 基于深度学习的烟火识别模型建立方法和烟火识别方法 - Google Patents
基于深度学习的烟火识别模型建立方法和烟火识别方法 Download PDFInfo
- Publication number
- CN111814635A CN111814635A CN202010609753.8A CN202010609753A CN111814635A CN 111814635 A CN111814635 A CN 111814635A CN 202010609753 A CN202010609753 A CN 202010609753A CN 111814635 A CN111814635 A CN 111814635A
- Authority
- CN
- China
- Prior art keywords
- firework
- smoke
- image
- early warning
- identification model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000000779 smoke Substances 0.000 title claims abstract description 33
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 238000012795 verification Methods 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 30
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000009193 crawling Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 7
- 238000013136 deep learning model Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
本发明公开一种基于深度学习的烟火识别模型建立方法和烟火识别方法，所述烟火识别模型建立方法利用gan网络对烟火图片和要检测区域的正常图片进行合成，可以增加实际应用场景中数据集的样本数，之后通过yolov3标注、训练、验证得出要建立的烟火识别模型。本方法可以解决传统烟火识别方法中烟火特征抽象、形体多样、特征不明显不具体的问题，同时解决实际应用场景中烟火图像数据较小或没有的情况。所述烟火识别方法基于上述建立的烟火识别模型，对大场景远距离图像识别中产生的误判问题进行了解决。
Description
技术领域
本发明涉及图像处理方法领域，具体地讲涉及一种基于深度学习的烟火识别模型建立方法和烟火识别方法。
背景技术
随着社会的发展，人们对灾难提前预防的意识正在不断的提高，需求也在逐渐的增加。比如对于火灾的预防就是我们需要的。能不能在火灾最初的时候对火灾进行提前的防护对于生命财产安全至关重要。但是烟火识别的难度在于特征抽象，形态多样，特征不明显，并且实际场景中样本较少，且不容易获取。并且在大场景远距离图像识别中容易产生误判
专利CN 110728284 A《一种基于深度学习的边缘计算烟火识别方法及智能终端》公开了一种基于深度学习的边缘计算烟火识别方法及智能终端，方法包括以下步骤：通过边缘计算架构在智能终端嵌入烟火识别算法；通过智能终端采集图像后通过烟火识别算法识别烟火图像；其中通过烟火识别算法识别烟火图像具体包括：对图像进行预处理，对图像的样本数据集进行扩充；基于VGG16模型利用卷积层代替全连接层构建卷积神经网络模型；训练卷积神经网络模型获得深度学习模型；将图像的样本数据集中的图像输入深度学习模型提取烟火特征并构建特征数据库；将待识别图像输入深度学习模型提取烟火特征；根据特征数据库通过SVM对提取的待识别图像烟火特征进行分类识别；可以快速给出识别图像的结果。直接用vgg16对原图片进行识别，首先因为烟火的形态的不确定性会导致标注的区域过大，对训练的结果产生影响，其次识别度不高。并且识别过程中对大场景远距离图像识别产生误判的问题没有解决。
专利CN 102306278A《一种基于视频的烟火检测方法和装置》公开了一种基于视频的检测方法，包括：（a）从视频图像中提取预定数量的连续的图像帧；（b）检测出各帧图像上的运动像素，并确定其中的运动像素区域；（c）识别运动像素区域中各像素颜色是否为烟火颜色，得到运动烟火颜色区域；（d）对各种运动烟火颜色区域分别进行时域和空域分析，并判断运动烟火颜色区域是否具有烟火时域和空域特征；（e）综合前述步骤检测判断结果判定视频图像中是否存在烟火。该专利用像素时域分析和空域分析对烟火的形态进行分析，但是烟火是个抽象的物体，规律性较差而这两种分析都是对规律性较强的信号进行分析，不同的烟火的形态可能完全不一样。很难进行单一的时域分析和空域分析分析。识别过程中对大场景远距离图像识别产生误判的问题没有解决
专利CN 106997461 A《一种烟火检测方法及装置》公开了一种烟火检测方法及装置，所述方法包括：如果采用白天模式，根据该帧图像中像素点的像素值，确定候选烟雾像素点；根据候选烟雾像素点确定每个疑似烟雾区域；根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域；如果采用晚上模式，根据该帧图像中像素点的灰度值，确定疑似火焰像素点；根据疑似火焰像素点的灰度值，确定火焰闪烁区域；根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域。由于在本发明实施例中，如果采用白天模式，根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域；如果采用晚上模式 ，根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域，使得对烟火检测更加准确。但是该专利是按照白天黑夜进行分析，并且运用大量的阈值来进行判定分析，但是烟火的特征形态不同，规律性不强，很难通过一系列的烟火像素值阈值设定来进行判定。识别过程中对大场景远距离图像识别产生误判的问题没有解决。
发明内容
本发明要解决的技术问题是提供一种基于深度学习的烟火识别模型建立方法和烟火识别方法，用于解决传统烟火识别方法中烟火特征抽象、形体多样、特征不明显不具体的问题，同时解决实际应用场景中烟火图像数据较少或没有的情况。
为了解决所述技术问题，本发明采用的技术方案是：一种基于深度学习的烟火识别模型建立方法，包括以下步骤：
S01）、图像采集，采集的图像包括两类，一类为烟火图片，另一类为要检测区域的正常图片；
S02）、gan网络合成，采用gan网络合成技术对两类图片进行合成，生成以正常图片为背景的合成图片，用以增加实际应用场景中的数据集的样本数；
S03）、图像标注，图像标注过程中比较烟火在标注框占比是否超过1/2，如果是，则进入步骤S04，如果不是，则进入步骤S05；
S04）、直接进行烟火标注；
S05）、进行烟火重标注，将烟火部分进行分割，保证每部分中烟火的占比不低于标注框的1/2；
S06）、用yolov3目标检测框架对标注的训练集进行训练，训练集包括网络爬虫的烟火图像数据以及经过gan网络合成的数据；
S07）、yolov3目标检测框架训练出多个模型，对于模型的选择，采用的方法是在置信度0.5，iou为0.3时，经过验证集得出的准确率最高的模型就是所建立的烟火识别模型。
进一步的，步骤S01的烟火图片通过网络爬虫爬取或者视频中截取得到。
本方法还公开了一种基于深度学习的烟火识别方法，本方法首先将烟火识别模型建立方法所得的烟火识别模型导入检测系统运行，然后执行以下步骤：
S21）、开始正常的巡线，摄像头随云台进行巡线检测；
S22）、检测巡线过程中的图像，当发现置信度大于阈值T1的目标时进行预警，并判断当前预警目标的个数；
S23）、记录下当前云台的位置和摄像头焦距，用于后续云台和摄像头回归初始位置；
S24）、由置信度最高的点开始预警检测；
S25）、将图像中的横坐标、纵坐标传入底层云台；
S26）、云台计算位置到达预警位置，并且摄像头变焦放大图像；
S27）、采集图像信息，烟火识别模型进行识别，如果目标置信度大于阈值T2进行报警，其中T1＜T2；；
S28）、云台和摄像头归位到初始位置；
S29）、云台归位后采集当前图像进行检测，继续进行预警检测，对已经检测过的位置不再进行预警，如果预警置信度大于阈值T1，进入步骤S22，如果没有异常进入步骤S20；
S210）、根据云台记录的初始位置进行计算，跨过检测过的区域继续进行巡线的预警。
进一步的，T1=0.3，T2=0.8。
本发明的有益效果：本发明所述烟火识别模型建立方法利用gan网络对烟火图片和要检测区域的正常图片进行合成，可以增加实际应用场景中数据集的样本数，之后通过yolov3标注、训练、验证得出要建立的烟火识别模型。本方法可以解决传统烟火识别方法中烟火特征抽象、形体多样、特征不明显不具体的问题，同时解决实际应用场景中烟火图像数据较小或没有的情况。
所述烟火识别方法基于上述建立的烟火识别模型，对大场景远距离图像识别中产生的误判问题进行了解决。
附图说明
图1为实施例1所述方法的流程图；
图2为实施例2所述方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
实施例1
本实施例公开一种基于深度学习的烟火识别模型的建立方法，如图1所示，包括以下步骤：
S01）、图像采集，采集的图像包括两类，一类为烟火图片，另一类为要检测区域的正常图片，正常图片作为背景图像；
S02）、gan网络合成，采用gan网络合成技术对两类图片进行合成，生成以正常图片为背景的合成图片，用以增加实际应用场景中的数据集的样本数；
S03）、图像标注，图像标注过程中比较烟火在标注框占比是否超过1/2，如果是，则进入步骤S04，如果不是，则进入步骤S05；
S04）、直接进行烟火标注；
S05）、进行烟火重标注，将烟火部分进行分割，保证每部分中烟火的占比不低于标注框的1/2；
S06）、用yolov3目标检测框架对标注的训练集进行训练，训练集包括网络爬虫的烟火图像数据、以及经过gan网络合成的数据；
S07）、yolov3目标检测框架训练出多个模型，对于模型的选择，采用的方法是在置信度0.5，iou为0.3时，经过验证集得出的准确率最高的模型就是所建立的烟火识别模型。
本实施例中，步骤S01的烟火图片通过网络爬虫爬取或者视频中截取得到。
实施例2
本实施例公开一种基于深度学习的烟火识别方法，本方法基于实施例1建立的烟火识别模型，将烟火识别模型导入检测系统以后，如图2所示，执行以下步骤：
S21）、开始正常的巡线，摄像头随云台进行巡线检测；
S22）、检测巡线过程中的图像，当发现置信度大于阈值T1的目标时进行预警，并判断当前预警目标的个数；
S23）、记录下当前云台的位置和摄像头焦距，用于后续云台和摄像头回归初始位置；
S24）、由置信度最高的点开始预警检测；
S25）、将图像中的横坐标、纵坐标传入底层云台；
S26）、云台计算位置到达预警位置，并且摄像头变焦放大图像；
S27）、采集图像信息，烟火识别模型进行识别，如果目标置信度大于阈值T2进行报警，T1＜T2；；
S28）、云台和摄像头归位到初始位置；
S29）、云台归位后采集当前图像进行检测，继续进行预警检测，对已经检测过的位置不再进行预警，如果预警置信度大于阈值T1，进入步骤S22，如果没有异常进入步骤S20；
S210）、根据云台记录的初始位置进行计算，跨过检测过的区域继续进行巡线的预警。
本实施例中，T1=0.3，T2=0.8。因为刚开始检测的时候是远距离的，镜头远，存在检测不准确的情况，另外如果置信度太高，就会漏报很多的地方。第一次检测如果大于0.3，然后再把镜头拉近，近距离的观察，如果大于0.8就确认是报警。如此设计，可以解决大场景远距离图像识别中产生的误判问题。
以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明做出的改进和替换，属于本发明的保护范围。
Claims (4)
1.一种基于深度学习的烟火识别模型建立方法，其特征在于：包括以下步骤：
S01）、图像采集，采集的图像包括两类，一类为烟火图片，另一类为要检测区域的正常图片；
S02）、gan网络合成，采用gan网络合成技术对两类图片进行合成，生成以正常图片为背景的合成图片，用以增加实际应用场景中的数据集的样本数；
S03）、图像标注，图像标注过程中比较烟火在标注框占比是否超过1/2，如果是，则进入步骤S04，如果不是，则进入步骤S05；
S04）、直接进行烟火标注；
S05）、进行烟火重标注，将烟火部分进行分割，保证每部分中烟火的占比不低于标注框的1/2；
S06）、用yolov3目标检测框架对标注的训练集进行训练，训练集包括网络爬虫的烟火图像数据以及经过gan网络合成的数据；
S07）、yolov3目标检测框架训练出多个模型，在置信度0.5、iou为0.3时，经过验证集得出的准确率最高的模型就是所建立的烟火识别模型。
2.根据权利要求1所述的基于深度学习的烟火识别模型建立方法，其特征在于：步骤S01的烟火图片通过网络爬虫爬取或者视频中截取得到。
3.一种基于深度学习的烟火识别方法，其特征在于：本方法首先将权利要求1所得烟火识别模型导入检测系统运行，然后执行以下步骤：
S21）、开始正常的巡线，摄像头随云台进行巡线检测；
S22）、烟火识别模型检测巡线过程中的图像，当发现置信度大于阈值T1的目标时进行预警，并判断当前预警目标的个数；
S23）、记录下当前云台的位置和摄像头焦距，用于后续云台和摄像头回归初始位置；
S24）、由置信度最高的点开始预警检测；
S25）、将图像中的横坐标、纵坐标传入底层云台；
S26）、云台计算位置到达预警位置，并且摄像头变焦放大图像；
S27）、采集图像信息，烟火识别模型进行识别，如果目标置信度大于阈值T2进行报警，其中T1＜T2；
S28）、云台和摄像头归位到初始位置；
S29）、云台归位后采集当前图像进行检测，继续进行预警检测，对已经检测过的位置不再进行预警，如果预警置信度大于阈值T1，进入步骤S22，如果没有异常进入步骤S210；
S210）、根据云台记录的初始位置进行计算，跨过检测过的区域继续进行巡线的预警。
4.根据权利要求3所述的基于深度学习的烟火识别方法，其特征在于：T1=0.3，T2=0.8。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010609753.8A CN111814635B (zh) | 2020-06-30 | 2020-06-30 | 基于深度学习的烟火识别模型建立方法和烟火识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010609753.8A CN111814635B (zh) | 2020-06-30 | 2020-06-30 | 基于深度学习的烟火识别模型建立方法和烟火识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111814635A true CN111814635A (zh) | 2020-10-23 |
| CN111814635B CN111814635B (zh) | 2023-11-03 |
Family
ID=72856553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010609753.8A Active CN111814635B (zh) | 2020-06-30 | 2020-06-30 | 基于深度学习的烟火识别模型建立方法和烟火识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814635B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112309068A (zh) * | 2020-10-29 | 2021-02-02 | 电子科技大学中山学院 | 一种基于深度学习的森林火灾预警方法 |
| CN112861737A (zh) * | 2021-02-11 | 2021-05-28 | 西北工业大学 | 一种基于图像暗通道与YoLov3的森林火灾烟雾检测方法 |
| CN113192038A (zh) * | 2021-05-07 | 2021-07-30 | 北京科技大学 | 基于深度学习的已有火焰环境中异常烟火识别监测方法 |
| CN113361345A (zh) * | 2021-05-24 | 2021-09-07 | 上海可深信息科技有限公司 | 一种烟火智能识别方法 |
| CN113378953A (zh) * | 2021-06-22 | 2021-09-10 | 徐州才聚智能科技有限公司 | 火灾检测模型的训练样本制作方法、装置、设备及介质 |
| CN116912782A (zh) * | 2023-09-14 | 2023-10-20 | 四川泓宝润业工程技术有限公司 | 一种基于重叠标注训练的烟火检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101869442B1 (ko) * | 2017-11-22 | 2018-06-20 | 공주대학교 산학협력단 | 화재 감지 장치 및 방법 |
| CN110728284A (zh) * | 2018-06-29 | 2020-01-24 | 南京汇承科技有限公司 | 一种基于深度学习的边缘计算烟火识别方法及智能终端 |
-
2020
- 2020-06-30 CN CN202010609753.8A patent/CN111814635B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101869442B1 (ko) * | 2017-11-22 | 2018-06-20 | 공주대학교 산학협력단 | 화재 감지 장치 및 방법 |
| CN110728284A (zh) * | 2018-06-29 | 2020-01-24 | 南京汇承科技有限公司 | 一种基于深度学习的边缘计算烟火识别方法及智能终端 |
Non-Patent Citations (2)
| Title |
|---|
| 任嘉锋;熊卫华;吴之昊;姜明;: "基于改进YOLOv3的火灾检测与识别", 计算机系统应用, no. 12 * |
| 李康;谢宁;李旭;谭凯;: "基于卷积神经网络和几何优化的统计染色体核型分析方法", 南京大学学报(自然科学), no. 01 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112309068A (zh) * | 2020-10-29 | 2021-02-02 | 电子科技大学中山学院 | 一种基于深度学习的森林火灾预警方法 |
| CN112861737A (zh) * | 2021-02-11 | 2021-05-28 | 西北工业大学 | 一种基于图像暗通道与YoLov3的森林火灾烟雾检测方法 |
| CN113192038A (zh) * | 2021-05-07 | 2021-07-30 | 北京科技大学 | 基于深度学习的已有火焰环境中异常烟火识别监测方法 |
| CN113192038B (zh) * | 2021-05-07 | 2022-08-19 | 北京科技大学 | 基于深度学习的已有火焰环境中异常烟火识别监测方法 |
| CN113361345A (zh) * | 2021-05-24 | 2021-09-07 | 上海可深信息科技有限公司 | 一种烟火智能识别方法 |
| CN113378953A (zh) * | 2021-06-22 | 2021-09-10 | 徐州才聚智能科技有限公司 | 火灾检测模型的训练样本制作方法、装置、设备及介质 |
| CN116912782A (zh) * | 2023-09-14 | 2023-10-20 | 四川泓宝润业工程技术有限公司 | 一种基于重叠标注训练的烟火检测方法 |
| CN116912782B (zh) * | 2023-09-14 | 2023-11-14 | 四川泓宝润业工程技术有限公司 | 一种基于重叠标注训练的烟火检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111814635B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111814635A (zh) | 基于深度学习的烟火识别模型建立方法和烟火识别方法 | |
| CN108062349B (zh) | 基于视频结构化数据及深度学习的视频监控方法和系统 | |
| CN105678247B (zh) | 徘徊事件时空大数据分析的异常行为预警方法及系统 | |
| CN110852219B (zh) | 一种多行人跨摄像头在线跟踪系统 | |
| CN102663452B (zh) | 基于视频分析的可疑行为检测方法 | |
| CN112084963B (zh) | 一种监控预警方法、系统及存储介质 | |
| CN110796074B (zh) | 一种基于时空数据融合的行人再识别方法 | |
| CN109255360B (zh) | 一种目标分类方法、装置及系统 | |
| KR101515166B1 (ko) | 객체인식 기반의 주차장 이벤트 검지 시스템 | |
| CN110674680B (zh) | 活体识别的方法、装置、存储介质 | |
| JP2013201714A (ja) | 移動体の画像判別装置および移動体の画像判別方法 | |
| CN111753594A (zh) | 危险识别方法、装置及系统 | |
| US20220366570A1 (en) | Object tracking device and object tracking method | |
| CN111753587B (zh) | 一种倒地检测方法及装置 | |
| CN108230607A (zh) | 一种基于区域特征分析的图像火灾探测方法 | |
| CN113362374A (zh) | 一种基于目标跟踪网络的高空抛物检测方法及系统 | |
| JP2003044859A (ja) | 動き追跡装置及び人物追跡方法 | |
| CN115223246A (zh) | 一种人员违规行为识别方法、装置、设备及存储介质 | |
| KR100885418B1 (ko) | 오버헤드 카메라 영상에서 사람을 감지하고 추적하는시스템 및 그 방법 | |
| CN113657250A (zh) | 一种基于监控视频的火焰检测方法及系统 | |
| CN110069995A (zh) | 一种基于深度学习的餐盘运动状态识别方法 | |
| CN111383248A (zh) | 一种行人闯红灯判断方法、装置和电子设备 | |
| CN106803937B (zh) | 一种具有文本日志的双摄像头视频监控方法、系统和监控装置 | |
| CN115661745A (zh) | 基于3d激光雷达检测和图像分析的目标分类方法 | |
| CN113537165B (zh) | 一种行人打闹的检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |