CN111062350B - 基于人工智能烟火识别算法 - Google Patents
基于人工智能烟火识别算法 Download PDFInfo
- Publication number
- CN111062350B CN111062350B CN201911342190.4A CN201911342190A CN111062350B CN 111062350 B CN111062350 B CN 111062350B CN 201911342190 A CN201911342190 A CN 201911342190A CN 111062350 B CN111062350 B CN 111062350B
- Authority
- CN
- China
- Prior art keywords
- fire
- smoke
- images
- training
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 24
- 239000000779 smoke Substances 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000013135 deep learning Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 230000000694 effects Effects 0.000 claims abstract description 4
- 238000012800 visualization Methods 0.000 claims abstract description 4
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 239000003345 natural gas Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 239000000314 lubricant Substances 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
Abstract
本发明公开了一种基于人工智能烟火识别算法,其特征在于,包括:(1)数据集采集;(2)数据标注:将需要标注的数据导入到标注工具的目录下,使用人工进行标注;根据不同的需要标注的目标进行选择需要标注的名称;(3)模型训练:得到训练数据集后,通过深度学习网络模型对数据集进行训练,训练过程通过可视化工具进行观察分析;(4)结果分析:训练完成后使用深度学习网络模型对导入的测试图像进行识别,查看并评估图像的识别效果。本发明方法探测速度快、高效抑制虚警、多种识别模式、准确率高。
Description
技术领域
本发明涉及烟火识别技术领域,尤其涉及一种基于人工智能烟火 识别算法。
背景技术
人工智能(Artificial Intelligence),英文缩写为AI。它是 研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应 用系统的一门新的技术科学。
人工智能是计算机科学的一个分支,它企图了解智能的实质,并 生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领 域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系 统等。人工智能从诞生以来,理论和技术日益成熟,应用领域也不断 扩大,可以设想,未来人工智能带来的科技产品,将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工 智能不是人的智能,但能像人那样思考、也可能超过人的智能。
人工智能是个很大的课题,实现的方式有传统的机器学习各种算 法,只不过目前效果最好最强大算法是深度学习算法,所以现在常说 的人工智能技术一般就是指深度学习。人工智能技术可广泛应用于机 器视觉,指纹识别,人脸识别,视网膜识别,虹膜识别,掌纹识别, 专家系统,自动规划,智能搜索,定理证明,博弈,自动程序设计,智能控制,机器人学,语言和图像理解,遗传编程等。
近些年深度学习发展得很快,谷歌为了促进深度学习在视觉领域 的发展,从2004年开始创办的ImageNet视觉竞赛。ImageNet中含 有超过1500万由人手工注释的图像,也就是带标签的图像,标签说 明了图像中的内容,超过2.2万个类别。其中,至少有100万张里面提供了边框(bounding box)上图中SLIM分类中的网络就是近几 年内取得冠军的网络。直到2017年宣布这个比赛宣布停止了,因为 目前最好的网络识别率已经达到了97%的精度,在某种程度上已经超 过了人眼。所以没必要再举办下去了。
深度学习是机器学习中近年来备受重视的一支,深度学习根源于 神经网络模型,但现在深度学习的技术和它的前身已截然不同,目前 最好的语音识别和影像辨识系统都是以深度学习技术来完成,像各手 机厂商宣传的AI拍照功能,以及此前AlphaGo都是基于深度学习技 术,仅仅是应用场景不同。
深度学习的基础是大数据,实现的路径是云计算。只要有充足的 数据、足够快的算力,得出的“结果”(宏观上呈现机器的某种智能 化功能),就会更加准确。目前,基于大数据、云计算这种智能化操 作路径,可以在深度神经网络框架下来更好解释。深度神经网络也被 称为深度学习,深度神经网络目前是很多现代AI应用实现的基础。自从深度神经网络在语音和图像识别任务中展现出突破性成果后,使 用深度神经网络的应用数量就呈爆炸式增长。
目前这些深度神经网络方法被大量应用在自动驾驶、语音识别、 图像识别、AI游戏等领域。在很多领域,深度神经网络跟早期的专 家手动提取特征或制定规则不同,深度神经网络的优越性能来自于在 大量数据上使用统计学习方法,从原始数据中提取高级特征的能力, 从而对输入空间进行有效的表示。实际上,这种表示的过程就包含对 大量数据计算的过程,因为针对某种特定功能的最终呈现的超高的准 确性,是以超高的计算复杂度为代价的。而通常我们所说的计算引擎, 尤其是GPU,就是深度神经网络的基础。因此,能够在不牺牲准确性和增加硬件成本的前提下,提高深度神经网络的能量效率和吞吐量的 方法,对于深度神经网络在AI系统中更广泛的应用是至关重要的。
因此,人工智能神深度经网络日益成熟,通过深度神经网络对视 频图像多特征进行识别,通过大量的烟雾、火焰的视频图像,进行模 型训练学习,可以有效的进行早期的烟雾和火焰识别。
发明内容
基于背景技术存在的技术问题,本发明提出了一种基于人工智能 烟火识别算法。
本发明采用的技术方案是:
基于人工智能烟火识别算法,其特征在于,包括:
(1)数据集采集:
(1.1)分别收集含有烟雾或火焰的图像、收集其他干扰图像;
(1.2)对全部图像分别进行预处理;
(1.3)用预处理后的含有烟雾或火焰的图像制作训练数据集, 用预处理后的其他干扰图像制作测试数据集;
(2)数据标注:
将需要标注的数据导入到标注工具的目录下,使用人工进行标 注;根据不同的需要标注的目标进行选择需要标注的名称;
(3)模型训练:
得到训练数据集后,通过深度学习网络模型对数据集进行训练, 训练过程通过可视化工具进行观察分析;
(4)结果分析:
训练完成后使用深度学习网络模型对导入的测试图像进行识别, 查看并评估图像的识别效果。
进一步地,所述的基于人工智能烟火识别算法,其特征在于,所 述步骤(1.1)含有烟雾或火焰的图像为:
不同可燃物类型、不同规模尺寸、不同烟雾类型的火灾图像。
进一步地,所述的基于人工智能烟火识别算法,其特征在于,所 述不同可燃物类型的火灾图像包括:汽油火灾、柴油火灾、润滑油火 灾、天然气火灾、木垛火灾、轮胎火灾和电缆电气火灾图像;
所述不同规模尺寸的火灾图像包括:小尺寸火灾图像、中尺寸火 灾图像和大尺寸火灾图像;
所述不同烟雾类型的火灾图像包括:稀薄烟雾、白烟烟雾、黑烟 烟雾和低照度下的烟雾火灾图像。
进一步地,所述的基于人工智能烟火识别算法,其特征在于,所 述训练数据集和测试数据集分别包括50000张图像,其中每个图像都 包含了对应的分类标签。
进一步地,所述的基于人工智能烟火识别算法,其特征在于,所 述步骤(1.2)具体为:
原始烟雾和火焰图像采集;
通过提出典型火灾烟雾或火焰特征元素,针对不同背景进行目标 叠加,模拟特定场所火警的火灾图像;
针对扣取火灾特征元素标进行45°、135°角度旋转叠加至不同 背景下,模拟真实火灾情况下受到烟气、风力影响;
针对部分数据集火灾图像添加噪声或颜色渲染,模拟视频源数据 或视频传输过程中视频质量受到干扰影响。
进一步地,所述的基于人工智能烟火识别算法,其特征在于,所 述步骤(2)中选择标注的名称为烟或火。
进一步地,所述的基于人工智能烟火识别算法,其特征在于,所 述步骤(3)具体为:
将训练数据集中标定好的图像导入到深度学习网络模型后进行 数据集训练,训练结束后的结果为一个文件,可使用程序进行调用识 别与数据集同类型图像中的烟或火目标。
进一步地,所述的基于人工智能烟火识别算法,其特征在于,所 述步骤(4)中所述导入的测试图像包括测试数据集图像、网络中下 载火灾视频或模拟实验视频。
本发明的优点是:
1、探测速度快:
通过对视频信号的实时处理分析,可在视频火灾图像出现的几秒 之内就能在图像上发现火焰或烟雾,同时发出火灾报警信号。而传统 模式的点型感温或感烟探测器则需要探测器处的温度或烟雾浓度达 到一定的数量值才能报警。
2、高效抑制虚警:
能准确区分真实火焰和各种干扰源,传统红外及紫外火焰探测器 在正常情况下,受明火作业以及X射线、弧光等影响,易被阳光或其 他灯光光源直接或间接照射产生误报。而基于人工智能烟火识别算法 克服了以上探测器的缺点,通过对火焰和烟雾的色、形、光谱、纹理 及运动特性的研究进行识别报警,不受上述环境干扰。
3、多种识别模式:
传统的火灾报警器一般只能识别一种火灾方式,感温的不能感 烟,探测烟雾的不能探测火焰,而基于人工智能烟火识别算法具有智 能火焰探测、烟雾探测、烟火复合探测等多种探测、报警模式,满足 不同场所需求。
4、准确率高:
传统图像型火灾探测器采用传统建模方式,准确率底下;而基于 人工智能烟火识别算法采用自学习过程具有识别率高,开发周期快等 优点。
附图说明
图1为本发明的流程图。
图2为训练过程中损失函数Loss的变化趋势图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方 案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部 分实施例,而不是全部的实施例。
实施例
如图1所示,基于人工智能烟火识别算法,包括:
S1:数据集采集:
S1.1:分别收集50000张含有烟雾或火焰的图像、50000张其他 干扰图像;其中,含有烟雾或火焰的图像包括:不同可燃物类型、不 同规模尺寸、不同烟雾类型的火灾图像;不同可燃物类型的火灾图像 包括:汽油火灾、柴油火灾、润滑油火灾、天然气火灾、木垛火灾、轮胎火灾和电缆电气火灾图像;不同规模尺寸的火灾图像包括:小尺寸火灾图像、中尺寸火灾图像和大尺寸火灾图像;不同烟雾类型的 火灾图像包括:稀薄烟雾、白烟烟雾、黑烟烟雾和低照度下的烟雾火 灾图像;其中每个图像都包含了对应的分类标签;
S1.2:对全部图像分别进行预处理;具体为:
原始烟雾和火焰图像采集;
通过提出典型火灾烟雾或火焰特征元素,针对不同背景进行目标 叠加,模拟特定场所火警的火灾图像;
针对扣取火灾特征元素标进行45°、135°角度旋转叠加至不同 背景下,模拟真实火灾情况下受到烟气、风力影响;
针对部分数据集火灾图像添加噪声或颜色渲染,模拟视频源数据 或视频传输过程中视频质量受到干扰影响;
S1.3:用预处理后的含有烟雾或火焰的图像制作训练数据集,用 预处理后的其他干扰图像制作测试数据集;
(2)数据标注:
将需要标注的数据导入到:标注工具的目录下,使用人工进行标 注;根据不同的需要标注的目标进行选择需要标注的名称,标注的名 称为烟或火;
(3)模型训练:
得到训练数据集后,通过深度学习网络模型对训练数据集中标定 好的图像进行训练,训练过程通过可视化工具进行观察分析,图2即 为训练过程中损失函数Loss的变化趋势,可以看出整个训练过程进 行了50000次迭代,其中在到达15000次的时候损失基本趋于稳定, 训练过程基本达到预期。该算法的训练效率对运行环境有较高的依 赖,loss训练趋势实验仅在单GPU环境下进行,通过提高GPU的数 量并行运算可以使得训练时间大幅缩短;训练结束后的结果为一个文 件,可使用程序进行调用识别与数据集同类型图像中的烟或火目标;
(4)结果分析:
训练完成后使用深度学习网络模型对导入的测试图像进行识别, 查看并评估图像的识别效果,其中导入的测试图像包括测试数据集图 像、网络中下载火灾视频或模拟实验视频。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范 围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技 术范围内,根据本发明的技术方案及其发明构思加以等同替换或改 变,都应涵盖在本发明的保护范围之内。
Claims (3)
1.基于人工智能烟火识别算法,其特征在于,包括:
(1)数据集采集:
(1.1)分别收集含有烟雾或火焰的图像、收集其他干扰图像;
(1.2)对全部图像分别进行预处理;
(1.3)用预处理后的含有烟雾或火焰的图像制作训练数据集,用预处理后的其他干扰图像制作测试数据集;
(2)数据标注:
将需要标注的数据导入到标注工具的目录下,使用人工进行标注;根据不同的需要标注的目标进行选择需要标注的名称;
(3)模型训练:
得到训练数据集后,通过深度学习网络模型对数据集进行训练,训练过程通过可视化工具进行观察分析;
(4)结果分析:
训练完成后使用深度学习网络模型对导入的测试图像进行识别,查看并评估图像的识别效果;
所述步骤(1.2)具体为:
原始烟雾和火焰图像采集;
通过提出典型火灾烟雾或火焰特征元素,针对不同背景进行目标叠加,模拟特定场所火警的火灾图像;
针对扣取火灾特征元素标进行45°、135°角度旋转叠加至不同背景下,模拟真实火灾情况下受到烟气、风力影响;
针对部分数据集火灾图像添加噪声或颜色渲染,模拟视频源数据或视频传输过程中视频质量受到干扰影响;
所述步骤(3)具体为:将训练数据集中标定好的图像导入到深度学习网络模型后进行数据集训练,训练结束后的结果为一个文件,可使用程序进行调用识别与数据集同类型图像中的烟或火目标;
所述步骤(4)中所述导入的测试图像包括测试数据集图像、网络中下载火灾视频或模拟实验视频;
所述步骤(1.1)含有烟雾或火焰的图像为:
不同可燃物类型、不同规模尺寸、不同烟雾类型的火灾图像;
所述不同可燃物类型的火灾图像包括:汽油火灾、柴油火灾、润滑油火灾、天然气火灾、木垛火灾、轮胎火灾和电缆电气火灾图像;
所述不同规模尺寸的火灾图像包括:小尺寸火灾图像、中尺寸火灾图像和大尺寸火灾图像;
所述不同烟雾类型的火灾图像包括:稀薄烟雾、白烟烟雾、黑烟烟雾和低照度下的烟雾火灾图像。
2.根据权利要求1所述的基于人工智能烟火识别算法,其特征在于,所述训练数据集和测试数据集分别包括50000张图像,其中每个图像都包含了对应的分类标签。
3.根据权利要求1所述的基于人工智能烟火识别算法,其特征在于,所述步骤(2)中选择标注的名称为烟或火。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911342190.4A CN111062350B (zh) | 2019-12-23 | 2019-12-23 | 基于人工智能烟火识别算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911342190.4A CN111062350B (zh) | 2019-12-23 | 2019-12-23 | 基于人工智能烟火识别算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111062350A CN111062350A (zh) | 2020-04-24 |
CN111062350B true CN111062350B (zh) | 2023-08-18 |
Family
ID=70302648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911342190.4A Active CN111062350B (zh) | 2019-12-23 | 2019-12-23 | 基于人工智能烟火识别算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111062350B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111986436B (zh) * | 2020-09-02 | 2022-12-13 | 成都视道信息技术有限公司 | 一种基于紫外、深度神经网络的综合火焰检测方法 |
CN113384844B (zh) * | 2021-06-17 | 2022-01-28 | 郑州万特电气股份有限公司 | 基于双目视觉的灭火动作检测方法及灭火器安全实训系统 |
CN114998783A (zh) * | 2022-05-19 | 2022-09-02 | 安徽合为智能科技有限公司 | 一种用于烟火及人员行为视频分析的前端设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104966097A (zh) * | 2015-06-12 | 2015-10-07 | 成都数联铭品科技有限公司 | 一种基于深度学习的复杂文字识别方法 |
CN106097346A (zh) * | 2016-06-13 | 2016-11-09 | 中国科学技术大学 | 一种自学习的视频火灾探测方法 |
CN109543631A (zh) * | 2018-11-28 | 2019-03-29 | 公安部沈阳消防研究所 | 一种基于机器学习的火灾图像探测报警方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7578225B2 (en) * | 2005-12-02 | 2009-08-25 | Garrett Bosch | Smoke generator machine |
-
2019
- 2019-12-23 CN CN201911342190.4A patent/CN111062350B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104966097A (zh) * | 2015-06-12 | 2015-10-07 | 成都数联铭品科技有限公司 | 一种基于深度学习的复杂文字识别方法 |
CN106097346A (zh) * | 2016-06-13 | 2016-11-09 | 中国科学技术大学 | 一种自学习的视频火灾探测方法 |
CN109543631A (zh) * | 2018-11-28 | 2019-03-29 | 公安部沈阳消防研究所 | 一种基于机器学习的火灾图像探测报警方法 |
Non-Patent Citations (1)
Title |
---|
复杂背景下回转体目标识别方法研究;崔彦平;葛杏卫;;半导体光电(06);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111062350A (zh) | 2020-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111062350B (zh) | 基于人工智能烟火识别算法 | |
CN109522819B (zh) | 一种基于深度学习的火灾图像识别方法 | |
Goyal et al. | Towards transparent ai systems: Interpreting visual question answering models | |
CN108647652A (zh) | 一种基于图像分类和目标检测的棉花发育期自动识别方法 | |
CN109902018B (zh) | 一种智能驾驶系统测试案例的获取方法 | |
CN107766577B (zh) | 一种舆情监测方法、装置、设备及存储介质 | |
CN110135476A (zh) | 一种个人安全装备的检测方法、装置、设备及系统 | |
CN112541393A (zh) | 一种基于深度学习的变电站人员检测方法及装置 | |
CN110909672A (zh) | 一种基于双流卷积神经网络和svm的抽烟动作识别方法 | |
CN114842208A (zh) | 一种基于深度学习的电网危害鸟种目标检测方法 | |
CN110379036A (zh) | 变电站智能巡检识别方法、系统、装置及存储介质 | |
CN115713715A (zh) | 一种基于深度学习的人体行为识别方法及识别系统 | |
CN111539325A (zh) | 基于深度学习的森林火灾探测方法 | |
CN108229170B (zh) | 利用大数据和神经网络的软件分析方法和装置 | |
CN112949469A (zh) | 针对人脸篡改图像特点分布的图像识别方法、系统及设备 | |
CN112613438A (zh) | 一种便携式柑橘在线测产仪 | |
CN109543744B (zh) | 一种基于龙芯派的多类别深度学习图像识别方法及其应用 | |
Jayaswal et al. | AI-based face mask detection system: a straightforward proposition to fight with Covid-19 situation | |
CN114639152A (zh) | 基于人脸识别的多模态语音交互方法、装置、设备及介质 | |
Jeelani et al. | Real-world mapping of gaze fixations using instance segmentation for road construction safety applications | |
CN115083229B (zh) | 基于ai视觉识别的飞行训练设备智能识别与警示系统 | |
CN109034033B (zh) | 一种基于改进vgg16卷积网络的排烟视频检测方法 | |
Reyes et al. | Safety gear compliance detection using data augmentation-assisted transfer learning in construction work environment | |
CN109460485A (zh) | 一种图像库建立方法、装置和存储介质 | |
CN115829324A (zh) | 一种人员安全风险静默监视方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |