CN112232107A - 一种图像式烟雾探测系统及方法 - Google Patents
一种图像式烟雾探测系统及方法 Download PDFInfo
- Publication number
- CN112232107A CN112232107A CN202010832357.1A CN202010832357A CN112232107A CN 112232107 A CN112232107 A CN 112232107A CN 202010832357 A CN202010832357 A CN 202010832357A CN 112232107 A CN112232107 A CN 112232107A
- Authority
- CN
- China
- Prior art keywords
- image
- smoke
- images
- captured
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 181
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims abstract description 28
- 230000003068 static effect Effects 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000008859 change Effects 0.000 claims description 55
- 238000013528 artificial neural network Methods 0.000 claims description 54
- 238000012544 monitoring process Methods 0.000 claims description 18
- 239000003086 colorant Substances 0.000 claims description 15
- 239000000428 dust Substances 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 230000004907 flux Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 238000009825 accumulation Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims 4
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- -1 feathers Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
本发明提供了一种基于图像识别的烟雾探测系统及方法。该系统包括摄像单元,其用于捕捉图像;图像前处理单元,其用于将捕捉到的图像处理为二值图像;图像对比单元,包括烟雾静态特征识别模块和烟雾动态特征识别模块;图像存储单元,其用于存储所述捕捉到的图像;以及控制单元,该控制单元控制以上各单元以执行相应操作,并且在烟雾静态特征识别模块和烟雾动态特征识别模块两者都判断有烟的情况下生成烟雾报警信号。
Description
技术领域
本发明涉及图像识别技术领域,更具体地,涉及一种基于图像识别的烟雾探测系统及方法。
背景技术
探测系统被用来监控是否存在着火征兆的烟雾存在,以使得监控者能够及时采取措施以防止发生火灾。当今,所使用的光电式烟雾探测器,利用烟雾对光的折射原理制成,容易受到空气杂质、羽毛和灰尘等干扰,统计表明误告警率高达90%。因此,在烟雾探测系统研制过程中,针对探测系统误告警率过高的问题,在本领域提出一种基于图像的烟雾探测系统及方法,具体如下:
专利US7542585于2005年11月公开一种通过识别图像中火和烟雾的像素的火灾探测方法。
专利CN101794450于2009年11月公开一种基于视频图像的序列帧间差分图像中各像素的光流方向,根据光流判断是否为烟雾点的方法。
专利CN102136059于2011年3月公开一种基于视频的烟雾检测方法,将背景建模提取运动对象、支持向量机SVM分类器筛选灰白色区域、小波变换高频信号变化分析、烟雾纹理特性级联分类器等多种手段融合并用,实现烟雾检测。
专利CN108985192于2018年6月公开一种基于多任务深度卷积神经网络的视频烟雾识别方法,采用一种由卷积层、全连接层、反卷积层组成的多任务深度学习架构,通过大量的训练样本,学习视频中单帧图像的静态信息和帧与帧之间的动态光流信息,进而判断测试视频帧中是否包含烟雾。
专利CN109977790于2019年3月公开了一种基于迁移学习的视频烟雾检测与识别方法,利用ImageNet图像数据集对改进的VGG-16网络进行预训练,让网络学习从自然图像中提取深度特征的能力,得到迁移特征;采用迁移学习方式在完成标注的烟雾数据集上训练Faster R-CNN网络,用于识别烟雾。
然而,以上方法和系统未包含用于排除由镜头集灰、雾气、振动等因素导致的虚警的步骤和单元,从而导致由于镜头积灰、雾气、振动等因素导致的误告警率居高不下。针对本领域内的上述缺陷,本发明提出一种改进的烟雾探测方法和系统,其由多组简单二分类神经网络经过逻辑运算组成复杂神经网络树,能够显著降低由于镜头集灰、雾气和振动造成的误告警概率。
发明内容
提供本发明内容来以简化形式介绍将在以下具体实施方式部分中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。
传统光电式烟雾探测器,为接触式的点探测,而图像式探测器为非接触的空间探测。微型摄像组件配合电池,可以方便的布置在需要监控的各个位置,例如货舱壁板上。多组组件构成一个空间监控网络,在烟雾起燃阶段即能够捕捉到,不需要烟雾弥漫到探测器位置,提高了探测速度。工业应用非常成熟的微型摄像组件,价格特别低廉,相比光电式有极大的成本优势。
在本发明的一个实施例中,提供了一种用于图像式烟雾探测的系统,包括:
摄像单元,其用于捕捉图像;
图像前处理单元,其用于将捕捉到的图像处理为二值图像;
图像对比单元,包括:
烟雾静态特征识别模块,其包括用于对所述捕捉到的图像进行分类的四分类神经网络以及对经分类的图像进行有烟和无烟分类的相应的二分类神经网络,所述四分类神经网络将所述捕捉到的图像分类为镜头正常图像、镜头积灰图像、镜头起雾图像和镜头振动图像;以及
烟雾动态特征识别模块,其用于通过将所述二值图像与背景图像相减以提取边缘特征并对所提取的边缘特征进行累计来确定所述捕捉到的图像中是否有烟;
图像存储单元,其用于存储所述捕捉到的图像;以及
控制单元,所述控制单元控制以上各单元以执行相应操作,并且在所述烟雾静态特征识别模块和所述烟雾动态特征识别模块两者都判断有烟的情况下生成烟雾报警信号。
在本发明的一个实施例中,所述系统还包括无线传输单元,所述摄像单元通过所述无线传输单元将所述捕捉到的图像传送至所述图像前处理单元,并且所述摄像单元和所述无线传输单元一同构成被布置在烟雾流道中的微型摄像组件。
在本发明的一个实施例中,所述无线传输单元使用蓝牙、Wi-Fi、3G、4G和5G中的至少一者或者本领域内的其它传输方式。优选地,使用5G网络能够传输更大的数据量,能够支持的更多的组件组网。
在本发明的一个实施例中,所述图像前处理单元还用于对所述捕捉到的图像进行去噪和灰度化。去噪有助于更准确的图像识别,而灰度化可用于判断捕捉到的图像是否足够清晰。
摄像单元所捕捉到的场景可能由于各种原因存在振动情形。作为示例而非限制,货物在飞机货舱中固定运输,当略有松动或飞机振动时,捕捉到的图像会有些“晃动”。在此情况下,如果使用单张图片与背景图像相减并提取边缘特征来进行烟雾判断,将非常容易产生误判。由此,在本发明的一个实施例中,对所提取的边缘特征进行累计包括将连续多个捕捉到的图像与背景图像相减以确定光通量变化率、烟雾面积变化率和烟雾边缘长度变化率中的一者或多者是否大于所设定的第二阈值。
在本发明的一个实施例中,所述四分类神经网络还用于给出所述捕捉到的图像是镜头正常图像、镜头积灰图像、镜头起雾图像或镜头振动图像的可能性,以使得所述捕捉到的图像进入具有最大可能性的相应二分类神经网络以得出有烟可能性,并且所述烟雾静态特征识别模块在所述最大可能性与所述有烟可能性的乘积大于所设定的第一阈值的情况下确定所述捕捉到的图像中有烟。由此,本发明通过轻量化的简单二分类神经网络通过不同逻辑的组合,提高判断的准确度,降低误告警概率。
在本发明的一个实施例中,所述图像对比单元还包括背景图像更新模块,所述背景图像更新模块通过以下步骤来更新所述背景图像:设置图像计数器;当所述图像计数器累计到阈值数量的图像时,重置所述图像计数器;选择所述阈值数量的图像中的具有最低有烟可能性的图像,其中图像的有烟可能性来自于经由所述二分类神经网络得出的有烟可能性;以及经由所述图像前处理单元来获得所选图像的二值图像并将其更新为所述背景图像。
在本发明的一个实施例中,所述系统进一步包括照明单元,所述照明单元采用冷光源并且基于所述捕捉到的图像是否清晰来切换灯光颜色。
在本发明的一个实施例中,所述图像前处理单元包括图像融合模块,所述图像融合模块执行以下步骤:将所述捕捉到的图像的所述二值图像与所述背景图像相减以得出差值图像;使用灰度变化函数求所述差值图像整体的灰度变化率;使用梯度函数求所述捕捉到的图像中的有烟部分的边缘并确定边缘梯度变化率;在所述灰度变化率大于所设定的第三阈值且所述边缘梯度变化率大于所设定的第四阈值的情况下确定所述捕捉到的图像不清晰;经由所述控制单元指示所述照明单元按照红色、黄色和蓝色切换灯光颜色以获得三张不同颜色的图像;以及按结构相似度对这三张不同颜色的图像进行加权求和以获得融合图像用于图像对比。
在本发明的一个实施例中,所述系统具有待机模式和监控模式,在所述待机模式中所述摄像单元以低频率捕捉图像,并且当识别出第一张有烟图像时所述系统进入监控模式并设置监控周期,在所述监控模式中所述摄像单元以高频率捕捉图像。
在本发明的一个实施例中,所述图像存储单元将所述捕捉到的图像按照镜头正常图像、镜头积灰图像、镜头起雾图像和镜头振动图像四类进行分类保存并上传至云平台以供所述云平台中的用于所述四分类神经网络和所述二分类神经网络的训练模块基于所上传的图像来进行训练和深度学习,经训练和学习的四分类神经网络和二分类神经网络被下载到所述图像对比单元。
在本发明的另一个实施例中,提供了一种用于图像式烟雾探测的方法,包括:
捕捉图像;
将捕捉到的图像处理为二值图像;
通过将所述二值图像与背景图像相减以提取边缘特征并对所提取的边缘特征进行累计来确定所述捕捉到的图像中是否有烟;
对所述捕捉到的图像进行四分类并且对经四分类的图像进行有烟和无烟分类,所述四分类将所述捕捉到的图像分类为镜头正常图像、镜头积灰图像、镜头起雾图像和镜头振动图像;以及
在经由边缘特征累计和图像分类两者都确定所述捕捉到的图像中有烟的情况下生成烟雾报警信号。
本公开的各方面一般包括如基本上在本文参照附图所描述并且通过附图所阐示的方法和系统。如本领域技术人员可以理解的,本发明的技术方案或部分方案可根据应景场景进行适应性的调整,并且能够广泛应用到货舱、场馆、展厅、森林火灾等的早期预报方面。
在结合附图研读了下文对本发明的具体示例性实施例的描述之后,本发明的其他方面、特征和实施例对于本领域普通技术人员将是明显的。尽管本发明的特征在以下可能是针对某些实施例和附图来讨论的,但本发明的全部实施例可包括本文所讨论的有利特征中的一个或多个。换言之,尽管可能讨论了一个或多个实施例具有某些有利特征,但也可以根据本文讨论的本发明的各种实施例使用此类特征中的一个或多个特征。以类似方式,尽管示例性实施例在下文可能是作为设备、系统或方法实施例进行讨论的,但是应当领会,此类示例性实施例可以在各种设备、系统、和方法中实现。
附图说明
为了能详细理解本公开的以上陈述的特征所用的方式,可参照各方面来对以上简要概述的内容进行更具体的描述,其中一些方面在附图中阐示。然而应该注意,附图仅阐示了本公开的某些典型方面,故不应被认为限定其范围,因为本描述可允许有其他等同有效的方面。
图1示出了根据本发明的一个实施例的图像式烟雾探测系统的框图;
图2示出了根据本发明的一个实施例的图像对比单元中的烟雾动态特征识别模块的处理流程图;
图3示出了根据本发明的一个实施例的图像对比单元中的烟雾静态特征识别模块的处理流程图;
图4示出了根据本发明的一个实施例的图像对比单元中的背景图像更新模块的处理流程图;
图5示出了根据本发明的一个实施例的图像前处理单元中的图像融合模块的处理流程图;以及
图6示出了根据本发明的一个实施例的图像式烟雾探测方法的流程图。
具体实施方式
以下将参考形成本发明一部分并示出各具体示例性实施例的附图更详尽地描述各个实施例。然而,各实施例可以以许多不同的形式来实现,并且不应将其解释为限制此处所阐述的各实施例;相反地,提供这些实施例以使得本公开变得透彻和完整,并且将这些实施例的范围完全传达给本领域普通技术人员。各实施例可按照方法、系统或设备来实施。因此,这些实施例可采用硬件实现形式、全软件实现形式或者结合软件和硬件方面的实现形式。因此,以下具体实施方式并非是局限性的。
各流程图中的步骤可通过硬件(例如,处理器、引擎、存储器、电路)、软件(例如,操作系统、应用、驱动器、机器/处理器可执行指令)或其组合来执行。如本领域普通技术人员将理解的,各实施例可以包括比示出的更多或更少的步骤。
图1示出了根据本发明的一个实施例的图像式烟雾探测系统100的框图。该图像式烟雾探测系统100包括控制单元110、摄像单元102、图像前处理单元104、图像对比单元106、图像存储单元108、以及可任选的云平台112。
控制单元110经由控制信号来控制其余各单元的功能或操作。控制单元110可包括由指令寄存器、指令译码器、操作控制器以及任何其他本领域公知的必要组件。根据用户预先编好的程序,依次从存储器中取出各条指令,放在指令寄存器中,通过指令译码(分析)确定应该进行什么操作,然后通过操作控制器,按确定的时序,向相应的组件发出操作控制信号。操作控制器中主要包括节拍脉冲发生器、控制矩阵、时钟脉冲发生器、复位电路和启停电路等控制逻辑。如本领域技术人员可以理解的,控制单元110可以按本领域内公知的任何其他方式实现,本发明的保护范围不限于上述实现方式。
摄像单元102包括摄像头模组,该摄像头模组可包括多个微型摄像组件,这些微型摄像组件配合电池可被方便地布置在需要监控烟雾的各个位置。在本发明的一个实施例中,作为示例而非限制,摄像头模组可被布置在飞机货舱壁板上,多个微型摄像组件可构成一个空间监控网络,以使得在烟雾起燃阶段即能够捕捉到烟雾,而无需等到烟雾弥漫到微型摄像组件的位置,从而提高了图像式烟雾探测系统100的监控效率和探测速度。
在本发明的另一实施例中,系统100还可任选地包括无线传输单元(未在图1中示出),摄像单元102可通过无线传输单元将所捕捉到的图像传送至图像前处理单元104,并且摄像单元102和无线传输单元一同构成被布置在所需位置(诸如烟雾流道中)的微型摄像组件。在本发明的一个实施例中,无线传输单元使用蓝牙、Wi-Fi、3G、4G和5G中的至少一者。优选地,使用5G网络能够传输更大的数据量,能够支持的更多的组件组网。
在本发明的一个实施例中,图像式烟雾探测系统100具有待机模式和监控模式。作为示例而非限制,当飞机货舱门关闭时,系统可进入待机模式。在待机模式中控制单元110控制摄像单元102以低频率(诸如5秒一次)捕捉图像,并且当识别出第一张有烟图像时系统进入监控模式并设置监控周期(诸如10秒),在监控模式中摄像单元102以高频率(诸如0.5秒一次)捕捉图像。如本领域技术人员可以理解的,摄像单元102捕捉图像的频率,包括低频率和高频率,可按需设置,而本发明的保护范围不限于上述频率。在监控周期中,如果再次识别到烟雾,则监控周期顺序延长。
摄像单元102将捕捉到的图像传递至图像前处理单元104。图像前处理单元104可用于将捕捉到的图像处理为二值图像以供进行图像对比,图像对比将结合图2详细描述。将捕捉到的图像处理为二值图像包括将图像上的像素点的灰度值设置为0或255,图像中每个像素的灰度值仅可取0或1,即不是取黑,就是取白,二值图像可理解为黑白图像,也就是将整个图像呈现出明显的只有黑和白的视觉效果。本领域技术人员可以理解的,还可使用本领域内已知的其他图像二值化方法来将捕捉到的图像处理为二值图像,本发明的保护范围不限于某种方法。
图像前处理单元104还可用于对捕捉到的图像进行去噪和灰度化。去噪有助于更准确的图像识别,而灰度化可用于判断捕捉到的图像是否足够清晰。在本发明的一个实施例中,当捕捉到的图像不够清晰时,可使用图像前处理单元104中的图像融合模块(可任选的,且未在图1中示出)来合成更清晰的图像。图像融合过程与可任选地包括在系统100中的照明单元(未在图1中示出)相结合地执行,该照明单元采用冷光源(例如LED灯组)并且基于捕捉到的图像是否清晰来切换灯光颜色。由于不同颜色的光线对烟雾的穿透性不同,因此将不同颜色下的图像通过图像处理进行融合能够提高图像质量以有助于提取特征,这将在下文中结合图5更详细地描述。
图像对比单元106包括烟雾静态特征识别模块和烟雾动态特征识别模块。图像前处理单元104生成的二值图像进入烟雾动态特征识别模块,未经过图像前处理单元104处理的原始图像直接进入烟雾静态特征识别模块。
烟雾静态特征识别模块包括用于对捕捉到的图像进行分类的四分类神经网络以及对经分类的图像进行有烟和无烟分类的相应的二分类神经网络,该四分类神经网络将捕捉到的图像分类为镜头正常图像、镜头积灰图像、镜头起雾图像和镜头振动图像。烟雾动态特征识别模块用于通过将来自图像前处理单元104的二值图像与背景图像相减以提取边缘特征并对所提取的边缘特征进行累计来确定所述捕捉到的图像中是否有烟。
图像对比单元106随后将烟雾静态特征识别模块和烟雾动态特征识别模块生成有烟/无烟判定结果传递给控制单元110,控制单元110在烟雾静态特征识别模块和烟雾动态特征识别模块两者都判断有烟的情况下生成烟雾报警信号。在本发明的一个实施例中,在作为示例而非限制的飞机货舱场景中,控制单元通过航电系统将烟雾报警信号传递给飞机其他系统。烟雾静态特征识别模块和烟雾动态特征识别模块的具体操作流程将分别结合图2和3来详细描述。
在本发明的另一实施例中,图像对比单元106还可任选地包括背景图像更新模块(为简明起见未在图1中示出),该模块用于更新烟雾动态特征识别模块所使用的与捕捉到的二值图像相比较的背景图像。背景图像更新模块的操作流程将在下文中结合图4详细描述。
摄像单元102所捕捉到的每一个图像都被存储在图像存储单元108中。图像存储单元108将捕捉到的图像按照镜头正常图像、镜头积灰图像、镜头起雾图像和镜头振动图像四类(由图像对比单元106中的烟雾静态特征识别模块来进行分类)进行分类保存并(连同图像对比单元106生成的分类标签一起)上传至云平台112以供云平台112中的用于所述四分类神经网络和所述二分类神经网络的训练模块114基于所上传的图像来进行训练和深度学习,经训练和学习的四分类神经网络和二分类神经网络被下载到图像对比单元106以用于图像分类。
由此,通过云平台112,将收集到的图像上传到云平台进行模型训练,以实现智能化的升级。收集的烟雾图片越多,烟雾识别的准确率越来越高,虚警概率将越来越低。在作为示例而非限制的飞机货舱场景中,当飞机降落到停机坪上时,将在飞行中收集到的图像上传至云平台112以用于神经网络的训练。另外,在网络条件较好的场馆或展厅等场景中,收集到的图像可定期上传至云平台112以用于神经网络训练,且图像对比单元106中的四分类和二分类神经网络也可定期更新。
如本领域技术人员可以理解的,图1中的云平台112和云平台中的神经网络训练模块114是可任选的,并且可使用本领域内已知的任何其他方式来实现神经网络的更新和迭代且均应被涵盖在本发明的保护范围之内。
图2示出了根据本发明的一个实施例的图像对比单元中的烟雾静态特征识别模块212的处理流程图。
烟雾静态特征识别模块212本质上是一种组合式深度神经网络,包含下列操作步骤:
1)来自摄像单元102的第i张图片进入烟雾静态特征识别模块212,具体而言首先进入一个四分类神经网络202,该四分类神经网络202可以将来自摄像单元的捕捉到的图像分为镜头正常图像、镜头积灰时捕捉到的图像、镜头起雾时捕捉到的图像、镜头振动时捕捉到的图像,并分别给出这四者的可能性q1、q2、q3、q4;
2)求max(q1,q2,q3,q4),即取q1、q2、q3、q4中的最大值;
3)若q1最大,则第i张图片进入镜头正常有烟或无烟二分类神经网络204,并给出有烟可能性x1;
4)若q2最大,则第i张图片进入镜头积灰有烟或无烟二分类神经网络206,并给出有烟可能性x2;
5)若q3最大,则第i张图片进入镜头起雾有烟或无烟二分类神经网络208,并给出有烟可能性x3;
6)若q4最大,则第i张图片进入镜头振动有烟或无烟二分类神经网络210,并给出有烟可能性x4。
7)若q1*x1或q2*x2或q3*x3或q4*x4大于所设定的第一阈值,则判断为有烟,反之则无烟。
如本领域技术人员可以理解的,第一阈值的设置可由本领域技术人员按照实际需求来设置,本发明的保护范围并非限于某一个或多个值。四分类神经网络202以及二分类神经网络204-210可使用任何合适的深度神经网络或学习模型,并且可结合任何合适的线性分类器和逻辑回归算法或者其他方式来得出图像分类概率q1-q4以及有烟概率x1-x4。上述任何合适的深度神经网络或学习模型以及任何合适的线性分类器和逻辑回归算法或其他得出概率的方式都应被涵盖在本发明的保护范围之内。
由此,针对镜头正常、镜头积灰、镜头起雾和镜头振动这四个维度,四分类神经网络以及轻量化的简单二分类神经网络通过不同逻辑的组合提高有烟判断的准确度并降低误告警概率。
图3示出了根据本发明的一个实施例的图像对比单元中的烟雾动态特征识别模块302的处理流程图。
图像前处理单元104生成的二值图像被传递至图像对比单元106中的烟雾动态特征识别模块302。
在步骤304,将所接收到的二值图像与背景图像相减以得到差分图像。
在步骤306,从差分图像中提取边缘特征。在本发明的一个实施例中,利用公知的边缘检测算法获取烟雾区域的边缘轮廓,该边缘轮廓即为检测区域的边界,边缘轮廓所围绕的区域即为检测区域。边缘检测算法可以包括梯度法、Roberts梯度法、Sobel算法、Laplace算法、Canny算法等算法中的任何一种。在本发明的另一实施例中,考虑图像的每个像素的某个邻域内的灰度变化,利用边缘临近的一阶或二阶导数变化规律,对原始图像中像素某个邻域设置梯度算子,通常使用小区域模板进行卷积来计算,有Sobel算子、Robinson算子、Laplace算子等。如本领域技术人员可以理解的,除了以上边缘特征提取方式之外,还可使用任何其他合适的方式来提取边缘特征,本发明的保护范围不限于上述特定的边缘特征提取方式,而是涵盖本领域内已知的所有能用于边缘特征提取的方法或方式。
在步骤308,可使用连续多张图像与背景图像相减以便对边缘特征进行累计,诸如计算光通量变化率、边缘长度变化率或者烟雾面积变化率。由于烟雾产生后不仅会有整体的流动方向,同时也会慢慢的向四周扩散,因此在本发明的一个实施例中,通过计算烟雾疑似区域的边缘轮廓长度(边缘像素数量)的变化率能够确定是否存在烟雾。
在烟雾产生的早期阶段,烟雾的面积一般会表现出持续不断的增长特性。并且会随着物质的燃烧,温度持续上升,加速烟雾分子的运动,使得烟雾的面积进一步的增长。因此,在本发明的另一实施例中,可以通过相邻图像帧或者几帧之间的疑似烟雾区域的面积的变化率来表征是否存在烟雾,这可以有效地防止由静止对象或者形状不变的物体所引起的误报警,进一步地提高烟雾的识别率。
如本领域技术人员可以理解的,可以采用本领域内已知的任何合适的方法来进行特征累计并计算光通量变化率、边缘长度变化率或者烟雾面积变化率,本发明的保护范围不限于任何特定的方法。由于这些方式或方法在本领域内是公知的,所以在此不再赘述。
如果所累计的识别特征,即光通量变化率、烟雾面积变化率或者边缘长度变化率大于所设定的第二阈值,则判定存在烟雾。如本领域技术人员可以理解的,第二阈值的设置可由本领域技术人员按照实际需求来设置,本发明的保护范围并非限于某一个或多个值。
由此,通过对连续多张图像进行特征累计,极大地降低了烟雾误判率,显著地消除了图像中的对象振动或晃动产生的影响。
图4示出了根据本发明的一个实施例的图像对比单元中的背景图像更新模块402的处理流程图。
背景图像更新模块402通过以下步骤来更新背景图像:
在步骤404,设置图像计数器N。
在步骤406,当所述图像计数器累计到阈值(N)数量的图像时,重置所述图像计数器,即将下一张图像的标记计数重置为i=1。
在步骤408,选择该阈值数量的图像中的具有最低有烟可能性的图像,其中图像的有烟可能性来自于经由烟雾静态特征识别模块212中的二分类神经网络得出的有烟可能性。随后将具有最低有烟可能性的图像传递给图像前处理单元104。图像传递给图像前处理单元104将接收到的图像处理为二值图像并将所生成的二值图像传递回背景图像更新模块402。
最后在步骤410,将来自图像前处理单元的二值图像更新为背景图像,并将经更新的背景图像提供给烟雾动态特征识别模块302以用于生成差分图像。
图5示出了根据本发明的一个实施例的图像前处理单元中的图像融合模块502的处理流程图。
在步骤504,将捕捉到的图像的二值图像与背景图像相减以得出差值图像。
在步骤506,使用灰度变化函数求该差值图像整体的灰度变化率。在本发明的一个实施例中,获取待评价图像并对待评价图像进行灰度化处理,根据待评价图像中每行像素点的灰度值确定该待评价图像中每行灰度值下降的垂直边缘,根据垂直边缘包含的像素点的灰度值计算该垂直边缘的灰度变化率,同时设置一初始值为0的变量a,每计算一次垂直边缘的灰度变化率,变量a的值加1,对该待评价图像中所有行的垂直边缘的灰度变化率的绝对值求和,得到待评价图像的灰度变化率和S1,根据S1和变量a的比值计算待评价图像的灰度变化率和的平均值S,最后根据平均值S对待评价图像的清晰度进行评价。如本领域技术人员可以理解的,本发明的保护范围不限于上述灰度变化率计算方式,而是涵盖本领域内已知的所有合适的灰度变化率计算方式。
在步骤508,使用梯度函数求所述捕捉到的图像中的有烟部分的边缘并确定边缘梯度变化率。在本发明的一个实施例中,边缘检测算法可以包括梯度法、Roberts梯度法、Sobel算法、Laplace算法、Canny算法等算法中的任何一种。如本领域技术人员可以理解的,除了以上边缘特征提取方式之外,还可使用任何其他合适的方式来提取边缘特征并计算梯度变化率,本发明的保护范围不限于上述特定的梯度法,而是涵盖本领域内已知的所有能用于计算边缘梯度变化率的方法或方式。
在步骤510,在灰度变化率大于所设定的第三阈值且边缘梯度变化率大于所设定的第四阈值的情况下确定捕捉到的图像不清晰。
在步骤512,经由控制单元指示照明单元按照红色、黄色和蓝色切换灯光颜色以使得摄像单元获得三张不同颜色的图像。
在步骤514,按结构相似度对这三张不同颜色的图像进行加权求和以获得融合图像用于图像对比。本领域技术人员可以理解,可使用本领域内已知的任何合适的基于结构相似度的加权求和方法来进行图像融合。
图6示出了根据本发明的一个实施例的图像式烟雾探测方法600的流程图。
图像式烟雾探测方法600包括:
在步骤602,捕捉图像。摄像单元捕捉图像并通过无线传输单元将所捕捉到的图像传送至图像前处理单元。
在步骤604,将捕捉到的图像处理为二值图像。图像前处理单元生成二值图像以供图像对比单元中的烟雾动态特征识别模块与背景图像相减以获得差值图像。图像前处理单元还用于对捕捉到的图像进行去噪和灰度化。去噪有助于更准确的图像识别,而灰度化可用于判断捕捉到的图像是否足够清晰。
在步骤606,通过将二值图像与背景图像相减以提取边缘特征并对所提取的边缘特征进行累计来确定捕捉到的图像中是否有烟。对所提取的边缘特征进行累计包括将连续多个捕捉到的图像与背景图像相减以确定光通量变化率、烟雾面积变化率和烟雾边缘长度变化率中的一者或多者是否大于所设定的第二阈值。
在步骤608,对捕捉到的图像进行四分类并且对经四分类的图像进行有烟和无烟分类,其中四分类将捕捉到的图像分类为镜头正常图像、镜头积灰图像、镜头起雾图像和镜头振动图像。四分类神经网络将捕捉到的图像分类为镜头正常图像、镜头积灰图像、镜头起雾图像和镜头振动图像包括分别给出这四者的可能性,然后捕捉到的图像进入具有最大可能性的相应二分类神经网络以得出有烟可能性,最后在该最大可能性与该有烟可能性的乘积大于所设定的第一阈值的情况下确定捕捉到的图像中有烟。
在步骤610,在经由边缘特征累计和图像分类两者都确定所述捕捉到的图像中有烟的情况下生成烟雾报警信号。
以上参考根据本发明的实施例的方法、系统和计算机程序产品的框图和/或操作说明描述了本发明的实施例。框中所注明的各功能/动作可以按不同于任何流程图所示的次序出现。例如,取决于所涉及的功能/动作,连续示出的两个框实际上可以基本上同时执行,或者这些框有时可以按相反的次序来执行。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (19)
1.一种用于图像式烟雾探测的系统,包括:
摄像单元,其用于捕捉图像;
图像前处理单元,其用于将捕捉到的图像处理为二值图像;
图像对比单元,包括:
烟雾静态特征识别模块,其包括用于对所述捕捉到的图像进行分类的四分类神经网络以及对经分类的图像进行有烟和无烟分类的相应的二分类神经网络,所述四分类神经网络将所述捕捉到的图像分类为镜头正常图像、镜头积灰图像、镜头起雾图像和镜头振动图像;以及
烟雾动态特征识别模块,其用于通过将所述二值图像与背景图像相减以提取边缘特征并对所提取的边缘特征进行累计来确定所述捕捉到的图像中是否有烟;
图像存储单元,其用于存储所述捕捉到的图像;以及
控制单元,所述控制单元控制以上各单元以执行相应操作,并且在所述烟雾静态特征识别模块和所述烟雾动态特征识别模块两者都判断有烟的情况下生成烟雾报警信号。
2.如权利要求1所述的系统,其特征在于,所述系统还包括无线传输单元,所述摄像单元通过所述无线传输单元将所述捕捉到的图像传送至所述图像前处理单元,并且所述摄像单元和所述无线传输单元一同构成被布置在烟雾流道中的微型摄像组件。
3.如权利要求2所述的系统,其特征在于,所述无线传输单元使用蓝牙、Wi-Fi、3G、4G和5G中的至少一者。
4.如权利要求1所述的系统,其特征在于,所述图像前处理单元还用于对所述捕捉到的图像进行去噪和灰度化。
5.如权利要求1所述的系统,其特征在于,对所提取的边缘特征进行累计包括将连续多个捕捉到的图像与所述背景图像相减以确定光通量变化率、烟雾面积变化率和烟雾边缘长度变化率中的一者或多者是否大于所设定的第二阈值。
6.如权利要求1所述的系统,其特征在于,所述四分类神经网络还用于给出所述捕捉到的图像是镜头正常图像、镜头积灰图像、镜头起雾图像或镜头振动图像的可能性,使得所述捕捉到的图像进入具有最大可能性的相应二分类神经网络以得出有烟可能性,并且所述烟雾静态特征识别模块在所述最大可能性与所述有烟可能性的乘积大于所设定的第一阈值的情况下确定所述捕捉到的图像中有烟。
7.如权利要求6所述的系统,其特征在于,所述图像对比单元还包括背景图像更新模块,所述背景图像更新模块通过以下步骤来更新所述背景图像:
设置图像计数器;
当所述图像计数器累计到阈值数量的图像时,重置所述图像计数器;
选择所述阈值数量的图像中的具有最低有烟可能性的图像,其中图像的有烟可能性来自于经由所述二分类神经网络得出的有烟可能性;以及
经由所述图像前处理单元来获得所选图像的二值图像并将其更新为所述背景图像。
8.如权利要求1所述的系统,其特征在于,所述系统进一步包括照明单元,所述照明单元采用冷光源并且基于所述捕捉到的图像是否清晰来切换灯光颜色。
9.如权利要求8所述的系统,其特征在于,所述图像前处理单元包括图像融合模块,所述图像融合模块执行以下步骤:
将所述捕捉到的图像的所述二值图像与所述背景图像相减以得出差值图像;
使用灰度变化函数求所述差值图像整体的灰度变化率;
使用梯度函数求所述捕捉到的图像中的有烟部分的边缘并确定边缘梯度变化率;
在所述灰度变化率大于所设定的第三阈值且所述边缘梯度变化率大于所设定的第四阈值的情况下确定所述捕捉到的图像不清晰;
经由所述控制单元指示所述照明单元按照红色、黄色和蓝色切换灯光颜色以获得三张不同颜色的图像;以及
按结构相似度对这三张不同颜色的图像进行加权求和以获得融合图像用于图像对比。
10.如权利要求1所述的系统,其特征在于,所述系统具有待机模式和监控模式,在所述待机模式中所述摄像单元以低频率捕捉图像,并且当识别出第一张有烟图像时所述系统进入监控模式并设置监控周期,在所述监控模式中所述摄像单元以高频率捕捉图像。
11.如权利要求1所述的系统,其特征在于,所述图像存储单元将所述捕捉到的图像按照镜头正常图像、镜头积灰图像、镜头起雾图像和镜头振动图像四类进行分类保存并上传至云平台以供所述云平台中的用于所述四分类神经网络和所述二分类神经网络的训练模块基于所上传的图像来进行训练和深度学习,经训练和学习的四分类神经网络和二分类神经网络被下载到所述图像对比单元。
12.一种用于图像式烟雾探测的方法,包括:
捕捉图像;
将捕捉到的图像处理为二值图像;
通过将所述二值图像与背景图像相减以提取边缘特征并对所提取的边缘特征进行累计来确定所述捕捉到的图像中是否有烟;
对所述捕捉到的图像进行四分类并且对经四分类的图像进行有烟和无烟分类,所述四分类将所述捕捉到的图像分类为镜头正常图像、镜头积灰图像、镜头起雾图像和镜头振动图像;以及
在经由边缘特征累计和图像分类两者都确定所述捕捉到的图像中有烟的情况下生成烟雾报警信号。
13.如权利要求12所述的方法,其特征在于,所述捕捉到的图像使用蓝牙、Wi-Fi、3G、4G和5G中的至少一者来传输。
14.如权利要求12所述的方法,其特征在于,对所提取的边缘特征进行累计包括将连续多个捕捉到的图像与所述背景图像相减以确定光通量变化率、烟雾面积变化率和烟雾边缘长度变化率中的一者或多者是否大于所设定的第二阈值。
15.如权利要求12所述的方法,其特征在于,对所述捕捉到的图像进行四分类并且对经四分类的图像进行有烟和无烟分类包括给出所述捕捉到的图像是镜头正常图像、镜头积灰图像、镜头起雾图像或镜头振动图像的可能性,以使得所述捕捉到的图像进入具有最大可能性的相应二分类神经网络以得出有烟可能性,并且所述方法进一步包括在所述最大可能性与所述有烟可能性的乘积大于所设定的第一阈值的情况下确定所述捕捉到的图像中有烟。
16.如权利要求12所述的方法,其特征在于,进一步包括:
设置图像计数器;
当所述图像计数器累计到阈值数量的图像时,重置所述图像计数器;
选择所述阈值数量的图像中的具有最低有烟可能性的图像,其中图像的有烟可能性来自于经由所述二分类神经网络得出的有烟可能性;以及
将所选图像处理为二值图像并将所生成的二值图像更新为所述背景图像。
17.如权利要求12所述的方法,其特征在于,进一步包括:
将所述捕捉到的图像的所述二值图像与所述背景图像相减以得出差值图像;
使用灰度变化函数求所述差值图像整体的灰度变化率;
使用梯度函数求所述捕捉到的图像中的有烟部分的边缘并确定边缘梯度变化率;
在所述灰度变化率大于所设定的第三阈值且所述边缘梯度变化率大于所设定的第四阈值的情况下确定所述捕捉到的图像不清晰;
指示照明单元按照红色、黄色和蓝色切换灯光颜色以获得三张不同颜色的图像;以及
按结构相似度对这三张不同颜色的图像进行加权求和以获得融合图像。
18.如权利要求12所述的方法,其特征在于,在待机模式中以低频率捕捉图像,当识别出第一张有烟图像时进入监控模式并设置监控周期,在所述监控模式中以高频率捕捉图像。
19.如权利要求12所述的方法,其特征在于,进一步包括将所述捕捉到的图像按照镜头正常图像、镜头积灰图像、镜头起雾图像和镜头振动图像四类进行分类保存并上传至云平台以供所述云平台中的用于神经网络训练的模块基于所上传的图像来进行训练和深度学习。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010832357.1A CN112232107A (zh) | 2020-08-18 | 2020-08-18 | 一种图像式烟雾探测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010832357.1A CN112232107A (zh) | 2020-08-18 | 2020-08-18 | 一种图像式烟雾探测系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112232107A true CN112232107A (zh) | 2021-01-15 |
Family
ID=74115629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010832357.1A Pending CN112232107A (zh) | 2020-08-18 | 2020-08-18 | 一种图像式烟雾探测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112232107A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113793470A (zh) * | 2021-08-09 | 2021-12-14 | 上海腾盛智能安全科技股份有限公司 | 一种基于动态图像探测分析的探测装置 |
US20220346855A1 (en) * | 2021-04-30 | 2022-11-03 | Sony Group Corporation | Electronic device and method for smoke level estimation |
CN116824514A (zh) * | 2023-08-30 | 2023-09-29 | 四川弘和数智集团有限公司 | 一种目标识别方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007189369A (ja) * | 2006-01-12 | 2007-07-26 | Alpine Electronics Inc | カメラのレンズ汚れ検出装置及び画像表示システム |
JP2016110262A (ja) * | 2014-12-03 | 2016-06-20 | 能美防災株式会社 | 煙検出装置および煙検出方法 |
JP2016110261A (ja) * | 2014-12-03 | 2016-06-20 | 能美防災株式会社 | 煙検出装置および煙検出方法 |
KR101869442B1 (ko) * | 2017-11-22 | 2018-06-20 | 공주대학교 산학협력단 | 화재 감지 장치 및 방법 |
KR20190047243A (ko) * | 2017-10-27 | 2019-05-08 | 현대자동차주식회사 | 카메라 렌즈 오염 경고 장치 및 방법 |
CN110991243A (zh) * | 2019-11-01 | 2020-04-10 | 武汉纺织大学 | 一种基于颜色通道hsv结合卷积神经网络的秸秆燃烧识别方法 |
-
2020
- 2020-08-18 CN CN202010832357.1A patent/CN112232107A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007189369A (ja) * | 2006-01-12 | 2007-07-26 | Alpine Electronics Inc | カメラのレンズ汚れ検出装置及び画像表示システム |
JP2016110262A (ja) * | 2014-12-03 | 2016-06-20 | 能美防災株式会社 | 煙検出装置および煙検出方法 |
JP2016110261A (ja) * | 2014-12-03 | 2016-06-20 | 能美防災株式会社 | 煙検出装置および煙検出方法 |
KR20190047243A (ko) * | 2017-10-27 | 2019-05-08 | 현대자동차주식회사 | 카메라 렌즈 오염 경고 장치 및 방법 |
KR101869442B1 (ko) * | 2017-11-22 | 2018-06-20 | 공주대학교 산학협력단 | 화재 감지 장치 및 방법 |
CN110991243A (zh) * | 2019-11-01 | 2020-04-10 | 武汉纺织大学 | 一种基于颜色通道hsv结合卷积神经网络的秸秆燃烧识别方法 |
Non-Patent Citations (2)
Title |
---|
NGUYEN MANH DUNG ET AL.: "A Video Smoke Detection Algorithm Based on Cascade Classification and Deep Learning", KSII TRANSACTIONS ON INTERNET AND INFORMATION SYSTEMS, 31 December 2018 (2018-12-31) * |
薛倩;刘婧;孙钦升;: "基于视频的飞机货舱烟雾识别去干扰方法研究", 计算机仿真, no. 06, 15 June 2020 (2020-06-15) * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220346855A1 (en) * | 2021-04-30 | 2022-11-03 | Sony Group Corporation | Electronic device and method for smoke level estimation |
CN113793470A (zh) * | 2021-08-09 | 2021-12-14 | 上海腾盛智能安全科技股份有限公司 | 一种基于动态图像探测分析的探测装置 |
CN116824514A (zh) * | 2023-08-30 | 2023-09-29 | 四川弘和数智集团有限公司 | 一种目标识别方法、装置、电子设备及存储介质 |
CN116824514B (zh) * | 2023-08-30 | 2023-12-08 | 四川弘和数智集团有限公司 | 一种目标识别方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI759286B (zh) | 用於藉由機器學習訓練物件分類器之系統及方法 | |
JP5602792B2 (ja) | 挙動認識システム | |
US8744125B2 (en) | Clustering-based object classification | |
US8200011B2 (en) | Context processor for video analysis system | |
Choudhury et al. | An evaluation of background subtraction for object detection vis-a-vis mitigating challenging scenarios | |
CN112232107A (zh) | 一种图像式烟雾探测系统及方法 | |
CN111898581B (zh) | 动物检测方法、装置、电子设备及可读存储介质 | |
US8922674B2 (en) | Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras | |
Zin et al. | Unattended object intelligent analyzer for consumer video surveillance | |
CN111626090B (zh) | 一种基于深度帧差卷积神经网络的运动目标检测方法 | |
US20220122360A1 (en) | Identification of suspicious individuals during night in public areas using a video brightening network system | |
CN107330414A (zh) | 暴力行为监控方法 | |
CN111860457A (zh) | 一种斗殴行为识别预警方法及其识别预警系统 | |
US20210124968A1 (en) | System and method for use in object detection from video stream | |
CN112183310B (zh) | 冗余监控画面过滤及无效监控画面筛选的方法及系统 | |
Dhananjaya et al. | Detection of objects in aerial videos for object extraction and tracking for UAV applications | |
CN112561957A (zh) | 一种目标对象的状态跟踪方法及装置 | |
Pateriya et al. | Fight Detection In Video Surveillance Using Kalman Filter & Blob Analysis | |
Lei et al. | From pixels to objects and trajectories: a generic real-time outdoor video surveillance system | |
CN118447236A (zh) | 一种面向野外场景监视的视频显著性目标检测方法 | |
CN117237838A (zh) | 一种基于omnet的矿井下异常视频动作理解方法 | |
CN115482253A (zh) | 运动目标检测方法、装置及周界入侵检测系统 | |
CN118552877A (zh) | 基于bim和视频的数字孪生定位方法及系统 | |
CN117253119A (zh) | 一种基于深度学习网络的智能识别方法 | |
CN115761657A (zh) | 铁路异物的告警方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |