CN110335435A - 基于烟雾检测的火灾预警装置 - Google Patents
基于烟雾检测的火灾预警装置 Download PDFInfo
- Publication number
- CN110335435A CN110335435A CN201910562069.6A CN201910562069A CN110335435A CN 110335435 A CN110335435 A CN 110335435A CN 201910562069 A CN201910562069 A CN 201910562069A CN 110335435 A CN110335435 A CN 110335435A
- Authority
- CN
- China
- Prior art keywords
- layer
- mean value
- data
- value pond
- convolutional layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 239000000779 smoke Substances 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 238000013500 data storage Methods 0.000 claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 210000000352 storage cell Anatomy 0.000 claims abstract description 12
- 230000004913 activation Effects 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 241001269238 Data Species 0.000 claims description 2
- 238000003475 lamination Methods 0.000 claims 3
- 238000012549 training Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000000101 transmission high energy electron diffraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Emergency Management (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于烟雾检测的火灾预警装置，包括：图像采集单元，用于采集视频和/图像；检测单元，被构造为对图像采集单元采集到的视频和/或图像进行处理，得到是否需要预警的检测结果，将检测结果传递给报警单元和数据存储单元，数据存储单元，其用于保存图像采集单元采集的视频和/或图像以及检测单元的检测结果；和所述处理是指使用带有主体网络和分支网络结构的深度可分离卷积神经网络对视频和/图像进行处理。
Description
技术领域
本发明涉及图像识别领域，特别涉及一种基于烟雾检测的火灾预警装置。
背景技术
火灾是社会灾害与自然灾害中出现频率最高的灾害之一。火灾的频繁发生不仅给社会造成了巨大的经济损失，危及生命安全，同时还引发了生态环境破坏、环境污染和文物损坏等诸多问题。因此，快速准确地反馈火灾信息，在火情预警和后续的灭火工作中都有着十分重要的意义。
火灾防治方案主要根据火灾特性对某种现象进行检测。传统的火灾防治主要利用各类感应式传感器进行探测，这些传感器具有价格便宜、准确度高等特点，但监测范围小，在仓库、森林等较大的区域难以大面积铺设，且此类传感器容易老化，导致灵敏度降低。
随着社会发展与基础建设的逐步完善，为了提高城市治安防控力度，政府部门发起了天网工程的建设。天网工程通过大量的摄像头对固定的公共区域进行实时监控。由此，通过摄像头对火灾早期产生的浓烟进行识别，并通过其他的手段及时通报警情，能够为消防和管理部门处置火灾警情提供尽可能充足的反应时间，最大限度的降低火灾带来的财产和人员损失。
目前利用摄像头对公共区域进行监控的方法的主要问题在于：大数据集下难以收敛，且误检率较高；或者准确率较高但是网络模型较大，需要训练的模型参数较多，导致训练与识别速度较慢，很难应用于配置较差的嵌入式芯片。其次，对烟雾进行检测容易因为环境中其他因素导致误判，触发误报警。第三，光照条件对于烟雾检测效果也有较大影响。
发明内容
本发明针对常规卷积神经网络结构冗余，所需资源较多的缺点，设计了一种带有分支网络结构的深度可分离卷积神经网络应用于火灾预警装置中。本发明的火灾预警装置采用了深度可分离卷积结构替代了常规卷积结构，减少网络参数，并提取不同网络层的特征，抑制由于网络泛化导致的有效烟雾特征弥散现象，针对烟雾正负样本不均衡的问题，采用负样本分批训练的方法，在减小网络模型的同时，得到更高的分类精度和识别速度。本发明的火灾预警装置针对火灾前期产生的各种类型烟雾进行强化训练，降低误触发的概率。另外，本发明能够将算法移植到嵌入式GPU，集成到摄像头中，并与声、光、电报警装置和/或后台管理系统连接，实现多种手段预警。
本发明提供了一整套包括监控、检测、存储、预警等各个功能模块的火灾预警解决方案，无需人工干预即可24小时不间断的对监控区域进行实时检测。根据本发明的一方面，提供了一种基于烟雾检测的火灾预警装置，包括：图像采集单元，用于采集视频和/图像；检测单元，被构造为对图像采集单元采集到的视频和/或图像进行处理，得到是否需要预警的检测结果，将检测结果传递给报警单元和数据存储单元，数据存储单元，其用于保存图像采集单元采集的视频和/或图像以及检测单元的检测结果；和所述处理是指使用带有主体网络和分支网络结构的深度可分离卷积神经网络对视频和/图像进行处理。
由此可知，本发明设计了一个具有带有分支网络结构的深度可分离卷积神经网络的火灾预警装置，将烟雾图像作为网络的输入而无需任何预处理，对烟雾图像本身性质具有很强的针对性。而且相对于传统的算法，减少了资源消耗，可以在计算资源有限的硬件平台上运行。另外，优选地，卷积神经网络的设置具有很多的可能性，不同的可能性会导致不同的结果，应防止此类分支网络不合理地增加或减少分支、或者不合理地增加或减少卷积单元、替换激活函数等操作。
具体来说，本发明提供基于烟雾检测的火灾预警装置，包括：图像采集单元，用于采集视频和/图像；检测单元，被构造为对图像采集单元采集到的视频和/或图像进行处理，得到是否需要预警的检测结果，将检测结果传递给报警单元和数据存储单元，数据存储单元，其用于保存图像采集单元采集的视频和/或图像以及检测单元的检测结果；和所述处理是指使用带有主体网络和分支网络结构的深度可分离卷积神经网络对视频和/图像进行处理。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
包含在说明书中并构成说明书的一部分的附图例示了本发明的示例性实施例、特征和方面，并且与文字说明一起用来解释本发明的原理。
图1是根据本发明优选实施例的基于烟雾检测的火灾预警装置的框架图。
图2为根据本发明优选实施例的检测单元的网络结构的示意图。
图3为根据本发明优选实施例的深度可分离卷积层的结构示意图。
具体实施方式
下面将参照附图详细描述本发明的各种示例性实施例、特征和方面。应当指出，除非另外具体说明，在这些实施例中描述的部件、数字表示和数值的相对配置不限制本发明的范围。应当指出，下面的实施例并不限制权利要求中记载的本发明的范围，并且并非这些实施例中描述的特征的全部组合均是本发明所必须的。
如图1所示，本发明提供一种基于烟雾检测的火灾预警装置，包括：图像采集单元、检测单元和数据存储单元。优选地，火灾预警装置还包括报警单元。
作为示例，图像采集单元优选利用高分辨率图像采集装置，例如照相机、摄像头等，采集固定范围（火灾高发区域，例如森林、居民区、地下室、高架线、城市中诸如商场等人流量大的公共区域）的视频和/或图像，并将采集到的视频和/或图像通过例如RTSP协议分别发送到检测模块和数据存储模块。其中，摄像头包括但不限于模拟摄像头、IP摄像头等。
作为示例，检测单元对图像采集单元采集到的视频和/或图像进行处理，得到是否需要预警的检测结果，并将检测结果传递给报警单元和数据存储单元。检测单元包括计算单元和检测算法。高性能的计算单元将图像采集单元采集到的视频和/或图像进行算法处理，并得出是否需要预警的判断结果，将处理结果通过有线或无线方式传递给报警单元，同时数据存储单元保存现场的图像/视频。该装置可以利用通用的GPU、FPGA等方案，也可以利用嵌入式GPU或者嵌入式CPU来提供计算能力。检测算法主要是带有主体网络和分支网络结构的深度可分离卷积神经网络。以下将进行详细描述。
带有主体网络和分支网络结构的深度可分离卷积神经网络的主要内容包括：网络结构以及训练方法和参数。
<网络结构>
以下参考图2详细说明本发明的网络结构的优选实施例。如图2所示，在一个实施例中，主体网络包括多个卷积层、至少一个合并层、全局均值池化层和全连接层，而分支网络包括与至少一个卷积层对应的均值池化层。与现有技术不同，本发明的均值池化层独立于卷积层，但可以对卷积层的卷积输出数据进行均值池化处理，并在合并层将该均值池化处理后的结果与后续（更深层）的卷积层的输出进行合并，即作为后续卷积层的输入特征的一部分。优选地，分支网络的均值池化层将网络浅层的卷积输出下采样为尺寸与深的卷积输出一样的特征图。
具体地，为了说明的目的，将尺寸为64×64×3的烟雾图像输入到本发明的网络结构中进行处理。本领域技术人员理解，其他尺寸的输入图像也是可以的，即本发明并不限于上述尺寸。当然，由于输入图像的尺寸不同以及对预警精度要求的不同，必然导致各卷积层、合并层和均值池化层的处理尺寸、步长和输出数据尺寸等发生相应变化，并有可能增减卷积层、合并层和均值池化层等的个数。然而由于篇幅所限，本文不可能一一列举这些情况，但本领域技术人员理解这些都包括在本发明的精神和保护范围内。
<第一实施例>
视频/图像被首先输入到卷积层1（图1所示为深度可分离卷积层1）。在该卷积层1中，依次进行卷积、批量归一化和非线性函数激活操作，并由此得到第一卷积数据。对应于输入的尺寸为64×64×3的图像，第一卷积数据的尺寸为32×(64×64)。其中，批量归一化对数据进行正则化，而非线性函数使用双曲正切（TanH）激活函数。
然后，第一均值池化层对第一卷积数据进行第一均值池化处理，得到尺寸为32×(32×32)的第一均值池化数据。第一均值池化层的尺寸例如为3×3，步长为2。当然，本领域技术人员知晓，还可以选择其他尺寸和步长进行均值池化处理。在本发明中，第一均值池化数据作为浅层卷积层（例如，卷积层1）的输出通过合并层的操作作为后续更深层卷积层（例如卷积层3等）的输入。
接着，第一卷积数据被输入到卷积层2（图1所示为深度可分离卷积层2）。在该层，依次对第一卷积数据进行卷积、批量归一化、非线性化函数激活和最大值池化层处理，得到尺寸为64×(32×32)的第二卷积数据。其中，批量归一化对数据进行正则化，非线性函数使用TanH激活函数，和最大值池化层对数据进行降维处理，其处理尺寸例如可以为3×3，步长例如可以为2。
继续，第二均值池化层对第二卷积数据进行第二均值池化处理，得到尺寸为64×(16×16)的第二均值池化数据。第二均值池化层的尺寸例如可以为3×3，步长例如可以为2。当然，本领域技术人员知晓，还可以选择其他尺寸和步长进行均值池化。在本发明中，第二均值池化数据作为浅层卷积层（卷积层2）的输出通过合并层的操作作为后续更深层卷积层（例如，卷积层5）的输入。
再继续，在第一合并层（图1所示为合并层1）中，第二卷积数据连同第一均值池化数据一起被拼接成一个第一特征图，尺寸为96×32×32。
然后，第一特征图被输入到全局均值池化层和/或可能的其他降维、修正处理单元等（优选地为后续第二和第三实施例中所列的卷积、合并处理等，以使第一特征图的尺寸满足要求）中，得到尺寸为256×1×1的特征点。
最后，特征点被输入全连接层得到处理后的图像。全连接层使用输入维度为256、输出维度为2的两层神经网络对特征点进行处理，其中第一层神经网络通过TanH激活函数，第二层神经网络连接softmax函数。
如图2所示的那样，卷积层1和卷积层2优选地为深度可分离卷积层。如图3所示，深度可分离卷积层包括深度卷积层和逐点卷积层。深度卷积对每个输入通道进行独立的空间卷积，而逐点卷积层进行常规的卷积运算，但将卷积核的尺寸固定为1×1。
<第二实施例>
在进一步的优选实施例（第二实施例）中，在上述第一实施例的第一合并层之后、全局均值池化层之前还可以设置卷积层3、第三均值池化层和合并层2来对合并层1中得到的第一特征图进行进一步处理以增强数据的稳定性、准确性和鲁棒性。
作为示例，在卷积层3（图2所示为深度可分离卷积层3）中，对第一特征图依次进行卷积、批量归一化和非线性函数激活操作，并由此得到尺寸为96×(32×32)的第三卷积数据。其中，批量归一化对数据进行正则化，而非线性函数使用ReLU激活函数。
然后，第三均值池化层对第三卷积数据进行第三均值池化处理，得到尺寸为96×(16×16)的第三均值池化数据。第三均值池化层的尺寸例如为3×3，步长为2。当然，本领域技术人员知晓，还可以选择其他尺寸和步长进行均值池化。在本发明中，第三均值池化数据作为浅层卷积层（如，卷积层3）的输出通过合并层的操作作为后续更深层卷积层（如，卷积层5）的输入。
接着，在第二合并层（图2所示为合并层2）中，第三卷积数据连同第一均值池化数据、和第二卷积数据一起被拼接成一个第二特征图，尺寸为192×(32×32)。
最后，如第一实施例中的第一特征图那样，第二特征图在经由可能的其他降维或修正处理层（例如后续第三实施例中所列的卷积、合并处理等以使第二特征图的尺寸满足要求）的处理后被依次输入到全局均值池化层和全连接层得到处理后的图像。
如图2所示的那样，卷积层3优选地为深度可分离卷积层，包括深度卷积层和逐点卷积层（如图3所示）。深度卷积对每个输入通道进行独立的空间卷积；逐点卷积层进行与常规的卷积运算相同，但将卷积核的尺寸固定为1×1。
<第三实施例>
在更进一步优选的实施例（第三实施例）中，在上述第二实施例的合并层2之后、全局均值池化层之前还可以设置卷积层4、修正第一均值池化层、合并层3、卷积层5和卷积层6对第二特征图进行进一步处理以进一步增强数据的稳定性、准确性和鲁棒性。
作为示例，在卷积层4（图2所示为深度可分离卷积层4）中，对第二特征图依次进行卷积、批量归一化、非线性函数激活和最大值池化层操作，并由此得到尺寸为192×(16×16)的第四卷积数据。其中，批量归一化对数据进行正则化，非线性函数使用ReLU激活函数，和最大值池化层对数据进行降维处理，其处理的尺寸例如可以为3×3，步长例如可以为2。
然后，第一修正均值池化层对第一均值池化数据进行修正得到尺寸为32×(16×16)的修正第一均值池化数据。第一修正均值池化层的尺寸例如为3×3，步长为2。本领域技术人员知晓，还可以选择其他尺寸和步长进行均值池化。
接下来，在第三合并层（图2所示为合并层3）中，第四卷积数据连同修正第一均值池化数据、第二均值池化数据和第三均值池化数据一起被拼接成一个第三特征图，尺寸为384×(16×16)。
继续地，第三特征图被输入到卷积层5（图1所示为深度可分离卷积层5），依次进行卷积、批量归一化、非线性化函数激活和最大值池化层处理，得到尺寸为512×(8×8)的第五卷积数据。其中，批量归一化对数据进行正则化，非线性函数使用ReLU激活函数，和最大值池化层对数据进行降维处理，其处理尺寸例如可以为3×3，步长例如可以为2。
再继续，第五卷积数据被输入到卷积层6（图2所示为深度可分离卷积层6），并在该层依次进行卷积、批量归一化和非线性化激活处理，得到尺寸为256×(8×8)的第六卷积数据。其中，批量归一化对数据进行正则化，而非线性函数使用ReLU激活函数。
第六卷积数据被输入到全局均值池化层进行全局均值池化处理，该层用取最大值的下采样方式将所有训练样本（下文详述）得到的每个特征图融合为一个特征点，尺寸例如为256×(1×1)。
最后，如第一实施例中的第一特征图那样，经全局均值池化处理的第六卷积数据被全连接层得到处理后的图像。
如图2所示的那样，卷积层4、卷积层5、卷积层6优选地为深度可分离卷积层，包括深度卷积层和逐点卷积层（如图3所示）。深度卷积对每个输入通道进行独立的空间卷积；逐点卷积层进行与常规的卷积运算相同，但将卷积核的尺寸固定为1×1。
如上所示，本领域技术人员可以理解，特征点的获得不仅仅取决于经前几步卷积得到的数据，而是还要结合所有前次经均值池化后的数据。这些均值池化数据对卷积数据的修正使得最终得到的特征点更加准确，鲁棒性更高。
<第四实施例>
在第四实施例中，本发明的神经网络包括主体网络和分支网络，主体网络执行神经网络卷积操作，分支网络进行均值池化操作并作为后续卷积操作的输入以对卷积操作得到的数据进行修正。
具体地，如图2所示，所述的主体网络由6个深度可分离卷积层、3个合并层、1个全局均值池化层和1个全连接层组成，每个深度可分离卷积层的卷积操作后还进行批量归一化和非线性函数激活。批量归一化对输入数据进行正则化，第一、二个卷积层后使用了双曲正切激活函数，在之后的4个卷积采用ReLU激活函数，第二、四卷积后使用最大值池化层。
各深度可分离卷积层，包含深度卷积层和逐点卷积层。如图2所示，深度卷积对每个输入通道进行独立的空间卷积；逐点卷积运算与常规的卷积运算相同，只将卷积核的尺寸固定为1×1。
批量归一化，在每次训练时对卷积输入的特征图进行正则化。
激活函数层，使用双曲正切激活函数和ReLU激活函数对上一层的输出进行非线性化操作。
最大值池化层，用取最大值的下采样方式进行输入特征图进行降维。
分支网络通过均值池化层将网络浅层的卷积输出作为更深的卷积层输入特征图的一部分。
分支网络的均值池化层将网络浅层的卷积输出下采样为尺寸与深的卷积输出一样的特征图，采用尺寸为3×3或5×5，步长为2×2。
各合并层，将上述主体网络和分支网络输出的特征图拼接成一个特征图，其中合并层1拼接卷积层2的输出与通过第一均值池化层的卷积层1的输出，合并层2拼接卷积层3的输出、卷积层2的输出与通过第一均值池化层的卷积层1的输出，合并层3拼接卷积层4的输出与通过第二均值池化层的卷积层2的输出、通过第三均值池化层的卷积层3的输出和经修正的第一均值池化层的卷积层1的输出。
全局均值池化层，用取最大值的下采样方式将每个特征图融合为一个特征点。
全连接层，使用输入维度为256，输出维度为2的两层神经网络，第一层神经网络通过TanH激活函数，第二层神经网络连接softmax函数。
<训练方法及参数>
针对上述第一到第四实施例的网络结构，其训练方法及参数具体如下所述：
卷积层中的卷积核与全连接层使用服从均值为0、标准差为0.1的高斯分布随机数进行初始化，偏置项使用服从区间为[0，1]的均匀分布随机数进行初始化；
批处理层中，动量设置为0.95，常量设置为0.01；
使用AdaDelta梯度下降算法训练权重，批处理大小设置为100；
按照一定比例设置数据的训练集、验证集和测试集，在20代的训练后，每一代都进行验证集的测试，结果最好的那一代训练模型会被保存并用于测试集的测试，其结果即为整个学习的结果；
设置全部数据迭训练周期为100代，在训练时，训练集中的正负样本比为10:1，每一代训练中，依次打乱20%的负样本与全部正样本进行训练，直至全部负样本训练完成一个训练周期。
作为示例，数据存储单元主要用于存储图像采集单元获得的视频和图像资料，并在需要的时候支持视频回放、及数据备份等功能。数据存储模块可接驳支持ONVIF、PSIA、RTSP协议的第三方摄像机和主流品牌摄像机；支持IPv4、IPv6、HTTP、UPnP、NTP、SADP、SNMP、PPPoE、DNS、FTP、ONVIF、PSIA等网络协议；支持最大64路网络视频接入；支持监控摄像头多种主流分辨率接入；支持图像本地回放与查询；支持将检测单元的检测结果发送给报警单元；支持将检测单元的检测结果发送给其他需要对接的平台。
作为示例，报警单元包括现场模式和后台模式。在接收到检测单元的报警信息后，通过声、光、电等不同传感器在图像采集单元布置的现场发出预警，提醒周围有警情发生。或者，报警单元还可以发送实时信号到系统对接的应急管理部门预警平台，信息内容包括：摄像头编号，摄像头位置，警情发生时间，警情类型，现场图像/视频等。帮助应急管理部门快速判断和决策，缩短响应时间。
<本发明的有益效果>
本发明解决了传统的火灾预警装置容易受气象和光照条件影响的缺点，可以全天候全气象条件下24小时不间断提供预警。传统的火灾预警系统需要在火灾已经发生，有较为明显的明火才能够启动，预警时间滞后，且无法实时的将有效信息传递给应急处理部门，容易错过最佳的救援时间，造成不必要的人员和财产损失。本发明还解决了烟雾图像识别计算量大、误检严重等问题，并在一定程度上提高了对烟雾图像的识别准确率。
几种卷积神经网络的实验结果如下表1所示，proposed的网络模型为图1所述的本发明的网络结构。如表1所示，proposed的准确率超过99%（99.13%），误检率也仅有0.22%。虽然本发明的proposed的检测性能低于ResNet，但与MobileNet的性能相当（99.20%）。现实生活中无烟雾的场景较为常见，因此要求网络的误检率比较低。所以，尽管本发明的proposed在准确率上略低于MobileNet，但具有更强的鲁棒性，符合大多数现实场景的要求。对比一副图像在GPU上测试的运行时间，本发明的改进的卷积神经网络的计算成本要远低于其他对比网络模型，平均单帧运行时间仅为9ms。
表1 网络模型比较
| 网络模型 | 准确率（%） | 误检率（%） | 平均单帧运行时间（ms） |
| InceptionV3 | 98.67 | 0.53 | 64 |
| MobileNet | 99.20 | 0.28 | 22 |
| DNCNN[5] | 98.84 | 0.31 | 17 |
| Proposed | 99.13 | 0.22 | 9 |
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。
Claims (10)
1.一种基于烟雾检测的火灾预警装置，其特征在于，包括：
图像采集单元，用于采集视频和/图像；
检测单元，被构造为对图像采集单元采集到的视频和/或图像进行处理，得到是否需要预警的检测结果，将检测结果传递给报警单元和数据存储单元，
数据存储单元，其用于保存图像采集单元采集的视频和/或图像以及检测单元的检测结果；和
所述处理是指使用带有主体网络和分支网络结构的深度可分离卷积神经网络对视频和/图像进行处理。
2.根据权利要求1所述的火灾预警装置，其特征在于，主体网络被构造为包括至少两个卷积层、至少一个合并层、全局均值池化层和全连接层，所述主体网络利用修正的卷积神经网络算法对输入的烟雾图像进行处理，和
分支网络被构造为包括至少一个均值池化层，所述均值池化层对对应的卷积层的输出进行均值池化处理；
其中，视频/图像依次经由第一卷积层、第二卷积层、第一合并层、全局均值池化层和全连接层进行处理，其中第一均值池化层对第一卷积层输出的数据进行均值池化处理，且该均值池化处理的结果与第二卷积层的输出数据一同输入到第一合并层中。
3.根据权利要求2所述的火灾预警装置，其特征在于，
第一卷积层被构造为对输入的视频或图像进行卷积操作、执行正则化的批量归一化处理和使用TanH激活函数进行非线性化操作，得到第一卷积数据；
第一均值池化层被构造为对所述第一卷积数据进行第一均值池化处理，得到第一均值池化数据；
第二卷积层被构造为对所述第一卷积数据依次进行卷积操作、执行正则化的批量归一化处理、使用TanH激活函数进行非线性化处理和使用最大值池化层进行降维处理，得到第二卷积数据；
第二均值池化层被构造为对所述第二卷积数据进行第二均值池化处理，得到第二均值池化数据；
第一合并层被构造为将所述第二卷积数据和所述第一均值池化数据拼接成第一特征图；
全局均值池化层被构造为对所述第一特征图进行全局均值池化，得到一个特征点；和
全连接层被构造为，使用输入维度为256、输出维度为2的两层神经网络对所述特征点进行处理，其中第一层神经网络通过TanH激活函数，第二层神经网络连接softmax函数。
4.根据权利要求3所述的火灾预警装置，其特征在于，在第一合并层之后、全局均值池化层之前进一步构造如下层：
第三卷积层，其被构造为对所述第一特征图依次进行第三卷积操作、执行正则化的批量归一化处理和使用ReLU激活函数进行非线性化处理，得到第三卷积数据；
第三均值池化层，其被构造为对所述第三卷积数据进行第三均值池化处理，得到第三均值池化数据；和
第二合并层，其被构造为将第二卷积数据、第三卷积数据和第一均值池化数据拼接成第二特征图，第二特征图输入到全局均值池化层中。
5.根据权利要求4所述的火灾预警装置，其特征在于，在第二合并层之后、全局均值池化层之前构造如下层：
第四卷积层，其被构造为对所述第二特征图依次进行卷积操作、执行正则化的批量归一化处理、使用ReLU激活函数进行非线性化操作和使用最大值池化层进行降维处理，得到第四卷积数据；
第一修正均值池化层，其被构造为对所述第一均值池化数据进行修正得到修正的第一均值池化数据；和
第三合并层，其被构造为将所述第四卷积数据、修正的第一均值池化数据、第二均值池化数据和第三均值池化数据拼接成第三特征图；
第五卷积层，其被构造为依次对所述第三特征图进行卷积操作、执行正则化的批量归一化处理、使用ReLU激活函数进行非线性化处理和使用最大值池化层进行降维处理，得到第五卷积数据；
第六卷积层，其被构造为依次对所述第五卷积数据进行卷积操作、执行正则化的批量归一化和使用ReLU激活函数进行操作，得到第六卷积数据，第六卷积数据输入到全局均值池化层中。
6.根据权利要求1所述的火灾预警装置，其特征在于，所述主体网络被构造为包括6个卷积层、3个合并层、1个全局均值池化层和1个全连接层，其连接顺序从前至后分别为第一卷积层、第二卷积层、第一合并层、第三卷积层、第二合并层、第四卷积层、第三合并层、第五卷积层、第六卷积层、全局均值池化层和全连接层，
其中，每个卷积层包括对输入至该卷积层的数据进行卷积运算，然后进行批量归一化和非线性函数激活，其中批量归一化对卷积后的输入数据进行正则化，第一和二个卷积层的非线性函数激活是双曲正切激活函数，之后的四个卷积层的非线性函数激活是ReLU激活函数，第二和第四卷积层在非线性函数激活后使用最大值池化层；
所述分支网络包括均值池化层，其对顺序靠前的浅层卷积层的输出进行处理并将处理结果作为顺序靠后的深层卷积层的输入的一部分；
所述最大值池化层，用取最大值的下采样方式对输入特征图进行降维；
所述全局均值池化层，用取最大值的下采样方式将每个特征图融合为一个特征点；
所述合并层，将卷积层和对应的均值池化层输出的特征图依次合并成一个特征图；
所述全连接层，使用输入维度为256，输出维度为2的两层神经网络，第一层神经网络通过TanH激活函数，第二层神经网络连接softmax函数。
7.根据上述权利要求中任一项所述的火灾预警装置，其特征在于，上述各个卷积层是深度可分离卷积层，所述深度可分离卷积层包括深度卷积层和逐点卷积层，其中所述深度卷积对每个输入数据进行独立的空间卷积；逐点卷积运算将卷积核的尺寸固定为1×1。
8.根据权利要求1所述的火灾预警装置，其特征在于，图像采集单元采集到的视频和/或图像通过RTSP协议分别传回检测单元和数据存储单元。
9.根据权利要求1-8中任一项所述的火灾预警装置，进一步包括报警单元，其在检测单元的检测结果为需要预警时，通过声、光、电传感器在检测单元布置的现场发出预警。
10.根据权利要求9所述的火灾预警装置，报警单元将有关信息发送到后台。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910562069.6A CN110335435A (zh) | 2019-06-26 | 2019-06-26 | 基于烟雾检测的火灾预警装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910562069.6A CN110335435A (zh) | 2019-06-26 | 2019-06-26 | 基于烟雾检测的火灾预警装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110335435A true CN110335435A (zh) | 2019-10-15 |
Family
ID=68142972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910562069.6A Pending CN110335435A (zh) | 2019-06-26 | 2019-06-26 | 基于烟雾检测的火灾预警装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110335435A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461076A (zh) * | 2019-11-01 | 2020-07-28 | 武汉纺织大学 | 帧差法与神经网络结合的烟雾检测方法和检测系统 |
| CN112003951A (zh) * | 2020-09-03 | 2020-11-27 | 中航华东光电有限公司 | 消防用智能搜救系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108428324A (zh) * | 2018-04-28 | 2018-08-21 | 温州大学激光与光电智能制造研究院 | 一种基于卷积网络的火灾场景中烟雾的检测装置 |
| CN108830143A (zh) * | 2018-05-03 | 2018-11-16 | 深圳市中电数通智慧安全科技股份有限公司 | 一种基于深度学习的视频分析系统 |
| CN108831097A (zh) * | 2018-08-22 | 2018-11-16 | 上海灿略信息科技有限公司 | 火焰烟雾识别系统及方法 |
-
2019
- 2019-06-26 CN CN201910562069.6A patent/CN110335435A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108428324A (zh) * | 2018-04-28 | 2018-08-21 | 温州大学激光与光电智能制造研究院 | 一种基于卷积网络的火灾场景中烟雾的检测装置 |
| CN108830143A (zh) * | 2018-05-03 | 2018-11-16 | 深圳市中电数通智慧安全科技股份有限公司 | 一种基于深度学习的视频分析系统 |
| CN108831097A (zh) * | 2018-08-22 | 2018-11-16 | 上海灿略信息科技有限公司 | 火焰烟雾识别系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 魏伟航等: ""改进卷积神经网络在图像烟雾检测的应用"" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461076A (zh) * | 2019-11-01 | 2020-07-28 | 武汉纺织大学 | 帧差法与神经网络结合的烟雾检测方法和检测系统 |
| CN112003951A (zh) * | 2020-09-03 | 2020-11-27 | 中航华东光电有限公司 | 消防用智能搜救系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886209A (zh) | 异常行为检测方法及装置、车载设备 | |
| CN109902018B (zh) | 一种智能驾驶系统测试案例的获取方法 | |
| CN110648490B (zh) | 适用于嵌入式平台的多因子火焰识别方法 | |
| CN110674790B (zh) | 一种视频监控中异常场景处理方法及系统 | |
| CN111582092B (zh) | 一种基于人体骨架的行人异常行为检测方法 | |
| CN110335435A (zh) | 基于烟雾检测的火灾预警装置 | |
| CN111274886B (zh) | 一种基于深度学习的行人闯红灯违法行为分析方法及系统 | |
| Wang et al. | Early forest fire region segmentation based on deep learning | |
| CN110473375A (zh) | 森林火灾的监测方法、装置、设备和系统 | |
| CN110334627A (zh) | 对人员的行为进行检测的装置和系统 | |
| CN108052056A (zh) | Led照明灯具的状态监测方法、装置及系统 | |
| CN116543241B (zh) | 泄露气体云团的检测方法、装置、存储介质和电子设备 | |
| CN111612422A (zh) | 一种突发事件的响应方法、装置、存储介质及设备 | |
| CN109993122A (zh) | 一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法 | |
| CN116152658A (zh) | 一种基于域对抗特征融合网络的林火烟雾检测方法 | |
| CN111126411B (zh) | 一种异常行为识别方法及装置 | |
| CN117523499B (zh) | 基于北斗定位与感知的森林防火监测方法及系统 | |
| CN118038153A (zh) | 配电架空线路的防外破识别方法、装置、设备和介质 | |
| CN113726779B (zh) | 规则误报测试方法、装置、电子设备及计算机存储介质 | |
| CN115100592A (zh) | 一种输电通道外破隐患识别方法、装置及存储介质 | |
| Sridhar et al. | Wildfire Detection and Avoidance of false Alarm Using Densenet | |
| CN115311601A (zh) | 一种基于视频分析技术的火灾探测分析方法 | |
| CN111898564B (zh) | 一种时序卷积网络模型、模型训练和目标识别方法、装置 | |
| CN114743151A (zh) | 一种基于改进YOLOv4-tiny的轻量化抗干扰火焰检测方法 | |
| CN116669007B (zh) | 一种面向智慧城市的多源感知应急联动方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191015 |