CN110222559A - 基于卷积神经网络的烟雾图像检测方法及装置 - Google Patents
基于卷积神经网络的烟雾图像检测方法及装置 Download PDFInfo
- Publication number
- CN110222559A CN110222559A CN201910334104.9A CN201910334104A CN110222559A CN 110222559 A CN110222559 A CN 110222559A CN 201910334104 A CN201910334104 A CN 201910334104A CN 110222559 A CN110222559 A CN 110222559A
- Authority
- CN
- China
- Prior art keywords
- layer
- mean value
- convolutional
- value pond
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000004913 activation Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 22
- 238000010606 normalization Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 238000003475 lamination Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 239000000779 smoke Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 235000019504 cigarettes Nutrition 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Multimedia (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于卷积神经网络的烟雾图像检测方法及装置。其中，基于卷积神经网络的烟雾图像检测方法，所述卷积神经网络包括：主体网络，其包括至少两个卷积层、至少一个合并层、全局均值池化层和全连接层，所述主体网络利用修正的卷积神经网络算法对输入的烟雾图像进行处理，和分支网络，其包括至少一个均值池化层，所述均值池化层对对应的卷积层的输出进行均值池化处理；其中，烟雾图像检测方法包括使烟雾图像依次经由第一卷积层、第二卷积层、第一合并层、全局均值池化层和全连接层进行处理，其中第一均值池化层对第一卷积层输出的数据进行均值池化处理，且该均值池化处理的结果与第二卷积层的输出数据一同输入到第一合并层中。
Description
技术领域
本发明涉及基于卷积神经网络的烟雾图像检测方法及装置。
背景技术
火灾是社会灾害与自然灾害中出现频率最高的灾害之一。火灾的频繁发生不仅给社会造成了巨大的经济损失，危及生命安全，同时还引发了生态环境破坏、环境污染和文物损坏等诸多问题。因此，快速准确地反馈火灾信息，在火情预警和后续的灭火工作中都有着十分重要的意义。
火灾防治方案主要根据火灾特性对某种现象进行检测。传统的火灾防治主要利用各类感应式传感器进行探测，这些传感器具有价格便宜、准确度高等特点，但监测范围小，在仓库、森林等较大的区域难以大面积铺设，且此类传感器容易老化，导致灵敏度降低。
随着社会发展与基础建设的逐步完善，为了提高城市治安防控力度，政府部门发起了天网工程的建设。天网工程通过大量的摄像头对固定的公共区域进行实时监控。由此，烟雾图像检测技术成为了更加方便，高效的火灾探测手段。
基于图像识别的烟雾检测算法主要有两类，第一类算法基于传统机器学习算法进行设计，主要分三步：疑似烟区提取、特征提取和分类操作。这一类算法在小数据集下性能较好，运行速度较快，但在大数据集下难以收敛，且误检率较高。第二类算法主要基于深度神经网络框架进行设计，与传统的机器学习方案相比，深度学习是一种自动学习的端到端的机器学习方法，通过若干线性与非线性神经元的组合提取图像特征，并将特征映射到各个类别下。这类算法能够有效地降低误检率，应用范围广，鲁棒性高。但是，以上卷积网络模型较大，需要训练的模型参数较多，导致训练与识别速度较慢，很难应用于配置较差的嵌入式芯片。
发明内容
本发明针对常规卷积神经网络结构冗余，所需资源较多的缺点，设计了一种带有分支网络结构的深度可分离卷积神经网络，采用了深度可分离卷积结构替代了常规卷积结构，减少网络参数，并提取不同网络层的特征，抑制由于网络泛化导致的有效烟雾特征弥散现象，针对烟雾正负样本不均衡的问题，采用负样本分批训练的方法，在减小网络模型的同时，得到更高的分类精度和识别速度。
本发明的带有分支网络结构的深度可分离卷积神经网络，将烟雾图像作为网络的输入而无需任何预处理，对烟雾图像本身性质具有很强的针对性。
根据本发明的一方面，提供了一种基于卷积神经网络的烟雾图像检测方法，所述卷积神经网络包括：主体网络，其包括至少两个卷积层、至少一个合并层、全局均值池化层和全连接层，所述主体网络利用修正的卷积神经网络算法对输入的烟雾图像进行处理，和分支网络，其包括至少一个均值池化层，所述均值池化层对对应的卷积层的输出进行均值池化处理；其中，烟雾图像检测方法包括使烟雾图像依次经由第一卷积层、第二卷积层、第一合并层、全局均值池化层和全连接层进行处理，其中第一均值池化层对第一卷积层输出的数据进行均值池化处理，且该均值池化处理的结果与第二卷积层的输出数据一同输入到第一合并层中。
本发明还提供一种基于卷积神经网络的烟雾图像检测装置，所述卷积神经网络包括主体网络和分支网络，所述主体网络包括卷积层、合并层、全局均值池化层和全连接层，所述分支网络包括均值池化层，所述均值池化层将浅层卷积层的卷积输出作为更深层的卷积层的输入特征图的一部分，其中所述烟雾图像检测装置执行权利要求1-8所述的方法。
由此可知，本发明设计了一个带有分支网络结构的深度可分离卷积神经网络，将烟雾图像作为网络的输入而无需任何预处理，对烟雾图像本身性质具有很强的针对性。另外，优选地，卷积神经网络的设置具有很多的可能性，不同的可能性会导致不同的结果，应防止此类分支网络增加或减少分支、或者增加或减少卷积模块、替换激活函数等操作。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
包含在说明书中并构成说明书的一部分的附图例示了本发明的示例性实施例、特征和方面，并且与文字说明一起用来解释本发明的原理。
图1为根据本发明优选实施例的烟雾图像检测方法的网络结构示意图。
图2为根据本发明优选实施例的深度可分离卷积层的结构示意图。
具体实施方式
下面将参照附图详细描述本发明的各种示例性实施例、特征和方面。应当指出，除非另外具体说明，在这些实施例中描述的部件、数字表示和数值的相对配置不限制本发明的范围。应当指出，下面的实施例并不限制权利要求中记载的本发明的范围，并且并非这些实施例中描述的特征的全部组合均是本发明所必须的。
为解决上述问题，本发明提供一种基于改进卷积神经网络的烟雾图像检测方法，其主要内容包括：网络结构以及训练方法和参数。
<网络结构>
以下参考图1详细说明本发明的网络结构的优选实施例。如图1所示，在一个实施例中，本发明涉及基于卷积神经网络的烟雾图像检测方法。在该检测方法中，卷积神经网络包括主体网络和分支网络。主体网络包括多个卷积层、至少一个合并层、全局均值池化层和全连接层，而分支网络包括与至少一个卷积层对应的均值池化层。与现有技术不同，本发明的均值池化层独立于卷积层，但可以对卷积层的卷积输出数据进行均值池化处理，并在合并层将该均值池化处理后的结果与后续（更深层）的卷积层的输出进行合并，即作为后续卷积层的输入特征的一部分。优选地，分支网络的均值池化层将网络浅层的卷积输出下采样为尺寸与深的卷积输出一样的特征图。
具体地，为了说明的目的，将尺寸为64×64×3的烟雾图像输入到本发明的网络结构中进行处理。本领域技术人员理解，其他尺寸的输入图像也是可以的，即本发明并不限于上述尺寸。当然，由于输入图像的尺寸不同，必然导致各卷积层、合并层和均值池化层的处理尺寸、步长和输出数据尺寸等发生相应变化，并有可能增减卷积层、合并层和均值池化层等的个数。然而由于篇幅所限，本文不可能一一列举这些情况，但本领域技术人员理解这些都包括在本发明的精神和保护范围内。
<第一实施例>
输入图像被首先输入到卷积层1（图1所示为深度可分离卷积层1）。在该卷积层1中，依次进行卷积、批量归一化和非线性函数激活操作，并由此得到第一卷积数据。对应于输入的尺寸为64×64×3的图像，第一卷积数据的尺寸为32×(64×64)。其中，批量归一化对数据进行正则化，而非线性函数使用双曲正切（TanH）激活函数。
然后，第一均值池化层对第一卷积数据进行第一均值池化处理，得到尺寸为32×(32×32)的第一均值池化数据。第一均值池化层的尺寸例如为3×3，步长为2。当然，本领域技术人员知晓，还可以选择其他尺寸和步长进行均值池化处理。在本发明中，第一均值池化数据作为浅层卷积层（例如，卷积层1）的输出通过合并层的操作作为后续更深层卷积层（例如卷积层3等）的输入。
接着，第一卷积数据被输入到卷积层2（图1所示为深度可分离卷积层2）。在该层，依次对第一卷积数据进行卷积、批量归一化、非线性化函数激活和最大值池化层处理，得到尺寸为64×(32×32)的第二卷积数据。其中，批量归一化对数据进行正则化，非线性函数使用TanH激活函数，和最大值池化层对数据进行降维处理，其处理尺寸例如可以为3×3，步长例如可以为2。
继续，第二均值池化层对第二卷积数据进行第二均值池化处理，得到尺寸为64×(16×16)的第二均值池化数据。第二均值池化层的尺寸例如可以为3×3，步长例如可以为2。当然，本领域技术人员知晓，还可以选择其他尺寸和步长进行均值池化。在本发明中，第二均值池化数据作为浅层卷积层（卷积层2）的输出通过合并层的操作作为后续更深层卷积层（例如，卷积层5）的输入。
再继续，在第一合并层（图1所示为合并层1）中，第二卷积数据连同第一均值池化数据一起被拼接成一个第一特征图，尺寸为96×32×32。
然后，第一特征图被输入到全局均值池化层和/或可能的其他降维、修正处理模块等（优选地为后续第二和第三实施例中所列的卷积、合并处理等）中，得到尺寸为256×1×1的特征点。
最后，特征点被输入全连接层得到处理后的图像。全连接层使用输入维度为256、输出维度为2的两层神经网络对特征点进行处理，其中第一层神经网络通过TanH激活函数，第二层神经网络连接softmax函数。
如图1所示的那样，卷积层1和卷积层2优选地为深度可分离卷积层。如图2所示，深度可分离卷积层包括深度卷积层和逐点卷积层。深度卷积对每个输入通道进行独立的空间卷积，而逐点卷积层进行常规的卷积运算，但将卷积核的尺寸固定为1×1。
<第二实施例>
在进一步的优选实施例（第二实施例）中，在上述第一实施例的第一合并层之后、全局均值池化层之前还可以设置卷积层3、第三均值池化层和合并层2来对合并层1中得到的第一特征图进行进一步处理以增强数据的稳定性、准确性和鲁棒性。
作为示例，在卷积层3（图1所示为深度可分离卷积层3）中，对第一特征图依次进行卷积、批量归一化和非线性函数激活操作，并由此得到尺寸为96×(32×32)的第三卷积数据。其中，批量归一化对数据进行正则化，而非线性函数使用ReLU激活函数。
然后，第三均值池化层对第三卷积数据进行第三均值池化处理，得到尺寸为96×(16×16)的第三均值池化数据。第三均值池化层的尺寸例如为3×3，步长为2。当然，本领域技术人员知晓，还可以选择其他尺寸和步长进行均值池化。在本发明中，第三均值池化数据作为浅层卷积层（如，卷积层3）的输出通过合并层的操作作为后续更深层卷积层（如，卷积层5）的输入。
接着，在第二合并层（图1所示为合并层2）中，第三卷积数据连同第一均值池化数据、和第二卷积数据一起被拼接成一个第二特征图，尺寸为192×(32×32) 。
最后，如第一实施例中的第一特征图那样，第二特征图可能在经由其他的降维或修正处理（例如后续第三实施例中所列的卷积、合并处理等）后被依次输入到全局均值池化层和全连接层得到处理后的图像。
如图1所示的那样，卷积层3优选地为深度可分离卷积层，包括深度卷积层和逐点卷积层（如图2所示）。深度卷积对每个输入通道进行独立的空间卷积；逐点卷积层进行与常规的卷积运算相同，但将卷积核的尺寸固定为1×1。
<第三实施例>
在更进一步优选的实施例（第三实施例）中，在上述第二实施例的合并层2之后、全局均值池化层之前还可以设置卷积层4、修正第一均值池化层、合并层3、卷积层5和卷积层6对第二特征图进行进一步处理以进一步增强数据的稳定性、准确性和鲁棒性。
作为示例，在卷积层4（图1所示为深度可分离卷积层4）中，对第二特征图依次进行卷积、批量归一化、非线性函数激活和最大值池化层操作，并由此得到尺寸为192×(16×16)的第四卷积数据。其中，批量归一化对数据进行正则化，非线性函数使用ReLU激活函数，和最大值池化层对数据进行降维处理，其处理的尺寸例如可以为3×3，步长例如可以为2。
然后，第一修正均值池化层对第一均值池化数据进行修正得到尺寸为32×(16×16)的修正第一均值池化数据。第一修正均值池化层的尺寸例如为3×3，步长为2。本领域技术人员知晓，还可以选择其他尺寸和步长进行均值池化。
接下来，在第三合并层（图1所示为合并层3）中，第四卷积数据连同修正第一均值池化数据、第二均值池化数据和第三均值池化数据一起被拼接成一个第三特征图，尺寸为384×(16×16)。
继续地，第三特征图被输入到卷积层5（图1所示为深度可分离卷积层5），依次进行卷积、批量归一化、非线性化函数激活和最大值池化层处理，得到尺寸为512×(8×8)的第五卷积数据。其中，批量归一化对数据进行正则化，非线性函数使用ReLU激活函数，和最大值池化层对数据进行降维处理，其处理尺寸例如可以为3×3，步长例如可以为2。
再继续，第五卷积数据被输入到卷积层6（图1所示为深度可分离卷积层6），并在该层依次进行卷积、批量归一化和非线性化激活处理，得到尺寸为256×(8×8)的第六卷积数据。其中，批量归一化对数据进行正则化，而非线性函数使用ReLU激活函数。
第六卷积数据被输入到全局均值池化层进行全局均值池化处理，该层用取最大值的下采样方式将所有训练样本（下文详述）得到的每个特征图融合为一个特征点，尺寸例如为256×(1×1)。
最后，如第一实施例中的第一特征图那样，经全局均值池化处理的第六卷积数据被全连接层得到处理后的图像。
如图1所示的那样，卷积层4、卷积层5、卷积层6优选地为深度可分离卷积层，包括深度卷积层和逐点卷积层（如图2所示）。深度卷积对每个输入通道进行独立的空间卷积；逐点卷积层进行与常规的卷积运算相同，但将卷积核的尺寸固定为1×1。
如上所示，本领域技术人员可以理解，特征点的获得不仅仅取决于经前几步卷积得到的数据，而是还要结合所有前次经均值池化后的数据。这些均值池化数据对卷积数据的修正使得最终得到的特征点更加准确，鲁棒性更高。
<第四实施例>
在第四实施例中，本发明的神经网络包括主体网络和分支网络，主体网络执行神经网络卷积操作，分支网络进行均值池化操作并作为后续卷积操作的输入以对卷积操作得到的数据进行修正。
具体地，如图1所示，所述的主体网络由6个深度可分离卷积层、3个合并层、1个全局均值池化层和1个全连接层组成，每个深度可分离卷积层的卷积操作后还进行批量归一化和非线性函数激活。批量归一化对输入数据进行正则化，第一、二个卷积层后使用了双曲正切激活函数，在之后的4个卷积采用ReLU激活函数，第二、四卷积后使用最大值池化层。
各深度可分离卷积层，包含深度卷积层和逐点卷积层。如图2所示，深度卷积对每个输入通道进行独立的空间卷积；逐点卷积运算与常规的卷积运算相同，只将卷积核的尺寸固定为1×1。
批量归一化，在每次训练时对卷积输入的特征图进行正则化。
激活函数层，使用双曲正切激活函数和ReLU激活函数对上一层的输出进行非线性化操作。
最大值池化层，用取最大值的下采样方式进行输入特征图进行降维。
分支网络通过均值池化层将网络浅层的卷积输出作为更深的卷积层输入特征图的一部分。
分支网络的均值池化层将网络浅层的卷积输出下采样为尺寸与深的卷积输出一样的特征图，采用尺寸为3×3或5×5，步长为2×2。
各合并层，将上述主体网络和分支网络输出的特征图拼接成一个特征图，其中合并层1拼接卷积层2的输出与通过第一均值池化层的卷积层1的输出，合并层2拼接卷积层3的输出、卷积层2的输出与通过第一均值池化层的卷积层1的输出，合并层3拼接卷积层4的输出与通过第二均值池化层的卷积层2的输出、通过第三均值池化层的卷积层3的输出和经修正的第一均值池化层的卷积层1的输出。
全局均值池化层，用取最大值的下采样方式将每个特征图融合为一个特征点。
全连接层，使用输入维度为256，输出维度为2的两层神经网络，第一层神经网络通过TanH激活函数，第二层神经网络连接softmax函数。
<训练方法及参数>
针对上述第一到第四实施例的网络结构，其训练方法及参数具体如下所述：
卷积层中的卷积核与全连接层使用服从均值为0、标准差为0.1的高斯分布随机数进行初始化，偏置项使用服从区间为[0，1]的均匀分布随机数进行初始化；
批处理层中，动量设置为0.95，常量设置为0.01；
使用AdaDelta梯度下降算法训练权重，批处理大小设置为100；
按照一定比例设置数据的训练集、验证集和测试集，在20代的训练后，每一代都进行验证集的测试，结果最好的那一代训练模型会被保存并用于测试集的测试，其结果即为整个学习的结果；
设置全部数据迭训练周期为100代，在训练时，训练集中的正负样本比为10:1，每一代训练中，依次打乱20%的负样本与全部正样本进行训练，直至全部负样本训练完成一个训练周期。
<本发明的有益效果>
本发明解决了烟雾图像识别计算量大、误检严重等问题，并在一定程度上提高了对烟雾图像的识别准确率。几种卷积神经网络的实验结果如下表1所示，proposed的网络模型为图1所述的本发明的网络结构。如表1所示，proposed的准确率超过99%（99.13%），误检率也仅有0.22%。虽然本发明的proposed的检测性能低于ResNet，但与MobileNet的性能相当（99.20%）。现实生活中无烟雾的场景较为常见，因此要求网络的误检率比较低。所以，尽管本发明的proposed在准确率上略低于MobileNet，但具有更强的鲁棒性，符合大多数现实场景的要求。对比一副图像在GPU上测试的运行时间，本发明的改进的卷积神经网络的计算成本要远低于其他对比网络模型，平均单帧运行时间仅为9ms。
表1 网络模型比较
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。
Claims (9)
1.一种基于卷积神经网络的烟雾图像检测方法，其特征在于，所述卷积神经网络包括：
主体网络，其包括至少两个卷积层、至少一个合并层、全局均值池化层和全连接层，所述主体网络利用修正的卷积神经网络算法对输入的烟雾图像进行处理，和
分支网络，其包括至少一个均值池化层，所述均值池化层对对应的卷积层的输出进行均值池化处理；
其中，烟雾图像检测方法包括使烟雾图像依次经由第一卷积层、第二卷积层、第一合并层、全局均值池化层和全连接层进行处理，其中第一均值池化层对第一卷积层输出的数据进行均值池化处理，且该均值池化处理的结果与第二卷积层的输出数据一同输入到第一合并层中。
2.根据权利要求1所述的烟雾图像检测方法，其特征在于，所述方法进一步包括如下步骤：
在第一卷积层对输入的烟雾图像进行卷积操作、执行正则化的批量归一化处理和使用TanH激活函数进行非线性化操作，得到第一卷积数据；
在第一均值池化层对所述第一卷积数据进行第一均值池化处理，得到第一均值池化数据；
在第二卷积层对所述第一卷积数据依次进行卷积操作、执行正则化的批量归一化处理、使用TanH激活函数进行非线性化处理和使用最大值池化层进行降维处理，得到第二卷积数据；
在第二均值池化层对所述第二卷积数据进行第二均值池化处理，得到第二均值池化数据；
在第一合并层将所述第二卷积数据和所述第一均值池化数据拼接成第一特征图；
在全局均值池化层对所述第一特征图进行全局均值池化，得到一个特征点；和
在全连接层，使用输入维度为256、输出维度为2的两层神经网络对所述特征点进行处理，其中第一层神经网络通过TanH激活函数，第二层神经网络连接softmax函数。
3.根据权利要求1所述的烟雾图像检测方法，其特征在于，所述方法在第一合并层之后、全局均值池化层之前进一步包括如下步骤：
在第三卷积层对所述第一特征图依次进行第三卷积操作、执行正则化的批量归一化处理和使用ReLU激活函数进行非线性化处理，得到第三卷积数据；
在第三均值池化层对所述第三卷积数据进行第三均值池化处理，得到第三均值池化数据；
在第二合并层将第二卷积数据、第三卷积数据和第一均值池化数据拼接成第二特征图；和
第二特征图输入到全局均值池化层中。
4.根据权利要求3所述的烟雾图像检测方法，其特征在于，在第二合并层之后、全局均值池化层之前进一步包括如下步骤：
在第四卷积层对所述第二特征图依次进行卷积操作、执行正则化的批量归一化处理、使用ReLU激活函数进行非线性化操作和使用最大值池化层进行降维处理，得到第四卷积数据；
在第一修正均值池化层对所述第一均值池化数据进行修正得到修正的第一均值池化数据；和
在第三合并层将所述第四卷积数据、修正的第一均值池化数据、第二均值池化数据和第三均值池化数据拼接成第三特征图；
在第五卷积层依次对所述第三特征图进行卷积操作、执行正则化的批量归一化处理、使用ReLU激活函数进行非线性化处理和使用最大值池化层进行降维处理，得到第五卷积数据；
在第六卷积层依次对所述第五卷积数据进行卷积操作、执行正则化的批量归一化和使用ReLU激活函数进行操作，得到第六卷积数据；和
第六卷积数据输入到全局均值池化层中。
5.根据权利要求1所述的烟雾图像检测方法，其特征在于，上述各个卷积层是深度可分离卷积层，所述深度可分离卷积层包括深度卷积层和逐点卷积层，其中所述深度卷积对每个输入数据进行独立的空间卷积；逐点卷积运算将卷积核的尺寸固定为1×1。
6.一种基于卷积神经网络的烟雾图像检测方法，其特征在于，将所述卷积神经网络分为主体网络和分支网络，
所述主体网络包括6个卷积层、3个合并层、1个全局均值池化层和1个全连接层，其连接顺序从前至后分别为第一卷积层、第二卷积层、第一合并层、第三卷积层、第二合并层、第四卷积层、第三合并层、第五卷积层、第六卷积层、全局均值池化层和全连接层，
其中，每个卷积层包括对输入至该卷积层的数据进行卷积运算，然后进行批量归一化和非线性函数激活，其中批量归一化对卷积后的输入数据进行正则化，第一和二个卷积层的非线性函数激活是双曲正切激活函数，之后的四个卷积层的非线性函数激活是ReLU激活函数，第二和第四卷积层在非线性函数激活后使用最大值池化层；
所述分支网络包括均值池化层，其对顺序靠前的浅层卷积层的输出进行处理并将处理结果作为顺序靠后的深层卷积层的输入的一部分；
所述最大值池化层，用取最大值的下采样方式对输入特征图进行降维；
所述全局均值池化层，用取最大值的下采样方式将每个特征图融合为一个特征点；
所述合并层，将卷积层和对应的均值池化层输出的特征图依次合并成一个特征图；
所述全连接层，使用输入维度为256，输出维度为2的两层神经网络，第一层神经网络通过TanH激活函数，第二层神经网络连接softmax函数。
7.根据权利要求6所述的烟雾图像检测方法，其特征在于，所述卷积层是深度可分离卷积层，所述深度可分离卷积层包括深度卷积层和逐点卷积层，其中，所述深度卷积层对每个输入通道进行独立的空间卷积；所述逐点卷积层将卷积核的尺寸固定为1x1。
8.根据权利要求1-7所述的烟雾图像检测方法，其特征在于，每个所述卷积层中的卷积核与所述全连接层使用服从均值为0、标准差为0.1的高斯分布随机数进行初始化，偏置项使用服从区间为[0，1]的均匀分布随机数进行初始化；在每个所述批量归一化层中，动量设置为0.95，常量设置为0.01；使用AdaDelta梯度下降算法训练权重，批处理大小设置为100；按照预定比例设置数据的训练集、验证集和测试集，在20代的训练后，每一代都进行验证集的测试，结果最好的那一代训练模型会被保存并用于测试集的测试，其结果即为整个学习的结果；设置全部数据迭训练周期为100代，在训练时，训练集中的正负样本比为10:1，每一代训练中，依次打乱20%的负样本与全部正样本进行训练，直至全部负样本训练完成一个训练周期。
9.一种基于卷积神经网络的烟雾图像检测装置，其特征在于，所述卷积神经网络包括主体网络和分支网络，所述主体网络包括卷积层、合并层、全局均值池化层和全连接层，所述分支网络包括均值池化层，所述均值池化层将浅层卷积层的卷积输出作为更深层的卷积层的输入特征图的一部分，其中所述烟雾图像检测装置执行权利要求1-8所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910334104.9A CN110222559A (zh) | 2019-04-24 | 2019-04-24 | 基于卷积神经网络的烟雾图像检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910334104.9A CN110222559A (zh) | 2019-04-24 | 2019-04-24 | 基于卷积神经网络的烟雾图像检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110222559A true CN110222559A (zh) | 2019-09-10 |
Family
ID=67819968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910334104.9A Pending CN110222559A (zh) | 2019-04-24 | 2019-04-24 | 基于卷积神经网络的烟雾图像检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110222559A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807463A (zh) * | 2019-09-17 | 2020-02-18 | 珠海格力电器股份有限公司 | 图像分割方法、装置、计算机设备和存储介质 |
| CN110827208A (zh) * | 2019-09-19 | 2020-02-21 | 重庆特斯联智慧科技股份有限公司 | 卷积神经网络的通用池化增强方法、装置、设备及介质 |
| CN110992642A (zh) * | 2019-12-25 | 2020-04-10 | 辽宁石油化工大学 | 一种基于深度学习的火灾检测方法 |
| CN111062362A (zh) * | 2019-12-27 | 2020-04-24 | 上海闻泰信息技术有限公司 | 人脸活体检测模型、方法、装置、设备及存储介质 |
| CN111259844A (zh) * | 2020-01-21 | 2020-06-09 | 陕西师范大学 | 标准化考场考生实时监控方法 |
| CN111414969A (zh) * | 2020-03-26 | 2020-07-14 | 西安交通大学 | 一种雾天环境下的烟检测方法 |
| CN111722220A (zh) * | 2020-06-08 | 2020-09-29 | 北京理工大学 | 基于并行异构传感器的火箭目标识别系统 |
| CN112052917A (zh) * | 2020-10-22 | 2020-12-08 | 上海明略人工智能(集团)有限公司 | 一种图像分类方法、系统、电子设备及存储介质 |
| CN112215345A (zh) * | 2020-10-15 | 2021-01-12 | 苏州浪潮智能科技有限公司 | 一种基于Tensorcore的卷积神经网络运转方法和装置 |
| CN112233675A (zh) * | 2020-10-22 | 2021-01-15 | 中科院微电子研究所南京智能技术研究院 | 一种基于分离卷积神经网络的语音唤醒方法及系统 |
| CN115206078A (zh) * | 2022-09-15 | 2022-10-18 | 法施达(天津)智能科技有限公司 | 基于云数据分析的铁路锚固检测及预警方法、系统及设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106056130A (zh) * | 2016-05-18 | 2016-10-26 | 天津大学 | 针对不平衡数据集的组合降采样线性判别分类方法 |
| CN106682233A (zh) * | 2017-01-16 | 2017-05-17 | 华侨大学 | 一种基于深度学习与局部特征融合的哈希图像检索方法 |
| CN107092960A (zh) * | 2017-04-17 | 2017-08-25 | 中国民航大学 | 一种改进的并行通道卷积神经网络训练方法 |
| CN108288075A (zh) * | 2018-02-02 | 2018-07-17 | 沈阳工业大学 | 一种改进ssd的轻量化小目标检测方法 |
| CN108830211A (zh) * | 2018-06-11 | 2018-11-16 | 厦门中控智慧信息技术有限公司 | 基于深度学习的人脸识别方法及相关产品 |
| CN108830262A (zh) * | 2018-07-25 | 2018-11-16 | 上海电力学院 | 自然状态下多角度人脸表情识别方法 |
| CN108921218A (zh) * | 2018-06-29 | 2018-11-30 | 炬大科技有限公司 | 一种目标物体检测方法及装置 |
| CN109214250A (zh) * | 2017-07-05 | 2019-01-15 | 中南大学 | 一种基于多尺度卷积神经网络的静态手势识别方法 |
| CN109376695A (zh) * | 2018-11-26 | 2019-02-22 | 北京工业大学 | 一种基于深度混合神经网络的烟雾检测方法 |
-
2019
- 2019-04-24 CN CN201910334104.9A patent/CN110222559A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106056130A (zh) * | 2016-05-18 | 2016-10-26 | 天津大学 | 针对不平衡数据集的组合降采样线性判别分类方法 |
| CN106682233A (zh) * | 2017-01-16 | 2017-05-17 | 华侨大学 | 一种基于深度学习与局部特征融合的哈希图像检索方法 |
| CN107092960A (zh) * | 2017-04-17 | 2017-08-25 | 中国民航大学 | 一种改进的并行通道卷积神经网络训练方法 |
| CN109214250A (zh) * | 2017-07-05 | 2019-01-15 | 中南大学 | 一种基于多尺度卷积神经网络的静态手势识别方法 |
| CN108288075A (zh) * | 2018-02-02 | 2018-07-17 | 沈阳工业大学 | 一种改进ssd的轻量化小目标检测方法 |
| CN108830211A (zh) * | 2018-06-11 | 2018-11-16 | 厦门中控智慧信息技术有限公司 | 基于深度学习的人脸识别方法及相关产品 |
| CN108921218A (zh) * | 2018-06-29 | 2018-11-30 | 炬大科技有限公司 | 一种目标物体检测方法及装置 |
| CN108830262A (zh) * | 2018-07-25 | 2018-11-16 | 上海电力学院 | 自然状态下多角度人脸表情识别方法 |
| CN109376695A (zh) * | 2018-11-26 | 2019-02-22 | 北京工业大学 | 一种基于深度混合神经网络的烟雾检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 史劲亭等,: "视频烟雾检测研究进展", 《中国图象图形学报》, vol. 23, no. 3, pages 303 - 322 * |
| 杨其睿,: "基于改进的DenseNet 深度网络火灾图像识别算法", 《计算机应用与软件》, vol. 36, no. 2, 28 February 2019 (2019-02-28), pages 258 - 263 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807463A (zh) * | 2019-09-17 | 2020-02-18 | 珠海格力电器股份有限公司 | 图像分割方法、装置、计算机设备和存储介质 |
| CN110827208A (zh) * | 2019-09-19 | 2020-02-21 | 重庆特斯联智慧科技股份有限公司 | 卷积神经网络的通用池化增强方法、装置、设备及介质 |
| CN110992642A (zh) * | 2019-12-25 | 2020-04-10 | 辽宁石油化工大学 | 一种基于深度学习的火灾检测方法 |
| CN110992642B (zh) * | 2019-12-25 | 2021-11-05 | 辽宁石油化工大学 | 一种基于深度学习的火灾检测方法 |
| CN111062362A (zh) * | 2019-12-27 | 2020-04-24 | 上海闻泰信息技术有限公司 | 人脸活体检测模型、方法、装置、设备及存储介质 |
| CN111062362B (zh) * | 2019-12-27 | 2023-10-10 | 上海闻泰信息技术有限公司 | 人脸活体检测模型、方法、装置、设备及存储介质 |
| CN111259844A (zh) * | 2020-01-21 | 2020-06-09 | 陕西师范大学 | 标准化考场考生实时监控方法 |
| CN111259844B (zh) * | 2020-01-21 | 2023-02-24 | 陕西师范大学 | 标准化考场考生实时监控方法 |
| CN111414969A (zh) * | 2020-03-26 | 2020-07-14 | 西安交通大学 | 一种雾天环境下的烟检测方法 |
| CN111722220B (zh) * | 2020-06-08 | 2022-08-26 | 北京理工大学 | 基于并行异构传感器的火箭目标识别系统 |
| CN111722220A (zh) * | 2020-06-08 | 2020-09-29 | 北京理工大学 | 基于并行异构传感器的火箭目标识别系统 |
| CN112215345A (zh) * | 2020-10-15 | 2021-01-12 | 苏州浪潮智能科技有限公司 | 一种基于Tensorcore的卷积神经网络运转方法和装置 |
| CN112215345B (zh) * | 2020-10-15 | 2022-12-20 | 苏州浪潮智能科技有限公司 | 一种基于Tensorcore的卷积神经网络运转方法和装置 |
| CN112233675A (zh) * | 2020-10-22 | 2021-01-15 | 中科院微电子研究所南京智能技术研究院 | 一种基于分离卷积神经网络的语音唤醒方法及系统 |
| CN112052917A (zh) * | 2020-10-22 | 2020-12-08 | 上海明略人工智能(集团)有限公司 | 一种图像分类方法、系统、电子设备及存储介质 |
| CN112233675B (zh) * | 2020-10-22 | 2023-10-27 | 中科南京智能技术研究院 | 一种基于分离卷积神经网络的语音唤醒方法及系统 |
| CN115206078A (zh) * | 2022-09-15 | 2022-10-18 | 法施达(天津)智能科技有限公司 | 基于云数据分析的铁路锚固检测及预警方法、系统及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110222559A (zh) | 基于卷积神经网络的烟雾图像检测方法及装置 | |
| CN110232280A (zh) | 一种基于树结构卷积神经网络的软件安全漏洞检测方法 | |
| CN106845556A (zh) | 一种基于卷积神经网络的织物疵点检测方法 | |
| CN109165688A (zh) | 一种安卓恶意软件家族分类器构建方法及其分类方法 | |
| CN106897738A (zh) | 一种基于半监督学习的行人检测方法 | |
| CN109902018B (zh) | 一种智能驾驶系统测试案例的获取方法 | |
| CN106980858A (zh) | 一种语言文本检测与定位系统及应用该系统的语言文本检测与定位方法 | |
| CN108985192A (zh) | 一种基于多任务深度卷积神经网络的视频烟雾识别方法 | |
| CN107563431A (zh) | 一种结合cnn迁移学习和svdd的图像异常检测方法 | |
| CN107315954A (zh) | 一种文件类型识别方法及服务器 | |
| CN108805833A (zh) | 基于条件对抗网络的字帖二值化背景噪声杂点去除方法 | |
| CN108898015A (zh) | 基于人工智能的应用层动态入侵检测系统及检测方法 | |
| CN106817248A (zh) | 一种apt攻击检测方法 | |
| CN110348214A (zh) | 对恶意代码检测的方法及系统 | |
| Liu et al. | A novel intrusion detection algorithm for industrial control systems based on CNN and process state transition | |
| CN107819790A (zh) | 攻击报文的识别方法及装置 | |
| CN111339935A (zh) | 一种基于可解释cnn图像分类模型的光学遥感图片分类方法 | |
| CN112541393A (zh) | 一种基于深度学习的变电站人员检测方法及装置 | |
| CN112565261A (zh) | 基于多生成器AugGAN的对抗动态恶意API序列生成方法 | |
| CN113901448A (zh) | 基于卷积神经网络和轻量级梯度提升机的入侵检测方法 | |
| CN104077524B (zh) | 用于病毒鉴定的训练方法和病毒鉴定方法及装置 | |
| CN111062350A (zh) | 基于人工智能烟火识别算法 | |
| CN110335435A (zh) | 基于烟雾检测的火灾预警装置 | |
| Duffner et al. | A neural scheme for robust detection of transparent logos in TV programs | |
| CN112989354A (zh) | 基于神经网络和焦点损失的攻击检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |