CN110516573A - 结合颜色、纹理特征的两阶段烟雾识别卷积神经网络 - Google Patents
结合颜色、纹理特征的两阶段烟雾识别卷积神经网络 Download PDFInfo
- Publication number
- CN110516573A CN110516573A CN201910763865.6A CN201910763865A CN110516573A CN 110516573 A CN110516573 A CN 110516573A CN 201910763865 A CN201910763865 A CN 201910763865A CN 110516573 A CN110516573 A CN 110516573A
- Authority
- CN
- China
- Prior art keywords
- network
- color
- image
- channel
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims abstract description 6
- 235000019504 cigarettes Nutrition 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000012886 linear function Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims 1
- 239000000126 substance Substances 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 3
- 239000000779 smoke Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000031068 symbiosis, encompassing mutualism through parasitism Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结合颜色、纹理特征的两阶段烟雾识别卷积神经网络，网络主要由颜色通道卷积子网络、纹理卷积子网络二部分组成。颜色通道卷积子网络在颜色空间操作，抽取烟雾与非烟雾类间最大差别颜色模式；纹理卷积子网络在纹理空间操作，在颜色通道上抽取形状特征。整个网络的最后一层,包含上层池化而来的特征，还拼合了颜色层、纹理层等中间各层池化后的特征，然后对每通道上的特征全局最大池化成一维向量，再通过sigmoid函数分类判别场景中是否有烟雾和火焰。本发明自动训练生成的颜色通道能覆盖更多的样本；比传统人工抽取特征的方法通用性更强，比通用卷积网络轻，并且准确度更高。
Description
技术领域
本发明涉及烟雾识别技术领域，具体涉及一种结合颜色、纹理特征的两阶段烟雾识别卷积神经网络。
背景技术
火灾对人类生产生活造成巨大损害。火灾预警的时间越迟，人员伤亡就越大，财产损失越高。而烟雾作为火灾初期产生的重要特征，如果能通过视觉装置有效的捕捉到烟雾，就能在火情尚未扩大时提供及时、有效的预警，从而减小人员伤亡和财产损失。由于监控相机易于架设且存在普遍，因此开展基于视觉的烟雾检测/火灾研究具有重要的实际应用意义。
早期的烟雾识别多围绕颜色、纹理以及轮廓等静态特征展开，例如通过分析烟雾像素点的RGB、YCbCr、CIE Lab、HSI、YUV、dark channel等颜色信息建立烟雾识别模型，Yuanproposed several smoke detection methods,which are a fast accumulative motionorientation model based on integral image, histograms of Local Binary Pattern(LBP)and Local Binary Pattern Variance(LBPV)based on pyramids,shape invariant features on multi-scale partitions with AdaBoost and high-order localternary patterns with locality preserving projection。但是烟雾的静态特征变化范围大，例如不同的火源就有不同颜色的烟雾，因此人工抽取的特征难以应对各式各样的烟雾。卷积网络能够自动抽取特征，因此Frizzi、ZHIJIAN Yin、 Mengxia Yin等人采用多层卷积神经网络进行火焰和烟雾检测。但是直接采用传统的深度卷积网络往往结构复杂、参数繁多，样本不充分，不得不采用迁移学习和数据增强，检测效果并不理想。注意到传统方法的有效性，王正来将 RGB和HSI图像输入单路深度残差网络,再两个单路深度残差网络模型获得的特征结合,作为Softmax分类器的输入特征进行训练。Oleksii Maksymiv觉得烟雾的纹理与众不同，因此先采用adaboost和LBP来定位可能区域，然后用传统卷积网络来决定场景中是否存在烟雾。陈俊周等人采用卷积网络生成静态纹理信息，与动态纹理结合降低误检率。Yi Zhao先生成saliency image，再用Alexnet改造而来的卷积网络分析saliencyimage是否有目标。
事实上，烟雾的确在颜色、纹理以及轮廓上具有与众不同的特点，从这些方面的确可以把烟雾从背景中区分出来。早期的研究将注意力放在颜色、纹理以及轮廓上的特征是正确的。从卷积神经网络摄取的特征来看，卷积神经网络也是依据这些信息来进行综合分析的。但是采用通用的卷积神经网络，网络会过于巨大，并且往往样本不充足，并不能发挥深度网络的长处。王正来、Oleksii Maksymi、Yi Zhao意识到颜色、纹理以及轮廓的作用，有意识地将这些信息结合到网络里，但是这些网络往往分成两个部分，第一个部分采用传统方法，第二个部分再采用卷积神经网络来进行判断，工作量较大的同时，精确度较低。
发明内容
为解决上述问题，本发明提供了一种先生成颜色通道、再从颜色通道中生成纹理、形状等空间特征的烟雾识别卷积神经网络。
为实现上述目的，本发明采取的技术方案为：
一种结合颜色、纹理特征的两阶段烟雾识别卷积神经网络，网络主要由颜色通道卷积子网络、纹理卷积子网络二部分组成。颜色通道卷积子网络在颜色空间操作，抽取烟雾与非烟雾类间最大差别颜色模式xc；纹理卷积子网络在纹理空间操作，在颜色通道上抽取形状特征xa。整个网络的最后一层,包含上层池化而来的特征，还拼合了颜色层、纹理层等中间各层池化后的特征，然后对每通道上的特征全局最大池化成一维向量，再通过sigmoid函数分类判别场景中是否有烟雾和火焰。
进一步地，所述颜色通道卷积子网络用于对颜色通道用1×1的卷积核求和，然后进行非线性变换，即：
式中，fk i为第i层的第k个颜色通道，fm i-1为第i-1层的第m个颜色通道， Wk i-1为i-1层到i层的第k个卷积核，Wkm i-1为第i-1层第m个颜色通道到第i 层第k个颜色通道的第k个卷积核的权重，bk第i-1层的第k个偏置项，gi-1为第i-1层的非线性激活函数。
进一步地，所述纹理卷积子网络总每层实现以下功能，
式中，fkm i为第i层的第k×m个纹理通道，fm i-1为第i-1层的第m个纹理通道，Wkm i-1为i-1层到i层第m个纹理通道的第k个卷积核，bkm第i-1层的第k×m个偏置项，gi-1为第i-1层的非线性激活函数。
进一步地，该卷积神经网络通过以下步骤训练所得：
S1、构建训练数据集并完成数据集的预处理：
训练数据集包括两个子集：一个子集是像素级标签的图像，包括有烟有火的图像、有烟无火的图像、无烟有火的图像、无烟无火的图像；另一个子集是图像级标签，包括有烟有火的图像、有烟无火的图像、无烟有火的图像、无烟无火的图像；每个样本在输入网络训练之前，需进行直方图均衡化和尺寸归一化处理；
S2、训练
训练分三个阶段进行：第一阶段用像素级标签训练颜色通道卷积子网络 N1次,第二阶段用像素级标签训练颜色通道卷积子网络和颜色通道卷积子网络、纹理卷积子网络N2次，第三阶段用图像级标签训练整个网络N3次，整个训练按此轮次完成N4轮迭代；具体的：
第一、二阶段训练要使用像素级标签，按像素的特征值计算类别，因此需要在颜色通道卷积子网络、纹理卷积子网络后面插入分类连接层；将颜色通道卷积子网络输出的5个通道用1×1×5×2的卷积成同样大小的2通道图像，再通过softmax非线性函数变换成烟、火的概率；烟、火的损失函数J1 s、J1 f分别为：
式中，s/f是分类结果及标签图像中烟、火两个通道，ij是像素坐标，pij s/f是像素pij在s或者f通道中的概率，Lij s/f是像素pij在s或者f通道中的标签，λ1是加权系数，‖W1//2是颜色通道卷积子网络可训练参数的L2范数；
烟、火的检测精度A1 s、A1 f分别为：
式中，N表示图像中像素的数量；
第三阶段采用弱监督的方式用图像级标签训练颜色通道卷积子网络、纹理卷积子网络；将纹理卷积子网络的输出F4用1×1×5×2的卷积成同样大小的 2通道图像，再通过softmax非线性函数变换成烟、火的概率；然后与按1/16 降采样的像素级标签图像求差后累加作为烟、火的损失函数J2 s、J2 f：
式中，(s/f)2是1/16降采样后标签图像中烟、火两个通道，ij是像素坐标，pij (s/f)2是像素pij在s或者f通道中的概率，Lij (s/f)2是像素pij在s或者f 通道中的标签，λ2是加权系数，‖W2‖2是颜色通道卷积子网络可训练参数的 L2范数。
本发明具有以下有益效果：
(1)比RGB、YCbCr、CIE Lab、HSI、YUV、dark channel等简单的颜色模型，自动训练生成的颜色通道能覆盖更多的样本；
(2)比采用通用的卷积神经网络指向性明确，简单的网络具有更好的性能，轻型网络也意味着不大的数据依赖；
(3)比传统人工抽取特征的方法通用性更强，比通用卷积网络轻，并且准确度更高。
附图说明
图1为本发明实施例一种结合颜色、纹理特征的两阶段烟雾识别卷积神经网络的结构示意图。
图2为本发明实施例的训练流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1和表1所示，本发明实施例提供了一种结合颜色、纹理特征的两阶段烟雾识别卷积神经网络，该卷积神经网络包括颜色通道卷积子网络和纹理卷积子网络，由于烟雾往往叠加在场景之上，图像像素值由烟雾和场景加权而成，因此每个像素加[烟雾，非烟雾]的标签比较困难，并且样本数量巨大，因此采用弱监督方式训练。网络的最后一层除了上层max pooling而来的特征，还拼合了输入层、颜色层、纹理层等中间各层经max pooling后的特征，然后对每通道上的特征全局最池化成一维向量，再分类判别场景中是否有烟雾和火焰。颜色通道卷积子网络在颜色空间操作，抽取烟雾与非烟雾类间差别最大的颜色模式；纹理卷积子网络在纹理空间操作，在颜色通道上抽取形状特征；
表1网络结构
该卷积神经网络采用GAP+CAM的弱监督训练方式，仅标注图像[烟雾，非烟雾]，将输入图像、颜色通道卷积子网络和纹理卷积子网络的信息池化后拼合起来，在全局池化成45维的向量后，由该向量全连接，判断场景中是否存在烟雾；
特征拼合层
将颜色通道卷积子网络的输出、纹理卷积子网络各池化层的输出，分别按相应尺寸最大池化到纹理卷积子网络最后特征图大小，然后拼合成230通道的特征层,即：
f19＝[MP16(f4)MP8(f7)MP4(f10)MP2(f14)f18]
式中，f4、f7、f10、f14、f18、f19分别是颜色通道卷积子网络的输出特征、纹理卷积子网络中第1、2、3、4次池化后的特征和拼合后的特征，MP16、MP8、MP4、 MP2表示对各种尺寸的特征分别按16×16、8×8、4×4、2×2的尺寸池化。
全局最大池化
采用全局最大池化。全局最大池化从二维的特征图中选择最大的值作为池化结果，将二维特征转变成一维的标量，将特征拼合层转变成230维的向量。
式中，fm 20是在第20个特征层上第m个通道，fj，m 19是在第19个特征层上第m 个特征图(16×16)上第j个点的特征值，m是特征通道。
特征分类
我们采用了全连接层来分辨样本是否包含烟雾。一般而言，全连接层包含了网络中的大多层参数，容易过拟合。在训练中加入dropout来降低过拟合，提高网络的泛化能力。第21层的全连接层如下式所示：
检测到的烟雾概率为：
式中，ps是烟雾概率，f21是第21层输出的一维特征，f0 21和L0是sigmoid函数的偏置、倍数项。
烟、火共生检测
为了提高烟雾的检测精度，网络同时检测烟、火，在全局平均池化层后分别输出图像中有烟、火的概率。
损失函数
我们采用检测出的烟雾概率ps和类别标签Ls构成网络的损失函数
式中，||WA||2是网络中所有可训练参数的L2范数，λA是权重系数。式中的第二项可以让参数迭代过程变得光滑，限制参数空间。
采用随机梯度下降和BP方法，按下式调整网络参数W：
式中，t是迭代次数，Wt+1、Wt分别是第t+1、t轮迭代时的网络参数,Vt+1、Vt分别是参数调整量，Mu为动量，一般为0.9，Lr为学习率，是参数梯度。
颜色通道卷积子网络
所述颜色通道卷积子网络采用1×1×3×9、1×1×9×36、1×1×36×11 和1×1×11×5共4层卷积网络进行颜色变换，找到烟雾与非烟雾类间差别最大的颜色通道fi，过程如图2所示。图2最右的两个虚线框是烟雾、火焰的概率图，分别表示仅根据颜色特征判别图像中每个像素是否是烟雾、火焰的概率。
所述颜色通道卷积子网络用于对颜色通道用1×1的卷积核求和，然后进行非线性变换，即：
式中，fk i为第i层的第k个颜色通道，fm i-1为第i-1层的第m个颜色通道，Wk i-1为i-1层到i层的第k个卷积核，Wkm i-1为第i-1层第m个颜色通道到第i层第k个颜色通道的第k个卷积核的权重，bk第i-1层的第k个偏置项， gi-1为第i-1层的非线性激活函数。
纹理卷积子网络
所述纹理卷积子网络在每个颜色通道用独立的卷积核卷积，只在空间维度上抽取特征，而没有通道间的混合,为了丰富纹理特征，纹理卷积子网络会在每层先将每个颜色通道扩展为2-3个颜色通道，然后扩大感受野。所述纹理卷积子网络总共4层，每层有2-3次卷积操作、1个池化操作，卷积核都是3×3 大小，每次卷积操作后都要批正则化，然后采用sigmoid函数激活。
所述纹理卷积子网络总每层实现以下功能，
式中，fkm i为第i层的第k×m个纹理通道，fm i-1为第i-1层的第m个纹理通道，Wkm i-1为i-1层到i层第m个纹理通道的第k个卷积核，bkm第i-1层的第 k×m个偏置项，gi-1为第i-1层的非线性激活函数。卷积操作如所示。
如图2所述，该卷积神经网络通过以下步骤训练所得：
训练分三个阶段进行：第一阶段用像素级标签训练颜色通道卷积子网络 N1次,第二阶段用像素级标签训练颜色通道卷积子网络和颜色通道卷积子网络、纹理卷积子网络N2次，第三阶段用图像级标签训练整个网络N3次。整个训练按此轮次完成N4轮迭代。
第一、二阶段训练要使用像素级标签，按像素的特征值计算类别，因此需要在颜色通道卷积子网络、纹理卷积子网络后面插入分类连接层。将颜色通道卷积子网络输出的5个通道用1×1×5×2的卷积成同样大小的2通道图像，再通过softmax非线性函数变换成烟、火的概率。烟、火的损失函数J1 s、J1 f分别为：
式中，s/f是分类结果及标签图像中烟、火两个通道，ij是像素坐标，pij s/f是像素pij在s或者f通道中的概率，Lij s/f是像素pij在s或者f通道中的标签，λ1是加权系数，‖W1//2是颜色通道卷积子网络可训练参数的L2范数。
烟、火的检测精度A1 s、A1 f分别为：
式中，N表示图像中像素的数量。
第三阶段采用弱监督的方式用图像级标签训练颜色通道卷积子网络、纹理卷积子网络。将纹理卷积子网络的输出F4用1×1×5×2的卷积成同样大小的 2通道图像，再通过softmax非线性函数变换成烟、火的概率。然后与按1/16 降采样的像素级标签图像求差后累加作为烟、火的损失函数J2 s、J2 f：
式中，(s/f)2是1/16降采样后标签图像中烟、火两个通道，ij是像素坐标，pij (s/f)2是像素pij在s或者f通道中的概率，Lij (s/f)2是像素pij在s或者f 通道中的标签，λ2是加权系数，‖W2‖2是颜色通道卷积子网络可训练参数的L2范数。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (4)
1.一种结合颜色、纹理特征的两阶段烟雾识别卷积神经网络，其特征在于：该卷积神经网络包括颜色通道卷积子网络和纹理卷积子网络，颜色通道卷积子网络在颜色空间操作，抽取烟雾与非烟雾类间差别最大的颜色模式；纹理卷积子网络在纹理空间操作，在颜色通道上抽取形状特征；该卷积神经网络采用GAP+CAM的弱监督训练方式，仅标注图像[烟雾，非烟雾]，将输入图像、颜色通道卷积子网络和纹理卷积子网络的信息池化后拼合起来，在全局池化成45维的向量后，由该向量全连接，判断场景中是否存在烟雾。
2.如权利要求1所述的一种结合颜色、纹理特征的两阶段烟雾识别卷积神经网络，其特征在于：所述颜色通道卷积子网络用于对颜色通道用1×1的卷积核求和，然后进行非线性变换，即：
式中，fk i为第i层的第k个颜色通道，fm i-1为第i-1层的第m个颜色通道，Wk i-1为i-1层到i层的第k个卷积核，Wkm i-1为第i-1层第m个颜色通道到第i层第k个颜色通道的第k个卷积核的权重，bk第i-1层的第k个偏置项，gi-1为第i-1层的非线性激活函数。
3.如权利要求1所述的一种结合颜色、纹理特征的两阶段烟雾识别卷积神经网络，其特征在于：所述纹理卷积子网络总每层实现以下功能，
式中，fkm i为第i层的第k×m个纹理通道，fm i-1为第i-1层的第m个纹理通道，Wkm i-1为i-1层到i层第m个纹理通道的第k个卷积核，bkm第i-1层的第k×m个偏置项，gi-1为第i-1层的非线性激活函数。
4.如权利要求1所述的一种结合颜色、纹理特征的两阶段烟雾识别卷积神经网络，其特征在于：该卷积神经网络通过以下步骤训练所得：
S1、构建训练数据集并完成数据集的预处理：
训练数据集包括两个子集：一个子集是像素级标签的图像，包括有烟有火的图像、有烟无火的图像、无烟有火的图像、无烟无火的图像；另一个子集是图像级标签，包括有烟有火的图像、有烟无火的图像、无烟有火的图像、无烟无火的图像；每个样本在输入网络训练之前，需进行直方图均衡化和尺寸归一化处理；
S2、训练
训练分三个阶段进行：第一阶段用像素级标签训练颜色通道卷积子网络N1次,第二阶段用像素级标签训练颜色通道卷积子网络和颜色通道卷积子网络、纹理卷积子网络N2次，第三阶段用图像级标签训练整个网络N3次，整个训练按此轮次完成N4轮迭代；具体的：
第一、二阶段训练要使用像素级标签，按像素的特征值计算类别，因此需要在颜色通道卷积子网络、纹理卷积子网络后面插入分类连接层；将颜色通道卷积子网络输出的5个通道用1×1×5×2的卷积成同样大小的2通道图像，再通过softmax非线性函数变换成烟、火的概率；烟、火的损失函数J1 s、J1 f分别为：
式中，s/f是分类结果及标签图像中烟、火两个通道，ij是像素坐标，pij s/f是像素pij在s或者f通道中的概率，Lij s/f是像素pij在s或者f通道中的标签，λ1是加权系数，‖W1‖2是颜色通道卷积子网络可训练参数的L2范数；
烟、火的检测精度A1 s、A1 f分别为：
式中，N表示图像中像素的数量；
第三阶段采用弱监督的方式用图像级标签训练颜色通道卷积子网络、纹理卷积子网络；将纹理卷积子网络的输出F4用1×1×5×2的卷积成同样大小的2通道图像，再通过softmax非线性函数变换成烟、火的概率；然后与按1/16降采样的像素级标签图像求差后累加作为烟、火的损失函数J2 s、J2 f：
式中，(s/f)2是1/16降采样后标签图像中烟、火两个通道，ij是像素坐标，pij (s/f)2是像素pij在s或者f通道中的概率，Lij (s/f)2是像素pij在s或者f通道中的标签，λ2是加权系数，‖W2‖2是颜色通道卷积子网络可训练参数的L2范数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910763865.6A CN110516573A (zh) | 2019-08-19 | 2019-08-19 | 结合颜色、纹理特征的两阶段烟雾识别卷积神经网络 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910763865.6A CN110516573A (zh) | 2019-08-19 | 2019-08-19 | 结合颜色、纹理特征的两阶段烟雾识别卷积神经网络 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110516573A true CN110516573A (zh) | 2019-11-29 |
Family
ID=68626515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910763865.6A Pending CN110516573A (zh) | 2019-08-19 | 2019-08-19 | 结合颜色、纹理特征的两阶段烟雾识别卷积神经网络 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110516573A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112116671A (zh) * | 2020-09-05 | 2020-12-22 | 温州大学 | 注意力机制降低烟、火监测计算量的方法及电子设备 |
| CN113361427A (zh) * | 2021-06-11 | 2021-09-07 | 温州大学 | 基于wt与ga-pnn的复合电能质量扰动分类方法 |
| CN113743605A (zh) * | 2021-06-16 | 2021-12-03 | 温州大学 | 基于进化方法搜索烟、火检测网络架构的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934404A (zh) * | 2017-03-10 | 2017-07-07 | 深圳市瀚晖威视科技有限公司 | 一种基于cnn卷积神经网络的图像火焰识别系统 |
| CN107609470A (zh) * | 2017-07-31 | 2018-01-19 | 成都信息工程大学 | 野外火灾早期烟雾视频检测的方法 |
| CN107749067A (zh) * | 2017-09-13 | 2018-03-02 | 华侨大学 | 基于运动特性和卷积神经网络的火灾烟雾检测方法 |
| CN109086647A (zh) * | 2018-05-24 | 2018-12-25 | 北京飞搜科技有限公司 | 烟雾检测方法及设备 |
-
2019
- 2019-08-19 CN CN201910763865.6A patent/CN110516573A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934404A (zh) * | 2017-03-10 | 2017-07-07 | 深圳市瀚晖威视科技有限公司 | 一种基于cnn卷积神经网络的图像火焰识别系统 |
| CN107609470A (zh) * | 2017-07-31 | 2018-01-19 | 成都信息工程大学 | 野外火灾早期烟雾视频检测的方法 |
| CN107749067A (zh) * | 2017-09-13 | 2018-03-02 | 华侨大学 | 基于运动特性和卷积神经网络的火灾烟雾检测方法 |
| CN109086647A (zh) * | 2018-05-24 | 2018-12-25 | 北京飞搜科技有限公司 | 烟雾检测方法及设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112116671A (zh) * | 2020-09-05 | 2020-12-22 | 温州大学 | 注意力机制降低烟、火监测计算量的方法及电子设备 |
| CN113361427A (zh) * | 2021-06-11 | 2021-09-07 | 温州大学 | 基于wt与ga-pnn的复合电能质量扰动分类方法 |
| CN113361427B (zh) * | 2021-06-11 | 2024-03-15 | 温州大学 | 基于wt与ga-pnn的复合电能质量扰动分类方法 |
| CN113743605A (zh) * | 2021-06-16 | 2021-12-03 | 温州大学 | 基于进化方法搜索烟、火检测网络架构的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107358257B (zh) | 一种大数据场景下可增量学习的图像分类训练方法 | |
| Deng et al. | Image aesthetic assessment: An experimental survey | |
| CN109584248A (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN110046575A (zh) | 基于改进残差网络的遥感图像场景分类方法 | |
| CN109034210A (zh) | 基于超特征融合与多尺度金字塔网络的目标检测方法 | |
| CN106504064A (zh) | 基于深度卷积神经网络的服装分类与搭配推荐方法及系统 | |
| CN108510012A (zh) | 一种基于多尺度特征图的目标快速检测方法 | |
| CN110516573A (zh) | 结合颜色、纹理特征的两阶段烟雾识别卷积神经网络 | |
| CN109711422A (zh) | 图像数据处理、模型的建立方法、装置、计算机设备和存储介质 | |
| CN106815604A (zh) | 基于多层信息融合的注视点检测方法 | |
| CN109886161B (zh) | 一种基于可能性聚类和卷积神经网络的道路交通标识识别方法 | |
| CN106919920A (zh) | 基于卷积特征和空间视觉词袋模型的场景识别方法 | |
| CN109271991A (zh) | 一种基于深度学习的车牌检测方法 | |
| CN104616026B (zh) | 一种面向智能视频监控的监控场景类型辨识方法 | |
| CN109766822A (zh) | 基于神经网络的手势识别方法及系统 | |
| CN111597870A (zh) | 一种基于注意力机制与多任务学习的人体属性识别方法 | |
| CN109886154A (zh) | 基于Inception V3的多数据集联合训练的行人外观属性识别方法 | |
| CN110263822A (zh) | 一种基于多任务学习方式的图像情感分析方法 | |
| CN107463954A (zh) | 一种模糊异谱图像的模板匹配识别方法 | |
| CN113505856B (zh) | 一种高光谱影像无监督自适应分类方法 | |
| CN115049814B (zh) | 采用神经网络模型的护眼灯智能调节方法 | |
| Yuan et al. | Cubic-cross convolutional attention and count prior embedding for smoke segmentation | |
| CN107506792A (zh) | 一种半监督的显著对象检测方法 | |
| CN113850182B (zh) | 基于DAMR_3DNet的动作识别方法 | |
| CN114863572A (zh) | 一种多通道异构传感器的肌电手势识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |