CN106250845A - 基于卷积神经网络的火焰检测方法及装置 - Google Patents

基于卷积神经网络的火焰检测方法及装置 Download PDF

Info

Publication number
CN106250845A
CN106250845A CN201610609104.1A CN201610609104A CN106250845A CN 106250845 A CN106250845 A CN 106250845A CN 201610609104 A CN201610609104 A CN 201610609104A CN 106250845 A CN106250845 A CN 106250845A
Authority
CN
China
Prior art keywords
training
image
flame
model
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610609104.1A
Other languages
English (en)
Inventor
谢静
班华忠
崔凯
李党
曾建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhi Xinyuandong Science And Technology Ltd
Original Assignee
Beijing Zhi Xinyuandong Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhi Xinyuandong Science And Technology Ltd filed Critical Beijing Zhi Xinyuandong Science And Technology Ltd
Priority to CN201610609104.1A priority Critical patent/CN106250845A/zh
Publication of CN106250845A publication Critical patent/CN106250845A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Abstract

本发明提供了基于卷积神经网络的火焰检测方法，该方法包括：选取标签的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的模型；提取彩色的场景图像中的疑似火焰点，将疑似火焰点作为前景点，获取二值图像；采用连通区域法对二值图像进行连通区域处理，获取一系列的连通区域；对连通区域进行筛选，获取候选区域；利用训练好的模型对候选区域进行识别，输出识别结果。与现有的火焰检测技术相比，本发明的火焰检测准确率高，且鲁棒性较好。

Description

基于卷积神经网络的火焰检测方法及装置
技术领域
本发明涉及图像处理、视频监控以及消防，特别涉及火焰检测方法及装置。
背景技术
火灾是一种常见的频发灾害，严重地威胁了国家财产和人民群众的安全。为有效及时地预警火灾的发生，避免火灾蔓延，引入一种高效的火焰检测方法具有极强的现实和经济意义。由于火焰本身蕴含着复杂多变的静态特征和动态特征，如何准确描述火焰特征，使其能在复杂场景下有效区分火焰和非火焰一直是火焰检测领域的难点和核心问题。
现有的火焰检测主要是围绕火焰特征，包括火焰静态特征和动态特征，并在特征基础上引入相关概率和分类模型进行火焰检测。火焰静态特征主要包括颜色和轮廓等。颜色特征主要基于RGB、YCbCr等颜色空间，检测速度快，但对于与火焰颜色接近的目标无法正确区分。轮廓特征主要描述了火焰的面积、周长、形状等轮廓信息，但由于火焰轮廓存在不确定性和多样性，无法从轮廓上准确刻画出火焰域非火焰的区分性。火焰动态特征目前只是单纯刻画火焰的局部或全局的一种频率变化，但对于闪烁灯光、抖动的红旗等无法区分。
综上所述，目前迫切需要提出一种快速且检测准确率高的火焰检测方法及装置。
发明内容
有鉴于此，本发明的主要目的在于实现火焰的快速检测，且检测准确率高。
为达到上述目的，按照本发明的第一个方面，提供了一种基于卷积神经网络的火焰检测方法，该方法包括：
第一步骤，选取标签的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的模型；
第二步骤，提取彩色的场景图像中的疑似火焰点，将疑似火焰点作为前景点，获取二值图像；
第三步骤，采用连通区域法对二值图像进行连通区域处理，获取一系列的连通区域；
第四步骤，对连通区域进行筛选，获取候选区域；及
第五步骤，利用训练好的模型对候选区域进行识别，输出识别结果。
所述第一步骤进一步包括：
样本选取步骤，选取Th_fire个标签的灰度火焰图像作为正样本图像，选取Th_nfire个标签的灰度非火焰图像作为负样本图像；
初步训练步骤，利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练步骤，选取Th_Test个无标签的灰度图像，根据初步训练的模型对无标签的灰度图像进行反复训练，直至模型收敛，该收敛的模型即为训练好的模型。
所述初步训练步骤中卷积神经网络包括：Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层。
所述第i个卷积层包括Th_CKi个卷积核，卷积核的大小为CKSi*CKSi、步长为Th_CSi，i＝1，2，…，Th_Conc；第j个池化层的核的大小为PKSj*PKSj、步长为Th_PSj，j＝1，2，…，Th_Pool；所述全连接层的最后一层全连接层输出的神经元的数量为2。
所述二次训练步骤包括：
训练特征提取步骤，根据初步训练的模型提取Th_Test个无标签的灰度图像的特征；
训练分类判定步骤，分别计算该无标签的灰度图像的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2，若Simi1＞Simi2，则判定为火焰类别，否则判定为非火焰类别；
反复训练步骤，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤和训练分类判定步骤，直至该模型收敛，收敛的模型即为训练好的模型。
所述第二步骤进一步包括：
RGB颜色空间判定步骤，统计场景图像中像素点(x,y)的R分量值R(x,y)、G分量值G(x，y)、B分量值B(x，y)，若同时满足和则将该像素点标记为保留点，否则将该像素点标记为背景点，并将该像素点的各分量值都设为0；
HIS颜色空间判定步骤，将场景图像转换到HIS颜色空间，统计场景图像中保留点的(x,y)的H分量值H(x,y)、S分量值S(x,y)、I分量值I(x,y)，若同时满足0≤H(x,y)≤λ4、λ5≤S(x,y)≤1以及λ6≤I(x,y)≤255，则认为该保留点为疑似火焰点，并将疑似火焰点标记为前景点，否则将该像素点标记为背景点，并将该像素点的各分量值都设为0。
所述第四步骤进一步包括：计算每一个连通区域的面积，若连通区域的面积小于Th_CR，则将该连通区域内的所有前景点设为背景点，否则将该连通区域标记为候选区域。
所述第五步骤进一步包括：
检测特征提取步骤，根据训练好的模型提取候选区域的特征；
检测分类判定步骤，分别计算该候选区域的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2，若Simi1＞Simi2，则判定为火焰类别，否则判定为非火焰类别，输出判定结果。
按照本发明的另一个方面，提供了一种基于卷积神经网络的火焰检测装置，该装置包括：
火焰识别模型训练模块，用于选取标签的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的模型；
二值图像获取模块，用于提取彩色的场景图像中的疑似火焰点，将疑似火焰点作为前景点，获取二值图像；
连通区域获取模块，用于采用连通区域法对二值图像进行连通区域处理，获取一系列的连通区域；
候选区域获取模块，用于对连通区域进行筛选，获取候选区域；及
候选区域识别模块，用于利用训练好的模型对候选区域进行识别，输出识别结果。
所述火焰识别模型训练模块进一步包括：
样本选取模块，用于选取Th_fire个标签的灰度火焰图像作为正样本图像，选取Th_nfire个标签的灰度非火焰图像作为负样本图像；
初步训练模块，用于利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练模块，用于选取Th_Test个无标签的灰度图像，根据初步训练的模型对无标签的灰度图像进行反复训练，直至模型收敛，该收敛的模型即为训练好的模型。
所述初步训练模块中卷积神经网络包括：Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层。
所述第i个卷积层包括Th_CKi个卷积核，卷积核的大小为CKSi*CKSi、步长为Th_CSi，i＝1，2，…，Th_Conc；第j个池化层的核的大小为PKSj*PKSj、步长为Th_PSj，j＝1，2，…，Th_Pool；所述全连接层的最后一层全连接层输出的神经元的数量为2。
所述二次训练模块进一步包括：
训练特征提取模块，用于根据初步训练的模型提取Th_Test个无标签的灰度图像的特征；
训练分类判定模块，用于分别计算该无标签的灰度图像的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2，若Simi1＞Simi2，则判定为火焰类别，否则判定为非火焰类别；
反复训练模块，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块和训练分类判定模块，直至该模型收敛，收敛的模型即为训练好的模型。
所述二值图像获取模块进一步包括：
RGB颜色空间判定模块，用于统计场景图像中像素点(x,y)的R分量值R(x,y)、G分量值G(x,y)、B分量值B(x,y)，若同时满足和则将该像素点标记为保留点，否则将该像素点标记为背景点，并将该像素点的各分量值都设为0；
HIS颜色空间判定模块，用于将场景图像转换到HIS颜色空间，统计场景图像中保留点的(x,y)的H分量值H(x,y)、S分量值S(x,y)、I分量值I(x,y)，若同时满足0≤H(x,y)≤λ4、λ5≤S(x,y)≤1以及λ6≤I(x,y)≤255，则认为该保留点为疑似火焰点，并将疑似火焰点标记为前景点，否则将该像素点标记为背景点，并将该像素点的各分量值都设为0。
所述候选区域获取模块进一步包括：计算每一个连通区域的面积，若连通区域的面积小于Th_CR，则将该连通区域内的所有前景点设为背景点，否则将该连通区域标记为候选区域。
所述候选区域识别模块进一步包括：
检测特征提取模块，用于根据训练好的模型提取候选区域的特征；
检测分类判定模块，用于分别计算该候选区域的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2，若Simi1＞Simi2，则判定为火焰类别，否则判定为非火焰类别，输出判定结果。
与现有的火焰检测技术相比，本发明的基于卷积神经网络的火焰检测方法及装置一方面先利用火焰在RGB和HIS颜色空间的特征，先提取火焰的候选区域，减少了后期候选区域识别的计算量，减少了火焰检测的运算量；另一方面采用卷积神经网络对候选区域进行识别，提高了火焰检测的准确率。
附图说明
图1示出了按照本发明的基于卷积神经网络的火焰检测方法的流程图。
图2示出了按照本发明的基于卷积神经网络的火焰检测装置的框架图。
具体实施方式
为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。
图1给出了按照本发明的基于卷积神经网络的火焰检测方法的流程图。如图1所示，按照本发明的基于卷积神经网络的火焰检测方法包括：
第一步骤S1，选取标签的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的模型；
第二步骤S2，提取彩色的场景图像中的疑似火焰点，将疑似火焰点作为前景点，获取二值图像；
第三步骤S3，采用连通区域法对二值图像进行连通区域处理，获取一系列的连通区域；
第四步骤S4，对连通区域进行筛选，获取候选区域；及
第五步骤S5，利用训练好的模型对候选区域进行识别，输出识别结果。
所述第一步骤S1进一步包括：
样本选取步骤S11，选取Th_fire个标签的灰度火焰图像作为正样本图像，选取Th_nfire个标签的灰度非火焰图像作为负样本图像；
初步训练步骤S12，利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练步骤S13，选取Th_Test个无标签的灰度图像，根据初步训练的模型对无标签的灰度图像进行反复训练，直至模型收敛，该收敛的模型即为训练好的模型。
其中，所述样本选取步骤S11中Th_fire≥100，Th_nfire≥0。当Th_nfire选为0时，没选取负样本图像。所述二次训练步骤S13中Th_Test≥100。
优选地，Th_fire≥500，Th_nfire≥100，Th_Test≥400。
所述样本选取步骤S11中若标签的火焰图像和非火焰图像为彩色图像，则先进行灰度化处理，以获取标签的灰度火焰图像和灰度非火焰图像。
所述初步训练步骤S12中卷积神经网络包括：Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层。
所述第i个卷积层包括Th_CKi个卷积核，卷积核的大小为CKSi*CKSi、步长为Th_CSi，i＝1，2，…，Th_Conc；第j个池化层的核的大小为PKSj*PKSj、步长为Th_PSj，j＝1，2，…，Th_Pool；所述全连接层的最后一层全连接层输出的神经元的数量为2。
所述Th_Con∈[2,22]，Th_Pool∈[2,16]，Th_Full∈[1，4]。Th_CKi∈[4，512]，CKSi∈[3，11]，Th_CSi∈[1，2]，PKSj∈[2，4]，Th_PKj∈[2，4]。
进一步地，所述Th_Con∈[2，12]，Th_Pool∈[2，10]，Th_Full∈[1，3]。Th_CKi∈[4，200]，CKSi∈[3，9]，Th_CSi∈[1,2]，PKSj∈[2,4]，Th_PKj∈[2,3]。
优选地，所述卷积神经网络包括：
第一层卷积层，输入Th_Width*Th_Height的灰度图像，输出Th_CK1个卷积核，卷积核的大小为CKS1*CKS1、步长为Th_CS1；
第一层池化层，采用最大池化法输出PKS1*PKS1、步长为Th_PS1的核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKS2*CKS2、步长为Th_CS2；
第二层池化层，采用最大池化法输出PKS2*PKS2、步长为Th_PS2的核；
第三层卷积层，输出Th_CK3个卷积核，卷积核的大小为CKS3*CKS3、步长为Th_CS3；
第一层全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；
第二层全连接层，输出2个类别。
其中，Th_Width和Th_Height分别为输入图像的宽度和高度，Th_Width∈[32，128]，Th_Height∈[32，128]。Th_CK1∈[6,20]，CKS1∈[5,9]，Th_CS1∈[1,2]。PKS1∈[2,4]，Th_PK1∈[2,3]。Th_CK2∈[10,40]，CKS2∈[3,5]，Th_CS2∈[1,2]。PKS2∈[2,4]，Th_PK2∈[2,3]。Th_CK3∈[10,40]，CKS3∈[3,5]，Th_CS3∈[1,2]。Th_Neur∈[160，10000]。
优选地，Th_Width选为64，Th_Height选为64；Th_CK1选为16，CKS1选为9，Th_CS1选为1；PKS1选为2，Th_PS1选为2；Th_CK2选为32，CKS2选为5，Th_CS2选为1；PKS2选为2，Th_PS2选为2；Th_CK3选为32，CKS3选为3，Th_CS3选为1。Th_Neur设为256。
所述第一层全连接层中ReLU全称为Rectified Linear Units，中文译为修正线性单元，可以参考文献“Taming the ReLU with Parallel Dither in a Deep NeuralNetwork.AJR Simpson.Computer Science,2015”。
所述二次训练步骤S13进一步包括：
训练特征提取步骤S131，根据初步训练的模型提取Th_Test个无标签的灰度图像的特征；
训练分类判定步骤S132，分别计算该无标签的灰度图像的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2，若Simi1＞Simi2，则判定为火焰类别，否则判定为非火焰类别；
反复训练步骤S133，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤S131和训练分类判定步骤S132，直至该模型收敛，收敛的模型即为训练好的模型。
其中，所述反向传播算法通过现有的技术实现。
所述第二步骤S2中彩色的场景图像可以是通过图像传感器采集的彩色图像，也可以是直接输入的彩色图像。
所述第二步骤S2可以通过现有的火焰点检测方法实现。
优选地，所述第二步骤S2进一步包括：
RGB颜色空间判定步骤S21，统计场景图像中像素点(x,y)的R分量值R(x,y)、G分量值G(x，y)、B分量值B(x，y)，若同时满足和则将该像素点标记为保留点，否则将该像素点标记为背景点，并将该像素点的各分量值都设为0；
HIS颜色空间判定步骤S22，将场景图像转换到HIS颜色空间，统计场景图像中保留点的(x,y)的H分量值H(x,y)、S分量值S(x,y)、I分量值I(x,y)，若同时满足0≤H(x,y)≤λ4、λ5≤S(x,y)≤1以及λ6≤I(x,y)≤255，则认为该保留点为疑似火焰点，并将疑似火焰点标记为前景点，否则将该像素点标记为背景点，并将该像素点的各分量值都设为0。
其中，所述λ1∈[0.3,0.5]，λ2∈[0.7,0.9]，λ3∈[0.4,0.6]，λ4∈[50,70]，λ5∈[0.15,0.25]，λ6∈[80,120]。优选地，λ1选为0.4，λ2选为0.8，λ3选为0.5，λ4选为60，λ5选为0.2，λ6选为100。
所述第三步骤S3中连通区域法为现有技术。
所述第四步骤S4进一步包括：计算每一个连通区域的面积，若连通区域的面积小于Th_CR，则将该连通区域内的所有前景点设为背景点，否则将该连通区域标记为候选区域。
其中，Th_CR∈[20,40]。优选地，Th_CR选为30。
所述第五步骤S5进一步包括：
检测特征提取步骤S51，根据训练好的模型提取候选区域的特征；
检测分类判定步骤S52，分别计算该候选区域的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2，若Simi1＞Simi2，则判定为火焰类别，否则判定为非火焰类别，输出判定结果。
图2给出了按照本发明的基于卷积神经网络的火焰检测装置的框架图。如图2所示，按照本发明的基于卷积神经网络的火焰检测装置包括：
火焰识别模型训练模块1，用于选取标签的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的模型；
二值图像获取模块2，用于提取彩色的场景图像中的疑似火焰点，将疑似火焰点作为前景点，获取二值图像；
连通区域获取模块3，用于采用连通区域法对二值图像进行连通区域处理，获取一系列的连通区域；
候选区域获取模块4，用于对连通区域进行筛选，获取候选区域；及
候选区域识别模块5，用于利用训练好的模型对候选区域进行识别，输出识别结果。
所述火焰识别模型训练模块1进一步包括：
样本选取模块11，用于选取Th_fire个标签的灰度火焰图像作为正样本图像，选取Th_nfire个标签的灰度非火焰图像作为负样本图像；
初步训练模块12，用于利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练模块13，用于选取Th_Test个无标签的灰度图像，根据初步训练的模型对无标签的灰度图像进行反复训练，直至模型收敛，该收敛的模型即为训练好的模型。
其中，所述样本选取模块11中Th_fire≥100，Th_nfire≥0。当Th_nfire选为0时，没选取负样本图像。所述二次训练模块13中Th_Test≥100。
优选地，Th_fire≥500，Th_nfire≥100，Th_Test≥400。
所述样本选取模块11中若标签的火焰图像和非火焰图像为彩色图像，则先进行灰度化处理，以获取标签的灰度火焰图像和灰度非火焰图像。
所述初步训练模块12中卷积神经网络包括：Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层。
所述第i个卷积层包括Th_CKi个卷积核，卷积核的大小为CKSi*CKSi、步长为Th_CSi，i＝1，2，…，Th_Conc；第j个池化层的核的大小为PKSj*PKSj、步长为Th_PSj，j＝1，2，…，Th_Pool；所述全连接层的最后一层全连接层输出的神经元的数量为2。
所述Th_Con∈[2，22]，Th_Pool∈[2,16]，Th_Full∈[1，4]。Th_CKi∈[4，512]，CKSi∈[3，11]，Th_CSi∈[1,2]，PKSj∈[2,4]，Th_PKj∈[2,4]。
进一步地，所述Th_Con∈[2，12]，Th_Pool∈[2,10]，Th_Full∈[1,3]。Th_CKi∈[4,200]，CKSi∈[3,9]，Th_CSi∈[1,2]，PKSj∈[2,4]，Th_PKj∈[2,3]。
优选地，所述卷积神经网络包括：
第一层卷积层，输入Th_Width*Th_Height的灰度图像，输出Th_CK1个卷积核，卷积核的大小为CKS1*CKS1、步长为Th_CS1；
第一层池化层，采用最大池化法输出PKS1*PKS1、步长为Th_PS1的核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKS2*CKS2、步长为Th_CS2；
第二层池化层，采用最大池化法输出PKS2*PKS2、步长为Th_PS2的核；
第三层卷积层，输出Th_CK3个卷积核，卷积核的大小为CKS3*CKS3、步长为Th_CS3；
第一层全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；
第二层全连接层，输出2个类别。
其中，Th_Width和Th_Height分别为输入图像的宽度和高度，Th_Width∈[32,128]，Th_Height∈[32,128]。Th_CK1∈[6,20]，CKS1∈[5,9]，Th_CS1∈[1,2]。PKS1∈[2,4]，Th_PK1∈[2,3]。Th_CK2∈[10,40]，CKS2∈[3,5]，Th_CS2∈[1,2]。PKS2∈[2,4]，Th_PK2∈[2,3]。Th_CK3∈[10,40]，CKS3∈[3,5]，Th_CS3∈[1,2]。Th_Neur∈[160,10000]。
优选地，Th_Width选为64，Th_Height选为64；Th_CK1选为16，CKS1选为9，Th_CS1选为1；PKS1选为2，Th_PS1选为2；Th_CK2选为32，CKS2选为5，Th_CS2选为1；PKS2选为2，Th_PS2选为2；Th_CK3选为32，CKS3选为3，Th_CS3选为1。Th_Neur设为256。
所述第一层全连接层中ReLU全称为Rectified Linear Units，中文译为修正线性单元，可以参考文献“Taming the ReLU with Parallel Dither in a Deep NeuralNetwork.AJR Simpson.Computer Science,2015”。
所述二次训练模块13进一步包括：
训练特征提取模块131，用于根据初步训练的模型提取Th_Test个无标签的灰度图像的特征；
训练分类判定模块132，用于分别计算该无标签的灰度图像的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2，若Simi1＞Simi2，则判定为火焰类别，否则判定为非火焰类别；
反复训练模块133，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块131和训练分类判定模块132，直至该模型收敛，收敛的模型即为训练好的模型。
其中，所述反向传播算法通过现有的技术实现。
所述二值图像获取模块2中彩色的场景图像可以是通过图像传感器采集的彩色图像，也可以是直接输入的彩色图像。
所述二值图像获取模块2可以通过现有的火焰点检测方法实现。
优选地，所述二值图像获取模块2进一步包括：
RGB颜色空间判定模块21，用于统计场景图像中像素点(x,y)的R分量值R(x,y)、G分量值G(x，y)、B分量值B(x，y)，若同时满足和则将该像素点标记为保留点，否则将该像素点标记为背景点，并将该像素点的各分量值都设为0；
HIS颜色空间判定模块22，用于将场景图像转换到HIS颜色空间，统计场景图像中保留点的(x,y)的H分量值H(x,y)、S分量值S(x,y)、I分量值I(x,y)，若同时满足0≤H(x,y)≤λ4、λ5≤S(x,y)≤1以及λ6≤I(x,y)≤255，则认为该保留点为疑似火焰点，并将疑似火焰点标记为前景点，否则将该像素点标记为背景点，并将该像素点的各分量值都设为0。
其中，所述λ1∈[0.3,0.5]，λ2∈[0.7,0.9]，λ3∈[0.4,0.6]，λ4∈[50,70]，λ5∈[0.15,0.25]，λ6∈[80,120]。优选地，λ1选为0.4，λ2选为0.8，λ3选为0.5，λ4选为60，λ5选为0.2，λ6选为100。
所述连通区域获取模块3中连通区域法为现有技术。
所述候选区域获取模块4进一步包括：计算每一个连通区域的面积，若连通区域的面积小于Th_CR，则将该连通区域内的所有前景点设为背景点，否则将该连通区域标记为候选区域。
其中，Th_CR∈[20,40]。优选地，Th_CR选为30。
所述候选区域识别模块5进一步包括：
检测特征提取模块51，用于根据训练好的模型提取候选区域的特征；
检测分类判定模块52，用于分别计算该候选区域的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2，若Simi1＞Simi2，则判定为火焰类别，否则判定为非火焰类别，输出判定结果。
与现有的火焰检测技术相比，本发明的基于卷积神经网络的火焰检测方法及装置一方面先利用火焰在RGB和HIS颜色空间的特征，先提取火焰的候选区域，减少了后期候选区域识别的计算量，减少了火焰检测的运算量；另一方面采用卷积神经网络对候选区域进行识别，提高了火焰检测的准确率。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (16)

1.基于卷积神经网络的火焰检测方法，其特征在于，该方法包括：
第一步骤，选取标签的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的模型；
第二步骤，提取彩色的场景图像中的疑似火焰点，将疑似火焰点作为前景点，获取二值图像；
第三步骤，采用连通区域法对二值图像进行连通区域处理，获取一系列的连通区域；
第四步骤，对连通区域进行筛选，获取候选区域；及
第五步骤，利用训练好的模型对候选区域进行识别，输出识别结果。
2.如权利要求1所述的方法，其特征在于，所述第一步骤包括：
样本选取步骤，选取Th_fire个标签的灰度火焰图像作为正样本图像，选取Th_nfire个标签的灰度非火焰图像作为负样本图像；
初步训练步骤，利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练步骤，选取Th_Test个无标签的灰度图像，根据初步训练的模型对无标签的灰度图像进行反复训练，直至模型收敛，该收敛的模型即为训练好的模型。
3.如权利要求2所述的方法，其特征在于，所述二次训练步骤包括：
训练特征提取步骤，根据初步训练的模型提取Th_Test个无标签的灰度图像的特征；
训练分类判定步骤，分别计算该无标签的灰度图像的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2，若Simi1＞Simi2，则判定为火焰类别，否则判定为非火焰类别；
反复训练步骤，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤和训练分类判定步骤，直至该模型收敛，收敛的模型即为训练好的模型。
4.如权利要求2和3所述的方法，所述Tg_fire≥100，Th_nfire≥0，Th_Test≥100。
5.如权利要求2所述的方法，其特征在于，所述卷积神经网络包括：Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层；
其中，第i个卷积层包括Th_CKi个卷积核，卷积核的大小为CKSi*CKSi、步长为Th_CSi，i＝1，2，…，Th_Conc；第j个池化层的核的大小为PKSj*PKSj、步长为Th_PSj，j＝1，2，…，Th_Pool；所述全连接层的最后一层全连接层输出的神经元的数量为2；
所述Th_Con∈[2,22]，Th_Pool∈[2,16]，Th_Full∈[1,4]。Th_CKi∈[4,512]，CKSi∈[3,11]，Th_CSi∈[1,2]，PKSj∈[2,4]，Th_PKj∈[2,4]。
6.如权利要求1所述的方法，其特征在于，所述第二步骤包括：
RGB颜色空间判定步骤，统计场景图像中像素点(x,y)的R分量值R(x,y)、G分量值G(x，y)、B分量值B(x，y)，若同时满足和则将该像素点标记为保留点，否则将该像素点标记为背景点，并将该像素点的各分量值都设为0；
HIS颜色空间判定步骤，将场景图像转换到HIS颜色空间，统计场景图像中保留点的(x,y)的H分量值H(x,y)、S分量值S(x,y)、I分量值I(x,y)，若同时满足0≤H(x,y)≤λ4、λ5≤S(x,y)≤1以及λ6≤I(x,y)≤255，则认为该保留点为疑似火焰点，并将疑似火焰点标记为前景点，否则将该像素点标记为背景点，并将该像素点的各分量值都设为0；
其中，λ1∈[0.3,0.5]，λ2∈[0.7,0.9]，λ3∈[0.4,0.6]，λ4∈[50,70]，λ5∈[0.15,0.25]，λ6∈[80,120]。
7.如权利要求1所述的方法，其特征在于，所述第四步骤包括：计算每一个连通区域的面积，若连通区域的面积小于Th_CR，则将该连通区域内的所有前景点设为背景点，否则将该连通区域标记为候选区域；
其中，Th_CR∈[20,40]。
8.如权利要求1所述的方法，其特征在于，所述第五步骤进一步包括：
检测特征提取步骤，根据训练好的模型提取候选区域的特征；
检测分类判定步骤，分别计算该候选区域的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2，若Simi1＞Simi2，则判定为火焰类别，否则判定为非火焰类别，输出判定结果。
9.基于卷积神经网络的火焰检测装置，其特征在于，该装置包括：
火焰识别模型训练模块，用于选取标签的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的模型；
二值图像获取模块，用于提取彩色的场景图像中的疑似火焰点，将疑似火焰点作为前景点，获取二值图像；
连通区域获取模块，用于采用连通区域法对二值图像进行连通区域处理，获取一系列的连通区域；
候选区域获取模块，用于对连通区域进行筛选，获取候选区域；及
候选区域识别模块，用于利用训练好的模型对候选区域进行识别，输出识别结果。
10.如权利要求9所述的装置，其特征在于，所述火焰识别模型训练模块包括：样本选取模块，用于选取Th_fire个标签的灰度火焰图像作为正样本图像，选取Th_nfire个标签的灰度非火焰图像作为负样本图像；
初步训练模块，用于利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练模块，用于选取Th_Test个无标签的灰度图像，根据初步训练的模型对无标签的灰度图像进行反复训练，直至模型收敛，该收敛的模型即为训练好的模型。
11.如权利要求10所述的装置，其特征在于，所述二次训练模块进一步包括：训练特征提取模块，用于根据初步训练的模型提取Th_Test个无标签的灰度图像的特征；
训练分类判定模块，用于分别计算该无标签的灰度图像的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2，若Simi1＞Simi2，则判定为火焰类别，否则判定为非火焰类别；
反复训练模块，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块和训练分类判定模块，直至该模型收敛，收敛的模型即为训练好的模型。
12.如权利要求10和11所述的装置，所述Tg_fire≥100，Th_nfire≥0，Th_Test≥100。
13.如权利要求10所述的装置，其特征在于，所述卷积神经网络包括：Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层；
其中，第i个卷积层包括Th_CKi个卷积核，卷积核的大小为CKSi*CKSi、步长为Th_CSi，i＝1，2，…，Th_Conc；第j个池化层的核的大小为PKSj*PKSj、步长为Th_PSj，j＝1，2，…，Th_Pool；所述全连接层的最后一层全连接层输出的神经元的数量为2；
所述Th_Con∈[2,22]，Th_Pool∈[2,16]，Th_Full∈[1,4]。Th_CKi∈[4,512]，CKSi∈[3,11]，Th_CSi∈[1,2]，PKSj∈[2,4]，Th_PKj∈[2,4]。
14.如权利要求9所述的装置，其特征在于，所述二值图像获取模块包括：
RGB颜色空间判定模块，用于统计场景图像中像素点(x,y)的R分量值R(x,y)、G分量值G(x，y)、B分量值B(x，y)，若同时满足和则将该像素点标记为保留点，否则将该像素点标记为背景点，并将该像素点的各分量值都设为0；
HIS颜色空间判定模块，用于将场景图像转换到HIS颜色空间，统计场景图像中保留点的(x,y)的H分量值H(x,y)、S分量值S(x,y)、I分量值I(x,y)，若同时满足0≤H(x,y)≤λ4、λ5≤S(x,y)≤1以及λ6≤I(x,y)≤255，则认为该保留点为疑似火焰点，并将疑似火焰点标记为前景点，否则将该像素点标记为背景点，并将该像素点的各分量值都设为0；
其中，λ1∈[0.3,0.5]，λ2∈[0.7,0.9]，λ3∈[0.4,0.6]，λ4∈[50,70]，λ5∈[0.15,0.25]，λ6∈[80,120]。
15.如权利要求9所述的装置，其特征在于，所述候选区域获取模块进一步包括：计算每一个连通区域的面积，若连通区域的面积小于Th_CR，则将该连通区域内的所有前景点设为背景点，否则将该连通区域标记为候选区域；
其中，Th_CR∈[20,40]。
16.如权利要求9所述的装置，其特征在于，所述候选区域识别模块进一步包括：检测特征提取模块，用于根据训练好的模型提取候选区域的特征；
检测分类判定模块，用于分别计算该候选区域的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2，若Simi1＞Simi2，则判定为火焰类别，否则判定为非火焰类别，输出判定结果。
CN201610609104.1A 2016-07-28 2016-07-28 基于卷积神经网络的火焰检测方法及装置 Withdrawn CN106250845A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610609104.1A CN106250845A (zh) 2016-07-28 2016-07-28 基于卷积神经网络的火焰检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610609104.1A CN106250845A (zh) 2016-07-28 2016-07-28 基于卷积神经网络的火焰检测方法及装置

Publications (1)

Publication Number Publication Date
CN106250845A true CN106250845A (zh) 2016-12-21

Family

ID=57604783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610609104.1A Withdrawn CN106250845A (zh) 2016-07-28 2016-07-28 基于卷积神经网络的火焰检测方法及装置

Country Status (1)

Country Link
CN (1) CN106250845A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897661A (zh) * 2017-01-05 2017-06-27 合肥华凌股份有限公司 一种食材图像的智能化识别方法、系统和家用电器
CN106934404A (zh) * 2017-03-10 2017-07-07 深圳市瀚晖威视科技有限公司 一种基于cnn卷积神经网络的图像火焰识别系统
CN107609470A (zh) * 2017-07-31 2018-01-19 成都信息工程大学 野外火灾早期烟雾视频检测的方法
CN108257347A (zh) * 2018-01-10 2018-07-06 安徽大学 一种利用卷积神经网络的火焰图像序列分类方法及装置
CN108537215A (zh) * 2018-03-23 2018-09-14 清华大学 一种基于图像目标检测的火焰检测方法
CN108664906A (zh) * 2018-04-27 2018-10-16 温州大学激光与光电智能制造研究院 一种基于卷积网络的火灾场景中内容的检测方法
CN108710942A (zh) * 2018-04-27 2018-10-26 温州大学激光与光电智能制造研究院 一种基于卷积网络的火灾场景中内容的检测装置
CN109165575A (zh) * 2018-08-06 2019-01-08 天津艾思科尔科技有限公司 一种基于ssd框架的烟火识别算法
CN109376747A (zh) * 2018-12-11 2019-02-22 北京工业大学 一种基于双流卷积神经网络的视频火焰检测方法
CN109409224A (zh) * 2018-09-21 2019-03-01 河海大学 一种自然场景火焰检测的方法
CN109598891A (zh) * 2018-12-24 2019-04-09 中南民族大学 一种利用深度学习分类模型实现烟雾检测的方法和系统
CN109635814A (zh) * 2018-12-21 2019-04-16 河南理工大学 基于深度神经网络的森林火灾自动检测方法和装置
CN109815904A (zh) * 2019-01-25 2019-05-28 吉林大学 一种基于卷积神经网络的火灾识别方法
CN109886227A (zh) * 2019-02-27 2019-06-14 哈尔滨工业大学 基于多通道卷积神经网络的室内火灾视频识别方法
CN110378421A (zh) * 2019-07-19 2019-10-25 西安科技大学 一种基于卷积神经网络的煤矿火灾识别方法
CN110414320A (zh) * 2019-06-13 2019-11-05 温州大学激光与光电智能制造研究院 一种安全生产监管的方法及系统
CN111242053A (zh) * 2020-01-16 2020-06-05 国网山西省电力公司电力科学研究院 一种输电线路火焰检测方法及系统
CN111310662A (zh) * 2020-02-17 2020-06-19 淮阴工学院 一种基于集成深度网络的火焰检测识别方法及系统
CN111489369A (zh) * 2020-03-24 2020-08-04 玖壹叁陆零医学科技南京有限公司 幽门螺杆菌的定位方法、装置和电子设备
CN113299034A (zh) * 2021-03-31 2021-08-24 辽宁华盾安全技术有限责任公司 一种适应多场景的火焰识别预警方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080191886A1 (en) * 2006-12-12 2008-08-14 Industrial Technology Research Institute Flame detecting method and device
CN101984451A (zh) * 2010-09-16 2011-03-09 北京智安邦科技有限公司 基于视频的遮挡火焰检测方法及装置
CN104091354A (zh) * 2014-07-30 2014-10-08 北京华戎京盾科技有限公司 一种基于视频图像的火灾检测方法及其火灾检测装置
WO2014179482A1 (en) * 2013-04-30 2014-11-06 The Regents Of The University Of California Fire urgency estimator in geosynchronous orbit (fuego)
CN105678332A (zh) * 2016-01-08 2016-06-15 昆明理工大学 火焰图像cnn识别建模的转炉炼钢终点判断方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080191886A1 (en) * 2006-12-12 2008-08-14 Industrial Technology Research Institute Flame detecting method and device
CN101984451A (zh) * 2010-09-16 2011-03-09 北京智安邦科技有限公司 基于视频的遮挡火焰检测方法及装置
WO2014179482A1 (en) * 2013-04-30 2014-11-06 The Regents Of The University Of California Fire urgency estimator in geosynchronous orbit (fuego)
CN104091354A (zh) * 2014-07-30 2014-10-08 北京华戎京盾科技有限公司 一种基于视频图像的火灾检测方法及其火灾检测装置
CN105678332A (zh) * 2016-01-08 2016-06-15 昆明理工大学 火焰图像cnn识别建模的转炉炼钢终点判断方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
傅天驹 等: "复杂背景下基于深度卷积神经网络的森林火灾识别", 《计算机与现代化》 *
马宗方 等: "基于颜色模型和稀疏表示的图像型火焰探测", 《光子学报》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897661A (zh) * 2017-01-05 2017-06-27 合肥华凌股份有限公司 一种食材图像的智能化识别方法、系统和家用电器
CN106897661B (zh) * 2017-01-05 2020-03-27 合肥美的智能科技有限公司 一种食材图像的智能化识别方法、系统和家用电器
CN106934404A (zh) * 2017-03-10 2017-07-07 深圳市瀚晖威视科技有限公司 一种基于cnn卷积神经网络的图像火焰识别系统
CN107609470A (zh) * 2017-07-31 2018-01-19 成都信息工程大学 野外火灾早期烟雾视频检测的方法
CN107609470B (zh) * 2017-07-31 2020-09-01 成都信息工程大学 野外火灾早期烟雾视频检测的方法
CN108257347A (zh) * 2018-01-10 2018-07-06 安徽大学 一种利用卷积神经网络的火焰图像序列分类方法及装置
CN108257347B (zh) * 2018-01-10 2020-09-29 安徽大学 一种利用卷积神经网络的火焰图像序列分类方法及装置
CN108537215B (zh) * 2018-03-23 2020-02-21 清华大学 一种基于图像目标检测的火焰检测方法
CN108537215A (zh) * 2018-03-23 2018-09-14 清华大学 一种基于图像目标检测的火焰检测方法
CN108664906A (zh) * 2018-04-27 2018-10-16 温州大学激光与光电智能制造研究院 一种基于卷积网络的火灾场景中内容的检测方法
CN108710942A (zh) * 2018-04-27 2018-10-26 温州大学激光与光电智能制造研究院 一种基于卷积网络的火灾场景中内容的检测装置
CN109165575A (zh) * 2018-08-06 2019-01-08 天津艾思科尔科技有限公司 一种基于ssd框架的烟火识别算法
CN109165575B (zh) * 2018-08-06 2024-02-20 天津艾思科尔科技有限公司 一种基于ssd框架的烟火识别算法
CN109409224A (zh) * 2018-09-21 2019-03-01 河海大学 一种自然场景火焰检测的方法
CN109409224B (zh) * 2018-09-21 2023-09-05 河海大学 一种自然场景火焰检测的方法
CN109376747A (zh) * 2018-12-11 2019-02-22 北京工业大学 一种基于双流卷积神经网络的视频火焰检测方法
CN109635814A (zh) * 2018-12-21 2019-04-16 河南理工大学 基于深度神经网络的森林火灾自动检测方法和装置
CN109598891A (zh) * 2018-12-24 2019-04-09 中南民族大学 一种利用深度学习分类模型实现烟雾检测的方法和系统
CN109815904B (zh) * 2019-01-25 2022-05-13 吉林大学 一种基于卷积神经网络的火灾识别方法
CN109815904A (zh) * 2019-01-25 2019-05-28 吉林大学 一种基于卷积神经网络的火灾识别方法
CN109886227A (zh) * 2019-02-27 2019-06-14 哈尔滨工业大学 基于多通道卷积神经网络的室内火灾视频识别方法
CN110414320B (zh) * 2019-06-13 2021-10-22 温州大学激光与光电智能制造研究院 一种安全生产监管的方法及系统
CN110414320A (zh) * 2019-06-13 2019-11-05 温州大学激光与光电智能制造研究院 一种安全生产监管的方法及系统
CN110378421A (zh) * 2019-07-19 2019-10-25 西安科技大学 一种基于卷积神经网络的煤矿火灾识别方法
CN111242053A (zh) * 2020-01-16 2020-06-05 国网山西省电力公司电力科学研究院 一种输电线路火焰检测方法及系统
CN111242053B (zh) * 2020-01-16 2023-07-18 国网山西省电力公司电力科学研究院 一种输电线路火焰检测方法及系统
CN111310662A (zh) * 2020-02-17 2020-06-19 淮阴工学院 一种基于集成深度网络的火焰检测识别方法及系统
CN111489369A (zh) * 2020-03-24 2020-08-04 玖壹叁陆零医学科技南京有限公司 幽门螺杆菌的定位方法、装置和电子设备
CN111489369B (zh) * 2020-03-24 2024-02-13 玖壹叁陆零医学科技南京有限公司 幽门螺杆菌的定位方法、装置和电子设备
CN113299034A (zh) * 2021-03-31 2021-08-24 辽宁华盾安全技术有限责任公司 一种适应多场景的火焰识别预警方法

Similar Documents

Publication Publication Date Title
CN106250845A (zh) 基于卷积神经网络的火焰检测方法及装置
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN105095856B (zh) 基于掩模的有遮挡人脸识别方法
CN106127164B (zh) 基于显著性检测和卷积神经网络的行人检测方法及装置
CN110569772B (zh) 一种泳池内人员状态检测方法
CN102163284B (zh) 面向中文环境的复杂场景文本定位方法
CN110751678A (zh) 运动目标的检测方法、装置和电子设备
CN108229458A (zh) 一种基于运动检测和多特征提取的火焰智能识别方法
CN103632158B (zh) 森林防火监控方法及森林防火监控系统
CN108492272A (zh) 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统
CN109492638A (zh) 文本检测方法、装置及电子设备
CN105574550A (zh) 一种车辆识别方法及装置
CN110738101A (zh) 行为识别方法、装置及计算机可读存储介质
CN104298969B (zh) 基于颜色与haar特征融合的人群规模统计方法
CN110555475A (zh) 一种基于语义信息融合的少样本目标检测方法
CN107229929A (zh) 一种基于r‑cnn的车牌定位方法
CN107025652A (zh) 一种基于运动特性和颜色时空信息的火焰检测方法
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN107066972B (zh) 基于多通道极值区域的自然场景文本检测方法
CN103390164A (zh) 基于深度图像的对象检测方法及其实现装置
CN107133622A (zh) 一种单词的分割方法和装置
CN106156765A (zh) 基于计算机视觉的安全检测方法
CN108363957A (zh) 基于级联网络的交通标志检测与识别方法
CN105046218B (zh) 一种基于串并行处理的多特征交通视频烟雾检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20161221

WW01 Invention patent application withdrawn after publication