CN110033040A - 一种火焰识别方法、系统、介质和设备 - Google Patents
一种火焰识别方法、系统、介质和设备 Download PDFInfo
- Publication number
- CN110033040A CN110033040A CN201910294777.6A CN201910294777A CN110033040A CN 110033040 A CN110033040 A CN 110033040A CN 201910294777 A CN201910294777 A CN 201910294777A CN 110033040 A CN110033040 A CN 110033040A
- Authority
- CN
- China
- Prior art keywords
- image
- flame
- feature
- training sample
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 145
- 239000000284 extract Substances 0.000 claims abstract description 49
- 238000000605 extraction Methods 0.000 claims abstract description 46
- 238000010276 construction Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims description 62
- 239000013598 vector Substances 0.000 claims description 51
- 238000013527 convolutional neural network Methods 0.000 claims description 30
- 238000003860 storage Methods 0.000 claims description 19
- 230000003595 spectral effect Effects 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 11
- 239000012141 concentrate Substances 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 4
- 238000005530 etching Methods 0.000 claims description 3
- 230000005055 memory storage Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 241001062009 Indigofera Species 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Abstract
本发明公开了一种火焰识别方法、系统、介质和设备，首先进行模型构建，通过训练样本构建得到用于进行图像深度特征提取的深度特征提取模型，然后将训练样本的深度特征和手工特征作为输入训练得到火焰识别模型；当要对图像进行火焰识别时，通过深度特征提取模型提取出图像中的深度特征，并且将图像中的手工特征也提取出来，最后将图像的深度特征和手工特征同时输入到火焰识别模型中进行火焰识别，由火焰识别模型输出火焰识别结果。本发明结合图像的手工特征值和深度特征来识别图像中是否出现的火焰现象，通过手工特征和深度特征两种特征结合能够更加准确且快速的识别出图像中火焰的优点。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种结合深度特征和手工特征的火焰识别方法、系统、介质和设备。
背景技术
随着社会的不断发展和我国平安城市等理念的提出，人们对灾害的预防和管理也更加重视。在城镇出现的灾害中，火灾的危害不言而喻。虽然现在火灾防治领域的技术有了很大的发展，但及时准确的检测和火灾预警，仍是重点探究的方向。如何有效地提取火焰图像特征，提升火焰识别率，减少误报和漏报仍是一个重要的研究方向。
在火焰检测方面，传统的温感、光感等火灾探测器所能探测到的范围较为有限，且容易受到外界的干扰，难以达到准确识别火焰的目的。而随着安防监控设备在例如公园小区、学校医院、综合体、道路、地下车库等公共场所的大量应用，基于视频图像的火灾识别方法逐渐发展起来并受到各界的关注。此类方法具有较高的可行性和较好的发展前景，但其仍在技术实现上存在较大的发展空间，例如，如何快速有效地区分真火焰和疑似火焰(如像火焰的灯光、反光的镜子等)；如何做到在监控设备像素不高的情况下的准确识别；如何保证由于不同季节、不同天气、不同室内环境等导致的不同光线条件下以及不同燃烧材质(不同特征的火焰)的准确率等等。
发明内容
本发明的第一目的在于克服现有技术的缺点与不足，提供一种火焰识别方法，该方法结合深度特征和手工特征对火焰进行识别，能够快速并且准确的识别出火焰。
本发明的第二目的在于提供一种火焰识别系统。
本发明的第三目的在于提供一种存储介质。
本发明的第四目的在于提供一种计算设备。
本发明的第一目的通过下述技术方案实现：一种火焰识别方法，包括如下步骤：
模型构建步骤：
获取训练样本集，训练样本集中包括多个带标签的训练样本，训练样本为有火焰图像或无火焰图像，各训练样本的标签即为有火焰或无火焰；
将各训练样本作为输入，各训练样本的标签作为输出对卷积神经网络进行训练，得到训练好的卷积神经网络，将训练好的卷积神经网络中全连接层去除后作为深度特征提取模型；
将各训练样本输入到深度特征提取模型中提取出深度特征；从训练样本中提取出手工特征；将各训练样本提取出的深度特征和手工特征作为输入，各训练样本的标签作为输出对分类器进行训练，得到训练好的分类器，作为火焰识别模型；
火焰识别步骤：
获取火焰待识别图像，作为测试样本；
从测试样本中提取出手工特征，将测试样本输入到深度特征提取模型中提取出深度特征；
将测试样本中提取出的手工特征和深度特征输入到火焰识别模型，通过火焰识别模型输出火焰识别结果。
优选的，训练样本和测试样本对应图像提取出的手工特征包括图像的统计特征、图像的圆形度特征、图像的边界粗糙度特征和图像的空间梯度特征；
其中图像的统计特征提取过程如下：
步骤S11、首先对图像进行滤波，得到滤波后的图像；
步骤S12、利用YCbCr色彩空间获取滤波后的图像中的候选火焰像素，其中Cb和Cr为蓝色和红色的浓度偏移量成份，Y是流明，用于表示光的浓度且为非线性；
步骤S13、对步骤S12获取到的候选火焰像素的图像进行形态学操作，以得到图像中候选火焰像素区域的掩模，然后与步骤S11中滤波处理后的图像进行融合，得到具有候选火焰区域的彩色图像；
步骤S14、针对于步骤13获取到的具有候选火焰区域的彩色图像进行红色R分量以及亮度I分量的统计特征提取；其中提取出的红色R分量的统计特征包括均值、方差、偏斜度和峭度四个统计分量，提取出的亮度I分量的统计特征包括均值、方差、偏斜度和峭度四个统计分量；
从步骤S13获取到的具有候选火焰区域的彩色图像中提取图像的圆形度特征；
从步骤S13获取到的具有候选火焰区域的彩色图像中提取图像的边界粗糙度特征；
从步骤S13获取到的具有候选火焰区域的彩色图像中提取图像的空间梯度特征。
更进一步的，所述步骤S12中，利用YCbCr色彩空间获取滤波后的图像中的候选火焰像素的具体方式如下：
针对于滤波后图像中的各像素点(x，y)，判定是否同时满足以下五个条件，若是，则判定为候选火焰像素点，否则判定为非候选火焰像素点；
五个条件分别为：
Y(x，y)＞Cb(x，y)；
Cr(x，y)＞Cb(x，y)；
|Cb(x，y)-Cr(x，y)|≥40；
Y(x，y)＞Ymean，Cb(x，y)＜Cbmean，Cr(x，y)＞Crmean；
Cb(x，y)≥fu(Cr(x，y))∩Cb(x，y)≤fd(Cr(x，y))∩Cb(x，y)≤fl(Cr(x，y))；
其中，Y(x，y)，Cb(x，y)，Cr(x，y)分别对应表示像素点(x，y)在YCbCr色彩空间中Y通道、Cb通道和Cr通道的像素值，Ymean，Cbmean，Crmean分别表示整幅图像YCbCr色彩空间中Y通道、Cb通道和Cr通道的均值；
其中：
fu(Cr(x，y))＝-2.6×10-10Cr7+3.3×10-7Cr6-1.7×10-4Cr5+5.16
×10-2Cr4-9.10×Cr3+9.60×102Cr2-5.60×104Cr+1.40
×106；
fl(Cr(x，y))＝-6.77×10-8Cr5+5.50×10-5Cr4-1.76×10-2Cr3+2.78Cr2
-2.15×102Cr+6.62×103；
fd(Cr(x，y))＝1.81×10-4Cr4-1.02×10-1Cr3+2.17×10Cr2-2.05×103Cr
+7.29×104。
更进一步的，所述步骤S13中对获取到候选火焰像素的图像进行形态学操作的过程具体如下：
步骤S131、对获取到候选火焰像素的图像进行二值化处理，然后采用结构元素S进行两次膨胀操作：
其中X为获取到候选火焰像素的图像进行二值化处理后的图像，其中x为图像中候选火焰区域像素点；
步骤S132、将步骤S131膨胀操作后的图像进行一次开操作：
其中代表腐蚀操作，X′为步骤S131膨胀操作后的图像；
步骤S133、针对于步骤S132开操作后的图像进行一次闭操作：
其中X″为步骤S132闭操作后的图像。
优选的，针对于要进行火焰识别的区域，获取该区域连续的多张火焰待识别图像，将各火焰待识别图像分别作为测试样本进行火焰识别步骤的操作；在火焰识别步骤操作后，若连续的N个测试样本均被识别为有火焰，则判定该区域发生了火情。
优选的，还包括对当前火焰识别模型进行优化训练，步骤如下：
步骤S1、从火焰识别的应用场合中获取到有火焰的视频和无火焰的视频；
步骤S2、针对于有火焰视频中的每帧有火焰图像，将其作为测试样本进行火焰识别步骤，在火焰识别步骤后，若火焰识别模型输出的火焰识别结果为无火焰，则将该帧图像判定为漏报图像，将有火焰视频中的漏报图像按照其所在视频帧序号顺序存储到第一文件夹中；
针对于无火焰视频中的每帧图像，将其作为测试样本进行火焰识别步骤，在火焰识别步骤后，若火焰识别模型输出的火焰识别结果为有火焰，则将该帧图像判定为误报图像；将无火焰视频中的误报图像按照其所在视频帧序号顺序存储到第二文件夹中；
步骤S3、针对于第一文件夹，首先提取第一文件夹中各张图像的手工特征，并且通过深度特征提取模型提取出深度特征，各张图像的手工特征和深度特征组合拼接成一维数组后作为特征向量；然后将第一文件夹的第一张图像作为当前图像，执行步骤S31；
S31、计算第一文件夹中当前图像与当前图像的下一张图像之间特征向量的余弦相似度，若两者余弦相似度大于阈值T1，则再计算当前图像与当前图像的下下一张图像之间特征向量的余弦相似度，一直找到与当前图像之间特征向量的余弦相似度小于等于阈值T1的图像P；此时将当前张图像作为典型样本；
S32、将步骤S31中找到的图像P作为当前图像，执行步骤S31；直到第一文件夹中所有的典型样本均找到；
针对于第二文件夹，首先提取第二文件夹中各张图像的手工特征，并且通过深度特征提取模型提取出深度特征，各张图像的手工特征和深度特征组合拼接成一维数组后作为特征向量；然后将第二文件夹的第一张图像作为当前图像，执行步骤S33；
S33、计算第二文件夹中当前图像与当前图像的下一张图像之间特征向量的余弦相似度，若两者余弦相似度大于阈值T1，则再计算当前图像与当前图像的下下一张图像之间特征向量的余弦相似度，一直找到与当前图像之间特征向量的余弦相似度小于等于阈值T1的图像Q；此时将当前张图像作为典型样本；
S34、将步骤S33中找到的图像Q作为当前图像，执行步骤S33；直到第二文件夹中所有的典型样本均找到；
步骤S4、将步骤S3获取到的各典型样本作为新训练样本，将新训练样本的手工特征和深度特征作为输入，新训练样本的标签作为输出对当前火焰识别模型进行训练，得到优化训练后的火焰识别模型。
本发明的第二目的通过以下技术方案实现：一种火焰识别系统，包括模型构建模块和火焰识别模块；
所述模型构建模块包括：
训练样本获取模块，用于获取训练样本集，训练样本集中包括多个带标签的训练样本，训练样本为有火焰图像或无火焰图像，各训练样本的标签即为有火焰或无火焰；
深度特征提取模型构建模块，用于将各训练样本作为输入，各训练样本的标签作为输出对卷积神经网络进行训练，得到训练好的卷积神经网络，将训练好的卷积神经网络中全连接层去除后作为深度特征提取模型；
第一深度特征特提取模块：用于通过深度特征提取模型提取各训练样本的深度特征；
第一手工特征提取模块：用于提取各训练样本的手工特征；
火焰识别模型构建模块，用于将各训练样本提取出的深度特征和手工特征作为输入，各训练样本的标签作为输出对分类器进行训练，得到训练好的分类器，作为火焰识别模型；
火焰识别模块包括：
测试样本获取模块，用于获取火焰待识别图像，作为测试样本；
第二深度特征特提取模块：用于通过深度特征提取模型提取测试样本的深度特征；
第二手工特征提取模块：用于提取各测试样本的手工特征；
识别模块，用于将测试样本中提取出的手工特征和深度特征输入到火焰识别模型，通过火焰识别模型输出火焰识别结果。
优选的，还包括火焰识别模型优化训练模块，火焰识别模型优化训练模块包括：
火焰视频获取模块，用于从火焰识别的应用场合中获取到有火焰的视频和无火焰的视频；
漏报图像判定模块，用于针对于有火焰视频中的每帧有火焰图像，将其作为测试样本通过火焰识别模块进行火焰识别，在火焰识别后，若火焰识别模型输出的火焰识别结果为无火焰，则将该帧图像判定为漏报图像，将有火焰视频中的漏报图像按照其所在视频帧序号顺序存储到第一文件夹中；
误报图像判定模块，用于针对于无火焰视频中的每帧图像，将其作为测试样本通过火焰识别模块进行火焰识别，在火焰识别后，若火焰识别模型输出的火焰识别结果为有火焰，则将该帧图像判定为误报图像；将无火焰视频中的误报图像按照其所在视频帧序号顺序存储到第二文件夹中；
典型样本提取模块，用于从第一文件夹和第二文件夹的图像中提取出典型样本；
训练模块，用于将获取到的各典型样本作为新训练样本，将新训练样本的手工特征和深度特征作为输入，新训练样本的标签作为输出对当前火焰识别模型进行训练，得到优化训练后的火焰识别模型；
所述典型样本提取模块包括：
第三深度特征特提取模块，用于通过深度特征提取模型提取第一文件夹和第二文件夹中各张图像的深度特征；
第三手工特征提取模块，用于提取第一文件夹和第二文件夹中各张图像的手工特征；
特征向量拼接模块，用于将第一文件夹和第二文件夹中各张图像的手工特征和深度特征组合拼接成一维数组后作为各张图像的特征向量；
典型样本寻找模块，用于从第一文件夹的第一张图像开始，计算该张图像与该张图像的下一张图像之间特征向量的余弦相似度，若两者余弦相似度大于阈值T1，则再计算该张图像与该张图像的下下一张图像之间特征向量的余弦相似度，一直找到与该张图像之间特征向量的余弦相似度小于等于阈值T1的图像P；此时将该张图像作为典型样本；然后从图像P开始重复上述操作，将第一文件夹中的所有典型样本寻找到；
用于从第二文件夹的第一张图像开始，计算该张图像与该张图像的下一张图像之间特征向量的余弦相似度，若两者余弦相似度大于阈值T1，则再计算该张图像与该张图像的下下一张图像之间特征向量的余弦相似度，一直找到与该张图像之间特征向量的余弦相似度小于等于阈值T1的图像Q；此时将该张图像作为典型样本；然后从图像Q开始重复上述操作，将第二文件夹中的所有典型样本寻找到。
本发明的第三目的通过以下技术方案实现：一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现本发明第一目的所述的火焰识别方法。
本发明的第四目的通过以下技术方案实现：一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现本发明第一目的所述的火焰识别方法。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明火焰识别方法中，首先进行模型构建，通过训练样本构建得到用于进行图像深度特征提取的深度特征提取模型，然后将训练样本的深度特征和手工特征作为输入训练得到火焰识别模型；当要对图像进行火焰识别时，通过深度特征提取模型提取出图像中的深度特征，并且将图像中的手工特征也提取出来，最后将图像的深度特征和手工特征同时输入到火焰识别模型中进行火焰识别，由火焰识别模型输出火焰识别结果。由上述可见，本发明结合图像的手工特征和深度特征来识别图像中是否出现火焰现象，通过手工特征和深度特征两种特征结合能够更加准确反映出图像中是否带火焰，克服现有技术中仅采用手工特征难以区分图像中真火焰和疑似火焰以及因图像像素不高或者光线影响等导致火焰识别准确度低的问题，具有能够快速并且准确的识别出图像中火焰的优点。
(2)本发明火焰识别方法中，引入了卷积神经网络得到深度特征提取模型，其中深度特征提取模型为卷积神经网络经过大量训练样本训练得到的，在训练过程能够确定提取优质火焰特征的网络结构参数，更加有益于判别较小的火焰，大大增强了系统在火灾发生早期发现火焰的能力，对于火灾防范具有重大的意义。
(3)本发明火焰识别方法中，针对于图像提取的手工特征包括图像的统计特征、图像的圆形度特征、图像的边界粗糙度特征以及图像的空间梯度特征；本发明中，提取的图像的统计特征包括图像中候选火焰区域的红色R分量以及亮度I分量的统计特征提取；其中，红色R分量的统计特征包括均值、方差、偏斜度和峭度四个统计分量，亮度I分量的统计特征包括均值、方差、偏斜度和峭度四个统计分量，通过图像的统计特征能够反映出火焰的粗糙度特征；本发明中，通过图像的圆形度特征能够反映出图像中物体形状的复杂度，通过图像的边界粗糙度特征能够反映图像的边界粗糙程度；另外考虑到区分真实火焰与疑似火焰的物体时，含有真实火焰的区域通常会表现出比较高的空间变化，因此本发明中采用图像的梯度来描述火焰的空间变化，火焰的中心较亮的区域，其梯度会较弱，而在火焰的边界处其梯度便十分明显，采用图像的梯度来表征图像的特征有很大的优势，并且图像梯度的运算较为简便且计算的速度快。由此可见，本发明上述所提取的手工特征，进一步提高了本发明图像火焰的识别准确度和速度。
(4)本发明火焰识别方法中，在进行手工特征提取过程中，利用YCbCr色彩空间获取滤波后的图像中的候选火焰像素，具体为针对于滤波后图像中的各像素点(x，y)，判定是否同时满足五个条件，若是，则判定为候选火焰像素点，否则判定为非候选火焰像素点；上述候选火焰像素判定方式简单并且准确，克服现有技术的传统手工特征识别对候选火焰像素判别困难导致的难以准确获取候选火焰区域的缺点。
(5)本发明火焰识别方法中，针对于要进行火焰识别的区域，获取该区域连续的多张火焰待识别图像，将各火焰待识别图像分别作为测试样本进行火焰识别步骤的操作；在火焰识别步骤操作后，若连续的N个测试样本均被识别为有火焰，才判定该区域发生了火情，本发明上述操作大大降低了火情的误报率。
(6)本发明火焰识别方法中，还包括对火焰识别模型进行优化训练，具体为：从火焰识别的应用场合中获取有火焰的视频和无火焰的视频，从中选取出当前火焰识别模型漏报图像和误报图像，然后从漏报图像和误报图像中分别选取出典型样本，将典型样本作为新训练样本针对当前火焰识别模型进行优化训练，使得当前火焰识别模型通过学习新的典型样本而不断改进，保持在火焰识别中的先进性，以适合在一些新的火焰识别应用领域进行使用。
附图说明
图1是本发明火焰识别方法中对应的模型构建流程图。
图2是本发明火焰识别方法中对应的火焰识别流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
本实施例公开了一种火焰识别方法，包括如下步骤：
步骤1、模型构建步骤，如图1所示：
步骤1-1、获取训练样本集，训练样本集中包括多个带标签的训练样本，训练样本为有火焰图像或无火焰图像，各训练样本的标签即为有火焰或无火焰；
步骤1-2、将各训练样本作为输入，各训练样本的标签作为输出对卷积神经网络进行训练，得到训练好的卷积神经网络，将训练好的卷积神经网络中全连接层去除后作为深度特征提取模型；
步骤1-3、将各训练样本输入到深度特征提取模型中提取出深度特征；从训练样本中提取出手工特征；将各训练样本提取出的深度特征和手工特征作为输入，各训练样本的标签作为输出对分类器进行训练，得到训练好的分类器，作为火焰识别模型；在本实施例中，上述分类器可以是SVM(支持向量机)分类器。
步骤2、火焰识别步骤，如图2所示：
步骤2-1、获取火焰待识别图像，作为测试样本；
步骤2-2、从测试样本中提取出手工特征，将测试样本输入到深度特征提取模型中提取出深度特征；
步骤2-3、将测试样本中提取出的手工特征和深度特征输入到火焰识别模型，通过火焰识别模型输出火焰识别结果。其中，针对于要进行火焰识别的区域，获取该区域连续的多张火焰待识别图像，将各火焰待识别图像分别作为测试样本进行火焰识别步骤的操作；在火焰识别步骤操作后，若连续的N个测试样本均被识别为有火焰，则判定该区域发生了火情。在本实施例中N可以为10，即对于某一个火焰识别区域，在连续的10张图像识别到有火焰时，判定该区域发生了火情，进行报警操作。
在本实施例中，训练样本和测试样本对应图像提取出的手工特征包括图像的统计特征、图像的圆形度特征、图像的边界粗糙度特征和图像的空间梯度特征；
其中图像的统计特征提取过程如下：
步骤S11、首先对图像进行滤波，得到滤波后的图像；在本实施例中，可以采用具有正态分布的高斯核函数对获取的图像进行滤波，通过滤除图像细节和噪声实现图像的平滑效果。
步骤S12、利用YCbCr色彩空间获取滤波后的图像中的候选火焰像素，其中Cb和Cr为蓝色和红色的浓度偏移量成份，Y是流明，用于表示光的浓度且为非线性；具体为：
针对于滤波后图像中的各像素点(x，y)，判定是否同时满足以下五个条件，若是，则判定为候选火焰像素点，否则判定为非候选火焰像素点；
五个条件分别为：
Y(x，y)＞Cb(x，y)；
Cr(x，y)＞Cb(x，y)；
|Cb(x，y)-Cr(x，y)|≥40；
Y(x，y)＞Ymean，Cb(x，y)＜Cbmean，Cr(x，y)＞Crmean；
Cb(x，y)≥fu(Cr(x，y))∩Cb(x，y)≤fd(Cr(x，y))∩Cb(x，y)≤fl(Cr(x，y))；
其中，Y(x，y)，Cb(x，y)，Cr(x，y)分别对应表示像素点(x，y)在YCbCr色彩空间中Y通道、Cb通道和Cr通道的像素值，Ymean，Cbmean，Crmean分别表示整幅图像YCbCr色彩空间中Y通道、Cb通道和Cr通道的均值；
其中：
fu(Cr(x，y))＝-2.6×10-10Cr7+3.3×10-7Cr6-1.7×10-4Cr5+5.16
×10-2Cr4-9.10×Cr3+9.60×102Cr2-5.60×104Cr+1.40
×106；
fl(Cr(x，y))＝-6.77×10-8Cr5+5.50×10-5Cr4-1.76×10-2Cr3+2.78Cr2
-2.15×102Cr+6.62×103；
fd(Cr(x，y))＝1.81×10-4Cr4-1.02×10-1Cra+2.17×10Cr2-2.05×103Cr
+7.29×104。
步骤S13、对步骤S12获取到的候选火焰像素的图像进行形态学操作，以得到图像中候选火焰像素区域的掩模，然后与步骤S11中滤波处理后的图像进行融合，得到具有候选火焰区域的彩色图像；具体过程如下：
步骤S131、对获取到候选火焰像素的图像进行二值化处理，然后采用结构元素S进行两次膨胀操作：
其中X为获取到候选火焰像素的图像进行二值化处理后的图像，其中x为图像中候选火焰区域像素点；
本步骤操作的作用是将候选火焰区域周围的背景点合并到区域中，使图像各向同性得到扩张，扩大区域的面积。
步骤S132、将步骤S131膨胀操作后的图像进行一次开操作：
其中代表腐蚀操作，X′为步骤S131膨胀操作后的图像；
本步骤的操作是将图像中的特征保存下来同时滤除孤立的小点、毛刺等不需要的细节信息。
步骤S133、针对于步骤S132开操作后的图像进行一次闭操作：
其中x″为步骤S132闭操作后的图像。
本步骤的操作可将轮廓的细小间断连接起来、填补小孔洞和狭缝，使候选火焰区域轮廓变得更加光滑。
步骤S14、针对于步骤13获取到的具有候选火焰区域的彩色图像即RGB颜色空间图像进行红色R分量的统计特征提取；将步骤13获取到的具有候选火焰区域的彩色图像投影到HSI彩色空间，然后进行亮度I分量的统计特征提取；其中提取出的红色R分量的统计特征包括均值μR、方差σR 2、偏斜度skR和峭度kuR四个统计分量，提取出的亮度I分量的统计特征包括均值μI、方差σI 2、偏斜度skI和峭度kuI四个统计分量，其中：
μR＝ER[x]；
σR 2＝ER[(x-μR)2]；
其中ER代表候选火焰像素在红色R分量下的期望；μR表示候选火焰像素在红色R分量下求的平均，σR 2表示候选火焰像素在红色R分量下求的方差，skR表示候选火焰像素在红色R分量下求的偏斜度，kuR表示候选火焰像素在红色R分量下求的峭度；
μI＝EI[x]；
σI 2＝EI[(x-μI)2]；
其中EI代表候选火焰像素在亮度I分量下的期望；μI表示候选火焰像素在亮度I分量下求的平均，σI 2表示候选火焰像素在亮度I分量下求的方差，skI表示候选火焰像素在亮度I分量下求的偏斜度，kuI表示候选火焰像素在亮度I分量下求的峭度。
在本实施例中，从上述步骤S13获取到的具有候选火焰区域的彩色图像中提取图像的圆形度特征：
其中C为圆形度，用来表示一个物体形状的复杂程度；P为候选火焰区域的边界周长，A为面积候选火焰区域的面积。
从步骤S13获取到的具有候选火焰区域的彩色图像中提取图像的边界粗糙度特征：
BR＝PC/P；
其中BR为边界粗糙度，且0<BR<1，PC为候选火焰区域凸包的周长；
从步骤S13获取到的具有候选火焰区域的彩色图像中提取图像的空间梯度特征：
G(i,j)＝dx2+dy2；
其中G(i,j)为图像中像素点(i,j)的空间梯度，dx为图像中像素点(i,j)的水平梯度，dy为图像中像素点(i,j)的垂直梯度。
根据步骤S13获取到的图像中候选火焰区域内的每个像素点的空间梯度，对每个像素点的空间梯度进行求均值和方差，所获得的均值和方差为总的空间梯度特征；其中所得的均值Gmean为：
所得的方差Gvar为：
其中N为候选火焰区域的像素点的总数，S为候选火焰区域。
在本实施例中，若针对图像执行步骤S12后，发现图像中不具备候选火焰像素，即不为候选火焰区域，则将上述手工特征特征值全部设为零。
在本实施例中，上述训练得到深度特征提取模型的卷积神经网络可以是残差网络Residual Network，将训练好的卷积神经网络中全连接层去除后所得到的ResNet18网络作为深度特征提取模型。残差网络由许多个residual block组成。每个residual block都是原本平原网络外加一个shortcut组成。本实施例使用了ResNet18的网络，该网络去除了最后的全连接层，让其直接输出特征向量，主要工作原理如下：
首先由3通道224*224规格的图片经过7*7卷积核，步长为2，输出64通道，padding取3*3，然后归一化并用ReLU函数进行激活，最后用3*3的池化核进行最大池化，步长为2。
之后接入4个Layer，具体为：
Layer1：先经过3*3卷积核卷积，输入通道64，输出通道64，步长1，再归一化并经ReLU函数激活。之后再次接入和上面相同的模块，即3*3卷积核，输入输出通道数均为64，步长为1，最后将平原网络的64通道输出与Layer1入口数据相加并归一化再经ReLU激活，最后的相加的步骤其实就是一个shortcut，即跳层相加。
Layer2：Layer1的输出经3*3卷积核卷积，输入通道64，输出通道128，步长2，再归一化并经ReLU激活。之后经3*3卷积核卷积，输入输出通道数为128,128，再归一化ReLU激活。由于Layer2输入口的数据没有经过平原网络，通道数和平原网络输出的不匹配，所以Layer2的入口数据需要经过一个1*1卷积核，输入输出通道数为64,128，步长为2，用于降低通道数模块的downsample模块。同样，它的输出与平原网络的输出相加，归一化并激活，最后输出。
Layer3：3*3卷积核，输入、输出通道为128、256，步长为2，同样重复上面模块，通道数匹配后面Layer。它同样拥有downsample模块。
Layer4：3*3卷积核，输入、输出通道为256、64，步长为2，同样重复上面模块，通道数输出为64，它同样拥有downsample模块。
Layer4的输出进行一次全局平均池化，64个通道各输出1个特征值。这64个特征值便构成了深度特征向量，记为{x1′，x2′，x3′，…x′64}。
本实施例中，当要扩展火焰识别的应用领域时，可以对当前火焰识别模型进行优化训练，具体步骤如下：
步骤S1、从火焰识别的应用场合中获取到有火焰的视频和无火焰的视频；上述火焰识别的应用场合可以是已经进过火焰识别场合或者从未经过火焰识别的场合。
步骤S2、针对于有火焰视频中的每帧有火焰图像，将其作为测试样本进行火焰识别步骤，在火焰识别步骤后，若火焰识别模型输出的火焰识别结果为无火焰，则将该帧图像判定为漏报图像，将有火焰视频中的漏报图像按照其所在视频帧序号顺序存储到第一文件夹中；
针对于无火焰视频中的每帧图像，将其作为测试样本进行火焰识别步骤，在火焰识别步骤后，若火焰识别模型输出的火焰识别结果为有火焰，则将该帧图像判定为误报图像；将无火焰视频中的误报图像按照其所在视频帧序号顺序存储到第二文件夹中；
步骤S3、针对于第一文件夹，首先提取第一文件夹中各张图像的手工特征，并且通过深度特征提取模型提取出深度特征，各张图像的手工特征和深度特征组合拼接成一维数组后作为特征向量；然后将第一文件夹的第一张图像作为当前图像，执行步骤S31；
S31、计算第一文件夹中当前图像与当前图像的下一张图像之间特征向量的余弦相似度，若两者余弦相似度大于阈值T1，说明两张图像很相似，则再计算当前图像与当前图像的下下一张图像之间特征向量的余弦相似度，一直找到与当前图像之间特征向量的余弦相似度小于等于阈值T1的图像P；此时将当前张图像作为典型样本；
S32、将步骤S31中找到的图像P作为当前图像，执行步骤S31；直到第一文件夹中所有的典型样本均找到；
针对于第二文件夹，首先提取第二文件夹中各张图像的手工特征，并且通过深度特征提取模型提取出深度特征，各张图像的手工特征和深度特征组合拼接成一维数组后作为特征向量；然后将第二文件夹的第一张图像作为当前图像，执行步骤S33；
S33、计算第二文件夹中当前图像与当前图像的下一张图像之间特征向量的余弦相似度，若两者余弦相似度大于阈值T1，则再计算当前图像与当前图像的下下一张图像之间特征向量的余弦相似度，一直找到与当前图像之间特征向量的余弦相似度小于等于阈值T1的图像Q；此时将当前张图像作为典型样本；其中阈值T1取值范围可以为0.7到0.9，在本实施例中阈值T1取值为0.8。
S34、将步骤S33中找到的图像Q作为当前图像，执行步骤S33；直到第二文件夹中所有的典型样本均找到；
步骤S4、将步骤S3获取到的各典型样本作为新训练样本，将新训练样本的手工特征和深度特征作为输入，新训练样本的标签作为输出对当前火焰识别模型进行训练，得到优化训练后的火焰识别模型，用于后续的火焰识别步骤。
实施例2
本实施例公开了一种火焰识别系统，包括模型构建模块和火焰识别模块；
模型构建模块包括：
训练样本获取模块，用于获取训练样本集，训练样本集中包括多个带标签的训练样本，训练样本为有火焰图像或无火焰图像，各训练样本的标签即为有火焰或无火焰。
深度特征提取模型构建模块，用于将各训练样本作为输入，各训练样本的标签作为输出对卷积神经网络进行训练，得到训练好的卷积神经网络，将训练好的卷积神经网络中全连接层去除后作为深度特征提取模型；在本实施例中，卷积神经网络可以使用残差网络Residual Network，将训练好的卷积神经网络中全连接层去除后所得到的ResNet18网络作为深度特征提取模型。
第一深度特征特提取模块：用于通过深度特征提取模型提取各训练样本的深度特征。在本实施例中，通过ResNet18网络进行深度特征提取，直接输出64个特征向量作为深度特征。
第一手工特征提取模块：用于提取各训练样本的手工特征；在本实施例中提取的手工特征包括图像的统计特征、图像的圆形度特征、图像的边界粗糙度特征和图像的空间梯度特征；其中图像的统计特征包括具有候选火焰区域的彩色图像进行红色R分量以及亮度I分量的统计特征提取；其中提取出的红色R分量的统计特征包括均值μR、方差σR 2、偏斜度skR和峭度kuR四个统计分量，提取出的亮度I分量的统计特征包括均值μI、方差σI 2、偏斜度skI和峭度kuI四个统计分量。
火焰识别模型构建模块，用于将各训练样本提取出的深度特征和手工特征作为输入，各训练样本的标签作为输出对分类器进行训练，得到训练好的分类器，作为火焰识别模型；
火焰识别模块包括：
测试样本获取模块，用于获取火焰待识别图像，作为测试样本；
第二深度特征特提取模块：用于通过深度特征提取模型提取测试样本的深度特征；
第二手工特征提取模块：用于提取各测试样本的手工特征；
识别模块，用于将测试样本中提取出的手工特征和深度特征输入到火焰识别模型，通过火焰识别模型输出火焰识别结果。
本实施例火焰识别系统还包括火焰识别模型优化训练模块，火焰识别模型优化训练模块具体包括：
火焰视频获取模块，用于从火焰识别的应用场合中获取到有火焰的视频和无火焰的视频；
漏报图像判定模块，用于针对于有火焰视频中的每帧有火焰图像，将其作为测试样本通过火焰识别模块进行火焰识别，在火焰识别后，若火焰识别模型输出的火焰识别结果为无火焰，则将该帧图像判定为漏报图像，将有火焰视频中的漏报图像按照其所在视频帧序号顺序存储到第一文件夹中；
误报图像判定模块，用于针对于无火焰视频中的每帧图像，将其作为测试样本通过火焰识别模块进行火焰识别，在火焰识别后，若火焰识别模型输出的火焰识别结果为有火焰，则将该帧图像判定为误报图像；将无火焰视频中的误报图像按照其所在视频帧序号顺序存储到第二文件夹中；
典型样本提取模块，用于从第一文件夹和第二文件夹的图像中提取出典型样本；
训练模块，用于将获取到的各典型样本作为新训练样本，将新训练样本的手工特征和深度特征作为输入，新训练样本的标签作为输出对当前火焰识别模型进行训练，得到优化训练后的火焰识别模型；
所述典型样本提取模块包括：
第三深度特征特提取模块，用于通过深度特征提取模型提取第一文件夹和第二文件夹中各张图像的深度特征；
第三手工特征提取模块，用于提取第一文件夹和第二文件夹中各张图像的手工特征；
特征向量拼接模块，用于将第一文件夹和第二文件夹中各张图像的手工特征和深度特征组合拼接成一维数组后作为各张图像的特征向量；
典型样本寻找模块，用于从第一文件夹的第一张图像开始，计算该张图像与该张图像的下一张图像之间特征向量的余弦相似度，若两者余弦相似度大于阈值T1，则再计算该张图像与该张图像的下下一张图像之间特征向量的余弦相似度，一直找到与该张图像之间特征向量的余弦相似度小于等于阈值T1的图像P；此时将该张图像作为典型样本；然后从图像P开始重复上述操作，将第一文件夹中的所有典型样本寻找到；
用于从第二文件夹的第一张图像开始，计算该张图像与该张图像的下一张图像之间特征向量的余弦相似度，若两者余弦相似度大于阈值T1，则再计算该张图像与该张图像的下下一张图像之间特征向量的余弦相似度，一直找到与该张图像之间特征向量的余弦相似度小于等于阈值T1的图像Q；此时将该张图像作为典型样本；然后从图像Q开始重复上述操作，将第二文件夹中的所有典型样本寻找到。
在此需要说明的是，本实施例的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3
本实施例公开了一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现实施例1中的火焰识别方法，具体如下：
步骤1、模型构建步骤：
步骤1-1、获取训练样本集，训练样本集中包括多个带标签的训练样本，训练样本为有火焰图像或无火焰图像，各训练样本的标签即为有火焰或无火焰；
步骤1-2、将各训练样本作为输入，各训练样本的标签作为输出对卷积神经网络进行训练，得到训练好的卷积神经网络，将训练好的卷积神经网络中全连接层去除后作为深度特征提取模型；
步骤1-3、将各训练样本输入到深度特征提取模型中提取出深度特征；从训练样本中提取出手工特征；将各训练样本提取出的深度特征和手工特征作为输入，各训练样本的标签作为输出对分类器进行训练，得到训练好的分类器，作为火焰识别模型；
步骤2、火焰识别步骤：
步骤2-1、获取火焰待识别图像，作为测试样本；
步骤2-2、从测试样本中提取出手工特征，将测试样本输入到深度特征提取模型中提取出深度特征；
步骤2-3、将测试样本中提取出的手工特征和深度特征输入到火焰识别模型，通过火焰识别模型输出火焰识别结果。其中，针对于要进行火焰识别的区域，获取该区域连续的多张火焰待识别图像，将各火焰待识别图像分别作为测试样本进行火焰识别步骤的操作；在火焰识别步骤操作后，若连续的N个测试样本均被识别为有火焰，则判定该区域发生了火情。在本实施例中N可以为10，即对于某一个火焰识别区域，在连续的10张图像识别到有火焰时，判定该区域发生了火情。
在本实施例中，存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。
实施例4
本实施例公开了一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现实施例1所述的火焰识别方法，具体如下：
步骤1、模型构建步骤：
步骤1-1、获取训练样本集，训练样本集中包括多个带标签的训练样本，训练样本为有火焰图像或无火焰图像，各训练样本的标签即为有火焰或无火焰；
步骤1-2、将各训练样本作为输入，各训练样本的标签作为输出对卷积神经网络进行训练，得到训练好的卷积神经网络，将训练好的卷积神经网络中全连接层去除后作为深度特征提取模型；
步骤1-3、将各训练样本输入到深度特征提取模型中提取出深度特征；从训练样本中提取出手工特征；将各训练样本提取出的深度特征和手工特征作为输入，各训练样本的标签作为输出对分类器进行训练，得到训练好的分类器，作为火焰识别模型；
步骤2、火焰识别步骤：
步骤2-1、获取火焰待识别图像，作为测试样本；
步骤2-2、从测试样本中提取出手工特征，将测试样本输入到深度特征提取模型中提取出深度特征；
步骤2-3、将测试样本中提取出的手工特征和深度特征输入到火焰识别模型，通过火焰识别模型输出火焰识别结果。其中，针对于要进行火焰识别的区域，获取该区域连续的多张火焰待识别图像，将各火焰待识别图像分别作为测试样本进行火焰识别步骤的操作；在火焰识别步骤操作后，若连续的N个测试样本均被识别为有火焰，则判定该区域发生了火情。在本实施例中N可以为10，即对于某一个火焰识别区域，在连续的10张图像识别到有火焰时，判定该区域发生了火情。
本实施例中，计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有处理器功能的终端设备。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种火焰识别方法，其特征在于，包括如下步骤：
模型构建步骤：
获取训练样本集，训练样本集中包括多个带标签的训练样本，训练样本为有火焰图像或无火焰图像，各训练样本的标签即为有火焰或无火焰；
将各训练样本作为输入，各训练样本的标签作为输出对卷积神经网络进行训练，得到训练好的卷积神经网络，将训练好的卷积神经网络中全连接层去除后作为深度特征提取模型；
将各训练样本输入到深度特征提取模型中提取出深度特征；从训练样本中提取出手工特征；将各训练样本提取出的深度特征和手工特征作为输入，各训练样本的标签作为输出对分类器进行训练，得到训练好的分类器，作为火焰识别模型；
火焰识别步骤：
获取火焰待识别图像，作为测试样本；
从测试样本中提取出手工特征，将测试样本输入到深度特征提取模型中提取出深度特征；
将测试样本中提取出的手工特征和深度特征输入到火焰识别模型，通过火焰识别模型输出火焰识别结果。
2.根据权利要求1所述的火焰识别方法，其特征在于，训练样本和测试样本对应图像提取出的手工特征包括图像的统计特征、图像的圆形度特征、图像的边界粗糙度特征和图像的空间梯度特征；
其中图像的统计特征提取过程如下：
步骤S11、首先对图像进行滤波，得到滤波后的图像；
步骤S12、利用YCbCr色彩空间获取滤波后的图像中的候选火焰像素，其中Cb和Cr为蓝色和红色的浓度偏移量成份，Y是流明，用于表示光的浓度且为非线性；
步骤S13、对步骤S12获取到的候选火焰像素的图像进行形态学操作，以得到图像中候选火焰像素区域的掩模，然后与步骤S11中滤波处理后的图像进行融合，得到具有候选火焰区域的彩色图像；
步骤S14、针对于步骤13获取到的具有候选火焰区域的彩色图像进行红色R分量以及亮度I分量的统计特征提取；其中提取出的红色R分量的统计特征包括均值、方差、偏斜度和峭度四个统计分量，提取出的亮度I分量的统计特征包括均值、方差、偏斜度和峭度四个统计分量；
从步骤S13获取到的具有候选火焰区域的彩色图像中提取图像的圆形度特征；
从步骤S13获取到的具有候选火焰区域的彩色图像中提取图像的边界粗糙度特征；
从步骤S13获取到的具有候选火焰区域的彩色图像中提取图像的空间梯度特征。
3.根据权利要求2所述的火焰识别方法，其特征在于，所述步骤S12中，利用YCbCr色彩空间获取滤波后的图像中的候选火焰像素的具体方式如下：
针对于滤波后图像中的各像素点(x，y)，判定是否同时满足以下五个条件，若是，则判定为候选火焰像素点，否则判定为非候选火焰像素点；
五个条件分别为：
Y(x，y)＞Cb(x，y)；
Cr(x，y)＞Cb(x，y)；
|Cb(x，y)-Cr(x，y)|≥40；
Y(x，y)＞Ymean’Cb(x，y)＜Cbmean，Cr(x，y)＞Crmean；
Cb(x，y)≥fu(Cr(x，y))∩Cb(x，y)≤fd(Cr(x，y))∩Cb(x，y)≤fl(Cr(x，y))；
其中，Y(x，y)，Cb(x，y)，Cr(x，y)分别对应表示像素点(x，y)在YCbCr色彩空间中Y通道、Cb通道和Cr通道的像素值，Ymean，Cbmean，Crmean分别表示整幅图像YCbCr色彩空间中Y通道、Cb通道和Cr通道的均值；
其中：
fu(Cr(x，y))＝-2.6×10-10Cr7+3.3×10-7Cr6-1.7×10-4Cr5+5.16
×10-2Cr4-9.10×Cr3+9.60×102Cr2-5.60×104Cr+1.40
×106；
fl(Cr(x，y))＝-6.77×10-8Cr5+5.50×10-5Cr4-1.76×10-2Cr3+2.78Cr2
-2.15×102Cr+6.62×103；
fd(Cr(x，y))＝1.81×10-4Cr4-1.02×10-1Cr3+2.17×10Cr2-2.05×103Cr
+7.29×104。
4.根据权利要求2所述的火焰识别方法，其特征在于，所述步骤S13中对获取到候选火焰像素的图像进行形态学操作的过程具体如下：
步骤S131、对获取到候选火焰像素的图像进行二值化处理，然后采用结构元素S进行两次膨胀操作：
其中X为获取到候选火焰像素的图像进行二值化处理后的图像，其中x为图像中候选火焰区域像素点；
步骤S132、将步骤S131膨胀操作后的图像进行一次开操作：
其中代表腐蚀操作，X′为步骤S131膨胀操作后的图像；
步骤S133、针对于步骤S132开操作后的图像进行一次闭操作：
其中X″为步骤S132闭操作后的图像。
5.根据权利要求1所述的火焰识别方法，其特征在于，针对于要进行火焰识别的区域，获取该区域连续的多张火焰待识别图像，将各火焰待识别图像分别作为测试样本进行火焰识别步骤的操作；在火焰识别步骤操作后，若连续的N个测试样本均被识别为有火焰，则判定该区域发生了火情。
6.根据权利要求1所述的火焰识别方法，其特征在于，还包括对当前火焰识别模型进行优化训练，步骤如下：
步骤S1、从火焰识别的应用场合中获取到有火焰的视频和无火焰的视频；
步骤S2、针对于有火焰视频中的每帧有火焰图像，将其作为测试样本进行火焰识别步骤，在火焰识别步骤后，若火焰识别模型输出的火焰识别结果为无火焰，则将该帧图像判定为漏报图像，将有火焰视频中的漏报图像按照其所在视频帧序号顺序存储到第一文件夹中；
针对于无火焰视频中的每帧图像，将其作为测试样本进行火焰识别步骤，在火焰识别步骤后，若火焰识别模型输出的火焰识别结果为有火焰，则将该帧图像判定为误报图像；将无火焰视频中的误报图像按照其所在视频帧序号顺序存储到第二文件夹中；
步骤S3、针对于第一文件夹，首先提取第一文件夹中各张图像的手工特征，并且通过深度特征提取模型提取出深度特征，各张图像的手工特征和深度特征组合拼接成一维数组后作为特征向量；然后将第一文件夹的第一张图像作为当前图像，执行步骤S31；
S31、计算第一文件夹中当前图像与当前图像的下一张图像之间特征向量的余弦相似度，若两者余弦相似度大于阈值T1，则再计算当前图像与当前图像的下下一张图像之间特征向量的余弦相似度，一直找到与当前图像之间特征向量的余弦相似度小于等于阈值T1的图像P；此时将当前张图像作为典型样本；
S32、将步骤S31中找到的图像P作为当前图像，执行步骤S31；直到第一文件夹中所有的典型样本均找到；
针对于第二文件夹，首先提取第二文件夹中各张图像的手工特征，并且通过深度特征提取模型提取出深度特征，各张图像的手工特征和深度特征组合拼接成一维数组后作为特征向量；然后将第二文件夹的第一张图像作为当前图像，执行步骤S33；
S33、计算第二文件夹中当前图像与当前图像的下一张图像之间特征向量的余弦相似度，若两者余弦相似度大于阈值T1，则再计算当前图像与当前图像的下下一张图像之间特征向量的余弦相似度，一直找到与当前图像之间特征向量的余弦相似度小于等于阈值T1的图像Q；此时将当前张图像作为典型样本；
S34、将步骤S33中找到的图像Q作为当前图像，执行步骤S33；直到第二文件夹中所有的典型样本均找到；
步骤S4、将步骤S3获取到的各典型样本作为新训练样本，将新训练样本的手工特征和深度特征作为输入，新训练样本的标签作为输出对当前火焰识别模型进行训练，得到优化训练后的火焰识别模型。
7.一种火焰识别系统，其特征在于，包括模型构建模块和火焰识别模块；
所述模型构建模块包括：
训练样本获取模块，用于获取训练样本集，训练样本集中包括多个带标签的训练样本，训练样本为有火焰图像或无火焰图像，各训练样本的标签即为有火焰或无火焰；
深度特征提取模型构建模块，用于将各训练样本作为输入，各训练样本的标签作为输出对卷积神经网络进行训练，得到训练好的卷积神经网络，将训练好的卷积神经网络中全连接层去除后作为深度特征提取模型；
第一深度特征特提取模块：用于通过深度特征提取模型提取各训练样本的深度特征；
第一手工特征提取模块：用于提取各训练样本的手工特征；
火焰识别模型构建模块，用于将各训练样本提取出的深度特征和手工特征作为输入，各训练样本的标签作为输出对分类器进行训练，得到训练好的分类器，作为火焰识别模型；
火焰识别模块包括：
测试样本获取模块，用于获取火焰待识别图像，作为测试样本；
第二深度特征特提取模块：用于通过深度特征提取模型提取测试样本的深度特征；
第二手工特征提取模块：用于提取各测试样本的手工特征；
识别模块，用于将测试样本中提取出的手工特征和深度特征输入到火焰识别模型，通过火焰识别模型输出火焰识别结果。
8.根据权利要求7所述的火焰识别系统，其特征在于，还包括火焰识别模型优化训练模块，火焰识别模型优化训练模块包括：
火焰视频获取模块，用于从火焰识别的应用场合中获取到有火焰的视频和无火焰的视频；
漏报图像判定模块，用于针对于有火焰视频中的每帧有火焰图像，将其作为测试样本通过火焰识别模块进行火焰识别，在火焰识别后，若火焰识别模型输出的火焰识别结果为无火焰，则将该帧图像判定为漏报图像，将有火焰视频中的漏报图像按照其所在视频帧序号顺序存储到第一文件夹中；
误报图像判定模块，用于针对于无火焰视频中的每帧图像，将其作为测试样本通过火焰识别模块进行火焰识别，在火焰识别后，若火焰识别模型输出的火焰识别结果为有火焰，则将该帧图像判定为误报图像；将无火焰视频中的误报图像按照其所在视频帧序号顺序存储到第二文件夹中；
典型样本提取模块，用于从第一文件夹和第二文件夹的图像中提取出典型样本；
训练模块，用于将获取到的各典型样本作为新训练样本，将新训练样本的手工特征和深度特征作为输入，新训练样本的标签作为输出对当前火焰识别模型进行训练，得到优化训练后的火焰识别模型；
所述典型样本提取模块包括：
第三深度特征特提取模块，用于通过深度特征提取模型提取第一文件夹和第二文件夹中各张图像的深度特征；
第三手工特征提取模块，用于提取第一文件夹和第二文件夹中各张图像的手工特征；
特征向量拼接模块，用于将第一文件夹和第二文件夹中各张图像的手工特征和深度特征组合拼接成一维数组后作为各张图像的特征向量；
典型样本寻找模块，用于从第一文件夹的第一张图像开始，计算该张图像与该张图像的下一张图像之间特征向量的余弦相似度，若两者余弦相似度大于阈值T1，则再计算该张图像与该张图像的下下一张图像之间特征向量的余弦相似度，一直找到与该张图像之间特征向量的余弦相似度小于等于阈值T1的图像P；此时将该张图像作为典型样本；然后从图像P开始重复上述操作，将第一文件夹中的所有典型样本寻找到；
用于从第二文件夹的第一张图像开始，计算该张图像与该张图像的下一张图像之间特征向量的余弦相似度，若两者余弦相似度大于阈值T1，则再计算该张图像与该张图像的下下一张图像之间特征向量的余弦相似度，一直找到与该张图像之间特征向量的余弦相似度小于等于阈值T1的图像Q；此时将该张图像作为典型样本；然后从图像Q开始重复上述操作，将第二文件夹中的所有典型样本寻找到。
9.一种存储介质，其特征在于，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1至6中任一项所述的火焰识别方法。
10.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于：所述处理器执行存储器存储的程序时，实现权利要求1至6中任一项所述的火焰识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910294777.6A CN110033040B (zh) | 2019-04-12 | 2019-04-12 | 一种火焰识别方法、系统、介质和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910294777.6A CN110033040B (zh) | 2019-04-12 | 2019-04-12 | 一种火焰识别方法、系统、介质和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110033040A true CN110033040A (zh) | 2019-07-19 |
| CN110033040B CN110033040B (zh) | 2021-05-04 |
Family
ID=67238156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910294777.6A Expired - Fee Related CN110033040B (zh) | 2019-04-12 | 2019-04-12 | 一种火焰识别方法、系统、介质和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110033040B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866941A (zh) * | 2019-11-11 | 2020-03-06 | 格蠹信息科技(上海)有限公司 | 一种基于可见光的火焰识别系统 |
| CN111062345A (zh) * | 2019-12-20 | 2020-04-24 | 上海欧计斯软件有限公司 | 静脉识别模型的训练方法、装置和静脉图像识别装置 |
| CN111310699A (zh) * | 2020-02-27 | 2020-06-19 | 浙江光珀智能科技有限公司 | 一种基于手掌特征的身份认证方法及系统 |
| CN111523528A (zh) * | 2020-07-03 | 2020-08-11 | 平安国际智慧城市科技股份有限公司 | 基于规模识别模型的策略发送方法、装置和计算机设备 |
| CN112396121A (zh) * | 2020-11-30 | 2021-02-23 | 北京华正明天信息技术股份有限公司 | 基于神经网络的烟雾图像分类方法 |
| CN113012383A (zh) * | 2021-03-26 | 2021-06-22 | 深圳市安软科技股份有限公司 | 火灾检测报警方法、相关系统、相关设备及存储介质 |
| CN113033553A (zh) * | 2021-03-22 | 2021-06-25 | 深圳市安软科技股份有限公司 | 多模式融合的火灾检测方法、装置、相关设备及存储介质 |
| CN116452831A (zh) * | 2023-04-27 | 2023-07-18 | 中国长江三峡集团有限公司 | 天然气掺氢燃烧系统调整方法、装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103886344A (zh) * | 2014-04-14 | 2014-06-25 | 西安科技大学 | 一种图像型火灾火焰识别方法 |
| CN104408706A (zh) * | 2014-09-30 | 2015-03-11 | 天津艾思科尔科技有限公司 | 一种基于双波段图像的火灾检测及定位方法 |
| CN107944359A (zh) * | 2017-11-14 | 2018-04-20 | 中电数通科技有限公司 | 基于视频的火焰检测方法 |
| CN108875626A (zh) * | 2018-06-13 | 2018-11-23 | 江苏电力信息技术有限公司 | 一种输电线路的静态火灾检测方法 |
| CN109583375A (zh) * | 2018-11-30 | 2019-04-05 | 中山大学 | 一种多特征融合的人脸图像光照识别方法及系统 |
-
2019
- 2019-04-12 CN CN201910294777.6A patent/CN110033040B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103886344A (zh) * | 2014-04-14 | 2014-06-25 | 西安科技大学 | 一种图像型火灾火焰识别方法 |
| CN104408706A (zh) * | 2014-09-30 | 2015-03-11 | 天津艾思科尔科技有限公司 | 一种基于双波段图像的火灾检测及定位方法 |
| CN107944359A (zh) * | 2017-11-14 | 2018-04-20 | 中电数通科技有限公司 | 基于视频的火焰检测方法 |
| CN108875626A (zh) * | 2018-06-13 | 2018-11-23 | 江苏电力信息技术有限公司 | 一种输电线路的静态火灾检测方法 |
| CN109583375A (zh) * | 2018-11-30 | 2019-04-05 | 中山大学 | 一种多特征融合的人脸图像光照识别方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| DONGQING SHEN.ET AL: ""Flame Detection Using Deep Learning"", 《2018 4TH ICCAR》 * |
| 张杰等: ""基于卷积神经网络的火灾视频图像检测"", 《电子技术应用》 * |
| 罗媛媛: ""基于YCbCr颜色空间的森林火灾探测技术的研究"", 《中国优秀硕士学位论文全文数据库（电子期刊） 信息科技辑》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866941A (zh) * | 2019-11-11 | 2020-03-06 | 格蠹信息科技(上海)有限公司 | 一种基于可见光的火焰识别系统 |
| CN110866941B (zh) * | 2019-11-11 | 2022-10-25 | 格蠹信息科技(上海)有限公司 | 一种基于可见光的火焰识别系统 |
| CN111062345A (zh) * | 2019-12-20 | 2020-04-24 | 上海欧计斯软件有限公司 | 静脉识别模型的训练方法、装置和静脉图像识别装置 |
| CN111062345B (zh) * | 2019-12-20 | 2024-03-29 | 上海欧计斯软件有限公司 | 静脉识别模型的训练方法、装置和静脉图像识别装置 |
| CN111310699A (zh) * | 2020-02-27 | 2020-06-19 | 浙江光珀智能科技有限公司 | 一种基于手掌特征的身份认证方法及系统 |
| CN111523528A (zh) * | 2020-07-03 | 2020-08-11 | 平安国际智慧城市科技股份有限公司 | 基于规模识别模型的策略发送方法、装置和计算机设备 |
| CN112396121B (zh) * | 2020-11-30 | 2024-02-02 | 北京华正明天信息技术股份有限公司 | 基于神经网络的烟雾图像分类方法 |
| CN112396121A (zh) * | 2020-11-30 | 2021-02-23 | 北京华正明天信息技术股份有限公司 | 基于神经网络的烟雾图像分类方法 |
| CN113033553A (zh) * | 2021-03-22 | 2021-06-25 | 深圳市安软科技股份有限公司 | 多模式融合的火灾检测方法、装置、相关设备及存储介质 |
| CN113033553B (zh) * | 2021-03-22 | 2023-05-12 | 深圳市安软科技股份有限公司 | 多模式融合的火灾检测方法、装置、相关设备及存储介质 |
| CN113012383B (zh) * | 2021-03-26 | 2022-12-30 | 深圳市安软科技股份有限公司 | 火灾检测报警方法、相关系统、相关设备及存储介质 |
| CN113012383A (zh) * | 2021-03-26 | 2021-06-22 | 深圳市安软科技股份有限公司 | 火灾检测报警方法、相关系统、相关设备及存储介质 |
| CN116452831A (zh) * | 2023-04-27 | 2023-07-18 | 中国长江三峡集团有限公司 | 天然气掺氢燃烧系统调整方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110033040B (zh) | 2021-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110033040A (zh) | 一种火焰识别方法、系统、介质和设备 | |
| Zhu et al. | A deep learning approach to patch-based image inpainting forensics | |
| CN108549891B (zh) | 基于背景与目标先验的多尺度扩散显著目标检测方法 | |
| CN104834933B (zh) | 一种图像显著性区域的检测方法和装置 | |
| Mayer et al. | Exposing fake images with forensic similarity graphs | |
| Qu et al. | A pedestrian detection method based on yolov3 model and image enhanced by retinex | |
| Davis et al. | SpArcFiRe: scalable automated detection of spiral galaxy arm segments | |
| CN112381775B (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
| CN101593272B (zh) | 一种基于asm算法的人脸特征定位方法 | |
| US8582860B2 (en) | Signet ring cell detector and related methods | |
| CN104361313B (zh) | 一种基于多核学习异构特征融合的手势识别方法 | |
| CN108389224A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN106250845A (zh) | 基于卷积神经网络的火焰检测方法及装置 | |
| CN109858389A (zh) | 基于深度学习的直梯人数统计方法及系统 | |
| CN101142584A (zh) | 面部特征检测的方法 | |
| CN108647695A (zh) | 基于协方差卷积神经网络的低对比度图像显著性检测方法 | |
| CN111325319B (zh) | 一种神经网络模型的检测方法、装置、设备及存储介质 | |
| CN111611874A (zh) | 基于ResNet和Canny的人脸口罩佩戴检测方法 | |
| CN109977887A (zh) | 一种抗年龄干扰的人脸识别方法 | |
| US20190147226A1 (en) | Method, system and apparatus for matching a person in a first image to a person in a second image | |
| CN114220143B (zh) | 一种佩戴口罩的人脸识别方法 | |
| CN110490232A (zh) | 训练文字行方向预测模型的方法、装置、设备、介质 | |
| CN110084812A (zh) | 一种太赫兹图像缺陷检测方法、装置、系统及存储介质 | |
| CN109063643A (zh) | 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 | |
| Stomberg et al. | Jungle-net: Using explainable machine learning to gain new insights into the appearance of wilderness in satellite imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210504 |