CN110135374A - 采用图像块特征识别与回归分类的火灾烟雾检测方法 - Google Patents

采用图像块特征识别与回归分类的火灾烟雾检测方法 Download PDF

Info

Publication number
CN110135374A
CN110135374A CN201910420949.XA CN201910420949A CN110135374A CN 110135374 A CN110135374 A CN 110135374A CN 201910420949 A CN201910420949 A CN 201910420949A CN 110135374 A CN110135374 A CN 110135374A
Authority
CN
China
Prior art keywords
image
smog
block
detected
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910420949.XA
Other languages
English (en)
Inventor
杨晓萍
刘哲
王世鹏
王佳帅
王萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201910420949.XA priority Critical patent/CN110135374A/zh
Publication of CN110135374A publication Critical patent/CN110135374A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明公开了采用图像块特征识别与回归分类的火灾烟雾检测方法，为克服目前分辨率低、实际应用场合不适合与在高清视频中无法正确识别的问题，采用图像块特征识别与回归分类的火灾烟雾检测方法的步骤为：1.对烟雾图像数据集进行特征提取与特征融合，并将数据集放入SVM,得到烟雾特征判据模型；2.处理待检测视频,得到待检测图像块；3.将待检测图像块与烟雾特征判别模型输入到SVM中做回归并分类，标记判别为烟雾的图像块：将待检测图像块与得到烟雾特征判据模型作为SVM输入，SVM输出烟雾或为非烟雾图像块，记录判别为烟雾的待检测图像块的质心坐标；在判别为烟雾的待检测图像块所对应的质心坐标为中心，得到视频中烟雾所在区域。

Description

采用图像块特征识别与回归分类的火灾烟雾检测方法
技术领域
本发明涉及一种属于视频图像处理领域的检测方法，更确切地说，本发明涉及一种采用图像块特征识别与回归分类的火灾烟雾检测方法。
背景技术
火灾是严重危害人类生命财产安全的重大灾害之一。火灾的及时预警对于减少各项损失具有重大的意义。一般而言，在火灾发生的初期，烟雾是最先出现的，因此对于火灾烟雾的检测可以有效避免火灾带来的严重后果，使火灾得到早期预警与控制。
传统的火灾烟雾探测通常采用光感传感器、烟雾传感器、温度传感器等，但是这些传感器具有的缺陷在于仅能进行特定烟雾的检测，准确率比较差，且系统设计复杂。目前随着电子摄像的普及，视频监控应用的领域越来越多，例如在中国大部分地区都已实现了“天网工程”，形成了视频监控网络；在很多公共场合以及建筑物中也有大量的视频监控设备。
目前的视频烟雾检测算法大多使用的是土耳其比尔肯大学的公开数据集，该数据集中视频的分辨率较低，在目前实际的应用场合已经不适合，许多基于此数据集的视频检测算法也有在高清视频中无法正确识别的问题。正确识别高清视频中的烟雾的难题亟待解决。
发明内容
本发明所要解决的技术问题是克服了现有技术存在的分辨率较低、在高清视频中无法正确识别的问题，提供了一种采用图像块特征识别与回归分类的火灾烟雾检测方法。
为解决上述技术问题，本发明是采用如下技术方案实现的：所述的采用图像块特征识别与回归分类的火灾烟雾检测方法的步骤如下：
1)对烟雾图像数据集进行特征提取与特征融合，并将数据集放入SVM,得到烟雾特征判据模型；
2)处理待检测视频,得到待检测图像块；
3)将待检测图像块与烟雾特征判别模型输入到SVM中做回归并分类，标记判别为烟雾的图像块。
技术方案中所述的对烟雾图像数据集进行特征提取与特征融合，并将数据集放入SVM,得到烟雾特征判据模型是指：
1)制作烟雾图像数据集
烟雾图像数据集由各种渠道获得，一般需要人工手动整理，收集好的烟雾图像数据集分为训练集与测试集，训练集与测试集中均包含正样本集与负样本集，正样本集为烟雾图像块，负样本集为无烟雾的像素块，测试集与训练集中的图像不存在重复，正、负样本集均为100*100像素大小；
2)将烟雾图像数据集中的所有图像做灰度化处理：
目前的彩色图像大部分是RGB颜色模式，RGB颜色模式分为三个通道，分别为R即红色、G即绿色与B即蓝色通道，灰度化处理可将彩色图像转化为黑白模式图像，具体转换公式如下：
Gray(i,j)＝0.299×R(i,j)+0.578×G(i,j)+0.114×B(i,j)
式中：R为RGB颜色模式中R通道，G为RGB颜色模式中G通道，B为RGB颜色模式中B通道；
3)提取每张图像的CS-LBP即中心对称局部二进制模式特征：
4)提取每张图像的LPQ即局部二值量化特征；
5)将处理后得到的每张图像的CS-LBP特征作为图像的空域特征，LPQ特征作为图像的频域特征；对每张图像提取的CS-LBP特征与LPQ特征串行连接，作为每张图像的融合特征并记录；
6)对融合特征利用支持向量机SVM进行学习训练得到烟雾特征判据模型。
技术方案中所述的提取每张图像的CS-LBP即中心对称局部二进制模式特征是指：
在灰度图像中，记像素gc(i,j)的8邻域像素点顺时针分别为gp(i,j)(p＝0,1,…,7)，8邻域像素点的CS-LBP特征如下：
CS-LBP＝s(g0,g4)20+s(g1,g5)21+s(g2,g6)22+s(g3,g7)23
式中：t为事先设定的阈值，一般设为0。
技术方案中所述的提取每张图像的LPQ即局部二值量化特征是指：
对于M*M的图像块，离散的短时傅里叶变换表示为：
式中：u表示频率，局部傅里叶系数通过u1＝[a,0]T，u2＝[0,a]T，u3＝[a,a]T，u4＝[a,-a]T计算，每个像素的位置通过向量表示为：
F(x)＝[F(u1,x),F(u2,x),F(u3,x),F(u4,x)]
傅里叶系数相位使用每部分的实数与虚数的符号表示：
式子中pj是向量G(x)＝[Re{F(x)},Im{F(x)}]的第j部分，最后对其进行二进制编码：
经过上述操作得到每张图像的LPQ即局部二值量化特征。
技术方案中所述的对融合特征利用支持向量机SVM进行学习训练得到烟雾特征判据模型是指：
(1)将图像样本进行标记，设存在烟雾的图像样本标签为1，设不存在烟雾的图像样本标签为-1；
(2)使用径向基函数作为SVM的核函数，通过对训练集交叉验证的方式调整SVM中参数c和g的取值以此来获得最高的精确度，从而得到最佳的训练模型；对于SVM训练得到的模型，通常用该模型的ROC曲线表示其分类效果，ROC曲线的纵轴为“真正例率TPR”，横轴为“假正例率FPR”，TPR与FPR的定义为：
式中：TP即真正类：预测结果为正类，实际为正类；
FP即假正类：预测结果为正类，实际为负类；
FN即假负类：预测结果为负类，实际为正类；
TN即真负类：预测结果为负类，实际为负类；
ROC曲线越靠近左上角，所代表SVM输出的特征判据模型准确性越高。
技术方案中所述的处理待检测视频,得到待检测图像块是指：
1)将待检测视频按帧转换成图片序列；
2)利用Vibe算法提取待检测视频中的运动轨迹；
3)将运动区域图像进行闭运算处理，以减少运动轨迹图像中连通域的数量；
4)将运动区域图像进行闭运算处理后得到的图像中的连通域做Sobel边缘检测，得到运动轨迹图像中各个连通域的边缘轮廓；
5)生成待检测图像块：
计算每一个连通域的质心坐标，并以该质心坐标为中心，在该运动轨迹对应的原图片序列中截取100*100的方形图像，当质心坐标位于图像的边缘时则予以舍弃，这样形成的数个100×100的待检测图像作为待检测图像块。
技术方案中所述的利用Vibe算法提取待检测视频中的运动区域的方法为：
(1)将第一帧图像序列中每一个像素点均从其8邻域中随机选择一个像素保存到其背景模板中，将此步骤重复N次后，记像素x位置处的欧式色彩空间值为V(x)，背景建立的模板为M(x)＝{V1,V2,V3,…，VN}，即Vi为背景样本空间中的像素值；
(2)定义一个以像素V(x)为中心，R为半径的球体SR(V(x)),计算V(x)与M(x)中N个样本的欧氏距离，根据M(x)与SR(V(x))交集的个数判断当前像素是否为运动目标；
(3)当像素V(x)判断为背景时，更新过程中随机选择背景样本M(x)中的一个值，用V(x)替换，同时等概率更新该邻域的背景模板样本值，dt时间后模板样本随时间变化的概率为：
P(t,t+dt)＝e-ln(N/N-1)dt
通过这种策略可以保证背景模板的平稳性，同时，为了保持像素空间的一致性，Vibe算法使用相同的方法随机选择8个邻域中的一个像素进行背景模板更新；视频通过Vibe算法的处理后，可以得到视频中每一帧图像的运动轨迹。
技术方案中所述的图像中的连通域做Sobel边缘检测，得到运动轨迹图片中各个连通域的边缘轮廓是指：
首先将图像与Sobel算子作平面卷积，设待处理图像为A，Sobel算子由Gx和Gy组成,如下所示：
图像的每一个像素点梯度计算如下：
|G|＝|Gx|+|Gy|
当梯度G大于阈值0.8时，认为该点为边缘点，边缘点构成的集合为图片中的连通域的边缘区域，边缘区域用于定位视频中各个物体的运动位置。
技术方案中所述的将待检测图像块与烟雾特征判别模型输入到SVM中做回归并分类，标记判别为烟雾的图像块是指：
(1)将生成待检测图像块与得到烟雾特征判据模型同时作为SVM的输入，SVM的输出会将每一个图像块判别为烟雾或者为非烟雾，记录所有判别为烟雾的待检测图像块所对应的质心坐标；
(2)在视频对应的该帧图片中，在所有判别为烟雾的待检测图像块所对应的质心坐标为中心，框取出100*100的方形，这样处理后的结果图即为视频中烟雾所在的区域。
与现有技术相比本发明的有益效果是：
1.对比目前的视频烟雾检测方法，本发明所述的采用图像块特征识别与回归分类的火灾烟雾检测方法在高清视频的处理上更具有针对性，并提高了准确性；
2.对比目前的视频烟雾检测方法，本发明所述的采用图像块特征识别与回归分类的火灾烟雾检测方法能够准确定位烟雾位置，检测效果更具可信度，方便火源的进一步定位，有利于火警的迅速判断处理与早期消除；
3.对比目前的视频烟雾检测方法，本发明所述的采用图像块特征识别与回归分类的火灾烟雾检测方法提取特征较少，特征形式多样，处理时间较短，可以达到实时检测。
附图说明
下面结合附图对本发明作进一步的说明：
图1为本发明所述的采用图像块特征识别与回归分类的火灾烟雾检测方法的流程框图；
图2为图1中本发明所述的采用图像块特征识别与回归分类的火灾烟雾检测方法中步骤1的流程框图；
图3为图1中本发明所述的采用图像块特征识别与回归分类的火灾烟雾检测方法中步骤2的流程框图；
图4为图1中本发明所述的采用图像块特征识别与回归分类的火灾烟雾检测方法中步骤3的流程框图；
图5为本发明所述的采用图像块特征识别与回归分类的火灾烟雾检测方法的烟雾图像数据集实例中的正样本图像示意图；
图6为本发明所述的采用图像块特征识别与回归分类的火灾烟雾检测方法的烟雾图像数据集实例中的负样本图像示意图；
图7为本发明所述的采用图像块特征识别与回归分类的火灾烟雾检测方法的实例中的SVM训练模型的ROC曲线；
图8为本发明所述的采用图像块特征识别与回归分类的火灾烟雾检测方法的实例中的待检测烟雾视频中某一帧图像；
图9为本发明所述的采用图像块特征识别与回归分类的火灾烟雾检测方法的实例中的待检测烟雾视频中该帧对应Vibe算法生成的运动区域图；
图10为本发明所述的采用图像块特征识别与回归分类的火灾烟雾检测方法的实例中的运动区域图片经闭运算处理得到的图像；
图11为本发明所述的采用图像块特征识别与回归分类的火灾烟雾检测方法的实例中的经闭运算处理的图片用Sobel算子做边缘检测得到的图像；
图12为采用本发明所述的采用图像块特征识别与回归分类的火灾烟雾检测方法的实例中的处理得到的最终图像。
具体实施方式
下面结合附图对本发明作详细的描述：
参阅图1.本发明所述的采用图像块特征识别与回归分类的火灾烟雾检测方法的步骤如下：
1.参阅图2，对烟雾图像数据集进行特征提取与特征融合，并将数据集放入SVM进行学习训练，得到烟雾特征判据模型：
1)制作烟雾图像数据集
本方法涉及图像处理领域，因此有必要用图像展现处理步骤；烟雾数据集来源于网络与实际高清摄像机拍摄，并经过筛选，烟雾图像数据集分为训练集和测试集，其中训练集中有1327张图像，分为正样本集与负样本集，正样本集为烟雾图像块，共有550张图像，参阅图5，负样本集为无烟雾的图像块，共777张图像，参阅图6，正负样本集均为100*100像素大小；
测试集中共1465张图像，分类方式与训练集相类似，分为正样本集与负样本集，正样本集为烟雾图像块，共688张图像，负样本集为无烟雾的图像块，共777张图像，测试集与训练集中的图像不存在重复，正负样本集同样均为100*100像素大小；
2)将烟雾图像数据集中的所有图像做灰度化处理：
目前的彩色图像大部分是RGB(红、绿、蓝)颜色模式，RGB颜色模式分为三个通道，分别为R(红色)，G(绿色)，B(蓝色)通道，灰度化处理可将彩色图像转化为黑白模式图像，具体转换公式如下：
Gray(i,j)＝0.299×R(i,j)+0.578×G(i,j)+0.114×B(i,j)
式中：R为RGB颜色模式中R通道，G为RGB颜色模式中G通道，B为RGB颜色模式中B通道；
图像经过灰度化处理便于后续操作；
3)提取每张图像的CS-LBP即中心对称局部二进制模式特征：
在灰度图像中，记像素gc(I,j)的8邻域像素点顺时针分别为gp(I,j)(p＝0,1,…,7)，8邻域像素点的CS-LBP特征如下：
CS-LBP＝s(g0,g4)20+s(g1,g5)21+s(g2,g6)22+s(g3,g7)23
式中：t为事先设定的阈值，一般设为0；
4)提取每张图像的LPQ即局部二值量化特征：
对于M×M的图像块，离散的短时傅里叶变换表示为：
式中：u表示频率，局部傅里叶系数通过u1＝[a,0]T，u2＝[0,a]T，u3＝[a,a]T，u4＝[a,-a]T计算，每个像素的位置通过向量表示为：
F(x)＝[F(u1,x),F(u2,x),F(u3,x),F(u4,x)]
傅里叶系数相位使用每部分的实数与虚数的符号表示：
式子中pj是向量G(x)＝[Re{F(x)},Im{F(x)}]的第j部分，最后对其进行二进制编码：
经过上述操作得到每张图像的LPQ即局部二值量化特征；
5)将处理后得到的每张图像的CS-LBP特征作为图像的空域特征，LPQ特征作为图像的频域特征；对每张图片提取的CS-LBP特征与LPQ特征串行连接，作为每张图像的融合特征并记录；
6)对融合特征利用支持向量机SVM进行学习训练得到烟雾特征判据模型：
对融合特征利用支持向量机SVM进行学习训练，即SVM的输入为融合后的特征，SVM输出一个烟雾特征判据模型：
(1)将样本进行标记，设存在烟雾的图像样本标签为1，设不存在烟雾的图像样本标签为-1；
(2)使用径向基函数作为SVM的核函数，通过对训练集交叉验证的方式调整SVM中参数c和g的取值以此来获得最高的精确度，从而得到最佳的训练模型，对于SVM训练得到的模型，通常用该模型的ROC曲线表示其分类效果，ROC曲线的纵轴为“真正例率”(TruePositive Rate,简称TPR),横轴为“假正例率”(False Positive Rate，简称FPR)，TPR与FPR的定义为：
式中：
TP(True Positive，真正类)：预测结果为正类，实际为正类；
FP(False Positive，假正类)：预测结果为正类，实际为负类；
FN(False negative，假负类)：预测结果为负类，实际为正类；
TN(True negative，真负类)：预测结果为负类，实际为负类；
参阅图7，ROC曲线越靠近左上角，代表SVM输出的预测模型准确性越高，本模型的ROC曲线如图中所示；
2.参阅图3，处理待检测视频,得到待检测图像块：
1)将待检测视频按帧转换成图像序列；
2)参阅图8、图9，利用Vibe算法提取待检测视频中的运动轨迹，利用Vibe算法提取待检测视频的运动轨迹的方法为：
(1)将第一帧图像序列中每一个像素点均从其8邻域中随机选择一个像素保存到其背景模板中，将此步骤重复N次后，记像素x位置处的欧式色彩空间值为V(x)，背景建立的模板为M(x)＝{V1,V2,V3,…，VN}，即Vi为背景样本空间中的像素值；
(2)定义一个以像素V(x)为中心，R为半径的球体SR(V(x)),计算V(x)与M(x)中N个样本的欧氏距离，根据M(x)与SR(V(x))交集的个数判断当前像素是否为运动目标；
(3)当像素V(x)判断为背景时，更新过程中随机选择背景样本M(x)中的一个值，用V(x)替换，同时等概率更新该邻域的背景模板样本值，dt时间后模板样本随时间变化的概率为：
P(t,t+dt)＝e-ln(N/N-1)dt
通过这种策略可以保证背景模板的平稳性，同时，为了保持像素空间的一致性，Vibe算法使用相同的方法随机选择8个邻域中的一个像素进行背景模板更新；视频通过Vibe算法的处理后，可以得到视频中每一帧图像的运动轨迹，如图6所示；
3)参阅图10，将运动区域图片进行闭运算处理，以减少运动轨迹图片中连通域的数量；
4)参阅图11，将步骤3)即将运动区域图片进行闭运算处理后得到的图片中的连通域做Sobel边缘检测，得到运动轨迹图片中各个连通域的边缘轮廓；
将图像中的连通域做Sobel边缘检测步骤为：将图像与Sobel算子作平面卷积，设待处理图像为A，Sobel算子如下：
图像的每一个像素点梯度计算如下：
|G|＝|Gx|+|Gy|
当梯度G大于阈值0.8时，认为该点为边缘点，边缘点构成的集合为图像中的连通域的边缘区域，边缘区域用于定位视频中各个物体的运动位置；
5)生成待检测图像块：
计算每一个连通域的质心坐标，并以该质心坐标为中心，在该运动轨迹对应的原图像序列中截取100*100的方形图片，当质心坐标位于图像的边缘时则予以舍弃，这样形成的数个100*100的待检测图像，称为待检测图像块；
3.参阅图4，将待检测图像块与烟雾特征判据模型输入到SVM中做回归并分类，标记判别为烟雾的图像块：
1)将步骤2中的步骤5)生成待检测图像块中的待检测图像块与步骤1的步骤6)得到烟雾特征判据模型同时作为SVM的输入，SVM的输出会将每一个图像块判别为烟雾或者为非烟雾，记录所有判别为烟雾的待检测图像块所对应的质心坐标；
2)参阅图12，在视频对应的该帧图像中，在所有判别为烟雾的待检测图像块所对应的质心坐标为中心，框取出100*100的方形，这样处理后的结果图即为视频中烟雾所在的区域。

Claims (9)

1.一种采用图像块特征识别与回归分类的火灾烟雾检测方法，其特征在于，所述的采用图像块特征识别与回归分类的火灾烟雾检测方法的步骤如下：
1)对烟雾图像数据集进行特征提取与特征融合，并将数据集放入SVM,得到烟雾特征判据模型；
2)处理待检测视频,得到待检测图像块；
3)将待检测图像块与烟雾特征判别模型输入到SVM中做回归并分类，标记判别为烟雾的图像块。
2.按照权利要求1所述的采用图像块特征识别与回归分类的火灾烟雾检测方法，其特征在于，所述的对烟雾图像数据集进行特征提取与特征融合，并将数据集放入SVM,得到烟雾特征判据模型是指：
1)制作烟雾图像数据集
烟雾图像数据集由各种渠道获得，一般需要人工手动整理，收集好的烟雾图像数据集分为训练集与测试集，训练集与测试集中均包含正样本集与负样本集，正样本集为烟雾图像块，负样本集为无烟雾的像素块，测试集与训练集中的图像不存在重复，正、负样本集均为100*100像素大小；
2)将烟雾图像数据集中的所有图像做灰度化处理：
目前的彩色图像大部分是RGB颜色模式，RGB颜色模式分为三个通道，分别为R即红色、G即绿色与B即蓝色通道，灰度化处理可将彩色图像转化为黑白模式图像，具体转换公式如下：
Gray(i,j)＝0.299×R(i,j)+0.578×G(i,j)+0.114×B(i,j)
式中：R为RGB颜色模式中R通道，G为RGB颜色模式中G通道，B为RGB颜色模式中B通道；
3)提取每张图像的CS-LBP即中心对称局部二进制模式特征：
4)提取每张图像的LPQ即局部二值量化特征；
5)将处理后得到的每张图像的CS-LBP特征作为图像的空域特征，LPQ特征作为图像的频域特征；对每张图像提取的CS-LBP特征与LPQ特征串行连接，作为每张图像的融合特征并记录；
6)对融合特征利用支持向量机SVM进行学习训练得到烟雾特征判据模型。
3.按照权利要求2所述的采用图像块特征识别与回归分类的火灾烟雾检测方法，其特征在于，所述的提取每张图像的CS-LBP即中心对称局部二进制模式特征是指：
在灰度图像中，记像素gc(i,j)的8邻域像素点顺时针分别为gp(i,j)(p＝0,1,…,7)，8邻域像素点的CS-LBP特征如下：
CS-LBP＝s(g0,g4)20+s(g1,g5)21+s(g2,g6)22+s(g3,g7)23
式中：t为事先设定的阈值，一般设为0。
4.按照权利要求2所述的采用图像块特征识别与回归分类的火灾烟雾检测方法，其特征在于，所述的提取每张图像的LPQ即局部二值量化特征是指：
对于M*M的图像块，离散的短时傅里叶变换表示为：
式中：u表示频率，局部傅里叶系数通过u1＝[a,0]T，u2＝[0,a]T，u3＝[a,a]T，u4＝[a,-a]T计算，每个像素的位置通过向量表示为：
F(x)＝[F(u1,x),F(u2,x),F(u3,x),F(u4,x)]
傅里叶系数相位使用每部分的实数与虚数的符号表示：
式子中pj是向量G(x)＝[Re{F(x)},Im{F(x)}]的第j部分，最后对其进行二进制编码：
经过上述操作得到每张图像的LPQ即局部二值量化特征。
5.按照权利要求2所述的采用图像块特征识别与回归分类的火灾烟雾检测方法，其特征在于，所述的对融合特征利用支持向量机SVM进行学习训练得到烟雾特征判据模型是指：
(1)将图像样本进行标记，设存在烟雾的图像样本标签为1，设不存在烟雾的图像样本标签为-1；
(2)使用径向基函数作为SVM的核函数，通过对训练集交叉验证的方式调整SVM中参数c和g的取值以此来获得最高的精确度，从而得到最佳的训练模型；对于SVM训练得到的模型，通常用该模型的ROC曲线表示其分类效果，ROC曲线的纵轴为“真正例率TPR”，横轴为“假正例率FPR”，TPR与FPR的定义为：
式中：TP即真正类：预测结果为正类，实际为正类；
FP即假正类：预测结果为正类，实际为负类；
FN即假负类：预测结果为负类，实际为正类；
TN即真负类：预测结果为负类，实际为负类；
ROC曲线越靠近左上角，所代表SVM输出的特征判据模型准确性越高。
6.按照权利要求1所述的采用图像块特征识别与回归分类的火灾烟雾检测方法，其特征在于，所述的处理待检测视频,得到待检测图像块是指：
1)将待检测视频按帧转换成图片序列；
2)利用Vibe算法提取待检测视频中的运动轨迹；
3)将运动区域图像进行闭运算处理，以减少运动轨迹图像中连通域的数量；
4)将运动区域图像进行闭运算处理后得到的图像中的连通域做Sobel边缘检测，得到运动轨迹图像中各个连通域的边缘轮廓；
5)生成待检测图像块：
计算每一个连通域的质心坐标，并以该质心坐标为中心，在该运动轨迹对应的原图片序列中截取100*100的方形图像，当质心坐标位于图像的边缘时则予以舍弃，这样形成的数个100×100的待检测图像作为待检测图像块。
7.按照权利要求6所述的采用图像块特征识别与回归分类的火灾烟雾检测方法，其特征在于，所述的利用Vibe算法提取待检测视频中的运动区域的方法为：
(1)将第一帧图像序列中每一个像素点均从其8邻域中随机选择一个像素保存到其背景模板中，将此步骤重复N次后，记像素x位置处的欧式色彩空间值为V(x)，背景建立的模板为M(x)＝{V1,V2,V3,…，VN}，即Vi为背景样本空间中的像素值；
(2)定义一个以像素V(x)为中心，R为半径的球体SR(V(x)),计算V(x)与M(x)中N个样本的欧氏距离，根据M(x)与SR(V(x))交集的个数判断当前像素是否为运动目标；
(3)当像素V(x)判断为背景时，更新过程中随机选择背景样本M(x)中的一个值，用V(x)替换，同时等概率更新该邻域的背景模板样本值，dt时间后模板样本随时间变化的概率为：
P(t,t+dt)＝e-ln(N/N-1)dt
通过这种策略可以保证背景模板的平稳性，同时，为了保持像素空间的一致性，Vibe算法使用相同的方法随机选择8个邻域中的一个像素进行背景模板更新；视频通过Vibe算法的处理后，可以得到视频中每一帧图像的运动轨迹。
8.按照权利要求6所述的采用图像块特征识别与回归分类的火灾烟雾检测方法，其特征在于，所述的图像中的连通域做Sobel边缘检测，得到运动轨迹图片中各个连通域的边缘轮廓是指：
首先将图像与Sobel算子作平面卷积，设待处理图像为A，Sobel算子由Gx和Gy组成,如下所示：
图像的每一个像素点梯度计算如下：
|G|＝|Gx|+|Gy|
当梯度G大于阈值0.8时，认为该点为边缘点，边缘点构成的集合为图片中的连通域的边缘区域，边缘区域用于定位视频中各个物体的运动位置。
9.按照权利要求1所述的采用图像块特征识别与回归分类的火灾烟雾检测方法，其特征在于，所述的将待检测图像块与烟雾特征判别模型输入到SVM中做回归并分类，标记判别为烟雾的图像块是指：
(1)将生成待检测图像块与得到烟雾特征判据模型同时作为SVM的输入，SVM的输出会将每一个图像块判别为烟雾或者为非烟雾，记录所有判别为烟雾的待检测图像块所对应的质心坐标；
(2)在视频对应的该帧图片中，在所有判别为烟雾的待检测图像块所对应的质心坐标为中心，框取出100*100的方形，这样处理后的结果图即为视频中烟雾所在的区域。
CN201910420949.XA 2019-05-21 2019-05-21 采用图像块特征识别与回归分类的火灾烟雾检测方法 Pending CN110135374A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910420949.XA CN110135374A (zh) 2019-05-21 2019-05-21 采用图像块特征识别与回归分类的火灾烟雾检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910420949.XA CN110135374A (zh) 2019-05-21 2019-05-21 采用图像块特征识别与回归分类的火灾烟雾检测方法

Publications (1)

Publication Number Publication Date
CN110135374A true CN110135374A (zh) 2019-08-16

Family

ID=67571901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910420949.XA Pending CN110135374A (zh) 2019-05-21 2019-05-21 采用图像块特征识别与回归分类的火灾烟雾检测方法

Country Status (1)

Country Link
CN (1) CN110135374A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738218A (zh) * 2019-10-14 2020-01-31 国网山东省电力公司电力科学研究院 一种输电线路通道烟火隐患识别方法及装置
CN111967394A (zh) * 2020-08-18 2020-11-20 北京林业大学 一种基于动静态网格融合策略的森林火灾烟雾根节点检测方法
CN112115878A (zh) * 2020-09-21 2020-12-22 北京林业大学 一种基于烟雾区域密度的森林火灾烟雾根节点检测方法
CN112235539A (zh) * 2020-10-11 2021-01-15 任晓娇 一种基于物联网的安防监测系统与监测方法、介质
CN112560944A (zh) * 2020-12-14 2021-03-26 广东电网有限责任公司珠海供电局 一种基于图像识别的充电桩起火检测方法
CN112580396A (zh) * 2019-09-29 2021-03-30 东北林业大学 一种森林火灾识别方法
CN112614298A (zh) * 2020-12-09 2021-04-06 杭州拓深科技有限公司 一种基于类内交互约束分层单分类的复合烟感监测方法
CN112927272A (zh) * 2021-03-30 2021-06-08 南京工程学院 一种基于空间通用自回归模型的图像融合方法
CN113345039A (zh) * 2021-03-30 2021-09-03 西南电子技术研究所（中国电子科技集团公司第十研究所） 三维重建量化结构光相位图像编码方法
CN113537213A (zh) * 2021-07-14 2021-10-22 安徽炬视科技有限公司 一种基于可变卷积核的烟雾明火检测算法
CN114998842A (zh) * 2022-08-03 2022-09-02 广东电网有限责任公司肇庆供电局 一种基于扰动放大的电力机房烟雾检测方法及系统
CN115187743A (zh) * 2022-07-29 2022-10-14 江西科骏实业有限公司 一种地铁站内部环境布置预测和白模采集方法及系统
CN116977327A (zh) * 2023-09-14 2023-10-31 山东拓新电气有限公司 一种滚筒驱动带式输送机烟雾检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013008A (zh) * 2010-09-16 2011-04-13 北京智安邦科技有限公司 一种基于支持向量机的烟雾检测方法及装置
CN102208018A (zh) * 2011-06-01 2011-10-05 西安工程大学 一种基于视频差异分析的输电线路火灾识别方法
CN105844295A (zh) * 2016-03-21 2016-08-10 北京航空航天大学 一种基于颜色模型与运动特征的视频烟雾精细分类方法
CN106228150A (zh) * 2016-08-05 2016-12-14 南京工程学院 基于视频图像的烟雾检测方法
CN108280409A (zh) * 2018-01-09 2018-07-13 浙江工业大学 一种基于多特征融合的大空间视频烟雾检测方法
CN108765454A (zh) * 2018-04-25 2018-11-06 深圳市中电数通智慧安全科技股份有限公司 一种基于视频的烟雾检测方法、装置及设备终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013008A (zh) * 2010-09-16 2011-04-13 北京智安邦科技有限公司 一种基于支持向量机的烟雾检测方法及装置
CN102208018A (zh) * 2011-06-01 2011-10-05 西安工程大学 一种基于视频差异分析的输电线路火灾识别方法
CN105844295A (zh) * 2016-03-21 2016-08-10 北京航空航天大学 一种基于颜色模型与运动特征的视频烟雾精细分类方法
CN106228150A (zh) * 2016-08-05 2016-12-14 南京工程学院 基于视频图像的烟雾检测方法
CN108280409A (zh) * 2018-01-09 2018-07-13 浙江工业大学 一种基于多特征融合的大空间视频烟雾检测方法
CN108765454A (zh) * 2018-04-25 2018-11-06 深圳市中电数通智慧安全科技股份有限公司 一种基于视频的烟雾检测方法、装置及设备终端

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘恺等: ""基于YUV颜色空间和多特征融合的视频烟雾检测"", 《传感技术学报》 *
宋克臣等: ""局部二值模式方法研究与展望"", 《自动化学报》 *
胡小冉等: ""一种新的基于Vibe的运动目标检测方法"", 《计算机科学》 *
赵鹏喜: ""基于LPQ特征向量和PCA的帘子布疵点识别算法研究"", 《安阳工学院学报》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580396A (zh) * 2019-09-29 2021-03-30 东北林业大学 一种森林火灾识别方法
CN110738218A (zh) * 2019-10-14 2020-01-31 国网山东省电力公司电力科学研究院 一种输电线路通道烟火隐患识别方法及装置
CN111967394A (zh) * 2020-08-18 2020-11-20 北京林业大学 一种基于动静态网格融合策略的森林火灾烟雾根节点检测方法
CN111967394B (zh) * 2020-08-18 2024-05-17 北京林业大学 一种基于动静态网格融合策略的森林火灾烟雾根节点检测方法
CN112115878A (zh) * 2020-09-21 2020-12-22 北京林业大学 一种基于烟雾区域密度的森林火灾烟雾根节点检测方法
CN112115878B (zh) * 2020-09-21 2024-05-14 北京林业大学 一种基于烟雾区域密度的森林火灾烟雾根节点检测方法
CN112235539B (zh) * 2020-10-11 2023-04-21 合肥岭雁科技有限公司 一种基于物联网的安防监测系统与监测方法、介质
CN112235539A (zh) * 2020-10-11 2021-01-15 任晓娇 一种基于物联网的安防监测系统与监测方法、介质
CN112614298A (zh) * 2020-12-09 2021-04-06 杭州拓深科技有限公司 一种基于类内交互约束分层单分类的复合烟感监测方法
CN112560944A (zh) * 2020-12-14 2021-03-26 广东电网有限责任公司珠海供电局 一种基于图像识别的充电桩起火检测方法
CN112560944B (zh) * 2020-12-14 2023-08-08 广东电网有限责任公司珠海供电局 一种基于图像识别的充电桩起火检测方法
CN113345039A (zh) * 2021-03-30 2021-09-03 西南电子技术研究所（中国电子科技集团公司第十研究所） 三维重建量化结构光相位图像编码方法
CN113345039B (zh) * 2021-03-30 2022-10-28 西南电子技术研究所（中国电子科技集团公司第十研究所） 三维重建量化结构光相位图像编码方法
CN112927272B (zh) * 2021-03-30 2023-12-12 南京工程学院 一种基于空间通用自回归模型的图像融合方法
CN112927272A (zh) * 2021-03-30 2021-06-08 南京工程学院 一种基于空间通用自回归模型的图像融合方法
CN113537213A (zh) * 2021-07-14 2021-10-22 安徽炬视科技有限公司 一种基于可变卷积核的烟雾明火检测算法
CN113537213B (zh) * 2021-07-14 2024-01-30 安徽炬视科技有限公司 一种基于可变卷积核的烟雾明火检测算法
CN115187743A (zh) * 2022-07-29 2022-10-14 江西科骏实业有限公司 一种地铁站内部环境布置预测和白模采集方法及系统
CN114998842A (zh) * 2022-08-03 2022-09-02 广东电网有限责任公司肇庆供电局 一种基于扰动放大的电力机房烟雾检测方法及系统
CN116977327B (zh) * 2023-09-14 2023-12-15 山东拓新电气有限公司 一种滚筒驱动带式输送机烟雾检测方法及系统
CN116977327A (zh) * 2023-09-14 2023-10-31 山东拓新电气有限公司 一种滚筒驱动带式输送机烟雾检测方法及系统

Similar Documents

Publication Publication Date Title
CN110135374A (zh) 采用图像块特征识别与回归分类的火灾烟雾检测方法
CN106874894B (zh) 一种基于区域全卷积神经网络的人体目标检测方法
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN112052797A (zh) 基于MaskRCNN的视频火灾识别方法及系统
CN105184818B (zh) 一种视频监控异常行为检测方法及其检测系统
CN114241548A (zh) 一种基于改进YOLOv5的小目标检测算法
CN110298297A (zh) 火焰识别方法和装置
CN104050478A (zh) 烟雾检测方法与系统
CN104978567A (zh) 基于场景分类的车辆检测方法
CN112926652B (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN107944403A (zh) 一种图像中的行人属性检测方法及装置
CN115457428A (zh) 融入可调节坐标残差注意力的改进YOLOv5火灾检测方法及装置
CN111724566A (zh) 基于智慧灯杆视频监控系统的行人跌倒检测方法和装置
CN107992875B (zh) 一种基于图像带通滤波的显著目标检测方法
CN104899559B (zh) 一种基于视频监控的快速行人检测方法
CN108073940A (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN116597438A (zh) 一种基于Yolov5的改进型水果识别方法及识别系统
CN113158954B (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法
CN114332781A (zh) 一种基于深度学习的智能车牌识别方法及系统
CN117475353A (zh) 基于视频的异常烟雾识别方法及系统
CN111339950B (zh) 一种遥感图像目标检测方法
CN107886060A (zh) 基于视频的行人自动检测与跟踪方法
CN113177439A (zh) 一种行人翻越马路护栏检测方法
CN114898287A (zh) 用于餐盘检测预警的方法、装置、电子设备、存储介质
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190816

WD01 Invention patent application deemed withdrawn after publication