CN113128412B - 一种基于深度学习及火灾监控视频的火灾趋势预测方法 - Google Patents

一种基于深度学习及火灾监控视频的火灾趋势预测方法 Download PDF

Info

Publication number
CN113128412B
CN113128412B CN202110435704.1A CN202110435704A CN113128412B CN 113128412 B CN113128412 B CN 113128412B CN 202110435704 A CN202110435704 A CN 202110435704A CN 113128412 B CN113128412 B CN 113128412B
Authority
CN
China
Prior art keywords
fire
image
matrix
images
col
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110435704.1A
Other languages
English (en)
Other versions
CN113128412A (zh
Inventor
张可
柴毅
曹珅莺
王露
刘爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202110435704.1A priority Critical patent/CN113128412B/zh
Publication of CN113128412A publication Critical patent/CN113128412A/zh
Application granted granted Critical
Publication of CN113128412B publication Critical patent/CN113128412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

一种基于深度学习及火灾监控视频的火灾趋势预测方法，具体方法为：1、监控视频分割，构建图像数据集；2、建立监控视频火灾图像检测模型；3、对实时图像进行火灾检测，并对检测结果进行分析，修正火灾图像检测模型；4、将火灾图像转化为灰度值矩阵；5、采用分布式LSTM集成预测模型对灰度值矩阵进行预测，转化为灰度图像。本发明将基于ResNet 18模型的图像异常检测技术用于火灾图像的识别；在图像异常检测中引入反馈机制；采用分布式LSTM集成预测模型预测下一帧图像的对应列的灰度值。

Description

一种基于深度学习及火灾监控视频的火灾趋势预测方法
技术领域
本发明涉及火灾趋势预测技术领域，特别是一种基于深度学习及火灾监控视频的火灾趋势预测方法。
背景技术
如今各种火灾事件频发，严重威胁到了人民的生命安全和财产安全，也给消防工作人员以及各级政府管理人员的工作带来极大的挑战。基于深度学习及火灾监控视频的火灾趋势预测方法，可以实施监测某地区是否发生火灾，以及预测火灾的发展趋势，便于相关人员及时做出应急决策。
发明内容
本发明的目的就是提供一种基于深度学习及火灾监控视频的火灾趋势预测方法。
本发明的目的是通过这样的技术方案实现的，具体步骤如下：
1)获取历史监控视频和实时监控视频，对历史监控视频和实时监控视频进行分割，构建历史图像数据集和实时图像数据集；
2)利用历史监控视频信息，结合迁移学习和公开的ResNet网络预训练模型，训练构建火灾图像检测模型；
3)通过火灾图像检测模型对实时图像数据集进行检测，对检测结果进行分析判断，反馈修正火灾图像检测模型：
4)将实时图像数据集中的数据通过火灾图像检测模型检测，对于连续长度超过预设值M的实时连续火灾图像，将其灰度化，构建多维灰度值多元时间序列；
5)采用分布式集成预测模型对步骤4)中所述多元时间序列进行预测，获得实时火灾灰度图像趋势预测结果。
进一步，步骤1)中所述对历史监控视频和实时监控视频进行分割的具体方法为：
将所有图像灰度化，计算帧数相邻两张灰度图像的像素点差值，获得一个像素点差值矩阵，公式如下：
poin_diff＝abs(An×m-Bn×m)
其中，An×m，Bn×m分别代表前面一张灰度图像的灰度值矩阵和后面一张灰度图像的灰度值矩阵，abs(·)代表取绝对值；
求poin_diff中元素的最大值Max；
寻找多组发生火灾前后的火灾监控视频的两帧图像，计算得到多组最大像素差值，r为其均值；
若该Max大于设定阈值r，且该段图片数量大于预设值N1，则切断视频流，将该段视频流中的图像作为一个图像数据集；
若该Max小于设定阈值r，且该段图片数量大于预设值N2，则切断视频流，将该段视频流中的图像作为一个图像数据集。
进一步，步骤2)中所述训练构建火灾图像检测模型的具体步骤如下：
2-1)对历史图像数据集是否为火灾图像进行二分类标注，分别标注为1(代表火灾图像)和0(代表一般图像)，选择相同数目的火灾图像和一般图像，构成历史火灾图像数据集；
2-2)将ResNet网络预训练模型的最后输出层单元个数修改为2，将历史火灾图像数据集的70％用于该模型的迁移学习，30％用于新训练的ResNet18模型的测试，获得火灾图像检测模型。
进一步，步骤3)中反馈修正火灾图像检测模型的具体步骤如下：
3-1)若识别出的火灾图像50％及以上是连续的，且连续长度超过预设值M，则系统立马发出火灾报警信号，转入人工系统核实校对检测结果是否正确；
若核 实检测结果正确，则将该连续段中缺少的那些图像筛选出来，由人工判断，是否为火灾图像；若是，则将火灾图像存入误分类图像数据库，并做好数据标注；若否，则不做任何处理；
若核 实检测结果错误，则将该段连续的所有图像筛选出来，由人工判断，模型分类结果是否正确，若是，则M＝M+L；若否，则分类错误的图像存入误分类图像数据库，并做好数据标注；
3-2)若识别出的火灾图像低于50％以上是连续的，或50％以上是连续但连续长度不超过预设值M，则不报警，将识别出的火灾图片转入人工系统核实校对，若核实错误，则将这几张图像放入误分类图像数据库，并做好数据标注；若核实正确，则不做任何处理；
3-3)若未识别出火灾图像，但是实际上已经发生火灾，则将该段时间内的所有实时图像数据集全部经由人工审核，将识别错的图像做好数据标注，并放入误分类图像数据库；
3-4)将误分类图像数据库的图像作为反馈训练数据集，重新输入火灾图像检测模型，以相对应的数据标注标签为对应输出，再一次训练模型。
进一步，步骤4)中所述构建多维灰度值多元时间序列的具体方法为：
4-1)对第i张火灾图像灰度化，获得第i张火灾图像的一个灰度值矩阵Matrixi，构成一个多元时间序列的样本；
Figure BDA0003032940700000031
其中anm代表像素点为n×m处的灰度值；
4-2)将所有连续的实时火灾图像的灰度值矩阵按时间顺序排列，构成一个总体的多元时间序列集合Q＝[Matrix1；Matrix2；...；Matrixi；...Matrixl]＝[col1,col2,...,coli,...,colm],l为多元时间序列的样本总数，m为多元时间序列的维度，coli表示多元时间序列Q的第i列数据。
进一步，步骤5)中所述获得实时火灾灰度图像趋势预测结果的具体步骤如下：
5-1)构建历史火灾演变图像数据集，并将其转化为灰度值多元时间序列 Q_his＝[Matrix_his1；Matrix_his2；...；Matrix_hisl]；
5-2)以Qin＝[Matrix_his1；Matrix_his2；...；Matrix_hisl-1]＝[col_in1,col_in2,...,col_inm]为输入数据集，令Qout＝[Matrix_his2；Matrix_his3；...；Matrix_hisl]＝[col_out1,col_out2,...,col_outm]；
5-3)通过主成分分析方法对Qin进行降维处理，取前面累计贡献度达到95％的主成分作为输入数据，分别以col_outi，i＝1,2,...,m为对应输出数据，构建合适的深度学习网络预测模型Mul_pre_modei，i＝1,2,...,m，获得由m个深度学习网络预测模型构成的分布式集成预测模型；
5-4)将步骤4)构建的实时连续火灾图像对应的多元时间序列 Q_tar＝[Matrix_tar1；Matrix_tar2；...；Matrix_tarl]，分别输入训练好的Mul_pre_modei，i＝1,2,...,m，预测得到下一帧图像的灰度值矩阵中第i列灰度值pre_1_coli＝[b_11i,b_12i,...,b_1ni]，i＝1,2,...,m，进而获得下一帧火灾图像灰度值矩阵 pre_1_matrix＝[pre_1_col1,pre_1_col2,...,pre_1_colm]；
5-5)将灰度值矩阵pre_1_matrix转变成灰度图像，即下一时刻的预测灰度图像；
5-6)将预测所得灰度值矩阵减去目前已知序列的最后一个灰度值矩阵，即diff1＝pre_1_matrix-Matrix_tarl，将矩阵diff1转换为热力图，生成实时监控视频中图像的变化趋势图像；
5-7)将第一步预测所得矩阵pre_1_matrix加入Q_tar的末尾，同时去掉第一个灰度值矩阵，即Q_tar＝[Matrix_tar2；...；Matrix_tarl；pre_1_matrix]，重复步骤5-4)到5-6)，获得 pre_2_matrix和diff2；再将pre_2_matrix加入Q_tar的末尾，同时去掉第一个灰度值矩阵，即 Q_tar＝[Matrix_tar3；...；Matrix_tarl；pre_1_matrix；pre_2_matrix]，重复步骤5-4)到5-6)，获得 pre_3_matrix和diff3；以此类推，直到实现图像的n步预测；
其中，pre_j_matrix(j＝1,2,...,k)中所有元素为正整数，对于非正整数的元素，采用四舍五入的方法对其进行取整化。j表示预测图像的帧序号，k表示所需预测的步长或总共需要预测的图像帧数。
由于采用了上述技术方案，本发明具有如下的优点：
1、采用迁移学习和公开预训练的ResNet网络模型，用于监控视频的火灾图像检测，解决了监控视频中火灾图像少的问题，也充分发挥了深度学习的图像特征提取能力，有利于准确识别出监控视频中的火灾图像；
2、通过设定连续时间长度，增强火灾预警系统的鲁棒性，减少虚警事件；
3、在检测模型中加入反馈机制，将被识别错误的图像重新构成误分类火灾图像数据集，重新对检测模型进行反馈训练，进一步提高模型的诊断识别能力；
4、在火灾图像检测模型的基础上，采用分布式集成预测模型，实现图像到图像的灰度值预测，减少了模型预测时间以及计算复杂度。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。
附图说明
本发明的附图说明如下。
图1为本发明的流程示意图；
图2为分布式集成预测模型的预测流程示意图；
图3为实施例中的热力图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
实施例一：
假设有三张连续的火灾图像的灰度值矩阵分别为：
Figure BDA0003032940700000051
Figure BDA0003032940700000052
预测所得的下一帧图像的灰度值矩阵为
Figure BDA0003032940700000053
则有：
第一步：用于预测的历史多元时间序列为(T表示转置)：
Figure BDA0003032940700000054
第二步：
LSTM1(Q)＝[100 100 76]T,LSTM2(Q)＝[110 90 69]T,LSTM3(Q)＝[130 98 75]T，将 pre_1_matrix中的元素数据类型转换为unit8，再将灰度值矩阵转换为灰度图像；
第三步：将预测所得灰度值矩阵减去目前已知序列的最后一个灰度值矩阵，获得一个像素点差值矩阵，即
Figure BDA0003032940700000055
将diff1转换成热力图分析，差值较大的地方，极大可能为火势变化较大的地方，通过该图像可以较为明显看出火势的具体变化情况；如本例中的热力图如图3所示；
第四步：预测再下一帧灰度图像的灰度值矩阵的历史多元时间序列为：
Figure BDA0003032940700000056
一种基于深度学习及火灾监控视频的火灾趋势预测方法，以监控视频为研究对象。
如图1所示，具体实施步骤分为五个模块：通过分割监控视频获取图像数据集、构建基于ResNet网络模型的火灾图像检测方法、分析检测结果并对检测模型进行反馈修正、构建基于连续图像灰度值的多元时间序列、采用深度学习网络预测模型对火灾灰度图像进行趋势预测。
第一部分，获取历史监控视频和实时监控视频，对历史监控视频和实时监控视频进行分割，构建历史图像数据集和实时图像数据集，具体包括以下步骤：
S1、将所有图像灰度化，计算帧数相邻两张灰度图像的像素点差值，获得一个像素点差值矩阵，公式如下：
poin_diff＝abs(An×m-Bn×m)
其中，An×m，Bn×m分别代表前面一张灰度图像的灰度值矩阵和后面一张灰度图像的灰度值矩阵，abs(·)代表取绝对值；
S2、求poin_diff中元素的最大值Max；
S3、寻找多组发生火灾前后的火灾监控视频的两帧图像，计算得到多组最大像素点差值， r为其均值。
S4、若该Max大于设定阈值r，且该段图片数量大于预设值N1，则切断视频流，将该段视频流中的图像作为一个图像数据集；
若该Max小于设定阈值r，且该段图片数量大于预设值N2，则切断视频流，将该段视频流中的图像作为一个图像数据集。
第二部分，利用历史监控视频信息，结合迁移学习和公开的ResNet网络预训练模型，训练构建火灾图像检测模型，具体包括以下步骤：
S1、对历史图像数据集是否为火灾图像进行二分类标注，分别标注为1(代表火灾图像)和0(代表一般图像)，选择相同数目的火灾图像和一般图像，构成历史火灾图像数据集；
S2、将ResNet网络预训练模型的最后输出层单元个数修改为2，将历史火灾图像数据集的70％用于该模型的迁移学习，30％用于新训练的ResNet网络模型的测试，获得火灾图像检测模型。
第三部分，分析检测结果并对检测模型进行反馈修正，具体包括以下步骤：
S1、通过火灾图像检测模型对实时图像数据集进行检测；
S2、若识别出的火灾图像50％及以上是连续的，且连续长度超过预设值M，则系统立马发出火灾报警信号，转入人工系统核实校对检测结果是否正确；
若核实检测结果正确，则将该连续段中缺少的那些图像筛选出来，由人工判断，是否为火灾图像；若是，则将火灾图像存入误分类图像数据库，并做好数据标注；若否，则不做任何处理；
若核实检测结果错误，则将该段连续的所有图像筛选出来，由人工判断，模型分类结果是否正确，若是，则在M＝M+L；若否，则分类错误的图像存入误分类图像数据库，并做好数据标注；
S3、若识别出的火灾图像低于50％以上是连续的，或50％以上是连续但连续长度不超过预设值M，则不报警，将图片转入人工系统核实校对，若核实错误，则将这几张图像放入误分类图像数据库，并做好数据标注；若核实正确，则不做任何处理；
S4、将误分类图像数据库的图像作为反馈训练数据集，重新输入火灾图像检测模型，以相对应的数据标注标签为对应输出，再一次训练模型；
第四部分，将实时图像数据集中的数据通过火灾图像检测模型检测，对于连续长度超过预设值M的实时连续火灾图像，将其灰度化，构建多维灰度值多元时间序列，具体包括以下步骤：
S1、对第i张火灾图像灰度化，获得第i张火灾图像的一个灰度值矩阵Matrixi，构成一个多元时间序列的样本；
Figure BDA0003032940700000071
其中anm代表像素点为n×m处的灰度值；
S2、将所有连续的实时火灾图像的灰度值矩阵按时间顺序排列，构成一个总体的多元时间序列集合Q＝[Matrix1；Matrix2；...；Matrixi；...Matrixl]＝[col1,col2,...,coli,...,colm],l为多元时间序列的样本总数，m为多元时间序列的维度，coli表示多元时间序列Q的第i列数据，请见实施例一第一步；
第五部分，采用分布式集成预测模型对第四部分中所述多元时间序列进行分布预测，获得实时火灾灰度图像趋势预测结果，具体包括以下步骤：
S1、构建历史火灾演变图像数据集，并将其转化为灰度值多元时间序列 Q_his＝[Matrix_his1；Matrix_his2；...；Matrix_hisl]；
S2、以Qin＝[Matrix_his1；Matrix_his2；...；Matrix_hisl-1]＝[col_in1,col_in2,...,col_inm]为输入数据集，令Qout＝[Matrix_his2；Matrix_his3；...；Matrix_hisl]＝[col_out1,col_out2,...,col_outm]；
S3、通过主成分分析方法对Qin进行降维处理，取前面累计贡献度达到95％的主成分作为输入数据，分别以col_outi(i＝1,2,...,m)为对应输出数据，构建合适的深度学习网络预测模型Mul_pre_modei(i＝1,2,...,m)，获得由m个深度学习网络预测模型构成的分布式集成预测模型；
通过实施例一和附图2可以明确采用分布式集成预测模型预测下一帧图像的流程和步骤：
S4、构建实时多元时间序列为(T表示转置)：
Figure BDA0003032940700000081
S5、将实时多元时间序列Q输入各个子LSTM模型，获得预测结果分别为： DLN1(Q)＝[100 100 76]T,DLN2(Q)＝[110 90 69]T,DLN3(Q)＝[130 98 75]T，将pre_1_matrix 中的元素数据类型转换为unit8，再将灰度值矩阵转换为灰度图像；
S6、将预测所得灰度值矩阵减去目前已知序列的最后一个灰度值矩阵，获得一个像素点差值矩阵，即
Figure BDA0003032940700000082
将diff1转换成热力图分析，差值较大的地方，极大可能为火势变化较大的地方，通过该图像可以较为明显看出火势的具体变化情况；如本例中的热力图如图3所示；
由于火势越大的地方越明亮，灰度值也越大，所以差值为负数代表火势在减弱，正直代表火势在增大，且差值的绝对值越大，代表变化越大。由上述热力图可以看出，颜色深的地方火势增大，颜色浅的地方火势在减弱。
S7、将第一步预测所得矩阵pre_1_matrix加入Q的末尾，同时去掉Q的第一个灰度值矩阵，获得预测再下一帧灰度图像的灰度值矩阵的历史多元时间序列为：
Figure BDA0003032940700000083
再重复步骤S5、S6，diff1变为diff2，pre_1_matrix变为pre_2_matrix，以此类推，直到实现图像的k步预测。
构建历史图像数据集的过程中，应采用同一个监控视频的图像，应该大小相同，图像中场景环境的背景相同。
在深度学习网络预测模型对火灾发展趋势预测过程中，要求训练模型的火灾图像和需要进行预测的火灾图像为同一类，即训练图像和预测图像中所处的天气环境和燃烧材质对于火势发展的影响相近；否则，可采用迁移学习的方法，在基于其他类训练火灾图像的深度学习网络预测模型的基础上，采用火灾现场少数连续的实时火灾图像，对模型进行再次训练，然后再进行实时预测。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/ 或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于深度学习及火灾监控视频的火灾趋势预测方法，其特征在于，具体步骤如下：
1)获取历史监控视频和实时监控视频，对历史监控视频和实时监控视频进行分割，构建历史图像数据集和实时图像数据集；
2)利用历史监控视频信息，结合迁移学习和公开的ResNet网络预训练模型，训练构建火灾图像检测模型；
3)通过火灾图像检测模型对实时图像数据集进行检测，对检测结果进行分析判断，反馈修正火灾图像检测模型：
4)将实时图像数据集中的数据通过火灾图像检测模型检测，对于连续长度超过预设值M的实时连续火灾图像，将其灰度化，构建多维灰度值多元时间序列；
5)采用分布式集成预测模型对步骤4)中所述多元时间序列进行预测，获得实时火灾灰度图像趋势预测结果；
步骤3)中反馈修正火灾图像检测模型的具体步骤如下：
3-1)若识别出的火灾图像50％及以上是连续的，且连续长度超过预设值M，则系统立马发出火灾报警信号，转入人工系统核实校对检测结果是否正确；
若核 实检测结果正确，则将连续识别出的火灾图像中缺少的那些图像筛选出来，由人工判断，是否为火灾图像；若是，则将火灾图像存入误分类图像数据库，并做好数据标注；若否，则不做任何处理；
若核 实检测结果错误，则将连续识别出的火灾图像的所有图像筛选出来，由人工判断，模型分类结果是否正确，若是，则M的长度重新设置，使其等于该次误报警中的火灾图像连续长度值；若否，则分类错误的图像存入误分类图像数据库，并做好数据标注；
3-2)若识别出的火灾图像低于50％以上是连续的，或50％以上是连续但连续长度不超过预设值M，则不报警，将识别出的火灾图片转入人工系统核实校对，若核实错误，则将识别出的火灾图像放入误分类图像数据库，并做好数据标注；若核实正确，则不做任何处理；
3-3)若未识别出火灾图像，但是实际上已经发生火灾，则将火灾发生时间内的所有实时图像数据集全部经由人工审核，将识别错的图像做好数据标注，并放入误分类图像数据库；
3-4)将误分类图像数据库的图像作为反馈训练数据集，重新输入火灾图像检测模型，以相对应的数据标注标签为对应输出，再一次训练模型。
2.如权利要求1所述的一种基于深度学习及火灾监控视频的火灾趋势预测方法，其特征在于，步骤1)中所述对历史监控视频和实时监控视频进行分割的具体方法为：
将所有图像灰度化，计算帧数相邻两张灰度图像的像素点差值，获得一个像素点差值矩阵，公式如下：
poin_diff＝abs(An×m-Bn×m)
其中，An×m，Bn×m分别代表前面一张灰度图像的灰度值矩阵和后面一张灰度图像的灰度值矩阵，abs(·)代表取绝对值；
求poin_diff中元素的最大值Max；
寻找多组发生火灾前后的火灾监控视频的两帧图像，计算得到多组最大像素差值，r为其均值；
若相邻图片像素点的最大灰度差值Max大于设定阈值r，且图片连续长度大于预设值N1，则切断视频流，将切断视频流中的图像作为一个图像数据集；
若相邻图片像素点的最大灰度差值Max小于设定阈值r，且图片连续长度大于预设值N2，则切断视频流，将切断视频流中的图像作为一个图像数据集。
3.如权利要求2所述的一种基于深度学习及火灾监控视频的火灾趋势预测方法，其特征在于，步骤2)中所述训练构建火灾图像检测模型的具体步骤如下：
2-1)对历史图像数据集是否为火灾图像进行二分类标注，分别标注为1和0，1代表火灾图像，0代表一般图像；选择相同数目的火灾图像和一般图像，构成历史火灾图像数据集；
2-2)将ResNet网络预训练模型的最后输出层单元个数修改为2，将历史火灾图像数据集的70％用于该模型的迁移学习，30％用于新训练的ResNet18模型的测试，获得火灾图像检测模型。
4.如权利要求3所述的一种基于深度学习及火灾监控视频的火灾趋势预测方法，其特征在于，步骤4)中所述构建多维灰度值多元时间序列的具体方法为：
4-1)对第i张火灾图像灰度化，获得第i张火灾图像的一个灰度值矩阵Matrixi，构成一个多元时间序列的样本；
Figure FDA0003614922140000021
其中anm代表像素点为n×m处的灰度值；
4-2)将所有连续的实时火灾图像的灰度值矩阵按时间顺序排列，构成一个总体的多元时间序列集合Q＝[Matrix1；Matrix2；...；Matrixi；...Matrixl]＝[col1,col2,...,coli,...,colm],l为多元时间序列的样本总数，m为多元时间序列的维度，coli表示多元时间序列Q的第i列数据。
5.如权利要求4所述的一种基于深度学习及火灾监控视频的火灾趋势预测方法，其特征在于，步骤5)中所述获得实时火灾灰度图像趋势预测结果的具体步骤如下：
5-1)构建历史火灾演变图像数据集，并将其转化为灰度值多元时间序列Q_his＝[Matrix_his1；Matrix_his2；...；Matrix_hisl]；
5-2)以Qin＝[Matrix_his1；Matrix_his2；...；Matrix_hisl-1]＝[col_in1,col_in2,...,col_inm]为输入数据集，令Qout＝[Matrix_his2；Matrix_his3；...；Matrix_hisl]＝[col_out1,col_out2,...,col_outm]；
5-3)通过主成分分析方法对Qin进行降维处理，取前面累计贡献度达到95％的主成分作为输入数据，分别以col_outi，i＝1,2,...,m为对应输出数据，构建合适的深度学习网络预测模型Mul_pre_modei，i＝1,2,...,m，获得由m个深度学习网络预测模型构成的分布式集成预测模型；
5-4)将步骤4)构建的实时连续火灾图像对应的多元时间序列Q_tar＝[Matrix_tar1；Matrix_tar2；...；Matrix_tarl]，分别输入训练好的Mul_pre_modei，i＝1,2,...,m，预测得到下一帧图像的灰度值矩阵中第i列灰度值pre_1_coli＝[b_11i,b_12i,...,b_1ni]，i＝1,2,...,m，进而获得下一帧火灾图像灰度值矩阵pre_1_matrix＝[pre_1_col1,pre_1_col2,...,pre_1_colm]；
5-5)将灰度值矩阵pre_1_matrix转变成灰度图像，即下一时刻的预测灰度图像；
5-6)将预测所得灰度值矩阵减去目前已知序列的最后一个灰度值矩阵，即diff1＝pre_1_matrix-Matrix_tarl，将矩阵diff1转换为热力图，生成实时监控视频中图像的变化趋势图像；
5-7)将第一步预测所得矩阵pre_1_matrix加入Q_tar的末尾，同时去掉第一个灰度值矩阵，即Q_tar＝[Matrix_tar2；...；Matrix_tarl；pre_1_matrix]，重复步骤5-4)到5-6)，获得pre_2_matrix和diff2；再将pre_2_matrix加入Q_tar的末尾，同时去掉第一个灰度值矩阵，即Q_tar＝[Matrix_tar3；...；Matrix_tarl；pre_1_matrix；pre_2_matrix]，重复步骤5-4)到5-6)，获得pre_3_matrix和diff3；以此类推，直到实现图像的k步预测；
其中，pre_j_matrix(j＝1,2,...,k)中所有元素为正整数，对于非正整数的元素，采用四舍五入的方法对其进行取整化， j表示预测图像的帧序号，k表示所需预测的步长或总共需要预测的图像帧数。
CN202110435704.1A 2021-04-22 2021-04-22 一种基于深度学习及火灾监控视频的火灾趋势预测方法 Active CN113128412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110435704.1A CN113128412B (zh) 2021-04-22 2021-04-22 一种基于深度学习及火灾监控视频的火灾趋势预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110435704.1A CN113128412B (zh) 2021-04-22 2021-04-22 一种基于深度学习及火灾监控视频的火灾趋势预测方法

Publications (2)

Publication Number Publication Date
CN113128412A CN113128412A (zh) 2021-07-16
CN113128412B true CN113128412B (zh) 2022-06-07

Family

ID=76779015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110435704.1A Active CN113128412B (zh) 2021-04-22 2021-04-22 一种基于深度学习及火灾监控视频的火灾趋势预测方法

Country Status (1)

Country Link
CN (1) CN113128412B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580327B (zh) * 2023-07-12 2023-09-29 四川安信科创科技有限公司 基于无人机的火势发展预测方法及预测系统
CN117010532B (zh) * 2023-10-07 2024-02-02 电子科技大学 基于多模态深度学习的综合管廊火灾趋势预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830305A (zh) * 2018-05-30 2018-11-16 西南交通大学 一种结合dclrn网络和光流法的实时火灾监测方法
CN109492822A (zh) * 2018-11-24 2019-03-19 上海师范大学 空气污染物浓度时空域关联预测方法
CN109858516A (zh) * 2018-12-24 2019-06-07 武汉工程大学 一种基于迁移学习的火灾和烟雾预测方法、系统和介质
CN109993938A (zh) * 2017-12-30 2019-07-09 中国移动通信集团辽宁有限公司 火灾监测方法、装置、设备及介质
CN111291712A (zh) * 2020-02-25 2020-06-16 河南理工大学 基于插值的cn和胶囊网络的森林火灾识别方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11619927B2 (en) * 2017-11-03 2023-04-04 Drishti Technologies, Inc. Automatic analysis of real time conditions in an activity space
US10872251B2 (en) * 2018-07-10 2020-12-22 Tesla, Inc. Automated annotation techniques

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993938A (zh) * 2017-12-30 2019-07-09 中国移动通信集团辽宁有限公司 火灾监测方法、装置、设备及介质
CN108830305A (zh) * 2018-05-30 2018-11-16 西南交通大学 一种结合dclrn网络和光流法的实时火灾监测方法
CN109492822A (zh) * 2018-11-24 2019-03-19 上海师范大学 空气污染物浓度时空域关联预测方法
CN109858516A (zh) * 2018-12-24 2019-06-07 武汉工程大学 一种基于迁移学习的火灾和烟雾预测方法、系统和介质
CN111291712A (zh) * 2020-02-25 2020-06-16 河南理工大学 基于插值的cn和胶囊网络的森林火灾识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
fantine huot等.deep learning models for predicting wildfires from historical remote sensing data.《computer science》.2021,1-3. *
郑远攀等.深度学习在图像识别中的应用研究综述.《计算机工程与应用》.2019,(第12期),25-41. *

Also Published As

Publication number Publication date
CN113128412A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN111563557B (zh) 一种电力电缆隧道内目标检测的方法
CN113128412B (zh) 一种基于深度学习及火灾监控视频的火灾趋势预测方法
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN110827505A (zh) 一种基于深度学习的烟雾分割方法
CN113591866B (zh) 基于db与crnn的特种作业证件检测方法及系统
CN109117774B (zh) 一种基于稀疏编码的多视角视频异常检测方法
CN113160200B (zh) 一种基于多任务孪生网络的工业图像缺陷检测方法及系统
CN111914778A (zh) 一种基于弱监督学习的视频行为定位方法
CN112000830A (zh) 一种时序数据检测方法及装置
CN112529210A (zh) 模型训练方法、装置以及计算机可读存储介质
CN115331172A (zh) 一种基于监控视频的车间危险行为识别报警方法及系统
CN111191528A (zh) 基于深度学习的校园暴力行为检测系统和方法
CN111950457A (zh) 油田安全生产图像识别方法及系统
CN117132763A (zh) 电力图像异常检测方法、装置、计算机设备和存储介质
CN115761881A (zh) 一种基于改进yolov5-SFF的检测方法及系统
CN113486856A (zh) 一种基于语义分割和卷积神经网络的驾驶员不规范行为检测方法
CN117319223A (zh) 一种基于数字孪生技术的领导驾驶舱可视化方法及系统
CN116977904A (zh) 一种基于YOLOv5的快速识别大场景多人工衣检测方法
CN115205761A (zh) 一种事故原因离线智能诊断系统
Mahmoodpour et al. A learning based contrast specific no reference image quality assessment algorithm
CN113591647B (zh) 人体动作识别方法、装置、计算机设备和存储介质
CN114663731A (zh) 车牌检测模型的训练方法及系统、车牌检测方法及系统
KR102303111B1 (ko) 기계학습 기반 소프트웨어의 학습데이터 품질 평가 방법
CN114241354A (zh) 仓库人员行为识别方法、装置、计算机设备、存储介质
CN113033289A (zh) 一种基于dssd算法的安全帽佩戴检查方法、装置与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant