CN113743378B - 一种基于视频的火情监测方法和装置 - Google Patents

一种基于视频的火情监测方法和装置 Download PDF

Info

Publication number
CN113743378B
CN113743378B CN202111291551.4A CN202111291551A CN113743378B CN 113743378 B CN113743378 B CN 113743378B CN 202111291551 A CN202111291551 A CN 202111291551A CN 113743378 B CN113743378 B CN 113743378B
Authority
CN
China
Prior art keywords
picture
target
smoke
fire
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111291551.4A
Other languages
English (en)
Other versions
CN113743378A (zh
Inventor
颜秋宇
王宇翔
陈法融
权静月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Hongtu Information Technology Co Ltd
Original Assignee
Aerospace Hongtu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Hongtu Information Technology Co Ltd filed Critical Aerospace Hongtu Information Technology Co Ltd
Priority to CN202111291551.4A priority Critical patent/CN113743378B/zh
Publication of CN113743378A publication Critical patent/CN113743378A/zh
Application granted granted Critical
Publication of CN113743378B publication Critical patent/CN113743378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于视频的火情监测方法和装置，涉及图像处理的技术领域，包括：获取视频摄像头的流媒体数据，并对流媒体数据进行预处理，得到目标图片；利用YOLO‑V4算法对目标图片进行检测，确定出目标图片的边界框，其中，边界框包括：火情边界框和烟雾边界框；对边界框内的图片进行超像素分割，得到超像素分片，并对超像素分片进行分类，得到初始火情监测结果；基于初始火情监测结果构建外接矩形框，并将外接矩形框叠加在流媒体数据上，得到目标火情监测结果，解决了现有技术中视频火情监测技术的准确度较低的技术问题。

Description

一种基于视频的火情监测方法和装置
技术领域
本发明涉及图像处理的技术领域，尤其是涉及一种基于视频的火情监测方法和装置。
背景技术
目前的视频火情监测技术主要是利用视频图像的阈值（OTSU算法等）将烟火区域分割出来，此方法误报会比较多，容易后监测环境影响；部分技术也使用神经网络模型进行图像分割或目标检测，但方法流程较为简单，不能根据适应森林火情监测的复杂应用场景。
在现有技术中，对视频图像数据的数据预处理和数据增强方法较为简单，没法突出火情区域，导致监测准确度较低。
针对上述问题，还未提出有效的解决方案。
发明内容
有鉴于此，本发明的目的在于提供一种基于视频的火情监测方法和装置，以缓解现有技术中视频火情监测技术的准确度较低的技术问题。
第一方面，本发明实施例提供了一种基于视频的火情监测方法，包括：获取视频摄像头的流媒体数据，并对所述流媒体数据进行预处理，得到目标图片；利用YOLO-V4算法对所述目标图片进行检测，确定出所述目标图片的边界框，其中，所述边界框包括：火情边界框和烟雾边界框；对所述边界框内的图片进行超像素分割，得到超像素分片，并对所述超像素分片进行分类，得到初始火情监测结果；基于所述初始火情监测结果构建外接矩形框，并将所述外接矩形框叠加在所述流媒体数据上，得到目标火情监测结果。
进一步地，对所述流媒体数据进行预处理，得到目标图片，包括：将所述流媒体数据转化为多帧图片数据；对所述多帧图片数据进行均值滤波处理，得到所述目标图片。
进一步地，利用YOLO-V4算法对所述目标图片进行检测，确定出所述目标图片的边界框，包括：对所述目标图片进行图像均衡化处理，得到处理后的目标图片；利用YOLO-V4算法对所述处理后的目标图片进行分割，得到所述目标图片的边界框。
进一步地，对所述目标图片进行图像均衡化处理，得到处理后的目标图片，包括：将所述目标图片从RGB模式图片转换为YCbCr模式图片；对所述YCbCr模式图片进行亮度均衡化处理，得到所述处理后的YCbCr模式图片；将所述处理后的YCbCr模式图片转换为RGB模式图片，得到所述处理后的目标图片。
进一步地，对所述YCbCr模式图片进行亮度均衡化处理，得到所述处理后的YCbCr模式图片，包括：确定出所述YCbCr模式图片的灰度级和位深度；基于所述灰度级和所述位深度，计算出所述YCbCr模式图片的亮度分量的原始直方图的分布概率，其中，所原始直方图的分布概率用于表征所述YCbCr模式图片中各个灰度级的像素数量与所述YCbCr模式图片中的像素数量之间的比值；计算出所述各个灰度级的像素数量与所述YCbCr模式图片中的像素数量之间的比值之和，得到原始直方图的概率累计值；基于所述原始直方图的概率累计值，确定出各个灰度级的映射关系；基于所述映射关系，计算出均衡化直方图，并将所述均衡化直方图确定为所述处理后的YCbCr模式图片。
进一步地，对所述边界框内的图片进行超像素分割，得到超像素分片，并对所述超像素分片进行分类，得到初始火情监测结果，包括：确定出所述烟雾边界框内的图片的烟雾区域与所述烟雾边界框内的图片之间的第一比值；根据所述比值，确定出目标烟雾边界框，其中，所述目标烟雾边界框为所述比值大于第一预设阈值的烟雾边界框；对所述目标烟雾边界框内的图片和所述火情边界框内的图片进行超像素分割，得到所述超像素分片；对所述超像素分片进行分类，确定出目标超像素分片，其中，所述目标超像素分片为烟火像素分片；基于所述目标超像素分片，确定出所述目标烟雾边界框内的图片和所述火情边界框内的图片中的目标边界框，其中，所述目标边界框为所述目标烟雾边界框内的图片与所述目标烟雾边界框内的图片的超像素片之间的比值大于第二预设比值的目标烟雾边界框，和，所述火情边界框内的图片与所述火情边界框内的图片的超像素片之间的比值大于第三预设比值的目标火情边界框；将所述目标边界框确定为所述初始火情监测结果。
进一步地，所述方法还包括：
确定目标图片数据中的目标区域，其中，所述目标图片数据为所述多帧图片数据中的任意一帧图片数据，所述目标区域为所述目标图片数据中的任意一个区域；
若所述目标图片数据相邻的两帧图片数据中的目标区域存在火情或烟雾，且所述目标图片数据的目标区域不存在火情或烟雾，则构建所述目标区域的边界框；若所述目标图片数据相邻的两帧图片数据中的目标区域不存在火情或烟雾，且所述目标图片数据的目标区域存在火情或烟雾，则将所述目标区域对应的边界框标记为火情误判。
在本发明实施例中，通过获取视频摄像头的流媒体数据，并对流媒体数据进行预处理，得到目标图片；利用YOLO-V4算法对目标图片进行检测，确定出目标图片的边界框，其中，边界框包括：火情边界框和烟雾边界框；对边界框内的图片进行超像素分割，得到超像素分片，并对超像素分片进行分类，得到初始火情监测结果；基于初始火情监测结果构建外接矩形框，并将外接矩形框叠加在流媒体数据上，得到目标火情监测结果，达到了高效准确的进行视频火情监测的目的，进而解决了现有技术中视频火情监测技术的准确度较低的技术问题，从而实现了提高视频火情监测的准确度和效率的技术效果。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于视频的火情监测方法的流程图；
图2为本发明实施例提供的一种基于视频的火情监测装置的示意图；
图3为本发明实施例提供的一种电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
根据本发明实施例，提供了一种基于视频的火情监测方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种火情监测的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取视频摄像头的流媒体数据，并对所述流媒体数据进行预处理，得到目标图片；
步骤S104，利用YOLO-V4算法对所述目标图片进行检测，确定出所述目标图片的边界框，其中，所述边界框包括：火情边界框和烟雾边界框；
步骤S106，对所述边界框内的图片进行超像素分割，得到超像素分片，并对所述超像素分片进行分类，得到初始火情监测结果；
步骤S108，基于所述初始火情监测结果构建外接矩形框，并将所述外接矩形框叠加在所述流媒体数据上，得到目标火情监测结果。
在本发明实施例中，通过获取视频摄像头的流媒体数据，并对流媒体数据进行预处理，得到目标图片；利用YOLO-V4算法对目标图片进行检测，确定出目标图片的边界框，其中，边界框包括：火情边界框和烟雾边界框；对边界框内的图片进行超像素分割，得到超像素分片，并对超像素分片进行分类，得到初始火情监测结果；基于初始火情监测结果构建外接矩形框，并将外接矩形框叠加在流媒体数据上，得到目标火情监测结果，达到了高效准确的进行视频火情监测的目的，进而解决了现有技术中视频火情监测技术的准确度较低的技术问题，从而实现了提高视频火情监测的准确度和效率的技术效果。
在本发明实施例中，步骤S102包括如下步骤：
步骤S11，将所述流媒体数据转化为多帧图片数据；
步骤S12，对所述多帧图片数据进行均值滤波处理，得到所述目标图片。
在本发明实施例中，一般获取到的流媒体数据为RTSP/RTMP流媒体，按帧将流媒体数据转化为多帧图片数据，最后，使用均值滤波处理对多帧图片数据进行降噪得到目标图片。
需要说明的是，在得到目标图片之后，所述方法还包括如下：
确定目标图片数据中的目标区域，其中，所述目标图片数据为所述多帧图片数据中的任意一帧图片数据，所述目标区域为所述目标图片数据中的任意一个区域；
若所述目标图片数据相邻的两帧图片数据中的目标区域存在火情或烟雾，且所述目标图片数据的目标区域不存在火情或烟雾，则构建所述目标区域的边界框；
目标区域的边界框为
Figure F_211022102112957_957573001
其中，
Figure F_211022102113046_046909002
表示边界框左上点和右下点的坐标，cur表示当前帧，pre表示前一帧，Next表示下一帧。
若所述目标图片数据相邻的两帧图片数据中的目标区域不存在火情或烟雾，且所述目标图片数据的目标区域存在火情或烟雾，则将所述目标区域对应的边界框标记为火情误判。
在本发明实施例中，步骤S104包括如下步骤：
步骤S21，对所述目标图片进行图像均衡化处理，得到处理后的目标图片；
步骤S22，利用YOLO-V4算法对所述处理后的目标图片进行分割，得到所述目标图片的边界框。
具体的，步骤S21包括如下步骤：
步骤S211，将所述目标图片从RGB模式图片转换为YCbCr模式图片；
步骤S212，对所述YCbCr模式图片进行亮度均衡化处理，得到所述处理后的YCbCr模式图片；
步骤S213，将所述处理后的YCbCr模式图片转换为RGB模式图片，得到所述处理后的目标图片。
在本发明实施例中，把目标图片从RGB模式转为YCbCr模式，对亮度分量进行均衡化处理，再转换回RGB模式：
Figure P_211022102115078_078702001
其中，Y是YCbCr模式亮度通道，Cb是YCbCr模式蓝色分量，Cr是YCbCr模式红色分量，R是RGB模式红通道，G是RGB模式绿通道，B是RGB模式蓝通道。
亮度均衡化的步骤为：
确定图像灰度级别为2n，n表示图像的位深度，灰度级记为rk，取值为[0，rk-1]；
计算亮度分量的原始直方图分布概率，也就是统计每一个灰度rk在整个图像中像素个数的占比，总和为1，计算公式如下：
Figure P_211022102115109_109417001
其中，Pr为原始直方图概率分布，rk为各灰度级，k代表不同的灰度值，n为所有像素个数，nk为当前灰度级的像素个数；
计算直方图概率累计值，计算公式如下：
Figure P_211022102115156_156219001
其中，
Figure F_211022102113174_174902003
为直方图概率累计值，k代表不同的灰度值，
Figure F_211022102113249_249983004
为灰度级j的像素个数；
取整扩展，根据公式求取像素映射关系，公式如下：
Figure P_211022102115187_187440001
其中，n表示图像的位深度，
Figure F_211022102113385_385199005
为直方图概率累计值，int为取整，
Figure F_211022102113484_484824006
为映射后第k灰度级所对应的均衡化图像中的灰度级；
灰度映射，根据映射对应关系计算均衡化直方图，并将均衡化直方图确定为处理后的YCbCr模式图片。
接着，将处理后的YCbCr模式图片转换为RGB模式图片，得到处理后的目标图片。
然后，处理后的目标图片输入Yolo-V4网络进行图像分割，得到目标图片的边界框。
具体的，Yolo-V4网络采用Mosaic数据增强，利用了四张图片拼接变为一张新的图片，然后将拼接好了的图片传入到神经网络中去学习，可以丰富检测物体的背景，且在BN计算的时候一下子会计算四张图片的数据，使得mini-batch大小不需要很大；
对标签真值编码采取label smoothing平滑处理，公示如下：
Figure P_211022102115218_218705001
其中，
Figure F_211022102113593_593717007
，
Figure F_211022102113703_703592008
的类别总个数；
评价指标使用CIOU，公式如下：
Figure P_211022102115267_267196001
其中，
Figure F_211022102113782_782667009
,
Figure F_211022102113890_890708010
分别代表了预测框和真实框的中心点，且
Figure F_211022102113968_968697011
代表的是计算两个中心点间的欧式距离。c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。
Figure F_211022102114046_046859012
是权重函数，
Figure F_211022102114124_124969013
用来度量长宽比的相似，其定义如下：
Figure F_211022102114203_203108014
。
在本发明施例中，步骤S106包括如下步骤：
步骤S31，确定出所述烟雾边界框内的图片的烟雾区域与所述烟雾边界框内的图片之间的第一比值；
步骤S32，根据所述比值，确定出目标烟雾边界框，其中，所述目标烟雾边界框为所述比值大于第一预设阈值的烟雾边界框；
步骤S33，对所述目标烟雾边界框内的图片和所述火情边界框内的图片进行超像素分割，得到所述超像素分片；
步骤S34，对所述超像素分片进行分类，确定出目标超像素分片，其中，所述目标超像素分片为烟火像素分片；
步骤S35，基于所述目标超像素分片，确定出所述目标烟雾边界框内的图片和所述火情边界框内的图片中的目标边界框，其中，所述目标边界框为所述目标烟雾边界框内的图片与所述目标烟雾边界框内的图片的超像素片之间的比值大于第二预设比值的目标烟雾边界框，和，所述火情边界框内的图片与所述火情边界框内的图片的超像素片之间的比值大于第三预设比值的目标火情边界框；
步骤S36，将所述目标边界框确定为所述初始火情监测结果。
在本发明实施例中，确定出YOLO-V4算法烟雾边界框内的图片的烟雾区域与YOLO-V4算法烟雾边界框内的图片之间的第一比值，将比值大于第一预设阈值的烟雾边界框确定为目标烟雾边界框。
具体的，将烟雾边界框内的图片由RGB模式转换为HIS颜色空间，并提取烟雾区域。
根据烟雾偏灰的特性，进行烟雾颜色检验时一个重要的判据是RGB三通道颜色较为接近，像素点的HIS颜色空间的I分量和S分量能够实现对像素点灰色程度的筛选。模型建立如下：
Figure F_211022102114296_296909015
其中，R是RGB模式红通道，G是RGB模式绿通道，B是RGB模式蓝通道，a为RGB颜色空间的控制阈值，K为亮度I分量的控制阈值。
然后，利用超像素分割进行图像的分割，再对分割得到的超像素片进行类别判识。具体过滤流程是对每一个边界框进行超像素分割，然后对每一个超像素片进行分类。若这个边界框中烟火超像素片的占比过小，则将其过滤。
其中，超像素分割采用一种减小搜索范围的K-means来高效的形成超像素：
在原始图像上按等距离L选取k个初始聚类中心，其中L=
Figure F_211022102114384_384606016
，N为原始图像的像素点个数；
为了防止把边界点或者奇异点设置为聚类中心，需要把聚类中心调节到原聚类中心周围3*3像素点中梯度值最小的像素点；
在每个聚类中心周围2L*2L的像素点区域内进行聚类，注意这里的聚类准则涉及到像素点与聚类中心之间的距离以及两者的亮度特征；
在得到的新聚类上，选取每一类中所有像素点的位置以及亮度特征的均值作为新聚类中心的位置与亮度特征；
如果新聚类中心与上一次聚类中心的特征信息的差异小于设定的阈值，得到超像素。在火情识别中，实际上执行了一步降维，将样本空间从像素降到了超像素。
在超像素分割的基础上，再接一个分类模型，可以得到研究区域每一个超像素片的类别。
其主干结构是InceptionV4，头部是一个softmax函数用于多分类预测。这样就既可以得到图像每个超像素的标签，进而所有像素的标签，实现烟火区域分割，进而确定出目标边界框。
最后，对初始火情识别结果（即，目标边界框）构建外接矩形，从而产生烟火范围的2D矩形框，在流媒体数据上叠加矩形框，最后输出目标火情监测结果。
本发明实施例中对图像进行均衡化等预处理，分割时使用的参数更为稳定，识别精度也就更加稳定准确，满足多场景的使用；合YOLO-V4目标检测框架，兼具速度和精度；对目标检测的边界框进行过滤后处理，提升监测的精确度，满足现实中复杂场景的要求。
实施例二：
本发明实施例还提供了一种基于视频的火情监测装置，该基于视频的火情监测装置用于执行本发明实施例上述内容所提供的基于视频的火情监测方法，以下是本发明实施例提供的基于视频的火情监测装置的具体介绍。
如图2所示，图2为上述基于视频的火情监测装置的示意图，该基于视频的火情监测装置包括：获取单元10，确定单元20，处理单元30和构建单元40。
所述获取单元10，用于获取视频摄像头的流媒体数据，并对所述流媒体数据进行预处理，得到目标图片；
所述确定单元20，用于利用YOLO-V4算法对所述目标图片进行检测，确定出所述目标图片的边界框，其中，所述边界框包括：火情边界框和烟雾边界框；
所述处理单元30，用于对所述边界框内的图片进行超像素分割，得到超像素分片，并对所述超像素分片进行分类，得到初始火情监测结果；
所述构建单元40，用于基于所述初始火情监测结果构建外接矩形框，并将所述外接矩形框叠加在所述流媒体数据上，得到目标火情监测结果。
在本发明实施例中，通过获取视频摄像头的流媒体数据，并对流媒体数据进行预处理，得到目标图片；利用YOLO-V4算法对目标图片进行检测，确定出目标图片的边界框，其中，边界框包括：火情边界框和烟雾边界框；对边界框内的图片进行超像素分割，得到超像素分片，并对超像素分片进行分类，得到初始火情监测结果；基于初始火情监测结果构建外接矩形框，并将外接矩形框叠加在流媒体数据上，得到目标火情监测结果，达到了高效准确的进行视频火情监测的目的，进而解决了现有技术中视频火情监测技术的准确度较低的技术问题，从而实现了提高视频火情监测的准确度和效率的技术效果。
实施例三：
本发明实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储支持处理器执行上述实施例一中所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
参见图3，本发明实施例还提供一种电子设备100，包括：处理器50，存储器51，总线52和通信接口53，所述处理器50、通信接口53和存储器51通过总线52连接；处理器50用于执行存储器51中存储的可执行模块，例如计算机程序。
其中，存储器51可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口53（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线52可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器51用于存储程序，所述处理器50在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中，或者由处理器50实现。
处理器50可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51，处理器50读取存储器51中的信息，结合其硬件完成上述方法的步骤。
实施例四：
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例一中所述方法的步骤。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种基于视频的火情监测方法，其特征在于，包括：
获取视频摄像头的流媒体数据，并对所述流媒体数据进行预处理，得到目标图片；
利用YOLO-V4算法对所述目标图片进行检测，确定出所述目标图片的边界框，其中，所述边界框包括：火情边界框和烟雾边界框；
对所述边界框内的图片进行超像素分割，得到超像素分片，并对所述超像素分片进行分类，得到初始火情监测结果；
基于所述初始火情监测结果构建外接矩形框，并将所述外接矩形框叠加在所述流媒体数据上，得到目标火情监测结果；
其中，利用YOLO-V4算法对所述目标图片进行检测，确定出所述目标图片的边界框，包括：
对所述目标图片进行图像均衡化处理，得到处理后的目标图片；
利用YOLO-V4算法对所述处理后的目标图片进行分割，得到所述目标图片的边界框；
其中，对所述目标图片进行图像均衡化处理，得到处理后的目标图片，包括：
将所述目标图片从RGB模式图片转换为YCbCr模式图片；
对所述YCbCr模式图片进行亮度均衡化处理，得到所述处理后的YCbCr模式图片；
将所述处理后的YCbCr模式图片转换为RGB模式图片，得到所述处理后的目标图片；
其中，对所述YCbCr模式图片进行亮度均衡化处理，得到所述处理后的YCbCr模式图片，包括：
确定出所述YCbCr模式图片的灰度级和位深度；
基于所述灰度级和所述位深度，计算出所述YCbCr模式图片的亮度分量的原始直方图的分布概率，其中，所原始直方图的分布概率用于表征所述YCbCr模式图片中各个灰度级的像素数量与所述YCbCr模式图片中的像素数量之间的比值；
计算出所述各个灰度级的像素数量与所述YCbCr模式图片中的像素数量之间的比值之和，得到原始直方图的概率累计值；
基于所述原始直方图的概率累计值，确定出各个灰度级的映射关系；
基于所述映射关系，计算出均衡化直方图，并将所述均衡化直方图确定为所述处理后的YCbCr模式图片。
2.根据权利要求1所述的方法，其特征在于，对所述流媒体数据进行预处理，得到目标图片，包括：
将所述流媒体数据转化为多帧图片数据；
对所述多帧图片数据进行均值滤波处理，得到所述目标图片。
3.根据权利要求1所述的方法，其特征在于，对所述边界框内的图片进行超像素分割，得到超像素分片，并对所述超像素分片进行分类，得到初始火情监测结果，包括：
确定出所述烟雾边界框内的图片的烟雾区域与所述烟雾边界框内的图片之间的第一比值；
根据所述比值，确定出目标烟雾边界框，其中，所述目标烟雾边界框为所述比值大于第一预设阈值的烟雾边界框；
对所述目标烟雾边界框内的图片和所述火情边界框内的图片进行超像素分割，得到所述超像素分片；
对所述超像素分片进行分类，确定出目标超像素分片，其中，所述目标超像素分片为烟火像素分片；
基于所述目标超像素分片，确定出所述目标烟雾边界框内的图片和所述火情边界框内的图片中的目标边界框，其中，所述目标边界框为所述目标烟雾边界框内的图片与所述目标烟雾边界框内的图片的超像素片之间的比值大于第二预设比值的目标烟雾边界框，和，所述火情边界框内的图片与所述火情边界框内的图片的超像素片之间的比值大于第三预设比值的目标火情边界框；
将所述目标边界框确定为所述初始火情监测结果。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定目标图片数据中的目标区域，其中，所述目标图片数据为多帧图片数据中的任意一帧图片数据，所述目标区域为所述目标图片数据中的任意一个区域；
若所述目标图片数据相邻的两帧图片数据中的目标区域存在火情或烟雾，且所述目标图片数据的目标区域不存在火情或烟雾，则构建所述目标区域的边界框；
若所述目标图片数据相邻的两帧图片数据中的目标区域不存在火情或烟雾，且所述目标图片数据的目标区域存在火情或烟雾，则将所述目标区域对应的边界框标记为火情误判。
5.一种基于视频的火情监测装置，其特征在于，包括：获取单元，确定单元，处理单元和构建单元，其中，
所述获取单元，用于获取视频摄像头的流媒体数据，并对所述流媒体数据进行预处理，得到目标图片；
所述确定单元，用于利用YOLO-V4算法对所述目标图片进行检测，确定出所述目标图片的边界框，其中，所述边界框包括：火情边界框和烟雾边界框；
所述处理单元，用于对所述边界框内的图片进行超像素分割，得到超像素分片，并对所述超像素分片进行分类，得到初始火情监测结果；
所述构建单元，用于基于所述初始火情监测结果构建外接矩形框，并将所述外接矩形框叠加在所述流媒体数据上，得到目标火情监测结果；
其中，所述确定单元，用于：
对所述目标图片进行图像均衡化处理，得到处理后的目标图片；
利用YOLO-V4算法对所述处理后的目标图片进行分割，得到所述目标图片的边界框；
其中，所述确定单元，用于：
将所述目标图片从RGB模式图片转换为YCbCr模式图片；
对所述YCbCr模式图片进行亮度均衡化处理，得到所述处理后的YCbCr模式图片；
将所述处理后的YCbCr模式图片转换为RGB模式图片，得到所述处理后的目标图片；
其中，所述确定单元，用于：
确定出所述YCbCr模式图片的灰度级和位深度；
基于所述灰度级和所述位深度，计算出所述YCbCr模式图片的亮度分量的原始直方图的分布概率，其中，所原始直方图的分布概率用于表征所述YCbCr模式图片中各个灰度级的像素数量与所述YCbCr模式图片中的像素数量之间的比值；
计算出所述各个灰度级的像素数量与所述YCbCr模式图片中的像素数量之间的比值之和，得到原始直方图的概率累计值；
基于所述原始直方图的概率累计值，确定出各个灰度级的映射关系；
基于所述映射关系，计算出均衡化直方图，并将所述均衡化直方图确定为所述处理后的YCbCr模式图片。
6.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器用于存储支持处理器执行权利要求1至4任一项所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
7.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至4任一项所述方法的步骤。
CN202111291551.4A 2021-11-03 2021-11-03 一种基于视频的火情监测方法和装置 Active CN113743378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111291551.4A CN113743378B (zh) 2021-11-03 2021-11-03 一种基于视频的火情监测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111291551.4A CN113743378B (zh) 2021-11-03 2021-11-03 一种基于视频的火情监测方法和装置

Publications (2)

Publication Number Publication Date
CN113743378A CN113743378A (zh) 2021-12-03
CN113743378B true CN113743378B (zh) 2022-02-08

Family

ID=78727286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111291551.4A Active CN113743378B (zh) 2021-11-03 2021-11-03 一种基于视频的火情监测方法和装置

Country Status (1)

Country Link
CN (1) CN113743378B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821289B (zh) * 2022-01-17 2023-10-17 电子科技大学 一种森林火灾图片实时分割和火灾边缘点监测算法
CN116740653A (zh) * 2023-08-14 2023-09-12 山东创亿智慧信息科技发展有限责任公司 一种配电箱运行状态监测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241913A (zh) * 2018-09-10 2019-01-18 武汉大学 结合显著性检测和深度学习的船只检测方法及系统
CN109977767A (zh) * 2019-02-18 2019-07-05 浙江大华技术股份有限公司 基于超像素分割算法的目标检测方法、装置及存储装置
CN112132090A (zh) * 2020-09-28 2020-12-25 天地伟业技术有限公司 一种基于yolov3的烟火自动检测预警方法
CN113066077A (zh) * 2021-04-13 2021-07-02 南京甄视智能科技有限公司 火焰检测方法及装置
WO2021212443A1 (zh) * 2020-04-20 2021-10-28 南京邮电大学 一种基于轻量化3D-RDNet模型的烟雾视频检测方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717896B (zh) * 2019-09-24 2023-05-09 东北大学 基于显著性标签信息传播模型的板带钢表面缺陷检测方法
CN111178275A (zh) * 2019-12-30 2020-05-19 浙江中创天成科技有限公司 一种基于卷积神经网络的火灾检测方法
CN112862150A (zh) * 2020-12-30 2021-05-28 广州智能科技发展有限公司 一种基于图像与视频多模型的森林火情预警方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241913A (zh) * 2018-09-10 2019-01-18 武汉大学 结合显著性检测和深度学习的船只检测方法及系统
CN109977767A (zh) * 2019-02-18 2019-07-05 浙江大华技术股份有限公司 基于超像素分割算法的目标检测方法、装置及存储装置
WO2021212443A1 (zh) * 2020-04-20 2021-10-28 南京邮电大学 一种基于轻量化3D-RDNet模型的烟雾视频检测方法及系统
CN112132090A (zh) * 2020-09-28 2020-12-25 天地伟业技术有限公司 一种基于yolov3的烟火自动检测预警方法
CN113066077A (zh) * 2021-04-13 2021-07-02 南京甄视智能科技有限公司 火焰检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进暗原色先验算法的水下监控图像处理方法;孔倩倩 温亚楠;《计算机与现代化》;20170131;57-60页 *

Also Published As

Publication number Publication date
CN113743378A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN110276767B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109978890B (zh) 基于图像处理的目标提取方法、装置及终端设备
CN108229526B (zh) 网络训练、图像处理方法、装置、存储介质和电子设备
JP6330385B2 (ja) 画像処理装置、画像処理方法およびプログラム
EP3101594A1 (en) Saliency information acquisition device and saliency information acquisition method
CN108875619B (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN108647641B (zh) 基于双路模型融合的视频行为分割方法和装置
CN113743378B (zh) 一种基于视频的火情监测方法和装置
CN110580428A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
AU2006252252A1 (en) Image processing method and apparatus
CN111935479B (zh) 一种目标图像确定方法、装置、计算机设备及存储介质
CN107622280B (zh) 基于场景分类的模块化处方式图像显著性检测方法
CN112115979B (zh) 一种红外图像和可见图像的融合方法及设备
CN113902641B (zh) 一种基于红外图像的数据中心热区判别方法及系统
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN108491857B (zh) 一种视域重叠的多摄像机目标匹配方法
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
CN109409305A (zh) 一种人脸图像清晰度评价方法及装置
CN110910497B (zh) 实现增强现实地图的方法和系统
CN114519689A (zh) 图像篡改检测方法、装置、设备及计算机可读存储介质
CN114449362B (zh) 视频封面的选取方法、装置、设备及存储介质
CN117218633A (zh) 一种物品检测方法、装置、设备及存储介质
CN113240611B (zh) 一种基于图片序列的异物检测方法
CN112532938B (zh) 一种基于大数据技术的视频监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant