CN113012383A - 火灾检测报警方法、相关系统、相关设备及存储介质 - Google Patents
火灾检测报警方法、相关系统、相关设备及存储介质 Download PDFInfo
- Publication number
- CN113012383A CN113012383A CN202110329883.0A CN202110329883A CN113012383A CN 113012383 A CN113012383 A CN 113012383A CN 202110329883 A CN202110329883 A CN 202110329883A CN 113012383 A CN113012383 A CN 113012383A
- Authority
- CN
- China
- Prior art keywords
- flame
- fire
- image
- feature map
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 159
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000010586 diagram Methods 0.000 claims abstract description 43
- 238000012544 monitoring process Methods 0.000 claims abstract description 42
- 238000003062 neural network model Methods 0.000 claims abstract description 35
- 238000013135 deep learning Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000001914 filtration Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 239000000779 smoke Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Abstract
本发明提供了一种火灾检测报警方法，其包括步骤：获取监控数据；进行预处理并生成训练图像；通过神经网络模型进行深度学习训练以提取出高级特征图；将所述高级特征图通过所述神经网络模型进行特征增强模型处理；将所述高级特征图通过所述火焰检测模型进行火焰检测处理；将所述高级特征图中的图像截取并生成火焰框图；在应用系统中进行文字报警，并与火灾报警器联动实现火灾报警。本发明还提供了一种火灾检测报警系统、火灾检测报警设备以及计算机可读存储介质。与相关技术相比，采用本发明的技术方案可服务于各种场景下的火焰检测，并具有实时性好、检测结果精准、能精准检测到火焰位置和火焰检测效果良好。
Description
【技术领域】
本发明涉及人工智能技术领域，尤其涉及一种火灾检测报警方法、火灾检测报警系统、火灾检测报警设备以及计算机可读存储介质。
【背景技术】
火灾是一种常见且容易发生的灾害,在生产生活中火灾对公众的生命与财产构成了重大威胁。由于火灾具有突发性而且危害大，所以构建准确有效的火焰识别算法对预防火灾拥有重要的意义。
随着社会的进步与发展，各种摄像设备已经在我们的生活中得到了普及。为了加强城市、社区轨道交通安防工作的建设，从边缘监控设备获得的监控图像数据中快速得到有价值的信息，对于公安、城管等工作人员的安防工作来说尤为重要。图像的目标检测是近年来深度学习新兴领域，就是对图像中的目标进行定位和分类识别，利用目标检测的结果可以锁定图像中的目标，有利于工作人员对监控视频开展分析工作。
目前，相关火焰检测算法大致可归纳为两类：基于传感器的火焰检测算法和基于图像的火焰检测算法。
然而，目前有些场景下并不适合传感器方法的火焰检测，如室外、半室外场景。对于室外、半室外的等使用传感器效果不好的场景下，如何采用基于图像的火焰检测算法，并结合图像的目标检测没有具体的解决方案，如何实现高效的、基于图像的对图像中的火焰进行定位和分类识别、使用深度学习和传统方法多模式融合的火灾检测报警方法是个需要解决的问题。
因此，实有必要提供一种新的方法、系统和设备来解决上述技术问题。
【发明内容】
本发明的目的是克服上述技术问题，提供一种可服务于各种场景下的火焰检测，并具有实时性好、检测结果精准、能精准检测到火焰位置和火焰检测效果良好的火灾检测报警方法、火灾检测报警系统、火灾检测报警设备以及计算机可读存储介质。
为了实现上述目的，本发明提供一种火灾检测报警方法，该方法包括如下步骤：
步骤S1、获取监控数据，所述监控数据为检测图片或火灾视频数据集；
步骤S2、将所述监控数据进行数据预处理并生成训练图像；
步骤S3、将所述训练图像和与其相对应的标记框坐标信息通过神经网络模型进行深度学习训练，并提取出所述训练图像的高级特征图；
步骤S4、将所述高级特征图通过所述神经网络模型进行特征增强模型处理，并生成与所述高级特征图对应的火焰检测模型；
步骤S5、将所述高级特征图通过所述火焰检测模型进行火焰检测处理，并生成所述高级特征图中的所述火焰位于该高级特征图中的火焰坐标框，所述火焰检测处理为非极大值抑制处理；
步骤S6、将所述高级特征图中的所述火焰坐标框内的图像截取并生成火焰框图，将所述火焰框图进行图像识别判断是否为火焰；
步骤S7、将所述火焰的时间和次数根据预设报警规则进行判断，若判断为火灾，则在应用系统中进行文字报警，并与火灾报警器联动实现火灾报警。
优选的，所述步骤S2中，所述预处理包括如下步骤：
步骤S21、判断所述监控数据；
步骤S22、若所述监控数据为火灾视频数据集，则将所述火灾视频按照视频帧率进行逐帧转换为图片，读取N张图片，并进入步骤S23，其中，N为正整数，并满足：4≤N；
若所述监控数据为检测图片，则读取N张图片，并进入步骤S23；
步骤S23、将所述N张图片依次进行旋转处理、缩放处理以及色域变化处理，再按照预设方位或随机方位将处理后的所述N张图片进行组合拼接，并生成目标组合图像；
步骤S24、将所述目标组合图像按照预设图片尺寸进行判断；
步骤S25、若所述目标组合图像的尺寸大于所述预设图片尺寸，则根据所述预设图片尺寸进行计算得到图像缩小参数，再将所述目标组合图像根据所述图像缩小参数进行插值、黑边填充，并生成所述训练图像，所述图像缩小参数包括缩放比例、缩放尺寸以及黑边填充数值，并生成所述训练图像；
若所述目标组合图像的尺寸小于所述预设图片尺寸，则将所述目标组合图像通过双线性插值法进行处理，并生成所述训练图像。
优选的，N＝4。
优选的，所述步骤S3中，所述神经网络模型包括Focus结构和CSP结构，所述深度学习训练包括如下步骤：
步骤S31、将所述训练图像通过所述Focus结构依次进行每隔一像素的切片操作、整合拼接操作、卷积操作、批归一化以及激活Leaky_relu函数处理；
步骤S32、将所述训练图像通过所述CSP结构提取出所述高级特征图；其中，所述CSP结构包括多个不同种类的残差网络结构，所述残差网络结构用于根据目标需求设定所述神经网络模型中的神经网络结构的深度与宽度。
优选的，所述步骤S4中，所述神经网络模型包括SPP结构、FPN结构以及PAN结构，所述特征增强模型处理包括如下步骤：
步骤S41、将所述高级特征图中的特征通过所述SPP结构进行多尺度的最大的池化操作，再进行拼接操作并生成高级特征，其中，所述SPP结构包括三组不同的所述池化操作；
步骤S42、将所述高级特征通过所述FPN结构进行增强处理，以适应不同尺度缩放的目标检测；
步骤S43、将所述高级特征通过所述PAN结构进行下采样处理，并生成对应的目标图像向量，所述下采样处理用于自底向上传达强定位特征。
优选的，所述步骤S6中，所述图像识别判断包括颜色特征过滤、运动特征过滤以及均值方差过滤；
所述颜色特征过滤为将所述火焰框图根据预设颜色阈值采用HSI或HSV颜色空间进行过滤，以实现将非火焰颜色动态范围内的目标进行过滤；
所述运动特征过滤为将所述火焰框图根据预设频闪阈值进行过滤，以过滤掉不具有火焰频闪特征的目标；
所述均值方差过滤为将所述火焰框图内每个像素值的计算出均值，再计算出每个所述像素值与所述均值的方差，根据所述方差进行判断，若所述火焰框图内所述像素值的总方差和大于预设的方差阈值，则判断为不是火焰，反之，则判断为火焰。
优选的，所述步骤S7中，所述预设报警规则为预先设定时间阈值和次数阈值，若所述监控数据在所述时间阈值内检测出火焰的次数超过所述次数阈值，则判断为火灾；其中，时间阈值为时间值或者帧数值。
本发明还提供一种火灾检测报警设备，包括处理器和存储器，所述处理器用于读取所述存储器中的程序，执行上中任一项所述的火灾检测报警方法中的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现如上中任意一项所述的火灾检测报警方法中的步骤。
本发明还提供一种火灾检测报警系统，该系统包括：
数据获取模块，用于获取监控数据；
数据预处理模块，用于将所述监控数据进行数据预处理并生成训练图像；
神经网络模型模块，用于将所述训练图像和与其相对应的标记框坐标信息通过神经网络模型进行深度学习训练，并提取出所述训练图像的高级特征图；还用于将所述高级特征图通过所述神经网络模型进行特征增强模型处理，并生成与所述高级特征图对应的火焰检测模型；还用于将所述高级特征图通过所述火焰检测模型进行火焰检测处理，并生成所述高级特征图中的所述火焰位于该高级特征图中的火焰坐标框，所述火焰检测处理为非极大值抑制处理；还用于将所述高级特征图中的所述火焰坐标框内的图像截取并生成火焰框图，将所述火焰框图进行图像识别判断是否为火焰；
检测报警模块，用于将所述火焰的时间和次数根据预设报警规则进行判断，若判断为火灾，则在应用系统中进行文字报警，并与火灾报警器联动实现火灾报警。
与现有技术相比，本发明的火灾检测报警方法包括如下步骤：步骤S1、获取监控数据，所述监控数据为检测图片或火灾视频数据集；步骤S2、将所述监控数据进行数据预处理并生成训练图像；步骤S3、将所述训练图像和与其相对应的标记框坐标信息通过神经网络模型进行深度学习训练，并提取出所述训练图像的高级特征图；步骤S4、将所述高级特征图通过所述神经网络模型进行特征增强模型处理，并生成与所述高级特征图对应的火焰检测模型；步骤S5、将所述高级特征图通过所述火焰检测模型进行火焰检测处理，并生成所述高级特征图中的所述火焰位于该高级特征图中的火焰坐标框，所述火焰检测处理为非极大值抑制处理；步骤S6、将所述高级特征图中的所述火焰坐标框内的图像截取并生成火焰框图，将所述火焰框图进行图像识别判断是否为火焰；步骤S7、将所述火焰的时间和次数根据预设报警规则进行判断，若判断为火灾，则在应用系统中进行文字报警，并与火灾报警器联动实现火灾报警。上述方法应用于对实际的场景，对于烟火传感器无法应用的场景，进行基于图像的火焰检测，从对获取监控视频数据的预处理，到提取数据的特征再到对高级特征进行回归预测，再到使用传统方法对预测结果进行后处理等，再结合服务器上的火焰报警策略，实现实时报警。因此，所述火灾检测报警方法是一种较为完备的火焰检测检测报警方法。其中，采用深度学习神经网络和传统图像方法多模式融合的方法，使二者优点互补，弥补了各自的短板，实际场景下效果良好且比传感器实时性高、结果精准，而且能部署到传感器无法部署到的场景下，并实现火焰火灾检测功能，并且及时报警。从而使得本发明的火灾检测报警方法、火灾检测报警系统、火灾检测报警设备以及计算机可读存储介质可服务于各种场景下的火焰检测，并具有实时性好、检测结果精准、能精准检测到火焰位置和火焰检测效果良好。
【附图说明】
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
图1为本发明火灾检测报警方法的流程框图；
图2为本发明火灾检测报警方法的预处理的流程框图；
图3为图2的一种实施例的流程框图；
图4本发明火灾检测报警方法的深度学习训练的流程框图；
图5本发明火灾检测报警方法的特征增强模型处理的流程框图；
图6为图5中的FPN结构和PAN结构的结构示意图；
图7本发明火灾检测报警方法的一种实施例的流程框图；
图8为本发明一种火灾检测报警系统的结构框图。
【具体实施方式】
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例或本实施方式”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参照图1所示，图1为本发明火灾检测报警方法的流程框图。本发明提供一种火灾检测报警方法。
所述火灾检测报警方法包括如下步骤：
步骤S1、获取监控数据，所述监控数据为检测图片或火灾视频数据集。所述监控数据可以通过摄像设备或者拍照设备实现。
步骤S2、将所述监控数据进行数据预处理并生成训练图像。
请参照图2所示，图2为本发明火灾检测报警方法的预处理的流程框图。
所述步骤S2中，所述预处理包括如下步骤：
步骤S21、判断所述监控数据。
步骤S22、若所述监控数据为火灾视频数据集，则将所述火灾视频按照视频帧率进行逐帧转换为图片，读取N张图片，并进入步骤S23，其中，N为正整数，并满足：4≤N；
若所述监控数据为检测图片，则读取N张图片，并进入步骤S23。
步骤S23、将所述N张图片依次进行旋转处理、缩放处理以及色域变化处理，再按照预设方位或随机方位将处理后的所述N张图片进行组合拼接，并生成目标组合图像。
步骤S24、将所述目标组合图像按照预设图片尺寸进行判断。
步骤S25、若所述目标组合图像的尺寸大于所述预设图片尺寸，则根据所述预设图片尺寸进行计算得到图像缩小参数，再将所述目标组合图像根据所述图像缩小参数进行插值、黑边填充，并生成所述训练图像，所述图像缩小参数包括缩放比例、缩放尺寸以及黑边填充数值，并生成所述训练图像；
若所述目标组合图像的尺寸小于所述预设图片尺寸，则将所述目标组合图像通过双线性插值法进行处理，并生成所述训练图像。
请参照图3所示，图3为图2的一种实施例的流程框图。本实施方式中，N＝4。本实施例中为所述预处理的一种实现步骤，实施例20包括如下步骤：
步骤S201、读取四张图像。
步骤S202、将四张图像进行旋转缩放和色域调整变化。
步骤S203、将四张图像分别放置与四个方位。
步骤S204、将四张图像进行图像组合和框体组合。
步骤S205、生成新的一张图像并输出。
步骤S206、计算新图像缩放比例。
步骤S207、计算缩放后的图像尺寸。
步骤S208、计算缩放后的图像尺寸。
步骤S209、计算黑边填充值。
步骤S210、将缩放后的固定尺寸图像输出。
步骤S3、将所述训练图像和与其相对应的标记框坐标信息通过神经网络模型进行深度学习训练并提取出所述训练图像的高级特征图。
其中，在所述步骤S3中，所述神经网络模型包括Focus结构和CSP结构。
请参照图4所示，图4本发明火灾检测报警方法的深度学习训练的流程框图。
所述深度学习训练包括如下步骤：
步骤S31、将所述训练图像通过所述Focus结构依次进行每隔一像素的切片操作、整合拼接操作、卷积操作、批归一化以及激活Leaky_relu函数处理。
步骤S32、将所述训练图像通过所述CSP结构提取出所述高级特征图。
其中，所述CSP结构包括多个不同种类的残差网络结构。本实施方式中，多个不同种类的残差网络结构形成一系列。所述残差网络结构用于根据目标需求设定所述神经网络模型中的神经网络结构的深度与宽度。
步骤S4、将所述高级特征图通过所述神经网络模型进行特征增强模型处理，并生成与所述高级特征图对应的火焰检测模型。
请同时参照图5-6所示，图5本发明火灾检测报警方法的特征增强模型处理的流程框图。图6为图5中的FPN结构和PAN结构的结构示意图。
所述步骤S4中，所述神经网络模型还包括SPP结构、FPN结构以及PAN结构。所述特征增强模型处理包括如下步骤：
步骤S41、将所述高级特征图中的特征通过所述SPP结构进行多尺度的最大的池化操作，再进行拼接操作并生成高级特征。其中，所述SPP结构包括三组不同的所述池化操作。
步骤S42、将所述高级特征通过所述FPN结构进行增强处理，以适应不同尺度缩放的目标检测。
步骤S43、将所述高级特征通过所述PAN结构进行下采样处理，并生成对应的目标图像向量。所述下采样处理用于自底向上传达强定位特征。
步骤S5、将所述高级特征图通过所述火焰检测模型进行火焰检测处理，并生成所述高级特征图中的所述火焰位于该高级特征图中的火焰坐标框。
所述火焰检测处理为非极大值抑制处理。所述火焰检测处理用于过滤掉一些重合面积较大、置信度较低的火焰坐标框。
请参照图7所示，图7本发明火灾检测报警方法的一种实施例的流程框图。
本实施方式中，实施例的步骤S50的包括如下步骤：
步骤S501、输入特征。该特征为所述高级特征图中包含的特征。
步骤S502、通过损失函数进行计算处理。
步骤S503、非极大值抑制处理。
步骤S504、输出预测值。其中，所述预测值为火焰坐标框。
步骤S6、将所述高级特征图中的所述火焰坐标框内的图像截取并生成火焰框图，将所述火焰框图进行图像识别判断是否为火焰。
所述步骤S6中，所述图像识别判断包括颜色特征过滤、运动特征过滤以及均值方差过滤。
所述颜色特征过滤为将所述火焰框图根据预设颜色阈值采用HSI或HSV颜色空间进行过滤，以实现将非火焰颜色动态范围内的目标进行过滤。
所述运动特征过滤为将所述火焰框图根据预设频闪阈值进行过滤，以过滤掉不具有火焰频闪特征的目标。
所述均值方差过滤为将所述火焰框图内每个像素值的计算出均值，再计算出每个所述像素值与所述均值的方差，根据所述方差进行判断，若所述火焰框图内所述像素值的总方差和大于预设的方差阈值，则判断为不是火焰，反之，则判断为火焰。
步骤S7、将所述火焰的时间和次数根据预设报警规则进行判断，若判断为火灾，则在应用系统中进行文字报警，并与火灾报警器联动实现火灾报警。
所述步骤S7中，所述预设报警规则为预先设定时间阈值和次数阈值，若所述监控数据在所述时间阈值内检测出火焰的次数超过所述次数阈值，则判断为火灾。其中，时间阈值为时间值或者帧数值。
综上所述，所述的火灾检测报警方法应用于对实际的场景，对于烟火传感器无法应用的场景，进行基于图像的火焰检测，从对获取监控视频数据的预处理，到提取数据的特征再到对高级特征进行回归预测，再到使用传统方法对预测结果进行后处理等，再结合服务器上的火焰报警策略，实现实时报警。所述火灾检测报警方法是一种较为完备的火焰检测检测报警方法。其中，采用深度学习神经网络和传统图像方法多模式融合的方法，使二者优点互补，弥补了各自的短板，实际场景下效果良好且比传感器实时性高、结果精准，而且能部署到传感器无法部署到的场景下，并实现火焰火灾检测功能，并且及时报警。从而使得本发明的火灾检测报警方法可服务于各种场景下的火焰检测，并具有实时性好、检测结果精准、能精准检测到火焰位置和火焰检测效果良好。
本发明还提供一种火灾检测报警系统100。
请参照图8所示，图8为本发明一种火灾检测报警系统100的结构框图。
具体的，所述火灾检测报警系统100包括数据获取模块1、数据预处理模块2、神经网络模型模块3以及检测报警模块4。
所述数据获取模块1用于获取监控数据。其中，所述监控数据为检测图片或火灾视频数据集。
所述数据预处理模块2用于将所述监控数据进行数据预处理并生成训练图像。
所述神经网络模型模块3用于将所述训练图像和与其相对应的标记框坐标信息通过神经网络模型进行深度学习训练，并提取出所述训练图像的高级特征图。
所述神经网络模型模块3还用于将所述高级特征图通过所述神经网络模型进行特征增强模型处理，并生成与所述高级特征图对应的火焰检测模型。
所述神经网络模型模块3还用于将所述高级特征图通过所述火焰检测模型进行火焰检测处理，并生成所述高级特征图中的所述火焰位于该高级特征图中的火焰坐标框。其中，所述火焰检测处理为非极大值抑制处理。
所述神经网络模型模块3还用于将所述高级特征图中的所述火焰坐标框内的图像截取并生成火焰框图，将所述火焰框图进行图像识别判断是否为火焰。
所述检测报警模块4用于将所述火焰的时间和次数根据预设报警规则进行判断，若判断为火灾，则在应用系统中进行文字报警，并与火灾报警器联动实现火灾报警。
需要指出的是，所述数据获取模块1、所述数据预处理模块2、所述神经网络模型模块3以及所述检测报警模块4均为本领域技术中常用的模块和网络，具体型号需要根据产品的实际设计需要进行选型，在此，不作详细赘述。
本发明还提供一种火灾检测报警设备，包括处理器和存储器，所述处理器用于读取所述存储器中的程序，执行如上中任一项所述的火灾检测报警方法中的步骤。
其中，本技术领域技术人员可以理解，这里的所述火灾检测报警设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital SignalProcessor，DSP)、嵌入式设备等。
所述存储器至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器可以是所述火灾检测报警设备的内部存储单元，例如该火灾检测报警设备的硬盘或内存。在另一些实施例中，所述存储器也可以是所述火灾检测报警设备的外部存储设备，例如该火灾检测报警设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器还可以既包括所述火灾检测报警设备的内部存储单元也包括其外部存储设备。本实施例中，所述存储器通常用于存储安装于所述火灾检测报警设备的操作系统和各类应用软件，例如火灾检测报警设备的火灾检测报警方法的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该所述处理器通常用于控制所述火灾检测报警设备的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如运行火灾检测报警设备的火灾检测报警方法的程序代码。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现如上中任意一项所述的火灾检测报警方法中的步骤。
本领域普通技术人员可以理解实现实施例火灾检测报警设备的火灾检测报警方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random Access Memory，简称RAM)等。
在本发明实施例中提到的本实施方式为了便于表述。以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
与现有技术相比，本发明的火灾检测报警方法包括如下步骤：步骤S1、获取监控数据，所述监控数据为检测图片或火灾视频数据集；步骤S2、将所述监控数据进行数据预处理并生成训练图像；步骤S3、将所述训练图像和与其相对应的标记框坐标信息通过神经网络模型进行深度学习训练，并提取出所述训练图像的高级特征图；步骤S4、将所述高级特征图通过所述神经网络模型进行特征增强模型处理，并生成与所述高级特征图对应的火焰检测模型；步骤S5、将所述高级特征图通过所述火焰检测模型进行火焰检测处理，并生成所述高级特征图中的所述火焰位于该高级特征图中的火焰坐标框，所述火焰检测处理为非极大值抑制处理；步骤S6、将所述高级特征图中的所述火焰坐标框内的图像截取并生成火焰框图，将所述火焰框图进行图像识别判断是否为火焰；步骤S7、将所述火焰的时间和次数根据预设报警规则进行判断，若判断为火灾，则在应用系统中进行文字报警，并与火灾报警器联动实现火灾报警。上述方法应用于对实际的场景，对于烟火传感器无法应用的场景，进行基于图像的火焰检测，从对获取监控视频数据的预处理，到提取数据的特征再到对高级特征进行回归预测，再到使用传统方法对预测结果进行后处理等，再结合服务器上的火焰报警策略，实现实时报警。因此，所述火灾检测报警方法是一种较为完备的火焰检测检测报警方法。其中，采用深度学习神经网络和传统图像方法多模式融合的方法，使二者优点互补，弥补了各自的短板，实际场景下效果良好且比传感器实时性高、结果精准，而且能部署到传感器无法部署到的场景下，并实现火焰火灾检测功能，并且及时报警。从而使得本发明的火灾检测报警方法、火灾检测报警系统、火灾检测报警设备以及计算机可读存储介质可服务于各种场景下的火焰检测，并具有实时性好、检测结果精准、能精准检测到火焰位置和火焰检测效果良好。
以上所述的仅是本发明的实施方式，在此应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。
Claims (10)
1.一种火灾检测报警方法，其特征在于，该方法包括如下步骤：
步骤S1、获取监控数据，所述监控数据为检测图片或火灾视频数据集；
步骤S2、将所述监控数据进行数据预处理并生成训练图像；
步骤S3、将所述训练图像和与其相对应的标记框坐标信息通过神经网络模型进行深度学习训练，并提取出所述训练图像的高级特征图；
步骤S4、将所述高级特征图通过所述神经网络模型进行特征增强模型处理，并生成与所述高级特征图对应的火焰检测模型；
步骤S5、将所述高级特征图通过所述火焰检测模型进行火焰检测处理，并生成所述高级特征图中的所述火焰位于该高级特征图中的火焰坐标框，所述火焰检测处理为非极大值抑制处理；
步骤S6、将所述高级特征图中的所述火焰坐标框内的图像截取并生成火焰框图，将所述火焰框图进行图像识别判断是否为火焰；
步骤S7、将所述火焰的时间和次数根据预设报警规则进行判断，若判断为火灾，则在应用系统中进行文字报警，并与火灾报警器联动实现火灾报警。
2.根据权利要求1所述的火灾检测报警方法，其特征在于，所述步骤S2中，所述预处理包括如下步骤：
步骤S21、判断所述监控数据；
步骤S22、若所述监控数据为火灾视频数据集，则将所述火灾视频按照视频帧率进行逐帧转换为图片，读取N张图片，并进入步骤S23，其中，N为正整数，并满足：4≤N；
若所述监控数据为检测图片，则读取N张图片，并进入步骤S23；
步骤S23、将所述N张图片依次进行旋转处理、缩放处理以及色域变化处理，再按照预设方位或随机方位将处理后的所述N张图片进行组合拼接，并生成目标组合图像；
步骤S24、将所述目标组合图像按照预设图片尺寸进行判断；
步骤S25、若所述目标组合图像的尺寸大于所述预设图片尺寸，则根据所述预设图片尺寸进行计算得到图像缩小参数，再将所述目标组合图像根据所述图像缩小参数进行插值、黑边填充，并生成所述训练图像，所述图像缩小参数包括缩放比例、缩放尺寸以及黑边填充数值，并生成所述训练图像；
若所述目标组合图像的尺寸小于所述预设图片尺寸，则将所述目标组合图像通过双线性插值法进行处理，并生成所述训练图像。
3.根据权利要求2所述的火灾检测报警方法，其特征在于，N＝4。
4.根据权利要求1所述的火灾检测报警方法，其特征在于，所述步骤S3中，所述神经网络模型包括Focus结构和CSP结构，所述深度学习训练包括如下步骤：
步骤S31、将所述训练图像通过所述Focus结构依次进行每隔一像素的切片操作、整合拼接操作、卷积操作、批归一化以及激活Leaky_relu函数处理；
步骤S32、将所述训练图像通过所述CSP结构提取出所述高级特征图；其中，所述CSP结构包括多个不同种类的残差网络结构，所述残差网络结构用于根据目标需求设定所述神经网络模型中的神经网络结构的深度与宽度。
5.根据权利要求1所述的火灾检测报警方法，其特征在于，所述步骤S4中，所述神经网络模型包括SPP结构、FPN结构以及PAN结构，所述特征增强模型处理包括如下步骤：
步骤S41、将所述高级特征图中的特征通过所述SPP结构进行多尺度的最大的池化操作，再进行拼接操作并生成高级特征，其中，所述SPP结构包括三组不同的所述池化操作；
步骤S42、将所述高级特征通过所述FPN结构进行增强处理，以适应不同尺度缩放的目标检测；
步骤S43、将所述高级特征通过所述PAN结构进行下采样处理，并生成对应的目标图像向量，所述下采样处理用于自底向上传达强定位特征。
6.根据权利要求1所述的火灾检测报警方法，其特征在于，所述步骤S6中，所述图像识别判断包括颜色特征过滤、运动特征过滤以及均值方差过滤；
所述颜色特征过滤为将所述火焰框图根据预设颜色阈值采用HSI或HSV颜色空间进行过滤，以实现将非火焰颜色动态范围内的目标进行过滤；
所述运动特征过滤为将所述火焰框图根据预设频闪阈值进行过滤，以过滤掉不具有火焰频闪特征的目标；
所述均值方差过滤为将所述火焰框图内每个像素值的计算出均值，再计算出每个所述像素值与所述均值的方差，根据所述方差进行判断，若所述火焰框图内所述像素值的总方差和大于预设的方差阈值，则判断为不是火焰，反之，则判断为火焰。
7.根据权利要求1所述的火灾检测报警方法，其特征在于，所述步骤S7中，所述预设报警规则为预先设定时间阈值和次数阈值，若所述监控数据在所述时间阈值内检测出火焰的次数超过所述次数阈值，则判断为火灾；其中，时间阈值为时间值或者帧数值。
8.一种火灾检测报警系统，其特征在于，该系统包括：
数据获取模块，用于获取监控数据；
数据预处理模块，用于将所述监控数据进行数据预处理并生成训练图像；
神经网络模型模块，用于将所述训练图像和与其相对应的标记框坐标信息通过神经网络模型进行深度学习训练，并提取出所述训练图像的高级特征图；还用于将所述高级特征图通过所述神经网络模型进行特征增强模型处理，并生成与所述高级特征图对应的火焰检测模型；还用于将所述高级特征图通过所述火焰检测模型进行火焰检测处理，并生成所述高级特征图中的所述火焰位于该高级特征图中的火焰坐标框，所述火焰检测处理为非极大值抑制处理；还用于将所述高级特征图中的所述火焰坐标框内的图像截取并生成火焰框图，将所述火焰框图进行图像识别判断是否为火焰；
检测报警模块，用于将所述火焰的时间和次数根据预设报警规则进行判断，若判断为火灾，则在应用系统中进行文字报警，并与火灾报警器联动实现火灾报警。
9.一种火灾检测报警设备，其特征在于，包括处理器和存储器，所述处理器用于读取所述存储器中的程序，执行如权利要求1至7中任一项所述的火灾检测报警方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现如权利要求1-7中任意一项所述的火灾检测报警方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110329883.0A CN113012383B (zh) | 2021-03-26 | 2021-03-26 | 火灾检测报警方法、相关系统、相关设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110329883.0A CN113012383B (zh) | 2021-03-26 | 2021-03-26 | 火灾检测报警方法、相关系统、相关设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113012383A true CN113012383A (zh) | 2021-06-22 |
| CN113012383B CN113012383B (zh) | 2022-12-30 |
Family
ID=76408156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110329883.0A Active CN113012383B (zh) | 2021-03-26 | 2021-03-26 | 火灾检测报警方法、相关系统、相关设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012383B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408479A (zh) * | 2021-07-12 | 2021-09-17 | 重庆中科云从科技有限公司 | 火焰检测方法、装置、计算机设备和存储介质 |
| CN113627284A (zh) * | 2021-07-26 | 2021-11-09 | 华南师范大学 | 基于改进CenterNet的实时火焰检测方法及检测装置 |
| CN114022850A (zh) * | 2022-01-07 | 2022-02-08 | 深圳市安软慧视科技有限公司 | 变电站火灾监控方法、系统及相关设备 |
| CN117315551A (zh) * | 2023-11-29 | 2023-12-29 | 深圳鲲云信息科技有限公司 | 用于火焰报警的方法及计算设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537215A (zh) * | 2018-03-23 | 2018-09-14 | 清华大学 | 一种基于图像目标检测的火焰检测方法 |
| CN108921039A (zh) * | 2018-06-07 | 2018-11-30 | 南京启德电子科技有限公司 | 基于多尺寸卷积核的深度卷积模型的森林火灾检测方法 |
| CN110033040A (zh) * | 2019-04-12 | 2019-07-19 | 华南师范大学 | 一种火焰识别方法、系统、介质和设备 |
| CN110516529A (zh) * | 2019-07-09 | 2019-11-29 | 杭州电子科技大学 | 一种基于深度学习图像处理的投喂检测方法和系统 |
| CN111814725A (zh) * | 2020-07-20 | 2020-10-23 | 北京华正明天信息技术股份有限公司 | 一种基于cnn+lstm+mlp组合神经网络判断监控视频着火的预警方法 |
| WO2021017998A1 (zh) * | 2019-07-26 | 2021-02-04 | 第四范式（北京）技术有限公司 | 文本位置定位方法和系统以及模型训练方法和系统 |
| US20210049789A1 (en) * | 2019-08-16 | 2021-02-18 | Deep Seek Labs, Inc. | Flame finding with automated image analysis |
-
2021
- 2021-03-26 CN CN202110329883.0A patent/CN113012383B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537215A (zh) * | 2018-03-23 | 2018-09-14 | 清华大学 | 一种基于图像目标检测的火焰检测方法 |
| CN108921039A (zh) * | 2018-06-07 | 2018-11-30 | 南京启德电子科技有限公司 | 基于多尺寸卷积核的深度卷积模型的森林火灾检测方法 |
| CN110033040A (zh) * | 2019-04-12 | 2019-07-19 | 华南师范大学 | 一种火焰识别方法、系统、介质和设备 |
| CN110516529A (zh) * | 2019-07-09 | 2019-11-29 | 杭州电子科技大学 | 一种基于深度学习图像处理的投喂检测方法和系统 |
| WO2021017998A1 (zh) * | 2019-07-26 | 2021-02-04 | 第四范式（北京）技术有限公司 | 文本位置定位方法和系统以及模型训练方法和系统 |
| US20210049789A1 (en) * | 2019-08-16 | 2021-02-18 | Deep Seek Labs, Inc. | Flame finding with automated image analysis |
| CN111814725A (zh) * | 2020-07-20 | 2020-10-23 | 北京华正明天信息技术股份有限公司 | 一种基于cnn+lstm+mlp组合神经网络判断监控视频着火的预警方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张传雷 等: "基于ResNet-LSTM的具有注意力机制的办公人员行为视频识别", 《天津科技大学学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408479A (zh) * | 2021-07-12 | 2021-09-17 | 重庆中科云从科技有限公司 | 火焰检测方法、装置、计算机设备和存储介质 |
| CN113627284A (zh) * | 2021-07-26 | 2021-11-09 | 华南师范大学 | 基于改进CenterNet的实时火焰检测方法及检测装置 |
| CN113627284B (zh) * | 2021-07-26 | 2024-02-20 | 华南师范大学 | 基于改进CenterNet的实时火焰检测方法及检测装置 |
| CN114022850A (zh) * | 2022-01-07 | 2022-02-08 | 深圳市安软慧视科技有限公司 | 变电站火灾监控方法、系统及相关设备 |
| CN114022850B (zh) * | 2022-01-07 | 2022-05-03 | 深圳市安软慧视科技有限公司 | 变电站火灾监控方法、系统及相关设备 |
| CN117315551A (zh) * | 2023-11-29 | 2023-12-29 | 深圳鲲云信息科技有限公司 | 用于火焰报警的方法及计算设备 |
| CN117315551B (zh) * | 2023-11-29 | 2024-03-19 | 深圳鲲云信息科技有限公司 | 用于火焰报警的方法及计算设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113012383B (zh) | 2022-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113012383B (zh) | 火灾检测报警方法、相关系统、相关设备及存储介质 | |
| CN105893920B (zh) | 一种人脸活体检测方法和装置 | |
| CA2867365C (en) | Method, system and computer storage medium for face detection | |
| KR101394242B1 (ko) | 영상 감시 장치 및 영상 감시 방법 | |
| CN109670441A (zh) | 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质 | |
| US20170213080A1 (en) | Methods and systems for automatically and accurately detecting human bodies in videos and/or images | |
| CN103729858B (zh) | 一种视频监控系统中遗留物品的检测方法 | |
| US20220335619A1 (en) | Instance segmentation method and apparatus | |
| CN111626163B (zh) | 一种人脸活体检测方法、装置及计算机设备 | |
| WO2020233000A1 (zh) | 人脸识别方法、装置及计算机可读存储介质 | |
| US20110280478A1 (en) | Object monitoring system and method | |
| CN111553298B (zh) | 一种基于区块链的火灾识别方法及系统 | |
| CN112417955B (zh) | 巡检视频流处理方法及装置 | |
| CN103700087A (zh) | 移动侦测方法和装置 | |
| CN113989858B (zh) | 一种工作服识别方法及系统 | |
| CN113033553A (zh) | 多模式融合的火灾检测方法、装置、相关设备及存储介质 | |
| JP4999794B2 (ja) | 静止領域検出方法とその装置、プログラム及び記録媒体 | |
| CN112347988A (zh) | 口罩识别模型的训练方法、装置、计算机设备和可读存储介质 | |
| CN111402185B (zh) | 一种图像检测方法及装置 | |
| CN112001336A (zh) | 行人越界报警方法、装置、设备及系统 | |
| CN104182975A (zh) | 自动过滤效果不佳的图片的拍照装置及方法 | |
| CN116778673A (zh) | 水域安全监控方法、系统、终端及存储介质 | |
| CN108737733B (zh) | 信息提示方法和装置、电子设备、计算机可读存储介质 | |
| Mustafah et al. | Face detection system design for real time high resolution smart camera | |
| US20100296743A1 (en) | Image processing apparatus, image processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20240109 Granted publication date: 20221230 |