CN113033553B - 多模式融合的火灾检测方法、装置、相关设备及存储介质 - Google Patents
多模式融合的火灾检测方法、装置、相关设备及存储介质 Download PDFInfo
- Publication number
- CN113033553B CN113033553B CN202110301580.8A CN202110301580A CN113033553B CN 113033553 B CN113033553 B CN 113033553B CN 202110301580 A CN202110301580 A CN 202110301580A CN 113033553 B CN113033553 B CN 113033553B
- Authority
- CN
- China
- Prior art keywords
- flame
- training
- detection
- model
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 263
- 230000004927 fusion Effects 0.000 title claims abstract description 42
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 277
- 238000001914 filtration Methods 0.000 claims abstract description 77
- 238000013135 deep learning Methods 0.000 claims abstract description 42
- 238000003062 neural network model Methods 0.000 claims abstract description 41
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 230000033001 locomotion Effects 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000001629 suppression Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000007689 inspection Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 7
- 238000005728 strengthening Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Abstract
本发明涉及人工智能技术领域，提供一多模式融合的火灾检测方法、装置、相关设备及存储介质，方法包括：对获取到的模型训练数据进行数据预处理，得到火焰检测训练图像；将标记有所述火焰标记框的所述火焰检测训练图像输入预设的深度学习神经网络模型进行训练，提取目标特征图，得到目标火焰检测模型；通过所述目标火焰检测模型对待检测数据进行火焰检测，得到火焰目标坐标框；通过预设的图像过滤模型将所述火焰目标坐标框中的火焰特征进行提取，对所述火焰特征进行颜色空间过滤以及进行运动检测过滤，得到火灾检测结果。本申请能够提高对火焰进行判断的准确率。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及多模式融合的火灾检测方法、装置、相关设备及存储介质。
背景技术
火灾是一种常见且容易发生的灾害，在生产生活中火灾对公众的生命与财产构成了重大威胁。由于火灾具有突发性而且危害大，所以构建准确有效的火焰识别算法对预防火灾拥有重要的意义。火焰检测算法大致可归纳为两类:基于传感器的火焰检测算法和基于图像的火焰检测算法，但是有些场景下并不适合传感器方法的火焰检测，如室外、半室外场景。
随着社会的进步与发展，各种摄像设备已经在我们的生活中得到了普及。为了加强城市、社区轨道交通安防工作的建设，从边缘监控设备获得的监控训练图像中快速得到有价值的信息，对于公安、城管等工作人员的安防工作来说尤为重要。但是现有技术中，常用的基于图像的火焰检查算法其检测方式单一，最终会导致对火焰的判断准确率低的问题。
发明内容
本发明实施例提供多模式融合的火灾检测方法，能够提高对火焰的判断准确率。
第一方面，本发明实施例提供多模式融合的火灾检测方法，所述方法包括以下步骤：
获取模型训练数据，并对所述模型训练数据进行数据预处理，得到火焰检测训练图像，所述火焰检测训练图像中标记有火焰标记框；
将标记有所述火焰标记框的所述火焰检测训练图像输入预设的深度学习神经网络模型进行训练，提取所述火焰检测训练图像的目标特征图，训练得到目标火焰检测模型；
通过所述目标火焰检测模型对待检测数据进行火焰检测，得到火焰目标坐标框；
通过预设的图像过滤模型将所述火焰目标坐标框中的火焰特征进行提取，对所述火焰特征进行颜色空间过滤以及对所述火焰特征进行运动检测过滤，得到火灾检测结果。
第二方面，本发明实施例还提供多模式融合的火灾检测装置，包括：
预处理模块，用于获取模型训练数据，并对所述模型训练数据进行数据预处理，得到火焰检测训练图像，所述火焰检测训练图像中标记有火焰标记框；
训练模块，用于将标记有所述火焰标记框的所述火焰检测训练图像输入预设的深度学习神经网络模型进行训练，提取所述火焰检测训练图像的目标特征图，得到目标火焰检测模型；
检测模块，用于通过所述目标火焰检测模型对待检测数据进行火焰检测，得到火焰目标坐标框；
过滤模块，用于通过预设的图像过滤模型将所述火焰目标坐标框中的火焰特征进行提取，对所述火焰特征进行颜色空间过滤以及对所述火焰特征进行运动检测过滤，得到火灾检测结果。
第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任一项实施例提供的多模式融合的火灾检测方法中的步骤。
第四方面，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现任一项实施例提供的多模式融合的火灾检测方法中的步骤。
在本发明实施例中，通过对模型训练数据进行预处理后获取到火焰检测训练图像，然后将火焰检测训练图像输入到预设的深度学习神经网络模型中进行模型训练，进行目标特征图的提取，可以加强深度学习神经网络模型对特征进行提取及识别的程度及准确度，并得到目标火焰检测模型。这样，可以精准的获取到火焰的位置；同时结合预设的图像过滤模型对检测出的火焰目标坐标框中的火焰特征进行颜色空间过滤以及运动检测过滤，有利于过滤干扰特征，过滤之后得到的火灾检测结果中火焰的位置会更加准确。通过将深度学习神经网络模型和传统的图像过滤模型进行多模式融合，在实际场景下检测的准确率高，且比传感器实时性高、结果更精准，而且能部署到传感器无法部署到的场景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种多模式融合的火灾检测方法的流程图；
图2是本发明实施例提供的另一种多模式融合的火灾检测方法的流程图；
图2a是本发明实施例提供的对模型训练数据进行数据预处理的流程图；
图2b是本发明实施例提供的另一种多模式融合的火灾检测系统的结构示意图；
图2c是本发明实施例提供的深度学习神经网络模型的Focus结构的数据处理流程图；
图2d是本发明实施例提供的深度学习神经网络模型的FPN+PAN结构的数据处理流程图；
图3是本发明实施例提供的另一种多模式融合的火灾检测方法的流程图；
图3a是本发明实施例提供的通过目标火焰检测模型对火焰检测训练图像进行预测的流程图；
图4本发明实施例提供的一种多模式融合的火灾检测装置的结构示意图；
图5是本发明实施例提供的另一种多模式融合的火灾检测装置的结构示意图；
图6是本发明实施例提供的另一种多模式融合的火灾检测装置的结构示意图；
图7是本发明实施例提供的另一种多模式融合的火灾检测装置的结构示意图；
图8是本发明实施例提供的另一种多模式融合的火灾检测装置的结构示意图；
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
如图1所示，图1是本发明实施例提供的一种多模式融合的火灾检测方法的流程图，多模式融合的火灾检测方法包括以下步骤：
101、获取模型训练数据，并对模型训练数据进行数据预处理，得到火焰检测训练图像，火焰检测训练图像中标记有火焰标记框。
在本实施例中，多模式融合的火灾检测方法可以运用于城市安防管理、工厂园区安防管理、校园安防管理等场景的火灾检测系统中。需要说明的是，上述多模式融合的火灾检测方法运行于其上的电子设备可以通过有线连接方式或者无线连接方式进行数据传输。上述无线连接方式可以包括但不限于3G/4G连接、WiFi(Wireless-Fidelity)连接、蓝牙连接、WiMAX(Worldwide Interoperability for Microwave Access)连接、Zigbee(低功耗局域网协议，又称紫峰协议)连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
其中，上述的模型训练数据可以是预先采集到的数据，也可以是实时采集的数据，数据来源可以是从各个摄像头中采集得到，摄像头可以是布置在各个不同场景中不同区域的摄像头。在采集到的模型训练数据中，可以包括大量的火灾视频训练数据和/或火灾训练图像。模型训练数据可以将不同地点采集到的数据进行分别存储，或者可以将具有相同特点的数据进行集中存储。
获取到模型训练数据后可以进行数据预处理，进行预处理的过程中，可以包括对训练图像进行缩放、旋转变化、色域变化、位置变化、重新组合、图像插值、填充等等，最后输出一个新的图像，新的图像即为上述的火焰检测训练图像。在火焰检测训练图像中可以有对火焰的位置进行标注的火焰坐标框。坐标框的形状可以是长方形、正方形、圆形等。
102、将标记有火焰标记框的火焰检测训练图像输入预设的深度学习神经网络模型进行训练，提取火焰检测训练图像的目标特征图，训练得到目标火焰检测模型。
其中，上述预设的深度学习神经网络模型可以包括有多个不同的结构层次，每个结构层次都可以根据层次的布局对分别提取出的特征进行对应的处理，最后可以输出上述火焰检测训练图像的目标特征图。上述将标记有火焰标记框的火焰检测训练图像输入预设的深度学习神经网络模型进行训练，可以不断增强深度学习神经网络模型对火焰的各类特征进行学习的能力。标记有火焰标注框，可以从火焰检测训练图像中快速锁定火焰所在的位置，提高深度学习神经网络模型的学习速度。上述的目标特征图可以是对火焰具有强识别的特征图，其中包括进行火焰识别时最重要部分的特征。
具体的，通过对深度学习神经网络模型中的多个层次的结构分别进行训练以学习提取目标特征图之后，可以基于目标特征图对深度学习神经网络进行下一步优化。优化时，可以包括对目标特征图中火焰所在的坐标位置识别的优化。对模型进行一步优化时可以通过训练得到的模型进行预测，且预测属于训练过程。进行预测时，会产生预测值，预测值与火焰标注框的真实值之间会存在一定差距，因此，可以通过损失函数对预测值与真实值之间的差距进行量化处理。通过不断的重复执行步骤102，可以逐渐的缩小预测值与真实值之间的差距。完成预测后，便可以训练得到目标火焰检测模型。此时，目标火焰检测模型对火焰的坐标位置具有更加敏锐的识别能力，能够精准的定位到火焰的位置坐标。
103、通过目标火焰检测模型对待检测数据进行火焰检测，得到火焰目标坐标框。
其中，训练得到上述目标火焰检测模型后，可以将目标火焰检测模型在检测终端进行部署，例如：将目标火焰检测模型部署在需要进行火焰监测的场景中的摄像头一端。这样，便可以通过摄像头采集上述的待检测数据，通过摄像头中部署的目标火焰检测模型对待检测数据中的火焰进行检测，通过检测可以提取待检测数据中的火焰特征，并对检测到的火焰特征通过坐标框的形式对其进行标注，得到上述的火焰目标坐标框。其中，待检测数据可以是通过摄像头实时获取到的火焰现场视频训练数据/训练图像。若为现场视频训练数据，可以将现场视频训练数据根据视频帧进行拆解为训练图像。
104、通过预设的图像过滤模型将火焰目标坐标框中的火焰特征进行提取，对火焰特征进行颜色空间过滤以及对火焰特征进行运动检测过滤，得到火灾检测结果。
其中，上述图像过滤模型可以包括传统的HIS(Hue-Saturation-Intensity)颜色空间或HSV(Hue-Saturation-Value)颜色空间。HIS颜色空间的使用方式是用H、S、I三参数描述颜色特性，其中H定义颜色的波长，称为色调；S表示颜色的深浅程度，称为饱和度；I表示强度或亮度。而上述HSV颜色空间是通过色调(H)，饱和度(S)，明度(V)这三个颜色特性进行过滤。
提取到火焰目标坐标框之后，在火焰目标坐标框中会存在火焰特征，火焰特征包括上述HIS以及HSV中所提出的颜色特性，因此，可以提取上述目标检测框中的火焰特征。上述对火焰特征进行颜色空间过滤，可以是将提取到的火焰特征与预设的颜色阈值基于上述几个颜色特性进行比较，保留满足颜色阈值的火焰特征，对不满足颜色阈值范围外的干扰特征进行去除。然后基于运动范围对满足颜色阈值的火焰特征继续进行检测，进行运动范围的检测可以是对火焰的闪频特征进行检测，同样可以通过设置闪频特征阈值的形式对满足颜色阈值的火焰特征的闪频特征进行比较，最终可以过滤掉不满足闪频特征阈值区域的干扰特征。经过双重过滤后，便可以得到火灾检测结果。
在本发明实施例中，由于将深度学习神经网络模型和传统的图像过滤模型进行多模式融合，先通过对模型训练数据进行预处理后获取到火焰检测训练图像，然后将火焰检测训练图像输入到预设的深度学习神经网络模型中进行模型训练，进行目标特征图的提取，可以加强深度学习神经网络模型对特征进行提取的准确度，并得到目标火焰检测模型，然后通过目标火焰检测模型对火焰检测训练图像进行预测，不断的提高目标火焰检测模型检测的精度，这样，可以精准的获取到火焰的位置；同时结合了传统的HIS颜色空间/HSV颜色空间对检测出的火焰目标坐标框中的火焰特征进行颜色空间过滤以及运动检测过滤，这样，可以过滤掉干扰特征，过滤之后得到的火灾检测结果中火焰的位置会更加准确。且比传感器实时性高、结果更精准，而且能部署到传感器无法部署到的场景，实用性高。
如图2所示，图2是本发明实施例提供的另一种多模式融合的火灾检测方法流程图，多模式融合的火灾检测方法具体包括以下步骤：
201、获取模型训练数据，判断模型训练数据是否为视频训练数据，若为视频训练数据，则根据视频帧率对视频训练数据进行逐帧转换为训练图像。
其中，获取模型训练数据时，可能是视频训练数据，也可能直接是训练图像。若为训练图像则可以直接进行增强与缩放等操作。若为视频训练数据，则需要将视频训练数据基于视频帧率逐帧转换为训练图像(图片)。
202、选取多张训练图像，对多张训练图像进行旋转、缩放以及色域变化处理，得到多张转换图像，并按照预设方位将多张转换图像进行组合拼接，得到火焰检测训练图像。
其中，参考图2a所示，上述模型训练数据可以是一个模型训练数据集，因此，在该模型训练数据集中包括有大量的训练图像。上述对训练图像进行旋转、缩放以及色域变化可以是对多张训练图像进行同时处理，具体选择几张训练图像同时进行处理可以预先设定，例如：一次性读取4张训练图像，将这4张训练图像进行旋转、缩放、色域变换处理，得到对应的多张转换图像。上述进行旋转可以将多张训练图像在同一个旋转方向上进行同角度的旋转处理，也可以是每一张图像分别按照预先设定的不同角度、不同旋转方向分别进行旋转。同样，上述进行缩放可以是同时对多张训练图像进行缩小/放大，且可以是每张训练图像随机进行缩放，例如：图1缩小、图2放大、图3放大、图4缩小。
其中，预设方位可以包括4个方位，4个方位可以自定义，例如：4个方位分别为左上、左下、右上以及右下。得到多张转换图像后可以将转换图像放置在上述4个方位上，然后基于4个方位的转换图像进行图像组合以及框体组合，最后输出一个新的图像，也即是上述的火焰检测训练图像。该火焰检测训练图像的尺寸大小(分辨率)与深度学习神经网络模型规定的尺寸大小一致。
可选的，上述其中，对多张训练图像进行缩放的步骤包括：
判断训练图像的分辨率是否达到预设的分辨率。
为了保证火焰检测训练图像的分辨率满足深度学习神经网络模型预设的分辨率，以实现对深度学习神经网络模型的训练，需要将火焰检测训练图像的分辨率调整为与深度学习神经网络模型预设的分辨率一致。因此，可以先获取火焰检测训练图像的分辨率与预设的分辨率进行比较。
若训练图像的分辨率未达到预设的分辨率，则计算火焰检测训练图像的缩放比例、缩放尺寸以及黑边填充数值，并根据缩放比例、缩放尺寸以及黑边填充数值对火焰检测训练图像进行放大处理，使得到的火焰检测训练图像的分辨率为预设的分辨率。
其中，若训练图像的分辨率未达到预设的分辨率，可以根据悬链图像的分辨率以及深度学习神经网络模型规定的分辨率计算缩放比例、缩放尺寸以及黑边填充数值。其中，按照缩放比例进行图像处理可以不改变图像的形状，按照缩放尺寸进行处理可以改变图像的形状。然后可以根据计算得到的缩放比例、缩放尺寸以及黑边填充数值对进行分辨率未达到预设的分辨率的训练图像进行插值填充以及黑边填充，使得到的火焰检测训练图像的分辨率为预设的分辨率。
其次，若训练图像的分辨率超过预设的分辨率，则通过双线性插值法对火焰检测训练图像进行缩小处理，使得到的火焰检测训练图像的分辨率为预设的分辨率。
其中，针对训练图像的分辨率超过预设的分辨率的训练图像需要进行缩小处理。缩小处理时可以通过双线性插值法进行插值处理，使得到的火焰检测训练图像的分辨率为预设的分辨率。
203、通过Focus结构对标记有火焰标记框的火焰检测训练图像进行切片处理后再进行重新整合拼接，得到重拼接训练特征图。
其中，参考图2b所示，在整个多模式融合的火焰检测系统中，处理包括对模型训练数据进行预处理的数据预处理模块之外，上述预设的深度学习神经网络模型中可以包括Focus结构(焦点结构)、CSP结构(Center and Scale Prediction，中心与尺度预测)、SPP结构(Spatial Pyramid Pooling,空间金字塔池化)以及FPN+PAN结构(Feature PyramidNetworks+Perceptual Adversarial Network，特征金字塔结构+感知对抗网络结构)。且可以是将训练图像先输入到Focus结构中，对标记有火焰标记框的火焰检测训练图像中的训练图像进行切片处理后再进行重新整合拼接，以输出一个重拼接训练特征图。
204、通过CSP结构对重拼接训练特征图进行卷积操作，输出卷积训练特征图，并对卷积训练特征图进行批归一化处理，得到归一化训练特征图。
其中，参考图2c所示，可以将重拼接训练特征图输入到CSP结构进行卷积操作，以输出卷积训练特征图，然后将卷积后的卷积训练特征图进行批归一化(batchnormalization)处理，得到归一化后的归一化训练特征图。
205、将归一化训练特征图通过预设的激活函数进行激活，以输出初始特征图，并通过SPP结构对初始特征图进行多尺度池化处理以及再拼接处理，得到目标特征图。
其中，继续参考图2c所示，预设的激活函数可以包括Sigmoid激活函数、Tanh函数以及ReLU函数，当然不排除其他的激活函数，上述仅为示例。然后可以将归一化训练特征图通过预设的激活函数进行激活，以输出初始特征图。
参考图2d所示，可以将初始特征图输入到SPP结构对初始特征图中的特征进行多尺度最大池化处理之后再进行拼接，进而得到上述的目标特征图。在SPP结构中，可以包括有多组不同的池化层，分别进行不同尺度的池化操作。
206、通过FPN+PAN结构对目标特征图进行多个方向上的特征采样，得到多个尺度的特征图，以对多个尺度的特征图进行特征强化，训练得到初始火焰检测模型。
其中，继续参考图2d所示，得到上述的目标特征图之后，可以将目标特征图输入到FPN+PAN结构(FPN结构与PAN结构)中。FPN结构可以对特征进行增强，以适应不同尺度缩放的火焰检测。且FPN结构是自顶向下的，将高层的特征信息通过上采样的方式进行传递融合，得到进行预测的特征图，传达了强语义特征。PAN结构对特征进行下采样，自底向上传达强定位特征，得到对应的火焰图像向量。完成特征强化处理后，得到的模型为初始火焰检测模型，目标火焰检测模型为初始火焰检测模型优化后的模型。
207、基于非极大值抑制方式，通过预设的深度学习神经网络模型选取初始火焰检测模型中目标特征图不同位置的坐标框，按置信度大小对选取的坐标框依次进行非极大值抑制，最终得到预测结果。
其中，上述的非极大值抑制(Non-Maximum Suppression，NMS)，顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索。参考图3a所示，可以通过非极大值抑制方式先进行非极大值抑制。选取同一个火焰检测训练图像的不同位置坐标的坐标框，并且从多个坐标框中选取置信度最大的坐标框作为预测值。
具体的，非极大值抑制具体过程为：首先把目标特征图不同位置所有检测出来的坐标框按置信度从大到小排列，然后选取置信度最高的坐标框，计算交并比(IOU)，计算公式为IOU＝(A∩B)/(A∪B)，将交并比大于阈值的坐标框(即与其重叠面积大于阈值的其他坐标框)删除掉，其中，A与B可以表示坐标框的坐标。然后再选择置信度第二高的坐标框，重复上述过程，直到遍历完所有的坐标框，得到最终的预测结果，即目标特征图中各个需要检测的目标的坐标信息。
208、计算预测结果与真实值的差距，通过预设的损失函数对差距进行量化，并不断迭代计算预测结果与真实值的差距以及通过预设的损失函数对差距进行量化的步骤，以缩小预测值与真实值的差距，直到将初始火焰检测模型训练得到目标火焰检测模型。
其中，得到预测结果之后，可以先计算预测结果与真实值的差距。预测结果与真实值都是坐标信息，因此可以将坐标信息做差计算之间的差距。上述预设的损失函数可以包括但不限于二进制交叉熵以及Logits损失函数。可以使用损失函数对差距进行量化，并且不断重复上述步骤207与步骤208，不断迭代以缩小预测值与真实值的差距，以实现模型优化，使得到的目标火焰检测模型能够更准确的获取火灾坐标检测框。通过非极大值抑制以获取目标的坐标信息可以是图2b中的预测模块所处理的过程。
209、通过目标火焰检测模型对待检测数据进行火焰检测，得到火焰目标坐标框。
210、通过预设的图像过滤模型将火焰目标坐标框中的火焰特征进行提取，对火焰特征进行颜色空间过滤以及对火焰特征进行运动检测过滤，得到火灾检测结果。
在本发明实施例中，通过对模型训练数据进行预处理，可以让训练图像更好的满足深度学习神经网络模型的参数需求，这样，训练得到的目标火焰检测模型对真实场景中采集到的待检测数据进行检测时才会更加准确。且上述预设的深度学习神经网络模型中可以包括Focus结构、CSP结构、SPP结构以及FPN+PAN结构，通过多层结构可以对输入的训练图像进行特征提取，最终输出目标特征图，并且对目标特征图的特征进行强化，以使得到的目标火焰检测模型具有更强的特征识别能力，提高目标火焰检测模型的识别准确率。
如图3所示，图3是本发明实施例提供的另一种多模式融合的火灾检测方法流程图。多模式融合的火灾检测方法具体包括步骤：
301、获取模型训练数据，并对模型训练数据进行数据预处理，得到火焰检测训练图像，火焰检测训练图像中标记有火焰标记框。
302、将标记有火焰标记框的火焰检测训练图像输入预设的深度学习神经网络模型进行训练，提取火焰检测训练图像的目标特征图，训练得到目标火焰检测模型。
303、通过目标火焰检测模型对待检测数据进行火焰检测，得到火焰目标坐标框。
304、对火焰目标坐标框中的火焰特征从所在的图像中进行提取。
305、对提取出的火焰特征进行颜色检查，基于预设的颜色阈值，通过HIS/HSV颜色空间对非火焰颜色动态范围内的特征进行过滤，得到火焰过滤特征。
其中，先根据火焰的坐标框把火焰特征从整张图像上扣下来，然后对其进行颜色检查。基于预设的颜色阈值，使用传统方法HIS或HSV颜色空间进行过滤，对火焰特征中不满足颜色阈值的目标进行过滤。
306、对火焰过滤特征进行运动检测，基于预设的闪频特征阈值，对火焰过滤特征中频闪特征不满足闪频特征阈值的特征进行过滤，以得到火灾检查结果。
同时，还对保留下来的火焰特征进行运动检测，根据火焰的频闪特征，基于预设闪频特征阈值，过滤掉不具有火焰频闪特征以及不满足闪频特征阈值的特征，最后输出上述火灾检查结果。上述对火焰特征进行颜色检查以及运动检测也即是上述图2b中的传统方法过滤的具体过滤方式。
在本发明实施例中，基于非极大值抑制方式，通过目标火焰检测模型选取初始火焰检测模型中目标特征图不同位置的坐标框，按置信度大小对选取的坐标框依次进行非极大值抑制，并计算预测结果与真实值的差距，真实值为火焰标记框的坐标，并通过预设的损失函数对差距进行量化，不断迭代处理，可以获得更准确的火焰目标坐标框。同时结合了传统的HIS颜色空间/HSV颜色空间对检测出的火焰目标坐标框中的火焰特征进行颜色空间过滤以及运动检测过滤，这样，可以过滤掉干扰特征，过滤之后得到的火灾检测结果中火焰的位置会更加准确。且比传感器实时性高、结果更精准，而且能部署到传感器无法部署到的场景，实用性高。
如图4所示，图4是本发明实施例提供的一种多模式融合的火灾检测装置的结构示意图，多模式融合的火灾检测装置400包括：
预处理模块401，用于获取模型训练数据，并对模型训练数据进行数据预处理，得到火焰检测训练图像，火焰检测训练图像中标记有火焰标记框；
训练模块402，用于将标记有火焰标记框的火焰检测训练图像输入预设的深度学习神经网络模型进行训练，提取火焰检测训练图像的目标特征图，得到目标火焰检测模型；
检测模块403，用于通过目标火焰检测模型对待检测数据进行火焰检测，得到火焰目标坐标框；
过滤模块404，用于通过预设的图像过滤模型将火焰目标坐标框中的火焰特征进行提取，对火焰特征进行颜色空间过滤以及对火焰特征进行运动检测过滤，得到火灾检测结果。
可选的，如图5所示，图5是本发明实施例提供的另一种多模式融合的火灾检测装置的结构示意图，预处理模块401包括：
转换子模块4011，用于判断模型训练数据是否为视频训练数据，若为视频训练数据，则根据视频帧率对视频训练数据进行逐帧转换为训练图像；
组合拼接子模块4012，用于选取多张训练图像，对多张训练图像进行旋转、缩放以及色域变化处理，得到多张转换图像，并按照预设方位将多张转换图像进行组合拼接，得到火焰检测训练图像。
可选的，组合拼接子模块4012还用于判断训练图像的分辨率是否达到预设的分辨率；
组合拼接子模块4012还用于若训练图像的分辨率未达到预设的分辨率，则计算火焰检测训练图像的缩放比例、缩放尺寸以及黑边填充数值，并根据缩放比例、缩放尺寸以及黑边填充数值对火焰检测训练图像进行放大处理，使得到的火焰检测训练图像的分辨率为预设的分辨率；或者
组合拼接子模块4012还用于若训练图像的分辨率超过预设的分辨率，则通过双线性插值法对火焰检测训练图像进行缩小处理，使得到的火焰检测训练图像的分辨率为预设的分辨率。
可选的，预设的深度学习神经网络模型包括Focus结构、CSP结构、SPP结构以及FPN+PAN结构。
可选的，如图6所示，图6是本发明实施例提供的另一种多模式融合的火灾检测装置的结构示意图，训练模块402包括：
重拼接子模块4021，用于通过Focus结构对标记有火焰标记框的火焰检测训练图像进行切片处理后再进行重新整合拼接，得到重拼接训练特征图；
归一化子模块4022，用于通过CSP结构对重拼接训练特征图进行卷积操作，输出卷积训练特征图，并对卷积训练特征图进行批归一化处理，得到归一化训练特征图；
激活子模块4023，用于将归一化训练特征图通过预设的激活函数进行激活，以输出初始特征图，并通过SPP结构对初始特征图进行多尺度池化处理以及再拼接处理，得到目标特征图；
特征强化子模块4024，用于通过FPN+PAN结构对目标特征图进行多个方向上的特征采样，得到多个尺度的特征图，以对多个尺度的特征图进行特征强化，训练得到初始火焰检测模型，目标火焰检测模型为初始火焰检测模型优化后的模型。
可选的，如图7所示，图7是本发明实施例提供的另一种多模式融合的火灾检测装置的结构示意图，训练模块402还包括：
选取子模块4025，用于基于非极大值抑制方式，通过预设的深度学习神经网络模型选取初始火焰检测模型中目标特征图不同位置的坐标框，按置信度大小对选取的坐标框依次进行非极大值抑制，最终得到预测结果；
量化子模块4026，用于计算预测结果与真实值的差距，通过预设的损失函数对差距进行量化，并不断迭代计算预测结果与真实值的差距以及通过预设的损失函数对差距进行量化的步骤，以缩小预测值与真实值的差距，直到将初始火焰检测模型训练得到目标火焰检测模型。
可选的，如图8所示，图8是本发明实施例提供的另一种多模式融合的火灾检测装置的结构示意图，过滤模块404包括：
提取子模块4041，用于对火焰目标坐标框中的火焰特征从所在的图像中进行提取；
第一过滤子模块4042，用于对提取出的火焰特征进行颜色检查，基于预设的颜色阈值，通过HIS/HSV颜色空间对非火焰颜色动态范围内的特征进行过滤，得到火焰过滤特征；
第二过滤子模块4043，用于对火焰过滤特征进行运动检测，基于预设的闪频特征阈值，对火焰过滤特征中频闪特征不满足闪频特征阈值的特征进行过滤，以得到火灾检查结果。
如图9所示，图9是本发明实施例提供的一种电子设备的结构示意图，该电子设备900包括：处理器901、存储器902、网络接口903及存储在存储器902上并可在处理器901上运行的计算机程序，处理器901执行计算机程序时实现实施例提供的多模式融合的火灾检测方法中的步骤。
具体的，处理器901用于执行以下步骤：
获取模型训练数据，并对模型训练数据进行数据预处理，得到火焰检测训练图像，火焰检测训练图像中标记有火焰标记框；
将标记有火焰标记框的火焰检测训练图像输入预设的深度学习神经网络模型进行训练，提取火焰检测训练图像的目标特征图，得到目标火焰检测模型；
通过目标火焰检测模型对待检测数据进行火焰检测，得到火焰目标坐标框；
通过预设的图像过滤模型将火焰目标坐标框中的火焰特征进行提取，对火焰特征进行颜色空间过滤以及对火焰特征进行运动检测过滤，得到火灾检测结果。
可选的，处理器901执行的对模型训练数据进行数据预处理的步骤包括:
判断模型训练数据是否为视频训练数据，若为视频训练数据，则根据视频帧率对视频训练数据进行逐帧转换为训练图像；
选取多张训练图像，对多张训练图像进行旋转、缩放以及色域变化处理，得到多张转换图像，并按照预设方位将多张转换图像进行组合拼接，得到火焰检测训练图像；
其中，对多张训练图像进行缩放的步骤包括：
判断训练图像的分辨率是否达到预设的分辨率；
若训练图像的分辨率未达到预设的分辨率，则计算火焰检测训练图像的缩放比例、缩放尺寸以及黑边填充数值，并根据缩放比例、缩放尺寸以及黑边填充数值对火焰检测训练图像进行放大处理，使得到的火焰检测训练图像的分辨率为预设的分辨率；或者
若训练图像的分辨率超过预设的分辨率，则通过双线性插值法对火焰检测训练图像进行缩小处理，使得到的火焰检测训练图像的分辨率为预设的分辨率。
可选的，处理器901执行的步骤中，预设的深度学习神经网络模型包括Focus结构、CSP结构、SPP结构以及FPN+PAN结构。
可选的，处理器901执行的将标记有火焰标记框的火焰检测训练图像输入预设的深度学习神经网络模型进行训练，提取火焰检测训练图像的目标特征图，得到目标火焰检测模型的步骤包括：
通过Focus结构对标记有火焰标记框的火焰检测训练图像进行切片处理后再进行重新整合拼接，得到重拼接训练特征图；
通过CSP结构对重拼接训练特征图进行卷积操作，输出卷积训练特征图，并对卷积训练特征图进行批归一化处理，得到归一化训练特征图；
将归一化训练特征图通过预设的激活函数进行激活，以输出初始特征图，并通过SPP结构对初始特征图进行多尺度池化处理以及再拼接处理，得到目标特征图；
通过FPN+PAN结构对目标特征图进行多个方向上的特征采样，得到多个尺度的特征图，以对多个尺度的特征图进行特征强化，训练得到初始火焰检测模型，目标火焰检测模型为初始火焰检测模型优化后的模型。
可选的，处理器901执行的将标记有火焰标记框的火焰检测训练图像输入预设的深度学习神经网络模型进行训练的步骤还包括：
基于非极大值抑制方式，通过预设的深度学习神经网络模型选取初始火焰检测模型中目标特征图不同位置的坐标框，按置信度大小对选取的坐标框依次进行非极大值抑制，最终得到预测结果；
计算预测结果与真实值的差距，通过预设的损失函数对差距进行量化，并不断迭代计算预测结果与真实值的差距以及通过预设的损失函数对差距进行量化的步骤，以缩小预测值与真实值的差距，直到将初始火焰检测模型训练得到目标火焰检测模型。
可选的，处理器901执行的通过预设的图像过滤模型将火焰目标坐标框中的火焰特征进行提取，对火焰特征进行颜色空间过滤以及对火焰特征进行运动检测过滤的步骤包括:
对火焰目标坐标框中的火焰特征从所在的图像中进行提取；
对提取出的火焰特征进行颜色检查，基于预设的颜色阈值，通过HIS/HSV颜色空间对非火焰颜色动态范围内的特征进行过滤，得到火焰过滤特征；以及
对火焰过滤特征进行运动检测，基于预设的闪频特征阈值，对火焰过滤特征中频闪特征不满足闪频特征阈值的特征进行过滤，以得到火灾检查结果。
本发明实施例提供的电子设备900能够实现多模式融合的火灾检测方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。
需要指出的是，图中仅示出了具有组件的901-903，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的电子设备900是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
存储器902至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器902可以是电子设备900的内部存储单元，例如该电子设备900的硬盘或内存。在另一些实施例中，存储器902也可以是电子设备900的外部存储设备，例如该电子设备900上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器902还可以既包括电子设备900的内部存储单元也包括其外部存储设备。本实施例中，存储器902通常用于存储安装于电子设备900的操作系统和各类应用软件，例如多模式融合的火灾检测方法的程序代码等。此外，存储器902还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器901在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器901通常用于控制电子设备900的总体操作。本实施例中，处理器901用于运行存储器902中存储的程序代码或者处理数据，例如运行多模式融合的火灾检测方法的程序代码。
网络接口903可包括无线网络接口或有线网络接口，该网络接口903通常用于在电子设备900与其他电子设备之间建立通信连接。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器901执行时实现实施例提供的多模式融合的火灾检测方法中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现实施例多模式融合的火灾检测方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(RandomAccess Memory，简称RAM)等。
在本发明实施例中提到的第一、第二等并不表示大小，只是为了便于表述。以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (8)
1.多模式融合的火灾检测方法，其特征在于，包括以下步骤：
获取模型训练数据，并对所述模型训练数据进行数据预处理，得到火焰检测训练图像，所述火焰检测训练图像中标记有火焰标记框；
将标记有所述火焰标记框的所述火焰检测训练图像输入预设的深度学习神经网络模型进行训练，提取所述火焰检测训练图像的目标特征图，训练得到目标火焰检测模型；
通过所述目标火焰检测模型对待检测数据进行火焰检测，得到火焰目标坐标框；
通过预设的图像过滤模型将所述火焰目标坐标框中的火焰特征进行提取，对所述火焰特征进行颜色空间过滤以及对所述火焰特征进行运动检测过滤，得到火灾检测结果；
所述对所述模型训练数据进行数据预处理的步骤包括:
判断所述模型训练数据是否为视频训练数据，若为所述视频训练数据，则根据视频帧率对所述视频训练数据进行逐帧转换为训练图像；
选取多张所述训练图像，对多张所述训练图像进行旋转、缩放以及色域变化处理，得到多张转换图像，并按照预设方位将多张所述转换图像进行组合拼接，得到所述火焰检测训练图像；
所述对多张所述训练图像进行缩放的步骤包括：
判断所述训练图像的分辨率是否达到预设的分辨率；
若所述训练图像的分辨率未达到所述预设的分辨率，则计算所述火焰检测训练图像的缩放比例、缩放尺寸以及黑边填充数值，并根据所述缩放比例、缩放尺寸以及黑边填充数值对所述火焰检测训练图像进行放大处理，使得到的所述火焰检测训练图像的分辨率为所述预设的分辨率；或者
若所述训练图像的分辨率超过所述预设的分辨率，则通过双线性插值法对所述火焰检测训练图像进行缩小处理，使得到的所述火焰检测训练图像的分辨率为所述预设的分辨率。
2.如权利要求1所述的多模式融合的火灾检测方法，其特征在于，预设的所述深度学习神经网络模型包括Focus结构、CSP结构、SPP结构以及FPN+PAN结构。
3.如权利要求2所述的多模式融合的火灾检测方法，其特征在于，所述将标记有所述火焰标记框的所述火焰检测训练图像输入预设的深度学习神经网络模型进行训练，提取所述火焰检测训练图像的目标特征图的步骤包括：
通过所述Focus结构对标记有所述火焰标记框的所述火焰检测训练图像进行切片处理后再进行重新整合拼接，得到重拼接训练特征图；
通过所述CSP结构对所述重拼接训练特征图进行卷积操作，输出卷积训练特征图，并对所述卷积训练特征图进行批归一化处理，得到归一化训练特征图；
将所述归一化训练特征图通过预设的激活函数进行激活，以输出初始特征图，并通过所述SPP结构对所述初始特征图进行多尺度池化处理以及再拼接处理，得到所述目标特征图；
通过所述FPN+PAN结构对所述目标特征图进行多个方向上的特征采样，得到多个尺度的特征图，以对所述多个尺度的特征图进行特征强化，训练得到初始火焰检测模型，所述目标火焰检测模型为所述初始火焰检测模型优化后的模型。
4.如权利要求3所述的多模式融合的火灾检测方法，其特征在于，所述将标记有所述火焰标记框的所述火焰检测训练图像输入预设的深度学习神经网络模型进行训练的步骤还包括：
基于非极大值抑制方式，通过预设的所述深度学习神经网络模型选取所述初始火焰检测模型中所述目标特征图不同位置的坐标框，按置信度大小对选取的所述坐标框依次进行非极大值抑制，最终得到预测值；
计算所述预测值与真实值的差距，通过预设的损失函数对所述差距进行量化，并不断迭代计算所述预测值与所述真实值的差距以及通过预设的所述损失函数对所述差距进行量化的步骤，以缩小所述预测值与所述真实值的差距，不断模型优化，直到将所述初始火焰检测模型训练得到所述目标火焰检测模型。
5.如权利要求1所述的多模式融合的火灾检测方法，其特征在于，所述通过预设的图像过滤模型将所述火焰目标坐标框中的火焰特征进行提取，对所述火焰特征进行颜色空间过滤以及对所述火焰特征进行运动检测过滤的步骤包括:
对所述火焰目标坐标框中的所述火焰特征从所在的图像中进行提取；
对提取出的所述火焰特征进行颜色检查，基于预设的颜色阈值，通过HIS/HSV颜色空间对非火焰颜色动态范围内的特征进行过滤，得到火焰过滤特征；以及
对所述火焰过滤特征进行所述运动检测，基于预设的闪频特征阈值，对所述火焰过滤特征中频闪特征不满足所述闪频特征阈值的特征进行过滤，以得到所述火灾检测结果。
6.多模式融合的火灾检测装置，其特征在于，包括：
预处理模块，用于获取模型训练数据，并对所述模型训练数据进行数据预处理，得到火焰检测训练图像，所述火焰检测训练图像中标记有火焰标记框；
训练模块，用于将标记有所述火焰标记框的所述火焰检测训练图像输入预设的深度学习神经网络模型进行训练，提取所述火焰检测训练图像的目标特征图，得到目标火焰检测模型；
检测模块，用于通过所述目标火焰检测模型对待检测数据进行火焰检测，得到火焰目标坐标框；
过滤模块，用于通过预设的图像过滤模型将所述火焰目标坐标框中的火焰特征进行提取，对所述火焰特征进行颜色空间过滤以及对所述火焰特征进行运动检测过滤，得到火灾检测结果；
所述预处理模块包括：
转换子模块，用于判断所述模型训练数据是否为视频训练数据，若为所述视频训练数据，则根据视频帧率对所述视频训练数据进行逐帧转换为训练图像；
组合拼接子模块，用于选取多张所述训练图像，对多张所述训练图像进行旋转、缩放以及色域变化处理，得到多张转换图像，并按照预设方位将多张所述转换图像进行组合拼接，得到火焰检测训练图像；
组合拼接子模块还用于判断所述训练图像的分辨率是否达到预设的分辨率；
组合拼接子模块还用于若所述训练图像的分辨率未达到所述预设的分辨率，则计算所述火焰检测训练图像的缩放比例、缩放尺寸以及黑边填充数值，并根据所述缩放比例、缩放尺寸以及黑边填充数值对所述火焰检测训练图像进行放大处理，使得到的所述火焰检测训练图像的分辨率为所述预设的分辨率；或者
组合拼接子模块还用于若所述训练图像的分辨率超过所述预设的分辨率，则计算所述火焰检测训练图像的缩放比例、缩放尺寸以及黑边填充数值，并根据所述缩放比例、缩放尺寸以及黑边填充数值对所述火焰检测训练图像进行缩小处理，使得到的所述火焰检测训练图像的分辨率为所述预设的分辨率。
7.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的多模式融合的火灾检测方法中的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的多模式融合的火灾检测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110301580.8A CN113033553B (zh) | 2021-03-22 | 2021-03-22 | 多模式融合的火灾检测方法、装置、相关设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110301580.8A CN113033553B (zh) | 2021-03-22 | 2021-03-22 | 多模式融合的火灾检测方法、装置、相关设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113033553A CN113033553A (zh) | 2021-06-25 |
| CN113033553B true CN113033553B (zh) | 2023-05-12 |
Family
ID=76472204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110301580.8A Active CN113033553B (zh) | 2021-03-22 | 2021-03-22 | 多模式融合的火灾检测方法、装置、相关设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033553B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408479A (zh) * | 2021-07-12 | 2021-09-17 | 重庆中科云从科技有限公司 | 火焰检测方法、装置、计算机设备和存储介质 |
| CN113627284B (zh) * | 2021-07-26 | 2024-02-20 | 华南师范大学 | 基于改进CenterNet的实时火焰检测方法及检测装置 |
| CN114022672B (zh) * | 2022-01-10 | 2022-04-26 | 深圳金三立视频科技股份有限公司 | 一种火焰数据生成方法及终端 |
| CN114611666A (zh) * | 2022-03-08 | 2022-06-10 | 安谋科技（中国）有限公司 | 一种nms函数的量化方法、电子设备及介质 |
| CN115147715A (zh) * | 2022-04-14 | 2022-10-04 | 山东浪潮科学研究院有限公司 | 一种基于TinyML的火灾检测方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537215A (zh) * | 2018-03-23 | 2018-09-14 | 清华大学 | 一种基于图像目标检测的火焰检测方法 |
| CN109147254A (zh) * | 2018-07-18 | 2019-01-04 | 武汉大学 | 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 |
| CN110033040A (zh) * | 2019-04-12 | 2019-07-19 | 华南师范大学 | 一种火焰识别方法、系统、介质和设备 |
| CN110801593A (zh) * | 2019-10-30 | 2020-02-18 | 忻州师范学院 | 一种融合多模态数据的极早期火灾预警系统及方法 |
| CN112052797A (zh) * | 2020-09-07 | 2020-12-08 | 合肥科大立安安全技术有限责任公司 | 基于MaskRCNN的视频火灾识别方法及系统 |
| CN112418360A (zh) * | 2021-01-21 | 2021-02-26 | 深圳市安软科技股份有限公司 | 卷积神经网络的训练方法、行人属性识别方法及相关设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018079400A1 (ja) * | 2016-10-24 | 2018-05-03 | ホーチキ株式会社 | 火災監視システム |
| CN111091072A (zh) * | 2019-11-29 | 2020-05-01 | 河海大学 | 一种基于YOLOv3的火焰及浓烟检测方法 |
| CN111489342B (zh) * | 2020-04-09 | 2023-09-26 | 西安星舟天启智能装备有限责任公司 | 一种基于视频的火焰检测方法、系统及可读存储介质 |
-
2021
- 2021-03-22 CN CN202110301580.8A patent/CN113033553B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537215A (zh) * | 2018-03-23 | 2018-09-14 | 清华大学 | 一种基于图像目标检测的火焰检测方法 |
| CN109147254A (zh) * | 2018-07-18 | 2019-01-04 | 武汉大学 | 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 |
| CN110033040A (zh) * | 2019-04-12 | 2019-07-19 | 华南师范大学 | 一种火焰识别方法、系统、介质和设备 |
| CN110801593A (zh) * | 2019-10-30 | 2020-02-18 | 忻州师范学院 | 一种融合多模态数据的极早期火灾预警系统及方法 |
| CN112052797A (zh) * | 2020-09-07 | 2020-12-08 | 合肥科大立安安全技术有限责任公司 | 基于MaskRCNN的视频火灾识别方法及系统 |
| CN112418360A (zh) * | 2021-01-21 | 2021-02-26 | 深圳市安软科技股份有限公司 | 卷积神经网络的训练方法、行人属性识别方法及相关设备 |
Non-Patent Citations (1)
| Title |
|---|
| 严云洋 ; 杜静 ; 高尚兵 ; 周静波 ; 刘以安 ; .融合多特征的视频火焰检测.计算机辅助设计与图形学学报.(第03期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113033553A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113033553B (zh) | 多模式融合的火灾检测方法、装置、相关设备及存储介质 | |
| CN109325954B (zh) | 图像分割方法、装置及电子设备 | |
| CN109791688B (zh) | 曝光相关的亮度变换 | |
| US20190171897A1 (en) | System and method for automatically improving gathering of data using a data gathering device | |
| CN111046880A (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
| CN110826429A (zh) | 一种基于景区视频的旅游突发事件自动监测的方法及系统 | |
| CN113012383B (zh) | 火灾检测报警方法、相关系统、相关设备及存储介质 | |
| US11715286B2 (en) | Method and system for recognizing marine object using hyperspectral data | |
| EP3686807A2 (en) | Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same | |
| CN113128481A (zh) | 一种人脸活体检测方法、装置、设备及存储介质 | |
| CN115578616A (zh) | 多尺度物体实例分割模型的训练方法、分割方法和装置 | |
| CN114724246A (zh) | 危险行为识别方法及装置 | |
| CN111639668A (zh) | 一种基于深度学习的人群密度检测方法 | |
| CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
| US9639958B2 (en) | Synthetic colorization of real-time immersive environments | |
| CN113673369A (zh) | 遥感图像场景规划方法、装置、电子设备和存储介质 | |
| CN116363538B (zh) | 一种基于无人机的桥梁检测方法及系统 | |
| CN111178447B (zh) | 模型压缩方法、图像处理方法及相关装置 | |
| US20230306742A1 (en) | Computer Vision Systems and Methods for Hazard Detection from Digital Images and Videos | |
| Rejaie et al. | Reconnaissance of Golcuk 1999 earthquake damage using satellite images | |
| CN115546901B (zh) | 用于宠物规范行为检测的目标检测模型及方法 | |
| CN113673478B (zh) | 基于深度学习全景拼接的港口大型设备检测与识别方法 | |
| CN114359789A (zh) | 视频图像的目标检测方法、装置、设备及介质 | |
| CN114640785A (zh) | 站点模型更新方法及系统 | |
| CN112633142A (zh) | 一种输电线路违章建筑物识别方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20240109 Granted publication date: 20230512 |
|
| PP01 | Preservation of patent right |