CN115272820A - 火焰烟雾识别模型训练及其应用方法、装置及存储介质 - Google Patents

火焰烟雾识别模型训练及其应用方法、装置及存储介质 Download PDF

Info

Publication number
CN115272820A
CN115272820A CN202210847815.8A CN202210847815A CN115272820A CN 115272820 A CN115272820 A CN 115272820A CN 202210847815 A CN202210847815 A CN 202210847815A CN 115272820 A CN115272820 A CN 115272820A
Authority
CN
China
Prior art keywords
flame
smoke
image
training
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210847815.8A
Other languages
English (en)
Inventor
刘宝刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Laida Siwei Information Technology Co ltd
Original Assignee
Shenzhen Laida Siwei Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Laida Siwei Information Technology Co ltd filed Critical Shenzhen Laida Siwei Information Technology Co ltd
Priority to CN202210847815.8A priority Critical patent/CN115272820A/zh
Publication of CN115272820A publication Critical patent/CN115272820A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明涉及计算机安防领域，公开了一种火焰烟雾识别模型训练方法、火焰烟雾识别方法、装置及存储介质，所述火焰烟雾识别方法包括：对监测区域进行图像采集，得到待识别图像；将所述待识别图像输入到火焰烟雾识别模型中进行火焰烟雾识别，得到识别结果，其中，所述火焰烟雾识别模型为通过火焰烟雾识别模型训练方法训练得到的模型；当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行预警识别，得到预警结果，其中，当所述预警结果为需要预警时，则触发预设报警机制，采用本发明通过提高对烟雾和火焰的识别速度，确保预警的及时性。

Description

火焰烟雾识别模型训练及其应用方法、装置及存储介质
技术领域
本发明涉及计算机安防领域，尤其涉及一种火焰烟雾识别模型训练方法、火焰烟雾识别方法、装置及存储介质。
背景技术
在燃气场站，火灾的防范极为重要，过去在生产中火灾往往行成规模后才被发现，因此每一次火灾都会造成极大的损失。为此，需要通过将高清摄像头实时拍摄的视频，并通过视频分析技术中的截帧技术进行拆帧转换为图像，对该图像进行分析确认烟雾是否存在，是否会造成火灾，从而提高对火灾的监测防范，目前最常见的火焰烟雾识别方法是三通道合成法，即将三个波段分别赋予红、绿、蓝通道来产生真彩色或假彩色图,通过真彩色图或假彩色图来识别烟雾。当然，几个波段的组合也可以赋予一个通道来产生辨识图像，以识别烟雾，比如，ChristopherandChou(1997)利用AVHRR数据的波段1和波段4的归一化比值赋予绿色通道，通过绿色通道产生辨识图像。然而上述方法仅仅提供了火灾烟雾的基本信息，而针对燃气场站进行烟雾自动识别存在速度慢的问题，进而导致因预警不及时而发生火灾。
因此，目前在燃气场站的火灾防范中，存在对火焰和烟雾的识别速度慢，导致预警不及时而发生火灾的问题。
发明内容
本发明实施例提供一种火焰烟雾识别模型训练方法、火焰烟雾识别方法、装置和存储介质，以通过提高对烟雾和火焰的识别速度，确保预警的及时性。
为了解决上述技术问题，本申请实施例提供一种火焰烟雾识别模型训练方法，包括：
基于目标检测算法，构建初始化火焰烟雾识别模型，其中，所述初始化火焰烟雾识别模型包括主干网络和火焰烟雾识别网络；
获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中，其中，所述训练图像集合包括训练图像，每一个所述训练图像对应一个标签信息；
基于所述主干网络，对任一个所述训练图像进行特征提取，并基于所述火焰烟雾识别网络对提取到的图像特征进行火焰烟雾识别，得到所述训练图像对应的识别结果；
针对每一个所述训练图像，将所述训练图像的标签信息和所述训练图像的识别结果进行比对，得到所述训练图像的比对结果；
在所述比对结果不满足预设训练条件时，则对所述初始化火焰烟雾识别模型进行参数调整，并返回所述获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中的步骤继续训练，直到所述比对结果满足预设训练条件，得到火焰烟雾识别模型。
为了解决上述技术问题，本申请实施例提供一种火焰烟雾识别方法，包括：
对监测区域进行图像采集，得到待识别图像；
将所述待识别图像输入到火焰烟雾识别模型中进行火焰烟雾识别，得到识别结果，其中，所述火焰烟雾识别模型为通过如权利要求1至3任一项所述的火焰烟雾识别模型训练方法训练得到的模型；
当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行预警识别，得到预警结果，其中，当所述预警结果为需要预警时，则触发预设报警机制。
为了解决上述技术问题，本申请实施例还提供一种火焰烟雾识别模型训练装置，包括：
初始化火焰烟雾识别模型构建模块，用于基于目标检测算法，构建初始化火焰烟雾识别模型，其中，所述初始化火焰烟雾识别模型包括主干网络和火焰烟雾识别网络；
输入模块，用于获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中，其中，所述训练图像集合包括训练图像，每一个所述训练图像对应一个标签信息；
火焰烟雾识别模块，用于基于所述主干网络，对任一个所述训练图像进行特征提取，并基于所述火焰烟雾识别网络对提取到的图像特征进行火焰烟雾识别，得到所述训练图像对应的识别结果；
比对模块，用于针对每一个所述训练图像，将所述训练图像的标签信息和所述训练图像的识别结果进行比对，得到所述训练图像的比对结果；
火焰烟雾识别模型获取模块，用于在所述比对结果不满足预设训练条件时，则对所述初始化火焰烟雾识别模型进行参数调整，并返回所述获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中的步骤继续训练，直到所述比对结果满足预设训练条件，得到火焰烟雾识别模型。
为了解决上述技术问题，本申请实施例还提供一种火焰烟雾识别装置，包括：
待识别图像获取模块，用于对监测区域进行图像采集，得到待识别图像；
识别结果获取模块，用于将所述待识别图像输入到火焰烟雾识别模型中进行火焰烟雾识别，得到识别结果，其中，所述火焰烟雾识别模型为通过如权利要求1至3任一项所述的火焰烟雾识别模型训练方法训练得到的模型；
预警模块，用于当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行预警识别，得到预警结果，其中，当所述预警结果为需要预警时，则触发预设报警机制。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述火焰烟雾识别模型训练方法和/或火焰烟雾识别方法的步骤。
本发明实施例提供的火焰烟雾识别模型训练方法、火焰烟雾识别方法、装置及存储介质，通过对监测区域进行图像采集，得到待识别图像；将所述待识别图像输入到火焰烟雾识别模型中进行火焰烟雾识别，得到识别结果，其中，所述火焰烟雾识别模型为通过火焰烟雾识别模型训练方法训练得到的模型；当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行预警识别，得到预警结果，其中，当所述预警结果为需要预警时，则触发预设报警机制。通过火焰烟雾识别模型训练方法训练得到的模型实现对监测区域的火焰烟雾识别的速度和准确性，通过提高对烟雾和火焰的识别速度，确保预警的及时性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的火焰烟雾识别模型训练方法的一个实施例的流程图；
图2是本申请的主干网络的一结构图；
图3是本申请的火焰烟雾识别方法的一个实施例的流程图；
图4是本申请中火焰烟雾区域和工作区域的一示例图；
图5是根据本申请的火焰烟雾识别模型训练装置的一个实施例的结构示意图；
图6是根据本申请的火焰烟雾识别装置的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，如图1所示，图1示出本发明实施例提供的一种火焰烟雾识别模型训练方法，其具体包括如下步骤S101至步骤S105：
S101、基于目标检测算法，构建初始化火焰烟雾识别模型，其中，初始化火焰烟雾识别模型包括主干网络和火焰烟雾识别网络。
在步骤S101中，上述目标检测算法是用于检测火焰和烟雾的算法，该目标检测算法包括但不限于YOLO目标检测算法和R-CNN目标检测算法，YOLO目标检测算法包括但不限于YOLOv3目标检测算法、YOLOv4目标检测算法。
其中，R-CNN目标检测算法是指通过Faster R-CNN算法构建区域候选网络生成候选区域，候选区域由锚框组成；将多个部件感知模块加入至区域候选网络中，获取目标训练图像中每一候选区域的特征信息，生成特征图；基于预定义的卷积层的卷积核，将特征图输入到卷积神经网络中至少一个卷积层进行卷积计算，归一化输出候选区域尺寸特征；基于候选区域的尺寸特征，获得多个锚框，输入到区域候选网络进行融合，获得多个融合特征；提取多个融合特征中的最大特征值，输出火焰烟雾特征。
YOLOv4是一种在实时检测中精度和速度都优于现有目标检测算法的优质目标检测算法，YOLOv4在主干网络特征提取方面采用了CSPDarkNet53，在其中引入了大量的残差网络块使得网络的抗过拟合能力更强；在图像特征提取方面,YOLOv4引入了SPP(SpatialPyramid Pooling，空间金字塔池化)和PANnet网络(路径聚合网络)以此来增加图像的特征提取量，反复提取特征并且获得了更大的感受野；YOLOv4采用一种自正则的非单调神经激活函数以允许更好的信息深入神经网络，从而得到更好的准确性和泛化。
优选地，本申请实施例采用YOLOv4目标检测算法，构建初始化火焰烟雾识别模型。
上述主干网络是指用于提取待识别图像的特征的网络，上述火焰烟雾识别网络是指用于对该待识别图像进行火焰烟雾识别的网络。
通过YOLOv4目标检测算法，构建初始化火焰烟雾识别模型，在主干网络中引入了大量的残差网络块使得网络的抗过拟合能力更强，在图像特征提取方面,采用火焰烟雾识别网络提高对对监测区域的火焰烟雾识别的速度和准确性，通过提高对火焰和烟雾的识别速度，确保预警的及时性。
S102、获取训练图像集合，并将训练图像集合输入初始化火焰烟雾识别模型中，其中，训练图像集合包括训练图像，每一个训练图像对应一个标签信息。
在步骤S102中，上述标签信息是指训练图像是否包含火焰烟雾。具体地，上述标签信息为训练图像为火焰烟雾图像、训练图像为无火焰有烟雾图像、训练图像为有火焰无烟雾图像、训练图像为无火焰无烟雾图像。
具体可以通过多种方式获取训练图像。例如，可以从摄像头拍摄视频的连续帧图像中获取存在烟雾或不存在烟雾或存在火焰或不存在火焰的多张图像，也可以是从预先存储的图像中获取存在烟雾或不存在烟雾或存在火焰或不存在火焰的多张图像，也可以是网络中搜索获取存在烟雾或不存在烟雾或存在火焰或不存在火焰的多张图像，此处不做具体限制。
S103、基于主干网络，对任一个训练图像进行特征提取，并基于火焰烟雾识别网络对提取到的图像特征进行火焰烟雾识别，得到训练图像对应的识别结果。
在步骤S103中，上述主干网络是指用于提取待识别图像的特征的网络。
下面以一实施例对主干网络的结构进行解释说明，如图2所示，图2为主干网络的结构图，主干网络包括Part1和Part2两个分支，其中，Part1为主干网络的主干部分，Part2为主干网络的支路部分，Part1堆叠的残差块Res(X)Block，Part2相当于一个残差边，经过少量处理直接连接到最后，因此实现对网络优化中的重复梯度信息进行剔除，减少了推理过程的计算量，提高了对训练图像进行特征提取的效率。
上述火焰烟雾识别网络是指基于火焰烟雾识别算法对烟雾和火焰进行识别并定位的算法。实现上述火焰烟雾识别算法是通过本方案采用的目标检测算法。以本申请实施例采用的YOLOv4目标检测算法为例，通过YOLOv4目标检测算法对图像特征进行提取后判定是否存在烟雾以及是否存在火焰，若存在火焰和/或烟雾，则对火焰和/或烟雾的位置进行判定并用检测框对火焰和/或烟雾进行定位。
通过主干网络和火焰烟雾识别网络对训练图像进行训练，得到该初始化火焰烟雾识别模型的识别结果，以便于根据识别结果对初始化火焰烟雾识别模型进行调整，通过提高对火焰和烟雾的识别速度，确保预警的及时性。
S104、针对每一个训练图像，将训练图像的标签信息和训练图像的识别结果进行比对，得到训练图像的比对结果。
在步骤S104中，上述比对结果是指训练图像的标签信息和训练图像的识别结果是否一致。例如，当训练图像的标签信息和训练图像的识别结果同时为存在烟雾和火焰，则比对结果为两个结果一致；当训练图像的标注结果和训练图像的识别结果一个存在烟雾和火焰，一个不存在烟雾和火焰时，则对比结果为两个结果不一致。
此处需要说明的是，针对每一个训练图像，得到一个比对结果。训练图像的个数与比对结果的个数相同。
通过将训练图像的标签信息和训练图像的识别结果进行比对，得到训练图像的比对结果，根据比对结果可对该初始化火焰烟雾识别模型进行调整，通过提高对烟雾和火焰的识别速度，确保预警的及时性。
S105、在比对结果不满足预设训练条件时，则对初始化火焰烟雾识别模型进行参数调整，并返回获取训练图像集合，并将训练图像集合输入初始化火焰烟雾识别模型中的步骤继续训练，直到比对结果满足预设训练条件，得到火焰烟雾识别模型。
在步骤S105中，上述预设训练条件是指该模型训练结束的条件。
该预设训练条件可以根据具体实际情况进行调整，例如，采用loss损失函数判定模型训练是否结束、采用Mish激活函数判定模型训练是否结束。
应用损失函数时，其具体是：根据比对结果，计算损失值。在损失值未达到预设损失值时，则对初始化火焰烟雾识别模型进行参数调整，并返回获取训练图像集合，并将训练图像集合输入初始化火焰烟雾识别模型中的步骤继续训练。在损失值达到预设损失值时，将得到的模型作为火焰烟雾识别模型。
优选地，本申请采用Mish激活函数判定模型训练是否结束。应理解，Mish激活函数通过对负值趋向于0部分设置光滑的梯度流，火焰烟雾区域的像素值变化缓慢而循循渐进的，因而使用光滑的梯度流使得火焰烟雾区域图像的信息能够更好的深入神经网络，相对于原来硬零边界得到了更好的准确性和泛化性。
通过训练得到的火焰烟雾识别模型，提高对烟雾和火焰的识别速度，确保预警的及时性。
在步骤S102中，可选地，获取训练图像集合包括：
获取训练图像，并将标签信息为存在火焰和/或烟雾的训练图像作为待拼接图像集合。
基于数据增强方式，从待拼接图像集合依次选取出四张待拼接图像进行拼接，得到拼接图像。
将拼接图像和训练图像加入训练图像集合中。
其中，上述数据增强方式为Mosaic数据增强方式。
采用Mosaic数据增强方式，利用四张图片进行拼接。Mosaic数据增强能够将四张火焰烟雾图像进行拼接，每一张火焰烟雾图像都有其对应的定位框，将四张火焰烟雾图像拼接之后可以获得一张拼接图像，该拼接图像也为火焰烟雾图像，同时也获得该拼接图像对应的定位框。
将该拼接图像传入到初始化火焰烟雾识别模型中去学习，该初始化火焰烟雾识别模型能够一次性提取到四张火焰烟雾图像的知识，同时，该初始化火焰烟雾识别模型能够获得更多的监测区域的背景特征，确保了在燃气站下快速识别火焰和烟雾，提高对烟雾和火焰的识别速度，确保预警的及时性。
请参阅图3，图3示出本发明实施例提供的一种火焰烟雾识别方法，以该方法应用在图1中的火焰烟雾识别模型训练方法为例进行说明，详述如下：
S201、对监测区域进行图像采集，得到待识别图像。
S202、将待识别图像输入到火焰烟雾识别模型中进行火焰烟雾识别，得到识别结果，其中，火焰烟雾识别模型为通过如权利要求1至3任一项的火焰烟雾识别模型训练方法训练得到的模型。
S203、当识别结果为待识别图像存在火焰和/或待识别图像存在烟雾时，则对待识别图像进行预警识别，得到预警结果，其中，当预警结果为需要预警时，则触发预设报警机制。
在步骤S201中，具体可以通过多种方式获取待识别图像。例如，可以从摄像头拍摄视频的连续帧图像中获取待识别图像，也可以是从预先存储的图像中获取待识别图像，此处不做具体限制。
优选地，本申请通过高清摄像头海康威视DS-7732N-K4 32路高清网络视频存储NVR监控录像机烟雾和火焰的图像进行检测和捕捉，自动实现预警。
在步骤S203中，上述预警识别是指该待识别图像存在烟雾或者火焰的地方是否存在火灾危险。
上述预设报警机制包括但不限于声音报警、灯光报警等。上述报警信号可根据实际情况具体调整。
在本实施例中，通过火焰烟雾识别模型训练方法训练得到的模型实现对监测区域的火焰烟雾识别的速度和准确性，通过提高对烟雾和火焰的识别速度，确保预警的及时性。
在本申请的一些实施例中，步骤S203进一步包括：
S2031、当识别结果为待识别图像存在火焰和/或待识别图像存在烟雾时，则对待识别图像进行区域识别，得到火焰烟雾区域和工作区域。
S2032、对火焰烟雾区域和工作区域进行重合区域计算，得到重合区域面积比值。
S2033、当重合区域面积大于预设面积时，则触发预设报警机制。
在步骤S2031中，其具体是，当识别结果为待识别图像存在烟雾和/或存在火焰时，则对待识别图像进行特征提取，得到图像特征。对图像特征进行火焰烟雾定位，得到火焰烟雾定位点，对图像特征进行工作区域定位，得到工作区域定位点。基于火焰烟雾定位点确定火焰烟雾区域，并基于工作区域定位点，确定工作区域。
在步骤S2032中，以图4所示，图中的area1是指火焰烟雾区域，图中的area2是指工作区域，图中的area是指火焰烟雾区域和工作区域的重合区域，对火焰烟雾区域和工作区域进行重合区域计算，得到重合区域面积比值的具体过程包括：确定火焰烟雾区域任一对角线从上到下的两个顶点的坐标为(x11，y11)、(x12，y12)，工作区域对角线从上到下的两个顶点的坐标为(x21，y21)、(x22，y22)其中，火焰烟雾区域的对角线与火焰烟雾区域的对角线平行。当x12>x21或者y12<y21时，则说明火焰烟雾区域与工作区域无公共区域，即确定重合区域面积比值为0。否则，则基于所有顶点坐标，对火焰烟雾区域和工作区域进行重合区域计算，得到重合区域面积比值。在图4中，可通过IOU＝area/(area1+area2-area)计算得到重合区域面积比值，其中IOU是指火焰烟雾区域和工作区域的交并比值。
在本实施例中，通过对待识别图像进行区域识别，并对识别得到的火焰烟雾区域和工作区域进行重合区域计算，得到重合区域面积比值。基于重合区域面积比值，快速确定是否预警，再提高对监测区域的火焰烟雾识别的速度和准确性的同时，通过提高对烟雾和火焰的识别速度，确保预警的及时性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图5示出与上述实施例火焰烟雾识别模型训练方法一一对应的火焰烟雾识别模型训练装置的原理框图。如图5所示，该火焰烟雾识别模型训练装置包括初始化火焰烟雾识别模型构建模块31、输入模块32、火焰烟雾识别模块33、比对模块34和火焰烟雾识别模型获取模块35。各功能模块详细说明如下：
初始化火焰烟雾识别模型构建模块31，用于基于目标检测算法，构建初始化火焰烟雾识别模型，其中，初始化火焰烟雾识别模型包括主干网络和火焰烟雾识别网络。
输入模块32，用于获取训练图像集合，并将训练图像集合输入初始化火焰烟雾识别模型中，其中，训练图像集合包括训练图像，每一个训练图像对应一个标签信息。
火焰烟雾识别模块33，用于基于主干网络，对任一个训练图像进行特征提取，并基于火焰烟雾识别网络对提取到的图像特征进行火焰烟雾识别，得到训练图像对应的识别结果。
比对模块34，用于针对每一个训练图像，将训练图像的标签信息和训练图像的识别结果进行比对，得到训练图像的比对结果。
火焰烟雾识别模型获取模块35，用于在比对结果不满足预设训练条件时，则对初始化火焰烟雾识别模型进行参数调整，并返回获取训练图像集合，并将训练图像集合输入初始化火焰烟雾识别模型中的步骤继续训练，直到比对结果满足预设训练条件，得到火焰烟雾识别模型。
可选地，输入模块32包括：
待拼接图像集合获取单元，用于获取训练图像，并将标签信息为存在烟雾和/或存在火焰的训练图像作为待拼接图像集合。
拼接单元，用于基于数据增强方式，从待拼接图像集合依次选取出四张待拼接图像进行拼接，得到拼接图像。
训练图像集合获取单元，用于将拼接图像和训练图像加入训练图像集合中。
可选地，火焰烟雾识别模型获取模块35包括：
损失值获取单元，用于根据比对结果，计算损失值。
循环单元，用于在损失值未达到预设损失值时，则对初始化火焰烟雾识别模型进行参数调整，并返回获取训练图像集合，并将训练图像集合输入初始化火焰烟雾模型中的步骤继续训练。
火焰烟雾识别模型获取单元，用于在损失值达到预设损失值时，将得到的模型作为火焰烟雾识别模型。
关于火焰烟雾识别模型训练装置的具体限定可以参见上文中对于火焰烟雾识别模型训练方法的限定，在此不再赘述。上述火焰烟雾识别模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图6示出与上述实施例火焰烟雾识别方法一一对应的火焰烟雾识别装置的原理框图。如图6所示，该火焰烟雾识别装置包括待识别图像获取模块41、识别结果获取模块42和预警模块43。各功能模块详细说明如下：
待识别图像获取模块41，用于对监测区域进行图像采集，得到待识别图像。
识别结果获取模块42，用于将待识别图像输入到火焰烟雾识别模型中进行火焰烟雾识别，得到识别结果，其中，火焰烟雾识别模型为通过如权利要求1至3任一项的火焰烟雾识别模型训练方法训练得到的模型。
预警模块43，用于当识别结果为待识别图像存在火焰和/或待识别图像存在烟雾时，则对待识别图像进行预警识别，得到预警结果，其中，当预警结果为需要预警时，则触发预设报警机制。
可选地，预警模块43进一步包括：
区域识别单元，用于当识别结果为待识别图像存在火焰和/或待识别图像存在烟雾时，则对待识别图像进行区域识别，得到火焰烟雾区域和工作区域。
重合区域面积比值获取单元，用于对火焰烟雾区域和工作区域进行重合区域计算，得到重合区域面积比值。
预警单元，用于当重合区域面积大于预设面积时，则触发预设报警机制。
可选地，区域识别单元进一步包括：
特征提取单元，用于当识别结果为待识别图像存在火焰和/或待识别图像存在烟雾时，则对待识别图像进行特征提取，得到图像特征。
定位点获取单元，用于对图像特征进行火焰烟雾定位，得到火焰烟雾定位点，对图像特征进行工作区域定位，得到工作区域定位点。
区域确定单元，用于基于火焰烟雾定位点确定火焰烟雾区域，并基于工作区域定位点，确定工作区域。
可选地，重合区域面积比值获取单元进一步包括：
坐标确定单元，用于确定火焰烟雾区域任一对角线从上到下的两个顶点的坐标为(x11，y11)、(x12，y12)，工作区域对角线从上到下的两个顶点的坐标为(x21，y21)、(x22，y22)其中，火焰烟雾区域的对角线与火焰烟雾区域的对角线平行。
第一重合区域面积比值获取单元，用于当x12>x21或者y12<y21时，则确定重合区域面积比值为0。
第二重合区域面积比值获取单元，用于否则，则基于所有顶点坐标，对火焰烟雾区域和工作区域进行重合区域计算，得到重合区域面积比值。
关于火焰烟雾识别装置的具体限定可以参见上文中对于火焰烟雾识别方法的限定，在此不再赘述。上述火焰烟雾识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的火焰烟雾识别模型训练方法和火焰烟雾识别方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种火焰烟雾识别模型训练方法，其特征在于，所述火焰烟雾识别模型训练方法包括：
基于目标检测算法，构建初始化火焰烟雾识别模型，其中，所述初始化火焰烟雾识别模型包括主干网络和火焰烟雾识别网络；
获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中，其中，所述训练图像集合包括训练图像，每一个所述训练图像对应一个标签信息；
基于所述主干网络，对任一个所述训练图像进行特征提取，并基于所述火焰烟雾识别网络对提取到的图像特征进行火焰烟雾识别，得到所述训练图像对应的识别结果；
针对每一个所述训练图像，将所述训练图像的标签信息和所述训练图像的识别结果进行比对，得到所述训练图像的比对结果；
在所述比对结果不满足预设训练条件时，则对所述初始化火焰烟雾识别模型进行参数调整，并返回所述获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中的步骤继续训练，直到所述比对结果满足预设训练条件，得到火焰烟雾识别模型。
2.如权利要求1所述的火焰烟雾识别模型训练方法，其特征在于，所述获取训练图像集合包括：
获取训练图像，并将标签信息为存在烟雾和/或存在火焰的所述训练图像作为待拼接图像集合；
基于数据增强方式，从所述待拼接图像集合依次选取出四张所述待拼接图像进行拼接，得到拼接图像；
将所述拼接图像和所述训练图像加入训练图像集合中。
3.如权利要求1所述的火焰烟雾识别模型训练方法，其特征在于，所述在所述比对结果不满足预设训练条件时，则对所述初始化火焰烟雾识别模型进行参数调整，并返回所述获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中的步骤继续训练，直到所述比对结果满足预设训练条件，得到火焰烟雾识别模型的步骤包括：
根据所述比对结果，计算损失值；
在所述损失值未达到预设损失值时，则对所述初始化火焰烟雾识别模型进行参数调整，并返回所述获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中的步骤继续训练；
在所述损失值达到所述预设损失值时，将得到的模型作为所述火焰烟雾识别模型。
4.一种火焰烟雾识别方法，其特征在于，所述火焰烟雾识别方法包括：
对监测区域进行图像采集，得到待识别图像；
将所述待识别图像输入到火焰烟雾识别模型中进行火焰烟雾识别，得到识别结果，其中，所述火焰烟雾识别模型为通过如权利要求1至3任一项所述的火焰烟雾识别模型训练方法训练得到的模型；
当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行预警识别，得到预警结果，其中，当所述预警结果为需要预警时，则触发预设报警机制。
5.如权利要求4所述的火焰烟雾识别方法，其特征在于，所述当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行预警识别，得到预警结果，其中，当所述预警结果为需要预警时，则触发预设报警机制的步骤包括：
当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行区域识别，得到火焰烟雾区域和工作区域；
对所述火焰烟雾区域和所述工作区域进行重合区域计算，得到重合区域面积比值；
当所述重合区域面积大于预设面积时，则触发预设报警机制。
6.如权利要求5所述的火焰烟雾识别方法，其特征在于，所述当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行区域识别，得到火焰烟雾区域和工作区域包括：
当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行特征提取，得到图像特征；
对所述图像特征进行火焰烟雾定位，得到火焰烟雾定位点，对所述图像特征进行工作区域定位，得到工作区域定位点；
基于所述火焰烟雾定位点确定火焰烟雾区域，并基于所述工作区域定位点，确定工作区域。
7.如权利要求1所述的火焰烟雾识别方法，其特征在于，所述对所述火焰烟雾区域和所述工作区域进行重合区域计算，得到重合区域面积比值的步骤包括：
确定所述火焰烟雾区域任一对角线从上到下的两个顶点的坐标为(x11，y11)、(x12，y12)，所述工作区域对角线从上到下的两个顶点的坐标为(x21，y21)、(x22，y22)其中，所述火焰烟雾区域的对角线与所述火焰烟雾区域的对角线平行；
当x12>x21或者y12<y21时，则确定重合区域面积比值为0；
否则，则基于所有所述顶点坐标，对所述火焰烟雾区域和所述工作区域进行重合区域计算，得到重合区域面积比值。
8.一种火焰烟雾识别模型训练装置，其特征在于，所述火焰烟雾识别模型训练装置包括：
初始化火焰烟雾识别模型构建模块，用于基于目标检测算法，构建初始化火焰烟雾识别模型，其中，所述初始化火焰烟雾识别模型包括主干网络和火焰烟雾识别网络；
输入模块，用于获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中，其中，所述训练图像集合包括训练图像，每一个所述训练图像对应一个标签信息；
火焰烟雾识别模块，用于基于所述主干网络，对任一个所述训练图像进行特征提取，并基于所述火焰烟雾识别网络对提取到的图像特征进行火焰烟雾识别，得到所述训练图像对应的识别结果；
比对模块，用于针对每一个所述训练图像，将所述训练图像的标签信息和所述训练图像的识别结果进行比对，得到所述训练图像的比对结果；
火焰烟雾识别模型获取模块，用于在所述比对结果不满足预设训练条件时，则对所述初始化火焰烟雾识别模型进行参数调整，并返回所述获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中的步骤继续训练，直到所述比对结果满足预设训练条件，得到火焰烟雾识别模型。
9.一种火焰烟雾识别装置，其特征在于，所述火焰烟雾识别装置包括：
待识别图像获取模块，用于对监测区域进行图像采集，得到待识别图像；
识别结果获取模块，用于将所述待识别图像输入到火焰烟雾识别模型中进行火焰烟雾识别，得到识别结果，其中，所述火焰烟雾识别模型为通过如权利要求1至3任一项所述的火焰烟雾识别模型训练方法训练得到的模型；
预警模块，用于当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行预警识别，得到预警结果，其中，当所述预警结果为需要预警时，则触发预设报警机制。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的火焰烟雾识别模型训练方法和/或如权利要求4至7任一项所述的火焰烟雾识别方法。
CN202210847815.8A 2022-07-19 2022-07-19 火焰烟雾识别模型训练及其应用方法、装置及存储介质 Pending CN115272820A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210847815.8A CN115272820A (zh) 2022-07-19 2022-07-19 火焰烟雾识别模型训练及其应用方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210847815.8A CN115272820A (zh) 2022-07-19 2022-07-19 火焰烟雾识别模型训练及其应用方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN115272820A true CN115272820A (zh) 2022-11-01

Family

ID=83767538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210847815.8A Pending CN115272820A (zh) 2022-07-19 2022-07-19 火焰烟雾识别模型训练及其应用方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115272820A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058670A (zh) * 2023-10-12 2023-11-14 深圳市华加生物科技有限公司 一种电子烟油柔顺度评价方法
CN117953432A (zh) * 2024-03-26 2024-04-30 湖北信通通信有限公司 一种基于ai算法的烟火智能识别方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058670A (zh) * 2023-10-12 2023-11-14 深圳市华加生物科技有限公司 一种电子烟油柔顺度评价方法
CN117058670B (zh) * 2023-10-12 2024-01-02 深圳市华加生物科技有限公司 一种电子烟油柔顺度评价方法
CN117953432A (zh) * 2024-03-26 2024-04-30 湖北信通通信有限公司 一种基于ai算法的烟火智能识别方法及系统
CN117953432B (zh) * 2024-03-26 2024-06-11 湖北信通通信有限公司 一种基于ai算法的烟火智能识别方法及系统

Similar Documents

Publication Publication Date Title
CN112216049B (zh) 一种基于图像识别的施工警戒区监测预警系统及方法
CN109657533B (zh) 行人重识别方法及相关产品
CN115272820A (zh) 火焰烟雾识别模型训练及其应用方法、装置及存储介质
CN110569772B (zh) 一种泳池内人员状态检测方法
WO2021051601A1 (zh) 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质
WO2020215552A1 (zh) 多目标跟踪方法、装置、计算机设备及存储介质
CN111985385B (zh) 一种行为检测方法、装置及设备
CN109816745B (zh) 人体热力图展示方法及相关产品
KR20200118076A (ko) 생체 검출 방법 및 장치, 전자 기기 및 저장 매체
CN101393603A (zh) 一种识别和检测隧道火灾火焰的方法
CN109948450A (zh) 一种基于图像的用户行为检测方法、装置和存储介质
CN111797726A (zh) 一种火焰检测方法、装置、电子设备及存储介质
CN111832561B (zh) 基于计算机视觉的字符序列识别方法、装置、设备和介质
CN112560584A (zh) 一种人脸检测方法及装置、存储介质、终端
CN109684982B (zh) 结合易混目标排除的基于视频分析的火焰检测方法
CN111178129A (zh) 一种基于人脸和姿态的多模态人员识别方法
CN110363111A (zh) 基于镜头失真原理的人脸活体检测方法、装置及存储介质
CN114202775A (zh) 基于红外图像的变电站危险区域行人闯入检测方法及系统
CN109657689A (zh) 一种基于深度学习的车辆关键点的提取方法、装置和设备
CN111325937B (zh) 翻越行为检测方法、装置和电子系统
CN117611994A (zh) 基于注意力机制加权特征融合的遥感图像目标检测方法
CN110956156A (zh) 一种基于深度学习的闯红灯检测系统
CN111813995A (zh) 一种基于时空关系的行人提取物品行为检测方法及系统
CN110956097A (zh) 遮挡人体提取方法及模块、场景转换方法及装置
US20230051823A1 (en) Systems, methods, and computer program products for image analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination