CN113627284B - 基于改进CenterNet的实时火焰检测方法及检测装置 - Google Patents

基于改进CenterNet的实时火焰检测方法及检测装置 Download PDF

Info

Publication number
CN113627284B
CN113627284B CN202110842552.7A CN202110842552A CN113627284B CN 113627284 B CN113627284 B CN 113627284B CN 202110842552 A CN202110842552 A CN 202110842552A CN 113627284 B CN113627284 B CN 113627284B
Authority
CN
China
Prior art keywords
model
flame
centernet
modified
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110842552.7A
Other languages
English (en)
Other versions
CN113627284A (zh
Inventor
杨嘉辉
邱义东
黄锐珊
熊浩良
陈锡和
曾浩雄
熊爱民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202110842552.7A priority Critical patent/CN113627284B/zh
Publication of CN113627284A publication Critical patent/CN113627284A/zh
Application granted granted Critical
Publication of CN113627284B publication Critical patent/CN113627284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明提供了一种基于改进CenterNet的实时火焰检测方法及控制装置，获取原始CenterNet模型，并对所述原始CenterNet模型改进为修改后的CenterNet模型，该修改后的CenterNet模型在所述原始CenterNet模型的基础上增加骨干网路和火焰颜色模型的辅助支路；基于以往火焰图像和对应的训练数据对所述修改后的CenterNet模型进行模型训练，以获取火焰检测模型；基于所述火焰检测模型对待检测视频进行实时识别，并确定火灾等级；基于所述火灾等级进行文字报警或语音报警。

Description

基于改进CenterNet的实时火焰检测方法及检测装置
技术领域
本发明涉及检测装置技术领域，特别涉及一种基于改进CenterNet的实时火焰检测方法及控制装置。
背景技术
火灾具有严重的危害性以及突发性，往往会给人类带来巨大的生命财产损失，因此尽早地预防以及避免火灾的发生十分重要。在现有技术中，较早期的火灾检测方法，需要通过图像处理的方法人工提取火焰的主要特征，再送入SVM分类器、贝叶斯分类器等浅层分类器训练。此类方法需要人工选取火焰的特征进行提取，而提取的这些有限的特征并不能准确的表征火焰本身，导致火焰检测的检测准确率较低。
发明内容
本发明的目的在于提供一种基于改进CenterNet的实时火焰检测方法及控制装置，解决现有技术中火焰检测的检测准确率较低的问题。
为解决上述技术问题，本发明采用如下技术方案：
根据本发明的一个方面，本发明提供一种基于改进CenterNet的实时火焰检测方法，包括：获取原始CenterNet模型，并对所述原始CenterNet模型改进为修改后的CenterNet模型，该修改后的CenterNet模型在所述原始CenterNet模型的基础上增加骨干网路和火焰颜色模型的辅助支路；基于以往火焰图像和对应的训练数据对所述修改后的CenterNet模型进行模型训练，以获取火焰检测模型；基于所述火焰检测模型对待检测视频进行实时识别，并确定火灾等级；基于所述火灾等级进行文字报警或语音报警。
根据本公开的一方面，提供了一种基于改进CenterNet的实时火焰检测装置，包括：改进模块，用于获取原始CenterNet模型，并对所述原始CenterNet模型改进为修改后的CenterNet模型，该修改后的CenterNet模型在所述原始CenterNet模型的基础上增加骨干网路和火焰颜色模型的辅助支路；训练模块，用于基于以往火焰图像和对应的训练数据对所述修改后的CenterNet模型进行模型训练，以获取火焰检测模型；识别模块，用于基于所述火焰检测模型对待检测视频进行实时识别，并确定火灾等级；报警模块，用于基于所述火灾等级进行文字报警或语音报警。
根据本公开的一方面，提供了一种计算机可读程序介质，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据上述的方法。
根据本公开的一方面，提供了一种电子装置，包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现上述的方法。
由上述技术方案可知，本发明实施例至少具有如下优点和积极效果：
在本发明的一些实施例所提供的技术方案中，获取原始CenterNet模型，并对所述原始CenterNet模型改进为修改后的CenterNet模型，该修改后的CenterNet模型在所述原始CenterNet模型的基础上增加骨干网路和火焰颜色模型的辅助支路；基于以往火焰图像和对应的训练数据对所述修改后的CenterNet模型进行模型训练，以获取火焰检测模型；基于所述火焰检测模型对待检测视频进行实时识别，并确定火灾等级；基于所述火灾等级进行文字报警或语音报警，其中，将骨干网络ResNet-18替换为RepVGG-A1，提升网络提取火焰特征的能力；并添加火焰颜色模型辅助支路，使骨干网络更加关注符合火焰颜色模型的区域，提高网络的检测性能。在保持模型轻量化的同时，改进网络结构以提升火焰检测的准确率，实现了火焰检测高实时性、高准确率。
附图说明
图1是根据一示例性实施例示出的一种基于改进CenterNet的实时火焰检测方法的流程图。
图2为实施例一中一种基于改进CenterNet的实时火焰检测方法的实际流程图；
图3为实施例一中改进CenterNet模型的结构图；
图4为实施例一中辅助支路的输出与主干网络中的特征图融合的示意图。
图5为实施例一中空间注意力模块的示意图
图6是根据一示例性实施例示出的一种晶闸管设计参数的提取装置框图。
图7是根据一示例性实施例示出的一种电子装置的硬件图。
图8是根据一示例性实施例示出的一种晶闸管设计参数的提取方法的计算机可读存储介质。
具体实施方式
以下将以图式揭露本发明的多个实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。此外，为简化图式起见，一些习知惯用的结构与组件在图式中将以简单的示意的方式绘示之。
需要说明，本发明实施例中所有方向性指示诸如上、下、左、右、前、后……仅用于解释在某一特定姿态如附图所示下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，并非特别指称次序或顺位的意思，亦非用以限定本发明，其仅仅是为了区别以相同技术用语描述的组件或操作而已，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
火灾具有严重的危害性以及突发性，往往会给人类带来巨大的生命财产损失，因此尽早地预防以及避免火灾的发生十分重要。传统的火灾探测装置主要利用传感器对监控现场的烟雾浓度、温度等敏感信息进行检测，此类传感器的响应速度受监控现场环境影响大，发生警报后需要人到监控现场确认火灾是否发生、火灾情况等。且该类装置响应速度较慢，人类无法在火灾初期就获知火情，若火灾初期没有采取即时有效的措施，容易造成较大的生命或者经济损失。对于本发明应用的场景而言，仓储对环境的干燥度要求较高，并且储存数量较多、堆积的物品和材料极有可能为易燃品。在无人智能仓储逐渐普及的过程中，若由于仓库意外造成火灾，因为无人工实时监管的因素导致火势无法立即控制，将给物料造成较大面积的毁坏，带来不小的经济损失。因此，实时检测火灾情况的高同步性系统对保障仓储物料安全尤其重要。为了及早发现火灾，基于视频图像的火焰检测技术较传统的火灾检测方法更有实际应用价值亦更具有研究价值。
然而现有的几种图像火灾检测技术，都存在不同的缺陷。较早期的火灾检测方法，需要通过图像处理的方法人工提取火焰的主要特征，再送入SVM分类器、贝叶斯分类器等浅层分类器训练。此类方法需要人工选取火焰的特征进行提取，而提取的这些有限的特征并不能准确的表征火焰本身，在复杂的情景下，很多特征同样适合其他干扰物，因此会存在较大的误报率。此外，这类分类器表达能力有限，无法很好的学习到提取的火焰特征。因此，现有的图像火灾检测技术大多采用深度学习的方法，利用卷积神经网络提取、学习火焰特征。
文献中提出使用Faster R-CNN网络进行火焰区域检测，再通过线性动力系统(LDS)对空间特征进行分析来验证探测到的火焰区域，该方法虽然可以取得较高的准确率，但是Two-stage的算法处理速度太慢，计算资源较大，无法部署在低算力设备上。文献[7]提出改进的Yolo-v3的视频火焰实时检测算法进行火焰检测，通过基于Anchor的One-stage的目标检测算法，在火灾识别的精度和速度上达到较好的表现，但Anchor方法中参数过多、网络结构复杂，且火焰是非刚性物体，火焰形状具有多变性，较难准确地选定Anchor Box。
根据本公开的一个实施例，提供了一种基于改进CenterNet的实时火焰检测方法，如图1至图5所示，该基于改进CenterNet的实时火焰检测方法,包括：
获取原始CenterNet模型，并对所述原始CenterNet模型改进为修改后的CenterNet模型，该修改后的CenterNet模型在所述原始CenterNet模型的基础上增加骨干网路和火焰颜色模型的辅助支路；
基于以往火焰图像和对应的训练数据对所述修改后的CenterNet模型进行模型训练，以获取火焰检测模型；
基于所述火焰检测模型对待检测视频进行实时识别，并确定火灾等级；
基于所述火灾等级进行文字报警或语音报警。
在本发明的一些实施例所提供的技术方案中，获取原始CenterNet模型，并对所述原始CenterNet模型改进为修改后的CenterNet模型，该修改后的CenterNet模型在所述原始CenterNet模型的基础上增加骨干网路和火焰颜色模型的辅助支路；基于以往火焰图像和对应的训练数据对所述修改后的CenterNet模型进行模型训练，以获取火焰检测模型；基于所述火焰检测模型对待检测视频进行实时识别，并确定火灾等级；基于所述火灾等级进行文字报警或语音报警，其中，将骨干网络ResNet-18替换为RepVGG-A1，提升网络提取火焰特征的能力；并添加火焰颜色模型辅助支路，使骨干网络更加关注符合火焰颜色模型的区域，提高网络的检测性能。在保持模型轻量化的同时，改进网络结构以提升火焰检测的准确率，实现了火焰检测高实时性、高准确率。
下面对这些步骤进行详细描述。
如图1至图5所示，在步骤S110中，获取原始CenterNet模型，并对所述原始CenterNet模型改进为修改后的CenterNet模型，该修改后的CenterNet模型在所述原始CenterNet模型的基础上增加骨干网路和火焰颜色模型的辅助支路；
具体步骤包括：获取原始CenterNet模型，并确认对应的骨干网络；将所述骨干网络ResNet-18替换为RepVGG-A1；在所述骨干网络上增加火焰颜色模型的辅助支路；在所述火焰颜色模型的辅助支路和所述骨干网络之间构建空间注意力机制，并基于所述空间注意力机制进行特征融合，以形成修改后的CenterNet模型。
其中，改进CenterNet模型，将其骨干网络ResNet-18替换为RepVGG-A1，提升网络提取火焰特征的能力；添加使用了火焰颜色模型的辅助支路，使骨干网络更加关注符合火焰颜色模型的区域，提高网络的检测性能；通过空间注意力机制将辅助支路的输出与主干网络中的特征图融合，用于后续的特征提取及火焰检测。
另外，所述在所述火焰颜色模型的辅助支路和所述骨干网络之间构建空间注意力机制，并基于所述空间注意力机制进行特征融合，以形成修改后的CenterNet模型，包括：将火焰颜色模型辅助支路的输出作为空间注意力模块的输入；得到空间注意力模块的输出后将其与主干网络中的特征图相乘后得到最终的特征图，以形成修改后的CenterNet模型。
还有的是，所述的通过空间注意力机制将辅助支路的输出与主干网络中的特征图融合，其具体做法是将火焰颜色模型辅助支路的输出作为空间注意力模块的输入，得到空间注意力模块的输出后将其与主干网络中的特征图相乘后得到最终的特征图。
如图1至图5所示，在步骤S120中，基于以往火焰图像和对应的训练数据对所述修改后的CenterNet模型进行模型训练，以获取火焰检测模型；
具体步骤包括：基于以往火焰图像和对应的训练数据训练所述修改后的CenterNet模型的辅助支路；设置于各个辅助支路的支路权重，并基于所述支路权重调整所述修改后的CenterNet模型的辅助支路；基于调整后的所述修改后的CenterNet模型对以往火焰图像和对应的训练数据进行训练，以以获取火焰检测模型，通过这种方式加快模型收敛速度。
另外，在所述修改后的CenterNet模型的模型训练中，对训练数据进行增强，或者调节学习率。
另外，所述基于改进CenterNet的实时火焰检测方法还包括构建颜色模型，该颜色模型对以往火焰图像进行处理，以将图片的RGB模型以及HIS模型中的R、G、B、S分量转换成数学模型；具体的公式所输出的结果与预设阀值进行对比，以提取火焰；
其中R、G、B分别代表红、绿、蓝分量，S代表饱和度分量，ST为饱和度分量的阈值，RT为红色分量的阈值。
由于火焰在白天和没有其他照明的夜晚的色调相差较远。在一般情况下，火焰基本属于红黄色，在没有其他照明的情况下，火焰颜色更加偏向于显示为白色。因此本方法将火焰的颜色范围定义在白黄红之间，设置颜色模型中的ST的值为65，RT的值为125。
另外，还包括：基于颜色模型对火焰图像分割得到的掩模图；所述掩模图通过基本的图像形态学处理算法进行处理；其中，先对图像进行膨胀运算，再对图像进行腐蚀运算，最终得到火焰的掩模图；再将掩模图与原图进行与运算，获得火焰分割图像；将火焰的分割图像作为支路网络的输入。
通过上述模型获得火焰的掩模图，为了获取到更完整的火焰区域，本方法将通过颜色模型分割得到的掩模图通过基本的图像形态学处理算法进行处理。先对图像进行膨胀运算，再对图像进行腐蚀运算，最终得到火焰的掩模图。再将掩模图与原图进行与运算，获得火焰分割图像。并将火焰的分割图像作为支路网络的输入。
如图1至图5所示，在步骤S130中，基于所述火焰检测模型对待检测视频进行实时识别，并确定火灾等级；
其中，所述的模型输出包括疑似火焰目标的坐标信息、置信度及疑似火焰目标的面积，此处不作限制。
在步骤S140中，基于所述火灾等级进行文字报警或语音报警,。
其中，所述的根据模型输出判断是否存在火灾，其具体步骤为:判断疑似火焰目标的置信度是否大于所设阈值；若为否，则判定该目标不是火焰，火灾未发生；若为是，则判定模型输出的疑似火焰目标确为火焰，火灾发生。所述的计算火灾等级，其具体方法为:根据火焰目标的面积及前后两帧图像火焰目标面积的变化率计算火灾等级。
具体的实施例如下：
实施例一
如图1至图5所示，图2为本申请实施例提出的一种基于改进CenterNet的实时火焰检测方法的实际流程图，包括以下步骤：
步骤1，改进CenterNet模型，包括在CenterNet模型的基础上将其骨干网络ResNet-18替换为RepVGG-A1；添加使用了火焰颜色模型的辅助支路，使骨干网络更加关注符合火焰颜色模型的区域，提高网络的检测性能；通过空间注意力机制将辅助支路的输出与主干网络中的特征图融合，用于后续的特征提取及火焰检测；
步骤2，标注预先采集的火焰图像，作为训练数据集；
步骤3，利用标注好的训练数据集训练改进后的CenterNet模型，得到训练好的模型；
步骤4，将待检测视频分帧送入训练好的模型，根据模型输出判断是否发生火灾；
步骤5，若发生火灾，则计算火灾等级；
步骤6，根据火灾等级进行文字、语音报警
进一步地，如图1至图5所示，步骤1中所述的改进后的CenterNet模型，其主干网络的输入为未经处理的图像，辅助支路的输入为火焰的分割图像；
具体地，获得火焰分割图像的具体做法为：首先将所获取的视频帧送入颜色模型处理，模型将图片的RGB模型以及HIS模型中的R、G、B、S分量转换成数学模型，通过阈值的判断提取火焰。具体的公式如式(1)所示
其中R、G、B分别代表红、绿、蓝分量，S代表饱和度分量，ST为饱和度分量的阈值，RT为红色分量的阈值。。由于火焰在白天和没有其他照明的夜晚的色调相差较远。在一般情况下，火焰基本属于红黄色，在没有其他照明的情况下，火焰颜色更加偏向于显示为白色。因此本方法将火焰的颜色范围定义在白黄红之间，设置颜色模型中的ST的值为65，RT的值为125。
通过上述模型获得火焰的掩模图，为了获取到更完整的火焰区域，本方法将通过颜色模型分割得到的掩模图通过基本的图像形态学处理算法进行处理。先对图像进行膨胀运算，再对图像进行腐蚀运算，最终得到火焰的掩模图。再将掩模图与原图进行与运算，获得火焰分割图像。
进一步地，如图1至图5所示，步骤1中所述的通过空间注意力机制将辅助支路的输出与主干网络中的特征图融合，其具体做法为：将火焰颜色模型的辅助支路的输出作为输入Fc的得到空间注意力Ms，再与主干网络中的特征图F相乘后得到最终的特征图F
进一步地，如图1至图5所示，所述的将火焰颜色模型的辅助支路的输出作为输入Fc的得到空间注意力Ms，其具体做法为：将输入Fc分别基于通道求最大值以及求平均值，再将结果合并到一个通道数为2的卷积层，再通过一个卷积核为7×7的卷积层以及Sigmoid激活函数，得到一个通道数为1的空间注意力Ms。
应当注意，由于辅助支路与主干网络是并行运算的，推理速度的快慢主要取决于的深度较大的主干网络，添加辅助支路后几乎不影响模型的推理速度。
进一步地，步骤2中所述预先采集的火焰图像包括网络上公开的火焰数据集、通过爬虫爬取的火焰图像及自行拍摄的模拟火灾现场的图像。
进一步地，步骤2中所述标注预先采集的火焰图像，其具体做法为：首先人工对一小部分火焰图像进行标注，将这一小部分已标注图像作为训练集训练火焰检测模型；将剩余未标注的图像输入训练后的模型，利用模型检测未标注图像中的火焰目标并输出火焰目标坐标信息，此坐标信息即火焰目标的标签；由于此时的模型仅经过小规模数据集训练，准确率不高，仍需人工检查错误标注、漏标注的火焰目标并更正。
进一步地，步骤3中所述训练改进后的CenterNet模型，其具体做法为：先对模型的辅助支路进行训练，当训练完整的模型时，先将得到的支路权重迁移到完整的模型上，再进行模型的训练，通过这种方式加快模型收敛速度。
进一步地，步骤3中所述训练改进后的CenterNet模型，训练前还包括数据增强步骤，让有限的数据产生等价于更多数据的价值。采用的数据增强方法包括水平翻转增强、裁剪填充增强、旋转增强、图像高斯平滑及添加高斯噪声等。
具体地，步骤3中所述训练改进后的CenterNet模型，还包括调整模型的超参数，以提升模型的性能。调整的超参数包括，学习率，学习率优化算法、损失函数、批量大小(batch_size)等。
具体地，步骤4中所述模型输出包括疑似火焰目标的坐标信息、置信度及疑似火焰目标的面积。
进一步地，步骤4中所述根据模型输出判断是否发生火灾，其具体做法为：判断疑似火焰目标的置信度是否大于所设阈值；若为否，则判定该目标不是火焰，火灾未发生；若为是，则判定模型输出的疑似火焰目标确为火焰，火灾发生。该阈值可根据实际情况作出调节，若希望误报较少，则应将阈值调高，但漏报的情况就会增多，反之亦然。
进一步地，步骤5中所述计算火灾等级，其具体做法为：根据火焰目标的面积及前后两帧图像火焰目标面积的变化率计算火灾等级。例如，设定三个级别的火焰面积阈值，当检测到火焰目标的面积小于第一级阈值时火灾为一级火灾；检测到火焰目标的面积介于第一级阈值和第二级阈值之间时火灾为二级火灾，以此类推。或设定当前检测到的火焰目标的面积大于首次检测到该火焰目标的面积的两倍时火灾为二级火灾；当前检测到的火焰目标的面积大于首次检测到该火焰目标的面积的四倍时火灾为三级火灾，以此类推。
进一步地，步骤6中所述根据火灾等级进行文字、语音报警其具体方法为:根据不同火灾等级，进行不同级别的文字、语音报警。火灾等级越高，屏幕显示的警报文字颜色越鲜艳、滚动速率越快；扬声器发出的警报声音越响亮、语速越快。
上列详细说明是针对本发明可行实施例的具体说明，该实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。
如图6所示，在一个实施例中，所述基于改进CenterNet的实时火焰检测装置200还包括：
改进模块210，用于获取原始CenterNet模型，并对所述原始CenterNet模型改进为修改后的CenterNet模型，该修改后的CenterNet模型在所述原始CenterNet模型的基础上增加骨干网路和火焰颜色模型的辅助支路；
训练模块220，用于基于以往火焰图像和对应的训练数据对所述修改后的CenterNet模型进行模型训练，以获取火焰检测模型；
识别模块230，用于基于所述火焰检测模型对待检测视频进行实时识别，并确定火灾等级；
报警模块240，用于基于所述火灾等级进行文字报警或语音报警。
下面参照图7来描述根据本发明的这种实施方式的电子设备40。图5显示的电子设备40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备40以通用计算设备的形式表现。电子设备40的组件可以包括但不限于：上述至少一个处理单元41、上述至少一个存储单元42、连接不同系统组件(包括存储单元42和处理单元41)的总线43。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元41执行，使得所述处理单元41执行本说明书上述“实施例方法”部分中描述的根据本发明各种示例性实施方式的步骤。
存储单元42可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)421和/或高速缓存存储单元422，还可以进一步包括只读存储单元(ROM)423。
存储单元42还可以包括具有一组(至少一个)程序模块425的程序/实用工具424，这样的程序模块425包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线43可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备40也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备40交互的设备通信，和/或与使得该电子设备40能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口45进行。并且，电子设备40还可以通过网络适配器46与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器46通过总线43与电子设备40的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备40使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
根据本公开一个实施例，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图8所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品50，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限。

Claims (8)

1.一种基于改进CenterNet的实时火焰检测方法，其特征在于，包括：
获取原始CenterNet模型，并对所述原始CenterNet模型改进为修改后的CenterNet模型，该修改后的CenterNet模型在所述原始CenterNet模型的基础上增加骨干网路和火焰颜色模型的辅助支路；所述获取原始CenterNet模型，并对所述原始CenterNet模型改进为修改后的CenterNet模型，该修改后的CenterNet模型在所述原始CenterNet模型的基础上增加骨干网路和火焰颜色模型的辅助支路步骤包括：获取原始CenterNet模型，并确认对应的骨干网络；将骨干网络ResNet-18替换为RepVGG-A1；在所述骨干网络上增加火焰颜色模型的辅助支路；在所述火焰颜色模型的辅助支路和所述骨干网络之间构建空间注意力机制，并基于所述空间注意力机制进行特征融合，以形成修改后的CenterNet模型；所述在所述火焰颜色模型的辅助支路和所述骨干网络之间构建空间注意力机制，并基于所述空间注意力机制进行特征融合，以形成修改后的CenterNet模型步骤包括：将火焰颜色模型辅助支路的输出作为空间注意力模块的输入；得到空间注意力模块的输出后将其与主干网络中的特征图相乘后得到最终的特征图，以形成修改后的CenterNet模型；
基于火焰图像和对应的训练数据对所述修改后的CenterNet模型进行模型训练，以获取火焰检测模型；
基于所述火焰检测模型对待检测视频进行实时识别，并确定火灾等级；
基于所述火灾等级进行文字报警或语音报警。
2.如权利要求1所述的基于改进CenterNet的实时火焰检测方法，其特征在于，所述基于火焰图像和对应的训练数据对所述修改后的CenterNet模型进行模型训练，以获取火焰检测模型，包括:
基于火焰图像和对应的训练数据训练所述修改后的CenterNet模型的辅助支路；
设置于各个辅助支路的支路权重，并基于所述支路权重调整所述修改后的CenterNet模型的辅助支路；
基于调整后的所述修改后的CenterNet模型对火焰图像和对应的训练数据进行训练，以获取火焰检测模型。
3.如权利要求2所述的基于改进CenterNet的实时火焰检测方法，其特征在于，还包括：
在所述修改后的CenterNet模型的模型训练中，对训练数据进行增强，或者调节学习率。
4.如权利要求3所述的基于改进CenterNet的实时火焰检测方法，其特征在于，还包括：
构建颜色模型，该颜色模型对火焰图像进行处理，以将图片的RGB模型以及HIS模型中的R、G、B、S分量转换成数学模型；
具体的公式
所输出的结果与预设阀值进行对比，以提取火焰；
其中R、G、B分别代表红、绿、蓝分量，S代表饱和度分量，ST为饱和度分量的阈值，RT为红色分量的阈值。
5.如权利要求4所述的基于改进CenterNet的实时火焰检测方法，其特征在于，还包括：
基于颜色模型对火焰图像分割得到的掩模图；
所述掩模图通过图像形态学处理算法进行处理；其中，先对图像进行膨胀运算，再对图像进行腐蚀运算，最终得到火焰的掩模图；再将掩模图与原图进行与运算，获得火焰分割图像；
将火焰的分割图像作为支路网络的输入。
6.一种基于改进CenterNet的实时火焰检测装置，其特征在于，包括：
改进模块，用于获取原始CenterNet模型，并对所述原始CenterNet模型改进为修改后的CenterNet模型，该修改后的CenterNet模型在所述原始CenterNet模型的基础上增加骨干网路和火焰颜色模型的辅助支路；
训练模块，用于基于火焰图像和对应的训练数据对所述修改后的CenterNet模型进行模型训练，以获取火焰检测模型；所述获取原始CenterNet模型，并对所述原始CenterNet模型改进为修改后的CenterNet模型，该修改后的CenterNet模型在所述原始CenterNet模型的基础上增加骨干网路和火焰颜色模型的辅助支路包括：获取原始CenterNet模型，并确认对应的骨干网络；将骨干网络ResNet-18替换为RepVGG-A1；在所述骨干网络上增加火焰颜色模型的辅助支路；在所述火焰颜色模型的辅助支路和所述骨干网络之间构建空间注意力机制，并基于所述空间注意力机制进行特征融合，以形成修改后的CenterNet模型；所述在所述火焰颜色模型的辅助支路和所述骨干网络之间构建空间注意力机制，并基于所述空间注意力机制进行特征融合，以形成修改后的CenterNet模型包括：将火焰颜色模型辅助支路的输出作为空间注意力模块的输入；得到空间注意力模块的输出后将其与主干网络中的特征图相乘后得到最终的特征图，以形成修改后的CenterNet模型；
识别模块，用于基于所述火焰检测模型对待检测视频进行实时识别，并确定火灾等级；
报警模块，用于基于所述火灾等级进行文字报警或语音报警。
7.一种计算机可读程序介质，其特征在于，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据权利要求1至5中任一项所述的方法。
8.一种电子装置，其特征在于，包括：
处理器；
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至5任一项所述的方法。
CN202110842552.7A 2021-07-26 2021-07-26 基于改进CenterNet的实时火焰检测方法及检测装置 Active CN113627284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110842552.7A CN113627284B (zh) 2021-07-26 2021-07-26 基于改进CenterNet的实时火焰检测方法及检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110842552.7A CN113627284B (zh) 2021-07-26 2021-07-26 基于改进CenterNet的实时火焰检测方法及检测装置

Publications (2)

Publication Number Publication Date
CN113627284A CN113627284A (zh) 2021-11-09
CN113627284B true CN113627284B (zh) 2024-02-20

Family

ID=78380970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110842552.7A Active CN113627284B (zh) 2021-07-26 2021-07-26 基于改进CenterNet的实时火焰检测方法及检测装置

Country Status (1)

Country Link
CN (1) CN113627284B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611866A (zh) * 2020-04-23 2020-09-01 淮阴工学院 基于YCrCb和LAB颜色空间的火焰检测识别方法及系统
CN112686276A (zh) * 2021-01-26 2021-04-20 重庆大学 一种基于改进RetinaNet网络的火焰检测方法
CN113012383A (zh) * 2021-03-26 2021-06-22 深圳市安软科技股份有限公司 火灾检测报警方法、相关系统、相关设备及存储介质
CN113033553A (zh) * 2021-03-22 2021-06-25 深圳市安软科技股份有限公司 多模式融合的火灾检测方法、装置、相关设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611866A (zh) * 2020-04-23 2020-09-01 淮阴工学院 基于YCrCb和LAB颜色空间的火焰检测识别方法及系统
CN112686276A (zh) * 2021-01-26 2021-04-20 重庆大学 一种基于改进RetinaNet网络的火焰检测方法
CN113033553A (zh) * 2021-03-22 2021-06-25 深圳市安软科技股份有限公司 多模式融合的火灾检测方法、装置、相关设备及存储介质
CN113012383A (zh) * 2021-03-26 2021-06-22 深圳市安软科技股份有限公司 火灾检测报警方法、相关系统、相关设备及存储介质

Also Published As

Publication number Publication date
CN113627284A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
EP3869459B1 (en) Target object identification method and apparatus, storage medium and electronic apparatus
CN111091072A (zh) 一种基于YOLOv3的火焰及浓烟检测方法
WO2023273041A1 (zh) 车路协同中目标检测方法、装置和路侧设备
CN110516529A (zh) 一种基于深度学习图像处理的投喂检测方法和系统
CN113850242B (zh) 一种基于深度学习算法的仓储异常目标检测方法及系统
CN111414807A (zh) 一种基于yolo技术的潮水识别与危机预警方法
CN113762314B (zh) 一种烟火检测方法和装置
CN115294520A (zh) 一种基于卷积神经网络的烟火检测方法
CN115049954B (zh) 目标识别方法、装置、电子设备和介质
CN115761409A (zh) 一种基于深度学习的火情检测方法、装置、设备和介质
CN115512387A (zh) 基于改进yolov5模型的工地安全帽佩戴检测方法
CN115797736A (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
CN110378421B (zh) 一种基于卷积神经网络的煤矿火灾识别方法
CN109684982B (zh) 结合易混目标排除的基于视频分析的火焰检测方法
CN113239746B (zh) 电动车检测方法、装置、终端设备及计算机可读存储介质
CN117251087B (zh) 基于虚拟现实的煤矿安全模拟交互方法
CN113627284B (zh) 基于改进CenterNet的实时火焰检测方法及检测装置
CN107729811B (zh) 一种基于场景建模的夜间火焰检测方法
CN113989732A (zh) 基于深度学习的实时监控方法、系统、设备和可读介质
US20200410737A1 (en) Image display method and device applied to electronic device, medium, and electronic device
CN112347874A (zh) 一种火灾检测方法、装置、设备及存储介质
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN113837001A (zh) 监控场景下的异常闯入物实时检测方法及装置
CN113657238B (zh) 基于神经网络的火灾早期预警方法、存储介质及终端设备
Zou Flame image recognition detection based on improved YOLOv7

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant