CN114612771A - 一种基于神经网络的火源监控方法及系统 - Google Patents

一种基于神经网络的火源监控方法及系统 Download PDF

Info

Publication number
CN114612771A
CN114612771A CN202210082412.9A CN202210082412A CN114612771A CN 114612771 A CN114612771 A CN 114612771A CN 202210082412 A CN202210082412 A CN 202210082412A CN 114612771 A CN114612771 A CN 114612771A
Authority
CN
China
Prior art keywords
fire source
neural network
behavior
probability value
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210082412.9A
Other languages
English (en)
Inventor
王亮
章炫锐
苏燮阳
张志勇
王鲁平
江伟弘
丘昌镇
李春泽
李登翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Anbi Technology Co ltd
Shenzhen Zhengyangsheng Intelligent Technology Co ltd
Sun Yat Sen University
Original Assignee
Shenzhen Anbi Technology Co ltd
Shenzhen Zhengyangsheng Intelligent Technology Co ltd
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Anbi Technology Co ltd, Shenzhen Zhengyangsheng Intelligent Technology Co ltd, Sun Yat Sen University filed Critical Shenzhen Anbi Technology Co ltd
Priority to CN202210082412.9A priority Critical patent/CN114612771A/zh
Publication of CN114612771A publication Critical patent/CN114612771A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明公开了一种基于神经网络的火源监控方法及系统，所述方法包括：调用设置在监控区域的摄像头实时采集监控影像；控制预设的YOLO神经网络从所述监控影像提取包含火源影像的特征向量，以及所述特征向量对应的置信度；利用所述特征向量和所述置信度计算火源使用行为的行为概率值；根据所述行为概率值确定使用火源的行为类型，并基于所述行为类型触发报警操作。本发明不但可以识别准确率高，以降低误触发的概率，而且可以及时提醒用户进行救援操作，降低财产损失的几率，并可以避免因使用不当而引发灾害的情况。

Description

一种基于神经网络的火源监控方法及系统
技术领域
本发明涉及火源监控的技术领域，尤其涉及一种基于神经网络的火源监控方法及系统。
背景技术
火是影响全球生态系统的重要因素之一，火的正面影响可以维持各种的生态系统以及刺激其成长，例如，人类用火来烹调、生热、产生讯号、照明及推进等；但火也有其负面影响，包括森林火灾、与化合物燃烧爆炸火灾在燃烧过程中造成的空气污染及对生命财产的危害。因此，为了最大程度地保护生命安全，降低财产损失，以及避免因使用不当而引发灾害的情况，监控火源是必不可少的工作。
目前常见的火源监控方法是对监控区域进行热量检测，当检测的热量值超过预设值时，确定该热量值的区域为火源位置，并确定火源位置后触发相应的报警操作。
但目前常用的监控方法有如下技术问题：在不同的场景里，用户可能在可控的范围下使用火源(例如，抽烟或者明火煮饭等)，若仅以热量值进行火源监控，容易造成误触发，不但影响用户的正常生活应用，也浪费报警资源。
发明内容
本发明提出一种基于神经网络的火源监控方法及系统，所述方法可以设置监控区域的摄像头所采集的实时影像进行火源识别，并在识别火源后确定使用火源的行为动作，基于行为动作进行相应的提示或报警操作，以降低误触发的概率。
本发明实施例的第一方面提供了一种基于神经网络的火源监控方法，所述方法包括：
调用设置在监控区域的摄像头实时采集监控影像；
控制预设的YOLO神经网络从所述监控影像提取包含火源影像的特征向量，以及所述特征向量对应的置信度；
利用所述特征向量和所述置信度计算火源使用行为的行为概率值；
根据所述行为概率值确定使用火源的行为类型，并基于所述行为类型触发报警操作。
在第一方面的一种可能的实现方式中，所述控制预设的YOLO神经网络从所述监控影像提取包含火源影像的特征向量，以及所述特征向量对应的置信度，包括：
调用预设的YOLO神经网络将所述监控影像所包含每一帧图像划分成多个网格；
通过预设边界框从所述多个网格中筛选包含火源的网格；
按照预设边界框的边框参数提取每个所述包含火源的网格的特征参数，并将所述特征参数转换成特征向量，其中，所述特征向量包括边框参数和边框位置坐标；
采用所述边框参数和所述边框位置坐标计算预设边界框与真实标签框之间联合叠加的交集框；
将所述交集框与所述预设边界框相乘得到置信度，其中，置信度的定义如下式所示：
Figure BDA0003486416950000021
Pr(Object)为预设边界框(predict box)，
Figure BDA0003486416950000022
为预设边界框与真实标签框之间联合部分的交集框。
在第一方面的一种可能的实现方式中，所述特征向量还包括：所述包含火源的网格的图像特征值；
所述利用所述特征向量和所述置信度计算用户的行为概率值，包括：
对所述图像特征值进行归一化处理得到条件类别概率值；
将所述条件类别概率值与所述置信度相乘得到行为概率值，其中，所述行为概率值可以如下式所示：
Figure BDA0003486416950000031
Figure BDA0003486416950000032
为行为概率值，Pr(Class|Object)为条件类别概率值，
Figure BDA0003486416950000033
为置信度。
在第一方面的一种可能的实现方式中，所述根据所述行为概率值确定使用火源的行为类型，包括：
当所述行为概率值大于预设概率值，则确定使用火源的行为类型为危险类型；
当所述行为概率值小于预设概率值，则确定使用火源的行为类型为安全类型。
在第一方面的一种可能的实现方式中，所述预设的YOLO神经网络的训练过程具体为：
采集待训练数据，其中，所述待训练数据为摄像头在不同场景、不同地形构造和不同人员分布的情况下采集的影像；
对所述采集待训练数据进行预处理得到处理数据，其中预处理包括筛选、清洗、格式转换和打标签；
采用YOLO算法对所述处理数据进行神经网络训练，得到预设的YOLO神经网络。
在第一方面的一种可能的实现方式中，所述预设的YOLO神经网络，包括：输入端模块、主干模块、连接模块、输出预测模块；
所述输入端模块，采用了Mosaic数据处理的方式、自适应锚框计算与自适应图片缩放技术；
所述主干模块，采用Focus结构和两种CSP结构；
所述连接模块，采用FPN+PAN的结构；
所述输出预测模块，采用Bounding box损失函数和nms非极大值抑制算法。
在第一方面的一种可能的实现方式中，在所述基于所述行为类型触发报警操作的步骤后，所述方法还包括：
基于所述行为类型制作监控汇总信息表，以供用户查询监控状况。
本发明实施例的第二方面提供了一种基于神经网络的火源监控系统，所述系统包括：
调用模块，用于调用设置在监控区域的摄像头实时采集监控影像；
提取模块，用于控制预设的YOLO神经网络从所述监控影像提取包含火源影像的特征向量，以及所述特征向量对应的置信度；
计算模块，用于利用所述特征向量和所述置信度计算火源使用行为的行为概率值；
确定模块，用于根据所述行为概率值确定使用火源的行为类型，并基于所述行为类型触发报警操作。
相比于现有技术，本发明实施例提供的一种基于神经网络的火源监控方法及系统，其有益效果在于：本发明可以通过设置高危区域的摄像头采集的实时影像，然后对实时影像进行火源识别，并确定使用火源的行为动作及其动作类型，从而可以基于行为类型进行相应的提示或报警操作。本发明不但可以识别准确率高，以降低误触发的概率，而且可以及时提醒用户进行救援操作，降低财产损失的几率，并可以避免因使用不当而引发灾害的情况。
附图说明
图1是本发明一实施例提供的一种基于神经网络的火源监控方法的流程示意图；
图2是本发明一实施例提供的安全类型的效果示意图；
图3是本发明一实施例提供的危险类型的效果示意图；
图4是本发明一实施例提供的一种基于神经网络的火源监控方法的操作流程图；
图5是本发明一实施例提供的一种基于神经网络的火源监控系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前常用的监控方法有如下技术问题：在不同的场景里，用户可能在可控的范围下使用火源(例如，抽烟或者明火煮饭等)，若仅以热量值进行火源监控，容易造成误触发，不但影响用户的正常生活应用，也浪费报警资源。
为了解决上述问题，下面将通过以下具体的实施例对本申请实施例提供的一种基于神经网络的火源监控方法进行详细介绍和说明。
在一实施例中，所述方法可以适用于后台服务器，后台服务器可以设有已训练的神经网络。
在本实施例中，后台服务器可以与多个摄像头通信连接，也可以与用户终端连接，该用户终端可以是控制机或者终端电脑。用户终端可以放置在监控室中，供用户操作使用，摄像头可以设置在高危区域。
参照图1，示出了本发明一实施例提供的一种基于神经网络的火源监控方法的流程示意图。
其中，作为示例的，所述基于神经网络的火源监控方法，可以包括：
S11、调用设置在监控区域的摄像头实时采集监控影像。
在一实施例中，摄像头的位置、数量以及配置可以根据实际需要进行适当调整。
优先地，摄像头可以设置在灾害易发区域(如：仓库、电源密集区、工地、森林向阳坡或特定禁烟区)，以保证监控力度与图像质量。
在应用时，摄像头可以实时采集监控影像，并将监控影像上传至后台服务器中，供后台服务器进行相应的监控分析。
S12、控制预设的YOLO神经网络从所述监控影像提取包含火源影像的特征向量，以及所述特征向量对应的置信度。
在一实施例中，特征向量可以是火源影像中的特征信息进行向量转换得到向量值，置信度可以表示为对该特征向量包含火源的信心值。
通过获取特征向量和置信度，可以确定所检测的火源影像是否准确，从而可以根据特征向量和置信度进行后续的行为识别，提高识别的准确率。
在一可选的实施例中，步骤S12可以包括以下子步骤：
子步骤S121、调用预设的YOLO神经网络将所述监控影像所包含每一帧图像划分成多个网格。
在一可选的实施例中，划分的网格数量可以根据实际需要进行调整，网格的大小也可以根据实际需求进行调整。例如，若监控影像的容量较大，可以适当减少划分的数量，增加网格大小；若若监控影像的容量较小，可以适当增加划分的数量，减少网格大小。
子步骤S122、通过预设边界框从所述多个网格中筛选包含火源的网格。
其中，预设边界框可以为采用Bounding box损失函数和nms非极大值抑制算法对特征向量的矩阵进行边框预测得到边框。该预设边界框可以识别网格中是否包含火源。
子步骤S123、按照预设边界框的边框参数提取每个所述包含火源的网格的特征参数，并将所述特征参数转换成特征向量，其中，所述特征向量包括边框参数和边框位置坐标。
其中，边框参数可以是边框的长、宽、高。边框位置坐标可以是预设边界框的中心点坐标。
当预设边界框识别该网格后，可以提取该包含火源的网格的中心点坐标，从而得到边框位置坐标。
子步骤S124、采用所述边框参数和所述边框位置坐标计算预设边界框与真实标签框之间联合叠加的交集框。
其中，真实标签框可以是除其自身的预设边界框外，其它包含火源的网格所对应的预设边界框。由于网格有多个，而多个网格中可能也有多个网格包含火源，每个包括火源的网格均有其对应的预测边界框。
求此预测边界框与其它包含火源的边界框交集，可以得到火源重叠部分，从而可以构建重叠的火源图像，进而可以确定所识别火源是否准确。
子步骤S125、将所述交集框与所述预设边界框相乘得到置信度，其中，置信度的定义如下式所示：
Figure BDA0003486416950000071
Pr(Object)为预设边界框(predict box)，
Figure BDA0003486416950000072
为预设边界框与真实标签框之间联合部分的交集框。
在得到交集框后，课可以将交集框与预测边界框进行相乘，从而计算该预测边界框对应的置信度。
在一实施例中，所述预设的YOLO神经网络，包括：输入端模块、主干模块、连接模块、输出预测模块；
所述输入端模块，采用了Mosaic数据处理的方式、自适应锚框计算与自适应图片缩放技术；
所述主干模块，采用Focus结构和两种CSP结构；
所述连接模块，采用FPN+PAN的结构；
所述输出预测模块，采用Bounding box损失函数和nms非极大值抑制算法。
可以通过输入端模块对监控影像的每一帧图像进行随机缩放、随机裁剪、随机排布、拼接等处理，以提高影像的处理效果。
可以通过主干模块采用切片操作，先将监控影像的每一帧图像转变成低维多组特征图，再经过一次32个卷积核的卷积操作，最终变成更低维的更多组特征图，然后采用CSP模块先将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并，在减少了计算量的同时可以保证准确率。
可以通过连接模块将主干模块处理后的信息进行传递融合，进而得到进行预测的整体特征图。在一实施例中，连接模块可以将诸多小网络连接在一起，将不同的主干层对不同的检测层输出的参数用FPN+PAN结构进行聚合，最终输处到预测模块的部分。
最后，可以通过输出预测模块采用Bounding box损失函数和nms非极大值抑制算法对连接模块聚合来的特征值矩阵进行边框预测，得到提到的多个边界框，并先保留其中置信度最大的边界框作为预测框；再计算该预测框与其余的预测框的交集(IOU)，将所有大于一定阈值的预测框剔除，此阈值有一个初始值，在后续的进程中将不断迭代更新；接着保留剩余框中置信度最大的预测框，计算交集(IOU)，将重合度过高的其他预测框剔除；最后重复以上过程，直到所有重复度过高的预测框全部被剔除，剩下的预测框及最终判断目标存在的预测框，假如图像中未能识别出目标，则在迭代的过程中，预测框将会全部剔除。如此，避免了对于相同目标的重复识别，从而以最快的速度和最低的消耗，并检测得到对应的火源图像，及其对应的特征向量和置信度。
为了提高预设的YOLO神经网络检测的准确率，在一实施例中，所述预设的YOLO神经网络的训练过程具体为：
S21、采集待训练数据，其中，所述待训练数据为摄像头在不同场景、不同地形构造和不同人员分布的情况下采集的影像；
S22、对所述采集待训练数据进行预处理得到处理数据，其中预处理包括筛选、清洗、格式转换和打标签；
S23、采用YOLO算法对所述处理数据进行神经网络训练，得到预设的YOLO神经网络。
可选地，在训练完成后，对训练后的神经网络进行评估，具体可以根据实际情况与需求增添数据集数量、根据未识别出的案例补充相应训练集等数据集加强操作，以及训练网络轮数、分支大小、权重参数修改乃至网络结构优化，将图像识别的损失均值、召回率与精确率提高至工程实践所需的标准水平。
在又一可选的实施例中，为了确定训练后的神经网络是否完善，可以对检测结果进行评估。评估操作主要体现在三个参数上，分别为：P(Precision)精确度、R(Recall)召回率和mAP(Mean Average Precision)均值平均精度。
其中P(Precision)精确度是指神经网络识别出的训练集中正确目标的百分比，代表模型识别结果的准确性；R(Recall)召回率表示在期望识别到的目标中神经网络识别出来的百分比，代表模型识别结果的全面性；mAP均值平均精度是衡量神经网络学出的模型在所有类别上的好坏程度。
一般来说，三个值都是越高越好，但如果神经网络R值大，往往代表该网络可能会将相似的非目标物体也识别成目标物体，造成P值的下降；反之，P值的增大，也可能会导致实际应用中，神经网络将未见过的目标物体误判为非目标物体，或者数据集中标签标漏的错误信息忽略，导致mAP值下降。为此，需要在P与R值之间要取平衡，通过审查测试图片样例中未识别的目标物品(对应R值)、已识别的非目标物品的种类(对应P值)，增添能够区分二者混淆的数据集类型图片，以提高mAP值。
在完成训练后，可以统计神经网络的检测结果，从而可以计算上述三个参数，最后，基于三个参数进行相应的训练调整和优化，进一步提高检测的准确率。
S13、利用所述特征向量和所述置信度计算火源使用行为的行为概率值。
所述行为概率值可以是当前使用火焰行为的概率值。通过行为概率值，可以确定此行为是否危险。
所述特征向量还包括：所述包含火源的网格的图像特征值；
在其中一种的实施例中，步骤S13可以包括以下子步骤：
子步骤S131、对所述图像特征值进行归一化处理得到条件类别概率值。
子步骤S132、将所述条件类别概率值与所述置信度相乘得到行为概率值，其中，所述行为概率值可以如下式所示：
Figure BDA0003486416950000091
Figure BDA0003486416950000092
为行为概率值，Pr(Class|Object)为条件类别概率值，
Figure BDA0003486416950000093
为置信度。
S14、根据所述行为概率值确定使用火源的行为类型，并基于所述行为类型触发报警操作。
在一实施例中，可以基于行为概率值确定使用火源的行为类型是否危险，若危险，可以触发报警操作。具体可以触发用户终端进行报警，以提醒用户可能发生灾害，从而让用户及时处理，避免灾害拓展。
在其中一种的实施例中，步骤S14可以包括以下子步骤：
子步骤S141、当所述行为概率值大于预设概率值，则确定使用火源的行为类型为危险类型。
子步骤S142、当所述行为概率值小于预设概率值，则确定使用火源的行为类型为安全类型。
参照图2-3，分别示出了本发明一实施例提供的安全类型的效果示意图，本发明一实施例提供的危险类型的效果示意图。若用户在抽烟，可以确定此火源使用行为的行为类型为安全类型；若发送车辆燃烧，可以确定此火源使用行为的行为类型为危险类型。
在一实施例中，所述方法还可以包括：
S15、基于所述行为类型制作监控汇总信息表，以供用户查询监控状况。
具体地，可以统计一段时间的监控结果以及报警操作结果，再绘制成对应的监控汇总信息表，并将监控汇总信息表发送至用户终端，以供用户终端查询和审核。
参照图4，示出了本发明一实施例提供的一种基于神经网络的火源监控方法的操作流程图。
具体地，可以先进行神经网络训练，并将训练好的神经网络写入后台服务器中，然后可以通过摄像头实时采集高危区域的监控影像，由后台服务器调用训练好的神经网络对监控视频流进行监控识别，以确定火源的使用行为是否危险，若使用行为是否危险，可以发送警报，以通知管理人员进行相应的操作。
在本实施例中，本发明实施例提供了一种基于神经网络的火源监控方法，其有益效果在于：本发明可以通过设置高危区域的摄像头采集的实时影像，然后对实时影像进行火源识别，并确定使用火源的行为动作及其动作类型，从而可以基于行为类型进行相应的提示或报警操作。本发明不但可以识别准确率高，以降低误触发的概率，而且可以及时提醒用户进行救援操作，降低财产损失的几率，并可以避免因使用不当而引发灾害的情况。
本发明实施例还提供了一种基于神经网络的火源监控系统，参见图5，示出了本发明一实施例提供的一种基于神经网络的火源监控系统的结构示意图。
其中，作为示例的，所述基于神经网络的火源监控系统可以包括：
调用模块501，用于调用设置在监控区域的摄像头实时采集监控影像；
提取模块502，用于控制预设的YOLO神经网络从所述监控影像提取包含火源影像的特征向量，以及所述特征向量对应的置信度；
计算模块503，用于利用所述特征向量和所述置信度计算火源使用行为的行为概率值；
确定模块504，用于根据所述行为概率值确定使用火源的行为类型，并基于所述行为类型触发报警操作。
可选地，所述提取模块还用于：
调用预设的YOLO神经网络将所述监控影像所包含每一帧图像划分成多个网格；
通过预设边界框从所述多个网格中筛选包含火源的网格；
按照预设边界框的边框参数提取每个所述包含火源的网格的特征参数，并将所述特征参数转换成特征向量，其中，所述特征向量包括边框参数和边框位置坐标；
采用所述边框参数和所述边框位置坐标计算预设边界框与真实标签框之间联合叠加的交集框；
将所述交集框与所述预设边界框相乘得到置信度，其中，置信度的定义如下式所示：
Figure BDA0003486416950000111
Pr(Object)为预设边界框(predict box)，
Figure BDA0003486416950000121
为预设边界框与真实标签框之间联合部分的交集框。
可选地，所述特征向量还包括：所述包含火源的网格的图像特征值；
所述计算模块还用于：
对所述图像特征值进行归一化处理得到条件类别概率值；
将所述条件类别概率值与所述置信度相乘得到行为概率值，其中，所述行为概率值可以如下式所示：
Figure BDA0003486416950000122
Figure BDA0003486416950000123
为行为概率值，Pr(Class|Object)为条件类别概率值，
Figure BDA0003486416950000124
为置信度。
可选地，所述确定模块还用于：
当所述行为概率值大于预设概率值，则确定使用火源的行为类型为危险类型；
当所述行为概率值小于预设概率值，则确定使用火源的行为类型为安全类型。
可选地，所述预设的YOLO神经网络的训练过程具体为：
采集待训练数据，其中，所述待训练数据为摄像头在不同场景、不同地形构造和不同人员分布的情况下采集的影像；
对所述采集待训练数据进行预处理得到处理数据，其中预处理包括筛选、清洗、格式转换和打标签；
采用YOLO算法对所述处理数据进行神经网络训练，得到预设的YOLO神经网络。
可选地，所述预设的YOLO神经网络，包括：输入端模块、主干模块、连接模块、输出预测模块；
所述输入端模块，采用了Mosaic数据处理的方式、自适应锚框计算与自适应图片缩放技术；
所述主干模块，采用Focus结构和两种CSP结构；
所述连接模块，采用FPN+PAN的结构；
所述输出预测模块，采用Bounding box损失函数和nms非极大值抑制算法。
可选地，所述系统还包括：
汇总模块，用于基于所述行为类型制作监控汇总信息表，以供用户查询监控状况。
所属技术领域的技术人员可以清楚地了解到，为方便的描述和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
进一步的，本申请实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例所述的基于神经网络的火源监控方法。
进一步的，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述实施例所述的基于神经网络的火源监控方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于神经网络的火源监控方法，其特征在于，所述方法包括：
调用设置在监控区域的摄像头实时采集监控影像；
控制预设的YOLO神经网络从所述监控影像提取包含火源影像的特征向量，以及所述特征向量对应的置信度；
利用所述特征向量和所述置信度计算火源使用行为的行为概率值；
根据所述行为概率值确定使用火源的行为类型，并基于所述行为类型触发报警操作。
2.根据权利要求1所述的基于神经网络的火源监控方法，其特征在于，所述控制预设的YOLO神经网络从所述监控影像提取包含火源影像的特征向量，以及所述特征向量对应的置信度，包括：
调用预设的YOLO神经网络将所述监控影像所包含每一帧图像划分成多个网格；
通过预设边界框从所述多个网格中筛选包含火源的网格；
按照预设边界框的边框参数提取每个所述包含火源的网格的特征参数，并将所述特征参数转换成特征向量，其中，所述特征向量包括边框参数和边框位置坐标；
采用所述边框参数和所述边框位置坐标计算预设边界框与真实标签框之间联合叠加的交集框；
将所述交集框与所述预设边界框相乘得到置信度，其中，置信度的定义如下式所示：
Figure FDA0003486416940000011
Pr(Object)为预设边界框(predict box)，
Figure FDA0003486416940000012
为预设边界框与真实标签框之间联合部分的交集框。
3.根据权利要求2所述的基于神经网络的火源监控方法，其特征在于，所述特征向量还包括：所述包含火源的网格的图像特征值；
所述利用所述特征向量和所述置信度计算用户的行为概率值，包括：
对所述图像特征值进行归一化处理得到条件类别概率值；
将所述条件类别概率值与所述置信度相乘得到行为概率值，其中，所述行为概率值可以如下式所示：
Figure FDA0003486416940000021
Figure FDA0003486416940000022
为行为概率值，Pr(Class|Object)为条件类别概率值，
Figure FDA0003486416940000023
为置信度。
4.根据权利要求1所述的基于神经网络的火源监控方法，其特征在于，所述根据所述行为概率值确定使用火源的行为类型，包括：
当所述行为概率值大于预设概率值，则确定使用火源的行为类型为危险类型；
当所述行为概率值小于预设概率值，则确定使用火源的行为类型为安全类型。
5.根据权利要求1所述的基于神经网络的火源监控方法，其特征在于，所述预设的YOLO神经网络的训练过程具体为：
采集待训练数据，其中，所述待训练数据为摄像头在不同场景、不同地形构造和不同人员分布的情况下采集的影像；
对所述采集待训练数据进行预处理得到处理数据，其中预处理包括筛选、清洗、格式转换和打标签；
采用YOLO算法对所述处理数据进行神经网络训练，得到预设的YOLO神经网络。
6.根据权利要求1所述的基于神经网络的火源监控方法，其特征在于，所述预设的YOLO神经网络，包括：输入端模块、主干模块、连接模块、输出预测模块；
所述输入端模块，采用了Mosaic数据处理的方式、自适应锚框计算与自适应图片缩放技术；
所述主干模块，采用Focus结构和两种CSP结构；
所述连接模块，采用FPN+PAN的结构；
所述输出预测模块，采用Bounding box损失函数和nms非极大值抑制算法。
7.根据权利要求1所述的基于神经网络的火源监控方法，其特征在于，在所述基于所述行为类型触发报警操作的步骤后，所述方法还包括：
基于所述行为类型制作监控汇总信息表，以供用户查询监控状况。
8.一种基于神经网络的火源监控系统，其特征在于，所述系统包括：
调用模块，用于调用设置在监控区域的摄像头实时采集监控影像；
提取模块，用于控制预设的YOLO神经网络从所述监控影像提取包含火源影像的特征向量，以及所述特征向量对应的置信度；
计算模块，用于利用所述特征向量和所述置信度计算火源使用行为的行为概率值；
确定模块，用于根据所述行为概率值确定使用火源的行为类型，并基于所述行为类型触发报警操作。
9.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任意一项所述的基于神经网络的火源监控方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-7任意一项所述的基于神经网络的火源监控方法。
CN202210082412.9A 2022-01-24 2022-01-24 一种基于神经网络的火源监控方法及系统 Pending CN114612771A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210082412.9A CN114612771A (zh) 2022-01-24 2022-01-24 一种基于神经网络的火源监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210082412.9A CN114612771A (zh) 2022-01-24 2022-01-24 一种基于神经网络的火源监控方法及系统

Publications (1)

Publication Number Publication Date
CN114612771A true CN114612771A (zh) 2022-06-10

Family

ID=81857647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210082412.9A Pending CN114612771A (zh) 2022-01-24 2022-01-24 一种基于神经网络的火源监控方法及系统

Country Status (1)

Country Link
CN (1) CN114612771A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331384A (zh) * 2022-08-22 2022-11-11 重庆科技学院 基于边缘计算的作业平台火灾事故预警系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331384A (zh) * 2022-08-22 2022-11-11 重庆科技学院 基于边缘计算的作业平台火灾事故预警系统

Similar Documents

Publication Publication Date Title
Lestari et al. Fire hotspots detection system on CCTV videos using you only look once (YOLO) method and tiny YOLO model for high buildings evacuation
US20230282086A1 (en) Method and system for determining area of fire and estimating progression of fire
CN109389185B (zh) 使用三维卷积神经网络的视频烟雾识别方法
CN111062281A (zh) 异常事件监控方法、装置、存储介质和电子设备
CN116743970B (zh) 一种具有视频ai预警分析的智能管理平台
CN111062950A (zh) 一种用于多类别森林场景图像分割的方法、存储介质和设备
CN114612771A (zh) 一种基于神经网络的火源监控方法及系统
CN116664359A (zh) 一种基于多传感融合的智能火情预警决策系统及方法
CN112733629A (zh) 异常行为判断方法、装置、设备和存储介质
CN115861915A (zh) 消防通道监控方法、消防通道监控装置以及存储介质
CN114419537A (zh) 一种基于深度学习的输电线路告警方法和装置
CN112580430A (zh) 基于rgb视觉的电厂烟火监测方法、装置、系统和存储介质
CN107330884B (zh) 着火点检测方法及装置
CN115311623A (zh) 一种基于红外热成像的设备漏油检测方法及系统
De Venâncio et al. Fire detection based on a two-dimensional convolutional neural network and temporal analysis
CN117180687B (zh) 一种智慧消防远程监控系统及方法
CN111125290A (zh) 一种基于河长制的智能巡河方法、装置及存储介质
CN113628172A (zh) 一种人员手持武器智能检测算法及智慧城市安防系统
CN113723701A (zh) 森林火灾监测预测方法及系统、电子设备及存储介质
CN111105582B (zh) 森林防火监测方法、系统、计算机设备和可读存储介质
KR20240028290A (ko) 산불 검출 장치 및 방법
CN111582183A (zh) 一种公共场所的口罩识别方法及系统
CN114937302A (zh) 一种抽烟识别方法、装置、设备及计算机可读存储介质
CN113435371A (zh) 一种基于电力物联网及人工智能的设备周边环境管控方法、装置及设备
CN115953741B (zh) 一种基于嵌入式算法的边缘计算系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination