CN114565891A - 一种基于图形生成技术的烟火监测方法及系统 - Google Patents

一种基于图形生成技术的烟火监测方法及系统 Download PDF

Info

Publication number
CN114565891A
CN114565891A CN202210192431.7A CN202210192431A CN114565891A CN 114565891 A CN114565891 A CN 114565891A CN 202210192431 A CN202210192431 A CN 202210192431A CN 114565891 A CN114565891 A CN 114565891A
Authority
CN
China
Prior art keywords
smoke
fire
detection
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210192431.7A
Other languages
English (en)
Inventor
金林林
李强
李洋
董兰芳
吴旭
隋国星
肖潇
孙高峰
张宏光
王康
许明阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bozhou Power Supply Co of State Grid Anhui Electric Power Co Ltd
Original Assignee
Bozhou Power Supply Co of State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bozhou Power Supply Co of State Grid Anhui Electric Power Co Ltd filed Critical Bozhou Power Supply Co of State Grid Anhui Electric Power Co Ltd
Priority to CN202210192431.7A priority Critical patent/CN114565891A/zh
Publication of CN114565891A publication Critical patent/CN114565891A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了烟火监测领域的一种基于图形生成技术的烟火监测方法及系统，采集监测区域的视频图像信号；通过预先训练的烟火检测模型对视频图像信号进行烟火识别，得到烟火检测模型输出的烟区和火区分别通过标注框标识视频图像；所述烟火检测模型的训练过程，包括：获取烟火图像和非烟火图像，并进行随机缩放和裁剪后构建图片集；将图片集设定比例分为训练子集和测试子集；对烟火检测模型进行训练，获得训练好的烟火检测模型；本发明对视频图像进行烟火检测，对微小面积的烟火有很好的检测效果，在火灾发生初期进行预警，减少对人身和生产安全的危害。

Description

一种基于图形生成技术的烟火监测方法及系统
技术领域
本发明属于烟火监测领域，具体涉及一种基于图形生成技术的烟火监测方法及系统。
背景技术
火灾事故的发生会造成巨大的经济损失，还会严重威胁人们的生命安全，由发电、输电、变电等组成的电力系统由于设备不稳定或者天灾人祸都可能导致火灾事故的发生。由于电力系统的分布十分广泛而且背景复杂，同时电力生产行业是国计民生的重要基础产业和公用事业，是国民经济全面、协调、可持续发展的重要保障。因此对它进行安全防护至关重要，如果能快速且准确地对火灾产生预警，则可以减少甚至消除火灾所造成的损失。而对火灾进行预警的方法就是将火灾早期产生的烟雾和火焰进行检测从而对火灾进行预警。早期主要采用人工的方法进行巡检，但是电力系统分布十分广泛，全部采用人工的方法会造成极大地人力消耗。
随着视频监控技术的普及，一些直接对视频序列中的图像信息进行处理的方法也陆续出现。传统的图像处理方法是对图像中所具有的一些特征进行识别和检测，比如形状、颜色和纹理等，通过火灾中火焰和烟雾的运动特征来检测烟火，也有使用聚类分析算法和小波分解算法来分析图像在RGB和HSV颜色空间中的颜色属性来判断是否存在烟火，但是传统图像处理的方法实时性和精度都不太好。而且传统的图像处理方法受背景变化的影响很大，而电力系统本身背景复杂，这就导致了传统图像处理方法所能达到的精度十分有限。
发明内容
本发明的目的在于提供一种基于图形生成技术的烟火监测方法及系统，对视频图像进行烟火检测，对微小面积的烟火有很好的检测效果，在火灾发生初期进行预警，减少对人身和生产安全的危害。
为达到上述目的，本发明所采用的技术方案是：
本发明第一方面提供了一种基于图形生成技术的烟火监测方法，其特征在于，包括：
采集监测区域的视频图像信号；
通过预先训练的烟火检测模型对视频图像信号进行烟火识别，得到烟火检测模型输出的烟区和火区分别通过标注框标识视频图像；
所述烟火检测模型的训练过程，包括：
获取烟火图像和非烟火图像，并进行随机缩放和裁剪后构建图片集；将图片集设定比例分为训练子集和测试子集；
获取YOLOX网络结构作为烟火检测模型，通过训练子集对烟火检测模型进行训练；
将测试子集中的图片输入至训练后的烟火检测模型进行测试，获得训练好的烟火检测模型。
优选的，通过训练子集对烟火检测模型进行训练的方法包括：
对训练子集中融合图像分别进行烟和火进行标注，获得真实结果；
将训练子集中的融合图像输入至烟火检测模型，获得预测标注框的位置信息和预测标注框内的识别信息，形成检测结果；
对检测结果和真实结果进行计算分析得到检测损失值，根据检测损失值对神经网络模型进行调整。
优选的，获取烟火图像的方法包括：
采集实际监控场景图像，并设定实际监控场景图像的烟火发生区域；
由烟火发生区域发射粒子，并通过考虑粒子在运行过程中的受力情况模拟烟或火的运动，定时采用动态模糊法对烟和火粒子进行绘制形成烟图像和火图像，
将烟图像、火图像和实际监控场景图像进行融合，获得烟火图像。
优选的，烟火检测模型包括：骨干Backbone、颈部Neck和头部Head三部分；
所述骨干Backbone用于对融合图像进行特征提取获得堆叠特征；所述骨干Backbone由Focus结构网络、卷积Conv2D、CSP结构网络、激活函数GELU和SSP结构网络组成；所述CSP结构网络对输入自变量进行n次的1×1卷积和3×3卷积操作，并与输入自变量拼接进行输出；
所述颈部Neck用于对独立特征层进行上采样、下采样和特征拼接获得检测目标；所述颈部Neck由上采样模块UpSamping、下采样模块DownSamping、卷积Conv2D和CSP结构网络组成；
所述头部Head用于对检测目标进行分类检测和损失计算获得检测结果和检测损失值；所述头部Head由卷积层、分类模块和损失模块组成。
优选的，烟火检测模型激活函数GELU计算公式为：
Figure BDA0003524859220000031
公式中，x表示为卷积计算结果；X表示为服从正态分布的随机变量；P(X≤x)表示为X小于或等于x的概率；erf(·)表示为高斯误差函数。
优选的，对融合图像进行特征提取获得独立特征层的方法包括：
通过Focus结构网络从输入的融合图像中以间隔的方式提取像素点，且间隔距离为一个像素值，获得独立特征层；将独立特征层进行卷积Conv2D增加独立特征层的数量，获得第一级堆叠特征；
将第一级堆叠特征重复三次输入由卷积Conv2D和CSP结构网络组成的resblock模块，分别获得第二级独堆叠特征、第三级堆叠特征、第四级堆叠特征；
将第四级堆叠特征依次输入卷积Conv2D、CSP结构网络和SSP结构网络；获得第五级堆叠特征。
优选的，所述颈部Neck用于对独立特征层进行上采样、下采样和特征拼接获得检测目标的方法包括：
将第五级独立特征层依次输入卷积Conv2D，获得第一检测特征；
将第一检测特征输入上采样模块UpSamping，并与第四级堆叠特征进行拼接，再依次输入CSP结构网络和卷积Conv2D，获得第二检测特征；
将第二检测特征输入上采样模块UpSamping，并与第三级堆叠特征进行拼接，再输入CSP结构网络，获得第三检测特征，作为检测目标P1；
将第三检测特征输入下采样模块DownSamping，并与第三检测特征进行拼接，再输入CSP结构网络，获得第四检测特征，作为检测目标P2；
将第四检测特征输入下采样模块DownSamping，并与第一检测特征进行拼接，再输入CSP结构网络，获得第五检测特征，作为检测目标P3；
优选的，对检测目标进行分类检测和损失计算获得检测结果和检测损失值的方法包括：
将检测目标P1、检测目标P2和检测目标P3进行1×1卷积并划分为分类分支特征和损失分支特征；
将分类分支特征输入3×3卷积，并进行分类检测获得预测标注框的位置信息和预测标注框内的识别信息；所述预测标注框的位置信息由预测标注框的宽度、高度和中心点坐标组成；预测标注框内的识别信息由预测标注框内为前景的置信度、检测目标的预测种类及置信度组成；输出检测结果；
将损失分支特征输入3×3卷积，并利用预测标注框和真实标注框计算DIoU损失，作为回归损失值；
提取预测标注框内的检测目标的特征点，将真实标注框内的特征点作为正样本，将真实标注框外的特征点作为负样本，通过FocalLoss损失函数计算目标损失值；
根据特征点的预测种类与检测目标的真实种类，通过FocalLoss损失函数计算分类损失值；
将回归损失值、目标损失值和分类损失值作为检测损失值。
本发明第二方面提供了一种基于图形生成技术的烟火监测系统，包括：
采集模块，用于采集监测区域的视频图像信号；
烟火识别模块，用于通过预先训练的烟火检测模型对视频图像信号进行烟火识别，得到烟火检测模型输出的烟区和火区分别通过标注框标识视频图像；
图片集合成模块，用于获取烟火图像和非烟火图像，并进行随机缩放和裁剪后构建图片集；
图片集划分模块，用于将图片集按设定比例分为训练子集和测试子集；
训练模块，用于获取YOLOX网络结构作为烟火检测模型，通过训练子集对烟火检测模型进行训练；
测试模块，将测试子集中的图片输入至训练后的烟火检测模型进行测试，获得训练好的烟火检测模型。
优选的，所述图片集合成模块包括图像采集器、烟火模拟器和图像融合装置；
所述图像采集器采集实际监控场景图像；
所述烟火模拟器设定实际监控场景图像的烟火发生区域，由烟火发生区域发射粒子，并通过考虑粒子在运行过程中的受力情况模拟烟或火的运动，定时采用动态模糊法对烟和火粒子进行绘制形成烟图像和火图像；
所述图像融合装置将烟图像、火图像和实际监控场景图像进行融合，获得烟火图像。
优选的，所述训练模块中的烟火检测模型包括：骨干Backbone、颈部Neck和头部Head三部分；
所述骨干Backbone用于对融合图像进行特征提取获得堆叠特征；所述骨干Backbone由Focus结构网络、卷积Conv2D、CSP结构网络、激活函数GELU和SSP结构网络组成；所述CSP结构网络对输入自变量进行n次的1×1卷积和3×3卷积操作，并与输入自变量拼接进行输出；
所述颈部Neck用于对独立特征层进行上采样、下采样和特征拼接获得检测目标；所述颈部Neck由上采样模块UpSamping、下采样模块DownSamping、卷积Conv2D和CSP结构网络组成；
所述头部Head用于对检测目标进行分类检测和损失计算获得检测结果和检测损失值；所述头部Head由卷积层、分类模块和损失模块组成。
本发明第三方面提供了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至8任意一项所述烟火监测方法的步骤。
与现有技术相比，本发明的有益效果：
本发明中获取烟火图像和非烟火图像，并进行随机缩放和裁剪，形成基础图像；依次选取设定数量的基础图像进行加权融合形成融合图像，构建图片集，对烟火检测模型进行训练；将多张基础图像进行随机的裁剪缩放进行加权融合形成融合图像，使融合图像中的目标缩小并增加背景的复杂度，可以提高烟火检测模型的检测精度。
附图说明
图1为本发明实施例提供的烟火检测模型的结构图；
图2为本发明实施例提供的骨干Backbone的结构图；
图3为本发明实施例提供的CSP结构网络；
图4为本发明实施例提供的Focus结构网络；
图5为本发明实施例提供的SSP结构网络；
图6为本发明实施例提供的预测标注框与真实标注框的对比图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一
一种基于图形生成技术的烟火监测方法，包括：采集监测区域的视频图像信号；通过预先训练的烟火检测模型对视频图像信号进行烟火识别，得到烟火检测模型输出的烟区和火区分别通过标注框标识视频图像；
所述烟火检测模型的训练过程，包括：
获取烟火图像和非烟火图像，其中获取烟火图像包括两种方法，分别为：
(1)直接采集包含烟火的真实图像；
(2)采集实际监控场景图像，并设定实际监控场景图像的烟火发生区域；
由烟火发生区域发射粒子，并通过考虑粒子在运行过程中的受力情况模拟烟或火的运动，定时采用动态模糊法对烟和火粒子进行绘制形成烟图像和火图像，将烟图像、火图像和实际监控场景图像进行融合，获得烟火图像。
将烟火图像和非烟火图像进行随机缩放和裁剪后构建图片集；将图片集设定比例分为训练子集和测试子集；
获取YOLOX网络结构作为烟火检测模型，如图1所述，烟火检测模型包括：骨干Backbone、颈部Neck和头部Head三部分；
如图2所述，所述骨干Backbone用于对融合图像进行特征提取获得堆叠特征；所述骨干Backbone由Focus结构网络、卷积Conv2D、CSP结构网络、激活函数GELU和SSP结构网络组成；如图3所述，所述CSP结构网络对输入自变量进行n次的1×1卷积和3×3卷积操作，并与输入自变量拼接进行输出；
烟火检测模型激活函数GELU计算公式为：
Figure BDA0003524859220000081
公式中，x表示为卷积计算结果；X表示为服从正态分布的随机变量；P(X≤x)表示为X小于或等于x的概率；erf(·)表示为高斯误差函数；
所述颈部Neck用于对堆叠特征进行上采样和上采样获得检测目标；所述颈部Neck由上采样模块UpSamping、下采样模块DownSamping、卷积Conv2D和CSP结构网络组成；
所述头部Head用于对检测目标进行分类检测和损失计算获得检测结果和检测损失值；所述头部Head由卷积层、分类模块和损失模块组成。
通过训练子集对烟火检测模型进行训练，方法包括：
对训练子集中融合图像分别进行烟和火进行标注，获得真实结果；
将训练子集中的三张融合图像输入至烟火检测模型，如图4所示，通过Focus结构网络从输入的融合图像中以间隔的方式提取像素点，且间隔距离为一个像素值，获得独立特征层；将独立特征层进行卷积Conv2D增加独立特征层的数量，获得第一级堆叠特征；
将第一级堆叠特征重复三次输入由卷积Conv2D和CSP结构网络组成的resblock模块，分别获得第二级独堆叠特征、第三级堆叠特征、第四级堆叠特征；
将第四级堆叠特征依次输入卷积Conv2D、CSP结构网络和SSP结构网络；获得第五级堆叠特征；如图5所示，SSP结构网络通过使用不同大小的池化核进行最大池化特征提取，提高网络的感受野。
所述颈部Neck基于图像特征金字塔网络FPN搭建，所述颈部Neck用于对独立特征层进行上采样、下采样和特征拼接获得检测目标，方法包括：
将第五级独立特征层依次输入卷积Conv2D，获得第一检测特征；
将第一检测特征输入上采样模块UpSamping，并与第四级堆叠特征进行拼接，再依次输入CSP结构网络和卷积Conv2D，获得第二检测特征；
将第二检测特征输入上采样模块UpSamping，并与第三级堆叠特征进行拼接，再输入CSP结构网络，获得第三检测特征，作为检测目标P1；
将第三检测特征输入下采样模块DownSamping，并与第三检测特征进行拼接，再输入CSP结构网络，获得第四检测特征，作为检测目标P2；
将第四检测特征输入下采样模块DownSamping，并与第一检测特征进行拼接，再输入CSP结构网络，获得第五检测特征，作为检测目标P3；
所述头部Head对检测目标进行分类检测和损失计算获得检测结果和检测损失值，方法包括：
将检测目标P1、检测目标P2和检测目标P3进行1×1卷积并划分为分类分支特征和损失分支特征；
将分类分支特征输入3×3卷积，并进行分类检测获得预测标注框的位置信息和预测标注框内的识别信息，形成检测结果；所述预测标注框的位置信息由预测标注框的宽度、高度和中心点坐标组成；预测标注框内的识别信息由预测标注框内为前景的置信度、检测目标的预测种类及置信度组成；输出检测结果；
如图6所示，将损失分支特征输入3×3卷积后，并利用预测标注框和真实标注框计算DIoU损失，作为回归损失值；
DIoU的计算公式如下所示；
Figure BDA0003524859220000101
其中，c是预测标注框和真实标注框并集的外接矩形对角线距离，而d是预测标注框和真实标注框的中心点距离，IoU表示为预测标注框和真实标注框交集与预测标注框和真实标注框并集的比值，这样即使预测标注框和真实标注框没有交集也不会使损失值计算为0，而且当两个框一个在一个内部时，也可以获得很好的度量效果。
提取预测标注框内的检测目标的特征点，将真实标注框内的特征点作为正样本，将真实标注框外的特征点作为负样本，通过FocalLoss损失函数计算目标损失值；
根据特征点的预测种类与检测目标的真实种类，通过FocalLoss损失函数计算分类损失值；
FocalLoss损失函数计算，如下所示：
Figure BDA0003524859220000102
γ表示为控制模型对目标大小偏向程度的参数，y表示为真实结果，y′表示为预测结果，当预测的结果y′趋近于1时，在经过1-y′的指数运算之后，损失函数的结果会比较小，但如果预测的结果y′比较小，则相对而言会获得比较大的损失值。较大面积的烟火目标的检测对于模型来说比较容易，大目标的预测值一般都会比较大，而小目标的检测都不太容易，所以小目标的预测值一般会偏小，采用FocalLoss作为损失函数，小面积烟火会获得相对比较大的损失值，因此模型会偏向于提高自身对小面积烟火的预测能力。
将回归损失值、目标损失值和分类损失值作为检测损失值；根据检测损失值对神经网络模型进行调整。
将测试子集中的图片输入至训练后的烟火检测模型进行测试，获得训练好的烟火检测模型。
实施例二
一种基于图形生成技术的烟火监测系统，本烟火监测系统可以应用于实施例一所述烟火监测方法，包括：
采集模块，用于采集监测区域的视频图像信号；
烟火识别模块，用于通过预先训练的烟火检测模型对视频图像信号进行烟火识别，得到烟火检测模型输出的烟区和火区分别通过标注框标识视频图像；
烟火图像生成模块，用于采集实际监控场景图像，并设定实际监控场景图像的烟火发生区域；由烟火发生区域发射粒子，并通过考虑粒子在运行过程中的受力情况模拟烟或火的运动，定时采用动态模糊法对烟和火粒子进行绘制形成烟图像和火图像，将烟图像、火图像和实际监控场景图像进行融合，获得烟火图像。
图片集合成模块，获取烟火图像和非烟火图像进行随机缩放和裁剪后构建图片集；
图片集划分模块，用于将图片集设定比例分为训练子集和测试子集；
训练模块，用于获取YOLOX网络结构作为烟火检测模型，通过训练子集对烟火检测模型进行训练；
测试模块，将测试子集中的图片输入至训练后的烟火检测模型进行测试，获得训练好的烟火检测模型。
所述图片集合成模块包括图像采集器、烟火模拟器和图像融合装置；
所述图像采集器采集实际监控场景图像；
所述烟火模拟器设定实际监控场景图像的烟火发生区域，由烟火发生区域发射粒子，并通过考虑粒子在运行过程中的受力情况模拟烟或火的运动，定时采用动态模糊法对烟和火粒子进行绘制形成烟图像和火图像；
所述图像融合装置将烟图像、火图像和实际监控场景图像进行融合，获得烟火图像。
所述烟火检测模型包括：骨干Backbone、颈部Neck和头部Head三部分；
所述骨干Backbone用于对融合图像进行特征提取获得堆叠特征；所述骨干Backbone由Focus结构网络、卷积Conv2D、CSP结构网络、激活函数GELU和SSP结构网络组成；所述CSP结构网络对输入自变量进行n次的1×1卷积和3×3卷积操作，并与输入自变量拼接进行输出；
所述颈部Neck用于对独立特征层进行上采样、下采样和特征拼接获得检测目标；所述颈部Neck由上采样模块UpSamping、下采样模块DownSamping、卷积Conv2D和CSP结构网络组成；
所述头部Head用于对检测目标进行分类检测和损失计算获得检测结果和检测损失值；所述头部Head由卷积层、分类模块和损失模块组成。
实施例三
本发明第三方面提供了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一所述烟火监测方法的步骤。
测试用例与领域词典管理主要包括查询、新增、删除、修改与导入导出操作；关键词抽取主要是抽取历史测试用例关键词作为测试用例的附加信息，提取测试人员输入数据关键词与历史关键词进行匹配，加快测试用例推荐速率；测试用例聚类主要是对历史测试用例进行聚类得到测试用例包，以此方式降低测试用例推荐的计算量；测试用例推荐是所述系统最终目的，使用最优的属性权值与测试文本向量相似度获取最终的相似度值，排序后推荐给测试人员。
测试人员在前台页面输入项目领域信息、软件类型，根据测试需求输入文本，后台经过文本向量化、关键词提取、相似度计算等处理，系统输出相关测试用例辅助测试人员测试用例设计，测试人员可选定某条测试用例进行修改利用。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (12)

1.一种基于图形生成技术的烟火监测方法，其特征在于，包括：
采集监测区域的视频图像信号；
通过预先训练的烟火检测模型对视频图像信号进行烟火识别，得到烟火检测模型输出的烟区和火区分别通过标注框标识视频图像；
所述烟火检测模型的训练过程，包括：
获取烟火图像和非烟火图像，并进行随机缩放和裁剪后构建图片集；将图片集设定比例分为训练子集和测试子集；
获取YOLOX网络结构作为烟火检测模型，通过训练子集对烟火检测模型进行训练；
将测试子集中的图片输入至训练后的烟火检测模型进行测试，获得训练好的烟火检测模型。
2.根据权利要求1所述的一种基于图形生成技术的烟火监测方法，其特征在于，通过训练子集对烟火检测模型进行训练的方法包括：
对训练子集中融合图像分别进行烟和火进行标注，获得真实结果；
将训练子集中的融合图像输入至烟火检测模型，获得预测标注框的位置信息和预测标注框内的识别信息，形成检测结果；
对检测结果和真实结果进行计算分析得到检测损失值，根据检测损失值对神经网络模型进行调整。
3.根据权利要求2所述的一种基于图形生成技术的烟火监测方法，其特征在于，获取烟火图像的方法包括：
采集实际监控场景图像，并设定实际监控场景图像的烟火发生区域；
由烟火发生区域发射粒子，并通过考虑粒子在运行过程中的受力情况模拟烟或火的运动，定时采用动态模糊法对烟和火粒子进行绘制形成烟图像和火图像，
将烟图像、火图像和实际监控场景图像进行融合，获得烟火图像。
4.根据权利要求2所述的一种基于图形生成技术的烟火监测方法，其特征在于，烟火检测模型包括：骨干Backbone、颈部Neck和头部Head三部分；
所述骨干Backbone用于对融合图像进行特征提取获得堆叠特征；所述骨干Backbone由Focus结构网络、卷积Conv2D、CSP结构网络、激活函数GELU和SSP结构网络组成；所述CSP结构网络对输入自变量进行n次的1×1卷积和3×3卷积操作，并与输入自变量拼接进行输出；
所述颈部Neck用于对独立特征层进行上采样、下采样和特征拼接获得检测目标；所述颈部Neck由上采样模块UpSamping、下采样模块DownSamping、卷积Conv2D和CSP结构网络组成；
所述头部Head用于对检测目标进行分类检测和损失计算获得检测结果和检测损失值；所述头部Head由卷积层、分类模块和损失模块组成。
5.根据权利要求4所述的一种基于图形生成技术的烟火监测方法，其特征在于，烟火检测模型激活函数GELU计算公式为：
Figure FDA0003524859210000021
公式中，x表示为卷积计算结果；X表示为服从正态分布的随机变量；P(X≤x)表示为X小于或等于x的概率；erf(·)表示为高斯误差函数。
6.根据权利要求4所述的一种基于图形生成技术的烟火监测方法，其特征在于，对融合图像进行特征提取获得独立特征层的方法包括：
通过Focus结构网络从输入的融合图像中以间隔的方式提取像素点，且间隔距离为一个像素值，获得独立特征层；将独立特征层进行卷积Conv2D增加独立特征层的数量，获得第一级堆叠特征；
将第一级堆叠特征重复三次输入由卷积Conv2D和CSP结构网络组成的resblock模块，分别获得第二级独堆叠特征、第三级堆叠特征、第四级堆叠特征；
将第四级堆叠特征依次输入卷积Conv2D、CSP结构网络和SSP结构网络；获得第五级堆叠特征。
7.根据权利要求6所述的一种基于图形生成技术的烟火监测方法，其特征在于，所述颈部Neck用于对独立特征层进行上采样、下采样和特征拼接获得检测目标的方法包括：
将第五级独立特征层依次输入卷积Conv2D，获得第一检测特征；
将第一检测特征输入上采样模块UpSamping，并与第四级堆叠特征进行拼接，再依次输入CSP结构网络和卷积Conv2D，获得第二检测特征；
将第二检测特征输入上采样模块UpSamping，并与第三级堆叠特征进行拼接，再输入CSP结构网络，获得第三检测特征，作为检测目标P1；
将第三检测特征输入下采样模块DownSamping，并与第三检测特征进行拼接，再输入CSP结构网络，获得第四检测特征，作为检测目标P2；
将第四检测特征输入下采样模块DownSamping，并与第一检测特征进行拼接，再输入CSP结构网络，获得第五检测特征，作为检测目标P3。
8.根据权利要求7所述的一种基于图形生成技术的烟火监测方法，其特征在于，对检测目标进行分类检测和损失计算获得检测结果和检测损失值的方法包括：
将检测目标P1、检测目标P2和检测目标P3进行1×1卷积并划分为分类分支特征和损失分支特征；
将分类分支特征输入3×3卷积，并进行分类检测获得预测标注框的位置信息和预测标注框内的识别信息；所述预测标注框的位置信息由预测标注框的宽度、高度和中心点坐标组成；预测标注框内的识别信息由预测标注框内为前景的置信度、检测目标的预测种类及置信度组成；输出检测结果；
将损失分支特征输入3×3卷积，并利用预测标注框和真实标注框计算DIoU损失，作为回归损失值；
提取预测标注框内的检测目标的特征点，将真实标注框内的特征点作为正样本，将真实标注框外的特征点作为负样本，通过FocalLoss损失函数计算目标损失值；
根据特征点的预测种类与检测目标的真实种类，通过FocalLoss损失函数计算分类损失值；
将回归损失值、目标损失值和分类损失值作为检测损失值。
9.一种基于图形生成技术的烟火监测系统，其特征在于，包括：
采集模块，用于采集监测区域的视频图像信号；
烟火识别模块，用于通过预先训练的烟火检测模型对视频图像信号进行烟火识别，得到烟火检测模型输出的烟区和火区分别通过标注框标识视频图像；
图片集合成模块，用于获取烟火图像和非烟火图像，并进行随机缩放和裁剪后构建图片集；
图片集划分模块，用于将图片集按设定比例分为训练子集和测试子集；
训练模块，用于获取YOLOX网络结构作为烟火检测模型，通过训练子集对烟火检测模型进行训练；
测试模块，将测试子集中的图片输入至训练后的烟火检测模型进行测试，获得训练好的烟火检测模型。
10.根据权利要求9所述的一种基于图形生成技术的烟火监测系统，其特征在于，所述图片集合成模块包括图像采集器、烟火模拟器和图像融合装置；
所述图像采集器采集实际监控场景图像；
所述烟火模拟器设定实际监控场景图像的烟火发生区域，由烟火发生区域发射粒子，并通过考虑粒子在运行过程中的受力情况模拟烟或火的运动，定时采用动态模糊法对烟和火粒子进行绘制形成烟图像和火图像；
所述图像融合装置将烟图像、火图像和实际监控场景图像进行融合，获得烟火图像。
11.根据权利要求9所述的一种基于图形生成技术的烟火监测系统，其特征在于，所述训练模块中的烟火检测模型包括：骨干Backbone、颈部Neck和头部Head三部分；
所述骨干Backbone用于对融合图像进行特征提取获得堆叠特征；所述骨干Backbone由Focus结构网络、卷积Conv2D、CSP结构网络、激活函数GELU和SSP结构网络组成；所述CSP结构网络对输入自变量进行n次的1×1卷积和3×3卷积操作，并与输入自变量拼接进行输出；
所述颈部Neck用于对独立特征层进行上采样、下采样和特征拼接获得检测目标；所述颈部Neck由上采样模块UpSamping、下采样模块DownSamping、卷积Conv2D和CSP结构网络组成；
所述头部Head用于对检测目标进行分类检测和损失计算获得检测结果和检测损失值；所述头部Head由卷积层、分类模块和损失模块组成。
12.计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至8任意一项所述烟火监测方法的步骤。
CN202210192431.7A 2022-02-28 2022-02-28 一种基于图形生成技术的烟火监测方法及系统 Pending CN114565891A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210192431.7A CN114565891A (zh) 2022-02-28 2022-02-28 一种基于图形生成技术的烟火监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210192431.7A CN114565891A (zh) 2022-02-28 2022-02-28 一种基于图形生成技术的烟火监测方法及系统

Publications (1)

Publication Number Publication Date
CN114565891A true CN114565891A (zh) 2022-05-31

Family

ID=81716424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210192431.7A Pending CN114565891A (zh) 2022-02-28 2022-02-28 一种基于图形生成技术的烟火监测方法及系统

Country Status (1)

Country Link
CN (1) CN114565891A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965872A (zh) * 2022-07-22 2023-04-14 中科三清科技有限公司 一种茶叶采摘方法、装置、电子设备和存储介质
CN116469060A (zh) * 2023-06-20 2023-07-21 福建工蜂物联科技有限公司 基于注意力感知优化的垃圾目标检测方法
CN117253231A (zh) * 2023-11-15 2023-12-19 四川弘和数智集团有限公司 一种油气站图像处理方法、装置、电子设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965872A (zh) * 2022-07-22 2023-04-14 中科三清科技有限公司 一种茶叶采摘方法、装置、电子设备和存储介质
CN115965872B (zh) * 2022-07-22 2023-08-15 中科三清科技有限公司 一种茶叶采摘方法、装置、电子设备和存储介质
CN116469060A (zh) * 2023-06-20 2023-07-21 福建工蜂物联科技有限公司 基于注意力感知优化的垃圾目标检测方法
CN116469060B (zh) * 2023-06-20 2023-08-25 福建工蜂物联科技有限公司 基于注意力感知优化的垃圾目标检测方法
CN117253231A (zh) * 2023-11-15 2023-12-19 四川弘和数智集团有限公司 一种油气站图像处理方法、装置、电子设备及存储介质
CN117253231B (zh) * 2023-11-15 2024-01-26 四川弘和数智集团有限公司 一种油气站图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN114565891A (zh) 一种基于图形生成技术的烟火监测方法及系统
CN109284670A (zh) 一种基于多尺度注意力机制的行人检测方法及装置
CN110378222A (zh) 一种输电线路防震锤目标检测与缺陷识别方法及装置
KR101930940B1 (ko) 영상 분석 장치 및 방법
CN114332473B (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
Tao et al. Attention-aggregated attribute-aware network with redundancy reduction convolution for video-based industrial smoke emission recognition
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN112991364A (zh) 基于卷积神经网络跨模态融合的道路场景语义分割方法
CN113379771A (zh) 带有边缘约束的层次化人体解析语义分割方法
CN111368775A (zh) 一种基于局部上下文感知的复杂场景密集目标检测方法
CN114140750A (zh) 一种基于YOLOv4-Tiny的加油站安全帽佩戴实时检测方法
CN114708518A (zh) 基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法
CN114612755A (zh) 一种火灾检测方法、系统、电子设备和可读存储介质
CN117315584A (zh) 一种基于改进YOLOv7-tiny的危化品车辆目标检测方法
CN117636131A (zh) 一种基于Yolo-I模型的小目标识别方法及相关装置
CN115797629A (zh) 基于检测增强和多阶段边界框特征细化的实例分割方法
CN114662605A (zh) 基于改进的YOLOv5模型的火焰检测方法
CN117611994A (zh) 基于注意力机制加权特征融合的遥感图像目标检测方法
CN117911763A (zh) 一种森林火灾检测方法、系统、电子设备及介质
CN117036931A (zh) 一种基于卷积神经网络的生态景观工程小目标害虫检测方法
CN117351409A (zh) 混凝土坝面作业风险智能识别方法
Lestari et al. Comparison of two deep learning methods for detecting fire
CN116189286A (zh) 一种视频图像暴力行为检测模型及检测方法
CN114638989A (zh) 一种基于目标检测和细粒度识别的故障分类可视化方法
CN111274894A (zh) 一种基于改进YOLOv3的人员在岗状态检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination