CN116563762A - 一种油气站火灾检测方法、系统、介质、设备及终端 - Google Patents

一种油气站火灾检测方法、系统、介质、设备及终端 Download PDF

Info

Publication number
CN116563762A
CN116563762A CN202310533504.9A CN202310533504A CN116563762A CN 116563762 A CN116563762 A CN 116563762A CN 202310533504 A CN202310533504 A CN 202310533504A CN 116563762 A CN116563762 A CN 116563762A
Authority
CN
China
Prior art keywords
fire
oil
gas station
images
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310533504.9A
Other languages
English (en)
Inventor
朱文忠
谢林森
谢康康
付丽婵
肖顺兴
李韬
车璇
杜洪文
何海东
潘磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University of Science and Engineering
Original Assignee
Sichuan University of Science and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University of Science and Engineering filed Critical Sichuan University of Science and Engineering
Priority to CN202310533504.9A priority Critical patent/CN116563762A/zh
Publication of CN116563762A publication Critical patent/CN116563762A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明属于计算机视觉和目标检测技术领域，公开了一种油气站火灾检测方法、系统、介质、设备及终端，获取油气站火灾视频流并进行关键帧截取，初步建立火灾数据集，并搜集网络上的火灾图像作为辅助训练样本；将数据图像融合后进行尺寸随机剪裁和人工标签标注；进行图像预处理和数据集离线扩充增强；划分数据集，构建改进ME‑YOLOv5检测模型；初始化训练参数，并判断损失函数是否收敛，若否，则返回初始化训练参数步骤；若是，则保存权重文件并判断模型测试是否符合预期；若不符合预期，则返回初始化训练参数步骤；若符合预期，则部署模型。本发明解决油气站火灾检测准确率低、响应速度慢的技术问题，显著提升了油气站火灾的检测效果。

Description

一种油气站火灾检测方法、系统、介质、设备及终端
技术领域
本发明属于计算机视觉和目标检测技术领域，尤其涉及一种油气站火灾检测方法、系统、介质、设备及终端。
背景技术
目前，油气站作为能源产业的重要组成部分，一旦发生火灾事故将会给环境和人们的生命财产带来极大的威胁。传统的火灾检测方法主要采用烟雾探测器和火焰探测器等传感器设备进行监测，这些方法存在着误报率高、适用性差，难以及时检测到油气站复杂火灾场景等缺陷。
近年来，随着计算机视觉、图像处理和人工智能技术的不断发展，基于深度视觉的油气站火灾检测方法逐渐受到研究者的关注。这种方法可以通过摄像头等设备采集油气站内外部的图像信息，并通过计算机视觉和图像处理技术对图像信息进行分析和处理，实现对火灾场景的自动识别和检测并进行告警。然而，基于深度视觉的油气站火灾检测方法的可靠性和准确性受到周围环境、光照、摄像头的安装位置和角度等因素的影响，可能会导致出现误判或漏判的情况。而且，现有的研究在处理油气站复杂火灾场景时存在检测精度低、适应性差、数据量小等不足。综上所述，为了提高基于深度视觉的油气站火灾检测方法的准确性、速度和实时性，同时解决误报率、漏报率等问题，仍需要进一步研究在油气站复杂场景下的火灾检测算法优化。
通过上述分析，现有技术存在的问题及缺陷为：
(1)传统的油气站火灾检测方法存在误报率高、适用性差，难以及时检测到油气站复杂火灾场景等缺陷。
(2)现有基于深度视觉的油气站火灾检测方法的可靠性和准确性受到周围环境、光照、摄像头安装位置和角度等因素影响，可能会出现误判或漏判情况。
(3)现有的油气站火灾检测方法在处理油气站复杂火灾场景时存在检测精度低、适应性差、数据量小等不足。
发明内容
针对现有技术存在的问题，本发明提供了一种油气站火灾检测方法、系统、介质、设备及终端，尤其涉及一种基于多特征融合的油气站火灾检测方法、系统、介质、设备及终端。
本发明是这样实现的，一种油气站火灾检测方法，油气站火灾检测方法包括：获取油气站火灾视频流并进行关键帧截取，初步建立火灾数据集，并搜集网络上的火灾图像作为辅助训练样本；将数据图像融合后进行尺寸随机剪裁和人工标签标注；进行图像预处理和数据集离线扩充增强；划分数据集，构建改进ME-YOLOv5检测模型；初始化训练参数，并判断损失函数是否收敛，若否，则返回初始化训练参数步骤；若是，则保存权重文件并判断模型测试是否符合预期；若不符合预期，则返回初始化训练参数步骤；若符合预期，则部署模型。
进一步，构建改进ME-YOLOv5检测模型包括：将改进P-MobileVitv3 Block引入特征提取层作为特征提取网络；在特征融合层融合ASFF网络结构并进行多特征融合；添加SimAM注意力机制，并利用ECIoU损失函数作为定位损失。
进一步，油气站火灾检测方法包括以下步骤：
步骤一，采用在线监控摄像头获取实时视频流，将获取的视频流下载进行关键帧截取分析；对含有火灾图像的RGB图像进行筛选，并初步建立基于油气站环境下的火灾数据集；
步骤二，编写脚本文件搜集网上出现在日常生活中的火灾图像，并将火灾图像纳入油气站火灾数据集作为辅助训练样本；
步骤三，对融合后的火灾图像进行固定尺寸随机裁剪，采用图像标注软件由人工进行矩阵标签框标注，并生成标注文件；
步骤四，将标注完成的火灾数据集进行图像预处理操作，并添加季节环境变化因素对数据集进行数量离线扩充增强，标注文件跟随扩充图像同步增加；
步骤五，编写数据集划分脚本文件，将标注好的火灾数据集按照8:1:1的比例划分为训练集、验证集和测试集，并且建立模型评估指标；
步骤六，构建由特征提取网络、特征融合网络和分类预测网络三部分组成的基于改进ME-YOLOv5的油气站多特征融合检测模型；将训练数据导入改进的网络，对模型进行参数初始化操作和学习率设置；开始训练后待损失函数收敛，再由模型训练结束生成最佳权重文件并进行保存；
步骤七，读取保存的最佳权重文件并进行单张火灾图像测试，将步骤五准备的测试集图像导入训练好的模型中进行测试；若测试结果没有达到预期标准，则返回步骤六进行参数调整，将模型重新训练，以获得最佳参数的权重文件；若测试结果达到预期目标，则将完整的离线监控视频流文件传入训练好的检测模型中再次进行视频流逐帧验证；
步骤八，测试完成后，将改进的检测模型部署到监控设备后台服务器上，与实时监控摄像头检测端以及告警系统进行连接，实现实时监测油气站的内外部安全环境状况以及火灾预警。
进一步，步骤三中的对采集的图像进行固定尺寸随机裁剪和标签标注包括：
(1)将火灾数据集中的图像进行随机裁剪为640×640尺度大小，再通过人工筛选挑选出包含火灾目标区域的图像；
(2)采用开源的标注工具LabelImg对筛选出的图像进行矩形框标注，选择YOLO格式标注生成符合YOLO训练的.txt格式标注文件；每一张图片对应一个.txt文件，每一行数据表示图片的一个标注框，图片标注框数量等于数据行数；每一行有五列，分别表示类别代号、标注框横向的相对中心坐标x_center、标注框纵向的相对中心坐标y_center、标注框相对宽度w、标注框相对高度h；其中，x_center、x_center、w、h为真实像素值除以图片的高和宽之后的值。
进一步，步骤四中的对标注完成的火灾图像进行预处理操作和数据离线扩充增强包括：
(1)采用自适应直方图均衡对标注的原图像亮度进行操作，获得图像；
其中，对亮度均衡化的公式为：
式中，I表示图像亮度。
(2)对图像数量进行离线增强，将雪花、雨水、云雾和黑夜四个场景添加至预处理后的图像中，原图像和添加元素融合生成对应的场景图像，与原数据集中的图像数量相比扩充4倍后，共同组成油气站火灾检测数据集。
进一步，步骤五中的划分数据集和建立模型评估指标包括：
(1)采用Python编程语言编写数据集划分脚本文件，按照8:1:1的比例将火灾检测数据集划分为三部分，其中包括训练集、验证集、测试集，根据任务阶段不同，将不同部分的数据图像按阶段输入到网络中；
(2)为了全面评估模型的表现，使用了4个评估指标来验证其性能和鲁棒性。具体而言，这些指标分别为精准率(Precision)、召回率(Recall)、平均精确度(AveragePrecision,AP)、平均精确度均值(MeanAverage Precision,mAP)。通过对这些指标的评估，我们可以更加全面地了解模型的性能和鲁棒性。其中精准率、召回率、平均精确度和平均精确度均值的计算公式为：
式中，TP(True Positive)表示模型正确预测为正例的样本数量；FP(FalsePositive)表示模型错误地预测为正例的样本数量；FN(False Negative)表示模型错误地预测为反例的样本数量；N表示样本的类别数。
进一步，步骤六中的构建改进的ME-YOLOv5油气站火灾检测模型包括：
(1)将训练图像输入网络后，YOLOv5进行Mosaic在线数据增强、自适应锚框计算和自适应图片缩放；采用Mosaic-4进行数据增强，对4张图片进行随机的缩放以及剪裁、随机排布后再进行拼接；
(2)特征提取层采用New CSP-Darknet53架构，引入改进的P-MobileViTv3Block作为特征提取主干网络，将其中的DWConv模块替换为PConv模块；
(3)将SimAM无参注意力机制添加至特征提取层和特征融合层的连接处，SimAM注意力机制模块通过设计能量函数评估每个神经元的重要性，能量函数的计算公式为：
式中，t表示单通道中输入特征的目标神经元；xi表示除目标神经元以外的其他神经元；wt和bt分别为t，xi线性变换的权重和偏置；i为空间维度上的索引；M＝H×W为单通道上所有神经元的数目。
(4)在检测层头部融入自适应空间特征融合机制，对有效信息进行特征融合；提取特征融合层中的三层输出特征层level1、level2、level3，将三层的输出特征分别设为X(1)、X(2)、X(3)，对X(2)和X(3)进行双线性插值操作并调整通道数目，得到与X(3)维度相同的特征图再进行融合；将输出特征X(1)、X(2)、X(3)经过1×1卷积得到三个控制参数三个控制参数再经过Softmax激活函数得到权重参数/>将三个不同层的特征与对应的权重参数进行相乘并相加，得到新的融合特征ASFFF-1；其中，ASFF的计算公式为：
式中，为由第n级到第l级调整特征图(i,j)位置的尺寸；/>为输出通道特征图Yl第(i,j)个向量；/>为控制参数；/>为权重参数。
(5)ME-YOLOv5检测模型的损失函数由定位损失、分类损失和置信度损失三部分构成；其中，定位损失采用ECIoU损失函数描述，分类损失和置信度损失采用二元交叉熵损失函数描述；ECIoU损失函数由EIoU损失函数和CIoU损失函数组成，计算公式为：
式中，IoU表示预测框与真实框的交并比；p2(·)为欧氏距离；b表示预测框中心点坐标；bgt表示真实框中心坐标；c表示预测框与真实框最小区域的对角线长度；α表示平衡参数；V表示两框长宽比的一致性；wgt，hgt和w，h分别表示真实框、预测框的宽度及高度；其中，α和V的计算公式为：
分类损失与置信度损失的计算公式为：
式中，m为每个网络产生的候选框数目；p(c)为类别c的分类概率；C为置信度。
本发明的另一目的在于提供一种应用所述油气站火灾检测方法的油气站火灾检测系统，油气站火灾检测系统包括：
数据获取模块，用于获取油气站火灾视频流并进行关键帧截取，初步建立火灾数据集，并搜集网络上的火灾图像作为辅助训练样本；
数据预处理模块，用于将数据图像融合后进行尺寸随机剪裁和人工标签标注，进行图像预处理和数据集离线扩充增强；
检测模型构建模块，用于划分数据集，构建改进ME-YOLOv5检测模型；
函数收敛判断模块，用于初始化训练参数，并判断损失函数是否收敛，若否，则返回初始化训练参数步骤；若是，则保存权重文件；
模型测试判断模块，用于判断模型测试是否符合预期；若测试不符合预期，则返回初始化训练参数；若模型测试符合预期，则部署模型。
本发明的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述油气站火灾检测方法的步骤。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述油气站火灾检测方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端，信息数据处理终端用于实现所述油气站火灾检测系统。
结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
第一，本发明采用了改进的ME-YOLOv5检测模型，将改进的P-MobileVitv3Block引入特征提取层，增强了对火焰和烟雾的特征提取能力；在特征融合层融合ASFF机制，通过多特征融合，充分获取了网络深层的语义特征与浅层的位置特征；添加SimAM注意力机制，在不增加额外参数量的情况下能够让检测模型更加关注火灾区域特征；采用ECIoU损失函数作为定位损失，加快了模型的收敛速度。本发明提出的改进均能够提升检测模型的识别精度，同时应用时更加能够表现出优异的性能。相较于原始的YOLOv5模型，本发明改进的ME-YOLOv5检测模型对油气站火灾的识别精度提升8.2％，平均精确度均值达到94.6％；其中，对于火焰的识别精度提升6.3％，对烟雾的识别精度提升10.1％。
第二，本发明提供的基于多特征融合的油气站火灾检测方法解决了油气站火灾检测准确率低、响应速度慢的技术问题，显著提升了油气站火灾的检测效果。
本发明所要保护的技术方案具备的技术效果和优点有：
数据增强方法多样，数据集鲁棒性强，能够应对油气站场景中的光照变化、噪声等干扰因素。
特征表达能力强，特征图敏感性和区分性高，检测精度高，能够适应油气站场景中的复杂多变的火灾目标。
第三，作为本发明的权利要求的创造性辅助证据，还体现在以下2个重要方面：
(1)本发明的技术方案转化后的预期收益和商业价值为：
本发明提供一种基于ME-YOLOv5检测模型的油气站火灾检测方法、系统、介质、设备及终端，该方法、系统、介质、设备及终端不仅具有高效、准确、实时等特点，能够及时发现并报警油气站场景中的火灾目标，为油气站安全管理提供了一种有效的技术手段；而且具有市场需求和潜力，能够满足油气站等重要设施场所对火灾检测的需求，提高油气站的运营安全性能和管理水平，增强油气站的竞争力和影响力，降低火灾事故的损失程度，保障人员生命和财产安全。
(2)本发明的技术方案填补了国内外业内技术空白：
本发明的技术方案是在对现有目标检测YOLOv5模型进行深入分析和研究的基础上，针对油气站场景的特点和需求，采用创新的改进P-MobileVitv3 Block、融合ASFF模块、添加注意力机制模块、替换损失函数等技术手段，形成了具有新颖性和独特性的技术整合，实现了一种基于ME-YOLOv5模型的油气站火灾检测方法、系统、介质、设备及终端，实现了现有技术所不能达到的技术效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的油气站火灾检测方法流程图；
图2是本发明实施例提供的油气站火灾检测方法原理图；
图3是本发明实施例提供的油气站火灾检测系统信息交互图；
图4是本发明实施例提供的改进ME-YOLOv5检测模型整体结构图；
图5是本发明实施例提供的改进的P-MobileViTv3 Block结构图；
图6是本发明实施例提供的SimAM注意力机制结构图；
图7是本发明实施例提供的ASFF网络结构图；
图8是本发明实施例提供的检测设备图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种油气站火灾检测方法、系统、介质、设备及终端，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的油气站火灾检测方法包括以下步骤：
S101，获取油气站火灾视频流并进行关键帧截取，初步建立火灾数据集，并搜集网络上的火灾图像作为辅助训练样本；
S102，将数据图像融合后进行尺寸随机剪裁和人工标签标注，进行图像预处理和数据集离线扩充增强；划分数据集，构建改进ME-YOLOv5检测模型；
S103，初始化训练参数，并判断损失函数是否收敛，若否，则返回初始化训练参数步骤；若是，则保存权重文件并执行步骤S104；
S104，判断模型测试是否符合预期；若模型测试不符合预期，则返回初始化训练参数步骤；若模型测试符合预期，则进行模型部署。
作为优选实施例，如图2所示，本发明实施例提供的油气站火灾检测方法具体包括以下步骤：
S1，采用在线监控摄像头获取实时视频流，将获取的视频流下载进行关键帧截取分析；然后对含有火灾图像的RGB图像进行筛选，并初步建立基于油气站环境下的火灾数据集。
S2，编写脚本文件搜集网上出现在日常生活中的火灾图像，将其纳入油气站火灾数据集作为辅助训练样本。
S3，对融合后的火灾图像进行固定尺寸随机裁剪，然后采用图像标注软件由人工进行矩阵标签框标注，并生成标注文件。
其中，对采集的图像进行固定尺寸随机裁剪和标签标注包括：
S3.1，为了输入最佳特征图进行训练而不丢失图像信息，将火灾数据集中的图像进行随机裁剪为640×640尺度大小，然后再进行人工筛选进一步挑选出包含火灾目标区域的图像；
S3.2，采用开源的标注工具LabelImg对筛选出的图像进行矩形框标注，选择YOLO格式标注会生成符合YOLO训练的.txt格式标注文件。每一张图片对应一个.txt文件，每一行表示该图片的一个标注框，该图片有多少标注框就有多少行数据，每一行有五列，分别表示：类别代号、标注框横向的相对中心坐标x_center、标注框纵向的相对中心坐标y_center、标注框相对宽度w、标注框相对高度h。其中，x_center、x_center、w、h为真实像素值除以图片的高和宽之后的值。
S4，将标注完成的火灾数据集进行图像预处理操作，并且添加季节环境变化因素对此数据集进行数量离线扩充增强，标注文件也会跟随扩充图像同步增加；其中，对标注完成的火灾图像进行预处理操作和数据离线扩充增强包括：
S4.1，预处理为了均衡全局图像中的亮度，采用自适应直方图均衡对标注的原图像亮度进行操作，从而获得更高质量的图像，对亮度均衡化的公式为：
上述公式中，I表示图像亮度。
S4.2，对图像数量进行离线增强，将雪花、雨水、云雾、黑夜四个场景添加至预处理后的图像中，原图像和添加元素融合生成对应的场景图像，与原数据集中的图像数量相比扩充了4倍，然后共同组成油气站火灾检测数据集。
S5，编写数据集划分脚本文件，将标注好的火灾数据集按照8:1:1的比例划分为训练集、验证集、测试集，并且建立模型评估指标。
S5.1，采用Python编程语言编写数据集划分脚本文件，按照8:1:1的比例将火灾检测数据集划分为三部分，其中包括训练图像32000张，验证图像4000张，测试图像4000张，根据任务阶段不同，将不同部分的数据图像输入到网络中；
S5.2，为了全面评估模型的表现，使用了4个评估指标来验证其性能和鲁棒性。具体而言，这些指标分别为精准率(Precision)、召回率(Recall)、平均精确度(AveragePrecision,AP)、平均精确度均值(MeanAverage Precision,mAP)。通过对这些指标的评估，我们可以更加全面地了解模型的性能和鲁棒性。其中精准率、召回率、平均精度和平均精度均值的计算公式为：
式中，TP(True Positive)表示模型正确预测为正例的样本数量；FP(FalsePositive)表示模型错误地预测为正例的样本数量；FN(False Negative)表示模型错误地预测为反例的样本数量；N表示样本的类别数。
S6，构建由特征提取网络、特征融合网络、分类预测网络三部分组成的基于改进ME-YOLOv5的油气站多特征融合检测模型；将训练数据导入改进的网络，然后对模型进行参数初始化操作和学习率设置，开始训练后待损失函数收敛，再由模型训练结束生成最佳权重文件并进行保存。
其中，构建改进的ME-YOLOv5油气站火灾检测模型包括：
S6.1，将训练图像输入网络后，YOLOv5会进行Mosaic在线数据增强、自适应锚框计算、自适应图片缩放。本发明采用Mosaic-4进行数据增强，对4张图片进行随机的缩放以及剪裁、随机排布，然后进行拼接，使数据集得到极大的丰富；
S6.2，特征提取层采用New CSP-Darknet53架构，引入改进的P-MobileViTv3Block作为特征提取主干网络，将其中的DWConv模块替换为PConv模块，提高效率的同时也能简单有效地融合本地全局和输入特征。
S6.3，将SimAM无参注意力机制添加至特征提取层和特征融合层的连接处，不会引入额外参数，而且能够减少检测目标背景复杂带来的负面影响，达到注重重点信息、过滤无关信息、提升检测模型对目标的检测能力和泛化能力。SimAM注意力机制模块通过设计能量函数来评估每个神经元的重要性，避免了过多的结构调整，能量函数的计算公式为：
上述公式中，t表示单通道中输入特征的目标神经元，xi表示除了目标神经元以外的其他神经元，wt和bt分别为t，xi线性变换的权重和偏置，i为空间维度上的索引，M＝H×W为单通道上所有神经元的数目。
S6.4，在检测层头部融入自适应空间特征融合(Adaptively Spatial FeatureFusion，ASFF)机制，以解决单阶段目标检测特征金字塔中的不一致问题，对有效信息进行特征融合。首先提取特征融合层中的三层输出特征层level1、level2、level3，将三层的输出特征分别设为X(1)、X(2)、X(3)，对X(2)和X(3)进行双线性插值操作并调整通道数目，得到与X(3)维度相同的特征图再进行融合；然后将输出特征X(1)、X(2)、X(3)经过1×1卷积得到3个控制参数这三个参数再经过Softmax激活函数得到权重参数最后将3个不同层的特征与对应的权重参数进行相乘并相加，得到新的融合特征ASFFF-1。
ASFF-2和ASFF-3的融合流程和ASFF-1同理，ASFF的计算公式为：
上述公式中，为由第n级到第l级调整特征图(i,j)位置的尺寸，/>为输出通道特征图Yl第(i,j)个向量，/>为控制参数，/>为权重参数。
S6.5，ME-YOLOv5检测模型的损失函数由定位损失、分类损失和置信度损失三部分构成；其中定位损失采用ECIoU损失函数描述，能够增强预测帧调整并加快帧回归率，加快网络模型收敛；分类损失和置信度损失采用二元交叉熵损失函数描述。
ECIoU损失函数由EIoU损失函数和CIoU损失函数组成，计算公式为：
上述公式中，IoU表示预测框与真实框的交并比；p2(·)为欧氏距离；b表示预测框中心点坐标；bgt表示真实框中心坐标；c表示预测框与真实框最小区域的对角线长度；α表示一个平衡参数；V表示两框长宽比的一致性；wgt，hgt和w，h分别表示真实框、预测框的宽度及高度。α和V的计算公式为：
分类损失与置信度损失的计算公式为：
上述公式中，m为每个网络产生的候选框数目；p(c)为类别c的分类概率；C为置信度。
S7，读取保存的最佳权重文件并进行单张火灾图像测试，将步骤S5准备的测试集图像导入训练好的模型之中进行测试，如测试结果没有达到预期标准，则返回步骤S6进行参数调整，将模型重新训练，以获得最佳参数的权重文件；若测试结果达到预期目标，则将完整的离线监控视频流文件传入训练好的检测模型之中再次进行视频流逐帧验证。
S8，测试完成后，将改进的检测模型部署到监控设备后台服务器上，然后与实时监控摄像头检测端以及告警系统进行连接，实现实时监测油气站的内外部安全环境状况以及火灾预警。
如图3所示，本发明实施例提供的油气站火灾检测系统包括：
数据获取模块，用于获取油气站火灾视频流并进行关键帧截取，初步建立火灾数据集，并搜集网络上的火灾图像作为辅助训练样本；
数据预处理模块，用于将数据图像融合后进行尺寸随机剪裁和人工标签标注，进行图像预处理和数据集离线扩充增强；
检测模型构建模块，用于划分数据集，构建改进ME-YOLOv5检测模型；
函数收敛判断模块，用于初始化训练参数，并判断损失函数是否收敛，若否，则返回初始化训练参数步骤；若是，则保存权重文件；
模型测试判断模块，用于判断模型测试是否符合预期；若测试不符合预期，则返回初始化训练参数；若模型测试符合预期，则部署模型。
本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。
实施例1：油气站火灾检测
作为优选实施例，如图2所示，本发明实施例提供的基于多特征融合的油气站火灾检测方法具体包括以下步骤：
S1，采用在线监控摄像头获取实时视频流，将获取的视频流下载进行关键帧截取分析。然后对含有火灾图像的RGB图像进行筛选，选用4500张油气站火灾图像，分辨率为1920×1080，初步建立基于油气站环境下的火灾数据集。
S2，编写脚本文件搜集网上出现在日常生活中的火灾图像，将挑选的3500张火灾图像纳入油气站火灾数据集作为辅助训练样本。
S3，对融合后的8000张火灾图像进行固定尺寸随机裁剪，然后采用开源图像标注软件LabelImg由人工进行矩阵标签框标注，生成标注文件。
其中，对采集的图像进行尺寸裁剪和标签标注包括：
为了输入最佳特征图进行训练而不丢失图像信息，将火灾数据集中的图像进行随机裁剪为640×640尺度大小，然后再进行人工筛选进一步挑选出8000张包含火灾目标区域的图像。
采用开源的标注工具LabelImg对融合后的8000张图像进行矩形框标注，选择YOLO格式标注会生成符合YOLO训练的.txt格式标注文件。每一张图片对应一个.txt文件，每一行表示该图片的一个标注框，该图片有多少标注框就有多少行数据，每一行有五列，分别表示：类别代号、标注框横向的相对中心坐标x_center、标注框纵向的相对中心坐标y_center、标注框相对宽度w、标注框相对高度h。其中，x_center、x_center、w、h为真实像素值除以图片的高和宽之后的值。
S4，将标注完成的火灾数据集进行图像预处理操作，并添加季节环境变化因素对此数据集进行数量扩充增强，标注文件数量也会跟随扩充图像数量同步增加。其中，对标注完成的火灾图像进行预处理操作和数据离线扩充增强包括：
预处理为了均衡全局图像中的亮度，采用自适应直方图均衡对标注的原图像亮度进行操作，从而获得更高质量的图像，对亮度均衡化的公式为：
上述公式中，I表示图像亮度。
将雪花、雨水、云雾、黑夜四个场景添加至预处理后的图像中，原图像和添加元素融合生成对应的场景图像，与原数据集中的图像数量相比扩充了4倍，然后共同组成油气站火灾检测数据集，此火灾数据集图像数量为40000张。
S5，编写数据集划分脚本文件，将标注好的40000张火灾数据集按照8:1:1的比例划分为训练集、验证集、测试集，并且建立模型评估指标。
S6，构建由特征提取网络、特征融合网络、分类预测网络三部分组成的基于改进ME-YOLOv5的油气站多特征融合检测模型，将训练数据导入改进的网络，然后对模型进行参数初始化操作和学习率设置，开始训练后待损失函数收敛，再由模型训练结束生成最佳.pt权重文件并进行保存。
其中，构建改进的ME-YOLOv5油气站火灾检测模型包括：
特征提取层采用New CSP-Darknet53架构，引入改进的P-MobileViTv3 Block作为特征提取主干网络，如图5所示，将其中的DWConv3×3模块替换为PConv3×3模块，提高效率的同时也能简单有效地融合本地全局和输入特征。
将SimAM无参注意力机制添加至特征提取层和特征融合层的连接处，如图6所示，其不会引入额外参数，而且能够减少检测目标背景复杂带来的负面影响，达到注重重点信息、过滤无关信息、提升检测模型对目标的检测能力和泛化能力。SimAM注意力机制模块通过设计能量函数来评估每个神经元的重要性，避免了过多的结构调整，能量函数的计算公式为：
上述公式中，t表示单通道中输入特征的目标神经元，xi表示除了目标神经元以外的其他神经元，wt和bt分别为t，xi线性变换的权重和偏置，i为空间维度上的索引，M＝H×W为单通道上所有神经元的数目。
在检测层头部融入自适应空间特征融合(Adaptively spatial feature fusion，ASFF)机制，ASFF网络结构如图7所示，以解决单阶段目标检测特征金字塔中的不一致问题，对有效信息进行特征融合。首先提取特征融合层中的三层输出特征层level1、level2、level3，将三层的输出特征分别设为X(1)、X(2)、X(3)，对X(2)和X(3)进行双线性插值操作并调整通道数目，得到与X(3)维度相同的特征图再进行融合；然后将输出特征X(1)、X(2)、X(3)经过1×1卷积得到3个控制参数这三个参数再经过Softmax激活函数得到权重参数/> 最后将3个不同层的特征与对应的权重参数进行相乘并相加，得到新的融合特征ASFFF-1。
ASFF-2和ASFF-3的融合流程和ASFF-1同理，ASFF的计算公式为：
上述公式中，为由第n级到第l级调整特征图(i,j)位置的尺寸，/>为输出通道特征图Yl第(i,j)个向量，/>为控制参数，/>为权重参数。
本发明实施例提供的ME-YOLOv5检测模型的损失函数由定位损失、分类损失和置信度损失三部分构成，其中定位损失采用ECIoU损失函数描述，能够增强预测帧调整并加快帧回归率，加快网络模型收敛；分类损失和置信度损失采用二元交叉熵损失函数描述。
ECIoU损失函数由EIoU损失函数和CIoU损失函数组成，计算公式为：
上述公式中，IoU表示预测框与真实框的交并比；p2(·)为欧氏距离；b表示预测框中心点坐标；bgt表示真实框中心坐标；c表示预测框与真实框最小区域的对角线长度；α表示一个平衡参数；V表示两框长宽比的一致性；wgt，hgt和w，h分别表示真实框、预测框的宽度及高度。α和V的计算公式为：
分类损失与置信度损失的计算公式为：
上述公式中，m为每个网络产生的候选框数目；p(c)为类别c的分类概率；C为置信度。
将训练图像输入网络后，YOLOv5会进行Mosaic在线数据增强、自适应锚框计算、自适应图片缩放。本发明采用Mosaic进行数据增强，对4张图片进行随机的缩放以及剪裁、随机排布，然后进行拼接，使数据集得到极大的丰富。
为了合理地配置硬件资源，将实验参数进行初始化配置，Epoch设置为300轮，Batch size设置为4，动量因子设置为0.9，训练时采用SGD优化器，初始学习率设置为0.01，IOU阈值设置为0.5，然后进行模型训练。
S7，训练完成后读取保存的.pt最佳权重文件并进行单张火灾图像测试，将步骤S5准备的测试集图像导入训练好的模型之中进行测试，如测试结果没有达到预期标准，则返回步骤S6进行参数调整，将模型重新训练，以获得最佳参数的.pt权重文件；若测试结果达到预期目标，则将完整的离线监控视频流文件传入训练好的检测模型之中再次进行视频流逐帧验证。
S8，测试完成后，将改进的检测模型部署到监控设备后台服务器上，然后与实时监控摄像头检测端以及告警系统进行连接，实现实时监测油气站的内外部安全环境状况以及火灾预警。本发明提出的设备、处理器和存储器见图8。
实施例2：消融实验
如表1所示，在采用Yolov5基础网络的情况下，检测模型的平均精确率均值(mAP50)为86.4％。Yolov5s模型融合改进的P-M Block(P-MobileViTv3 Block)模块后mAP50值提升2.7％；当添加SimAM无参注意力机制mAP50值再次提升1.9％，说明模型对于火灾区域的关注程度得到提升，模型能够更加准确地提取到图像中的火焰和烟雾信息；然后融合ASFF模块后mAP50值再次提升2.8％，模型能够更多地融合全局信息和丰富的上下文信息，提高复杂背景下的特征融合能力；将本发明提出的改进方法同时应用于YOLOv5基础模型时mAP50值提升8.2％，检测精度达到最佳效果。由此可见，本发明提出的改进检测模型均能够有效提高对火灾区域的检测精度，证实了本发明改进方法的有效性。
表1消融实验表
实施例3：对比实验
如表2所示，为证明ME-YOLOv5检测模型的有效性，将其与主流的目标检测算法进行对比实验，测试模型包括Faster-RCNN模型、SSD模型、YOLOv3模型、YOLOv4模型、YOLOv5模型、ME-YOLOv5模型。其中，mPrecision为平均精准率，mRecall为平均召回率。通过实验数据，综合得出改进的ME-YOLOv5检测模型的拥有更理想的检测效果。
表2对比实验表
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种油气站火灾检测方法，其特征在于，油气站火灾检测方法包括：获取油气站火灾视频流并进行关键帧截取，初步建立火灾数据集，并搜集网络上的火灾图像作为辅助训练样本；将数据图像融合后进行尺寸随机剪裁和人工标签标注；进行图像预处理和数据集离线扩充增强；划分数据集，构建改进ME-YOLOv5检测模型；初始化训练参数，并判断损失函数是否收敛，若否，则返回初始化训练参数步骤；若是，则保存权重文件并判断模型测试是否符合预期；若不符合预期，则返回初始化训练参数步骤；若符合预期，则部署模型。
2.如权利要求1所述油气站火灾检测方法，其特征在于，构建改进ME-YOLOv5检测模型包括：将改进P-MobileVitv3 Block引入特征提取层作为特征提取网络；在特征融合层融合ASFF网络结构并进行多特征融合；添加SimAM注意力机制，并利用ECIoU损失函数作为定位损失。
3.如权利要求1所述油气站火灾检测方法，其特征在于，油气站火灾检测方法包括以下步骤：
步骤一，采用在线监控摄像头获取实时视频流，将获取的视频流下载进行关键帧截取分析；对含有火灾图像的RGB图像进行筛选，并初步建立基于油气站环境下的火灾数据集；
步骤二，编写脚本文件搜集网上出现在日常生活中的火灾图像，并将火灾图像纳入油气站火灾数据集作为辅助训练样本；
步骤三，对融合后的火灾图像进行固定尺寸随机裁剪，采用图像标注软件由人工进行矩阵标签框标注，并生成标注文件；
步骤四，将标注完成的火灾数据集进行图像预处理操作，并添加季节环境变化因素对数据集进行数量离线扩充增强，标注文件跟随扩充图像同步增加；
步骤五，编写数据集划分脚本文件，将标注好的火灾数据集按照8:1:1的比例划分为训练集、验证集和测试集；
步骤六，构建由特征提取网络、特征融合网络和分类预测网络三部分组成的基于改进ME-YOLOv5的油气站多特征融合检测模型；将训练数据导入改进的网络，对模型进行参数初始化操作和学习率设置；开始训练后待损失函数收敛，再由模型训练结束生成最佳权重文件并进行保存；
步骤七，读取保存的最佳权重文件并进行单张火灾图像测试，将步骤五准备的测试集图像导入训练好的模型中进行测试；若测试结果没有达到预期标准，则返回步骤六进行参数调整，将模型重新训练，以获得最佳参数的权重文件；若测试结果达到预期目标，则将完整的离线监控视频流文件传入训练好的检测模型中再次进行视频流逐帧验证；
步骤八，测试完成后，将改进的检测模型部署到监控设备后台服务器上，与实时监控摄像头检测端以及告警系统进行连接，实现实时监测油气站的内外部安全环境状况以及火灾预警。
4.如权利要求3所述油气站火灾检测方法，其特征在于，步骤三中的对采集的图像进行固定尺寸随机裁剪和标签标注包括：
(1)将火灾数据集中的图像进行随机裁剪为640×640尺度大小，再通过人工筛选挑选出包含火灾目标区域的图像；
(2)采用开源的标注工具LabelImg对筛选出的图像进行矩形框标注，选择YOLO格式标注生成符合YOLO训练的.txt格式标注文件；每一张图片对应一个.txt文件，每一行数据表示图片的一个标注框，图片标注框数量等于数据行数；每一行有五列，分别表示类别代号、标注框横向的相对中心坐标x_center、标注框纵向的相对中心坐标y_center、标注框相对宽度w、标注框相对高度h；其中，x_center、x_center、w、h为真实像素值除以图片的高和宽之后的值。
5.如权利要求3所述油气站火灾检测方法，其特征在于，步骤四中的对标注完成的火灾图像进行预处理操作和数据离线扩充增强包括：
(1)采用自适应直方图均衡对标注的原图像亮度进行操作，获得图像；
其中，对亮度均衡化的公式为：
式中，I表示图像亮度；
(2)对图像数量进行离线增强，将雪花、雨水、云雾和黑夜四个场景添加至预处理后的图像中，原图像和添加元素融合生成对应的场景图像，与原数据集中的图像数量相比扩充4倍后，共同组成油气站火灾检测数据集。
6.如权利要求3所述油气站火灾检测方法，其特征在于，步骤六中的构建改进的ME-YOLOv5油气站火灾检测模型包括：
(1)将训练图像输入网络后，YOLOv5进行Mosaic在线数据增强、自适应锚框计算和自适应图片缩放；采用Mosaic-4进行数据增强，对4张图片进行随机的缩放以及剪裁、随机排布后再进行拼接；
(2)特征提取层采用New CSP-Darknet53架构，引入改进的P-MobileViTv3Block作为特征提取主干网络，将其中的DWConv模块替换为PConv模块；
(3)将SimAM无参注意力机制添加至特征提取层和特征融合层的连接处，SimAM注意力机制模块通过设计能量函数评估每个神经元的重要性，能量函数的计算公式为：
式中，t表示单通道中输入特征的目标神经元；xi表示除目标神经元以外的其他神经元；wt和bt分别为t，xi线性变换的权重和偏置；i为空间维度上的索引；M＝H×W为单通道上所有神经元的数目；
(4)在检测层头部融入自适应空间特征融合机制，对有效信息进行特征融合；提取特征融合层中的三层输出特征层level1、level2、level3，将三层的输出特征分别设为X(1)、X(2)、X(3)，对X(2)和X(3)进行双线性插值操作并调整通道数目，得到与X(3)维度相同的特征图再进行融合；将输出特征X(1)、X(2)、X(3)经过1×1卷积得到三个控制参数三个控制参数再经过Softmax激活函数得到权重参数/>将三个不同层的特征与对应的权重参数进行相乘并相加，得到新的融合特征ASFFF-1；其中，ASFF的计算公式为：
式中，为由第n级到第l级调整特征图(i,j)位置的尺寸；/>为输出通道特征图Yl第(i,j)个向量；/>为控制参数；/>为权重参数；
(5)ME-YOLOv5检测模型的损失函数由定位损失、分类损失和置信度损失三部分构成；其中，定位损失采用ECIoU损失函数描述，分类损失和置信度损失采用二元交叉熵损失函数描述；ECIoU损失函数由EIoU损失函数和CIoU损失函数组成，计算公式为：
式中，IoU表示预测框与真实框的交并比；p2(·)为欧氏距离；b表示预测框中心点坐标；bgt表示真实框中心坐标；c表示预测框与真实框最小区域的对角线长度；α表示平衡参数；V表示两框长宽比的一致性；wgt，hgt和w，h分别表示真实框、预测框的宽度及高度；其中，α和V的计算公式为：
分类损失与置信度损失的计算公式为：
式中，m为每个网络产生的候选框数目；p(c)为类别c的分类概率；C为置信度。
7.一种应用如权利要求1～6任意一项所述油气站火灾检测方法的油气站火灾检测系统，其特征在于，油气站火灾检测系统包括：
数据获取模块，用于获取油气站火灾视频流并进行关键帧截取，初步建立火灾数据集，并搜集网络上的火灾图像作为辅助训练样本；
数据预处理模块，用于将数据图像融合后进行尺寸随机剪裁和人工标签标注，进行图像预处理和数据集离线扩充增强；
检测模型构建模块，用于划分数据集，构建改进ME-YOLOv5检测模型；
函数收敛判断模块，用于初始化训练参数，并判断损失函数是否收敛，若否，则返回初始化训练参数步骤；若是，则保存权重文件；
模型测试判断模块，用于判断模型测试是否符合预期；若测试不符合预期，则返回初始化训练参数；若模型测试符合预期，则部署模型。
8.一种计算机设备，其特征在于，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～6任意一项所述油气站火灾检测方法的步骤。
9.一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～6任意一项所述油气站火灾检测方法的步骤。
10.一种信息数据处理终端，其特征在于，信息数据处理终端用于实现如权利要求7所述油气站火灾检测系统。
CN202310533504.9A 2023-05-12 2023-05-12 一种油气站火灾检测方法、系统、介质、设备及终端 Pending CN116563762A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310533504.9A CN116563762A (zh) 2023-05-12 2023-05-12 一种油气站火灾检测方法、系统、介质、设备及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310533504.9A CN116563762A (zh) 2023-05-12 2023-05-12 一种油气站火灾检测方法、系统、介质、设备及终端

Publications (1)

Publication Number Publication Date
CN116563762A true CN116563762A (zh) 2023-08-08

Family

ID=87485674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310533504.9A Pending CN116563762A (zh) 2023-05-12 2023-05-12 一种油气站火灾检测方法、系统、介质、设备及终端

Country Status (1)

Country Link
CN (1) CN116563762A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843999A (zh) * 2023-09-04 2023-10-03 四川泓宝润业工程技术有限公司 一种基于深度学习的动火作业中气瓶检测方法
CN118038012A (zh) * 2023-12-22 2024-05-14 广东工程职业技术学院 一种基于YOLOv5的火灾图像检测系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843999A (zh) * 2023-09-04 2023-10-03 四川泓宝润业工程技术有限公司 一种基于深度学习的动火作业中气瓶检测方法
CN116843999B (zh) * 2023-09-04 2023-12-08 四川泓宝润业工程技术有限公司 一种基于深度学习的动火作业中气瓶检测方法
CN118038012A (zh) * 2023-12-22 2024-05-14 广东工程职业技术学院 一种基于YOLOv5的火灾图像检测系统

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN111563557B (zh) 一种电力电缆隧道内目标检测的方法
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN116563762A (zh) 一种油气站火灾检测方法、系统、介质、设备及终端
EP3690714A1 (en) Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN111507371B (zh) 自动评估对训练图像的标签可靠性的方法和装置
CN110929577A (zh) 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN109671071B (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
CN110598686B (zh) 发票的识别方法、系统、电子设备和介质
CN110688925A (zh) 基于深度学习的级联目标识别方法及系统
CN113468967A (zh) 基于注意力机制的车道线检测方法、装置、设备及介质
CN111767927A (zh) 一种基于全卷积网络的轻量级车牌识别方法及系统
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN115909280A (zh) 基于多头注意力机制的交通标志识别算法
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN113486856A (zh) 一种基于语义分割和卷积神经网络的驾驶员不规范行为检测方法
CN116189063B (zh) 一种用于智能视频监控的关键帧优化方法及装置
CN111062388B (zh) 基于深度学习的广告文字的识别方法、系统、介质及设备
CN116843677A (zh) 钣金件的外观质量检测系统及其方法
CN111178275A (zh) 一种基于卷积神经网络的火灾检测方法
CN115661542A (zh) 一种基于特征关系迁移的小样本目标检测方法
CN115240145A (zh) 基于场景识别的违章作业行为检测方法及系统
CN115546682A (zh) 一种基于视频的动态烟雾检测方法
CN112215122B (zh) 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination