CN117274243B - 一种轻量化气象灾害检测方法 - Google Patents

一种轻量化气象灾害检测方法 Download PDF

Info

Publication number
CN117274243B
CN117274243B CN202311532736.9A CN202311532736A CN117274243B CN 117274243 B CN117274243 B CN 117274243B CN 202311532736 A CN202311532736 A CN 202311532736A CN 117274243 B CN117274243 B CN 117274243B
Authority
CN
China
Prior art keywords
feature
module
convolution
feature extraction
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311532736.9A
Other languages
English (en)
Other versions
CN117274243A (zh
Inventor
张敬林
张泽恺
丁世娇
熊毛毛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202311532736.9A priority Critical patent/CN117274243B/zh
Publication of CN117274243A publication Critical patent/CN117274243A/zh
Application granted granted Critical
Publication of CN117274243B publication Critical patent/CN117274243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及目标检测技术领域，尤其是提供了一种轻量化气象灾害检测方法。该方法包括搭建目标检测模型的特征提取网络；根据特征提取网络，搭建目标检测模型的检测头；将特征提取网络和检测头进行连接，构建气象灾害检测的目标检测模型；训练构建的目标检测模型，并对训练后的目标检测模型进行封装部署，该方法准确区别了云系目标，加快了对云系目标的识别和定位，从而提高对卫星云图中气象灾害图像检测的准确性。

Description

一种轻量化气象灾害检测方法
技术领域
本发明涉及目标检测技术领域，尤其涉及一种轻量化气象灾害检测方法，用于对大尺度卫星云图中的气象灾害图像进行检测。
背景技术
气象灾害会严重影响到经济建设和国防建设，因此对于气象灾害的检测是非常必要的。各类气象灾害的发生都与云系变化有密不可分的关系，通过气象卫星拍摄的大尺度云系图像为灾害天气的预警提供了重要的依据。通过对静止气象卫星图像进行云系目标的识别与检测，可以判断云系目标的种类并对灾害天气进行预测和预警。因此，对云系目标的准确识别和定位，对气象灾害的预防具有重要的作用。其中，对大尺度卫星云图的目标检测为气象灾害识别和预测场景中应用和需求最广泛的技术。
大尺度卫星云图目标检测有许多经典的处理方法。早期的目标检测算法大多是基于手动特征构建。由于当时缺乏有效的图像表征，只能设计复杂的特征表达，并使用各种加速技术来利用有限的计算资源。近年来，随着神经网络在计算机视觉领域的发展，基于全卷积神经网络目标检测方法已广泛应用于各种场景下的目标检测。基于全卷积神经网络的目标检测算法主要分为两类，即一阶段目标检测方法和二阶段目标检测方法。然而气象卫星图像的目标检测仍有几个难点：其一，大尺度卫星影像通常覆盖的区域较大，图像中可能包含多个云系目标，云系目标的相似性和差异性导致现有目标检测方法难以区分，需要局部和全局特征的结合；其二，大尺度卫星云图通常会有不同目标物体相互堆叠的现象，导致现有目标检测方法定位不准确；其三，大尺度云图分辨率高，网络检测高分辨率图像会显著增加计算量进而减缓网络的推理速度，不利于云系目标的快速识别和定位。
发明内容
有鉴于此，本发明提供了一种轻量化气象灾害检测方法，用以准确区别云系目标，加快对云系目标的识别和定位，从而提高对卫星云图中气象灾害图像检测的准确性。
第一方面，本发明提供了一种轻量化气象灾害检测方法，所述方法包括：
步骤S1、搭建目标检测模型的特征提取网络；
步骤S2、根据步骤S1中的特征提取网络，搭建目标检测模型的检测头；
步骤S3、将步骤S1中的特征提取网络和步骤S2中的检测头进行连接，构建气象灾害检测的目标检测模型；
步骤S4、训练步骤S3中构建的目标检测模型，并对训练后的目标检测模型进行封装部署。
可选地，所述特征提取网络由全局特征提取分支和局部特征提取分支组成；全局特征提取分支和局部特征提取分支采用并行的方式提取特征；
全局特征提取分支包含四个下采样模块、三个全局特征注意力模块；局部特征提取分支包含四个3×3卷积模块、四个轻量化卷积局部特征提取模块；
三个所述全局特征注意力模块包括第一全局特征注意力模块、第二全局特征注意力模块、第三全局特征注意力模块；四个所述轻量化卷局部特征提取模块分别为第一轻量化卷积局部特征提取模块、第二轻量化卷积局部特征提取模块、第三轻量化卷积局部特征提取模块、第四轻量化卷积局部特征提取模块。
可选地，每个所述轻量化卷积局部特征提取模块包括1×1卷积模块、1×1深度可分离卷积模块、3×3深度可分离卷积模块和批正则化，边缘填充模块；
每个所述轻量化卷积局部特征提取模块的结构构成包括：
a、通过1×1卷积模块将输入的特征图减半，获得特征聚集；特征聚集后使用1×1深度可分离卷积模块进行交叉特征点提取；交叉特征点提取后在特征通道方向叠加1×1卷积模块和1×1深度可分离卷积模块输出特征，获得局部特征映射；
b、经过通过一个3×3的深度可分离卷积模块下采样和一个批正则化模块对局部特征映射进行边缘填充，将特征图的尺寸放大2倍；
c、将放大2倍的特征图输入步骤a中的结构，得到局部特征图。
可选地，将4×4×4特征图按步长为2的间隔分割为4块，并在通道维度拼接特征，生成4个4×2×2特征图；
通过1×1卷积将四个4×2×2特征图整合为四个1×2×2特征图切片，并在通道维度上叠加四个1×2×2特征图切片，叠加后重新生成4×2×2特征图。
可选地，每个所述全局特征注意力模块由卷积自注意力模块、批正则化模块、通道过滤器组成；其中，所述卷积自注意力模通过三个并行的1×1卷积模块生成查询键Q、索引键K和值V。
可选地，所述卷积自注意力模通过三个并行的1×1卷积生成查询键Q、索引键K和值V，包括：
根据原始输入特征，采用三个并行的1x1卷积/>、/>、/>对特征维度进行调整，生成查询键Q、索引键K和值V，生成过程如下：
，
，
，
其中，，/>，/>，Reshape代表矩阵的维度变换，Transpose代表矩阵转置。
可选地，所述检测头由特征注意力模块、1×1卷积模块、Sigmoid级联组成；所述特征注意力模块通过特征图的通道方向、宽方向、高方向的全局平均池化得到三个特征；其中，通道方向特征平均池化后的特征维度为1×H×W，宽方向特征平均池化后的特征维度为C×H×1，高方向特征平均池化后的特征维度为C×1×W；
特征图的通道方向、宽方向、高方向平均池化后的特征分别与原特征图相乘，并与原特征图相加得到细化特征，公式如下：
其中，为细化特征，S为输入特征，AVGPoolC代表特征图的通道方向全局平均池化， AVGPoolH代表特征图的高方向全局平均池化，AVGPoolW代表特征图的宽方向全局平均池化。
可选地，所述步骤S3包括：所述检测头依次连接第二轻量化卷积局部特征提取模块、第三轻量化卷积局部特征提取模块和池化金字塔模块，连接后构建气象灾害检测的目标检测模型。
可选地，所述步骤S4包括：
f、在训练时，将QFocal Loss损失函数作为模型分类和置信度的损失函数，损失函数QFL（σ）公式如下：
其中，y是平滑标签，值为[0,1]，σ是预测结果，αt=y×α+（1-y）×（1-α）用于平衡正负样本，用于强调难以检测的样本；
g、训练中的定位损失通过IIoU损失函数进行精确定位，IIoU损失函数LIIou公式如下：
，
其中，代表对角线一致性损失，/>代表中心点距离损失，代表对角线夹角一致性损失，当IoU=0时，不计算对角线一致性损失和对角线夹角损失，当IoU>0时，计算对角线一致性损失和对角线夹角损失，eIoU为调节IoU和对角线一致性损失与对角线夹角损失的权重因子；
h、训练中的总损失函数TotalLoss公式如下：
，
其中，α，β分别为平衡权重，α=1，β=0.5；
i、将训练集、验证集、测试集输入构建的目标检测模型，并进行训练，选择训练300回合的目标检测模型进行TensorRT加速后，封装为DLL文件。
可选地，所述对角线一致性损失公式如下：
，
其中，、/>分别代表真实框的长宽，/>、/>分别代表预测框的长宽；
所述中心点距离损失和对角线夹角一致性损失/>的公式如下：
；
；
其中，b，bgt分别代表了预测框和真实框的中心点；ρ（x）代表了欧式距离，C代表两个边框组成的最小包围框的对角线距离；，/>分别表示预测框的对角线方向向量与真实框的对角线方向向量；/>，/>分别表示预测框的对角线长度与真实框的对角线长度。
本发明提供的轻量化气象灾害检测方法的技术方案中，该方法包括搭建目标检测模型的特征提取网络；根据步骤S1中的特征提取网络，搭建目标检测模型的检测头；将步骤S1中的特征提取网络和步骤S2中的检测头进行连接，构建气象灾害检测的目标检测模型；训练步骤S3中构建的目标检测模型，并对训练后的目标检测模型进行封装部署，该方法准确区别了云系目标，加快了对云系目标的识别和定位，从而提高对卫星云图中气象灾害图像检测的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的检测方法的流程图；
图2是本发明实施例提供的特征提取网络和检测头的结构图；
图3是本发明实施例提供的轻量化卷积局部特征提取模块的结构图；
图4是本发明实施例提供的下采样模块的结构图；
图5是本发明实施例提供的全局特征注意力模块的结构图；
图6是本发明实施例提供的检测头中的特征注意力模块的结构图；
图7为本发明实施例提供的一种电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。
图1为本发明实施例提供的检测方法的流程图，如图1所示，该方法包括：
步骤S1、搭建目标检测模型的特征提取网络。
本发明实施例中，各步骤可以由电子设备执行。例如，电子设备包括但不限于平板电脑、便携式PC、台式PC等。
步骤S2、根据步骤S1中的特征提取网络，搭建目标检测模型的检测头。
步骤S3、将步骤S1中的特征提取网络和步骤S2中的检测头进行连接，构建气象灾害检测的目标检测模型。
本发明实施例中，步骤S3包括：检测头依次连接第二轻量化卷积局部特征提取模块、第三轻量化卷积局部特征提取模块和池化金字塔模块，连接后构建气象灾害检测的目标检测模型。
步骤S4、训练步骤S3中构建的目标检测模型，并对训练后的目标检测模型进行封装部署。
本发明实施例中，步骤S4包括：
f、在训练时，将QFocal Loss损失函数作为模型分类和置信度的损失函数，损失函数QFL（σ）公式如下：
其中，y是平滑标签，值为[0,1]，σ是预测结果，αt=y×α+（1-y）×（1-α）用于平衡正负样本，用于强调难以检测的样本；
g、训练中的定位损失通过IIoU损失函数进行精确定位，IIoU损失函数LIIou公式如下：
，
其中，代表对角线一致性损失，/>代表中心点距离损失，代表对角线夹角一致性损失，当IoU=0时，不计算对角线一致性损失和对角线夹角损失，当IoU>0时，计算对角线一致性损失和对角线夹角损失，eIoU为调节IoU和对角线一致性损失与对角线夹角损失的权重因子；
h、训练中的总损失函数TotalLoss公式如下
，
其中，α，β分别为平衡权重，α=1，β=0.5；
i、将训练集、验证集、测试集输入构建的目标检测模型，并进行训练，选择训练300回合的目标检测模型进行TensorRT加速后，封装为DLL文件。
本发明实施例中，训练结束后选择推理精度最高的目标检测模型进行封装部署，将目标检测模型封装为DLL文件便于调用。
本发明实施例中，对角线一致性损失公式如下：
，
其中，、/>分别代表真实框的长宽，/>、/>分别代表预测框的长宽；
所述中心点距离损失和对角线夹角一致性损失/>的公式如下：
；
；
其中，b，bgt分别代表了预测框和真实框的中心点；ρ（x）代表了欧式距离，C代表两个边框组成的最小包围框的对角线距离；，/>分别表示预测框的对角线方向向量与真实框的对角线方向向量；/>，/>分别表示预测框的对角线长度与真实框的对角线长度。
本发明实施例中，在步骤S1之前，还包括：
对卫星云图中的气象灾害图像进行预处理，生成训练集、验证集、测试集。
其中，预处理包括：筛选、标注和格式转换；
本发明实施例中，对卫星云图中的气象灾害图像进行预处理，生成训练集、验证集、测试集，包括：
步骤S11、收集卫星云图，并筛选出气象灾害图像。
本发明实施例中，收集大尺度卫星云图数据，并人工筛选出气象灾害图像。
步骤S12、对步骤S11中筛选出的气象灾害图像进行标注，生成标签文件。
本发明实施例中，将气象灾害图像进行人工标注生成标签文件，其中，标签文件的格式为XML格式。
步骤S13、将步骤S12中生成的标签文件进行格式转换，转换为标签数据。
本发明实施例中，标签数据的格式为TXT格式。将XML格式的标签数据转换为TXT格式的标签数据。
本发明实施例中，标签数据包括气象灾害图像的目标位置以及气象灾害的种类，气象灾害的种类包括但不限于沙尘、台风、强降雨、强降雪。
步骤S14、对气象灾害图像进行Mosaic数据增强，将步骤S13中的标签数据和Mosaic数据增强后的气象灾害图像一一对应，并按照6:2:2的比例分别划分训练集、验证集、测试集。
图2是本发明实施例提供的特征提取网络和检测头的结构图，如图2所示，特征提取网络由全局特征提取分支和局部特征提取分支组成；全局特征提取分支和局部特征提取分支采用并行的方式提取特征。
全局特征提取分支包含四个下采样模块、三个全局特征注意力模块；局部特征提取分支包含四个3×3卷积模块、四个轻量化卷积局部特征提取模块。
三个全局特征注意力模块包括第一全局特征注意力模块、第二全局特征注意力模块、第三全局特征注意力模块；四个轻量化卷局部特征提取模块分别为第一轻量化卷积局部特征提取模块、第二轻量化卷积局部特征提取模块、第三轻量化卷积局部特征提取模块、第四轻量化卷积局部特征提取模块。
本发明实施例中，第二轻量化局部特征提取模块和第一全局特征注意力模块输出的特征在通道方向融合后，输入局部特征提取分支的第三轻量化卷积局部特征提取模块中。第三轻量化卷积局部特征提取模块和第二全局特征注意力模块输出的特征在通道方向融合后，输入局部特征提取分支的第四轻量化卷积局部特征提取模块中。第四轻量化卷积局部特征提取模块和第三全局特征注意力模块输出的特征在通道方向融合后，输入池化金字塔模块中。
图3是本发明实施例提供的轻量化卷积局部特征提取模块的结构图，如图3所示，每个轻量化卷积局部特征提取模块包括1×1卷积模块、1×1深度可分离卷积模块、3×3深度可分离卷积模块和批正则化，边缘填充模块。
每个轻量化卷积局部特征提取模块的结构构成包括：
a、通过1×1卷积模块将输入的特征图减半，获得特征聚集；特征聚集后使用1×1深度可分离卷积模块进行交叉特征点提取；交叉特征点提取后在特征通道方向叠加1×1卷积模块和1×1深度可分离卷积模块输出特征，获得局部特征映射。
b、经过通过一个3×3的深度可分离卷积模块下采样和一个批正则化模块对局部特征映射进行边缘填充，将特征图的尺寸放大2倍。
c、将放大2倍的特征图输入步骤a中的结构，得到局部特征图。
图4是本发明实施例提供的下采样模块的结构图，如图4所示，每个下采样模块中，将4×4×4特征图按步长为2的间隔分割为4块，并在通道维度拼接特征，生成4个4×2×2特征图。
通过1×1卷积将四个4×2×2特征图整合为四个1×2×2特征图切片，并在通道维度上叠加四个1×2×2特征图切片，叠加后重新生成4×2×2特征图。
图5是本发明实施例提供的全局特征注意力模块的结构图，如图5所示，每个全局特征注意力模块由卷积自注意力模块、批正则化模块、通道过滤器组成；其中，卷积自注意力模通过三个并行的1×1卷积模块生成查询键Q、索引键K和值V。
本发明实施例中，卷积自注意力模通过三个并行的1×1卷积生成查询键Q、索引键K和值V，包括：
根据原始输入特征，采用三个并行的1x1卷积对特征维度进行调整，、/>、/>对特征维度进行调整，生成查询键Q、索引键K和值V，生成过程如下：
，
，
，
其中，，/>，/>，Reshape代表矩阵的维度变换，Transpose代表矩阵转置。
本发明实施例中，在生成查询键Q、索引键K和值V后，查询键Q与值V进行点乘，并经过Sigmoid函数得到相关矩阵，/>经过全局平均池化后与值V相乘得到最终的全局特征矩阵/>，全局平池化的目的是集中特征并减少计算量，公式如下：
，
，
其中，AVGPool代表全局平均池化；代表相关矩阵，/>代表全局特征矩阵。
本发明实施例中，检测头由特征注意力模块、1×1卷积模块、Sigmoid级联组成。
图6是本发明实施例提供的检测头中的特征注意力模块的结构图，如图6所示，特征注意力模块通过特征图的通道方向、宽方向、高方向全局平均池化得到三个特征；其中，通道方向特征平均池化后的特征维度为1×H×W，宽方向特征平均池化后的特征维度为C×H×1，高方向特征平均池化后的特征维度为C×1×W。
特征图的通道方向、宽方向、高方向平均池化后的特征分别与原特征图相乘，并与原特征图相加得到细化特征，公式如下：
，
其中，为细化特征，S为输入特征，AVGPoolC代表特征图的通道方向全局平均池化，AVGPoolH代表特征图的高方向全局平均池化，AVGPoolW代表特征图的宽方向全局平均池化。
本发明实施例中，通过优化网络的推理速度和设置对目标精准定位的回归损失函数，提升了云系目标的局部和全局信息的特征表达能力，实现进行云系目标的快速识别和定位。
本发明提供的轻量化气象灾害检测方法的技术方案中，该方法包括搭建目标检测模型的特征提取网络；根据步骤S1中的特征提取网络，搭建目标检测模型的检测头；将步骤S1中的特征提取网络和步骤S2中的检测头进行连接，构建气象灾害检测的目标检测模型；训练步骤S3中构建的目标检测模型，并对训练后的目标检测模型进行封装部署，该方法准确区别了云系目标，加快了对云系目标的识别和定位，从而提高对卫星云图中气象灾害图像检测的准确性。
本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在电子设备执行上述轻量化气象灾害检测方法的实施例。
图7为本发明实施例提供的一种电子设备的示意图，如图7所示，电子设备21包括：处理器211、存储器212以及存储在存储器212中并可在处理器211上运行的计算机程序213，该计算机程序213被处理器211执行时实现实施例中的轻量化气象灾害检测方法，为避免重复，此处不一一赘述。
电子设备21包括，但不仅限于，处理器211、存储器212。本领域技术人员可以理解，图7仅仅是电子设备21的示例，并不构成对电子设备21的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器211可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器212可以是电子设备21的内部存储单元，例如电子设备21的硬盘或内存。存储器212也可以是电子设备21的外部存储设备，例如电子设备21上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（FlashCard）等。进一步地，存储器212还可以既包括电子设备21的内部存储单元也包括外部存储设备。存储器212用于存储计算机程序以及网络设备所需的其他程序和数据。存储器212还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (6)

1.一种轻量化气象灾害检测方法，其特征在于，所述方法包括：
步骤S1、搭建目标检测模型的特征提取网络；
步骤S2、根据步骤S1中的特征提取网络，搭建目标检测模型的检测头；
步骤S3、将步骤S1中的特征提取网络和步骤S2中的检测头进行连接，构建气象灾害检测的目标检测模型；
步骤S4、训练步骤S3中构建的目标检测模型，并对训练后的目标检测模型进行封装部署；
所述步骤S1之前，还包括：
对卫星云图中的气象灾害图像进行预处理，生成训练集、验证集、测试集；其中，预处理包括：筛选、标注和格式转换；
所述对卫星云图中的气象灾害图像进行预处理，生成训练集、验证集、测试集，包括：
步骤S11、收集卫星云图，并筛选出气象灾害图像；
步骤S12、对步骤S11中筛选出的气象灾害图像进行标注，生成标签文件；
步骤S13、将步骤S12中生成的标签文件进行格式转换，转换为标签数据；
步骤S14、对气象灾害图像进行Mosaic数据增强，将步骤S13中的标签数据和Mosaic数据增强后的气象灾害图像一一对应，并按照6:2:2的比例分别划分训练集、验证集、测试集；
所述步骤S1中特征提取网络由全局特征提取分支和局部特征提取分支组成；全局特征提取分支和局部特征提取分支采用并行的方式提取特征；全局特征提取分支包含四个下采样模块、三个全局特征注意力模块；局部特征提取分支包含四个3×3卷积模块、四个轻量化卷积局部特征提取模块；三个所述全局特征注意力模块包括第一全局特征注意力模块、第二全局特征注意力模块、第三全局特征注意力模块；四个所述轻量化卷积局部特征提取模块分别为第一轻量化卷积局部特征提取模块、第二轻量化卷积局部特征提取模块、第三轻量化卷积局部特征提取模块、第四轻量化卷积局部特征提取模块；
每个所述轻量化卷积局部特征提取模块包括1×1卷积模块、1×1深度可分离卷积模块、3×3深度可分离卷积模块和批正则化，边缘填充模块；每个所述轻量化卷积局部特征提取模块的结构构成包括：
a、通过1×1卷积模块将输入的特征图减半，获得特征聚集；特征聚集后使用1×1深度可分离卷积模块进行交叉特征点提取；交叉特征点提取后在特征通道方向叠加1×1卷积模块和1×1深度可分离卷积模块输出特征，获得局部特征映射；
b、经过通过一个3×3的深度可分离卷积模块下采样和一个批正则化模块对局部特征映射进行边缘填充，将特征图的尺寸放大2倍；
c、将放大2倍的特征图输入步骤a中的结构，得到局部特征图；
每个所述全局特征注意力模块由卷积自注意力模块、批正则化模块、通道过滤器组成；其中，所述卷积自注意力模通过三个并行的1×1卷积模块生成查询键Q、索引键K和值V；
所述步骤S2中检测头由特征注意力模块、1×1卷积模块、Sigmoid级联组成；所述特征注意力模块通过特征图的通道方向、宽方向、高方向的全局平均池化得到三个特征；其中，通道方向特征平均池化后的特征维度为1×H×W，宽方向特征平均池化后的特征维度为C×H×1，高方向特征平均池化后的特征维度为C×1×W；
特征图的通道方向、宽方向、高方向平均池化后的特征分别与原特征图相乘，并与原特征图相加得到细化特征，公式如下：
；
其中，S'为细化特征，S为输入特征，AVGPoolC代表特征图的通道方向全局平均池化，AVGPoolH代表特征图的高方向全局平均池化，AVGPoolW代表特征图的宽方向全局平均池化。
2.根据权利要求1所述的方法，其特征在于，每个所述下采样模块中，将4×4×4特征图按步长为2的间隔分割为4块，并在通道维度拼接特征，生成4个4×2×2特征图；
通过1×1卷积将四个4×2×2特征图整合为四个1×2×2特征图切片，并在通道维度上叠加四个1×2×2特征图切片，叠加后重新生成4×2×2特征图。
3.根据权利要求1所述的方法，其特征在于，所述卷积自注意力模通过三个并行的1×1卷积生成查询键Q、索引键K和值V，包括：
根据原始输入特征，采用三个并行的1x1卷积/>、/>、/>对特征维度进行调整，生成查询键Q、索引键K和值V，生成过程如下：
其中，，Reshape代表矩阵的维度变换，Transpose代表矩阵转置。
4.根据权利要求1所述的方法，其特征在于，所述步骤S3包括：所述检测头依次连接第二轻量化卷积局部特征提取模块、第三轻量化卷积局部特征提取模块和池化金字塔模块，连接后构建气象灾害检测的目标检测模型。
5.根据权利要求1所述的方法，其特征在于，所述步骤S4包括：
f、在训练时，将QFocal Loss损失函数作为模型分类和置信度的损失函数，损失函数公式如下：
其中，y是平滑标签，值为[0,1]，σ是预测结果，用于平衡正负样本，/>用于强调难以检测的样本；
g、训练中的定位损失通过IIoU损失函数进行精确定位，IIoU损失函数公式如下：
其中，代表对角线一致性损失，/>代表中心点距离损失，/>代表对角线夹角一致性损失，当IoU=0时，不计算对角线一致性损失和对角线夹角损失，当IoU>0时，计算对角线一致性损失和对角线夹角损失，/>为调节IoU和对角线一致性损失与对角线夹角损失的权重因子；
h、训练中的总损失函数公式如下：
其中，，/>分别为平衡权重， />，/>；
i、将训练集、验证集、测试集输入构建的目标检测模型，并进行训练，选择训练300回合的目标检测模型进行TensorRT加速后，封装为DLL文件。
6.根据权利要求5所述的方法，其特征在于，所述对角线一致性损失公式如下：
其中，、/> 分别代表真实框的长宽，/>、/>分别代表预测框的长宽；
所述中心点距离损失和对角线夹角一致性损失/>的公式如下：
其中， 分别代表了预测框和真实框的中心点；/>代表了欧式距离，/>代表两个边框组成的最小包围框的对角线距离；/>分别表示预测框的对角线方向向量与真实框的对角线方向向量；/>，/>分别表示预测框的对角线长度与真实框的对角线长度。
CN202311532736.9A 2023-11-17 2023-11-17 一种轻量化气象灾害检测方法 Active CN117274243B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311532736.9A CN117274243B (zh) 2023-11-17 2023-11-17 一种轻量化气象灾害检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311532736.9A CN117274243B (zh) 2023-11-17 2023-11-17 一种轻量化气象灾害检测方法

Publications (2)

Publication Number Publication Date
CN117274243A CN117274243A (zh) 2023-12-22
CN117274243B true CN117274243B (zh) 2024-01-26

Family

ID=89206579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311532736.9A Active CN117274243B (zh) 2023-11-17 2023-11-17 一种轻量化气象灾害检测方法

Country Status (1)

Country Link
CN (1) CN117274243B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021146703A1 (en) * 2020-01-17 2021-07-22 Percipient.ai Inc. Systems and methods for identifying an object of interest from a video sequence
CN113487529A (zh) * 2021-07-12 2021-10-08 吉林大学 一种基于Yolo的气象卫星云图目标检测方法
CN115222950A (zh) * 2022-07-26 2022-10-21 西安工业大学 一种面向嵌入式平台的轻量化目标检测方法
CN115618296A (zh) * 2022-10-26 2023-01-17 河海大学 一种基于图注意力网络的大坝监测时序数据异常检测方法
CN115761525A (zh) * 2022-11-30 2023-03-07 中国地质大学（武汉） 一种遥感影像热带气旋目标检测和可视化方法
CN116310868A (zh) * 2023-03-17 2023-06-23 南京信息工程大学 一种多层次注意力交互的云雪辩识方法、设备及存储介质
CN116596764A (zh) * 2023-07-17 2023-08-15 华侨大学 一种基于Transformer与卷积交互的轻量级图像超分辨率方法
CN116778227A (zh) * 2023-05-12 2023-09-19 昆明理工大学 基于红外图像与可见光图像的目标检测方法、系统及设备
CN116797867A (zh) * 2023-05-24 2023-09-22 中北大学 一种融合全局及局部特征的轻量化火焰识别深度学习模型

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021146703A1 (en) * 2020-01-17 2021-07-22 Percipient.ai Inc. Systems and methods for identifying an object of interest from a video sequence
CN113487529A (zh) * 2021-07-12 2021-10-08 吉林大学 一种基于Yolo的气象卫星云图目标检测方法
CN115222950A (zh) * 2022-07-26 2022-10-21 西安工业大学 一种面向嵌入式平台的轻量化目标检测方法
CN115618296A (zh) * 2022-10-26 2023-01-17 河海大学 一种基于图注意力网络的大坝监测时序数据异常检测方法
CN115761525A (zh) * 2022-11-30 2023-03-07 中国地质大学（武汉） 一种遥感影像热带气旋目标检测和可视化方法
CN116310868A (zh) * 2023-03-17 2023-06-23 南京信息工程大学 一种多层次注意力交互的云雪辩识方法、设备及存储介质
CN116778227A (zh) * 2023-05-12 2023-09-19 昆明理工大学 基于红外图像与可见光图像的目标检测方法、系统及设备
CN116797867A (zh) * 2023-05-24 2023-09-22 中北大学 一种融合全局及局部特征的轻量化火焰识别深度学习模型
CN116596764A (zh) * 2023-07-17 2023-08-15 华侨大学 一种基于Transformer与卷积交互的轻量级图像超分辨率方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Tropical Cyclone Intensity Estimation Using Multidimensional Convolutional Neural Network From Multichannel Satellite Imagery;Wei Tian 等;《IEEE Geoscience and Remote Sensing Letters》;第19卷;第1-5页 *
一种基于CNN和RNN深度神经网络的天气预测模型――以北京地区雷暴的6小时临近预报为例;倪铮 等;《数值计算与计算机应用》;第39卷(第04期);第299-309页 *

Also Published As

Publication number Publication date
CN117274243A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN111310861B (zh) 一种基于深度神经网络的车牌识别和定位方法
CN110188705B (zh) 一种适用于车载系统的远距离交通标志检测识别方法
CN112380921A (zh) 一种基于车联网的道路检测方法
WO2023193401A1 (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN106951830B (zh) 一种基于先验条件约束的图像场景多对象标记方法
CN110309842B (zh) 基于卷积神经网络的物体检测方法及装置
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN114359851A (zh) 无人驾驶目标检测方法、装置、设备及介质
CN110147707B (zh) 一种高精度车辆识别方法及系统
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN112418236A (zh) 一种基于多任务神经网络的汽车可行驶区域规划方法
CN111612017A (zh) 一种基于信息增强的目标检测方法
CN111860683B (zh) 一种基于特征融合的目标检测方法
CN111461145B (zh) 一种基于卷积神经网络进行目标检测的方法
CN111680705B (zh) 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN115035295B (zh) 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN113723377A (zh) 一种基于ld-ssd网络的交通标志检测方法
CN113034506B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN111127516A (zh) 无搜索框的目标检测和跟踪方法及系统
CN112257793A (zh) 一种基于改进YOLO v3算法的远距离交通标志检测方法
CN110706256A (zh) 一种基于多核异构平台的检测跟踪算法优化方法
CN112580480A (zh) 一种高光谱遥感影像分类方法及装置
CN116630932A (zh) 一种基于改进yolov5的道路遮挡目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant