CN117274243A - 一种轻量化气象灾害检测方法 - Google Patents
一种轻量化气象灾害检测方法 Download PDFInfo
- Publication number
- CN117274243A CN117274243A CN202311532736.9A CN202311532736A CN117274243A CN 117274243 A CN117274243 A CN 117274243A CN 202311532736 A CN202311532736 A CN 202311532736A CN 117274243 A CN117274243 A CN 117274243A
- Authority
- CN
- China
- Prior art keywords
- feature
- module
- convolution
- loss
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 100
- 238000000605 extraction Methods 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000011176 pooling Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000005538 encapsulation Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000004044 response Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及目标检测技术领域,尤其是提供了一种轻量化气象灾害检测方法。该方法包括搭建目标检测模型的特征提取网络;根据特征提取网络,搭建目标检测模型的检测头;将特征提取网络和检测头进行连接,构建气象灾害检测的目标检测模型;训练构建的目标检测模型,并对训练后的目标检测模型进行封装部署,该方法准确区别了云系目标,加快了对云系目标的识别和定位,从而提高对卫星云图中气象灾害图像检测的准确性。
Description
技术领域
本发明涉及目标检测技术领域,尤其涉及一种轻量化气象灾害检测方法,用于对大尺度卫星云图中的气象灾害图像进行检测。
背景技术
气象灾害会严重影响到经济建设和国防建设,因此对于气象灾害的检测是非常必要的。各类气象灾害的发生都与云系变化有密不可分的关系,通过气象卫星拍摄的大尺度云系图像为灾害天气的预警提供了重要的依据。通过对静止气象卫星图像进行云系目标的识别与检测,可以判断云系目标的种类并对灾害天气进行预测和预警。因此,对云系目标的准确识别和定位,对气象灾害的预防具有重要的作用。其中,对大尺度卫星云图的目标检测为气象灾害识别和预测场景中应用和需求最广泛的技术。
大尺度卫星云图目标检测有许多经典的处理方法。早期的目标检测算法大多是基于手动特征构建。由于当时缺乏有效的图像表征,只能设计复杂的特征表达,并使用各种加速技术来利用有限的计算资源。近年来,随着神经网络在计算机视觉领域的发展,基于全卷积神经网络目标检测方法已广泛应用于各种场景下的目标检测。基于全卷积神经网络的目标检测算法主要分为两类,即一阶段目标检测方法和二阶段目标检测方法。然而气象卫星图像的目标检测仍有几个难点:其一,大尺度卫星影像通常覆盖的区域较大,图像中可能包含多个云系目标,云系目标的相似性和差异性导致现有目标检测方法难以区分,需要局部和全局特征的结合;其二,大尺度卫星云图通常会有不同目标物体相互堆叠的现象,导致现有目标检测方法定位不准确;其三,大尺度云图分辨率高,网络检测高分辨率图像会显著增加计算量进而减缓网络的推理速度,不利于云系目标的快速识别和定位。
发明内容
有鉴于此,本发明提供了一种轻量化气象灾害检测方法,用以准确区别云系目标,加快对云系目标的识别和定位,从而提高对卫星云图中气象灾害图像检测的准确性。
第一方面,本发明提供了一种轻量化气象灾害检测方法,所述方法包括:
步骤S1、搭建目标检测模型的特征提取网络;
步骤S2、根据步骤S1中的特征提取网络,搭建目标检测模型的检测头;
步骤S3、将步骤S1中的特征提取网络和步骤S2中的检测头进行连接,构建气象灾害检测的目标检测模型;
步骤S4、训练步骤S3中构建的目标检测模型,并对训练后的目标检测模型进行封装部署。
可选地,所述特征提取网络由全局特征提取分支和局部特征提取分支组成;全局特征提取分支和局部特征提取分支采用并行的方式提取特征;
全局特征提取分支包含四个下采样模块、三个全局特征注意力模块;局部特征提取分支包含四个3×3卷积模块、四个轻量化卷积局部特征提取模块;
三个所述全局特征注意力模块包括第一全局特征注意力模块、第二全局特征注意力模块、第三全局特征注意力模块;四个所述轻量化卷局部特征提取模块分别为第一轻量化卷积局部特征提取模块、第二轻量化卷积局部特征提取模块、第三轻量化卷积局部特征提取模块、第四轻量化卷积局部特征提取模块。
可选地,每个所述轻量化卷积局部特征提取模块包括1×1卷积模块、1×1深度可分离卷积模块、3×3深度可分离卷积模块和批正则化,边缘填充模块;
每个所述轻量化卷积局部特征提取模块的结构构成包括:
a、通过1×1卷积模块将输入的特征图减半,获得特征聚集;特征聚集后使用1×1深度可分离卷积模块进行交叉特征点提取;交叉特征点提取后在特征通道方向叠加1×1卷积模块和1×1深度可分离卷积模块输出特征,获得局部特征映射;
b、经过通过一个3×3的深度可分离卷积模块下采样和一个批正则化模块对局部特征映射进行边缘填充,将特征图的尺寸放大2倍;
c、将放大2倍的特征图输入步骤a中的结构,得到局部特征图。
可选地,将4×4×4特征图按步长为2的间隔分割为4块,并在通道维度拼接特征,生成4个4×2×2特征图;
通过1×1卷积将四个4×2×2特征图整合为四个1×2×2特征图切片,并在通道维度上叠加四个1×2×2特征图切片,叠加后重新生成4×2×2特征图。
可选地,每个所述全局特征注意力模块由卷积自注意力模块、批正则化模块、通道过滤器组成;其中,所述卷积自注意力模通过三个并行的1×1卷积模块生成查询键Q、索引键K和值V。
可选地,所述卷积自注意力模通过三个并行的1×1卷积生成查询键Q、索引键K和值V,包括:
根据原始输入特征,采用三个并行的1x1卷积/>、/>、/>对特征维度进行调整,生成查询键Q、索引键K和值V,生成过程如下:
,
,
,
其中,,/>,/>,Reshape代表矩阵的维度变换,Transpose代表矩阵转置。
可选地,所述检测头由特征注意力模块、1×1卷积模块、Sigmoid级联组成;所述特征注意力模块通过特征图的通道方向、宽方向、高方向的全局平均池化得到三个特征;其中,通道方向特征平均池化后的特征维度为1×H×W,宽方向特征平均池化后的特征维度为C×H×1,高方向特征平均池化后的特征维度为C×1×W;
特征图的通道方向、宽方向、高方向平均池化后的特征分别与原特征图相乘,并与原特征图相加得到细化特征,公式如下:
其中,为细化特征,S为输入特征,AVGPoolC代表特征图的通道方向全局平均池化, AVGPoolH代表特征图的高方向全局平均池化,AVGPoolW代表特征图的宽方向全局平均池化。
可选地,所述步骤S3包括:所述检测头依次连接第二轻量化卷积局部特征提取模块、第三轻量化卷积局部特征提取模块和池化金字塔模块,连接后构建气象灾害检测的目标检测模型。
可选地,所述步骤S4包括:
f、在训练时,将QFocal Loss损失函数作为模型分类和置信度的损失函数,损失函数QFL(σ)公式如下:
其中,y是平滑标签,值为[0,1],σ是预测结果,αt=y×α+(1-y)×(1-α)用于平衡正负样本,用于强调难以检测的样本;
g、训练中的定位损失通过IIoU损失函数进行精确定位,IIoU损失函数LIIou公式如下:
,
其中,代表对角线一致性损失,/>代表中心点距离损失,代表对角线夹角一致性损失,当IoU=0时,不计算对角线一致性损失和对角线夹角损失,当IoU>0时,计算对角线一致性损失和对角线夹角损失,eIoU为调节IoU和对角线一致性损失与对角线夹角损失的权重因子;
h、训练中的总损失函数TotalLoss公式如下:
,
其中,α,β分别为平衡权重,α=1,β=0.5;
i、将训练集、验证集、测试集输入构建的目标检测模型,并进行训练,选择训练300回合的目标检测模型进行TensorRT加速后,封装为DLL文件。
可选地,所述对角线一致性损失公式如下:
,
其中,、/>分别代表真实框的长宽,/>、/>分别代表预测框的长宽;
所述中心点距离损失和对角线夹角一致性损失/>的公式如下:
;
;
其中,b,bgt分别代表了预测框和真实框的中心点;ρ(x)代表了欧式距离,C代表两个边框组成的最小包围框的对角线距离;,/>分别表示预测框的对角线方向向量与真实框的对角线方向向量;/>,/>分别表示预测框的对角线长度与真实框的对角线长度。
本发明提供的轻量化气象灾害检测方法的技术方案中,该方法包括搭建目标检测模型的特征提取网络;根据步骤S1中的特征提取网络,搭建目标检测模型的检测头;将步骤S1中的特征提取网络和步骤S2中的检测头进行连接,构建气象灾害检测的目标检测模型;训练步骤S3中构建的目标检测模型,并对训练后的目标检测模型进行封装部署,该方法准确区别了云系目标,加快了对云系目标的识别和定位,从而提高对卫星云图中气象灾害图像检测的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的检测方法的流程图;
图2是本发明实施例提供的特征提取网络和检测头的结构图;
图3是本发明实施例提供的轻量化卷积局部特征提取模块的结构图;
图4是本发明实施例提供的下采样模块的结构图;
图5是本发明实施例提供的全局特征注意力模块的结构图;
图6是本发明实施例提供的检测头中的特征注意力模块的结构图;
图7为本发明实施例提供的一种电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,甲和/或乙,可以表示:单独存在甲,同时存在甲和乙,单独存在乙这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
图1为本发明实施例提供的检测方法的流程图,如图1所示,该方法包括:
步骤S1、搭建目标检测模型的特征提取网络。
本发明实施例中,各步骤可以由电子设备执行。例如,电子设备包括但不限于平板电脑、便携式PC、台式PC等。
步骤S2、根据步骤S1中的特征提取网络,搭建目标检测模型的检测头。
步骤S3、将步骤S1中的特征提取网络和步骤S2中的检测头进行连接,构建气象灾害检测的目标检测模型。
本发明实施例中,步骤S3包括:检测头依次连接第二轻量化卷积局部特征提取模块、第三轻量化卷积局部特征提取模块和池化金字塔模块,连接后构建气象灾害检测的目标检测模型。
步骤S4、训练步骤S3中构建的目标检测模型,并对训练后的目标检测模型进行封装部署。
本发明实施例中,步骤S4包括:
f、在训练时,将QFocal Loss损失函数作为模型分类和置信度的损失函数,损失函数QFL(σ)公式如下:
其中,y是平滑标签,值为[0,1],σ是预测结果,αt=y×α+(1-y)×(1-α)用于平衡正负样本,用于强调难以检测的样本;
g、训练中的定位损失通过IIoU损失函数进行精确定位,IIoU损失函数LIIou公式如下:
,
其中,代表对角线一致性损失,/>代表中心点距离损失,代表对角线夹角一致性损失,当IoU=0时,不计算对角线一致性损失和对角线夹角损失,当IoU>0时,计算对角线一致性损失和对角线夹角损失,eIoU为调节IoU和对角线一致性损失与对角线夹角损失的权重因子;
h、训练中的总损失函数TotalLoss公式如下
,
其中,α,β分别为平衡权重,α=1,β=0.5;
i、将训练集、验证集、测试集输入构建的目标检测模型,并进行训练,选择训练300回合的目标检测模型进行TensorRT加速后,封装为DLL文件。
本发明实施例中,训练结束后选择推理精度最高的目标检测模型进行封装部署,将目标检测模型封装为DLL文件便于调用。
本发明实施例中,对角线一致性损失公式如下:
,
其中,、/>分别代表真实框的长宽,/>、/>分别代表预测框的长宽;
所述中心点距离损失和对角线夹角一致性损失/>的公式如下:
;
;
其中,b,bgt分别代表了预测框和真实框的中心点;ρ(x)代表了欧式距离,C代表两个边框组成的最小包围框的对角线距离;,/>分别表示预测框的对角线方向向量与真实框的对角线方向向量;/>,/>分别表示预测框的对角线长度与真实框的对角线长度。
本发明实施例中,在步骤S1之前,还包括:
对卫星云图中的气象灾害图像进行预处理,生成训练集、验证集、测试集。
其中,预处理包括:筛选、标注和格式转换;
本发明实施例中,对卫星云图中的气象灾害图像进行预处理,生成训练集、验证集、测试集,包括:
步骤S11、收集卫星云图,并筛选出气象灾害图像。
本发明实施例中,收集大尺度卫星云图数据,并人工筛选出气象灾害图像。
步骤S12、对步骤S11中筛选出的气象灾害图像进行标注,生成标签文件。
本发明实施例中,将气象灾害图像进行人工标注生成标签文件,其中,标签文件的格式为XML格式。
步骤S13、将步骤S12中生成的标签文件进行格式转换,转换为标签数据。
本发明实施例中,标签数据的格式为TXT格式。将XML格式的标签数据转换为TXT格式的标签数据。
本发明实施例中,标签数据包括气象灾害图像的目标位置以及气象灾害的种类,气象灾害的种类包括但不限于沙尘、台风、强降雨、强降雪。
步骤S14、对气象灾害图像进行Mosaic数据增强,将步骤S13中的标签数据和Mosaic数据增强后的气象灾害图像一一对应,并按照6:2:2的比例分别划分训练集、验证集、测试集。
图2是本发明实施例提供的特征提取网络和检测头的结构图,如图2所示,特征提取网络由全局特征提取分支和局部特征提取分支组成;全局特征提取分支和局部特征提取分支采用并行的方式提取特征。
全局特征提取分支包含四个下采样模块、三个全局特征注意力模块;局部特征提取分支包含四个3×3卷积模块、四个轻量化卷积局部特征提取模块。
三个全局特征注意力模块包括第一全局特征注意力模块、第二全局特征注意力模块、第三全局特征注意力模块;四个轻量化卷局部特征提取模块分别为第一轻量化卷积局部特征提取模块、第二轻量化卷积局部特征提取模块、第三轻量化卷积局部特征提取模块、第四轻量化卷积局部特征提取模块。
本发明实施例中,第二轻量化局部特征提取模块和第一全局特征注意力模块输出的特征在通道方向融合后,输入局部特征提取分支的第三轻量化卷积局部特征提取模块中。第三轻量化卷积局部特征提取模块和第二全局特征注意力模块输出的特征在通道方向融合后,输入局部特征提取分支的第四轻量化卷积局部特征提取模块中。第四轻量化卷积局部特征提取模块和第三全局特征注意力模块输出的特征在通道方向融合后,输入池化金字塔模块中。
图3是本发明实施例提供的轻量化卷积局部特征提取模块的结构图,如图3所示,每个轻量化卷积局部特征提取模块包括1×1卷积模块、1×1深度可分离卷积模块、3×3深度可分离卷积模块和批正则化,边缘填充模块。
每个轻量化卷积局部特征提取模块的结构构成包括:
a、通过1×1卷积模块将输入的特征图减半,获得特征聚集;特征聚集后使用1×1深度可分离卷积模块进行交叉特征点提取;交叉特征点提取后在特征通道方向叠加1×1卷积模块和1×1深度可分离卷积模块输出特征,获得局部特征映射。
b、经过通过一个3×3的深度可分离卷积模块下采样和一个批正则化模块对局部特征映射进行边缘填充,将特征图的尺寸放大2倍。
c、将放大2倍的特征图输入步骤a中的结构,得到局部特征图。
图4是本发明实施例提供的下采样模块的结构图,如图4所示,每个下采样模块中,将4×4×4特征图按步长为2的间隔分割为4块,并在通道维度拼接特征,生成4个4×2×2特征图。
通过1×1卷积将四个4×2×2特征图整合为四个1×2×2特征图切片,并在通道维度上叠加四个1×2×2特征图切片,叠加后重新生成4×2×2特征图。
图5是本发明实施例提供的全局特征注意力模块的结构图,如图5所示,每个全局特征注意力模块由卷积自注意力模块、批正则化模块、通道过滤器组成;其中,卷积自注意力模通过三个并行的1×1卷积模块生成查询键Q、索引键K和值V。
本发明实施例中,卷积自注意力模通过三个并行的1×1卷积生成查询键Q、索引键K和值V,包括:
根据原始输入特征,采用三个并行的1x1卷积对特征维度进行调整,/>、/>、/>对特征维度进行调整,生成查询键Q、索引键K和值V,生成过程如下:
,
,
,
其中,,/>,/>,Reshape代表矩阵的维度变换,Transpose代表矩阵转置。
本发明实施例中,在生成查询键Q、索引键K和值V后,查询键Q与值V进行点乘,并经过Sigmoid函数得到相关矩阵,/>经过全局平均池化后与值V相乘得到最终的全局特征矩阵/>,全局平池化的目的是集中特征并减少计算量,公式如下:
,
,
其中,AVGPool代表全局平均池化;代表相关矩阵,/>代表全局特征矩阵。
本发明实施例中,检测头由特征注意力模块、1×1卷积模块、Sigmoid级联组成。
图6是本发明实施例提供的检测头中的特征注意力模块的结构图,如图6所示,特征注意力模块通过特征图的通道方向、宽方向、高方向全局平均池化得到三个特征;其中,通道方向特征平均池化后的特征维度为1×H×W,宽方向特征平均池化后的特征维度为C×H×1,高方向特征平均池化后的特征维度为C×1×W。
特征图的通道方向、宽方向、高方向平均池化后的特征分别与原特征图相乘,并与原特征图相加得到细化特征,公式如下:
,
其中,为细化特征,S为输入特征,AVGPoolC代表特征图的通道方向全局平均池化,AVGPoolH代表特征图的高方向全局平均池化,AVGPoolW代表特征图的宽方向全局平均池化。
本发明实施例中,通过优化网络的推理速度和设置对目标精准定位的回归损失函数,提升了云系目标的局部和全局信息的特征表达能力,实现进行云系目标的快速识别和定位。
本发明提供的轻量化气象灾害检测方法的技术方案中,该方法包括搭建目标检测模型的特征提取网络;根据步骤S1中的特征提取网络,搭建目标检测模型的检测头;将步骤S1中的特征提取网络和步骤S2中的检测头进行连接,构建气象灾害检测的目标检测模型;训练步骤S3中构建的目标检测模型,并对训练后的目标检测模型进行封装部署,该方法准确区别了云系目标,加快了对云系目标的识别和定位,从而提高对卫星云图中气象灾害图像检测的准确性。
本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在电子设备执行上述轻量化气象灾害检测方法的实施例。
图7为本发明实施例提供的一种电子设备的示意图,如图7所示,电子设备21包括:处理器211、存储器212以及存储在存储器212中并可在处理器211上运行的计算机程序213,该计算机程序213被处理器211执行时实现实施例中的轻量化气象灾害检测方法,为避免重复,此处不一一赘述。
电子设备21包括,但不仅限于,处理器211、存储器212。本领域技术人员可以理解,图7仅仅是电子设备21的示例,并不构成对电子设备21的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器211可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器212可以是电子设备21的内部存储单元,例如电子设备21的硬盘或内存。存储器212也可以是电子设备21的外部存储设备,例如电子设备21上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(FlashCard)等。进一步地,存储器212还可以既包括电子设备21的内部存储单元也包括外部存储设备。存储器212用于存储计算机程序以及网络设备所需的其他程序和数据。存储器212还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (10)
1.一种轻量化气象灾害检测方法,其特征在于,所述方法包括:
步骤S1、搭建目标检测模型的特征提取网络;
步骤S2、根据步骤S1中的特征提取网络,搭建目标检测模型的检测头;
步骤S3、将步骤S1中的特征提取网络和步骤S2中的检测头进行连接,构建气象灾害检测的目标检测模型;
步骤S4、训练步骤S3中构建的目标检测模型,并对训练后的目标检测模型进行封装部署。
2.根据权利要求1所述的方法,其特征在于,所述特征提取网络由全局特征提取分支和局部特征提取分支组成;全局特征提取分支和局部特征提取分支采用并行的方式提取特征;
全局特征提取分支包含四个下采样模块、三个全局特征注意力模块;局部特征提取分支包含四个3×3卷积模块、四个轻量化卷积局部特征提取模块;
三个所述全局特征注意力模块包括第一全局特征注意力模块、第二全局特征注意力模块、第三全局特征注意力模块;四个所述轻量化卷局部特征提取模块分别为第一轻量化卷积局部特征提取模块、第二轻量化卷积局部特征提取模块、第三轻量化卷积局部特征提取模块、第四轻量化卷积局部特征提取模块。
3.根据权利要求2所述的方法,其特征在于,每个所述轻量化卷积局部特征提取模块包括1×1卷积模块、1×1深度可分离卷积模块、3×3深度可分离卷积模块和批正则化,边缘填充模块;
每个所述轻量化卷积局部特征提取模块的结构构成包括:
a、通过1×1卷积模块将输入的特征图减半,获得特征聚集;特征聚集后使用1×1深度可分离卷积模块进行交叉特征点提取;交叉特征点提取后在特征通道方向叠加1×1卷积模块和1×1深度可分离卷积模块输出特征,获得局部特征映射;
b、经过通过一个3×3的深度可分离卷积模块下采样和一个批正则化模块对局部特征映射进行边缘填充,将特征图的尺寸放大2倍;
c、将放大2倍的特征图输入步骤a中的结构,得到局部特征图。
4.根据权利要求2所述的方法,其特征在于,每个所述下采样模块中,将4×4×4特征图按步长为2的间隔分割为4块,并在通道维度拼接特征,生成4个4×2×2特征图;
通过1×1卷积将四个4×2×2特征图整合为四个1×2×2特征图切片,并在通道维度上叠加四个1×2×2特征图切片,叠加后重新生成4×2×2特征图。
5.根据权利要求2所述的方法,其特征在于,每个所述全局特征注意力模块由卷积自注意力模块、批正则化模块、通道过滤器组成;其中,所述卷积自注意力模通过三个并行的1×1卷积模块生成查询键Q、索引键K和值V。
6.根据权利要求5所述的方法,其特征在于,所述卷积自注意力模通过三个并行的1×1卷积生成查询键Q、索引键K和值V,包括:
根据原始输入特征,采用三个并行的1x1卷积/>、/>、/>对特征维度进行调整,生成查询键Q、索引键K和值V,生成过程如下:
,
,
,
其中,,/>,/>,Reshape代表矩阵的维度变换,Transpose代表矩阵转置。
7.根据权利要求1所述的方法,其特征在于,所述检测头由特征注意力模块、1×1卷积模块、Sigmoid级联组成;所述特征注意力模块通过特征图的通道方向、宽方向、高方向的全局平均池化得到三个特征;其中,通道方向特征平均池化后的特征维度为1×H×W,宽方向特征平均池化后的特征维度为C×H×1,高方向特征平均池化后的特征维度为C×1×W;
特征图的通道方向、宽方向、高方向平均池化后的特征分别与原特征图相乘,并与原特征图相加得到细化特征,公式如下:
,
其中,为细化特征,S为输入特征,AVGPoolC代表特征图的通道方向全局平均池化,AVGPoolH代表特征图的高方向全局平均池化,AVGPoolW代表特征图的宽方向全局平均池化。
8.根据权利要求1所述的方法,其特征在于,所述步骤S3包括:所述检测头依次连接第二轻量化卷积局部特征提取模块、第三轻量化卷积局部特征提取模块和池化金字塔模块,连接后构建气象灾害检测的目标检测模型。
9.根据权利要求1所述的方法,其特征在于,所述步骤S4包括:
f、在训练时,将QFocal Loss损失函数作为模型分类和置信度的损失函数,损失函数QFL(σ)公式如下:
,
其中,y是平滑标签,值为[0,1],σ是预测结果,αt=y×α+(1-y)×(1-α)用于平衡正负样本,用于强调难以检测的样本;
g、训练中的定位损失通过IIoU损失函数进行精确定位,IIoU损失函数LIIou公式如下:
,
其中,代表对角线一致性损失,/>代表中心点距离损失,代表对角线夹角一致性损失,当IoU=0时,不计算对角线一致性损失和对角线夹角损失,当IoU>0时,计算对角线一致性损失和对角线夹角损失,eIoU为调节IoU和对角线一致性损失与对角线夹角损失的权重因子;
h、训练中的总损失函数TotalLoss公式如下:
,
其中,α,β分别为平衡权重,α=1,β=0.5;
i、将训练集、验证集、测试集输入构建的目标检测模型,并进行训练,选择训练300回合的目标检测模型进行TensorRT加速后,封装为DLL文件。
10.根据权利要求9所述的方法,其特征在于,所述对角线一致性损失公式如下:
,
其中,、/>分别代表真实框的长宽,/>、/>分别代表预测框的长宽;
所述中心点距离损失和对角线夹角一致性损失/>的公式如下:
;
;
其中,b,bgt分别代表了预测框和真实框的中心点;ρ(x)代表了欧式距离,C代表两个边框组成的最小包围框的对角线距离;,/>分别表示预测框的对角线方向向量与真实框的对角线方向向量;/>,/>分别表示预测框的对角线长度与真实框的对角线长度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311532736.9A CN117274243B (zh) | 2023-11-17 | 2023-11-17 | 一种轻量化气象灾害检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311532736.9A CN117274243B (zh) | 2023-11-17 | 2023-11-17 | 一种轻量化气象灾害检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117274243A true CN117274243A (zh) | 2023-12-22 |
CN117274243B CN117274243B (zh) | 2024-01-26 |
Family
ID=89206579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311532736.9A Active CN117274243B (zh) | 2023-11-17 | 2023-11-17 | 一种轻量化气象灾害检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117274243B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021146703A1 (en) * | 2020-01-17 | 2021-07-22 | Percipient.ai Inc. | Systems and methods for identifying an object of interest from a video sequence |
CN113487529A (zh) * | 2021-07-12 | 2021-10-08 | 吉林大学 | 一种基于Yolo的气象卫星云图目标检测方法 |
CN115222950A (zh) * | 2022-07-26 | 2022-10-21 | 西安工业大学 | 一种面向嵌入式平台的轻量化目标检测方法 |
CN115618296A (zh) * | 2022-10-26 | 2023-01-17 | 河海大学 | 一种基于图注意力网络的大坝监测时序数据异常检测方法 |
CN115761525A (zh) * | 2022-11-30 | 2023-03-07 | 中国地质大学(武汉) | 一种遥感影像热带气旋目标检测和可视化方法 |
CN116310868A (zh) * | 2023-03-17 | 2023-06-23 | 南京信息工程大学 | 一种多层次注意力交互的云雪辩识方法、设备及存储介质 |
CN116596764A (zh) * | 2023-07-17 | 2023-08-15 | 华侨大学 | 一种基于Transformer与卷积交互的轻量级图像超分辨率方法 |
CN116778227A (zh) * | 2023-05-12 | 2023-09-19 | 昆明理工大学 | 基于红外图像与可见光图像的目标检测方法、系统及设备 |
CN116797867A (zh) * | 2023-05-24 | 2023-09-22 | 中北大学 | 一种融合全局及局部特征的轻量化火焰识别深度学习模型 |
-
2023
- 2023-11-17 CN CN202311532736.9A patent/CN117274243B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021146703A1 (en) * | 2020-01-17 | 2021-07-22 | Percipient.ai Inc. | Systems and methods for identifying an object of interest from a video sequence |
CN113487529A (zh) * | 2021-07-12 | 2021-10-08 | 吉林大学 | 一种基于Yolo的气象卫星云图目标检测方法 |
CN115222950A (zh) * | 2022-07-26 | 2022-10-21 | 西安工业大学 | 一种面向嵌入式平台的轻量化目标检测方法 |
CN115618296A (zh) * | 2022-10-26 | 2023-01-17 | 河海大学 | 一种基于图注意力网络的大坝监测时序数据异常检测方法 |
CN115761525A (zh) * | 2022-11-30 | 2023-03-07 | 中国地质大学(武汉) | 一种遥感影像热带气旋目标检测和可视化方法 |
CN116310868A (zh) * | 2023-03-17 | 2023-06-23 | 南京信息工程大学 | 一种多层次注意力交互的云雪辩识方法、设备及存储介质 |
CN116778227A (zh) * | 2023-05-12 | 2023-09-19 | 昆明理工大学 | 基于红外图像与可见光图像的目标检测方法、系统及设备 |
CN116797867A (zh) * | 2023-05-24 | 2023-09-22 | 中北大学 | 一种融合全局及局部特征的轻量化火焰识别深度学习模型 |
CN116596764A (zh) * | 2023-07-17 | 2023-08-15 | 华侨大学 | 一种基于Transformer与卷积交互的轻量级图像超分辨率方法 |
Non-Patent Citations (2)
Title |
---|
WEI TIAN 等: "Tropical Cyclone Intensity Estimation Using Multidimensional Convolutional Neural Network From Multichannel Satellite Imagery", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》, vol. 19, pages 1 - 5, XP011897255, DOI: 10.1109/LGRS.2021.3134007 * |
倪铮 等: "一种基于CNN和RNN深度神经网络的天气预测模型――以北京地区雷暴的6小时临近预报为例", 《数值计算与计算机应用》, vol. 39, no. 04, pages 299 - 309 * |
Also Published As
Publication number | Publication date |
---|---|
CN117274243B (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111310861B (zh) | 一种基于深度神经网络的车牌识别和定位方法 | |
CN110188705B (zh) | 一种适用于车载系统的远距离交通标志检测识别方法 | |
CN110033002B (zh) | 基于多任务级联卷积神经网络的车牌检测方法 | |
CN112380921A (zh) | 一种基于车联网的道路检测方法 | |
CN112396002A (zh) | 一种基于SE-YOLOv3的轻量级遥感目标检测方法 | |
CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及系统 | |
WO2023193401A1 (zh) | 点云检测模型训练方法、装置、电子设备及存储介质 | |
CN106951830B (zh) | 一种基于先验条件约束的图像场景多对象标记方法 | |
CN111754394B (zh) | 鱼眼图像中的对象检测方法、装置及存储介质 | |
CN111079739B (zh) | 一种多尺度注意力特征检测方法 | |
CN110309842B (zh) | 基于卷积神经网络的物体检测方法及装置 | |
CN114359851A (zh) | 无人驾驶目标检测方法、装置、设备及介质 | |
CN110147707B (zh) | 一种高精度车辆识别方法及系统 | |
CN111753677B (zh) | 基于特征金字塔结构的多角度遥感船舶图像目标检测方法 | |
CN111860683B (zh) | 一种基于特征融合的目标检测方法 | |
CN115035295B (zh) | 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法 | |
CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113034506B (zh) | 遥感图像语义分割方法、装置、计算机设备和存储介质 | |
CN113723377A (zh) | 一种基于ld-ssd网络的交通标志检测方法 | |
CN111680705A (zh) | 适于目标检测的mb-ssd方法和mb-ssd特征提取网络 | |
CN111127516A (zh) | 无搜索框的目标检测和跟踪方法及系统 | |
CN110706256A (zh) | 一种基于多核异构平台的检测跟踪算法优化方法 | |
CN112580480A (zh) | 一种高光谱遥感影像分类方法及装置 | |
CN116630932A (zh) | 一种基于改进yolov5的道路遮挡目标检测方法 | |
CN112668662B (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |