CN116824279B - 一种具有全局特征捕获能力的轻量级地基云图分类方法 - Google Patents
一种具有全局特征捕获能力的轻量级地基云图分类方法 Download PDFInfo
- Publication number
- CN116824279B CN116824279B CN202311100762.4A CN202311100762A CN116824279B CN 116824279 B CN116824279 B CN 116824279B CN 202311100762 A CN202311100762 A CN 202311100762A CN 116824279 B CN116824279 B CN 116824279B
- Authority
- CN
- China
- Prior art keywords
- cloud
- convolution
- layer
- foundation
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 34
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000003860 storage Methods 0.000 claims abstract description 3
- 230000008569 process Effects 0.000 claims description 14
- 230000003993 interaction Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000013585 weight reducing agent Substances 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种具有全局特征捕获能力的轻量级地基云图分类方法，包括：使用包括多个分类类别的地基云图图像的训练样本数据集对构建好的网络模型进行训练，并使用地基云图图像的测试数据集对输入网络模型的地基云图图像进行分类测试验证，选择性能最好的模型参数进行保存；将获取的地基云图图像输入到保存的网络模型中，对地基云图图像进行特征提取和类别的推理计算，得到地基云图图像的类别从而实现对地基云图图像的自动分类。本发明中特征提取单元与降采样单元在提取特征信息的同时会进行权重划分，能实现局部与全局特征信息的有效融合，对类内差异大、类间差异小的地基云图样本实现精确分类的同时拥有较低的参数量及较小的浮点运算次数。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种具有全局特征捕获能力的轻量级地基云图分类方法。
背景技术
云通过调节太阳辐射加热、潜热以及驱动大气环流热辐射冷却的垂直和水平分布来影响地球的气候，它的生成、发展和消亡直接影响着降水的起止时间、强度和分布。此外，云顶高度和含水量变化等云型的变化也可能会影响短波和长波辐射通量。由于云的涉及面较多，精确的自动化云分类结果能够充分反映云的类型及属性，对于局地尺度的天气预报准确性至关重要，并直接影响了降水、降雪、冰雹以及雷电等气候变化。同时，掌握正确的云类型也有助于实现更好的人工播云、人工降雨等人工影响天气的效果。
现有大部分地基云图分类模型为了实现更精确的地基云图图像自动分类，在模型设计时没有考虑到参数量，从而导致大多数地基云图分类模型整体参数量偏大，无法进行移动端设备的嵌入；而且传统卷积神经网络忽略了地基云图图像中的长距离信息，全局特征提取能力弱：传统卷积神经网络的实际感受野远小于其理论值，其中膨胀卷积虽能扩大感受野获取到长距离信息，但其捕获到的长距离信息无法保证相关性，从而会使数据一致性受到影响。
需要说明的是，在上述背景技术部分公开的信息只用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的目的在于克服现有技术的缺点，提供了一种具有全局特征捕获能力的轻量级地基云图分类方法，解决了现有方法存在的不足。
本发明的目的通过以下技术方案来实现：一种具有全局特征捕获能力的轻量级地基云图分类方法，所述分类方法包括：
使用包括多个分类类别的地基云图图像的训练样本数据集对构建好的CloudViT网络模型进行训练，并使用地基云图图像的测试数据集对CloudViT网络模型对地基云图图像进行分类测试验证，选择性能最好的模型参数进行保存；
将获取的地基云图图像输入到保存的包括基于CNN的特征提取单元、降采样单元和基于Transformer构建的全局特征信息捕获单元的CloudViT网络模型中，对地基云图图像进行特征提取和类别的推理计算，得到地基云图图像的类别从而实现对地基云图图像的自动分类。
所述特征提取单元包括通道拆分模块、逐点卷积模块、深度可分离卷积模块和通道注意力模块；
所述通道拆分模块用于将输入的特征图通道拆分为第一组通道和第二组通道，每组通道使用不同操作进行地基云图特征提取，最后将两组通道连接件，实现特征图通道宽度的增加；
所述逐点卷积模块用于在不改变输入特征图的空间尺寸的前提下在通道维度上进行卷积操作；
所述深度可分离卷积模块用于通过小感受野在空间维度上进行告知，以降低参数量和计算量；
所述通道注意力模块用于对输入的地基云图特征信息的不同通道进行加权，得到地基云图中各类云型的重要特征。
所述特征提取单元的具体实现步骤包括以下内容：
第一通道利用短链将上一层地基云图的输入特征与第二通道的输出特征相加实现地基云图残差特征的提取；
第二通道先利用逐点卷积模块通过滑动1×1大小的卷积核在输入地基云图张量的每个位置上进行卷积运算，即对卷积核与输入张量各通道上的单个像素进行逐点相乘，将结果相加得到输出张量对应位置的像素值以获得地基云图中各个类别云型的细粒度、上下文关系和多尺度信息特征表示，再利用填充大小为1、步长为2以及卷积核大小为3×3的深度卷积在含有细粒度、上下文关系和多尺度信息表示的张量的各通道上滑动3×3大小的卷积核，捕捉地基云图中的边缘变化、边界位置、纹理信息和颜色变化的局部结构信息，再通过辨别地基云图中各类云型的形状、大小和排列方式提供各类云体之间的相对位置和空间关系信息，并使用逐点卷积对各通道上的云型特征进行线性组合和交互生成最终的深度可分离卷积特征；
最后通过通道注意力模块对输入的各类云型特征信息的不同通道进行权重划分，以提升CloudViT网络模型对地基云图中重要特征的关注度。
所述降采样单元的具体实现步骤包括以下内容：
第一组通道先利用逐点卷积模块通过滑动1×1大小的卷积核对卷积核与输入张量各通道上的单个像素进行逐点相乘，将结果相加得到输出张量对应位置的像素值以获得地基云图中各个类别云型的细粒度、上下文关系和多尺度信息特征表示，再利用填充大小为1、步长为2以及卷积核大小为3×3的深度卷积对输入的地基云图进行降采样操作，即保持输入和输出尺寸一致的同时在卷积过程中每次移动两个像素，实现将特征尺寸减半，生成一个具有小尺寸的特征图，并在降采样过程中对地基云图各类云型的空间特征进行提取，然后使用逐点卷积减少通道数，通过特征的线性组合和交互来提取各类云型中更高级的特征，最后利用通道注意力模块对输入地基云图特征信息的不同通道进行加权，得到地基云图中各云型的重要特征；
第二组通道利用填充大小为1、步长为2以及卷积核大小为3×3的深度卷积对输入的地基云图进行降采样操作，即保持输入和输出尺寸一致的同时在卷积过程中每次移动两个像素，实现将特征尺寸减半，生成一个具有小尺寸的特征图，并在降采样过程中对地基云图各类云型的空间特征进行提取，然后使用逐点卷积减少通道数，通过特征的线性组合和交互来提取各类云型中更高级的特征。
所述全局特征信息捕获单元的具体实现步骤包括以下内容：
通过深度可分离卷积对降采样单元输入的特征图进行局部空间和通道上的信息交互与整合，通过提取各类云型的边缘、纹理、颜色信息生成地基云图的局部特征图；
通过分离自注意力机制将生成的局部特征图展平为特征向量序列，再对其进行全局特征信息建模，以获取地基云图中各类云型的相对位置、距离和方向之间的空间关系与空间分布特征，每个位置与其他位置之间的关联程度的上下文特征，以及各类云型之间的相似性和相关性的长距离依赖关系，最后将包含全局信息的序列进行折叠，生成地基云图全局特征图；
通过逐点卷积对输入的全局特征图进行逐像素独立线性变换以及特征提取，从而生成最终特征图，并通过降低其通道数实现网络轻量化。
所述特征提取单元和降采样单元中每次卷积后都需要进行批标准化归一处理，以减少CloudViT网络模型中的内部协变量偏移。
所述全局特征信息捕获单元输出的含有各类云型的边缘、纹理、颜色、空间关系、空间分布和相似性特征信息的特征图在进行全局池化得到一个固定长度的特征向量后会进行全连接操作，即通过学习权重参数利用多个神经元构成的全连接层将特征向量映射到样本标记空间，将每个神经元对应一个类别从而完成地基云图的各个类别的分类。
所述地基云图的类别包括：高积云、高层云、积雨云、卷积云、卷云、卷层云、积云、雨层云、层积云、层云和无云。
本发明具有以下优点：
1、通过特征提取单元与降采样单元在提取特征信息的同时会进行权重划分，能与Transformer单元有效结合实现局部与全局特征信息的有效融合，对类内差异大、类间差异小的地基云图样本实现精确分类的同时拥有较低的参数量及较小的浮点运算次数。
2、针对目前深度学习中地基云图分类任务面临绝大多数模型整体参数量偏大且无法实现对地基云图像全局上下文信息进行全面捕捉的问题，引入了Transformer，在有效解决CNN感受野受限制问题的同时有效保证了模型的计算效率以及捕获全局上下文信息的能力。
3、考虑了模型部署中计算资源受限的问题，利用轻量级的模型架构设计，极大减少了模型参数量的同时提升了其推理速度，有望在地基测云仪等移动端设备上进行部署应用。
附图说明
图1为本发明的流程示意图；
图2为本发明实施例提供的具有全局特征捕获能力的轻量级地基云图分类模型的网络结构图；
图3为本发明实施例提供的特征提取单元的示意图；
图4为本发明实施例提供的降采样单元的示意图；
图5为本发明实施例提供的全局特征信息捕获单元的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。
本发明具体提供了一种具有全局特征捕获能力的轻量级地基云图分类方法，该方法中基于CNN的特征提取单元与降采样单元具有极低的参数量、计算量的同时还拥有通道特征信息的权重划分能力以及CNN所特有的平移不变性和局部相关性，此外，基于Transformer构建的全局特征信息捕获单元能将降采样单元生成的特征图展平为特征向量序列对地基云图中的长距离依赖关系进行提取，在得到相应长距离依赖关系的特征向量序列后会将其折叠为特征图。总体来说，该方法能对类内差异大、类间差异小的地基云图数据集中各类样本的局部及全局特征空间中的信息进行有效提取，具有良好的泛化性能及精确的分类能力。
如图1所示，具体包括以下内容：
S1：构建CloudViT网络用于地基云图的11分类任务；
S2：使用包含高积云、高层云、积雨云、卷积云、卷云、卷层云、积云、雨层云、层积云、层云、无云等11个类别的地基云图训练样本数据集对所述CloudViT网络进行训练。
具体步骤包括：
步骤1：对地基云图训练样本数据集进行调整大小、随机裁剪、水平翻转及逐像素标准化处理，最后将224×224×3的RGB彩色地基云图输入CloudViT网络；
步骤2：采用Pytorch框架，设置Epochs为100、Batch Size为32、初始学习率为0.001，使用AdamW优化算法，在型号为Nvidia GeForce RTX 2080Ti的GPU显卡上进行训练；
S3：使用地基云图测试样本数据集对CloudViT网络进行分类测试验证，保存性能最好的网络。
具体步骤如下：
在每个Epoch训练结束时，用同样的地基云图测试样本数据集对CloudViT网络进行测试，并对测试结果进行评价，评价指标为网络对所有地基云图测试样本数据集的分类准确率，准确率定义公式如下：
其中ŷi表示网络模型预测的第i个图像的类别，yi是相应的真实类别，M是测试时输入网络的图像总数，eq(yi,ŷi)是相等函数，当且仅当yi等于ŷi、等于1时，网络预测性能最好，即测试效果越好则准确率越接近于1。
S4：使用训练好的CloudViT网络对待测试地基云图图像进行分类，得到地基云图分类结果。
如图2所示，所述CloudViT网络由特征提取单元、降采样单元以及全局特征信息捕获单元构成，总体呈金字塔结构；
如图3所示，特征提取单元包含通道拆分、逐点卷积、深度可分离卷积和通道注意力四个模块。其中逐点卷积只在通道维度上进行卷积操作且不会改变输入特征图的空间尺寸，深度可分离卷积虽在空间纬度上但感受野较小，因此，利用此两者代替常规卷积能使网络具有更少的参数量和计算量。通道拆分模块将输入的特征图通道拆分为两组，每组通道使用不同操作进行地基云图特征提取，最后将第一、二组通道连接，实现特征图通道宽度的增加，具体步骤为；
步骤1：第一组通道利用短链将上一层地基云图的输入特征与第二组通道的输出特征相加实现了地基云图残差特征提取；
步骤2：第二组通道先利用逐点卷积通过滑动1×1大小的卷积核在输入地基云图张量的每个位置上进行卷积运算，即对卷积核与输入张量各通道上的单个像素进行逐点相乘，将结果相加得到输出张量对应位置的像素值从而获得地基云图中11类云型的细粒度、上下文关系、多尺度信息等特征表示，再利用填充大小为1、步长为1的深度卷积在含有细粒度等特征表示的张量的各通道上滑动3×3大小的卷积核，捕捉地基云图中的局部结构信息如边缘变化、边界位置、纹理信息和颜色变化等，通过辨别地基云图中11类云型的形状、大小和排列方式，提供11类云体之间的相对位置和空间关系信息，并使用逐点卷积对各通道上的云型特征进行线性组合和交互生成最终的深度可分离卷积特征，最后使用通道注意力模块对输入11类云型特征信息的不同通道进行权重划分，以提升模型对地基云图中重要特征的关注度；
如图4所示，降采样单元主要由步长为2的深度可分离卷积模块实现降采样操作，此外还包括逐点卷积、通道注意力、通道打乱四个模块。其中深度可分离卷积在完成降采样的同时能保留更多地基云图中的细节信息，这些信息有助于更好地区分地基云图中不同类别之间的细微差异。降采样单元具体实现为将输入通道复制成两组，每组通道进行不同的下采样操作，最后融合两组通道信息生成特征图，并利用所述通道打乱模块先将特征图分为多个通道组，再对每个通道组的特征图进行分割、混洗操作使不同组的通道混合在一起形成地基云图输出特征图。
具体步骤为：
步骤1：第一组通道先利用逐点卷积通过滑动1×1大小的卷积核对卷积核与输入张量各通道上的单个像素进行逐点相乘，将结果相加得到输出张量对应位置的像素值以获得地基云图中11类云型的细粒度、上下文关系、多尺度信息等特征表示，再利用填充大小为1、步长为2、卷积核大小为3×3的深度卷积对输入地基云图进行降采样操作，即保持输入和输出尺寸一致的同时在卷积过程中每次移动2个像素，实现将特征图尺寸减半、生成一个具有较小尺寸的特征图的操作，并在降采样过程中对地基云图11类云型所对应的边缘、纹理等空间特征进行提取，然后使用逐点卷积减少通道数，通过特征的线性组合和交互来提取11类云型中更高级的特征，最后利用通道注意力模块对输入地基云图特征信息的不同通道进行加权，得到地基云图中各云型的重要特征；
步骤2：第二组通道主要利用填充大小为1、步长为2、卷积核大小为3×3的深度卷积对输入地基云图进行降采样操作，即在卷积过程中每次移动2个像素，实现将特征图尺寸减半、生成一个具有较小尺寸的特征图，并在将采样过程中对地基云图11类云型所对应的边缘、纹理等空间特征进行提取，然后使用逐点卷积减少通道数，通过特征的线性组合和交互来提取11类云型中更高级的特征；
特征提取单元和降采样单元每次卷积后都会进行批标准化归一(BatchNormalization)处理，用以减少模型中的内部协变量偏移问题，从而解决模型训练过程中的梯度消失和梯度爆炸问题。
如图5所示，全局特征信息捕获单元源于MobileViTV2网络，由深度可分离卷积、可分离自注意力模块、逐点卷积构成，该单元将降采样单元输出特征图展平为特征向量序列并进行全局特征建模后再折叠回原特征图作为下一层降采样单元的输入，具体步骤为：
步骤1：深度可分离卷积主要用于对降采样单元输入的特征图进行局部空间与通道上的信息交互与整合，通过提取11类云型的边缘、纹理、颜色等信息生成地基云图局部特征图；
步骤2：可分离自注意力模块不同于上述通道注意力模块对特征图通道纬度上的关注，其更侧重于对特征图空间维度上的特征信息建模，能有效弥补网络中特征提取单元与降采样单元对特征图空间维度上的信息缺失。具体地，它先将步骤1生成的局部特征图展平为特征向量序列，再对其进行全局特征信息建模，以获取地基云图中11类云型的相对位置、距离和方向等不同位置之间的空间关系和空间分布特征、每个位置与其他位置之间的关联程度等上下文特征以及11类云型之间的相似性和相关性等长距离依赖关系，最后将包含全局信息的序列折叠、生成地基云图全局特征图；
步骤3：逐点卷积对输入的全局特征图进行逐像素独立线性变换及特征提取，从而生成最终特征图，并通过降低其通道数实现网络轻量化；
最后一层全局特征信息捕获单元输出的含有11类云型边缘、纹理、颜色、空间关系、空间分布和相似性等特征信息的特征图在进行全局池化得到一个固定长度的特征向量后会进行全连接操作，即通过学习权重参数，利用多个神经元构成的全连接层将特征向量映射到样本标记空间，将每个神经元对应一个类别从而完成地基云图的11分类任务。
特征特提取单元与降采样单元中通道注意力模块采用了不降维局部跨通道交互策略，能有效避免降维对于通道注意力学习效果的影响，同时能对经过批标准归一化及SiLU激活后的输出特征图的不同通道进行加权，实现模型对地基云图中重要特征关注度的提取。
在进入全连接层进行最终分类前进行全局池化操作可以提取到整个特征图的全局信息并减少模型对输入图像位置和尺度的敏感性及其参数量，同时也会提高模型的鲁棒性和泛化能力。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (4)
1.一种具有全局特征捕获能力的轻量级地基云图分类方法，其特征在于：所述分类方法包括：
使用包括多个分类类别的地基云图图像的训练样本数据集对构建好的CloudViT网络模型进行训练，并使用地基云图图像的测试数据集对CloudViT网络模型对地基云图图像进行分类测试验证，选择性能最好的模型参数进行保存；
将获取的地基云图图像输入到保存的包括基于CNN的特征提取单元、降采样单元和基于Transformer的全局特征提取单元的CloudViT网络模型中，对地基云图图像进行特征提取和类别的推理计算，得到地基云图图像的类别从而实现对地基云图图像的自动分类；
其中，所述CloudViT网络模型的输入为彩色地基云图图像，输出11类分类结果，由依次连接的第一层、第二层、第三层、第四层、第五层、第六层和平均池化层组成；其中，
第一层，输入彩色地基云图图像，所述第一层由依次连接的3×3常规卷积、批量归一化和sigmoid加权线性单元三个模块组成；第二层，输入所述第一层输的出结果，所述第二层的结构由依次连接的降采样单元和特征提取单元组成；第三层，输入所述第二层输的出结果，所述第三层的结构由依次连接的降采样单元和特征提取单元组成；第四层，输入所述第三层输出结果，所述第四层的结构由依次连接的降采样单元和全局特征提取单元组成；第五层，输入所述第四层输出结果，所述第五层由依次连接的降采样单元和全局特征提取单元组成；第六层，输入所述第五层输出结果，所述第六层由依次连接的降采样单元和全局特征提取单元组成；平均池化层，输入所述第六层输出结果，并输出11类分类结果；
所述特征提取单元的计算过程为：通道拆分模块将输入的特征图通道拆分为第一组通道和第二组通道，每组通道使用不同操作进行地基云图特征提取，最后将两组通道加权得到特征输出，实现特征图通道宽度的增加；其中，第一组通道为，利用短链将上一层地基云图的输入特征与第二通道的输出特征相加实现地基云图残差特征的提取；第二组通道由依次连接的逐点卷积模块、3×3深度可分离卷积模块、批归一化模块、Sigmoid加权线性单元和通道注意力模块组成；先利用逐点卷积模块通过滑动1×1大小的卷积核在特征输入的地基云图张量的每个位置上进行卷积运算，即对卷积核与输入张量各通道上的单个像素进行逐点相乘，将结果相加得到输出张量对应位置的像素值以获得地基云图中各个类别云型的细粒度、上下文关系和多尺度信息特征表示，所述逐点卷积模块用于在不改变输入特征图的空间尺寸的前提下在通道维度上进行卷积操作；所述3×3深度可分离卷积模块利用填充大小为1、步长为2以及卷积核大小为3×3的深度卷积在含有细粒度、上下文关系和多尺度信息表示的张量的各通道上滑动3×3大小的卷积核，捕捉地基云图中的边缘变化、边界位置、纹理信息和颜色变化的局部结构信息，再通过辨别地基云图中各类云型的形状、大小和排列方式提供各类云体之间的相对位置和空间关系信息，并使用逐点卷积对各通道上的云型特征进行线性组合和交互生成最终的深度可分离卷积特征，所述3×3深度可分离卷积模块用于通过小感受野在空间维度上进行告知，以降低参数量和计算量；最后通过通道注意力模块，对输入的各类云型特征信息的不同通道进行权重划分，以提升CloudViT网络模型对地基云图中重要特征的关注度，所述通道注意力模块的输出结果用于对输入的地基云图特征信息的不同通道进行加权，得到地基云图中各类云型的重要特征；
降采样单元为，将输入通道复制成两组，每组通道进行不同的下采样操作，最后融合两组通道信息生成特征图；其中，第一组通道由依次连接的逐点卷积模块、3×3深度卷积模块、批归一化模块、Sigmoid加权线性单元和通道注意力模块组成；先利用逐点卷积模块通过滑动1×1大小的卷积核对卷积核与输入张量各通道上的单个像素进行逐点相乘，将结果相加得到输出张量对应位置的像素值以获得地基云图中各个类别云型的细粒度、上下文关系和多尺度信息特征表示，再利用填充大小为1、步长为2以及卷积核大小为3×3的深度卷积对输入的地基云图进行降采样操作，即保持输入和输出尺寸一致的同时在卷积过程中每次移动两个像素，实现将特征尺寸减半，生成一个具有小尺寸的特征图，并在降采样过程中对地基云图各类云型的空间特征进行提取，然后使用逐点卷积减少通道数，通过特征的线性组合和交互来提取各类云型中更高级的特征，最后利用通道注意力模块对输入地基云图特征信息的不同通道进行加权，得到地基云图中各云型的重要特征；第二组通道由依次连接的3×3深度卷积模块、批归一化模块和Sigmoid加权线性单元组成；利用填充大小为1、步长为2以及卷积核大小为3×3的深度卷积对输入的地基云图进行降采样操作，即保持输入和输出尺寸一致的同时在卷积过程中每次移动两个像素，实现将特征尺寸减半，生成一个具有小尺寸的特征图，并在降采样过程中对地基云图各类云型的空间特征进行提取，然后使用逐点卷积减少通道数，通过特征的线性组合和交互来提取各类云型中更高级的特征。
2.根据权利要求1所述的一种具有全局特征捕获能力的轻量级地基云图分类方法，其特征在于：所述全局特征提取单元的具体实现为：
通过深度可分离卷积对降采样单元输入的特征图进行局部空间和通道上的信息交互与整合，通过提取各类云型的边缘、纹理、颜色信息生成地基云图的局部特征图；
通过分离自注意力机制将生成的局部特征图展平为特征向量序列，再对其进行全局特征信息建模，以获取地基云图中各类云型的相对位置、距离和方向之间的空间关系与空间分布特征，每个位置与其他位置之间的关联程度的上下文特征，以及各类云型之间的相似性和相关性的长距离依赖关系，最后将包含全局信息的序列进行折叠，生成地基云图全局特征图；
通过逐点卷积对输入的全局特征图进行逐像素独立线性变换以及特征提取，从而生成最终特征图，并通过降低其通道数实现网络轻量化。
3.根据权利要求2所述的一种具有全局特征捕获能力的轻量级地基云图分类方法，其特征在于：所述全局特征提取单元输出的含有各类云型的边缘、纹理、颜色、空间关系、空间分布和相似性特征信息的特征图在进行全局池化得到一个固定长度的特征向量后会进行全连接操作，即通过学习权重参数利用多个神经元构成的全连接层将特征向量映射到样本标记空间，将每个神经元对应一个类别从而完成地基云图的各个类别的分类。
4.根据权利要求1-3中任意一项所述的一种具有全局特征捕获能力的轻量级地基云图分类方法，其特征在于：所述地基云图的类别包括：高积云、高层云、积雨云、卷积云、卷云、卷层云、积云、雨层云、层积云、层云和无云。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311100762.4A CN116824279B (zh) | 2023-08-30 | 2023-08-30 | 一种具有全局特征捕获能力的轻量级地基云图分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311100762.4A CN116824279B (zh) | 2023-08-30 | 2023-08-30 | 一种具有全局特征捕获能力的轻量级地基云图分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116824279A CN116824279A (zh) | 2023-09-29 |
| CN116824279B true CN116824279B (zh) | 2024-02-20 |
Family
ID=88113121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311100762.4A Active CN116824279B (zh) | 2023-08-30 | 2023-08-30 | 一种具有全局特征捕获能力的轻量级地基云图分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116824279B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115482412A (zh) * | 2022-09-14 | 2022-12-16 | 北京工业大学 | 一种基于粗细粒度的地基云图分类方法 |
| CN115641644A (zh) * | 2022-09-22 | 2023-01-24 | 云南师范大学 | 基于孪生MViT的多视角步态识别方法 |
| WO2023056889A1 (zh) * | 2021-10-09 | 2023-04-13 | 百果园技术(新加坡)有限公司 | 模型训练和场景识别方法、装置、设备及介质 |
| CN116052016A (zh) * | 2023-01-14 | 2023-05-02 | 南京信息工程大学 | 基于深度学习的遥感图像云和云影的精细分割检测方法 |
| CN116310506A (zh) * | 2023-02-09 | 2023-06-23 | 燕山大学 | 基于Transformer轻量化模型的图像分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020160643A1 (en) * | 2019-02-06 | 2020-08-13 | Farmers Edge Inc. | Shadow and cloud masking for agriculture applications using convolutional neural networks |
-
2023
- 2023-08-30 CN CN202311100762.4A patent/CN116824279B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023056889A1 (zh) * | 2021-10-09 | 2023-04-13 | 百果园技术(新加坡)有限公司 | 模型训练和场景识别方法、装置、设备及介质 |
| CN115482412A (zh) * | 2022-09-14 | 2022-12-16 | 北京工业大学 | 一种基于粗细粒度的地基云图分类方法 |
| CN115641644A (zh) * | 2022-09-22 | 2023-01-24 | 云南师范大学 | 基于孪生MViT的多视角步态识别方法 |
| CN116052016A (zh) * | 2023-01-14 | 2023-05-02 | 南京信息工程大学 | 基于深度学习的遥感图像云和云影的精细分割检测方法 |
| CN116310506A (zh) * | 2023-02-09 | 2023-06-23 | 燕山大学 | 基于Transformer轻量化模型的图像分类方法 |
Non-Patent Citations (4)
| Title |
|---|
| A lightweight YOLOX-based model for detection of metallic gaskets on High-speed EMU wheelset;Tengfei Wang 等;《EURASIP Journal on Advances in Signal Processing》;第1-11页第3节 * |
| Separable Self-attention for Mobile Vision Transformers;Sachin Mehta 等;《arXiv》;第1-18页第3.3节、附录A-B * |
| Towards Automatic Transformer-based Cloud Classification and Segmentation;Roshan Roy 等;《NeurIPS 2021》;第1-6页第2-3节 * |
| 卷积神经网络识别地基云图的数据库建立及处理方法;王敏;周树道;刘展华;任尚书;;《信息技术与网络安全》;第39卷(第03期);56-61 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116824279A (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Global and local contrastive self-supervised learning for semantic segmentation of HR remote sensing images | |
| CN108596248B (zh) | 一种基于改进深度卷积神经网络的遥感影像分类方法 | |
| Fang et al. | Recognizing global reservoirs from Landsat 8 images: A deep learning approach | |
| CN108596101A (zh) | 一种基于卷积神经网络的遥感图像多目标检测方法 | |
| CN109934154B (zh) | 一种遥感影像变化检测方法及检测装置 | |
| CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN110059741A (zh) | 基于语义胶囊融合网络的图像识别方法 | |
| CN112070078B (zh) | 基于深度学习的土地利用分类方法及系统 | |
| CN110633708A (zh) | 一种基于全局模型和局部优化的深度网络显著性检测方法 | |
| CN113628180B (zh) | 一种基于语义分割网络的遥感建筑物检测方法及系统 | |
| CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 | |
| CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
| CN112818777B (zh) | 一种基于密集连接与特征增强的遥感图像目标检测方法 | |
| CN112364979B (zh) | 一种基于GoogLeNet的红外图像识别方法 | |
| CN112926652A (zh) | 一种基于深度学习的鱼类细粒度图像识别方法 | |
| CN112906809A (zh) | 一种利用组合损失函数HRnet解译高分辨率遥感影像的方法 | |
| CN112329771A (zh) | 一种基于深度学习的建筑材料样本识别方法 | |
| CN112084860A (zh) | 目标对象检测、火力发电厂检测方法和装置 | |
| CN113780117B (zh) | 一种快速识别并提取河口羽状流轮廓相关参数的方法 | |
| CN112766381B (zh) | 有限样本下属性引导的sar图像生成方法 | |
| CN116824279B (zh) | 一种具有全局特征捕获能力的轻量级地基云图分类方法 | |
| CN110174714B (zh) | 基于机器学习的街道空间日照时数批量化测量方法及系统 | |
| CN112365508A (zh) | 基于视觉注意与残差网络的sar遥感图像水域分割方法 | |
| Takizawa et al. | Deep learning model to reconstruct 3D cityscapes by generating depth maps from omnidirectional images and its application to visual preference prediction | |
| CN116452408A (zh) | 一种基于风格迁移的透明液体感知方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |