CN114724019A - 一种基于小波变换和可分离卷积语义分割的遥感图像海冰智能监测方法 - Google Patents

一种基于小波变换和可分离卷积语义分割的遥感图像海冰智能监测方法 Download PDF

Info

Publication number
CN114724019A
CN114724019A CN202210352598.5A CN202210352598A CN114724019A CN 114724019 A CN114724019 A CN 114724019A CN 202210352598 A CN202210352598 A CN 202210352598A CN 114724019 A CN114724019 A CN 114724019A
Authority
CN
China
Prior art keywords
convolution
sea ice
channel
layer
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210352598.5A
Other languages
English (en)
Inventor
曹春红
易红波
向晗
宋威
肖芬
高协平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202210352598.5A priority Critical patent/CN114724019A/zh
Publication of CN114724019A publication Critical patent/CN114724019A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明公开了一种基于小波变换和可分离卷积语义分割的遥感图像海冰智能监测方法。相比其它图像分割方法，本发明有效地提高了海冰遥感图像的分割精度。在本发明中，搭建了一个深层次编解码网络模型，使用更深的编码层数能提取更深层次的语义信息，有助于提高分割精度。同时使用深度可分离卷积实现编解码块，能够有效减少加深网络所带来的计算量增加。使用小波变换提取图像浅层细节信息，与浅层编码所提取的特征进行融合，辅助网络进行特征提取。本发明可以用于海洋养殖、环境保护、海面作业和海冰灾害预防等需要进行海冰监测的任务。

Description

一种基于小波变换和可分离卷积语义分割的遥感图像海冰智 能监测方法
技术领域
本发明属于海冰遥感监测方法研究和语义分割领域，特别是一种基于小波变换和可分离卷积语义分割的遥感图像海冰智能监测方法。
技术背景
海冰主要分布在极地海域和高纬度海域。海冰在形成的过程中会带动海水的铅直对流，能把表层高溶解氧的海水向下输送，同时把底层富含浮游植物所需要的营养盐类的肥沃海水输送到表层，有利于生物的大量繁殖，形成丰富的渔业资源。海冰还能减少潮汐的潮差及流速、降低海浪高度。当有海冰存在时，海水与大气的热交换大大减少，同时海冰有着低热导性和高太阳辐射能反射率,有利于对海洋制约海洋温度变化。此外，海冰受海风和海水流动作用影响而产生运动，会造成海冰灾害，影响到人类在海岸和海上活动的实施和设施安全运行，威胁生命安全、造成资源财产损失。因此，对海冰的分布情况进行监测，对海洋养殖、环境保护和海面作业等活动的实施有重要价值。
目前，海冰的监测方法主要分为目测、器测和遥测。其中目测和器测这两种方法能力有限，无法实现对海冰整体区域进行观察，而遥测能通过遥感卫星实现大范围的海冰监测。但由于卫星硬件设备和拍摄环境的限制，遥感影像无法展现出海面物体细节部分，难以对海冰区域进行精确分辨。而且遥感卫星在拍摄过程中易受恶劣天气、云雾等影响，所拍摄的影像会存在多干扰目标、海冰区域与非海冰区域分布不均衡的现象，大大增加了海冰区域的识别难度。综上所述，使用技术手段对海冰遥感图像中的海冰区域进行精确监测，具有非常重要的现实意义。
发明内容
本发明的目的在于提供一种基于小波变换和可分离卷积语义分割的遥感图像海冰智能监测方法。具体是使用编解码结构的语义分割网络对遥感图像中的海冰区域进行分割。通过在编解码结构中使用深度可分离卷积，可以在保持卷积效果不变的情况下平衡加深网络所带来的计算量增加；针对海冰遥感图像存在的难区分目标，使用小波变换提取图片水平、垂直和对角方向的细节信息，辅助网络进行特征提取。使用通道注意力机制对编码过程提取的海冰特征进行校正，剔除无价值的特征，提高分割的精度。通过在海洋一号卫星光学数据海冰目标监测遥感数据集上的验证，本发明能够有效地对海冰区域进行监测。
为实现上述目的，本发明采用如下技术方案：
基于小波变换和可分离卷积语义分割的遥感图像海冰智能监测方法，具体包括如下步骤：
步骤1：对海冰遥感图像原始数据集进行预处理。数据集中的图像为tif格式，包含R-G-B三个通道。将图像分割成256×256大小的图片，得到扩充的数据集，按照4∶1的比例将数据集划分训练集、验证集。测试集将单独给出，不作处理。
步骤2：搭建本发明的网络模型。具体地说，搭建的网络模型包含四个阶段，分别是：小波变换阶段、编码阶段、通道注意力阶段和解码阶段，每个阶段的具体操作如下：
(1)小波变换阶段：对读入图像的每个通道分别使用N＝2的Daubechies小波函数进行二维小波变换，每个通道得到一组(4张)变换后的矩阵，分别包括：近似矩阵(LL)、水平细节矩阵(HL)、垂直细节矩阵(LH)和对角细节矩阵(HH)，其尺寸都为小波变换前图片的1/4大小。将RGB三个通道的水平、垂直和对角三个方向细节矩阵进行通道堆叠，得到一个128×128×9大小的合并细节矩阵。然后再对近似矩阵进行相同上述小波变换，将生成的细节矩阵进行通道堆叠，得到64×64×9的合并细节矩阵。最后使用卷积(Conv)操作将合并细节矩阵的通道数分别提升至64和128。
(2)编码阶段：编码阶段包含5个串行连接的编码块(EncoderBlock)。每个编码块内使用深度可分离卷积进行特征提取，编码块内的最后一层为池化层(MaxPooling2D)。每经过一个编码块，特征图的长宽减半、通道数翻倍，第一个编码块的输入通道为32。第二个编码块和第三个编码块在池化之前，将特征图分别与小波变换阶段中输出的对应尺寸细节矩阵进行通道拼接。
(3)通道注意力阶段：设通道注意力(ChannelAttention)输入的特征图通道为C。通道注意力对输入特征图分别进行全局平均池化(GlobalAvgPool)和全局最大池化(GlobalMaxPool)操作，得到两个1×1×C的压缩矩阵。将输出的压缩矩阵分别依次输入到两个全连接层(Dense)，其中第一个全连接层将通道数降维至C/8，第二个全连接层将通道数升维恢复为C，得到两个1×1×C矩阵。随后将两矩阵相加后使用hard-sigmoid激活函数，得到输入特征图的通道权重矩阵。最后将输入特征图与通道权重矩阵进行点乘并输出。
(4)解码阶段：解码阶段包含5个串行连接的解码块(DecoderBlock)。每个解码块使用深度可分离卷积实现，解码块内的最后一层为2倍上采样(UpSampling2D)。每经过一个解码块，特征图的长和宽翻2倍、通道数减半。每个解码块的输入由两部分组成，分别是上一解码块输出，以及同级编码块特征图经过通道注意力的输出，将二者进行通道拼接作为解码块的输入。解码阶段的最后通过softmax激活函数输出逐像素的预测图。
步骤3：对模型训练的参数进行设置。其中训练的epoch数设为150；batchsize设为16；使用Adam优化器初始学习率设置为0.001，并且采用“poly”学习率策略(power设为0.9)，辅助损失权重设为[0.16，0.4，1，1]。
步骤4：针对在海冰遥感数据集中存在有海冰区域和无海冰区域的类别不均衡，损失函数采用Focal Loss，具体公式为：
FL(pt)＝-αt(1-pt)γlog(pt)；
其中的pt表示样本属于真实类别的概率；αt来控制正负样本对总的loss的共享权重，当αt取值较小时可以降低负样本的权重；γ为聚焦参数，是一个非负值，(1-pt)γ称为调制系数，通过该系数可以减少易分类样本的权重，从而使得模型在训练时更专注于难分类的样本。训练过程中αt设置为0.25，γ设置为2.
步骤5：将处理后的数据集输入搭建好的网络模型进行训练。
步骤6：在测试过程中每次读入一张测试图片，依次取该图片的256×256大小的块进行预测，并将全部预测图拼接回原图片尺寸，用拼接后的预测图与标签计算权频交并比(FWIoU)，具体公式为：
Figure BDA0003575203480000021
其中pii表示实际为第i类、预测为第i类的像素个数，pij表示实际为第i类、预测为第j类的像素个数。
本发明的小波变换和可分离卷积语义分割的遥感图像海冰智能监测方法，具有以下有益效果：
(1)提供了一种智能的遥感图像海冰监测方法。
(2)网络模型使用深层次的编解码结构，能够提取更深层的语义信息。同时使用深度可分离卷积实现编码块和解码块，可以有效地减少加深网络深度所带来的计算量。
(3)将图像经过小波变换后的细节信息与编码层的浅层特征图进行拼接，对网络提取的浅层特征进行补充，有助于提高海冰区域分割的精确度。
(4)针对海冰遥感图像中海冰区域与无海冰区域的类别不均衡现象，使用FocalLoss损失函数来训练模型，从而提高海冰区域的识别准确度。
附图说明
图1为本发明的网络模型结构示意图；
图2为本发明的网络模型小波变换接入编码块(EncoderBlock)的示意图；
图3为本发明的网络模型编码块(EncoderBlock)的结构图。
图4为本发明的网络模型通道注意力(ChannelAttention)的结构图。
图5为本发明的网络模型解码块(DecoderBlock)的结构图。
具体实施方式
现在结合附图对发明作进一步详细的说明。
步骤1：对海冰遥感图像原始数据集进行预处理。数据集中的图像为tif格式，包含R-G-B三个通道。将图像分割成256×256大小的图片，得到扩充的数据集，按照4∶1的比例将数据集划分训练集、验证集。测试集将单独给出，不作处理。
步骤2：搭建本发明的网络模型。具体地说，搭建的网络模型包含四个阶段，分别是：小波变换阶段、编码阶段、通道注意力阶段和解码阶段，每个阶段的具体操作如下：
(1)小波变换阶段：对读入图像的每个通道分别使用N＝2的Daubechies小波函数进行二维小波变换，每个通道得到一组(4张)变换后的矩阵，分别包括：近似矩阵(LL)、水平细节矩阵(HL)、垂直细节矩阵(LH)和对角细节矩阵(HH)，其尺寸都为变换前图片的1/4大小。将RGB三个通道的水平、垂直和对角三个方向细节矩阵进行通道堆叠，得到一个128×128×9大小的合并细节矩阵。然后再对近似矩阵进行相同上述小波变换，将生成的细节矩阵进行通道堆叠，得到64×64×9的合并细节矩阵。最后使用卷积(Conv)操作将合并细节矩阵的通道数分别提升至64和128。
(2)编码阶段：编码阶段包含5个串行连接的编码块(EncoderBlock)。每个编码块内使用深度可分离卷积进行特征提取，编码块内的最后一层为池化层(MaxPooling2D)。每经过一个编码块，特征图的长宽减半、通道数翻倍，第一个编码块的输入通道为32。第二个编码块和第三个编码块在池化之前，将特征图分别与小波变换阶段中输出的对应尺寸细节矩阵进行通道拼接，具体连接过程可以参照图2。本阶段中编码块的深度可分离卷积包括两个分支，令编码块的输入通道数为C，其具体操作可以参照图3，包括以下步骤：
a)第一个分支：该分支包含四层卷积。第一层卷积的卷积核为1×1×C，第二层卷积核为3×3×C，第三层卷积核为1×1×2C，第四层卷积核为3×3×2C，激活函数均为Relu，采用0填充。该分支最后进行批归一化(BN)处理。
b)第二个分支：该分支包含一层卷积，卷积核为1×1×2C，激活函数为Relu，采用0填充。该分支最后进行批归一化(BN)处理。
c)分支合并：将两个分支的输出相加(ADD)，通过一个Relu激活函数，最后是一个2×2池化核的最大池化层。
(3)通道注意力阶段：通道注意力的具体操作可以参照图4。设通道注意力(ChannelAttention)输入的特征图通道为C。通道注意力对输入特征图分别进行全局平均池化(GlobalAvgPool)和全局最大池化(GlobalMaxPool)操作，得到两个1×1×C的压缩矩阵。将输出的压缩矩阵分别依次输入到两个全连接层(Dense)，其中第一个全连接层将通道数降维至C/8，第二个全连接层将通道数升维恢复为C，得到两个1×1×C矩阵。随后将两矩阵相加后使用hard-sigmoid激活函数，得到输入特征图的通道权重矩阵。最后将输入特征图与通道权重矩阵进行点乘并输出。
(4)解码阶段：解码阶段包含5个串行连接的解码块(DecoderBlock)。每个解码块使用深度可分离卷积实现，解码块内的最后一层为2倍上采样(UpSampling2D)。每经过一个解码块，特征图的长和宽翻2倍、通道数减半。每个解码块的输入由两部分组成，分别是上一解码块输出，以及同级编码块特征图经过通道注意力的输出，将二者进行通道拼接作为解码块的输入。解码阶段的最后通过softmax激活函数输出逐像素的预测图。本阶段中解码块的深度可分离卷积包括两个分支，令解码块的输入通道数为C，其具体操作可以参照图5，包括以下步骤：
a)第一个分支：该分支包含三层卷积。第一层卷积的卷积核为1×1×C，第二层卷积核为3×3×C，第三层卷积核为
Figure BDA0003575203480000041
激活函数均为Relu，采用0填充。该分支最后进行批归一化处理(BN)。
b)第二个分支：该分支包含一层卷积，卷积核为
Figure BDA0003575203480000042
激活函数为Relu，采用0填充。该分支最后进行批归一化处理(BN)。
c)分支合并：将两个分支的输出相加(ADD)，通过一个Relu激活函数，最后是一个2×2核上采样。
步骤3：对模型训练的参数进行设置。其中训练的epoch数设为150；batchsize设为16；使用Adam优化器初始学习率设置为0.001，并且采用“poly”学习率策略(power设为0.9)，辅助损失权重设为[0.16，0.4，1，1]。
步骤4：针对在海冰遥感数据集中存在有海冰区域和无海冰区域的类别不均衡，在训练过程中使用Focal Loss损失函数，具体公式为：
FL(pt)＝-αt(1-pt)γlog(pt)；
其中的pt表示样本属于真实类别的概率；αt来控制正负样本对总的loss的共享权重，当αt取值较小时可以降低负样本的权重；γ为聚焦参数，是一个非负值，(1-pt)γ称为调制系数，通过该系数可以减少易分类样本的权重，从而使得模型在训练时更专注于难区分的样本。训练过程中αt设置为0.25，γ设置为2。
步骤5：将处理后的数据集输入搭建好的网络模型进行训练。
步骤6：在测试过程中每次读入一张测试图片，依次取该图片的256×256大小的块进行预测，并将全部预测图拼接回原图片尺寸，用拼接后的预测图与标签计算FWIoU(权频交并比)，具体公式为：
Figure BDA0003575203480000043
其中pii表示实际为第i类、预测为第i类的像素个数，pij表示实际为第i类、预测为第j类的像素个数。
本发明的效果可以通过以下仿真实验说明：
仿真实验采用Keras深度学习框架进行网络模型搭建，GeForce GTX 1080 Ti进行GPU加速训练，操作系统为64位Linux操作系统。
仿真实验的数据集由第五届“中科星杯”国际高分遥感图像解译大赛给出。该数据集是海洋一号卫星的光学数据，场景覆盖我国渤海周边地区，分别率为50m，包括海冰与背景两个类别。数据集包含512×512、1024×1024、2048×2048三种尺寸的图片。遥感图像为tif格式，包含R-G-B三个通道；标注文件为单通道的png图片，图片像素值为0和255，分别对应背景与海冰。训练集1500幅，测试集1000余幅。
为了验证本发明的优势和取得的效益，本发明分别与三个现有的图像分割方法进行对比，分别是SDFCN、DeepLabv3+以及ResNet50。具体可以参考以下文献：
G.Chen,X.Zhang,Q.Wang,F.Dai,Y.Gong and K.Zhu,"Symmetrical Dense-Shortcut Deep Fuly Convolutional Networks for Semantic Segmentation of Very-High-Resolution Remote Sensing Images,"in IEEE Journal of Selected Topics inApplied Earth Observations and Remote Sensing,vol.11,no.5,pp.1633-1644,May2018,doi:10.1109/JSTARS.2018.2810320.
Chen L C,Yukun Zhu,Papandreou G and Schrof F.Encoder-Decoder withAtrous Separable Convolution for Semantic Image Segmentation[C]//The EuropeanConference on Computer Vision(ECCV),Berlin:Springer,2018,pp.801-818.
Kaiming He,Xiangyu Zhang,Shaoqing Ren,and Jian Sun.Deep residuallearning for image recognition[C]//.Internaltional Conference on ComputerVision and Pattern Recogintion.NJ:IEEE,2016,pp.770–778.
评价指标选用权频交并比(FWIoU)来评价模型的性能，数值越大表示性能越好。由于原始数据数据量太小，因此将训练集中所有图像都按256×256大小的块进行裁剪，训练集扩充至8112幅图片。
从表1中可以观察到本发明在该海冰遥感数据集上，训练模型至收敛时的权频交并比要比其它三种方法高约1％，在测试集上本发明的权频交并比要比其它三种方法高4.2％-5.5％。本发明取得较好的分割结果主要原因在于：1)本发明的网络模型使用深层次的编解码结构，能够提取更深层的语义信息。同时使用深度可分离卷积实现编码块和解码块，可以有效地减少加深网络深度所带来的计算量。2)将图像经过小波变换后的细节信息与编码层的浅层特征图进行融合，对网络提取的浅层特征进行补充，有助于提高海冰区域分割的精确度。3)针对海冰遥感图像中海冰区域与无海冰区域的类别不均衡现象，使用Focal Loss损失函数来训练模型，从而提高海冰区域的分割精度。
表1海冰遥感数据集上本发明方法与SDFCN，DeepLabv3+，ResNet50客观评价指标比较
Figure BDA0003575203480000051
本领域的普通技术人员将会意识到，上述仿真实验是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限与这样的特别陈述和实施样例。本领域的普通技术人员可以根据本发明公开的这些技术启示做各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍在本发明的保护范围内。

Claims (6)

1.一种基于深度可分离卷积与小波变换辅助特征提取的海冰遥感图像分割方法，其特征在于，所述方法具体包括以下步骤：
步骤1：对海冰遥感图像原始数据集进行预处理。
步骤2：搭建本发明的语义分割网络模型。
步骤3：对模型训练的参数进行初始化设置。
步骤4：在训练过程中使用Focal Loss损失函数。
步骤5：将数据集输入与分割开始进行训练。
步骤6：输出海冰分割的预测结果，并计算其与标注的权频交并比。
2.根据权利要求1所述的基于深度可分离卷积与小波变换辅助特征提取的海冰遥感图像分割方法，其特征在于：所述数据集中的图像为tif格式，包含R-G-B三个通道。将图像分割成256×256大小的图片，得到扩充的数据集，按照4∶1的比例将数据集划分训练集、验证集。测试集将单独给出，不作处理。
3.根据权利要求1所述的基于深度可分离卷积与小波变换辅助特征提取的海冰遥感图像分割方法，其特征在于：搭建的语义分割网络模型包含四个阶段，分别是：小波变换阶段、编码阶段、通道注意力阶段和解码阶段，每个阶段的具体操作如下：
(1)小波变换阶段：对读入图像的每个通道分别使用N＝2的Daubechies小波函数进行二维小波变换，每个通道得到一组(4张)变换后的矩阵，分别包括：近似矩阵(LL)、水平细节矩阵(HL)、垂直细节矩阵(LH)和对角细节矩阵(HH)，其尺寸都为变换前图片的1/4大小。将RGB三个通道的水平、垂直和对角三个方向细节矩阵进行通道堆叠，得到一个128×128×9大小的合并细节矩阵。然后再对近似矩阵进行相同上述小波变换，将生成的细节矩阵进行通道堆叠，得到64×64×9的合并细节矩阵。最后使用卷积(Conv)操作将合并细节矩阵的通道数分别提升至64和128。
(2)编码阶段：编码阶段包含5个串行连接的编码块(EncoderBlock)。每个编码块内使用深度可分离卷积进行特征提取，编码块内的最后一层为池化层(MaxPooling2D)。每经过一个编码块，特征图的长宽减半、通道数翻倍，第一个编码块的输入通道为32。第二个编码块和第三个编码块在池化之前，将特征图分别与小波变换阶段中输出的对应尺寸细节矩阵进行通道拼接，具体连接过程可以参照图2。本阶段中编码块的深度可分离卷积包括两个分支，令编码块的输入通道数为C，其具体操作可以参照图3，包括以下步骤：
a)第一个分支：该分支包含四层卷积。第一层卷积的卷积核为1×1×C，第二层卷积核为3×3×C，第三层卷积核为1×1×2C，第四层卷积核为3×3×2C，激活函数均为Relu，采用0填充。该分支最后进行批归一化(BN)处理。
b)第二个分支：该分支包含一层卷积，卷积核为1×1×2C，激活函数为Relu，采用0填充。该分支最后进行批归一化(BN)处理。
c)分支合并：将两个分支的输出相加(ADD)，通过一个Relu激活函数，最后是一个2×2池化核的最大池化层。
(3)通道注意力阶段：通道注意力的具体操作可以参照图4。设通道注意力((ChannelAttention)输入的特征图通道为C。通道注意力对输入特征图分别进行全局平均池化(GlobalAvgPool)和全局最大池化(GlobalMaxPool)操作，得到两个1×1×C的压缩矩阵。将输出的压缩矩阵分别依次输入到两个全连接层(Dense)，其中第一个全连接层将通道数降维至C/8，第二个全连接层将通道数升维恢复为C，得到两个1×1×C矩阵。随后将两矩阵相加后使用hard-sigmoid激活函数，得到输入特征图的通道权重矩阵。最后将输入特征图与通道权重矩阵进行点乘并输出。
(4)解码阶段：解码阶段包含5个串行连接的解码块(DecoderBlock)。每个解码块使用深度可分离卷积实现，解码块内的最后一层为2倍上采样(UpSampling2D)。每经过一个解码块，特征图的长和宽翻2倍、通道数减半。每个解码块的输入由两部分组成，分别是上一解码块输出，以及同级编码块特征图经过通道注意力的输出，将二者进行通道拼接作为解码块的输入。解码阶段的最后通过softmax激活函数输出逐像素的预测图。本阶段中解码块的深度可分离卷积包括两个分支，令解码块的输入通道数为C，其具体操作可以参照图5，包括以下步骤：
a)第一个分支：该分支包含三层卷积。第一层卷积的卷积核为1×1×C，第二层卷积核为3×3×C，第三层卷积核为
Figure FDA0003575203470000021
激活函数均为Relu，采用0填充。该分支最后进行批归一化处理(BN)。
b)第二个分支：该分支包含一层卷积，卷积核为
Figure FDA0003575203470000022
激活函数为Relu，采用0填充。该分支最后进行批归一化处理(BN)。
c)分支合并：将两个分支的输出相加(ADD)，通过一个Relu激活函数，最后是一个2×2核上采样。
4.根据权利要求1所述的基于深度可分离卷积与小波变换辅助特征提取的海冰遥感图像分割方法，其特征在于：模型训练的参数中，训练的epoch数设为150；batchsize设为16；使用Adam优化器初始学习率设置为0.001，并且采用“poly”学习率策略(power设为0.9)，辅助损失权重设为[0.16，0.4，1，1]。
5.根据权利要求1所述的基于深度可分离卷积与小波变换辅助特征提取的海冰遥感图像分割方法，其特征在于：在训练过程中使用的Focal Loss损失函数，具体公式为：
FL(pt)＝-αt(1-pt)γlog(pt)；
其中的pt表示样本属于真实类别的概率；αt来控制正负样本对总的loss的共享权重，当αt取值较小时可以降低负样本的权重；γ为聚焦参数，是一个非负值，(1-pt)γ称为调制系数，通过该系数可以减少易分类样本的权重，从而使得模型在训练时更专注于难区分的样本。训练过程中αt设置为0.25，γ设置为2。
6.根据权利要求1所述的基于深度可分离卷积与小波变换辅助特征提取的海冰遥感图像分割方法，其特征在于：在预测时是每次读入一张测试图片，依次取该图片的256×256大小的块进行预测，并将全部预测图拼接回原图片尺寸，用拼接后的预测图与标签计算FWIoU(权频交并比)，具体公式为：
Figure FDA0003575203470000023
其中pii表示实际为第i类、预测为第i类的像素个数，pij表示实际为第i类、预测为第j类的像素个数。
CN202210352598.5A 2022-03-31 2022-03-31 一种基于小波变换和可分离卷积语义分割的遥感图像海冰智能监测方法 Pending CN114724019A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210352598.5A CN114724019A (zh) 2022-03-31 2022-03-31 一种基于小波变换和可分离卷积语义分割的遥感图像海冰智能监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210352598.5A CN114724019A (zh) 2022-03-31 2022-03-31 一种基于小波变换和可分离卷积语义分割的遥感图像海冰智能监测方法

Publications (1)

Publication Number Publication Date
CN114724019A true CN114724019A (zh) 2022-07-08

Family

ID=82242334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210352598.5A Pending CN114724019A (zh) 2022-03-31 2022-03-31 一种基于小波变换和可分离卷积语义分割的遥感图像海冰智能监测方法

Country Status (1)

Country Link
CN (1) CN114724019A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082810A (zh) * 2022-07-28 2022-09-20 中国科学院空天信息创新研究院 同步轨道卫星红外图像船舶检测方法、装置、设备及介质
CN115546236A (zh) * 2022-11-24 2022-12-30 阿里巴巴（中国）有限公司 基于小波变换的图像分割方法及装置
CN116597319A (zh) * 2023-04-19 2023-08-15 北京师范大学 一种海冰日数据综合处理方法、装置及计算设备
CN116721302A (zh) * 2023-08-10 2023-09-08 成都信息工程大学 一种基于轻量级网络的冰雪晶粒子图像分类方法
CN117152445A (zh) * 2023-10-31 2023-12-01 暨南大学 基于多连接编码小波池化的实时图像语义分割方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082810A (zh) * 2022-07-28 2022-09-20 中国科学院空天信息创新研究院 同步轨道卫星红外图像船舶检测方法、装置、设备及介质
CN115546236A (zh) * 2022-11-24 2022-12-30 阿里巴巴（中国）有限公司 基于小波变换的图像分割方法及装置
CN115546236B (zh) * 2022-11-24 2023-04-07 阿里巴巴（中国）有限公司 基于小波变换的图像分割方法及装置
CN116597319A (zh) * 2023-04-19 2023-08-15 北京师范大学 一种海冰日数据综合处理方法、装置及计算设备
CN116597319B (zh) * 2023-04-19 2024-02-02 北京师范大学 一种海冰日数据综合处理方法、装置及计算设备
CN116721302A (zh) * 2023-08-10 2023-09-08 成都信息工程大学 一种基于轻量级网络的冰雪晶粒子图像分类方法
CN116721302B (zh) * 2023-08-10 2024-01-12 成都信息工程大学 一种基于轻量级网络的冰雪晶粒子图像分类方法
CN117152445A (zh) * 2023-10-31 2023-12-01 暨南大学 基于多连接编码小波池化的实时图像语义分割方法及系统
CN117152445B (zh) * 2023-10-31 2024-01-12 暨南大学 基于多连接编码小波池化的实时图像语义分割方法及系统

Similar Documents

Publication Publication Date Title
CN114724019A (zh) 一种基于小波变换和可分离卷积语义分割的遥感图像海冰智能监测方法
Zhang et al. ShipDeNet-20: An only 20 convolution layers and< 1-MB lightweight SAR ship detector
CN108647655B (zh) 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN110555841B (zh) 基于自注意图像融合和dec的sar图像变化检测方法
CN113936142A (zh) 一种基于深度学习的降水临近预报方法及装置
CN113435269A (zh) 一种基于YOLOv3改进的水面漂浮物检测与识别方法及系统
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
WO2024087574A1 (zh) 基于全景分割的光学遥感影像海洋筏式养殖区分类方法
CN113743505A (zh) 基于自注意力和特征融合的改进ssd目标检测方法
CN112164077A (zh) 基于自下而上路径增强的细胞实例分割方法
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
Ye et al. Adjacent-level feature cross-fusion with 3D CNN for remote sensing image change detection
CN114005094A (zh) 航拍车辆目标检测方法、系统及存储介质
CN113781410A (zh) 一种基于MEDU-Net+网络的医学图像分割方法和系统
CN113313180A (zh) 一种基于深度对抗学习的遥感图像语义分割方法
CN112418229A (zh) 一种基于深度学习的无人船海上场景图像实时分割方法
CN116206214A (zh) 一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质
CN116977866A (zh) 一种轻量级滑坡检测方法
CN116503723A (zh) 一种低能见度环境下密集多尺度目标检测方法
CN115953408A (zh) 一种基于YOLOv7的避雷器表面缺陷检测方法
CN115661932A (zh) 一种垂钓行为检测方法
CN113034445B (zh) 一种基于UNet3+的多尺度连接图像去雾算法
CN115527098A (zh) 基于全局均值对比度空间注意力的红外小目标检测方法
CN115272865A (zh) 一种基于自适应激活函数和注意力机制的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination