CN116682027A - 基于MobileNet的SAR海冰图像分类方法及装置 - Google Patents
基于MobileNet的SAR海冰图像分类方法及装置 Download PDFInfo
- Publication number
- CN116682027A CN116682027A CN202310954406.2A CN202310954406A CN116682027A CN 116682027 A CN116682027 A CN 116682027A CN 202310954406 A CN202310954406 A CN 202310954406A CN 116682027 A CN116682027 A CN 116682027A
- Authority
- CN
- China
- Prior art keywords
- sea ice
- sar
- ice image
- image
- mobilenet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003287 optical effect Effects 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000010586 diagram Methods 0.000 claims abstract description 38
- 230000000694 effects Effects 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 25
- 238000004519 manufacturing process Methods 0.000 claims abstract description 11
- 230000010287 polarization Effects 0.000 claims description 28
- 230000004927 fusion Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000005855 radiation Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000005570 vertical transmission Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100001676 Emericella variicolor andK gene Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Processing (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供了一种基于MobileNet的SAR海冰图像分类方法及装置，属于卫星遥感技术和深度学习技术领域。所述方法包括：对待分类SAR海冰图像进行数据预处理，得到待分类的伪彩色SAR海冰图像；制作训练数据集；训练数据集包括伪彩色SAR海冰图像数据集与手动标记的光学卫星海冰图像数据集；其中，伪彩色SAR海冰图像数据集通过对SAR海冰图像进行数据预处理得到；将训练数据集输入MobileNet网络模型，完成MobileNet网络模型的训练；将待分类的伪彩色SAR海冰图像输入训练完成的MobileNet网络模型，得到待分类SAR海冰图像的分类效果图。本发明通过改进数据预处理流程、制作逐像素对应的光学卫星海冰图像数据集、优化MobileNet卷积神经网络提高SAR海冰图像分类的准确性与可靠性。
Description
技术领域
本发明提供一种基于MobileNet的SAR海冰图像分类方法及装置，旨在提高海冰图像分类的效率与精度，属于卫星遥感技术和深度学习技术领域。
背景技术
随着科学技术的发展，机载、星载遥感技术逐渐成为海冰监测的高效手段，其优势主要在于大范围、可持续、实时、低成本等。合成孔径雷达（SAR）不受云层和天气的影响，可以做到全天时、全天候的观测，同时可以通过不同工作模式提供多种分辨率和幅宽的图像以适应不同的场景需求，是海冰观测的重要手段。目前已有多项该领域的专利，如公开号CN109190491 B的专利提出了一种基于残差卷积神经网络的SAR海冰分类方法；公开号CN110276365 B提出了一种基于卷积神经网络的SAR海冰图像分类模型的训练和测试方法；公开号CN 115565080 A的专利结合自注意力机制，结合从灰度共生矩阵中提取的纹理特征实现了使用特征融合的SAR海冰分类方法；公开号CN 107516317 B的专利提出了一种基于深度卷积网路的SAR海冰分类方法。
发明内容
（一）要解决的技术问题
有鉴于此，本发明提供了一种基于MobileNet的SAR海冰图像分类方法，通过改进数据预处理流程、制作光学卫星海冰图像数据集、优化MobileNet卷积神经网络提高SAR海冰图像分类的准确性与可靠性。
（二）技术方案
为了实现上述目的，本发明一方面提供了一种基于MobileNet的SAR海冰图像分类方法，包括：S110，对待分类SAR海冰图像进行数据预处理，得到待分类的伪彩色SAR海冰图像；S120，制作训练数据集；训练数据集包括伪彩色SAR海冰图像数据集与手动标记的光学卫星海冰图像数据集；其中，伪彩色SAR海冰图像数据集通过对SAR海冰图像进行数据预处理得到；S130，将训练数据集输入MobileNet网络模型，完成MobileNet网络模型的训练；S140，将待分类的伪彩色SAR海冰图像输入训练完成的MobileNet网络模型，得到待分类SAR海冰图像的分类效果图；其中，MobileNet网络模型包括卷积模块、主干网络、全连接层、重构模块；主干网络包括卷积块、注意力机制模块；主干网络与全连接层之间包括特征融合模块。
根据本发明的实施例，注意力机制模块为CBAM模块；CBAM模块包括通道注意力模块和空间注意力模块。
根据本发明的实施例，S110、S120中的数据预处理包括：S111，对SAR海冰图像进行初始预处理；初始预处理至少包括辐射定标、自适应滤波、入射角度校正、去除斑点噪声、重叠区域裁剪；其中，SAR海冰图像包括第一极化模式的SAR海冰图像和第二极化模式的SAR海冰图像；S112，合成第一极化模式的SAR海冰图像和第二极化模式的SAR海冰图像得到合成SAR海冰图像；S113，对合成SAR海冰图像的像素值线性拉伸，通过映射与截断将所有数据映射至一字节，得到伪彩色SAR海冰图像；其中，第一极化模式的SAR海冰图像数据作为R波段数据；第二极化模式的SAR海冰图像数据作为G波段数据；第一极化模式数据与第二极化模式SAR海冰图像数据的均值作为B波段数据。
根据本发明的实施例，S120中伪彩色SAR海冰图像数据集包括：参考冰图，在伪彩色SAR海冰图像上通过目视解译给每种类型的海冰选取像素，以选取像素为中心切割正方形作为每种类型的海冰样本。
根据本发明的实施例，S120中手动标记的光学卫星海冰图像数据集包括：S121，将冰况图与光学卫星海冰图像投影到同一地理坐标系，通过图像融合、裁剪与配准，实现光学卫星海冰图像与SAR海冰图像的逐像素对应；其中，所述光学卫星海冰图像与所述SAR海冰图像同时相；S122，对每种类型的海冰样本进行手动标记，得到手动标记的光学卫星海冰图像数据集。
根据本发明的实施例，S120还包括：校正训练数据集后向散射系数强度，包括：S123，通过手动标注的光学卫星海冰图像数据集得到伪彩色SAR海冰图像数据集中海冰的类型，统计拟合伪彩色SAR海冰图像数据集中每种类型海冰入射角度与后向散射系数强度的线性模型；S124，通过线性模型调整伪彩色SAR海冰图像数据集的后向散射系数强度。
根据本发明的实施例，特征融合模块融合各卷积块特征图，得到融合特征图，包括：S131，采集卷积块的特征图；卷积块至少包括最高层卷积块与任一低层卷积块；S132，对最高层卷积块的特征图进行上采样、卷积得到与上一低层通道数相同的特征图；上一低层为采集的卷积块中与最高层最相近的卷积块；S133，将与上一低层通道数相同的特征图与上一低层的特征图叠加，得到融合后的最高层卷积块的特征图；S134，对融合后的最高层卷积块的特征图重复执行S132、S133，直至融合所有采集得到的卷积块特征图，得到输出特征图。
根据本发明的实施例，S140还包括：S141，将待分类的伪彩色SAR海冰图像分割为和训练数据集大小相同的切片后输入至训练完成的MobileNet模型，得到切片的分类效果图；S142，将切片的分类效果图合成为待分类的伪彩色SAR海冰图像的分类效果图。
根据本发明的实施例，S140之后还包括：评价MobileNet网络模型泛化能力，包括：S151，使用第一卫星的SAR海冰图像、与第一卫星近似同时相的同一波段第二卫星的SAR海冰图像分别制作训练数据集；将训练数据集分别输入MobileNet网络模型，完成第一MobileNet网络模型、第二MobileNet网络模型的构建；S152，采用混淆矩阵来计算第一MobileNet网络模型、第二MobileNet网络模型的评价指标，验证MobileNet网络模型的泛化能力；评价指标至少包括总体准确率、单一类别准确率和kappa系数。
本发明另一方面提供了一种基于MobileNet的SAR海冰图像分类装置，包括：预处理模块，用于将待分类SAR海冰图像预处理为伪彩色SAR海冰图像，将伪彩色SAR海冰图像分割，得到与训练数据集大小相同的切片；图像分类模块，用于部署训练完成的MobileNet模型，对切片进行分类，得到切片的分类效果图；图像合成模块，用于将切片的分类效果图合成为待分类SAR海冰图像的分类效果图。
（三）有益效果
本发明通过改进数据预处理流程，提高了待分类SAR海冰图像的分类准确度，增加了伪彩色SAR海冰图像数据集的数据可靠性；通过利用同时相光学卫星海冰图像制作光学卫星海冰图像数据集，得到像素级的样本标签，实现伪彩色SAR海冰图像数据集与光学卫星海冰图像数据集的逐像素对应；通过加入特征融合网络和注意力机制模块，优化MobileNet卷积神经网络，提高SAR海冰图像分类的准确性与可靠性。
附图说明
图1示意性示出了根据本发明实施例的基于MobileNet的SAR海冰图像分类方法的流程图；
图2示意性示出了根据本发明实施例的基于MobileNet的SAR海冰图像分类装置的结构框图；
图3示意性示出了根据本发明实施例的伪彩色SAR海冰图像数据集；
图4示意性示出了根据本发明实施例的训练数据集的一海冰样本；
图5示意性示出了根据本发明实施例的MobileNet模型的组成结构图；
图6示意性示出了根据本发明实施例的特征融合模块的组成结构图。
具体实施方式
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。
首先，对本文中记载的技术术语作如下解释和说明。
逐像素对应：Landsat卫星多光谱图像产品共包含11个波段，其中第2、3、4波段分别对应蓝、绿、红波段，分辨率为30m，第8波段为全色波段，分辨率为15m。通过envi的图像融合功能将红、绿、蓝波段的图像数据分辨率提升到15m，之后使用波段合成功能，按照4、3、2的波段顺序合成RGB真彩色图像，由于分辨率可以通过图像融合的功能提升。因此，伪彩色SAR海冰图像数据集与手动标记的光学卫星海冰图像数据集可以实现逐像素对应。
基于此，本发明的实施例提供一种基于MobileNet的SAR海冰图像分类方法，图1示意性示出了根据本发明实施例的基于MobileNet的SAR海冰图像分类方法的流程图，所述方法包括：S110，对待分类SAR海冰图像进行数据预处理，得到待分类的伪彩色SAR海冰图像；S120，制作训练数据集；训练数据集包括伪彩色SAR海冰图像数据集与手动标记的光学卫星海冰图像数据集；其中，伪彩色SAR海冰图像数据集通过对SAR海冰图像进行数据预处理得到；S130，将训练数据集输入MobileNet网络模型，完成MobileNet网络模型的训练；S140，将待分类的伪彩色SAR海冰图像输入训练完成的MobileNet网络模型，得到待分类SAR海冰图像的分类效果图；其中，MobileNet网络模型包括卷积模块、主干网络、全连接层、重构模块；主干网络包括卷积块、注意力机制模块；主干网络与全连接层之间包括特征融合模块。
在根据本发明实施例的方法中，通过改进数据预处理流程，提高了待分类SAR海冰图像的分类准确度，增加了伪彩色SAR海冰图像数据集的数据可靠性；通过利用同时相光学卫星海冰图像制作光学卫星海冰图像数据集，得到像素级的样本标签，实现伪彩色SAR海冰图像数据集与光学卫星海冰图像数据集的逐像素对应；通过加入特征融合网络和注意力机制模块，优化MobileNet卷积神经网络，提高SAR海冰图像分类的准确性与可靠性。
在上述实施例的基础上，注意力机制模块为CBAM模块；CBAM模块包括通道注意力模块和空间注意力模块。
在根据本发明实施例的方法中，通过采用CBAM模块，实现空间和通道两个维度的注意力机制，使得模型能够自主更新不同通道和空间特征的权重比例，从而使MobileNet模型具备更好的特征提取能力。
在上述实施例的基础上，S110、S120中的数据预处理包括：S111，对SAR海冰图像进行初始预处理；初始预处理至少包括辐射定标、自适应滤波、入射角度校正、去除斑点噪声、重叠区域裁剪；其中，SAR海冰图像包括第一极化模式的SAR海冰图像和第二极化模式的SAR海冰图像；S112，合成第一极化模式的SAR海冰图像和第二极化模式的SAR海冰图像得到合成SAR海冰图像；S113，对合成SAR海冰图像的像素值线性拉伸，通过映射与截断将所有数据映射至一字节，得到伪彩色SAR海冰图像；其中，第一极化模式的SAR海冰图像数据作为R波段数据；第二极化模式的SAR海冰图像数据作为G波段数据；第一极化模式数据与第二极化模式SAR海冰图像数据的均值作为B波段数据。
在根据本发明实施例的方法中，使用双极化数据合成伪彩色图像来增加图像信息含量，提高伪彩色SAR海冰图像的准确度；通过像素值拉伸增强伪彩色SAR海冰图像的可视化效果。
在上述实施例的基础上，S120中伪彩色SAR海冰图像数据集包括：参考冰图，在伪彩色SAR海冰图像上通过目视解译给每种类型的海冰选取像素，以选取像素为中心切割正方形作为每种类型的海冰样本。
在根据本发明实施例的方法中，摒弃常规的基于简单目视解译的方法，参考定期发布的冰况图选取海冰样本，增加训练数据集的样本可靠性。
在上述实施例的基础上，S120中手动标记的光学卫星海冰图像数据集包括：S121，将冰况图与光学卫星海冰图像投影到同一地理坐标系，通过图像融合、裁剪与配准，实现光学卫星海冰图像与SAR海冰图像的逐像素对应；其中，所述光学卫星海冰图像与所述SAR海冰图像同时相；S122，对每种类型的海冰样本进行手动标记，得到手动标记的光学卫星海冰图像数据集。
在根据本发明实施例的方法中，通过将两种图像投影到相同的地理坐标系下进行图像融合、裁剪和配准使得光学卫星海冰图像与SAR海冰图像既具有相同的分辨率又可以实现逐像素对应，再通过对光学卫星海冰图像进行人工标注，间接获取SAR图像对应的像素级的海冰真值标签，提高真值标签的可靠性，增加分类的准确度。
在上述实施例的基础上，S120还包括：校正训练数据集后向散射系数强度，包括：S123，通过手动标注的光学卫星海冰图像数据集得到伪彩色SAR海冰图像数据集中海冰的类型，统计拟合伪彩色SAR海冰图像数据集中每种类型海冰入射角度与后向散射系数强度的线性模型；S124，通过线性模型调整伪彩色SAR海冰图像数据集的后向散射系数强度。
在根据本发明实施例的方法中，通过根据手动标注的光学卫星海冰图像数据集得到伪彩色SAR海冰图像数据集中海冰的类型，拟合不同海冰类型的线性模型，提高了线性模型的准确度，避免了入射角度的不同引起的后向散射系数强度差异对最终模型分类效果的影响，增加了SAR海冰图像校正的可靠性。
在上述实施例的基础上，特征融合模块融合各卷积块特征图，得到融合特征图，包括：S131，采集卷积块的特征图；卷积块至少包括最高层卷积块与任一低层卷积块；S132，对最高层卷积块的特征图进行上采样、卷积得到与上一低层通道数相同的特征图；上一低层为采集的卷积块中与最高层最相近的卷积块；S133，将与上一低层通道数相同的特征图与上一低层的特征图叠加，得到融合后的最高层卷积块的特征图；S134，对融合后的最高层卷积块的特征图重复执行S132、S133，直至融合所有采集得到卷积块特征图，得到输出特征图。
在根据本发明实施例的方法中，通过特征融合模块充分利用各个卷积块的特征信息，优化了分类的效果。
在上述实施例的基础上，S140还包括：S141，将待分类的伪彩色SAR海冰图像分割为和训练数据集大小相同的切片后输入至训练完成的MobileNet模型，得到切片的分类效果图；S142，将切片的分类效果图合成为待分类的伪彩色SAR海冰图像的分类效果图。
在根据本发明实施例的方法中，待分类的SAR海冰图像预处理得到伪彩色SAR海冰图像后需要分割为和训练数据集大小相同的切片才能被MobileNet模型处理，得到切片的分类效果图；通过合成切片的分类效果图获得整幅SAR海冰图像的分类效果图。
在上述实施例的基础上，方法还包括：评价MobileNet网络模型泛化能力，包括：S151，使用第一卫星的SAR海冰图像、与第一卫星近似同时相的同一波段第二卫星的SAR海冰图像分别制作训练数据集；将训练数据集分别输入MobileNet网络模型，完成第一MobileNet网络模型、第二MobileNet网络模型的构建；S152，采用混淆矩阵来计算第一MobileNet网络模型、第二MobileNet网络模型的评价指标，验证MobileNet网络模型的泛化能力；评价指标至少包括总体准确率、单一类别准确率和kappa系数。
在根据本发明实施例的方法中，通过引入评价指标，验证模型在不同SAR卫星产品上的泛化能力。
图2示意性示出了根据本发明实施例的基于MobileNet的SAR海冰图像分类装置的结构框图。根据该实施例的基于MobileNet的SAR海冰图像分类装置200，包括预处理模块210、图像分类模块220、图像合成模块230。
预处理模块210，用于将待分类SAR海冰图像预处理为伪彩色SAR海冰图像，将伪彩色SAR海冰图像分割，得到与训练数据集大小相同的切片。在一实施例中，预处理模块210可以用于执行前文描述的操作S110及其子操作、及S141，在此不再赘述。
图像分类模块220，用于部署训练完成的MobileNet模型，对切片进行分类，得到切片的分类效果图。在一实施例中，预处理模块210可以用于执行前文描述的操作S120及其子操作、S130及其子操作，在此不再赘述。
图像合成模块230，用于将切片的分类效果图合成为待分类SAR海冰图像的分类效果图。图像合成模块230可以用于执行前文描述的操作S142，在此不再赘述。
实施例
1.选择SAR原始产品数据
选择国产C波段多极化合成孔径雷达卫星高分三号系列卫星作为数据源。双极化条带模式是高分三号卫星最常见的工作模式，其中精细条带模式的分辨率比常规模式提高了近两倍，每幅影像的宽度可以达到 100 公里，兼顾了图像的覆盖范围和纹理细节。此外，精细条带模式采用先进的遥感成像技术，可以提供更高质量的遥感影像数据，具有更高的信噪比、更低的失真和更高的灰度级。因此选择使用精细条带II模式产品作为数据源。
2.对SAR海冰图像进行预处理
（1）辐射定标
辐射定标公式为：
式（1）
其中，σ db 定标后的灰度值（单位为dB），P I 是原图像中每个像素点上的灰度值，M取值为32767，和K db 从与高分三号图像产品同时下载得到的meta.xml中获得；在辐射定标过程中，可能存在灰度值为0的像素点导致的大量斑点，用像素值中除0外的最小值替代灰度值为0的像素点进行辐射定标。
辐射定标结束后，将得到的图像灰度值变换到线性范围(uint16类型)，即0~65535。
（2）去除斑点噪声
斑点噪声在SAR图像上表现为一种颗粒状的、黑白点相间的纹理。对于海冰的分类而言，斑点噪声的影响较大，因为局部区域内的海冰应当与周围的海冰所属同一类型或相近，反射特性也大致相当，在SAR图像中反映出的结果也应是灰度值较为均匀的一片区域。但是由于斑点噪声的存在，使得SAR图像上相邻像素的灰度值可能出随机的跳变，导致相同类型的海冰在SAR图像上表现出随机分布的斑点状，对海冰类型的区分引起误导。所以在数据预处理阶段，抑制斑点噪声很有必要。
去噪方法可以分为多视和自适应滤波两种方法，为不损失图像本身的分辨率，使用refined_Lee滤波器处理，尽可能在消除斑点噪声的同时保留边缘和纹理细节。
（3）入射角度校正
提出了一种基于入射角度和RPC参数的海冰图像入射角度校正方法：根据产品中的入射角信息构建与原产品尺寸相同的入射角矩阵，矩阵的每一行数据是一样的，每一列数据是该像素点对应的入射角度。最后同样使用RPC数据对这个入射角矩阵进行变换，采样方式选取最近邻，即可得到与二级产品逐像素对应的入射角矩阵。最后参考使用光学卫星图像数据标注的结果，统计每种类别海冰在不同入射角度时呈现出的后向散射系数强度，分别拟合出线性模型加以校正。
（4）重叠区域裁剪
裁剪过程中的输入图像均为经过地理编码的L2级图像。使用gdal库计算参与裁剪的图像四个角的经纬度，取范围最小的四个经纬度的组合作为重叠区域四个角的经纬度，使用gdal的Warp功能完成重叠区域的裁剪。
（5）合成伪彩色SAR海冰图像
请参见图3，使用双极化数据合成伪彩色SAR海冰图像，VH为垂直发射水平接收的极化模式，VV为垂直发射垂直接收的极化模式，用两种极化模式的数据分别作为R、G波段，两种极化模式的数据的均值作为B波段。
为增强可视化效果，在合成伪彩色SAR海冰图像过程中增加了在原图像的基础上对原图的像素值线性拉伸这一步骤，对图像中前1%的最大值进行截断，截断为65535，并将其余的数据按比例映射到0~65535的范围，最终将所有数据的类型截断为一字节。
3.数据集制作
（1）校正伪彩色SAR海冰图像数据集后向散射系数强度
对裁剪出的光学图像进行手工标注，得到与伪彩色SAR图像逐像素对应的样本标签。由于入射角矩阵与伪彩色SAR图像也是逐像素对应，因此可以统计特定类别海冰在不同入射角下的后向散射系数强度。理论上SAR图像的后向散射系数强度与入射角度之间大致为线性关系，因此根据统计结果大致拟合出一个线性模型，将所有图像的后向散射系数强度归一化到同一个入射角度。
（2）制作伪彩色SAR海冰图像数据集
请参见图3，参考CIS每周发布的冰图，在SAR图像上通过目视解译给每种类型的海冰选取一定范围内的像素，以选中的区域中所有像素为中心分别切割尺寸为16、32、64正方形区域作为每种类型海冰的样本。图3中的区域海冰类型大致分为三种，A区域对应的海冰类型编码（SoD）为7.，对应海冰类型为old ice（OI）（三角形）；G区域SoD代码为7和4.，表示这一区域有两种海冰，以编号为7的thin first year ice（tI）为主（菱形）。B区域SoD代码为4.，对应的海冰类型为thick first year ice（TI）（正方形）。除此之外，图像中存在着少量颜色较暗的区域并不属于上述三种类型，这种区域大多分布在岸边或者其他类型冰的夹缝中。由于初生冰表面较为光滑，反射系数较低，实施例中根据其灰度值的大小单独设置了一种类型，认为是new ice（NI）（六角形）。
（3）制作手动标记的光学卫星海冰图像数据集
将冰况图与同时相光学卫星海冰图像投影到同一地理坐标系，通过图像融合、裁剪与配准，实现同时相光学卫星海冰图像与SAR海冰图像的逐像素对应。手动标记光学卫星海冰图像，得到光学卫星海冰图像数据集。
图4示意性示出了根据本发明实施例的训练数据集的一海冰样本，左图为光学图像，中间为伪彩色SAR海冰图像，右图为手动标记的光学卫星海冰图像；其中，伪彩色SAR海冰图像与手动标记的光学卫星海冰图像用于模型训练。
4.训练MobileNet网络模型
（1）MobileNet网络模型构成
图5示意性示出了根据本发明实施例的MobileNet模型的组成结构图。MobileNet模型依次包括卷积模块、主干网络、卷积模块、全连接层、重构模块。其中，主干网络包含九个卷积块和CBAM模块，卷积块包含卷积层、激活层、归一化层。主干网络前三层卷积层使用3×3卷积核和ReLU函数作为激活函数，而后六层卷积层使用5×5卷积核和hswish函数作为激活函数。主干网络由三个两分支结构组成，其中一条支路上由三个卷积块和CBAM模块组成，另一条支路是一条可选的支路，仅由一个卷积块组成。只有当卷积步长为1且输入和输出通道数不相等时才需经过该支路的运算，与另一支路数据完成加和。否则不经任何处理，直接与左路数据相加，得到输出。
图6示意性示出了根据本发明实施例的特征融合模块的组成结构图。主干网络中，第2、8层卷积层的卷积步长为2，第2、8、9层卷积层后加入池化层，以实现下采样，得到三种尺寸的特征图。这三种尺寸的特征图先经过上采样，将自身扩展到与上一级特征图相同的维度，然后通过1×1的卷积操作，使当前特征图的通道数与上一级特征图相同，最后叠加在一起，得到融合的特征图。
（2）训练MobileNet网络模型
训练数据及包含三种规模的样本（尺寸为16、32、64之一），将尺寸为16的样本的训练数据集首先被送入卷积核大小为 3×3 的卷积层，将通道数提高到16个，经过批量归一化和非线性激活函数的处理，作为主干网络的输入。经过主干网络后，使用1×1卷积运算将数据的通道维度增加到576，然后将数据送入批量归一化层和非线性行为函数层处理数据。之后，数据的长度和宽度尺寸通过平均池化压缩到1，这意味着数据的尺寸在此操作后变成了n×1×1×576。后续连接一个线性层，将数据的通道数进一步提高到1280。至此一种尺寸样本的训练结束，输出为1×1280的向量。其他尺寸的样本训练后的输出与上述过程相同。后续将多个支路的输出结果拼接成一个一维向量，输入到后续的卷积层中，将通道数量再次提升到4096，最后通过全连接层将数据维度压缩到与类别数量相同作为最后的输出。
本发明实施例的损失函数为交叉熵损失函数，表达式如下：
式（2）
其中，p（x i ）是one-hot编码后的标签，q（x i ）是模型对每个输入样本的输出。假设c用来代表x i 的类别，one-hot编码意味着标签c被替换为长度等于类别数的二进制矢量p（x i ）。例如，p（x i ）=（1，0，0，0）对应的是c=1（NI）。交叉熵损失函数通过减少两个概率分布之间的差异使预测的概率分布尽可能地接近真实的概率分布。
5.评价MobileNet网络模型
使用混淆矩阵来计算评价指标。在机器学习领域，混淆矩阵（Confusion Matrix），又称为可能性矩阵或错误矩阵，是一个用于衡量分类模型性能的表格，由模型对一组测试数据进行分类所产生的真实类别和模型预测类别之间的交叉频数统计得到。在混淆矩阵中，行表示真实类别，列表示预测类别。通过混淆矩阵，可以计算出许多评价指标，如准确率、召回率、精确率和F1分数等，以评估分类模型的性能。
混淆矩阵的行和列的数量与类别的数量相等，每一列代表预测的类别，每一列的总数代表预测属于该类别的样本数量；每一行代表样本的真实归属类别，每一行的样本总数代表该类别的数据实例数量。通过将属于该类别的样本视为正面例子，不属于该类别的样本视为负面例子，分类过程可以被视为二分法，从而可以引入以下评价指标：总体准确率（Accu）、单一类别准确率（Prec）和kappa系数。
总体准确率（Accu）、单一类别准确率（Prec）和kappa系数公式如下：
式（3）
其中，TP为实际为正例，且判断为正例的情况；FN为实际为正例但判断为反例的情况；TN为实际为反例，且判断为反例的情况；FP为实际为反例但判断为整理的情况；p 0 为总体准确率，p e 为所有海冰类别的样本真实个数与预测个数的乘积之和除以海冰样本总数的平方，n为所有类别的样本数，C为样本类别数，a k 代表每个类别的真实样本数，b k 代表预测结果中每个类别的数量，1≤k≤C。
需要说明的是，本发明的实施例提供的基于MobileNet的SAR海冰图像分类方法及装置还具有如下效果和优点中的至少一个：
（1）本发明采用高分三号双极化精细条带模式数据作为数据源，提供更高质量的遥感影像数据，具有更高的信噪比、更低的失真和更高的灰度级。
（2）本发明在样本标注方面摒弃了常规的基于简单目视解译的方法，使用CIS官方定期发布的海冰分类产品和同时相的光学卫星数据，提高了样本标注的可靠性。
（3）本发明提出了一种更加可靠的海冰样本标记方法，使用该方法制作的数据集能够确保标签与地物真值的吻合程度，为后续模型的训练提供数据支撑；在制作数据集的过程中，使用逐像素对应的数据和标签，统计分析了不同种类海冰在不同入射角度时的后向散射系数强度，根据统计结果进行入射角度校正，避免了入射角度的不同引起的散射强度差异对最终模型分类效果的影响。
（4）本发明基于深度学习提出了一种用于海冰分类的模型，该模型以MobileNetV3为主干网络，引入了特征融合网络，对不同级别的特征图加以充分利用；引入CBAM注意力机制模块，使得模型能够自主更新不同通道和空间特征的权重比例，使得最终全连接层分类器获得更可靠的特征向量，从而提高分类的准确率。
（5）本发明提出了一种检验海冰分类模型泛化能力的方法，即使用近似同时相的同一波段不同卫星的SAR产品数据作为数据源，同样参考国际权威的海冰服务机构发布的海冰分类产品制作数据集，验证模型在不同SAR卫星产品上的泛化能力。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于MobileNet的SAR海冰图像分类方法，其特征在于，包括：
S110，对待分类SAR海冰图像进行数据预处理，得到待分类的伪彩色SAR海冰图像；
S120，制作训练数据集；所述训练数据集包括伪彩色SAR海冰图像数据集与手动标记的光学卫星海冰图像数据集；其中，所述伪彩色SAR海冰图像数据集通过对SAR海冰图像进行数据预处理得到；
S130，将所述训练数据集输入MobileNet网络模型，完成MobileNet网络模型的训练；
S140，将所述待分类的伪彩色SAR海冰图像输入训练完成的所述MobileNet网络模型，得到待分类SAR海冰图像的分类效果图；
其中，所述MobileNet网络模型包括卷积模块、主干网络、全连接层、重构模块；所述主干网络包括卷积块、注意力机制模块；所述主干网络与全连接层之间包括特征融合模块。
2.根据权利要求1所述的基于MobileNet的SAR海冰图像分类方法，其特征在于，所述注意力机制模块为CBAM模块；所述CBAM模块包括通道注意力模块和空间注意力模块。
3.根据权利要求1所述的基于MobileNet的SAR海冰图像分类方法，其特征在于，所述S110、S120中的数据预处理包括：
S111，对SAR海冰图像进行初始预处理；所述初始预处理至少包括辐射定标、自适应滤波、入射角度校正、去除斑点噪声、重叠区域裁剪；其中，所述SAR海冰图像包括第一极化模式的SAR海冰图像和第二极化模式的SAR海冰图像；
S112，合成所述第一极化模式的SAR海冰图像和所述第二极化模式的SAR海冰图像得到合成SAR海冰图像；
S113，对所述合成SAR海冰图像的像素值线性拉伸，通过映射与截断将所有数据映射至一字节，得到伪彩色SAR海冰图像；
其中，所述第一极化模式的SAR海冰图像数据作为R波段数据；所述第二极化模式的SAR海冰图像数据作为G波段数据；所述第一极化模式数据与第二极化模式SAR海冰图像数据的均值作为B波段数据。
4.根据权利要求3所述的基于MobileNet的SAR海冰图像分类方法，其特征在于，所述S120中伪彩色SAR海冰图像数据集包括：
参考冰图，在所述伪彩色SAR海冰图像上通过目视解译给每种类型的海冰选取像素，以选取像素为中心切割正方形作为每种类型的海冰样本。
5.根据权利要求4所述的基于MobileNet的SAR海冰图像分类方法，其特征在于，所述S120中手动标记的光学卫星海冰图像数据集包括：
S121，将冰况图与光学卫星海冰图像投影到同一地理坐标系，通过图像融合、裁剪与配准，实现光学卫星海冰图像与所述SAR海冰图像的逐像素对应；其中，所述光学卫星海冰图像与所述SAR海冰图像同时相；
S122，对所述每种类型的海冰样本进行手动标记，得到手动标记的光学卫星海冰图像数据集。
6.根据权利要求5所述的基于MobileNet的SAR海冰图像分类方法，其特征在于，所述S120还包括：
校正训练数据集后向散射系数强度，包括：
S123，通过所述手动标注的光学卫星海冰图像数据集得到伪彩色SAR海冰图像数据集中海冰的类型，统计拟合伪彩色SAR海冰图像数据集中所述每种类型海冰入射角度与后向散射系数强度的线性模型；
S124，通过所述线性模型调整所述伪彩色SAR海冰图像数据集的后向散射系数强度。
7.根据权利要求1所述的基于MobileNet的SAR海冰图像分类方法，其特征在于，所述特征融合模块融合各卷积块特征图，得到融合特征图，包括：
S131，采集卷积块的特征图；所述卷积块至少包括最高层卷积块与任一低层卷积块；
S132，对所述最高层卷积块的特征图进行上采样、卷积得到与上一低层通道数相同的特征图；所述上一低层为采集的卷积块中与最高层最相近的卷积块；
S133，将所述与上一低层通道数相同的特征图与上一低层的特征图叠加，得到融合后的最高层卷积块的特征图；
S134，对融合后的最高层卷积块的特征图重复执行S132、S133，直至融合所有采集得到的卷积块特征图，得到输出特征图。
8.根据权利要求1所述的基于MobileNet的SAR海冰图像分类方法，其特征在于，所述S140还包括：
S141，将所述待分类的伪彩色SAR海冰图像分割为和所述训练数据集大小相同的切片后输入至所述训练完成的MobileNet模型，得到所述切片的分类效果图；
S142，将所述切片的分类效果图合成为所述待分类的伪彩色SAR海冰图像的分类效果图。
9.根据权利要求1所述的基于MobileNet的SAR海冰图像分类方法，其特征在于，所述S140之后还包括：
评价MobileNet网络模型泛化能力，包括：
S151，使用第一卫星的SAR海冰图像、与第一卫星近似同时相的同一波段第二卫星的SAR海冰图像分别制作所述训练数据集；将所述训练数据集分别输入MobileNet网络模型，完成第一MobileNet网络模型、第二MobileNet网络模型的构建；
S152，采用混淆矩阵来计算所述第一MobileNet网络模型、所述第二MobileNet网络模型的评价指标，验证所述MobileNet网络模型的泛化能力；所述评价指标至少包括总体准确率、单一类别准确率和kappa系数。
10.一种基于MobileNet的SAR海冰图像分类装置，其特征在于，所述装置包括：
预处理模块，用于将待分类SAR海冰图像预处理为伪彩色SAR海冰图像，将所述伪彩色SAR海冰图像分割，得到与训练数据集大小相同的切片；
图像分类模块，用于部署训练完成的MobileNet模型，对所述切片进行分类，得到切片的分类效果图；
图像合成模块，用于将所述切片的分类效果图合成为所述待分类SAR海冰图像的分类效果图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310954406.2A CN116682027B (zh) | 2023-08-01 | 2023-08-01 | 基于MobileNet的SAR海冰图像分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310954406.2A CN116682027B (zh) | 2023-08-01 | 2023-08-01 | 基于MobileNet的SAR海冰图像分类方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116682027A true CN116682027A (zh) | 2023-09-01 |
| CN116682027B CN116682027B (zh) | 2023-11-03 |
Family
ID=87791305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310954406.2A Active CN116682027B (zh) | 2023-08-01 | 2023-08-01 | 基于MobileNet的SAR海冰图像分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116682027B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036982A (zh) * | 2023-10-07 | 2023-11-10 | 山东省国土空间数据和遥感技术研究院(山东省海域动态监视监测中心) | 海上养殖区的光学卫星图像处理方法和装置、设备和介质 |
| CN117576553A (zh) * | 2024-01-15 | 2024-02-20 | 中国海洋大学 | 双极化sar图像海洋冰涡识别方法、装置和电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140341423A1 (en) * | 2013-03-13 | 2014-11-20 | Conocophillips Company | Method for tracking and forecasting marine ice bodies |
| CN107368852A (zh) * | 2017-07-13 | 2017-11-21 | 西安电子科技大学 | 一种基于非下采样轮廓波dcgan的极化sar图像分类方法 |
| CN107516317A (zh) * | 2017-08-18 | 2017-12-26 | 上海海洋大学 | 一种基于深度卷积神经网络的sar影像海冰分类方法 |
| CN109190491A (zh) * | 2018-08-08 | 2019-01-11 | 上海海洋大学 | 残差卷积神经网络sar影像海冰分类方法 |
| CN111652038A (zh) * | 2020-04-13 | 2020-09-11 | 上海海洋大学 | 基于卷积神经网络的遥感的海冰图像分类方法 |
| CN114676773A (zh) * | 2022-03-23 | 2022-06-28 | 国家海洋环境预报中心 | 基于sar数据的北极海冰分类方法 |
| CN114758238A (zh) * | 2022-04-21 | 2022-07-15 | 复旦大学 | 一种机载多维度合成孔径雷达图像地物分类方法 |
-
2023
- 2023-08-01 CN CN202310954406.2A patent/CN116682027B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140341423A1 (en) * | 2013-03-13 | 2014-11-20 | Conocophillips Company | Method for tracking and forecasting marine ice bodies |
| CN107368852A (zh) * | 2017-07-13 | 2017-11-21 | 西安电子科技大学 | 一种基于非下采样轮廓波dcgan的极化sar图像分类方法 |
| CN107516317A (zh) * | 2017-08-18 | 2017-12-26 | 上海海洋大学 | 一种基于深度卷积神经网络的sar影像海冰分类方法 |
| CN109190491A (zh) * | 2018-08-08 | 2019-01-11 | 上海海洋大学 | 残差卷积神经网络sar影像海冰分类方法 |
| CN111652038A (zh) * | 2020-04-13 | 2020-09-11 | 上海海洋大学 | 基于卷积神经网络的遥感的海冰图像分类方法 |
| CN114676773A (zh) * | 2022-03-23 | 2022-06-28 | 国家海洋环境预报中心 | 基于sar数据的北极海冰分类方法 |
| CN114758238A (zh) * | 2022-04-21 | 2022-07-15 | 复旦大学 | 一种机载多维度合成孔径雷达图像地物分类方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036982A (zh) * | 2023-10-07 | 2023-11-10 | 山东省国土空间数据和遥感技术研究院(山东省海域动态监视监测中心) | 海上养殖区的光学卫星图像处理方法和装置、设备和介质 |
| CN117036982B (zh) * | 2023-10-07 | 2024-01-09 | 山东省国土空间数据和遥感技术研究院(山东省海域动态监视监测中心) | 海上养殖区的光学卫星图像处理方法和装置、设备和介质 |
| CN117576553A (zh) * | 2024-01-15 | 2024-02-20 | 中国海洋大学 | 双极化sar图像海洋冰涡识别方法、装置和电子设备 |
| CN117576553B (zh) * | 2024-01-15 | 2024-04-02 | 中国海洋大学 | 双极化sar图像海洋冰涡识别方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116682027B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116682027B (zh) | 基于MobileNet的SAR海冰图像分类方法及装置 | |
| CN109472304B (zh) | 基于sar与光学遥感时序数据的树种分类方法、装置和设备 | |
| BARBER et al. | SAR sea ice discrimination using texture statistics- A multivariate approach | |
| CN108765359A (zh) | 一种基于jskf模型和nsct技术的高光谱遥感影像与全色图像的融合方法 | |
| CN112183209A (zh) | 一种基于多维特征融合的区域农作物分类方法及系统 | |
| CN111337434A (zh) | 一种矿区复垦植被生物量估算方法及系统 | |
| Sabater et al. | Technical implementation of SMOS data in the ECMWF Integrated Forecasting System | |
| CN109726705A (zh) | 红树林信息的提取方法、装置及电子设备 | |
| Lê et al. | Multiscale framework for rapid change analysis from SAR image time series: Case study of flood monitoring in the central coast regions of Vietnam | |
| CN109145870A (zh) | 基于sar极化分解和卷积神经网络的两阶段盐碱地监测方法 | |
| CN110516552B (zh) | 一种基于时序曲线的多极化雷达图像分类方法及系统 | |
| CN112989940B (zh) | 基于高分三号卫星sar影像的筏式养殖区提取方法 | |
| Lumban-Gaol et al. | Satellite-derived bathymetry using convolutional neural networks and multispectral sentinel-2 images | |
| CN113326741B (zh) | 一种基于sar和光学影像的优化特征选择分类方法 | |
| CN117115669B (zh) | 双条件质量约束的对象级地物样本自适应生成方法及系统 | |
| CN110458208A (zh) | 基于信息测度的高光谱图像分类方法 | |
| CN110070509A (zh) | 一种可见光遥感图像实时可视化系统及可视化方法 | |
| CN117315489A (zh) | 一种基于局部背景特征信息的水体提取方法及装置 | |
| Vasilyeva et al. | Lossy compression of three-channel remote sensing images with controllable quality | |
| CN117557897A (zh) | 目标农作物的倒伏监测方法、装置、电子设备及存储介质 | |
| Cissé et al. | A new deep learning method for multispectral image time series completion using hyperspectral data | |
| CN110175638B (zh) | 一种扬尘源监测方法 | |
| Dell'Acqua et al. | Experiences in optical and SAR imagery analysis for damage assessment in the Wuhan, May 2008 earthquake | |
| CN115639159A (zh) | 一种基于多光谱影像的废水污染监测方法和装置 | |
| CN109447916A (zh) | 一种基于高分辨率遥感影像的水质定量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |