CN112365508A - 基于视觉注意与残差网络的sar遥感图像水域分割方法 - Google Patents

基于视觉注意与残差网络的sar遥感图像水域分割方法 Download PDF

Info

Publication number
CN112365508A
CN112365508A CN202011211723.8A CN202011211723A CN112365508A CN 112365508 A CN112365508 A CN 112365508A CN 202011211723 A CN202011211723 A CN 202011211723A CN 112365508 A CN112365508 A CN 112365508A
Authority
CN
China
Prior art keywords
residual error
water area
visual attention
training
error network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011211723.8A
Other languages
English (en)
Inventor
陈海东
段尚琪
黄双得
葛兴科
赵毅林
许保瑜
周仿荣
赵小萌
王韬
胡昌斌
宋庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming Power Supply Bureau of Yunnan Power Grid Co Ltd
Original Assignee
Kunming Power Supply Bureau of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming Power Supply Bureau of Yunnan Power Grid Co Ltd filed Critical Kunming Power Supply Bureau of Yunnan Power Grid Co Ltd
Priority to CN202011211723.8A priority Critical patent/CN112365508A/zh
Publication of CN112365508A publication Critical patent/CN112365508A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于视觉注意与残差网络的SAR遥感图像水域分割方法，属于图像分割技术领域。该方法具体实现步骤如下：构建数据集；对训练数据进行抽样及分块；训练数据标注与增强；构造基于视觉注意机制的残差网络模型；训练基于视觉注意机制的残差网络模型；测试基于视觉注意机制的残差网络模型；原始图像中区域标注与二值化处理；根据需求对分割结果进行保存或输出。本发明方法利用视觉注意模块强大的感知能力和残差网络强大的特征提取能力，搭建泛化性强、鲁棒性高、性能优异的水域分割模型，解决目前水域分割技术上存在的弊端，可实现SAR遥感图像中水域的快速、准确分割，易于推广应用。

Description

基于视觉注意与残差网络的SAR遥感图像水域分割方法
技术领域
本发明属于图像分割技术领域，涉及一种SAR遥感图像水域分割方法，具体涉及一种耐候反光路标涂料。本发明特别涉及一种基于视觉注意与残差网络的SAR遥感图像水域分割方法。
背景技术
合成孔径雷达(SAR)是一种主动式的微波成像传感器，获得的图像能够反映目标散射特性。与传统光学遥感和高光谱遥感相比，SAR具备全天候、全天时的成像能力，并具有一定的穿透性，已成为遥感对地观测的重要技术手段。水域作为区域陆地水循环中的一个重要载体，与河流、湖泊、海洋等紧密相关，对区域生态系统的发展有着重要的影响。实现快速、准确的水域检测对洪涝灾害的预报、预警、监测，以及环境与水资源的全面调查、合理规划等具有十分重要的意义，此外，通过水域监测实时快速发现电网系统中杆塔等设施是否受洪水灾害对于保障输电线路安全具有极大意义。近年来，由于水域在SAR遥感图像中表现出较为显著的鉴别特征，易于从复杂场景中快速分离，基于SAR图像的水域检测技术得到了广泛的应用和发展。
目前，较为常用的SAR图像水域分割技术主要有：基于阈值的分割技术、基于边缘和区域特征的分割技术与基于机器学习的分割技术。基于阈值的分割技术通过描绘图像灰度或纹理直方图，以自适应阈值迭代的策略寻找直方图波谷极值点作为二值分割阈值，从而实现水域与背景区域的有效分离。如Guo等人于2017年提出一种改进的二维Otsu算法，并将其应用在TerraSAR-X卫星的SAR图像水域分割上，取得了较好的分割效果。基于边缘和区域特征的分割技术利用SAR图像中水域表现出的低散射、低方差等区域和边缘梯度特性，通过聚类、边缘提取等技术将水域分离出来。如冷英等人于2017年使用基于窄带的ACM方法对Sentinel-1A获取的鄱阳湖水域时间序列SAR图像进行水域分割，实现鄱阳湖水域的分布情况持续观测。基于机器学习技术的分割技术通过构建特征提取器或搭建深度学习网络自动提取水域特征，结合SVM等分类器技术实现水域的精准分割。如Qu等人于2013年，以TerraSAR-X获取的多景SAR图像作为实验数据，利用灰度共生矩阵提取水域特征，并将其作为SVM的训练样本，进行水域分割。
以上方法对于海况较低、背景复杂度低的水域区域有较好的分割效果，而实际应用中，SAR遥感图像往往具有幅宽大、场景复杂、地物类型多样等特点，以上方法普遍存在以下几点问题：(1)背景因素干扰，分割阈值难以准确寻优，算法鲁棒性变差；(2)区域特征和分类器输入特征难以有效提取，分类准确性差；(3)深度学习分割网络模型复杂度高，算法运行效率低。因此如何克服现有技术的不足是目前图像分割技术领域亟需解决的问题。
发明内容
本发明的目的是为了解决现有技术的不足，提供一种基于视觉注意与残差网络的SAR遥感图像水域分割方法。该方法利用视觉注意模块强大的感知能力和残差网络强大的特征提取能力，搭建泛化性强、鲁棒性高、性能优异的水域分割模型，解决目前水域分割技术上存在的弊端。
为实现上述目的，本发明采用的技术方案如下：
基于视觉注意与残差网络的SAR遥感图像水域分割方法，包括如下步骤：
步骤(1)，构建数据集：采集SAR影像数据共N景，单景尺寸不低于5k*5k像素，并将数据划分为训练数据集和验证数据集；
步骤(2)，对训练数据进行分块：读入训练集中SAR遥感图像并进行分块；所述分块采用有重叠的分块方式，即采用L×L的正方形在SAR遥感图像中进行水平和竖直方向的步进，步进量为L/2，获得多个分块，称为Tile块；
步骤(3)，训练数据标注与增强：按照是否存在水域对步骤(2)中划分Tile块进行分类，存在水域则标注为1，否则标注为0，将水域标注文件存储作为标签集，然后对数据进行扩增，获得增广数据集；
步骤(4)，构造基于视觉注意机制的残差网络模型；
步骤(5)，训练基于视觉注意机制的残差网络模型：将训练数据集和标签集输入到步骤(4)搭建好基于视觉注意机制的残差网络模型中，训练残差分类网络，得到训练M代的网络模型架构，之后将训练得到的模型进行加载，并基于验证数据集进行测试，计算分类准确率，保存准确率最优的模型参数；
步骤(6)，测试基于视觉注意机制的残差网络模型：加载最优模型参数，将待分割SAR影像按照步骤(2)进行分块，输入到训练好的残差分类网络输入层，残差分类网络输出层输出对每一Tile块的判别结果；
步骤(7)，根据判别结果在原始输入图像中进行区域标注和二值化处理，得到分割结果；
步骤(8)，根据需求对分割结果进行保存或输出。
进一步，优选的是，步骤(1)的具体方法为：
搜集并下载Terra SAR和GF3 SAR影像数据共N景，单景尺寸不低于5k*5k像素，并将数据按照4:1的比例划分为训练数据集、验证数据集。
进一步，优选的是，步骤(2)中，L取值为27、28和29。
进一步，优选的是，步骤(3)中，对数据进行旋转、镜像、灰度变换操作，获得增广数据集。
进一步，优选的是，步骤(4)的具体方法为：
(4a)搭建一个8层残差分类网络模型，网络的结构为：数据输入层→第一卷积层→第一池化层→第一残差模块→第二池化层→第二残差模块→第三池化层→第二卷积层，其中，残差模块包含残差链路和三个卷积层；
(4b)构建视觉注意机制模块：该模块由一个全局均值池化层，再连接两个全连接层，之后连接一个softmax层组成，输出为C维权重系数；
(4c)构建Scale模块：将残差网络和视觉注意机制模块的输出进行拼接，即将视觉注意机制的输出作为权重系数乘在残差网络的输出层；
(4d)构建输出模块：该模块由一个全局均值池化层和一个softmax分类层构成。
进一步，优选的是，(4a)中，第一卷积层和第二卷积层核尺寸设置为3×3像素，核数分别设置为16和64；第一池化层和第二池化层的操作方式使用最大池化方式，残差模块中卷积层尺寸分比为1×1、3×3、1×1，核数分别设置为16、16、32。
进一步，优选的是，(4b)中，全局均值池化层输出节点设置为64，尺寸设置为1，第一个全连接层输出节点设置为4，第二个全连接层输出节点设置为64。
进一步，优选的是，(4d)中，全局均值池化层输出维度设置为类别数2。
进一步，优选的是，步骤(5)的具体方法为：
第1步，设置batch_size、最大迭代次数、学习率的训练超参数；
第2步，将带有训练数据集图像路径和对应标签信息的列表文件读入步骤(4)搭建好基于视觉注意机制的残差网络模型中，对网络进行训练，每隔K代利用划分的验证数据集中数据对网络性能进行测试，每隔S代保存当前训练得到的模型参数，直到训练代数达到设置的最大迭代次数M，其中，K、S、M均为提前预设的正整数参数，K和S设置值应不超过M；
第3步：采用循环比对的策略挑选最优化训练模型参数，并对参数进行保存，循环比对策略具体为：加载已经训练的模型参数，对验证数据集中数据进行分类，统计每个模型的分类准确率，并按照准确率进行排序，准确率最高的模型作为最优化训练模型参数。
进一步，优选的是，步骤(7)的具体方法为：
第1步，根据步骤(6)保存的标签信息对应到原始待分割SAR影像中；
第2步，对原始待分割SAR影像进行区域标注和二值化处理，即，将判定为水域的图像块置1，判定为非水域的图像块置零，生成最终分割结构。
实现本发明目的的思路是，通过残差网络自适应提取鉴别能力强的分类特征，提高水域提取准确率；通过视觉注意模块增强网络泛化能力，提高模型鲁棒性；通过滑动分块操作提高网络运行效率。
本发明中最终结果为0和1的块，0对应非水域，1对应水域。
发明与现有技术相比，其有益效果为：
(1)本发明结合滑动分块和残差分类网络对图像进行分割操作，解决目前常用基于深度学习的分割网络逐像素扫描判决导致的运算量高、时效性差的问题，同时，本发明搭建的残差网络构造简单、分类精度高，经过压缩剪枝后层级间冗余度低。
(2)本发明在残差网络模型输出层增加具有特征图筛选机制的视觉注意模块，使分类网络更加关注对分类决策影响程度高的特征层，从而提高水域图像块的判别精度；同时视觉注意模块的引入也可指导网络参数的寻优过程，加速网络收敛速度。
(3)本发明方法与现有基于SegNet网络的水域检测技术相比，在检测率和虚警率性能指标上均有较为明显的提升，其中检测率指标可提升9％，虚警剔除能力提升2倍。
附图说明
图1为本发明基于视觉注意与残差网络的SAR遥感图像水域分割方法的流程图。
图2为一景原始GF3输入图像；
图3为通过本发明方法处理后在原始图像上标注水域区域的结果图，红框为水域；
图4为通过本发明方法处理后在水域分割二值结果图，白色为水域区域；
具体实施方式
下面结合实施例对本发明作进一步的详细描述。
本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者，均为可以通过购买获得的常规产品。
基于视觉注意与残差网络的SAR遥感图像水域分割方法，包括如下步骤：
步骤(1)，构建数据集：采集SAR影像数据共N景，单景尺寸不低于5k*5k像素，并将数据划分为训练数据集和验证数据集；
步骤(2)，对训练数据进行分块：读入训练集中SAR遥感图像并进行分块；所述分块采用有重叠的分块方式，即采用L×L的正方形在SAR遥感图像中进行水平和竖直方向的步进，步进量为L/2，获得多个分块，称为Tile块；
步骤(3)，训练数据标注与增强：按照是否存在水域对步骤(2)中划分Tile块进行分类，存在水域则标注为1，否则标注为0，将水域标注文件存储作为标签集，然后对数据进行扩增，获得增广数据集；
步骤(4)，构造基于视觉注意机制的残差网络模型；
步骤(5)，训练基于视觉注意机制的残差网络模型：将训练数据集和标签集输入到步骤(4)搭建好基于视觉注意机制的残差网络模型中，训练残差分类网络，得到训练M代的网络模型架构，之后将训练得到的模型进行加载，并基于验证数据集进行测试，计算分类准确率，保存准确率最优的模型参数；
步骤(6)，测试基于视觉注意机制的残差网络模型：加载最优模型参数，将待分割SAR影像按照步骤(2)进行分块，输入到训练好的残差分类网络输入层，残差分类网络输出层输出对每一Tile块的判别结果；
步骤(7)，根据判别结果在原始输入图像中进行区域标注和二值化处理，得到分割结果；
步骤(8)，根据需求对分割结果进行保存或输出。
步骤(1)的具体方法为：
搜集并下载Terra SAR和GF3 SAR影像数据共N景，单景尺寸不低于5k*5k像素，并将数据按照4:1的比例划分为训练数据集、验证数据集。
步骤(2)中，L取值为27、28和29。
，步骤(3)中，对数据进行旋转、镜像、灰度变换操作，获得增广数据集。
步骤(4)的具体方法为：
(4a)搭建一个8层残差分类网络模型，网络的结构为：数据输入层→第一卷积层→第一池化层→第一残差模块→第二池化层→第二残差模块→第三池化层→第二卷积层，其中，残差模块包含残差链路和三个卷积层；
(4b)构建视觉注意机制模块：该模块由一个全局均值池化层，再连接两个全连接层，之后连接一个softmax层组成，输出为C维权重系数；
(4c)构建Scale模块：将残差网络和视觉注意机制模块的输出进行拼接，即将视觉注意机制的输出作为权重系数乘在残差网络的输出层；
(4d)构建输出模块：该模块由一个全局均值池化层和一个softmax分类层构成。
进一步，优选的是，(4a)中，第一卷积层和第二卷积层核尺寸设置为3×3像素，核数分别设置为16和64；第一池化层和第二池化层的操作方式使用最大池化方式，残差模块中卷积层尺寸分比为1×1、3×3、1×1，核数分别设置为16、16、32。
(4b)中，全局均值池化层输出节点设置为64，尺寸设置为1，第一个全连接层输出节点设置为4，第二个全连接层输出节点设置为64。
(4d)中，全局均值池化层输出维度设置为类别数2。
步骤(5)的具体方法为：
第1步，设置batch_size、最大迭代次数、学习率的训练超参数；
第2步，将带有训练数据集图像路径和对应标签信息的列表文件读入步骤(4)搭建好基于视觉注意机制的残差网络模型中，对网络进行训练，每隔K代利用划分的验证数据集中数据对网络性能进行测试，每隔S代保存当前训练得到的模型参数，直到训练代数达到设置的最大迭代次数M，其中，K、S、M均为提前预设的正整数参数，K和S设置值应不超过M；
第3步：采用循环比对的策略挑选最优化训练模型参数，并对参数进行保存，循环比对策略具体为：加载已经训练的模型参数，对验证数据集中数据进行分类，统计每个模型的分类准确率，并按照准确率进行排序，准确率最高的模型作为最优化训练模型参数。
步骤(7)的具体方法为：
第1步，根据步骤(6)保存的标签信息对应到原始待分割SAR影像中；
第2步，对原始待分割SAR影像进行区域标注和二值化处理，即，将判定为水域的图像块置1，判定为非水域的图像块置零，生成最终分割结构。
应用实例
参照图1，对本发明实现的具体步骤做进一步的描述。
步骤(1)，构建数据集：搜集并下载Terra SAR和GF3 SAR影像数据共N景，单景尺寸不低于5k*5k像素，并将数据按照4:1的比例划分为训练数据集和验证数据集；
步骤(2)，对训练数据进行抽样及分块：读入训练集中SAR遥感图像并进行分块；所述分块采用无重叠的分块方式，即采用L×L的正方形在SAR遥感图像中进行水平和竖直方向的步进，步进量为L/2，获得多个分块，称为Tile块；本实施例L设为27；
步骤(3)，训练数据标注与增强：按照是否存在水域对步骤(2)中划分Tile块进行分类，存在水域则标注为1，否则标注为0，将水域标注文件存储作为标签集，然后对数据进行旋转、镜像、灰度变换操作增广数据集；
具体如下：
第1步，根据是否存在水域对步骤(2)中Tile块进行标注，此处设置判别阈值为0.5，及Tile块中水域面积占比超过0.5(专家判别)则认为该Tile为水域块，标签设置为1，否则标签设置为0，并将Tile号与对应的标签信息写入txt文件；此处所述专家判别为具有专业知识的人进行判别，属于人工判别；
第2步，对标注后Tile块进行数据增强，包括旋转：按照30度的角度步长对Tile进行旋转操作，一张Tile可增广生成12张图片，镜像：对Tile进行水平和垂直翻转，获得镜像操作后图片，灰度变换：对Tile块进行灰度压缩和灰度拉伸，变换比例系数为δ，取值范围为[0.5-1.5]，步长为0.1；
步骤(4)，选构造基于视觉注意机制的残差网络模型：
第1步，搭建一个8层残差分类网络模型，网络的结构为：数据输入层→第一卷积层→第一池化层→第一残差模块→第二池化层→第二残差模块→第二卷积层，其中，残差模块包含残差链路和三个卷积层，第一卷积层和第二卷积层核尺寸设置为3×3像素，核数分别设置为16和64；第一池化层和第二池化层的操作方式使用最大池化方式，残差模块中卷积层尺寸分比为1×1、3×3、1×1，核数分别设置为16、16、32；
第2步，构建视觉注意机制模块：该模块由一个全局均值池化层，再连接两个全连接层，之后连接一个softmax层组成，其中，全局均值池化层输出节点设置为64，尺寸设置为1，第一个全连接层输出节点设置为4，第二个全连接层输出节点设置为64，softmax采用以下公式进行计算；
Figure BDA0002758956700000081
其中，z是上一层的输出，softmax的输入，维度为C，yi为预测对象属于第c类的概率。
第3步，构建Scale模块：将残差网络和视觉注意机制模块的输出进行拼接，即将视觉注意机制的输出作为权重系数乘在残差网络的输出层，Scale模块计算方式所示；
Outi＝Inputi×yi
其中，Outi为Scale模块第i层输出，Inputi为Scale模块第i层输入；(同一含义应该采用相同的标识符)
第4步，构建输出模块：该模块由一个全局均值池化层和一个softmax分类层构成，其中，全局均值池化层输出维度设置为类别数2，softmax层的计算过程与第2步相同；
步骤(5)，训练基于视觉注意机制的残差网络模型：将训练数据集和标签集输入到步骤(4)搭建好基于视觉注意机制的残差网络模型中，训练残差分类网络，得到训练M代的网络模型架构，之后将训练得到的模型进行加载，并基于验证数据集进行测试，计算分类准确率，保存准确率最优的模型参数；
第1步，设置batch_size、最大迭代次数、学习率的训练超参数；
第2步，将带有训练数据集图像路径和对应标签信息的列表文件读入步骤(4)搭建好基于视觉注意机制的残差网络模型中，对网络进行训练，每隔K代利用划分的验证数据集中数据对网络性能进行测试，每隔S代保存当前训练得到的模型参数，直到训练代数达到设置的最大迭代次数M，其中，K、S、M均为提前预设的正整数参数，K和S设置值应不超过M；
第3步：采用循环比对的策略挑选最优化训练模型参数，并对参数进行保存，循环比对策略具体为：加载已经训练的模型参数，对验证数据集中数据进行分类，统计每个模型的分类准确率，并按照准确率进行排序，准确率最高的模型作为最优化训练模型参数。
步骤(6)，测试基于视觉注意机制的残差网络模型：加载最优模型参数，将待分割SAR影像按照步骤(2)进行分块，输入到训练好的残差分类网络输入层，残差分类网络输出层输出对每一Tile块的判别结果；
第1步，加载步骤(5)保存的最优化训练模型；
第2步，按照步骤(2)对测试数据进行分块操作：
第3步，利用基于视觉注意机制的残差网络对每一小块进行分类预测保存对应的预测标签；
步骤(7)，根据判别结果在原始输入图像中进行区域标注和二值化处理，得到分割结果；
第1步，根据步骤(6)保存的标签信息对应到原始待分割SAR影像中；
第2步，对原始待分割SAR影像进行区域标注和二值化处理，即，将判定为水域的图像块置1，判定为非水域的图像块置零，生成最终分割结构。
步骤(8)，根据需求对分割结果进行保存或输出。
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真实验条件：
本发明的仿真实验的硬件平台为：处理器为Intel i7 4710HQ CPU，主频为2.5GHz，内存8GB，显卡为NVIDIA GTX 1080Ti GPU，内存12GB。
本发明的仿真实验的软件平台为：Ubuntu 18.04。
2.仿真内容及其结果分析：
本次仿真实验所有数据为实际遥感数据，以GF3卫星数据为主，包含GF3条带、聚束、扫描等多种模式，1米、3米、10米等多种分辨率。
从图3和图4可见，本发明分割方法对于海陆复杂场景具有较好的分割效果，其分割精细、处理效率高，具有较好的实用价值。对52景混合分辨率的GF3图像进行像素级分割试验，分割准确率可达85％，虚警率20％，对标SegNet分割网络(分割准确率76％，虚警率40％)均有较为明显的提升。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.基于视觉注意与残差网络的SAR遥感图像水域分割方法，其特征在于，包括如下步骤：
步骤（1），构建数据集：采集SAR影像数据共N景，单景尺寸不低于5k*5k像素，并将数据划分为训练数据集和验证数据集；
步骤（2），对训练数据进行分块：读入训练集中SAR遥感图像并进行分块；所述分块采用有重叠的分块方式，即采用L×L的正方形在SAR遥感图像中进行水平和竖直方向的步进，步进量为L/2，获得多个分块，称为Tile块；
步骤（3），训练数据标注与增强：按照是否存在水域对步骤（2）中划分Tile块进行分类，存在水域则标注为1，否则标注为0，将水域标注文件存储作为标签集，然后对数据进行扩增，获得增广数据集；
步骤（4），构造基于视觉注意机制的残差网络模型；
步骤（5），训练基于视觉注意机制的残差网络模型：将训练数据集和标签集输入到步骤（4）搭建好基于视觉注意机制的残差网络模型中，训练残差分类网络，得到训练M代的网络模型架构，之后将训练得到的模型进行加载，并基于验证数据集进行测试，计算分类准确率，保存准确率最优的模型参数；
步骤（6），测试基于视觉注意机制的残差网络模型：加载最优模型参数，将待分割SAR影像按照步骤（2）进行分块，输入到训练好的残差分类网络输入层，残差分类网络输出层输出对每一Tile块的判别结果；
步骤（7），根据判别结果在原始输入图像中进行区域标注和二值化处理，得到分割结果；
步骤（8），根据需求对分割结果进行保存或输出。
2.根据权利要求1所述的基于视觉注意与残差网络的SAR遥感图像水域分割方法，其特征在于，步骤（1）的具体方法为：
搜集并下载Terra SAR和GF3 SAR影像数据共N景，单景尺寸不低于5k*5k像素，并将数据按照4:1的比例划分为训练数据集、验证数据集。
3.根据权利要求1所述的基于视觉注意与残差网络的SAR遥感图像水域分割方法，其特征在于，步骤（2）中，L取值为27、28和29。
4.根据权利要求1所述的基于视觉注意与残差网络的SAR遥感图像水域分割方法，其特征在于，步骤（3）中，对数据进行旋转、镜像、灰度变换操作，获得增广数据集。
5.根据权利要求1所述的基于视觉注意与残差网络的SAR遥感图像水域分割方法，其特征在于，步骤（4）的具体方法为：
（4a）搭建一个8层残差分类网络模型，网络的结构为：数据输入层→第一卷积层→第一池化层→第一残差模块→第二池化层→第二残差模块→第三池化层→第二卷积层，其中，残差模块包含残差链路和三个卷积层；
（4b）构建视觉注意机制模块：该模块由一个全局均值池化层，再连接两个全连接层，之后连接一个softmax层组成，输出为C维权重系数；
（4c）构建Scale模块：将残差网络和视觉注意机制模块的输出进行拼接，即将视觉注意机制的输出作为权重系数乘在残差网络的输出层；
（4d）构建输出模块：该模块由一个全局均值池化层和一个softmax分类层构成。
6.根据权利要求4所述的基于视觉注意与残差网络的SAR遥感图像水域分割方法，其特征在于，（4a）中，第一卷积层和第二卷积层核尺寸设置为3×3像素，核数分别设置为16和64；第一池化层和第二池化层的操作方式使用最大池化方式，残差模块中卷积层尺寸分比为 1×1、3×3、1×1，核数分别设置为16、16、32。
7.根据权利要求4所述的基于视觉注意与残差网络的SAR遥感图像水域分割方法，其特征在于，（4b）中，全局均值池化层输出节点设置为64，尺寸设置为1，第一个全连接层输出节点设置为4，第二个全连接层输出节点设置为64。
8.根据权利要求4所述的基于视觉注意与残差网络的SAR遥感图像水域分割方法，其特征在于，（4d）中，全局均值池化层输出维度设置为类别数2。
9.根据权利要求1所述的基于视觉注意与残差网络的SAR遥感图像水域分割方法，其特征在于，步骤（5）的具体方法为：
第1步，设置batch_size、最大迭代次数、学习率的训练超参数；
第2步，将带有训练数据集图像路径和对应标签信息的列表文件读入步骤（4）搭建好基于视觉注意机制的残差网络模型中，对网络进行训练，每隔K代利用划分的验证数据集中数据对网络性能进行测试，每隔S代保存当前训练得到的模型参数，直到训练代数达到设置的最大迭代次数M，其中，K、S、M均为提前预设的正整数参数，K和S设置值应不超过M；
第3步：采用循环比对的策略挑选最优化训练模型参数，并对参数进行保存，循环比对策略具体为：加载已经训练的模型参数，对验证数据集中数据进行分类，统计每个模型的分类准确率，并按照准确率进行排序，准确率最高的模型作为最优化训练模型参数。
10.根据权利要求1所述的基于视觉注意与残差网络的SAR遥感图像水域分割方法，其特征在于，步骤（7）的具体方法为：
第1步，根据步骤（6）保存的标签信息对应到原始待分割SAR影像中；
第2步，对原始待分割SAR影像进行区域标注和二值化处理，即，将判定为水域的图像块置1，判定为非水域的图像块置零，生成最终分割结构。
CN202011211723.8A 2020-11-03 2020-11-03 基于视觉注意与残差网络的sar遥感图像水域分割方法 Pending CN112365508A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011211723.8A CN112365508A (zh) 2020-11-03 2020-11-03 基于视觉注意与残差网络的sar遥感图像水域分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011211723.8A CN112365508A (zh) 2020-11-03 2020-11-03 基于视觉注意与残差网络的sar遥感图像水域分割方法

Publications (1)

Publication Number Publication Date
CN112365508A true CN112365508A (zh) 2021-02-12

Family

ID=74512765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011211723.8A Pending CN112365508A (zh) 2020-11-03 2020-11-03 基于视觉注意与残差网络的sar遥感图像水域分割方法

Country Status (1)

Country Link
CN (1) CN112365508A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113901965A (zh) * 2021-12-07 2022-01-07 广东省科学院智能制造研究所 分液中的液体状态识别方法及分液系统
CN116385889A (zh) * 2023-06-07 2023-07-04 国网电力空间技术有限公司 基于铁路识别的电力巡检方法、装置、电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190065817A1 (en) * 2017-08-29 2019-02-28 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN111582225A (zh) * 2020-05-19 2020-08-25 长沙理工大学 一种遥感图像场景分类方法及装置
CN111767801A (zh) * 2020-06-03 2020-10-13 中国地质大学（武汉） 一种基于深度学习的遥感影像水域自动提取方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190065817A1 (en) * 2017-08-29 2019-02-28 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN111582225A (zh) * 2020-05-19 2020-08-25 长沙理工大学 一种遥感图像场景分类方法及装置
CN111767801A (zh) * 2020-06-03 2020-10-13 中国地质大学（武汉） 一种基于深度学习的遥感影像水域自动提取方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113901965A (zh) * 2021-12-07 2022-01-07 广东省科学院智能制造研究所 分液中的液体状态识别方法及分液系统
CN113901965B (zh) * 2021-12-07 2022-05-24 广东省科学院智能制造研究所 分液中的液体状态识别方法及分液系统
CN116385889A (zh) * 2023-06-07 2023-07-04 国网电力空间技术有限公司 基于铁路识别的电力巡检方法、装置、电子设备
CN116385889B (zh) * 2023-06-07 2023-09-19 国网电力空间技术有限公司 基于铁路识别的电力巡检方法、装置、电子设备

Similar Documents

Publication Publication Date Title
Wang et al. Multiscale visual attention networks for object detection in VHR remote sensing images
CN109977918B (zh) 一种基于无监督域适应的目标检测定位优化方法
CN111738112B (zh) 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法
Aghdami-Nia et al. Automatic coastline extraction through enhanced sea-land segmentation by modifying Standard U-Net
Ma et al. National-scale greenhouse mapping for high spatial resolution remote sensing imagery using a dense object dual-task deep learning framework: A case study of China
CN110097101B (zh) 一种基于改进可靠性因子的遥感图像融合与海岸带分类方法
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
Xu et al. Feature-based constraint deep CNN method for mapping rainfall-induced landslides in remote regions with mountainous terrain: An application to Brazil
Onishi et al. Deep convolutional neural network for cloud coverage estimation from snapshot camera images
Zhang et al. Investigation of pavement crack detection based on deep learning method using weakly supervised instance segmentation framework
CN114119621A (zh) 基于深度编解码融合网络的sar遥感图像水域分割方法
CN112365508A (zh) 基于视觉注意与残差网络的sar遥感图像水域分割方法
CN114565824B (zh) 基于全卷积网络的单阶段旋转舰船检测方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
CN116758411A (zh) 一种基于遥感图像逐像素处理的舰船小目标检测方法
CN115661932A (zh) 一种垂钓行为检测方法
Fan et al. Multilevel spatial-channel feature fusion network for urban village classification by fusing satellite and streetview images
Wang et al. Simultaneous extracting area and quantity of agricultural greenhouses in large scale with deep learning method and high-resolution remote sensing images
CN116719031B (zh) 一种合成孔径雷达sar图像的海洋涡旋检测方法及系统
CN117197456A (zh) 一种面向he染色的病理图像细胞核同时分割分类方法
Chen et al. Ship detection in complex weather based on cnn
Yao et al. Cloud detection in optical remote sensing images with deep semi-supervised and active learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210212

RJ01 Rejection of invention patent application after publication