CN110211137B - 基于残差网络和U-Net分割网络的卫星图像分割方法 - Google Patents

基于残差网络和U-Net分割网络的卫星图像分割方法 Download PDF

Info

Publication number
CN110211137B
CN110211137B CN201910494013.1A CN201910494013A CN110211137B CN 110211137 B CN110211137 B CN 110211137B CN 201910494013 A CN201910494013 A CN 201910494013A CN 110211137 B CN110211137 B CN 110211137B
Authority
CN
China
Prior art keywords
network
residual error
segmentation
layer
resnet34
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910494013.1A
Other languages
English (en)
Other versions
CN110211137A (zh
Inventor
姬红兵
吴曌
张文博
李林
臧博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910494013.1A priority Critical patent/CN110211137B/zh
Publication of CN110211137A publication Critical patent/CN110211137A/zh
Application granted granted Critical
Publication of CN110211137B publication Critical patent/CN110211137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于残差网络和U‑Net分割网络的卫星图像分割方法，其步骤为：构建残差网络ResNet34；构建U‑Net分割网络；构建训练样本集；训练残差网络ResNet34；训练U‑Net分割网络；将待分割的卫星图像输入到残差网络ResNet34进行二分类，判断包含船只目标；使用U‑Net分割网络对分类结果中的正样本进行二值分割；对于分类结果中的负样本，直接输出单值掩码图；本发明利用残差网络ResNet34对卫星图像进行二分类，使用U‑Net分割网络仅对分类结果中的正样本进行分割，并在U‑Net分割中嵌入SE‑ResNet模块，提取更加精细的分割掩码，实时性高，分割精度高。

Description

基于残差网络和U-Net分割网络的卫星图像分割方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像分割技术领域中的一种基于残差网络和U-Net分割网络的卫星图像分割方法。本发明可用于从高分辨率卫星图像中检测出船只目标并从图像中分割出船只所在区域。
背景技术
随着当今社会的不断发展，海上运输安全成为人们关注的热门话题。随着日益增长的航运需求，更多的海上船只增加了海上违规运输的可能性，如非法捕鱼、海盗、非法货物运输等，为海上监管造成了极大的难度。卫星图像中的船只检测与分割可以帮助监管部门对海上船只进行实时监测，维护海上运输安全。然而由于船只目标在一幅卫星图像中所占区域较小，拍摄角度各异，对象多而复杂，背景杂波和光照变化大，再加上建筑物与船只之间不同程度的遮挡等，都给卫星图像的船只检测与分割带来巨大挑战。
武汉大学在其申请的专利文献“基于Faster R-CNN的卫星图像海上舰船识别方法”(专利申请号：201811480053.2，申请公布号：CN109598241A)中提出了一种基于目标选择的卫星图像分割方法。该方法的实现步骤为：根据海面和陆地的差异将图像进行分割，选择海面图像作为备选区域，根据卫星图像的高分辨率部分图像颜色特征单一的特点，使用基于灰度直方图的分割算法，并对分割后的海洋部分图像边缘采用形态学方式进行扩展，将部分陆地信息和全部船只信息分割进入海面部分，确保目标的完整性；按照扩展之后的边缘结果进行最终的图像分割。该方法存在的不足之处是，仅提取了灰度直方图特征，灰度直方图特征受光照及噪声影响大，且只包含底层灰度及纹理信息，鲁棒性较差，导致分割精度不高。
宋天龙在其发表的论文“针对卫星图像的语义分割算法研究”(哈尔滨工业大学，硕士论文2018年6月，p32-39，p47-48)中提出了一种基于U-Net网络的卫星图像的分割方法。该方法的实现步骤为：构建样本集并进行样本增容；构建U-Net网络作为语义分割的主体网络；使用二值交叉熵及Jaccard联合损失函数训练优化U-Net网络；在此模型的基础上，得到卫星图像的分割结果，对该结果进行分类，使用稠密条件随机场对分类结果进行精修。该方法存在的不足之处是，直接将所有卫星图像输入网络进行分割和分类，这些图像中往往包含大量的负样本，将大量负样本图像输入网络进行分割，实时性差，造成了空间资源的浪费；此外，使用二值交叉熵及Jaccard联合损失函数并不能很好的训练分割网络，由于目标区域少，背景区域多，二值交叉熵及Jaccard联合损失函数容易被大量的背景区域所主导，导致分割网络不易收敛。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于残差网络和U-Net分割网络的卫星图像分割方法。
实现本发明目的的思路是，构建残差网络ResNet34用于对卫星图像进行二分类，构建U-Net分割网络用于对分类结果中的正样本进行分割，并在U-Net分割网络中嵌入SE-ResNet模块，以提升分割效率和分割精度。
本发明的具体步骤包括如下：
(1)构建残差网络ResNet34：
(1a)搭建一个34层的残差网络ResNet34；
(1b)设置残差网络ResNet34各模块参数；
(2)构建U-Net分割网络：
(2a)搭建一个39层的U-Net分割网络，其结构依次为：输入层→特征提取层→最大池化层→第二组合模块→第三组合模块；
所述第二组合模块的结构与34层的残差网络ResNet34中的第一组合模块的结构相同；
所述第三组合模块是由五个上采样层串联构成的，其中，前四个上采样层均由一个反卷积层和一个六层的SE-ResNet模块并联组成，第五个上采样层由一个反卷积层组成；
第二组合模块中的第十三、九、五、一共四个残差块的输出与六层的SE-ResNet模块的输入相连接；所述六层的SE-ResNet模块的结构依次为：卷积层→全局池化层→第二个全连接层→ReLU激活函数层→第三个全连接层→Sigmoid层，将Sigmoid层的输出结果与卷积层的输出结果相乘，获得新的特征图，将该特征图与卷积层的输入相连接；
(2b)设置U-Net分割网络的各模块参数如下：
所述特征提取层、第二组合模块参数的设置与34层的残差网络ResNet34中的特征提取层、第一组合模块的参数相同；
将第三组合模块中的前四个上采样层的反卷积层特征映射图均设置为128个，卷积核大小均设置为2×2个像素，将六层的SE-ResNet模块中的卷积层的输出特征映射图均设置为128个，卷积核大小均设置为1×1像素，步长均设置为1个像素；
将第三组合模块中第五个上采样层的反卷积层特征映射图设置为1个，卷积核大小设置为2×2个像素；
(3)构建训练样本集：
(3a)采集至少50000张分辨率为768×768的卫星图像，其中至少1/3的图像中包含船只目标；
(3b)对包含船只的每一张图像中船只的像素点进行人工标注，生成与采集图像一一对应的分割掩码图像，将所采集的卫星图像和分割掩码图像组成训练样本集；
(4)训练残差网络ResNet34：
(4a)对训练样本集中包含船只的样本进行过采样，选取与过采样的样本数目相同的仅包含背景的样本进行欠采样；
(4b)将过采样和欠采样后的训练样本集输入到残差网络ResNet34中，采用逐级训练的方式，不断调整优化网络训练参数，直到残差网络ResNet34分类准确率超过设定的阈值0.98，得到训练好的残差网络ResNet34二分类模型；
(5)训练U-Net分割网络：
(5a)将过采样后的样本集输入到U-Net分割网络中，将U-Net分割网络输出的特征图作为网络预测的分割掩码图；
(5b)计算DiceLoss和FocalLoss的联合损失函数值，使用随机梯度下降法优化该联合损失函数值，训练U-Net分割网络，得到训练好的U-Net分割网络；
(6)将每幅待分割的卫星图像输入到残差网络ResNet34进行二分类；
(7)判断输入的每幅卫星图像中是否包含船只目标，若是，则执行步骤(8)，否则，执行步骤(9)；
(8)使用U-Net分割网络对包含船只目标的正样本进行二值分割：
对于包含船只目标的每幅卫星图像，使用训练好的U-Net34分割网络对船只目标所在区域进行分割，对分割结果进行二值开运算处理，将二值开运算处理后的分割掩码图作为卫星图像最终的分割掩码图；
(9)对于不包含船只目标的卫星图像，直接输出单值掩码图。
本发明与现有的技术相比具有以下优点：
第一，由于本发明利用一个残差网络ResNet34对卫星图像进行二分类，采用逐级训练的方式提取不同尺度的深度特征，克服了现有技术仅有底层灰度及纹理特征造成的鲁棒性较差的问题，使得本发明具有鲁棒性高的优点。
第二，由于本发明构建了一个U-Net分割网络仅对包含船只目标的正样本进行分割，对不包含船只目标的卫星图像，直接输出单值掩码图，克服了现有技术实时性差的问题，使得本发明具有分割速度快、分割效率高的优点。
第三，由于本发明在U-Net分割网络设计中嵌入了SE-ResNet模块，且在训练过程中引入了DiceLoss和FocalLoss的联合损失函数训练U-Net分割网络，并对分割掩码使用二值开运算处理，克服了现有技术中分割精度低，网络不易收敛的问题，使得本发明具有分割精度高、收敛快的优点。
附图说明
图1是本发明的流程图；
图2是本发明的U-Net分割网络的结构示意图；
图3是本发明的仿真图。
具体实施方式
下面结合附图1，对本发明做进一步的详细描述。
参照附图1，对本发明的实现步骤做进一步的详细描述。
步骤1，构建残差网络ResNet34。
搭建一个34层的残差网络ResNet34，其结构依次为：输入层→特征提取层→最大池化层→第一组合模块→全局平均池化层→第一个全连接层；所述的第一组合模块由十六个残差模块依次连接组成，每个残差模块由两个卷积层组成，其中第二个卷积层的输出与第一个卷积层的输入相连接。
设置残差网络ResNet34各模块参数如下：
将特征提取层的特征映射图设置为64个，卷积核大小设置为7×7个像素，步长设置为2个像素；
将第一组合模块中的前三个残差模块中每个卷积层的特征映射图均设置为64个，卷积核大小均设置为3×3个像素，步长均设置为1个像素。
将第一组合模块中的第四个到第七个残差模块的特征映射图均设置为128个，卷积核大小均设置为3×3个像素，其中第四个残差模块的第一个卷积层的步长设置为2个像素，其它卷积层的步长均设置为1个像素。
将第一组合模块中的第八个到第十三个残差模块的特征映射图均设置为256个，卷积核大小均设置为3×3个像素，其中第八个残差模块的第一个卷积层的步长设置为2个像素，其它卷积层步长均设置为1个像素。
将第一组合模块中的第十四个到第十六个残差模块的特征映射图均设置为512个，卷积核大小均设置为3×3个像素，其中第十四个残差模块的第一个卷积层的步长设置为2个像素，其它卷积层的步长均设置为1个像素。
步骤2，构建U-Net分割网络。
参照附图2，对本发明构建的U-Net分割网络做进一步的详细描述。
搭建一个39层的U-Net分割网络，其结构依次为：输入层→特征提取层→最大池化层→第二组合模块→第三组合模块。
所述第二组合模块的结构与34层的残差网络ResNet34中的第一组合模块的结构相同；
所述第三组合模块是由五个上采样层串联构成的，其中，前四个上采样层均由一个反卷积层和一个六层的SE-ResNet模块并联组成，第五个上采样层由一个反卷积层组成。
第二组合模块中的第十三、九、五、一共四个残差块的输出与六层的SE-ResNet模块的输入相连接；所述六层的SE-ResNet模块的结构依次为：卷积层→全局池化层→第二个全连接层→ReLU激活函数层→第三个全连接层→Sigmoid层，将Sigmoid层的输出结果与卷积层的输出结果相乘，获得新的特征图，将该特征图与卷积层的输入相连接。
设置U-Net分割网络的各模块参数如下：
所述特征提取层、第二组合模块参数的设置与34层的残差网络ResNet34中的特征提取层、第一组合模块的参数相同。
将第三组合模块中的前四个上采样层的反卷积层特征映射图均设置为128个，卷积核大小均设置为2×2个像素，将六层的SE-ResNet模块中的卷积层的输出特征映射图均设置为128个，卷积核大小均设置为1×1像素，步长均设置为1个像素。
将第三组合模块中第五个上采样层的反卷积层特征映射图设置为1个，卷积核大小设置为2×2个像素。
步骤3，构建训练样本集。
采集至少50000张分辨率为768×768的卫星图像，其中至少1/3的图像中包含船只目标。
对包含船只的每一张图像中船只的像素点进行人工标注，生成与采集图像一一对应的分割掩码图像，将所采集的卫星图像和分割掩码图像组成训练样本集。
步骤4，训练残差网络ResNet34。
对训练样本集中包含船只的样本进行过采样，选取与过采样的样本数目相同的仅包含背景的样本进行欠采样。
将过采样和欠采样后的训练样本集输入到残差网络ResNet34中，采用逐级训练的方式，不断调整优化网络训练参数，直到残差网络ResNet34分类准确率超过设定的阈值0.98，得到训练好的残差网络ResNet34二分类模型。
所述逐级训练的方式具体步骤如下：
第1步，将过采样和欠采样后的训练样本集中的所有图像压缩到256×256分辨率后输入到残差网络ResNet34中，对残差网络ResNet34的每一个网络参数进行随机初始化，采用随机梯度下降算法，对初始化后的残差网络ResNet34迭代训练10次后，将最后一次迭代的网络参数组成模型一。
第2步，将过采样和欠采样后的训练样本集中的所有图像压缩到384×384分辨率后输入到残差网络ResNet34中，使用模型一中的网络参数对残差网络ResNet34中的网络参数进行初始化，采用随机梯度下降算法，对初始化后的残差网络ResNet34迭代训练10次后，将最后一次迭代的网络参数组成模型二。
第3步，将过采样和欠采样后的训练样本集中的所有图像输入到残差网络ResNet34中，使用模型二中的网络参数对残差网络ResNet34中的网络参数进行初始化，采用随机梯度下降算法，对初始化后的残差网络ResNet34迭代训练10次后，将最后一次迭代的网络参数作为训练好的残差网络ResNet34二分类模型。
所述分类准确率如下：
Figure BDA0002087972530000061
其中，P表示分类准确率，TP表示将正类预测为正类的训练样本总数，FN表示将正类预测为负类的训练样本总数，FP表示将负类预测为正类的训练样本总数，TN表示将负类预测为负类的训练样本总数。
步骤5，训练U-Net分割网络。
将过采样后的样本集输入到U-Net分割网络中，将U-Net分割网络输出的特征图作为网络预测的分割掩码图。
计算DiceLoss和FocalLoss的联合损失函数值，使用随机梯度下降法优化该联合损失函数值，训练U-Net分割网络，得到训练好的U-Net分割网络。
所述计算DiceLoss和FocalLoss的联合损失函数值是由下式得到的：
L＝λ·L1-logL2
其中，L表示U-Net分割网络预测的分割掩码与训练样本集真实的分割掩码之间的DiceLoss和FocalLoss联合损失函数值，λ表示取值为10的权重因子，·表示点乘操作，L1表示FocalLoss损失函数值，log表示以2为底的对数操作，L2表示DiceLoss损失函数值。
FocalLoss损失函数值是由下式得到的：
Figure BDA0002087972530000071
其中，L1表示FocalLoss损失函数值，α表示取值为0.25的参数调节因子，p表示U-Net分割网络输出的二值分割掩码图像，γ表示取值为2的参数调节因子，t表示人工标注的分割掩码图像。
DiceLoss损失函数值是由下式得到的：
Figure BDA0002087972530000072
其中，L2表示DiceLoss损失函数值。
步骤6，将每幅待分割的卫星图像输入到残差网络ResNet34进行二分类。
步骤7，判断输入的卫星图像中是否包含船只目标，若是，则执行步骤8，否则，执行步骤9。
步骤8，使用U-Net分割网络对包含船只目标的正样本进行二值分割。
对于包含船只目标的每幅卫星图像，使用训练好的U-Net34分割网络对船只目标所在区域进行分割，对分割结果进行二值开运算处理，将二值开运算处理后的分割掩码图作为卫星图像最终的分割掩码图。
步骤9，对于不包含船只目标的卫星图像，直接输出单值掩码图。
下面结合仿真实验对本发明的效果做进一步的描述。
1.仿真条件：
本发明仿真实验的硬件测试平台是：CPU为Intel(R)Core(TM)i7-8700X，主频为3.2GHz，内存64GB，GPU为NVIDIA 1080Ti；软件平台是：Ubuntu 16.04 LTS。
本发明所使用的训练样本集和测试样本集系来自Kaggle Airbus ShipDetection Challenge比赛主办方提供的卫星图像集，训练样本集共包含192556张卫星图像，测试样本集共包含15606张卫星图像。
2.仿真内容与结果分析：
本发明的仿真实验是采用本发明的方法，在Kaggle Airbus Ship DetectionChallenge比赛主办方提供的训练样本集上，对构建的残差网络ResNet34和构建的U-Net分割网络分别进行训练。利用训练好的残差网络ResNet34模型对测试样本集上的卫星图像进行二分类，使用训练好的U-Net分割网络从分类结果中的正样本图像中分割出船只目标所在区域，对于分类结果中的负样本图像，直接输出单值掩码图。
附图3为本发明的仿真实验结果图，图3中的(a)、(c)、(e)三个图为测试样本集中待分割的卫星图像，图3中的(b)、(d)、(f)三个图为与(a)、(c)、(e)对应的船只区域的分割掩码图。

Claims (6)

1.一种基于残差网络和U-Net分割网络的卫星图像分割方法，其特征在于，利用残差网络ResNet34对卫星数据进行二分类，利用所构建和训练的U-Net分割网络从分类结果中的正样本中分割出船只区域；该方法的具体步骤如下：
(1)构建残差网络ResNet34：
(1a)搭建一个34层的残差网络ResNet34；
(1b)设置残差网络ResNet34各模块参数；
(2)构建U-Net分割网络：
(2a)搭建一个39层的U-Net分割网络，其结构依次为：输入层→特征提取层→最大池化层→第二组合模块→第三组合模块；
所述第二组合模块的结构与34层的残差网络ResNet34中的第一组合模块的结构相同；
所述第三组合模块是由五个上采样层串联构成的，其中，前四个上采样层均由一个反卷积层和一个六层的SE-ResNet模块并联组成，第五个上采样层由一个反卷积层组成；
第二组合模块中的第十三、九、五、一共四个残差块的输出与六层的SE-ResNet模块的输入相连接；所述六层的SE-ResNet模块的结构依次为：卷积层→全局池化层→第二个全连接层→ReLU激活函数层→第三个全连接层→Sigmoid层，将Sigmoid层的输出结果与卷积层的输出结果相乘，获得新的特征图，将该特征图与卷积层的输入相连接；
(2b)设置U-Net分割网络的各模块参数如下：
所述特征提取层、第二组合模块参数的设置与34层的残差网络ResNet34中的特征提取层、第一组合模块的参数相同；
将第三组合模块中的前四个上采样层的反卷积层特征映射图均设置为128个，卷积核大小均设置为2×2个像素，将六层的SE-ResNet模块中的卷积层的输出特征映射图均设置为128个，卷积核大小均设置为1×1像素，步长均设置为1个像素；
将第三组合模块中第五个上采样层的反卷积层特征映射图设置为1个，卷积核大小设置为2×2个像素；
(3)构建训练样本集：
(3a)采集至少50000张分辨率为768×768的卫星图像，其中至少1/3的图像中包含船只目标；
(3b)对包含船只的每一张图像中船只的像素点进行人工标注，生成与采集图像一一对应的分割掩码图像，将所采集的卫星图像和分割掩码图像组成训练样本集；
(4)训练残差网络ResNet34：
(4a)对训练样本集中包含船只的样本进行过采样，选取与过采样的样本数目相同的仅包含背景的样本进行欠采样；
(4b)将过采样和欠采样后的训练样本集输入到残差网络ResNet34中，采用逐级训练的方式，不断调整优化网络训练参数，直到残差网络ResNet34分类准确率超过设定的阈值0.98，得到训练好的残差网络ResNet34二分类模型；
(5)训练U-Net分割网络：
(5a)将过采样后的样本集输入到U-Net分割网络中，将U-Net分割网络输出的特征图作为网络预测的分割掩码图；
(5b)计算DiceLoss和FocalLoss的联合损失函数值，使用随机梯度下降法优化该联合损失函数值，训练U-Net分割网络，得到训练好的U-Net分割网络；
(6)将每幅待分割的卫星图像输入到残差网络ResNet34进行二分类；
(7)判断输入的每幅卫星图像中是否包含船只目标，若是，则执行步骤(8)，否则，执行步骤(9)；
(8)使用U-Net分割网络对包含船只目标的正样本进行二值分割：
对于包含船只目标的每幅卫星图像，使用训练好的U-Net34分割网络对船只目标所在区域进行分割，对分割结果进行二值开运算处理，将二值开运算处理后的分割掩码图作为卫星图像最终的分割掩码图；
(9)对于不包含船只目标的卫星图像，直接输出单值掩码图。
2.根据权利要求1所述的基于残差网络和U-Net分割网络的卫星图像分割方法，其特征在于，步骤(1a)中所述34层的残差网络ResNet34的结构依次为：输入层→特征提取层→最大池化层→第一组合模块→全局平均池化层→第一个全连接层；所述的第一组合模块由十六个残差模块依次连接组成，每个残差模块由两个卷积层组成，其中第二个卷积层的输出与第一个卷积层的输入相连接。
3.根据权利要求1所述的基于残差网络和U-Net分割网络的卫星图像分割方法，其特征在于，步骤(1b)中所述残差网络ResNet34各模块参数设置如下：
将特征提取层的特征映射图设置为64个，卷积核大小设置为7×7个像素，步长设置为2个像素；
将第一组合模块中的前三个残差模块中每个卷积层的特征映射图均设置为64个，卷积核大小均设置为3×3个像素，步长均设置为1个像素；
将第一组合模块中的第四个到第七个残差模块的特征映射图均设置为128个，卷积核大小均设置为3×3个像素，其中第四个残差模块的第一个卷积层的步长设置为2个像素，其它卷积层的步长均设置为1个像素；
将第一组合模块中的第八个到第十三个残差模块的特征映射图均设置为256个，卷积核大小均设置为3×3个像素，其中第八个残差模块的第一个卷积层的步长设置为2个像素，其它卷积层步长均设置为1个像素；
将第一组合模块中的第十四个到第十六个残差模块的特征映射图均设置为512个，卷积核大小均设置为3×3个像素，其中第十四个残差模块的第一个卷积层的步长设置为2个像素，其它卷积层的步长均设置为1个像素。
4.根据权利要求1所述的基于残差网络和U-Net分割网络的卫星图像分割方法，其特征在于，步骤(4b)中所述逐级训练的方式具体步骤如下：
第一步，将过采样和欠采样后的训练样本集中的所有图像压缩到256×256分辨率后输入到残差网络ResNet34中，对残差网络ResNet34的每一个网络参数进行随机初始化，采用随机梯度下降算法，对初始化后的残差网络ResNet34迭代训练10次后，将最后一次迭代的网络参数组成模型一；
第二步，将过采样和欠采样后的训练样本集中的所有图像压缩到384×384分辨率后输入到残差网络ResNet34中，使用模型一中的网络参数对残差网络ResNet34中的网络参数进行初始化，采用随机梯度下降算法，对初始化后的残差网络ResNet34迭代训练10次后，将最后一次迭代的网络参数组成模型二；
第三步，将过采样和欠采样后的训练样本集中的所有图像输入到残差网络ResNet34中，使用模型二中的网络参数对残差网络ResNet34中的网络参数进行初始化，采用随机梯度下降算法，对初始化后的残差网络ResNet34迭代训练10次后，将最后一次迭代的网络参数作为训练好的残差网络ResNet34二分类模型。
5.根据权利要求1所述的基于残差网络和U-Net分割网络的卫星图像分割方法，其特征在于，步骤(4b)中所述分类准确率如下：
Figure FDA0002087972520000041
其中，P表示分类准确率，TP表示将正类预测为正类的训练样本总数，FN表示将正类预测为负类的训练样本总数，FP表示将负类预测为正类的训练样本总数，TN表示将负类预测为负类的训练样本总数。
6.根据权利要求1所述的基于残差网络和U-Net分割网络的卫星图像分割方法，其特征在于，步骤(5b)中所述计算DiceLoss和FocalLoss的联合损失函数值是由下式得到的：
L＝λ·L1-logL2
其中，L表示U-Net分割网络预测的分割掩码与训练样本集真实的分割掩码之间的DiceLoss和FocalLoss联合损失函数值，λ表示取值为10的权重因子，·表示点乘操作，L1表示FocalLoss损失函数值，log表示以2为底的对数操作，L2表示DiceLoss损失函数值；
FocalLoss损失函数值是由下式得到的：
Figure FDA0002087972520000042
其中，L1表示FocalLoss损失函数值，α表示取值为0.25的参数调节因子，p表示U-Net分割网络输出的二值分割掩码图像，γ表示取值为2的参数调节因子，t表示人工标注的分割掩码图像；
DiceLoss损失函数值是由下式得到的：
Figure FDA0002087972520000043
其中，L2表示DiceLoss损失函数值。
CN201910494013.1A 2019-06-08 2019-06-08 基于残差网络和U-Net分割网络的卫星图像分割方法 Active CN110211137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910494013.1A CN110211137B (zh) 2019-06-08 2019-06-08 基于残差网络和U-Net分割网络的卫星图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910494013.1A CN110211137B (zh) 2019-06-08 2019-06-08 基于残差网络和U-Net分割网络的卫星图像分割方法

Publications (2)

Publication Number Publication Date
CN110211137A CN110211137A (zh) 2019-09-06
CN110211137B true CN110211137B (zh) 2022-12-06

Family

ID=67791491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910494013.1A Active CN110211137B (zh) 2019-06-08 2019-06-08 基于残差网络和U-Net分割网络的卫星图像分割方法

Country Status (1)

Country Link
CN (1) CN110211137B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765900B (zh) * 2019-10-10 2023-09-05 安徽磐众信息科技有限公司 一种基于dssd的自动检测违章建筑方法及系统
CN111104850B (zh) * 2019-10-30 2023-09-26 中国四维测绘技术有限公司 一种基于残差网络的遥感影像建筑物自动提取方法和系统
CN111062252B (zh) * 2019-11-15 2023-11-10 浙江大华技术股份有限公司 一种实时危险物品语义分割方法、装置及存储装置
CN110910364B (zh) * 2019-11-16 2023-04-28 应急管理部沈阳消防研究所 基于深度神经网络的三切面火场易引发起火电器设备检测方法
CN110992373B (zh) * 2019-11-25 2022-04-01 杭州电子科技大学 一种基于深度学习的胸腔器官分割方法
CN110910413A (zh) * 2019-11-28 2020-03-24 中国人民解放军战略支援部队航天工程大学 一种基于U-Net的ISAR图像分割方法
CN111091541B (zh) * 2019-12-12 2020-08-21 哈尔滨市科佳通用机电股份有限公司 一种铁路货车横跨梁组装螺母丢失故障识别方法
CN111091580B (zh) * 2019-12-17 2023-03-14 浙江农林大学 一种基于改进ResNet-UNet网络的立木图像分割方法
CN111242028A (zh) * 2020-01-13 2020-06-05 北京工业大学 基于U-Net的遥感图像地物分割方法
CN111598892B (zh) * 2020-04-16 2023-06-30 浙江工业大学 一种基于Res2-UNeXt网络结构的细胞图像分割方法
CN111797894A (zh) * 2020-05-27 2020-10-20 北京齐尔布莱特科技有限公司 一种图像分类方法及计算设备
CN111986099B (zh) * 2020-06-30 2022-05-13 武汉大学 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN111915571A (zh) * 2020-07-10 2020-11-10 云南电网有限责任公司带电作业分公司 融合残差网络与U-Net网络的图像变化检测方法、装置、存储介质及设备
CN112037225A (zh) * 2020-08-20 2020-12-04 江南大学 一种基于卷积神经的海洋船舶图像分割方法
CN112132193A (zh) * 2020-09-10 2020-12-25 中国科学院深圳先进技术研究院 一种用于遥感图像分类的神经网络优化方法、终端以及存储介质
CN112634279B (zh) * 2020-12-02 2023-04-07 四川大学华西医院 一种基于注意力Unet模型的医学图像语义分割方法
CN112785617B (zh) * 2021-02-23 2022-04-15 青岛科技大学 残差UNet直肠癌肿瘤磁共振图像自动分割方法
CN113223000A (zh) * 2021-04-14 2021-08-06 江苏省基础地理信息中心 一种提高小目标分割精度的综合方法
CN113223006B (zh) * 2021-05-19 2022-04-15 成都理工大学 一种基于深度学习的轻量级目标语义分割方法
CN113505697B (zh) * 2021-07-09 2022-07-29 哈尔滨工业大学 一种基于U-Net网络的高频地波雷达杂波分类方法
CN113838027A (zh) * 2021-09-23 2021-12-24 杭州柳叶刀机器人有限公司 基于图像处理获取目标图像元素的方法及系统
CN117611828B (zh) * 2024-01-19 2024-05-24 云南烟叶复烤有限责任公司 一种基于高光谱图像分割技术的非烟杂物检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN109766811A (zh) * 2018-12-31 2019-05-17 复旦大学 一种星载sar图像中海面船只的端到端检测与识别方法
CN109785344A (zh) * 2019-01-22 2019-05-21 成都大学 基于特征重标定的双通路残差网络的遥感图像分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN109766811A (zh) * 2018-12-31 2019-05-17 复旦大学 一种星载sar图像中海面船只的端到端检测与识别方法
CN109785344A (zh) * 2019-01-22 2019-05-21 成都大学 基于特征重标定的双通路残差网络的遥感图像分割方法

Also Published As

Publication number Publication date
CN110211137A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110211137B (zh) 基于残差网络和U-Net分割网络的卫星图像分割方法
CN108460382B (zh) 基于深度学习单步检测器的光学遥感图像舰船检测方法
CN112560671B (zh) 基于旋转卷积神经网络的船舶检测方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN111753677B (zh) 基于特征金字塔结构的多角度遥感船舶图像目标检测方法
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
Huang et al. An intelligent ship image/video detection and classification method with improved regressive deep convolutional neural network
CN113361367B (zh) 基于深度学习的地下目标电磁反演方法及系统
CN112465057B (zh) 一种基于深度卷积神经网络的目标检测识别方法
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN113536963A (zh) 基于轻量化yolo网络的sar图像飞机目标检测方法
CN116563726A (zh) 一种基于卷积神经网络的遥感图像舰船目标检测方法
CN113486819A (zh) 一种基于YOLOv4算法的船舶目标检测方法
Zhao et al. CRAS-YOLO: A novel multi-category vessel detection and classification model based on YOLOv5s algorithm
CN113436125B (zh) 基于风格迁移的侧扫声呐仿真图像生成方法、装置及设备
CN112037225A (zh) 一种基于卷积神经的海洋船舶图像分割方法
CN116071664A (zh) 基于改进CenterNet网络的SAR图像舰船检测方法
CN116168240A (zh) 基于注意力增强的任意方向密集舰船目标检测方法
CN114565824A (zh) 基于全卷积网络的单阶段旋转舰船检测方法
CN115115863A (zh) 水面多尺度目标检测方法、装置及系统和存储介质
Fu et al. Extended efficient convolutional neural network for concrete crack detection with illustrated merits
CN114596503A (zh) 一种基于遥感卫星影像的道路提取方法
CN112766381B (zh) 有限样本下属性引导的sar图像生成方法
CN110674734A (zh) 一种船舰目标检测方法、系统、设备及介质
CN115223033A (zh) 一种合成孔径声呐图像目标分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant