CN113326799A - 基于EfficientNet网络和方向学习的遥感影像道路提取方法 - Google Patents

基于EfficientNet网络和方向学习的遥感影像道路提取方法 Download PDF

Info

Publication number
CN113326799A
CN113326799A CN202110689290.5A CN202110689290A CN113326799A CN 113326799 A CN113326799 A CN 113326799A CN 202110689290 A CN202110689290 A CN 202110689290A CN 113326799 A CN113326799 A CN 113326799A
Authority
CN
China
Prior art keywords
learning
multiplied
image
size
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110689290.5A
Other languages
English (en)
Inventor
仪锋
陈文韬
李想
刘欣悦
特日根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chang Guang Satellite Technology Co Ltd
Original Assignee
Chang Guang Satellite Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chang Guang Satellite Technology Co Ltd filed Critical Chang Guang Satellite Technology Co Ltd
Priority to CN202110689290.5A priority Critical patent/CN113326799A/zh
Publication of CN113326799A publication Critical patent/CN113326799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

基于EfficientNet网络和方向学习的遥感影像道路提取方法，涉及光学遥感影像处理与深度学习领域，解决现有技术中采用像素级语义分割道路提取不连续的问题，无法生成正确拓扑连接关系的问题，本发明利用EfficientNet在特征提取的优势，提高了图像的分割质量，并引入方向学习模块进而增强了道路的连通性。方向学习模块与语义分割模块共享编码器，在上采样部分加入膨胀系数分别为1、2、4的空洞卷积用来提高感受野，最后将语义分割与方向学习的特征进行相加融合。本发明基于EfficientNet网络和方向学习的遥感影像道路提取的方法。集成了方向学习和语义分割共享编码器下采样的设计，提高了道路提取的精度。

Description

基于EfficientNet网络和方向学习的遥感影像道路提取方法
技术领域
本发明涉及光学遥感影像处理与深度学习领域，具体涉及一种基于EfficientNet网络和方向学习的遥感影像道路提取方法。
背景技术
随着高空间分辨率光学遥感卫星技术的发展，遥感影像表现出其高空间分辨率，数据量大的特点，如何利用深度学习强大的特征表达能力提取遥感影像中的信息成为遥感图像识别领域重要问题。通过遥感影像道路提取的研究已经开展多年，但由于道路的材质和形状不同，同时加上树木、建筑、绿化带的遮挡的影响，使得通过遥感影像对道路精确提取成为技术难点。
传统基于深度学习和卷积神经网络的道路提取方法是：首先利用全卷积网络生成输入图片的特征，使用反卷积对特征图进行上采样，并将每一层图像特征与大小相同的特征进行拼接，最后根据所有的特征重建图像。
上述方法仍存在明显不足：1.对于输入复杂的遥感道路影像并不能精确的进行特征提取，图像的特征提取是语义分割的重要一个环节，其结果直接影响最后的分割精度。2.该方法道路提取结果往往会包含许多零散的道路片段，其原因是缺乏对连接关系的监督以及有效拓扑关系的约束。
发明内容
本发明为解决现有技术中采用像素级语义分割道路提取不连续的问题，无法生成正确拓扑连接关系的问题，提供一种基于EfficientNet网络和方向学习的遥感影像道路提取方法。
基于EfficientNet网络和方向学习的遥感影像道路提取方法，由以下步骤实现：
步骤一、获取遥感道路图像数据集，并对所述图像数据集进行划分，获得训练集和验证集；
步骤二、将步骤一的图像数据集中RGB图像输入到EfficientNet-B4网络，获得图像中道路的特征信息；
步骤三、将步骤二中获得的特征信息进行双分支上采样，分别为语义分割和方向学习；将语义分割和方向学习同时进行上采样，并融合下采样时的浅层特征信息，获得基于EfficientNet网络和方向学习的双分支训练模型；
步骤四、采用步骤一中的训练集对步骤三获得的训练模型进行训练，获得预测模型；
步骤五、采用步骤一中的验证集对预测模型进行预测，实现图像中的道路提取。
本发明的有益效果：本发明基于EfficientNet网络和方向学习的遥感影像道路提取的方法。集成了方向学习和语义分割共享编码器下采样的设计，提高了道路提取的精度。
(1)采用EfficientNet-B4网络模型进行下采样，并在上采样中融合浅层的特征信息减少了特征的丢失，进而提高了语义分割道路提取的精度。
(2)加入了方向学习的分支，解决了传统的像素级分割道路提取不连续的问题。
附图说明
图1为本发明的流程示意图；
图2为本发明的网络结构图；该网络模型由三部分组成：共享编码器，语义分割分支，方向学习分支。对于输入的图像，通过共享编码器获得图像道路的特征信息，采用多分支任务对特征信息进行上采样，分别得到语义分割分支和方向学习分支的预测结果，最后将两者结果相加融合。
图3为本发明在建筑遮挡情况下3×1024×1024遥感影像的分割效果图；其中，(a)为原始影像，(b)为真实标签，(c)为语义分割预测影像，(d)为方向学习预测影像，(e)为融合影像；
图4为本发明在植被遮挡情况下3×1024×1024遥感影像的分割效果图；其中，(a)为原始影像，(b)为真实标签，(c)为语义分割预测影像，(d)为方向学习预测影像，(e)为融合影像。
具体实施方式
结合图1至图3说明本实施方式，基于EfficientNet网络和方向学习的遥感影像道路提取方法，该方法由以下步骤实现：
基于EfficientNet网络和方向学习的遥感影像道路提取方法，包括以下步骤：
步骤1、制作基于DeepGlobe(全球卫星图像道路提取)遥感道路数据集，具体为：
对DeelGlobe数据集进行数据集划分，其中训练集图片数量为4696，验证集图片数量为1530，图片大小1024×1024；
将训练集和验证集进行数据扩充，对每张图片进行裁剪，其中裁剪大小为512×512，裁剪重叠区域为256，进而得到训练集数量为42264，验证集数量为6120。
步骤2、将步骤1中的RGB图像输入到EfficientNet-B4网络得到图像的特征信息；
步骤2.1、生成方向学习标签图像，其中方向向量数量设为30，判定方向角度为10，道路宽度设为7；
步骤2.2、具体步骤1中，3通道RGB图像大小为512×512×3，真实标签大小为512×512×1，方向标签大小为512×512×1，并输入到EfficientNet-B4网络中
步骤2.3、设置第一层模块，卷积核大小为3×3，步长为2，特征数为48；
步骤2.4、设置第二层模块，结构为一层的MBConv，MBConv卷积核大小为3×3，特征数为24，步长为1；
步骤2.5、设置第三层模块，结构为两层的MBConv，MBConv卷积核大小为3×3，特征数为32，步长为2；
步骤2.6、设置第四层模块，结构为两层的MBConv，MBConv卷积核大小为5×5，特征数为56，步长为2；
步骤2.7、设置第五层模块，结构为三层的MBConv，MBConv卷积核大小为3×3，特征数为112，步长为2；
步骤2.8、设置最后网络层，结构为八层的MBConv，MBConv卷积核大小为5×5，步长为2，提取特征图大小为16×16，特征数为1792。
步骤3、将步骤2中的特征信息进行双分支的上采样，分支1为语义分割，分支2为方向学习。将分支1、分支2同时进行上采样，并融合下采样时的浅层特征信息，得到基于EfficientNet网络和方向学习的双分支训练模型；
步骤3.1、具体步骤2.8中，将特征图为16×16×1792进行双分支上采样，分支1为道路分割，分支2为方向学习；
步骤3.2、将两个分支同时做上采样操作，通过反卷积将特征图恢复为32×32×512；分支1首先做膨胀系数分别为1、2、4的空洞卷积，之后通过跳跃连接融合步骤2.7的特征，接着做2次3×3的卷积，将特征图调整为32×32×512；分支2通过跳跃连接融合步骤2.7的特征，接着做2次3×3的卷积，将特征图调整为32×32×512；
步骤3.3、两个分支通过反卷积进行上采样操作，并将每层与下采样大小相同的模块层输出拼接，接着进行卷积操作，最后得到上采样每一层的大小为：64×64×256，128×128×128，256×256×64，512×512×32；
步骤3.4、同时对两个分支最后一层做卷积操作，分支1用sigmoid激活函数得到大小为512×512×1的输出，分支2用softmax归一化得到512×512×30的输出；
步骤3.5、将分支1的输出和真实标签值代入交叉熵损失函数(loss1)，并将分支2的输出和方向标签值代入交叉熵损失函数(loss2)，并对模型进入训练。
步骤4、对DeepGlobe遥感道路数据集使用上述模型进行训练；
步骤4.1、程序将在CPU为Intel SkyLake 6151，GPU为2*NVIDIA T4/2*16G，操作系统为Ubuntu的机器上运行，使用Python版本为3.6，torch版本为1.7.1；
步骤4.2、对数据集进行训练时超参数如下，初始学习速率learning_rate＝0.001，优化器RMSprop，批尺寸batch_size＝8，训练代数epochs＝80，语义分割类别n_classes＝1，方向学习类别n_classes＝30；
步骤4.3、每次迭代后，保存当前最优的mIOU(交并比)模型；
步骤5、将训练得到的模型参数作为预测模型，实现图像的道路提取。
步骤5.1、对于每一张验证集(3×1024×1024)原图像使用训练后的模型进行测试，设置语义分割的输出阈值为0.5，得到语义分割的二分类输出；
步骤5.2、设置方向学习的输出阈值为30，得到方向学习的二分类输出；
步骤5.3、将步骤5.1和步骤5.2输出结果进行相加融合，得到最终道路提取结果。
结合图3和图4说明本实施方式，图3和图4中，其(a)为原始影像，(b)为真实标签，(c)为语义分割预测影像，(d)为方向学习预测影像，(e)为融合影像。可以看出，采用语义分割分支和方向分支融合的方式能够有效的改善道路提取的精度，并能够保持道路的连通性和拓扑性。

Claims (6)

1.基于EfficientNet网络和方向学习的遥感影像道路提取方法，其特征是：该方法由以下步骤实现：
步骤一、获取遥感道路图像数据集，并对所述图像数据集进行划分，获得训练集和验证集；
步骤二、将步骤一的图像数据集中RGB图像输入到EfficientNet-B4网络，获得图像中道路的特征信息；
步骤三、将步骤二中获得的特征信息进行双分支上采样，分别为语义分割和方向学习；将语义分割和方向学习同时进行上采样，并融合下采样时的浅层特征信息，获得基于EfficientNet网络和方向学习的双分支训练模型；
步骤四、采用步骤一中的训练集对步骤三获得的训练模型进行训练，获得预测模型；
步骤五、采用步骤一中的验证集对预测模型进行预测，实现图像中的道路提取。
2.根据权利要求1所述的基于EfficientNet网络和方向学习的遥感影像道路提取方法，其特征在于：步骤一中，对DeelGlobe数据集进行数据集划分，对每张图像进行裁剪，图像裁剪大小为512×512，裁剪重叠区域为256，分别获得训练集和验证集。
3.根据权利要求1所述的基于EfficientNet网络和方向学习的遥感影像道路提取方法，其特征在于：步骤二的具体过程为：
步骤二一、生成方向学习标签图像，其中方向向量数量设为30，判定方向角度为10，道路宽度设为7；
步骤二二、设定RGB图像为512×512×3，真实标签为512×512×1，步骤二一方向标签大小为512×512×1，并输入到EfficientNet-B4网络中；
步骤二三、设置EfficientNet-B4网络的第一层模块，卷积核大小为3×3，步长为2，特征数为48；设置第二层模块，结构为一层的MBConv，MBConv卷积核大小为3×3，特征数为24，步长为1；设置第三层模块，结构为两层的MBConv，MBConv卷积核大小为3×3，特征数为32，步长为2；设置第四层模块，结构为两层的MBConv，MBConv卷积核大小为5×5，特征数为56，步长为2；设置第五层模块，结构为三层的MBConv，MBConv卷积核大小为3×3，特征数为112，步长为2；
设置最后网络层，结构为八层的MBConv，MBConv卷积核大小为5×5，步长为2，提取特征图大小为16×16，特征数为1792。
4.根据权利要求1所述的基于EfficientNet网络和方向学习的遥感影像道路提取方法，其特征在于：
步骤三一、对步骤二获得的特征图，将特征图为16×16×1792进行双分支上采样；
步骤三二、将语义分割和方向学习同时进行上采样操作，通过反卷积将特征图恢复为32×32×512；
对语义分割做膨胀系数分别为1、2、4的空洞卷积，然后通过跳跃连接融合步骤二三的第五层模块的特征，做两次3×3的卷积，将特征图调整为32×32×512；
对方向学习通过跳跃连接融合步骤二三的第五层模块的特征，做两次3×3的卷积，将特征图调整为32×32×512；
步骤三三、两个分支通过反卷积进行上采样操作，将每层特征图与下采样大小相同的模块层输出拼接，进行卷积操作，最后获得上采样每一层图像的大小为：64×64×256，128×128×128，256×256×64，512×512×32；
同时对两个分支最后一层做卷积操作，语义分割采用sigmoid激活函数获得大小为512×512×1的输出，方向学习采用softmax归一化获得512×512×30的输出；
步骤三四、将语义分割的输出和步骤二二真实标签值代入交叉熵损失函数loss1，并将方向学习输出和步骤二二方向标签值代入交叉熵损失函数loss2，并对网络模型进行训练，获得基于EfficientNet网络和方向学习的双分支训练模型。
5.根据权利要求1所述的基于EfficientNet网络和方向学习的遥感影像道路提取方法，其特征在于：
步骤四中，设定数据集的训练时超参数，初始学习速率learning_rate＝0.001，优化器RMSprop，批尺寸batch_size＝8，训练迭代次数epochs＝80，语义分割类别n_classes＝1，方向学习类别n_classes＝30；
每次迭代后，保存当前最优的mIOU模型，作为预测模型。
6.根据权利要求1所述的基于EfficientNet网络和方向学习的遥感影像道路提取方法，其特征在于：
步骤五中，对于每一张验证集原图像使用步骤四训练后的模型进行测试，设置语义分割的输出阈值为0.5，获得语义分割的二分类输出；
设置方向学习的输出阈值为30，获得的二分类输出；
将所述语义分割和方向学习的输出结果进行相加融合，获得最终道路提取结果。
CN202110689290.5A 2021-06-22 2021-06-22 基于EfficientNet网络和方向学习的遥感影像道路提取方法 Pending CN113326799A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110689290.5A CN113326799A (zh) 2021-06-22 2021-06-22 基于EfficientNet网络和方向学习的遥感影像道路提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110689290.5A CN113326799A (zh) 2021-06-22 2021-06-22 基于EfficientNet网络和方向学习的遥感影像道路提取方法

Publications (1)

Publication Number Publication Date
CN113326799A true CN113326799A (zh) 2021-08-31

Family

ID=77424178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110689290.5A Pending CN113326799A (zh) 2021-06-22 2021-06-22 基于EfficientNet网络和方向学习的遥感影像道路提取方法

Country Status (1)

Country Link
CN (1) CN113326799A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115527031A (zh) * 2022-09-16 2022-12-27 山东科技大学 骨髓细胞图像分割方法、计算机设备以及可读存储介质
CN116452901A (zh) * 2023-06-19 2023-07-18 中国科学院海洋研究所 基于深度学习的遥感图像海洋养殖区自动化提取方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009103046A2 (en) * 2008-02-14 2009-08-20 The Penn State Research Foundation Medical image reporting system and method
CN112070779A (zh) * 2020-08-04 2020-12-11 武汉大学 一种基于卷积神经网络弱监督学习的遥感影像道路分割方法
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
CN112396607A (zh) * 2020-11-18 2021-02-23 北京工商大学 一种可变形卷积融合增强的街景图像语义分割方法
CN112418027A (zh) * 2020-11-11 2021-02-26 青岛科技大学 一种改进U-Net网络的遥感影像道路提取方法
CN112633242A (zh) * 2020-12-31 2021-04-09 长光卫星技术有限公司 一种基于改进UNet网络的港口矿堆分割及储量计算方法
CN112749578A (zh) * 2019-10-29 2021-05-04 中科星图股份有限公司 一种基于深度卷积神经网络的遥感图像自动道路提取方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009103046A2 (en) * 2008-02-14 2009-08-20 The Penn State Research Foundation Medical image reporting system and method
CN112749578A (zh) * 2019-10-29 2021-05-04 中科星图股份有限公司 一种基于深度卷积神经网络的遥感图像自动道路提取方法
CN112070779A (zh) * 2020-08-04 2020-12-11 武汉大学 一种基于卷积神经网络弱监督学习的遥感影像道路分割方法
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
CN112418027A (zh) * 2020-11-11 2021-02-26 青岛科技大学 一种改进U-Net网络的遥感影像道路提取方法
CN112396607A (zh) * 2020-11-18 2021-02-23 北京工商大学 一种可变形卷积融合增强的街景图像语义分割方法
CN112633242A (zh) * 2020-12-31 2021-04-09 长光卫星技术有限公司 一种基于改进UNet网络的港口矿堆分割及储量计算方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115527031A (zh) * 2022-09-16 2022-12-27 山东科技大学 骨髓细胞图像分割方法、计算机设备以及可读存储介质
CN115527031B (zh) * 2022-09-16 2024-04-12 山东科技大学 骨髓细胞图像分割方法、计算机设备以及可读存储介质
CN116452901A (zh) * 2023-06-19 2023-07-18 中国科学院海洋研究所 基于深度学习的遥感图像海洋养殖区自动化提取方法
CN116452901B (zh) * 2023-06-19 2023-09-15 中国科学院海洋研究所 基于深度学习的遥感图像海洋养殖区自动化提取方法

Similar Documents

Publication Publication Date Title
US20210342586A1 (en) Systems and methods for extracting and vectorizing features of satellite imagery
Wang et al. Embedding structured contour and location prior in siamesed fully convolutional networks for road detection
CN112541503B (zh) 基于上下文注意力机制和信息融合的实时语义分割方法
Huang et al. GraNet: Global relation-aware attentional network for semantic segmentation of ALS point clouds
CN113326799A (zh) 基于EfficientNet网络和方向学习的遥感影像道路提取方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
Qi et al. Tea chrysanthemum detection under unstructured environments using the TC-YOLO model
CN112801270B (zh) 融合深度卷积与注意力机制的u形网络槽自动识别方法
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN111797846B (zh) 一种基于特征金字塔网络的反馈式目标检测方法
CN113888557A (zh) 一种基于rgb-d特征融合的场景语义分割方法及系统
CN111476133B (zh) 面向无人驾驶的前背景编解码器网络目标提取方法
Cao et al. Improved real-time semantic segmentation network model for crop vision navigation line detection
CN116453121B (zh) 一种车道线识别模型的训练方法及装置
CN116189180A (zh) 一种城市街景广告图像分割方法
CN116596966A (zh) 一种基于注意力和特征融合的分割与跟踪方法
Yu et al. Study of convolutional neural network-based semantic segmentation methods on edge intelligence devices for field agricultural robot navigation line extraction
Kalampokas et al. Semantic segmentation of vineyard images using convolutional neural networks
CN110633706B (zh) 一种基于金字塔网络的语义分割方法
Wang et al. DualSeg: Fusing transformer and CNN structure for image segmentation in complex vineyard environment
Vayssade et al. Pixelwise instance segmentation of leaves in dense foliage
CN111339874A (zh) 一种单级人脸分割的方法
Dong et al. Field-matching attention network for object detection
CN116883650A (zh) 一种基于注意力和局部拼接的图像级弱监督语义分割方法
CN116486075A (zh) 基于HRNet的遥感影像地物提取多尺度强融合语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210831