CN110674742B - 基于DLinkNet的遥感图像道路提取方法 - Google Patents

基于DLinkNet的遥感图像道路提取方法 Download PDF

Info

Publication number
CN110674742B
CN110674742B CN201910902885.7A CN201910902885A CN110674742B CN 110674742 B CN110674742 B CN 110674742B CN 201910902885 A CN201910902885 A CN 201910902885A CN 110674742 B CN110674742 B CN 110674742B
Authority
CN
China
Prior art keywords
unit
layer
transition
remote sensing
convolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910902885.7A
Other languages
English (en)
Other versions
CN110674742A (zh
Inventor
李玉霞
童玲
彭博
李振旭
范琨龙
司宇
杨超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910902885.7A priority Critical patent/CN110674742B/zh
Publication of CN110674742A publication Critical patent/CN110674742A/zh
Application granted granted Critical
Publication of CN110674742B publication Critical patent/CN110674742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于DLinkNet构建的DenseNetPlus遥感图像道路提取方法，构建了包括输入层、卷积池化层、编码结构、解码结构和特征图谱全连接通道的网络架构。采用3个卷积层和平均池化层构成stem Block单元，减少了因连续降采样导致的细节信息丢失。本发明通过加入3个连续不同扩张率的空洞卷积对Dense Block改进，构建Dense Block Plus编码结构单元和解码结构单元，并采用特征图谱全连接模式构建了深度卷积神经网络，减少了网络参数，增大了网络感受野。本发明以损失值最小为目标对网络进行训练，得到遥感图像道路提取模型，实现高精度和高鲁棒性的道路信息提取。

Description

基于DLinkNet的遥感图像道路提取方法
技术领域
本发明属于遥感图像自动化处理领域，具体涉及基于DLinkNet的遥感图像道路提取方法。
背景技术
遥感图像作为一种常见且重要的数字图像，是20世纪60年代空间测量技术、地球科学理论、计算机技术、传感器技术和航空航天技术快速发展的产物。从20世纪70年代开始，一些外国学者和机构开始利用图像处理等方法从遥感图像提取地面真实信息。随着遥感技术发展，遥感图像开始由低分辨率向高分辨率过渡，形成了高空间分辨率、高光谱分辨率和高时间分辨率为特征的发展趋势。由于遥感技术的发展，遥感图像数据量急剧扩增，且在此期间计算机技术也在不断发展，遥感图像信息提取的研究重心逐渐转向半自动、全自动的提取方法。在光学遥感图像当中，道路作为一种重要的基础设施，在军事战略、空间制图、城市建设、交通管理和通行导航中具有重要的意义，特别是在军事领域中，对于陆战场景无接触快速获取道路分布、道路材质、道路起伏和道路通行能力等信息是至关重要的，通过遥感图像提取道路信息为制定作战计划、行动部署提供快速有效的数据和技术支持。
发明内容
本发明提供的基于DLinkNet的遥感图像道路提取方法实现了高精度和高鲁棒性的道路信息提取。
为了达到上述发明目的，本发明采用的技术方案为：一种基于DLinkNet的遥感图像道路提取方法，包括以下步骤：
S1、在DlinkNet的基础上构建DenseNetPlus，得到深度卷积神经网络；
S2、以损失值最小为目标对深度卷积神经网络进行训练，得到遥感图像道路提取模型；
S3、将遥感图像输入遥感图像道路提取模型，获取道路信息图像。
进一步地，所述深度卷积神经网络包括依次连接的输入层、Stem Block单元、第一Dense Block Plus单元、第一Transition Down单元、第二Dense Block Plus单元、第二Transition Down单元、第三Dense Block Plus单元、第三Transition Down单元、第四Dense Block Plus单元、DBlock单元、第一Transition Up单元、第一concat加法器、第五Dense Block Plus单元、第二Transition Up单元、第二concat加法器、第六Dense BlockPlus单元、第三Transition Up单元、第三concat加法器、第七Dense Block Plus单元、第四Transition Up单元、第八Dense Block Plus单元、第一反卷积层、第一空洞卷积层、第二空洞卷积层、softmax层和输出层；
所述第三Dense Block Plus单元还与第一concat加法器的输入端连接，所述第二Dense Block Plus单元还与第二concat加法器的输入端连接，所述第一Dense Block Plus单元还与第三concat加法器的输入端连接，所述第一concat加法器、第二concat加法器和第三concat加法器均用于将输入端的输入数据按通道数维度进行相加并输出相加结果。
进一步地，所述Stem Block单元包括依次连接的第一卷积层、第二卷积层、第三卷积层和第一平均池化层，所述第一卷积层大小为3×3，步长为2；所述第二卷积层和第三卷积层的大小均为3×3，步长均为1；所述第一平均池化层大小为2×2，步长为2。
进一步地，所述第一Dense Block Plus单元、第二Dense Block Plus单元、第三Dense Block Plus单元、第四Dense Block Plus单元、第五Dense Block Plus单元、第六Dense Block Plus单元、第七Dense Block Plus单元和第八Dense Block Plus单元结构相同，均包括依次连接的p个Layer、扩张率为2的空洞卷积层Dlayer_2、扩张率为4的空洞卷积层Dlayer_4和扩张率为8的空洞卷积层Dlayer_8；
所述第m个Layer的输入为：
Figure BDA0002212363920000031
第t个DLayer_i的输入为：
Figure BDA0002212363920000032
其中，am表示第m个Layer的输入，bm-1表示第m-1个Layer的输出，m＝2,...,p，a1的输入为Dense Block Plus单元的输入，ut表示第t个DLayer_i的输入，vt-1表示第t-1个DLayer_i的输出，t＝2或3，u1的输入为am+bm，i＝2、4或8；
所述Layer包括依次连接的步长为1的1×1第四卷积层和步长为1的3×3第五卷积层，所述空洞卷积层DLayer_i包括依次连接的1×1第三空洞卷积层和3×3第四空洞卷积层，所述第三空洞卷积层和第四空洞卷积层的步长均为1，扩张率均为i；
所述第一Transition Down单元、第二Transition Down单元和第三TransitionDown单元结构相同，均包括依次连接的步长为1的1×1第六卷积层和步长为2的2×2第二平均池化层；
所述每一个卷积层操作前均先进行Batch Normalization归一化和ReLU非线性激活函数处理。
进一步地，所述DBlock单元包括并联的5条串联通路，每一条串联通路由j个扩张率不同的空洞卷积层组成，j＝0,1,2,3,4，所述j＝0的串联通路的输出数据与输入数据相同。
进一步地，所述第一Transition Up单元、第二Transition Up单元、第三Transition Up单元和第四Transition Up单元结构相同，均包括依次连接的步长为1的1×1第七卷积层、步长为2的3×3第二反卷积层和步长为1的1×1第八卷积层。
进一步地，所述第一反卷积层步长为1，大小为4×4，所述第一空洞卷积层和第二空洞卷积层的扩张率均为1，大小均为3×3。
进一步地，所述步骤S2包括以下分步骤：
S2.1、获取原始遥感图像，采用人工方式在原始遥感图像中标记出待提取道路的轮廓线，获取与待提取图像大小相同的标签图像；
S2.2、对原始遥感图像进行HSV对比度变换和空间几何变换的训练数据増强处理，并将增强后的遥感图像和标签图像均裁剪为n×n大小的图像；
S2.3、将裁剪后的遥感图像作为训练数据输入深度卷积神经网络中，将裁剪后的标签图像作为深度卷积神经网络输出的真值标签；
S2.4、计算深度卷积神经网络每一次输出结果与对应真值标签之间的损失函数，以损失函数最小为目标函数，利用网络参数优化算法对深度卷积神经网络中的参数不断进行优化；
S2.5、当损失值不再下降时，将此时的网络参数保存为最终网络模型参数，得到遥感图像道路提取模型。
进一步地，所述深度卷积神经网络的优化目标函数包括两部分，一部分是交叉熵函数，另一部分是预测图像与标签图像逐像素相减求平均。
进一步地，所述步骤S2.4中的网络参数优化算法为Adam算法，其具体优化过程包括：将初始学习率设置为0.001，每个循环运算2000次，每次运算两张图像，每四个循环后，将学习率变为原始学习率的0.997倍，通过若干遥感道路标签图像对遥感图像道路提取模型进行训练，当损失值缩小10倍后，将学习率缩小10倍继续训练，当损失值不再下降，则将此时网络参数保存为网络模型参数，得到遥感图像道路提取模型。
本发明的有益效果为：
(1)本发明使用3个连续的卷积层和平均池化层构成的Stem Block单元，简化了网络结构，减少了因连续降采样导致的细节信息丢失。
(2)本发明结合空洞卷积对Dense Block进行改进，将改进后的Dense Block作为编码结构和解码结构来构建深度卷积神经网络，在不损失分辨率的情况下，增大整个网络的感受野。
(3)本发明在DLinkNet的基础上构建DenseNetPlus，拥有更多的连接通路，能够将低层次和高层次特征整合，从而对于特征有更好的提取能力，在实现特征的重复利用和减小参数规模的同时，连接通路能为梯度的反向传播提供通路，解决梯度消失的问题。
(4)本发明网络结构更简单和计算成本更少的情况下，实现了对道路区域的高精度提取，在保证能够完成道路图像分割的同时，对其细节部分进行优化，使其在工作过程中能够更多的保留道路图片的特征，避免了特征损失难以解码的问题。本发明实现了高精度和高鲁棒性的道路信息提取。
附图说明
图1为基于DLinkNet的遥感图像道路提取方法步骤图。
图2为本发明中的深度卷积神经网络示意图。
图3为本发明中的Stem Block单元示意图。
图4为本发明中的Dense Block Plus单元示意图。
图5为本发明中的Layer示意图。
图6为本发明中的DLayer_i示意图。
图7为本发明中的Transition Down单元示意图。
图8为本发明中的DBlock单元示意图。
图9为本发明中的Transition Up单元示意图。
图10为本发明实验结果对比图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
下面结合附图详细说明本发明的实施例。
如图1所示，一种基于DLinkNet的遥感图像道路提取方法，包括以下步骤：
S1、在DlinkNet的基础上构建DenseNetPlus，得到深度卷积神经网络；
S2、以损失值最小为目标对深度卷积神经网络进行训练，得到遥感图像道路提取模型；
S3、将遥感图像输入遥感图像道路提取模型，获取道路信息图像。
如图2所示，所述深度卷积神经网络包括依次连接的输入层、Stem Block单元、第一Dense Block Plus单元、第一Transition Down单元、第二Dense Block Plus单元、第二Transition Down单元、第三Dense Block Plus单元、第三Transition Down单元、第四Dense Block Plus单元、DBlock单元、第一Transition Up单元、第一concat加法器、第五Dense Block Plus单元、第二Transition Up单元、第二concat加法器、第六Dense BlockPlus单元、第三Transition Up单元、第三concat加法器、第七Dense Block Plus单元、第四Transition Up单元、第八Dense Block Plus单元、第一反卷积层、第一空洞卷积层、第二空洞卷积层、softmax层和输出层。
所述第三Dense Block Plus单元与第一concat加法器的输入端连接，所述第二Dense Block Plus单元与第二concat加法器的输入端连接，所述第一Dense Block Plus单元与第三concat加法器的输入端连接，所述第一concat加法器、第二concat加法器和第三concat加法器均用于将输入端的输入数据按通道数维度进行相加并输出相加结果。
在本实施例中，第一Dense Block Plus单元、第一Transition Down单元、第二Dense Block Plus单元、第二Transition Down单元、第三Dense Block Plus单元、第三Transition Down单元和第四Dense Block Plus单元构成编码结构，第一Transition Up单元、第一concat加法器、第五Dense Block Plus单元、第二Transition Up单元、第二concat加法器、第六Dense Block Plus单元、第三Transition Up单元、第三concat加法器、第七Dense Block Plus单元、第四Transition Up单元和第八Dense Block Plus单元构成解码单元。
如图3所示，所述Stem Block单元包括依次连接的第一卷积层、第二卷积层、第三卷积层和第一平均池化层，所述第一卷积层大小为3×3，步长为2；所述第二卷积层和第三卷积层的大小均为3×3，步长均为1；所述第一平均池化层大小为2×2，步长为2。
所述第一Dense Block Plus单元、第二Dense Block Plus单元、第三Dense BlockPlus单元、第四Dense Block Plus单元、第五Dense Block Plus单元、第六Dense BlockPlus单元、第七Dense Block Plus单元和第八Dense Block Plus单元结构相同，如图4所示，它们均包括依次连接的p个Layer、扩张率为2的空洞卷积层Dlayer_2、扩张率为4的空洞卷积层Dlayer_4和扩张率为8的空洞卷积层Dlayer_8。
第m个Layer的输入为：
Figure BDA0002212363920000081
第t个DLayer_i的输入为：
Figure BDA0002212363920000082
其中，am表示第m个Layer的输入，bm-1表示第m-1个Layer的输出，m＝2,...,p，a1的输入为Dense Block Plus单元的输入，ut表示第t个DLayer_i的输入，vt-1表示第t-1个DLayer_i的输出，t＝2或3，u1的输入为am+bm，i＝2、4或8。
如图5所示，Layer包括依次连接的步长为1的1×1第四卷积层和步长为1的3×3第五卷积层。
如图6所示，空洞卷积层DLayer_i包括依次连接的1×1第三空洞卷积层和3×3第四空洞卷积层，所述第三空洞卷积层和第四空洞卷积层的步长均为1，扩张率均为i，在本实施例中，i＝2,4,8。
如图7所示，第一Transition Down单元、第二Transition Down单元和第三Transition Down单元结构相同，均包括依次连接的步长为1的1×1第六卷积层和步长为2的2×2第二平均池化层。
所述每一个Dense Block Plus单元和每一个Transition Down单元中的所有卷积层操作前均先进行Batch Normalization归一化和ReLU非线性激活函数处理。
如图8所示，DBlock单元包括并联的5条串联通路，每一条串联通路由j个扩张率不同的空洞卷积层组成，j＝0,1,2,3,4，所述j＝0的串联通路的输出数据与输入数据相同。
在本实施例中，j＝1时的串联通路包括扩张率为1的空洞卷积；j＝2时的串联通路包括扩张率为1的空洞卷积和扩张率为2的空洞卷积；j＝3时的串联通路包括扩张率为1的空洞卷积、扩张率为2的空洞卷积和扩张率为4的空洞卷积；j＝4时的串联通路包括扩张率为1的空洞卷积、扩张率为2的空洞卷积、扩张率为4的空洞卷积和扩张率为8的空洞卷积；
如图9所示，第一Transition Up单元、第二Transition Up单元、第三TransitionUp单元和第四Transition Up单元结构相同，均包括依次连接的步长为1的1×1第七卷积层、步长为2的3×3第二反卷积层和步长为1的1×1第八卷积层。
所述第一反卷积层步长为1，大小为4×4，所述第一空洞卷积层和第二空洞卷积层的扩张率均为1，大小均为3×3。
步骤S2包括以下分步骤：
S2.1、获取原始遥感图像，采用人工方式在原始遥感图像中标记出待提取道路的轮廓线，获取与待提取图像大小相同的标签图像；
S2.2、对原始遥感图像进行HSV对比度变换和空间几何变换的训练数据増强处理，并将增强后的遥感图像和标签图像均裁剪为n×n大小的图像；
S2.3、将裁剪后的遥感图像作为训练数据输入深度卷积神经网络中，将裁剪后的标签图像作为深度卷积神经网络输出的真值标签；
S2.4、计算深度卷积神经网络每一次输出结果与对应真值标签之间的损失函数，以损失函数最小为目标函数，利用网络参数优化算法对深度卷积神经网络中的参数不断进行优化；
S2.5、当损失值不再下降时，将此时的网络参数保存为最终网络模型参数，得到遥感图像道路提取模型；
所述深度卷积神经网络的优化目标函数分为两部分，一部分是交叉熵函数，另一部分是预测图像与标签图像逐像素相减求平均。
网络参数优化算法为Adam算法，其具体优化过程包括：将初始学习率设置为0.001，每个循环运算2000次，每次运算两张图像，每四个循环后，将学习率变为原始学习率的0.997倍，通过若干遥感道路标签图像对遥感图像道路提取模型进行训练，当损失值缩小10倍后，将学习率缩小10倍继续训练，当损失值不再下降，则将此时网络参数保存为网络模型参数，得到遥感图像道路提取模型。
在本实施例中，将本发明构建的DenseNetPlus与DLinkNet进行实验对比，如图10所示，第一列图像为输入的高分辨率遥感图像，第二列图像为对应的人工标记的标签图像，第三列数据为网络结构层数为50的DLinkNet的道路区域分割结果，第四列数据为网络结构层数为101的DLinkNet的道路区域分割结果，第五列数据为输出特征图的通道数为24的DenseNetPlus的道路区域分割结果，第六列数据为输出特征图的通道数为32的DenseNetPlus的道路区域分割结。将DenseNetPlus输出特征图的通道数设置为24和输出特征图的通道数设置为32进行对比，本实施例采用输出特征图的通道数设置为32。在复杂场景中，道路区域存在被树木阴影遮挡，从建筑群穿越等造成连续性性破坏的情况。从提取结果来看，四个网络都能准确的提取出图像中的道路区域，且对于被建筑遮挡的部分也能根据上下文关系连接上。从道路被遮挡的断点连接来看，输出特征图的通道数设置为32的DenseNetPlus的提取效果显然要好于其他三个网络，达到了很好的提取效果。
本发明使用3个连续的卷积层和平均池化层构成的Stem Block单元，简化了网络结构，减少了因连续降采样导致的细节信息丢失。
本发明结合空洞卷积对Dense Block进行改进，将改进后的Dense Block作为编码结构和解码结构来构建深度卷积神经网络，在不损失分辨率的情况下，增大整个网络的感受野。
本发明在DLinkNet的基础上构建DenseNetPlus，拥有更多的连接通路，能够将低层次和高层次特征整合，从而对于特征有更好的提取能力，在实现特征的重复利用和减小参数规模的同时，连接通路能为梯度的反向传播提供通路，解决梯度消失的问题。
本发明网络结构更简单和计算成本更少的情况下，实现了对道路区域的高精度提取，在保证能够完成道路图像分割的同时，对其细节部分进行优化，使其在工作过程中能够更多的保留道路图片的特征，避免了特征损失难以解码的问题。本发明实现了高精度和高鲁棒性的道路信息提取。

Claims (4)

1.一种基于DLinkNet的遥感图像道路提取方法，其特征在于，包括以下步骤：
S1、在DlinkNet的基础上构建DenseNetPlus，得到深度卷积神经网络；
S2、以损失值最小为目标对深度卷积神经网络进行训练，得到遥感图像道路提取模型；
S3、将遥感图像输入遥感图像道路提取模型，获取道路信息图像；
所述深度卷积神经网络包括依次连接的输入层、Stem Block单元、第一Dense BlockPlus单元、第一Transition Down单元、第二Dense Block Plus单元、第二Transition Down单元、第三Dense Block Plus单元、第三Transition Down单元、第四Dense Block Plus单元、DBlock单元、第一Transition Up单元、第一concat加法器、第五Dense Block Plus单元、第二Transition Up单元、第二concat加法器、第六Dense Block Plus单元、第三Transition Up单元、第三concat加法器、第七Dense Block Plus单元、第四Transition Up单元、第八Dense Block Plus单元、第一反卷积层、第一空洞卷积层、第二空洞卷积层、softmax层和输出层；
所述第三Dense Block Plus单元还与第一concat加法器的输入端连接，所述第二Dense Block Plus单元还与第二concat加法器的输入端连接，所述第一Dense Block Plus单元还与第三concat加法器的输入端连接，所述第一concat加法器、第二concat加法器和第三concat加法器均用于将输入端的输入数据按通道数维度进行相加并输出相加结果；
所述Stem Block单元包括依次连接的第一卷积层、第二卷积层、第三卷积层和第一平均池化层，所述第一卷积层大小为3×3，步长为2；所述第二卷积层和第三卷积层的大小均为3×3，步长均为1；所述第一平均池化层大小为2×2，步长为2；
所述第一Dense Block Plus单元、第二Dense Block Plus单元、第三Dense BlockPlus单元、第四Dense Block Plus单元、第五Dense Block Plus单元、第六Dense BlockPlus单元、第七Dense Block Plus单元和第八Dense Block Plus单元结构相同，均包括依次连接的p个Layer、扩张率为2的空洞卷积层Dlayer_2、扩张率为4的空洞卷积层Dlayer_4和扩张率为8的空洞卷积层Dlayer_8；
第m个Layer的输入为：
第t个DLayer_i的输入为：
其中，am表示第m个Layer的输入，bm-1表示第m-1个Layer的输出，m＝2,...,p，a1的输入为Dense Block Plus单元的输入，ut表示第t个DLayer_i的输入，vt-1表示第t-1个DLayer_i的输出，t＝2或3，u1的输入为am+bm，i＝2、4或8；
所述Layer包括依次连接的步长为1的1×1第四卷积层和步长为1的3×3第五卷积层，所述空洞卷积层DLayer_i包括依次连接的1×1第三空洞卷积层和3×3第四空洞卷积层，所述第三空洞卷积层和第四空洞卷积层的步长均为1，扩张率均为i；
所述第一Transition Down单元、第二Transition Down单元和第三Transition Down单元结构相同，均包括依次连接的步长为1的1×1第六卷积层和步长为2的2×2第二平均池化层；
所述每一个卷积层操作前均先进行Batch Normalization归一化和ReLU非线性激活函数处理；
所述DBlock单元包括并联的5条串联通路，每一条串联通路由j个扩张率不同的空洞卷积层组成，j＝0,1,2,3,4，所述j＝0的串联通路的输出数据与输入数据相同；
所述第一Transition Up单元、第二Transition Up单元、第三Transition Up单元和第四Transition Up单元结构相同，均包括依次连接的步长为1的1×1第七卷积层、步长为2的3×3第二反卷积层和步长为1的1×1第八卷积层；
所述第一反卷积层步长为1，大小为4×4，所述第一空洞卷积层和第二空洞卷积层的扩张率均为1，大小均为3×3。
2.根据权利要求1所述的基于DLinkNet的遥感图像道路提取方法，其特征在于，所述步骤S2包括以下分步骤：
S2.1、获取原始遥感图像，采用人工方式在原始遥感图像中标记出待提取道路的轮廓线，获取与待提取图像大小相同的标签图像；
S2.2、对原始遥感图像进行HSV对比度变换和空间几何变换的训练数据増强处理，并将增强后的遥感图像和标签图像均裁剪为n×n大小的图像；
S2.3、将裁剪后的遥感图像作为训练数据输入深度卷积神经网络中，将裁剪后的标签图像作为深度卷积神经网络输出的真值标签；
S2.4、计算深度卷积神经网络每一次输出结果与对应真值标签之间的损失函数，以损失函数最小为目标函数，利用网络参数优化算法对深度卷积神经网络中的参数不断进行优化；
S2.5、当损失值不再下降时，将此时的网络参数保存为最终网络模型参数，得到遥感图像道路提取模型。
3.根据权利要求2所述的基于DLinkNet的遥感图像道路提取方法，其特征在于，所述深度卷积神经网络的优化目标函数包括两部分，一部分是交叉熵函数，另一部分是预测图像与标签图像逐像素相减求平均。
4.根据权利要求2所述的基于DLinkNet的遥感图像道路提取方法，其特征在于，所述步骤S2.4中的网络参数优化算法为Adam算法，其具体优化过程包括：将初始学习率设置为0.001，每个循环运算2000次，每次运算两张图像，每四个循环后，将学习率变为原始学习率的0.997倍，通过若干遥感道路标签图像对遥感图像道路提取模型进行训练，当损失值缩小10倍后，将学习率缩小10倍继续训练，当损失值不再下降，则将此时网络参数保存为网络模型参数，得到遥感图像道路提取模型。
CN201910902885.7A 2019-09-24 2019-09-24 基于DLinkNet的遥感图像道路提取方法 Active CN110674742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910902885.7A CN110674742B (zh) 2019-09-24 2019-09-24 基于DLinkNet的遥感图像道路提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910902885.7A CN110674742B (zh) 2019-09-24 2019-09-24 基于DLinkNet的遥感图像道路提取方法

Publications (2)

Publication Number Publication Date
CN110674742A CN110674742A (zh) 2020-01-10
CN110674742B true CN110674742B (zh) 2023-04-07

Family

ID=69077376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910902885.7A Active CN110674742B (zh) 2019-09-24 2019-09-24 基于DLinkNet的遥感图像道路提取方法

Country Status (1)

Country Link
CN (1) CN110674742B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353441B (zh) * 2020-03-03 2021-04-23 成都大成均图科技有限公司 基于位置数据融合的道路提取方法和系统
CN111460936A (zh) * 2020-03-18 2020-07-28 中国地质大学（武汉） 基于U-Net网络的遥感影像建筑物提取方法、系统、电子设备
CN111523459B (zh) * 2020-04-22 2020-11-03 中科三清科技有限公司 遥感影像裸地识别方法、装置、电子设备及存储介质
CN111553303B (zh) * 2020-05-07 2024-03-29 武汉大势智慧科技有限公司 基于卷积神经网络的遥感正射影像密集建筑物提取方法
CN111767810B (zh) * 2020-06-18 2022-08-02 哈尔滨工程大学 一种基于D-LinkNet的遥感图像道路提取方法
CN112347976B (zh) * 2020-11-23 2022-09-23 腾讯科技（深圳）有限公司 遥感卫星影像的区域提取方法、装置、电子设备和介质
CN112651338B (zh) * 2020-12-26 2022-02-15 广东电网有限责任公司电力科学研究院 一种输电线路违章施工隐患的判别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493320A (zh) * 2018-10-11 2019-03-19 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备
WO2019136623A1 (en) * 2018-01-10 2019-07-18 Nokia Technologies Oy Apparatus and method for semantic segmentation with convolutional neural network
CN110059772A (zh) * 2019-05-14 2019-07-26 温州大学 基于迁移vgg网络的遥感图像语义分割方法
CN110135261A (zh) * 2019-04-15 2019-08-16 北京易华录信息技术股份有限公司 一种训练道路异常识别模型、道路异常识别的方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997466B (zh) * 2017-04-12 2021-05-04 百度在线网络技术（北京）有限公司 用于检测道路的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019136623A1 (en) * 2018-01-10 2019-07-18 Nokia Technologies Oy Apparatus and method for semantic segmentation with convolutional neural network
CN109493320A (zh) * 2018-10-11 2019-03-19 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备
CN110135261A (zh) * 2019-04-15 2019-08-16 北京易华录信息技术股份有限公司 一种训练道路异常识别模型、道路异常识别的方法及系统
CN110059772A (zh) * 2019-05-14 2019-07-26 温州大学 基于迁移vgg网络的遥感图像语义分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
New network based on D-LinkNet and DenseNet for high resolution satellite imagery road extraction;Bo Peng等;《IGARSS 2019 - 2019 IEEE International Geoscience and Remote Sensing Symposium》;20191114;3939-3942 *
Road Extraction from High-Resolution Remote Sensing Imagery Using Deep Learning;Yongyang Xu等;《Remote Sens》;20180913;第10卷(第09期);正文第1-2节 *
Road Extraction from Unmanned Aerial Vehicle Remote Sensing Images Based on Improved Neural Networks;Yuxia Li等;《sensors》;20190923;第19卷(第19期);摘要,正文第2-3节 *
Road Segmentation of Unmanned Aerial Vehicle Remote Sensing Images Using Adversarial Network With Multiscale Context Aggregation;Yuxia Li等;《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》;20190426;第12卷(第07期);2279-2287 *
基于浮动车轨迹学习的高分影像城市道路网提取方法研究;张菊;《中国优秀硕士学位论文全文数据库基础科学辑》;20190915(第(2019)09期);A008-115 *

Also Published As

Publication number Publication date
CN110674742A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110674742B (zh) 基于DLinkNet的遥感图像道路提取方法
CN109241972B (zh) 基于深度学习的图像语义分割方法
CN109086807B (zh) 一种基于空洞卷积堆叠网络的半监督光流学习方法
CN112052783B (zh) 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN112150521A (zh) 一种基于PSMNet优化的图像立体匹配方法
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN114943963A (zh) 一种基于双分支融合网络的遥感图像云和云影分割方法
CN113837450B (zh) 基于深度学习的河网密集流域水情趋势预测方法及其应用
CN111462013A (zh) 一种基于结构化残差学习的单图去雨方法
CN112733693B (zh) 一种全局感知高分辨率遥感影像多尺度残差道路提取方法
CN112270332A (zh) 一种基于子流稀疏卷积的三维目标检测方法及系统
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
CN113436237B (zh) 一种基于高斯过程迁移学习的复杂曲面高效测量系统
CN115131674A (zh) 基于深度低秩网络的多时相光学遥感影像云检测方法
CN116797787A (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN112560719A (zh) 基于多尺度卷积-多核池化的高分辨率影像水体提取方法
CN115545166A (zh) 一种改进的ConvNeXt卷积神经网络及其遥感图像的分类方法
CN116645514A (zh) 一种改进U2-Net的瓷砖表面缺陷分割方法
CN113822825B (zh) 基于3d-r2n2的光学建筑目标三维重建方法
CN116109689A (zh) 基于引导优化聚合的边缘保持立体匹配方法
CN117351360A (zh) 一种基于注意力机制改进的遥感图像道路提取方法
CN115393735A (zh) 基于改进U-Net的遥感影像建筑物提取方法
CN114821290A (zh) 一种基于机器学习的航空影像建筑物轮廓提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant