CN115393712A - 基于动态混合池化策略的sar图像道路提取方法及系统 - Google Patents

基于动态混合池化策略的sar图像道路提取方法及系统 Download PDF

Info

Publication number
CN115393712A
CN115393712A CN202211013245.9A CN202211013245A CN115393712A CN 115393712 A CN115393712 A CN 115393712A CN 202211013245 A CN202211013245 A CN 202211013245A CN 115393712 A CN115393712 A CN 115393712A
Authority
CN
China
Prior art keywords
pooling
sar image
road
dynamic
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211013245.9A
Other languages
English (en)
Other versions
CN115393712B (zh
Inventor
郭明宇
滕旭阳
胡楚哲
周一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202211013245.9A priority Critical patent/CN115393712B/zh
Publication of CN115393712A publication Critical patent/CN115393712A/zh
Application granted granted Critical
Publication of CN115393712B publication Critical patent/CN115393712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于动态混合池化策略的SAR图像道路提取方法及系统，方法包括以下步骤：S1、获取SAR图像训练数据集，进行预处理并在数据集中标注出道路的区域；S2、基于动态混合池化策略，在Resnet‑34网络中构建两个动态混合池化模块；S3、采用梯度下降算法和反向传播算法训练步骤S2改进的Resnet‑34中每层网络的参数和动态混合池化模块中每种池化的权重系数；S4，利用步骤S3训练好的Resnet‑34道路提取网络对预测数据集目标区域的道路进行预测，并得到结果。本发明动态混合池化策略中的条形池化能够捕获道路SAR图像中的长距离关系和局部上下文，适用于具有长条形结构特征的道路SAR图像。

Description

基于动态混合池化策略的SAR图像道路提取方法及系统
技术领域
本发明属于合成孔径雷达图像检测与目标识别技术领域，具体涉及一种基于卷积神经网络动态混合池化策略的SAR图像道路分割识别方法及系统。
背景技术
21世纪是大数据的时代，遥感卫星技术通过不断的发展，SAR卫星根据地面物体对雷达波束的反应能够实现对全球实时监控。SAR指合成孔径雷达，图像的灰度主要跟物体的特性和雷达的工作参数有关。
道路是现代交通体系的重要组成部分，道路检测普遍应用在智慧城市、公路施工、智慧交通等领域。当下SAR图像的道路特征提取已经是提取道路信息的主要来源。随着SAR图像分辨率的提高，导致噪声也被放大，造成道路提取更加困难。图像中的大量道路信息使用人眼与人脑处理是不现实的，传统算法存在耗时长、稳定性差的缺点。因此，对于SAR图像的自动语义解析应运而生。
近几年深度学习发展迅速，作为重要分支的卷积神经网络在SAR图像的语义分割以及目标检测中取得了良好的研究成果。但是现有的SAR图像道路检测方法，存在复杂地物环境中识别正确率低的缺点。池化策略作为深度网络特征提取的重要手段，在图像识别过程中起着至关重要的作用。比如传统的最大池化和平均值化，最大池化对图像的边缘提取更有优势，平均池化对图像纹理信息提取更有优势，但是这两种池化方式都丢失了很多图像特征信息。其他的池化策略也都各有优缺点。
传统池化为了增加感受野和减少对内存的占用，使用空间下采样层来缩小特征图，从而忽略特征图的细节，阻碍了学习进程；传统池化在方形窗口对特征图进行池化操作，忽略了普遍存在于道路SAR图像中的长条形结构和纹理信息。
基于单一的池化策略无法满足在复杂环境中正确识别出道路的现状，本发明基于动态混合池化策略，构建了动态混合池化模块对网络的池化层进行改进。
发明内容
针对现有技术存在的缺点，本发明建立了一种基于动态混合池化策略的道路提取方法及系统，构建了动态混合池化模块来自适应网络中的池化操作。采用Resnet-34作为主干网络来训练SAR图像，通过反向传播算法来训练每层网络的参数和动态混合池化模块中每种池化策略的权重系数。
为了达到上述发明目的，本发明采用以下技术方案：
基于动态混合池化策略的SAR图像道路提取方法，包括以下步骤：
S1、获取SAR图像训练数据集，进行预处理并在数据集中标注出道路的区域；
S2、基于动态混合池化策略构建改进的Resnet-34模型，在原来的Resnet-34网络中构建两个动态混合池化模块来代替k＝3,s＝2,padding＝1的池化操作和全局平均池化操作；
S3、采用梯度下降算法和反向传播算法来训练基于动态池化策略改进的Resnet-34中的参数和动态混合池化模块中每种池化的权重系数；
S4，利用训练好的Resnet-34道路提取网络对预测数据集目标区域的道路进行预测，并得到结果。
作为优选，步骤S1中，对SAR图像进行预处理的过程包括：
对SAR图像数据集进行轨道校正、辐射定标、斜地转换、图像配准、以及相干斑滤波预处理。
作为优选，步骤S2包括如下步骤：
S21，Resnet-34网络由16个基本单元、1个7x7卷积层与1个全连接层构成。网络共计34层，内部使用的残差块跳跃连接。在原有Resnet-34网络的基础上构建两个动态混合池化模块来代替k＝3,s＝2,padding＝1的池化操作和全局平均池化操作。动态混合池化模块使用四种不同的池化操作并将输出结果进行综合。表达式为：
Mx'y'＝λ1P1 xy+λ2P2 xy+λ3P3 xy+λ4P4 xy(0≤λ≤2)
其中，Mx'y'为经过动态混合池化策略输出的特征图，
Figure BDA0003811433030000031
为条形池化输出的特征图，λ1为其权重；
Figure BDA0003811433030000032
为最大池化输出的特征图，λ2为其权重；
Figure BDA0003811433030000033
为随机池化输出的特征图，λ3为其权重；
Figure BDA0003811433030000034
为局部重要性池化输出的特征图，λ4为其权重。[λ1,λ2,λ3,λ4]的初始值为[0,2]的随机数，训练后由梯度下降算法和反向传播算法所得。
S22，采用条形池化，输入一个特征图，经过水平和数值条纹池化后变为H×1和1×W。随后将经过卷积、扩张、求和后得到的特征图与原输入图对应像素相乘后得到输出结果。
S23，采用最大池化将，输入的图像划分为若干个矩形区域，对每个子区域输出最大值。
所述最大池化定义如下：
Figure BDA0003811433030000035
其中，ykij表示第k个特征图，xkpq表示矩形区域中位于位置xkpq的元素。
S24，采用随机池化，按照特征图内的数值大小进行概率划分。
所述随机池化定义如下：
Figure BDA0003811433030000036
其中，pkpq表示取到矩形区域中位于位置xkpq的元素的概率。
S25，采用局部重要性池化，通过一个子网络自动学习重要性度量，对特征图内的数值依照大小进行概率划分。所述局部重要性池化定义如下：
Figure BDA0003811433030000041
其中，I为输入的特征图，Ω为一个滑动窗口内包含(Δx,Δy)的索引集合，(x,y)为输入特征图中左上角位置，对应输出位置为(x',y')，g(I)被称为对数模块，exp(g(I))为重要性函数。
作为优选，步骤S3具体如下：
将交叉熵作为损失函数，求解Resnet-34每一层的梯度，反向传播算法根据求导的链式法则向前计算每一层参数的梯度值，利用梯度下降算法根据梯度和学习率来调整参数大小。训练后得到网络中每一层的参数和动态混合池化模块中的权重系数；
交叉熵的定义为：
Figure BDA0003811433030000042
网络参数的梯度下降为：
Figure BDA0003811433030000043
动态混合池化模块中的权重系数的更新过程为：
Figure BDA0003811433030000044
其中L为损失函数，y表示实际的概率，
Figure BDA0003811433030000045
表示预测的概率。v表示更新的网络参数，v0表示还未更新的网络参数。
Figure BDA0003811433030000046
表示为求偏导数。
Figure BDA0003811433030000047
表示损失函数对参数v0的偏导数。
Figure BDA0003811433030000048
表示损失函数对权重系数λ0的偏导数。η1为网络参数更新的学习率，η2为动态混合池化模块中权重系数更新的学习率。当某一池化操作经过训练后的权重在[0,1)时表明在当前模块中该池化操作重要性降低，在(1,2]时表面在当前模块中该池化操作重要性增加。通过对权重的修改，动态混合池化模块可以自适应地选择当前环境下合适的池化操作。
作为优选，步骤S4具体如下：
获取SAR图像预测数据集，使用matlab将原始图像裁剪为224×224像素大小，利用训练好的基于动态混合池化策略的Resnet-34道路分割网络预测图像中的道路，将预测后的结果拼接为原图大小。
本发明还公开了一下基于动态混合池化策略的SAR图像道路提取系统，其包括以下模块：
SAR图像训练数据集获取模块：获取SAR图像训练数据集，进行预处理并在数据集中标注出道路的区域；
动态混合池化构建模块：基于动态混合池化策略，在Resnet-34网络中构建两个动态混合池化模块；
网络参数及池化权重系数训练模块：采用梯度下降算法和反向传播算法训练改进的Resnet-34中每层网络的参数和动态混合池化模块中每种池化的权重系数；
预测及道路结果提取模块：利用训练好的Resnet-34道路提取网络对预测数据集目标区域的道路进行预测，并得到结果。
优选的，SAR图像训练数据集获取模块中，预处理具体包括：
对SAR图像数据集进行轨道校正、辐射定标、斜地转换、图像配准以及相干斑滤波预处理。
优选的，动态混合池化构建模块具体如下：
构建两个动态混合池化模块，动态混合池化模块使用四种不同的池化操作并将输出结果进行综合，表达式为：
Mx'y'＝λ1P1 xy+λ2P2 xy+λ3P3 xy+λ4P4 xy(0≤λ≤2)
其中，Mx'y'为经过动态混合池化策略输出的特征图，
Figure BDA0003811433030000061
为条形池化输出的特征图，λ1为权重；
Figure BDA0003811433030000062
为最大池化输出的特征图，λ2为权重；
Figure BDA0003811433030000063
为随机池化输出的特征图，λ3为权重；
Figure BDA0003811433030000064
为局部重要性池化输出的特征图，λ4为权重；[λ1,λ2,λ3,λ4]的初始值为[0,2]的随机数；
采用条形池化，输入一个特征图，经过水平和数值条纹池化后变为H×1和1×W，将经过卷积、扩张、求和后得到的特征图与原输入图对应像素相乘后得到输出结果；
采用最大池化，将输入的图像划分为若干个矩形区域，对每个子区域输出最大值；
最大池化定义如下：
Figure BDA0003811433030000065
其中，ykij表示第k个特征图，xkpq表示矩形区域中位于位置xkpq的元素；
采用随机池化，按照特征图内的数值大小进行概率划分；
随机池化定义如下：
Figure BDA0003811433030000066
其中，pkpq表示取到矩形区域中位于位置xkpq的元素的概率；
采用局部重要性池化，通过一个子网络自动学习重要性度量，对特征图内的数值按大小进行概率划分；局部重要性池化定义如下：
Figure BDA0003811433030000067
其中，I为输入的特征图，Ω为一个滑动窗口内包含(Δx,Δy)的索引集合，(x,y)为输入特征图中左上角位置，对应输出位置为(x',y')，g(I)为对数模块，exp(g(I))为重要性函数。
优选的，网络参数及池化权重系数训练模块具体如下：
将交叉熵作为损失函数，利用反向传播算法根据求导的链式法则向前计算每一层参数的梯度值，利用梯度下降算法根据梯度和学习率调整参数大小；训练后得到网络中每一层的参数和动态混合池化模块中的权重系数；
交叉熵的定义为：
Figure BDA0003811433030000071
网络参数的梯度下降为：
Figure BDA0003811433030000072
动态混合池化模块中的权重系数的更新过程为：
Figure BDA0003811433030000073
其中，L为损失函数，y表示实际的概率，
Figure BDA0003811433030000074
表示预测的概率；v表示更新的网络参数，v0表示还未更新的网络参数；
Figure BDA0003811433030000075
表示为求偏导数；
Figure BDA0003811433030000076
表示损失函数对参数v0的偏导数；
Figure BDA0003811433030000077
表示损失函数对权重系数λ0的偏导数；η1为网络参数更新的学习率，η2为动态混合池化模块中权重系数更新的学习率；当某一池化操作经过训练后的权重在[0,1)时表明在当前模块中该池化操作重要性降低，在(1,2]时表示在当前模块中该池化操作重要性增加。
优选的，预测及道路结果提取模块具体如下：
获取SAR图像预测数据集，采用matlab将原始图像裁剪为224×224像素大小，利用步骤S3训练好的基于动态混合池化策略的Resnet-34道路分割网络预测图像中的道路，将预测后的结果拼接为原图大小。
本发明与现有技术相比，有益效果是：
(1)本发明动态混合池化策略中的条形池化能够捕获道路SAR图像中的长距离关系和局部上下文，适用于具有长条形结构特征的道路SAR图像。
(2)本发明动态混合池化策略中的最大池化、随机池化、局部重要性池化，提高了网络的分类精度和泛化能力，并且使网络拥有了自适应地对特征图的特征进行选取的能力。
(3)本发明动态混合池化策略中不同的池化策略叠加时使用的权重为训练所得，在网络的两个动态混合池化模块中拥有不同的池化策略，弥补了不同SAR图像使用单一池化无法自适应识别的漏洞。
附图说明
图1是本发明基于动态混合池化策略的道路提取方法的流程图；
图2是本发明基于动态混合池化策略的道路提取方法的网络构架图；
图3是本发明基于动态混合池化策略的道路提取系统框图。
具体实施方式
下面结合附图对本发明优选实施例做详细说明。
实施例1
如图1-2所示，本实施例一种基于动态混合池化策略的SAR图像道路提取方法，包括以下步骤：
S1、获取SAR图像训练数据集，进行预处理并在数据集中标注出道路的区域；在本步骤中，对SAR图像进行预处理包括：对SAR图像数据集进行轨道校正、辐射定标、斜地转换、图像配准、以及相干斑滤波预处理。
S2、基于动态混合池化策略构建改进的Resnet-34模型，在原来的Resnet-34网络中构建两个动态混合池化模块来代替k＝3,s＝2,padding＝1的池化操作和全局平均池化操作；本步骤S2具体包括如下子步骤：
S21，Resnet-34网络由16个基本单元、1个7x7卷积层与1个全连接层构成。网络共计34层，内部使用的残差块跳跃连接。在原有Resnet-34网络的基础上构建两个动态混合池化模块来代替k＝3,s＝2,padding＝1的池化操作和全局平均池化操作。动态混合池化模块使用四种不同的池化操作并将输出结果进行综合。表达式为：
Mx'y'＝λ1P1 xy+λ2P2 xy+λ3P3 xy+λ4P4 xy(0≤λ≤2)
其中，Mx'y'为经过动态混合池化策略输出的特征图，
Figure BDA0003811433030000091
为条形池化输出的特征图，λ1为其权重；
Figure BDA0003811433030000092
为最大池化输出的特征图，λ2为其权重；
Figure BDA0003811433030000093
为随机池化输出的特征图，λ3为其权重；
Figure BDA0003811433030000094
为局部重要性池化输出的特征图，λ4为其权重。[λ1,λ2,λ3,λ4]的初始值为[0,2]的随机数，训练后由梯度下降算法和反向传播算法所得。
S22，采用条形池化，输入一个特征图，经过水平和数值条纹池化后变为H×1和1×W。随后将经过卷积、扩张、求和后得到的特征图与原输入图对应像素相乘后得到输出结果。
S23，采用最大池化将，输入的图像划分为若干个矩形区域，对每个子区域输出最大值。
所述最大池化定义如下：
Figure BDA0003811433030000095
其中，ykij表示第k个特征图，xkpq表示矩形区域中位于位置xkpq的元素。
S24，采用随机池化，按照特征图内的数值大小进行概率划分。
所述随机池化定义如下：
Figure BDA0003811433030000101
其中，pkpq表示取到矩形区域中位于位置xkpq的元素的概率。
S25，采用局部重要性池化，通过一个子网络自动学习重要性度量，对特征图内的数值依照大小进行概率划分。所述局部重要性池化定义如下：
Figure BDA0003811433030000102
其中，I为输入的特征图，Ω为一个滑动窗口内包含(Δx,Δy)的索引集合，(x,y)为输入特征图中左上角位置，对应输出位置为(x',y')，g(I)被称为对数模块，exp(g(I))为重要性函数。
S3、采用梯度下降算法和反向传播算法来训练基于动态池化策略改进的Resnet-34中的参数和动态混合池化模块中每种池化的权重系数；本步骤具体如下：将交叉熵作为损失函数，求解Resnet-34每一层的梯度，反向传播算法根据求导的链式法则向前计算每一层参数的梯度值，利用梯度下降算法根据梯度和学习率来调整参数大小。训练后得到网络中每一层的参数和动态混合池化模块中的权重系数；
交叉熵的定义为：
Figure BDA0003811433030000103
网络参数的梯度下降为：
Figure BDA0003811433030000104
动态混合池化模块中的权重系数的更新过程为：
Figure BDA0003811433030000105
其中L为损失函数，y表示实际的概率，
Figure BDA0003811433030000111
表示预测的概率。v表示更新的网络参数，v0表示还未更新的网络参数。
Figure BDA0003811433030000112
表示为求偏导数。
Figure BDA0003811433030000113
表示损失函数对参数v0的偏导数。
Figure BDA0003811433030000114
表示损失函数对权重系数λ0的偏导数。η1为网络参数更新的学习率，η2为动态混合池化模块中权重系数更新的学习率。当某一池化操作经过训练后的权重在[0,1)时表明在当前模块中该池化操作重要性降低，在(1,2]时表面在当前模块中该池化操作重要性增加。通过对权重的修改，动态混合池化模块可以自适应地选择当前环境下合适的池化操作。
S4，利用训练好的Resnet-34道路提取网络对预测数据集目标区域的道路进行预测，并得到结果。本步骤S4具体如下：获取SAR图像预测数据集，使用matlab将原始图像裁剪为224×224像素大小，利用训练好的基于动态混合池化策略的Resnet-34道路分割网络预测图像中的道路，将预测后的结果拼接为原图大小。
实施例2
如图3所示，本实施例基于动态混合池化策略的SAR图像道路提取系统，包括以下模块：
SAR图像训练数据集获取模块：获取SAR图像训练数据集，进行预处理并在数据集中标注出道路的区域；
动态混合池化构建模块：基于动态混合池化策略，在Resnet-34网络中构建两个动态混合池化模块；
网络参数及池化权重系数训练模块：采用梯度下降算法和反向传播算法训练改进的Resnet-34中每层网络的参数和动态混合池化模块中每种池化的权重系数；
预测及道路结果提取模块：利用训练好的Resnet-34道路提取网络对预测数据集目标区域的道路进行预测，并得到结果。
本实施例中，SAR图像训练数据集获取模块中，预处理具体包括：
对SAR图像数据集进行轨道校正、辐射定标、斜地转换、图像配准以及相干斑滤波预处理。
本实施例中，动态混合池化构建模块具体如下：
构建两个动态混合池化模块，动态混合池化模块使用四种不同的池化操作并将输出结果进行综合，表达式为：
Mx'y'＝λ1P1 xy+λ2P2 xy+λ3P3 xy+λ4P4 xy(0≤λ≤2)
其中，Mx'y'为经过动态混合池化策略输出的特征图，
Figure BDA0003811433030000121
为条形池化输出的特征图，λ1为权重；
Figure BDA0003811433030000122
为最大池化输出的特征图，λ2为权重；
Figure BDA0003811433030000123
为随机池化输出的特征图，λ3为权重；
Figure BDA0003811433030000124
为局部重要性池化输出的特征图，λ4为权重；[λ1,λ2,λ3,λ4]的初始值为[0,2]的随机数；
采用条形池化，输入一个特征图，经过水平和数值条纹池化后变为H×1和1×W，将经过卷积、扩张、求和后得到的特征图与原输入图对应像素相乘后得到输出结果；
采用最大池化，将输入的图像划分为若干个矩形区域，对每个子区域输出最大值；
最大池化定义如下：
Figure BDA0003811433030000125
其中，ykij表示第k个特征图，xkpq表示矩形区域中位于位置xkpq的元素；
采用随机池化，按照特征图内的数值大小进行概率划分；
随机池化定义如下：
Figure BDA0003811433030000131
其中，pkpq表示取到矩形区域中位于位置xkpq的元素的概率；
采用局部重要性池化，通过一个子网络自动学习重要性度量，对特征图内的数值按大小进行概率划分；局部重要性池化定义如下：
Figure BDA0003811433030000132
其中，I为输入的特征图，Ω为一个滑动窗口内包含(Δx,Δy)的索引集合，(x,y)为输入特征图中左上角位置，对应输出位置为(x',y')，g(I)为对数模块，exp(g(I))为重要性函数。
本实施例中，网络参数及池化权重系数训练模块具体如下：
将交叉熵作为损失函数，利用反向传播算法根据求导的链式法则向前计算每一层参数的梯度值，利用梯度下降算法根据梯度和学习率调整参数大小；训练后得到网络中每一层的参数和动态混合池化模块中的权重系数；
交叉熵的定义为：
Figure BDA0003811433030000133
网络参数的梯度下降为：
Figure BDA0003811433030000134
动态混合池化模块中的权重系数的更新过程为：
Figure BDA0003811433030000135
其中，L为损失函数，y表示实际的概率，
Figure BDA0003811433030000136
表示预测的概率；v表示更新的网络参数，v0表示还未更新的网络参数；
Figure BDA0003811433030000141
表示为求偏导数；
Figure BDA0003811433030000142
表示损失函数对参数v0的偏导数；
Figure BDA0003811433030000143
表示损失函数对权重系数λ0的偏导数；η1为网络参数更新的学习率，η2为动态混合池化模块中权重系数更新的学习率；当某一池化操作经过训练后的权重在[0,1)时表明在当前模块中该池化操作重要性降低，在(1,2]时表示在当前模块中该池化操作重要性增加。
本实施例中，预测及道路结果提取模块具体如下：
获取SAR图像预测数据集，采用matlab将原始图像裁剪为224×224像素大小，利用步骤S3训练好的基于动态混合池化策略的Resnet-34道路分割网络预测图像中的道路，将预测后的结果拼接为原图大小。
综上，基于单一的池化策略无法满足在复杂环境中正确识别出道路的现状，本发明基于动态混合池化策略，构建了动态混合池化模块对网络的池化层进行改进。本发明采用条形池化策略(strip pooling)，能够捕获道路SAR图像中的长距离关系和局部上下文；采用最大池化(max pooling)，能够提高对图像边缘的提取效果；采用随机池化(stochastic pooling)，能够提高泛化能力；采用局部重要性池化(Local Importance-based pooling)，能够自适应地对特征图的特征进行选取，丢弃冗余信息，保存了物体的局部细节；最后使用反向传播和梯度下降来训练不同池化的权重，弥补了不同SAR图像使用单一池化无法自适应识别的漏洞。

Claims (10)

1.基于动态混合池化策略的SAR图像道路提取方法，其特征是包括以下步骤：
S1、获取SAR图像训练数据集，进行预处理并在数据集中标注出道路的区域；
S2、基于动态混合池化策略，在Resnet-34网络中构建两个动态混合池化模块；
S3、采用梯度下降算法和反向传播算法训练步骤S2改进的Resnet-34中每层网络的参数和动态混合池化模块中每种池化的权重系数；
S4，利用步骤S3训练好的Resnet-34道路提取网络对预测数据集目标区域的道路进行预测，并得到结果。
2.如权利要求1所述基于动态混合池化策略的SAR图像道路提取方法，其特征是，步骤S1中，预处理具体包括：
对SAR图像数据集进行轨道校正、辐射定标、斜地转换、图像配准以及相干斑滤波预处理。
3.如权利要求1或2所述基于动态混合池化策略的SAR图像道路提取方法，其特征是，步骤S2具体包括如下步骤：
S21，构建两个动态混合池化模块，动态混合池化模块使用四种不同的池化操作并将输出结果进行综合，表达式为：
Mx'y'＝λ1P1 xy+λ2P2 xy+λ3P3 xy+λ4P4 xy(0≤λ≤2)
其中，Mx'y'为经过动态混合池化策略输出的特征图，
Figure FDA0003811433020000011
为条形池化输出的特征图，λ1为权重；
Figure FDA0003811433020000012
为最大池化输出的特征图，λ2为权重；
Figure FDA0003811433020000013
为随机池化输出的特征图，λ3为权重；
Figure FDA0003811433020000014
为局部重要性池化输出的特征图，λ4为权重；
[λ1,λ2,λ3,λ4]的初始值为[0,2]的随机数；
S22，采用条形池化，输入一个特征图，经过水平和数值条纹池化后变为H×1和1×W，将经过卷积、扩张、求和后得到的特征图与原输入图对应像素相乘后得到输出结果；
S23，采用最大池化，将输入的图像划分为若干个矩形区域，对每个子区域输出最大值；
最大池化定义如下：
Figure FDA0003811433020000021
其中，ykij表示第k个特征图，xkpq表示矩形区域中位于位置xkpq的元素；
S24，采用随机池化，按照特征图内的数值大小进行概率划分；
随机池化定义如下：
Figure FDA0003811433020000022
其中，pkpq表示取到矩形区域中位于位置xkpq的元素的概率；
S25，采用局部重要性池化，通过一个子网络自动学习重要性度量，对特征图内的数值按大小进行概率划分；局部重要性池化定义如下：
Figure FDA0003811433020000023
其中，I为输入的特征图，Ω为一个滑动窗口内包含(Δx,Δy)的索引集合，(x,y)为输入特征图中左上角位置，对应输出位置为(x',y')，g(I)为对数模块，exp(g(I))为重要性函数。
4.如权利要求3所述基于动态混合池化策略的SAR图像道路提取方法，其特征是，步骤S3具体如下：
将交叉熵作为损失函数，利用反向传播算法根据求导的链式法则向前计算每一层参数的梯度值，利用梯度下降算法根据梯度和学习率调整参数大小；训练后得到网络中每一层的参数和动态混合池化模块中的权重系数；
交叉熵的定义为：
Figure FDA0003811433020000031
网络参数的梯度下降为：
Figure FDA0003811433020000032
动态混合池化模块中的权重系数的更新过程为：
Figure FDA0003811433020000033
其中，L为损失函数，y表示实际的概率，
Figure FDA0003811433020000034
表示预测的概率；v表示更新的网络参数，v0表示还未更新的网络参数；
Figure FDA0003811433020000035
表示为求偏导数；
Figure FDA0003811433020000036
表示损失函数对参数v0的偏导数；
Figure FDA0003811433020000037
表示损失函数对权重系数λ0的偏导数；η1为网络参数更新的学习率，η2为动态混合池化模块中权重系数更新的学习率；当某一池化操作经过训练后的权重在[0,1)时表明在当前模块中该池化操作重要性降低，在(1,2]时表示在当前模块中该池化操作重要性增加。
5.如权利要求4所述基于动态混合池化策略的SAR图像道路提取方法，其特征是，步骤S4具体如下：
获取SAR图像预测数据集，采用matlab将原始图像裁剪为224×224像素大小，利用步骤S3训练好的基于动态混合池化策略的Resnet-34道路分割网络预测图像中的道路，将预测后的结果拼接为原图大小。
6.基于动态混合池化策略的SAR图像道路提取系统，其特征是包括以下模块：
SAR图像训练数据集获取模块：获取SAR图像训练数据集，进行预处理并在数据集中标注出道路的区域；
动态混合池化构建模块：基于动态混合池化策略，在Resnet-34网络中构建两个动态混合池化模块；
网络参数及池化权重系数训练模块：采用梯度下降算法和反向传播算法训练改进的Resnet-34中每层网络的参数和动态混合池化模块中每种池化的权重系数；
预测及道路结果提取模块：利用训练好的Resnet-34道路提取网络对预测数据集目标区域的道路进行预测，并得到结果。
7.如权利要求6所述基于动态混合池化策略的SAR图像道路提取系统，其特征是，SAR图像训练数据集获取模块中，预处理具体包括：
对SAR图像数据集进行轨道校正、辐射定标、斜地转换、图像配准以及相干斑滤波预处理。
8.如权利要求6或7所述基于动态混合池化策略的SAR图像道路提取方法，其特征是，动态混合池化构建模块具体如下：
构建两个动态混合池化模块，动态混合池化模块使用四种不同的池化操作并将输出结果进行综合，表达式为：
Mx'y'＝λ1P1 xy+λ2P2 xy+λ3P3 xy+λ4P4 xy(0≤λ≤2)
其中，Mx'y'为经过动态混合池化策略输出的特征图，
Figure FDA0003811433020000041
为条形池化输出的特征图，λ1为权重；
Figure FDA0003811433020000042
为最大池化输出的特征图，λ2为权重；
Figure FDA0003811433020000043
为随机池化输出的特征图，λ3为权重；
Figure FDA0003811433020000044
为局部重要性池化输出的特征图，λ4为权重；
[λ1,λ2,λ3,λ4]的初始值为[0,2]的随机数；
采用条形池化，输入一个特征图，经过水平和数值条纹池化后变为H×1和1×W，将经过卷积、扩张、求和后得到的特征图与原输入图对应像素相乘后得到输出结果；
采用最大池化，将输入的图像划分为若干个矩形区域，对每个子区域输出最大值；
最大池化定义如下：
Figure FDA0003811433020000051
其中，ykij表示第k个特征图，xkpq表示矩形区域中位于位置xkpq的元素；
采用随机池化，按照特征图内的数值大小进行概率划分；
随机池化定义如下：
Figure FDA0003811433020000052
其中，pkpq表示取到矩形区域中位于位置xkpq的元素的概率；
采用局部重要性池化，通过一个子网络自动学习重要性度量，对特征图内的数值按大小进行概率划分；局部重要性池化定义如下：
Figure FDA0003811433020000053
其中，I为输入的特征图，Ω为一个滑动窗口内包含(Δx,Δy)的索引集合，(x,y)为输入特征图中左上角位置，对应输出位置为(x',y')，g(I)为对数模块，exp(g(I))为重要性函数。
9.如权利要求8所述基于动态混合池化策略的SAR图像道路提取系统，其特征是，网络参数及池化权重系数训练模块具体如下：
将交叉熵作为损失函数，利用反向传播算法根据求导的链式法则向前计算每一层参数的梯度值，利用梯度下降算法根据梯度和学习率调整参数大小；训练后得到网络中每一层的参数和动态混合池化模块中的权重系数；
交叉熵的定义为：
Figure FDA0003811433020000054
网络参数的梯度下降为：
Figure FDA0003811433020000061
动态混合池化模块中的权重系数的更新过程为：
Figure FDA0003811433020000062
其中，L为损失函数，y表示实际的概率，
Figure FDA0003811433020000063
表示预测的概率；v表示更新的网络参数，v0表示还未更新的网络参数；
Figure FDA0003811433020000064
表示为求偏导数；
Figure FDA0003811433020000065
表示损失函数对参数v0的偏导数；
Figure FDA0003811433020000066
表示损失函数对权重系数λ0的偏导数；η1为网络参数更新的学习率，η2为动态混合池化模块中权重系数更新的学习率；当某一池化操作经过训练后的权重在[0,1)时表明在当前模块中该池化操作重要性降低，在(1,2]时表示在当前模块中该池化操作重要性增加。
10.如权利要求9所述基于动态混合池化策略的SAR图像道路提取方法，其特征是，预测及道路结果提取模块具体如下：
获取SAR图像预测数据集，采用matlab将原始图像裁剪为224×224像素大小，利用步骤S3训练好的基于动态混合池化策略的Resnet-34道路分割网络预测图像中的道路，将预测后的结果拼接为原图大小。
CN202211013245.9A 2022-08-23 2022-08-23 基于动态混合池化策略的sar图像道路提取方法及系统 Active CN115393712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211013245.9A CN115393712B (zh) 2022-08-23 2022-08-23 基于动态混合池化策略的sar图像道路提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211013245.9A CN115393712B (zh) 2022-08-23 2022-08-23 基于动态混合池化策略的sar图像道路提取方法及系统

Publications (2)

Publication Number Publication Date
CN115393712A true CN115393712A (zh) 2022-11-25
CN115393712B CN115393712B (zh) 2023-04-18

Family

ID=84120824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211013245.9A Active CN115393712B (zh) 2022-08-23 2022-08-23 基于动态混合池化策略的sar图像道路提取方法及系统

Country Status (1)

Country Link
CN (1) CN115393712B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908206A (zh) * 2023-03-13 2023-04-04 中国石油大学(华东) 一种基于动态特征注意力网络的遥感图像去雾方法
CN116071658A (zh) * 2023-03-07 2023-05-05 四川大学 一种基于深度学习的sar图像小目标检测识别方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163286A (zh) * 2019-05-24 2019-08-23 常熟理工学院 一种基于混合池化的领域自适应图像分类方法
CN112883934A (zh) * 2021-04-01 2021-06-01 陕西师范大学 一种基于注意力机制的sar图像道路分割方法
CN114581762A (zh) * 2021-12-20 2022-06-03 河南大学 一种基于多尺度条形池化和金字塔池化的道路提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163286A (zh) * 2019-05-24 2019-08-23 常熟理工学院 一种基于混合池化的领域自适应图像分类方法
CN112883934A (zh) * 2021-04-01 2021-06-01 陕西师范大学 一种基于注意力机制的sar图像道路分割方法
CN114581762A (zh) * 2021-12-20 2022-06-03 河南大学 一种基于多尺度条形池化和金字塔池化的道路提取方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GAO ZITENG 等: "LIP: Local Importance-Based Pooling", 《IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
HOU QIBIN 等: "Strip Pooling: Rethinking Spatial Pooling for Scene Parsing", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
RASNA A. AMIT 等: "A Robust Airport Runway Detection Network Based on R-CNN Using Remote Sensing Images", 《IEEE AEROSPACE AND ELECTRONIC SYSTEMS MAGAZINE》 *
李代栋 等: "基于SPUD-ResNet的遥感影像道路提取网络", 《计算机工程与应用》 *
高慧琴: "基于深度学习的高分辨率遥感图像道路自动提取研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071658A (zh) * 2023-03-07 2023-05-05 四川大学 一种基于深度学习的sar图像小目标检测识别方法及设备
CN115908206A (zh) * 2023-03-13 2023-04-04 中国石油大学(华东) 一种基于动态特征注意力网络的遥感图像去雾方法
CN115908206B (zh) * 2023-03-13 2023-06-16 中国石油大学(华东) 一种基于动态特征注意力网络的遥感图像去雾方法

Also Published As

Publication number Publication date
CN115393712B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN115393712B (zh) 基于动态混合池化策略的sar图像道路提取方法及系统
CN110796168B (zh) 一种基于改进YOLOv3的车辆检测方法
US11333796B2 (en) Spatial autocorrelation machine learning-based downscaling method and system of satellite precipitation data
CN108710875A (zh) 一种基于深度学习的航拍公路车辆计数方法及装置
CN112446419A (zh) 基于注意力机制的时空神经网络雷达回波外推预报方法
CN112800634B (zh) 耦合干湿状态辨识与多源信息融合的降水估计方法及系统
CN115272828B (zh) 一种基于注意力机制的密集目标检测模型训练方法
CN111879915B (zh) 一种滨海湿地高分辨率的逐月土壤盐度监测方法及系统
CN115861951B (zh) 一种基于双特征提取网络的复杂环境车道线精准检测方法
CN114742206B (zh) 综合多时空尺度多普勒雷达数据的降雨强度估计方法
CN108364305A (zh) 基于改进型dsst的车载摄像视频目标跟踪方法
CN116246169A (zh) 基于SAH-Unet的高分辨率遥感影像不透水面提取方法
CN116485885A (zh) 基于深度学习去除视觉slam前端动态特征点的方法
CN113515798B (zh) 一种城市三维空间扩张模拟方法及装置
CN117710508A (zh) 基于改进条件生成对抗网络的近地表温度反演方法和装置
CN111340001B (zh) 一种基于遥感影像深度学习的交通拥堵识别方法
CN113989612A (zh) 基于注意力及生成对抗网络的遥感影像目标检测方法
CN115546658B (zh) 一种数据集质量提升与改进cnn相结合的夜间云检测方法
CN113313099A (zh) 一种基于遥感影像地图的实时获取方法、系统和存储介质
CN112434590A (zh) 一种基于小波变换的sar影像风条纹识别方法
CN117152561B (zh) 一种洪涝灾害重置成本遥感样本集构建及更新方法
CN114360739B (zh) 一种基于遥感云计算与深度学习的登革热风险预测方法
CN116703975B (zh) 一种用于无人机的智能化目标图像跟踪方法
CN117649635B (zh) 狭窄水道场景影消点检测方法、系统及存储介质
CN113449611B (zh) 一种基于yolo网络压缩算法的安全帽识别智能监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant