CN115393712B - 基于动态混合池化策略的sar图像道路提取方法及系统 - Google Patents
基于动态混合池化策略的sar图像道路提取方法及系统 Download PDFInfo
- Publication number
- CN115393712B CN115393712B CN202211013245.9A CN202211013245A CN115393712B CN 115393712 B CN115393712 B CN 115393712B CN 202211013245 A CN202211013245 A CN 202211013245A CN 115393712 B CN115393712 B CN 115393712B
- Authority
- CN
- China
- Prior art keywords
- pooling
- sar image
- road
- network
- dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011176 pooling Methods 0.000 title claims abstract description 243
- 238000000605 extraction Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 29
- 238000010586 diagram Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000001427 coherent effect Effects 0.000 claims description 5
- 230000007547 defect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于动态混合池化策略的SAR图像道路提取方法及系统,方法包括以下步骤:S1、获取SAR图像训练数据集,进行预处理并在数据集中标注出道路的区域;S2、基于动态混合池化策略,在Resnet‑34网络中构建两个动态混合池化模块;S3、采用梯度下降算法和反向传播算法训练步骤S2改进的Resnet‑34中每层网络的参数和动态混合池化模块中每种池化的权重系数;S4,利用步骤S3训练好的Resnet‑34道路提取网络对预测数据集目标区域的道路进行预测,并得到结果。本发明动态混合池化策略中的条形池化能够捕获道路SAR图像中的长距离关系和局部上下文,适用于具有长条形结构特征的道路SAR图像。
Description
技术领域
本发明属于合成孔径雷达图像检测与目标识别技术领域,具体涉及一种基于卷积神经网络动态混合池化策略的SAR图像道路分割识别方法及系统。
背景技术
21世纪是大数据的时代,遥感卫星技术通过不断的发展,SAR卫星根据地面物体对雷达波束的反应能够实现对全球实时监控。SAR指合成孔径雷达,图像的灰度主要跟物体的特性和雷达的工作参数有关。
道路是现代交通体系的重要组成部分,道路检测普遍应用在智慧城市、公路施工、智慧交通等领域。当下SAR图像的道路特征提取已经是提取道路信息的主要来源。随着SAR图像分辨率的提高,导致噪声也被放大,造成道路提取更加困难。图像中的大量道路信息使用人眼与人脑处理是不现实的,传统算法存在耗时长、稳定性差的缺点。因此,对于SAR图像的自动语义解析应运而生。
近几年深度学习发展迅速,作为重要分支的卷积神经网络在SAR图像的语义分割以及目标检测中取得了良好的研究成果。但是现有的SAR图像道路检测方法,存在复杂地物环境中识别正确率低的缺点。池化策略作为深度网络特征提取的重要手段,在图像识别过程中起着至关重要的作用。比如传统的最大池化和平均值化,最大池化对图像的边缘提取更有优势,平均池化对图像纹理信息提取更有优势,但是这两种池化方式都丢失了很多图像特征信息。其他的池化策略也都各有优缺点。
传统池化为了增加感受野和减少对内存的占用,使用空间下采样层来缩小特征图,从而忽略特征图的细节,阻碍了学习进程;传统池化在方形窗口对特征图进行池化操作,忽略了普遍存在于道路SAR图像中的长条形结构和纹理信息。
基于单一的池化策略无法满足在复杂环境中正确识别出道路的现状,本发明基于动态混合池化策略,构建了动态混合池化模块对网络的池化层进行改进。
发明内容
针对现有技术存在的缺点,本发明建立了一种基于动态混合池化策略的道路提取方法及系统,构建了动态混合池化模块来自适应网络中的池化操作。采用Resnet-34作为主干网络来训练SAR图像,通过反向传播算法来训练每层网络的参数和动态混合池化模块中每种池化策略的权重系数。
为了达到上述发明目的,本发明采用以下技术方案:
基于动态混合池化策略的SAR图像道路提取方法,包括以下步骤:
S1、获取SAR图像训练数据集,进行预处理并在数据集中标注出道路的区域;
S2、基于动态混合池化策略构建改进的Resnet-34模型,在原来的Resnet-34网络中构建两个动态混合池化模块来代替k=3,s=2,padding=1的池化操作和全局平均池化操作;
S3、采用梯度下降算法和反向传播算法来训练基于动态池化策略改进的Resnet-34中的参数和动态混合池化模块中每种池化的权重系数;
S4,利用训练好的Resnet-34道路提取网络对预测数据集目标区域的道路进行预测,并得到结果。
作为优选,步骤S1中,对SAR图像进行预处理的过程包括:
对SAR图像数据集进行轨道校正、辐射定标、斜地转换、图像配准、以及相干斑滤波预处理。
作为优选,步骤S2包括如下步骤:
S21,Resnet-34网络由16个基本单元、1个7x7卷积层与1个全连接层构成。网络共计34层,内部使用的残差块跳跃连接。在原有Resnet-34网络的基础上构建两个动态混合池化模块来代替k=3,s=2,padding=1的池化操作和全局平均池化操作。动态混合池化模块使用四种不同的池化操作并将输出结果进行综合。表达式为:
Mx'y'=λ1P1 xy+λ2P2 xy+λ3P3 xy+λ4P4 xy(0≤λ≤2)
其中,Mx'y'为经过动态混合池化策略输出的特征图,为条形池化输出的特征图,λ1为其权重;为最大池化输出的特征图,λ2为其权重;为随机池化输出的特征图,λ3为其权重;为局部重要性池化输出的特征图,λ4为其权重。[λ1,λ2,λ3,λ4]的初始值为[0,2]的随机数,训练后由梯度下降算法和反向传播算法所得。
S22,采用条形池化,输入一个特征图,经过水平和数值条纹池化后变为H×1和1×W。随后将经过卷积、扩张、求和后得到的特征图与原输入图对应像素相乘后得到输出结果。
S23,采用最大池化将,输入的图像划分为若干个矩形区域,对每个子区域输出最大值。
所述最大池化定义如下:
其中,ykij表示第k个特征图,xkpq表示矩形区域中位于位置xkpq的元素。
S24,采用随机池化,按照特征图内的数值大小进行概率划分。
所述随机池化定义如下:
其中,pkpq表示取到矩形区域中位于位置xkpq的元素的概率。
S25,采用局部重要性池化,通过一个子网络自动学习重要性度量,对特征图内的数值依照大小进行概率划分。所述局部重要性池化定义如下:
其中,I为输入的特征图,Ω为一个滑动窗口内包含(Δx,Δy)的索引集合,(x,y)为输入特征图中左上角位置,对应输出位置为(x',y'),g(I)被称为对数模块,exp(g(I))为重要性函数。
作为优选,步骤S3具体如下:
将交叉熵作为损失函数,求解Resnet-34每一层的梯度,反向传播算法根据求导的链式法则向前计算每一层参数的梯度值,利用梯度下降算法根据梯度和学习率来调整参数大小。训练后得到网络中每一层的参数和动态混合池化模块中的权重系数;
交叉熵的定义为:
网络参数的梯度下降为:
动态混合池化模块中的权重系数的更新过程为:
其中L为损失函数,y表示实际的概率,表示预测的概率。v表示更新的网络参数,v0表示还未更新的网络参数。表示为求偏导数。表示损失函数对参数v0的偏导数。表示损失函数对权重系数λ0的偏导数。η1为网络参数更新的学习率,η2为动态混合池化模块中权重系数更新的学习率。当某一池化操作经过训练后的权重在[0,1)时表明在当前模块中该池化操作重要性降低,在(1,2]时表面在当前模块中该池化操作重要性增加。通过对权重的修改,动态混合池化模块可以自适应地选择当前环境下合适的池化操作。
作为优选,步骤S4具体如下:
获取SAR图像预测数据集,使用matlab将原始图像裁剪为224×224像素大小,利用训练好的基于动态混合池化策略的Resnet-34道路分割网络预测图像中的道路,将预测后的结果拼接为原图大小。
本发明还公开了一下基于动态混合池化策略的SAR图像道路提取系统,其包括以下模块:
SAR图像训练数据集获取模块:获取SAR图像训练数据集,进行预处理并在数据集中标注出道路的区域;
动态混合池化构建模块:基于动态混合池化策略,在Resnet-34网络中构建两个动态混合池化模块;
网络参数及池化权重系数训练模块:采用梯度下降算法和反向传播算法训练改进的Resnet-34中每层网络的参数和动态混合池化模块中每种池化的权重系数;
预测及道路结果提取模块:利用训练好的Resnet-34道路提取网络对预测数据集目标区域的道路进行预测,并得到结果。
优选的,SAR图像训练数据集获取模块中,预处理具体包括:
对SAR图像数据集进行轨道校正、辐射定标、斜地转换、图像配准以及相干斑滤波预处理。
优选的,动态混合池化构建模块具体如下:
构建两个动态混合池化模块,动态混合池化模块使用四种不同的池化操作并将输出结果进行综合,表达式为:
Mx'y'=λ1P1 xy+λ2P2 xy+λ3P3 xy+λ4P4 xy(0≤λ≤2)
其中,Mx'y'为经过动态混合池化策略输出的特征图,为条形池化输出的特征图,λ1为权重;为最大池化输出的特征图,λ2为权重;为随机池化输出的特征图,λ3为权重;为局部重要性池化输出的特征图,λ4为权重;[λ1,λ2,λ3,λ4]的初始值为[0,2]的随机数;
采用条形池化,输入一个特征图,经过水平和数值条纹池化后变为H×1和1×W,将经过卷积、扩张、求和后得到的特征图与原输入图对应像素相乘后得到输出结果;
采用最大池化,将输入的图像划分为若干个矩形区域,对每个子区域输出最大值;
最大池化定义如下:
其中,ykij表示第k个特征图,xkpq表示矩形区域中位于位置xkpq的元素;
采用随机池化,按照特征图内的数值大小进行概率划分;
随机池化定义如下:
其中,pkpq表示取到矩形区域中位于位置xkpq的元素的概率;
采用局部重要性池化,通过一个子网络自动学习重要性度量,对特征图内的数值按大小进行概率划分;局部重要性池化定义如下:
其中,I为输入的特征图,Ω为一个滑动窗口内包含(Δx,Δy)的索引集合,(x,y)为输入特征图中左上角位置,对应输出位置为(x',y'),g(I)为对数模块,exp(g(I))为重要性函数。
优选的,网络参数及池化权重系数训练模块具体如下:
将交叉熵作为损失函数,利用反向传播算法根据求导的链式法则向前计算每一层参数的梯度值,利用梯度下降算法根据梯度和学习率调整参数大小;训练后得到网络中每一层的参数和动态混合池化模块中的权重系数;
交叉熵的定义为:
网络参数的梯度下降为:
动态混合池化模块中的权重系数的更新过程为:
其中,L为损失函数,y表示实际的概率,表示预测的概率;v表示更新的网络参数,v0表示还未更新的网络参数;表示为求偏导数;表示损失函数对参数v0的偏导数;表示损失函数对权重系数λ0的偏导数;η1为网络参数更新的学习率,η2为动态混合池化模块中权重系数更新的学习率;当某一池化操作经过训练后的权重在[0,1)时表明在当前模块中该池化操作重要性降低,在(1,2]时表示在当前模块中该池化操作重要性增加。
优选的,预测及道路结果提取模块具体如下:
获取SAR图像预测数据集,采用matlab将原始图像裁剪为224×224像素大小,利用步骤S3训练好的基于动态混合池化策略的Resnet-34道路分割网络预测图像中的道路,将预测后的结果拼接为原图大小。
本发明与现有技术相比,有益效果是:
(1)本发明动态混合池化策略中的条形池化能够捕获道路SAR图像中的长距离关系和局部上下文,适用于具有长条形结构特征的道路SAR图像。
(2)本发明动态混合池化策略中的最大池化、随机池化、局部重要性池化,提高了网络的分类精度和泛化能力,并且使网络拥有了自适应地对特征图的特征进行选取的能力。
(3)本发明动态混合池化策略中不同的池化策略叠加时使用的权重为训练所得,在网络的两个动态混合池化模块中拥有不同的池化策略,弥补了不同SAR图像使用单一池化无法自适应识别的漏洞。
附图说明
图1是本发明基于动态混合池化策略的道路提取方法的流程图;
图2是本发明基于动态混合池化策略的道路提取方法的网络构架图;
图3是本发明基于动态混合池化策略的道路提取系统框图。
具体实施方式
下面结合附图对本发明优选实施例做详细说明。
实施例1
如图1-2所示,本实施例一种基于动态混合池化策略的SAR图像道路提取方法,包括以下步骤:
S1、获取SAR图像训练数据集,进行预处理并在数据集中标注出道路的区域;在本步骤中,对SAR图像进行预处理包括:对SAR图像数据集进行轨道校正、辐射定标、斜地转换、图像配准、以及相干斑滤波预处理。
S2、基于动态混合池化策略构建改进的Resnet-34模型,在原来的Resnet-34网络中构建两个动态混合池化模块来代替k=3,s=2,padding=1的池化操作和全局平均池化操作;本步骤S2具体包括如下子步骤:
S21,Resnet-34网络由16个基本单元、1个7x7卷积层与1个全连接层构成。网络共计34层,内部使用的残差块跳跃连接。在原有Resnet-34网络的基础上构建两个动态混合池化模块来代替k=3,s=2,padding=1的池化操作和全局平均池化操作。动态混合池化模块使用四种不同的池化操作并将输出结果进行综合。表达式为:
Mx'y'=λ1P1 xy+λ2P2 xy+λ3P3 xy+λ4P4 xy(0≤λ≤2)
其中,Mx'y'为经过动态混合池化策略输出的特征图,为条形池化输出的特征图,λ1为其权重;为最大池化输出的特征图,λ2为其权重;为随机池化输出的特征图,λ3为其权重;为局部重要性池化输出的特征图,λ4为其权重。[λ1,λ2,λ3,λ4]的初始值为[0,2]的随机数,训练后由梯度下降算法和反向传播算法所得。
S22,采用条形池化,输入一个特征图,经过水平和数值条纹池化后变为H×1和1×W。随后将经过卷积、扩张、求和后得到的特征图与原输入图对应像素相乘后得到输出结果。
S23,采用最大池化将,输入的图像划分为若干个矩形区域,对每个子区域输出最大值。
所述最大池化定义如下:
其中,ykij表示第k个特征图,xkpq表示矩形区域中位于位置xkpq的元素。
S24,采用随机池化,按照特征图内的数值大小进行概率划分。
所述随机池化定义如下:
其中,pkpq表示取到矩形区域中位于位置xkpq的元素的概率。
S25,采用局部重要性池化,通过一个子网络自动学习重要性度量,对特征图内的数值依照大小进行概率划分。所述局部重要性池化定义如下:
其中,I为输入的特征图,Ω为一个滑动窗口内包含(Δx,Δy)的索引集合,(x,y)为输入特征图中左上角位置,对应输出位置为(x',y'),g(I)被称为对数模块,exp(g(I))为重要性函数。
S3、采用梯度下降算法和反向传播算法来训练基于动态池化策略改进的Resnet-34中的参数和动态混合池化模块中每种池化的权重系数;本步骤具体如下:将交叉熵作为损失函数,求解Resnet-34每一层的梯度,反向传播算法根据求导的链式法则向前计算每一层参数的梯度值,利用梯度下降算法根据梯度和学习率来调整参数大小。训练后得到网络中每一层的参数和动态混合池化模块中的权重系数;
交叉熵的定义为:
网络参数的梯度下降为:
动态混合池化模块中的权重系数的更新过程为:
其中L为损失函数,y表示实际的概率,表示预测的概率。v表示更新的网络参数,v0表示还未更新的网络参数。表示为求偏导数。表示损失函数对参数v0的偏导数。表示损失函数对权重系数λ0的偏导数。η1为网络参数更新的学习率,η2为动态混合池化模块中权重系数更新的学习率。当某一池化操作经过训练后的权重在[0,1)时表明在当前模块中该池化操作重要性降低,在(1,2]时表面在当前模块中该池化操作重要性增加。通过对权重的修改,动态混合池化模块可以自适应地选择当前环境下合适的池化操作。
S4,利用训练好的Resnet-34道路提取网络对预测数据集目标区域的道路进行预测,并得到结果。本步骤S4具体如下:获取SAR图像预测数据集,使用matlab将原始图像裁剪为224×224像素大小,利用训练好的基于动态混合池化策略的Resnet-34道路分割网络预测图像中的道路,将预测后的结果拼接为原图大小。
实施例2
如图3所示,本实施例基于动态混合池化策略的SAR图像道路提取系统,包括以下模块:
SAR图像训练数据集获取模块:获取SAR图像训练数据集,进行预处理并在数据集中标注出道路的区域;
动态混合池化构建模块:基于动态混合池化策略,在Resnet-34网络中构建两个动态混合池化模块;
网络参数及池化权重系数训练模块:采用梯度下降算法和反向传播算法训练改进的Resnet-34中每层网络的参数和动态混合池化模块中每种池化的权重系数;
预测及道路结果提取模块:利用训练好的Resnet-34道路提取网络对预测数据集目标区域的道路进行预测,并得到结果。
本实施例中,SAR图像训练数据集获取模块中,预处理具体包括:
对SAR图像数据集进行轨道校正、辐射定标、斜地转换、图像配准以及相干斑滤波预处理。
本实施例中,动态混合池化构建模块具体如下:
构建两个动态混合池化模块,动态混合池化模块使用四种不同的池化操作并将输出结果进行综合,表达式为:
Mx'y'=λ1P1 xy+λ2P2 xy+λ3P3 xy+λ4P4 xy(0≤λ≤2)
其中,Mx'y'为经过动态混合池化策略输出的特征图,为条形池化输出的特征图,λ1为权重;为最大池化输出的特征图,λ2为权重;为随机池化输出的特征图,λ3为权重;为局部重要性池化输出的特征图,λ4为权重;[λ1,λ2,λ3,λ4]的初始值为[0,2]的随机数;
采用条形池化,输入一个特征图,经过水平和数值条纹池化后变为H×1和1×W,将经过卷积、扩张、求和后得到的特征图与原输入图对应像素相乘后得到输出结果;
采用最大池化,将输入的图像划分为若干个矩形区域,对每个子区域输出最大值;
最大池化定义如下:
其中,ykij表示第k个特征图,xkpq表示矩形区域中位于位置xkpq的元素;
采用随机池化,按照特征图内的数值大小进行概率划分;
随机池化定义如下:
其中,pkpq表示取到矩形区域中位于位置xkpq的元素的概率;
采用局部重要性池化,通过一个子网络自动学习重要性度量,对特征图内的数值按大小进行概率划分;局部重要性池化定义如下:
其中,I为输入的特征图,Ω为一个滑动窗口内包含(Δx,Δy)的索引集合,(x,y)为输入特征图中左上角位置,对应输出位置为(x',y'),g(I)为对数模块,exp(g(I))为重要性函数。
本实施例中,网络参数及池化权重系数训练模块具体如下:
将交叉熵作为损失函数,利用反向传播算法根据求导的链式法则向前计算每一层参数的梯度值,利用梯度下降算法根据梯度和学习率调整参数大小;训练后得到网络中每一层的参数和动态混合池化模块中的权重系数;
交叉熵的定义为:
网络参数的梯度下降为:
动态混合池化模块中的权重系数的更新过程为:
其中,L为损失函数,y表示实际的概率,表示预测的概率;v表示更新的网络参数,v0表示还未更新的网络参数;表示为求偏导数;表示损失函数对参数v0的偏导数;表示损失函数对权重系数λ0的偏导数;η1为网络参数更新的学习率,η2为动态混合池化模块中权重系数更新的学习率;当某一池化操作经过训练后的权重在[0,1)时表明在当前模块中该池化操作重要性降低,在(1,2]时表示在当前模块中该池化操作重要性增加。
本实施例中,预测及道路结果提取模块具体如下:
获取SAR图像预测数据集,采用matlab将原始图像裁剪为224×224像素大小,利用步骤S3训练好的基于动态混合池化策略的Resnet-34道路分割网络预测图像中的道路,将预测后的结果拼接为原图大小。
综上,基于单一的池化策略无法满足在复杂环境中正确识别出道路的现状,本发明基于动态混合池化策略,构建了动态混合池化模块对网络的池化层进行改进。本发明采用条形池化策略(strip pooling),能够捕获道路SAR图像中的长距离关系和局部上下文;采用最大池化(max pooling),能够提高对图像边缘的提取效果;采用随机池化(stochastic pooling),能够提高泛化能力;采用局部重要性池化(Local Importance-based pooling),能够自适应地对特征图的特征进行选取,丢弃冗余信息,保存了物体的局部细节;最后使用反向传播和梯度下降来训练不同池化的权重,弥补了不同SAR图像使用单一池化无法自适应识别的漏洞。
Claims (8)
1.基于动态混合池化策略的SAR图像道路提取方法,其特征是包括以下步骤:
S1、获取SAR图像训练数据集,进行预处理并在数据集中标注出道路的区域;
S2、基于动态混合池化策略,在Resnet-34网络中构建两个动态混合池化模块;
S3、采用梯度下降算法和反向传播算法训练步骤S2改进的Resnet-34中每层网络的参数和动态混合池化模块中每种池化的权重系数;
S4,利用步骤S3训练好的Resnet-34道路提取网络对预测数据集目标区域的道路进行预测,并得到结果;
步骤S2具体包括如下步骤:
S21,构建两个动态混合池化模块,动态混合池化模块使用四种不同的池化操作并将输出结果进行综合,表达式为:
Mx'y'=λ1P1 xy+λ2P2 xy+λ3P3 xy+λ4P4 xy,(0≤λ≤2)
其中,Mx'y'为经过动态混合池化策略输出的特征图,为条形池化输出的特征图,λ1为权重;为最大池化输出的特征图,λ2为权重;为随机池化输出的特征图,λ3为权重;为局部重要性池化输出的特征图,λ4为权重;
[λ1,λ2,λ3,λ4]的初始值为[0,2]的随机数;
S22,采用条形池化,输入一个特征图,经过水平和数值条纹池化后变为H×1和1×W,将经过卷积、扩张、求和后得到的特征图与原输入图对应像素相乘后得到输出结果;
S23,采用最大池化,将输入的图像划分为若干个矩形区域,对每个子区域输出最大值;
最大池化定义如下:
其中,ykij表示第k个特征图,xkpq表示矩形区域中位于位置xkpq的元素;
S24,采用随机池化,按照特征图内的数值大小进行概率划分;
随机池化定义如下:
其中,pkpq表示取到矩形区域中位于位置xkpq的元素的概率;
S25,采用局部重要性池化,通过一个子网络自动学习重要性度量,对特征图内的数值按大小进行概率划分;局部重要性池化定义如下:
其中,I为输入的特征图,Ω为一个滑动窗口内包含(Δx,Δy)的索引集合,(x,y)为输入特征图中左上角位置,对应输出位置为(x',y'),g(I)为对数模块,exp(g(I))为重要性函数。
2.如权利要求1所述基于动态混合池化策略的SAR图像道路提取方法,其特征是,步骤S1中,预处理具体包括:
对SAR图像数据集进行轨道校正、辐射定标、斜地转换、图像配准以及相干斑滤波预处理。
3.如权利要求1所述基于动态混合池化策略的SAR图像道路提取方法,其特征是,步骤S3具体如下:
将交叉熵作为损失函数,利用反向传播算法根据求导的链式法则向前计算每一层参数的梯度值,利用梯度下降算法根据梯度和学习率调整参数大小;训练后得到网络中每一层的参数和动态混合池化模块中的权重系数;
交叉熵的定义为:
网络参数的梯度下降为:
动态混合池化模块中的权重系数的更新过程为:
4.如权利要求3所述基于动态混合池化策略的SAR图像道路提取方法,其特征是,步骤S4具体如下:
获取SAR图像预测数据集,采用matlab将原始图像裁剪为224×224像素大小,利用步骤S3训练好的基于动态混合池化策略的Resnet-34道路分割网络预测图像中的道路,将预测后的结果拼接为原图大小。
5.基于动态混合池化策略的SAR图像道路提取系统,其特征是包括以下模块:
SAR图像训练数据集获取模块:获取SAR图像训练数据集,进行预处理并在数据集中标注出道路的区域;
动态混合池化构建模块:基于动态混合池化策略,在Resnet-34网络中构建两个动态混合池化模块;
网络参数及池化权重系数训练模块:采用梯度下降算法和反向传播算法训练改进的Resnet-34中每层网络的参数和动态混合池化模块中每种池化的权重系数;
预测及道路结果提取模块:利用训练好的Resnet-34道路提取网络对预测数据集目标区域的道路进行预测,并得到结果;
动态混合池化构建模块具体如下:
构建两个动态混合池化模块,动态混合池化模块使用四种不同的池化操作并将输出结果进行综合,表达式为:
Mx'y'=λ1P1 xy+λ2P2 xy+λ3P3 xy+λ4P4 xy,(0≤λ≤2
其中,Mx'y'为经过动态混合池化策略输出的特征图,为条形池化输出的特征图,λ1为权重;为最大池化输出的特征图,λ2为权重;为随机池化输出的特征图,λ3为权重;为局部重要性池化输出的特征图,λ4为权重;
[λ1,λ2,λ3,λ4]的初始值为[0,2]的随机数;
采用条形池化,输入一个特征图,经过水平和数值条纹池化后变为H×1和1×W,将经过卷积、扩张、求和后得到的特征图与原输入图对应像素相乘后得到输出结果;
采用最大池化,将输入的图像划分为若干个矩形区域,对每个子区域输出最大值;
最大池化定义如下:
其中,ykij表示第k个特征图,xkpq表示矩形区域中位于位置xkpq的元素;
采用随机池化,按照特征图内的数值大小进行概率划分;
随机池化定义如下:
其中,pkpq表示取到矩形区域中位于位置xkpq的元素的概率;
采用局部重要性池化,通过一个子网络自动学习重要性度量,对特征图内的数值按大小进行概率划分;局部重要性池化定义如下:
其中,I为输入的特征图,Ω为一个滑动窗口内包含(Δx,Δy)的索引集合,(x,y)为输入特征图中左上角位置,对应输出位置为(x',y'),g(I)为对数模块,exp(g(I))为重要性函数。
6.如权利要求5所述基于动态混合池化策略的SAR图像道路提取系统,其特征是,SAR图像训练数据集获取模块中,预处理具体包括:
对SAR图像数据集进行轨道校正、辐射定标、斜地转换、图像配准以及相干斑滤波预处理。
7.如权利要求5所述基于动态混合池化策略的SAR图像道路提取系统,其特征是,网络参数及池化权重系数训练模块具体如下:
将交叉熵作为损失函数,利用反向传播算法根据求导的链式法则向前计算每一层参数的梯度值,利用梯度下降算法根据梯度和学习率调整参数大小;训练后得到网络中每一层的参数和动态混合池化模块中的权重系数;
交叉熵的定义为:
网络参数的梯度下降为:
动态混合池化模块中的权重系数的更新过程为:
8.如权利要求7所述基于动态混合池化策略的SAR图像道路提取系统,其特征是,预测及道路结果提取模块具体如下:
获取SAR图像预测数据集,采用matlab将原始图像裁剪为224×224像素大小,利用步骤S3训练好的基于动态混合池化策略的Resnet-34道路分割网络预测图像中的道路,将预测后的结果拼接为原图大小。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211013245.9A CN115393712B (zh) | 2022-08-23 | 2022-08-23 | 基于动态混合池化策略的sar图像道路提取方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211013245.9A CN115393712B (zh) | 2022-08-23 | 2022-08-23 | 基于动态混合池化策略的sar图像道路提取方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115393712A CN115393712A (zh) | 2022-11-25 |
CN115393712B true CN115393712B (zh) | 2023-04-18 |
Family
ID=84120824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211013245.9A Active CN115393712B (zh) | 2022-08-23 | 2022-08-23 | 基于动态混合池化策略的sar图像道路提取方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115393712B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116071658B (zh) * | 2023-03-07 | 2023-06-13 | 四川大学 | 一种基于深度学习的sar图像小目标检测识别方法及设备 |
CN115908206B (zh) * | 2023-03-13 | 2023-06-16 | 中国石油大学(华东) | 一种基于动态特征注意力网络的遥感图像去雾方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163286B (zh) * | 2019-05-24 | 2021-05-11 | 常熟理工学院 | 一种基于混合池化的领域自适应图像分类方法 |
CN112883934A (zh) * | 2021-04-01 | 2021-06-01 | 陕西师范大学 | 一种基于注意力机制的sar图像道路分割方法 |
CN114581762B (zh) * | 2021-12-20 | 2024-08-20 | 河南大学 | 一种基于多尺度条形池化和金字塔池化的道路提取方法 |
-
2022
- 2022-08-23 CN CN202211013245.9A patent/CN115393712B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115393712A (zh) | 2022-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115393712B (zh) | 基于动态混合池化策略的sar图像道路提取方法及系统 | |
CN110796168B (zh) | 一种基于改进YOLOv3的车辆检测方法 | |
CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
CN110796009A (zh) | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 | |
CN112446419A (zh) | 基于注意力机制的时空神经网络雷达回波外推预报方法 | |
CN108364305A (zh) | 基于改进型dsst的车载摄像视频目标跟踪方法 | |
CN116246169A (zh) | 基于SAH-Unet的高分辨率遥感影像不透水面提取方法 | |
CN114742206B (zh) | 综合多时空尺度多普勒雷达数据的降雨强度估计方法 | |
CN114267025A (zh) | 基于高分辨率网络与轻量注意力机制的交通标志检测方法 | |
CN116433545A (zh) | 基于雨条纹引导的多尺度融合单幅图像去雨方法 | |
CN116485885A (zh) | 基于深度学习去除视觉slam前端动态特征点的方法 | |
CN117710508A (zh) | 基于改进条件生成对抗网络的近地表温度反演方法和装置 | |
CN111340001B (zh) | 一种基于遥感影像深度学习的交通拥堵识别方法 | |
CN113989612A (zh) | 基于注意力及生成对抗网络的遥感影像目标检测方法 | |
CN112434590A (zh) | 一种基于小波变换的sar影像风条纹识别方法 | |
CN115546658B (zh) | 一种数据集质量提升与改进cnn相结合的夜间云检测方法 | |
CN116682026A (zh) | 一种智能深度学习环境遥感系统 | |
CN115457379A (zh) | 一种联合语义分割与角度预测的遥感影像道路提取方法及系统 | |
CN113313099B (zh) | 一种基于遥感影像地图的实时获取方法、系统和存储介质 | |
CN115187959A (zh) | 一种基于双目视觉的飞行汽车山地着陆方法及系统 | |
CN112926482A (zh) | 一种基于多尺度残差卷积神经网络的道路提取方法 | |
CN113724278A (zh) | 基于边缘检测的交通道路图像分割方法、系统及计算机可读存储介质 | |
CN110909670A (zh) | 一种非结构化道路识别方法 | |
CN117152561B (zh) | 一种洪涝灾害重置成本遥感样本集构建及更新方法 | |
CN118115952B (zh) | 一种城市低空复杂背景下无人机图像全天候检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |