CN110163802B - 一种基于神经网络的sar图像超分辨方法 - Google Patents

Abstract

本发明提出了一种基于神经网络的SAR图像超分辨方法，属于图像超分辨领域。本发明针对设定的神经网络结构，利用预测值与真实值间均方误差构建损失函数，将模型映射问题转换成损失函数的优化问题，确定神经网络各层的权重与偏置值，最终得到低分辨率‑高分辨率的映射关系；然后，将待处理的SAR图像输入网络即可得到超分辨结果。相比于现有技术，本发明能够有效加强特征传播，提高训练速度，得到更高质量的SAR图像超分辨结果。

Description

一种基于神经网络的SAR图像超分辨方法

技术领域

本发明属于图像超分辨领域，特别涉及一种基于神经网络的SAR图像超分辨方法。

背景技术

合成孔径雷达(SAR)是一种具有高测绘分辨率的成像雷达。比起传统光学遥感，SAR具有全天时、全天候的工作特点，而且可以穿透某些障碍，在军事和民用领域均应用广泛。而就SAR图像而言，其所能得到的图像分辨率决定着其在应用方面的广度和深度，因而SAR图像超分辨研究具有重要的意义。

现有的图像超分辨方法有很多，大致可以分为三类：基于插值的方法，基于重建的方法，基于学习的方法。其中基于学习的方法，即利用低分辩率-高分辨率(LowResolution-High Resolution,LR-HR)图像对应的数据集，学习得到关于LR-HR的映射关系，进而对输入的低分辨率图像进行重建，能获得更加丰富的细节信息。

现有技术中，有使用神经网络进行图像超分辨重建的方法，但该方法的网络较浅，不足以充分学习到LR图像到HR图像之间的非线性映射关系；且网络的单向传播使图像的初步特征在靠后的层中十分微弱，影响到训练结果的质量；还有一种通过对多个中间结果的同时监督以及加权重建的方法，提升了训练效果和性能，但由于层间传播仅利用了前一层的信息，仍存在特征传播不充分等问题。

发明内容

本发明的目的在于克服现有技术的不足，通过在非线性映射层添加加权稠密连接，将该部分每一层的特征都输入给之后的层，从而有助于使整个网络减轻梯度消失，加强特征传播，支持特征复用，进而提高训练速度以及超分辨性能。

一种基于神经网络的SAR图像超分辨方法，包括以下步骤：

S1、获取训练集中的高分辨图像HR，对所述高分辨图像进行降采样，并将降采样后的图像扩展为所述高分辨图像的尺寸，得到低分辨图像LR，形成LR-HR图像对；

S2、将训练集中每一张HR和LR划分为固定大小的图像块，并将所述图像块随机打乱顺序，并保持LR-HR的对应关系不变，作为神经网络的训练数据；

S3、构建神经网络，输入训练数据，对所述神经网络进行训练；

S4、将待处理的SAR图像输入至训练好的神经网络中，输出得到超分辨结果。

进一步地，所述步骤S1包括：

对训练集中每一张高分辨图像HR按预设的scale进行降采样，得到大小为原HR图像1/scale²的图像，采用插值将图像扩展为与原HR图像相同的尺寸大小，得到低分辨图像LR，高分辨图像HR作为LR的标签，形成LR-HR一一对应的图像对。

进一步地，所述步骤S2包括：

将训练集中每一张LR和HR按照预设的batch size划分为固定大小的图像块，将图像块随机打乱顺序，并保持LR-HR对应关系不变。

进一步地，所述步骤S3包括：

S31、构建神经网络，设置网络结构；

S32、构造损失函数；

S33、网络参数设置。

进一步地，所述步骤S31包括：

所述神经网络包括特征提取、非线性映射、图像重建三个部分；

所述特征提取部分包括两个相连的卷积层，第1层卷积层的输出作为第2层卷积层的输入，第1层卷积层输入的低分辨图像通过两个卷积层进行特征提取，卷积层计算关系为

H_-1＝σ(ω_-1x+b_-1)

H₀＝σ(ω₀H_-1+b₀)

其中，x表示低分辨图像，ω_i(i＝-1,0)分别表示特征提取第1层和第2层的权重，b_i(i＝-1,0)分别表示第1层和第2层卷积层的偏置值，σ表示激活函数，H_-1和H₀分别表示经过特征提取部分第1层和第2层卷积运算后输出的特征；

所述非线性映射部分包括N个依次相连的卷积层，每个卷积层在依次相连并添加加权稠密连接，每一层卷积层的输出以不同比例输入至之后的卷积层，即每一层卷积层以不同比例接收之前所有卷积层的输出，加权稠密连接的计算关系为

H_i＝σ(ω_ix_i+b_i)，i＝1,2,...,N

其中，x_i表示第i个非线性映射层的输入，H_i表示第i个非线性映射层的输出特征，a_ij表示第j层的输出特征传递给第i层输入的加权融合权重值；

所述图像重建部分包括两个重建层，将所述非线性映射部分的每一层卷积层得到的输出特征在第1个重建层进行卷积运算，得到N个重建结果，在N个重建结果中引入全局残差，并在第2个重建层中进行卷积运算，得到N个卷积重建结果，将所述卷积重建结果进行加权融合，得到输出图像，计算关系为

H_Fi＝σ(ω_FH_i+b_F)

x_Si＝H_Fi+x

H_Si＝σ(ω_Sx_Si+b_S)

其中，H_i表示第i个非线性映射层的输出特征，ω_F和ω_S分别表示第1个和第2个重建层的权重，b_F和b_S分别表示第1个和第2个重建层的偏置值，H_Fi和H_Si分别表示第i个非线性特征层经过第1个和第2个重建层后的输出，x_Si表示第2个重建层的第i个输出，W_i表示对N个重建结果进行加权相加的权值，Y为输出图像。

进一步地，所述步骤S32包括：

采用均方误差进行Loss函数设置

其中，y表示高分辨图像，H_i表示非线性映射部分第i层的输出特征，Y表示网络最终的输出图像，α表示权值衰减。

进一步地，所述步骤S33包括：

初始化学习速率、终止学习速率、学习率衰减倍数、超分辨倍数scale、batchsize；

采用Adam优化方法对Loss函数进行优化，确定所述神经网络的权重值和偏置值，确定超分辨映射关系。

本发明的有益效果：本发明提供了一种基于神经网络的SAR图像超分辨方法，本发明采用深层的卷积神经网络进行图像的超分辨率重构，利用加权稠密连接与全局残差相结合的方式，充分发挥残差学习和特征融合的优点，重建出具有丰富高频信息的高分辨率SAR图像。相比于现有技术，能有效地减轻梯度消失，提升了网络训练速度，提高了输出的超分辨效果。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的神经网络结构图。

图3为待处理的SAR图。

图4为待处理的SAR图插值预处理后的结果图。

图5为本发明实施例的超分辨处理结果图。

具体实施方式

下面结合附图对本发明的实施例做进一步的说明。

请参阅图1，本发明提出了一种基于神经网络的SAR图像超分辨方法，通过以下步骤实现：

S1、获取训练集中的高分辨图像HR，对高分辨图像进行降采样，并将降采样后的图像扩展为高分辨图像的尺寸，得到低分辨图像LR，形成LR-HR图像对。

本实施例中，步骤S1为数据预处理。对训练集中每一张高分辨图像HR按设定的scale进行降采样，得到大小为原HR图像1/scale²的图像，采用数次插值将图像扩展为与原HR图像相同的尺寸大小，得到低分辨图像LR，高分辨图像HR作为LR的标签，形成LR-HR一一对应的图像对。

优选地，超分辨倍数scale设定为4，也可以为其他数值。

S2、将训练集中每一张HR和LR划分为固定大小的图像块，并将图像块随机打乱顺序，并保持LR-HR的对应关系不变，作为神经网络的训练数据。

本实施例中，将训练集中每一张LR和HR按照预设的batch size划分为batch size×batch size的图像块，将图像块随机打乱顺序，并保持LR-HR对应关系不变。

优选地，batch size设定为41，也可以为其他数值。

S3、构建神经网络，输入训练数据，对神经网络进行训练。

本实施例中，在进行神经网络前，需要进行网络结构设置，损失函数的设定及参数设置，具体为：

S31、构建神经网络，设置网络结构。

本实施例中，采用使用神经网络来学习LR-HR之间的映射关系需要提取出输入图像中包含的特征信息，进而构建非线性映射，最后重建HR图像，构建的神经网络包括特征提取、非线性映射、图像重建三个部分，如图2所示。

特征提取部分

对于使用神经网络来学习端到端的映射，需要首先提取图像的特征信息，这里对输入网络的低分辨率图像通过两个卷积层进行特征提取。如图2中①所示，特征提取部分包括两个依次相连的卷积层，第1层卷积层的输出作为第2层卷积层的输入，第1层卷积层输入的低分辨图像通过两个卷积层进行特征提取，卷积层计算关系为

H_-1＝σ(ω_-1x+b_-1)

H₀＝σ(ω₀H_-1+b₀)

其中，x表示经过预处理后的低分辨图像，ω_i(i＝-1,0)分别表示特征提取第1层和第2层的权重，b_i(i＝-1,0)分别表示第1层和第2层卷积层的偏置值，σ表示激活函数，H_-1和H₀分别表示经过特征提取部分第1层和第2层卷积运算后输出的特征。

优选地，本发明实施例中激活函数采用线性修正单元(ReLU)，也可以选用其它激活函数。

非线性映射部分

为了解决网络层数加深带来的梯度消失，训练困难等问题，本发明在非线性映射部分添加了加权稠密连接，在每个卷积层依次相连的基础上，添加加权稠密连接，结构如图2中②所示。非线性映射部分包括N个依次相连的卷积层，每个卷积层在依次相连并添加加权稠密连接，每一层卷积层的输出以不同比例输入至之后的卷积层，即每一层卷积层以不同比例接收之前所有卷积层的输出，加权稠密连接的计算关系为

H_i＝σ(ω_ix_i+b_i)，i＝1,2,...,N

其中，x_i表示第i个非线性映射层的输入，H_i表示第i个非线性映射层的输出特征，a_ij表示第j层的输出特征传递给第i层输入的加权融合权重值，ω_i(i＝1,2,...,N)分别表示非线性映射第1层、第2层至第N层的权重。

优选地，本发明实施例中的非线性映射部分由10个这样连接的卷积层组成，即N＝10，N也可以为其它数值。

图像重建部分

本实施例中，先将非线性映射部分的每一卷积层得到的特征经过两个重建层进行重建，在重建过程中加入全局残差，随后将这N个经过重建的结果加权融合，得到高分辨率图像。

具体地，图像重建部分包括两个重建层，将非线性映射部分的每一层卷积层得到的输出特征在第1个重建层进行卷积运算，得到N个重建结果，在N个重建结果中引入全局残差，并在第2个重建层中进行卷积运算，得到N个卷积重建结果，将卷积重建结果进行加权融合，得到输出图像，计算关系为

H_Fi＝σ(ω_FH_i+b_F)

x_Si＝H_Fi+x

H_Si＝σ(ω_Sx_Si+b_S)

其中，H_i表示第i个非线性映射层的输出特征，ω_F和ω_S分别表示第1个和第2个重建层的权重，b_F和b_S分别表示第1个和第2个重建层的偏置值，H_Fi和H_Si分别表示第i个非线性特征层经过第1个和第2个重建层后的输出，x_Si表示第2个重建层的第i个输出，W_i表示对N个重建结果进行加权相加的权值，Y为输出图像。

S32、构造损失函数。

本实施例中，本发明是要构建一个低分辨(LR)图像到高分辨(HR)图像之间的映射，因此目的在于最小化本网络输出图像Y与原高分辨率图像HR之间的差异，这就是本发明中构造损失函数的依据，采用均方误差进行Loss函数设置

其中，y表示高分辨图像，H_i表示非线性映射部分第i层的输出特征，Y表示网络最终的输出图像，α表示权值衰减，初始值为1，此时Loss函数只有前面项，优化算法致力于优化非线性映射每一卷积层的输出特征与真实图像之间的差异，随着训练进行，Loss不断减小，此时令α按照设定的衰减速率进行衰减，则Loss函数的优化逐渐转移到后边项，即使用优化算法来减小最终输出Y与真实图像的差异。

S33、网络参数设置。

初始化学习速率ε设定为0.001，当学习速率衰减到终止学习速率ε_e＝0.00001时训练结束，学习率衰减倍数ε_d设定为0.5，超分辨倍数scale设定为4，batch size设定为41。

采用Adam优化方法对Loss函数进行优化，确定神经网络的权重值和偏置值，确定低分辨率-高分辨率的超分辨映射关系。

S4、将待处理的SAR图像输入至训练好的神经网络中，输出得到超分辨结果。

本实施例中，将图3所示的待处理SAR图像输入至训练好的网络中，图4为其插值预处理所得结果，图5为超分辨结果。

本领域的普通技术人员将会意识到，这里的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (5)

1.一种基于神经网络的SAR图像超分辨方法，其特征在于，包括以下步骤：

S1、获取训练集中的高分辨图像HR，对所述高分辨图像进行降采样，并将降采样后的图像扩展为所述高分辨图像的尺寸，得到低分辨图像LR，形成LR-HR图像对；

S2、将训练集中每一张HR和LR划分为固定大小的图像块，并将所述图像块随机打乱顺序，并保持LR-HR的对应关系不变，作为神经网络的训练数据；

S3、构建神经网络，输入训练数据，对所述神经网络进行训练；

所述步骤S3包括：

S31、构建神经网络，设置网络结构；

S32、构造损失函数；

S33、网络参数设置；

所述步骤S31包括：

所述神经网络包括特征提取、非线性映射、图像重建三个部分；

所述特征提取部分包括两个相连的卷积层，第1层卷积层的输出作为第2层卷积层的输入，第1层卷积层输入的低分辨图像通过两个卷积层进行特征提取，卷积层计算关系为

H_-1＝σ(ω_-1x+b_-1)

H₀＝σ(ω₀H_-1+b₀)

其中，x表示低分辨图像，ω_i(i＝-1,0)分别表示特征提取第1层和第2层的权重，b_i(i＝-1,0)分别表示第1层和第2层卷积层的偏置值，σ表示激活函数，H_-1和H₀分别表示经过特征提取部分第1层和第2层卷积运算后输出的特征；

所述非线性映射部分包括N个依次相连的卷积层，每个卷积层在依次相连并添加加权稠密连接，每一层卷积层的输出以不同比例输入至之后的卷积层，即每一层卷积层以不同比例接收之前所有卷积层的输出，加权稠密连接的计算关系为

H_i＝σ(ω_ix_i+b_i)，i＝1,2,...,N

其中，x_i表示第i个非线性映射层的输入，H_i表示第i个非线性映射层的输出特征，a_ij表示第j层的输出特征传递给第i层输入的加权融合权重值；

所述图像重建部分包括两个重建层，将所述非线性映射部分的每一层卷积层得到的输出特征在第1个重建层进行卷积运算，得到N个重建结果，在N个重建结果中引入全局残差，并在第2个重建层中进行卷积运算，得到N个卷积重建结果，将所述卷积重建结果进行加权融合，得到输出图像，计算关系为

H_Fi＝σ(ω_FH_i+b_F)

x_Si＝H_Fi+x

H_Si＝σ(ω_Sx_Si+b_S)

其中，H_i表示第i个非线性映射层的输出特征，ω_F和ω_S分别表示第1个和第2个重建层的权重，b_F和b_S分别表示第1个和第2个重建层的偏置值，H_Fi和H_Si分别表示第i个非线性特征层经过第1个和第2个重建层后的输出，x_Si表示第2个重建层的第i个输出，W_i表示对N个重建结果进行加权相加的权值，Y为输出图像；

S4、将待处理的SAR图像输入至训练好的神经网络中，输出得到超分辨结果。

2.如权利要求1所述的基于神经网络的SAR图像超分辨方法，其特征在于，所述步骤S1包括：

对训练集中每一张高分辨图像HR按预设的scale进行降采样，得到大小为原HR图像1/scale²的图像，采用插值将图像扩展为与原HR图像相同的尺寸大小，得到低分辨图像LR，高分辨图像HR作为LR的标签，形成LR-HR一一对应的图像对。

3.如权利要求1所述的基于神经网络的SAR图像超分辨方法，其特征在于，所述步骤S2包括：

将训练集中每一张LR和HR按照预设的batch size划分为固定大小的图像块，将图像块随机打乱顺序，并保持LR-HR对应关系不变。

4.如权利要求1所述的基于神经网络的SAR图像超分辨方法，其特征在于，所述步骤S32包括：

采用均方误差进行Loss函数设置

其中，y表示高分辨图像，H_i表示非线性映射部分第i层的输出特征，Y表示网络最终的输出图像，α表示权值衰减。

5.如权利要求4所述的基于神经网络的SAR图像超分辨方法，其特征在于，所述步骤S33包括：

初始化学习速率、终止学习速率、学习率衰减倍数、超分辨倍数scale、batch size；

采用Adam优化方法对Loss函数进行优化，确定所述神经网络的权重值和偏置值，确定超分辨映射关系。

Images