CN109117944A - 一种轮船目标遥感影像的超分辨率重建方法及系统 - Google Patents
一种轮船目标遥感影像的超分辨率重建方法及系统 Download PDFInfo
- Publication number
- CN109117944A CN109117944A CN201810877366.5A CN201810877366A CN109117944A CN 109117944 A CN109117944 A CN 109117944A CN 201810877366 A CN201810877366 A CN 201810877366A CN 109117944 A CN109117944 A CN 109117944A
- Authority
- CN
- China
- Prior art keywords
- image
- steamer
- remote sensing
- model
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 70
- 238000013507 mapping Methods 0.000 claims abstract description 50
- 239000011159 matrix material Substances 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000010801 machine learning Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 36
- 230000004913 activation Effects 0.000 claims description 16
- 238000013135 deep learning Methods 0.000 claims description 15
- 238000013461 design Methods 0.000 claims description 15
- 230000003247 decreasing effect Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 101150021123 msrA gene Proteins 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000007711 solidification Methods 0.000 claims 1
- 230000008023 solidification Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 14
- 238000012360 testing method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000945 filler Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种轮船目标遥感影像的超分辨率重建方法及系统，该方法包括：对轮船目标遥感影像样本库中的图像进行图像分块和图像块矩阵映射，得到高‑低图像块映射矩阵；基于所述高‑低图像块映射矩阵，根据预设网络参数，利用机器学习深度卷积神经网络模型进行训练，得到超分重建卷积神经网络权重固化模型。本发明实施例通过针对特定轮船目标遥感影像样本进行训练得到超分重建卷积神经网络权重固化模型，与一般模型相比，针对轮船目标遥感影像的处理具有更高的重建精度和速度，输出图像的分辨率和清晰度得到显著提高，针对轮船目标可实现特定化处理应用。
Description
技术领域
本发明实施例涉及图像处理及机器学习技术领域，具体涉及一种轮船目标遥感影像的超分辨率重建方法及系统。
背景技术
图像超分辨率重建技术(Super-Resolution)是一项重要的数字图像处理技术，利用一幅或多幅低分辨率图像(或运动序列)，通过相应的算法，重建出一幅高分辨率、高信息含量的图像。该技术突破了图像传感器自身的分辨率限制，可以在不改变或不提升图像采集硬件的前提下，提高图像的分辨率，改善图像质量。处理结果有利于地表目视解译、图像目标算法识别、地物类型分析、定量反演精度的提升，提高图像的信息表达能力和利用价值。并且，通过光学目标的超分辨率重建技术，能对地面目标识别、类型和数量判读以及目标自动检测应用提供技术支撑。
光学目标超分重建技术的实现方法有多种，如有基于频率域的或基于空间域的实现，也有基于单帧或多帧的实现。目前也出现一些基于深度学习的超分重建方法，如ESPCN、SRCNN、SRGAN、VDSR、FSRCNN等基于卷积神经网络技术实现的图像超分重建，用于提升图像目标的空间分辨率。
但是，目前基于深度学习的众多图像超分重建方法中都存在各自的缺点或不足，但总的来说主要问题在于未对特定目标的算法处理进行深度研究，缺乏对于特定轮船目标的方法研究，而一般的图像处理算法应用到轮船目标时效果较差。另外，众多的超分重建方法主要针对普通图像进行超分重建技术研究，对光学遥感影像轮船目标的适应性较差。在深度卷积神经网络的研究中，网络参数的设置对重建精度有很大程度的影响，众多的重建方法中并未给出适于轮船目标的参数配置，不具备针对性的实际应用价值。
发明内容
为解决现有技术中特定轮船目标遥感影像的超分辨率重建中的问题，本发明实施例提供一种轮船目标遥感影像的超分辨率重建方法及系统。
第一方面，本发明实施例提供一种轮船目标遥感影像的超分辨率重建方法，该方法包括：对轮船目标遥感影像样本库中的图像进行图像分块和图像块矩阵映射，得到高-低图像块映射矩阵；基于所述高-低图像块映射矩阵，根据预设网络参数，利用机器学习深度卷积神经网络模型进行训练，得到超分重建卷积神经网络权重固化模型。
第二方面，本发明实施例提供一种轮船目标遥感影像的超分辨率重建系统，该系统包括：样本集预处理模块，具体用于：对轮船目标遥感影像样本库中的图像进行图像分块和图像块矩阵映射，得到高-低图像块映射矩阵；超分重建模型构建模块，具体用于：基于所述高-低图像块映射矩阵，根据预设网络参数，利用机器学习深度卷积神经网络模型进行训练，得到超分重建卷积神经网络权重固化模型。
第三方面，本发明实施例提供一种电子设备，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：对轮船目标遥感影像样本库中的图像进行图像分块和图像块矩阵映射，得到高-低图像块映射矩阵；基于所述高-低图像块映射矩阵，根据预设网络参数，利用机器学习深度卷积神经网络模型进行训练，得到超分重建卷积神经网络权重固化模型。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如下方法：对轮船目标遥感影像样本库中的图像进行图像分块和图像块矩阵映射，得到高-低图像块映射矩阵；基于所述高-低图像块映射矩阵，根据预设网络参数，利用机器学习深度卷积神经网络模型进行训练，得到超分重建卷积神经网络权重固化模型。
本发明实施例通过针对特定轮船目标遥感影像样本进行训练得到超分重建卷积神经网络权重固化模型，与一般模型相比，针对轮船目标遥感影像的处理具有更高的重建精度和速度，输出图像的分辨率和清晰度得到显著提高，针对轮船目标可实现特定化处理应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的轮船目标遥感影像的超分辨率重建方法流程图；
图2是本发明实施例提供的轮船目标遥感影像的超分辨率重建方法流程示意图；
图3是本发明实施例提供的轮船目标遥感影像的超分辨率重建方法中的DSRCNN权重固化模型构建过程示意图；
图4是本发明实施例提供的轮船目标遥感影像的超分辨率重建系统结构示意图；
图5为基于遥感影像轮船目标的超分重建中主观靶标纵向测试结果示意图；
图6为基于遥感影像轮船目标的超分重建中主观靶标横向测试结果示意图；
图7是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的轮船目标遥感影像的超分辨率重建方法流程图。如图1所示，所述方法包括：
步骤101、对轮船目标遥感影像样本库中的图像进行图像分块和图像块矩阵映射，得到高-低图像块映射矩阵；
为提高所要构建的超分重建卷积神经网络权重固化模型的适应性，轮船目标遥感影像样本库可以包含多类型的轮船目标遥感影像。在进行训练前，对所述轮船目标遥感影像样本库中的图像-即所述轮船目标遥感影像，进行图像预处理，所述图像预处理过程主要包括图像分块和图像块矩阵映射。
首先，对所述轮船目标遥感影像库中的图像进行图像分块，然后对分好的图像块进行图像块矩阵映射，得到高-低图像块映射矩阵。通过所述高-低图像块映射矩阵可以得到各幅图像的各个图像块以及对应每个图像块所构造的低分辨率图像块。
因此，所述高-低图像块映射矩阵是指高分辨率、低分辨率图像块映射矩阵。
步骤102、基于所述高-低图像块映射矩阵，根据预设网络参数，利用机器学习深度卷积神经网络模型进行训练，得到超分重建卷积神经网络权重固化模型。
所述预设网络参数根据特定轮船目标遥感影像构建的训练样本库开展大量实验确定。基于所述高-低图像块映射矩阵，根据预设网络参数，利用机器学习深度卷积神经网络模型进行训练，得到超分重建卷积神经网络权重固化模型。基于所述高-低图像块映射矩阵，利用预设网络参数进行训练后，深度卷积神经网络模型的权重固化，从而得到用于超分重建的超分重建卷积神经网络权重固化模型。在训练时，输入为低分辨率轮船目标遥感影像。每个高分辨率图像块将作为与之对应的低分辨率图像块的标签。在输出端，由对轮船目标遥感影像进行分块的逆过程将每幅图像的高分辨率图像块集成，形成高分辨率轮船目标遥感影像，作为超分重建卷积神经网络权重固化模型的输出。
所述超分重建卷积神经网络权重固化模型可以在对输入的一幅图像的图像块分别得到对应高分辨率图像后，最后合成与输入的低分辨率轮船目标遥感影像对应的高分辨率轮船目标遥感影像。因此，所述超分重建卷积神经网络权重固化模型即可用来根据输入的低分辨率图像得到对应高分辨率图像。
本发明实施例所述的机器学习深度卷积神经网络模型可以用DSRCNN(Deep SuperResolution Convolutional Neural NetWork)表示，本发明实施例构建得到的超分重建卷积神经网络权重固化模型可以用DSRCNN权重固化模型表示。
本发明实施例通过针对特定轮船目标遥感影像样本进行训练得到超分重建卷积神经网络权重固化模型，与一般模型相比，针对轮船目标遥感影像的处理具有更高的重建精度和速度，输出图像的分辨率和清晰度得到显著提高，针对轮船目标可实现特定化处理应用。
进一步地，基于上述实施例，所述方法还包括：将低分辨率轮船目标遥感影像输入到所述超分重建卷积神经网络权重固化模型，从而输出得到高分辨率轮船目标遥感影像。
在得到所述超分重建卷积神经网络权重固化模型后，可以进行实际应用。将低分辨率轮船目标遥感影像输入到所述超分重建卷积神经网络权重固化模型，经过所述超分重建卷积神经网络权重固化模型的处理后，即可输出得到高分辨率轮船目标遥感影像。
在上述实施例的基础上，本发明实施例基于超分重建卷积神经网络权重固化模型，根据输入的低分辨率轮船目标遥感影像得到高分辨率轮船目标遥感影像，有效地实现了图像超分辨率重建。
进一步地，基于上述实施例，所述利用机器学习深度卷积神经网络模型进行训练包括通过调用深度学习框架Caffe实现。
Caffe，全称Convolutional Architecture for Fast Feature Embedding，是一种常用的深度学习框架，主要应用在视频、图像处理方面。所述利用机器学习深度卷积神经网络模型进行训练包括通过调用深度学习框架Caffe实现。
图2是本发明实施例提供的轮船目标遥感影像的超分辨率重建方法流程示意图。如图2所示，基于轮船目标遥感影像的超分辨率重建主要包括两个阶段，分别是样本库模型训练阶段和超分重建阶段。
(1)在样本库模型训练阶段，基于轮船目标遥感影像样本库实现图像的预处理，如图像分块和图像块矩阵映射，采用自动化的程序实现；
(2)基于预处理样本库，通过深度学习框架Caffe实现预设网络参数设置，并调用接口API实现自定义超分模型(DSRCNN)训练；
(3)根据训练完成的DSRCNN权重固化模型，输入低分辨率轮船目标遥感影像计算输出高分辨率目标影像。
图2中，Caffe Blob库用于存储所述高-低图像块映射矩阵。Solver Prototxt和Net Prototxt为配置文件，其中，Solver Prototxt用来配置训练策略参数，Net Prototxt用来配置标准参数和模型结构设计参数。Mat Script用于对训练好的模型进行存储。
在上述实施例的基础上，本发明实施例通过调用深度学习框架Caffe实现利用卷积神经网络进行深度学习训练，进一步提高了重建精度和速度。
进一步地，基于上述实施例，所述预设网络参数包括模型结构设计参数，所述模型结构设计参数包括卷积神经网络层数以及特征图层数；其中，所述卷积神经网络层数为24，所述特征图层数为64。
所述预设网络参数包括模型结构设计参数，所述模型结构设计参数包括卷积神经网络层数以及特征图层数。本发明实施例采用了深度卷积神经网络的设计理念，网络层数达到24层，实现特征信息的充分提取。所述特征图层数为64，每一层卷积计算后的高维特征图，都固定为64维的特征输出，保证了特征的全面性。
在上述实施例的基础上，本发明实施例通过合理设计卷积神经网络层数和特征图层数，保证了特征的全面性及充分提取，进一步提高了重建精度和速度。
进一步地，基于上述实施例，所述预设网络参数还包括标准参数，所述标准参数包括卷积核大小、卷积核移动步长、激活函数、损失函数、梯度下降函数、残差层函数、训练图像块尺寸和目标图像块尺寸；其中，所述卷积核大小为5×5，所述卷积核移动步长为20，所述激活函数为PRelu，所述损失函数为EuclideanLoss，所述梯度下降函数为Adam，所述残差层函数为Eltwise，所述训练图像块尺寸和所述目标图像块尺寸均为41；每一层卷积计算后的高维特征图均利用所述激活函数进行计算，实现非线性特征映射。
所述预设网络参数还包括标准参数，所述标准参数包括卷积核大小、卷积核移动步长、激活函数、损失函数、梯度下降函数、残差层函数、训练图像块尺寸和目标图像块尺寸。其中，采用固定大小的卷积核和卷积核移动步长，24层网络中的卷积核大小都设置为5×5；卷积核移动步长设置为图像块大小一半，实现每次计算有二分之一的区域重叠；所述训练图像块尺寸和所述目标图像块尺寸均为41，卷积核移动步长设置为20，训练图像块大小的一半保证足够的覆盖率。
每一层卷积计算后的高维特征图(feature map)采用PRelu激活函数计算，维度都固定为64维的特征输出，实现相同维度的神经元之间的非线性映射关系。为加快训练速度，且避免局部最优和过拟合现象，采用Eltwise方法实现元素残差整合计算，提高模型训练运算效率。
在上述实施例的基础上，本发明实施例通过设定合理的卷积核大小、卷积核移动步长、激活函数、损失函数、梯度下降函数、残差层函数、训练图像块尺寸和目标图像块尺寸，进一步提高了重建精度和速度。
进一步地，基于上述实施例，所述预设网络参数还包括训练策略参数，所述训练策略参数包括学习率策略、模型样本全训练迭代次数及批处理量；所述学习率策略为step:10000,gamma:0.1；所述模型样本全训练迭代次数为3；所述批处理量为68。
所述预设网络参数还包括训练策略参数，所述训练策略参数包括学习率策略、模型样本全训练迭代次数及批处理量。其中，学习率策略采用动态等距下降的方法，在每10000次训练后固定0.1次方的降低。模型样本全训练迭代次数设置为3，实现该模型量级、结构设置与样本量迭代次数的优化配置。批处理量设置为68，支持GPU集群的同步训练。
在上述实施例的基础上，本发明实施例通过设定合理的学习率策略、模型样本全训练迭代次数及批处理量，进一步提高了重建精度和速度。
进一步地，基于上述实施例，所述标准参数还包括网络初始化步长、训练图像尺寸填充值、基础学习率、网络动能系数、权重衰减系数及权重/偏置初始化方法；所述网络初始化步长为1，所述训练图像尺寸填充值为1，所述基础学习率为0.0001，所述网络动能系数为0，所述权重衰减系数为0.0001，所述权重/偏置初始化方法为msra。
所述标准参数还包括网络初始化步长、训练图像尺寸填充值、基础学习率、网络动能系数、权重衰减系数及权重/偏置初始化方法；所述网络初始化步长为1，所述训练图像尺寸填充值(padding)为1，所述基础学习率(lr)为0.0001，所述网络动能系数(momentum)为0，所述权重衰减系数(weight_decay)为0.0001，所述权重/偏置初始化方法(weight_filler)为msra。损失函数(loss)和梯度下降函数(lr_type)分别采用“EuclideanLoss”和“Adam”，该配置设置提高运算准确度，避免局部拟合现象。
在上述实施例的基础上，本发明实施例通过设定合理的网络初始化步长、训练图像尺寸填充值、基础学习率、网络动能系数、权重衰减系数及权重/偏置初始化方法，进一步提高了重建精度和速度。
图3是本发明实施例提供的轮船目标遥感影像的超分辨率重建方法中的DSRCNN权重固化模型构建过程示意图。如图3所示，本发明实施例采用了深度卷积神经网络的设计理念，网络层数达到24层，实现特征信息的充分提取。网络设置采用固定大小的卷积核和卷积核移动步长，步长设置为图像块大小一半，实现每次计算有二分之一的区域重叠。每一层卷积计算后的高维特征图(feature map)采用PRelu激活函数计算，维度都固定为64维的特征输出，实现相同维度的神经元之间的非线性映射关系。为加快训练速度，且避免局部最优和过拟合现象，采用Eltwise方法实现元素残差整合计算，提高模型训练运算效率。本发明的超分重建卷积神经网络权重固化模型设计可专门适用于遥感影像轮船目标的分辨率提升处理。
表1列出了本发明实施例提供的轮船目标遥感影像的超分辨率重建方法的核心网络参数设置项列表。
表1
本发明实施例提供的网络参数组合经过大量的实验结论评估对比后确定，针对遥感影像轮船目标可实现高精度的重建处理。本发明实施例提供的轮船目标遥感影像的超分辨率重建方法基于独立建立的轮船样本库，经过大量的模型训练实验确定了优化网络参数的设置，使该模型和参数的配置完全适用于轮船目标的分辨率提升，增强了模型应用的针对性和准确性。
图4是本发明实施例提供的轮船目标遥感影像的超分辨率重建系统结构示意图。如图4所示，所述系统包括样本集预处理模块10和超分重建模型构建模块20，其中：
样本集预处理模块10具体用于：对轮船目标遥感影像样本库中的图像进行图像分块和图像块矩阵映射，得到高-低图像块映射矩阵；
在进行训练前，样本集预处理模块10对所述轮船目标遥感影像样本库中的图像进行图像预处理，所述图像预处理过程主要包括图像分块和图像块矩阵映射。
首先，样本集预处理模块10对所述轮船目标遥感影像库中的图像进行图像分块，然后对分好的图像块进行图像块矩阵映射，得到高-低图像块映射矩阵。通过所述高-低图像块映射矩阵可以得到各幅图像的各个图像块以及对应每个图像块所构造的低分辨率图像块。
超分重建模型构建模块20具体用于：基于所述高-低图像块映射矩阵，根据预设网络参数，利用机器学习深度卷积神经网络模型进行训练，得到超分重建卷积神经网络权重固化模型。
所述预设网络参数根据特定轮船目标遥感影像构建的训练样本库开展大量实验确定。超分重建模型构建模块20基于所述高-低图像块映射矩阵，根据预设网络参数，利用机器学习深度卷积神经网络模型进行训练，得到超分重建卷积神经网络权重固化模型。在训练时，输入为低分辨率轮船目标遥感影像。每个高分辨率图像块将作为与之对应的低分辨率图像块的标签。在输出端，由对轮船目标遥感影像进行分块的逆过程将每幅图像的高分辨率图像块集成，形成高分辨率轮船目标遥感影像，作为超分重建卷积神经网络权重固化模型的输出。
本发明实施例通过针对特定轮船目标遥感影像样本进行训练得到超分重建卷积神经网络权重固化模型，与一般模型相比，针对轮船目标遥感影像的处理具有更高的重建精度和速度，输出图像的分辨率和清晰度得到显著提高，针对轮船目标可实现特定化处理应用。
进一步地，基于上述实施例，所述系统还包括超分重建模块，具体用于：将低分辨率轮船目标遥感影像输入到所述超分重建卷积神经网络权重固化模型，从而输出得到高分辨率轮船目标遥感影像。
在超分重建模型构建模块20得到所述超分重建卷积神经网络权重固化模型后，超分重建模块可以利用所述超分重建卷积神经网络权重固化模型进行实际应用。超分重建模块将低分辨率轮船目标遥感影像输入到所述超分重建卷积神经网络权重固化模型，经过所述超分重建卷积神经网络权重固化模型的处理后，即可输出得到高分辨率轮船目标遥感影像。
在上述实施例的基础上，本发明实施例基于超分重建卷积神经网络权重固化模型根据输入的低分辨率轮船目标遥感影像得到高分辨率轮船目标遥感影像，有效地实现了图像超分辨率重建。
进一步地，基于上述实施例，所述利用机器学习深度卷积神经网络模型进行训练包括通过调用深度学习框架Caffe实现。
所述利用机器学习深度卷积神经网络模型进行训练包括通过调用深度学习框架Caffe实现；可以理解的，还可通过其他方法实现利用机器学习深度卷积神经网络模型进行训练。
在上述实施例的基础上，本发明实施例通过调用深度学习框架Caffe实现利用卷积神经网络进行深度学习训练，进一步提高了重建精度和速度。
进一步地，基于上述实施例，所述预设网络参数包括模型结构设计参数，所述模型结构设计参数包括卷积神经网络层数以及特征图层数；其中，所述卷积神经网络层数为24，所述特征图层数为64。
所述预设网络参数包括模型结构设计参数，所述模型结构设计参数包括卷积神经网络层数以及特征图层数。所述卷积神经网络层数为24层，实现特征信息的充分提取。所述特征图层数为64，保证了特征的全面性。
在上述实施例的基础上，本发明实施例通过合理设计卷积神经网络层数和特征图层数，保证了特征的全面性及充分提取，进一步提高了重建精度和速度。
进一步地，基于上述实施例，所述预设网络参数还包括标准参数，所述标准参数包括卷积核大小、卷积核移动步长、激活函数、损失函数、梯度下降函数、残差层函数、训练图像块尺寸和目标图像块尺寸；其中，所述卷积核大小为5×5，所述卷积核移动步长为20，所述激活函数为PRelu，所述损失函数为EuclideanLoss，所述梯度下降函数为Adam，所述残差层函数为Eltwise，所述训练图像块尺寸和所述目标图像块尺寸均为41；每一层卷积计算后的高维特征图均利用所述激活函数进行计算，实现非线性特征映射。
所述预设网络参数还包括标准参数，所述标准参数包括卷积核大小、卷积核移动步长、激活函数、损失函数、梯度下降函数、残差层函数、训练图像块尺寸和目标图像块尺寸。其中，采用固定大小的卷积核和卷积核移动步长；卷积核移动步长设置为图像块大小一半；每一层卷积计算后的高维特征图(feature map)采用PRelu激活函数计算；采用Eltwise方法实现元素残差整合计算。
在上述实施例的基础上，本发明实施例通过设定合理的卷积核大小、卷积核移动步长、激活函数、损失函数、梯度下降函数、残差层函数、训练图像块尺寸和目标图像块尺寸，进一步提高了重建精度和速度。
进一步地，基于上述实施例，所述预设网络参数还包括训练策略参数，所述训练策略参数包括学习率策略、模型样本全训练迭代次数及批处理量；所述学习率策略为step:10000,gamma:0.1；所述模型样本全训练迭代次数为3；所述批处理量为68。
所述预设网络参数还包括训练策略参数，所述训练策略参数包括学习率策略、模型样本全训练迭代次数及批处理量。其中，学习率策略采用动态等距下降的方法，在每10000次训练后固定0.1次方的降低。模型样本全训练迭代次数设置为3，批处理量设置为68。
在上述实施例的基础上，本发明实施例通过设定合理的学习率策略、模型样本全训练迭代次数及批处理量，进一步提高了重建精度和速度。
进一步地，基于上述实施例，所述标准参数还包括网络初始化步长、训练图像尺寸填充值、基础学习率、网络动能系数、权重衰减系数及权重/偏置初始化方法；所述网络初始化步长为1，所述训练图像尺寸填充值(padding)为1，所述基础学习率(lr)为0.0001，所述网络动能系数(momentum)为0，所述权重衰减系数(weight_decay)为0.0001，所述权重/偏置初始化方法(weight_filler)为msra。
所述标准参数还包括网络初始化步长、训练图像尺寸填充值、基础学习率、网络动能系数、权重衰减系数及权重/偏置初始化方法。其中，损失函数(loss)和梯度下降函数(lr_type)分别采用“EuclideanLoss”和“Adam”，该配置设置提高运算准确度，避免局部拟合现象。
在上述实施例的基础上，本发明实施例通过设定合理的网络初始化步长、训练图像尺寸填充值、基础学习率、网络动能系数、权重衰减系数及权重/偏置初始化方法，进一步提高了重建精度和速度。
为有效的提升影像中关键目标的分辨率，本发明实施例深度挖掘图像中存在的目标信息，提供的轮船目标遥感影像的超分重建卷积神经网络权重固化模型相较其他的基于深度学习的超分重建模型，针对轮船目标的分辨率提升具有更高的重建精度以及更快的训练和重建速度。
重建精度越高，则分辨率及清晰度就越能够得到提升。因此，重建精度越高，表示图像超分辨率重建效果越好。其中，重建精度可以通过三个定量指标PSNR(Peak Signal toNoise Ratio，峰值信噪比)、SSIM(structural similarity index，结构相似性)、MTF(Modulation Transfer Function，调制传递函数)进行表征。
表2为基于遥感影像轮船目标的超分重建中的定量指标统计表。表2中列出了本发明实施例设计的DSRCNN重建方法与具有代表性的重建方法FSRCNN的重建精度与重建速度的对比评估结果。其中FSRCNN为一种广泛使用的基于深度学习的重建方法。
表2
由表2可看到，本发明实施例提供的DSRCNN的重建精度和速度相较FSRCNN方法重建精度和速度得到显著提升。测试平均大小为193*216的遥感图像，本发明实施例提供的DSRCNN的重建速度达到0.210s/帧。
图5为基于遥感影像轮船目标的超分重建中主观靶标纵向测试结果示意图。图5中由左至右分别表示原靶标图、FSRCNN重建图像、DSRCNN重建图像的纵向测试结果。三角处所指的刻度表示图像的纵向测试结果中最小不可分辨的参考线。由图5可看到，DSRCNN对应的最小不可分辨的参考线的刻度值得到了明显提升，由此，表明图像的分辨率和清晰度得到了明显改善。
图6为基于遥感影像轮船目标的超分重建中主观靶标横向测试结果示意图。图6中由上至下分别表示原靶标图、FSRCNN重建图像、DSRCNN重建图像的纵向测试结果。三角处所指的刻度表示图像的横向测试结果中最小不可分辨的参考线。由图6可看到，DSRCNN对应的最小不可分辨的参考线的刻度值得到了明显提升，由此，表明图像的分辨率和清晰度得到了明显改善。
图5和图6分别将本发明实施例提供的DSRCNN模型与传统的FSRCNN进行了比较。可以看出，无论是横向测试还是纵向测试，本发明实施例提供的DSRCNN模型与传统方法相比，在精度上均有较大改善，清晰度实际提升达到1.46倍。并且，与传统方法相比，本发明实施例提供的DSRCNN模型的遥感空间分辨率提升2倍。
其中，清晰度提升倍数的计算方法为：根据基于遥感影像轮船目标的超分重建中主观靶标横向测试及纵向测试的测试结果，分别得到重建靶标最小不可分辨线条尺寸值与原靶标最小不可分辨线条尺寸值的比值，然后二者取平均得到。
本发明实施例提供的系统是用于上述方法的，具体功能可参照上述方法流程，此处不再赘述。
图7是本发明实施例提供的电子设备的结构示意图。如图7所示，所述电子设备包括处理器701、存储器702和总线703。其中，所述处理器701和所述存储器702通过所述总线703完成相互间的通信；所述处理器701用于调用所述存储器702中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：对轮船目标遥感影像样本库中的图像进行图像分块和图像块矩阵映射，得到高-低图像块映射矩阵；基于所述高-低图像块映射矩阵，根据预设网络参数，利用机器学习深度卷积神经网络模型进行训练，得到超分重建卷积神经网络权重固化模型。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：对轮船目标遥感影像样本库中的图像进行图像分块和图像块矩阵映射，得到高-低图像块映射矩阵；基于所述高-低图像块映射矩阵，根据预设网络参数，利用机器学习深度卷积神经网络模型进行训练，得到超分重建卷积神经网络权重固化模型。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：对轮船目标遥感影像样本库中的图像进行图像分块和图像块矩阵映射，得到高-低图像块映射矩阵；基于所述高-低图像块映射矩阵，根据预设网络参数，利用机器学习深度卷积神经网络模型进行训练，得到超分重建卷积神经网络权重固化模型。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种轮船目标遥感影像的超分辨率重建方法，其特征在于，包括：
对轮船目标遥感影像样本库中的图像进行图像分块和图像块矩阵映射，得到高-低图像块映射矩阵；
基于所述高-低图像块映射矩阵，根据预设网络参数，利用机器学习深度卷积神经网络模型进行训练，得到超分重建卷积神经网络权重固化模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将低分辨率轮船目标遥感影像输入到所述超分重建卷积神经网络权重固化模型，从而输出得到高分辨率轮船目标遥感影像。
3.根据权利要求1所述的方法，其特征在于，所述利用机器学习深度卷积神经网络模型进行训练包括通过调用深度学习框架Caffe实现。
4.根据权利要求1所述的方法，其特征在于，所述预设网络参数包括模型结构设计参数，所述模型结构设计参数包括卷积神经网络层数以及特征图层数；
其中，所述卷积神经网络层数为24，所述特征图层数为64。
5.根据权利要求4所述的方法，其特征在于，所述预设网络参数还包括标准参数，所述标准参数包括卷积核大小、卷积核移动步长、激活函数、损失函数、梯度下降函数、残差层函数、训练图像块尺寸和目标图像块尺寸；
其中，所述卷积核大小为5×5，所述卷积核移动步长为20，所述激活函数为PRelu，所述损失函数为EuclideanLoss，所述梯度下降函数为Adam，所述残差层函数为Eltwise，所述训练图像块尺寸和所述目标图像块尺寸均为41；
每一层卷积计算后的高维特征图均利用所述激活函数进行计算，实现非线性特征映射。
6.根据权利要求5所述的方法，其特征在于，所述预设网络参数还包括训练策略参数，所述训练策略参数包括学习率策略、模型样本全训练迭代次数及批处理量；
所述学习率策略为step:10000,gamma:0.1；所述模型样本全训练迭代次数为3；所述批处理量为68。
7.根据权利要求6所述的方法，其特征在于，所述标准参数还包括网络初始化步长、训练图像尺寸填充值、基础学习率、网络动能系数、权重衰减系数及权重/偏置初始化方法；
所述网络初始化步长为1，所述训练图像尺寸填充值为1，所述基础学习率为0.0001，所述网络动能系数为0，所述权重衰减系数为0.0001，所述权重/偏置初始化方法为msra。
8.一种轮船目标遥感影像的超分辨率重建系统，其特征在于，包括：
样本集预处理模块，具体用于：对轮船目标遥感影像样本库中的图像进行图像分块和图像块矩阵映射，得到高-低图像块映射矩阵；
超分重建模型构建模块，具体用于：基于所述高-低图像块映射矩阵，根据预设网络参数，利用机器学习深度卷积神经网络模型进行训练，得到超分重建卷积神经网络权重固化模型。
9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810877366.5A CN109117944B (zh) | 2018-08-03 | 2018-08-03 | 一种轮船目标遥感影像的超分辨率重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810877366.5A CN109117944B (zh) | 2018-08-03 | 2018-08-03 | 一种轮船目标遥感影像的超分辨率重建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109117944A true CN109117944A (zh) | 2019-01-01 |
| CN109117944B CN109117944B (zh) | 2021-01-15 |
Family
ID=64852826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810877366.5A Active CN109117944B (zh) | 2018-08-03 | 2018-08-03 | 一种轮船目标遥感影像的超分辨率重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109117944B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949240A (zh) * | 2019-03-11 | 2019-06-28 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
| CN110866608A (zh) * | 2019-10-31 | 2020-03-06 | 同济大学 | 一种自适应学习率计算方法 |
| CN111507462A (zh) * | 2020-04-15 | 2020-08-07 | 华中科技大学鄂州工业技术研究院 | 一种端对端的三维医学图像超分辨率重建方法及系统 |
| CN114677275A (zh) * | 2022-03-11 | 2022-06-28 | 自然资源部国土卫星遥感应用中心 | 一种高频次重复凝视成像空基遥感载荷在轨测试方法 |
| WO2022267693A1 (en) * | 2021-06-21 | 2022-12-29 | Ping An Technology (Shenzhen) Co., Ltd. | System and method for super-resolution image processing in remote sensing |
| WO2023050587A1 (zh) * | 2021-09-30 | 2023-04-06 | 深圳先进技术研究院 | 一种暗场超分辨率成像方法、模型评估方法及系统 |
| CN116109945A (zh) * | 2023-04-12 | 2023-05-12 | 北京数慧时空信息技术有限公司 | 基于有序持续学习的遥感影像解译方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732243A (zh) * | 2015-04-09 | 2015-06-24 | 西安电子科技大学 | 基于cnn的sar目标识别方法 |
| CN105931184A (zh) * | 2016-04-18 | 2016-09-07 | 西安电子科技大学 | 基于联合优化的sar图像超分辨率方法 |
| CN107194872A (zh) * | 2017-05-02 | 2017-09-22 | 武汉大学 | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 |
| CN108009989A (zh) * | 2017-12-18 | 2018-05-08 | 华中科技大学 | 一种基于srcnn的微波遥感图像超分辨率重建方法 |
| CN108335263A (zh) * | 2018-01-25 | 2018-07-27 | 华中科技大学 | 一种基于vdsr的微波遥感图像超分辨率重建方法 |
-
2018
- 2018-08-03 CN CN201810877366.5A patent/CN109117944B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732243A (zh) * | 2015-04-09 | 2015-06-24 | 西安电子科技大学 | 基于cnn的sar目标识别方法 |
| CN105931184A (zh) * | 2016-04-18 | 2016-09-07 | 西安电子科技大学 | 基于联合优化的sar图像超分辨率方法 |
| CN107194872A (zh) * | 2017-05-02 | 2017-09-22 | 武汉大学 | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 |
| CN108009989A (zh) * | 2017-12-18 | 2018-05-08 | 华中科技大学 | 一种基于srcnn的微波遥感图像超分辨率重建方法 |
| CN108335263A (zh) * | 2018-01-25 | 2018-07-27 | 华中科技大学 | 一种基于vdsr的微波遥感图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王东升: "面向光学遥感图像目标识别的卷积神经网络研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949240A (zh) * | 2019-03-11 | 2019-06-28 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
| CN110866608A (zh) * | 2019-10-31 | 2020-03-06 | 同济大学 | 一种自适应学习率计算方法 |
| CN110866608B (zh) * | 2019-10-31 | 2022-06-07 | 同济大学 | 一种自适应学习率计算方法 |
| CN111507462A (zh) * | 2020-04-15 | 2020-08-07 | 华中科技大学鄂州工业技术研究院 | 一种端对端的三维医学图像超分辨率重建方法及系统 |
| CN111507462B (zh) * | 2020-04-15 | 2022-05-10 | 华中科技大学鄂州工业技术研究院 | 一种端对端的三维医学图像超分辨率重建方法及系统 |
| WO2022267693A1 (en) * | 2021-06-21 | 2022-12-29 | Ping An Technology (Shenzhen) Co., Ltd. | System and method for super-resolution image processing in remote sensing |
| WO2023050587A1 (zh) * | 2021-09-30 | 2023-04-06 | 深圳先进技术研究院 | 一种暗场超分辨率成像方法、模型评估方法及系统 |
| CN114677275A (zh) * | 2022-03-11 | 2022-06-28 | 自然资源部国土卫星遥感应用中心 | 一种高频次重复凝视成像空基遥感载荷在轨测试方法 |
| CN116109945A (zh) * | 2023-04-12 | 2023-05-12 | 北京数慧时空信息技术有限公司 | 基于有序持续学习的遥感影像解译方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109117944B (zh) | 2021-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109117944A (zh) | 一种轮船目标遥感影像的超分辨率重建方法及系统 | |
| Muqeet et al. | Multi-attention based ultra lightweight image super-resolution | |
| CN101950365B (zh) | 基于ksvd字典学习的多任务超分辨率图像重构方法 | |
| CN106796716A (zh) | 用于为低分辨率图像提供超分辨率的设备和方法 | |
| CN108734659A (zh) | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 | |
| CN109064396A (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| CN109118491A (zh) | 一种基于深度学习的图像分割方法、系统及电子设备 | |
| CN102156875B (zh) | 基于多任务ksvd字典学习的图像超分辨率重构方法 | |
| CN108062754A (zh) | 基于密集网络图像的分割、识别方法和装置 | |
| CN108734660A (zh) | 一种基于深度学习的图像超分辨率重建方法及装置 | |
| CN109949214A (zh) | 一种图像风格迁移方法及系统 | |
| CN106157244A (zh) | 一种基于稀疏表示的QR Code图像超分辨重建方法 | |
| CN109862370A (zh) | 视频超分辨率处理方法及装置 | |
| CN111582104B (zh) | 基于自注意特征聚合网络的遥感图像语义分割方法及装置 | |
| CN109598676A (zh) | 一种基于哈达玛变换的单幅图像超分辨率方法 | |
| CN110135430A (zh) | 一种基于深度神经网络的铝材模具id自动识别系统 | |
| CN108665509A (zh) | 一种超分辨率重构方法、装置、设备及可读存储介质 | |
| CN109360148A (zh) | 基于混合随机降采样的遥感影像超分辨率重构方法和装置 | |
| CN107213638A (zh) | 一种3d游戏骨骼处理系统及其处理方法 | |
| CN107341761A (zh) | 一种深度神经网络的计算执行方法和系统 | |
| CN109242771A (zh) | 一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备 | |
| CN108196951B (zh) | Gpu流域径流模拟分布式调度系统及方法 | |
| CN107392855A (zh) | 基于稀疏自编码网络与极速学习的图像超分辨重建方法 | |
| CN110399760A (zh) | 一种批量二维码定位方法、装置、电子设备及存储介质 | |
| CN112200720A (zh) | 一种基于滤波器融合的超分辨率图像重建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100094 Room 303, 3 / F, building 1, area 2, courtyard 81, Beiqing Road, Haidian District, Beijing Applicant after: Beijing yuetu Data Technology Development Co., Ltd Address before: 100085 room A515, building 79, Shuang Qing Lu, Haidian District, Beijing. Applicant before: BEIJING YUETU REMOTE SENSING TECHNOLOGY DEVELOPMENT Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |