CN109360148B - 基于混合随机降采样的遥感影像超分辨率重构方法和装置 - Google Patents
基于混合随机降采样的遥感影像超分辨率重构方法和装置 Download PDFInfo
- Publication number
- CN109360148B CN109360148B CN201811033443.5A CN201811033443A CN109360148B CN 109360148 B CN109360148 B CN 109360148B CN 201811033443 A CN201811033443 A CN 201811033443A CN 109360148 B CN109360148 B CN 109360148B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- remote sensing
- super
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003287 optical effect Effects 0.000 claims abstract description 83
- 239000011159 matrix material Substances 0.000 claims abstract description 68
- 238000013507 mapping Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000013135 deep learning Methods 0.000 claims abstract description 20
- 230000009466 transformation Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000008520 organization Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 2
- 238000011426 transformation method Methods 0.000 claims description 2
- 238000012634 optical imaging Methods 0.000 abstract description 6
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 15
- 238000010276 construction Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/604—Rotation of whole images or parts thereof using coordinate rotation digital computer [CORDIC] devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种基于混合随机降采样的遥感影像超分辨率重构方法和装置，该方法包括对待重建目标的多尺度米级分辨率的光学遥感影像进行混合随机降采样处理，得到高分辨率影像矩阵和低分辨率影像矩阵，并构建高低分辨率图像块映射矩阵；将所述高低分辨率图像块映射矩阵作为训练样本，进行深度学习训练，得到用于光学遥感影像超分辨率重构的超分辨率重构模型；基于所述超分辨率重构模型，对待重建目标光学遥感影像进行超分辨率重构。充分的考虑卫星传感器载荷的光学成像特点，采用混合随机降采样模型模拟生成光学传感器成像的低分辨率影像，增强超分重建模型的场景适应性、处理精确性和结果可靠性。
Description
技术领域
本发明涉及图像处理技术领域，更具体地，涉及基于混合随机降采样的遥感影像超分辨率重构方法和装置。
背景技术
图像超分辨率重建技术(Super-Resolution)是一项重要的数字图像处理技术，利用一幅或多幅低分辨率图像(或运动序列)，通过相应的算法，重建出一幅高分辨率、高信息含量的图像。该技术突破了图像传感器自身的分辨率限制，可以在不改变或提升图像采集硬件的前提下，提高图像的分辨率，改善图像质量。处理结果有利于地表目视解译、图像目标算法识别、地物类型分析、定量反演精度的提升，提高遥感影像的信息表达能力和利用价值。应用中，通过光学目标的超分辨率重建技术，能对地面目标识别、类型和数量判读以及目标自动检测应用提供技术支撑。
现有技术中常用的图像超分辨率重建方法，需要先利用同一相机连续拍摄同一场景图像，得到多帧图像，或是由视频得到图像序列，然后对得到的多帧图像或是图像序列进行超分辨率重建。利用这样的多帧图像或是图像序列进行超分辨率重建，帧间运动估计是一大技术难点，理论上讲，具有不同深度内容的场景，不存在一个简单的如仿射、但应类似的变换实现不同视角图像的精确配准。特别是对于动态场景，场景中存在运动物体，运动估计非常更加困难。
目前基于深度学习的人工智能技术已被成熟的应用在图像目标超分重建中，如ESPCN、SRCNN、SRGAN、VDSR、FSRCNN等基于卷积神经网络技术实现的图像超分重建技术，但是现有的深度学习方法在样本构建阶段中涉及的预处理方法过于简单，对于卫星遥感影像处理的适应性和精确性较差，难以与高质量的神经网络模型相结合获取更显著的处理效果，降低超分重建技术的实际应用价值。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的基于混合随机降采样的遥感影像超分辨率重构方法和装置。
根据本发明实施例的第一个方面，提供一种基于混合随机降采样的遥感影像超分辨率重构方法，包括：
对待重建目标的多尺度米级分辨率的光学遥感影像进行混合随机降采样处理，得到高分辨率影像矩阵和低分辨率影像矩阵，并构建高低分辨率图像块映射矩阵；
将所述高低分辨率图像块映射矩阵作为训练样本，进行深度学习训练，得到用于光学遥感影像超分辨率重构的超分辨率重构模型；
基于所述超分辨率重构模型，对待重建目标光学遥感影像进行超分辨率重构。
根据本发明实施例的第二个方面，提供一种基于混合随机降采样的遥感影像超分辨率重构装置，包括
样本库模块，用于对待重建目标的多尺度米级分辨率的光学遥感影像进行混合随机降采样处理，得到高分辨率影像矩阵和低分辨率影像矩阵，并构建高低分辨率图像块映射矩阵；
超分辨率重构模型，用于将所述高低分辨率图像块映射矩阵作为训练样本，进行深度学习训练，得到用于光学遥感影像超分辨率重构的超分辨率重构模型；基于所述超分辨率重构模型，对待重建目标光学遥感影像进行超分辨率重构。
根据本发明实施例的第三个方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如发明的第一个方面所述基于混合随机降采样的遥感影像超分辨率重构方法的步骤。
根据本发明实施例的第四个方面，提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如发明实施例的第一个方面所述基于混合随机降采样的遥感影像超分辨率重构方法的步骤。
本发明实施例提出一种基于混合随机降采样的遥感影像超分辨率重构方法和装置，针对深度学习超分重建技术和光学遥感影像的特定目标对象，设计标准化的样本库构建流程，并改进图像目标的预处理方法，实现目标样本库的高效构建和超分重建模型的高精度训练，总体提升遥感目标超分重建处理的高效性和精确性；为使光学遥感图像的目标处理应用具备更强的适应性，充分的考虑卫星传感器载荷的光学成像特点，采用混合随机降采样模型模拟生成光学传感器成像的低分辨率影像，增强超分重建模型的场景适应性、处理精确性和结果可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的基于混合随机降采样的遥感影像超分辨率重构方法框图；
图2为根据本发明实施例的基于混合随机降采样的遥感影像超分辨率重构方法具体流程示意图；
图3为根据本发明实施例的基于混合随机降采样的遥感影像超分辨率重构装置示意图；
图4为根据本发明实施例的基于混合随机降采样的遥感影像超分辨率重构设备示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图像超分辨率重建技术(Super-Resolution)是一项重要的数字图像处理技术，利用一幅或多幅低分辨率图像(或运动序列)，通过相应的算法，重建出一幅高分辨率、高信息含量的图像。
目前基于深度学习的人工智能技术已被成熟的应用在图像目标超分重建中，如ESPCN、SRCNN、SRGAN、VDSR、FSRCNN等基于卷积神经网络技术实现的图像超分重建技术。这些技术实现主要分为两个阶段，第一是构建特定目标的图像样本学习库；第二是设计神经网络对构建的样本库进行参数训练并实现重建处理。所以为提升图像超分重建处理的精度和效率，除了设计高质量的卷积神经网络模型结构，构建高质量、规范化的遥感光学目标样本库同样重要。
但是现有技术关于基于深度学习的众多图像超分重建方法中，未对卫星影像特定目标的训练样本库的构建给出统一的标准化处理方法，并且样本构建阶段中涉及的预处理方法过于简单，对于卫星遥感影像处理的适应性和精确性较差，难以与高质量的神经网络模型相结合获取更显著的处理效果，降低超分重建技术的实际应用价值。
针对上述问题，在本实施例中，提供了一种基于混合随机降采样的遥感影像超分辨率重构方法，如图1所示，包括：
步骤10、对待重建目标的多尺度米级分辨率的光学遥感影像进行混合随机降采样处理，得到高分辨率影像矩阵和低分辨率影像矩阵，并构建高低分辨率图像块映射矩阵；
步骤11、将上述高低分辨率图像块映射矩阵作为训练样本，进行深度学习训练，得到用于光学遥感影像超分辨率重构的超分辨率重构模型；
步骤12、基于上述超分辨率重构模型，对待重建目标光学遥感影像进行超分辨率重构。
在本实施例中，为有效提升影像中关键目标的分辨率，深度挖掘图像中存在的目标信息，针对现有技术中针对超分重建技术处理精度的提升，通常是设计一个更强适应性和高质量的神经网络模型的问题，提供了一条新的研究思路，即在深度学习神经网络模型不做改变的情况下，通过构建高质量的目标训练样本库，实现目标超分重建处理精度和质量的有效提升；在超分辨率重建算法应用中，为使光学遥感图像的目标处理应用具备更强的适应性，充分的考虑卫星传感器载荷的光学成像特点，采用混合随机降采样模型模拟生成光学传感器成像的低分辨率影像，增强超分重建模型的场景适应性、处理精确性和结果可靠性。
在上述各实施例的基础上，如图2中所示，对待重建目标的多尺度米级分辨率的光学遥感影像进行混合随机降采样处理前，还包括：
步骤01、获取包含待重建目标的多尺度米级分辨率的光学遥感影像；
步骤02、并对上述光学遥感影像进行灰度变换和亮度拉伸；
步骤03、对拉伸后的光学遥感影像进行目标剪裁，得到目标影像；
步骤04、并基于仿射变换方法对上述目标影像进行翻转变换，得到数量增广后多个角度的目标影像。
在本实施例步骤S01中，为了增加训练目标的多样性，在本实施例中，收集的影像需包含多种类型的目标和场景，用以增强多类型特定目标的模型训练精度，并且在本实施例中，采集多尺度米级分辨率的光学遥感影像，目的是构建预处理后多尺度高低分辨率目标影像块的映射矩阵。
在上述各实施例的基础上，获取包含待重建目标的多尺度米级分辨率的光学遥感影像具体包括：
收集包括待重建目标的多尺度米级分辨率光学遥感影像，其中，收集的光学遥感影像还包括与待重建目标关联的关联目标、关联场景，上述多尺度米级分辨率包括0.7m、1m、2m、5m。
在本实施例中，步骤01收集包含重建目标的多尺度米级分辨率光学遥感影像，分辨率包括：0.7m、1m、2m和5m，还可为厘米级分辨率或10米级分辨率，目的是构建预处理后多尺度高低分辨率目标影像块的映射矩阵。另外，收集的影像需包含多种类型的目标和场景，用以增强多类型特定目标的模型训练精度。收集的光学遥感影像还包括与待重建目标关联的关联目标、关联场景，即在关联目标为与待重建目标定义相同或所属类型相同的目标，关联场景为待重建目标可能存在的场景，以构建多目标多尺度米级的样本；以轮船为例，包括：货轮、油轮、客轮、舰船；多场景包括：码头、海面、修理厂；
在上述各实施例的基础上，如图2所示，并对上述光学遥感影像进行灰度变换和亮度拉伸，步骤02具体包括：
步骤021、对上述光学遥感影像进行彩色空间变换，提取亮度波段的影像作为灰度变换影像；
步骤022、基于非线性Gamma拉伸方法对上述灰度变换影像进行亮度拉伸；
步骤023、将拉伸后的得到的8bit/16bit类型的影像转换为double类型的影像。
在本实施例中，采用非线性Gamma拉伸方法实现灰度变换影像的亮度拉伸，灰度影像上的任意一个像素点的灰度值x，采用如下函数进行非线性拉伸变换：
上式(1)中，(x1，y1)和(x2，y2)为非线性分段函数中的低点和高点坐标，根据每幅影像亮度曝光情况实现动态阈值调整。
亮度拉伸后得到8bit/16bit格式的影像，将灰度拉伸变换后的8bit/16bit影像统一转换为double类型，增强像元灰度计算精度。
具体的，在步骤03中，对拉伸后的光学遥感影像进行目标剪裁，具体包括：
建立待重建目标的最小外界矩形，获取上述最小外界矩形的长轴两端点的像素坐标以及短轴两端点的像素坐标，并将其设为剪裁坐标；
通过随机映射剪裁坐标以对上述光学遥感影像进行剪裁，得到目标影像。
在本实施例中，还需要对目标影像进行剪裁，以实现待重建目标与背景的分离，并通过仿射变换实现待重建目标光学成像中几何变形的模拟。
裁剪的方法为：建立待重建目标的最小外界矩形，获取上述最小外界矩形的长轴两端点的像素坐标以及短轴两端点的像素坐标，并将其设为剪裁坐标。
假设以轮船为目标建立最小外界矩形，记录过最小外接矩形中心点的长轴两端点的像素坐标A(x1’，y1’)、B(x2’，y2’),以及过中心点的短轴两端点的像素坐标C(x1”，y1”)、D(x2”，y2”)，程序通过设置A、B、C、D四个点坐标完成裁剪；通过设置随机映射坐标处理裁剪完成的目标图像，实现图像的几何仿射变换用于模拟几何变形的影像。
具体的，步骤S04中，基于仿射变换处理的目标影像，实现样本影像翻转变换，在本实施例中，每10°完成一次角度旋转直到360°，实现图像数量增广处理，数量级扩充72倍。通过随机映射裁剪坐标以对所述光学遥感影像进行中心点多角度的旋转剪裁，每次旋转角度为顺时针10°，直到360°，得到批量目标影像。
在上述各实施例的基础上，对待重建目标的光学遥感影像进行混合随机降采样处理具体包括：
基于领域低通采样算子Lanczos、最近邻插值采样Nearest、三次卷积内插Bicubic和高斯模糊算子Gauss构建混合随机降采样模型。
在本实施例中，构建混合随机降采样模型模拟生成卫星传感器成像的低分辨率影像，该混合模型包括：领域低通采样算子Lanczos、最近邻插值采样Nearest、三次卷积内插Bicubic和高斯模糊算子Gauss。其中，高斯模糊算子采用四领域均值的方式实现2倍下采样，设置模糊核尺寸：5×5，标准差：3。
邻域低通采样算子Lanczos是一种将对称矩阵通过正交相似变换变成对称三对角矩阵的算法，实际上是Arnoldi算法对于对称矩阵的特殊形式，可应用于对称矩阵线性方程组求解的Krylov子空间方法以及对称矩阵的特征值问题，这种算法参考了更多的源图像灰度值充分模拟了混合像元的特征信息。
最近邻插值采样Nearest通过利用已知邻近像素点的灰度值(或RGB图像中的三色值)来产生未知像素点的灰度值，以便由原始图像再生出具有更高分辨率的图像。变换后图像T中像素p映射在原图像S中的点为p’，需要注意的是因为对图像做过变换，所以在原图像中不一定能找到某个像素点和其对应。那么这时候就利用其最近的像素点来填充变换后图像的像素点p。
三次卷积内插Bicubic取待插值像素点周围的16个已知像素值的像素点作为参考点，然后在水平方向、垂直方向上分别进行三阶插值，最后得到的值作为待插值像素点的值。
高斯模糊算子Gauss是采用自定义参数的高斯滤波器，它将正态分布用于图像处理，是一种卷积运算，对周围像素进行加权平均处理的操作，周围的像素取决于卷积核的尺寸设置n×n，它作为图像平滑技术能够使卷积核的中间点失去细节信息，模糊程度取决于标准差δ的设置，整个卷积核将通过固定步长遍历全图，实现对光学传感器成像系统的图像降质模拟。
在上述各实施例的基础上，对待重建目标的光学遥感影像进行混合随机降采样处理，具体包括：
将待重建目标的光学遥感影像输入到上述混合随机降采样模型，对处理后的影像进行阈值切块；
高分辨率影像来自于实际收集的原始卫星数据，而低分辨率是混合随机降采样模型模拟获得。
对混合随机降采样模型处理后的影像块的数据结构组织形式为：ψ1(xi，yi，1，z1)、ψ2(xi，yi，1，z2)、ψ3(xi，yi，1，z3)、ψ4(xi，yi，1，z4)，并形成低分辨率影像矩阵：E低(xi，yi，1，z5)，其中z5＝z1+z2+z3+z4，xi和yi为像素坐标；
基于阈值分割得到高分辨率影像矩阵：E高(xj，yj，1，z5)，其中j＝i+size-1,size为低分辨率影像块尺寸。
在本实施例中，对混合随机降采样模型处理的图像进行阈值切块，通过数据结构组织生成高低分辨率映射矩阵，实现训练目标影像库的构建。给出最佳切块阈值设定：图像块尺寸：40×40，窗口滑动步长：30，同时规定高分辨率图像库与低分辨率图像块的中心像素点在同等条件下一致。在本实施例中，同等条件为：高分辨率图像和低分辨率图像的阈值切块都采用以上设置的相同参数值进行处理，并且保证高分辨率、低分辨率图像块的中心像素点为绝对的同一个点。
将经过混合随机降采样模型处理的影像块的数据结构组织形式为：ψ1(xi，yi，1，z1)、ψ2(xi，yi，1，z2)、ψ3(xi，yi，1，z3)、ψ4(xi，yi，1，z4)，并形成低分辨率影像矩阵：E低(xi，yi，1，z5)，其中z5＝z1+z2+z3+z4，xi和yi为像素坐标；输入图像维度为1，zn(n＝1,2,3,4,5)为图像块数量，及z1、z2、z3、z4、z5分别代表不同的图像块数量。
最后构建出高低分辨率图像块映射矩阵：E低→高＝ψ[E低(xi，yi，1，z5)→E高(xj，yj，1，z5)]，生成的映射矩阵E低→高将作为模型训练图像库，即训练样本。通过高质量标准流程化的训练样本库构建方法，能够高效快速的构建目标样本库，并能有效提升超分重建模型的训练精度，实现目标分辨率及图像整体质量的提升。
将上述高低分辨率图像块映射矩阵作为训练样本，构建模型训练图库，进行深度学习训练，得到用于光学遥感影像超分辨率重构的超分辨率重构模型；通过神经网络模型进行深度学习，最终的到超分辨率重构模型；
基于上述超分辨率重构模型，对待重建目标光学遥感影像进行超分辨率重构。获取待重建目标的光学遥感影像，输入至超分辨率重构模型中，即可进行超分辨率重构。
在本实施例中，基于上述各方法实施例的基于混合随机降采样的遥感影像超分辨率重构方法，还提供了一种深度学习的光学遥感影像超分辨率重构装置，如图3所示，该装置包括样本库模块和超分辨率重构模块，其中：
样本库模块对待重建目标的多尺度米级分辨率的光学遥感影像进行混合随机降采样处理，得到高分辨率影像矩阵和低分辨率影像矩阵，并构建高低分辨率图像块映射矩阵；通过领域低通采样算子Lanczos、最近邻插值采样Nearest、三次卷积内插Bicubic和高斯模糊算子Gauss对光学遥感影像进行随机降采样处理，充分的考虑卫星传感器载荷的光学成像特点，增强超分重建模型的场景适应性、处理精确性和结果可靠性；且在构建样本库时，收集包含重建目标的多尺度米级分辨率光学遥感影像，分辨率包括：0.7m、1m、2m和5m，还可为厘米级分辨率或10米级分辨率，目的是构建预处理后多尺度高低分辨率目标影像块的映射矩阵。另外，收集的影像需包含多种类型的目标和场景，用以增强多类型特定目标的模型训练精度。
超分辨率重构模型将上述高低分辨率图像块映射矩阵作为训练样本，进行深度学习训练，得到用于光学遥感影像超分辨率重构的超分辨率重构模型；基于上述超分辨率重构模型，对待重建目标光学遥感影像进行超分辨率重构。
图4是示出本申请实施例的基于混合随机降采样的遥感影像超分辨率重构设备的结构框图。
参照图4，上述基于混合随机降采样的遥感影像超分辨率重构设备，包括：处理器(processor)810、存储器(memory)830、通信接口(Communications Interface)820和总线840；
其中，
所述处理器810、存储器830、通信接口820通过所述总线840完成相互间的通信；
所述处理器810用于调用所述存储器830中的程序指令，以执行上述各方法实施例所提供的基于混合随机降采样的遥感影像超分辨率重构方法，例如包括：
对待重建目标的多尺度米级分辨率的光学遥感影像进行混合随机降采样处理，得到高分辨率影像矩阵和低分辨率影像矩阵，并构建高低分辨率图像块映射矩阵；
将所述高低分辨率图像块映射矩阵作为训练样本，进行深度学习训练，得到用于光学遥感影像超分辨率重构的超分辨率重构模型；
基于所述超分辨率重构模型，对待重建目标光学遥感影像进行超分辨率重构。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行如上述各方法实施例所提供的基于混合随机降采样的遥感影像超分辨率重构方法，例如包括：
对待重建目标的多尺度米级分辨率的光学遥感影像进行混合随机降采样处理，得到高分辨率影像矩阵和低分辨率影像矩阵，并构建高低分辨率图像块映射矩阵；
将所述高低分辨率图像块映射矩阵作为训练样本，进行深度学习训练，得到用于光学遥感影像超分辨率重构的超分辨率重构模型；
基于所述超分辨率重构模型，对待重建目标光学遥感影像进行超分辨率重构。
本实施例中还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上述各方法实施例所提供的基于混合随机降采样的遥感影像超分辨率重构，例如包括：
对待重建目标的多尺度米级分辨率的光学遥感影像进行混合随机降采样处理，得到高分辨率影像矩阵和低分辨率影像矩阵，并构建高低分辨率图像块映射矩阵；
将所述高低分辨率图像块映射矩阵作为训练样本，进行深度学习训练，得到用于光学遥感影像超分辨率重构的超分辨率重构模型；
基于所述超分辨率重构模型，对待重建目标光学遥感影像进行超分辨率重构。
综上所述，本发明实施例提出一种基于混合随机降采样的遥感影像超分辨率重构方法和装置，针对深度学习超分重建技术和光学遥感影像的特定目标对象，设计标准化的样本库构建流程，并改进图像目标的预处理方法，实现目标样本库的高效构建和超分重建模型的高精度训练，总体提升遥感目标超分重建处理的高效性和精确性；为使光学遥感图像的目标处理应用具备更强的适应性，充分的考虑卫星传感器载荷的光学成像特点，采用混合随机降采样模型模拟生成光学传感器成像的低分辨率影像，增强超分重建模型的场景适应性、处理精确性和结果可靠性。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于混合随机降采样的遥感影像超分辨率重构方法，其特征在于，包括：
对待重建目标的多尺度米级分辨率的光学遥感影像进行混合随机降采样处理，得到高分辨率影像矩阵和低分辨率影像矩阵，并构建高低分辨率图像块映射矩阵；
将所述高低分辨率图像块映射矩阵作为训练样本，进行深度学习训练，得到用于光学遥感影像超分辨率重构的超分辨率重构模型；
基于所述超分辨率重构模型，对待重建目标光学遥感影像进行超分辨率重构；
对待重建目标的光学遥感影像进行混合随机降采样处理，具体包括：
将待重建目标的光学遥感影像输入到包含多个降采样算子的混合随机降采样模型，对处理后的影像进行阈值切块；
对混合随机降采样模型处理后的影像块的数据结构组织形式为：ψ1(xi，yi，1，z1)、ψ2(xi，yi，1，z2)、ψ3(xi，yi，1，z3)、ψ4(xi，yi，1，z4)，并形成低分辨率影像矩阵：E低(xi，yi，1，z5)，其中z5＝z1+z2+z3+z4，xi和yi为像素坐标，z1、z2、z3、z4、z5分别代表不同的图像块数量；
基于阈值分割得到高分辨率影像矩阵：E高(xj，yj，1，z5)，j＝i+size-1，size为低分辨率影像块块尺寸。
2.根据权利要求1所述的基于混合随机降采样的遥感影像超分辨率重构方法，其特征在于，对待重建目标的多尺度米级分辨率的光学遥感影像进行混合随机降采样处理前，还包括：
获取包含待重建目标的多尺度米级分辨率的光学遥感影像，并对所述光学遥感影像进行灰度变换和亮度拉伸；
对拉伸后的光学遥感影像进行目标剪裁，得到目标影像，并基于仿射变换方法对所述目标影像进行翻转变换，得到数量增广后多个角度的目标影像。
3.根据权利要求2所述的基于混合随机降采样的遥感影像超分辨率重构方法，其特征在于，获取包含待重建目标的多尺度米级分辨率的光学遥感影像具体包括：
收集包括待重建目标的多尺度米级分辨率光学遥感影像，其中，收集的光学遥感影像还包括与待重建目标关联的关联目标、关联场景，所述多尺度米级分辨率包括0.7m、1m、2m、5m。
4.根据权利要求2所述的基于混合随机降采样的遥感影像超分辨率重构方法，其特征在于，并对所述光学遥感影像进行灰度变换和亮度拉伸，具体包括：
对所述光学遥感影像进行彩色空间变换，提取亮度波段的影像作为灰度变换影像；
基于非线性Gamma拉伸方法对所述灰度变换影像进行亮度拉伸，将拉伸后的得到的8bit/16bit类型的影像转换为double类型的影像。
5.根据权利要求2所述的基于混合随机降采样的遥感影像超分辨率重构方法，其特征在于，对拉伸后的光学遥感影像进行目标剪裁，具体包括：
建立待重建目标的最小外界矩形，获取所述最小外界矩形的长轴两端点的像素坐标以及短轴两端点的像素坐标，并将其设为剪裁坐标；
通过随机映射剪裁坐标以对所述光学遥感影像进行中心点多角度的旋转剪裁，得到批量目标影像。
6.根据权利要求1所述的基于混合随机降采样的遥感影像超分辨率重构方法，其特征在于，所述降采样算子包括高斯模糊算子Gauss、邻域低通采样算子Lanczos、最近邻插值采样算子Nearest、三次卷积内插算子Bicubic。
7.一种基于混合随机降采样的遥感影像超分辨率重构装置，其特征在于，包括：
样本库模块，用于对待重建目标的多尺度米级分辨率的光学遥感影像进行混合随机降采样处理，得到高分辨率影像矩阵和低分辨率影像矩阵，并构建高低分辨率图像块映射矩阵；
超分辨率重构模块，用于将所述高低分辨率图像块映射矩阵作为训练样本，进行深度学习训练，得到用于光学遥感影像超分辨率重构的超分辨率重构模型；基于所述超分辨率重构模型，对待重建目标光学遥感影像进行超分辨率重构；
对待重建目标的光学遥感影像进行混合随机降采样处理，具体包括：
将待重建目标的光学遥感影像输入到包含多个降采样算子的混合随机降采样模型，对处理后的影像进行阈值切块；
对混合随机降采样模型处理后的影像块的数据结构组织形式为：ψ1(xi，yi，1，z1)、ψ2(xi，yi，1，z2)、ψ3(xi，yi，1，z3)、ψ4(xi，yi，1，z4)，并形成低分辨率影像矩阵：E低(xi，yi，1，z5)，其中z5＝z1+z2+z3+z4，xi和yi为像素坐标，z1、z2、z3、z4、z5分别代表不同的图像块数量；
基于阈值分割得到高分辨率影像矩阵：E高(xj，yj，1，z5)，j＝i+size-1，size为低分辨率影像块块尺寸。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于混合随机降采样的遥感影像超分辨率重构方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于混合随机降采样的遥感影像超分辨率重构方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811033443.5A CN109360148B (zh) | 2018-09-05 | 2018-09-05 | 基于混合随机降采样的遥感影像超分辨率重构方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811033443.5A CN109360148B (zh) | 2018-09-05 | 2018-09-05 | 基于混合随机降采样的遥感影像超分辨率重构方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109360148A CN109360148A (zh) | 2019-02-19 |
| CN109360148B true CN109360148B (zh) | 2023-11-07 |
Family
ID=65350351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811033443.5A Active CN109360148B (zh) | 2018-09-05 | 2018-09-05 | 基于混合随机降采样的遥感影像超分辨率重构方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109360148B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942425A (zh) * | 2019-11-26 | 2020-03-31 | 贵州师范学院 | 一种超分辨率图像的重构方法、重构系统和电子设备 |
| CN111553852B (zh) * | 2020-04-13 | 2023-10-27 | 中国资源卫星应用中心 | 一种光学遥感影像快视图的生成方法及装置 |
| CN111667409B (zh) * | 2020-06-09 | 2024-03-22 | 云南电网有限责任公司电力科学研究院 | 一种基于超分辨率算法的绝缘子影像分辨率增强方法 |
| CN111652193B (zh) * | 2020-07-08 | 2024-03-19 | 中南林业科技大学 | 基于多源影像的湿地分类方法 |
| CN112200745A (zh) * | 2020-10-13 | 2021-01-08 | 上海商汤智能科技有限公司 | 遥感影像的处理方法及装置、电子设备和存储介质 |
| CN112949549B (zh) * | 2021-03-19 | 2023-04-18 | 中山大学 | 一种基于超分辨率的多分辨率遥感影像的变化检测方法 |
| WO2023000158A1 (zh) * | 2021-07-20 | 2023-01-26 | 海南长光卫星信息技术有限公司 | 一种遥感影像超分辨率重建方法、装置、设备及存储介质 |
| CN115880376A (zh) * | 2023-03-01 | 2023-03-31 | 中科慧眼(天津)研究开发有限公司 | 基于深度学习的双目相机深度标定方法和系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016019484A1 (en) * | 2014-08-08 | 2016-02-11 | Xiaoou Tang | An apparatus and a method for providing super-resolution of a low-resolution image |
| CN106127695A (zh) * | 2016-06-03 | 2016-11-16 | 西安电子科技大学 | 基于多尺度回插的脉冲噪声处理方法 |
| CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
| CN106651772A (zh) * | 2016-11-25 | 2017-05-10 | 宁波大学 | 一种卫星云图的超分辨率重建方法 |
| CN107730528A (zh) * | 2017-10-28 | 2018-02-23 | 天津大学 | 一种基于grabcut算法的交互式图像分割与融合方法 |
| CN107833183A (zh) * | 2017-11-29 | 2018-03-23 | 安徽工业大学 | 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法 |
| CN108122197A (zh) * | 2017-10-27 | 2018-06-05 | 江西高创保安服务技术有限公司 | 一种基于深度学习的图像超分辨率重建方法 |
| CN108182456A (zh) * | 2018-01-23 | 2018-06-19 | 哈工大机器人（合肥）国际创新研究院 | 一种基于深度学习的目标检测模型及其训练方法 |
| WO2018120329A1 (zh) * | 2016-12-28 | 2018-07-05 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8755636B2 (en) * | 2011-09-14 | 2014-06-17 | Mediatek Inc. | Method and apparatus of high-resolution image reconstruction based on multi-frame low-resolution images |
-
2018
- 2018-09-05 CN CN201811033443.5A patent/CN109360148B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016019484A1 (en) * | 2014-08-08 | 2016-02-11 | Xiaoou Tang | An apparatus and a method for providing super-resolution of a low-resolution image |
| CN106127695A (zh) * | 2016-06-03 | 2016-11-16 | 西安电子科技大学 | 基于多尺度回插的脉冲噪声处理方法 |
| CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
| CN106651772A (zh) * | 2016-11-25 | 2017-05-10 | 宁波大学 | 一种卫星云图的超分辨率重建方法 |
| WO2018120329A1 (zh) * | 2016-12-28 | 2018-07-05 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
| CN108122197A (zh) * | 2017-10-27 | 2018-06-05 | 江西高创保安服务技术有限公司 | 一种基于深度学习的图像超分辨率重建方法 |
| CN107730528A (zh) * | 2017-10-28 | 2018-02-23 | 天津大学 | 一种基于grabcut算法的交互式图像分割与融合方法 |
| CN107833183A (zh) * | 2017-11-29 | 2018-03-23 | 安徽工业大学 | 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法 |
| CN108182456A (zh) * | 2018-01-23 | 2018-06-19 | 哈工大机器人（合肥）国际创新研究院 | 一种基于深度学习的目标检测模型及其训练方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109360148A (zh) | 2019-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360148B (zh) | 基于混合随机降采样的遥感影像超分辨率重构方法和装置 | |
| Li et al. | Underwater image enhancement via medium transmission-guided multi-color space embedding | |
| Shao et al. | Remote sensing image fusion with deep convolutional neural network | |
| Zhao et al. | Hierarchical regression network for spectral reconstruction from RGB images | |
| Chen et al. | SIRF: Simultaneous satellite image registration and fusion in a unified framework | |
| US8731337B2 (en) | Denoising and artifact removal in image upscaling | |
| Arefin et al. | Multi-image super-resolution for remote sensing using deep recurrent networks | |
| CN108765343B (zh) | 图像处理的方法、装置、终端及计算机可读存储介质 | |
| CN107025632B (zh) | 一种图像超分辨率重建方法及系统 | |
| CN109949224B (zh) | 一种基于深度学习的联级超分辨率重建的方法及装置 | |
| CN109146787B (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
| Gao et al. | Multi-scale deep neural networks for real image super-resolution | |
| CN107680043B (zh) | 基于图模型的单幅图像超分辨率输出方法 | |
| US11244426B2 (en) | Method for image super resolution imitating optical zoom implemented on a resource-constrained mobile device, and a mobile device implementing the same | |
| CN108288256A (zh) | 一种多光谱马赛克图像复原方法 | |
| CN114596339A (zh) | 一种帧处理设备、方法及帧处理器 | |
| Feng et al. | Guided filter‐based multi‐scale super‐resolution reconstruction | |
| CN106846250B (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
| CN103514587B (zh) | 基于海天分界线检测的舰载稳像方法 | |
| CN110752013A (zh) | 一种宫颈癌激光图像的数据预处理系统 | |
| CN109615584B (zh) | 一种基于单应性约束的sar图像序列map超分辨率重建方法 | |
| CN116503248A (zh) | 一种针对原油储罐的红外图像校正方法及校正系统 | |
| Lyn | Multi-level feature fusion mechanism for single image super-resolution | |
| CN108492264B (zh) | 一种基于sigmoid变换的单帧图像快速超分辨方法 | |
| Sharma | DSP in image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |