CN114022356A - 基于小波域的河道流量水位遥感图像超分辨率方法与系统 - Google Patents

基于小波域的河道流量水位遥感图像超分辨率方法与系统 Download PDF

Info

Publication number
CN114022356A
CN114022356A CN202111273621.3A CN202111273621A CN114022356A CN 114022356 A CN114022356 A CN 114022356A CN 202111273621 A CN202111273621 A CN 202111273621A CN 114022356 A CN114022356 A CN 114022356A
Authority
CN
China
Prior art keywords
resolution
low
image
resolution image
wavelet coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111273621.3A
Other languages
English (en)
Inventor
全绍军
林格
陈小燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longse Technology Co ltd
Original Assignee
Longse Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longse Technology Co ltd filed Critical Longse Technology Co ltd
Priority to CN202111273621.3A priority Critical patent/CN114022356A/zh
Publication of CN114022356A publication Critical patent/CN114022356A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于小波域的河道流量水位遥感图像超分辨率方法与系统。包括：输入河道流量水位数据集并根据需预测的河道及时间段对所述数据集进行筛选及数据处理；获取所述高分辨率图像变为低分辨率图像的小波系数并提取其图像特征；分别将所述每一种小波系数图像特征与所述低分辨率图像序列的时序特征和低分辨率图像特征图序列拼接融合成一个新的小波系数特征图；获得与原始低分辨率相同尺寸的低分辨率尺寸小波系数特征图；利用小波逆变换将所述小波图像生成对应超分辨率图像。本发明应用了二维图片深度学习算法获得高分辨率的图像序列，减少了数据传输和存储的资源，成本低且效率高，并使生成的结果更符合预期。

Description

基于小波域的河道流量水位遥感图像超分辨率方法与系统
技术领域
本发明涉及计算机视觉，遥感图像超分辨率技术领域，具体涉及一种基于小波域的河道流量水位遥感图像超分辨率方法与系统。
背景技术
近年来，随着遥感技术的发展，遥感图像能够实时记录各种地物电磁波的大小，成为新型的监测数据，应用在各种自然检测场景，例如土地和森林覆盖面积、湿地资源、河道流量水位等。为了提高传输和处理的效率，遥感图像往往以压缩的形式存储，因此想要通过遥感图像对河道流量水位进行预测，遥感图像的超分辨率处理是必要的步骤。随着人工智能技术的发展，产生了遥感图像超分辨率技术。这些技术主要通过输入低分辨率的遥感图像，运行神经网络进行训练，生成高分辨率的图像，但受限于人工智能相关技术的发展，生成的图片容易产生细节增强不足、局部区域扭曲等问题，影响最终的生成质量，难以广泛应用。
目前的现有技术之一，专利“一种基于小波分析的遥感图像超分辨率重建技术”，通过双线性插值、维纳逆滤波、卷积等处理，并利用小波分解得到描述各个方向上不同尺度的高低频信息的小波系数，提高光学遥感图像的空间分辨率，达到图像超分辨率的目的。该技术的缺点是处理对象具有局限性，没有充分利用庞大的数据量带来的优势，难以满足大数据背景下，人们对算法通用性、鲁棒性、高效性和优越性的要求。
目前的现有技术之二，专利“一种基于深度学习的单幅遥感图像超分辨率重建技术”，通过构造四层卷积的深度神经网络结构，其中前三层卷积后添加参数修正线性单元层和局部响应归一化层进行优化，经过训练得到遥感图像超分辨率重建模型。该技术的缺点是虽然增强了单幅遥感图像超分辨率重建效果，但是没有考虑到遥感图像独有的同一场景多时相图像的序列数据特点，难以满足实时监测的效果。
目前的现有技术之三，专利“一种基于小波域的深度残差网络图像超分辨率重建技术”，利用小波变换能够将图像内容的“粗略”和“细节”特征进行分离，采用一种残差嵌套残差的灵活可扩展的深度神经网络，并结合图像空域与小波域的损失函数进行优化求解。该技术的缺点是虽然增强了图像超分辨率重建效果，能够更加有效地捕捉图像细节信息，但是难以直接应用于遥感图像这类细节相对较少数据。
发明内容
本发明的目的是克服现有方法的不足，提出了基于小波域的河道流量水位遥感图像超分辨率方法与系统。本发明解决的主要问题，一是现有传统的遥感图像超分辨率技术，处理对象具有局限性，没有充分利用庞大的数据量带来的优势，难以满足大数据背景下，人们对算法通用性、鲁棒性、高效性和优越性的要求。二是现有深度学习的图像超分辨率重建技术，对图像纹理细节要求较高，不适用于遥感图像，或者没有考虑到遥感图像独有的同一场景多时相图像的序列数据特点，难以满足实时监测的效果。即如何获得细节突出的高分辨率河道流量水位遥感图，满足实时监测要求的问题。
为了解决上述问题，本发明提出了一种基于小波域的河道流量水位遥感图像超分辨率方法，所述方法包括：
导入由多组遥感图像序列构成的河道流量水位数据集，并根据需预测的河道及需预测的时间段，筛选并输入低分辨率图像序列；
对所述低分辨率图像序列，首先使用双三次插值算法对其进行上采样操作，获得指定分辨率的高分辨率图像，然后训练一个遥感图像序列高维特征的神经网络模型，提取所述低分辨率图像序列的时序特征，最后利用卷积神经网络提取所述低分辨率图像的特征，获得所述低分辨率图像特征图序列；
使用小波变换获取所述高分辨率图像变为低分辨率图像的小波系数，得到四个小波系数图像并对所述每个小波系数图像进行特征提取；
分别将所述每一种小波系数图像特征，与所述低分辨率图像序列的时序特征和低分辨率图像特征图序列进行拼接，将所述三种特征融合成一种特征图作为新的小波系数特征图，从而得到四种新的小波系数特征图，并通过降维与利用卷积神经网络生成与原始低分辨率图像相同尺寸的低分辨率尺寸小波系数特征图；
将所述四组低分辨率尺寸小波系数特征图和所述小波系数相加，再利用小波逆变换，将所述小波系数图像生成对应的一张超分辨率图像，得到最终的结果，并根据所述超分辨率图像与所述输入的高分辨率图像的相似性，计算损失函数，根据损失对所述神经网络进行训练和优化，直到损失函数的结果达到收敛，从而建立起超分辨率图像生成模型；
在所述超分辨率图像生成模型中输入待处理的河道在某时间段的低分辨率图像，即得到对应的高分辨率图像。
优选地，所述导入由多组遥感图像序列构成的河道流量水位数据集，并根据需预测的河道及需预测的时间段，筛选并输入低分辨率图像序列，具体为：
导入河道流量水位数据集，所述河道流量水位数据集由多组遥感图像序列构成，每一组图像序列表示某一河道在一个时段的多张河道流量水位低分辨率图像及对应的高分辨率图像，给定需预测的河道及需预测的时间段，筛选并输入低分辨率图像序列。
优选地，所述对所述低分辨率图像序列，首先使用双三次插值算法对其进行上采样操作，获得指定分辨率的高分辨率图像，然后训练一个遥感图像序列高维特征的神经网络模型，提取所述低分辨率图像序列的时序特征，最后利用卷积神经网络提取所述低分辨率图像的特征，获得所述低分辨率图像特征图序列，具体为：
使用双三次插值算法，对所述低分辨率图像进行上采样操作，获得指定分辨率的高分辨率图像，利用双三次插值图像上采样方式，函数f在点(x,y)的值可通过矩形网格中最近的十六个采样点的加权平均得到，具体地，对待插值的像素点(x,y)，取其附近的4×4邻域点(xi,yj)，插值计算公式具体如下：
Figure BDA0003328641430000041
Figure BDA0003328641430000042
其中，x,y表示待插值的像素点坐标值，i,j表示行和列的位置，xi,yj表示所述待插值像素点附近4×4各领域点的坐标值，W表示插值三次函数的基函数；
训练一个遥感图像序列高维特征的神经网络模型，提取所述低分辨率图像序列的时序特征，所述神经网络模型包括：采用长短期记忆网络(LSTM,Long Short-Term Memory)模型实现，采用两个LSTM网络分别作为编码器和解码器进行训练，解码器的输入为所述遥感图像序列中提取出的河道流量水位的变化特征，通过计算解码器输出与输入之间L2范数损失，然后进行反馈传播以优化编码器和解码器，计算公式具体如下：
Figure BDA0003328641430000051
其中，编码器的输入为向量P，pi表示其第i个分量，解码器的输出为向量Q，qi表示其第i个分量；
输入所述低分辨率图像，通过卷积神经网络提取图像特征，获得所述低分辨率图像的特征图序列，所述卷积神经网络包括：3个特征提取模块，每个模块包含3个卷积层，所有的卷积层共享相同的3×3卷积核大小，步长和边缘填充都设置为1，前向传播表示为一系列特征图，特征提取网络由多个残差块级联构成，残差块由两个具有相同核大小和相同过滤器数目的卷积构成，公式具体如下：
X＝Hl([x0,x1,x3])
其中，H(·)表示非线性转化函数(non-liear transformation)，采用批量标准化(Batch Normalization)+ReLU激活函数+3×3卷积的结构，X表示对于每一个特征提取模块的特征xl，将3个模块的特征融合作为最后的输出特征。
优选地，所述使用小波变换获取所述高分辨率图像变为低分辨率图像的小波系数，得到四个小波系数图像并对所述每个小波系数图像进行特征提取，具体为：
输入所述高分辨率图像HR，经过二维小波变换2DDWT得到4个小波系数图像，公式具体如下：
HRWav＝{HLL,HLH,HHL,HHH}：＝2DDWT{HR}
其中，HRWav表示高分辨率图像的小波，HLL表示低频分量的小波系数，HLH表示水平低频垂直高频分量的小波系数，HHL表示水平高频垂直低频分量的小波系数，HHH表示对角线高频分量的小波系数；
输入所述得到的低频分量的小波系数HLL、水平低频垂直高频分量的小波系数HLH、水平高频垂直低频分量的小波系数HHL和对角线高频分量的小波系数HHH，分别对其进行特征提取，为使特征映射到同一个特征空间，采用与所述卷积神经网络相同的特征提取网络，即网络由3个特征提取模块组成，每个模块包含3个卷积层，所有的卷积层共享相同的3×3卷积核大小，步长(stride)和边缘填充(pad)都设置为1。
优选地，所述分别将所述每一种小波系数图像特征，与所述低分辨率图像序列的时序特征和低分辨率图像特征图序列进行拼接，将所述三种特征融合成一种特征图作为新的小波系数特征图，从而得到四种新的小波系数特征图，并通过降维与利用卷积神经网络生成与原始低分辨率图像相同尺寸的低分辨率尺寸小波系数特征图，具体为：
分别将所述四种小波系数HLL，HLH，HHL和HHH图像特征中的每一种小波系数图像特征，与提取到的所述低分辨率图像的特征和所述低分辨率图像序列时序特征拼接，将所述三种特征融合成一种特征图作为新的小波系数特征图，从而得到四种新的小波系数特征图；
利用所述得到的四种新的小波系数特征图作为输入，因所述输入的小波系数特征图系通过三种特征拼接而成，其维度较大，所以使用1×1的卷积以减少特征维度，然后利用所述卷积神经网络，获得与原始低分辨率小波系数特征图相同尺寸的小波系数特征图，为保证输出的小波系数特征图与原始低分辨率图像尺寸相同，采用的所述卷积神经网络为由三个特征提取模块组成，每个模块包含三个卷积层，所有的卷积层共享相同的3×3卷积核大小，步长和边缘填充都设置为1。
优选地，所述将所述四组低分辨率尺寸小波系数特征图和所述小波系数相加，再利用小波逆变换，将所述小波系数图像生成对应的一张超分辨率图像，得到最终的结果，并根据所述超分辨率图像与所述输入的高分辨率图像的相似性，计算损失函数，根据损失对所述神经网络进行训练和优化，直到损失函数的结果达到收敛，从而建立起超分辨率图像生成模型，具体为：
所述网络采用一种灵活且约束能力强的损失函数，利用小波系数损失和图像空间像素损失两种损失鲁棒地计算所述输出的超分辨率图像与所述输入的高分辨率图像的相似度，公式具体如下：
L＝αLw+(1-α)Li
其中，L表示整个网络的损失函数，Lw表示小波系数损失，Li表示图像空间像素损失，α表示两种损失函数的权重；
小波系数损失是指所述获得的与原始低分辨率小波系数特征图相同尺寸的小波系数特征图的所有小波系数图像，与所述输入的高分辨率图像进行小波变换获得的子带图像进行相似度对比，沿用图像空间里最常用的逐像素均方误差损失函数，采用同样方式对小波系数进行操作，损失函数使用L2范数表示，计算公式具体如下：
Figure BDA0003328641430000071
其中，
Figure BDA0003328641430000072
表示所述卷积神经网络获得的与原始低分辨率小波系数特征图相同尺寸的小波系数特征图的小波系数，
Figure BDA0003328641430000073
表示所述输入的高分辨率图像小波变换获得的小波系数，n表示batchsize的大小，i表示批处理图像中的第i张图像，j表示小波系数序列中的第j个系数；
图像空间的损失计算是指所述超分辨率图像与原始高分辨率图像的纹理与平滑之间的一个平衡，使用L2范数表示，计算公式具体如下：
Figure BDA0003328641430000081
其中，IS表示所述超分辨率图像，IH表示所述输入的高分辨率图像；n表示batchsize的大小，i表示批处理图像中的第i张图像；
在所述超分辨率图像生成模型中输入待处理的河道在某时间段的低分辨率图像，即得到对应的高分辨率图像。
相应地，本发明还提供了一种基于小波域的河道流量水位遥感图像超分辨率系统，包括：
数据集筛选单元，用于导入由多组遥感图像序列构成的河道流量水位数据集，并根据需预测的河道及需预测的时间段，筛选并输入低分辨率图像序列；
低分辨率图像序列数据处理单元，用于对所述低分辨率图像序列，首先使用双三次插值算法对其进行上采样操作，获得指定分辨率的高分辨率图像，然后训练一个遥感图像序列高维特征的神经网络模型，提取所述低分辨率图像序列的时序特征，最后利用卷积神经网络提取所述低分辨率图像的特征，获得所述低分辨率图像特征图序列；
小波系数图像特征提取单元，用于使用小波变换获取所述高分辨率图像变为低分辨率图像的小波系数，得到四个小波系数图像并对所述每个小波系数图像进行特征提取；
小波系数特征图融合单元，用于分别将所述每一种小波系数图像特征，与所述低分辨率图像的特征和时序特征拼接，将所述三种特征融合成一种特征图作为新的小波系数特征图，从而得到四种新的小波系数特征图，并获得与原始低分辨率小波系数特征图相同尺寸的小波系数特征图；
超分辨率图像生成单元，用于将所述四组低分辨率尺寸小波系数特征图和所述小波系数相加，再利用小波逆变换，将所述小波系数图像生成对应的一张超分辨率图像，得到最终的结果，并根据所述超分辨率图像与所述输入的高分辨率图像的相似性，计算损失函数，根据损失对所述神经网络进行训练和优化，直到损失函数的结果达到收敛，从而建立起超分辨率图像生成模型，在所述超分辨率图像生成模型中输入待处理的河道在某时间段的低分辨率图像，即得到对应的高分辨率图像。
实施本发明，具有如下有益效果：
本发明应用了二维图片深度学习算法，获得高分辨率的图像序列，减少了数据传输和存储的资源，具有成本低和效率高的特点；发明中各部分之间的输入输出互相联系，进行不同特征的提取和整合，提高了效率，使生成的结果更加符合人的预期；发明中使用神经网络方法，通过编码解码结构生成超分辨率后的图像序列，能最大限度指导神经网络增强低分辨率的局部细节特征；使用卷积神经网络对原始低分辨率图像序列超分辨率时，能够最大限度地保留纹理信息。
附图说明
图1是本发明实施例的基于小波域的河道流量水位遥感图像超分辨率方法的总体流程图；
图2是本发明实施例的基于小波域的河道流量水位遥感图像超分辨率系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的基于小波域的河道流量水位遥感图像超分辨率方法的总体流程图，如图1所示，该方法包括：
S1，导入由多组遥感图像序列构成的河道流量水位数据集，并根据需预测的河道及需预测的时间段，筛选并输入低分辨率图像序列；
S2，对所述低分辨率图像序列，首先使用双三次插值算法对其进行上采样操作，获得指定分辨率的高分辨率图像，然后训练一个遥感图像序列高维特征的神经网络模型，提取所述低分辨率图像序列的时序特征，最后利用卷积神经网络提取所述低分辨率图像的特征，获得所述低分辨率图像特征图序列；
S3，使用小波变换获取所述高分辨率图像变为低分辨率图像的小波系数，得到四个小波系数图像并对所述每个小波系数图像进行特征提取；
S4，分别将所述每一种小波系数图像特征，与所述低分辨率图像序列的时序特征和低分辨率图像特征图序列进行拼接，将所述三种特征融合成一种特征图作为新的小波系数特征图，从而得到四种新的小波系数特征图，并通过降维与利用卷积神经网络生成与原始低分辨率图像相同尺寸的低分辨率尺寸小波系数特征图；
S5，将所述四组低分辨率尺寸小波系数特征图和所述小波系数相加，再利用小波逆变换，将所述小波系数图像生成对应的一张超分辨率图像，得到最终的结果，并根据所述超分辨率图像与所述输入的高分辨率图像的相似性，计算损失函数，根据损失对所述神经网络进行训练和优化，直到损失函数的结果达到收敛，从而建立起超分辨率图像生成模型，在所述超分辨率图像生成模型中输入待处理的河道在某时间段的低分辨率图像，即得到对应的高分辨率图像。
步骤S1，具体如下：
S1-1，导入河道流量水位数据集，所述河道流量水位数据集由多组遥感图像序列构成，每一组图像序列表示某一河道在一个时段的多张河道流量水位低分辨率图像及对应的高分辨率图像，给定需预测的河道及需预测的时间段，筛选并输入低分辨率图像序列。
步骤S2，具体如下：
S2-1，使用双三次插值算法，对所述低分辨率图像进行上采样操作，获得指定分辨率的高分辨率图像，利用双三次插值图像上采样方式，函数f在点(x,y)的值可通过矩形网格中最近的十六个采样点的加权平均得到，具体地，对待插值的像素点(x,y)，取其附近的4×4邻域点(xi,yj)，插值计算公式具体如下：
Figure BDA0003328641430000111
Figure BDA0003328641430000112
其中，x,y表示待插值的像素点坐标值，i,j表示行和列的位置，xi,yj表示所述待插值像素点附近4×4各领域点的坐标值，W表示插值三次函数的基函数；
S2-2，训练一个遥感图像序列高维特征的神经网络模型，提取所述低分辨率图像序列的时序特征，所述神经网络模型包括：采用长短期记忆网络LSTM模型实现，采用两个LSTM网络分别作为编码器和解码器进行训练，解码器的输入为所述遥感图像序列中提取出的河道流量水位的变化特征，通过计算解码器输出与输入之间L2范数损失，然后进行反馈传播以优化编码器和解码器，计算公式具体如下：
Figure BDA0003328641430000121
其中，编码器的输入为向量P，pi表示其第i个分量，解码器的输出为向量Q，qi表示其第i个分量；
S2-3，输入所述低分辨率图像，通过卷积神经网络提取图像特征，获得所述低分辨率图像的特征图序列，所述卷积神经网络包括：3个特征提取模块，每个模块包含3个卷积层，所有的卷积层共享相同的3×3卷积核大小，步长和边缘填充都设置为1，前向传播表示为一系列特征图，特征提取网络由多个残差块级联构成，残差块由两个具有相同核大小和相同过滤器数目的卷积构成，公式具体如下：
X＝Hl([x0,x1,x3])
其中，H(·)表示非线性转化函数，采用批量标准化+ReLU激活函数+3×3卷积的结构，X表示对于每一个特征提取模块的特征xl，将3个模块的特征融合作为最后的输出特征。
步骤S3，具体如下：
S3-1，输入所述高分辨率图像HR，经过二维小波变换2DDWT得到4个小波系数图像，公式具体如下：
HRWav＝{HLL,HLH,HHL,HHH}：＝2DDWT{HR}
其中，HRWav表示高分辨率图像的小波，HLL表示低频分量的小波系数，HLH表示水平低频垂直高频分量的小波系数，HHL表示水平高频垂直低频分量的小波系数，HHH表示对角线高频分量的小波系数；
S3-2，输入所述得到的低频分量的小波系数HLL、水平低频垂直高频分量的小波系数HLH、水平高频垂直低频分量的小波系数HHL和对角线高频分量的小波系数HHH，分别对其进行特征提取，为使特征映射到同一个特征空间，采用与所述卷积神经网络相同的特征提取网络，即网络由3个特征提取模块组成，每个模块包含3个卷积层，所有的卷积层共享相同的3×3卷积核大小，步长和边缘填充都设置为1。
步骤S4，具体如下：
S4-1，分别将所述四种小波系数HLL，HLH，HHL和HHH图像特征中的每一种小波系数图像特征，与提取到的所述低分辨率图像的特征和所述低分辨率图像序列时序特征拼接，将所述三种特征融合成一种特征图作为新的小波系数特征图，从而得到四种新的小波系数特征图；
S4-2，利用所述得到的四种新的小波系数特征图作为输入，因所述输入的小波系数特征图系通过三种特征拼接而成，其维度较大，所以使用1×1的卷积以减少特征维度，然后利用所述卷积神经网络，获得与原始低分辨率小波系数特征图相同尺寸的小波系数特征图，为保证输出的小波系数特征图与原始低分辨率图像尺寸相同，采用的所述卷积神经网络为由三个特征提取模块组成，每个模块包含三个卷积层，所有的卷积层共享相同的3×3卷积核大小，步长和边缘填充都设置为1。
步骤S5，具体如下：
S5-1，所述网络采用一种灵活且约束能力强的损失函数，利用小波系数损失和图像空间像素损失两种损失鲁棒地计算所述输出的超分辨率图像与所述输入的高分辨率图像的相似度，公式具体如下：
L＝αLw+(1-α)Li
其中，L表示整个网络的损失函数，Lw表示小波系数损失，Li表示图像空间像素损失，α表示两种损失函数的权重，本实施例取0.5；
S5-2，小波系数损失是指所述获得的与原始低分辨率小波系数特征图相同尺寸的小波系数特征图的所有小波系数图像，与所述输入的高分辨率图像进行小波变换获得的子带图像进行相似度对比，沿用图像空间里最常用的逐像素均方误差损失函数，采用同样方式对小波系数进行操作，损失函数使用L2范数表示，计算公式具体如下：
Figure BDA0003328641430000141
其中，
Figure BDA0003328641430000142
表示所述卷积神经网络获得的与原始低分辨率小波系数特征图相同尺寸的小波系数特征图的小波系数，
Figure BDA0003328641430000143
表示所述输入的高分辨率图像小波变换获得的小波系数，n表示batchsize的大小，i表示批处理图像中的第i张图像，j表示小波系数序列中的第j个系数；
S5-3，图像空间的损失计算是指所述超分辨率图像与原始高分辨率图像的纹理与平滑之间的一个平衡，使用L2范数表示，计算公式具体如下：
Figure BDA0003328641430000144
其中，IS表示所述超分辨率图像，IH表示所述输入的高分辨率图像；n表示batchsize的大小，i表示批处理图像中的第i张图像；
S5-4，在所述超分辨率图像生成模型中输入待处理的河道在某时间段的低分辨率图像，即得到对应的高分辨率图像。
相应地，本发明还提供了一种基于小波域的河道流量水位遥感图像超分辨率系统，如图2所示，包括：
数据集筛选单元1，用于导入由多组遥感图像序列构成的河道流量水位数据集，并根据需预测的河道及需预测的时间段，筛选并输入低分辨率图像序列。
具体地，在本发明实施例中，导入河道流量水位数据集，所述河道流量水位数据集由多组遥感图像序列构成，每一组图像序列表示某一河道在一个时段的多张河道流量水位低分辨率图像及对应的高分辨率图像，给定需预测的河道及需预测的时间段，筛选并输入低分辨率图像序列。
低分辨率图像序列数据处理单元2，用于对所述低分辨率图像序列，首先使用双三次插值算法对其进行上采样操作，获得指定分辨率的高分辨率图像，然后训练一个遥感图像序列高维特征的神经网络模型，提取所述低分辨率图像序列的时序特征，最后利用卷积神经网络提取所述低分辨率图像的特征，获得所述低分辨率图像特征图序列。
具体地，使用双三次插值算法，对所述低分辨率图像进行上采样操作，获得指定分辨率的高分辨率图像，利用双三次插值图像上采样方式，函数f在点(x,y)的值可通过矩形网格中最近的十六个采样点的加权平均得到；训练一个遥感图像序列高维特征的神经网络模型，提取所述低分辨率图像序列的时序特征，所述神经网络模型采用LSTM模型实现，采用两个LSTM网络分别作为编码器和解码器进行训练，解码器的输入为所述遥感图像序列中提取出的河道流量水位的变化特征，通过计算解码器输出与输入之间L2范数损失，然后进行反馈传播以优化编码器和解码器；输入所述低分辨率图像，通过卷积神经网络提取图像特征，获得所述低分辨率图像的特征图序列，所述卷积神经网络由3个特征提取模块组成，每个模块包含3个卷积层，所有的卷积层共享相同的3×3卷积核大小，步长和边缘填充都设置为1，前向传播表示为一系列特征图，特征提取网络由多个残差块级联构成，残差块由两个具有相同核大小和相同过滤器数目的卷积构成，将3个模块的特征融合作为最后的输出特征。
小波系数图像特征提取单元3，用于使用小波变换获取所述高分辨率图像变为低分辨率图像的小波系数，得到四个小波系数图像并对所述每个小波系数图像进行特征提取。
具体地，输入所述高分辨率图像HR，经过二维小波变换2DDWT得到4个小波系数图像，公式具体如下：
HRWav＝{HLL,HLH,HHL,HHH}：＝2DDWT{HR}
其中，HRWav表示高分辨率图像的小波，HLL表示低频分量的小波系数，HLH表示水平低频垂直高频分量的小波系数，HHL表示水平高频垂直低频分量的小波系数，HHH表示对角线高频分量的小波系数；输入所述得到的低频分量的小波系数HLL、水平低频垂直高频分量的小波系数HLH、水平高频垂直低频分量的小波系数HHL和对角线高频分量的小波系数HHH，分别对其进行特征提取，为使特征映射到同一个特征空间，采用与所述卷积神经网络相同的特征提取网络，即网络由3个特征提取模块组成，每个模块包含3个卷积层，所有的卷积层共享相同的3×3卷积核大小，步长和边缘填充都设置为1。
小波系数特征图融合单元4，用于分别将所述每一种小波系数图像特征，与所述低分辨率图像的特征和时序特征拼接，将所述三种特征融合成一种特征图作为新的小波系数特征图，从而得到四种新的小波系数特征图，并获得与原始低分辨率小波系数特征图相同尺寸的小波系数特征图。
具体地，分别将所述四种小波系数HLL，HLH，HHL和HHH图像特征中的每一种小波系数图像特征，与提取到的所述低分辨率图像的特征和所述低分辨率图像序列时序特征拼接，将所述三种特征融合成一种特征图作为新的小波系数特征图，从而得到四种新的小波系数特征图；利用所述得到的四种新的小波系数特征图作为输入，因所述输入的小波系数特征图系通过三种特征拼接而成，其维度较大，所以使用1×1的卷积以减少特征维度，然后利用所述卷积神经网络，获得与原始低分辨率小波系数特征图相同尺寸的小波系数特征图，为保证输出的小波系数特征图与原始低分辨率图像尺寸相同，采用的所述卷积神经网络为由三个特征提取模块组成，每个模块包含三个卷积层，所有的卷积层共享相同的3×3卷积核大小，步长和边缘填充都设置为1。
超分辨率图像生成单元5，用于将所述四组低分辨率尺寸小波系数特征图和所述小波系数相加，再利用小波逆变换，将所述小波系数图像生成对应的一张超分辨率图像，得到最终的结果，并根据所述超分辨率图像与所述输入的高分辨率图像的相似性，计算损失函数，根据损失对所述神经网络进行训练和优化，直到损失函数的结果达到收敛，从而建立起超分辨率图像生成模型，在所述超分辨率图像生成模型中输入待处理的河道在某时间段的低分辨率图像，即得到对应的高分辨率图像。
具体地，所述网络采用一种灵活且约束能力强的损失函数，利用小波系数损失和图像空间像素损失两种损失鲁棒地计算所述输出的超分辨率图像与所述输入的高分辨率图像的相似度；小波系数损失是指所述获得的与原始低分辨率小波系数特征图相同尺寸的小波系数特征图的所有小波系数图像，与所述输入的高分辨率图像进行小波变换获得的子带图像进行相似度对比；图像空间的损失计算是指所述超分辨率图像与原始高分辨率图像的纹理与平滑之间的一个平衡。
因此，本发明应用二维图片深度学习算法，获得高分辨率的图像序列，减少了数据传输和存储的资源，具有成本低和效率高的特点；发明中各部分之间的输入输出互相联系，进行不同特征的提取和整合，提高效率，使生成的结果更加符合人的预期；发明中使用神经网络方法，通过编码解码结构生成超分辨率后的图像序列，能最大限度指导神经网络增强低分辨率的局部细节特征；使用卷积神经网络对原始低分辨率图像序列超分辨率时，能够最大限度地保留纹理信息。
以上对本发明实施例所提供的基于小波域的河道流量水位遥感图像超分辨率方法与系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种基于小波域的河道流量水位遥感图像超分辨率方法，其特征在于，所述方法包括：
导入由多组遥感图像序列构成的河道流量水位数据集，并根据需预测的河道及需预测的时间段，筛选并输入低分辨率图像序列；
对所述低分辨率图像序列，首先使用双三次插值算法对其进行上采样操作，获得指定分辨率的高分辨率图像，然后训练一个遥感图像序列高维特征的神经网络模型，提取所述低分辨率图像序列的时序特征，最后利用卷积神经网络提取所述低分辨率图像的特征，获得所述低分辨率图像特征图序列；
使用小波变换获取所述高分辨率图像变为低分辨率图像的小波系数，得到四个小波系数图像并对所述每个小波系数图像进行特征提取；
分别将所述每一种小波系数图像特征，与所述低分辨率图像序列的时序特征和低分辨率图像特征图序列进行拼接，将所述三种特征融合成一种特征图作为新的小波系数特征图，从而得到四种新的小波系数特征图，并通过降维与利用卷积神经网络生成与原始低分辨率图像相同尺寸的低分辨率尺寸小波系数特征图；
将所述四组低分辨率尺寸小波系数特征图和所述小波系数相加，再利用小波逆变换，将所述小波系数图像生成对应的一张超分辨率图像，得到最终的结果，并根据所述超分辨率图像与所述输入的高分辨率图像的相似性，计算损失函数，根据损失对所述神经网络进行训练和优化，直到损失函数的结果达到收敛，从而建立起超分辨率图像生成模型；
在所述超分辨率图像生成模型中输入待处理的河道在某时间段的低分辨率图像，即得到对应的高分辨率图像。
2.如权利要求1所述的基于小波域的河道流量水位遥感图像超分辨率方法，其特征在于，所述导入由多组遥感图像序列构成的河道流量水位数据集，并根据需预测的河道及需预测的时间段，筛选并输入低分辨率图像序列，具体为：
导入河道流量水位数据集，所述河道流量水位数据集由多组遥感图像序列构成，每一组图像序列表示某一河道在一个时段的多张河道流量水位低分辨率图像及对应的高分辨率图像，给定需预测的河道及需预测的时间段，筛选并输入低分辨率图像序列。
3.如权利要求1所述的基于小波域的河道流量水位遥感图像超分辨率方法，其特征在于，所述对所述低分辨率图像序列，首先使用双三次插值算法对其进行上采样操作，获得指定分辨率的高分辨率图像，然后训练一个遥感图像序列高维特征的神经网络模型，提取所述低分辨率图像序列的时序特征，最后利用卷积神经网络提取所述低分辨率图像的特征，获得所述低分辨率图像特征图序列，具体为：
使用双三次插值算法，对所述低分辨率图像进行上采样操作，获得指定分辨率的高分辨率图像，利用双三次插值图像上采样方式，函数f在点(x，y)的值可通过矩形网格中最近的十六个采样点的加权平均得到，具体地，对待插值的像素点(x，y)，取其附近的4×4邻域点(xi，yj)，插值计算公式具体如下：
Figure FDA0003328641420000021
Figure FDA0003328641420000022
其中，x，y表示待插值的像素点坐标值，i，j表示行和列的位置，xi，yj表示所述待插值像素点附近4×4各领域点的坐标值，W表示插值三次函数的基函数；
训练一个遥感图像序列高维特征的神经网络模型，提取所述低分辨率图像序列的时序特征，所述神经网络模型包括：采用长短期记忆网络LSTM模型实现，采用两个LSTM网络分别作为编码器和解码器进行训练，解码器的输入为所述遥感图像序列中提取出的河道流量水位的变化特征，通过计算解码器输出与输入之间L2范数损失，然后进行反馈传播以优化编码器和解码器，计算公式具体如下：
Figure FDA0003328641420000031
其中，编码器的输入为向量P，pi表示其第i个分量，解码器的输出为向量Q，qi表示其第i个分量；
输入所述低分辨率图像，通过卷积神经网络提取图像特征，获得所述低分辨率图像的特征图序列，所述卷积神经网络包括：3个特征提取模块，每个模块包含3个卷积层，所有的卷积层共享相同的3×3卷积核大小，步长和边缘填充都设置为1，前向传播表示为一系列特征图，特征提取网络由多个残差块级联构成，残差块由两个具有相同核大小和相同过滤器数目的卷积构成，公式具体如下：
X＝Hl([x0，x1，x3])
其中，H(·)表示非线性转化函数，采用批量标准化+ReLU激活函数+3×3卷积的结构，X表示对于每一个特征提取模块的特征xl，将3个模块的特征融合作为最后的输出特征。
4.如权利要求1所述的基于小波域的河道流量水位遥感图像超分辨率方法，其特征在于，所述使用小波变换获取所述高分辨率图像变为低分辨率图像的小波系数，得到四个小波系数图像并对所述每个小波系数图像进行特征提取，具体为：
输入所述高分辨率图像HR，经过二维小波变换2DDWT得到4个小波系数图像，公式具体如下：
HRWav＝{HLL，HLH，HHL，HHH}：＝2DDWT{HR}
其中，HRWav表示高分辨率图像的小波，HLL表示低频分量的小波系数，HLH表示水平低频垂直高频分量的小波系数，HHL表示水平高频垂直低频分量的小波系数，HHH表示对角线高频分量的小波系数；
输入所述得到的低频分量的小波系数HLL、水平低频垂直高频分量的小波系数HLH、水平高频垂直低频分量的小波系数HHL和对角线高频分量的小波系数HHH，分别对其进行特征提取，为使特征映射到同一个特征空间，采用与所述卷积神经网络相同的特征提取网络，即网络由3个特征提取模块组成，每个模块包含3个卷积层，所有的卷积层共享相同的3×3卷积核大小，步长和边缘填充都设置为1。
5.如权利要求4所述的基于小波域的河道流量水位遥感图像超分辨率方法，其特征在于，所述分别将所述每一种小波系数图像特征，与所述低分辨率图像序列的时序特征和低分辨率图像特征图序列进行拼接，将所述三种特征融合成一种特征图作为新的小波系数特征图，从而得到四种新的小波系数特征图，并通过降维与利用卷积神经网络生成与原始低分辨率图像相同尺寸的低分辨率尺寸小波系数特征图，具体为：
分别将所述四种小波系数HLL，HLH，HHL和HHH图像特征中的每一种小波系数图像特征，与提取到的所述低分辨率图像的特征和所述低分辨率图像序列时序特征拼接，将所述三种特征融合成一种特征图作为新的小波系数特征图，从而得到四种新的小波系数特征图；
利用所述得到的四种新的小波系数特征图作为输入，因所述输入的小波系数特征图系通过三种特征拼接而成，其维度较大，所以使用1×1的卷积以减少特征维度，然后利用所述卷积神经网络，获得与原始低分辨率小波系数特征图相同尺寸的小波系数特征图，为保证输出的小波系数特征图与原始低分辨率图像尺寸相同，采用的所述卷积神经网络为由三个特征提取模块组成，每个模块包含三个卷积层，所有的卷积层共享相同的3×3卷积核大小，步长和边缘填充都设置为1。
6.如权利要求1所述的基于小波域的河道流量水位遥感图像超分辨率方法，其特征在于，所述将所述四组低分辨率尺寸小波系数特征图和所述小波系数相加，再利用小波逆变换，将所述小波系数图像生成对应的一张超分辨率图像，得到最终的结果，并根据所述超分辨率图像与所述输入的高分辨率图像的相似性，计算损失函数，根据损失对所述神经网络进行训练和优化，直到损失函数的结果达到收敛，具体为：
所述网络采用一种灵活且约束能力强的损失函数，利用小波系数损失和图像空间像素损失两种损失鲁棒地计算所述输出的超分辨率图像与所述输入的高分辨率图像的相似度，公式具体如下：
L＝αLw+(1-α)Li
其中，L表示整个网络的损失函数，Lw表示小波系数损失，Li表示图像空间像素损失，α表示两种损失函数的权重；
小波系数损失是指所述获得的与原始低分辨率小波系数特征图相同尺寸的小波系数特征图的所有小波系数图像，与所述输入的高分辨率图像进行小波变换获得的子带图像进行相似度对比，沿用图像空间里最常用的逐像素均方误差损失函数，采用同样方式对小波系数进行操作，损失函数使用L2范数表示，计算公式具体如下：
Figure FDA0003328641420000061
其中，
Figure FDA0003328641420000062
表示所述卷积神经网络获得的与原始低分辨率小波系数特征图相同尺寸的小波系数特征图的小波系数，
Figure FDA0003328641420000063
表示所述输入的高分辨率图像小波变换获得的小波系数，n表示batchsize的大小，i表示批处理图像中的第i张图像，j表示小波系数序列中的第j个系数；
图像空间的损失计算是指所述超分辨率图像与原始高分辨率图像的纹理与平滑之间的一个平衡，使用L2范数表示，计算公式具体如下：
Figure FDA0003328641420000064
其中，IS表示所述超分辨率图像，IH表示所述输入的高分辨率图像；n表示batchsize的大小，i表示批处理图像中的第i张图像；
在所述超分辨率图像生成模型中输入待处理的河道在某时间段的低分辨率图像，即得到对应的高分辨率图像。
7.一种基于小波域的河道流量水位遥感图像超分辨率系统，其特征在于，所述系统包括：
数据集筛选单元，用于导入由多组遥感图像序列构成的河道流量水位数据集，并根据需预测的河道及需预测的时间段，筛选并输入低分辨率图像序列；
低分辨率图像序列数据处理单元，用于对所述低分辨率图像序列，首先使用双三次插值算法对其进行上采样操作，获得指定分辨率的高分辨率图像，然后训练一个遥感图像序列高维特征的神经网络模型，提取所述低分辨率图像序列的时序特征，最后利用卷积神经网络提取所述低分辨率图像的特征，获得所述低分辨率图像特征图序列；
小波系数图像特征提取单元，用于使用小波变换获取所述高分辨率图像变为低分辨率图像的小波系数，得到四个小波系数图像并对所述每个小波系数图像进行特征提取；
小波系数特征图融合单元，用于分别将所述每一种小波系数图像特征，与所述低分辨率图像的特征和时序特征拼接，将所述三种特征融合成一种特征图作为新的小波系数特征图，从而得到四种新的小波系数特征图，并获得与原始低分辨率小波系数特征图相同尺寸的小波系数特征图；
超分辨率图像生成单元，用于将所述四组低分辨率尺寸小波系数特征图和所述小波系数相加，再利用小波逆变换，将所述小波系数图像生成对应的一张超分辨率图像，得到最终的结果，并根据所述超分辨率图像与所述输入的高分辨率图像的相似性，计算损失函数，根据损失对所述神经网络进行训练和优化，直到损失函数的结果达到收敛，从而建立起超分辨率图像生成模型，在所述超分辨率图像生成模型中输入待处理的河道在某时间段的低分辨率图像，即得到对应的高分辨率图像。
8.如权利要求7所述的基于小波域的河道流量水位遥感图像超分辨率系统，其特征在于，所述数据集筛选单元，需要导入河道流量水位数据集，所述河道流量水位数据集由多组遥感图像序列构成，每一组图像序列表示某一河道在一个时段的多张河道流量水位低分辨率图像及对应的高分辨率图像，给定需预测的河道及需预测的时间段，筛选并输入低分辨率图像序列。
9.如权利要求7所述的基于小波域的河道流量水位遥感图像超分辨率系统，其特征在于，所述低分辨率图像序列数据处理单元，需要使用双三次插值算法，对所述低分辨率图像进行上采样操作，获得指定分辨率的高分辨率图像，利用双三次插值图像上采样方式，函数f在点(x，y)的值可通过矩形网格中最近的十六个采样点的加权平均得到；训练一个遥感图像序列高维特征的神经网络模型，提取所述低分辨率图像序列的时序特征，所述神经网络模型包括：采用LSTM模型实现，采用两个LSTM网络分别作为编码器和解码器进行训练，解码器的输入为所述遥感图像序列中提取出的河道流量水位的变化特征，通过计算解码器输出与输入之间L2范数损失，然后进行反馈传播以优化编码器和解码器；输入所述低分辨率图像，通过卷积神经网络提取图像特征，获得所述低分辨率图像的特征图序列，所述卷积神经网络包括：3个特征提取模块，每个模块包含3个卷积层，所有的卷积层共享相同的3×3卷积核大小，步长和边缘填充都设置为1，前向传播表示为一系列特征图，特征提取网络由多个残差块级联构成，残差块由两个具有相同核大小和相同过滤器数目的卷积构成，将3个模块的特征融合作为最后的输出特征。
10.如权利要求7所述的基于小波域的河道流量水位遥感图像超分辨率系统，其特征在于，所述小波系数图像特征提取单元，需要输入所述高分辨率图像HR，经过二维小波变换2DDWT得到4个小波系数图像，公式具体如下：
HRWav＝{HLL，HLH，HHL，HHH}：＝2DDWT{HR}
其中，HRWav表示高分辨率图像的小波，HLL表示低频分量的小波系数，HLH表示水平低频垂直高频分量的小波系数，HHL表示水平高频垂直低频分量的小波系数，HHH表示对角线高频分量的小波系数；输入所述得到的低频分量的小波系数HLL、水平低频垂直高频分量的小波系数HLH、水平高频垂直低频分量的小波系数HHL和对角线高频分量的小波系数HHH，分别对其进行特征提取，为使特征映射到同一个特征空间，采用与所述卷积神经网络相同的特征提取网络，即网络由3个特征提取模块组成，每个模块包含3个卷积层，所有的卷积层共享相同的3×3卷积核大小，步长和边缘填充都设置为1。
11.如权利要求10所述的基于小波域的河道流量水位遥感图像超分辨率系统，其特征在于，所述小波系数特征图融合单元，需要分别将所述四种小波系数HLL，HLH，HHL和HHH图像特征中的每一种小波系数图像特征，与提取到的所述低分辨率图像的特征和所述低分辨率图像序列时序特征拼接，将所述三种特征融合成一种特征图作为新的小波系数特征图，从而得到四种新的小波系数特征图；利用所述得到的四种新的小波系数特征图作为输入，因所述输入的小波系数特征图系通过三种特征拼接而成，其维度较大，所以使用1×1的卷积以减少特征维度，然后利用所述卷积神经网络，获得与原始低分辨率小波系数特征图相同尺寸的小波系数特征图，为保证输出的小波系数特征图与原始低分辨率图像尺寸相同，采用的所述卷积神经网络为由三个特征提取模块组成，每个模块包含三个卷积层，所有的卷积层共享相同的3×3卷积核大小，步长和边缘填充都设置为1。
12.如权利要求7所述的基于小波域的河道流量水位遥感图像超分辨率系统，其特征在于，所述超分辨率图像生成单元，需要所述网络采用一种灵活且约束能力强的损失函数，利用小波系数损失和图像空间像素损失两种损失鲁棒地计算所述输出的超分辨率图像与所述输入的高分辨率图像的相似度；小波系数损失是指所述获得的与原始低分辨率小波系数特征图相同尺寸的小波系数特征图的所有小波系数图像，与所述输入的高分辨率图像进行小波变换获得的子带图像进行相似度对比；图像空间的损失计算是指所述超分辨率图像与原始高分辨率图像的纹理与平滑之间的一个平衡。
CN202111273621.3A 2021-10-29 2021-10-29 基于小波域的河道流量水位遥感图像超分辨率方法与系统 Pending CN114022356A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111273621.3A CN114022356A (zh) 2021-10-29 2021-10-29 基于小波域的河道流量水位遥感图像超分辨率方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111273621.3A CN114022356A (zh) 2021-10-29 2021-10-29 基于小波域的河道流量水位遥感图像超分辨率方法与系统

Publications (1)

Publication Number Publication Date
CN114022356A true CN114022356A (zh) 2022-02-08

Family

ID=80059007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111273621.3A Pending CN114022356A (zh) 2021-10-29 2021-10-29 基于小波域的河道流量水位遥感图像超分辨率方法与系统

Country Status (1)

Country Link
CN (1) CN114022356A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036987A (zh) * 2023-10-10 2023-11-10 武汉大学 一种基于小波域交叉配对的遥感影像时空融合方法及系统
CN117291855A (zh) * 2023-09-15 2023-12-26 杭州一隅千象科技有限公司 高分辨率图像融合方法
CN117291855B (zh) * 2023-09-15 2024-05-31 杭州一隅千象科技有限公司 高分辨率图像融合方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991648A (zh) * 2017-04-10 2017-07-28 中国石油大学(华东) 一种基于小波变换和卷积神经网络的图像超分辨率重建方法
WO2017219263A1 (zh) * 2016-06-22 2017-12-28 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
CN109472743A (zh) * 2018-10-25 2019-03-15 中国科学院电子学研究所 遥感图像的超分辨率重建方法
CN109636716A (zh) * 2018-10-29 2019-04-16 昆明理工大学 一种基于小波系数学习的图像超分辨率重建方法
WO2020244261A1 (zh) * 2019-06-05 2020-12-10 中国科学院长春光学精密机械与物理研究所 高分辨率遥感图像的场景识别系统及模型生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017219263A1 (zh) * 2016-06-22 2017-12-28 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
CN106991648A (zh) * 2017-04-10 2017-07-28 中国石油大学(华东) 一种基于小波变换和卷积神经网络的图像超分辨率重建方法
CN109472743A (zh) * 2018-10-25 2019-03-15 中国科学院电子学研究所 遥感图像的超分辨率重建方法
CN109636716A (zh) * 2018-10-29 2019-04-16 昆明理工大学 一种基于小波系数学习的图像超分辨率重建方法
WO2020244261A1 (zh) * 2019-06-05 2020-12-10 中国科学院长春光学精密机械与物理研究所 高分辨率遥感图像的场景识别系统及模型生成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MA, WEN等: "Achieving Super-Resolution Remote Sensing Images via the Wavelet Transform Combined With the Recursive Res-Net", IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, vol. 57, no. 6, 3 January 2019 (2019-01-03), pages 3512 - 3527, XP011725909, DOI: 10.1109/TGRS.2018.2885506 *
YANG, JINGXIANG等: "HYPERSPECTRAL IMAGE SUPER-RESOLUTION BASED ON MULTI-SCALE WAVELET 3D CONVOLUTIONAL NEURAL NETWORK", IGARSS 2019 - 2019 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM, 2 August 2019 (2019-08-02), pages 2770 - 1773 *
YANG, ZHI等: "Super Resolution Enhancement of Satellite Remote Sensing Images of Transmission Tower Based on Multi-map Residual Network and Wavelet Transform", 2020 INTERNATIONAL CONFERENCE ON COMPUTER VISION, IMAGE AND DEEP LEARNING (CVIDL), 12 July 2020 (2020-07-12), pages 16 - 20, XP033868125, DOI: 10.1109/CVIDL51233.2020.00011 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291855A (zh) * 2023-09-15 2023-12-26 杭州一隅千象科技有限公司 高分辨率图像融合方法
CN117291855B (zh) * 2023-09-15 2024-05-31 杭州一隅千象科技有限公司 高分辨率图像融合方法
CN117036987A (zh) * 2023-10-10 2023-11-10 武汉大学 一种基于小波域交叉配对的遥感影像时空融合方法及系统
CN117036987B (zh) * 2023-10-10 2023-12-08 武汉大学 一种基于小波域交叉配对的遥感影像时空融合方法及系统

Similar Documents

Publication Publication Date Title
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN112767251B (zh) 基于多尺度细节特征融合神经网络的图像超分辨率方法
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
CN115222601A (zh) 基于残差混合注意力网络的图像超分辨率重建模型及方法
Li et al. Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN
CN111696033B (zh) 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法
CN112102163B (zh) 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法
Hui et al. Two-stage convolutional network for image super-resolution
Yang et al. License plate image super-resolution based on convolutional neural network
CN112529776A (zh) 图像处理模型的训练方法、图像处理方法及装置
CN114463183A (zh) 基于频域和空域的图像超分辨率方法
CN112884650A (zh) 一种基于自适应纹理蒸馏的图像混合超分辨率方法
CN115984747A (zh) 一种基于动态滤波器的视频显著性目标检测方法
CN116645598A (zh) 一种基于通道注意力特征融合的遥感图像语义分割方法
Jin et al. Post-processing for intra coding through perceptual adversarial learning and progressive refinement
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与系统
CN116977651B (zh) 一种基于双分支和多尺度特征提取的图像去噪方法
CN113724134A (zh) 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法
CN115797181A (zh) 一种面向矿井模糊环境的图像超分辨率重建方法
CN116452930A (zh) 降质环境下基于频域增强的多光谱图像融合方法与系统
CN114581304A (zh) 一种基于循环网络的图像超分辨率和去雾融合方法及系统
CN112907456B (zh) 基于全局平滑约束先验模型的深度神经网络图像去噪方法
CN114219738A (zh) 单幅图像多尺度超分辨重建网络结构及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination