CN112819697B - 一种遥感影像时空融合方法及系统 - Google Patents

一种遥感影像时空融合方法及系统 Download PDF

Info

Publication number
CN112819697B
CN112819697B CN202110155806.8A CN202110155806A CN112819697B CN 112819697 B CN112819697 B CN 112819697B CN 202110155806 A CN202110155806 A CN 202110155806A CN 112819697 B CN112819697 B CN 112819697B
Authority
CN
China
Prior art keywords
resolution image
period
low
resolution
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110155806.8A
Other languages
English (en)
Other versions
CN112819697A (zh
Inventor
贾铎
程昌秀
沈石
宋长青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN202110155806.8A priority Critical patent/CN112819697B/zh
Publication of CN112819697A publication Critical patent/CN112819697A/zh
Application granted granted Critical
Publication of CN112819697B publication Critical patent/CN112819697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种遥感影像时空融合方法及系统。该方法包括：将已知时期的高分辨率影像重采样至已知时期的低分辨率影像的空间分辨率的2倍，构建包含两个层次的拉普拉斯金字塔网络；基于拉普拉斯金字塔网络，确定突变预测结果以及回归系数；将回归系数应用于已知时期的高分辨率影像得到初步的时间变化的预测结果；以邻域内的相似像元对初步的时间变化的预测结果进行修正，确定渐变预测结果；以基于滑动窗口的线性加权方法对突变预测结果以及渐变预测结果进行加权平均处理，确定最终的时空融合结果；所述最终的时空融合结果为预测时期的高分辨率影像。

Description

一种遥感影像时空融合方法及系统
技术领域
本发明涉及遥感影像时空融合领域，特别是涉及一种遥感影像时空融合方法及系统。
背景技术
时空融合是解决单一卫星传感器的空间分辨率和时间分辨率之间的制约关系从而构建密集影像时间序列的可行、低成本的方式。此类方法通过融合高空间分辨率低时间分辨率影像(下称高分辨影像)和低空间分辨率高时间分辨率影像(下称低分辨影像)生成兼具高空间分辨率和高时间分辨率的密集影像时间序列。现有的时空融合方法包括以下问题：(1)难以同时适用于不同地表时间变化类型包括渐变和突变的预测。(2)未考虑高分辨率影像和低分辨率影像间存在的系统辐射差异对时空融合结果产生的负面影响。(3)现有基于深度学习的时空融合方法多需要两对无云的高-低分辨率影像对，这个严格的输入条件难以适用于云污染较严重的区域。
发明内容
本发明的目的是提供一种遥感影像时空融合方法及系统，以解决现有的时空融合方法适用性差以及时空融合结果精度低的问题。
为实现上述目的，本发明提供了如下方案：
一种遥感影像时空融合方法，包括：
将已知时期的高分辨率影像重采样至已知时期的低分辨率影像的空间分辨率的2倍，构建包含两个层次的拉普拉斯金字塔网络；其中，第一层次用于实现已知时期的高分辨率影像以及已知时期的低分辨率影像的相对辐射归一化处理，第二层次用于实现预测时期的低分辨率影像的超分辨率重建；
采用高通滤波恢复超分辨率重建后的预测时期的低分辨率影像的空间细节，确定突变预测结果；
根据辐射归一化后的已知时期的低分辨率影像和辐射归一化后的预测时期的低分辨率影像建立线性回归方程，确定回归系数；
将所述回归系数应用于所述已知时期的高分辨率影像得到初步的时间变化的预测结果；
以邻域内的相似像元对所述初步的时间变化的预测结果进行修正，确定渐变预测结果；
以基于滑动窗口的线性加权方法对所述突变预测结果以及所述渐变预测结果进行加权平均处理，确定最终的时空融合结果；所述最终的时空融合结果为预测时期的高分辨率影像。
可选的，在训练阶段，所述拉普拉斯金字塔网络的输入为所述已知时期的低分辨率影像C1；
第一层次输出为所述辐射归一化后的已知时期的低分辨率影像F1 down，第二层次输出为所述已知时期的高分辨率影像F1；
训练阶段的loss函数定义为：
Figure BDA0002933380860000021
其中，
Figure BDA0002933380860000022
为loss函数，y代表两个层次的标签，依次为F1 down和F1，
Figure BDA0002933380860000023
代表网络的输出，θ代表网络参数，ρ代表Charbonnier惩罚函数，
Figure BDA0002933380860000024
代表训练样本的个数；
Figure BDA0002933380860000025
为第l层次的第i′个训练样本的标签，
Figure BDA0002933380860000026
为第l层次的第i′个输出。
可选的，所述突变预测结果为：
Figure BDA0002933380860000027
其中，
Figure BDA0002933380860000028
为突变预测结果，
Figure BDA0002933380860000029
为预测时期的低分辨率影像经过超分辨率重建得到的中间分辨率影像，gb为增益系数，
Figure BDA00029333808600000210
为已知时期的低分辨率影像经过超分辨率重建得到的中间分辨率影像。
可选的，所述初步的时间变化的预测结果为：
Figure BDA00029333808600000211
Figure BDA00029333808600000212
其中，
Figure BDA00029333808600000213
为初步的时间变化的预测结果，w′(x0，y0，B，Δt)为斜率回归系数，b′(x0，y0，B，Δt)为偏置回归系数，R(x0，y0，B，Δt)为残差项，t1为已知时期，Δt为已知时期t1和预测时期t2的时间间隔。
可选的，所述渐变预测结果为：
Figure BDA0002933380860000031
其中，
Figure BDA0002933380860000032
为渐变预测结果，W(xi，yi)为第i个相似像元的权重，N为滑动窗口内的相似像元个数，
Figure BDA0002933380860000033
为第i个相似像元的初步的时间变化的预测结果。
可选的，所述最终的时空融合结果为：
Figure BDA0002933380860000034
Figure BDA0002933380860000035
其中，
Figure BDA0002933380860000036
为最终的时空融合结果，pLC(x0，y0，B，t2)为
Figure BDA0002933380860000037
的权重，pPC(x0，y0，B，t2)为
Figure BDA0002933380860000038
的权重。
一种遥感影像时空融合系统，包括：
拉普拉斯金字塔网络构建模块，用于首先将已知时期的高分辨率影像重采样至已知时期的低分辨率影像的空间分辨率的2倍，并构建包含两个层次的拉普拉斯金字塔网络；其中，第一层次用于实现已知时期的高分辨率影像以及已知时期的低分辨率影像的相对辐射归一化处理，第二层次用于实现预测时期的低分辨率影像的超分辨率重建；
突变预测结果确定模块，用于采用高通滤波恢复超分辨率重建后的预测时期的低分辨率影像的空间细节，确定突变预测结果；
回归系数确定模块，用于根据辐射归一化后的已知时期的低分辨率影像和辐射归一化后的预测时期的低分辨率影像建立线性回归方程，确定回归系数；
初步的时间变化的预测结果确定模块，用于将所述回归系数应用于所述已知时期的高分辨率影像得到初步的时间变化的预测结果；
渐变预测结果确定模块，用于以邻域内的相似像元对所述初步的时间变化的预测结果进行修正，确定渐变预测结果；
最终的时空融合结果确定模块，用于以基于滑动窗口的线性加权方法对所述突变预测结果以及所述渐变预测结果进行加权平均处理，确定最终的时空融合结果；所述最终的时空融合结果为预测时期的高分辨率影像。
可选的，在训练阶段，所述拉普拉斯金字塔网络的输入为所述已知时期的低分辨率影像C1；
第一层次输出为所述辐射归一化后的已知时期的低分辨率影像F1 down，第二层次输出为所述已知时期的高分辨率影像F1；
训练阶段的loss函数定义为：
Figure BDA0002933380860000041
其中，
Figure BDA0002933380860000042
为loss函数，y代表两个层次的标签，依次为F1 down和F1，
Figure BDA0002933380860000043
代表网络的输出，θ代表网络参数，ρ代表Charbonnier惩罚函数，
Figure BDA0002933380860000044
代表训练样本的个数；
Figure BDA0002933380860000045
为第l层次的第i′个训练样本的标签，
Figure BDA0002933380860000046
为第l层次的第i′个输出。
可选的，所述突变预测结果为：
Figure BDA0002933380860000047
其中，
Figure BDA0002933380860000048
为突变预测结果，
Figure BDA0002933380860000049
为预测时期的低分辨率影像经过超分辨率重建得到的中间分辨率影像，gb为增益系数，
Figure BDA00029333808600000410
为已知时期的低分辨率影像经过超分辨率重建得到的中间分辨率影像。
可选的，所述初步的时间变化的预测结果为：
Figure BDA00029333808600000411
Figure BDA00029333808600000412
其中，
Figure BDA00029333808600000413
为初步的时间变化的预测结果，w′(x0，y0，B，Δt)为斜率回归系数，b′(x0，y0，B，Δt)为偏置回归系数，R(x0，y0，B，Δt)为残差项，t1为已知时期，Δt为已知时期t1和预测时期t2的时间间隔。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种遥感影像时空融合方法及系统，采用一对高-低分辨率影像对，预测不同地表时间变化情况下(包括突变情况和渐变情况)的突变预测结果以及渐变预测结果，同时，考虑了高分辨率影像和低分辨率影像的系统辐射差异对融合结果产生的误差，提高了时空融合结果的精准度，相较于典型的基于深度学习的时空融合方法需要两对高-低分辨率影像对的条件，本发明所提出的遥感影像时空融合方法及系统仅需要一对高-低分辨率影像对，提高了时空融合方法及系统在云污染严重区域的适用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的遥感影像时空融合方法流程图；
图2为不同时期下高分辨率影像以及低分辨率影像示意图；
图3为本发明所提供的在实际应用中遥感影像时空融合方法的总体流程图；
图4为本发明所提供的遥感影像时空融合系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种遥感影像时空融合方法及系统，能够提高时空融合结果的精准度，以及时空融合方法及系统在云污染严重区域的适用性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的遥感影像时空融合方法流程图，如图1所示，一种遥感影像时空融合方法，包括：
步骤101：将已知时期的高分辨率影像重采样至已知时期的低分辨率影像的空间分辨率的2倍，构建包含两个层次的拉普拉斯金字塔网络；其中，第一层次用于实现已知时期的高分辨率影像以及已知时期的低分辨率影像的相对辐射归一化处理，第二层次用于实现预测时期的低分辨率影像的超分辨率重建。
在训练阶段，所述拉普拉斯金字塔网络的输入为所述已知时期的低分辨率影像C1；第一层次输出为所述辐射归一化后的已知时期的低分辨率影像F1 down，第二层次输出为所述已知时期的高分辨率影像F1。
训练阶段的loss函数定义为：
Figure BDA0002933380860000061
其中，
Figure BDA0002933380860000062
为loss函数，y代表两个层次的标签，依次为F1 down和F1，
Figure BDA0002933380860000063
代表网络的输出，θ代表网络参数，ρ代表Charbonnier惩罚函数，
Figure BDA0002933380860000064
代表训练样本的个数；
Figure BDA0002933380860000065
为第l层次的第i′个训练样本的标签，
Figure BDA0002933380860000066
为第l层次的第i′个输出。
步骤102：采用高通滤波恢复超分辨率重建后的预测时期的低分辨率影像的空间细节，确定突变预测结果。
所述突变预测结果为：
Figure BDA0002933380860000067
其中，
Figure BDA0002933380860000068
为突变预测结果，
Figure BDA0002933380860000069
为预测时期的低分辨率影像经过超分辨率重建得到的中间分辨率影像，gb为增益系数，
Figure BDA00029333808600000610
为已知时期的低分辨率影像经过超分辨率重建得到的中间分辨率影像。
步骤103：根据辐射归一化后的已知时期的低分辨率影像和辐射归一化后的预测时期的低分辨率影像建立线性回归方程，确定回归系数。
步骤104：将所述回归系数应用于所述已知时期的高分辨率影像得到初步的时间变化的预测结果。
所述初步的时间变化的预测结果为：
Figure BDA00029333808600000611
Figure BDA00029333808600000612
其中，
Figure BDA00029333808600000613
为初步的时间变化的预测结果，w′(x0，y0，B，Δt)为斜率回归系数，b′(x0，y0，B，Δt)为偏置回归系数，R(x0，y0，B，Δt)为残差项，t1为已知时期，Δt为已知时期t1和预测时期t2的时间间隔。
步骤105：以邻域内的相似像元对所述初步的时间变化的预测结果进行修正，确定渐变预测结果。
所述渐变预测结果为：
Figure BDA00029333808600000614
其中，
Figure BDA0002933380860000071
为渐变预测结果，W(xi，yi)为第i个相似像元的权重，N为滑动窗口内的相似像元个数，
Figure BDA0002933380860000072
为第i个相似像元的初步的时间变化的预测结果。
步骤106：以基于滑动窗口的线性加权方法对所述突变预测结果以及所述渐变预测结果进行加权平均处理，确定最终的时空融合结果；所述最终的时空融合结果为预测时期的高分辨率影像。
所述最终的时空融合结果为：
Figure BDA0002933380860000073
Figure BDA0002933380860000074
其中，
Figure BDA0002933380860000075
为最终的时空融合结果，pLC(x0，y0，B，t2)为
Figure BDA0002933380860000076
的权重，pPC(x0，y0，B，t2)为
Figure BDA0002933380860000077
的权重。
基于本发明所提供的遥感影像时空融合方法，作为可选的一种实施方式，将本发明应用于实际应用中，具体过程如下：
本发明所提出的时空融合方法利用已知时期t1的高分辨率影像F1和低分辨率影像C1以及预测时期t2的低分辨率影像C2预测t2时刻的高分辨率影像F2，如图2所示。
图3为本发明所提供的在实际应用中感影像时空融合方法的总体流程图，如图3所示。
步骤1：将已知时期的高分辨率影像F1重采样至已知时期的低分辨率影像的空间分辨率的2倍，该影像记为F1 down即低分辨率影像的辐射归一化结果。
步骤2：构建包含两个层次的拉普拉斯金字塔网络LapSRN。其中，第一层次用于实现高分辨率影像与低分辨率影像的相对辐射归一化从而降低高-低分辨率影像的系统辐射差异引入的融合误差，第二层次用于对预测时期的低分辨率影像进行超分辨率重建从而提高其空间分辨率。
具体的，在训练阶段，该网络的输入为已知时期的低分辨率影像C1。第一层次输出为F1 down，第二层次输出为F1。训练阶段的loss函数定义为：
Figure BDA0002933380860000081
式中，
Figure BDA0002933380860000082
为loss函数，y代表两个层次的标签，依次为F1 down和F1，
Figure BDA0002933380860000083
代表网络的输出，θ代表网络参数，ρ代表Charbonnier惩罚函数，
Figure BDA0002933380860000084
代表训练样本的个数；
Figure BDA0002933380860000085
为第l层次的第i′个训练样本的标签，
Figure BDA0002933380860000086
为第l层次的第i′个输出。
在预测阶段，基于上述训练好的网络，以预测时期的低分辨率影像C2为输入，可以在第一层次和第二层次分别得到预测时期的低分辨率影像C2的辐射归一化结果
Figure BDA0002933380860000087
和经过超分辨率重建得到的中间分辨率影像
Figure BDA0002933380860000088
以已知时期的低分辨率影像C1为输入，可以得到已知时期的中间分辨率影像
Figure BDA0002933380860000089
和已知时期的低分辨率影像C1的辐射归一化结果
Figure BDA00029333808600000810
步骤3：尽管
Figure BDA00029333808600000811
具有比C2更高的空间分辨率，但由于高分辨率影像与低分辨率影像的空间分辨率倍数相差过大，导致
Figure BDA00029333808600000812
具有一定的空间细节信息的缺失。进一步对
Figure BDA00029333808600000813
以下式进行高通滤波从而恢复
Figure BDA00029333808600000814
的空间细节得到空间预测结果
Figure BDA00029333808600000815
即突变预测结果。
Figure BDA00029333808600000816
式中，gb为增益系数，该系数控制了空间细节信息的引入程度，其通过下式计算：
Figure BDA00029333808600000817
式中，
Figure BDA00029333808600000818
代表
Figure BDA00029333808600000819
和
Figure BDA00029333808600000820
的协方差，
Figure BDA00029333808600000821
代表
Figure BDA00029333808600000822
的方差。
步骤4：以线性回归表达辐射归一化后的已知时期t1的低分辨率影像的第B波段
Figure BDA00029333808600000823
和辐射归一化后的预测时期t2的低分辨率影像的第B波段
Figure BDA00029333808600000824
的时间变化。
Figure BDA0002933380860000091
式中，w′，b′为回归系数，其基于滑动窗口内的邻域像元以最小二乘求解，R为残差项，计算公式如下：
Figure BDA0002933380860000092
Figure BDA0002933380860000093
Figure BDA0002933380860000094
式中，N表示滑动窗口内的像元总数，
Figure BDA0002933380860000095
表示
Figure BDA0002933380860000096
影像在滑动窗口内的第i个像元，
Figure BDA0002933380860000097
表示
Figure BDA0002933380860000098
影像在滑动窗口内的第i个像元。
Figure BDA0002933380860000099
表示
Figure BDA00029333808600000910
影像在滑动窗口内的像元均值，
Figure BDA00029333808600000911
表示
Figure BDA00029333808600000912
影像在滑动窗口内的像元均值。
步骤5：将此回归系数w′，b′和残差项R应用于已知时期t1的高分辨率影像F1的第B波段得到初步的时间变化的预测结果
Figure BDA00029333808600000913
Figure BDA00029333808600000914
式中，Δt代表已知时期t1和预测时期t2的时间间隔。
步骤6：由于回归系数w′，b′的空间分辨率与辐射归一化后的低分辨率影像
Figure BDA00029333808600000915
Figure BDA00029333808600000916
的空间分辨率一致，其与F1的空间分辨率相差较大，由此导致初步预测结果
Figure BDA00029333808600000917
存在明显的斑块效应。为了进一步修正上述结果，以邻域内的相似像元的加权平均对中心像元(x0，y0)的初步预测结果
Figure BDA00029333808600000918
进行修正得到最终的时间变化的预测结果
Figure BDA00029333808600000919
即渐变预测结果。
Figure BDA00029333808600000920
式中，N指滑动窗口内的相似像元个数。当F1影像在滑动窗口内的像元值F1(xl，yl，B)与其中心像元F1(x0，y0，B)的偏差满足下式时选定为相似像元。
|F1(xl，yl，B)-F1(x0，y0，B)|≤σ(B)×2/m
式中，σ(B)表示F1的第B波段的标准差，m设定为4。
W(xi，yi)指第i个相似像元的权重，其通过相似像元到中心像元地理距离的反距离确定，计算公式如下：
Figure BDA0002933380860000101
式中，D(xi，yi)表示第i个相似像元到中心像元的地理距离，其计算公式为：
Figure BDA0002933380860000102
式中，
Figure BDA0002933380860000103
是指滑动窗口的宽度。
步骤7：步骤3得到的空间预测结果
Figure BDA0002933380860000104
与步骤6得到的时间变化预测结果
Figure BDA0002933380860000105
分别侧重于表达空间细节信息和时间变化信息。
为了进一步综合上述两个预测结果的优势，以基于3×3大小的滑动窗口对
Figure BDA0002933380860000106
和
Figure BDA0002933380860000107
进行线性加权平均得到最终的时空融合结果
Figure BDA0002933380860000108
Figure BDA0002933380860000109
式中，pLC与pPC分别表示
Figure BDA00029333808600001010
和
Figure BDA00029333808600001011
的权重，其根据两个预测值
Figure BDA00029333808600001012
与预测时期低分辨率影像C2在3×3滑动窗口内的总偏差的反距离加权确定，具体计算公式如下：
Figure BDA00029333808600001013
Figure BDA00029333808600001014
式中，σPC和σLC的计算公式为：
Figure BDA00029333808600001015
Figure BDA00029333808600001016
图4为本发明所提供的遥感影像时空融合系统结构图，如图4所示，一种遥感影像时空融合系统，包括：
拉普拉斯金字塔网络构建模块401，用于首先将已知时期的高分辨率影像重采样至已知时期的低分辨率影像的空间分辨率的2倍，并构建包含两个层次的拉普拉斯金字塔网络；其中，第一层次用于实现已知时期的高分辨率影像以及已知时期的低分辨率影像的相对辐射归一化处理，第二层次用于实现预测时期的低分辨率影像的超分辨率重建。
在训练阶段，所述拉普拉斯金字塔网络的输入为所述已知时期的低分辨率影像C1；第一层次输出为所述辐射归一化后的已知时期的低分辨率影像F1 down，第二层次输出为所述已知时期的高分辨率影像F1。
训练阶段的loss函数定义为：
Figure BDA0002933380860000111
其中，
Figure BDA0002933380860000112
为loss函数，y代表两个层次的标签，依次为F1 down和F1，
Figure BDA0002933380860000113
代表网络的输出，θ代表网络参数，ρ代表Charbonnier惩罚函数，
Figure BDA0002933380860000114
代表训练样本的个数；
Figure BDA0002933380860000115
为第l层次的第i′个训练样本的标签，
Figure BDA0002933380860000116
为第l层次的第i′个输出。
突变预测结果确定模块402，用于采用高通滤波恢复超分辨率重建后的预测时期的低分辨率影像的空间细节，确定突变预测结果。
所述突变预测结果为：
Figure BDA0002933380860000117
其中，
Figure BDA0002933380860000118
为突变预测结果，
Figure BDA0002933380860000119
为预测时期的低分辨率影像经过超分辨率重建得到的中间分辨率影像，gb为增益系数，
Figure BDA00029333808600001110
为已知时期的低分辨率影像经过超分辨率重建得到的中间分辨率影像。
回归系数确定模块403，用于根据辐射归一化后的已知时期的低分辨率影像和辐射归一化后的预测时期的低分辨率影像建立线性回归方程，确定回归系数。
初步的时间变化的预测结果确定模块404，用于将所述回归系数应用于所述已知时期的高分辨率影像得到初步的时间变化的预测结果。
所述初步的时间变化的预测结果为：
Figure BDA00029333808600001111
Figure BDA00029333808600001112
其中，
Figure BDA00029333808600001113
为初步的时间变化的预测结果，w′(x0，y0，B，Δt)为斜率回归系数，b′(x0，y0，B，Δt)为偏置回归系数，R(x0，y0，B，Δt)为残差项，t1为已知时期，Δt为已知时期t1和预测时期t2的时间间隔。
渐变预测结果确定模块405，用于以邻域内的相似像元对所述初步的时间变化的预测结果进行修正，确定渐变预测结果。
最终的时空融合结果确定模块406，用于以基于滑动窗口的线性加权方法对所述突变预测结果以及所述渐变预测结果进行加权平均处理，确定最终的时空融合结果；所述最终的时空融合结果为预测时期的高分辨率影像。
综上，本发明提出了一种联合线性模型和深度学习的遥感影像时空融合方法用于构建高时空分辨率影像时间序列数据集。具体包括如下步骤：(1)将已知时期的高分辨率影像重采样至已知时期的低分辨率影像的空间分辨率的2倍。(2)构建包含两个层次的拉普拉斯金字塔网络，其中第一层次用于实现高分辨率影像与低分辨率影像的相对辐射归一化，第二层次用于实现预测时期的低分辨率影像的超分辨率重建从而提高影像的空间分辨率。(3)对超分辨率重建后的影像进一步采用高通滤波恢复其空间细节从而得到空间预测结果。(4)以辐射归一化后的已知时期的低分辨率影像和预测时期的低分辨率影像建立线性回归。(5)将此回归系数应用于已知时期的高分辨率影像得到初步的时间变化的预测结果。(6)以邻域内的相似像元对中心像元的预测结果进行修正得到最终的时间变化的预测结果。(7)以基于滑动窗口的线性加权方法对得到的突变预测结果与渐变预测结果进行加权平均得到最终的时空融合结果，从而能够达到以下效果：
1、有效削弱高-低分辨率影像间存在的系统辐射差异所导致的融合误差，从而使时空融合方法能够有效适用于更多类型传感器的融合任务。
时空融合方法要求高分辨率影像和低分辨率影像具有相似的辐射特性和波段设置，当高、低分辨率影像的系统辐射差异明显时将造成时空融合结果出现误差，这一特性限制了时空融合方法在辐射差异较大的传感器的融合，因此现有时空融合方法多选择Landsat和MODIS这两种具有相似辐射特性的传感器进行融合。为了削弱高低分辨率影像辐射差异导致的融合误差，现有时空融合方法多假设不同的传感器间存在线性关系，进而基于已知时期的高-低分辨率影像对建立简单的线性回归表达此线性关系，并通过将此回归系数应用于已知时期和预测时期的低分辨率影像实现高-低分辨率影像的线性辐射归一化。然而，当高低分辨率影像的辐射特性存在复杂的非线性关系时，简单的线性回归难以表达。针对此问题，本发明充分发挥深度学习的非线性映射的构建能力，在步骤2中利用深度学习表征高低分辨率影像间辐射特性的复杂的非线性关系，进而实现高-低分辨率影像的非线性辐射归一化。相较于简单的线性辐射归一化，本发明提出的非线性辐射归一化，可以更有效的削弱高低分辨率影像存在的系统辐射差异造成的时空融合误差，进而使时空融合方法可以适用于更多类型传感器的时空融合任务。
2、本发明可实现不同地表时间变化情况下(包括渐变和突变)的预测，相较于现有的时空融合方法多针对一种特定时间变化情况下的融合，本发明具有更强的可推广性。
本发明可同时实现渐变和突变的预测，这是通过以下步骤实现的：
(1)突变预测
使时空融合适用于突变的预测是时空融合的难点。注意到预测期低分辨率影像C2包含了突变信息，然而该影像较低的空间分辨率导致此部分突变信息存在明显的信息缺失。因此，突变信息预测的关键在于对低分辨率影像C2的空间细节信息的恢复。本发明利用拉普拉斯金字塔网络，这一基于深度学习的超分辨率重建方法结合高通滤波恢复C2的空间细节(步骤2-3)。相较于现有的时空融合方法多基于空间插值的方式，本发明采用的拉普拉斯金字塔网络由于充分利用了已知时期高-低分辨率影像(F1,C1)这一先验信息而具有更强的泛化能力。此外，针对由于高-低分辨率影像空间分辨率差异较大导致的超分辨率重建结果存在信息缺失的问题，本发明进一步采用高通滤波对上述信息缺失进行了恢复。上述步骤充分保证了本发明提出的时空融合方法在突变预测方面的有效性。
(2)渐变预测
本发明提出的时空融合方法对于渐变的预测是通过线性融合的方式实现的(步骤4-6)。其与现有的时空融合方法的不同之处在于，线性融合的输入由原始的低分辨率影像(C1，C2)替换为了具有更高空间分辨率且经过了相对辐射归一化后的影像
Figure BDA0002933380860000131
上述替换一方面可以削弱高-低分辨率影像系统辐射差异对线性融合结果的影响，另一方面，可以使融合结果具有更完整的空间细节。
3、本发明所提出的方法仅需要一对已知时期的高-低分辨率影像对，提高了时空融合方法在云污染严重区域的实用性。
已有的基于深度学习的时空融合方法常需要至少两对无云的高-低分辨率影像对和预测时期的低分辨率影像作为输入，这一严格的输入条件对于云污染严重的区域并不适用。为了降低这一输入要求，本发明提出的时空融合方法采用了一种联合线性融合和基于深度学习的超分辨率重建的组合方式，这一组合方式仅需要一对已知时期的高-低分辨率影像对和预测时期的低分辨率影像。这一“松弛”后的输入条件在云污染严重的区域具有更强的实用性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种遥感影像时空融合方法，其特征在于，包括：
将已知时期的高分辨率影像重采样至已知时期的低分辨率影像的空间分辨率的2倍，构建包含两个层次的拉普拉斯金字塔网络；其中，第一层次用于实现已知时期的高分辨率影像以及已知时期的低分辨率影像的相对辐射归一化处理，第二层次用于实现预测时期的低分辨率影像的超分辨率重建；
采用高通滤波恢复超分辨率重建后的预测时期的低分辨率影像的空间细节，确定突变预测结果；所述突变预测结果为：
Figure FDA0004130733820000011
其中，
Figure FDA0004130733820000012
为突变预测结果，
Figure FDA0004130733820000013
为预测时期的低分辨率影像经过超分辨率重建得到的中间分辨率影像，gb为增益系数，
Figure FDA0004130733820000014
为已知时期的低分辨率影像经过超分辨率重建得到的中间分辨率影像；
根据辐射归一化后的已知时期的低分辨率影像和辐射归一化后的预测时期的低分辨率影像建立线性回归方程，确定回归系数；
将所述回归系数应用于所述已知时期的高分辨率影像得到初步的时间变化的预测结果；所述初步的时间变化的预测结果为：
Figure FDA0004130733820000015
Figure FDA0004130733820000016
其中，
Figure FDA0004130733820000017
为初步的时间变化的预测结果，w′(x0，y0，B，Δt)为斜率回归系数，b′(x0，y0，B，Δt)为偏置回归系数，R(x0，y0，B，Δt)为残差项，t1为已知时期，Δt为已知时期t1和预测时期t2的时间间隔；
以邻域内的相似像元对所述初步的时间变化的预测结果进行修正，确定渐变预测结果；所述渐变预测结果为：
Figure FDA0004130733820000018
其中，
Figure FDA0004130733820000019
为渐变预测结果，W(xi，yi)为第i个相似像元的权重，N为滑动窗口内的相似像元个数，
Figure FDA00041307338200000110
为第i个相似像元的初步的时间变化的预测结果；
以基于滑动窗口的线性加权方法对所述突变预测结果以及所述渐变预测结果进行加权平均处理，确定最终的时空融合结果；所述最终的时空融合结果为预测时期的高分辨率影像；所述最终的时空融合结果为：
Figure FDA0004130733820000021
Figure FDA0004130733820000022
其中，
Figure FDA0004130733820000023
为最终的时空融合结果，pLC(x0，y0，B，t2)为
Figure FDA0004130733820000024
的权重，pPC(x0，y0，B，t2)为
Figure FDA0004130733820000025
的权重。
2.根据权利要求1所述的遥感影像时空融合方法，其特征在于，在训练阶段，所述拉普拉斯金字塔网络的输入为所述已知时期的低分辨率影像C1；
第一层次输出为所述辐射归一化后的已知时期的低分辨率影像F1 down，第二层次输出为所述已知时期的高分辨率影像F1；
训练阶段的loss函数定义为：
Figure FDA0004130733820000026
Figure FDA0004130733820000027
其中，
Figure FDA0004130733820000028
为loss函数，y代表两个层次的标签，依次为F1 down和F1，
Figure FDA0004130733820000029
代表网络的输出，θ代表网络参数，ρ代表Charbonnier惩罚函数，
Figure FDA00041307338200000210
代表训练样本的个数；
Figure FDA00041307338200000211
为第l层次的第i′个训练样本的标签，
Figure FDA00041307338200000212
为第l层次的第i′个输出。
3.一种遥感影像时空融合系统，其特征在于，包括：
拉普拉斯金字塔网络构建模块，用于将已知时期的高分辨率影像重采样至已知时期的低分辨率影像的空间分辨率的2倍，构建包含两个层次的拉普拉斯金字塔网络；其中，第一层次用于实现已知时期的高分辨率影像以及已知时期的低分辨率影像的相对辐射归一化处理，第二层次用于实现预测时期的低分辨率影像的超分辨率重建；
突变预测结果确定模块，用于采用高通滤波恢复超分辨率重建后的预测时期的低分辨率影像的空间细节，确定突变预测结果；所述突变预测结果为：
Figure FDA0004130733820000031
其中，
Figure FDA0004130733820000032
为突变预测结果，
Figure FDA0004130733820000033
为预测时期的低分辨率影像经过超分辨率重建得到的中间分辨率影像，gb为增益系数，
Figure FDA0004130733820000034
为已知时期的低分辨率影像经过超分辨率重建得到的中间分辨率影像；
回归系数确定模块，用于根据辐射归一化后的已知时期的低分辨率影像和辐射归一化后的预测时期的低分辨率影像建立线性回归方程，确定回归系数；
初步的时间变化的预测结果确定模块，用于将所述回归系数应用于所述已知时期的高分辨率影像得到初步的时间变化的预测结果；所述初步的时间变化的预测结果为：
Figure FDA0004130733820000035
Figure FDA0004130733820000036
其中，
Figure FDA0004130733820000037
为初步的时间变化的预测结果，w′(x0，y0，B，Δt)为斜率回归系数，b′(x0，y0，B，Δt)为偏置回归系数，R(x0，y0，B，Δt)为残差项，t1为已知时期，Δt为已知时期t1和预测时期t2的时间间隔；
渐变预测结果确定模块，用于以邻域内的相似像元对所述初步的时间变化的预测结果进行修正，确定渐变预测结果；所述渐变预测结果为：
Figure FDA0004130733820000038
其中，
Figure FDA0004130733820000039
为渐变预测结果，W(xi，yi)为第i个相似像元的权重，N为滑动窗口内的相似像元个数，
Figure FDA00041307338200000310
为第i个相似像元的初步的时间变化的预测结果；
最终的时空融合结果确定模块，用于以基于滑动窗口的线性加权方法对所述突变预测结果以及所述渐变预测结果进行加权平均处理，确定最终的时空融合结果；所述最终的时空融合结果为预测时期的高分辨率影像；所述最终的时空融合结果为：
Figure FDA00041307338200000311
Figure FDA00041307338200000312
其中，
Figure FDA00041307338200000313
为最终的时空融合结果，pLC(x0，y0，B，t2)为
Figure FDA0004130733820000041
的权重，pPC(x0，y0，B，t2)为
Figure FDA0004130733820000042
的权重。
4.根据权利要求3所述的遥感影像时空融合系统，其特征在于，在训练阶段，所述拉普拉斯金字塔网络的输入为所述已知时期的低分辨率影像C1；
第一层次输出为所述辐射归一化后的已知时期的低分辨率影像F1 down，第二层次输出为所述已知时期的高分辨率影像F1；
训练阶段的loss函数定义为：
Figure FDA0004130733820000043
其中，
Figure FDA0004130733820000044
为loss函数，y代表两个层次的标签，依次为F1 down和F1，
Figure FDA0004130733820000045
代表网络的输出，θ代表网络参数，ρ代表Charbonnier惩罚函数，
Figure FDA0004130733820000046
代表训练样本的个数；
Figure FDA0004130733820000047
为第l层次的第i′个训练样本的标签，
Figure FDA0004130733820000048
为第l层次的第i′个输出。
CN202110155806.8A 2021-02-04 2021-02-04 一种遥感影像时空融合方法及系统 Active CN112819697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110155806.8A CN112819697B (zh) 2021-02-04 2021-02-04 一种遥感影像时空融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110155806.8A CN112819697B (zh) 2021-02-04 2021-02-04 一种遥感影像时空融合方法及系统

Publications (2)

Publication Number Publication Date
CN112819697A CN112819697A (zh) 2021-05-18
CN112819697B true CN112819697B (zh) 2023-04-14

Family

ID=75861422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110155806.8A Active CN112819697B (zh) 2021-02-04 2021-02-04 一种遥感影像时空融合方法及系统

Country Status (1)

Country Link
CN (1) CN112819697B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113324923B (zh) * 2021-06-07 2023-07-07 郑州大学 一种结合时空融合与深度学习的遥感水质反演方法
CN114202705B (zh) * 2022-02-16 2022-05-20 清华大学 光谱特征时间序列构建方法及系统
CN117115679A (zh) * 2023-10-25 2023-11-24 北京佳格天地科技有限公司 一种时空融合遥感影像对筛选方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915529A (zh) * 2012-10-15 2013-02-06 黄波 基于遥感“时-空-谱-角”的一体化融合技术及其系统
CN107103584A (zh) * 2017-04-11 2017-08-29 北京师范大学 一种基于时空加权的生产高时空分辨率ndvi的方法
CN108613933A (zh) * 2018-06-13 2018-10-02 中南林业科技大学 基于多源遥感数据融合的林地干旱时空动态监测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915674B (zh) * 2014-10-24 2018-12-14 北京师范大学 Landsat8和MODIS融合构建高时空分辨率数据识别秋粮作物的方法
CN104637027B (zh) * 2015-02-26 2017-07-11 武汉大学 顾及非局部特性与时空变化的遥感数据时空定量融合方法
CN109685108B (zh) * 2018-11-23 2022-05-03 电子科技大学 一种生成高时空分辨率ndvi长时间序列的方法
CN111832518B (zh) * 2020-07-22 2022-08-19 桂林电子科技大学 基于时空融合的tsa遥感影像土地利用方法
CN111932457B (zh) * 2020-08-06 2023-06-06 北方工业大学 遥感影像高时空融合处理算法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915529A (zh) * 2012-10-15 2013-02-06 黄波 基于遥感“时-空-谱-角”的一体化融合技术及其系统
CN107103584A (zh) * 2017-04-11 2017-08-29 北京师范大学 一种基于时空加权的生产高时空分辨率ndvi的方法
CN108613933A (zh) * 2018-06-13 2018-10-02 中南林业科技大学 基于多源遥感数据融合的林地干旱时空动态监测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张娟 ; 周璀 ; 谭三清 ; 张贵 ; .基于不同卫星传感器的森林火灾红外辐射归一化方法研究.中南林业科技大学学报.2018,(第09期),第 78-82页. *
黄波 ; .时空遥感影像融合研究的进展与趋势.四川师范大学学报(自然科学版).2020,(第04期),第2+5-12页. *

Also Published As

Publication number Publication date
CN112819697A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN112819697B (zh) 一种遥感影像时空融合方法及系统
CN110969577B (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
Yang et al. Coupled dictionary training for image super-resolution
EP3598387B1 (en) Learning method and program
CN111738948B (zh) 一种基于双U-net的水下图像增强方法
Fishbain et al. Real-time stabilization of long range observation system turbulent video
CN113222825A (zh) 基于可见光图像训练的红外图像超分辨率重构方法及应用
CN106846253A (zh) 一种基于反向传播神经网络的图像超分辨率重建方法
CN112070665A (zh) 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法
CN111242999B (zh) 基于上采样及精确重匹配的视差估计优化方法
US10572976B2 (en) Enhancing observation resolution using continuous learning
CN114913083A (zh) 一种基于上下文分解特征融合的水下图像增强方法
CN113012044A (zh) 一种基于深度学习的遥感影像时空融合方法及系统
CN111767679B (zh) 时变矢量场数据的处理方法及装置
CN111369483B (zh) 一种融合多源遥感数据生成高时空分辨率遥感数据的方法
CN116091337B (zh) 一种基于事件信号神经编码方式的图像增强方法及装置
CN111179171A (zh) 基于残差模块和注意力机制的图像超分辨率重建方法
Song et al. Deep semantic-aware remote sensing image deblurring
CN115272423B (zh) 一种训练光流估计模型的方法、装置和可读存储介质
CN114758282B (zh) 基于时序校正卷积的视频预测方法
CN116310828A (zh) 一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置
CN116227582A (zh) 掩码自编码器的知识蒸馏方法、装置、设备及存储介质
CN111127321B (zh) 遥感卫星分辨率提升方法、装置、电子设备及存储介质
US20240070808A1 (en) Enhancement of coarse resolution imagery using super-resolution and convolution neural networks to be used for fit-for-purpose systematic land titling and land valuation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant