CN115131675A - 一种基于参考影像纹理迁移的遥感影像压缩方法及系统 - Google Patents

一种基于参考影像纹理迁移的遥感影像压缩方法及系统 Download PDF

Info

Publication number
CN115131675A
CN115131675A CN202210746586.0A CN202210746586A CN115131675A CN 115131675 A CN115131675 A CN 115131675A CN 202210746586 A CN202210746586 A CN 202210746586A CN 115131675 A CN115131675 A CN 115131675A
Authority
CN
China
Prior art keywords
image
resolution
remote sensing
texture
optical remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210746586.0A
Other languages
English (en)
Inventor
王密
肖晶
王慧雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210746586.0A priority Critical patent/CN115131675A/zh
Publication of CN115131675A publication Critical patent/CN115131675A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种参考历史影像的高分辨率光学遥感影像压缩方法及系统，包括数据准备，将找到的参考影像与待压缩的重访影像做配准，然后裁剪影像作为训练数据和测试数据；设置基于参考纹理迁移的光学遥感影像深度学习压缩模型，采用先降采样后超分的基于学习的网络架构，以原图的重构损失、低分影像重构损失和编码代码的熵作为损失函数训练设置的网络，得到训练好的光学遥感影像压缩模型；基于训练好的光学遥感影像压缩模型，输入待压缩的光学遥感影像，提取压缩后的影像并进行质量评估。本发明对于相关性弱的参考区域，采用自纹理学习的方法替代参考纹理迁移，不仅可以有效地改善高分遥感影像的压缩图像质量，而且具有更灵活的率失真优化。

Description

一种基于参考影像纹理迁移的遥感影像压缩方法及系统
技术领域
本发明属于遥感影像压缩领域，特别涉及到了引入历史影像作为参考的高分辨率遥感影像的压缩方法，以及根据参考影像的相似性程度进行的自适应率失真优化。
背景技术
随着遥感技术的发展，高空间分辨率的遥感影像被广泛应用，这使得遥感卫星产生的数据量越来越大，然而星上有限的存储和星地间传输链路的有限带宽限制了遥感卫星的实时应用，因此高效的图像压缩方法变得越来越重要。图像压缩分为无损压缩和有损压缩两种压缩类型。对于遥感图像而言，无损压缩只能做到2-5倍的压缩，不能满足当前的需求，因而目前人们研究的压缩方法都为有损压缩。但是有损压缩会引入图像的失真，为了不影响对压缩后的图像的观察与分析，需要在高压缩倍数下尽量多的保留原数据中的关键信息，同时去除所有的冗余信息。
在过去的20年中，人们对遥感图像压缩技术进行了广泛的研究，并开发出来各种算法。微分脉冲编码调制(DPCM)、自适应脉冲编码调制(ADPCM)、离散余弦变换(DCT)和离散小波变换(DWT)等几种典型的图像压缩方法都曾应用于遥感影像的压缩。通常，DPCM和ADPCM可以被视为预测编码框架，由于其硬件实现简单，已经成为最成功的RS图像编码方法之一。它们的变体已被用于LANDSAT、IKONOS、Worldview、Quickbird和Geoeye等卫星中。
随着数学工具的进步，变换编码得到了迅速的发展，成为最有效、最流行的RS图像压缩方法之一。变换编码的目的是将遥感图像从空间域变换到频域，从而更有效地编码。DCT和DWT是目前常用的转换编码框架的两个基础。在此基础上开发的方法包括JPEG、AVS和JPEG 2000，这些方法已经应用于“资源3号”卫星。
近年来，基于深度神经网络(DNN)的图像压缩受到越来越多的关注，其中最典型的是卷积神经网络(CNN)和循环神经网络(RNN)。CNN的方法主要是利用卷积自编码器，通过端到端的训练使编码器学习到高维的图像空间到低维的特征空间的映射，从而实现图像压缩。RNN方法通过嵌入自编码器，循环将残差输入网络来逐步减小残差，它能够捕获像素间的高阶和长程联系，但最显著的缺陷使时间成本过高。最近，一些研究者研究了熵估计的自适应上下文模型，以指导神经网络参数的优化过程，从而实现重构误差和所需的比特(熵)之间的最佳平衡。熵估计技术极大地改进了基于学习的压缩算法，其中最具代表性的方法是超先验模型和联合模型。但现有的基于上下文的超先验和联合模型仍然忽略了一些问题。首先潜在表示中的待编码元素的概率估计依赖于之前解码元素的局部模块，限制了长期条件概率估计的准确性。其次，使用的超先验信息没有倍正则化和利用，虽然这部分会在比特流中进行编码，但并不能用于图像的重建。
高分辨率遥感图像具有丰富的细节和复杂的纹理，而应用于一般图像的压缩方法对遥感图像进行压缩时，通常性能较差，变形严重，影响了对压缩图像的观察和分析。本发明提出，考虑到遥感卫星对同一区域的非周期性重访，这些重访图像之间存在很大的相似性，这意味着它们之间的冗余信息可以进一步压缩。而目前国内外还没有针对遥感影像的重访冗余进行压缩的相关论文发表，亟待进行相关研究。
发明内容
本发明针对高分辨率遥感卫星对同一地区的重访影像的压缩任务，提高了一种基于参考影像纹理迁移的遥感影像压缩方法。
本发明提供的技术方案为一种参考历史影像的高分辨率光学遥感影像压缩方法，包括以下步骤：
步骤A，数据准备，将找到的参考影像与待压缩的重访影像做配准，然后裁剪影像作为训练数据和测试数据；
步骤B，设置基于参考纹理迁移的光学遥感影像深度学习压缩模型，采用先降采样后超分的基于学习的网络架构，进行相应训练时包括以下处理，
影像纹理特征的提取，包括利用可学习的纹理提取器从参考影像与当前影像中分布提取纹理特征，将标准内积作为相似性构造硬注意力映射H与软注意力映射S，记录参考影像中与当前影像相关纹理的位置与置信度；
先降采样后超分的编解码，包括对当前影像做降采样过滤掉大部分的空间信息，在解码时先重构出降采样后的低分影像，然后通过引入参考影像作为辅助信息的超分网络对降采样做相应超分，恢复出原分辨率大小的重构图像；
步骤C，以原图的重构损失、低分影像重构损失和编码代码的熵作为损失函数训练步骤B中设置的网络，得到训练好的光学遥感影像压缩模型；
步骤D，基于步骤C所训练好的光学遥感影像压缩模型，输入待压缩的光学遥感影像，提取压缩后的影像并进行质量评估。
而且，可学习的纹理提取器是一个浅层神经网络，用于从输入图像中提取出纹理特征，依次包括CONV、CONV、POOL、CONV、CONV、POOL和CONV，其中CONV为卷积层，POOL为池化层。
而且，步骤D中会将参考图像的相似度作为评判依据，进行基于参考纹理的自适应压缩方法和自适应降采样方法。
而且，基于参考纹理迁移的光学遥感影像深度学习压缩模型中，先降采样后超分的编解码实现原理如下，
编码时，设从当前影像和参考影像中提取的特征分别为Q和K，且Q,
Figure BDA0003717079320000031
c为维度，
Figure BDA0003717079320000032
为实数域，把特征从像素维度(h×w)展开，把特征K和Q从像素维度(h×w)将特征展开为逐个向量unfold(K)、unfold(Q)，如下式：
Figure BDA0003717079320000033
Figure BDA0003717079320000034
Q中的每个子特征qi与K中的每个子特征kj计算它们之间的相关性，计算公式采用标准内积：
Figure BDA0003717079320000035
由上述相关性可以得到硬注意力映射和软注意力映射，硬注意力映射H的第i个分量
Figure BDA0003717079320000036
软注意力映射S的第i分量
Figure BDA0003717079320000037
其中软注意力映射的均值
Figure BDA0003717079320000038
用于作为衡量参考影像与当前影像相似度的指标，指导模型进行自适应压缩和自适应降采样；
解码时，利用低分影像的上采样图像提取的特征Q'和参考图像特征K计算硬注意力映射H和软注意力映射S，实现方式和编码端相同；然后构造可迁移的纹理特征，利用硬注意力机制从参考纹理特征中找到相似性最高的分量，这些分量组成可迁移的纹理特征，公式如下，
Figure BDA0003717079320000039
Figure BDA00037170793200000310
其中，ti为T的第i分量，
Figure BDA00037170793200000311
为按照硬注意力映射在特征K的分量中搜索到的对应位置i的特征分量；
对于采用了自适应压缩中的自纹理参考模型的区域，需要对特征T进行修正，实现方式是从经过了粗压缩的高分图像块中提取纹理特征块，从码流中读取出采用了自纹理参考区域的位置，用此纹理特征替代原特征T中对应位置特征分量的数值，每一块替换的区域长宽为原来特征T的1/4；
经过修正后的特征T就是接下来输入超分生成网络的可迁移纹理特征，在做超分之前还需要做特征的融合，公式如下：
Figure BDA0003717079320000041
其中，Fout是输出的融合特征，Conv和Concat分别表示卷积操作和张量的拼接操作，
Figure BDA0003717079320000042
是两边矩阵对应位置上的元素求积的运算；
最终将融合特征输入超分生成网络输出原分辨率影像的重构影像。
而且，步骤C中，以原图的重构损失、低分影像重构损失和编码代码的熵作为损失函数训练步骤B的网络。
另一方面，本发明还提供一种参考历史影像的高分辨率光学遥感影像压缩系统，用于实现如上所述的一种参考历史影像的高分辨率光学遥感影像压缩方法。
而且，包括以下模块，
第一模块，用于数据准备，将找到的参考影像与待压缩的重访影像做配准，然后裁剪影像作为训练数据和测试数据；
第二模块，用于设置基于参考纹理迁移的光学遥感影像深度学习压缩模型，采用先降采样后超分的基于学习的网络架构，进行相应训练时包括以下处理，
影像纹理特征的提取，包括利用可学习的纹理提取器从参考影像与当前影像中分布提取纹理特征，将标准内积作为相似性构造硬注意力映射H与软注意力映射S，记录参考影像中与当前影像相关纹理的位置与置信度；
先降采样后超分的编解码，包括对当前影像做降采样过滤掉大部分的空间信息，在解码时先重构出降采样后的低分影像，然后通过引入参考影像作为辅助信息的超分网络对降采样做相应超分，恢复出原分辨率大小的重构图像；
第三模块，用于以原图的重构损失、低分影像重构损失和编码代码的熵作为损失函数训练网络，得到训练好的光学遥感影像压缩模型；
第四模块，用于基于第三模块所得训练好的光学遥感影像压缩模型，输入待压缩的光学遥感影像，提取压缩后的影像并进行质量评估。
或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种参考历史影像的高分辨率光学遥感影像压缩方法。
或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种参考历史影像的高分辨率光学遥感影像压缩方法。
本发明提供了一种可以利用历史重访影像作为参考信息的高分辨率遥感影像压缩方法，和现有技术相比，本发明有如下优势：
(1)充分利用了遥感卫星周期性重访的特点，可以有效提高压缩的影像的质量。
(2)本方法对于参考影像变化的鲁棒性强，可以适用于大部分场景下光学遥感卫星的影像压缩。
(3)提出的自适应的自纹理学习方法，不仅可以改善参考影像不足的情况，而且可以实现更灵活的率失真优化。
附图说明
图1为本发明实施例的编码流程图。
图2为本发明实施例的解码流程图。
图3为本发明实施例的端到端训练的网络结构示意图。
图4为本发明中实施例的自适应压缩策略的示意图。
具体实施方式
以下结合附图和实施例详细说明本发明技术方案。
本发明主要贡献在于提出了一种利用历史重访影像作为参考来进行高分辨率遥感影像压缩的方法，本发明技术方案可应用到多个压缩方法中，相比于无参考的压缩，本发明可以显著提高压缩影像的清晰程度，此外本发明可采用当前流行的深度学习框架进行训练模型，包括Pytorch、TensorFlow等。
本发明提供一种参考历史影像的高分辨率光学遥感影像压缩方案，包括数据准备，对高分遥感影像的配准于数据预处理；对影像的纹理特征的提取，利用参考影像与当前影像的纹理特征计算纹理相似度，从而得到出两张影像间的冗余信息；先降采样后超分的编解码方式，基于相似度调整高斯模糊核的参数，利用高斯模糊和双三次插值对当前影像做2倍降采样，过滤掉大部分的空间信息，在解码时先重构出降采样影像，然后通过超分网络，引入参考影像作为辅助信息对降采样影像做2倍超分得到最终的解码影像；优化率失真，以参考影像于当前影像的相似度作为依据，对于相关性弱的参考区域，采用自纹理学习的方法替代参考纹理迁移，可以更灵活的调整模型的率失真。本发明不仅可以有效地改善高分遥感影像的压缩图像质量，而且具有更灵活的率失真优化。
本发明实施例提供一种高分辨率影像压缩方法，以基于参考影像纹理迁移为主要环节，说明本发明的技术方案。
本发明实施例提供的一种基于参考影像纹理迁移的遥感影像压缩方法，包括以下步骤：
A.数据准备，将找到的参考影像与待压缩的重访影像做配准，然后裁剪影像作为训练数据和测试数据。
步骤A中，采用高分辨率遥感影像数据集，分为当前影像和参考影像，当前影像是指要被压缩的影像，参考影像是指提供参考信息以指导压缩的影像，并对数据集进行裁剪。
实施例采用了高分辨率遥感影像数据集，先利用遥感数据的地理坐标信息进行粗配准，找到当前影像所在区域的历史影像，然后对配对的影像做精配准得到配对的当前影像与参考影像。配准之后对数据进行裁剪。训练数据裁剪为128×128大小的图像块，测试数据裁剪为256×256大小的图像块。裁剪的图像大小可以依训练和测试使用的设备而调整。
实施例中，采用来自SPOT-5卫星的遥感影像制作数据集进行评测模型性能，数据由卫星在2005年至2019年期间在亚特兰大、马德里、慕尼黑等地拍摄到的光学遥感影像。数据集采用8bit RGB三通道的TIF格式，地面分辨率为1m。
B.设置基于参考纹理迁移的光学遥感影像深度学习压缩模型，采用先降采样后超分的基于学习的网络架构。先降采样后超分的网络架构能显著提高模型的压缩倍率，同时利用参考影像的信息来辅助超分能恢复原图像在降采样过程中缺失的高频信息，使网络在保障高倍率压缩的同时提高压缩图像的质量。
首先介绍实施例先降采样后超分的编解码原理如下，
编码时，设从当前影像和参考影像中提取的特征分别为Q和K，且Q,
Figure BDA0003717079320000061
c为维度，
Figure BDA0003717079320000062
为实数域，把特征从像素维度(h×w)展开，把特征K和Q从像素维度(h×w)将特征展开为逐个向量unfold(K)、unfold(Q)，如下式：
Figure BDA0003717079320000063
Figure BDA0003717079320000064
Q中的每个子特征qi与K中的每个子特征kj计算它们之间的相关性，计算公式采用标准内积：
Figure BDA0003717079320000065
由上述相关性可以得到硬注意力映射和软注意力映射，硬注意力映射H的第i个分量
Figure BDA0003717079320000066
软注意力映射S的第i分量
Figure BDA0003717079320000067
其中软注意力映射的均值
Figure BDA0003717079320000068
可以在步骤D中作为衡量参考影像与当前影像相似度的指标，指导模型进行自适应压缩和自适应降采样；
解码时，利用低分影像的上采样图像提取的特征Q'和参考图像特征K计算硬注意力映射H和软注意力映射S，方法和编码端相同。然后构造可迁移的纹理特征，利用硬注意力机制从参考纹理特征中找到相似性最高的分量，这些分量组成可迁移的纹理特征T，公式如下：
Figure BDA0003717079320000071
Figure BDA0003717079320000072
其中，ti为T的第i分量，
Figure BDA0003717079320000073
为按照硬注意力映射在特征K的分量中搜索到的对应位置i的特征分量；
得到的特征T就是接下来输入超分生成网络的可迁移纹理特征，在做超分之前还需要做特征的融合，公式如下：
Figure BDA0003717079320000074
其中，Fout是输出的融合特征，F是从低分图像中提取到的低分纹理特征，T是可迁移的纹理特征，S是软注意力映射矩阵，Conv和Concat分别表示卷积操作和张量的拼接操作，
Figure BDA0003717079320000075
是两边矩阵对应位置上的元素求积的运算；
最终将融合特征输入超分生成网络输出原分辨率影像的重构影像。
以图3为例，实施例中该网络在训练过程中具体包括以下步骤：
B1.影像纹理特征的提取。利用可学习的纹理提取器(LTE)从参考影像Ref与当前影像Input中分布提取纹理特征K和Q，将他们的标准内积作为相似性构造硬注意力映射H与软注意力映射S，这两种注意力映射记录了参考影像中与当前影像相关纹理的位置与置信度。
实施例中可学习纹理提取器和注意力映射的实现参考了文献Yang F,Yang H,FuJ,et al.Learning texture transformer network for image super-resolution[C]//Proceedings of the IEEE/CVF conference on computer vision and patternrecognition.2020:5791-5800.可学习纹理提取器(LTE)的网络结构参见图3左下角，依次包括CONV、CONV、POOL、CONV、CONV、POOL、CONV，其中CONV为卷积层，POOL为池化层。利用硬注意力映射可以找出参考影像中的可迁移纹理，而利用软注意映射的均值可以估计当前的图像块与参考影像的相似性程度。
B2.先降采样后超分的编解码，包括对当前影像做2倍降采样过滤掉大部分的空间信息，在解码时先重构出降采样后的低分影像，然后通过引入参考影像作为辅助信息的超分网络对降采样做2倍的超分，恢复出原分辨率大小的重构图像。
实施例中对当前影像Input做2倍降采样得到低分辨率影像LR，分辨率由(128×128×3)降为(64×64×3)。降采样过程可过滤掉大部分的空间信息，然后网络会对对低分影像编解码(Codec)；编解码后先得到重构出的低分影像，然后通过引入参考影像作为辅助信息的超分网络对降采样图像做2倍的超分。同样用可学习的纹理提取器LTE从编解码后的低分图像提取低分纹理特征F。通过硬注意力机制从参考纹理特征获得可迁移特征T，然后通过软注意力机制将低分纹理特征与可迁移特征融合。得到的融合特征将被输入进超分网络G，恢复出原分辨率大小(128×128×3)的重构图像output。超分生成网络的结构参见图3右下角，参考了文献Zhang Z,Wang Z,Lin Z,et al.Image super-resolution by neuraltexture transfer[C]//Proceedings of the IEEE/CVF conference on computervision and pattern recognition.2019:7982-7991.实施例在原网络上进行了修改，使它的超分倍数由4倍改为2倍，其中CONV为卷积层，RB为残差模块(ResBlock)，TT为特征迁移模块。具体实现可参见相关文献，本发明不予赘述。
C.以原图的重构损失、低分影像重构损失和编码代码的熵作为损失函数训练步骤B中设置的网络，得到训练好的光学遥感影像压缩模型。
实施例中，采用的是先训练可学习纹理提取器(LTE)和超分生成网络，以原图像的重构损失作为损失函数，训练时采用的网络参见图3。如果压缩方法采用的是基于学习的方法，则先单独训练压缩模块(codec)，然后将压缩网络的编解码过程加到上述网络中的降采样和特征提取器的中间，如图3中codec位置所示，最后以重构损失、低分影像重构损失和编码代码的熵作为损失函数训练包括纹理提取器、超分和编解码的整个网络。
D.基于步骤C所训练好的光学遥感影像压缩模型，输入待压缩的光学遥感影像，对压缩后的影像进行质量评估。在测试阶段，本发明实施例提出的基于参考影像纹理迁移的压缩网络经过训练后可以分开进行编码和解码，编码流程参见图1，解码流程参见图2。对于输入的图像会先降采样与编码，然后进行解码与超分，最终获得重构图像。
为便于实施参考起见，提供网络训练完成后的编解码实现方式说明。
如图1所示，网络训练完成后，对于测试数据编码的具体实现流程如下：
(1)数据处理。
先利用遥感数据的地理坐标信息进行粗配准，找到当前影像所在区域的历史影像，然后对配对的影像做精配准得到配对的当前影像与参考影像。配准之后对数据进行裁剪，裁剪大小依使用的设备而定，本发明实施例在测试时将测试影像裁剪为256×256大小的图像块。
(2)纹理特征提取。
利用训练好的可学习纹理特征提取器(LTE)，分别从输入影像和参考影像上提取出纹理特征：
Q＝LTE(IHR)
K＝LTE(IRef)
其中IHR和IRef分别表示配准好的输入影像块和参考影像块，Q和K是提取到的纹理特征，可用
Figure BDA0003717079320000091
的张量表示，其中c,h,w分别表示张量的通道数，高度和宽度。
(3)构建硬注意力映射与软注意力映射。
把特征K和Q从像素维度(h×w)将特征展开为逐个向量unfold(K)、unfold(Q)，如下式：
Figure BDA0003717079320000092
Figure BDA0003717079320000093
其中，
Figure BDA0003717079320000094
为c维实数域向量空间，j和i为向量分量的索引，h为张量的高度，w为张量的宽度
Q中的每个子特征qi可以与K中的每个子特征kj计算它们之间的相关性ri,j，计算公式采用标准内积：
Figure BDA0003717079320000095
硬注意力映射H的第i个分量hi由如下公式计算得到：
Figure BDA0003717079320000096
软注意力映射S的第i个分量si由如下公式计算得到：
Figure BDA0003717079320000097
(4)对输入影像做降采样与自适应压缩。
对降采样过程中所采用高斯模糊的模糊核进行调整，模糊核的尺寸或标准差越大处理后的图像越模糊。模糊程度会影响压缩所用的码率和解码图像的失真，本方法根据参考影像的相似性对模糊核的尺寸与标准差进行调整。
将软注意力映射的均值
Figure BDA0003717079320000098
作为衡量参考影像与当前影像相似度的指标。对降采样过程中所采用高斯模糊的模糊核进行调整，模糊核的尺寸或标准差越大处理后的图像越模糊。模糊程度会影响压缩所用的码率和解码图像的失真。
实施例中通过构造相似性指标与模糊核参数的线性关系来自适应调整降采样方法，线性关系式如下：
Figure BDA0003717079320000099
Figure BDA00037170793200000910
其中a表示模糊核的尺寸，σ表示模糊核的标准差。
根据参考图像相似度对压缩模型进行自适应调整。首先将软注意映射S按(128×128)维度对数据重排，然后按32×32的宏块划分，每个宏块对应原图像中的一个64×64尺寸大小的宏块。构造阈值t，实施例中，若某一宏块的相似性指标
Figure BDA0003717079320000101
低于阈值t则为判定该宏块未找到合适的参考影像块，此时采用自纹理学习压缩如图4右侧所示，将低于阈值t的宏块裁剪出来，单独进行高于输入图像的倍数的压缩，称为粗压缩，将粗压缩的编码流与输入图像的编码流一同参与压缩编码的传输；若
Figure BDA0003717079320000102
高于等于阈值t，则判定参考影像中有合适的可迁移纹理特征，无需传输自纹理，如图4左侧，只进行输入图像的编码。
(5)低分影像编码与自纹理学习区域图像块编码。
对低分影像的压缩可以采用各种压缩方式，本实施例中采用了JPEG 2000和基于学习的离散高斯混合编码模型(GMM)两种方式。JPEG 2000是在2000年由联合图像专家小组提出的一种基于小波变换的图像压缩标准。GMM是一种基于深度神经网络的图像压缩方法，主要框架包括自编码器和高斯混合熵编码模型，适合做端到端的训练。
实施例对采用自纹理学习的图像块采用JPEG 2000方法压缩，压缩倍数取低分影像压缩倍数的两倍。压缩的代码前加入高分影像块在原图像中的行列编号作为位置信息。
最终压缩的代码包含低分影像的压缩代码和采用了自纹理学习的高分影像的图像块压缩代码。
如图2所示，对于测试数据解码的具体实现流程如下：
(1)低分影像解码与自纹理学习区域图像块解码。
依据编码时采用的压缩方法，选择对应的解码器对低分影像和自纹理学习区域的图像块解码。实施例中，低分影像的压缩选择了JPEG 2000和一种基于学习的压缩网络(GMM)，自纹理学习区域的图像块采用的是JPEG 2000方法。
(2)纹理特征提取。
低分影像的特征提取。使用双三次插值法对低分影像ILR做2倍上采样，得到上采样影像ILR↑，其分辨率与原图像一致。分别将低分影像和上采样影像输入训练好的可学习的纹理特征提取器(LTE)得到压缩后影像的纹理特征F和上采样影像纹理特征Q'：
F＝LTE(ILR)
Q'＝LTE(ILR↑)
参考影像的特征提取。因为参考影像是储存在卫星上的历史影像，因此解码时仍可以利用参考影像的信息。将参考影像输入训练好的可学习纹理特征提取器(LTE)中，得到参考影像的纹理特征：
K＝LTE(IRef)
对于参考图像充分相似的情况，如图4左半侧，输入超分模块的只有解码后的低分图像和参考T恤；对于参考图像不充分的情况，如图4右半侧，输入超分模块的还有经过粗压缩的自参考图像块，即来自原高分图像的图像块IHR_patch，并记从这部分图像块提取的纹理特征为P＝LTE(IHR_patch)。
(3)构建解码过程中的硬注意力映射和软注意力映射。
把特征K和Q'从像素维度(h×w)将特征展开为逐个向量，并分别记为unfold(K)和unfold(Q')，如下式：
Figure BDA0003717079320000111
Figure BDA0003717079320000112
其中，
Q'中的每个子特征q'i可以与K中的每个子特征kj计算它们之间的相关性ri,j，计算公式采用标准内积：
Figure BDA0003717079320000113
硬注意力映射H的第i个分量hi由如下公式计算得到：
Figure BDA0003717079320000114
软注意力映射S的第i个分量si由如下公式计算得到：
Figure BDA0003717079320000115
采用了自纹理学习的区域需要将对应的硬注意力映射和软注意力映射分量修改。将硬注意力映射和软注意力映射按(128×128)的维度对数据重排。
设高分图像块的解码出的位置在原图像中的坐标为(b1,b2)，图像块尺寸为64×64。则对数据重排后的矩阵H和矩阵S的子矩阵做如下赋值：
H(i,j)＝128i+j
S(i,j)＝1
i＝b1,b1+1,...,b1+31；j＝b2,b2+1,...,b2+31
其中，b1,b2分别表示图像块在原图像中的坐标，i为重拍后的矩阵H和S的行号，j为重排后的矩阵H和S的列号，H(i,j)为矩阵H第i行第j列，S(i,j)为矩阵S的第i行第j列，
(4)对低分影像做带参考的超分。
构造可迁移的纹理特征。利用硬注意力机制从参考纹理特征中找到相似性最高的分量，这些分量组成可迁移的纹理特征，公式如下：
Figure BDA0003717079320000121
Figure BDA0003717079320000122
其中，T是可迁移纹理特征，unfold()是将特征按分辨率维度展开，ti为T的第i分量，
Figure BDA0003717079320000123
为按照硬注意力映射在特征K的分量中搜索到的对应位置i的特征分量。对于采用了自纹理学习的区域，需要做如下修正：
T＝resize(T,(128,128))
T(a1:a1+31,a2:a2+31)＝P
其中，resize(T,(128,128))是按指定维度(128,128)将特征向量T重排为矩阵。
此公式将特征T的从左上角(a1,a2)到右下角(a1+31,a2+31)的32×32的矩形框内的分量替换为高分影像图像块的特征P。经过修正后的特征T就是接下来输入超分生成网络的可迁移纹理特征，但在错超分之前还需要做特征的融合，公式如下：
Figure BDA0003717079320000124
其中Fout是输出的融合特征，Conv和Concat分别表示卷积操作和张量的拼接操作，
Figure BDA0003717079320000125
是两边矩阵对应位置上的元素求积的运算。
然后将融合特征Fout输入超分生成网络，网络的具体结构参见图3右下部分，具体实施时可参考文献Zhang Z,Wang Z,Lin Z,et al.Image super-resolution by neuraltexture transfer[C]//Proceedings of the IEEE/CVF conference on computervision and pattern recognition.2019:7982-7991.其中图中的CONV表示卷积层，RB表示残差模块(ResBlock)，即未经过批处理归一层的残差块和跳跃连接后的ReLU层，TT表示纹理迁移，即如同上式的特征融合，Scale 2×表示对特征做2倍上采样。最终超分网络输出原分辨率影像的重构影像。
其中对应于编码端的(4)，解码端也将对采用了自纹理学习压缩和一般压缩各自的解码方式。对于采用了自纹理学习压缩的区域，解码端将会同时解码出输入影像的低分图像和裁剪出的自参考图像块，然后将参考图像的相应区域用自参考图像块替换，以此修改后的参考图像作为超分模块的参考，如图4右侧；对于一般压缩，则只解码出输入影像的低分图像，然后以原始参考影像作为超分模块的参考。
为了进一步提升压缩影像的质量，本发明还提出了基于上述编解码的改进编码方式。增加的操作如下：
(1)编码阶段，可将硬注意力映射和软注意力映射一起压缩并随影像编码一起传输。对于软注意映射S，可先将其按128×128的维度重排为矩阵S。将矩阵S的数值由浮点型转换为UINT8，然后使用JPEG 2000对其进行压缩，实施例中压缩倍数设置为30-60倍。
对于硬注意力映射，可以采用预测编码对其进行压缩。先将其按128×128的维度重排为矩阵H，然后按16×16大小的尺寸划分宏块。每个宏块记录第一行第一列的元素h(1,1)，其他元素按如下公式估计预测值
Figure BDA0003717079320000131
Figure BDA0003717079320000132
(2)解码阶段，发现传输的编码中有矩阵S和矩阵H的编码时，则在对低分影像解码的同时解码出矩阵S和矩阵H。对S的解码采用JPEG 2000的解码器；对H的解码，利用编码中记录的每个宏块中第一行第一列的元素h(1,1)，通过预测公式解码出完整的H。
实施例中，对于选择了传输注意力映射的编码信息的图像，在解码时不需要再重新通过计算纹理特征相似性的方式构造新的注意力映射，这种方法是一种在牺牲了压缩倍数的条件下，提升压缩影像质量和解码效率的方法。本发明可以灵活的调整压缩方法以更好地做率失真优化。
为了变与理解本发明的技术效果，提供本发明与传统方法JPEG 2000和最先进的神经网络压缩方法的对比如下：
表Ⅰ在SOPT遥感影像测试数据上的对比结果
Figure BDA0003717079320000133
表Ⅰ中记录了各种模型在SPOT遥感影像测试数据上的结果。模型的编码率都控制在0.250bpp左右，它与压缩倍数由如下转换公式：
Figure BDA0003717079320000134
其中n表示图像的位数，c表示图像的通道数，r和rate分别表示压缩倍数和编码率。
对比的结果用峰值信噪比(PSNR)衡量压缩影像的质量，数值越高表示压缩的图像越清晰。可以发现采用本发明进行遥感影像压缩的图像质量高于传统方法以及其他的采用神经网络的最先进的压缩方法，在0.250bpp左右可以将PSNR提升0.12％。
具体实施时，本发明技术方案可有本领域技术人员采用计算机软件进行实现。在实施例中，要按如下步骤操作：
第一步，用于数据准备，包括当前影像与参考影像的配准和裁剪；
第二步，用于模型训练，先训练超分网络(包括可学习的纹理提取器、注意力映射的构建、特征的迁移与融合、超分生成网络)。然后选择压缩方法即图3中Codec，可选择传统的压缩方法JPEG 2000、JPEG或最新提出的神经网络压缩方法，如果选择了神经网络压缩方法作为Codec模块，则再单独对压缩部分的网络做训练。第三步将训练好的超分网络和压缩网络放一起训练，压缩网络插入在超分网络的降采样和超分之间，用于对低分影像做压缩。
第三步，用于数据测试，把图4的自适应压缩的选择机制以及注意力映射的压缩模块插入到训练好的网络中，输入测试图像和参考影像即可实现影像的编解码。(图3只是训练的网络图，因此图3中没有自适应压缩的选择机制和注意力映射的压缩模块)。
实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种参考历史影像的高分辨率光学遥感影像压缩系统，包括以下模块，
第一模块，用于数据准备，将找到的参考影像与待压缩的重访影像做配准，然后裁剪影像作为训练数据和测试数据；
第二模块，用于设置基于参考纹理迁移的光学遥感影像深度学习压缩模型，采用先降采样后超分的基于学习的网络架构，进行相应训练时包括以下处理，
影像纹理特征的提取，包括利用可学习的纹理提取器从参考影像与当前影像中分布提取纹理特征，将标准内积作为相似性构造硬注意力映射H与软注意力映射S，记录参考影像中与当前影像相关纹理的位置与置信度；
先降采样后超分的编解码，包括对当前影像做降采样过滤掉大部分的空间信息，在解码时先重构出降采样后的低分影像，然后通过引入参考影像作为辅助信息的超分网络对降采样做相应超分，恢复出原分辨率大小的重构图像；
第三模块，用于以原图的重构损失、低分影像重构损失和编码代码的熵作为损失函数训练网络，得到训练好的光学遥感影像压缩模型；
第四模块，用于基于第三模块所得训练好的光学遥感影像压缩模型，输入待压缩的光学遥感影像，提取压缩后的影像并进行质量评估。
在一些可能的实施例中，提供一种参考历史影像的高分辨率光学遥感影像压缩系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种参考历史影像的高分辨率光学遥感影像压缩方法。
在一些可能的实施例中，提供一种参考历史影像的高分辨率光学遥感影像压缩系统，按功能划分实现，包括下列模块：
预处理模块，用于对输入的当前影像和参考影像进行配准和裁剪。
特征提取模块，用于提取当前影像和参考影像的纹理特征。
注意力映射模块，用于利用两张影像的纹理特征相似度构建表示纹理映射关系，包括硬注意力映射和软注意映射。其中硬注意力映射记录最相似的特征分量的索引编号，软注意力映射记录的是最相似的特征分量的标准正交值。
降采样与自适应压缩模块，将软注意力映射的均值
Figure BDA0003717079320000151
作为衡量参考影像与当前影像相似度的指标。对降采样过程中所采用高斯模糊的模糊核进行调整。同时将原图像按64×64尺寸划分为多个宏块，每个宏块的相似度指标
Figure BDA0003717079320000152
与阈值t比较，若小于t，则采用自纹理学习，用原图像的宏块替代参考影像作为超分的辅助信息；反之，则仍采用参考影像作为超分的辅助信息。
低分影像编解码模块，对低分影像进行压缩，输出编码的代码，也可以对编码的代码解码，输出压缩的低分影像。
自纹理的编解码模块，对采用自纹理学习的区域，压缩该宏块影像，并将宏块的位置信息写进编码中。也可以对编码的代码解码，输出宏块的位置信息和宏块的压缩影像。
注意力映射的编解码模块，对于需要提供高清晰度的压缩影像的情况下，可以在编码编码阶段将原图像与参考影像的硬注意力映射和软注意力映射一起压缩。此模块可以提高压缩影像的质量与解码速度。
低分影像超分模块，从参考影像中找出可迁移的纹理特征，利用注意力映射将低分影像特征与可迁移特征融合，进而通过超分生成网络输出低分影像的2倍超分影像。
其中，编码工作阶段可根据需求选择是否压缩注意力映射矩阵，若解码时发现了注意力映射矩阵的编码则直接采用解码出的注意力映射，不必再重新计算。若不压缩注意力映射矩阵，则解码时要先对低分影像做2倍上采样，然后计算上采样影像和参考影像的注意力映射。
在一些可能的实施例中，提供一种参考历史影像的高分辨率光学遥感影像压缩系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种参考历史影像的高分辨率光学遥感影像压缩方法。

Claims (9)

1.一种参考历史影像的高分辨率光学遥感影像压缩方法，包括以下步骤：
步骤A，数据准备，将找到的参考影像与待压缩的重访影像做配准，然后裁剪影像作为训练数据和测试数据；
步骤B，设置基于参考纹理迁移的光学遥感影像深度学习压缩模型，采用先降采样后超分的基于学习的网络架构，进行相应训练时包括以下处理，
影像纹理特征的提取，包括利用可学习的纹理提取器从参考影像与当前影像中分布提取纹理特征，将标准内积作为相似性构造硬注意力映射H与软注意力映射S，记录参考影像中与当前影像相关纹理的位置与置信度；
先降采样后超分的编解码，包括对当前影像做降采样过滤掉大部分的空间信息，在解码时先重构出降采样后的低分影像，然后通过引入参考影像作为辅助信息的超分网络对降采样做相应超分，恢复出原分辨率大小的重构图像；
步骤C，以原图的重构损失、低分影像重构损失和编码代码的熵作为损失函数训练步骤B中设置的网络，得到训练好的光学遥感影像压缩模型；
步骤D，基于步骤C所训练好的光学遥感影像压缩模型，输入待压缩的光学遥感影像，提取压缩后的影像并进行质量评估。
2.根据权利要求1所述参考历史影像的高分辨率光学遥感影像压缩方法，其特征在于：可学习的纹理提取器是一个浅层神经网络，用于从输入图像中提取出纹理特征，依次包括CONV、CONV、POOL、CONV、CONV、POOL和CONV，其中CONV为卷积层，POOL为池化层。
3.根据权利要求1所述参考历史影像的高分辨率光学遥感影像压缩方法，其特征在于：步骤D中会将参考图像的相似度作为评判依据，进行基于参考纹理的自适应压缩方法和自适应降采样方法。
4.根据权利要求1或2或3所述参考历史影像的高分辨率光学遥感影像压缩方法，其特征在于：基于参考纹理迁移的光学遥感影像深度学习压缩模型中，先降采样后超分的编解码实现原理如下，
编码时，设从当前影像和参考影像中提取的特征分别为Q和K，且
Figure FDA0003717079310000011
c为维度，
Figure FDA0003717079310000012
为实数域，把特征从像素维度(h×w)展开，把特征K和Q从像素维度(h×w)将特征展开为逐个向量unfold(K)、unfold(Q)，如下式：
Figure FDA0003717079310000021
Figure FDA0003717079310000022
Q中的每个子特征qi与K中的每个子特征kj计算它们之间的相关性，计算公式采用标准内积：
Figure FDA0003717079310000023
由上述相关性可以得到硬注意力映射和软注意力映射，硬注意力映射H的第i个分量
Figure FDA0003717079310000024
软注意力映射S的第i分量
Figure FDA0003717079310000025
其中软注意力映射的均值
Figure FDA0003717079310000026
用于作为衡量参考影像与当前影像相似度的指标，指导模型进行自适应压缩和自适应降采样；
解码时，利用低分影像的上采样图像提取的特征Q'和参考图像特征K计算硬注意力映射H和软注意力映射S，实现方式和编码端相同；然后构造可迁移的纹理特征，利用硬注意力机制从参考纹理特征中找到相似性最高的分量，这些分量组成可迁移的纹理特征，公式如下，
Figure FDA0003717079310000027
Figure FDA0003717079310000028
其中，ti为T的第i分量，
Figure FDA0003717079310000029
为按照硬注意力映射在特征K的分量中搜索到的对应位置i的特征分量；
对于采用了自适应压缩中的自纹理参考模型的区域，需要对特征T进行修正，实现方式是从经过了粗压缩的高分图像块中提取纹理特征块，从码流中读取出采用了自纹理参考区域的位置，用此纹理特征替代原特征T中对应位置特征分量的数值，每一块替换的区域长宽为原来特征T的1/4；
经过修正后的特征T就是接下来输入超分生成网络的可迁移纹理特征，在做超分之前还需要做特征的融合，公式如下：
Figure FDA00037170793100000210
其中，Fout是输出的融合特征，Conv和Concat分别表示卷积操作和张量的拼接操作，
Figure FDA00037170793100000211
是两边矩阵对应位置上的元素求积的运算；
最终将融合特征输入超分生成网络输出原分辨率影像的重构影像。
5.根据权利要求1或2或3所述参考历史影像的高分辨率光学遥感影像压缩方法，其特征在于：步骤C中，以原图的重构损失、低分影像重构损失和编码代码的熵作为损失函数训练步骤B的网络。
6.一种参考历史影像的高分辨率光学遥感影像压缩系统，其特征在于：用于实现如权利要求1-5任一项所述的一种参考历史影像的高分辨率光学遥感影像压缩方法。
7.根据权利要求6所述参考历史影像的高分辨率光学遥感影像压缩系统，其特征在于：包括以下模块，
第一模块，用于数据准备，将找到的参考影像与待压缩的重访影像做配准，然后裁剪影像作为训练数据和测试数据；
第二模块，用于设置基于参考纹理迁移的光学遥感影像深度学习压缩模型，采用先降采样后超分的基于学习的网络架构，进行相应训练时包括以下处理，
影像纹理特征的提取，包括利用可学习的纹理提取器从参考影像与当前影像中分布提取纹理特征，将标准内积作为相似性构造硬注意力映射H与软注意力映射S，记录参考影像中与当前影像相关纹理的位置与置信度；
先降采样后超分的编解码，包括对当前影像做降采样过滤掉大部分的空间信息，在解码时先重构出降采样后的低分影像，然后通过引入参考影像作为辅助信息的超分网络对降采样做相应超分，恢复出原分辨率大小的重构图像；
第三模块，用于以原图的重构损失、低分影像重构损失和编码代码的熵作为损失函数训练网络，得到训练好的光学遥感影像压缩模型；
第四模块，用于基于第三模块所得训练好的光学遥感影像压缩模型，输入待压缩的光学遥感影像，提取压缩后的影像并进行质量评估。
8.根据权利要求6所述参考历史影像的高分辨率光学遥感影像压缩系统，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-5任一项所述的一种参考历史影像的高分辨率光学遥感影像压缩方法。
9.根据权利要求6所述参考历史影像的高分辨率光学遥感影像压缩系统，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-5任一项所述的一种参考历史影像的高分辨率光学遥感影像压缩方法。
CN202210746586.0A 2022-06-28 2022-06-28 一种基于参考影像纹理迁移的遥感影像压缩方法及系统 Pending CN115131675A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210746586.0A CN115131675A (zh) 2022-06-28 2022-06-28 一种基于参考影像纹理迁移的遥感影像压缩方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210746586.0A CN115131675A (zh) 2022-06-28 2022-06-28 一种基于参考影像纹理迁移的遥感影像压缩方法及系统

Publications (1)

Publication Number Publication Date
CN115131675A true CN115131675A (zh) 2022-09-30

Family

ID=83380574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210746586.0A Pending CN115131675A (zh) 2022-06-28 2022-06-28 一种基于参考影像纹理迁移的遥感影像压缩方法及系统

Country Status (1)

Country Link
CN (1) CN115131675A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168311A (zh) * 2023-04-18 2023-05-26 中国人民解放军战略支援部队航天工程大学 一种用于森林病虫害的无人机遥感监测系统及方法
CN116258628A (zh) * 2023-01-03 2023-06-13 西安邮电大学 一种基于空间变换网络的参考图像超分辨率方法
CN116597062A (zh) * 2023-07-10 2023-08-15 北京麟卓信息科技有限公司 一种基于动态自适应解码的压缩纹理渲染优化方法
CN116939210A (zh) * 2023-09-13 2023-10-24 瀚博半导体(上海)有限公司 基于自编码器的图像压缩方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258628A (zh) * 2023-01-03 2023-06-13 西安邮电大学 一种基于空间变换网络的参考图像超分辨率方法
CN116168311A (zh) * 2023-04-18 2023-05-26 中国人民解放军战略支援部队航天工程大学 一种用于森林病虫害的无人机遥感监测系统及方法
CN116168311B (zh) * 2023-04-18 2023-07-18 中国人民解放军战略支援部队航天工程大学 一种用于森林病虫害的无人机遥感监测系统及方法
CN116597062A (zh) * 2023-07-10 2023-08-15 北京麟卓信息科技有限公司 一种基于动态自适应解码的压缩纹理渲染优化方法
CN116597062B (zh) * 2023-07-10 2024-02-09 北京麟卓信息科技有限公司 一种基于动态自适应解码的压缩纹理渲染优化方法
CN116939210A (zh) * 2023-09-13 2023-10-24 瀚博半导体(上海)有限公司 基于自编码器的图像压缩方法和装置
CN116939210B (zh) * 2023-09-13 2023-11-17 瀚博半导体(上海)有限公司 基于自编码器的图像压缩方法和装置

Similar Documents

Publication Publication Date Title
CN110225341B (zh) 一种任务驱动的码流结构化图像编码方法
CN115131675A (zh) 一种基于参考影像纹理迁移的遥感影像压缩方法及系统
US8223837B2 (en) Learning-based image compression
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN110415172B (zh) 一种面向混合分辨率码流中人脸区域的超分辨率重建方法
Islam et al. Image compression with recurrent neural network and generalized divisive normalization
CN109949217B (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN114449276B (zh) 一种基于学习的超先验边信息补偿图像压缩方法
CN115170985B (zh) 一种基于阈值注意力的遥感图像语义分割网络及分割方法
Xiang et al. Remote sensing image compression based on high-frequency and low-frequency components
CN112991169B (zh) 基于图像金字塔和生成对抗网络的图像压缩方法及系统
Du et al. Optical Flow-based Spatiotemporal Sketch for Video Representation: A Novel Framework
Wang et al. Uplink-Assist Downlink Remote Sensing Image Compression via Historical Referecing
CN111080729A (zh) 基于Attention机制的训练图片压缩网络的构建方法及系统
CN115147317A (zh) 一种基于卷积神经网络的点云颜色质量增强方法及系统
CN113822801B (zh) 基于多分支卷积神经网络的压缩视频超分辨率重建方法
Ayyoubzadeh et al. Lossless compression of mosaic images with convolutional neural network prediction
Iwai et al. Self texture transfer networks for low bitrate image compression
Kamble et al. Quadtree partitioning and extended weighted finite automata-based fractal colour video coding
CN106709873A (zh) 一种基于三次样条插值和迭代更新的超分辨率方法
Lei et al. An end-to-end face compression and recognition framework based on entropy coding model
CN117528085B (zh) 一种基于智能特征聚类的视频压缩编码方法
Li et al. You Can Mask More For Extremely Low-Bitrate Image Compression
WO2024183810A1 (zh) 编解码方法、装置及其设备
CN111246205B (zh) 基于方向双四元数滤波器组的图像压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination