CN116758173A - 基于灰度引导的多光谱遥感影像压缩方法及系统 - Google Patents
基于灰度引导的多光谱遥感影像压缩方法及系统 Download PDFInfo
- Publication number
- CN116758173A CN116758173A CN202310724882.5A CN202310724882A CN116758173A CN 116758173 A CN116758173 A CN 116758173A CN 202310724882 A CN202310724882 A CN 202310724882A CN 116758173 A CN116758173 A CN 116758173A
- Authority
- CN
- China
- Prior art keywords
- image
- remote sensing
- compression
- multispectral
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006835 compression Effects 0.000 title claims abstract description 140
- 238000007906 compression Methods 0.000 title claims abstract description 140
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000003595 spectral effect Effects 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000001228 spectrum Methods 0.000 claims abstract description 49
- 238000002360 preparation method Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 15
- 238000005520 cutting process Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 239000013307 optical fiber Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 11
- 238000009826 distribution Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供基于灰度引导的多光谱遥感影像压缩方法及系统，能够有效降低多光谱图像的数据冗余，提高压缩质量和倍数。方法包括：步骤1，数据准备；步骤2，搭建用于训练的模型；步骤2‑1，进行光谱和空间降采样；步骤2‑2，提取空间特征和光谱特征；步骤2‑3，以波段1的空间特征为引导，对其他波段的灰度图像进行预测，然后以空间降采样影像的光谱特征作为约束，使预测的多光谱影像的光谱特征与原图像块一致；将预测影像与原图像块相减得到残差；步骤2‑4，对残差进行编解码，并对空间特征与光谱特征潜变量进行编解码；步骤3，训练后得到多光谱遥感影像压缩模型；步骤4，将待压缩的遥感影像输入多光谱遥感影像压缩模型中进行压缩。
Description
技术领域
本发明属于图像数据处理技术领域，具体涉及基于灰度引导的多光谱遥感影像压缩方法及系统。
背景技术
随着遥感技术的不断发展，高分辨率多光谱遥感影像已经广泛应用于各种实际问题的解决，例如目标探测、灾害预警和交通监测等。这些问题通常要求遥感卫星获取大幅宽和高空间分辨率的遥感数据，然而，及时将遥感卫星捕获的图像传输到地面已成为拓展遥感数据应用场景的关键技术问题。由于星地间传输链路带宽小于地面，且多光谱遥感影像的波段数多余一般的自然影像，多个波段间的冗余信息导致需要传输的数据量激增，因此迫切需要一种新型的高压缩比多光谱遥感图像压缩方法。图像预测编码是一种基于图像像素预测的无损压缩技术，它可以通过对图像的空间和时间域进行预测来实现高效的压缩。
针对空间域的预测编码常见于静态图像的压缩，它利用图像中像素值的统计特性和相邻像素之间的相关性，将原始图像压缩成更小的数据量，以便于存储和传输。预测编码方法包括基于像素的线性预测编码和基于模板的非线性预测编码。
针对时间域的压缩主要是指对视频的帧间压缩，预测编码同样是一种重要的技术手段。最早的视频压缩标准H.261采用了基于运动估计的预测编码方法，通过对图像序列中帧间的运动信息进行估计和编码，达到了较高的压缩比。之后，随着视频编码标准的不断升级，预测编码技术也得到了进一步的发展。如MPEG-1和MPEG-2等标准中使用了帧内预测和帧间预测相结合的方法，通过对帧内的空间相关性和帧间的时域相关性进行利用，实现了更高的压缩效率。随着视频分辨率和码率的不断提高，传统的预测编码方法已经难以满足现代视频压缩的需求。
但当前针对多光谱遥感影像压缩的研究较少，目前常用的方法是基于稀疏表示和主成分降维的方法，存在压缩倍数不足、信息丢失的问题。而基于神经网络的方法则通过深度学习技术来构建非线性模型，对多光谱图像进行预测和压缩。这些方法在压缩比较高时可以获得更好的压缩效果和重构质量。但基于神经网络的多光谱图像压缩方法仍然存在一些问题，因遥感影像的波段相比一般的自然图像更多，带来了更大的计算量和训练复杂度，需要大量的训练数据和计算资源、模型的解释性较差等。此外，这些方法还需要更进一步的改进和优化，以提高其在实际应用中的效率和性能。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供基于灰度引导的多光谱遥感影像压缩方法及系统，能够有效降低多光谱图像的数据冗余，提高压缩质量和倍数。
为了实现以上目的，本发明采用了以下方案：
本发明提供基于灰度引导的多光谱遥感影像压缩方法，包括以下步骤：
步骤1，数据准备，基于待压缩的多光谱遥感影像，获取同源的历史多光谱遥感影像，对历史多光谱遥感影像进行裁剪用于模型构建，每一幅历史多光谱遥感影像被裁剪成多个图像块；
步骤2，搭建用于训练的压缩模型；
步骤2-1，对于每张图像块均进行光谱和空间降采样：提取图像块的波段1的灰度影像，得到光谱降采样的图像，波段1为图像中成像波段最长的第一波段；对图像块进行空间降采样，得到空间降采样的图像；
步骤2-2，对于每张图像块均提取空间特征和光谱特征：从光谱降采样图像上提取空间特征，从空间降采样图像上提取光谱特征；
步骤2-3，对于每张图像块，以波段1的空间特征为引导，对其他波段的灰度图像进行预测，然后以空间降采样影像的光谱特征作为约束，使预测的多光谱影像的光谱特征与原图像块一致；将预测影像与原图像块相减得到残差，解码时将预测影像与残差相加得到重建的多光谱影像；该步骤内容在编码端与解码端均有使用；
步骤2-4，对残差进行编解码，并对空间特征与光谱特征潜变量进行编解码；
步骤3，设置模型训练的损失函数和模型参数，对步骤2搭建的压缩模型进行训练，训练好后得到基于灰度引导的多光谱遥感影像压缩模型；
步骤4，将待压缩的多光谱遥感影像输入多光谱遥感影像压缩模型中进行压缩。
优选地，本发明提供的基于灰度引导的多光谱遥感影像压缩方法，在步骤2-2中，利用浅层卷积神经网络分别搭建出空间特征提取器和光谱特征提取器；空间特征提取器由3×3×1的卷积核构成，用于从光谱降采样图像上提取空间特征；光谱特征提取器由1×1×3的一维卷积核构成，用于从空间降采样图像上提取光谱特征。本发明采用3×3×1的卷积核对光谱降采样图像进行空间特征提取，采用1×1×3卷积核对空间降采样图像进行光谱特征提取，有助于分别定向提取光谱特征和空间特征。
优选地，本发明提供的基于灰度引导的多光谱遥感影像压缩方法，在步骤2-2中，利用空间特征提取器从光谱降采样图像中得到空间特征U，利用光谱特征提取器从空间降采样图像/>中得到光谱特征V；U为/>的张量，U为/>的张量，h，w和c是原始图像块/>的高、宽和通道数。
优选地，本发明提供的基于灰度引导的多光谱遥感影像压缩方法，在步骤2-3中，将空间特征与光谱特征联合在一起得到空-谱联合特征F：
；
对F做空间上采样得到，然后以光谱维度（c+1）对上采样的联合特征进行划分，得到：
；
式中，表示联合特征的第i个通道；H表示上采样后的特征；
计算与/>的F范数下的内积，作为两个通道的空间相似度/>：
；
组成联合特征第1个通道与第2个通道至第c+1个通道的空间相似度向量，/>；
以波段1的灰度影像为引导，添加波段间的空间相似度向量S作为注意力机制，对空-谱联合特征进行融合：
；
式中，为输出的融合特征，/>为上采用的联合特征，/>表示卷积操作，/>表示哈达玛积（Hadamard product）运算，最终将融合特征/>输入图像生成网络G生成原始分辨率下的多光谱图像的预测结果/>；
预测结果与原图像块/>做差，得到残差（图）/>。
优选地，本发明提供的基于灰度引导的多光谱遥感影像压缩方法，在步骤2-4中，残差的编解码采用基于小波变换的编解码方法；空间特征与光谱特征采用基于高斯混合模型的熵估计分别进行编解码。
优选地，本发明提供的基于灰度引导的多光谱遥感影像压缩方法，在步骤4中，待压缩的多光谱遥感影像是已经按照步骤1同样的方式进行裁剪处理后的影像数据。
具体地，本发明提供的基于灰度引导的多光谱遥感影像压缩方法，基于步骤1~3构建好多光谱遥感影像压缩模型后，所有同源的多光谱遥感影像都能够按照步骤4输入多光谱遥感影像压缩模型直接进行压缩，实现编解码。
进一步，本发明还提供能够自动实现上述本发明方法的基于灰度引导的多光谱遥感影像压缩系统，包括：
数据准备部，基于待压缩的多光谱遥感影像，获取同源的历史多光谱遥感影像，对历史多光谱遥感影像进行裁剪用于模型构建，每一幅历史多光谱遥感影像被裁剪成多个图像块；
训练模型搭建部，搭建用于训练的压缩模型；包括如下模块：
降采样模块，对于每张图像块均进行光谱和空间降采样：提取图像块的波段1的灰度影像，得到光谱降采样的图像，波段1为图像中成像波段最长的第一波段；对图像块进行空间降采样，得到空间降采样的图像；
特征提取模块，对于每张图像块均提取空间特征和光谱特征：从光谱降采样图像上提取空间特征，从空间降采样图像上提取光谱特征；
其他波段预测模块，对于每张图像块，以波段1的空间特征为引导，对其他波段的灰度图像进行预测，然后以空间降采样影像的光谱特征作为约束，使预测的多光谱影像的光谱特征与原图像块一致；将预测影像与原图像块相减得到残差，解码时将预测影像与残差相加得到重建的多光谱影像；
编解码模块，对残差进行编解码，并对空间特征与光谱特征潜变量进行编解码；
压缩模型构建部，设置模型训练的损失函数和模型参数，对步骤2搭建的压缩模型进行训练，训练好后得到基于灰度引导的多光谱遥感影像压缩模型；
压缩部，将待压缩的多光谱遥感影像输入多光谱遥感影像压缩模型中进行压缩；
控制部，与数据准备部、训练模型搭建部、压缩模型构建部、压缩部均通信相连，控制它们的运行。
优选地，本发明提供的基于灰度引导的多光谱遥感影像压缩系统，还可以包括：测试模块，用于对压缩模型构建部训练好的模型进行基于灰度引导的多光谱遥感影像测试验证；向模型中，输入要压缩多光谱影像测试数据，通过波段1的灰度信息为引导，输出编码文件与解码图像并测试解码图像的峰值信噪比和结构相似度；若测试结果不满足要求，则返回压缩模型构建部，进行调整：根据峰值信噪比和结构相似度，对于解码图像质量不满足要求的情况，增加训练的迭代次数，并增加损失函数中对应原图像块预测误差的权重值，继续训练；压缩前后文件大小的对比，对于压缩倍数不满足要求的情况，则增加损失函数中对应潜码熵的权重值/>，继续训练。
本发明提供的基于灰度引导的多光谱遥感影像压缩系统，还可以包括：输入显示部，与控制部通信相连，用于让用户输入操作指令，并进行相应显示。
以上本发明提供的基于灰度引导的多光谱遥感影像压缩方法及系统，与现有技术相比具有如下优势：
（1）本发明可以有效去除多光谱影像光谱冗余信息。
（2）本发明对于选取的参考波段的变化具有很强的鲁棒性，适用于大部分场景下的多光谱遥感影像的压缩。
（3）相比其他的深度学习压缩方法，本发明所采用的残差预测压缩方式可以通过调整压缩残差的量化步长实现灵活的率失真优化。
（4）本发明对于多光谱遥感影像的高倍压缩具有优势，可以充分利用多光谱的光谱冗余信息提高影像的压缩倍数和解码质量以及高倍压缩下的多光谱影像的清晰度。
附图说明
图1为本发明实施例涉及的搭建压缩模型的流程图；
图2为本发明实施例涉及的浅层特征提取器和其他波段的灰度预测过程示意图；
图3为本发明实施例涉及的多光谱遥感影像压缩结果展示图。
具体实施方式
以下结合附图对本发明涉及的基于灰度引导的多光谱遥感影像压缩方法及系统的具体实施方案进行详细地说明。
<实施例一>
本实施例一涉及的基于灰度引导的多光谱遥感影像压缩方法，具体步骤如下：
一、数据准备，对拍摄的原始大幅宽的遥感影像进行裁剪，将裁剪后的图像块（小块图像）用于训练数据和测试数据。
本实施例中，对每一幅原始影像都进行裁剪，生成128×128的图像块，所有影像裁剪完最终生成1万多张的图像块。图像块的尺寸根据训练采用的显卡性能而定，当显卡性能更强、显存更大时，也可采用256×256的。
本实施例中，将裁剪后所有数据按照9：1的数量比例随机划分出训练数据和测试数据。
二、如图1所示，搭建用于训练的压缩模型。
多光谱图像覆盖多个成像波段，按照波长由长到短进行排列，选取第一个波段作为波段1，该波段下的成像结果作为波段1的灰度影像。采用基于波段1的灰度影像的空间信息对其他波段的灰度信息进行预测编码，然后对预测的残差和波段1的灰度影像以及降采样的多光谱图像进行编解码。
本部分包括：对波段1的灰度影像分离和空间分辨率的降采样，得到具有原空间分辨率的单波段灰度影像和具有原光谱维度的低分辨率多光谱影像；进行浅层特征提取，包括空间特征的提取和光谱特征的提取；对其他波段灰度影像进行预测，利用浅层特征提取器获得空间特征和光谱特征，通过深度生成网络对除波段1外的其他波段的灰度影像数据进行预测。熵编解码，对预测残差的编解码，并且对浅层空间特征和光谱特征的熵编码和熵解码；对解码后的波段1的灰度影像和低分辨率多光谱影像提取浅层特征；通过空间特征和光谱特征对原始影像进行预测，将预测结果与解码后的残差相加，获得原始影像的重构图像。
（1）首先介绍实施例中进行浅层特征提取与预测编码：
如图2所示，通过两个浅层神经网络——空间特征提取器与光谱特征提取器，分别从波段1的灰度影像中提取空间特征U，从降采样的多光谱影像中提取光谱特征V。该浅层神经网络的层次依次包括CONV、CONV、POOL、CONV、CONV、POOL和CONV，其中CONV为卷积层，POOL为池化层。本实施例中，设置空间特征提取器的CONV卷积核为3×3×1，光谱特征提取器的CONV卷积核为1×1×3。
然后进行其他波段的灰度影像的预测：
将空间特征与光谱特征联合在一起得到空-谱联合特征F，如下式：
；
对F做空间上采样得到，然后以光谱维度（c+1）对上采样的联合特征进行划分，得到：
；
式中，表示联合特征的第i个通道。计算/>与/>的F范数下的内积，作为两个通道的空间相似度/>：
；
组成联合特征第1个通道与第2个通道至第c+1个通道的空间相似度向量，其中/>。
以波段1的灰度影像为引导，添加波段间的空间相似度向量S作为注意力机制，对空-谱联合特征进行融合：
；
式中，为输出的融合特征，/>为上采用的联合特征，/>表示卷积操作，/>表示哈达玛积（Hadamard product）运算。最终将融合特征/>输入图像生成网络G生成原始分辨率下的多光谱图像的预测结果/>。
预测结果与原始图像/>做差，得到残差图/>。
（2）对残差图进行编码；
采用离散小波变换对整个残差图进行变换编码，设离散小波变换的低通滤波器h和高通滤波器g为：
；
对残差图的离散小波变换表示为：
；
式中，表示残差图/>的第j-1层、第2k+n个位置的像素值，h和g为低通和高通滤波器，j，k分布表示分解到的层数和位置，N为小波滤波器的长度，/>和/>分别表示分解后的低频和高频系数。
对变换系数进行量化与算数编码即可生成残差的编码文件，通过调整强化的步长可以灵活的调整残差图的压缩倍数。
小波逆变换用于将变换系数恢复为重构的残差，其公式可以表示为：
；
（3）对空间特征和光谱特征进行熵编码；
熵编码与熵解码用于对波段1的灰度影像的空间特征U和降采样图像/>的光谱特征V进行熵编码与熵解码。通过高斯混合模型对潜变量进行预测，进而实现潜变量的精准熵估计，可以用如下公式表示/>和空间特征U的熵编码与熵解码过程：
；
式中，和/>分别表示波段1的灰度图像和其熵解码的重建图像，U是空间特征，和/>分别表示空间特征的潜变量和经过量化的潜变量，/>指空间特征提取器，Q指量化过程，/>和/>分别表示熵编码器和熵解码器，/>和/>是它们的参数；/>是依据潜变量对重构图像分布的熵估计，即单波段灰度图像在量化的潜变量/>下的条件分布，p表示变量的条件分布。
类似地，I lr和光谱特征V的熵编码与熵解码过程可以表示为：
；
式中，和/>分别表示降采样图像和其熵解码的重建图像，V是光谱特征，/>和/>分别表示光谱特征的潜变量和经过量化的潜变量，/>指光谱特征提取器；/>是依据潜变量对重构图像分布的熵估计，即降采样图像在量化的潜变量/>下的条件分布。
三、设置模型训练的损失函数和模型参数。
以原图（裁剪后的小图像块，即训练数据）的预测误差、波段1灰度影像的重构损失、降采样图像的重构损失和潜变量熵编码的熵作为整个模型训练的损失函数，实施例中损失函数公式如下：
；
式中，为原图（裁剪后的小图像块）的预测误差，/>为波段1灰度影像的重构损失，/>为降采样图像的重构损失，/>为潜码的熵，/>为总的损失函数，/>、/>、/>分别为图像块、波段1灰度图像、降采样图像，/>为编码器对原图的预测结果，/>和/>分别为和/>的熵解码重构图像，/>和/>为图像的潜变量，/>为潜变量分布的参数，/>、/>、、/>分别为/>、/>、/>、/>对应的权重系数，实施例中设置为/>，/>，，/>。
训练代数设置为300代，batch_size设置为16，学习率设置为0.0001，优化函数选择自适应学习率优化算法Adam。
四、基于步骤三训练好的压缩模型，输入待压缩的多光谱遥感影像，实现高压缩倍数的多光谱遥感影像的编解码。
步骤二所提及的光谱与空间的降采样模块，用于简单地将原图像块空间特征与光谱特征进行分离，通过提取多光谱影像的第一个波段做光谱降采样得到包含图像空间信息的灰度图像/>，通过双三次插值做空间降采样得到包含光谱信息的低分辨率图像/>。
步骤二所提及的浅层特征提取器是一个浅层的卷积神经网络，其层次依次包括CONV、CONV、POOL、CONV、CONV、POOL和CONV，其中CONV为卷积层，POOL为池化层。其中空间特征提取器的CONV卷积核为3×3×1，光谱特征提取器的CONV卷积核为1×1×3。
上述过程中，对于待压缩的多光谱遥感影像，用同源（同样卫星拍摄的）一部分历史数据进行训练，一部分历史数据来测试，测试符合要求后，对于这个拍摄源的所有多光谱遥感影像，都可以用步骤三“训练好的基于灰度引导的多光谱遥感影像压缩模型”直接压缩了。只有当拍摄源变了，才需要重新获取历史数据并采用以上本方案的步骤二至三训练模型和进行测试。
如图3所示，为了便于理解本发明的技术效果，将本发明与现有技术压缩方法BPG和最先进的神经网络压缩方法CAE在高分多模卫星多光谱数据（8波段多光谱影像）上进行测试比较，测试结果详见下表I：
表Ⅰ 在高分多模遥感影像测试数据上的对比结果
表Ⅰ中记录了各模型在高分多模卫星的多光谱遥感影像测试数据上的结果。
根据图3和表I的对比结果，用峰值信噪比（PSNR）和结构相似度（SSIM）衡量压缩影像的质量，两者都是数值越高表示压缩的图像越清晰。可以看到采用本发明进行遥感影像压缩的图像质量明显高于传统方法以及其他的采用神经网络的最先进的压缩方法，相比BPG能减少35%的码率，相比CAE能减少60%的码率。
<实施例二>
本实施例二中提供了能够自动实现以上本发明方法的基于灰度引导的多光谱遥感影像压缩系统，该系统包括数据准备部、训练模型搭建部、压缩模型构建部、压缩部、输入显示部以及控制部。
数据准备部执行上文步骤1所描述的内容，基于待压缩的多光谱遥感影像，获取同源的历史多光谱遥感影像，对历史多光谱遥感影像进行裁剪用于模型构建，每一幅历史多光谱遥感影像被裁剪成多个图像块。
训练模型搭建部执行上文步骤2所描述的内容，搭建用于训练的压缩模型；包括降采样模块、特征提取模块、其他波段预测模块、编解码模块。
压缩模型构建部执行上文步骤3所描述的内容，设置模型训练的损失函数和模型参数，对步骤2搭建的压缩模型进行训练，训练好后得到基于灰度引导的多光谱遥感影像压缩模型。
压缩部执行上文步骤4所描述的内容，将待压缩的多光谱遥感影像输入多光谱遥感影像压缩模型中进行压缩。压缩部包括测试模块和压缩模块。测试模块用于对压缩模型构建部训练好的模型进行基于灰度引导的多光谱遥感影像测试验证；向模型中，输入要压缩多光谱影像测试数据，通过波段1的灰度信息为引导，输出压缩编码文件与解码图像，并测试解码图像的峰值信噪比和结构相似度；若测试结果不满足要求，则返回压缩模型构建部，进行调整：根据峰值信噪比和结构相似度，对于解码图像质量不满足要求的情况，增加训练的迭代次数，并增加损失函数中的权重值，继续训练；根据压缩前后文件大小的对比，对于压缩倍数不满足要求的情况，则增加损失函数中的/>权重值，继续训练，直至测试结果满足要求；得到最终的多光谱遥感影像压缩模型。压缩模块将待压缩的多光谱遥感影像输入最终的多光谱遥感影像压缩模型中进行压缩。
输入显示部用于让用户输入操作指令，并根据操作指令对相应部或模块的输入、输出和中间处理数据进行相应显示。
控制部与数据准备部、训练模型搭建部、压缩模型构建部、压缩部、输入显示部均通信相连，控制它们的运行。
以上实施例仅仅是对本发明技术方案所做的举例说明。本发明所涉及的基于灰度引导的多光谱遥感影像压缩方法及系统并不仅仅限定于在以上实施例中所描述的内容，而是以权利要求所限定的范围为准。本发明所属领域技术人员在该实施例的基础上所做的任何修改或补充或等效替换，都在本发明的权利要求所要求保护的范围内。
Claims (10)
1.基于灰度引导的多光谱遥感影像压缩方法，其特征在于，包括以下步骤：
步骤1，数据准备，基于待压缩的多光谱遥感影像，获取同源的历史多光谱遥感影像，对历史多光谱遥感影像进行裁剪用于模型构建，每一幅历史多光谱遥感影像被裁剪成多个图像块；
步骤2，搭建用于训练的压缩模型；
步骤2-1，对于每张图像块均进行光谱和空间降采样：提取图像块的波段1的灰度影像，得到光谱降采样的图像，波段1为图像中成像波段最长的第一波段；对图像块进行空间降采样，得到空间降采样的图像；
步骤2-2，对于每张图像块均提取空间特征和光谱特征：从光谱降采样图像上提取空间特征，从空间降采样图像上提取光谱特征；
步骤2-3，对于每张图像块，以波段1的空间特征为引导，对其他波段的灰度图像进行预测，然后以空间降采样影像的光谱特征作为约束，使预测的多光谱影像的光谱特征与原图像块一致；将预测影像与原图像块相减得到残差，解码时将预测影像与残差相加得到重建的多光谱影像；
步骤2-4，对残差进行编解码，并对空间特征与光谱特征潜变量进行编解码；
步骤3，设置模型训练的损失函数和模型参数，对步骤2搭建的压缩模型进行训练，训练好后得到基于灰度引导的多光谱遥感影像压缩模型；
步骤4，将待压缩的多光谱遥感影像输入多光谱遥感影像压缩模型中进行压缩。
2.根据权利要求1所述的基于灰度引导的多光谱遥感影像压缩方法，其特征在于：
其中，在步骤2-2中，利用浅层卷积神经网络分别搭建出空间特征提取器和光谱特征提取器；空间特征提取器由3×3×1的卷积核构成，用于从光谱降采样图像上提取空间特征；光谱特征提取器由1×1×3的一维卷积核构成，用于从空间降采样图像上提取光谱特征。
3.根据权利要求1所述的基于灰度引导的多光谱遥感影像压缩方法，其特征在于：
其中，在步骤2-2中，利用空间特征提取器从光谱降采样图像中得到空间特征U，利用光谱特征提取器从空间降采样图像/>中得到光谱特征V；U为/>的张量，U为/>的张量，h，w和c是原图像块/>的高、宽和通道数。
4.根据权利要求3所述的基于灰度引导的多光谱遥感影像压缩方法，其特征在于：
其中，在步骤2-3中，将空间特征与光谱特征联合在一起得到空-谱联合特征F：
；
对F做空间上采样得到，然后以光谱维度（c+1）对上采样的联合特征进行划分，得到：
；
式中，表示联合特征的第i个通道；H表示上采样后的特征；
计算与/>的F范数下的内积，作为两个通道的空间相似度/>：
；
组成联合特征第1个通道与第2个通道至第c+1个通道的空间相似度向量，/>；
以波段1的灰度影像为引导，添加波段间的空间相似度向量S作为注意力机制，对空-谱联合特征进行融合：
；
式中，为输出的融合特征，/>为上采用的联合特征，/>表示卷积操作，/>表示哈达玛积运算，最终将融合特征/>输入图像生成网络G生成原始分辨率下的多光谱图像的预测结果/>；
预测结果与原图像块/>做差，得到残差/>。
5.根据权利要求1所述的基于灰度引导的多光谱遥感影像压缩方法，其特征在于：
其中，在步骤2-4中，残差的编解码采用基于小波变换的编解码方法；空间特征与光谱特征采用基于高斯混合模型的熵估计分别进行编解码。
6.根据权利要求1所述的基于灰度引导的多光谱遥感影像压缩方法，其特征在于：
其中，在步骤4中，待压缩的多光谱遥感影像是已经按照步骤1同样的方式进行裁剪处理后的影像数据。
7.根据权利要求1所述的基于灰度引导的多光谱遥感影像压缩方法，其特征在于：
其中，基于步骤1~3构建好多光谱遥感影像压缩模型后，所有同源的多光谱遥感影像都能够按照步骤4输入多光谱遥感影像压缩模型直接进行压缩，实现编解码。
8.基于灰度引导的多光谱遥感影像压缩系统，其特征在于，包括：
数据准备部，基于待压缩的多光谱遥感影像，获取同源的历史多光谱遥感影像，对历史多光谱遥感影像进行裁剪用于模型构建，每一幅历史多光谱遥感影像被裁剪成多个图像块；
训练模型搭建部，搭建用于训练的压缩模型；包括如下模块：
降采样模块，对于每张图像块均进行光谱和空间降采样：提取图像块的波段1的灰度影像，得到光谱降采样的图像，波段1为图像中成像波段最长的第一波段；对图像块进行空间降采样，得到空间降采样的图像；
特征提取模块，对于每张图像块均提取空间特征和光谱特征：从光谱降采样图像上提取空间特征，从空间降采样图像上提取光谱特征；
其他波段预测模块，对于每张图像块，以波段1的空间特征为引导，对其他波段的灰度图像进行预测，然后以空间降采样影像的光谱特征作为约束，使预测的多光谱影像的光谱特征与原图像块一致；将预测影像与原图像块相减得到残差，解码时将预测影像与残差相加得到重建的多光谱影像；
编解码模块，对残差进行编解码，并对空间特征与光谱特征潜变量进行编解码；
压缩模型构建部，设置模型训练的损失函数和模型参数，对步骤2搭建的压缩模型进行训练，训练好后得到基于灰度引导的多光谱遥感影像压缩模型；
压缩部，将待压缩的多光谱遥感影像输入多光谱遥感影像压缩模型中进行压缩；
控制部，与数据准备部、训练模型搭建部、压缩模型构建部、压缩部均通信相连，控制它们的运行。
9.根据权利要求8所述的基于灰度引导的多光谱遥感影像压缩系统，其特征在于：
其中，所述压缩部包括：
测试模块，用于对压缩模型构建部训练好的模型进行基于灰度引导的多光谱遥感影像测试验证；向模型中，输入要压缩多光谱影像测试数据，通过波段1的灰度信息为引导，输出编码文件与解码图像并测试解码图像的峰值信噪比和结构相似度；若测试结果不满足要求，则返回压缩模型构建部，进行调整：根据峰值信噪比和结构相似度，对于解码图像质量不满足要求的情况，增加训练的迭代次数，并增加损失函数中对应原图像块预测误差的权重值，继续训练；根据压缩前后文件大小的对比，对于压缩倍数不满足要求的情况，则增加损失函数中对应潜码熵的权重值，继续训练，直至测试结果满足要求；得到最终的多光谱遥感影像压缩模型；
压缩模块，将待压缩的多光谱遥感影像输入最终的多光谱遥感影像压缩模型中进行压缩。
10.根据权利要求8所述的基于灰度引导的多光谱遥感影像压缩系统，其特征在于，还包括：
输入显示部，与控制部通信相连，用于让用户输入操作指令，并进行相应显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310724882.5A CN116758173A (zh) | 2023-06-19 | 2023-06-19 | 基于灰度引导的多光谱遥感影像压缩方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310724882.5A CN116758173A (zh) | 2023-06-19 | 2023-06-19 | 基于灰度引导的多光谱遥感影像压缩方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116758173A true CN116758173A (zh) | 2023-09-15 |
Family
ID=87950981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310724882.5A Pending CN116758173A (zh) | 2023-06-19 | 2023-06-19 | 基于灰度引导的多光谱遥感影像压缩方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116758173A (zh) |
-
2023
- 2023-06-19 CN CN202310724882.5A patent/CN116758173A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11153566B1 (en) | Variable bit rate generative compression method based on adversarial learning | |
| US8223837B2 (en) | Learning-based image compression | |
| Sathiyanathan | Medical image compression using view compensated wavelet transform | |
| CN113554720A (zh) | 一种基于多方向卷积神经网络的多光谱图像压缩方法及系统 | |
| CN114449276B (zh) | 一种基于学习的超先验边信息补偿图像压缩方法 | |
| CN112866694A (zh) | 联合非对称卷积块和条件上下文的智能图像压缩优化方法 | |
| RU2335803C2 (ru) | Способ и устройство покадрового кодирования остаточного движения на основании сверхполного базисного преобразования для уплотнения видеоизображения | |
| CN104704839A (zh) | 视频压缩方法 | |
| CN101883280B (zh) | 一种恢复噪声的视频编解码方法和系统 | |
| EP4365820A1 (en) | Video super-resolution network, and video super-resolution, encoding and decoding processing method and device | |
| CN115131675A (zh) | 一种基于参考影像纹理迁移的遥感影像压缩方法及系统 | |
| CN113822147A (zh) | 一种协同机器语义任务的深度压缩方法 | |
| CN116916036A (zh) | 视频压缩方法、装置及系统 | |
| Dardouri et al. | Dynamic neural network for lossy-to-lossless image coding | |
| CN117441186A (zh) | 图像解码及处理方法、装置及设备 | |
| KR102245682B1 (ko) | 영상 압축 장치, 이의 학습 장치 및 방법 | |
| CN109474825B (zh) | 一种脉冲序列压缩方法及系统 | |
| CN114793282B (zh) | 带有比特分配的基于神经网络的视频压缩 | |
| CN116758173A (zh) | 基于灰度引导的多光谱遥感影像压缩方法及系统 | |
| CN115643406A (zh) | 视频解码方法、视频编码方法、装置、存储介质及设备 | |
| CN113822801A (zh) | 基于多分支卷积神经网络的压缩视频超分辨率重建方法 | |
| CN117425013B (zh) | 一种基于可逆架构的视频传输方法和系统 | |
| Jagadeesh et al. | Linear adaptive global node-tree filters based SPIHT MR image codec | |
| Wang et al. | Uplink-Assist Downlink Remote Sensing Image Compression via Historical Referecing | |
| WO2024078403A1 (zh) | 图像处理方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Xiao Jing Inventor after: Wang Mi Inventor after: Wang Huiwen Inventor after: Dong Tengteng Inventor after: Pi Yingdong Inventor before: Wang Huiwen Inventor before: Wang Mi Inventor before: Xiao Jing Inventor before: Dong Tengteng Inventor before: Pi Yingdong |
|
| CB03 | Change of inventor or designer information |