CN113051237A - 时间序列遥感数据的压缩存储方法 - Google Patents

时间序列遥感数据的压缩存储方法 Download PDF

Info

Publication number
CN113051237A
CN113051237A CN202110340872.2A CN202110340872A CN113051237A CN 113051237 A CN113051237 A CN 113051237A CN 202110340872 A CN202110340872 A CN 202110340872A CN 113051237 A CN113051237 A CN 113051237A
Authority
CN
China
Prior art keywords
fitting
function
remote sensing
sensing data
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110340872.2A
Other languages
English (en)
Other versions
CN113051237B (zh
Inventor
张阳坚
王力
黄妮
许时光
张跃林
贺原惠子
段文胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202110340872.2A priority Critical patent/CN113051237B/zh
Publication of CN113051237A publication Critical patent/CN113051237A/zh
Application granted granted Critical
Publication of CN113051237B publication Critical patent/CN113051237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1737—Details of further file system functions for reducing power consumption or coping with limited storage space, e.g. in mobile devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种时间序列遥感数据的压缩存储方法。根据季节拟合长时间序列的遥感数据，某一个像元的年时间序列数据的拟合函数为：
Figure DDA0002999542890000011
其中i代表空间上第i个像元，所述像元具有固定的行列号，k代表季节，x代表年积日，y1，y2，y3，y4都是年积日x的函数，f1(y1)用于拟合恒定变化速率的部分，f2(y2)用于拟合周期性变化的部分，f3(y3)用于拟合变化速率越来越大的部分，f4(y4)用于拟合变化速率越来越小的部分。

Description

时间序列遥感数据的压缩存储方法
技术领域
本发明涉及一种时间序列遥感数据的压缩存储方法。
背景技术
目前，国际上通用的遥感数据压缩方法大都采用编码、解码的压缩思路，尽可能地从存储上压缩遥感数据的存储空间，目前主流的压缩方法有JPEG-LS、JPEG-2000、SPIHT等，这些压缩方法基本上都支持无损压缩和有损压缩两种模式，其基本原理是尽可能地利用图像在空间上的邻域信息，消除邻域像元的统计相关性，通过编码减少存储空间。
随着遥感数据的海量式增长，发展更高压缩比、更小失真度的遥感数据压缩技术可进一步节约存储空间、保证更高效的数据分发效率以及提供更快捷的数据下载渠道。当前主流的遥感数据压缩方法大都采用有损压缩技术，在原理上，此类压缩技术可尽可能地消除遥感影像在空间上的统计相关性，减小遥感数据的存储空间，但随着压缩比的上升，有损压缩将导致影像质量损坏、原始影像与重建影像明显失真等问题，就目前的压缩方法而言，在压缩比超过4:1的情况下，压缩图像与原始图像一致性程度明显下降，难以保障高质量的压缩效果。
发明内容
针对上述问题，本发明提出了一种时间序列遥感数据的压缩存储方法，与以往遥感数据压缩方法不同的是，该压缩方法充分利用时间序列数据的统计相关性，利用数学模型拟合时间序列的遥感数据，达到去除时序相关性，压缩遥感数据存储量的目的。本发明所提出的数据压缩方法可以作为当前国际上主流的遥感数据压缩方法的一种补充，在时间域上进一步压缩遥感数据的存储空间，且此压缩方法具有一定的时间序列统计特征，可为时间序列的分析提供指导意义。
本发明的一种时间序列遥感数据的压缩存储方法，根据季节拟合长时间序列的遥感数据，某一个像元的年时间序列数据的拟合函数为：
Figure BDA0002999542870000021
其中i代表空间上第i个像元，所述像元具有固定的行列号，k为季节参数，当k取1、2、3、4时分别代表春、夏、秋、冬四个季节，x为年积日，y1，y2，y3，y4都是年积日x的函数，f1(y1)用于拟合恒定变化速率的部分，f2(y2)用于拟合周期性变化的部分，f3(y3)用于拟合变化速率越来越大的部分，f4(y4)用于拟合变化速率越来越小的部分。
优选的，f1(y1)为线性函数a*y1+β，f2(y2)为三角函数f2(y2)＝b*cos(2πy2)+c*sin(2πy2)，f3(y3)为指数函数
Figure BDA0002999542870000022
f4(y4)为对数函数f4(y4)＝e*ln(y4)，所述某一个像元的年时间序列数据的拟合函数为：
Figure BDA0002999542870000023
优选的，x的取值范围[0,365]或[0,366]，
Figure BDA0002999542870000024
的取值范围为[-1,1]，所述拟合函数中的各基础函数的值在[0,1]区间，
Figure BDA0002999542870000025
所述某一个像元的年时间序列数据的拟合模型为：
Figure BDA0002999542870000026
其中max为该季节的最大年积日，min为该季节的最小年积日。
附图说明
图1示出了利用本发明的模型对基础的数学函数拟合的图形。
图2示出了基础拟合函数的拟合效果。
图3示出了拟合模型的拟合效果图。
图4示出了地表温度数据的压缩结果
具体实施方式
下面结合附图和实施例对本发明的技术方案做进一步的说明。
地表的变化过程可以分为三类：1、年间变化，2、年内变化，3、突变。在地表不发生突变的情况下，地表的年间变化与年内变化是缓慢的，这类缓慢的变化过程在长时间序列的遥感数据上表现出一定的统计相关。虽然地表变化的过程是极其复杂的，使用单个拟合函数来拟合长时间序列的遥感数据并不现实，但对于单个季节中地表的时序演变过程，使用单个拟合函数进行拟合是科学且合理的。
以长时序NDVI数据为例，进行长时序NDVI数据的压缩。以北半球为例，将每年的12月到2月设定为冬季、3到5月设定为春季、6到8月设定为夏季、9到11月设定为秋季。对于每一个季节的时序数据，构建一个拟合模型，尽可能地利用拟合模型逼近时间序列上的数据点。
理论上，根据泰勒公式以及傅里叶变换原理，不论时序数据的变化函数有多复杂，都可以采用多项式或三角函数进行拟合，但这种盲目的拟合方法会增加拟合的运算量，而且拟合系数的大小无法控制，因而，发明一种符合地表变化过程的拟合函数是非常重要的。
在某一季节区间，按周期性特征，时序数据的变化可分为周期性变化和非周期性变化，而非周期性变化又可以分为以下三类：1.变化速率越来越快的变化；2.变化速率越来越小的变化；3.恒定速率的变化。
因此，对于某一个像元的年时间序列数据，每一季节的时间序列数据都可以用函数拟合模型进行精确拟合，拟合模型的基础构想如下所示：
Figure BDA0002999542870000031
其中i代表空间上第i个像元(具有固定的行列号)，k代表季节，当k取1、2、3、4时分别代表春、夏、秋、冬四个季节，y1，y2，y3，y4都是年积日x的函数，f1(y1)可用于拟合恒定变化速率的部分，f2(y2)可用于拟合周期性变化的部分，f3(y3)可用于拟合变化速率越来越大的部分，f4(y4)可用于拟合变化速率越来越小的部分。
对于变化速率恒定的部分，线性模型具有较好的拟合效果，因此，取α1＝1，f1(y1)＝ay1+β；而对于具有短周期变化以及对称信息的部分，三角函数具有较好的拟合效果，因此可取f2(y2)＝b*cos(2πy2)+c*sin(2πy2)；对于加速变化的部分，指数模型具有较好的拟合效果，因此可取
Figure BDA0002999542870000041
对于减速变化的部分，对数模型具有较好的拟合效果，因此可取f4(y4)＝e*ln(y4)。得到如下所示较为具体的拟合模型，
Figure BDA0002999542870000042
实际上x的取值范围[0,365]或[0,366]，但对于遥感中最为常见的NDVI数据，数据值
Figure BDA0002999542870000043
的取值范围为[-1,1]，则拟合函数中的基础函数(包括y1，cos(2πy2)，sin(2πy2)，
Figure BDA0002999542870000044
以及ln(y4))的取值范围不宜过大，否则拟合系数(包括a，b，c，d，e)将过小，较难保证拟合系数的存储精度，所以为确保拟合系数的存储精度，本发明将拟合函数中各项基础函数值控制在[0,1]区间，这样有利于提高拟合系数的存储精度。因此可取：
Figure BDA0002999542870000045
得到最终的拟合模型如下所示:
Figure BDA0002999542870000046
其中x为长时间序列数据的年积日，k为季节参数，max为该季节的最大年积日，min为该季节的最小年积日，各季节的年积日区间范围分别为[0,90],[91,181],[182,272],[273,365]。
此外实际求解时，已知时序数据的年积日和数据值，可通过最小二乘求解出拟合系数，求解时可设正则化参数为0.1，增加模型的泛化能力，由于拟合模型的精度较高，因此仅需要存储拟合系数就可以保证时序数据的精度，从而实现时序数据压缩。
以往的遥感数据压缩方法大都从消除空间相关性的角度进行数据压缩，本发明提出了一种新的遥感数据压缩方法，该方法可充分利用时间域遥感数据的统计相关性进行长时序遥感数据的压缩。由于地表(植被、气象等)变化的过程是一个逐渐变化的过程，考虑季度内时序数据变化的特征，上述模型可以建立一个反应地表缓慢变化过程的统计性描述，提取时间序列上的统计特征，将密集的时间序列简化为统计性的参数，从而达到压缩时间序列数据的目的。
本发明通过两个方面的对比来说明本发明的模型在时序遥感数据压缩上的效果，一、利用该模型对基础的数学函数分别进行拟合，并进行拟合效果的测定，二、对时序NDVI数据，分别利用本发明所提出的拟合模型以及多种基础数学函数组建的模型对该时序NDVI数据进行拟合，测定拟合效果并对比评价。测试评价的指标包括拟合误差、拟合系数的抗干扰能力、曲线的平滑度等。此外，本专利还提供部分温度数据的压缩效果图。
本发明拟合测试的基础数学函数包括
Figure BDA0002999542870000051
sin(x)+sin(3x)+sin(5x)+sin(7x)+cos(x)+cos(3x)+cos(5x)+cos(7x)，
Figure BDA0002999542870000052
以及多项式函数10x4+8x3+2.5x2+3x+103，按照函数类型分类，指数函数属于加速增长变化的函数，sin以及cos函数属于周期函数，而对数函数属于增长速度越来越慢的函数，多项式函数属于具有较为通用的函数。为评价函数的拟合效果，采用
Figure BDA0002999542870000053
进行拟合误差的评价，曲线拟合的平滑度通过具体的拟合图形进行比较评判。具体的拟合效果如表1基础函数拟合情况所示：
表1 基础函数拟合情况
Figure BDA0002999542870000054
图1示出了利用本发明的模型对基础的数学函数拟合的图形。从拟合结果来看，拟合函数的拟合结果与原始值之间差异并不大。从拟合图可知，拟合结果与初始值之间差异较小，拟合函数的拟合效果非常好，从基础函数的拟合结果可知，本发明所提出的函数拟合模型具有一定的泛化能力，能够对基础函数都取得较好的拟合效果。
为进一步对本发明的拟合模型进行拟合效果的评价，本发明以sg滤波重建后的NDVI时间序列数据作为目标拟合数据，分别采用不同的拟合模型进行拟合，比较不同拟合模型的拟合效果。
所采用的拟合模型有：
f1(x)＝ax2+bx+c
Figure BDA0002999542870000061
Figure BDA0002999542870000062
Figure BDA0002999542870000063
本次拟合中，采取分段拟合的方法对原始的NDVI时间序列数据进行拟合，本发明选取了一条典型的NDVI时间序列曲线进行拟合，拟合误差的具体情况如下表2拟合函数拟合情况对比所示：
表2 拟合函数拟合情况对比
Figure BDA0002999542870000064
为了突显拟合效果，原始的NDVI值都放大了1000倍，从表中可知本专利所提出的拟合模型，每个点的拟合误差非常小，每个点的拟合精度可以达到小数点后两位的精度，可满足大部分遥感应用的需求，这对于时序NDVI数据的压缩具有非常重要的意义。
图2示出了基础拟合函数的拟合效果。对图2的基础拟合函数的拟合效果进行分析可知，随着函数拟合模型参数的增加，拟合精度和拟合效果得到进一步提升，但与此同时所带来的是数据存储量的增加，对于图2所示的数据，本发明采取分段拟合的方法，共分四段分别进行拟合，可确保较高的拟合精度，以达到更高的压缩效率。
本发明提出的时间序列拟合模型可在使用尽可能少的拟合参数的同时保证较高的拟合精度，这也是本模型相较于普通拟合模型的优势之处，因此本发明的拟合模型对于时序数据压缩具有非常重要的意义，既可以实现较高的压缩比，还能保证数据的精度。图3是拟合模型的拟合效果图，显然本专利的拟合模型拟合参数少，拟合精度高，可适用于时序数据的压缩。图4是本模型对地表温度数据的压缩结果，在图中，温度数据扩大了50倍，x轴为温度值的次序(既一年中的第几个数据值)，由图可知，本专利的数据压缩模型可确保温度数据压缩后其精度仍满足应用需求。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (3)

1.一种时间序列遥感数据的压缩存储方法，根据季节拟合长时间序列的遥感数据，某一个像元的年时间序列数据的拟合函数为：
Figure FDA0002999542860000011
其中i代表空间上第i个像元，所述像元具有固定的行列号，k为季节参数，当k取1、2、3、4时分别代表春、夏、秋、冬四个季节，x为年积日，y1，y2，y3，y4都是年积日x的函数，f1(y1)用于拟合恒定变化速率的部分，f2(y2)用于拟合周期性变化的部分，f3(y3)用于拟合变化速率越来越大的部分，f4(y4)用于拟合变化速率越来越小的部分。
2.根据权利要求1所述的时间序列遥感数据的压缩存储方法，其中，f1(y1)为线性函数a*y1+β，f2(y2)为三角函数f2(y2)＝b*cos(2πy2)+c*sin(2πy2)，f3(y3)为指数函数
Figure FDA0002999542860000012
f4(y4)为对数函数f4(y4)＝e*ln(y4)，所述某一个像元的年时间序列数据的拟合函数为：
Figure FDA0002999542860000013
3.根据权利要求2所述的时间序列遥感数据的压缩存储方法，其中，
x的取值范围[0,365]或[0,366]，
Figure FDA0002999542860000014
的取值范围为[-1,1]，所述拟合函数中的各基础函数的值在[0,1]区间，
Figure FDA0002999542860000015
所述某一个像元的年时间序列数据的拟合模型为：
Figure FDA0002999542860000016
其中max为该季节的最大年积日，min为该季节的最小年积日。
CN202110340872.2A 2021-03-30 2021-03-30 时间序列遥感数据的压缩存储方法 Active CN113051237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110340872.2A CN113051237B (zh) 2021-03-30 2021-03-30 时间序列遥感数据的压缩存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110340872.2A CN113051237B (zh) 2021-03-30 2021-03-30 时间序列遥感数据的压缩存储方法

Publications (2)

Publication Number Publication Date
CN113051237A true CN113051237A (zh) 2021-06-29
CN113051237B CN113051237B (zh) 2022-12-09

Family

ID=76516502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110340872.2A Active CN113051237B (zh) 2021-03-30 2021-03-30 时间序列遥感数据的压缩存储方法

Country Status (1)

Country Link
CN (1) CN113051237B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115833843A (zh) * 2023-02-14 2023-03-21 临沂云斗电子科技有限公司 一种车辆运行监控数据存储优化方法及管理平台
CN116303409A (zh) * 2023-05-24 2023-06-23 北京庚顿数据科技有限公司 超高压缩比的工业生产时序数据透明压缩方法
CN116362453A (zh) * 2023-06-02 2023-06-30 中能聚创(杭州)能源科技有限公司 一种用电数据处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010005359A1 (en) * 2008-07-10 2010-01-14 Ali Majeed Data compression involving spiral transformation
CN107770526A (zh) * 2017-10-25 2018-03-06 哈尔滨工业大学 一种基于量化ica的超光谱大气红外遥感图像无损压缩方法
CN111050181A (zh) * 2019-12-30 2020-04-21 哈尔滨工业大学 一种超光谱大气红外遥感图像的时间维压缩方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010005359A1 (en) * 2008-07-10 2010-01-14 Ali Majeed Data compression involving spiral transformation
CN107770526A (zh) * 2017-10-25 2018-03-06 哈尔滨工业大学 一种基于量化ica的超光谱大气红外遥感图像无损压缩方法
CN111050181A (zh) * 2019-12-30 2020-04-21 哈尔滨工业大学 一种超光谱大气红外遥感图像的时间维压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任改玲: "基于预测的高光谱及极光光谱图像无损压缩", 《中国优秀硕士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115833843A (zh) * 2023-02-14 2023-03-21 临沂云斗电子科技有限公司 一种车辆运行监控数据存储优化方法及管理平台
CN116303409A (zh) * 2023-05-24 2023-06-23 北京庚顿数据科技有限公司 超高压缩比的工业生产时序数据透明压缩方法
CN116303409B (zh) * 2023-05-24 2023-08-08 北京庚顿数据科技有限公司 超高压缩比的工业生产时序数据透明压缩方法
CN116362453A (zh) * 2023-06-02 2023-06-30 中能聚创(杭州)能源科技有限公司 一种用电数据处理方法及系统

Also Published As

Publication number Publication date
CN113051237B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN113051237B (zh) 时间序列遥感数据的压缩存储方法
US11122293B2 (en) Intra-frame prediction-based point cloud attribute compression method
CN116702708B (zh) 一种道路路面施工数据管理系统
CN116032294B (zh) 一种用于大气监测数据的智能处理方法
CN115834642B (zh) 基于物联网技术的智慧小蚕共育室数据传输方法
CN108540136B (zh) 一种适用于农业传感数据的压缩方法
CN116153452A (zh) 基于人工智能的医疗电子病历存储系统
CN116414076A (zh) 一种回收醇生产数据智能监控系统
CN116707534B (zh) 基于物联网技术的电力计量箱数据处理系统
CN110849821B (zh) 基于贝叶斯定理的黑臭水体遥感识别方法
CN113240169A (zh) 基于多模态数据和上下采样的gru网络的短临降水预测方法
CN117478891B (zh) 一种建筑施工智慧管理系统
CN117040542B (zh) 一种智能综合配电箱能耗数据处理方法
CN117459418A (zh) 一种实时数据采集存储方法及系统
CN111401140A (zh) 一种边缘计算环境下智能视频监控系统的离线学习方法
Xu et al. Hybrid post-training quantization for super-resolution neural network compression
CN115964347B (zh) 一种市场监管监测中心数据的智能存储方法
CN113191003A (zh) 一种核电实时数据趋势拟合算法
Zhang et al. A PV generation data reconstruction method based on improved super-resolution generative adversarial network
CN112348236A (zh) 用于智能用电监测终端的异常日负荷需求预测系统与方法
Hammerling et al. A collaborative effort to improve lossy compression methods for climate data
CN115952915A (zh) 一种使用模糊熵分类的能耗预测优化方法
CN114371501A (zh) 海量地震源数据seg d分段分类混合压缩方法
CN117312255B (zh) 一种电子文档拆分优化管理方法及系统
CN115049055B (zh) 基于动态双可训练界限的超分神经网络的量化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant