CN116634167B

CN116634167B - 卫星成像数据存储及提取方法

Info

Publication number: CN116634167B
Application number: CN202310906566.XA
Authority: CN
Inventors: 李建忠; 龙辉; 史振伟; 黄博学; 张铁军; 金婷婷; 李铮
Original assignee: Aerospace Information Research Institute of CAS
Current assignee: Aerospace Information Research Institute of CAS
Priority date: 2023-07-24
Filing date: 2023-07-24
Publication date: 2023-11-07
Anticipated expiration: 2043-07-24
Also published as: CN116634167A

Abstract

本发明提供一种卫星成像数据存储及提取方法，存储方法包括：获取原始压缩码流数据；对原始压缩码流数据进行解压缩，得到原始观测数据；对原始观测数据进行分段，得到编目段格式化数据；根据编目段格式化数据，按幅计数对原始压缩码流数据进行提取，得到编目压缩码流数据；存储编目压缩码流数据到第一存储系统；以及删除原始压缩码流数据、原始观测数据和编目段格式化数据。本发明的方法，在保证数据质量、提取分发效率的基础上，需要存储的数据量小，大大降低了卫星成像数据的存储成本。

Description

卫星成像数据存储及提取方法

技术领域

本发明涉及卫星遥感数据管理技术领域，尤其涉及一种卫星成像数据存储及提取方法。

背景技术

随着我国高分辨成像卫星技术的发展，对卫星数据产品的存储带来了巨大的挑战。以某高分光学卫星为例，当卫星载荷满负荷成像且载荷数据压缩比1：4时，不考虑DOM、DSM、专题图等高级产品存储需求，每颗高分卫星每天需要80.73TB存储资源。为了满足各级产品对不同用户永久服务和快速分发的需求，如果对所有原始码流数据到2级产品数据进行永久存储，则一颗高分卫星8年寿命期内需要230.21PB存储资源。若卫星寿命期间1PB存储资源的购买、维护平均成本为200万元，则每颗高分卫星仅存储资源经费就需要4.6亿元，远远超过了地面系统建设经费。

为了节约成本及快速提供服务，现有技术在数据存储类型方面，一般选择永久存储某几类数据产品，减少需要存储的数据大小。例如仅永久存储原始码流数据、1级产品数据、编目数据等，以及在存储系统设计和策略方面，通过不同硬件基础设施构建异构存储系统来降低成本。

然而，由于通讯建链等原因，卫星会下传大量空帧数据，进而产生大量无效数据。从原始码流数据回迁到编目格式化全链路处理过程中，数据使用率也极低。同时，采用大量存储资源存储编目格式化数据，对历史数据生产效率提升也不明显。而采用分级存储的方案，需要采购大量不同类型的存储设备，如磁带库等，会占据大量的设备安装空间，导致运行维护成本大。同时，由于不同硬件设备本身性能约束，数据写入和导出的速率不高，会制约历史数据的快速导出、产品生产与分发。

发明内容

（一）要解决的技术问题

针对现有的技术问题，本发明提供一种卫星成像数据存储及提取方法，用于至少部分解决以上技术问题。

（二）技术方案

本发明提供一种卫星成像数据存储方法，包括：获取原始压缩码流数据；对原始压缩码流数据进行解压缩，得到原始观测数据；对原始观测数据进行分段，得到编目段格式化数据；根据编目段格式化数据，按幅计数对原始压缩码流数据进行提取，得到编目压缩码流数据；存储编目压缩码流数据到第一存储系统；以及删除原始压缩码流数据、原始观测数据和编目段格式化数据。

可选地，原始压缩码流数据包括原始压缩码流图像，对原始压缩码流数据进行解压缩，得到原始观测数据包括：从原始压缩码流数据中提取原始压缩码流图像；对原始压缩码流图像进行解压缩，得到多行原始图像数据；从原始压缩码流数据中提取辅助数据，辅助数据包括原始压缩码流图像的幅计数与原始观测数据的行计数的对应关系；以及根据多行原始图像数据和辅助数据，得到原始观测数据。

可选地，对原始观测数据进行分段，得到编目段格式化数据包括：确定成像任务的任务时段；确定原始观测数据的第一行数据时段；以及根据任务时段和第一行数据时段，对原始观测数据进行分段，得到与成像任务相对应的编目段格式化数据；或者判断任务时段与第一行数据时段的包含关系；在第一行数据时段不完全包含任务时段的情况下，确定多个原始观测数据的第二行数据时段；对与第二行数据时段相对应的多个原始观测数据进行去重拼接，得到编目段格式化数据；其中，在对与第二行数据时段相对应的多个原始观测数据进行去重拼接的情况下，卫星成像数据存储方法还包括：确定去重拼接信息；根据去重拼接信息，确定第一编目段元数据；存储第一编目段元数据；其中，去重拼接信息包括：拼接前的多个原始观测数据的开始行行计数、开始行对应幅计数、开始行对应寻址位置、结束行行计数、结束行对应幅计数以及结束行对应寻址位置；以及拼接后的编目段格式化数据的开始行行计数、开始行对应幅计数、结束行行计数以及结束行对应幅计数。

可选地，卫星成像数据存储方法还包括：对编目段格式化数据进行逻辑分块，得到编目景元数据；确定编目段格式化数据、编目景元数据与编目压缩码流数据的联合编目信息；存储编目景元数据和联合编目信息；其中，编目景元数据包括：景开始行行计数、景开始行对应幅计数、景结束行行计数以及景结束行对应幅计数；联合编目信息包括编目段格式化数据的段开始行行号、段开始行行计数、段开始行与编目压缩码流数据的对应幅计数、段结束行行号、段结束行行计数、段结束行与编目压缩码流数据的对应幅计数以及编目景元数据的景开始行行号、景开始行行计数、景开始行与编目压缩码流数据的对应幅计数、景结束行行号、景结束行行计数、景结束行与编目压缩码流数据的对应幅计数。

可选地，卫星成像数据存储方法还包括：对编目段格式化数据进行行完整性检查；在编目段格式化数据的行数不完整的情况下，对编目段格式化数据进行补帧；和/或对编目段格式化数据进行行连续性检查；在编目段格式化数据的行数不连续的情况下，对编目段格式化数据进行行计数修复；以及根据补帧信息和/或行计数修复信息，得到编目段帧修复报告；存储编目段帧修复报告；其中，补帧信息包括：补帧次数、每次补帧行数、补帧开始行行计数、补帧开始行对应幅计数、补帧结束行行计数和补帧结束行对应幅计数；行计数修复信息包括：行计数跳变次数、每次行计数跳变修复行的行号、行计数和修复行对应幅计数。

可选地，根据编目段格式化数据，按幅计数对原始压缩码流数据进行提取，得到编目压缩码流数据包括：确定编目段格式化数据的第二编目段元数据，其中，第二编目段元数据包括编目段格式化数据的开始行行计数、开始行对应幅计数、开始行对应寻址位置、结束行行计数、结束行对应幅计数以及结束行对应寻址位置；根据第二编目段元数据，对原始压缩码流数据进行提取，得到编目压缩码流数据。

可选地，根据编目段格式化数据，按幅计数对原始压缩码流数据进行提取，得到编目压缩码流数据包括：确定与多个原始观测数据相对应的多个原始压缩码流数据；对多个原始压缩码流数据进行去重拼接，得到编目压缩码流数据。

可选地，卫星成像数据存储方法还包括：根据补帧信息和/或行计数修复信息，确定编目段格式化数据的变更行数据；对变更行数据进行压缩后，编码得到修复的编目压缩码流数据。

可选地，删除原始压缩码流数据、原始观测数据和编目段格式化数据包括：分别设置原始压缩码流数据、原始观测数据和编目段格式化数据的存储周期和水线阈值；根据存储周期和水线阈值，对原始压缩码流数据、原始观测数据和编目段格式化数据进行删除。

可选地，卫星成像数据存储方法还包括：存储编目压缩码流数据到一个或多个第二存储系统；删除第一存储系统中的数据；其中，第一存储系统的读写速度大于第二存储系统，和/或第一存储系统的存储容量大于第二存储系统。

本发明另一方面提供一种卫星成像数据提取方法，应用于提取采用本发明实施例任一项方法存储的编目压缩码流数据，包括：读取编目压缩码流数据；对编目压缩码流数据进行同步解压缩，得到编目段格式化数据。

可选地，卫星成像数据提取方法还包括：采用数据流、缓存堆栈和文件中的任一种或多种方式，对编目段格式化数据进行数据产品生产。

（三）有益效果

与现有技术相比，本发明提供的卫星成像数据存储及提取方法，至少具有以下有益效果：

（1）本发明的卫星成像数据存储方法按照分段要求对原始观测数据进行分段，得到标准化的编目段格式化数据，根据编目段格式化数据再对原始压缩码流数据进行联合编目，得到用于存储的编目压缩码流数据。在保证数据质量、提取分发效率的基础上，需要存储的数据量小，大大降低了卫星成像数据的存储成本。

（2）本发明的卫星成像数据提取方法在提取编目压缩码流数据时，可以对编目压缩码流数据进行同步解压缩，提取速度大大高于现有非压缩数据的存储方案。

（3）本发明的卫星成像数据存储及提取方法，按照压缩图幅序号（幅计数）进行压缩及回迁解压缩，数据利用率为100%。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本发明实施例的卫星成像数据存储方法的流程图；

图2示意性示出了根据本发明实施例的光学卫星载荷各阶段生成的产品数据图；

图3示意性示出了根据本发明实施例的光学卫星数据存储系统的组成图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。说明书中示例的各个实施例中的技术特征在无冲突的前提下可以进行自由组合形成新的方案，且在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中未绘示或描述的元件或实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。

除非存在技术障碍或矛盾，本发明的上述各种实施方式可以自由组合以形成另外的实施例，这些另外的实施例均在本发明的保护范围中。

虽然结合附图对本发明进行了说明，但是附图中公开的实施例旨在对本发明优选实施方式进行示例性说明，而不能理解为对本发明的一种限制。附图中的尺寸比例仅仅是示意性的，并不能理解为对本发明的限制。

虽然本发明总体构思的一些实施例已被显示和说明，本领域普通技术人员将理解，在不背离本总体公开构思的原则和精神的情况下，可对这些实施例做出改变。

图1示意性示出了根据本发明实施例的卫星成像数据存储方法的流程图。

根据本发明的实施例，如图1所示，卫星成像数据存储方法例如包括：

S110，获取原始压缩码流数据。

图2示意性示出了根据本发明实施例的光学卫星载荷各阶段生成的产品数据图。

例如，原始压缩码流数据是卫星下传到地面的经过星上压缩的载荷成像数据。如图2所示，在卫星载荷成像过程中，当载荷连续获取N行原始观测数据之后，星上压缩单元对这N行原始观测数据进行压缩，生成一幅压缩图像，并对压缩图像进行编码，得到原始压缩码流数据。一幅压缩图像经过编码后的主要内容包括：同步头、载荷虚拟信道标识、幅计数、压缩算法标识、数据长度、图像辅助数据、图像压缩数据等。编码后载荷原始压缩码流数据进一步经过数传AOS（Advanced Orbiting Systems，高级在轨系统）帧编码下传至地面。地面系统对AOS帧数据进行帧同步、解扰、去空帧、CRC（Cyclic redundancy check，循环冗馀校验）校验、解密、通道合并、虚拟信道分离和载荷有效数据提取等处理步骤，还原得到所要获取的原始压缩码流数据。

例如，以某高分光学载荷为例，当一个高分光学载荷由8片CCD（Charge coupledDevice，电荷耦合元件）组成，每片CCD包含10500个探元，CCD片间重叠探元500个。其中，每个探元DN值量化位数为11位，地面像元分辨率0.5米，卫星星下点速度7.2km/s。则高分光学载荷一次10分钟成像观测任务中，每片CCD获取的图像数据总行数约为：7200m/s *600s/0.5m/行=8640000行。在星上压缩单元压缩过程中，若每128行图像数据压缩为1幅图像，则每片CCD压缩后图幅数为67500幅。每幅图像压缩前数据大小为：128*10500*11=14784000bit，按4：1压缩之后的大小为3696000bit。压缩图像编码过程中，若同步头、载荷虚拟信道标识、幅计数、压缩算法标识、数据长度、图像辅助数据占23168bit，则压缩编码后每幅图像大小为3719168bit。对编码后的压缩数据进行AOS帧编码，按AOS帧帧长1024字节，有效数据占848字节，一幅编码后的压缩图像需要549帧AOS帧进行编码。因此，高分光学载荷一次10分钟成像观测任务生成的原始压缩码流数据大小约为233.8GB，AOS帧编码生成的密态AOS帧数据大小约为282.33GB。当高分光学载荷每天成像观测100分钟，不考虑卫星工程遥测数据、卫星服务数据数传需求，若Ka频段4个数传通道接收弧段为10分钟（其中1分钟为数传空帧），码率为2Gb/s。则每天全部接收所有成像数据至少需要6个接收弧段，每次完整接收原始码流数据大小约为600GB，包含1~3次成像任务观测数据。原始码流数据经AOS帧数据帧同步、解扰、去空帧、CRC校验、解密、通道合并、虚拟信道分离和载荷有效数据提取等处理，获得约1032842幅447.19GB光学载荷原始压缩码流数据。

S120，对原始压缩码流数据进行解压缩，得到原始观测数据。

例如，根据每幅压缩图像中的压缩算法标识，匹配对应解压缩模块进行解压缩处理，并按幅计数，拼接解压缩之后的每幅图像，还原载荷原始观测数据。

S130，对原始观测数据进行分段，得到编目段格式化数据。

例如，对原始观测数据进行物理分段，每一段的数据作为编目段格式化数据。

例如，原始观测数据可以按数据流方式从前端处理模块接收获取，并存储到缓存堆栈中。启动n ₁个客户端服务，n ₁为光学载荷CCD片数。第i ₁个客户端服务采用数据流传输协议实施接收前端处理模块发送的第i ₁片CCD原始观测数据，并存储到缓存堆栈，堆栈大小为M。

例如，以光学载荷为例，启动8个客户端服务，第i ₁个客户端服务采用TCP/IP协议实时接收前端处理模块发送的光学载荷第i ₁片CCD载荷原始观测数据。客户端服务缓存堆栈大小为5GB。

例如，启动n ₂个线程，第i ₂个线程读取前端处理模块存储到第一存储系统中第i ₂片CCD原始观测数据文件。原始观测数据文件采用卫星代号、载荷CCD标识、接收站标识、接收任务号和接收时间命名。

例如，启动8个线程，第i ₂个线程读取前端处理模块存储到第一存储系统中第i ₂片CCD载荷原始观测数据文件。载荷原始观测数据文件采用卫星代号、载荷CCD标识、接收任务号和处理时间命名。命名方案以存储在第一存储系统中的第1片CCD第00001234接收任务解压缩生成的载荷原始观测数据的命名方法为例：GFX-1_CCD-1_00001234_20230330162500.FRED。

可以理解的是，n ₁与n ₂可以相同，也可以不相同。i ₁与i ₂可以相同，也可以不相同。本发明各阶段生成的数据可以是数据流的形式，也可以是文件的形式。

S140，根据编目段格式化数据，按幅计数对原始压缩码流数据进行提取，得到编目压缩码流数据。

例如，获取编目段格式化数据的开始行行计数及对应行原始压缩码流幅计数、结束行行计数及对应行原始压缩码流幅计数，在原始压缩码流数据中按幅计数进行提取，得到编目压缩码流数据。

S150，存储编目压缩码流数据到第一存储系统。

例如，第一存储系统为接收星地数传的原始码流数据所使用的存储系统。如图2所示，在接收原始码流数据后，所生产的明态AOS帧数据、原始压缩码流数据、原始观测数据、编目格式化数据、编目压缩码流数据等均永久或暂时存储在第一存储系统中。

S160，删除原始压缩码流数据、原始观测数据和编目段格式化数据。

例如，在第一存储系统中主要保留编目压缩码流数据这一占用较大存储空间的数据，而把其他原始压缩码流数据、原始观测数据和编目段格式化数据等占用空间较大的原始及中间过程数据删除，以节约存储空间。

根据本发明的实施例，例如通过步骤S311~S313来获取原始压缩码流数据。

步骤S311，从前端处理模块获取原始压缩码流数据，并存储原始压缩码流数据到缓存堆栈。或者

例如，按数据流方式从前端处理模块接收获取原始压缩码流数据，并存储到缓存堆栈中。启动n ₁个客户端服务，n ₁为光学载荷CCD片数。第i ₁个客户端服务采用数据流传输协议实施接收前端处理模块发送的第i ₁片CCD原始压缩码流数据，并存储到缓存堆栈，堆栈大小为M。

例如，以光学载荷为例，若光学载荷分别在2023年3月30日10：00：00~10：10：00、2023年3月30日11：00：00~11：10：00、2023年3月30日12：00：00~12：10：00执行了3次成像任务，成像任务编号分别为202301024、202301025和202301026。分别在2023年3月30日16：25：00、2023年3月30日18：00：00通过某接收站接收，接收任务编号分别为00001234、00001235。在处理00001234或00001235接收任务提取的载荷原始压缩码流数据时，启动8个客户端服务，第i ₁个客户端服务采用TCP/IP协议实时接收前端处理模块发送的光学载荷第i ₁片CCD原始压缩码流数据，客户端服务缓存堆栈大小为5GB。

步骤S312，以文件的方式存储原始压缩码流数据，得到原始压缩码流数据文件。

例如，按文件方式从第一存储系统中读取。启动n ₂个线程，第i ₂个线程读取前端处理模块存储到第一存储系统中第i ₂片CCD原始压缩码流数据文件。原始压缩码流数据文件采用卫星代号、载荷CCD标识、接收站标识、接收任务号和接收时间命名。

例如，启动8个线程，第i ₂个线程读取前端处理模块存储到第一存储系统中第i ₂片CCD原始压缩码流数据文件。原始压缩码流数据文件采用卫星代号、载荷CCD标识、接收站标识、接收任务号和接收时间命名。命名方案以光学载荷第1片CCD载荷压缩码流数据第00001234接收任务提取的压缩码流数据为例：GFX-1_CCD-1_BJ_00001234_20230330162500.dat。

步骤S313，读取原始压缩码流数据文件。

根据本发明的实施例，例如通过步骤S421~S424来对原始压缩码流数据进行解压缩，得到原始观测数据。

步骤S421，从缓存堆栈中获取原始压缩码流图像。

例如，原始压缩码流数据包括原始压缩码流图像，从缓存堆栈中存储的原始压缩码流数据中按顺序提取第k ₁幅原始压缩码流图像。

步骤S421，对原始压缩码流图像进行解压缩，得到多行原始图像数据。

例如，根据原始压缩码流图像的帧格式，提取压缩算法标识并用对应解压缩算法进行解压缩处理，还原N行原始图像数据。

步骤S421，从原始压缩码流数据中提取辅助数据，辅助数据包括原始压缩码流图像的幅计数与原始观测数据的行计数的对应关系。以及

例如，将幅计数和载荷原始观测数据行计数的对应关系记录在原始观测数据每行的辅助数据中。从第k ₁幅原始压缩码流图像中提取与N行原始图像数据对应的N行辅助数据。

步骤S421，根据多行原始图像数据和辅助数据，得到原始观测数据。

例如，按“辅助数据+图像数据”格式还原N行原始观测数据。

例如，以光学载荷卫星为例，压缩/解压缩算法采用JPEG-2000算法，第k ₁幅原始压缩码流图像中共还原128行原始图像数据。从k ₁幅原始压缩码流图像中提取128行辅助数据，并按“辅助数据+图像数据”格式还原原始观测数据。原始观测数据每帧数据中辅助数据占128bit，图像数据占115500bit，第k ₁幅原始压缩码流图像解压缩生成的原始观测数据大小为14800384bit。

例如，还可以通过修改原始观测图像数据格式为“压缩图幅信息+辅助数据+图像数据”格式来还原原始观测数据。

例如，以光学载荷为例，压缩图幅信息占128bit，其中幅计数占24bit。重新编码后第k ₁幅原始压缩码流图像解压缩生成的原始观测数据大小为14816768bit。光学载荷10分钟数传接收原始码流数据提取的1032842幅载荷压缩码流数据经解压缩格式化生成的原始观测数据大小约为1781.55GB。

根据本发明的实施例，例如通过步骤S531~S533来对原始观测数据进行分段，得到编目段格式化数据。

步骤S531，确定成像任务的任务时段。

例如，根据载荷每次成像任务的开始时间和结束时间来确定各成像任务的任务时段。

步骤S532，确定原始观测数据的第一行数据时段。以及

例如，根据载荷原始观测数据中的每行数据时间来确定第一行数据时段。具体地，根据一段原始观测数据的第一行数据时间与最后一行数据时间，即可确定第一行数据时段。

步骤S533，根据任务时段和第一行数据时段，对原始观测数据进行分段，得到与成像任务相对应的编目段格式化数据。

例如，当第一行数据时段大于等于任务时段，即单个载荷原始观测数据可以覆盖对应成像任务开始和结束时间时，从原始观测数据中提取对应成像任务的原始观测数据，生成编目段格式化数据。

例如，当第j ₁次成像任务计划开始时间为T _js，结束时间为T _je，若成像任务计划偏差为∆t。针对第i ₃次接收任务处理生成的原始观测数据，解析第k ₂行时间t _k，当t _k、t _k+1属于第j ₁次成像任务成像时间[T _js-∆t, T _je+∆t]，而且第k ₂-1，k ₂-2行时间t _k-1、t _k-2不属于第j ₁次成像任务成像时间[T _js-∆t, T _je+∆t]，则第k ₂行数据是此次接收任务中第j ₁次成像任务开始行。当第l ₁、l ₁-1行数据时间t _l、t _l-1属于第j ₁次成像任务成像时间[T _js-∆t, T _je+∆t]，而且第l ₁+1、l ₁+2行时间t _l+1、t _l+2不属于第j ₁次成像任务成像时间[T _js-∆t, T _je+∆t]，则第l ₁行数据是此次接收任务中第j ₁次成像任务结束行。当t _l-t _k+∆t≥T _je-T _js，则第i ₃次接收任务完整包含了第j ₁次成像任务观测数据，生成第j ₁次成像任务编目段格式化数据文件。

例如，以高分光学载荷202301024、202301025和202301026成像任务和00001234、00001235接收任务为例，当成像任务计划偏差为1秒。首先解析行00001234接收任务生成的载荷原始观测数据各行数据时间，当第k ₂、k ₂+1行时间t _k、t _k+1属于202301024成像任务成像时间[2023年3月30日09：59：59, 2023年3月30日10：10：01]，而且第k ₂-1，k ₂-2行时间t _k-1、t _k-2不属于202301024成像任务成像时间[2023年3月30日09：59：59, 2023年3月30日10：10：01]，则第k ₂行是00001234接收任务中第1行202301024成像任务观测数据。当第l ₁、l ₁-1行数据时间t _l、t _l-1属于第202301024成像任务成像时间[2023年3月30日09：59：59, 2023年3月30日10：10：01]，而且第l ₁+1、l ₁+2行时间t ₁₊₁、t ₁₊₂不属于第202301024次成像任务成像时间[2023年3月30日09：59：59, 2023年3月30日10：10：01]，则第l ₁行数据是00001234接收任务中最后一行202301024成像任务观测数据。当t _l-t _k+∆t≥600秒，则00001234接收任务完整包含了202301024成像任务观测数据，生成第202301024次成像任务编目段格式化数据文件。其中，第1片CCD编目段格式化数据文件一种存储在第一存储系统中的命名方法为例：GFX-1_CCD-1_202301024_20230330100000.FRED。

根据本发明的实施例，例如还可以通过步骤S631~S633来对原始观测数据进行分段，得到编目段格式化数据。

例如，当单个载荷原始观测数据不能覆盖对应成像任务开始和结束时间时，成像任务载荷观测数据可以由多个载荷原始观测数据根据行计数和行时间去重拼接生成。

步骤S631，判断任务时段与第一行数据时段的包含关系。

例如，当t _l-t _k+∆t<T _je-T _js，则第i ₃次接收任务不完整包含第j ₁次成像任务观测数据，生成第j ₁次成像任务编目段格式化数据临时文件。

步骤S632，在第一行数据时段不完全包含任务时段的情况下，确定多个原始观测数据的第二行数据时段。

例如，当第j ₁次成像任务数据通过第i ₃次到第i ₃+n ₃次接收任务下传，则第i ₃+n ₃次接收任务生成的原始观测数据完成分段并分离出第j ₁次成像任务第n ₄个编目段格式化数据临时文件。

步骤S633，对与第二行数据时段相对应的多个原始观测数据进行去重拼接，得到编目段格式化数据。

例如，每片CCD根据行计数及成像时间递增顺序，去重拼接第j ₁次成像任务的n ₄个编目段格式化数据临时文件，生成第j ₁次成像任务观测数据。

例如，当k ₂行是00001234接收任务中第1行202301025成像任务观测数据、第l ₁行数据是00001234接收任务中最后一行202301025成像任务观测数据，而且t _l-t _k+∆t<600秒，则第00001234次接收任务不完整包含第202301025次成像任务观测数据，生成第202301025次成像任务编目段格式化数据临时文件。其中，第1片CCD编目段格式化数据临时文件命名为：GFX-1_CCD-1_00001234_202301025_20230330100000.FRED.temp。当202301025在接收任务00001235接收任务中包含，则00001235接收任务中第202301025次成像任务编目段格式化数据临时文件生成之后，每片CCD根据行计数及成像时间递增顺序，去重拼接第202301025次成像任务00001234、00001235接收任务生成的2个编目段格式化数据临时文件，生成第202301025次成像任务观测数据。

需要说明的是，当数据以文件方式处理时，编目段格式化数据文件、编目段格式化数据临时文件可以采用卫星代号、载荷CCD标识、接收任务标识、成像任务编号、成像任务开始时间命名。

根据本发明的实施例，在对与第二行数据时段相对应的多个原始观测数据进行去重拼接的情况下，卫星成像数据存储方法例如还包括：

S710，确定去重拼接信息。其中，去重拼接信息包括：拼接前的多个原始观测数据的开始行行计数、开始行对应幅计数、开始行对应寻址位置、结束行行计数、结束行对应幅计数以及结束行对应寻址位置；以及拼接后的编目段格式化数据的开始行行计数、开始行对应幅计数、结束行行计数以及结束行对应幅计数。

S720，根据去重拼接信息，确定第一编目段元数据。

例如，在分段时，将对应提取、去重拼接信息记录到编目段元数据中。

例如，针对每片CCD，段元数据包括：拼接前载荷压缩码流数据寻址位置、拼接前开始行行计数及对应行载荷压缩码流幅计数、拼接前结束行行计数及对应行载荷压缩码流幅计数。拼接后开始行行计数及对应行载荷压缩码流幅计数、拼接后结束行行计数及对应行载荷压缩码流幅计数。以及还可以包括编目段编号、成像任务编号、数传任务号和成像参数。

例如，当数据以文件方式处理时，编目段元数据文件可以为XML文件。以光学载荷202301025成像任务编目段元数据为例，可选XML文件格式如下：

</StartLineInfo>

</EndLineInfo>

</StartLineInfo>

</EndLineInfo>

</TrPlanLineInfo>

</StartLineInfo>

</EndLineInfo>

</TrPlanLineInfo>

... ...

</TrPlanLineInfoList>

</Lineinfo>

</SegmentMeta>

需要说明的是，编目段元数据文件的命名可以与编目段格式化数据文件的命名相同，并通过文件名后缀区分。以一种存储在第一存储系统中的命名方法为例：GFX-1_CCD_202301025_20230330110000.meta.xml。

S730，存储第一编目段元数据。

例如，采用MYSQL数据库存储第一编目段元数据。根据编目段元数据文件构建数据库表和字段，包括文件名称、文件存储路径、文件存储状态。构建编目段格式化数据表，将编目段元数据的信息存储在编目段格式化数据表中。

根据本发明的实施例，卫星成像数据存储方法例如还包括：

S810，对编目段格式化数据进行逻辑分块，得到编目景元数据。其中，编目景元数据包括：景开始行行计数、景开始行对应幅计数、景结束行行计数以及景结束行对应幅计数。

例如，为了便于更细致地区分卫星成像数据，可以对分段后的编目段格式化数据进行进一步逻辑分景。根据载荷数据景约定大小，对编目段格式化数据文件按行计数和时间进行逻辑分块，并把逻辑分块信息记录到编目景元数据文件中。

例如，若光学载荷景高度为h ₁、重叠率为e ₁、第1景数据中第i ₄片CCD起始行为l _0i,且成像任务段文件数据行计数连续，则第n ₅景数据第i ₄片CCD开始行计数为：l _nistart=l _0i+（n ₅-1）h ₁ e ₁，结束行计数为l _niend=l _0i+（n ₅-1）h ₁ e ₁+h ₁。解析l _nistart、l _niend行对应压缩图幅信息，获取第n ₅景第i ₄片CCD起始行l _nistart和l _niend行对应载荷压缩码流图幅计数l _nicstart和l _nicend，并记录到每片CCD逻辑分块l _nistart、l _niend、l _nicstart和l _nicend编目景元数据文件中。

例如，以高分光学载荷第202301025次成像任务分景为例，当景高度为80000、重叠率为85%、第1景数据第1片CCD起始行为100，则第10景第1片CCD开始行和结束行计数分别为612100、692100，对应载荷压缩码流图幅计数分别为4783、5408。

例如，当数据以文件方式处理时，编目景元数据文件包括：编目段编号、数据景编号、载荷成像任务编号、数传任务号、景开始行行计数及对应行载荷压缩码流幅计数、景结束行行计数及对应行载荷压缩码流幅计数。

例如，编目景元数据文件可以为XML文件。以光学载荷202301025成像任务第10景的编目景元数据为例，可选XML文件格式如下：

</StartLineInfo>

</EndLineInfo>

</CCDLineInfo>

.......

</Lineinfo>

</SceneMeta>

S820，存储编目景元数据。

例如，采用MYSQL数据库存储编目景元数据。根据编目景元数据文件构建数据库表和字段，包括文件名称、文件存储路径、文件存储状态。构建编目景数据表，将编目景元数据的信息存储在编目景数据表中。

根据本发明的实施例，卫星成像数据存储方法例如还包括：

S910，确定编目段格式化数据、编目景元数据与编目压缩码流数据的联合编目信息。其中，联合编目信息包括编目段格式化数据的段开始行行号、段开始行行计数、段开始行与编目压缩码流数据的对应幅计数、段结束行行号、段结束行行计数、段结束行与编目压缩码流数据的对应幅计数以及编目景元数据的景开始行行号、景开始行行计数、景开始行与编目压缩码流数据的对应幅计数、景结束行行号、景结束行行计数、景结束行与编目压缩码流数据的对应幅计数。

S920，存储联合编目信息。

例如，采用MYSQL数据库存储联合编目信息。根据压缩码流元数据文件、段元数据文件、景元数据文件构建数据库表和字段，包括文件名称、文件存储路径、文件存储状态，及编目压缩码流数据、编目段格式化数据与景元数据的联合编目信息。分别构建编目段格式化数据表、编目景数据表，每张表存储对应数据类型元数据信息。将编目压缩码流与编目段格式化数据的联合编目信息存储在编目段格式化数据表中，将编目压缩码流与编目景元数据的联合编目信息存储在编目景数据表中。

例如，以光学载荷为例，分别建立编目段格式化数据表TX_GFX_SEGMENT和编目景数据表TX_GFX_SCENE。编目段格式化数据表TX_GFX_SEGMENT用于存储编目段格式化数据及元数据信息、编目格式化数据存储状态、编目压缩码流与编目段格式化数据联合编目信息。编目景数据表TX_GFX_SCENE用于存储编目景元数据信息、编目景元数据存储状态、编目压缩码流与编目景元数据的联合编目信息。其中，编目段/景元数据开始行和结束行行号StartLine、EndLine，行计数StartLineCount、EndLineCount及对应编目压缩码流数据图幅计数StartRawCount、EndRawCount采用INT32位数据类型存储。

例如，还可以存储接收任务信息、成像任务参数、解压缩信息、图像处理信息等。

根据本发明的实施例，卫星成像数据存储方法例如还包括：

S1010，对编目段格式化数据进行行完整性检查。

S1020，在编目段格式化数据的行数不完整的情况下，对编目段格式化数据进行补帧。和/或

例如，根据载荷行数据格式，对编目段格式化数据进行行完整性检查，当存在丢行现象时，进行补帧处理，并记录到编目段帧修复报告中。

例如，提取第i ₄片CCD第n ₆-k ₃、n ₆、n ₆+k ₃行数据行计数li _n-k、li _n、li _n+k，其中n ₆-k ₃≥1，n ₆+k ₃≤M，k ₃≥1，M为第i ₄片CCD总行数。当2li _n≠li _n-k+li _n+k，且li _n+k-li _n-k≠2k ₃，则第i ₄片CCD第n ₆-k ₃到n ₆+k ₃行之间存在丢行现象，对n ₆-k ₃到n ₆+k ₃数据通过补0或插值等方式进行补帧处理，并记录补帧行数、行计数及对应载荷压缩码流幅计数到编目段帧修复报告中。

例如，以光学载荷为例，检查第1片CCD，取k ₃=2，若第2000、2002、2003、2004行行计数分别为2052、2054、2079、2080，则第2002、2003行之间存在丢行异常，插值或补零24行，并记录开始补帧行计数和幅计数2003和16、结束补帧行计数和幅计数结束行2078和17、补帧总行数24到编目段帧修复报告中。

S1030，对编目段格式化数据进行行连续性检查。

S1040，在编目段格式化数据的行数不连续的情况下，对编目段格式化数据进行行计数修复。以及

例如，根据载荷行数据格式，对编目段格式化数据进行行连续性检查，当存在行计数跳变现象时，进行行计数修复处理，并记录到编目段帧修复报告中。

例如，当2li _n≠li _n-k+li _n+k，且li _n+k-li _n-k=2k ₃，则第i ₄片CCD第n ₆行行计数跳变，修复n ₆行行计数为（li _n-k+li _n+k）/2，记录修复行n ₆、行计数li _n及对应载荷压缩码流幅计数到编目段帧修复报告中。

例如，以光学载荷为例，检查第1片CCD，取k ₃=2，若第998、1000、1002行行计数分别为1050、99999，1054，则第1000行行计数“99999”跳变，修复为行计数为“1052”，并记录行号1000、行计数1052、幅计数9保存到数据帧修复报告中。

S1050，根据补帧信息和/或行计数修复信息，得到编目段帧修复报告。其中，补帧信息包括：补帧次数、每次补帧行数、补帧开始行行计数、补帧开始行对应幅计数、补帧结束行行计数和补帧结束行对应幅计数。行计数修复信息包括：行计数跳变次数、每次行计数跳变修复行的行号、行计数和修复行对应幅计数。

例如，编目段帧修复报告内容包括：载荷编目段编号、编目段行异常次数及每片CCD编目段行异常次数，每片CCD总行计数跳变次数、每次行计数跳变修复行n ₆、行计数li _n及对应载荷压缩码流幅计数，每片CCD总补帧次数、每次补帧行数、开始和结束行计数及对应载荷压缩码流幅计数。

例如，当数据以文件方式处理时，编目段帧修复报告文件可以为XML文件。以光学载荷202301025成像任务编目段帧修复报告为例，可选XML文件格式如下：

</LineCountRePair>

</LineCountRepairList>

</LineModification>

</LineModificationList>

</SensorRepair>

......

</SensorRepairList>

</SegmentRepairInfo>

需要说明的是，编目段帧修复报告的文件命名可以与编目段格式化数据文件的命名相同，并通过文件名后缀区分。以一种存储在第一存储系统中的命名方法为例：GFX-1_CCD_202301025_20230330110000.Repair.xml

S1060，存储编目段帧修复报告。

例如，采用MYSQL数据库存储编目段帧修复报告。根据段帧修复报告文件构建数据库表和字段，包括文件名称、文件存储路径、文件存储状态及修复信息。分别构建段修复信息表，存储段修复信息文件包含的修复信息。

例如，以光学载荷为例，建立段修复信息表TX_GFX_SEGMENTREPAIR存储段修复信息，主要包括载荷段编号、段行异常次数及每片CCD段行异常次数，每片CCD总行计数跳变次数、每次行计数跳变修复行n ₆、行计数li _n及对应载荷压缩码流幅计数，每片CCD总补帧次数、每次补帧行数、开始和结束行计数及对应载荷压缩码流幅计数。行数、计数采用INT32为数据类型存储。

根据本发明的实施例，例如通过步骤S1141~S1142来对原始压缩码流数据进行提取，得到编目压缩码流数据。

步骤S1141，确定编目段格式化数据的第二编目段元数据，其中，第二编目段元数据包括编目段格式化数据的开始行行计数、开始行对应幅计数、开始行对应寻址位置、结束行行计数、结束行对应幅计数以及结束行对应寻址位置。

步骤S1142，根据第二编目段元数据，对原始压缩码流数据进行提取，得到编目压缩码流数据。

例如，通过段元数据文件中第i ₄片CCD开始行行计数StartLinei及对应行载荷压缩码流幅计数StartCompressRawCounti、对应行载荷压缩码流数据寻址位置StartSeeki，结束行行计数EndLinei及对应行载荷压缩码流幅计数EndCompressRawCounti、对应行载荷压缩码流数据寻址位置EndSeeki来对原始压缩码流数据进行提取。获取与编目段格式化数据对应的载荷原始压缩码流数据，并在载荷原始压缩码流数据中按幅计数和寻址位置StartCompressRawCounti、StartSeeki、EndCompressRawCounti、EndSeeki完整提取得到对应的编目压缩码流数据。

根据本发明的实施例，例如还可以通过步骤S1241~S1242来对原始压缩码流数据进行提取，得到编目压缩码流数据。

步骤S1241，确定与多个原始观测数据相对应的多个原始压缩码流数据。

步骤S1242，对多个原始压缩码流数据进行去重拼接，得到编目压缩码流数据。

例如，当编目段格式化数据由多个载荷原始观测数据，根据行计数和行时间去重拼接生成。编目压缩码流数据相应也由多个载荷原始压缩码流数据根据数传任务号、开始行行计数及对应行载荷压缩码流幅计数、结束行行计数及对应行载荷压缩码流幅计数去重拼接生成。

例如，以光学载荷202301025成像任务编目段格式化数据文件为例，读取第二编目段元数据文件：GFX-1_CCD_202301025_20230330101000.meta.xml，解析<TrPlanID>00001234、00001235</TrPlanID>，说明该段数据由00001234、00001235两个接收任务去重拼接生成。以第1片CCD为例，解析TrPlanLineInfo信息，获取00001234接收任务生成的第一片载荷原始压缩码流数据文件：GFX-1_CCD-1_BJ_00001234_20230330162500.dat中开始行行计数1及对应行载荷压缩码流幅计数1、对应行载荷压缩码流数据寻址位置3729737875456，结束行行计数3840000及对应行载荷压缩码流幅计数30000、对应行载荷压缩码流数据寻址位置3841312915456，提取202301025载荷编目原始压缩码流临时文件：GFX-1_CCD-1_00001234_202301025_20230330110000.RAW.temp。获取00001235接收任务生成的第一片载荷原始压缩码流数据文件：GFX-1_CCD-1_BJ_00001235_20230330180000.dat中开始行行计数3840001及对应行载荷压缩码流幅计数30001、对应行载荷压缩码流数据寻址位置3729737875456，结束行行计数>8640000及对应行载荷压缩码流幅计数67500、对应行载荷压缩码流数据寻址位置139468800000，提取202301025载荷编目原始压缩码流临时文件：GFX-1_CCD-1_00001235_202301025_20230330110000.RAW.temp。最后根据图幅计数拼接两个临时文件生成202301025成像任务载荷编目压缩码流数据。

需要说明的是，当数据以文件方式处理时，编目压缩码流数据文件可以采用卫星代号、载荷CCD标识、成像任务编号、成像任务开始时间命名。以光学载荷202301025成像任务第1片CCD载荷编目压缩码流数据文件可选的命名方式为例，与编目段格式化数据文件的命名相同，并通过后缀区分：GFX-1_CCD-1_202301025_20230330110000.RAW。

根据本发明的实施例，卫星成像数据存储方法例如还包括：

S1310，根据补帧信息和/或行计数修复信息，确定编目段格式化数据的变更行数据。

例如，根据编目段补帧行计数及对应载荷压缩码流幅计数、行计数修复行计数及对应载荷压缩码流幅计数信息，提取每个载荷压缩码流幅计数在编目段格式化数据中所有行数据。

S1320，对变更行数据进行压缩后，编码得到修复的编目压缩码流数据。

例如，对每个载荷压缩码流幅计数在编目段格式化数据中所有行数据进行压缩处理，并按载荷原始压缩码流数据格式进行编码，更新编码后的压缩码流数据到编目压缩码流文件对应幅计数位置，得到修复的编目压缩码流数据。

例如，针对行计数跳变，解析编目段帧修复报告文件第i ₄片CCD总行计数跳变次数。遍历获取、去重获取行计数跳变对应压缩码流幅计数CompressRawCount，获取编目段载荷压缩码流幅计数CompressRawCount对应第1行数据行计数Startline和最后1行数据行计数EndLine，提取编目段中StartLine至EndLine中所有的压缩信息数据、辅助数据和图像数据，按载荷压缩码流数据压缩和编码方法进行压缩和编码，其中图幅计数设置为CompressRawCount。替换编目压缩码流数据中幅计数等于CompressRawCount压缩码流数据为重新编码的压缩码流数据。针对补帧修复解析编目段帧修复报告文件第i ₄片CCD总补帧次数，遍历获取每次补帧行数LineNum、开始和结束行计数StartLineCount、EndLineCount及对应载荷压缩码流幅计数StartCompressRawCount和EndCompressRawCount。解析编目段，获取编目段载荷压缩码流幅计数StartCompressRawCount对应第1行数据行计数Startline，EndCompressRawCount对应最后1行数据行计数EndLine，提取编目段中StartLine至EndLine中所有的压缩信息数据、辅助数据和图像数据，按载荷压缩码流数据压缩和编码方法进行压缩和编码，其中图幅计数按顺序从StartCompressRawCount到EndCompressRawCount递增。替换编目压缩码流数据中幅计数为StartCompressRawCount到EndCompressRawCount的压缩码流数据为重新编码的压缩码流数据。

例如，以光学载荷202301025第1片CCD编码压缩码流数据修复为例。读取修复报告GFX-1_CCD_202301025_20230330110000.Repair.xml，解析第1片CCD总行计数跳变次数1，遍历获取、去重获取行计数跳变对应压缩码流幅计数为9，获取编目段载荷压缩码流幅计数第9幅对应第1行数据行计数1025和最后1行数据行计数1152，提取编目段中1025至1152中所有的压缩信息数据、辅助数据和图像数据，按载荷压缩码流数据压缩和编码方法进行压缩和编码，其中图幅计数设置为9。替换编目压缩码流GFX-1_CCD-1_202301025_20230330110000.Raw文件中幅计数等于9的压缩码流数据为重新编码的压缩码流数据。解析第1片CCD总补帧次数1，获取该次补帧行数24、开始和结束行计数2003、2078及对应载荷压缩码流幅计数16和17。解析编目段，获取编目段载荷压缩码流幅计数第16幅对应第1行数据行号1921，第17幅对应最后1行数据行号2176，提取编目段中1921至2176中所有的压缩信息数据、辅助数据和图像数据，按载荷压缩码流数据压缩和编码方法进行压缩和编码，其中图幅计数按顺序从16到17递增。替换编目压缩码流GFX-1_CCD-1_202301025_20230330110000.Raw文件中幅计数为16到17的压缩码流数据为重新编码的压缩码流数据。完成202301025成像任务第1片编目压缩码流数据修复。

根据本发明的实施例，例如通过步骤S1461~S1462来删除原始压缩码流数据、原始观测数据和编目段格式化数据。

步骤S1461，分别设置原始压缩码流数据、原始观测数据和编目段格式化数据的存储周期和水线阈值。

步骤S1462，根据存储周期和水线阈值，对原始压缩码流数据、原始观测数据和编目段格式化数据进行删除。

例如，设置每种数据在第一存储系统中的存储周期和最大存储水线阈值，当数据存储时间与设置存储周期一致，自动删除对应数据。当某类数据最大存储占比大于设置水线阈值，不管对应数据在第一存储系统中存储了多长时间，自动按存储时长，删除一定对应数据，保持该类数据在第一存储系统中的占比低于水线阈值。

例如，当第一存储系统大小为X，存储数据类型有Y种，则设置第一存储系统中第i ₅类数据最长存储时间为T _i，最大存储占比水线为k _i，满足

，每次删除数据大小为x _i。当监测到某个第i ₅类数据在第一存储系

统中存储时间大于T _i，则在第一存储系统中删除该数据。当第i ₅类数据在第一存储系统中存储数据大小占比大于k _i，则在第一存储系统中，循环删除大小为x _i的第i ₅类数据，直到第i ₅类数据占比小于k _i。

例如，以光学载荷原始码流数据在第一存储系统中的删除过程为例。第一存储系统大小600TB，原始码流数据存储周期15天，原始码流数据最大占比8%，即48TB，每次删除原始码流数据大小3TB。则光学载荷2023年3月30日接收任务00001234、00001235生成的原始码流数据在第一存储系统中最多存到2023年4月14日。若2023年4月13日监测到第一存储系统中原始码流数据大小为55TB，则按时间顺序删除3月29日至4月13日之间存储的原始码流数据，直到第一存储系统中存储的原始码流数据大小小于48TB，即占比水线小于8%。

根据本发明的实施例，在对原始压缩码流数据进行解压缩之前，卫星成像数据存储方法例如还包括：

S1510，对原始压缩码流数据进行图幅完整性检测和/或图幅计数连续性检测，得到原始压缩码流数据质量报告。其中，图幅完整性检测包括帧同步头有效性检测和图像数据大小检测。

例如，根据载荷压缩码流数据帧头进行帧同步处理，检测是否是有效帧同步头。检测每幅图像实际数据大小与数据大小标识是否一致。检测每幅图像幅计数是否等于上幅图像幅计数+1，是否等于下幅图像幅计数-1。

例如，以光学载荷为例，读取载荷压缩码流数据缓存文件，并搜索压缩码流帧同步头第n ₇个帧同步头，当帧同步头标识为0xGFYSML，若搜索到0xGFYSML，判断后续载荷虚拟信道标识和压缩算法标识字符是否为0xCCDX、0xJ2000，若一致，则帧同步头为第n ₇个有效帧同步头，提取幅计数k ₄。按压缩码流帧同步头方法获取第n ₇+1个帧同步头，当第n ₇个帧同步头和第n ₇+1个帧同步头之间数据大小大于等于第n ₇个帧标识图幅大小，则第k ₄幅图像为完整图幅，否则为不完整图幅，并记录文件寻址位置P _n。若第n ₇-1个帧同步头幅计数为k ₄-1，第n ₇+1个帧同步头幅计数为k ₄+1,则图幅计数序号连续，否则图幅计数序号存在跳变，记录跳变位置寻址位置P _n及跳变幅计数。

例如，原始压缩码流数据质量报告文件内容包括：数传任务号、幅计数跳变总次数、幅计数跳变总幅数，每片CCD每次跳变位置、每次跳变幅数、幅不完整幅数、每幅不完整幅计数等信息。

例如，原始压缩码流数据质量报告文件可以为XML文件，以光学载荷00001234接收任务为例，可选XML文件格式如下：

</DisContinue>

</DisContinue>

</DiscontinueList>

</ErrorCompressRaw>

</ErroCompressRawList>

</Sensor>

</SensorList>

</CompressRawQualtiy>

需要说明的是，原始压缩码流数据质量报告文件与原始压缩码流数据文件的命名相同，并通过文件名后缀区分，一种存储在第一存储系统中的命名方法为：GFX-1_CCD-1_BJ_00001234_20230330162500.quality.xml。

根据本发明的实施例，卫星成像数据存储方法例如还包括：

S1610，根据编目段格式化数据和原始压缩码流数据质量报告，按幅计数对原始压缩码流数据进行提取，得到编目压缩码流元数据。其中，编目压缩码流元数据包括幅计数跳变次数、每次幅计数跳变幅数、每次幅计数跳变位置、幅不完整幅数和每幅不完整幅计数。

例如，编目压缩码流元数据的内容包括：载荷成像任务编号、接收任务编号、幅计数跳变总次数、幅计数跳变总幅数。每片CCD每次跳变位置、每次跳变幅数、幅不完整幅数、每幅不完整幅计数等信息。

例如，当数据以文件方式处理时，编目压缩码流文件元数据文件可以为XML文件，以光学载荷202301025成像任务编目压缩码流元数据文件为例，可选XML文件格式如下：

</DisContinue>

</DisContinue>

</DiscontinueList>

</ErrorCompressRaw>

</ErroCompressRawList>

</Sensor>

</SensorList>

</CompressRawMeta>

例如，当编目压缩码流数据由多个载荷原始压缩码流数据去重拼接生成时，编目压缩码流元数据同步拼接生成。

需要说明的是，编目压缩码流元数据文件的命名与编目压缩码流文件的命名相同，并通过文件名后缀区分。以一种存储在第一存储系统中的命名方法为例：GFX-1_CCD_202301025_20230330110000.Raw.meta.xml。

S1620，存储编目压缩码流元数据。

例如，采用MYSQL数据库存储编目压缩码流元数据。构建编目压缩码流数据表TX_GFX_COMPRESSRAW来存储编目压缩码流元数据信息、编目压缩码流元数据存储状态。

例如，当编目段格式化数据文件进行了补帧、行计数修复等处理，对编目压缩码流文件进行修复后，更新修复信息到编目压缩码流元数据文件。其中，更新编目压缩码流元数据包括：更新压缩码流幅计数次，每次更新压缩码流数据对应编目段格式化数据的开始和结束行计数。

例如，编目压缩码流文件元数据文件可以为XML文件，以光学载荷202301025成像任务编目压缩码流元数据文件的更新为例，可选XML文件格式如下：

</RawRepair>

......

</RawRepairList>

根据本发明的实施例，卫星成像数据存储方法例如还包括：

S1710，存储编目压缩码流数据到一个或多个第二存储系统。其中，第一存储系统的读写速度大于第二存储系统，和/或第一存储系统的存储容量大于第二存储系统。

例如，将第一存储系统中的编目压缩码流数据归档到第二存储系统中。当载荷原始压缩码数据编目任务完成之后，自动实时或定期将成像任务对应所有编目压缩码流数据文件从第一存储系统归档到第二存储系统中，并在第二存储系统中构建逻辑目录树。逻辑目录树包含卫星代号、载荷类型、成像时间和编目段格式化数据名称，一种可选的目录结构为：第二存储系统根目录/卫星代号/载荷类型/成像时间/存储文件夹。所有归档文件逻辑存储到同一个文件夹中。文件夹用编目段名称命名。

例如，实时监测第二存储系统的IO速度，当第二存储系统当前归档和导出聚合IO速度小于阈值，判断是否有待归档的成像任务编目压缩码流数据，存在则启动归档任务，如图3所示，归档成像任务对应的所有编目压缩码流数据、编目压缩码流元数据、编目段元数据、编目段辅助数据和编目景元数据归档到第二存储系统中。

例如，以光学载荷202301025成像任务为例，若第二存储系统设计聚合带宽为3GB，设计发起归档任务时当前存储读写聚合速度阈值为2GB。当光学载荷202301025成像任务编目压缩码流任务结束，检测第二存储系统当前读写IO聚合速度V，当V大于2GB/s，202301025成像任务编目压缩码流数据归档任务继续等待。当V小于2GB/s，自动发起202301025成像任务编目压缩码流数据归档任务，归档202301025成像任务编目压缩码流元数据文件、编目段元数据文件、编目段辅助数据文件和编目景元数据文件到第二存储同一个逻辑目录中。逻辑目录一种结构为：/根目录/GFX/2023/0330/GFX-1_CCD_202301025_20230330110000/。所有202301025成像任务归档文件都存储在逻辑文件夹：GFX-1_CCD_202301025_20230330110000中。本发明每颗高分光学卫星8年寿命期归档的编目压缩码流数据约为6.73PB，是原始码流数据的78.4%、编目段格式化数据的25%、0级产品数据14.6%、1级产品数据14.6%和2级产品数据12.2%，大大降低了卫星成像数据的存储量。

例如，当编目段格式化数据文件进行了补帧、行计数修复等处理，生成了编目段帧修复报告，如图3所示，还可以归档编目段帧修复报告到第二存储系统中。编目段帧修复报告文件归档到第二存储系统的方法，可以与编目压缩码流数据的归档方法、归档时间、归档目录一致，仅是归档数据类型增加了编目段帧修复报告。

例如，以光学载荷202301025成像任务数据的归档为例。当启动202301025成像任务数据归档任务之后，在归档数据中增加编目段帧修复报告文件，并归档存储到202301025成像任务逻辑归档文件夹：GFX-1_CCD_202301025_20230330110000中。

可以理解的是，在生成编目压缩码流元数据文件、编目段元数据文件、编目段辅助数据文件和编目景元数据文件后，也可以将相应数据归档到第二存储系统中。其中，编目段辅助数据文件例如包括卫星姿态、航时、GPS、行计数与幅计数对应关系等信息。

S1720，删除第一存储系统中的数据。

例如，在第二存储系统中归档了上述相关数据后，可以将第一存储系统中的数据均删除，以节约第一存储系统中的存储空间。

例如，在第一存储系统中永久存储编目压缩码流元数据文件、编目段辅助数据文件、段元数据文件、景元数据文件和段修复报告文件来提高相关文件的提取效率。在同一个成像任务对应文件的生成过程中，在第一存储系统中构建统一逻辑目录树。逻辑目录树包含卫星代号、载荷类型、成像时间和编目段格式化数据名称，一种可选的目录结构为：第一存储系统根目录/卫星代号/载荷类型/成像时间/存储文件夹。所有迁移文件逻辑存储到第一存储系统同一个文件夹中。文件夹用编目段名称命名。

例如，以光学载荷202301025成像任务为例，构建第一存储系统中存储目录结构：/根目录/GFX/CCD/2023/0330/GFX-1_CCD_202301025_20230330110000/，并在执行编目任务过程中，将生成的编目段辅助数据文件、编目段元数据文件、编目景元数据文件和编目段帧修复报告文件存储到这个目录中。

例如，为了提升第一存储系统的性能，也可以删除第一存储系统中的编目压缩码流元数据文件、编目段辅助数据文件、编目段元数据文件、编目景元数据文件和编目段帧修复报告文件。删除编目压缩码流数据过程中同步删除对应编目压缩码流元数据文件，删除编目段格式化数据过程中同步删除对应的编目段辅助数据文件、编目段元数据文件、编目景元数据文件和编目段帧修复报告文件。

例如，以光学载荷202301025成像任务删除编目压缩码流数据为例，当8片CCD编目压缩码流数据删除成功之后，删除对应编目压缩码流元数据文件：GFX-1_CCD_202301025_20230330110000.Raw.meta.xml。

例如，由于第二存储系统不常使用，当第一存储系统中的编目压缩码流元数据文件、编目段辅助数据文件、编目段元数据文件、编目景元数据文件和编目段帧修复报告文件被删除或破坏，可以从第二存储系统中回迁编目压缩码流元数据文件、编目段辅助数据文件、编目段元数据文件、编目景元数据文件和编目段帧修复报告文件到第一存储系统中。

例如，判断数据库中成像任务对应编目压缩码流元数据文件、编目段辅助数据文件、编目段元数据文件、编目景元数据文件和编目段修帧复报告文件信息与第一存储系统中的文件信息是否一致，包括文件存储路径、文件MD5信息，若文件不存在或者MD5校验信息不一致，则从第二存储系统中重新回迁编目压缩码流元数据文件、编目段辅助数据文件、编目段元数据文件、编目景元数据文件和编目段帧修复报告文件。

例如，以202301025成像任务编目段元数据文件“GFX-1_CCD_202301025_20230330110000.meta.xml”为例，从数据中获取第一存储系统中逻辑目录PATH和MD5值，检查PATH中该文件是否存储，若不存在，则从第二存储系统中回迁该段文件到第一存储系统中。若存在，则计数该文件MD5，若重新计数的MD5值与数据库中不一致，则计数第二存储系统中段元文件的MD5值，若一致，则从第二存储系统中回迁该段文件到第一存储系统中。若不一致，则重新根据编目段格式化数据文件，重新解析生成。

本发明另一方面提供一种卫星成像数据提取方法，应用于提取采用本发明实施例任一项方法存储的编目压缩码流数据，例如包括：

S1810，读取编目压缩码流数据。

例如，读取第一存储系统或第二存储系统中的编目压缩码流数据。

例如，根据任务处理需求，当需要整个历史编目段格式化数据进行分发或产品生产时，根据编目段格式化数据与编目压缩码流数据联合编目信息、存储路径，按编目段格式化开始行和结束行行计数对应编目压缩码流数据图幅计数，按图幅计数顺序（压缩图幅序号）读取编目压缩码流数据并实时解压缩格式化。当只需要某几景历史数据进行分发或产品生产时，根据编目景元数据与编目压缩码流数据联合编目信息、存储路径，按编目景元数据开始行和结束行行计数对应编目压缩码流数据图幅计数，仅按景对应图幅计数顺序数读取编目压缩码流数据并实时解压缩格式化。

S1820，对编目压缩码流数据进行同步解压缩，得到编目段格式化数据。

例如，解析任务处理需求订单，当处理订单需要整个历史编目段格式化数据进行分发或产品生产时。根据处理数据编号（例如编目段编号、数据景编号）获取对应编目格式化数据信息、编目压缩码流数据信息及编目格式化与编目压缩码流数据联合编目信息，并针对载荷第i ₄片CCD，获取第i ₄片CCD编目段格式化数据开始行和结束行行计数SegStartLineCounti、SegEndLineCounti及对应第i ₄片CCD编目压缩码流数据图幅计数StartRawCounti、EndRawCounti，启动第i ₄个服务按StartRawCounti~EndRawCounti递增顺序读取压缩码流数据图幅数据，解析压缩信息并按对应解压缩算法进行实时解压缩格式化处理，还原第i ₄片CCD编目段格式化数据。当处理订单需要某几景编目段格式化数据对应逻辑景格式化数据或产品数据。根据处理数据编号获取对应编目逻辑景数据信息、编目压缩码流数据信息及编目逻辑景与编目压缩码流数据联合编目信息，并针对载荷第j ₂景第i ₄片CCD，获取第i ₄片CCD编目逻辑景数据开始行和结束行行计数SceStartLineCounti、SceEndLineCounti及对应第i ₄片CCD编目压缩码流数据图幅计数StartRawCounti、EndRawCounti，启动第i ₄个服务按StartRawCounti~EndRawCounti递增顺序读取压缩码流数据图幅数据，解析压缩信息并按对应解压缩算法进行实时解压缩格式化处理，还原载荷第j ₂景第i ₄片CCD对应编目段格式化数据。

例如，以光学载荷GFX-1_CCD_202301025_20230330110000编目段历史数据需要重新生成编目段格式化数据为例，需要整个GFX-1_CCD_202301025_20230330110000编目段格式化数据进行分发或产品生产时。从MySQL数据库表TX_GFX_COMPRESSRAW、TX_GFX_SEGMENT中获取编目格式化数据信息、编目压缩码流数据信息及编目段格式化数据与编目压缩码流数据联合编目信息。以第3片CCD为例，获取第3片CCD编目段格式化数据开始行和结束行行计数1、8640000对应第3片CCD编目压缩码流数据图幅计数1、67500，启动第3个服务按1~67500递增顺序读取压缩码流数据图幅数据，解析压缩信息并按对应解压缩算法进行实时解压缩格式化处理，还原第3片CCD编目段格式化数据。当仅需要GFX-1_CCD_202301025_20230330110000编目段格式化数据第10景逻辑景数据进行分发或产品生产为例，从MySQL数据库表TX_GFX_COMPRESSRAW、TX_GFX_SCENE中获取编目逻辑景数据信息、编目压缩码流数据信息及编目逻辑景数据与编目压缩码流数据联合编目信息。以第3片CCD为例，获取第3片CCD编目逻辑景数据开始行和结束行行计数612100、692100对应第3片CCD编目压缩码流数据图幅计数4783、5408，启动第3个服务按478~5408递增顺序读取压缩码流数据图幅数据，解析压缩信息并按对应解压缩算法进行实时解压缩格式化处理，还原第3片CCD第10景逻辑景对应编目段格式化数据。

根据本发明的实施例，卫星成像数据提取方法例如还包括：

S1910，采用数据流、缓存堆栈和文件中的任一种或多种方式，对编目段格式化数据进行数据产品生产。

例如，当启动编目压缩码流数据读取与解压缩格式化服务时同步启动产品生产软件数据接收服务，编目压缩码流数据读取与解压缩格式化服务完成一副压缩图像解压缩与格式化之后实时以数据流的方式发送给产品生产软件数据接收服务。

例如，以光学载荷为例，若需要处理n ₅景数据，针对第n ₅景数据处理任务，启动8个编目压缩码流数据读取与解压缩格式化服务，同时启动8个产品生产软件数据接收服务，服务之间按递增顺序采用TCP/IP协议相互连接。当第i ₄个编目压缩码流数据读取与解压缩格式化服务完成第i ₄片CCD第k ₁个图幅解压缩格式化之后，采用TCP/IP数据包方式发送给第i ₄个产品生产软件数据接收服务，当产品生产软件接收的数据满足最小处理单元时，执行产品生产处理，实现数据流式后处理。

例如，编目压缩码流数据读取与解压缩格式化服务以动态库的方式集成到产品生产软件，并以“缓存堆栈”的方式返回解压缩格式化后的载荷数据给产品生产软件。

例如，以光学载荷为例，编目压缩码流数据读取与解压缩格式化服务以DLL动态库的方式集成到产品生产软件中。当产品生产软件需要某景历史编目段格式化时，调用编目压缩码流数据读取与解压缩格式化服务DLL动态库重新执行解压缩与格式化处理，DLL动态库运行过程中，每片CCD开辟大小为M的内存空间，并按StartRawCounti~EndRawCounti递增顺序解压缩格式化后的数据写入都M空间中，当所有图幅处理完成，M空间数据以缓存堆栈的方式返回给产品生产软件。

例如，获取编目压缩码流数据对应编目段格式化数据在第一存储系统中的存储位置，编目压缩码流数据读取与解压缩格式化服务解压缩格式化过程中同步存储解压缩格式化数据到第一存储系统，产品生产软件以“文件”的形式在第一存储系统中读取重新生成的编目段/景格式化数据进行产品生产。

例如，以光学载荷202301025成像任务编目段历史数据的生产为例，获取202301025成像任务在第一存储系统中存储路径：/根目录/GFX/CCD/2023/0330/GFX-1_CCD_202301025_20230330110000/，启动8个服务，分别读取202301025成像任务第二存储系统中的8片CCD对应编目压缩码流数据进行解压缩格式化处理，并按编目段格式化数据命名格式命名。当以景方式进行解压缩格式化，则命名包括景序号信息。第3片CCD第10景逻辑景对应编目段格式化数据可选的命名与景编号一致，通过后缀区分，为：GFX-1_CCD-3_202301025_20230330110000_010.FRED。

综上所述，本发明实施例提出一种卫星成像数据存储及提取方法。通过对原始观测数据进行分段，得到标准化的编目段格式化数据，根据编目段格式化数据再对原始压缩码流数据进行联合编目，得到用于存储的编目压缩码流数据。在保证数据质量、提取分发效率的基础上，需要存储的数据量小，大大降低了卫星成像数据的存储成本。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本发明的保护范围的情况下得到重新安排。所附的方法实施例以示例性的顺序给出了各种步骤的要素，并且不是要限于的特定顺序或层次。

还需要说明的是，实施例中提到的方向术语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向，并非用来限制本发明的保护范围。贯穿附图，相同的元素由相同或相近的附图标记来表示。可能导致本发明的理解造成混淆时，将省略常规结构或构造。并且图中各部件的形状、尺寸、位置关系不反映真实大小、比例和实际位置关系。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本发明。不应该将这种公开方法解释为反映了这样的意图。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。就说明书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”。使用在说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种卫星成像数据存储方法，其特征在于，包括：

获取原始压缩码流数据；

对所述原始压缩码流数据进行解压缩，得到原始观测数据；

对所述原始观测数据进行分段，得到编目段格式化数据；

根据所述编目段格式化数据的行号或行计数，按幅计数、行寻址位置对所述原始压缩码流数据进行提取、拼接和修复中的至少一种操作，得到编目压缩码流数据；

存储所述编目压缩码流数据到第一存储系统；以及

删除所述原始压缩码流数据、所述原始观测数据和所述编目段格式化数据；

其中，对所述原始压缩码流数据进行提取为必要操作，所述修复的操作包括补帧和/或行计数修复；

所述编目压缩码流数据为所述原始压缩码流数据中的一段或多段，或多段的拼接；

所述行号包括所述编目段格式化数据的开始行行号、结束行行号；

所述行计数包括所述编目段格式化数据的开始行行计数、结束行行计数；

一个所述幅计数对应多个所述行寻址位置，以及所述行寻址位置与所述行号或所述行计数一一对应。

2.根据权利要求1所述的方法，其特征在于，所述原始压缩码流数据包括原始压缩码流图像，所述对所述原始压缩码流数据进行解压缩，得到原始观测数据包括：

从所述原始压缩码流数据中提取所述原始压缩码流图像；

对所述原始压缩码流图像进行解压缩，得到多行原始图像数据；

从所述原始压缩码流数据中提取辅助数据，所述辅助数据包括所述原始压缩码流图像的幅计数与所述原始观测数据的行计数的对应关系；以及

根据所述多行原始图像数据和所述辅助数据，得到所述原始观测数据。

3.根据权利要求1所述的方法，其特征在于，所述对所述原始观测数据进行分段，得到编目段格式化数据包括：

确定成像任务的任务时段；

确定所述原始观测数据的第一行数据时段；

根据所述任务时段和所述第一行数据时段，对所述原始观测数据进行分段，得到与所述成像任务相对应的编目段格式化数据；或者

判断所述任务时段与所述第一行数据时段的包含关系；

在所述第一行数据时段不完全包含所述任务时段的情况下，确定多个所述原始观测数据的第二行数据时段；

对与所述第二行数据时段相对应的多个所述原始观测数据进行去重拼接，得到所述编目段格式化数据；

其中，在对与所述第二行数据时段相对应的多个所述原始观测数据进行去重拼接的情况下，方法还包括：

确定去重拼接信息；

根据所述去重拼接信息，确定第一编目段元数据；

存储所述第一编目段元数据；

其中，所述去重拼接信息包括：拼接前的多个所述原始观测数据的开始行行计数、开始行对应幅计数、开始行对应寻址位置、结束行行计数、结束行对应幅计数以及结束行对应寻址位置；以及

拼接后的所述编目段格式化数据的开始行行计数、开始行对应幅计数、结束行行计数以及结束行对应幅计数。

4.根据权利要求3所述的方法，其特征在于，还包括：

对所述编目段格式化数据进行逻辑分块，得到编目景元数据；

确定所述编目段格式化数据、所述编目景元数据与所述编目压缩码流数据的联合编目信息；

存储所述编目景元数据和所述联合编目信息；

其中，所述编目景元数据包括：景开始行行计数、景开始行对应幅计数、景结束行行计数以及景结束行对应幅计数；

所述联合编目信息包括所述编目段格式化数据的段开始行行号、段开始行行计数、段开始行与所述编目压缩码流数据的对应幅计数、段结束行行号、段结束行行计数、段结束行与所述编目压缩码流数据的对应幅计数以及所述编目景元数据的景开始行行号、景开始行行计数、景开始行与所述编目压缩码流数据的对应幅计数、景结束行行号、景结束行行计数、景结束行与所述编目压缩码流数据的对应幅计数。

5.根据权利要求3所述的方法，其特征在于，还包括：

对所述编目段格式化数据进行行完整性检查；

在所述编目段格式化数据的行数不完整的情况下，对所述编目段格式化数据进行补帧；和/或

对所述编目段格式化数据进行行连续性检查；

在所述编目段格式化数据的行数不连续的情况下，对所述编目段格式化数据进行行计数修复；以及

根据补帧信息和/或行计数修复信息，得到编目段帧修复报告；

存储所述编目段帧修复报告；

其中，所述补帧信息包括：补帧次数、每次补帧行数、补帧开始行行计数、补帧开始行对应幅计数、补帧结束行行计数和补帧结束行对应幅计数；

所述行计数修复信息包括：行计数跳变次数、每次行计数跳变修复行的行号、行计数和修复行对应幅计数。

6.根据权利要求1所述的方法，其特征在于，所述根据所述编目段格式化数据，按幅计数对所述原始压缩码流数据进行提取，得到编目压缩码流数据包括：

确定所述编目段格式化数据的第二编目段元数据，其中，所述第二编目段元数据包括所述编目段格式化数据的开始行行计数、开始行对应幅计数、开始行对应寻址位置、结束行行计数、结束行对应幅计数以及结束行对应寻址位置；

根据所述第二编目段元数据，对所述原始压缩码流数据进行提取，得到所述编目压缩码流数据。

7.根据权利要求3所述的方法，其特征在于，所述根据所述编目段格式化数据，按幅计数对所述原始压缩码流数据进行提取，得到编目压缩码流数据包括：

确定与多个所述原始观测数据相对应的多个所述原始压缩码流数据；

对多个所述原始压缩码流数据进行去重拼接，得到所述编目压缩码流数据。

8.根据权利要求5所述的方法，其特征在于，还包括：

根据所述补帧信息和/或所述行计数修复信息，确定所述编目段格式化数据的变更行数据；

对所述变更行数据进行压缩后，编码得到修复的编目压缩码流数据。

9.根据权利要求1所述的方法，其特征在于，所述删除所述原始压缩码流数据、所述原始观测数据和所述编目段格式化数据包括：

分别设置所述原始压缩码流数据、所述原始观测数据和所述编目段格式化数据的存储周期和水线阈值；

根据所述存储周期和所述水线阈值，对所述原始压缩码流数据、所述原始观测数据和所述编目段格式化数据进行删除。

10.根据权利要求1所述的方法，其特征在于，还包括：

存储所述编目压缩码流数据到一个或多个第二存储系统；

删除所述第一存储系统中的数据；

其中，所述第一存储系统的读写速度大于所述第二存储系统，和/或所述第一存储系统的存储容量大于所述第二存储系统。

11.一种卫星成像数据提取方法，应用于提取采用权利要求1~10任一项所述方法存储的编目压缩码流数据，其特征在于，包括：

读取所述编目压缩码流数据；

按幅计数、行寻址位置对所述编目压缩码流数据进行同步解压缩，得到编目段格式化数据。

12.根据权利要求11所述的方法，其特征在于，还包括：

采用数据流、缓存堆栈和文件中的任一种或多种方式，对所述编目段格式化数据进行数据产品生产。