CN104900248A - 一种从磁带上快速提取陆地观测卫星景数据的方法 - Google Patents

Abstract

本发明提供了一种从磁带上快速提取陆地观测卫星景数据的方法，该方法在将0级条带数据从在线盘阵归档到磁带库之前，首先对每轨数据进行预处理，生成头文件和辅助数据文件，将数据描述区内容和辅助数据分别保存在盘阵的这两个文件中；当需要从磁带中恢复该0级条带中的景数据时，可以根据头文件的内容对该景图像数据进行定位，并可以从辅助数据文件中直接读取辅助数据，只需要对磁带一次定位，即可完成景数据提取任务，解决了由于磁带多次定位造成的时间延迟问题，加快了近线景数据提取速度。

Description

一种从磁带上快速提取陆地观测卫星景数据的方法

技术领域

本发明涉及计算机技术在遥感卫星数据处理系统中的应用领域，特别涉及一种从磁带上快速提取陆地观测卫星景数据的方法。

背景技术

遥感卫星地面处理系统每天实时对多颗遥感卫星下传的原始基带数据进行数据录入、产品生产与归档，并通过网络分发产品。为了保证用户能快速从网上下载所订购的产品数据，同时又考虑到海量遥感卫星数据的存储成本，地面处理系统通常采用分级存储方式，即采用在线磁盘阵列、近线磁带库、离线磁带存储处理系统生产的产品数据。在线磁盘阵列用于存储新生产及经常被使用的0级条带数据、产品数据及其它需要长期在线保存的数据；磁带库用于近线存储0级条带数据和产品数据；而0级条带及产品的元数据均存储在数据库中。根据存储策略，产品数据自动从在线迁移至近线、离线保存。如果用户订购的数据不是处理系统提供的标准产品，则需要重新生产。若此时重新生产所需的0级条带数据已经迁移至近线，那么处理系统将首先从近线磁带库中的条带数据上直接提取景数据，然后恢复到在线盘阵进行产品生产，最后生成用户所需的产品。0级条带、产品数据及元数据在数据库、在线盘阵及近线带库中的存储位置示意图如图1所示。

由于国内陆地观测卫星0级长条带数据文件一般由三部分组成，按照数据存放先后顺序，依次为信号数据描述区、信号数据区以及整轨辅助数据区。因此，目前地面处理系统从磁带库中的0级条带数据上提取景数据的常用方法为：首先将磁带定位到该轨0级条带数据的信号描述区，读取条带数据描述信息；然后将磁带向后转动，定位到信号数据区，读取需要提取的景图像数据文件；接着磁带继续向后转动，定位到辅助数据区，读取相应的景辅助数据，最后写到在线盘阵。3次定位中，第一次定位时间主要取决于该轨0级条带数据在磁带上的位置，即数据位于磁带头比位于磁带尾定位时间短。第二次定位与第三次定位时间主要与该轨数据的大小与磁带定位速度相关。而磁带的定位速度受各种不确定因素影响，会出现不稳定现象。随着高分辨卫星每轨0级条带数据量的增加，定位时间也会相应增加，从而影响从磁带直接提取景数据文件的效率。

发明内容

本发明的目的在于克服现有技术的不足，提供一种从磁带上快速提取陆地观测卫星景数据的方法，该方法只需要一次定位，即可完成景数据提取任务，解决了由于磁带多次定位造成的时间延迟问题，加快了近线景数据提取速度。

本发明的上述目的通过以下方案实现：

一种从磁带上快速提取陆地观测卫星景数据的方法，包括如下步骤：

(1)、将在线盘阵的0级条带数据归档到磁带库之前，首先进行如下的预处理：

(1a)、在盘阵上形成0级条带数据的头文件，并将数据帧数、帧长、辅助数据各段的起始位置和各段辅助数据的字节数保存在所述头文件中；

(1b)、在盘阵上形成0级条带数据的辅助数据文件，并将所述0级条带数据的辅助数据保存在辅助数据文件中；其中，所述辅助数据按段保存，每段内容与段号一一对应；

(2)、将在线盘阵的0级条带数据归档到磁带库，并在数据库的产品存储信息表中设置并记录所述0级条带数据对应的存储对象号，以及所述0级条带数据在磁带库中存放的磁带信息；

(3)、当用户订购的产品触发处理系统重新生产时，从磁带库中的0级条带数据中提取相应的景图像数据，生成景图像数据文件；从在线盘阵的0级条带辅助数据文件中提取相应的辅助数据，生成景辅助数据文件；从数据库景元数据表中提取相应的景元数据，生成景元数据文件；并将上述三个文件写到在线盘阵设定的景数据提取目录下，具体实现过程如下：

(3a)、根据用户设定的景号，在数据库中已有的景元数据表中提取景开始行号、景结束行号，然后读取在线盘阵上的0级条带数据的头文件，在所述头文件中提取帧长；根据所述景开始行号、景结束行号和帧长，计算得到所述景号对应的图像数据开始位置、结束位置；

(3b)、根据用户设定的景号，在数据库中已有的景元数据表中提取景辅助数据的段号；然后读取在线盘阵上的0级条带数据的头文件，在所述头文件中提取景辅助数据的起始位置和结束位置；

(3c)、读取在线盘阵上的0级条带数据的辅助数据文件，然后根据步骤(3b)提取的辅助数据起始位置和结束位置，以及景辅助数据的段号，在所述辅助数据文件中读取相应段的辅助数据，生成景辅助数据文件，并写到在线盘阵设定的景数据提取目录下；

(3d)、根据用户设定的景号，在数据库的产品存储信息表中读取存储对象号和磁带信息，然后根据所述存储对象号和磁带信息在磁带中找到0级条带数据所在位置，再根据步骤(3a)计算得到的图像数据开始位置和结束位置，在磁带中定位出待提取数据的位置并读取相应的景图像数据；

(3e)、根据步骤(3d)提取的景图像数据，生成景图像数据文件，并写到在线盘阵设定的景数据提取目录下；

(3f)、调用数据库访问接口，提取景图像数据的描述信息，然后生成景元数据文件，保存所述描述信息，并写到在线盘阵设定的景数据提取目录下。

上述的从磁带上快速提取陆地观测卫星景数据的方法，在步骤(1a)中，从每轨0级条带数据的头部提取信号数据描述区内容，所述内容包括数据帧数、帧长、辅助数据各段的起始位置和各段辅助数据的字节数，然后将所述区内容保存在头文件中。

上述的从磁带上快速提取陆地观测卫星景数据的方法，在步骤(1b)中，从每轨0级条带数据的尾部提取辅助数据，然后将所述辅助数据保存在辅助数据文件中。

上述的从磁带上快速提取陆地观测卫星景数据的方法，在步骤(1)中，将生成的0级条带数据的头文件和辅助数据文件保存在线盘阵的同一目录下。

上述的从磁带上快速提取陆地观测卫星景数据的方法，在步骤(3f)结束后，将景辅助数据文件、景图像数据文件和景元数据文件拷贝到设定目录下，供处理系统生产新产品所用。

本发明与现有技术相比，具有以下优点：

本发明在将0级条带数据从在线盘阵归档到磁带库之前，首先对每轨数据进行预处理，在盘阵上生成头文件和辅助数据文件，将数据描述区内容和辅助数据保存在这两个文件中；当需要从磁带库中的该0级条带数据提取景数据时，只需根据头文件的内容对磁带上的景数据进行一次定位，即可提取到所需的景图像数据，并写到在线盘阵指定目录；该景的辅助数据可以直接从在线盘阵上的辅助数据文件中读取，从而节省了在磁带中定位提取的时间，提高了景数据的提取速度。

附图说明

图1为现有技术中0级条带数据、产品数据和元数据存储方式示意图；

图2为本发明从磁带上快速提取陆地观测卫星景数据的方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细的描述：

为了解决目前陆地观测卫星地面处理系统在景数据提取过程中由于磁带多次定位造成的时间浪费问题，本发明提出了一种从磁带库中的陆地观测卫星0级条带数据上快速提取景数据的方法，可以有效提高景数据的提取效率。

由图2所示的方法流程框图，本发明的从磁带上快速提取陆地观测卫星景数据的方法，包括如下步骤：

(1)、将在线盘阵的0级条带数据归档到磁带库之前，首先进行如下的预处理：

(1a)、形成0级条带数据的头文件，从每轨0级条带数据的头部提取信号数据描述区内容，所述内容包括数据帧数、帧长、辅助数据各段的起始位置和各段辅助数据的字节数，然后将这些内容保存在头文件中。在本实施例中，将该头文件保存到在线盘阵指定目录dataset-head-aux下，并将头文件存储路径存入数据库条带数据存储路径描述表DATASET-PATH中；

(1b)、形成0级条带数据的辅助数据文件，从每轨0级条带数据的尾部提取辅助数据，然后将所述辅助数据保存在辅助数据文件中；其中，所述辅助数据按段保存，每段内容与段号一一对应。在本实施例中，将该辅助数据文件保存到在线盘阵指定目录dataset-head-aux下，并将辅助数据文件存储路径存入数据库条带数据存储路径描述表DATASET-PATH中；

(2)、按照设定的存储策略，每天晚上固定时间，将当天生产的所有0级条带数据从在线盘阵自动迁移到磁带库中，并在数据库的产品存储信息表中设置并记录所述0级条带数据对应的存储对象号，以及所述0级条带数据在磁带库中存放的磁带信息；

(3)、当用户订购的产品触发处理系统重新生产时，首先需要判断该条数据文件是否在线，如果仍在线保存，则根据待提取景号，直接从在线盘阵中提取景数据；如果该条数据已迁移到磁带库中近线存储，则需要从磁带库中的0级条带数据中提取景图像数据，生成景图像数据文件；从在线盘阵的0级条带辅助数据文件中提取相应的辅助数据，并生成景辅助数据文件；从数据库景元数据表中提取相应的景元数据，并生成景元数据文件，并将上述三个文件写到在线盘阵设定的景数据提取目录下，具体实现过程如下：

(3a)、通过webservice接口获得用户设定的待提取景数据参数，包括待提取景号和切景景数。然后在数据库的景元数据表中提取该景开始行号、景结束行号；再从在线盘阵存放经预处理的0级条带数据目录dataset-head-aux中，读取条带数据头文件所有信息，提取帧长；根据所述景开始行号、景结束行号和帧长，计算得到所述景号对应的图像数据开始位置、结束位置；

其中，上述的景元数据表是在0级条带数据归档到在线盘阵时插入数据库中生成的，在该表中记录了在线存储的0级条带数据中景元数据的景号、景开始行号、景结束行号和景辅助数据的段号等信息。

(3b)、根据用户设定的景号，在数据库的景元数据表中提取该景辅助数据的段号；然后从在线盘阵存放经预处理的0级条带数据目录dataset-head-aux中读取条带数据头文件，在所述头文件中根据段号提取该景辅助数据的起始位置和结束位置；

(3c)、从在线盘阵dataset-head-aux中读取经预处理的0级条带辅助数据文件，然后根据步骤(3b)提取的辅助数据起始位置和结束位置，以及景辅助数据的段号，在所述辅助数据文件中读取相应段的辅助数据，生成景辅助数据文件(.AUX)，并写到在线盘阵设定的景数据提取目录scene-extract下；

(3d)、根据用户设定的景号，在数据库的产品存储信息表中查找该景对应的存储对象号和磁带信息，然后存储管理软件根据所述存储对象号和磁带信息，查找该景号对应磁带中0级条带数据所在位置，再根据步骤(3a)计算得到的图像数据开始位置和结束位置，将磁带直接中定位至待提取数据的位置并读取相应的景图像数据；

(3e)、根据步骤(3d)提取的景图像数据，生成景图像数据文件(.DAT)，并写到在线盘阵设定的景数据提取目录scene-extract下；

(3f)、调用数据库访问接口，提取景元图像数据的描述信息，然后生成景元数据文件(.XML)保存该描述信息，并写到在线盘阵设定的景数据提取目录scene-extract下。其中，景元图像数据的描述信息主要包含景号、0级条带号、卫星代号、传感器代号、接收站代号、图像采集日期、该景开始行号、该景结束行号、该景开始采集时间、该景结束采集时间、景PATH、景ROW、景中心经度、景中心纬度、图像四个角点经纬度、太阳高度角、太阳方位角、数据评价质量等信息。将景数据提取目录下的三个文件拷贝至指定目录，供处理系统生产新产品所用。

以上所述，仅为本发明一个具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (5)

1.一种从磁带上快速提取陆地观测卫星景数据的方法，其特征在于包括如下步骤：

(1)、将在线盘阵的0级条带数据归档到磁带库之前，首先进行如下的预处理：

(1a)、在盘阵上形成0级条带数据的头文件，并将数据帧数、帧长、辅助数据各段的起始位置和各段辅助数据的字节数保存在所述头文件中；

(1b)、在盘阵上形成0级条带数据的辅助数据文件，并将所述0级条带数据的辅助数据保存在辅助数据文件中；其中，所述辅助数据按段保存，每段内容与段号一一对应；

(2)、将在线盘阵的0级条带数据归档到磁带库，并在数据库的产品存储信息表中设置并记录所述0级条带数据对应的存储对象号，以及所述0级条带数据在磁带库中存放的磁带信息；

(3)、当用户订购的产品触发处理系统重新生产时，从磁带库中的0级条带数据中提取相应的景数据，生成景图像数据文件；从在线盘阵的0级条带辅助数据文件中提取相应的辅助数据，并生成景辅助数据文件；从数据库景元数据表中提取相应的景元数据，生成景元数据文件；将上述三个文件写到在线盘阵设定的景数据提取目录下，具体实现过程如下：

(3a)、根据用户设定的景号，在数据库中已有的景元数据表中提取景开始行号、景结束行号，然后读取在线盘阵上的0级条带数据的头文件，在所述头文件中提取帧长；根据所述景开始行号、景结束行号和帧长，计算得到所述景号对应的图像数据开始位置、结束位置；

(3b)、根据用户设定的景号，在数据库中已有的景元数据表中提取景辅助数据的段号；然后读取在线盘阵上的0级条带数据的头文件，在所述头文件中提取景辅助数据的起始位置和结束位置；

(3c)、读取在线盘阵上的0级条带数据的辅助数据文件，然后根据步骤(3b)提取的辅助数据起始位置和结束位置，以及景辅助数据的段号，在所述辅助数据文件中读取相应段的辅助数据，生成景辅助数据文件，并写到在线盘阵设定的景数据提取目录下；

(3d)、根据用户设定的景号，在数据库的产品存储信息表中读取存储对象号和磁带信息，然后根据所述存储对象号和磁带信息在磁带中找到0级条带数据所在位置，再根据步骤(3a)计算得到的图像数据开始位置和结束位置，在磁带中定位出待提取数据的位置并读取相应的景图像数据；

(3e)、根据步骤(3d)提取的景图像数据，生成景图像数据文件，并写到在线盘阵设定的景数据提取目录下；

(3f)、调用数据库访问接口，提取景图像数据的描述信息，然后生成景元数据文件保存所述描述信息，并写到在线盘阵设定的景数据提取目录下。

2.根据权利要求1所述的一种从磁带上快速提取陆地观测卫星景数据的方法，其特征在于：在步骤(1a)中，从每轨0级条带数据的头部提取信号数据描述区内容，所述内容包括数据帧数、帧长、辅助数据各段的起始位置和各段辅助数据的字节数，然后将所述内容保存在头文件中。

3.根据权利要求1所述的一种从磁带上快速提取陆地观测卫星景数据的方法，其特征在于：在步骤(1b)中，从每轨0级条带数据的尾部提取辅助数据，然后将所述辅助数据保存在辅助数据文件中。

4.根据权利要求1所述的一种从磁带上快速提取陆地观测卫星景数据的方法，其特征在于：在步骤(1)中，将生成的0级条带数据的头文件和辅助数据文件保存在线盘阵的同一目录下。

5.根据权利要求1所述的一种从磁带上快速提取陆地观测卫星景数据的方法，其特征在于：在步骤(3f)结束后，将景图像数据文件、景辅助数据文件和景元数据文件拷贝到设定目录下，供处理系统生产新产品所用。