CN110941463B - 一种遥感卫星数据预处理多级产品自驱动系统 - Google Patents

Abstract

本发明公开了一种遥感卫星数据预处理多级产品自驱动系统，包括预处理模块，预处理模块对各级遥感卫星的数据进行预处理，形成统一规范格式的数据文件，其中，所述预处理包括对各级遥感卫星的产品名称、产品格式、元数据文件以及输入参数进行处理，形成统一格式文件，且所述产品名称和所述元数据文件具备产品级别信息；自驱动模块，所述自驱动模块位于每一个遥感数据处理流程末尾，自驱动模块的配置策略文件的内容由产品分级决定，其内容包括：本级自驱动模块名称、当前产品级别、所支持的卫星名称、下一步要发起的工作流程编号和工作流程输入参数模板。本发明能够在流程架构层次解决多卫星、多生产步骤、多关联关系的多级产品预处理困难的问题。

Description

一种遥感卫星数据预处理多级产品自驱动系统

技术领域

本发明涉及遥感卫星数据预处理技术领域，具体来说，涉及一种遥感卫星数据预处理多级产品自驱动系统。

背景技术

近年来中国乃至世界的遥感卫星对地观测技术取得了飞速发展。随着国家布局以及遥感应用商业化发展的不断深入，资源卫星系列、风云卫星系列、环境卫星系列、海洋卫星系列、高分卫星系列、以及以高景和吉林一号为代表的商业卫星等越来越多的遥感卫星不断上天运行，这对地面预处理系统发起了挑战。遥感卫星预处理指对地面站接收的原始码流数据进行解格式、辐射校正、几何校正等处理，生成各级标准影像，为后续的遥感应用提供数据基础。除却处理算法上的差异，遥感卫星预处理在操作步骤也存在差异，使得遥感卫星在处理过程中存在“一星一议”的问题，这制约着遥感卫星预处理的快速开发。在处理流程上主要存在的问题有：

1)、遥感卫星数据预处理在处理步骤上大致相同，但因卫星星上设置与本身传感器特性不同，导致卫星在处理步骤、产品级别上存在差异。比如解密、解压缩、光谱复原等操作，有的卫星就没有，这就导致了遥感卫星在操作步骤、产品级别设置上存在差异；

2)、遥感卫星预处理在不同级别产品关联关系上也存在差异。如：原始码流数据文件个数与解压缩文件个数有的是1对3，有的是1对5；而在数据分离中过冲，针对不同的卫星载荷设置，也同样出现了m对n的关系。这导致了不同卫星，甚至同一卫星，在进行下一级产品生产时存在输入与输出的不确定性。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种遥感卫星数据预处理多级产品自驱动系统，能够在流程架构层次解决多卫星、多生产步骤、多关联关系的多级产品预处理困难的问题；同时利用工厂模式将自驱动过程进行抽象设计，在程序开发层次解决多级别自驱动的实现问题。

本发明的技术方案是这样实现的：

一种遥感卫星数据预处理多级产品自驱动系统，包括：

模块层，所述模块层包含各级遥感卫星的数据处理算法，被调用时运行在处理节点上；业务层，解析外部输入的描述待处理遥感卫星的处理流程的XML文件，根据文件内容，从模块层内选择适合该卫星数据处理的算法，并根据遥感数据处理流程，将上述模块层中的算法进行业务逻辑组合；内核层，按照业务层上组合好的业务逻辑关系调用模块层内相应算法，对卫星数据进行处理，生成需要的数据产品；逻辑关系，根据业务逻辑关系通过作业调度引擎调用模块层的相应算法，数据处理过程中的数据信息通过数据持久化引擎存储到数据库中，应用中间件为上述引擎提供统一的运行环境；

还包括：

预处理模块，所述预处理模块对各级遥感卫星的数据进行预处理，形成统一规范格式的数据文件，其中，所述预处理包括对各级遥感卫星的产品名称、产品格式、元数据文件以及输入参数进行处理，形成统一格式文件，且所述产品名称和所述元数据文件具备产品级别信息，所述输入参数包括XML文件，其根节点名称为模块名，内容包括输入数据名称、输出路径、日志文件路径、错误文件路径信息；

自驱动模块，所述自驱动模块位于每一个遥感数据处理流程末尾，其实现类则根据产品级别和配置文件要求，采取继承的方式实例化后运行，自驱动模块的配置策略文件的内容由产品分级决定，其内容包括：本级自驱动模块名称、当前产品级别、所支持的卫星名称、下一步要发起的工作流程编号和工作流程输入参数模板。

其中，所述本级自驱动模块名称具有唯一性。

本发明在不修改星数据预处理系统本身的情况下的基础上，按照不同的产品级别将预处理分成几个不同的生产流程，生产流程由算法模块串行组成；将算法模块分为预处理模块和自驱动模块两种：预处理模块对产品数据进行实际处理，而自驱动模块只是匹配产品级别，动态发起下一级的级别生产流程。本发明在流程架构层次解决多卫星、多生产步骤、多关联关系的预处理自动生产问题；同时在自驱动模块实现上，利用工厂模式将自驱动过程进行抽象设计，在程序开发层次解决多级别自驱动的实现问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的遥感卫星数据预处理多级产品自驱动系统的实现流程；

图2是根据本发明实施例的自驱动模块抽象类图；

图3是根据本发明实施例的分景处理流程图；

图4是根据本发明实施例的任务分解调度流程图；

图5是根据本发明实施例的自驱动模块实现过程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种遥感卫星数据预处理多级产品自驱动系统，包括：模块层，所述模块层包含各级遥感卫星的数据处理算法，被调用时运行在处理节点上；业务层，解析外部输入的描述待处理遥感卫星的处理流程的XML文件，根据文件内容，从模块层内选择适合该卫星数据处理的算法，并根据遥感数据处理流程，将上述模块层中的算法进行业务逻辑组合；内核层，按照业务层上组合好的业务逻辑关系调用模块层内相应算法，对卫星数据进行处理，生成需要的数据产品；逻辑关系，根据业务逻辑关系通过作业调度引擎调用模块层的相应算法，数据处理过程中的数据信息通过数据持久化引擎存储到数据库中，应用中间件为上述引擎提供统一的运行环境；还包括：

预处理模块，所述预处理模块对各级遥感卫星的数据进行预处理，形成统一规范格式的数据文件，其中，所述预处理包括对各级遥感卫星的产品名称、产品格式、元数据文件以及输入参数进行处理，形成统一格式文件，且所述产品名称和所述元数据文件具备产品级别信息，所述输入参数包括XML文件，其根节点名称为模块名，内容包括输入数据名称、输出路径、日志文件路径、错误文件路径信息；

自驱动模块，所述自驱动模块位于每一个遥感数据处理流程末尾，其实现类则根据产品级别和配置文件要求，采取继承的方式实例化后运行，自驱动模块的配置策略文件的内容由产品分级决定，其内容包括：本级自驱动模块名称、当前产品级别、所支持的卫星名称、下一步要发起的工作流程编号和工作流程输入参数模板。其中，所述本级自驱动模块名称具有唯一性

而为了方便理解本发明的上述技术方案，以下通过具体流程，对本发明的上述技术方案进行详细说明。

在实际运行时，本发明的上述系统如图1-5所示，包含以下步骤：

A、制定产品规范，开发处理模块

处理模块的输入参数必须合乎流程规范，能被后续的工作流程驱动解析。输入参数一般包括输入数据，输出路径，日志路径等信息。以分景模块为例，其参数文件的根节点为SPLITSCENE，即为数据分离模块的程序名称。

而产品名称或元数据文件中必须包含产品级别信息，以便后续的自驱动生成模块能够方便的解析产品级别，从而方便的发起下一级流程。以L1A产品为例，文件名称为：XX04_MIR_013894_20190716_QBAR1_01_207_L1A_01.tif，其中，L1A为产品级别。其产品元数据文件也为XML格式，其中“ProductLevel标签的值为“L1A”，也指出了该产品对应的产品级别。

B、根据产品级别特性开发自驱动模块，完善自驱动模块配置；

如图2所示，自驱动模块采用工厂模式实现。

自驱动生成模块的各实现要素主要分为三类，自驱动接口类、自驱动实现类、自驱动工厂类。自驱动接口类对自驱动过程进行抽象，对操作逻辑进行定义，对公共函数进行实现；自驱动实现类采用继承的方式，针对不同产品级别，实现与下一级生产流程相关的函数；自驱动工厂类则根据输入参数，实例化相应的自驱动实现类。

自驱动接口类具体为：

定义自驱动接口类为AutoProuduct，定义接口函数为Run，则Run函数中规定了自驱动生产的流程逻辑，如下所示：

读取元数据文件；

解析配置文件，获取下一级流程定义；

生成下一级流程生产参数模板；

提交下一级流程任务；

生成执行状态文件。

所有的自驱动实现类都要按以上流程逻辑实现相应的接口。

自驱动模块开发完毕后，还需要根据自驱动模块所支持的产品级别，完善配置策略文件。以分景产品为例，其配置文件中定义了本级自驱动模块名称为SPLICTSCENE、当前产品级别为CAT、所支持的卫星名称为G1和G2、自驱动模块下一步要发起的工作流程编号和工作流程输入参数模板。

C、按产品生产级别注册工作流程，每个工作流程末尾增加自驱动生产模块；

卫星数据预处理任务是由一系列阶段子任务(算法模块)有机组合而成的处理流程。本发明引入工作流机制来灵活、动态的实现流程的解析与调度。每个工作流程都保存为工作流程定义文件，以XML形式描述，主要内容包括工作流程名称、编号，工作流中各个模块的先后次序和模块名称。其中自驱动生产模块要最后一个模块加到工作流程末尾。这些模块在调度时被解析成相应的任务顺序执行。

如图3所示，以分景处理为例，工作流文件中的各模块逻辑关系可以用下图描述，其中分景、归档、自驱动为工作流中的三个模块，箭头指向表明模块在工作流文件中的先后顺序。可以看出，自驱动模块为工作流中的最后一个模块。

D、提交任务，按照工作流程定义进行任务分解调度；

如图4所示，卫星数据预处理系统对流程定义文件进行解析，并按照流程文件中定义的步骤对各阶段子任务按顺序进行处理。在处理子任务时，首先将上一子任务的输出作为输入，自动生成本次子任务所需的参数文件，并以指定的规则存放于处理订单的目录下，参数文件符合如A步骤所示的规范；其次生成子任务对应的脚本文件，并提交作业调度系统进行调度执行。其中子任务脚本文件中包含了模块所需的计算资源、模块名称以及相应的参数文件。

以C步骤所示工作流程为例，将依次按顺序生成SPLITSCENCE.xml，SPLITSCENCE.sh；待SPLITSCENCE.sh执行完毕后根据SPLITSCENCE的输出生成ARCHIVE.xml、ARCHIVE.sh；直至AUTOPRODUCT.sh任务脚本执行完毕。

E、自驱动模块解析输入，动态驱动下一级任务流程；

执行AUTOPRODUCT.sh脚本时，将调用自驱动模块，根据输入参数判断数据级别，实例化相应的自驱动实现类，动态发起下一级产品生产任务流程。

如步骤D所示例子，将依据解压缩数据载荷，动态发起多个数据分离、分景任务流程，如发起全色载荷分离分景任务流程、多光谱载荷分离分景模块。

如图5所示，自驱动模块解析实现过程为：

自驱动模块解析输入参数，判断输入产品级别和卫星名称；

自驱动模块根据产品级别和卫星名称，从配置策略文件中读取相应的自驱动策略；

根据自驱动策略，实例化相应的子类。如对于分景数据，实例化CatAutoProduct子类。

CatAutoProduct根据自身数据所包含的传感器类型，按照配置策略中的工作流程编号和参数模板，依次发起相应的辐射、几何产品生产流程。

F、循环进行，直至最后一级产品生产成功。

在卫星数据预处理中，一般以系统几何校正产品作为最后一级产品输出。因此，从原始码流出发，根据卫星、传感器特色需对处理流程逐步分解，配置所需工作流程，实现相应的自驱动模块，直至生成系统几何校正产品。

综上所述，本发明在不修改卫星数据预处理系统本身的情况下的基础上，按照不同的产品级别将预处理分成几个不同的生产流程，生产流程由算法模块串行组成；将算法模块分为预处理模块和自驱动模块两种：预处理模块对产品数据进行实际处理，而自驱动模块只是匹配产品级别，动态发起下一级的级别生产流程。本发明在流程架构层次解决多卫星、多生产步骤、多关联关系的预处理自动生产问题；同时在自驱动模块实现上，利用工厂模式将自驱动过程进行抽象设计，在程序开发层次解决多级别自驱动的实现问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种遥感卫星数据预处理多级产品自驱动系统，包括：

模块层，所述模块层包含各级遥感卫星的数据处理算法，被调用时运行在处理节点上；业务层，解析外部输入的描述待处理遥感卫星的处理流程的XML文件，根据文件内容，从模块层内选择适合该卫星数据处理的算法，并根据遥感数据处理流程，将上述模块层中的算法进行业务逻辑组合；内核层，按照业务层上组合好的业务逻辑关系调用模块层内相应算法，对遥感卫星数据进行处理，生成需要的数据产品；逻辑关系，根据业务逻辑关系通过作业调度引擎调用模块层的相应算法，数据处理过程中的数据信息通过数据持久化引擎存储到数据库中，应用中间件为上述引擎提供统一的运行环境；

其特征在于，还包括：

预处理模块，所述预处理模块对各级遥感卫星的数据进行预处理，形成统一规范格式的数据文件，其中，所述预处理包括对各级遥感卫星的产品名称、产品格式、元数据文件以及输入参数进行处理，形成统一格式文件，且所述产品名称和所述元数据文件具备产品级别信息，所述输入参数包括XML文件，其根节点名称为模块名，内容包括输入数据名称、输出路径、日志文件路径、错误文件路径信息；

自驱动模块，所述自驱动模块位于每一个遥感数据处理流程末尾，其实现类则根据产品级别和配置文件要求，采取继承的方式实例化后运行，自驱动模块的配置策略文件的内容由产品分级决定，其内容包括：本级自驱动模块名称、当前产品级别、所支持的卫星名称、下一步要发起的工作流程编号和工作流程输入参数模板。

2.根据权利要求1所述的一种遥感卫星数据预处理多级产品自驱动系统，其特征在于，所述本级自驱动模块名称具有唯一性。

Images