CN102521687B - 遥感卫星数据预处理小型化通用平台 - Google Patents

Abstract

遥感卫星数据预处理小型化通用平台，平台硬件设备包含普通PC服务器、NFS存储系统和解压缩设备，硬件设备之间通过以太网进行通信；平台基本架构分为内核层、模块层和业务层；普通PC服务器包含管理节点和处理节点，管理节点上部署内核层和业务层；模块层部署在NFS存储系统中；解压缩设备对解调器输出信号进行数据格式解压缩处理；模块层内包含遥感卫星的各种数据处理算法，被调用时运行在处理节点上；业务层解析外部输入的描述待处理遥感卫星的处理流程的XML文件，并从模块层内选择适合该卫星数据处理的算法，将上述算法进行业务逻辑组合；内核层按照业务逻辑关系调用模块层内相应算法，对解压缩设备的输出数据进行数据处理，生成需要的数据产品。

Description

遥感卫星数据预处理小型化通用平台

技术领域

本发明涉及一种遥感卫星数据预处理小型化通用系统，属于计算机技术、卫星遥感数据处理。

背景技术

卫星遥感数据预处理系统位于整个空间对地观测链路的中间环节，主要任务是完成卫星下传原始数据的预处理、归档、产品的生产和分发。随着计算机技术和卫星传感器技术的飞速发展，预处理系统从以小型机或向量机等特殊硬件架构为基础的单星专用系统，发展到以商业化PC集群、SAN光纤共享存储系统和Infiniband高速网络等通用硬件架构为基础的多星多任务遥感数据预处理系统。

后类系统克服了前者系统研制周期长、成本高、不易维护扩展等缺点，但是系统的规模仍然比较庞大，需要建设在专用的数据中心，而且普遍与负责卫星数据接收的地面站分开建设。在通常业务模式下，地面站根据卫星成像任务的安排，接收、记录和存储卫星下传的数据，并将数据通过光纤网络传输至数据处理中心的预处理系统。在收到数据后，预处理系统先将原始数据进行初步处理，分离出影像数据和辅助数据。如果数据在下传时有加密处理，预处理系统还需要先对数据进行解密。根据辅助数据中的卫星姿态信息和传感器状态，预处理系统对影像数据进行辐射校正、几何校正等各种处理，再按照一定产品格式生成各级产品数据，并通过数据归档系统和数据分发系统进行数据产品存储备份和向遥感用户进行分发。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种遥感卫星数据预处理小型化通用平台，该平台能够根据使用环境的需要灵活移动和快速部署。

本发明进一步解决的技术问题是：本发明平台可以方便地在数据处理能力、存储分发和处理卫星数据的种类等方面进行扩展。

本发明的技术解决方案是：遥感卫星数据预处理小型化通用平台，平台硬件设备包含普通PC服务器、NFS存储系统和解压缩设备，上述硬件设备之间通过以太网进行通信；平台基本架构分为内核层、模块层和业务层；普通PC服务器包含管理节点和处理节点，管理节点上部署内核层和业务层，处理节点提供计算处理能力；模块层部署在NFS存储系统中；解压缩设备与卫星地面站的解调器设备直接连接，对解调器输出信号进行数据格式解压缩处理；

模块层内包含遥感卫星的各种数据处理算法，被调用时运行在处理节点上；

业务层，解析外部输入的描述待处理遥感卫星的处理流程的XML文件，根据文件内容，从模块层内选择适合该卫星数据处理的算法；并根据遥感数据处理流程，将上述算法进行业务逻辑组合；

内核层，按照业务层上组合好的业务逻辑关系调用模块层内相应算法，对解压缩设备的输出数据进行数据处理，生成需要的数据产品。

平台基本架构还包括扩展层，扩展层内包含后续对数据产品进一步处理的扩展模块，扩展层直接连入以太网；业务层根据后续业务需求，从扩展层内选择扩展模块，并将该扩展模块与模块层中的算法进行业务逻辑组合；内核层控制扩展模块对已生成的数据产品进行扩展处理。

所述的扩展模块包含对遥感卫星数据处理结果进行备份存储、分发或后续应用的模块，或根据卫星轨道参数自动下发处理任务的任务编排模块。

所述的平台硬件还包括数据信号采集记录仪，数据信号采集记录仪接入以太网并与卫星地面站的解调器设备直接连接，对解调器输出信号进行采集、记录并保存在NFS存储系统中。

所述的内核层包括工作流引擎、作业调度引擎、数据持久化引擎、应用中间件和数据库；工作流引擎负责管理和控制业务层上的业务逻辑关系，根据业务逻辑关系通过作业调度引擎调用模块层的相应算法，数据处理过程中的数据信息通过数据持久化引擎存储到数据库中，应用中间件为上述引擎提供统一的运行环境。

所述的内核层还包括接口引擎，接口引擎运行在应用中间件上，负责维护平台基本架构各层之间的接口定义格式，为各层之间的接口信息传递提供标准规范，并对各层之间传递的接口信息进行格式检查。

本发明与现有技术相比有益效果为：

(1)本发明平台的硬件架构以普通的商用PC服务器、NFS存储系统和千兆以太网络为基础，降低了平台的复杂度和规模，提高了平台的可靠性和灵活性，使平台能够根据使用需求和使用环境的变化灵活移动安装和在2小时内完成平台的部署。

(2)本发明平台所包含的解压缩设备与地面站的解调器设备直接连接，使平台能够在卫星下传数据时就开始实时的数据处理，提高了数据产品获取的及时性。采集记录仪将解调器输出的信号同时进行记录，并保存在共享存储上，作为备份手段提高了平台对于卫星数据的可靠性。

(3)本发明平台的软件架构面向可重构的业务流程，将平台的功能在工作流的基础上进行了抽象化定义，并对平台内部的接口内容进行了标准化的定义，支持根据不同的卫星传感器类型进行接口二次开发，使平台的内核层和业务层不依赖于具体的卫星传感器类型，能够在平台中快速集成不同卫星的数据处理模块，扩展到多种卫星数据的处理能力。

(4)本发明平台基本架构的内核层包含了作业调度引擎，支持动态地向平台增加处理节点，以扩展平台的卫星数据处理能力，缩短数据的处理时间，提高时效性。

(5)本发明将一些数据备份、产品分发、卫星任务编排等功能隔离到与平台内核层分离的扩展层上，采用标准的Webservice协议作为接口方式，扩展层与整个数据预处理过程相对独立，可以灵活地根据应用需求添加。由于本发明平台基本架构的内核层包含了接口引擎，支持根据功能的不同进行接口二次开发，能够使扩展层在不影响平台稳定性的前提下集成到平台中，以扩展平台的功能。

附图说明

图1为本发明的硬件结构框图；

图2为本发明的基本架构图；

图3为本发明的运行逻辑图。

具体实施方式

下面结合附图详细介绍本发明的实现过程。

如图1所示，遥感卫星数据预处理小型化通用平台的硬件设备包含普通PC服务器、磁盘阵列、数据信号采集记录仪和解压缩设备，上述硬件设备之间通过以太网进行通信；

磁盘阵列以NFS方式向其他硬件设备提供共享存储服务(也可称为NFS存储系统)；解压缩设备、数据信号采集记录仪分别与卫星地面站的解调器设备直接连接，在物理接口上支持BNC或者SMA等，在电气接口上支持差分或者单端ECL等，解压缩设备对解调器输出信号进行数据格式解压缩处理；数据信号采集记录仪对解调器输出信号进行采集、记录并保存在磁盘阵列中。

普通PC服务器包含一台管理节点和多台处理节点，管理节点负责平台的业务管理，多个处理节点组成一个计算集群，用于支持平台的数据处理任务。

如果平台需要扩展数据备份、分发、专题应用和任务编排等其他功能，在硬件上只需要将扩展功能的系统通过以太网连入平台的以太网交换机上，保证扩展系统与平台可以正常网络通信。

如图2所示，平台基本架构分为内核层、模块层和业务层；根据业务需求还可以包含扩展层(即上述提及的扩展系统)。内核层和业务层部署在管理节点上；模块层部署在NFS存储系统中；下面分别对各层是实现进行详细说明。

(一)模块层

模块层内包含遥感卫星的各种数据处理算法，被调用时运行在处理节点上；数据处理算法按照内核层中接口引擎定义的规则被封装成标准的可执行程序模块，并部署在磁盘阵列上。常用处理算法包括辐射校正算法、分景编目算法、几何校正算法等。上述算法都为遥感卫星数据处理中的常用算法。

例如，模块层中的各个算法可以采用下述格式进行统一处理：

ModeName(Command input output)

{

}

其中，ModeName代表上述辐射校正算法、分景编目算法等算法可执行程序名称；

Command代表传入的算法可执行程序名称；

Input代表输入信息文件的绝对路径；

output代表输出信息文件的绝对路径，应该包含数据处理的结果、处理过的数据文件路径等信息。

(二)扩展层

扩展层内包含后续对数据产品进一步处理的扩展模块，扩展层直接连入以太网；所述的扩展模块包含对遥感卫星数据处理结果进行备份存储、分发或后续应用的模块，或根据卫星轨道参数自动下发处理任务的任务编排模块。

备份存储就是将数据产品进行迁移作为数据备份，可以存储在扩展系统自带的存储系统中，例如磁带机、磁带库或其他存储介质。

分发就是提供一种手段，将数据产品分发给用户，用户根据扩展的分发系统进行产品的浏览、查询、订购、下载等。

后续应用就是可以对数据产品进行几何精校正、正射处理、专题产品处理(例如从数据产品中获取某地区、某时间段内的绿色植被覆盖信息等)。

任务编排是指根据卫星轨道参数和地面站经纬度计算卫星对指定地区的成像时间，并生成相应的计划任务(包括任务启动时刻、卫星传感器种类、业务流程、生产参数等)下发给平台。平台可以根据计划任务在上述成像时间对卫星下传的数据进行处理。

(三)业务层

业务层，解析外部输入的描述待处理遥感卫星的处理流程的XML文件，根据文件内容，从模块层内选择适合该卫星数据处理的算法；根据后续业务需求，从扩展层内选择扩展模块；并根据遥感数据处理流程，将上述算法及扩展模块进行业务逻辑组合；

根据工作流联盟(WFMC)的工作流定义，业务层上对卫星数据处理业务流程进行描述和定义，组织模块层和扩展层上的各个功能模块进行卫星数据处理过程的业务逻辑建模。一种卫星数据处理模式可以被定义成一种流程。在数据处理过程中的一个处理算法模块或者扩展层上的一个功能都可以被定义成属于流程中的一个活动。一个流程定义由多个完成具体任务的活动定义组成。流程的描述定义中包含流程定义的唯一ID、流程完成的任务、触发事件、组成活动等信息。活动代表了一个相对独立的逻辑工作单元，承担具体的活动任务，负责调用模块层和扩展层上的各个功能模块，并向功能模块传递。活动的描述定义中包含了该活动定义的唯一ID、执行该活动的功能模块、活动执行的时间限制、输入输出的接口内容、触发事件等基本信息。按照一定的流程规则可以定义出一个流程描述文件。该文件是一个符合WFMC工作流参考模型标准的XML格式文件。例如，HJ-1A卫星数据处理流程定义文件如下：

其中，文件中定义了流程的ID，活动的ID、活动对应的功能模块、模块部署路径和活动之间的逻辑关系等信息。

业务层上需要具有对数据处理的流程定义文件进行语法解析的功能。当流程定义完毕后，业务层根据标准的工作流规则进行解析(从模块层内选择适合该卫星数据处理的算法；根据后续业务需求，从扩展层内选择扩展模块；并根据遥感数据处理流程，将上述算法及扩展模块进行业务逻辑组合)，判断流程定义的合法性。判断通过后，将该流程描述信息发布到平台的内核层，并存储到数据库中。当流程被触发后，内核层上的工作流引擎启动该业务流程，创建一个流程实例。根据不同时间点的计划任务，平台可以在一个流程定义下触发创建多个流程实例。流程实例中的每个活动称为活动实例，一个流程实例包含多个活动实例。流程实例在流转过程中为完成某个活动实例所要参与者做的工作称为工作项，每个活动实例可以包含一个或多个工作项。例如，平台的业务流程运行到分景编目活动时，对上一个活动输出数据进行分景编目任务就是分配给该活动的工作项。工作项信息中包含了活动描述信息和输入输出内容。

(四)内核层

内核层，按照业务层上组合好的业务逻辑关系调用模块层内相应算法及扩展层，对解压缩设备的输出数据进行数据处理，生成需要的数据产品，并对数据产品进行数据备份、产品分发或者任务编排等扩展处理。

内核层位于平台的底层，运行在操作系统之上，包含工作流引擎、作业调度引擎、接口引擎、数据持久化引擎、应用中间件和数据库。

工作流引擎属于平台的心脏，负责管理和控制业务层上的业务流程，对流程的运行情况进行调度，即驱动平台的业务流程运转，分派流程中各个任务到具体的功能模块，使数据处理过程中的各个功能模块之间按照某种已定义的业务流程规则自动传递数据信息，最终处理出遥感数据产品。工作流程引擎可以自己开发或采用JBPM等通用商业产品。

作业调度引擎负责对处理作业进行调度和对处理服务器进行资源监控，实现对由多个处理服务器所组成的计算集群进行分布式的作业管理，使平台能够根据处理服务器的负载情况，将计算作业合理地分配给计算集群内的处理服务器。作业调度引擎需要配合响应工作流引擎的任务调度工作，将工作流引擎分配的处理任务按照一定的作业调度规则，根据计算集群的资源负载情况合理地把处理任务分配给处理服务器，并将处理服务器上的作业执行结果返回给工作流引擎。作业调度引擎可以自己开发或采用LSF、PBS等通用商业产品。

接口引擎主要负责维护平台各层之间的接口定义格式，为平台各层之间的接口信息传递提供标准规范，并对各层之间传递的接口信息进行格式检查。当需要对平台处理的卫星传感器和功能进行改变或扩展时，需要先根据接口引擎定义的接口定义规则和扩展需求进行接口二次开发，再将新定义的接口内容发布到平台上。平台通过接口引擎对新接口定义进行合法性解析。模块层上定义的各个数据处理功能模块以可执行程序的方式通过作业调度引擎进行调用，与内核层之间的接口信息采用基于XML文件的方式进行传递。与模块层不同，扩展层上的功能系统一般具有相对的独立性，采用Webservice规范作为与内核层交互的接口方式。

上述的接口标准规范应该针对模块层或扩展层具体的模块作用分别定义。以模块层中的几何校正算法为例，由于几何校正算法一般需要知道卫星种类、传感器种类、轨道参数和姿态参数类型、待处理文件路径等信息，几何校正算法的接口规范格式举例如下：

<卫星>HJ-1A</卫星>

<传感器>CCD</传感器>

<轨道参数>DMA</轨道参数>

<姿态参数>GPS</姿态参数>

<输入文件>XX</输入文件>(XX代表输入文件的绝对路径)

上述信息包含在几何校正算法传入参数的input文件中。

数据持久化引擎包含了持久化服务组件，采用目前流行的ORM技术进行开发，主要负责将业务层中的业务逻辑与数据逻辑分离，把数据处理过程中和流程运行中产生的业务信息、流程执行信息、数据产品元信息等所有需要持久化存储的信息与具体的数据实体进行关联映射，并根据存储要求分别保存到数据库或者磁盘文件中。

应用中间件和数据库作为内核层中的支撑软件，位于操作系统与内核层中其他组件之间，分别负责为工作流引擎、接口引擎和数据持久化引擎提供统一的运行环境和数据存储环境。

平台运行时的业务逻辑如图3所示，平台的任务来源分为两种，一种是通过平台的操作界面，人工输入任务信息；另一种是通过扩展层的任务编排系统，平台根据卫星轨道参数自动计算出卫星过境的成像时刻，并生成相应的任务信息。任务信息包括任务启动时刻、卫星传感器种类、业务流程、生产参数等。

当卫星过境时，卫星下传的数据通过解调器分两路输出解调后的数据信号。根据计划任务，平台根据已定义的业务流程，内核层上的工作流引擎自动启动业务流程的实例，分别启动数据解压缩和采集记录的活动实例，将任务分配到采集记录仪和解压缩设备。其中一路信号采集后记录成原始数据，并存储到磁盘阵列上，另外一路信号进行解密和解压缩处理。解压缩完毕后，平台驱动业务流程依次执行分景编目、数据归档、辐射校正、几何校正、产品生成等活动，并通过作业调度引擎，根据计算集群中的处理节点负载情况合理地将以上任务分配到某个处理节点进行数据处理，并生成标准的数据产品。如果平台上集成有数据备份或分发等扩展层上的系统，平台在数据处理完毕后，还需要驱动业务流程执行备份或分发的活动。否则，平台直接结束该流程，完成此次任务。

平台每次驱动业务流程执行实例中的活动时，平台会调用内核层上的接口引擎，将工作项中的接口信息(如输入信息中的input、output文件)根据接口配置进行解析，并转发给活动中的可执行程序模块。当活动执行完毕后，活动回调返回接口，接口引擎解析返回信息，并将处理结果提交给工作流引擎，驱动业务流程走向下一个活动。

本发明未详细说明部分属于本领域技术人员公知常识。

Claims (5)

1.遥感卫星数据预处理小型化通用平台，其特征在于：平台硬件设备包含普通PC服务器、NFS存储系统和解压缩设备，上述硬件设备之间通过以太网进行通信；平台基本架构分为内核层、模块层和业务层；普通PC服务器包含管理节点和处理节点，管理节点上部署内核层和业务层，处理节点提供计算处理能力；模块层部署在NFS存储系统中；解压缩设备与卫星地面站的解调器设备直接连接，对解调器输出信号进行数据格式解压缩处理；

模块层内包含遥感卫星的各种数据处理算法，被调用时运行在处理节点上；

业务层，解析外部输入的描述待处理遥感卫星的处理流程的XML文件，根据文件内容，从模块层内选择适合该卫星数据处理的算法；并根据遥感数据处理流程，将上述模块层中的算法进行业务逻辑组合；

内核层，按照业务层上组合好的业务逻辑关系调用模块层内相应算法，对解压缩设备的输出数据进行数据处理，生成需要的数据产品；所述的内核层包括工作流引擎、作业调度引擎、数据持久化引擎、应用中间件和数据库；工作流引擎负责管理和控制业务层上的业务逻辑关系，根据业务逻辑关系通过作业调度引擎调用模块层的相应算法，数据处理过程中的数据信息通过数据持久化引擎存储到数据库中，应用中间件为上述引擎提供统一的运行环境。

2.根据权利要求1所述的遥感卫星数据预处理小型化通用平台，其特征在于：平台基本架构还包括扩展层，扩展层内包含后续对数据产品进一步处理的扩展模块，扩展层直接连入以太网；业务层根据后续业务需求，从扩展层内选择扩展模块，并将该扩展模块与模块层中的算法进行业务逻辑组合；内核层控制扩展模块对已生成的数据产品进行扩展处理。

3.根据权利要求2所述的遥感卫星数据预处理小型化通用平台，其特征在于：所述的扩展模块包含对遥感卫星数据处理结果进行备份存储、分发或后续应用的模块，或根据卫星轨道参数自动下发处理任务的任务编排模块。

4.根据权利要求1或2所述的遥感卫星数据预处理小型化通用平台，其特征在于：所述的平台硬件还包括数据信号采集记录仪，数据信号采集记录仪接入以太网并与卫星地面站的解调器设备直接连接，对解调器输出信号进行采集、记录并保存在NFS存储系统中。

5.根据权利要求1所述的遥感卫星数据预处理小型化通用平台，其特征在于：所述的内核层还包括接口引擎，接口引擎运行在应用中间件上，负责维护平台基本架构各层之间的接口定义格式，为各层之间的接口信息传递提供标准规范，并对各层之间传递的接口信息进行格式检查。