CN105094982A - 一种多星遥感数据处理系统 - Google Patents

Abstract

本发明公开了一种多星遥感数据处理系统，包括：系统层，用于提供软件支撑环境；数据服务层，用于存储遥感数据和配置信息；基础服务层，用于通过负载均衡调度器根据调度算法控制不同的资源节点处理不同卫星的遥感数据；应用服务层，用于通过业务组件和所述基础服务层的负载均衡调度器，进行多星遥感数据的任务调度与流程控制。采用本发明解决了传统模式下针对多颗卫星建立多套处理系统的问题，且提供了多种任务调度的负载均衡机制。

Description

一种多星遥感数据处理系统

技术领域

本发明涉及遥感数据处理领域，特别是涉及一种多星遥感数据处理系统。

背景技术

传统遥感地面站数据处理系统，针对多颗卫星需要建立多套处理系统，使得传统遥感地面站的硬件设备的大幅增加，并且由于不同设备只处理不同卫星的数据，导致这些硬件设备的资源使用率也相对较低的。因此，随着我国拥有的遥感卫星数量快速增加，传统遥感地面站数据处理系统已不能满足应用的需要。

而随着集群负载调度算法和负载均衡技术的不断发展，在利用超级计算机或高可用性集群处理数据的过程中，越来越多的技术人员都在考虑利用负载均衡。但是部分负载均衡静态调度算法，比如传统的有轮转算法、加权轮转算法，适用于小规模访问量的系统，但对于有大规模访问量的集群，显然效率低，且稳定性差。而还有部分负载均衡动态调度算法，比如最小连接、加权最小连接等，都是以连接为粒度，没有实现真正的动态调度，负载均衡效果并不理想。

本发明即是考虑到负载均衡技术，对现有负载均衡算法进行改进，使其适用于多星遥感数据处理过程。

发明内容

本发明所要解决的技术问题是提供一种多星遥感数据处理系统，用于解决传统遥感地面站数据处理系统不适用于多星遥感数据处理的问题。

本发明解决上述技术问题的技术方案如下：一种多星遥感数据处理系统，包括：

系统层，用于提供软件支撑环境；

数据服务层，用于存储遥感数据和配置信息；

基础服务层，用于通过负载均衡调度器根据调度算法控制不同的资源节点处理不同卫星的遥感数据；

应用服务层，用于通过业务组件和所述基础服务层的负载均衡调度器，进行多星遥感数据的任务调度与流程控制本发明的有益效果是：本发明解决了传统模式下针对多颗卫星建立多套处理系统的问题，通过配置即可实现简单流程的任务调度，且提供简便的二次开发接口以实现复杂流程的任务调度，实现了多星数据在一个系统中使用的目的；同时提供了多种任务调度的负载均衡机制，提高了硬件资源的使用效率。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述负载均衡调度器用于探测所述资源节点是否在线、确认所述资源节点上的软件系统是否运行正常、收集所述节点上的参数信息、根据所述资源节点的故障情况进行报警以及动态添加、修改或删除所述资源节点。

采用上述进一步方案的有益效果是：使多星遥感数据处理系统具备完善的系统监控能力和强大的集群管理能力，能够动态添加，修改，删除处理节点，能够实时显示每个处理节点的资源状态、任务运行状态，具备故障设备自动报警能力，具备在节点故障时系统正常运行的能力。

进一步，所述调度算法包括优化的加权最小连接调度算法、优化的负载最小优先算法、任务级并行计算算法、算法级并行计算算法和数据级并行计算算法中的一种或多种。

采用上述进一步方案的有益效果是：设定了多种负载均衡算法，便于负载均衡调度器进行资源节点的分配。

进一步，所述优化的负载最小优先算法包括：利用动态反馈机制，通过周期性的负载信息查询来修正所述负载均衡调度器上的负载表，所述负载表中记录了各个所述资源节点的负载情况；当下一个更新周期到来前，将请求分配到当前综合负载最小的所述资源节点，并按照预设经验算法修正该所述资源节点的负载信息，所述预设经验算法的修正因子包括遥感数据量和单位算法处理时间。进一步，

采用优化的负载最小优先算法分配相应的资源节点处理不同卫星的遥感数据包括以下步骤：

初始化负载表，将遥感数据量和单位算法处理时间作为计算因子计算负载信息；

接收一个客户机的新请求，如果负载表为空，依次将请求分配到集群的各资源节点上，直到负载表的各项都不为空；

如果负载表的各项都不为空，从负载表中选取负载数最小的节点，将新请求转发到该所述资源节点上，并根据预设经验算法修正负载表中该所述资源节点的负载信息；

循环上述相应步骤，直到更新周期到达；

若更新周期到达，则刷新负载表；

若在更新周期内存在未向负载均衡调度器发送节点信息的所述资源节点，则在负载表中，将该所述资源节点设置为不可达节点；

若在下一更新周期收到不可达节点发送的节点信息，则更新该不可达节点的表项，将其重置为可达的资源节点。进一步，

所述将遥感数据量和单位算法处理时间作为计算因子计算负载信息包括：

$\mathrm{Ti}=\frac{\sqrt{k1x{1}^2+k2x{2}^2}}{k1+k2},$

其中，x1为遥感数据量，x2为单位算法处理时间，Ti为负载信息，k1表示负载信息对遥感数据量的依赖程度，k2表示负载信息对单位算法时间的依赖程度。

采用上述进一步方案的有益效果是：给出了一种全新优化的负载均衡算法，能够使最大限度使用系统资源，并以此来改善各个服务器负载的平衡性。进一步，

所述应用服务层的业务组件包括：

第一外部接口适配组件，用于实现多星遥感数据处理系统与外部系统的交互；

调度扩展策略组件，用于结合所述第一外部接口适配组件，生成分别用于存储遥感数据中的订单和任务的订单/任务管理池；

节点管理组件，用于提供资源节点的节点信息；

流程配置管理组件，用于提供与订单对应的流程信息；

流程控制与调度组件，用于提取订单/任务管理池中未处理的订单，并根据所述流程配置管理组件提供的所述与订单对应的流程信息，将所述订单分配到所述任务，再根据所述节点管理组件提供的所述节点信息，将所述任务分配到不同的所述资源节点上用于进行处理。

进一步，所述应用服务层的业务组件还包括第一数据库管理组件，用于保存流程执行过程中的订单/任务信息和日志信息。

进一步，所述应用服务层，还设置有用于统计订单的订单统计模块、用于配置参数的参数配置模块和用于收集错误信息的错误信息收集模块。

进一步，

所述流程控制与调度组件将将所述任务分配到不同的所述资源节点上后，相应的用于进行处理的所述资源节点是通过所述应用服务层的业务组件进行任务处理，该进行任务处理的业务组件包括第二外部接口适配组件、任务扩展组件、队列配置管理组件、工作队列处理组件和第二数据库管理组件；

所述第二外部接口适配组件，用于实现与所述流程控制与调度组件的交互；

所述任务扩展组件，用于结合所述第二外部接口适配组件，生成用于存储任务的任务管理池；

所述队列配置管理组件，用于提供所述任务对应的队列信息；

所述工作队列处理组件，用于提取所述任务管理池中未处理的任务，并根据所述队列配置管理组件提供的所述队列信息执行任务；

所述第二数据库管理组件，用于保存任务执行过程中的任务信息和日志信息。

采用上述进一步方案的有益效果是：通过各可定制的业务组件，提供了底层二次开发接口，可根据具体的业务定制处理系统，使得流程可配置，满足不同卫星不同处理流程的扩展需要，同时相应的处理模块和组件可插拔，方便不同卫星不同处理算法的无缝集成。

附图说明

图1为本发明所述的多星遥感数据处理系统的系统结构图；

图2为本发明所述应用服务层上的组件构成示意图。

附图中，各标号所代表的部件列表如下：

1、系统层，2、数据服务层，3、基础服务层，4、应用服务层，401、第一外部接口适配组件，402、调度扩展策略组件，403、订单/任务管理池，404、节点管理组件，405、流程配置管理组件，406、流程控制与调度组件，407、第一数据库管理组件，408、订单统计模块，409、参数配置模块，410、错误信息收集模块，411、第二外部接口适配组件，412、任务扩展组件，413、任务管理池，414、队列配置管理组件，415、工作队列处理组件，416、第二数据库管理组件。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本实施例给出了一种多星遥感数据处理系统，包括：

系统层1，用于提供多星遥感数据处理系统的软件支撑环境；

数据服务层2，用于存储多星遥感数据处理系统的遥感数据和配置信息；

基础服务层3，用于向多星遥感数据处理系统提供云平台级别的集群式服务，其通过配置的负载均衡调度器管理集群中的所有资源节点，并按负载均衡调度器中集成的调度算法，控制相应的资源节点处理不同卫星的遥感数据；

应用服务层4，用于提供业务组件定制，并通过定制的业务组件和基础服务层的负载均衡调度器，实现多星遥感数据的任务调度与流程控制；还用于通过SOA总线为用户提供应用服务界面。

基于上述描述，下面对多星遥感数据处理系统进行具体介绍。

系统层1用于提供多星遥感数据处理系统的软件支撑环境，其主要包括网络及通讯环境建设、计算设备、存储设备、操作系统及安装在操作系统上的虚拟化平台软件。系统层有助于整合复用现有和新增的服务器资源、存储资源、网络资源等，以及为系统提供高性能的计算资源、海量的存储资源以及高速的网络资源，并充分提高资源的利用率。

数据服务层2提供多星遥感数据处理系统的基础支撑环境，用于存储系统所使用的数据。数据在数据服务层以两种方式进行存储，即文件方式存储和数据库方式存储。

以文件方式存储的信息主要是系统配置文件、临时文件、系统之间交互的数据文件以及日志文件等。而以数据库方式存储的信息包括所有的系统监控状态、日志、任务信息、用户信息，除此之外还包含基础地理信息。

本实施例在数据服务层建立一个独立的数据库管理系统存储本系统的业务数据和配置信息，其目的在于使多星遥感数据处理系统不依附于其它系统或分系统独立运行，避免分系统产生的故障影响到系统的运行。正常情况下数据库的选择以分系统的数据库优先级最高，当多星遥感数据处理系统中应用软件检测到分系统的数据库宕机或者出现故障的情况下，将自动启用数据服务层中的数据库管理系统。数据服务层中的数据库管理系统与分系统的数据库通过一个的数据同步策略实现数据库之间的同步。

基础服务层3为多星遥感数据处理系统提供云平台级别的集群式服务，其基于自研的负载均衡调度器将所有的资源节点管理起来，并统一由其进行处理过程中的资源分配。

所述负载均衡调度器管理集群中的所有资源节点包括:探测节点是否在线、确认节点上的软件系统是否运行正常、收集节点上的参数信息、根据节点的故障情况进行报警以及动态添加、修改或删除节点。

一方面负载均衡调度器能够通过通用接口探测处理节点是否在线，另一方面通过服务访问的形式确认处理节点上的软件系统是否运行正常，而节点上的参数信息包括CPU，内存，网络流量，磁盘读写速度等信息。当有处理节点故障时，载均衡调度器能够将故障节点上的任务重新分配给其他正常处理节点继续执行。当需要进行系统硬件扩展时，能够通过处理节点添加的功能实时增加处理节点，并立刻加入生产序列中。

负载均衡调度器中集成的调度算法包括优化的加权最小连接调度算法、优化的负载最小优先算法、任务级并行计算算法、算法级并行计算算法和/或数据级并行计算算法。

其中，所述优化的负载最小优先算法的流程具体包括：利用动态反馈机制，通过周期性的负载信息查询来修正负载均衡调度器上的负载表，负载表中记录了各个节点的负载情况；当下一个更新周期到来前，将请求分配到当前综合负载最小的节点，并按照预设经验算法修正该节点的负载信息，且所述预设经验算法的修正因子包括遥感数据量和单位算法处理时间。

采用上述优化的负载最小优先算法分配相应的资源节点处理不同卫星的遥感数据具体包括以下步骤：

步骤1，初始化负载表，将遥感数据量和单位算法处理时间作为计算因子计算负载信息。

对于所述步骤1，设初始化负载表(L1,L2,L3,……,Ln)，具体方法如下：

$\mathrm{Li}=[k1,k2,k3,k4]\left[\begin{array}{c}\mathrm{ci}\\ \mathrm{di}\\ \mathrm{mi}\\ \mathrm{ni}\end{array}\right]({\mathrm{\Σ}}_{i=1}^4\mathrm{ki}=1)$

对于节点S的处理能力L主要从CPU处理能力ci、内存容量mi、磁盘速率di、网络吞吐ni等几个方面衡量，并引入参数k描述某一类服务对各项指标的依赖程度。

此外，根据遥感数据量x1、单位算法处理时间x2作为因子计算各类任务的负载信息(T1,T2,T3,……,Tm)，具体方法如下：

$\mathrm{Ti}=\frac{\sqrt{k1x{1}^2+k2x{2}^2}}{k1+k2},$

步骤2，接收一个客户机的新请求，如果负载表为空，依次将请求分配到集群的各节点上，直到负载表的各项都不为空。

步骤3，如果负载表的各项都不为空，从负载表中选取负载数最小的节点，将新请求转发到该节点上，并根据预设经验算法修正负载表中该节点的负载信息。此时需要根据预设经验算法修正负载表中该服务器的负载情况Li，具体方法如下：

Li′＝Li-Tj

如此得到了修正后的负载表(L1′，L2′，L3′…Ln′)。

步骤4，从步骤2开始循环，直到更新周期到达。

步骤5，若更新周期到达，则刷新负载表。

步骤6，若在更新周期内存在未向负载均衡调度器发送节点信息的所述资源节点，则在负载表中，将该所述资源节点设置为不可达节点，即在负载表中，将该节点对应的表项置为无穷大，表示该节点不可达。

步骤7，若在下一更新周期收到不可达节点发送的节点信息，则更新该不可达节点的表项，将其重置为可达的资源节点。

应用服务层4针对多星遥感数据处理系统中有关资源共享和协同的应用需求，在网络平台体系结构的指导下，为用户提供任务管理调度、服务流程编排、系统运行监控、业务效果评估、需求观测分析、组件管理服务、并行计算策略、资源管理策略、浏览查询、分析统计等多种服务。这些服务通过SOA总线统一对外以界面的形式发布，供界面客户端和其他分系统使用。

此外，应用服务层4提供业务组件定制，并通过定制的业务组件和基础服务层的负载均衡调度器，实现多星遥感数据的任务调度与流程控制，完成对任务、子任务、作业等多级灵活调度策略。本实施例的多级调度主要分为订单、任务、作业三个层次，其中订单可以分解为任务，任务可以分解为作业，作业是最小的调度单位。

如图2所示，对于管理节点，应用服务层定制的业务组件包括：

第一外部接口适配组件401，用于实现多星遥感数据处理系统与外部系统的交互。

调度扩展策略组件402，用于结合第一外部接口适配组件，生成分别用于存储遥感数据中的订单和任务的订单/任务管理池403。

节点管理组件404，用于提供集群中各资源节点的节点信息。

流程配置管理组件405，用于提供订单对应的流程信息。

流程控制与调度组件406，用于提取订单/任务管理池中未处理的订单，并根据流程配置管理组件提供的订单对应的流程信息，实现订单到任务的分配，再根据节点管理组件提供的节点信息，将任务分配到不同的节点上进行处理。

第一数据库管理组件407，其用于保存流程执行过程中的订单/任务信息和日志信息。

此外，还设置有订单统计模块408、参数配置模块409和错误信息收集模块410，分别用于订单统计、参数配置和错误信息收集。

管理节点的流程控制与调度组件将任务分配到不同的节点上进行处理后，相应的处理节点也是通过在应用服务层定制的相应业务组件进行任务处理的，处理节点定制的业务组件包括第二外部接口适配组件411、任务扩展组件412、队列配置管理组件414、工作队列处理组件415和第二数据库管理组件416。

所述第二外部接口适配组件411，用于实现与流程控制与调度组件的交互。

所述任务扩展组件412，用于结合第二外部接口适配组件，生成分别用于存储任务的任务管理池413。

所述队列配置管理组件414，用于提供任务对应的队列信息。

所述工作队列处理组件415，用于提取任务管理池中未处理的任务，并根据队列配置管理组件提供的队列配置信息，选择工作队列执行任务。

第二数据库管理组件416，用于保存任务执行过程中的任务信息和日志信息。

上述各组件中，节点管理组件404、流程配置管理组件405、流程控制与调度组件406、第一数据库管理组件407、队列配置管理组件414、工作队列处理组件415和第二数据库管理组件416构成软件框架，这部分一般不用做任何修改即可使用；而第一外部接口适配组件401、调度扩展策略组件402、第二外部接口适配组件411和任务扩展组件412为二次开发部分，需要根据具体的业务进行定制。

第一外部接口适配组件401是软件外部和内部进行交互的桥梁，它将外部订单/任务转换为内部可以识别的订单/任务，并将其存放在订单/任务管理池中。所述将外部订单/任务转换为内部可以识别的订单/任务时，用到了定制的IMA组件处理接口转换问题，其基本思路是用一组通用的JAVABEAN以叶子节点的原理去描述所有的接口，这样就保证了多星多载荷数据处理控制接口的通用性，具体JAVABEAN示例如下所示：

而在流程调度方面，流程配置管理组件采用配置文件的方式进行流程配置(具体流程配置文件可见下文中的表1-表5)，不同卫星不同载荷的处理流程采用不同的流程文件，流程控制与调度组件根据流程配置文件选取对应的流程并按照流程进行调度处理，这样就保证了多星多载荷数据处理流程的可配置。

订单/任务管理池用于存放具体的业务订单/任务，这些订单/任务是调度扩展策略组件实例化的结果。订单/任务的实例化过程具体包括：订单/任务扩展组件会根据订单/任务类型去流程配置管理组件中查找对应的订单/任务信息，然后根据订单/任务信息通过工厂方法动态的将订单/任务实例化，并为其赋值。

流程控制与调度组件406提取订单/任务管理池中未执行的订单，并根据流程配置管理组件获取订单对应的流程信息，实现订单到任务的分配；接着，流程控制与调度组件会根据节点管理组件提供的处理节点信息(所述处理节点信息包括节点IP，端口、CPU使用率、内存使用率、磁盘速率、网络使用率等)，把任务分配到不同的节点上进行执行；最后，流程控制与调度组件会实现订单和任务的回收，并把订单和任务的状态信息保存到订单/任务管理池中。其中，流程控制与调度组件会实现订单和任务的回收具体包括：流程控制与调度组件会首先到各个处理节点服务器上获取任务状态信息，如果任务状态信息为成功或失败等完成状态时，则认为该任务已经完成，并在管理节点服务器中的任务对象中更新对应任务的状态信息，同时将该状态信息更新到数据库中的任务表中；然后流程控制与调度组件会检查订单对应的所有任务状态，当订单对应的所有任务状态为完成状态时，则任务该订单已经完成，并在管理节点中的订单对象中更新对应订单的状态信息，同时将该状态信息更新到数据库中的订单表中。

两个数据库管理组件可以把流程运行中的订单/任务信息、日志信息保存到数据库中，并可以进行查看等操作，数据库管理组件是一个可选项，根据实际需要可以选择是否使用该组件。

本实施例通过设计的多星遥感数据处理系统，结合负载均衡算法将多星遥感数据进行订单、任务、作业的多级处理，其流程调度使用的数据结构如表1至表5所示，共包含订单表(Order)，任务表(Task)，作业表(Job)，订单任务关联表(ordertaskxref)，任务作业关联表(taskjobxref)。

表1

表2

表3

表4

表5

其中订单任务关联表可以将订单表和任务表关联起来，任务作业关联表可以将任务和作业关联起来，那么一个订单就可以依据该数据结构分解为x各任务，(p1，p2…px)个任务又可以依据该数据结构分解为(p1-1,p2-2…px-x)个作业。

本实施例提供通用的流程调度框架满足多星多载荷的数据处理调度，实现对各种资源的统一组织和调配，按照预先定义好的任务流程模型完成作业处理，且提供了底层二次开发接口实现特殊流程接口的自定义，最终完成各种数据接收和处理任务。本实施例的一种多星遥感数据处理系统，具备跨平台使用，可以在windows，Linux等多种操作系统上运行，消除了系统的异构性；采用分布式软件架构，支持硬件设备的扩展；流程可配置，满足不同卫星不同处理流程的扩展需要；处理模块可插拔，方便不同卫星不同处理算法的无缝集成。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多星遥感数据处理系统，其特征在于，包括：

系统层(1)，用于提供软件支撑环境；

数据服务层(2)，用于存储遥感数据和配置信息；

基础服务层(3)，用于通过负载均衡调度器，根据调度算法控制不同的资源节点处理不同卫星的遥感数据；

应用服务层(4)，用于通过业务组件和所述基础服务层的负载均衡调度器，进行多星遥感数据的任务调度与流程控制。

2.根据权利要求1中所述的一种多星遥感数据处理系统，其特征在于，所述负载均衡调度器还用于探测所述资源节点是否在线、确认所述资源节点上的软件系统是否运行正常、收集所述节点上的参数信息、根据所述资源节点的故障情况进行报警以及动态添加、修改或删除所述资源节点。

3.根据权利要求1所述的一种多星遥感数据处理系统，其特征在于，所述调度算法包括优化的加权最小连接调度算法、优化的负载最小优先算法、任务级并行计算算法、算法级并行计算算法和数据级并行计算算法中的一种或多种。

4.根据权利要求3所述的一种多星遥感数据处理系统，其特征在于，所述优化的负载最小优先算法包括：利用动态反馈机制，通过周期性的负载信息查询来修正所述负载均衡调度器上的负载表，所述负载表中记录了各个所述资源节点的负载情况；当下一个更新周期到来前，将请求分配到当前综合负载最小的所述资源节点，并按照预设经验算法修正该所述资源节点的负载信息，所述预设经验算法的修正因子包括遥感数据量和单位算法处理时间。

5.根据权利要求4所述的一种多星遥感数据处理系统，其特征在于，采用优化的负载最小优先算法分配相应的资源节点处理不同卫星的遥感数据包括以下步骤：

初始化负载表，将遥感数据量和单位算法处理时间作为计算因子计算负载信息；

接收一个客户机的新请求，如果负载表为空，依次将请求分配到集群的各资源节点上，直到负载表的各项都不为空；

如果负载表的各项都不为空，从负载表中选取负载数最小的节点，将新请求转发到该所述资源节点上，并根据预设经验算法修正负载表中该所述资源节点的负载信息；

循环上述相应步骤，直到更新周期到达；

若更新周期到达，则刷新负载表；

若在更新周期内存在未向负载均衡调度器发送节点信息的所述资源节点，则在负载表中，将该所述资源节点设置为不可达节点；

若在下一更新周期收到不可达节点发送的节点信息，则更新该不可达节点的表项，将其重置为可达的资源节点。

6.根据权利要求5所述的一种多星遥感数据处理系统，其特征在于，所述将遥感数据量和单位算法处理时间作为计算因子计算负载信息包括：

$\mathrm{Ti}=\frac{\sqrt{k1x{1}^2+k2x{2}^2}}{k1+k2},$

其中，x1为遥感数据量，x2为单位算法处理时间，Ti为负载信息，k1表示负载信息对遥感数据量的依赖程度，k2表示负载信息对单位算法时间的依赖程度。

7.根据权利要求1所述的一种多星遥感数据处理系统，其特征在于，所述应用服务层的业务组件包括：

第一外部接口适配组件(401)，用于实现多星遥感数据处理系统与外部系统的交互；

调度扩展策略组件(402)，用于结合所述第一外部接口适配组件，生成分别用于存储遥感数据中的订单和任务的订单/任务管理池(403)；

节点管理组件(404)，用于提供资源节点的节点信息；

流程配置管理组件(405)，用于提供与订单对应的流程信息；

流程控制与调度组件(406)，用于提取订单/任务管理池(403)中未处理的订单，并根据所述流程配置管理组件(405)提供的所述与订单对应的流程信息，将所述订单分配到所述任务，再根据所述节点管理组件(404)提供的所述节点信息，将所述任务分配到不同的所述资源节点上用于进行处理。

8.根据权利要求7所述的一种多星遥感数据处理系统，其特征在于，所述应用服务层的业务组件还包括第一数据库管理组件(407)，用于保存流程执行过程中的订单/任务信息和日志信息。

9.根据权利要求7或8所述的一种多星遥感数据处理系统，其特征在于，所述应用服务层，还设置有用于统计订单的订单统计模块(408)、用于配置参数的参数配置模块(409)和用于收集错误信息的错误信息收集模块(410)。

10.根据权利要求6或7所述的一种多星遥感数据处理系统，其特征在于，所述流程控制与调度组件(406)将将所述任务分配到不同的所述资源节点上后，相应的用于进行处理的所述资源节点是通过所述应用服务层的业务组件进行任务处理，该进行任务处理的业务组件包括第二外部接口适配组件(411)、任务扩展组件(412)、队列配置管理组件(414)、工作队列处理组件(415)和第二数据库管理组件(416)；

所述第二外部接口适配组件(411)，用于实现与所述流程控制与调度组件的交互；

所述任务扩展组件(412)，用于结合所述第二外部接口适配组件，生成用于存储任务的任务管理池(413)；

所述队列配置管理组件(414)，用于提供所述任务对应的队列信息；

所述工作队列处理组件(415)，用于提取所述任务管理池中未处理的任务，并根据所述队列配置管理组件提供的所述队列信息执行任务；

所述第二数据库管理组件(416)，用于保存任务执行过程中的任务信息和日志信息。