CN102841816A - 遥感图像数据并行处理的方法 - Google Patents

Abstract

本发明提供了一种遥感图像数据并行处理的方法。该方法基于通过以太网连接的多台终端，在该多台终端中：至少一台终端上部署任务管理与调度单元，任意一台终端上均部署计算单元。该方法包括：由多台终端中的第一终端接收遥感图像处理任务；由第一终端的计算单元将遥感图像处理任务分解为多个子任务，将子任务进行封装，提交到部署任务管理与调度单元的第二终端；由第二终端的任务管理与调度单元在多台终端的计算单元之间进行子任务的分发；由多台终端的计算单元分别执行被分发的子任务。本发明中，充分利用不同判读人员所使用的计算机的计算资源，降低了遥感图像数据处理对计算机硬件的要求。

Description

遥感图像数据并行处理的方法

技术领域

本发明涉及电子行业数据并行处理技术领域，尤其是一种遥感图像数据并行处理的方法。

背景技术

我国卫星技术的发展为航天侦察提供了大量高质量的遥感图像数据资源，为我国航天侦察能力的跃升提供了前所未有的机遇。面对海量的遥感图像数据，遥感图像数据处理的效率问题是一个必须解决的关键问题，否则将会成为制约关键技术在实际系统中应用的瓶颈，因此，如何提高遥感图像处理系统的处理效率便成为一个研究的热点问题，同时这也是一个具有极大挑战的难点问题。这个问题在航天侦察应用中尤其迫切，因为情报的一个最重要特点便是时效性，没有了时效性，情报也就失去了价值。并行计算和分布式处理是解决系统处理效率问题的常见方式。

图1为现有技术基于集群计算机的遥感图像并行处理方法的流程图。如图1所示，该方法包括：

步骤S101，下达批量化的处理任务；

步骤S102，将批量化处理任务中的每个任务发送到集群计算机的不同计算单元进行处理；

步骤S103，得到处理结果。

从现有技术遥感图像数据并行处理方法可以看出，其存在如下技术缺陷：(1)对硬件配置要求高，需要高性能的集群计算机专门用于计算；(2)遥感图像处理功能的开发需要遵循特定的协议，不利于算法在不同平台的移植和集成；(3)没有考虑遥感图像尺寸较大的特点，经常出现内存不足的异常。

发明内容

(一)要解决的技术问题

为解决上述的一个或多个问题，本发明提供了一种海量遥感图像数据处理的方法，以降低遥感图像数据处理对计算机硬件的要求。

(二)技术方案

根据本发明的一个方面，提供了一种遥感图像数据并行处理的方法。该方法基于通过以太网连接的多台终端，在该多台终端中：至少一台终端上部署任务管理与调度单元，任意一台终端上均部署计算单元。该方法包括：由多台终端中的第一终端接收遥感图像处理任务；由第一终端的计算单元将遥感图像处理任务分解为多个子任务，将子任务进行封装，提交到部署任务管理与调度单元的第二终端；由第二终端的任务管理与调度单元在多台终端的计算单元之间进行子任务的分发；由多台终端的计算单元分别执行被分发的子任务，进行遥感图像数据处理，并将遥感图像数据处理结果返回至第一终端的计算单元；第二终端的任务管理与调度单元实时监测所有子任务的执行状态，等待所有子任务执行完毕后，通知第一终端的计算单元；第一终端的计算单元对所有子任务返回结果进行回收和解析，得到最终的遥感图像数据处理结果。

(三)有益效果

从上述技术方案可以看出，本发明遥感图像数据并行处理的方法具有以下有益效果：

(1)本发明中，充分利用不同判读人员所使用的计算机的计算资源，降低了遥感图像数据处理对计算机硬件的要求，从而不需要增加额外的硬件设备，在不增加硬件成本的前提下，提高遥感图像处理效率；

(2)本发明的算法接口简单，具体的遥感图像处理功能不需要考虑并行计算中复杂的内存管理和分布式部署等问题，而只需关注于功能的实现，从而不会增加功能开发的额外负担，系统功能易于扩充；并且，本发明将不同的遥感图像处理功能封装为独立的可执行程序，由于每个计算单元相互独立，因此不会由于计算单元的不稳定性导致整体系统的不稳定性，独立计算单元的方式也有利于整体系统的集成；

(3)本发明充分考虑遥感图像尺寸较大的特点，设计了统一和灵活遥感图像分块接口和子任务管理和调度方法，充分利用多个计算单元的CPU和内存资源，从而可以很好的解决内存管理和快速计算的问题。

附图说明

图1为现有技术遥感图像数据并行处理方法的流程图；

图2为本发明实施例遥感图像数据并行处理方法的流程图；

图3为本发明实施例遥感图像数据并行处理方法中一终端的计算单元执行被分发子任务的流程图；

图4为本发明实施例遥感图像数据并行处理方法中第二终端的任务管理与调度单元实时监测所有子任务的执行状态的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。且在附图中，以简化或是方便标示。再者，附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。

在通常的遥感图像判读过程中，多个判读人员通常会根据需要不定时的下达不同的处理任务，例如配准、变化检测、图像融合等，在某个判读人员下达任务的时候，其他判读人员所用的计算机通常是空闲的，因此，如果能够充分将多个判读人员的计算机充分利用，便可以再不增加硬件成本的情况下，实现遥感图像的快速处理。基于以上考虑，本发明提供了一种基于子任务管理与调度的遥感图像处理方法与系统。

在本发明的一个示例性实施例中，提供了一种遥感图像数据并行处理的方法。该方法基于通过以太网连接的多台终端，在该多台终端中：至少一台终端上部署任务管理与调度单元，任意一台终端上均部署计算单元。终端通常是不同判读人员所使用的计算机的计算资源，因此，本发明不需要增加额外的硬件设备，可以在不增加硬件成本的前提下，大幅度提高遥感图像处理效率。图2为本发明实施例遥感图像数据并行处理方法的流程图。如图2所示，本实施例包括：

步骤A，由所述多台终端中的第一终端接收遥感图像处理任务；

步骤B，由第一终端的计算单元将遥感图像处理任务分解为多个子任务，将子任务所涉及的功能、参数和数据进行封装，提交到部署任务管理与调度单元的第二终端；

本步骤中，将遥感图像处理任务分解为不同子任务后，对子任务相关要素进行封装，封装的要素包括：子任务编号，任务发出的计算单元编号，任务接收的计算单元编号，图像分块位置、子任务功能(各种的遥感图像处理功能)、功能参数，子任务执行状态。将这些信息封装到一起，有利于各个单元之间信息的传递。封装要素由于数据量较小，采用UDP的方式传送，根据需要设计对应的校验机制。此外，任务管理与调度单元中的子任务可以进一步进行分解，即子任务支持嵌套方式。

图像分块是解决遥感图像尺寸较大问题的一般思路，但是缺乏灵活性和通用性。本发明充分考虑遥感图像处理的特点，对遥感图像的分块方式没有特定要求，遥感图像处理功能可以根据各自的需要对遥感图像进行分块，包括分块的大小、块与块之间是否重叠等具体工作。

此外，在本步骤中，由于还未进行子任务的分发，因此子任务要素中任务接收的计算单元字段为空，并且子任务还未开始执行，因此，子任务执行状态字段为空。

步骤C，第二终端的任务管理与调度单元在多台终端的计算单元之间进行子任务的分发；

本步骤中，任务管理与调度单元使用每个计算单元的空闲程度进行子任务的分配，每一个计算单元定时向任务管理与调度单元发送运行状态，空闲程度越高的计算单元，分配的子任务越多。

基于上述考虑，步骤C包括：

子步骤C1，对于每一个计算单元，任务管理与调度单元获取其运行状态，该运行状态包括：该计算单元的CPU数目NC和子任务数目NT；

子步骤C2，计算每一个计算单元的空闲程度，空闲程度越大，说明该计算单元越空闲；

对于第i个运算单元，按照以下公式计算其空闲程度Ci：

$C_i=\frac{{\mathrm{NC}}_i}{{\mathrm{NT}}_i+1}---\left(1\right)$

其中，NC_i和NT_i分别为第i个计算单元CPU的数目和子任务数目。

子步骤C3，计算N个计算单元的空闲程度之和：

$C={\mathrm{\Σ}}_{i=1}^N{C}_i={\mathrm{\Σ}}_{i=1}^N\frac{{\mathrm{NC}}_i}{{\mathrm{NT}}_i+1}---\left(2\right)$

其中，N为全部计算单元的数目

子步骤C4，按照当前计算单元空闲程度占N个计算单元空闲程度之和的比例为其分发子任务；

对于第i个计算单元，按照以下公式计算其分配子任务的数目N_i：

N_i＝NTS×C_i/C                (3)

其中，NTS为待分配的子任务的总数，C_i为第i个计算单元的空闲程度。

步骤D，由多台终端的计算单元分别执行被分发的子任务；

图3为本发明实施例遥感图像数据并行处理方法中一终端的计算单元分别执行被分发子任务的流程图。如图3所示，该步骤又可以包括：

子步骤D1，每一终端的计算单元启动后，开始等待任务管理与调度单元分配子任务；

子步骤D2，获取子任务后，首先将子任务中的任务接收的计算单元编号赋值为当前计算单元编号，然后根据子任务封装信息中的子任务编号和图像分块位置编号，获取对应的遥感图像数据块。由于遥感图像数据块较大，因此只有在确定接收的计算单元后，才进行遥感图像数据块的传输；

其中，封装到子任务中的数据根据数据大小的不同采用不同的方式在不同的单元间传送，遥感图像数据块采用HTTP方式传送，因为HTTP方式采用TCP协议，提供了完善的校验机制。

子步骤D3，判断是否有空闲的CPU，如果有CPU处于空闲状态，执行步骤D4，否则，执行步骤D5；

子步骤D4，开始执行利用所述子任务功能参数对应的算法对遥感图像数据块的数据进行处理；

因为本发明的算法接口简单，具体的遥感图像处理功能不需要考虑并行计算中复杂的内存管理和分布式部署等问题，而只需关注于功能的实现，从而不会增加功能开发的额外负担，系统功能易于扩充；并且，本发明将不同的遥感图像处理功能封装为独立的可执行程序，由于每个计算单元相互独立，因此不会由于计算单元的不稳定性导致整体系统的不稳定性，独立计算单元的方式也有利于整体系统的集成。各种遥感图像处理算法只要遵循如上所述的子任务封装方式，划分子任务并将其提交到任务管理与调度单元即可以实现并行计算。

子步骤D5，该子任务进入等待队列，等待队列中的子任务按照先后顺序依次执行。

可见，本实施例中，设计的统一和灵活遥感图像分块接口和子任务管理和调度方法，能够充分利用多个计算单元的CPU和内存资源，从而可以很好的解决内存管理和快速计算的问题。

步骤E，第二终端的任务管理与调度单元实时监测所有子任务的执行状态，等待所有子任务执行完毕后，通知第一终端的计算单元；

图4为本发明实施例遥感图像数据并行处理方法中第二终端的任务管理与调度单元实时监测所有子任务的执行状态的流程图。如图4所示，该步骤又可以包括：

子步骤E1，任务管理与调度单元获取所有计算单元的运行状态；

子步骤E2，任务管理与调度单元判断指定任务的所有子任务是否都已经执行完毕，如果所有子任务没有全部执行完毕，执行子步骤E1，否则，执行步骤F。

步骤F，第一终端的计算单元对所有子任务返回结果进行回收和解析，得到最终的处理结果。

本步骤中，第一终端的计算单元根据子任务的编号和图像分块位置将从不同计算单元获取的子任务和/或图像分块进行组合，从而得到最终的处理结果。

需要说明的是，上述对各子任务封装要素的定义并不仅限于实施方式中提到的各种要素，本领域的普通技术人员可对其进行简单地熟知地替换和组合，例如：

(1)创建子任务的时候，任务接收的计算单元编号未赋值，因此子任务封装可以是在该步骤减少该要素的形式；

(2)图像分块位置编号可以用该分块在原图像中的位置来代替。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种遥感图像数据并行处理的方法，该方法基于通过以太网连接的多台终端，在该多台终端中：至少一台终端上部署任务管理与调度单元，任意一台终端上均部署计算单元；该方法包括：

所述多台终端中的第一终端接收遥感图像处理任务；

所述第一终端的计算单元将遥感图像处理任务分解为多个子任务，将所述子任务进行封装，提交到部署任务管理与调度单元的第二终端；

所述第二终端的任务管理与调度单元在所述多台终端的计算单元之间进行子任务的分发；

所述多台终端的计算单元分别执行被分发的子任务，进行遥感图像数据处理，并将遥感图像数据处理结果返回至所述第一终端的计算单元；

所述第二终端的任务管理与调度单元实时监测所有子任务的执行状态，等待所有子任务执行完毕后，通知所述第一终端的计算单元；

所述第一终端的计算单元对所有子任务返回结果进行回收和解析，得到最终的遥感图像数据处理结果。

2.根据权利要求1所述的遥感图像数据并行处理方法，其中，所述第二终端的任务管理与调度单元根据各个终端计算单元的空闲程度来进行子任务的分发，空闲程度越高的计算单元，分配的子任务越多。

3.根据权利要求2所述的遥感图像数据并行处理方法，其中，所述第二终端的任务管理与调度单元根据各个终端计算单元的空闲程度来进行子任务分发的步骤包括：

对于每一个计算单元，所述任务管理与调度单元获取其运行状态，该运行状态包括：该计算单元的CPU数目和子任务数目；

对于每一个计算单元，根据其CPU数目和子任务数目计算其空闲程度，空闲程度越大，说明该计算单元越空闲；

计算全部计算单元的空闲程度之和；

对于每一个计算单元，按照其空闲程度占全部计算单元空闲程度之和的比例为其分发子任务。

4.根据权利要求2所述的遥感图像数据并行处理方法，其中：对于第i个运算单元，按照以下公式计算其空闲程度Ci：

$C_i=\frac{{\mathrm{NC}}_i}{{\mathrm{NT}}_i+1}$

对于第i个运算单元，按照以下公式计算其分配的子任务数：

N_i＝NTS×C_i/C

其中，NC_i和NT_i分别为第i个计算单元CPU的数目和子任务数目；NTS为待分配的子任务的总数；C_i为第i个计算单元的空闲程度；C为N个计算单元的空闲程度之和；N为全部计算单元的数目。

5.根据权利要求1所述的遥感图像数据并行处理方法，其中，所述将子任务进行封装的步骤中，封装的要素包括：子任务编号和/或图像分块位置。

6.根据权利要求5所述的遥感图像数据并行处理方法，其中，所述第一终端的计算单元对所有子任务返回结果进行解析的步骤包括：

所述第一终端的计算单元根据子任务的编号和图像分块位置将从不同计算单元获取的子任务和/或图像分块进行组合。

7.根据权利要求5所述的遥感图像数据并行处理方法，其中，所述多台终端的计算单元分别执行被分发的子任务的步骤包括：

每一终端的计算单元启动后，开始等待第二终端的任务管理与调度单元分配子任务；

当一计算单元接收到分配的子任务后，根据子任务封装信息中的子任务编号和图像分块位置编号，由所述第一终端获取对应的遥感图像数据块。

8.根据权利要求7所述的遥感图像数据并行处理方法，其中，所述遥感图像数据块采用HTTP方式进行传送。

9.根据权利要求1所述的遥感图像数据并行处理方法，其中，所述将子任务进行封装的步骤中，封装的要素包括：子任务功能和功能参数；

所述多台终端的计算单元分别执行被分发的子任务，进行遥感图像数据处理的步骤包括：多台终端的计算单元分别利用所述子任务功能参数对应的算法对遥感图像数据块的数据进行处理，所述算法的参数由所述功能参数确定。

10.根据权利要求1至9中任一项所述的遥感图像数据并行处理方法，其中，

所述第一终端的计算单元采用UDP方式将封装的子任务提交到部署任务管理与调度单元的第二终端；

所述第二终端的任务管理与调度单元采用UDP方式在所述多台终端的计算单元之间进行子任务的分发。

Images