CN103150148B - 一种基于任务树的大尺度遥感影像并行镶嵌方法 - Google Patents

Abstract

本发明涉及一种基于任务树的大尺度遥感影像并行镶嵌方法。包括以下步骤：1）基于邻接关系和递归任务划分的镶嵌任务树构建，根据平衡二叉树构建方法进行镶嵌任务树构建；2）镶嵌任务树的DAG模型表示；3）基于CPDS-SQ（基于关键路径和状态队列的动态DAG调度策略）的镶嵌任务树动态调度；4）大量镶嵌任务的并行处理。本发明的有益效果为：通过将一系列镶嵌任务间的数据依赖关系从基于MPI的并行镶嵌实现流程中解耦出来，并交动态任务树调度来进行任务依赖关系控制，如此可大幅简化并行镶嵌过程的并行控制逻辑和并行实现，最大程度地挖掘大尺度镶嵌的并行性，从而大大提高大尺度镶嵌的处理性能和扩展性。

Description

一种基于任务树的大尺度遥感影像并行镶嵌方法

技术领域

本发明涉及一种基于任务树的大尺度遥感影像并行镶嵌方法。

背景技术

大尺度遥感影像镶嵌被广泛关注并应用于大区域甚至覆盖全球范围的热带雨林、土地利用、环境变化等科学研究中。遥感影像镶嵌通常将大量的具有重叠区域的遥感影像数据无缝地拼接成一幅几何准确、辐射平衡连续的大镶嵌图，从而为整个大地理区域提供一个连续、全局的视图。然而镶嵌尺度扩大到大区域、全国、甚至是全球范围时，大尺度镶嵌面临挑战：海量的遥感影像数据，复杂的遥感影像镶嵌处理流程，惊人的计算能力需求，由大量具有前驱后续数据依赖关系的子区域镶嵌任务及复杂处理流程导致遥感影像镶嵌算法在集群平台上的MPI并行实现相当复杂且易错，同时算法的并行扩展性差，而且大量具有重叠区的遥感影像和众多具有数据依赖关系的处理任务如何有效组织和管理也并非易事。显然，传统方式的并行遥感影像镶嵌在大尺度处理问题上显得力不从心。

具有多层并行结构且计算规模日益增加的集群系统被广泛用于高性能计算领域，同样也用于在遥感数据的并行处理中。目前，遥感数据并行处理算法中通常采用基于消息传递模型的MPI、共享内存模型的OpenMP以及MPI+OpenMP的混合并行模型。然而，在面对大尺度遥感影像镶嵌问题的时候，纯粹依赖于MPI或者OpenMP等低层次的并行模式将会使得大尺度遥感影像镶嵌的并行处理流程异常复杂，由任务间依赖关系引入的额外的计算节点间通信和同步逻辑将及其复杂和困难。

发明内容

本发明的目的是提供一种基于任务树的大尺度遥感影像并行镶嵌方法，通过将任务之间的依赖关系从镶嵌并行处理流程中解耦出来，从而提供了一种简单却有效的方法来提高遥感影像镶嵌的大尺度处理能力。

本发明的目的是通过以下技术方案来实现：

一种基于任务树的大尺度遥感影像并行镶嵌方法，其特征在于，包括以下步骤：

1）、利用Row-Path两级排序方法对大量待镶嵌遥感影像进行排序，利用分而治之方法将大尺度镶嵌问题递归划分为一系列具有前驱后继数据依赖关系的任务，并根据平衡二叉树构建方法进行镶嵌任务树构建；

2）、对构建的镶嵌任务树的任务节点和任务间数据依赖关系利用DAG（数据库可用性组）模型进行描述和表示，其中利用基于镶嵌任务的覆盖区域和数据量进行运行时间估计，并基于运行时间计算每个任务节点的权值，从而形成带权任务DAG；

3）、任务优先级初始化，利用最早开始时间Ht最为任务初始优先级形成初始调度序列；

4）、基于状态队列的动态调度，为就绪任务自适应地分配计算资源、指定镶嵌影像数据和准备处理参数文件，并将任务插入就绪队列，经优先级排序后顺序提交到集群调度系统中执行并加入运行队列；

5）、实时任务状态监控与优先级重新计算，对运行队列中的任务进行状态监控，重新计算已完成任务的所有后续任务的优先级，并将就绪的后续任务加入就绪队列，直至所有任务执行完成；完成后的失效任务重新提交；

6）、利用MPI消息传递模型对单个镶嵌任务进行细粒度并行实现，单个并行处理任务的处理流程为：细粒度任务/数据划分、投影变换、图像配准、基于直方图匹配的辐射均衡化、图像采样、重叠区拼接线提取、基于拉普拉斯-高斯金字塔加权融合的重叠区匀色处理、计算结果并发输出。

进一步的，所述步骤1）的镶嵌任务树的构建过程中，利用一种简单的平衡二叉树构建方法构建扁平的平衡任务树，首先，利用Row-Path两级排序方法得到空间地理位置偏序的遥感影像序列；随后，对排序后的遥感影像序列进行递归划分，每个划分过程中遥感影像序列被划分为影像数量相当的两个子序列，分别被封装为左子和右子结点。此外，根据影像之间的邻接关系（重叠区域）调整划分后的子序列，用于消除“假孤立影像”（由于排序和序列划分导致原本与其他影像有重叠区域的某景遥感影与当前子序列中的其他影像不存在重叠区域）。

进一步的，所述步骤3）、4）和5）中，采用基于状态队列的动态DAG调度方法对并行镶嵌任务进行有效调度，利用实时状态监控得到的状态报告将任务放入不同的状态队列并进行调度控制。同时采用自定义格式的XML文件方便地指定并描述每个镶嵌任务所需的遥感影像数据，同时为每个任务设计参数文件来描述每个镶嵌任务的处理参数。此外，在调度过程中，任务提交给集群调度软件PBS（工作负载管理器和调度器）进行实际的计算资源分配和执行；支持利用其他本地资源管理器如轻量级的大规模任务调度器。

本发明的有益效果为：通过将一系列镶嵌任务间的数据依赖关系从基于MPI的并行镶嵌实现流程中解耦出来，并交动态任务树调度来进行任务依赖关系控制，如此可大幅简化并行镶嵌过程的并行控制逻辑和并行实现，最大程度地挖掘大尺度镶嵌的并行性，从而大大提高大尺度镶嵌的处理性能和扩展性。

附图说明

下面根据附图对本发明作进一步详细说明。

图1是本发明实施例所述的基于任务树的大尺度遥感影像并行镶嵌方法并行化镶嵌调度的流程图；

图2是本发明实施例所述的基于任务树的大尺度遥感影像并行镶嵌方法的遥感数据处理的任务树构建示意图；

图3是本发明实施例所述的基于任务树的大尺度遥感影像并行镶嵌方法的动态任务调度示意图；

图4是本发明实施例所述的基于任务树的大尺度遥感影像并行镶嵌方法中每个单独执行的镶嵌任务PMosaic的执行示意图。

具体实施方式

如图1所示，本发明实施例所述的基于任务树的大尺度遥感影像并行镶嵌方法，包括以下步骤：

1）、基于邻接关系和递归任务划分的镶嵌任务树构建。由于大尺度遥感镶嵌的数据量很大且输入没有固定顺序，所以我们要对输入影像进行排序并规定任务划分。为了达到细粒度的划分效果，我们将在一个镶嵌任务中只放入两张遥感影像。也就是说，任务树中的每个非叶子节点只有两个子节点，并且我们建立出的是一个二叉任务树。显然，平衡二叉任务树在执行时间上是最优的，它可以保证更多的节点被利用。

2）、镶嵌任务树的DAG模型表示。任务树的执行是一个由下向上的过程，也就是说如果节点ni是节点nk的子节点，那么只有在ni执行之后nk才可以被执行。我们用G=（V，E，W，Ht，Hb）来表示DAG模型，其中V是节点集合，E是有向边的集合，W是每个结点（任务）的计算时间估计值，Ht与Hb均表示任务高度，只是起点不同。

3）、基于CPDS-SQ（基于关键路径和状态队列的动态DAG调度策略）的镶嵌任务树动态调度。起初，我们有一个初始优先级，我们把满足执行条件的任务放入就绪队列，这些任务被交给PBS任务调度器分配各集群上的节点来完成镶嵌任务。一旦这些任务开始执行，我们将这些任务移入运行队列，当他任务完成时我们将任务移入完成队列，然后CPDS-SQ会将运行队列中相应的任务移除并更新与其有关系的相应任务的优先级与执行条件。CPDS-SQ会监视所有队列与调控运行，直至所有任务完成。

4）、大量镶嵌任务的并行处理。PBS批处理调度器调度PMosaic程序完成每个镶嵌任务。PMosaic程序是一个MPI并行程序，它主要包含图像配准与重采样阶段阶段，图像配准阶段：管理节点进行图像预处理（图像投影转换等工作）和直方图统计，管理节点根据映射关系计算出输出图像的区域范围，并同时获取n副图像之间重叠区域列表；之后对重叠区域有效范围进行均匀划分，得到计算节点P1~Pn的计算任务Task1~Taskm（目标图像子区域范围）；各计算节点计算获取的任务Taski中的结果图像对应的原始图像的范围，之后对图像进行配准，获取控制点信息；所有任务处理完成之后，将各个节点的控制点信息进行汇总。重采样阶段：管理节点获取重采样和匀色任务列表，并进行分配，计算节点根据任务的分配进行原始图像的读入处理写出等操作。

具体使用时，1）、基于邻接关系和递归任务划分的镶嵌任务树构建：

本发明采用的任务树生成方法如图2所示，首先把输入图片进行row排序与path排序，排序后的图片顺序与地理信息相对应。其次，我们根据排列顺序与邻接关心进行任务划分。在文中我们用邻接关系矩阵来记录邻接关系，即如果图片K与图片J存在重叠区域我们将在邻接矩阵中标识出来，关系矩阵中重叠区域的信息由图片间的地理信息计算获得。由于任务的划分是一个从上至下的过程，所以我们吧上层序列从中间分开，分成相等的两部分子序列，这样就形成了父子节点关系，直到叶节点只有两张图片，也就是我们规定的划分规则，这样就形成了一颗平衡二叉树。最后我们还要根据邻接关系对二叉树中的fake任务进行调整，如果任务划分出的两个图片不存在邻接关系，那么我们将就近进行调换，如图中的（9，7，1，8）任务包处的调整。

2）、镶嵌任务树的DAG模型表示：DAG模型中，任务高度Ht同时也为该任务结点的最早开始执行时间，MCP等大多数DAG调度算法通常直接给任务高度Ht值较小的结点赋予较高的优先级，使得具有较早开始执行时间的任务可以优先执行，即任务树中的各个任务可按照DAG模型中的拓扑顺序执行。而任务高度Hb则跟关键路径密切相关，因此任务高度Ht+Hb较高的任务则可能是关键路径上的关键节点，则需要被优先调度，即赋予较高的任务优先级。

在本发明中，任务树中每个任务的初始优先级取决于该任务高度，任务高度Ht值较小的任务将被赋予较高的任务优先级，被优先调度。由于在pbs等集群调度器中，优先级值P越小其优先级越高，因此，Ht值可以直接映射为任务的初始优先级值。通过任务树中各个任务的初始优先级的确定，则建立了一个初始的任务调度序列。

3）、基于CPDS-SQ（基于关键路径和状态队列的动态DAG调度策略）的镶嵌任务树动态调度，CPDS-SQ由以下步骤完成：、为每个任务准备运行参数文件，初始化优先级；、规划空闲节点；、将任务列表放入就绪队列；、将就绪队列中满足执行条件的任务放入运行队列，并将该任务提交给PBS，为空闲节点分配任务，执行PMosaic程序，执行镶嵌任务；、将出错的任务重新提交，将完成的任务放入完成队列，从就绪与运行队列中移除该任务；、对于完成任务相关的任务状态进行更新与重新计算优先级；、如果完成队列个数与原始队列任务个数不相等则返回步骤；

4）、大量镶嵌任务的并行处理：每个任务由PBS调度器分配节点使用PMosaic对任务指定的两张图片进行镶嵌，PMosaic是一个并行镶嵌程序，执行步骤如图4所示，主节点负责划分数据，子节点完成一个多步骤处理。、我们选择一个合理的全球投影方式，把所有输入影像进行统一全球投影。、我们采用最大互信息法来选取控制点与地理坐标转换。由于遥感影像一般是已经做过精矫，所以上面我们所使用的方式是合理可行的。、我们利用直方图在参照影像与子影像间进行辐射均衡化处理(RadiometricBalancing)。然后，对子影像重采样到参考地理坐标系中。、我们进行最佳拼缝线的选取与基于拉普拉斯-高斯金字塔加权融合的重叠区域匀色处理。

按照以上介绍，发明完成了一套基于任务树和动态DAG调度的遥感影像并行镶嵌方法，主要适用于大尺度遥感镶嵌任务。本方法利用集群的并行计算优势，缩短了传统遥感镶嵌算法的执行耗时，且有着并行效率高的特点。

本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (3)

1.一种基于任务树的大尺度遥感影像并行镶嵌方法，其特征在于，包括以下步骤：

1）、利用Row-Path两级排序方法对大量待镶嵌遥感影像进行排序，利用分而治之方法将大尺度镶嵌问题递归划分为一系列具有前驱后继数据依赖关系的任务，并根据平衡二叉树构建方法进行镶嵌任务树构建；

2）、对构建的镶嵌任务树的任务节点和任务间数据依赖关系利用DAG模型进行描述和表示，其中利用基于镶嵌任务的覆盖区域和数据量进行运行时间估计，并基于运行时间计算每个任务节点的权值，从而形成带权任务DAG；

3）、任务优先级初始化，利用最早开始时间Ht作为任务初始优先级形成初始调度序列；

4）、基于状态队列的动态调度，为就绪任务自适应地分配计算资源、指定镶嵌影像数据和准备处理参数文件，并将任务插入就绪队列，经优先级排序后顺序提交到集群调度系统中执行并加入运行队列；

5）、实时任务状态监控与优先级重新计算，对运行队列中的任务进行状态监控，重新计算已完成任务的所有后续任务的优先级，并将就绪的后续任务加入就绪队列，直至所有任务执行完成，完成后的失效任务重新提交；

6）、利用MPI消息传递模型对单个镶嵌任务进行细粒度并行实现，单个并行处理任务的处理流程为：细粒度任务/数据划分、投影变换、图像配准、基于直方图匹配的辐射均衡化、图像采样、重叠区拼接线提取、基于拉普拉斯-高斯金字塔加权融合的重叠区匀色处理、计算结果并发输出。

2.根据权利要求1所述的基于任务树的大尺度遥感影像并行镶嵌方法，其特征在于：所述步骤1）的镶嵌任务树的构建过程中，利用一种简单的平衡二叉树构建方法构建扁平的平衡任务树，其包括以下步骤：

1）、利用Row-Path两级排序方法得到空间地理位置偏序的遥感影像序列；

2）、对排序后的遥感影像序列进行递归划分，每个划分过程中遥感影像序列被划分为影像数量相当的两个子序列，分别被封装为左子和右子结点。

3.根据权利要求2所述的基于任务树的大尺度遥感影像并行镶嵌方法，其特征在于：所述步骤3）、4）和5）中，采用基于状态队列的动态DAG调度方法对并行镶嵌任务进行有效调度，利用实时状态监控得到的状态报告将任务放入不同的状态队列并进行调度控制，采用自定义格式的XML文件方便地指定并描述每个镶嵌任务所需的遥感影像数据，同时为每个任务设计参数文件来描述每个镶嵌任务的处理参数。