CN103714184A - 一种遥感影像快速并行处理方法及装置 - Google Patents

Abstract

本发明公开了一种遥感影像快速并行处理方法及装置，涉及遥感数据处理技术领域，解决了遥感影像并行算法的实际运行效率往往达不到理想的加速比，严重依赖于集群的硬件配置情况，不具有通用性的问题。本发明的主要方法为：将待处理区域的遥感影像数据进行剖分化处理，建立剖分面片模板并形成剖分面片模板库；对所述剖分面片模板的处理算法进行并行性分析，构建相应的剖分面片模板算法并行处理模型；针对所述剖分面片模板算法的并行处理模型，生成相应的并行类，形成剖分面片模板处理算法的并行化类库。本发明主要用于遥感影像快速并行处理的过程中。

Description

一种遥感影像快速并行处理方法及装置

技术领域

本发明涉及遥感数据处理技术领域，特别涉及一种遥感影像快速并行处理方法及装置。

背景技术

遥感影像作为一种实时性高、覆盖范围广、信息丰富的空间信息资源，已经成为国家空间数据基础设施建设的重要基础数据，在航空航天、军事侦察、灾害预报、环境监测、土地规划与利用、农作物估产等诸多军事及民用领域发挥了重要作用。随着对地观测技术、遥感技术、计算机及通信技术的迅猛发展，空间信息的数据量以每日TB级的速度急剧膨胀，这为空间信息应用服务的自动化、实时化、智能化创造了有利的前提条件，也给空间信息的组织和管理带来了严峻挑战，从而造成“空间数据的生产和传输能力远远大于空间数据解析能力”的局面。

经过几十年的发展，遥感影像处理技术日趋成熟，已经取得了一大批理论和算法成果。并行处理技术是目前遥感影像处理的一个热点研究方向，也是提高影像处理速度和效率最有效的方法之一。以并行数据处理为基础的高性能计算技术是目前遥感影像高性能处理所采用的主要方法。高性能集群、专用硬件设备图形处理器（Graphic Processing Unit，GPU）、众核（Many Integrated Core，MIC）等在遥感影像高性能处理领域得到广泛应用。

但是，由于缺乏有效的数据组织机制，多源异构的影像数据要实现动态、高效关联比较困难，且遥感影像并行算法的实际运行效率往往达不到理想的加速比，严重依赖于集群的硬件配置情况，不具有通用性。

发明内容

本发明提供了一种遥感影像快速并行处理方法及装置，以解决上述问题。

为解决上述问题，本发明的实施例提供如下技术方案：

一方面，本发明的实施例提供一种遥感影像快速并行处理方法，包括：

将待处理区域的遥感影像数据进行剖分化处理，建立剖分面片模板并形成剖分面片模板库；

对所述剖分面片模板的处理算法进行并行性分析，构建相应的剖分面片模板算法并行处理模型；

针对所述剖分面片模板算法的并行处理模型，生成相应的并行类，形成剖分面片模板处理算法的并行化类库。

另一方面，本发明的实施例还提供一种遥感影像快速并行处理装置，包括：

模板生成单元，用于将待处理区域的遥感影像数据进行剖分化处理，建立剖分面片模板；

模板库生成单元，用于形成剖分面片模板库；

并行处理模型建立单元，用于对所述剖分面片模板的处理算法进行并行性分析，构建相应的剖分面片模板算法并行处理模型；

并行类生成单元，用于针对所述剖分面片模板算法的并行处理模型，生成相应的并行类；

并行化类库生成单元，用于形成剖分面片模板处理算法的并行化类库。

本发明实施例提供的遥感影像快速并行处理方法及装置，依据地图分幅拓展的地球剖分模型，通过建立剖分面片模板的数据模型，快速生成剖分面片模板；根据具体的遥感影像算法的并行化模型，将算法串行处理步骤抽象为该并行类的方法成员，形成剖分面片模板处理算法的并行化类库。基于此，遥感领域技术研究人员在没有并行开发经验的背景下，不需要熟悉高性能计算平台的技术细节和空间数据的剖分组织机理，只需要通过实例化相应遥感影像算法的并行类并进行初始设定，通过调用该类所提供的方法接口，就可以利用剖分面片模板库中的模板进行快速的并行计算，从而达到了大幅提高遥感影像处理效率的目的。

附图说明

图1示出了本发明实施例提供的遥感影像快速并行处理方法流程；

图2示出了本发明实施例提供的剖分面片模板数据模型；

图3示出了本发明实施例提供的建立剖分面片模板的方法流程图；

图4示出了本发明实施例提供的剖分面片处理方法的流程图；

图5示出了本发明实施例提供的剖分面片模板库的形成示意图；

图6示出了本发明实施例提供的形成剖分面片模板库的方法流程图；

图7示出了本发明实施例提供的构建相应的剖分面片模板算法并行处理模型的方法流程图；

图8示出了本发明实施例提供的生成相应的并行类的方法流程图；

图9示出了本发明实施例提供的遥感影像快速并行处理装置的组成框图；

图10示出了本发明实施例提供的一种模板生成单元的组成框图；

图11示出了本发明实施例提供的另一种模板生成单元的组成框图；

图12示出了本发明实施例提供的模板库生成单元的组成框图；

图13示出了本发明实施例提供的并行处理模型建立单元的组成框图；

图14示出了本发明实施例提供的并行类生成单元的组成框图。

具体实施方式

本发明的实施例提供一种遥感影像快速并行处理方法，如图1所示，该方法包括：

101、将待处理区域的遥感影像数据进行剖分化处理，建立剖分面片模板并形成剖分面片模板库。

其中，剖分面片模板作为剖分面片计算的基本单元，在适当的剖分层级以每个面片为单元建立基准影像。剖分面片模板由面片信息、模板类型、模板数据组成。面片信息包括与剖分面片相对应的编码、层次、形状、面积、空间位置、投影变换等信息；模板类型对应具体的剖分处理算法，可以由模板管理模块创建，并管理模板元数据信息；模板数据是指定剖分面片对应的基准遥感影像信息，包括分辨率信息、坐标信息、像素信息及空间实体的颜色、纹理、形状等特征信息。剖分模板元数据信息包括数据格式、数据类型、数据文件算法接口、数据处理算法接口，其中，数据文件算法负责生成和解析数据文件，数据处理算法负责使用模板数据进行空间数据处理。

剖分面片模板库是按照剖分面片模板数据模型（如图2所示）所建立的标准化正射遥感影像集合，是剖分面片的“DNA特征库”，能够实现全球任意地区遥感影像的统一管理、定位和共享。模板库的存储采用与剖分面片多层次、分布式剖分集群存储方案。模板库具有模板存储、模板索引、模板计算等功能模块。存储模块负责将各类模板数据根据其对应的面片存入存储集群，模板数据以二进制文件方式进行存储，文件本身的生成和解析则由模板调度系统统一管理；索引模块负责生成全球模板的索引大表，便于模板的快速提取和更新；由于具体的计算需求所涉及的区域不一定完全按照面片的范围，需要从现有的面片模板中进行组合，来生成任意区域的模板。模板计算调度系统负责模板统筹管理，接收计算任务，调度计算资源等，应包括模板管理、模板数据、任务调度、计算资源调度等模块。

102、对所述剖分面片模板的处理算法进行并行性分析，构建相应的剖分面片模板算法并行处理模型。

103、针对所述剖分面片模板算法的并行处理模型，生成相应的并行类，形成剖分面片模板处理算法的并行化类库。

进一步的，将待处理区域的遥感影像数据进行剖分化处理，建立剖分面片模板，可以通过但不局限于以下的方法实现，如图3所示，该方法包括：

201、基于EMD剖分模型，对待处理区域的遥感影像数据进行剖分化处理，形成该区域的遥感影像多层级剖分面片集合。

其中，在基于EMD剖分模型，对待处理区域的遥感影像数据进行剖分化处理，形成该区域的遥感影像多层级剖分面片集合时，生成该遥感影像所对应的多层级剖分面片优选第5-8级剖分面片，当然，本发明实施例对此也不进行限制，也可以是其他层级的剖分面片。

202、提取剖分面片的模板化特征形成相应层级的剖分面片模板。

进一步的，由于不同应用对对遥感影像尺度的需求不同，在形成基础的剖分面片之后，可能需要对对应的剖分面片进行处理，得到与不同应用需求对应的遥感影像剖分面片，针对该需求，本发明的实施例还提供一种剖分面片处理方法，如图4所示，该方法包括：

301、根据不同应用对遥感影像尺度的需求，构造面向剖分面片模板的计算模式。

其中，剖分面片模板的计算模式包括以下计算：在纵向方向上包含面片的聚合、分裂等操作；在横向方向上包含面片的扩展、收缩等操作；针对模板而言包含辐射校正、几何纠正、图像增强、投影变换、镶嵌、匀光匀色、快速更新等操作。其中聚合表示若干个同级面片聚集得到一个高层级的面片，主要涉及同级面片的位置关系组合、面片数据结构调整等；分裂表示一个高级别面片分裂为若干个低层级面片，主要涉及面片的分割、控制点调整、高精影像的选取等；扩展表示相邻同级面片直接的拼接、镶嵌，组成大的临时视图等。

302、根据所述计算模式对相应面片进行处理，得到与不同应用需求对应的遥感影像剖分面片的集合。

其中，在据所述计算模式对相应面片进行处理，得到与不同应用需求对应的遥感影像剖分面片时，可以通过以下处理进行，例如，纵向通过聚合生成高层级的面片，或通过分裂生成低层级的面片；横向通过模板的收缩、扩张等操作，得到与应用需求对应的遥感影像剖分面片。当然本发明实施例对此不进行限制，步骤301中提到的计算方式以及没有提到但是现有的计算方式，在具体实施本发明实施例时，均可以根据实际需求选择对应的计算模式进行面片的处理。

进一步的，在建立剖分面片的模板之后，会形成剖分面片模板库，如图5所示，本发明的实施例提供一种如图形成剖分面片模板库的方法如图6所示，该方法包括：

401、在剖分面片模板库中检索建立的剖分面片模板；若不存在，执行402；若存在，则执行403。

402、直接将所述建立的剖分面片模板存入所述剖分面片模板库中。

403、将建立的剖分面片模板的目标特征向量与所述模板库中的对应剖分面片模板的目标特征向量进行相似性度量；若度量结果小于预设阈值则执行404；否则执行405。

其中，该预设阈值为一经验值，其根据具体应用领域而定，通过多次实验设定。

404、不更新模板库中对应的剖分面片模板；

405、将所述建立的剖分面片模板存入所述剖分面片模板库中更新对应的剖分面片模板。

需要说明的是，剖分面片模板库采用多层次、分布式剖分集群存储方式，在具体实施时，该模板库的存储系统可以采用Hadoop平台的HBase分布式数据管理方式，在将所述建立的剖分面片模板存入所述剖分面片模板库中时，可以根据剖分面片标识信息采用Hash算法确定该面片在HDFS分布式系统的存储位置，按照“数据节点编号\卫星类型\面片层级\目标模板数据”方式组织面片模板数据。当然，本发明的实施例也可以采用其他的分布式存储方式，本发明实施例对此不进行限制。

进一步的，在对所述剖分面片模板的算法进行并行性分析，构建相应的剖分面片模板算法并行处理模型时，本发明实施例提供的但不局限于以下方法，该方法如图7所示，包括：

501、分析与所述剖分面片模板相关的算法，其可并行的代码步及其占整个算法的总运算步的百分比，确定所述剖分面片算法的可并行性；根据剖分面片模板算法的并行化特征，剖分面片模板算法分三类：全局可并行算法，局部可并行算法，不可并行算法。

502、根据其并行性的类型提取对应的并行化处理模型，所述并行化处理模型为：全局并行处理模型，局部并行处理模型，串行算法处理模型。

其中，全局并行化处理模型主要针对具有天然并行性的模板处理算法。该模型的处理流程为：集群主节点接受参数，完成初始化功能，利用MPI消息库，将计算热点区域分解到各个计算节点，各计算节点获取计算任务，利用OpenMP实现节点内的并行计算，最后将计算结果聚合至主节点。主节点动态控制计算节点的计算负载。

局部可并行处理算法主要针对部分计算具有依赖的模板处理算法。该模型的处理流程为：集群主节点接受参数，进行初始化操作，执行串行处理流程，分析计算热点区域，采用数据分解或工作分解两种策略对计算热点进行分解，其余处理流程与全局并行处理模型类似。

串行算法处理模型主要针对计算热点区域依赖性较强，并行性较差的模板处理算法。因计算依赖型较强，并行化开销可能超过原来的串行算法，这类算法的处理流程为：集群主节点进行计算任务的分配，利用MPI将计算任务分配至存放对应面片模板的计算节点，实现计算任务的本地计算，从而节省数据传输所带来的额外开销。

进一步的，针对具体处理算法，运用面向对象软件开发技术，针对该算法的并行化模型，设计相应的并行类，将该算法并行化模型中处理步骤抽象为并行类的方法成员，对该并行类的方法进行并行化实现；具体的，在针对所述剖分面片模板算法的并行处理模型，生成相应的并行类时，本发明的实施提供但不局限于以下方法，该方法如图8所示，包括：

601、根据所述并行处理模型设计对应的并行算法的抽象父类，确定所述剖分面片模板处理算法所必须的计算参数，将所述计算参数映射为该算法抽象父类的数据成员。

其中，这些计算参数包括算法的输入输出、相应剖分面片模板编号、图像像素大小等，将其映射为相应并行算法类的数据成员，在具体实施使用时，通过继承该算法的抽象父类，编写相应的构造方法实现该类的初始化。

602、将所述剖分面片模板算法的并行处理模型中处理步骤映射为抽象父类的方法成员，所述方法成员分别对应三种并行处理模型不同的处理流程。

需要说明的是，首先确定算法所对应的并行处理模型，根据具体算法特点，进行算法抽象父类的方法成员的设计，实现并行处理的方法成员采用fork-join模式，主节点负责计算任务的分解及子节点计算结果的规约，在进行任务分解时以就近计算为原则，尽量较少数据在节点间的传递。

需要说明的是，将常见的模板处理算法按上述方法进行并行化，构建常见模板处理算法的并行化类库。

在针对所述剖分面片模板算法的并行处理模型，生成相应的并行类，形成剖分面片模板处理算法的并行化类库之后，当用户对特定的遥感影像进行处理操作时，首先根据所述特定的遥感影像确定其对应的剖分面片模板，继承确定的剖分面片模板算法的抽象父类,通过该类的构造方法传入算法必须的计算参数，并调用所述抽象父类的相关方法成员，完成所述确定的剖分面片模板算法的并行化；若所定义的方法不能满足用户需求，可重写对应方法。

基于上述方法，本发明的实施例还提供一种遥感影像快速并行处理装置，如图9所示，该装置包括：

模板生成单元71，用于将待处理区域的遥感影像数据进行剖分化处理，建立剖分面片模板。

模板库生成单元72，用于形成剖分面片模板库。

并行处理模型建立单元73，用于对所述剖分面片模板的处理算法进行并行性分析，构建相应的剖分面片模板算法并行处理模型。

并行类生成单元74，用于针对所述剖分面片模板算法的并行处理模型，生成相应的并行类。

并行化类库生成单元75，用于形成剖分面片模板处理算法的并行化类库。

进一步的，如图10所示，所述模板生成单元71包括：

剖分化处理模块711，用于基于EMD剖分模型，对待处理区域的遥感影像数据进行剖分化处理，形成该区域的遥感影像多层级剖分面片集合。

模板生成模块712，用于提取剖分面片的模板化特征形成相应层级的剖分面片模板。

进一步的，如图11所示，所述模板生成单元71还包括：

计算模式构造模块713，用于根据不同应用对遥感影像尺度的需求，构造面向剖分面片模板的计算模式。

所述剖分化处理模块711还用于，根据所述计算模式对相应面片进行处理，得到与不同应用需求对应的遥感影像剖分面片。

进一步的，如图12所示，所述模板库生成单元72包括：

检索模块721，用于在剖分面片模板库中检索建立的剖分面片模板。

入库操作模块722，用于若不存在，直接将所述建立的剖分面片模板存入所述剖分面片模板库中。

目标特征向量对比模块723，用于若存在，则将建立的剖分面片模板的目标特征向量与所述模板库中的对应剖分面片模板的目标特征向量进行相似性度量。

所述入库操作模块722还用于，若度量结果小于预设阈值则不更新模板库中对应的剖分面片模板；否则将所述建立的剖分面片模板存入所述剖分面片模板库中更新对应的剖分面片模板。其中，所述入库操作模块722具体用于，采用多层次、分布式剖分集群存储方式，将所述建立的剖分面片模板存入所述剖分面片模板库中。

进一步的，如图13所示，所述并行处理模型建立单元73包括：

分析模块731，用于分析与所述剖分面片模板相关算法的可并行代码步及所述可并行代码步占整个算法的总运算步的百分比，确定所述剖分面片算法的可并行性；根据剖分面片模板算法的并行化特征，剖分面片模板算法的并行性分三类：全局可并行算法，局部可并行算法，不可并行算法。

并行处理模型生成模块732，用于根据其并行性提取对应的并行化处理模型，所述并行化处理模型为：全局并行处理模型，局部并行处理模型，串行算法处理模型。

进一步的，如图14所示，所述并行类生成单元74包括：

设计模块741，用于根据所述并行处理模型设计对应的并行算法的抽象父类，确定所述剖分面片模板处理算法所必须的计算参数，将所述计算参数映射为该算法抽象父类的数据成员；

映射模块742，用于将所述剖分面片模板算法的并行处理模型中处理步骤映射为抽象父类的方法成员，所述方法成员分别对应三种并行处理模型不同的处理流程。

进一步的，在并行类生成单元74针对所述剖分面片模板算法的并行处理模型，生成相应的并行类，并行化类库生成单元75形成剖分面片模板处理算法的并行化类库之后，当用户对特定的遥感影像进行处理操作时，遥感影像快速并行处理装置还包括：

确定单元，用于根据所述特定的遥感影像确定其对应的剖分面片模板；

操作单元，用于继承确定的剖分面片模板算法的抽象父类,通过该类的构造方法传入算法必须的计算参数，并调用所述抽象父类的相关方法成员，完成所述确定的剖分面片模板算法的并行化；若所定义的方法不能满足用户需求，可重写对应方法。

需要说明的是，本发明实施例提供的感影像快速并行处理装置的各组成单元及模块的其他描述，请参考方法部分的相关描述，本发明实施例此处将不再赘述。

本发明实施例提供的遥感影像快速并行处理方法及装置，依据地图分幅拓展的地球剖分模型，通过建立剖分面片模板的数据模型，快速生成剖分面片模板；根据具体的遥感影像算法的并行化模型，将算法串行处理步骤抽象为该并行类的方法成员，形成剖分面片模板处理算法的并行化类库。基于此，遥感领域技术研究人员在没有并行开发经验的背景下，不需要熟悉高性能计算平台的技术细节和空间数据的剖分组织机理，只需要通过实例化相应遥感影像算法的并行类并进行初始设定，通过调用该类所提供的方法接口，就可以利用剖分面片模板库中的模板进行快速的并行计算，从而达到了大幅提高遥感影像处理效率的目的。并且该并行化算法库基于常见的MPI计算集群，主要应用于并行性较好的遥感影像处理算法，实施过程简单，并行效率较高，加速比理想。

本发明实施例提供的模板库是多层分布式存储方式，具有易扩展特性的分布式存储结构，实现了剖分面片模板的快速定位、检索以及面向剖分面片模板的分布式处理功能。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种遥感影像快速并行处理方法，其特征在于，包括：

将待处理区域的遥感影像数据进行剖分化处理，建立剖分面片模板并形成剖分面片模板库；

对所述剖分面片模板的处理算法进行并行性分析，构建相应的剖分面片模板算法并行处理模型；

针对所述剖分面片模板算法的并行处理模型，生成相应的并行类，形成剖分面片模板处理算法的并行化类库。

2.根据权利要求1所述的遥感影像快速并行处理方法，其特征在于，所述将遥感影像数据进行剖分化处理，建立剖分面片模板包括：

基于全球剖分模型EMD剖分模型，对待处理区域的遥感影像数据进行剖分化处理，形成该区域的遥感影像多层级剖分面片集合；

提取剖分面片的模板化特征形成相应层级的剖分面片模板。

3.根据权利要求2所述的遥感影像快速并行处理方法，其特征在于，在对待处理区域的遥感影像数据进行剖分化处理，形成该区域的遥感影像多层级剖分面片集合之后，该方法还包括：

根据不同应用对遥感影像尺度的需求，构造面向剖分面片模板的计算模式；

根据所述计算模式对相应面片进行处理，得到与不同应用需求对应的遥感影像剖分面片的集合。

4.根据权利要求1-3中任一项所述的遥感影像快速并行处理方法，其特征在于，所述形成剖分面片模板库包括：

在剖分面片模板库中检索建立的剖分面片模板；

若不存在，则直接将所述建立的剖分面片模板存入所述剖分面片模板库中；

若存在，则将建立的剖分面片模板的目标特征向量与所述模板库中的对应剖分面片模板的目标特征向量进行相似性度量；若度量结果小于预设阈值则不更新模板库中对应的剖分面片模板；否则将所述建立的剖分面片模板存入所述剖分面片模板库中，更新对应的剖分面片模板。

5.根据权利要求4所述的遥感影像快速并行处理方法，其特征在于，将所述建立的剖分面片模板存入所述剖分面片模板库中包括：

采用多层次、分布式剖分集群存储方式，将所述建立的剖分面片模板存入所述剖分面片模板库中。

6.根据权利要求5所述的遥感影像快速并行处理方法，其特征在于，对所述剖分面片模板的处理算法进行并行性分析，构建相应的剖分面片模板算法并行处理模型包括：

分析与所述剖分面片模板相关的处理算法的可并行代码步及所述可并行代码步占整个算法的总运算步的百分比，确定所述剖分面片算法的可并行性的类型；根据剖分面片模板算法的并行化特征，剖分面片模板算法分三类：全局可并行算法，局部可并行算法，不可并行算法；

根据其并行性的类型提取对应的并行化处理模型，所述并行化处理模型为：全局并行处理模型，局部并行处理模型，串行算法处理模型。

7.根据权利要求6所述的遥感影像快速并行处理方法，其特征在于，针对所述剖分面片模板算法的并行处理模型，设计相应的并行类包括：

根据所述并行处理模型设计对应的并行算法的抽象父类，确定所述剖分面片模板处理算法所必须的计算参数，将所述计算参数映射为该算法抽象父类的数据成员；

将所述剖分面片模板算法的并行处理模型中处理步骤映射为抽象父类的方法成员，所述方法成员分别对应三种并行处理模型不同的处理流程。

8.根据权利要求7所述的遥感影像快速并行处理方法，其特征在于，在针对所述剖分面片模板算法的并行处理模型，生成相应的并行类，形成剖分面片模板处理算法的并行化类库之后，当用户对特定的遥感影像进行处理操作时，还包括：

根据所述特定的遥感影像确定其对应的剖分面片模板；

继承确定的剖分面片模板算法的抽象父类,通过该类的构造方法传入算法必须的计算参数，并调用所述抽象父类的相关方法成员，完成所述确定的剖分面片模板算法的并行化；若所定义的方法不能满足用户需求，可重写对应方法。

9.一种遥感影像快速并行处理装置，其特征在于，包括：

模板生成单元，用于将待处理区域的遥感影像数据进行剖分化处理，建立剖分面片模板；

模板库生成单元，用于形成剖分面片模板库；

并行处理模型生成单元，用于对所述剖分面片模板的处理算法进行并行性分析，构建相应的剖分面片模板算法并行处理模型；

并行类生成单元，用于针对所述剖分面片模板算法的并行处理模型，生成相应的并行类；

并行化类库生成单元，用于形成剖分面片模板处理算法的并行化类库。

10.根据权利要求9所述的遥感影像快速并行处理装置，其特征在于，还包括：

确定单元，用于在并行类生成单元针对所述剖分面片模板算法的并行处理模型，生成相应的并行类，并行化类库生成单元形成剖分面片模板处理算法的并行化类库之后，当用户对特定的遥感影像进行处理操作时，根据所述特定的遥感影像确定其对应的剖分面片模板；

操作单元，用于继承确定的剖分面片模板算法的抽象父类,通过该类的构造方法传入算法必须的计算参数，并调用所述抽象父类的相关方法成员，完成所述确定的剖分面片模板算法的并行化；若所定义的方法不能满足用户需求，可重写对应方法。

Images