CN106202145A - 一种数据密集型计算的遥感图像预处理系统 - Google Patents

Abstract

本发明公开了一种数据密集型计算的遥感图像预处理系统，围绕遥感数据自动化、业务化预处理的问题，组织多种遥感算法模型形成工作流来完成遥感数据的业务化处理，针对不同类型的遥感数据灵活组建自适应的工作流程。结合计算环境通过任务并行、数据并行、算法并行、多机并行、多线程并行和GPU加速形成“5并行1加速”的计算体系缩短遥感影像处理的生产时间。本发明的一种数据密集型计算的遥感图像预处理系统可以对海量规模的各类遥感数据进行快速实时处理，在保证处理精度的同时大幅度提升生产效率。

Description

一种数据密集型计算的遥感图像预处理系统

技术领域

本发明涉及遥感数据处理领域，尤指一种数据密集型计算的遥感图像预处理系统。

背景技术

随着航空与遥感技术的不断发展，遥感数据正在以太比特级(TB)速度增长，数据的处理环节速度普遍较慢，现有的人工作业方式的时效性已经不能满足日常科研和生产活动的要求。由于传感器众多，各类型数据处理的算法不同，处理环节的数据密集型计算特性日渐凸显，需要独立于数据处理的流程来组合算法减少系统复杂度。针对这些问题遥感数据处理需要设计出一个可靠的半自动生产模型并在保证精确度的同时提高效率。目前研究较多的主要偏向在提升较为独立的影像处理工具的性能，而面向解决行业实际应用问题的工具和流程较少。针对海量数据的遥感图像处理，可靠、鲁棒的自动化生产是更切实的需要，比处理的高精度要求更有现实意义。

发明内容

针对现有技术存在的问题，本发明的目的在于采用灵活可调整的工作流模式通过多种并行方式来缩短遥感影像处理的生产时间，实现遥感数据的业务化生产。

为实现上述目的，本发明的遥感数据预处理系统，提出了一种“5并行1加速”的计算体系，即任务并行、数据并行、算法并行、多机并行、多线程并行和GPU加速。动态组织加载涵盖几何精纠正、云检测、大气纠正、融合、数据标准化、快视图等多种算法模型，通过这种计算体系和多种算法模型的全链路方式来缩短遥感影像处理的生产时间，实现遥感数据的业务化生产。

进一步，针对遥感产品的生产需求和遥感数据量大、数据类型复杂的特点，结合硬件资源缩短遥感数据的生产时间，利用生产节点、分布式数据库构成高速计算环境。通过资源的合理配置有效的组织多种模型协同工作。

进一步，针对不同类型的数据调用不同的算法进行处理，基础算法层集成了大量的算法模型，解决不同遥感数据在具体问题上的分析计算，通过工作流实现算法模型的统一管理和调用触发。

进一步，算法模型主要集成了图像配准、几何纠正、大气纠正、融合、云检测、信息统计、数据标准化和快视图等多种处理模型应用于遥感大数据密集型预处理计算。

进一步，将处理订单信息、中间数据质检和数据信息提取显示于可视化界面，处理结果的瓦片数据加载于三维数字地球上进行渲染展示。

进一步，遥感数据呈现出的多时相、多光谱、多分辨率、多传感器等现状形成了数据量大且类型各异的特点，数据处理过程复杂耗时较长。处理环节中除了将算法模型进行合理的组织管理，还需要提高数据的处理效率。结合任务并行、数据并行、算法并行、多机并行、多线程并行和GPU加速形成“5并行1加速”的计算体系。

本发明方法通过组织多种遥感算法模型形成工作流来完成遥感数据的业务化处理，借助不同的并行方式提升计算能力、缩短生产时间形成“5并行1加速”的计算体系。系统可以对海量规模的遥感数据进行快速实时处理，保证处理精度的同时大幅度提升生产效率。

附图说明

图1为系统总体结构图；

图2几何处理模型的工作流程；

图3“5并行1加速”结构体系图；

具体实施方式

如图1所示，本发明的遥感数据预处理系统针对遥感产品的生产需求和遥感数据量大、数据类型复杂的特点，结合硬件资源缩短遥感数据的生产时间，利用生产节点、分布式数据库构成高速计算环境。通过资源的合理配置有效的组织多种模型协同工作。系统由任务订单推送得到要处理的原始数据。然后针对不同类型的数据调用不同的算法进行处理，在基础算法层集成了大量的算法模型，解决不同遥感数据在具体问题上的分析计算，通过工作流实现算法模型的统一管理和调用触发。各生产节点结合订单需求定制合理的工作流进行数据生产，将结果和分析以可视化的方式呈现并提供质量检测查看数据精度，最后将处理好的产品数据入库。

由于模块众多、参数复杂，不同处理任务往往需要多种算法的灵活组合，形成自适应的工作流程。遥感算法模型是包含输入、输出和处理的遥感数据过程。通过工作流可以标识生产流程的执行过程和各个算法模型的之间的关系，简化处理过程。这种以数据为中心，数据流向为驱动，本地运行的密集计算为主的方式正适应于批量的遥感数据业务化生产。系统通过插件模式，动态组织、加载现有的算法模型，将算法模型按照一定的逻辑功能顺序有机的组合成处理流程，根据数据生产需求设置工作流配置文件来定制相应的业务生产流程。以工作流模式来组合算法模型能更好的解决业务化中模块多、算法重复使用、开发和维护成本高的问题，实现将业务逻辑和处理细节分离，更好的适应遥感数据处理的快速变化。

图2为预处理系统中高分数据几何处理的完整工作流，涵盖图像配准、几何纠正、融合、标准化、快视图5个方面。图像配准主要根据底图与配准影像的特征地物来保证图像位置的正确性，通过Web Service获得与待处理数据在分辨率和区域上一致性来实现自动化配准。将得到的控制点文件传给几何纠正模块通过有理函数模型等多种校正方法来消除影像中的几何误差。融合模块对几何纠正后的全色数据和多光谱数据进行融合获得比单一数据更丰富的信息。最后通过标准化模块对数据按照五层十五级标准12进行切分，切分后的瓦片数据按层级行号列号规范化命名，使其可以快速聚合。工作流在执行过程中进行过程控制，监控每个任务单元是否完成并输出日志文件记录时间和错误信息，有效管理算法模型的调用情况。根据模型间的逻辑关系建立的工作流既能满足算法模型的灵活组织管理，又能服务于业务化生产减少人工操作更好的应用于数据密集型计算。

遥感数据呈现出的多时相、多光谱、多分辨率、多传感器等现状形成了数据量大且类型各异的特点。遥感数据的处理是一个复杂的过程涉及处理器硬件、磁盘存储、算法模块、网络通信等一系列因素。处理环节中除了将算法模型进行合理的组织管理，还需要提高数据的处理效率。在业务化的处理时根据数据量将数据按任务进行划分，分布到多机环境下进行同步处理缩短生产时间。在生产节点上结合算法模型间的逻辑关系并行执行提高CPU利用率。针对一景遥感影像数据量很大无法全部读入计算机内存的现象，通过对数据分区分块，利用GPU在图形图像上的处理优势在算法中进行加速。待一景遥感数据分为较小图像后可以通过多线程将不同数据块同时处理。通过多种并行方式形成的“5并行1加速”的计算体系如图3所示，主要包括以下方式：

(1)任务并行是将海量数据通过生产需求进行数据划分。遥感数据的核心问题在于数据量大，处理时间长、耦合高、不易中断。因此将任务进行分批形成任务队列，一个任务完成即可对处理结果进行下一步操作。将数据按任务进行划分后也有利于进一步多机处理。充分考虑任务之间的可并行性通过任务队列的协同处理模式提高生产效率。

(2)数据并行是对一景大数据量的影像按某种方式划分，分为多块小数据量的影像同时处理。针数据量较大时难以一次性全部读入内存的情况，对数据进行分区分块，在进行计算时将用到的数据读进内存进行处理，对每块数据进行相同的操作最后再根据需要将数据合并，数据块间的依赖性小有利于并行计算。

(3)算法并行在工作流中结合算法参数信息，调用多个算法模型同时处理。遥感数据从读入系统到生产产品需要经过一系列算法进行加工处理，不同算法解决不同的实际问题，考虑磁盘的I/O操作结合算法的处理对象，对于不需要同时操作同一对象的算法进行并行处理进一步提高CPU利用率。

(4)多机并行是一组计算机通过网络连接部署相同的处理环境使其能协作完成计算工作。每台参与计算的计算机都是一个生产节点，负责一部分任务的执行处理，将大数据量的生产任务分配到不同的计算节点同时生产形成多机并行来提高生产效率。

(5)大数据量的遥感数据由于一次只能读取一部分数据造成磁盘访问频繁，等待过程未充分利用CPU资源。本系统对整景影像进行切片处理，切片后的数据都满足五层十五级标准，形成数据个数多而数据量小的瓦片数据。根据这个特点结合多线程使处理数据和磁盘操作同时进行，以此提高CPU的利用率进而提高生产效率。

(6)GPU是图形处理器，具有高强度数据计算能力，包含大量的执行处理单元能轻松加载并行计算，显存带宽大，在大数据量的处理中性能高。CPU对算法的逻辑部分进行计算处理，将分块后的数据以流的形式在内核函数上并行计算后对计算结果保存、输出。通过GPU对算法进行加速缩短整景影像的处理时间。

Claims (6)

1.一种数据密集型计算的遥感数据预处理系统，其特征在于，包括多种算法模型、采用灵活可调整的工作流模式进行生产并结合多种并行方式来缩短遥感影像处理的生产时间，实现遥感数据的业务化生产。其中，根据要处理数据的类型和需求使用自适应的工作流来组织管理算法模型，服务于业务化生产减少人工操作更好的应用于数据密集型计算。其中，结合生产的硬件资源形成任务并行、数据并行、算法并行、多机并行、多线程并行和GPU加速的“5并行1加速”的计算体系。

2.如权利要求1所述的遥感数据预处理系统，其特征在于，结合硬件资源缩短遥感数据的生产时间，利用生产节点、分布式数据库构成高速计算环境，通过资源的合理配置有效的组织多种模型协同工作。

3.如权利要求1所述的工作流模式，其特征在于，可以动态组织、加载现有的算法模型，形成自适应的工作流程。

4.如权利要求1所述的“5并行1加速”的计算体系，其特征在于，根据不同的数据特点结合硬件资源充分利用计算环境，提高遥感影像数据的生产效率。

5.如权利要求2所述的高速计算环境，其特征在于，数据生产过程中自动读取数据信息通过Web Service访问分布式数据库获取与待处理数据在分辨率和区域上一致的控制底图进行图像配准。

6.如权利要求2所述的遥感数据预处理系统，其特征在于，可视化的操作界面，实时的订单任务和将处理数据与结果加载于三维数字地球上显示。