CN108986113A - 一种基于llts框架的分块并行多尺度分割算法 - Google Patents

Abstract

本发明公开了一种基于LLTS框架的分块并行多尺度分割算法，其流程为：输入遥感影像；分块参数计算并分块：按照指定分块大小对影像进行分块；将计算出的分块参数向计算节点下发计算任务；栅格矢量化：将分块得到的栅格利用LLTS框架在逻辑上合并到一块并进行栅格矢量化，得到矢量文件。本发明能够适应多机并行计算，从而减少算法运行时间，对单一机器具有较低配置要求，几台低配机器比单台高配机器计算效率更高，可以在不更新硬件的情况下，提高处理效率。

Description

一种基于LLTS框架的分块并行多尺度分割算法

技术领域

本发明涉及一种分割算法，尤其涉及一种基于LLTS框架的分块并行多尺度分割算法。

背景技术

随着遥感传感器技术的进步，海量高分辨率影像数据获取成为可能，基于高分辨率影像的地物提取得到广泛关注和应用。虽然高分辨率影像为精确地物提取提供了可能性，但是传统的基于像素的地物提取方法难以适应高分辨率带来的显著增加的类内噪声和类间相似性，提取结果经常出现形状不准确、不同类别的像素混杂分布等现象。为了克服上述问题，面向对象的地物提取方法被提出并很快在高分辨率影像上取得了令人满意的成果。面向对象的地物提取方法能够更好地利用影像上下文信息并且对噪声具有较强抵抗能力，使图像分析从对像素局部信息的关注转为对与现实地物具有更强映射关系的超像素的分析。

影像分割是面向对象提取的基础，分割结果的好坏直接影响提取质量。多尺度分割是一个迭代合并的过程，每一次迭代需要找出最适合合并的相邻的两个超像素(即对象)，直到合并代价高于预先规定的阈值。计算过程中需要保存超像素与像素的对应关系、超像素间的相邻关系，数据量较大时，算法内存开销和迭代计算时间不容忽视。因此，多尺度分割虽然具有原理清晰、人工干预少、尺度间分割结果满足嵌套关系等优点，但是同时，该算法随着影像像素数量的增多计算时间和内存消耗也很快增加。而卫星影像，尤其是高分辨率影像，一景数据所包含的像素数量是非常巨大(通常以百万计)的，这就对运行多尺度分割算法的机器提出了很高要求。现有的多尺度分割的实现基于单台机器单一进程串行地进行分割计算；同时受一个进程只能操作一个文件的限制，分割的结果也只能顺序输出到一个文件中。分割速度严重受限于算法运行机器的硬件配置，无法利用多机集群进行运算和并行化输出，稳定性和时效性难以满足实际应用需求。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种基于LLTS框架的分块并行多尺度分割算法。

为了解决以上技术问题，本发明采用的技术方案是：一种基于LLTS框架的分块并行多尺度分割算法，其流程为：

步骤一、输入遥感影像；

步骤二、分块参数计算并分块：按照指定分块大小对影像进行分块；

步骤三、将计算出的分块参数向计算节点下发计算任务，各分块处理的过程为:

Ⅰ、数据规则化：

将栅格分块数据进行重新组织，使其存储成与位置无关的一维数组，方便进行数学上的计算和判断；如果需要对数据进行归一化，还需要求取最大最小值，将一维数组值归并到0-1之间；

Ⅱ、初始分割：

按照初始的分割合并参数对数据进行初始分割；

Ⅲ、合并初始分割：

对初始分割的分割对象进行判断，将能合并的分割对象合并为一个新对象；

Ⅳ、记录分割合并后的父对象和子对象：

对合并前后的父对象和子对象关系进行记录，特别是ID、边界像素位置；

Ⅴ、记录分割后每一个对象的特征：

记录分割后每一个对象的特征，特别是中心点坐标、对象包含的像素个数、对象的宽、对象的高、对象的像素最大值、最小值、平均值；

Ⅵ、输出栅格：

对分割后的分割块以栅格格式进行输出。

步骤四、栅格矢量化：将分块得到的栅格利用LLTS框架在逻辑上合并到一块并进行栅格矢量化，得到矢量文件。

进一步地，步骤三中的子对象还可以是像素。

进一步地，步骤四中将分块得到的栅格利用LLTS框架在逻辑上合并到一块的具体过程为：利用LLTS框架下的支持并行的读写库，通过头文件+分块二进制文件的形式实现N次计算结果的并行输出，从而真正实现从处理到输出的分布式并行化。

本发明能够适应多机并行计算，从而减少算法运行时间，对单一机器具有较低配置要求，几台低配机器比单台高配机器计算效率更高，可以在不更新硬件的情况下，提高处理效率。

附图说明

图1为LLTS框架的组成结构示意图。

图2为多尺度分割算法的设计原理示意图。

图3为多尺度分割算法的整体流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

LLTS(Low Latency Task Service，低延迟的任务服务)框架是为了一组相近的计算需求，提供低延迟的计算任务执行服务，包含Controller和Agent两个角色，如图1所示。Controller负责接收外部程序发来的请求，Agent负责启动和监视具体的计算任务。Agent都是同构的计算单元，每个Agent只能同时容纳一个计算任务。

因此，可根据LLTS框架的设计思想，对多尺度分割算法进行改造，即在主进程中按照给定的分块大小，将影像进行分块并计算分块参数，之后将分块参数下发给各计算节点，原理图如图2所示。

一种基于LLTS框架的分块并行多尺度分割算法，其流程如图3所示：

步骤一、输入遥感影像；

步骤二、分块参数计算并分块：按照指定分块大小对影像进行分块；

步骤三、将计算出的分块参数向计算节点下发计算任务，各分块处理的过程为:

Ⅰ、数据规则化：

将栅格分块数据进行重新组织，使其存储成与位置无关的一维数组，方便进行数学上的计算和判断；如果需要对数据进行归一化，还需要求取最大最小值，将一维数组值归并到0-1之间；

Ⅱ、初始分割：

按照初始的分割合并参数对数据进行初始分割；

Ⅲ、合并初始分割：

对初始分割的分割对象进行判断，将能合并的分割对象合并为一个新对象；

Ⅳ、记录分割合并后的父对象和子对象：

对合并前后的父对象和子对象关系进行记录，特别是ID、边界像素位置；当然，子对象也可能是像素；

Ⅴ、记录分割后每一个对象的特征：

记录分割后每一个对象的特征，特别是中心点坐标、对象包含的像素个数、对象的宽、对象的高、对象的像素最大值、最小值、平均值；

Ⅵ、输出栅格：

对分割后的分割块以栅格格式进行输出。

步骤四、栅格矢量化：将分块得到的栅格利用LLTS框架在逻辑上合并到一块并进行栅格矢量化，得到矢量文件。利用LLTS框架下的支持并行的读写库，通过头文件+分块二进制文件的形式实现N次计算结果的并行输出，从而真正实现从处理到输出的分布式并行化。

通常来说，将结果写入一个输出文件时，并不支持多个数据同时访问文件，并写入文件不同的位置。如果采用处理过程并行化、结果输出顺序化的思想，在增加输出过程的时间的同时，还会由于各计算节点排队等待输出，导致其也间接拖慢算法的并行化处理速度。而本发明利用LLTS框架下的并行化数据读写库，实行分块处理策略，对已有多尺度分割算法进行并行加速，在多个计算节点上利用有限的内存并行地读取及写入库，向磁盘写出分割结果，完成分割任务。通过对输入影像分块并在每个块中单独进行分割运算，减小了单个节点的计算压力，能够提升算法运行算法效率。本发明已在geovis ifactory平台验证使用，可满足快速处理需求。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (3)

1.一种基于LLTS框架的分块并行多尺度分割算法，其特征在于：所述算法的流程为：

步骤一、输入遥感影像；

步骤二、分块参数计算并分块：按照指定分块大小对影像进行分块；

步骤三、将计算出的分块参数向计算节点下发计算任务，各分块处理的过程为:

Ⅰ、数据规则化：

将栅格分块数据进行重新组织，使其存储成与位置无关的一维数组，方便进行数学上的计算和判断；如果需要对数据进行归一化，还需要求取最大最小值，将一维数组值归并到0-1之间；

Ⅱ、初始分割：

按照初始的分割合并参数对数据进行初始分割；

Ⅲ、合并初始分割：

对初始分割的分割对象进行判断，将能合并的分割对象合并为一个新对象；

Ⅳ、记录分割合并后的父对象和子对象：

对合并前后的父对象和子对象关系进行记录，特别是ID、边界像素位置；

Ⅴ、记录分割后每一个对象的特征：

记录分割后每一个对象的特征，特别是中心点坐标、对象包含的像素个数、对象的宽、对象的高、对象的像素最大值、最小值、平均值；

Ⅵ、输出栅格：

对分割后的分割块以栅格格式进行输出。

步骤四、栅格矢量化：将分块得到的栅格利用LLTS框架在逻辑上合并到一块并进行栅格矢量化，得到矢量文件。

2.根据权利要求1所述的基于LLTS框架的分块并行多尺度分割算法，其特征在于：所述步骤三中的子对象还可以是像素。

3.根据权利要求1所述的基于LLTS框架的分块并行多尺度分割算法，其特征在于：所述步骤四中将分块得到的栅格利用LLTS框架在逻辑上合并到一块的具体过程为：利用LLTS框架下的支持并行的读写库，通过头文件+分块二进制文件的形式实现N次计算结果的并行输出，从而真正实现从处理到输出的分布式并行化。