CN106528699A - 一种用于快速建立影像金字塔的io多线程计算方法与系统 - Google Patents

Abstract

本发明公开了一种用于建立影像金字塔的IO多线程计算方法，包括根据原始影像的空间分辨率分配到影像金字塔的对应层，并将原始影像切割生成该层瓦片，已生成的瓦片部分缓存起来，基于已生成的瓦片生成其他层瓦片；采用多线程来执行同一层的瓦片创建任务，每个线程负责创建不相交的瓦片子集。本发明通过在内存中为各级金字塔分别建立独立的缓存，并使用流水线计算模式实现数据的IO和重采样过程，能够显著降低整体的IO数据量，大幅提升金字塔的生成效率。

Description

一种用于快速建立影像金字塔的IO多线程计算方法与系统

技术领域

本发明涉及建立影像金字塔技术领域，具体为一种用于快速建立影像金字塔的IO多线程计算方法。

背景技术

随着遥感技术的高速发展和对地观测系统的日臻成熟，各种分辨率的遥感卫星每时每刻都在获取数以千兆的地表影像，遥感数据已逐渐成为空间数据更新的主要数据源，这对海量遥感数据的组织、管理和应用提出了更大的挑战。如何高效管理以及局部更新海量影像数据已经成为迫切需要解决的理论与实践问题。目前解决此问题常用的方法是对影像进行多级重采样，切分成瓦片，构建遥感影像瓦片金字塔模型，通过牺牲存储空间换取响应速度方面的高效。

金字塔(Pyramid)一词应用到计算机领域最早出现于Lance Williams在1983年发表的“pyramidal parametrics”一文中，为了减少对原始影像进行缩放访问时的反复计算机开销，文中提出采用“pyramidal parametrics”方法对图像进行过滤和采样，预先生成一列分辨率连续降低的图像以增加浏览顺畅和减少浏览时的走样变性。影像金字塔是以原始图像为基础通过重采样依次生成不同比例尺的各层影像数据，并且各层均是以相同大小的多个切片文件进行保存。服务器在处理用户的请求时，首先定位到比例尺最接近的一层数据上，然后查询出覆盖用户请求范围的影像切片并返回给客户端，最后在网页完成拼接再呈现给用户。在上述过程中，服务器只需要将用户感兴趣的少量数据传输给客户端，并且不需要实时计算生成，因而响应速度很快，几乎可以实现实时缩放。

传统并广泛使用的影像金字塔建立技术是一种逐级建立的方式，因为每级金字塔的数据均来源于上一级。逐级建立的方式虽然实现较为容易，但是处理效率较低，因为每级金字塔会在创建时写入，建立下一级时又会读取一遍，这种模式下，当影像较大的时候，例如数百GB，建立金字塔的时间会很漫长，无法满足海量影像数据快速处理需求。

有鉴于此，特提出本发明。

发明内容

本发明要解决的技术问题在于克服现有技术的不足，提供一种用于快速建立影像金字塔的IO线程计算方法，具有更高吞吐量和计算效率，能够对海量影像数据进行高效处理，设计和实现多线程流水线计算方法，降低整体的IO数据量，快速构建影像金字塔。

为解决上述技术问题，本发明采用技术方案的基本构思是：

一种用于建立影像金字塔的IO多线程计算方法，包括：

将原始影像数据根据原始影像的空间分辨率分配到影像金字塔的对应层，然后在该层将原始影像数据切割为瓦片文件；

顺序读取原始影像瓦片数据并重采样填充到第1级缓存区中；

根据第1级缓存区中的影像内容生成第2级至最顶级缓存区中的部分行。

进一步的，上述用于建立影像金字塔的IO多线程计算方法，在所述顺序读取原始影像数据并重采样填充到第1级缓存区中之前还包括：按照金字塔的采样比例与内存使用限制确定各个级别缓存区的大小；每级别缓存区对应一层影像金字塔。

进一步的，上述用于建立影像金字塔的IO多线程计算方法，所述按照金字塔的采样比例与内存使用限制确定各个级别缓存区的大小中，确定第1级缓存大小的原则是需要确保影像数据经过多次重采样后最终能够在顶层金字塔中保留至少1行像素，中间各个级别的缓存要求能够至少保留前一级重采样的结果并且不少于一个预定义的函数。

进一步的，上述用于建立影像金字塔的IO多线程计算方法，进行所述顺序读取原始影像数据并重采样填充到第1级缓存区中，根据第1级缓存区中的内容生成第2级至最顶级缓存区中的部分行的操作过程中，使用四个独立的线程并发执行：

(1)原始影像数据读取线程；

(2)0级到1级金字塔重采样线程；

(3)2级到顶级金字塔重采样线程；

(4)金字塔缓存区写入线程。

一种实施上述方法的系统，包括：

原始影像处理单元：被配置为将原始影像数据根据原始影像的空间分辨率分配到影像金字塔的对应层，然后在该层将原始影像数据切割为瓦片文件；

影像读取单元：被配置为顺序读取原始影像瓦片数据；

影像处理单元:被配置为将原始影像瓦片数据重采样填充到第1级缓存区中；根据第1级缓存区中的影像内容生成第2级至最顶级缓存区中的部分行。

进一步的，上述用于建立影像金字塔的IO多线程计算系统，还包括

缓存区分配单元：被配置为按照金字塔的采样比例与内存使用限制确定各个级别缓存区的大小；每级别缓存区对应一层影像金字塔

采用上述技术方案后，本发明与现有技术相比具有以下有益效果：

本发明通过对海量影像数据进行高效处理的影像金字塔构建方法，在加载原始影像和保存影像文件操作过程中，用多线程并行的计算模式，有效的将IO时间和金字塔计算时间重叠在一起，降低整体的IO数据量，实现快速构建影像金字塔。

附图说明

图1是本发明用于建立影像金字塔的IO多线程计算方法中，首次读取原始影像数据并重采样到第1级缓存区后各个级别缓存区中受影响的范围；

图2是再次读取读取原始影像数据并重采样到第1级缓存区后的状态；

图3是本发明多线程并发构建影像金字塔流程图；

图4是本发明方法对图像处理前的原始图像；

图5是本发明方法对图4处理后的显示影像。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步说明，以助于理解本发明的内容。

如图1-2所示，一种用于建立影像金字塔的IO多线程计算方法，包括：

将原始影像数据根据原始影像的空间分辨率分配到影像金字塔的对应层，然后在该层将原始影像数据切割为瓦片文件；

按照金字塔的采样比例与内存使用限制确定各个级别缓存区的大小；每级别缓存区对应一层影像金字塔；

顺序读取原始影像瓦片数据并重采样填充到第1级缓存区中；

根据第1级缓存区中的影像内容生成第2级至最顶级缓存区中的部分行。

影像金字塔模型是一种多分辨率、规则化的空间格网模型，影像金字塔以原始遥感影像作为底层，也就是分辨率最高的层，经过重采样建立一系列地理空间范围相同但分辨率由高到低的多级分辨率影像集。

本发明通过在内存中为各级金字塔分别建立独立的缓存，并使用流水线计算模式实现数据的IO和重采样过程，能够显著降低整体的IO数据量，大幅度提升金字塔的生成效率。因此首先按照金字塔的采样比例和内存使用限制确定各级别缓存的大小，每个级别缓存区对应一层影像金字塔；缓存区域的划分，要保证使顶层金字塔影像(64×64或128×128大小以内)会完整的缓存在内存中，确定第1级(针对原始影像采样一次后形成的级别)缓存大小的原则是需要确保影像数据经过多次重采样后最终能够在顶层金字塔中保留至少1行像素，中间各个级别的缓存要求能够至少保留前一级重采样的结果并且不少于一个预定义的函数(如256行或128行)，其中预定义函数指对上一层影像执行重采样操作所依据的规则，如DPP＝360.0/(2ⁱ×512)i＝1,2,3…n)。

(1)影像瓦片金字塔快速构建

S11.首先采用地图投影方式将地球上的经纬度坐标信息转化到一个二维平面上，然后将这个二维平面划分成规格相同的网格，其中每个网格具有相同的像素大小，同一层的网格分摊相同的地理空间范围且每一像素代表相同的经度或纬度的数值(即Degree perpixel，简称DPP)，

其中：

DPP＝360.0/(2ⁱ×512)，

其中i为层号，512是网格水平方向上的像素大小，360.0是经度的取值范围大小。

为了实现多分辨率遥感影像间的平滑缩放浏览效果，相邻层之间的空间分辨率通常是两倍的关系，DPP值越大说明每像素代表的经度或纬度范围更大，图像越粗糙；相反DPP值越小说明每像素代表的经度或纬度范围更小，图像越精细。

S12.对所有的网格进行统一的编码，经过编码的网格称之为瓦片，每个瓦片由层号、列号和行号唯一确定，同一层内的瓦片存在着瓦片编号到地理空间范围的一一映射关系。每一层列数和行数均是上一层的两倍，因此瓦片总数将是上一层的四倍。例如第一层瓦片数量为1行2列、共两个瓦片，则第二层瓦片数量为2行4列、共八个瓦片，第三层为4行8列、共32个瓦片……以此类推，假设瓦片金字塔的总层数设为20，则瓦片总数达到了733007751850个，整个金字塔总数据量达到了PB(petabyte)级，瓦片金字塔的构建不是一蹴而就的，而是一个持续构建的过程。构建开始，瓦片金字塔没有真实的瓦片数据，当获取到新地理范围的原始影像时，根据该影像生成一部分瓦片数据，不断重复该获取和生成的过程，整个瓦片金字塔的数据逐渐得到填充。

传统的遥感影像瓦片金字塔的构建方法有：

先采样后切割；首先根据原始影像建立多层分辨率影像，然后对每层影像进行分片切割；如果某层影像没有完成还需加载前一层的影像数据再次重采样，每层影像完成后切割为瓦片文件并保存，其中影像的加载和保存操作都是执行IO(Input/Output)操作；先采样后切割的瓦片金字塔构建，通常由于单幅遥感影像的数据量非常大，重采样生成的新一层的影像数据也较大，由于受到内存大小的限制，每生成新的一层影像数据时都需要将其从内存保存至硬盘，当完成了预定的分层之后，在进行影像切割时又需要重新加载相应层的整幅影像数据，这种方式虽然生成瓦片后只需要保存一次即可，但是中间过程的影像加载和保存操作需要执行大量的IO操作，不适合采用集群对单幅影像进行分布式并行构建。

本发明方法综合考虑海量影像数据进行高效处理的影像金字塔构建方法，涉及和实现多流程流水线计算模式，降低整体的IO数据量，快速构建影像金字塔。

本发明按照金字塔的采样比例与内存使用限制确定各个级别缓存区的大小后，利用先切割后采样的构建方法，首先将原始影像进行切割成瓦片，然后基于已生成的瓦片生成其他层瓦片；即将每层中每个瓦片的创建视为一个独立的任务，将原始影像数据根据原始影像的空间分辨率分配到影像金字塔的对应层，然后在该层将原始影像数据切割为瓦片文件进行保存；下一层影像金字塔加载上一层影像金字塔的影像瓦片数据进行重采样计算生成新的瓦片数据进行保存。

在此过程中，为了尽量减少执行IO操作，本发明在必须的“加载原始影像数据”和“保存影像瓦片文件”步骤执行IO操作：顺序(按行从上到下)读取(即加载)原始影像数据，并对其重采样填充到第1级缓存区中保存，第1级缓存区影像完成后，根据第1级影像内容生成第2级缓存区部分行，第2级缓存区影像完成后，根据第二级影像内容生成第3级缓存区部分行……按照此过程，直至生成最顶级缓存区的部分行。

在此过程中，除了第1级缓存每次都是完整的更新外，其他各级别都是利用新数据进行部分填充，如果某个级别的缓存区满了，则创建一个新的缓存区，并将原来的缓存内容写入文件。

此过程中，如图3所示的，使用四个独立的线程并发执行：

1、原始影像数据读取线程；

2、0级到1级金字塔重采样线程；

3、2级到顶级金字塔重采样线程；

4、金字塔缓存区写入线程。

原始影像数据所在层在切割过程中可以随着瓦片的生成先将部分缓存直至完全缓存，由于每个瓦片的创建都是独立的，每个不相交的的瓦片子集可以进行一个线程，多个线程并行执行同层瓦片的创建任务，这样先缓存的瓦片先被读取，加快下一层瓦片的生成。根据原始影像数据建立多层瓦片之前，可将原始影像数据视为一层瓦片进行多线程处理，进而快速创建多层瓦片。

原始影像数据读取线程完成对加载的原始影像数据瓦片的读取，将读取结果传递给0级到1级金字塔重采样线程，0级到1级金字塔重采样线程完成计算后将结果保存到第1级缓存区中，2级到顶级金字塔重采样线程加载第1级缓存区内容，逐级生成每级影像内容并逐级保存到所在级别缓存区中；两个重采样线程在执行过程中发现某个级别的缓存区已满时，就把该缓存区内容传递给金字塔缓存区写入线程，以重新分配新的空间作为该级别的缓存区，金字塔缓存区写入线程把传递过来的缓存区内容写入新的缓存区文件后释放原来的空间。

通过上述构建过程，确保原始影像数据被读取1次，其它各个级别缓存仅被写入1次(无中间读取过程)。

这四个线程是同时执行操作的，随着原始影像数据瓦片的生成，每个线程只完成自身的工作，例如原始数据读取线程将读到的数据传递出去后，并不会等待后续操作处理完成，而是直接读取下一个范围内的原始影像数据；本发明利用多线程实现影像数据的IO及重采样，可以将海量遥感影像金字塔的构建扩展到同层之内以及层与层之间的并行创建，有效地将IO操作时间和金字塔重采样计算时间重叠在一起，总体上减少了处理时间，大幅提升金字塔的生成效率。

所述“加载原始影像数据”与“保存影像文件”步骤执行IO操作可通过现有适合的图像处理软件的输入图像功能将影像载入，软件处理过后，可将图像通过软件的输出功能将处理后的影像按所需格式保存到存储介质。

影像金字塔中第N层的x个像素采样为第N+1层的一个像素。则x即为N层的采样密度。采样密度越小，可以得到越连续的缩放效果，但对应金字塔分层数越多，数据冗余加大，占用更多磁盘空间；反之，采样密度越大，影像金字塔数据量越小，但缩放效果差。因而，在实际应用中，要综合考虑影像大小、实际需求、算法设计等多种因素，选择合适的采样密度。本发明中，采样密度＝N×N；其中(N＝2,3,4…)。

常用的重采样算法主要有：最邻近点法、取平均值法、双线性插值法和三次立方卷积等。对于灰度图像，本发明采用取平均值法和线性内插法生成金字塔影像；或者采用双三次卷积重采样，该方法采样后的图像灰度效果较好，但速度较慢。对于专题图像，不能使用平均值法和线性内插法生成金字塔影像，本发明采用最邻近点法生成影像金字塔，如图4、5所示的，为某图像处理前后的状态，由于专题图像的局部细节具有特殊性，如果通过平均值压缩算法进行重采样，必然丢失所需的专题内容，当图像解压缩复原以后，必将丢失所需内容细节，达不到想要的效果。实际上，影像金字塔构建过程就是一种数据压缩过程，因此应综合考虑实际应用中的精度要求和效率要求，选择适当的压缩算法用于构建影像金字塔，以期能够尽量降低细节或特征损失。

合理有效地利用内存是算法成败的关键因素。影像数据是行列顺序存放的，因而在许多算法中，每次加载的数据常常取作几行或几列。由于处理的影像大小不同，则每次加载的数据量就不同。当数据量较大时，在内存小的计算机上算法无法运行；当数据量较小时，内存又得不到有效利用。因而，本发明算法根据具体运行计算机的内存大小来调整每次加载数据量的多少；在内存允许的情况下，尽可能加载多的数据量。

另一方面，本发明还提供了一种用于快速建立影像金字塔的IO多线程计算系统，包括：

原始影像处理单元：被配置为将原始影像数据根据原始影像的空间分辨率分配到影像金字塔的对应层，然后在该层将原始影像数据切割为瓦片文件；

影像读取单元：被配置为顺序读取原始影像瓦片数据；

影像处理单元:被配置为将原始影像瓦片数据重采样填充到第1级缓存区中；根据第1级缓存区中的影像内容生成第2级至最顶级缓存区中的部分行；以及

缓存区分配单元：被配置为按照金字塔的采样比例与内存使用限制确定各个级别缓存区的大小；每级别缓存区对应一层影像金字塔。

其中，原始影像处理单元通过图像加载模块将原始影像数据加载出来通过图像读取模块传递至图像处理模块进行切割，切割完成后的影响文件通过图像输出模块输出以备影像读取单元获取。

本系统使影像金字塔的建立过程中，计算过程具有更高吞吐量和计算效率；能够对海量影像数据进行高效处理；设计和实现多线程流水线计算方法；降低整体的IO数据量以快速构建影像金字塔。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种用于建立影像金字塔的IO多线程计算方法，其特征在于：包括：

将原始影像数据根据原始影像的空间分辨率分配到影像金字塔的对应层，然后在该层将原始影像数据切割为瓦片文件；

顺序读取原始影像瓦片数据并重采样填充到第1级缓存区中；

根据第1级缓存区中的影像内容生成第2级至最顶级缓存区中的部分行。

2.根据权利要求1所述的用于建立影像金字塔的IO多线程计算方法，其特征在于：在所述顺序读取原始影像数据并重采样填充到第1级缓存区中之前还包括：按照金字塔的采样比例与内存使用限制确定各个级别缓存区的大小；每级别缓存区对应一层影像金字塔。

3.根据权利要求2所述的用于建立影像金字塔的IO多线程计算方法，其特征在于：所述按照金字塔的采样比例与内存使用限制确定各个级别缓存区的大小中，确定第1级缓存大小的原则是需要确保影像数据经过多次重采样后最终能够在顶层金字塔中保留至少1行像素，中间各个级别的缓存要求能够至少保留前一级重采样的结果并且不少于一个预定义的函数。

4.根据权利要求2所述的用于建立影像金字塔的IO多线程计算方法，其特征在于：进行所述顺序读取原始影像数据并重采样填充到第1级缓存区中，根据第1级缓存区中的内容生成第2级至最顶级缓存区中的部分行的操作过程中，使用四个独立的线程并发执行：

(1)原始影像数据读取线程；

(2)0级到1级金字塔重采样线程；

(3)2级到顶级金字塔重采样线程；

(4)金字塔缓存区写入线程。

5.一种实施权利要求1-4任一项所述方法的系统，其特征在于：包括：

原始影像处理单元：被配置为将原始影像数据根据原始影像的空间分辨率分配到影像金字塔的对应层，然后在该层将原始影像数据切割为瓦片文件；

影像读取单元：被配置为顺序读取原始影像瓦片数据；

影像处理单元:被配置为将原始影像瓦片数据重采样填充到第1级缓存区中；根据第1级缓存区中的影像内容生成第2级至最顶级缓存区中的部分行。

6.根据权利要求5所述的系统，其特征在于：包括

缓存区分配单元：被配置为按照金字塔的采样比例与内存使用限制确定各个级别缓存区的大小；每级别缓存区对应一层影像金字塔。