CN114048338A

CN114048338A - 一种海量离散区域栅格影像数据处理和发布方法

Info

Publication number: CN114048338A
Application number: CN202111331928.4A
Authority: CN
Inventors: 张永宁; 王立军; 宗海岩; 许凯钰; 齐成涛
Original assignee: Zhongke Star Map Co ltd
Current assignee: Zhongke Star Map Co ltd
Priority date: 2021-11-11
Filing date: 2021-11-11
Publication date: 2022-02-15

Abstract

本发明提出一种海量离散区域栅格影像数据处理和发布方法，包括如下步骤：步骤1、通过伪瓦片服务读取GeoTIFF格式源影像文件，将其处理为含有瓦片信息的新GeoTIFF文件，将文件信息、时间信息和空间信息存入索引数据库；步骤2、利用区域查询服务查询和读取含有瓦片信息的新GeoTIFF文件，根据层级和空间范围信息返回瓦片数据。本发明将数据进行瓦片化，存入数据块内部，将瓦片空间剖分信息存入tag中。然后实现的专业服务，根据当前可视的空间位置信息和tag内信息匹配查询，快速地访问特定区域数据。本发明还可通过Minio的对象存储技术提高数据访问效率和速度，通过数据压缩手段，提高网络传输速率，在达到传统瓦片化数据访问效率的同时，有效解决服务膨胀问题和数据膨胀问题。

Description

一种海量离散区域栅格影像数据处理和发布方法

技术领域

本发明属于计算机技术领域，尤其是一种海量离散区域栅格影像数据处理和发布方法。

背景技术

随着航天遥感行业迅猛发展，对国内外数十颗军民卫星拍摄的影像产品合理应用成为了重要的发展方向。目前高分辨率影像其中一个重要应用方向是以国家关注的大量的离散的热点区域(例如国家边境，国外敏感区域等等)为单位，将影像产品组织和管理为区域背景数据用以查看、对比、图像检测或分享分发等。热点区域影像数据对时序敏感，不能将不同时间影像产品融合或替换，而需要按空间和时序进行组织。

高分辨率遥感影像数据单个文件很大(1G-20G不等)，常规手段是将遥感影像预先进行瓦片化处理，方便实现影像在计算机上快速浏览，对于单幅影像处理和发布如图1所示：

1、瓦片化工具服务根据区域影像数据的最高影像分辨率计算出最高瓦片级别以及向下每层瓦片分割参数。

2、瓦片化工具服务根据分割参数，从原始区域影像数据中读取影像数据，生成区域瓦片数据文件。

3、将区域瓦片数据文件发布为标准OGC服务，供用户调用。

若业务需要包含大量区域的多时序影像产品，则处理和发布方式如图2所示：

1、离散区域影像时间和空间上不连续，应用时每个区域影像具有独立性，所以只能把每个区域影像文件按照图1的方式发布为一个OGC服务。

2、用户可以根据条件，检索出时间空间匹配的某个影像服务，然后访问该服务，浏览区域影像的瓦片数据。

在此过程中生产了海量的瓦片文件，这些瓦片文件单文件小，但是数量庞大。主流存储方式为支持海量的中小图片存储和检索的分布式数据库，例如Hbase或HDFS等。

上面所述的数据处理和发布的方式，存在两个方面的问题。

①服务膨胀问题，启动了大量的服务，每个地理信息服务启动都会占用系统资源，这样造成严重的CPU和内存浪费，甚至大数据量时导致服务器不可用。假如有1w个区域对象，每个区域10个时序的影像产品，这会产生10w个服务。

②数据膨胀，原始影像加上生产的瓦片数据，相同的数据存两份，这会造成巨大的磁盘浪费。

发明内容

本发明的目的在于解决上述方案中对服务资源浪费的缺点。从源数据入手，通过非传统切片的方式解决服务膨胀和数据膨胀问题。

本发明的技术方案为：一种海量离散区域栅格影像数据处理和发布方法，包括如下步骤：

步骤1、通过伪瓦片服务读取GeoTIFF格式源影像文件，将其处理为含有瓦片信息的新GeoTIFF文件，将文件信息、时间信息和空间信息存入索引数据库；

步骤2、利用区域查询服务查询和读取含有瓦片信息的新GeoTIFF文件，根据层级和空间范围信息返回瓦片数据。

进一步的，所述步骤1伪瓦片服务实现了金字塔的构建，具体包括如下步骤：

步骤1.1、服务读取源影像主要信息，包含坐标系、经纬度信息、分辨率信息；

步骤1.2、生成全分辨率IFD信息，包含其tag信息；

步骤1.3、生成次高层IFD至最底层的IDF信息，包含其tag信息；瓦片每个层级生成一个IFD和tag信息；

步骤1.4、生成次高层IFD的瓦片偏移值和瓦片存储大小；记录瓦片偏移和存储大小从而能跳过非查询范围数据，更为快速查找和定位到符合查询条件的数据块；

步骤1.5、生成最底层瓦片到次高层瓦片数据，每个层级平铺和压缩；瓦片每个层级分开存储，同一层级数据通过平铺方式堆积，然后将数据进行图像压缩处理；

步骤1.6、全分辨率数据平铺和压缩，将全分辨率数据也进行分块平铺以及图像压缩；

步骤1.7、输出新的GeoTIFF数据文件，并将GeoTIFF的文件信息、时间信息和空间信息存入索引数据库。

进一步的，所述步骤2利用区域查询服务，查询和读取含有瓦片信息的新GeoTIFF文件，具体包括如下步骤：

步骤2.1、用户根据时间信息、可视位置信息和层级信息，使用HTTP协议调用区域查询服务接口；

步骤2.2、区域查询服务通过时间信息和可视位置信息查询定位到GeoTIFF数据文件；

步骤2.3、读取GeoTIFF的IFD信息，通过位置信息和层级信息查询定位到数据块；

步骤2.4、读取数据块为数据流，并且通过HTTP协议返回数据。

进一步的，所述步骤1中，伪瓦片服务将影像数据切割后，把瓦片数据和瓦片信息数据保存到一个TIFF大文件中，不对外发布为OGC服务，适用于区域的栅格数据处理和发布。

有益效果：

GeoTIFF数据格式非常灵活，在数据头部分可自定义的IFD分页，每个分页包含相应的tag信息和数据块。tag信息可对对应的数据块进行自定义描述。本发明将数据进行瓦片化，存入数据块内部，将瓦片空间剖分信息存入tag中。然后实现的专业服务，根据当前可视的空间位置信息和tag内信息匹配查询，快速地访问特定区域数据，将该区域数据返回到客户端，实现类似传统切片的方式。在这个过程中，可通过Minio的对象存储技术提高数据访问效率和速度，通过数据压缩手段，提高网络传输速率，在达到传统瓦片化数据访问效率的同时，有效解决服务膨胀问题和数据膨胀问题。

附图说明

图1：单幅影像处理和发布流程框图；

图2：业务包含大量区域的多时序影像产品处理和发布流程框图；

图3：本发明的方法流程框图；

图4：本发明的伪瓦片服务流程图；

图5：本发明区域查询服务流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

影像瓦片化：影像瓦片化是原始影像按一定规则生成的由细到粗不同分辨率的金字塔影像集的过程。金字塔的底部是图像的高分辨率表示，也就是最原始的图像，而顶部是低分辨率的近似。最底层的分辨率最高，并且数据量最大，随着层数的减少，其分辨率逐渐降低，数据量也按比例减少。

Minio：Minio是Apache License v2.0下发布的对象存储服务器，能够搭建集群支持海量文件数据。它最适合存储非结构化数据，如照片，视频，日志文件，备份和容器/VM映像。对象的大小可以从几KB到最大5TB。

GeoTIFF：即是一种基于TIFF的地理空间栅格数据存储格式，它支持地理空间参考，是目前被支持最广泛、最通用的空间栅格数据格式之一。

伪瓦片服务：本发明实现的独特瓦片化工具服务，不同于常规瓦片化工具影像数据切割为大量的瓦片小文件发布为OGC服务，伪瓦片服务将影像数据切割后，把瓦片数据和瓦片信息数据保存到一个TIFF大文件中，不对外发布为OGC服务，更适用于区域的栅格数据处理和发布。

本发明针对现有的离散区域关联的影像产品处理、组织、存储和查询显示方式做了整体调整，解决服务器资源浪费问题。如下图3、图4、图5所示：

如图3所示，与传统影像存储使用Hbase或HDFS不同，本发明影像存储使用MINIO对象存储，因为本发明将金字塔信息和数据全部生成到单个GeoTIFF文件内，而MINIO对大文件的读写效率更高。

步骤1、伪瓦片服务读取GeoTIFF格式源影像文件，将其处理为含有瓦片信息的新GeoTIFF文件，将文件信息、时间信息和空间信息存入索引数据库，具体流程如图4。

步骤2、区域查询服务，查询和读取含有瓦片信息的新GeoTIFF文件，根据层级和空间范围信息返回瓦片数据，具体流程如图5。

如图4所示，伪瓦片服务实现了金字塔的构建，具体包括如下步骤：

步骤1.1、伪瓦片服务读取源影像主要信息，包含坐标系、经纬度信息、分辨率信息等(目前只支持WGS84坐标系)；

步骤1.2、生成全分辨率IFD信息，包含其tag信息。

步骤1.3、生成次高层IFD至最底层的IDF信息，包含其tag信息。瓦片每个层级生成一个IFD和tag信息。

步骤1.4、生成次高层IFD的瓦片偏移值和瓦片存储大小。记录瓦片偏移和存储大小可以跳过非查询范围数据，更为快速查找和定位到符合查询条件的数据块。

步骤1.5、生成最底层瓦片到次高层瓦片数据，每个层级平铺和压缩。瓦片每个层级分开存储，同一层级数据通过平铺方式堆积，然后将数据进行图像压缩处理。

步骤1.6、全分辨率数据平铺和压缩，将全分辨率数据也进行分块平铺以及图像压缩。

如图5所示，本发明只需实现少量区域查询服务(并发压力大可启动多个服务，负载均衡)实现瓦片数据和查询和返回。该查询服务的服务接口不是某个区域影像专用接口，所有区域影像都可以用当前服务接口查询和访问，避免启动过多的OGC服务造成的硬件浪费。

步骤2.1、用户根据时间信息、可视位置信息和层级信息，使用HTTP协议调用区域查询服务接口。

根据本发明的实施例，发布影像访问接口例如：

http://{s}.mmc.com:8000/？x＝{x}&y＝{y}&z＝{z}&datetime＝${t}

用户根据时间信息、可视位置信息和高度信息，使用HTTP协议调用区域查询服务接口。

步骤2.2、区域查询服务通过时间信息和可视位置信息查询定位到GeoTIFF数据文件。

根据本发明的实施例，由于GeoTIFF的文件信息、时间信息和空间信息在索引数据库，所以区域查询服务首先根据时间条件${t}过滤，然后根据可视位置信息，例如经纬度信息{x}、{y}查询定位到符合空间条件GeoTIFF数据文件。

步骤2.3、读取GeoTIFF的IFD信息，通过位置信息和层级信息查询定位到数据块。

根据本发明的实施例，查询服务打开并读取GeoTIFF的IFD信息，通过{x}、{y}、{z}经纬度信息，以及高位置信息查询定位到该文件中符合空间信息的数据块。

步骤2.4、读取数据块为数据流，并且通过HTTP协议返回数据。

基于上文提出的基于MINIO和GeoTIFF组织和存储瓦片方法，本发明以某港口影像为例进行了测试。原始影像大小18.3G，金字塔层级范围6-14，MINIO集群主机节点数为2台，服务部署主机CPU逻辑核数64，内存128G。进行伪瓦片话处理时间大约为2分钟，处理后新的GeoTIFF文件大小为2.8G。相比传统方案，采用本技术方案后在典型的瓦片浏览、拖拽及缩放场景下，瓦片访问时延有微小的增加，平均大约增加5％以内，但是组织方式更为高效，服务数量、CPU和内存可控，磁盘利用率提升70％左右。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims

1.一种海量离散区域栅格影像数据处理和发布方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种海量离散区域栅格影像数据处理和发布方法，其特征在于，所述步骤1伪瓦片服务实现了金字塔的构建，具体包括如下步骤：

步骤1.2、生成全分辨率IFD信息，包含其tag信息；

3.根据权利要求1所述的一种海量离散区域栅格影像数据处理和发布方法，其特征在于，所述步骤2利用区域查询服务，查询和读取含有瓦片信息的新GeoTIFF文件，具体包括如下步骤：

步骤2.4、读取数据块为数据流，并且通过HTTP协议返回数据。

4.根据权利要求1所述的一种海量离散区域栅格影像数据处理和发布方法，其特征在于，所述步骤1中，所述伪瓦片服务是将影像数据切割后，把瓦片数据和瓦片信息数据保存到一个TIFF大文件中，不对外发布为OGC服务，适用于区域的栅格数据处理和发布。