CN103984759B

CN103984759B - 一种面向显示的多源遥感数据集剖分和重组织方法

Info

Publication number: CN103984759B
Application number: CN201410235177.XA
Authority: CN
Inventors: 李宏益; 冯峥; 单小军; 李腾; 张正; 郑柯
Original assignee: Institute of Remote Sensing and Digital Earth of CAS
Current assignee: Institute of Remote Sensing and Digital Earth of CAS
Priority date: 2014-05-30
Filing date: 2014-05-30
Publication date: 2017-10-13
Anticipated expiration: 2034-05-30
Also published as: CN103984759A

Abstract

本发明公开一种面向显示的多源遥感数据集剖分和重组织技术方法，综合使用地学投影转换、数据剖分和重组、数据编码技术将多源遥感数据集制作成高效的显示数据集。该技术方法具有如下特点：重组织后文件具有自描述性；重组织后的单个文件数据量大、便于迁移；需显示的瓦片数据集在重组织后文件中查找速度快。

Description

一种面向显示的多源遥感数据集剖分和重组织方法

技术领域

本发明涉及数据剖分、组织、编码和地理投影技术，特别是涉及一种面向显示的多源海量遥感数据集剖分和重组织方法。

背景技术

随着人类对地卫星观测系统及技术的发展，遥感数据逐步向多源、多尺度、多时相、全球覆盖和高分辨率的方向发展，数据量呈爆炸性地增长，如何有效管理组织这些数据，使数据能够实时便捷地显示是遥感信息领域研究的重大问题。随着高分辨率卫星的上天，遥感应用的数据空间分辨率将覆盖米级到公里级等多个尺度。

传统的面向显示的遥感数据集剖分和重组织以层瓦片、金字塔和数据库的方式进行管理，存在以下缺点：(1)切分后按单个瓦片直接存储导致其数据文件多，单个文件小，不便于数据迁移；(2)切分后按数据库方式存储瓦片的方式，虽然解决了多个小文件的问题，但增加了数据库服务器的开销，其查询受限于数据库服务器的能力。

发明内容

为解决上述技术问题，本发明实施例提供一种面向显示的多源遥感数据集剖分和重组织方法，以解决现有技术中剖分后的大量小文件不偏于迁移和基于数据库方式查询慢的问题。技术方案如下：

一种面向显示的多源遥感数据集剖分和重组织方法，包含如下步骤：

(1)投影转换，将不同尺度的多源遥感数据的投影都统一转换成墨卡托投影；

(2)数据剖分，将投影转换后的多源遥感数据按数据剖分标准进行剖分，形成瓦片数据；

(3)数据重组织，将剖分后的多源遥感数据按数据重组织标准进行重组织，将剖分后的多个瓦片数据以数据流的形式组织在一个文件中；

(4)数据文件编码，对重组织后的数据文件名进行哈希编码，该编码用于数据查询。

进一步，多源遥感数据集剖分和重组织处理针对的数据空间分辨率为1KM，30M和8M。

进一步，步骤(1)投影转换包含将1KM分辨率的数据由正弦投影转换到墨卡托投影和将30M、8M分辨率的数据由通用横轴墨卡托投影转换到墨卡托投影。

进一步，步骤(2)数据剖分中的制定的数据剖分标准为：(a)将数据分为0～20共21层，空间分辨率依次为{128KM，64KM，32KM，16KM，8KM，4KM，1KM，500M，250M，125M，60M，30M，15M，8M，4M，2M，1M，0.5M，0.25M，0.125M，0.0625M}；(b)剖分后的每个瓦片大小固定为512*512像素；(c)将第0层即整个地球从逻辑上扩展到546.133度*546.133度；(d)第n+1层瓦片数量是第n层瓦片数据的4倍，即按四叉树的形式依次递归进行剖分。

进一步，步骤(2)数据剖分中对于每一种不同分辨率的遥感数据其剖分过程如下：

(a)根据分辨率确定起始切片层；

(b)按剖分规则进行切片，切片过程是依次降采样，从下层往上进行切片：；

(c)根据数据集的数据值判断切片是否有效，如果切出来的瓦片块全部是填充值或者无效值，则丢弃该切片块，否则该切片则保存为JPG文件；

(d)根据数据剖分标准中的层数判断切片是否结束，如果结束则退出切片，否则对数据进行下采样，转(b)继续进行切片。

进一步，步骤(3)数据重组织中的制定的数据重组织标准为：(a)剖分后的数据都以HDF5文件格式存储；(b)每7层数据存储为一个HDF5文件；(c)每个瓦片数据在HDF5文件中以JPG数据流的形式保存。其中由7层数据组成的HDF5文件内部结构为：(a)数据按层分为7个组，组的编号为层号；(b)每组存储自己对应层的瓦片数据文件，每个瓦片数据集的编号为XXYY，XX表示水平方向的编号，YY表示竖直方向的编号。

进一步，步骤(4)数据文件编码对重组织后的数据文件即HDF5文件进行编码，其编码方式为点分七段，包含数据标识编码、空间分辨率、时间、起始层数、水平方向剖分起始编号、竖直方向剖分起始编号、文件格式。

附图说明

图1数据剖分和重组织技术流程图

图2数据剖分标准示意图

图3剖分流程图

图4重组织后的数据集示意图

具体实施方式

现在结合附图，描述本发明的一种具体实施方式。

图1是面向显示的多源遥感数据集剖分和重组织技术流程图，包含4个步骤，分别是投影转换、数据剖分、数据重组织和数据文件编码。

投影转换是将多种不同投影的遥感数据统一转换成能在球体上展示的墨卡托投影。首先判断输入遥感数据的投影类型，然后分别针对不同的投影类型进行处理，分别是1KM空间分辨率数据由正弦投影转换到墨卡托投影和30M、8M空间分辨率数据由通用横轴墨卡托投影投影转换到墨卡托投影。

图2是数据剖分标准示意图，将整个地球从逻辑上扩展到546.133度*546.133度，分为0～20共21层，剖分后的每个瓦片大小固定为512*512像素，第n+1层瓦片数量是第n层瓦片数据的4倍，即按四叉树的形式依次递归进行剖分，第0层的空间分辨率为128KM，第20层的空间分辨率为0.0625M，划分原则是让各层的空间分辨率与实际遥感影像的空间分辨率对应。全部空间分辨率依次为{128KM，64KM，32KM，16KM，8KM，4KM，1KM，500M，250M，125M，60M，30M，15M，8M，4M，2M，1M，0.5M，0.25M，0.125M，0.0625M}。特别地几种数据与分层的对应关系是：1KM分辨率对应第6层，30M分辨率对应第11层，8M分辨率对应第13层。

制定分幅标准后，就可以开始进行数据剖分，数据剖分的流程图如图3所示，切片过程是依次降采样，从下层往上进行切片。对于每一个具体的数据，其切片过程如下：

(1)根据分辨率确定切片的起始层数，如1KM分辨率的起始切片层数为6，之后依次降采样进行切分；

(2)根据剖分规则计算出在在该层上图像数据与剖分标准的重叠线，根据重叠线进行切分；

(3)切分后需要根据数据的填充值或无效值等信息判断切出来的数据是否有效，如果切出来的瓦片数据全部是填充值或无效值，则丢弃该切片块，否则将该切片则保存为JPG文件；

(4)判断切片是否结束，即是否到达0层，如果结束则退出，否则对图像进行降采样，转第(2)步继续进行切片。

数据切片完成之后，需要对数据进行重组织，以方便数据的迁移和快速查找。制定的数据重组织标准为：以第0层的一个切片为开始点，连续7层数据组织成一个HDF5文件，每个瓦片数据集都以JPG流的形式保存保存到HDF5文件中。具体以1KM分辨率的全球数据为例，根据剖分标准确定的起始层数为6，依次降采样切分到第0层，则全球数据在第0层有4个切片；以第0层为起点，0～6层共连续7层组织成一个HDF5文件，由于第0层有4个文件，则全球1KM空间分辨率的数据共4个HDF5文件，每个HDF5文件中的切片数量为(1+4+16+64+256+1024+4096)共5461个，其中1、4、16、64、256、1024、4096分别对应第0、1、2、3、4、5、6层上的切片数。其内部组织形式如图4所示，HDF5文件中每个组对应剖分标准中一层，7层则分为7个组，分别对应第0层至第6层，组的编号使用层号，每组下面存储自己对应层的瓦片数据的JPG流，每个瓦片数据集的编号为XXYY共4个字符，XX表示水平方向的编号，YY表示竖直方向的编号。如第0层中一个数据集的编号为0000；第1层中四个数据集的编号分别为0000，0001，0100，0101；第2层中16个数据集的编号分别为0000～0303；.......；第6层中4096个数据集的编号分别为0000～6363。

最后对数据文件HDF5的命名进行编码，其编码方式如下：

(a)名称中每个元素由″.″来分隔。

(b)第一个元素为数据的标识编码，即为每一种卫星传感器数据、各种定量遥感产品设置一个唯一编码，以与其他数据相区别。

(c)第二个元素为数据空间分辨率，分别为8、30、1000等，代表8M、30N和1KM三种不同原数据分辨率。

(d)第三个元素为数据获取时间，格式为YYYYDDD，包括年和儒略日，YYYY为年，DDD为儒略日；

(e)第四个元素为该文件的起始层数，文件由0～6层组成的为0，文件由7～13层组成的为7，文件由14～20层组成的为14。

(f)第五个元素为文件最上层在整层中水平方向的起始编号，如文件由0～6层组成，顶层层号为0，顶层有4个瓦片，其起始编号为0或1；文件由7～13层组成，顶层层号为7，顶层有65536个瓦片，其起始编码分别为0～255；文件由14～20层组成，顶层层号为14，顶层有1073741824个瓦片，其起始编码分别为0～32768。起始编码范围的计算方式为顶层瓦片数开平方。

(g)第六个元素为文件最上层在整层中竖直方向的起始编号，其编码计算方式与(f)中第五个元素的计算方式相同，文件由0～6层组成，其起始编号为0或1；文件由7～13层组成，其起始编码分别为0～255；文件由14～20层组成，其起始编码分别为0～32768。

(h)第七个元素为文件的格式，为h5。

在图像显示时，根据当前窗口计算出来的显示切片坐标，可以直接根据文件名中的编号和HDF5文件内部的编码规则直接定位到对应的瓦片数据集。

本发明的一个实施例在PC机上实现，经实验验证，该方法是切实可行的，并解决了数据迁移和查询效率的问题。

本发明所述具体实施方式可以使本领域的技术人员更全面地理解本发明，但不以任何方式限制本发明。因此，本领域技术人员应当理解，仍然对本发明进行修改或者等同替换；而一切不脱离本发明的精神和技术实质的技术方案及其改进，均应涵盖在本发明专利的保护范围中。

Claims

1.一种面向显示的多源遥感数据集剖分和重组织方法，其特征在于包含如下步骤：

(1)投影转换，将不同尺度的多源遥感数据的投影都统一转换成墨卡托投影；其中投影转换分别将1KM分辨率的数据由正弦投影转换到墨卡托投影和将30M、8M分辨率的数据由通用横轴墨卡托投影转换到墨卡托投影；

(2)数据剖分，将投影转换后的多源遥感数据按数据剖分标准进行剖分，形成瓦片数据；其中数据剖分中制定的数据剖分标准为(a)将数据分为0～20共21层，空间分辨率依次为{128KM，64KM，32KM，16KM，8KM，4KM，1KM，500M，250M，125M，60M，30M，15M，8M，4M，2M，1M，0.5M，0.25M，0.125M，0.0625M}；(b)剖分后的每个瓦片大小固定为512*512像素；(c)将第0层即整个地球面从逻辑上扩展到546.133度*546.133度；(d)第n+1层瓦片数量是第n层瓦片数据的4倍，即按四叉树的形式依次递归进行剖分；

(3)数据重组织，将剖分后的多源遥感数据按数据重组织标准进行重组织，将剖分后的多个瓦片数据以数据流的形式组织在一个文件中；其中数据重组织中的制定的数据重组织标准为：

(a)剖分后的数据都以HDF5文件格式存储；

(b)每7层数据存储为一个HDF5文件；

(c)每个瓦片数据在HDF5文件中以JPG数据流的形式保存；

(4)数据文件编码，对重组织后的数据文件名进行哈希编码，该编码用于数据查询，其中数据文件编码对重组织后的数据文件即HDF5文件进行编码，其编码方式为点分七段，包含数据标识编码、空间分辨率、时间、起始层数、水平方向剖分起始编号、竖直方向剖分起始编号、文件格式。

2.根据权利要求1中所述的方法，其特征在于：步骤(2)数据剖分中对于不同分辨率的遥感数据其剖分过程如下：

(a)根据分辨率确定起始切片层；

(b)按剖分规则进行切片，切片过程是依次降采样，从下层往上进行切片；

3.根据权利要求1或2中所述的方法，其特征在于：一个由7层数据组成的HDF5文件内部结构为：

(a)数据按层分为7个组，组的编号为层号；

(b)每组存储自己对应层的瓦片数据文件，每个瓦片数据集的编号为XXYY，XX表示水平方向的编号，YY表示竖直方向的编号。