CN101339570A - 一种高效的海量遥感数据分布式组织管理方法 - Google Patents

Abstract

一种高效的海量遥感数据分布式组织管理方法步骤如下：(1)第一步：根据原始遥感图像分辨率构建遥感图像金字塔；(2)基于Tile技术对遥感图像金子塔的各层切割分块，形成小块图像Tiles；(3)基于文件存储系统，建立分层的目录存储结构存储所述第二步中的小块图像Tiles；(4)根据给定的原始遥感图像级别和一个位置点的经纬度坐标值，计算出所属Tile的名称以及这个Tile的相对存储路径，实现遥感数据快速查询与获取服务；存储系统，建立分层的目录存储结构存储所述第二步中的小块图像Tiles；(5)采用分布式存储系统的体系结构，对分层目录和所述的小块图像Tiles进行存储管理。本发明能够针对具有海量、多源、多分辨率、多波段的遥感数据进行有效的存储管理，其中的分层目录存储结构具有结构简单、灵活、数据定位便捷的特点，能够提供遥感数据快速的查询和获取，具有高效性。

Description

一种高效的海量遥感数据分布式组织管理方法

技术领域

本发明涉及一种基于文件系统的海量遥感数据分布式组织管理的方法，主要用于遥感数据的存储管理。

背景技术

在二十一世纪之初，随着摄影测量技术进入数字时代、地理信息系统与遥感技术由兴起到飞速发展，测绘学发生了巨大变革，人类社会也向着信息社会大步迈进。地理信息系统与遥感影像已经广泛应用于国民经济发展的各个领域，逐渐成为各级政府决策、管理、工程规划设计、企业生产经营的重要支撑。但面对数字摄影测量、遥感技术带来的持续不断的海量图像数据，又面临着如下一些问题。

一是部分研究机构和个人难以得到需要的持续的影像数据以开展应用研究，地图数据缺乏时效性和持续性，这使得直观、持续动态的遥感数据源极少服务于普通用户，而数据的直接生产者以近乎弃置的方式在闲置大量的宝贵图像资源。

二是遥感数据不断增长和长期存储的需要使数据生产者面临巨大的存储压力，以国家基础地理信息中为为例，在2003年底该中心存储管理的地理空间数据总量达到了大约130TB，而这个数据量正在逐年成倍的增长。

正如数据管理的发展历史一样，遥感数据的管理也经历了人工管理阶段、文件系统管理阶段和数据库管理阶段。所不同的是对于遥感数据的管理，文件系统和数据库是并存的，至少在相当长的一段时间里，文件系统对于遥感数据的管理尚无法代替。

但在遥感数据管理的发展历史中，遥感数据的数据库管理也有很多实验，最初人们尝试将遥感数据进行数据库管理的方法是将遥感数据中的点、线、面分别存储和管理，点可以进行结构化管理，线和面用相邻两点进行结构化管理。这样是能够完成对遥感数据的数据库管理，但效率十分低下。这就是为什么到目前，数据库发展到十分完善的时候，对于遥感数据的管理还采用文件系统管理的原因。

采用文件系统对遥感数据的进行管理，是由于有两个特点十分明显。一是文件系统特别擅长对于空间变长数据的组织和管理；二是文件系统效率高，尤其在海量遥感数据的管理方面。

目前，国内的遥感数据大多直接存储于数据的直接生产者处，大多数研究机构和个人难以得到持续的遥感数据开展应用研究，这些遥感数据也极少服务于最终用户。遥感数据的直接生产者面临着巨大的存储压力，并且未对遥感数据进行有效的存储管理，对于遥感数据的获取仍采用最基本的文件拷贝方式，使得遥感数据的流通变得十分困难。本发明为了解决数据的存储管理和分发，设计了基于Tiling的切割分块技术、遥感图像金子塔理论和分层目录的文件存储结构，实现了海量多分辨率多源遥感数据的存储管理，并提供的数据的查询和获取服务，方便了遥感数据的分发。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种高效的海量遥感数据分布式组织管理方法，该方法能够针对具有海量、多源、多分辨率、多波段的遥感数据进行有效的存储管理，具有结构简单、灵活、数据定位便捷的特点，能够提供遥感数据快速的查询和获取，具有高效性。

本发明采用以下技术方案：一种高效的海量遥感数据分布式组织管理方法步骤如下：

第一步：根据原始遥感图像分辨率构建遥感图像金字塔，即按照原始遥感图像分辨率的大小，将原始遥感图像分成19个级别，从1级到19级，每第一层对应特定大小的图像分辨率，级别越高对应的分辨率越高，即图像越清晰，第1级对应图像金子塔的最顶层，第19级对应图像金子塔的最底层；如果有更高分别率的原始图像，则可以在底层继续构建第20级，依次类推，直到第n级；

第二步：基于Tile技术对遥感图像金子塔的各层切割分块，形成小块图像Tiles；

第三步：基于文件存储系统，建立分层的目录存储结构存储所述第二步中的小块图像Tiles；

第四步：根据给定的原始遥感图像级别和一个位置点的经纬度坐标值，计算出所属Tile的名称以及这个Tile的相对存储路径，实现遥感数据快速查询与获取服务；

第五步：采用分布式存储系统的体系结构，建立分层目录，存储管理所述的小块图像Tiles。

所述的第一步中，相邻级别的图像分辨率大小为2倍的关系，级别与分辨率的换算关系如公式①所示：

Scale＝log₂(1/resolution)_+n-1                ①

其中Scale表示图像级别，resolution为原始遥感图像分辨率，n为遥感图像的分级数；

所述第二步中，对遥感图像金子塔的各层切割分块的方法如下：

(1)调整原始遥感图像分辨率：将原始遥感图像的分辨率调整到与遥感图像金子塔中的某第一层图像的分辨率对应，并保证该层图像的分辨率值大于原始图像的分辨率值：

(2)构造切割网地图：根据调整后的图像分辨率级别和原始遥感图像左上角与右下角经纬度，计算图像左上角和右下角所属Tile，并据此构造对应的虚拟切割网地图；

(3)切割原始遥感图像：沿着虚拟切割网地图的网格线，对原始遥感图像进行切割分块；

(4)扩充不完整小块图像边缘：计算原始遥感图像距虚拟切割网底图上下左右四个边缘出的偏移值，根据此值扩充切割后不完整的小块图像，使之成为256×256象素的完整小块图像Tile。

在所述的第三步中，基于文件存储系统建立分层的目录存储结构的方法如下：

(1)根据原始遥感图像级别创建第一层目录；

(2)如果原始遥感图像级别为第14级或14级以上，则建立2⁵×2⁵个第二层目录，再建立2^scale-8×2^scale-8个第三层目录，每个第二层目录下有2^scale-13×2^scale-13第三层目录，最后建立表示主题的第四层目录，如果主题对应多波段则建立表示波段的第五层目录；

(3)如果原始遥感图像级别为第13级到第9级，则建立2^scale-8×2^scale-8个第二层目录，然后建立表示主题的第三层目录，如果主题对应多波段则建立表示波段的第四层目录；

(4)如果原始图像级别为第8级到第1级，则直接建立表示主题的第二层目录，如果主题对应多波段则建立表示波段的第三层目录。

在所述的第四步中，实现遥感数据查询与获取服务的方法如下：

(1)数据查询

一个位置点的经纬度范围通常以所浏览区域的左上角经纬度和右下角经纬度来描述，根据左上角经纬度，利用经纬度位置点至所属Tile的映射算法得到浏览区域左上角Tile的名称“xMyNzS”，同样根据右下角经纬度得到浏览区域右下角Tile的名称“xQyRzS”，则经纬度范围所覆盖区域的所有Tiles，可用循环表达式

对于X从M到Q

对于Y从N到R

Tile的名称为”xXyYzS”

来获取；

(2)数据获取服务

通过数据查询服务后，计算出所求经纬度范围的所有Tiles的名称。对于每一个Tile，利用Tile至相对存储路径的算法，获取所有Tiles的相对存储路径，查询数据库可以获得存储该Tile的所有存储服务器地址及根目录，即Tiles的所有副本，在对所有存储该Tiles的存储服务器状态进行分析和比较后，调用能最快响应Tile获取请求的存储服务器的数据获取服务，返回所请求的Tile。

所述的经纬度位置点至所属Tile的映射算法如下：

(1)计算X轴和Y轴方向的Tile总数：width；

(2)计算每个Tile在经度上的跨度tileWidth：tileWidth＝360/width；

(3)计算Tile在X轴上的坐标值x：x＝(lon+180.0)/tileWidth；

(4)将地球投影平面南北边缘处纬度值和Tile左上角纬度值转化成近似EPSG：900913坐标系统下的坐标值分别为yTop，yBottom和yTmp；

(5)计算Tile在Y轴上的坐标值y：y＝height×(yTmp-yTop))/(yBottom-yTmp)。

所述的Tile至相对存储路径的算法如下：

(1)设置对应分层目录分区方式的分区指数，定义grade1为粗粒度分区的分区指数，定义grade2为细粒度分区的分区指数grade1＝grade2＝0；

a.如果Tile级别大于等于14小于等于19，则grade1＝5，grade2＝级别-8；

b.如果Tile级别大于等于9小于等于13，则grade1＝级别-8；

(2)计算第一层目录名称和相对路径，路径destDirPath＝″Scale″+级别；

(3)如果级别大于等于9，则计算第二层目录名称和相对路径

a.目录名称中X的值为Tile的X坐标除以该目录分区所覆盖的Tile数的平方根，xPartGrade1＝x/2^z-1-grade1，Y的值与X的值计算方法相同，即yPartGrade1←y/2^z-1-grade1，其中Z表示图像级别；

b.第二层目录名称dirNameGrade1←″X″+xPartGradee1″Y″+yPartGrade1；

c.第二层目录路径destDirPath←destDirPath+dirNameGrade1，

d.如果级别大于等于14，则计算第三层目录名称和相对路径

iv.目录名称中X的值仍为Tile的X坐标除以该目录分区

所覆盖的Tile数的平方根，经计算此值为2⁷，则xPartGrade2←x/2⁷，

yPartGrade2←y/2⁷。

v.第三层目录名称dirNameGrade2←″X″+xPartGrade2+″Y″+yPartGrade2；

vi.第三层目录路径destDirPath←destDirPath+dirNameGrade2；

(4)计算最终相对路径，包含主题目录和波段目destDirPath←destDirPath+主题+波段。

在所述的第五步中，构建分布式存储系统的体系结构分为三层，管理层、数据层和服务层，其中：

管理层：为单一的管理服务器维护一个关系型数据库，记录遥感数据集的相关属性信息和存储地址根目录，并记录各存储服务器的状态信息，提供一个原始遥感图像处理、副本更新、副本查询、计算机状态监控操作的启动、管理和监控工具；

数据层：由多台存储实际遥感数据的存储服务器组成，存储服务器按照分层目录存储结构构建遥感数据的存储目录，并将切割分块后的遥感图像Tiles存储在相应的目录中，数据在各存储服务器上实现分布式存储；

服务层：服务层由管理层提供的数据查询服务和数据层提供的数据获取服务组成，提供按照经纬度范围的数据查询和获取服务，其中数据的获取服务根据各副本所在的存储服务器的状态进行数据获取请求的平衡处理。

上述分布式存储系统的体系结构的管理过程为：对原始遥感图像进行切割分块处理后，生成一系列的Tile，利用多线程机制依次处理每一个Tile，调用管理层的管理服务器提供的数据查询服务，对于查询结果分为如下两种情况：

(1)如果存在这个Tile所属数据集的记录，则获取这个Tile所属数据集所在的所有存储服务器地址和根目录，再利用Tile至相对存储路径的算法获取相对存储路径，由根目录和相对路径组合成绝对路径，管理服务器调用所查询到的存储服务器上的数据集副本更新Web服务，用新生成的Tile更新这个数据集副本；

(2)如果不存在这个Tile所属数据集的记录，则检查所有存储服务器，选取一个存储容量满足要求的存储服务器，调用这个存储服务器上的数据集副本创建Web服务，创建一个新的副本，然后调用这个存储服务器上的数据集副本更新Web服务，用新生成的Tile更新这个数据集副本。

本发明与现有技术相比的优点在于：

(1)本发明设计的基于Tiling的切割分块技术、遥感图像金子塔理论和分层目录的分布式文件存储结构，能够对海量多源多分辨率的遥感数据进行有效的存储管理，较之现有的单纯的数据库存储管理系统，能够处理更大数据量的遥感数据，并且分层的目录结构提供了更高效率的数据查询和获取服务。

(2)原始遥感图像数据量大，不利于存储和传输，利用步骤2的方法进行切割分块后，生成小块图像，便于图像的存储和快速传输以及对图像的处理等。

(3)文件系统相比数据库更擅长存储变长的空间数据，分层目录的存储结构能够通过目录名称标识出数据的相关属性，使得数据的查询和获取更加快速。

(4)本发明基于web服务和http协议以及目录规则，实现了遥感数据的查询和获取服务，具有查询快速和跨平台的优点。

(5)将分布式存储系统分为三个层次，单一管理服务器结合多存储服务器的体系结构，使得管理相对集中，更层次功能分明，减轻了管理服务器的压力。

附图说明

图1为本发明方法流程图；

图2为本发明遥感图像金子塔示意图；

图3为本发明表示地球投影平面图；

图4为本发明地球投影平面切割分块及Tile命名示意图；

图5为本发明遥感图像切割示意图；

图6为本发明第14级到19级图像分层目录结构图；

图7为本发明第9级到13级图像分层目录结构图；

图8为本发明1级到8级图像分层目录结构图；

图9为本发明分布式存储系统体系结构图；

图10为本发明经纬度位置点至所属Tile的映射算法流程图；

图11为本发明左上角经纬度至所属Tile映射算法流程图；

图12为本发明的Tile至相对存储路径的算法。

具体实施方式

如图1所示，本发明的实现步骤如下：

一、构建遥感图像金字塔

由于遥感图像具有多分辨率的特点，图像金字塔技术的出现就是为了满足图像多分辨率快速浏览的需要。为了提高图像的实时缩放显示速度，快速获取不同分辨率的图像信息，需要对原始的遥感图像生成图像金字塔，并根据不同的显示要求调用不同分辨率的图像，达到快速显示漫游的目的。

本发明实施例按照遥感图像分辨率的大小，将遥感图像分成19个级别，从1级到19级，每第一层对应特定大小的图像分辨率，级别越高对应的分辨率越高，即图像越清晰。第1级对应图像金子塔的最顶层，第19级对应图像金子塔的最底层。相邻级别的图像分辨率大小为2倍的关系，以现有数据为例，第19级图像分辨率为0.5米，第18级图像分辨率为1米，以此类推。级别与分辨率的换算关系如公式①所示：

Scale＝log₂(1/resolution)₊₁₈            ①

其中Scale表示图像级别，resolution为图像分辨率。

金字塔结构如图2所示，该结构具有向下的可扩展性，当有更高分辨率的图像时，金子塔底部可以构建分辨率更高的图像级别，如第20级分辨率为0.25米的图像，依次类推可以构建第21级，22级，直到第n级。。

二、基于Tile技术对遥感图像金子塔的各层切割分块，形成小块图像Tiles

采用Google Map的投影坐标系统EPSG：900913对全球进行投影后，地球展开成一个投影平面，该投影系统在纬度上分别横切地球于北纬85度和南纬85度，所得投影平面如图3所示。

由于原始遥感图像所含数据量大，无论是传输还是读取、显示都需要较长的时间，无法满足用户快速浏览遥感图像的需求，因此本发明将整个地球投影平面(实为原始遥感图像)进行切割分块，使每一个小块图像大小为256×256象素，称之为一个Tile，遥感图像金字塔的每一层都是由一定数量的Tile组成。由于小块图像数据量小，传输和浏览的延迟将大大减小，并且便于图像的缓存和处理。

地球投影平面的切割分块及Tile的命名规则为：以地球平面的左上角为原点，在地球平面的左侧和上侧分别加上Y轴和X轴，其中X轴从左向右与经度方向平行，Y轴从上向下与纬度方向平行，X轴与Y轴的坐标编号都从0到2^scale-1，其中scale为图像的级别。地球投影平面被切割成2^scale-1×2^scale-1＝4scale-1个Tile。每个tile采用“xQyRzS”的方式命名，其中Q：X轴方向上的坐标；R：Y轴方向上的坐标；S：图像级别。以第3级的图像为例，对地投影平面的切割分块及Tile命名如图4所示。

对于一张原始遥感图像，对其具体的切割分块方法为：

1、调整原始遥感图像分辨率

首先调整原始遥感图像分辨率，使之与遥感图像金子塔中的某第一层图像的分辨率对应，并保证该级别图像的分辨率值大于原始图像的分辨率值，例如将分辨率为3m的原始遥感图像调整为对应金字塔第16级分辨率为4m的图像。

2、切割分块

切割方法为：构造一张虚拟的与该级别对应的切割网底图，如图4所示为第3级全球投影平面的切割网底图，其他级别的切割网底图与图3类似。以16级为例，其全球的切割网底图X轴取值范围为(0，2¹⁶-1＝32768)，Y轴的取值范围同样为(0，32768)。然后把经过分辨率调整后的原始图像叠加到切割网底图上，并使两者相同经纬度点完全重合。如图5所示为将一张经过调整后分辨率为4m的原始遥感图像与切割网底图的局部进行叠加，最后沿着这个切割网底图上的网格线切割原始图像。

3、小块图像边缘扩充

对图5所示边缘部分的小块图像进行边缘扩充处理，使之成为大小为256×256象素的Tile。

三、建立基于文件系统的分层目录存储结构

遥感图像具有多源、多分辨率、多时相及海量的特点，在对投地球影平面进行分割和图像金字塔构建理论的基础上，本发明采用分层的目录存储结构存储Tiles，每层目录标示一定的遥感图像属性信息。根据图像级别的不同，目录的层次从三层到五层不等。

1、第一层目录，标示图像的级别信息。对于遥感图像金字塔的19个图像级别，每个级别对应一个第一层目录，命名方式采用“ScaleZ”的方式，其中Z代表图像的级别，例如：Scale19，Scale18……Scale1。

2、第二到五层目录根据图像级别的不同代表不同的意义。

3、对于14级或14级以上的图像，目录共分五层。第二层目录和第三层目录都是标示对整个地球投影平面的平均分区，分别设计为对地球投影平面的粗细粒度分区。以19级图像为例，其中第二层有2⁵×2⁵个分区，将指数5称为分区指数，即将地球投影平面用2⁵×2⁵的网格进行分割，每个网格对应一个第二层目录，命名方式与Tile命名方式类似，目录名称从X0Y0……X0Y31……X31Y0……到X31Y31。第三层目录同样是对地球投影平面的平均分区，但每个分区的范围更小(即所包含的Tile数量更少)，它是将地球投影平面用2¹¹×2¹¹的网格进行分割，每个第二层目录下有2⁶×2⁶个第三层目录，第三层目录的命名方式也与Tile类似，从X0Y0……X63Y63……X64Y64……X127Y127……到X2047Y2047。

对于第18级到第14级的图像，其第二层目录与19级图像相同，而第三层目录其分区指数依次减1，即18级对应的第三层目录有2¹⁰×2¹⁰个分区，17级对应2⁹×2⁹个分区……14级对应2⁶×2⁶个分区。

第四层目录标示遥感图像的主题信息，即遥感图像的数据源，例如CCD传感器、HR传感器，快鸟卫星数据。

第五层目录标示波段信息，如果第四层目录对应的遥感数据主题有多个波段，则为每个波段建立一个第五层目录，否则不建立第五层目录，将Tile直接存储于第四层目录下。例如CCD传感器所获取的遥感数据共有五个波段。14级到19级图像的目录结构如图6所示，其中S表示图像的级别。

4、对于第13级到底9级图像，由于Tile数量相对较少，只对整个地球投影平面进行一次平均分区，对应于第二层目录，他们的分区数目依次为：2⁵×2⁵，2⁴×2⁴到2×2。第三层目录标示遥感图像的主题信息，第四层目录标示波段信息。目录结构如图7所示，共分四层，其中S表示图像的级别。

5、对于第8级到第1级图像，由于Tile数量已经很少，不需要再对地球投影平面进行分区，他们的第二层目录即标示遥感图像的主题信息，第三层目录表示波段信息。目录结构如图8所示，共分三层。

四、实现遥感数据查询与获取服务

本发明采用步骤四中的分布式存储体系结构，对遥感数据进行了有效的存储管理，

接下来给出了如何查询和获取Tile的方法。

1、Tile快速定位算法

对于给定的图像级别和一个位置点的经纬度坐标值，本发明设计了一种算法可以快速计算出该位置点所属Tile的名称以及这个Tile的相对存储路径。

遥感图像采用了EPSG：900913投影坐标系统，根据基于Tile的地球投影平面分割规则以及Tile的命名方式，坐标原点在UTM投影下经纬度坐标为(-180，85)，X轴的取值范围是(-180，180)(即经度的范围)，Y轴的取值范围是(-85，85)(即纬度的范围)。在直角坐标系下，原点坐标为(0，0)，X轴的取值范围是(0，2^scale-1-1)，Y轴的取值范围也是(0，2^scale-1-1)。按照这种对应关系，本发明设计了经纬度位置点至所属Tile的映射算法，经纬度位置点至所属Tile的映射算法流程图如图10所示，具体描述如下：

(1)计算X轴和Y轴方向的Tile总数：width；

(2)计算每个Tile在经度上的跨度：tileWi dth＝360/width

(3)计算Tile在X轴上的坐标值：x＝(lon+180.0)/tileWidth；

(4)将地球投影平面南北边缘处纬度值和Tile左上角纬度值转化成近似EPSG：900913坐标系统下的坐标值分别为yTop，yBottom和yTmp；

(5)计算Tile在Y轴上的坐标值：y＝height×(yTmp-yTop))/(yBottom-yTmp)。

其中左上角经纬度至所属Tile的映射算法流程图如图11所示，算法描述如下：

(1)计算X轴和Y轴方向的Tile总数：width；

(2)计算每个Tile在经度上的跨度：tileWidth＝360/width；

(3)计算Tile左上角的经度值：lon＝x×tileWidth-180，其中西经为负值；

(4)将地球投影平面南北边缘处纬度值转化成近似EPSG：900913坐标系统下的坐标值分别为yTop，yBottom；

(5)计算Tile左上角的纬度值：lat＝(360*Math.atan2(e^_y，1))/3.14159265-90。

同理，右上角经纬度至所属Tile映射算法与左上角经纬度至所属Tile映射算法相似。

2、Tile至相对存储路径的算法

若已知Ti le的名称“xQyRzS”，可以获取其在X，Y轴的坐标值Q，R及Tile的级别S，通过分层逻辑目录存储结构的设计规则可以计算出Tile相对于地图根目录的逻辑路径。地图根目录在程序中进行配置，根目录加上逻辑路径就可以得到Tile的绝对存储路径，算法流程图如图12所示，算法描述如下：

(1)设置对应分层目录分区方式的分区指数，定义grade1为粗粒度分区的分区指数，定义grade2为细粒度分区的分区指数grade1＝grade2＝0；

a.如果Tile级别大于等于14小于等于19，则grade1＝5，grade2＝级别-8；

c.如果Tile级别大于等于9小于等于13，则grade1＝级别-8；

(2)计算第一层目录名称和相对路径，路径destDirPath＝″Scale″+级别；

(3)如果级别大于等于9，则计算第二层目录名称和相对路径

a.目录名称中X的值为Tile的X坐标除以该目录分区所覆盖的Tile数的平方根，xPartGrade1＝x/2^z-1-grade1，Y的值与X的值计算方法相同，即yPartGrade1←y/2^z-1-grade1，其中Z表示图像级别；

e.第二层目录名称dirNameGrade1＝″X″+xPartGrade1+″Y″+yPartGrade1；

f.第二层目录路径destDirPath＝destDirPath+dirNameGrade1；

g.如果级别大于等于14，则计算第三层目录名称和相对路径

i.目录名称中X的值仍为Tile的X坐标除以该目录分区所覆盖的Tile数的平方根，经计算此值为27，则xPartGrade2←x/27，yPartGrade2←y/27。

ii.第三层目录名称dirNameGrade2←″X″+xPartGrade2+″Y″+yPartGrade2；

iii.第三层目录路径destDirPath＝destDirPath+dirNameGrade2；

(4)计算最终最终相对路径，包含主题目录和波段目destDirPath←destDirPath+主题+波段。

3、查询和获取Tile的服务

为实现用户对海量遥感数据低延迟无缝浏览漫游的需求，利用Tile快速定位算法，在系统的管理层和数据层分别提供了按照经纬度范围查询和获取Tile的服务。

(1)数据查询服务

在管理服务器上构建指定经纬度范围的数据查询服务。经纬度范围通常以所浏览区域的左上角经纬度和右下角经纬度来描述。根据左上角经纬度，利用经纬度位置点至所属Tile的映射算法可以得到浏览区域左上角Tile的名称“xMyNzS”，同样根据右下角经纬度可以得到浏览区域右下角Tile的名称“xQyRzS”，则经纬度范围所覆盖区域的所有Tile，可用循环表达式

for(int x＝M；x＜＝Q；x++)

      for(int y＝N；y＜＝R；y++)

                tilename＝“x”+x+“y”+y+“zS”

来获取。

(2)数据获取服务

在各存储服务器上构建数据获取服务。通过数据查询服务，计算出所求经纬度范围的所有Tile的名称。对于每一个Tile，利用Tile至相对存储路径算法，可以获取所有Tile的相对存储路径，查询数据库可以获得存储该Tile的所有存储服务器地址及根目录，即Tile的所有副本。在对所有存储该Tile的存储服务器状态进行分析和比较后，调用能最快响应Tile获取请求的存储服务器的数据获取服务，返回所请求的Tile。

五、构建分布式存储系统的体系结构

海量遥感数据的存储管理系统采用单一管理服务器和多个存储服务器相结合的分布式体系结构。系统分为三个层次，分别为管理层，数据层和服务层，如图9所示：

管理层：单一的管理服务器维护一个关系型数据库，记录遥感数据集的相关属性信息和存储地址根目录，并记录各存储服务器的状态信息；提供一个原始遥感图像处理、副本更新、副本查询、计算机状态监控等操作的启动、管理和监控工具。

数据层：由多台存储实际遥感数据的存储服务器组成。存储服务器按照分层目录存储结构构建遥感数据的存储目录，并将切割分块后的遥感图像存储在相应的目录中，数据在各存储服务器上实现分布式存储。存储服务器可以动态的添加到系统中，在存储服务器接入系统时向管理服务器上报计算机状态信息，包括计算机IP地址，计算机名称，CPU使用率，内存使用率，硬盘使用率等，并在此后每隔1分钟提交一次心跳信息，用于管理服务器监控存储服务器状态和在线情况。

服务层：服务层由管理层提供的数据查询服务和数据层提供的数据获取服务组成。提供按照经纬度范围的数据查询和获取服务，其中数据的获取服务根据各副本所在的存储服务器的状态进行数据获取请求的平衡处理。

对原始遥感图像进行切割分块处理后，生成一系列的Tile，利用多线程机制依次处理每一个Tile，调用管理层的管理服务器提供的数据查询服务，对于查询结果分为如下两种情况：

(1)如果存在这个Tile所属数据集的记录，则获取这个Tile所属数据集所在的所有存储服务器地址和根目录，再利用Tile至相对存储路径的算法获取相对存储路径，由根目录和相对路径组合成绝对路径。管理服务器调用所查询到的存储服务器上的数据集副本更新Web服务，用新生成的Tile更新这个数据集副本。

(2)如果不存在这个Tile所属数据集的记录，则检查所有存储服务器，选取一个存储容量满足要求的存储服务器，调用这个存储服务器上的数据集副本创建Web服务，创建一个新的副本，然后调用这个存储服务器上的数据集副本更新Web服务，用新生成的Tile更新这个数据集副本。

Claims (9)

1、一种高效的海量遥感数据分布式组织管理方法，其特征在于包括以下步骤：

第一步：根据原始遥感图像分辨率构建遥感图像金字塔，即按照原始遥感图像分辨率的大小，将原始遥感图像分成19个级别，从1级到19级，每第一层对应特定大小的图像分辨率，级别越高对应的分辨率越高，即图像越清晰，第1级对应图像金子塔的最顶层，第19级对应图像金子塔的最底层；如果有更高分别率的原始图像，则可以在底层继续构建第20级，依次类推，直到第n级；

第二步：基于Tile技术对遥感图像金子塔的各层切割分块，形成小块图像Tiles；

第三步：基于文件存储系统，建立分层的目录存储结构存储所述第二步中的小块图像Tiles；

第四步：根据给定的原始遥感图像级别和一个位置点的经纬度坐标值，计算出所属Tile的名称以及这个Tile的相对存储路径，实现遥感数据快速查询与获取服务；

第五步：采用分布式存储系统的体系结构，建立分层目录，存储管理所述的小块图像Tiles。

2、根据权利要求1所述的高效的海量遥感数据分布式组织管理方法，其特征在于：所述的第一步中，相邻级别的图像分辨率大小为2倍的关系，级别与分辨率的换算关系如公式①所示：

Scale＝log₂(1/resolution)_+n-1    ①

其中Scale表示图像级别，resolution为原始遥感图像分辨率，n为遥感图像的分级数。

3、根据权利要求1所述的高效的海量遥感数据分布式组织管理方法，其特征在于：在所述的第二步中，对遥感图像金子塔的各层切割分块的方法如下：

(1)调整原始遥感图像分辨率：将原始遥感图像的分辨率调整到与遥感图像金子塔中的某第一层图像的分辨率对应，并保证该层图像的分辨率值大于原始图像的分辨率值：

(2)构造切割网地图：根据调整后的图像分辨率级别和原始遥感图像左上角与右下角经纬度，计算图像左上角和右下角所属Tile，并据此构造对应的虚拟切割网地图；

(3)切割原始遥感图像：沿着虚拟切割网地图的网格线，对原始遥感图像进行切割分块；

(4)扩充不完整小块图像边缘：计算原始遥感图像距虚拟切割网底图上下左右四个边缘出的偏移值，根据此值扩充切割后不完整的小块图像，使之成为256×256象素的完整小块图像Tile。

4、根据权利要求1所述的高效的海量遥感数据分布式组织管理方法，其特征在于：在所述的第三步中，基于文件存储系统建立分层的目录存储结构的方法如下：

(1)根据原始遥感图像级别创建第一层目录；

(2)如果原始遥感图像级别为第14级或14级以上，则建立2⁵×2⁵个第二层目录，再建立2^scale-8×2^scale-8个第三层目录，每个第二层目录下有2^scale-13×2^scale-13第三层目录，最后建立表示主题的第四层目录，如果主题对应多波段则建立表示波段的第五层目录；

(3)如果原始遥感图像级别为第13级到第9级，则建立2^scale-8×2^scale-8个第二层目录，然后建立表示主题的第三层目录，如果主题对应多波段则建立表示波段的第四层目录；

(4)如果原始图像级别为第8级到第1级，则直接建立表示主题的第二层目录，如果主题对应多波段则建立表示波段的第三层目录。

5、根据权利要求1所述的高效的海量遥感数据分布式组织管理方法，其特征在于：在所述的第四步中，实现遥感数据查询与获取服务的方法如下：

(1)数据查询

一个位置点的经纬度范围通常以所浏览区域的左上角经纬度和右下角经纬度来描述，根据左上角经纬度，利用经纬度位置点至所属Tile的映射算法得到浏览区域左上角Tile的名称“xMyNzS”，同样根据右下角经纬度得到浏览区域右下角Tile的名称“xQyRzS”，则经纬度范围所覆盖区域的所有Tiles，可用循环表达式

对于X从M到Q

对于Y从N到R

Tile的名称为”xXyYzS”

来获取；

(2)数据获取服务

通过数据查询服务后，计算出所求经纬度范围的所有Tiles的名称。对于每一个Tile，利用Tile至相对存储路径的算法，获取所有Tiles的相对存储路径，查询数据库可以获得存储该Tile的所有存储服务器地址及根目录，即Tiles的所有副本，在对所有存储该Tiles的存储服务器状态进行分析和比较后，调用能最快响应Tile获取请求的存储服务器的数据获取服务，返回所请求的Tile。

6、根据权利要求5所述的高效的海量遥感数据分布式组织管理方法，其特征在于：所述的经纬度位置点至所属Tile的映射算法如下：

(1)计算X轴和Y轴方向的Tile总数：width；

(2)计算每个Tile在经度上的跨度tileWidth：tileWidth＝360/width；

(3)计算Tile在X轴上的坐标值x：x＝(lon+180.0)/tileWidth；

(4)将地球投影平面南北边缘处纬度值和Tile左上角纬度值转化成近似EPSG：900913坐标系统下的坐标值分别为yTop，yBottom和yTmp；

(5)计算Tile在Y轴上的坐标值y：y＝height×(yTmp-yTop))/(yBottom-yTmp)。

7、根据权利要求5所述的高效的海量遥感数据分布式组织管理方法，其特征在于：所述的Tile至相对存储路径的算法如下：

(1)设置对应分层目录分区方式的分区指数，定义grade1为粗粒度分区的分区指数，定义grade2为细粒度分区的分区指数grade1＝grade2＝0；

a.如果Tile级别大于等于14小于等于19，则grade1＝5，grade2＝级别-8；

b.如果Tile级别大于等于9小于等于13，则grade1＝级别-8；

(2)计算第一层目录名称和相对路径，路径destDirPath＝″Scale″+级别；

(3)如果级别大于等于9，则计算第二层目录名称和相对路径

a.目录名称中X的值为Tile的X坐标除以该目录分区所覆盖的Tile数的平方根，xPartGrade1＝x/2^z-1-grade1，Y的值与X的值计算方法相同，即yPartGrade1←y/2^z-1-grade1，其中Z表示图像级别；

b.第二层目录名称dirNameGrade1←″X″+xPartGrade1+″Y″+yPartGradel；

c.第二层目录路径destDirPath←destDirPath+dirNameGrade1；

d.如果级别大于等于14，则计算第三层目录名称和相对路径

i.目录名称中X的值仍为Tile的X坐标除以该目录分区

所覆盖的Tile数的平方根，经计算此值为2⁷，则xPartGrade2←x/2⁷，yPartGrade2←y/2⁷。

ii.第三层目录名称dirNameGrade2←″X″+xPartGrade2+″Y″+yPartGrade2；

iii.第三层目录路径destDirPath←destDirPath+dirNameGrade2；

(4)计算最终相对路径，包含主题目录和波段目destDirPath←destDirPath+主题+波段。

8、根据权利要求1所述的高效的海量遥感数据分布式组织管理方法，其特征在于：在所述的第五步中，构建分布式存储系统的体系结构分为三层，管理层、数据层和服务层，其中：

管理层：为单一的管理服务器维护一个关系型数据库，记录遥感数据集的相关属性信息和存储地址根目录，并记录各存储服务器的状态信息，提供一个原始遥感图像处理、副本更新、副本查询、计算机状态监控操作的启动、管理和监控工具；

数据层：由多台存储实际遥感数据的存储服务器组成，存储服务器按照分层目录存储结构构建遥感数据的存储目录，并将切割分块后的遥感图像Tiles存储在相应的目录中，数据在各存储服务器上实现分布式存储；

服务层：服务层由管理层提供的数据查询服务和数据层提供的数据获取服务组成，提供按照经纬度范围的数据查询和获取服务，其中数据的获取服务根据各副本所在的存储服务器的状态进行数据获取请求的平衡处理。

9、根据权利要求8所述的高效的海量遥感数据分布式组织管理方法，其特征在于：所述的分布式存储系统的体系结构的管理过程为：对原始遥感图像进行切割分块处理后，生成一系列的Tile，利用多线程机制依次处理每一个Tile，调用管理层的管理服务器提供的数据查询服务，对于查询结果分为如下两种情况：

(1)如果存在这个Tile所属数据集的记录，则获取这个Tile所属数据集所在的所有存储服务器地址和根目录，再利用Tile至相对存储路径的算法获取相对存储路径，由根目录和相对路径组合成绝对路径，管理服务器调用所查询到的存储服务器上的数据集副本更新Web服务，用新生成的Tile更新这个数据集副本；

(2)如果不存在这个Tile所属数据集的记录，则检查所有存储服务器，选取一个存储容量满足要求的存储服务器，调用这个存储服务器上的数据集副本创建Web服务，创建一个新的副本，然后调用这个存储服务器上的数据集副本更新Web服务，用新生成的Tile更新这个数据集副本。

Images