CN103136340A - 一种在集群中快速迁移海量空间数据的方法 - Google Patents

Abstract

本发明公开了一种在集群中快速迁移海量异构空间数据的方法，属于数据迁移技术领域。该方法步骤如下：一、建立存储影像数据的集群；二、集群中的每台主机建立剖分索引gsot文件；三、管理节点实时读取每台主机中的剖分索引gsot文件，建立索引总表；四、接收主机发送设定的迁移编码至管理节点；五、管理节点提取与迁移编码匹配的索引码及其对应的索引项目或嵌套索引码及其对应的索引项目；六、管理节点将提取的索引码及其索引项目和嵌套索引码及其索引项目建立索引子表，并按照索引子表的索引项目，获取影像或者影像面片；七、管理节点将获得的影像或者影像面片传输至接收主机。本方法适用于对集群中的海量多源异构数据进行快速迁移。

Description

一种在集群中快速迁移海量空间数据的方法

技术领域

本发明涉及数据迁移技术领域。

背景技术

随着对地卫星观测系统的发展，人们对于遥感数据尤其是遥感影像数据的获取能力不断提升，因此人们获得的遥感影像数据逐步呈现多源、多尺度、多时相、全球覆盖和高分辨率特征，同时数据量呈爆炸性式长，现今已经达到了PB数据量级。

对地观测手段的丰富，使得遥感影像数据的来源越来越多，越来越广，而不同的数据来源手段产生的数据的图幅大小、分辨率大小、图像的命名格式等不尽相同。

对于集群存储系统中的图幅大小、分辨率等属性不同的遥感影像数据，若根据需要，要对某个地区范围内的所有类型的数据进行迁移，然而由于数据之间异构，因此不能按照统一的基准进行查询和检索，必须要对不同分幅标准的数据按照自己特有编码的进行单独的索引和查找。由于对不同分幅标准的数据都要按照相应的分幅规格进行收集和整理，这使得迁移程较多停留在人工操作层面，人工选择、拷贝和迁移数据不仅会有遗漏、错误等情况发生，在数据量非常大的情况下，还会非常耗时。数据迁移作为一种常规的工作，人工操作的方式严重影响了各遥感信息管理系统之间的数据共享的效率。

发明内容

有鉴于此，本发明提供了一种在集群中快速迁移海量空间数据的方法，使用该方法对于空间数据进行索引查询，其查找更加具有目的性，大大提高了数据迁移的效率，避免了多重查询，实现了空间数据的快速迁移；使用该方法以地理范围为查询条件即可快速选择数据，因此本发明所提供的数据迁移方法对于异构空间数据量大的情况尤其适用，打破了异构空间数据的迁移量限制。

为达到上述目的，本发明的技术方案为：本方法包括如下步骤：

步骤一、建立影像数据的集群存储系统；集群存储系统中每台主机均存储具有地理范围的影像；

步骤二、每台主机对于所存影像，建立剖分索引gsot文件：

剖分索引gsot文件包括影像号和面片号，影像号为：在采用GeoSOT剖分体系对全球地理进行剖分所获得的各层级GeoSOT面片中，找到一个包含单幅影像的地理范围的最小GeoSOT面片，对面片使用GeoSOT编码方案进行编码，获得的编码即为影像号；

所述面片号为：使用设定层级的GeoSOT面片对影像进行剖分，得到覆盖影像的剖分面片集合；使用GeoSOT编码方案对得到的剖分面片集合中各剖分面片进行编码，记为面片号；

步骤三、选取集群存储系统中一台主机作为管理节点，管理节点实时读取每台主机中所存储的剖分索引gsot文件，存入事先建立的索引总表中；

索引总表包括影像号及其对应影像索引信息、面片号及其对应剖分面片索引信息，影像索引信息为包含影像存储位置在内的信息，剖分面片索引信息为包含剖分面片在所属影像中的位置以及剖分面片所属影像的存储位置在内的信息；

步骤四、接收主机发送设定的迁移编码至管理节点；迁移编码的设定方法如下：

接收主机根据待迁移数据所对应的地理范围，在采用GeoSOT剖分体系对全球地理进行剖分所获得的各层级GeoSOT面片中，找到一个包含待迁移数据所对应的地理范围的最小GeoSOT面片，记为迁移面片，对该迁移面片使用GeoSOT编码方案进行编码，则获得迁移编码；

步骤五、管理节点将迁移编码分别与索引总表中的影像号和面片号由左至右进行匹配，获取与迁移编码匹配一致且长度等于或者长于迁移编码长度的影像号或者面片号，对获取到的影像号提取其对应影像索引信息，对获取到的面片号提取其对应剖分面片索引信息；

步骤六、管理节点将步骤五提取的影像号及其对应影像索引信息或者面片号及其对应剖分面片索引信息存入事先建立的索引子表，管理节点按照索引子表的影像索引信息或剖分面片索引信息获取影像或者剖分面片；

步骤七、管理节点将上述步骤六中获得的影像或者剖分面片传输至接收主机。

进一步地，步骤一中所建立的影像数据的集群存储系统为基于GeoIP的集群存储系统；集群存储系统中每台主机均存储其GeoIP地址对应地理范围内的影像。

进一步地，步骤三中若用户主机中的剖分索引gsot文件有更新，管理节点实时读取出该更新并对索引总表进行相应的更新。

优选地，影像索引信息为影像的存储路径、数据格式、分辨率以及获得时间；所述剖分面片索引信息为剖分面片在所属影像中的位置以及剖分面片所属影像的存储位置、数据格式、分辨率和获得时间。

优选地，在索引总表中，剖分面片的面片号及其对应剖分面片索引信息作为其所属影像的影像号及其对应影像索引信息的嵌套，则步骤五中，管理节点采取如下方法进行匹配：

首先将迁移编码与索引总表中的影像号由左至右进行匹配，若迁移编码与影像号由左至右相同且迁移编码长度等于或者短于影像号长度时，提取影像号及其对应影像索引信息；

当迁移编码长度长于影像号长度时，则将迁移编码与影像号嵌套的面片号由左至右进行匹配：当迁移编码与嵌套的面片号由左至右相同分为以下两种情况：迁移编码长度等于或者短于嵌套面片号长度，则提取该面片号及其对应剖分面片索引信息；迁移编码长度长于面片号长度时，则不提取该面片号及其对应剖分面片索引信息。

优选地，步骤七中接收主机接收到影像或者剖分面片后，从管理节点中提取接收到的影像或者剖分面片对应影像号或者面片号，建立接收表；

影像或者剖分面片传输完成之后，接收主机将接收表发送至管理节点，管理节点将接收表与索引子表进行比对，若接收表较索引子表有缺失，则将缺失的影像或者剖分面片再进行传输；若接收表与索引子表一致，则结束迁移。

有益效果：

1、本方法通过建立索引总表、索引子表的方式，按照索引码的匹配程度获取影像的属性信息，从而使得查找更加具有目的性，这大大提高了数据迁移的效率，避免了多重查询，从而实现了空间数据的快速迁移。

2、由于各主机的编址和数据收集均按照其所管理资源的地理范围进行，管理节点中的索引总表也是以地理位置关系进行排序的，因此在进行空间数据迁移时，以地理范围为查询条件即可快速选择数据，因此本发明所提供的数据迁移方法对于异构空间数据量大的情况尤其适用，打破了异构空间数据的迁移量限制。

3、由于对影像的索引使用了索引表，该方法可以很方便地建立接收表，通过接收表可判断影像数据是否完整传输，如有遗漏可重新查询并迁移，避免了漏传现象的发生。

附图说明

图1为集群系统中通过空时存储索引表迁移数据的流程；

图2为对使用GeoSOT网格对影像进行剖分示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

步骤一、建立影像数据的集群存储系统；集群存储系统中每台主机均存储带有地理范围信息的影像。

为使集群存储系统中每台主机所存储的影像的地理范围信息与主机所在地址相对应，本实施例建立了基于GeoIP的集群存储系统，建立一个空天数据集群存储系统，赋予集群中每台主机一个固定的GeoIP地址，GeoIP地址中的地理含义代表该主机所管理空天数据资源的地理范围。使用该基于GeoIP的集群存储系统能够较佳地将主机IP地址与其所存储的影像对应起来，这使得主机的影像gsot文件建立以及主机寻址更加具有地理含义。

具体的GeoIP的设计方法参见本申请人于2012年12月29日申请的申请号为201210591247.6的发明专利申请：“基于GeoSOT剖分编码的网络地址设计方法和数据资源调度方法”，该发明专利使用GeoSOT剖分编码方案对用户主机所管理数据资源的地理范围进行编码，获得64位主机编码，同时将用户主机使用的GeoSOT剖分层级进行转换为5位二进制编码，获得5位剖分层级编码，5位剖分层级编码和64位主机编码顺序组合构成GeoIP编码，GeoIP编码作为IPv6地址中的后69位；该发明专利用于解决数据资源的空时存储以及资源调度的问题。

对于上述建立的基于GeoIP的集群存储系统，其中每台主机均可获取与其GeoIP地址对应的地理范围内的影像数据。

步骤二、对于上述影像数据，建立剖分索引gsot文件，

剖分索引gsot文件包括影像号和面片号。

影像号为：在采用GeoSOT剖分体系对全球地理进行剖分所获得的各层级GeoSOT面片中找到一个包含影像的经纬度范围的最小GeoSOT面片，对面片使用GeoSOT编码方案进行编码，所获得的编码即为影像号。

面片号为：使用设定层级的GeoSOT面片对影像进行剖分，得到覆盖影像的剖分面片集合；使用GeoSOT编码方案对得到的剖分面片集合中各剖分面片进行编码，记为面片号；其中对于影像的剖分如图2所示，其中网格即为剖分面片集合。

本实施例所涉及的GeoSOT剖分体系参见北京大学提出的专利申请：“一种统一现有经纬度剖分网格的方法”（公开号为CN102609525，申请日为2012年2月10日），该专利申请公开了一种GeoSOT地理网格设计方案，用于解决全球地理空间剖分和标识问题。该方案采用全四叉树递归剖分，将地球表面空间从全球至厘米级共进行了32级剖分，其中所涉及的GeoSOT剖分体系即由32级网格构成，其地理空间覆盖大到全球小到厘米级，网格上下级别之间的面积之比大致都为4:1。该方案对GeoSOT网格进行编码所产生的GeoSOT编码有四进制、二进制（1维或2维）和十进制等四种形式。

对于待处理影像为矩形的情况，该步骤中的使用设定层级的GeoSOT面片对影像进行剖分，具体包括如下步骤：

步骤1，获取待处理影像的经纬度范围；

步骤2，设定对待处理影像进行剖分所使用的GeoSOT面片的层级；

步骤3，使用设定层级的GeoSOT面片对待处理影像进行剖分，得到包含待处理影像的剖分面片集合；

步骤4，使用GeoSOT编码方案对剖分面片集合中的每个剖分面片进行编码，记为索引号；

步骤5、针对剖分面片集合中每个剖分面片，确定剖分面片内的影像数据的四个角点像素在待处理影像中的行列号；

步骤6、将同一剖分面片的索引号以及行列号对应写入剖分索引gsot文件中。

在本发明具体实施的过程中，对于上述技术方案，可使用剖分标识器进行具体实现。剖分标志器的作用为对于用户主机接收到的遥感影像，使用上述技术方案所提供的原理获得影像的剖分索引表。

步骤三、使用该集群存储系统的其中一个主机作为管理节点，其余均为用户主机。管理节点实时读取每台用户主机中所存储的剖分索引gsot文件，建立索引总表。

若用户主机中的剖分索引gsot文件有更新，例如加入了新的剖分索引表或者删除了某剖分索引表，管理节点能够实时读取出该更新并对索引总表进行相应的更新。

索引总表包括影像号及其对应影像索引信息、面片号及其对应剖分面片索引信息，影像索引信息为包含影像存储位置在内的信息，剖分面片索引信息为包含剖分面片在所属影像中的位置以及剖分面片所属影像的存储位置在内的信息；

在具体实施时，可将面片号及其对应剖分面片索引信息作为其所属影像的影像号及其对应影像索引信息的嵌套，以便于查找。

针对上述索引总表的特征，本实施例中可以采用如下方式建立：

1、建立索引码GeoSOTCode，对于集群存储系统中每台用户主机的剖分索引gsot文件，读取gsot文件中的剖分索引表；使用影像号作为GeoSOTCode；对于集群存储系统中所有用户主机的剖分索引表，对GeoSOTCode进行记录并按照GeoSOTCode排序：

例如：假设使用xml的形式建立索引总表，则其可能的建立方式如下：

该示例中索引总表所包含的索引码GeoSOTCode分别为G000011、G0001、G01223222、G0203、G021032、G1111、G2000。

2、每个索引码GeoSOTCode下设置索引项目，GeoSOTCode的索引项目即影像号对应的影像索引信息，在本实施例中设置其中GeoSOTCode下的索引项目包括：嵌套索引码数目SubGeoSOTCodeNumber、嵌套索引码SubGeoSOTCode以及数据项Data。

SubGeoSOTCodeNumber是指GeoSOTCode指代的影像号所对应影像剖分后的剖分面片个数，即影像号下嵌套的面片号的个数。

SubGeoSOTCode是剖分面片的编码，即面片号。

Data是对应GeoSOTCode指代的影像号所对应影像的数据项，即影像的索引信息，数据项记载了影像的属性：如、存储路径、数据格式、分辨率以及获得时间等属性。在本实施例中GeoSOTCode下的数据项Data包括存储路径FilePath、原始编码OrignalAreaCode、数据格式DataType、分辨率Resolution、获得时间Date以及传感器Sensor。其意义如下：

存储路径FilePath表示该影像在集群结点上的存储位置。

原始编码OrignalAreaCode表示该影像的原始分副编码。

数据格式DataType表示该影像的格式。

分辨率Resolution表示该影像的分辨率大小。

获得时间Date表示获得该影像的时间。

传感器Sensor表示生成该影像的传感器。

3、嵌套索引码SubGeoSOTCode下设置索引项目：数据项Data，即SubGeoSOTCode所指代面片号对应的剖分面片的索引信息。在本实施例中SubGeoSOTCode下的数据项Data包括内部索引码SubInerCode、存储路径FilePath、原始编码OrignalAreaCode、数据格式DataType、分辨率Resolution、获得时间Date以及传感器Sensor。其意义如下：

内部索引码SubInerCode是指剖分面片内影像数据在影像中的位置，对于矩形影像数据可使用像素行列号进行标识。

存储路径FilePath表示该剖分面片所在影像在集群结点上的存储位置。

原始编码OrignalAreaCode表示该剖分面片所在影像的原始分副编码。

数据格式DataType表示该剖分面片所在影像的格式。

分辨率Resolution表示该剖分面片所在影像的分辨率大小。

获得时间Date表示获得该剖分面片所在影像的时间。

传感器Sensor表示生成该剖分面片所在影像的传感器。

例如：建立索引总表如下：

上例所示，索引总表所包含的索引码GeoSOTCode分别为G001310322、G00131033322、G0021110、G0121103221121、G012213、G02000213，其中G001310322作为其中影像号，其所指代的影像被剖分出4个剖分面片，其编码分别为G0013223220、G0013223221、G0013223222、G0013223223，其中，根据剖分面片在集群结点上的存储位置FilePath，可以找到编码为G0013223220的剖分面片，依据其四个角点在影像中的像素行列号SubInerCode：(1,1)、(1,25)、(25,1)、(25,25)，则可获得该剖分面片。

步骤四、接收主机发送设定的迁移编码至管理节点，接收主机可以根据需要设定迁移编码，为了使得迁移编码能够较佳地表达接收主机所需迁移数据的地理范围，本实施例中采用如下设定方法对迁移编码进行设定：

接收主机根据待迁移数据所对应的地理空间范围确定包含该范围在内的GeoSOT面片，记为迁移面片，对该迁移面片使用GeoSOT编码方案进行编码，则获得迁移编码。

步骤五、管理节点将迁移编码分别与索引总表中的影像号和面片号由左至右进行匹配，获取与迁移编码匹配一致且长度等于或者长于迁移编码长度的影像号或者面片号，对获取到的影像号提取其对应影像索引信息，对获取到的面片号提取其对应剖分面片索引信息。

GeoSOT编码的编码长度隐含面片的尺寸，编码较短的GeoSOT面片其尺寸较大，其覆盖更小尺寸的面片。在同样的范围内，大面片的编码短，小面片的编码长，而且大面片的编码与小面片编码的前几位相同。因此当由左至右进行匹配时，如果找到前n位匹配一致（n为迁移编码长度），但影像号或者面片号长度大于n时，表示影像号或者面片号所代表的影像或者剖分面片位于迁移数据范围内，则获取影像或者剖分面片。

在具体实施的过程中，面片号通常长于其所属影像号，因此在进行匹配时，很可能出现，提取了整个影像同时提取了影像中的剖分面片，因此出现了重复提取的现象。因此可采用如下方法解决：

索引总表采用前述嵌套的方式进行存储，那么在管理节点将迁移编码分别与索引总表中的影像号和面片号进行匹配时：

首先将迁移编码与索引总表中的影像号由左至右进行匹配，若迁移编码与影像号由左至右相同且迁移编码长度等于或者短于影像号长度时，提取影像号及其对应影像索引信息；

当迁移编码长度长于影像号长度时，则将迁移编码与影像号嵌套的面片号由左至右进行匹配：当迁移编码与嵌套面片号由左至右相同分为以下两种情况：迁移编码长度等于或者短于嵌套面片号长度，则提取该面片号及其对应剖分面片索引信息；迁移编码长度长于面片号长度时，则面片号与迁移数据无关。

在本实施例中所建立的索引总表中，迁移编码将与索引总表中的GeoSOTCode以及SubGeoSOTCode由左至右进行匹配，所提取为由左至右匹配一致且长度等于或者长于迁移编码的索引码或者嵌套索引码，并获取对应索引项目。

步骤六、管理节点以步骤五提取的影像号及其对应影像索引信息或者面片号及其对应剖分面片索引信息建立索引子表，在本实施例中所建立索引子表包括子索引码及其对应的索引项目，其中子索引码及其对应的索引项目即为步骤五中提取的索引码及其索引项目和嵌套索引码及其索引项目，索引子表按照子索引码进行排序。

索引子表已经完成了对迁移数据的整理和收集，管理节点直接按照索引子表的索引项目，即可依据索引项目中的影像或者剖分面片在集群结点上的存储位置FilePath及其四个角点在影像中的像素行列号SubInerCode获取影像或者剖分面片。

步骤七、管理节点将上述步骤六中获得的影像或者剖分面片传输至接收主机。

为能够检验是否有漏传，对于已传输完成的影像或者剖分面片，接收主机从管理节点中提取接收到的影像或者剖分面片对应的影像号或者面片号，建立接收表。

在本实施例中，接收主机可以从管理节点中提取其对应索引子表中子索引码及其索引项目，然后将接收到的子索引码及其索引项目按照子索引码排序建立接收表。

数据迁移完成之后，接收主机将接收表发送至管理节点，管理节点将接收表与索引子表进行比对，接收表较索引子表有缺失，则将缺失的数据项再进行迁移；若接收表与索引子表一致，则结束迁移。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种在集群中快速迁移海量空间数据的方法，其特征在于，包括如下步骤：

步骤一、建立影像数据的集群存储系统；集群存储系统中每台主机均存储具有地理范围的影像；

步骤二、每台主机对于所述影像，建立剖分索引gsot文件：

所述的剖分索引gsot文件包括影像号和面片号，所述影像号为：在采用GeoSOT剖分体系对全球地理进行剖分所获得的各层级GeoSOT面片中，找到一个包含单幅影像的地理范围的最小GeoSOT面片，对所述面片使用GeoSOT编码方案进行编码，获得的编码即为影像号；

所述面片号为：使用设定层级的GeoSOT面片对影像进行剖分，得到覆盖影像的剖分面片集合；使用GeoSOT编码方案对得到的剖分面片集合中各剖分面片进行编码，记为面片号；

步骤三、选取集群存储系统中一台主机作为管理节点，管理节点实时读取每台主机中所存储的剖分索引gsot文件，存入事先建立的索引总表中；

索引总表包括影像号及其对应影像索引信息、面片号及其对应剖分面片索引信息，所述影像索引信息为包含影像存储位置在内的信息，所述剖分面片索引信息为包含剖分面片在所属影像中的位置以及剖分面片所属影像的存储位置在内的信息；

步骤四、接收主机发送设定的迁移编码至管理节点；所述迁移编码的设定方法如下：

接收主机根据待迁移数据所对应的地理范围，在采用GeoSOT剖分体系对全球地理进行剖分所获得的各层级GeoSOT面片中，找到一个包含待迁移数据所对应的地理范围的最小GeoSOT面片，记为迁移面片，对该迁移面片使用GeoSOT编码方案进行编码，则获得迁移编码；

步骤五、管理节点将迁移编码分别与索引总表中的影像号和面片号由左至右进行匹配，获取与迁移编码匹配一致且长度等于或者长于迁移编码长度的影像号或者面片号，对所述获取到的影像号提取其对应影像索引信息，对所述获取到的面片号提取其对应剖分面片索引信息；

步骤六、管理节点将所述步骤五提取的影像号及其对应影像索引信息或者面片号及其对应剖分面片索引信息存入事先建立的索引子表，管理节点按照索引子表的影像索引信息或剖分面片索引信息获取影像或者剖分面片；

步骤七、管理节点将上述步骤六中获得的影像或者剖分面片传输至接收主机。

2.如权利要求1所述的一种在集群中快速迁移海量异构空间数据的方法，其特征在于：所述步骤一中所建立的影像数据的集群存储系统为基于GeoIP的集群存储系统；集群存储系统中每台主机均存储其GeoIP地址对应地理范围内的影像。

3.如权利要求1所述的一种在集群中快速迁移海量异构空间数据的方法，其特征在于：所述步骤三中若用户主机中的剖分索引gsot文件有更新，管理节点实时读取出该更新并对索引总表进行相应的更新。

4.如权利要求1所述的一种在集群中快速迁移海量异构空间数据的方法，其特征在于：所述影像索引信息为影像的存储路径、数据格式、分辨率以及获得时间；所述剖分面片索引信息为剖分面片在所属影像中的位置以及剖分面片所属影像的存储位置、数据格式、分辨率和获得时间。

5.如权利要求1所述的一种在集群中快速迁移海量异构空间数据的方法，其特征在于：在索引总表中，剖分面片的面片号及其对应剖分面片索引信息作为其所属影像的影像号及其对应影像索引信息的嵌套，所述步骤五，管理节点采取如下方法进行匹配：

首先将迁移编码与索引总表中的影像号由左至右进行匹配，若迁移编码与影像号由左至右相同且迁移编码长度等于或者短于影像号长度时，提取影像号及其对应影像索引信息；

当迁移编码长度长于影像号长度时，则将迁移编码与影像号嵌套的面片号由左至右进行匹配：当迁移编码与嵌套的面片号由左至右相同分为以下两种情况：迁移编码长度等于或者短于嵌套面片号长度，则提取该面片号及其对应剖分面片索引信息；迁移编码长度长于面片号长度时，则不提取该面片号及其对应剖分面片索引信息。

6.如权利要求1所述的一种在集群中快速迁移海量异构空间数据的方法，其特征在于：所述步骤七中接收主机接收到影像或者剖分面片后，从管理节点中提取接收到的影像或者剖分面片对应影像号或者面片号，建立接收表；

影像或者剖分面片传输完成之后，接收主机将接收表发送至管理节点，管理节点将接收表与索引子表进行比对，若接收表较索引子表有缺失，则将缺失的影像或者剖分面片再进行传输；若接收表与索引子表一致，则结束迁移。

Images