CN102254030B - 一种面向全球变化研究的空间科学数据自动汇聚方法 - Google Patents

Abstract

本发明公开了一种面向全球变化研究的空间科学数据自动汇聚方法，属于信息技术领域。本方法为：1)服务器定期对数据源进行访问，生成下载任务；2)根据当前下载任务，下载元数据文件并保存到服务器，对下载的文件进行质量检查、元数据项提取、计算和转换；3)将元数据文件路径、元数据项保存到元数据项数据库并建立索引；4)建立元数据文件、元数据项数据库数据、索引数据之间的映射关系，并提供一检索接口；5)服务器据查询条件查询是否存在所查询实体数据，若不存在则据数据预订申请生成实体数据下载任务进行下载，并对下载数据进行质量检查及元数据项更新。本方法可一站式地查询、获取分布在全球各地的海量全球变化空间科学数据资源。

Description

一种面向全球变化研究的空间科学数据自动汇聚方法

技术领域

本发明属于信息技术、全球变化研究领域，尤其涉及在面向全球变化研究领域中采用信息技术对分布、多源、异构空间科学数据进行自动汇聚方法。

背景技术

随着全球变化的负面影响越来越严重、全球环境问题的日益突出，全球变化的研究正在受到空前的重视。这一点可从国际科学联合会理事会(ICSU)等国际科学组织陆续发起的四大全球环境变化研究计划表现出来：1980年发起世界气候研究计划(WCRP)、1987年发起国际地圈生物圈计划(IGBP)、1991年发起生物多样性计划(DIVERSITAS)、1996年发起国际全球环境变化的人文因素计划(IHDP)。并且，这四大科学计划于2001年联合组建了地球系统科学联盟(ESSP)，联盟的目的在于推动对地球系统的综合集成研究、促进地球系统各研究计划之间的合作、加强人类对地球系统的深入认识。

从全球变化的研究手段和方法来看，目前主要采用的研究方法包括发展全球分析、模拟、数据挖掘等。在当前的大科学时代，无论上述的哪一种研究手段，都需要大量的科学数据作为研究的基础和支持。观测技术，特别是卫星遥感技术的快速发展，提供了对整个地球系统行为进行监测的能力，而基于此的空间科学数据则为全球变化的研究提供了直接的基础。

在全球变化研究领域中，不同层次、角度的研究模型众多，而这通常需要各种来源的科学数据作为基础。即使针对一个研究模型，也常常需要汇聚多个数据源的遥感空间科学数据来支持，而这些遥感科学数据源一般情况下处于分布、异构状态。比如遥感数据由于气象等自然条件影响，单一数据源的遥感影像无法覆盖整个研究区域，通常需要使用其他数据源进行替补。在无法快速、准确定位、汇聚分布、异构遥感空间科学数据的情况下，这些遥感空间科学数据的空间分布、结构多样性在很大程度上限制了科学研究的计算尺度范围。

因此，全球变化的研究计划和科学家迫切需要一种能对分布式、多源、异构空间科学数据进行自动汇聚的平台，以方便科学数据的查询、共享、定位，最终使得科学家可以方便地、一站式地查询、获取和使用分布在全球各地的海量全球变化空间科学数据资源。经过查询文献，目前尚未发现能解决上述问题的方法和平台。

发明内容

针对上述需要对全球变化空间科学数据资源自动汇聚的问题，本发明的目的在于提供一种面向全球变化研究的空间科学数据自动汇聚方法，本方法结合空间科学数据的特点，根据系统工程分而治之的思路，通过数据资源动态发现、元数据动态汇聚、元数据一致化表达及转换、元数据统一快速准确检索、实体数据动态汇聚及处理等步骤实现空间科学数据资源的自动汇聚。

本发明包括以下步骤(如图1所示)：

(1)数据资源动态发现

考虑到全球变化科学数据海量膨胀，涌现出了大量的优质数据资源，且多数数据资源都采用友好的数据共享政策。不断扩展新的数据资源，并实现数据资源的动态发现是数据资源汇聚的一个关键。为此需要建立兼容性强的数据源汇聚接口，通过透明、快捷的方式对数据资源进行动态发现和确认，以更好地整合分布式遥感空间科学数据资源。

(2)元数据动态汇聚

即如何保持数据提供方和面向全球变化研究的空间科学数据自动汇聚平台之间元数据记录的一致性问题。为此，需要在分析数据源的数据资源更新状况基础上，形成不同的元数据收割方式和频率，及基于此的元数据下载模块，以满足数据更新需求和减轻系统负载之间的良好折中，实现元数据实时或准实时同步。

(3)元数据一致化表达及转换

分布式空间科学数据的表达具有多样性特征，要实现对数据的统一化管理和检索，必须实现全球变化科学数据元数据的一致化表达。为解决不同来源数据的表达多样性问题，需要在全球变化科学数据领域的国际通用数据表达和数据互操作规范的基础上建立本地兼容性良好的元数据信息模型，并开发本地元数据转换器对不同来源的元数据进行解析、转换、信息提取，以实现元数据的一致化表达。

(4)元数据统一快速准确检索

如上述，全球变化相关数据具有关系复杂、非结构化、数据量大、多比例尺、随时间变化等特点，异构性强。在进行元数据的一致化转换和表达基础上，面对超大规模的海量科学数据，需要建立高效快速索引(数字)系统和元数据库系统，以实现统一、快速、准确的数据检索、定位、获取。

(5)实体数据动态汇聚及处理

实体数据是全球变化研究的计算基础，对元数据进行汇聚、检索的目的是为了发现、获取实体数据。考虑到实体数据量大、文件大等特点，在汇聚元数据的基础上，需要根据不同情况采取不同方式对实体数据进行动态汇聚，比如有计划的下载需求较高的实体数据和用户实体数据下载的本地缓存，而这都需要功能完善的数据下载模块的支持。

为实现上述目的，本发明采用如下的技术方案：

一种面向全球变化研究的空间科学数据自动汇聚方法，包括如下步骤：

(1)服务器对不同的数据源，定期循环执行以下过程：根据数据产品类型的不同，生成该数据源元数据文件的可能有效id列表，并对其中的每一个id进行有效性验证(验证的标准是id所标示的元数据文件是否存在)从而得到当前有效的元数据文件id列表，对其中有效的id生成完整的元数据文件url(含对应的图片文件url)，并将这些元数据文件url(含对应的图片文件url)组合生成下载列表和下载任务，并启动下载任务(如图2所示)。

(2)服务器在识别目标任务(含正常与否、任务类型等)后按照任务量和资源情况启动相应的下载线程，并按照线程的情况和公平规则动态分配下载列表(对于已下载的任务，会默认不进行重复下载)，之后各线程按照配置文件连接数据服务器及按照所分配的列表顺序获取文件流、对下载内容进行存储、对图片文件进行尺寸缩小和对下载过程中的异常进行恢复和纠正等(如图3所示)。

(3)元数据文件(含对应的图片文件)下载完成后服务器对下载的文件完成质量检查(包括文件是否可以正常打开、文件大小是否匹配、元数据文件和图片文件及缩小的图片文件之间是否一一对应等)、元数据项提取、在计算的基础上识别四个顶点的经纬度值、元数据转换、元数据入库和建立数字索引等(如图4所示)。

(4)服务器对元数据按照文件(之前步骤完成)、元数据项数据库数据、索引数据等不同形式进行存储，并按照规则进行映射形成逻辑上统一的数据环境，基于此提供逻辑上统一的数据检索接口(如图5所示)。

(5)用户检索部分提供用户检索接口，并完成对用户的查询(经纬度、空间对象)进行相关性计算、按照规则(如距离等)对结果数据进行排序、根据用户的需要完成本地数据下载或远程数据预定、如果用户发起数据预定请求则生成实体数据文件下载列表和任务，并启动下载任务等功能(如图6所示)。

(6)用户在服务器提交远程实体数据预定任务后，实体数据动态汇聚及处理部分完成识别目标任务(含正常与否、任务类型等)、按照任务量和资源情况启动相应的下载线程、按照线程的情况和公平规则动态分配下载列表、按照配置文件连接数据服务器、按照所分配的列表顺序获取文件流、对下载内容进行存储、对下载过程中的异常进行恢复和纠正、质量检查、实体数据内容提取、元数据项补充及更新、文件归档、用户提醒等工作(如图7所示)。

通过上述步骤，完整地实现了面向全球变化研究的空间科学数据自动汇聚等工作。

与现有技术相比，本发明的优点和积极效果：

基于本发明的方法，可以使得科学家们方便地、一站式地查询、获取和使用分布在全球各地的海量全球变化空间科学数据资源，解决全球变化研究中的数据自动汇聚问题。

附图说明

图1面向全球变化研究的空间科学数据自动汇聚流程图；

图2数据资源动态发现；

图3元数据动态汇聚；

图4元数据一致化表达及转换；

图5元数据存储管理；

图6用户检索部分；

图7实体数据动态汇聚及处理。

具体实施方式

下面以landsat数据为例说明一下本发明的实施方式。

首先对需要汇聚的特定数据源整理其数据网站的地址(比如landsat的数据网站地址为http://glovis.usgs.gov/)和需要汇聚的数据产品类型(比如LANDSAT-7SLC_off)。

接下来服务器根据landsat数据产品类型、年份、日数等不同，生成可能有效的数据产品id列表，landsat的数据产品id是一种格式为：LXSPPPRRRYYYYDDDGSIVV型的字符串，其中每一位的含义为：

L-表示Landsat数据。

X-表示产品类型(M代表MSS，T代表TM，E代表ETM+)。

S-表示卫星(1，2，3，4，5，7)。

PPP-表示WRS通道。全球的范围是001-251，中国的范围是114-151。

RRR-表示WRS列。全球范围是001-248，中国的范围是011-051。

YYYY-表示数据产品的年份。

DDD-表示数据产品日数(001-366)。

GSI-表示地面站标识(比如北美站点为AAA，中国北京站点为BJC等)。

VV-表示版本(两位数字)。

之后服务器对生成的数据产品id列表中的每一个id进行有效性验证，可以通过提交到数据网站的验证接口(比如landsat的接口为http://edcsns17.cr.usgs.gov/EarthExplorer/order/bulkDownload.php)根据元数据文件是否存在验证id的有效性；或者在下述拼接url基础上通过直接访问元数据文件的方式根据元数据文件是否存在验证id的有效性。

对有效的数据产品id，在数据产品id和元数据文件url固定部分的基础上，拼接生成目标(元数据及其对应图片)文件的url地址(比如数据产品id＝LE71370312010294SGS00的元数据文件的地址：http://edcsns17.cr.usgs.gov/cgi-bin/EarthExplorer/fgdc.cgi？dataset_name＝LANDSAT_ETM&entity_id＝LE71370312010294SGS00&format＝HTM)。对于生成的有效元数据文件url(含对应的图片文件url)，组合生成下载文件列表和下载任务(一个下载任务对应的下载列表中某一类型数据产品需下载的url数量占该下载任务需下载url总数量的比例等同于该类型数据产品的有效id数量占当前数据源中总有效id数量的比例；并且url依次按照数据产品类型、时间顺序排列)，并启动之。

服务器元数据动态汇聚部分在检测到已经可以启动的landsat下载任务后，按照下载列表的url数量和数据源的数据服务器的资源情况启动相应的下载线程，并按照线程的情况及公平原则将下载列表动态分配(分配规则：采取完全随机的方式进行分配)给下载线程，之后各线程按照配置文件连接数据服务器及按照所分配的列表顺序获取文件流、对下载内容进行存储、对图片文件进行尺寸缩小和对下载过程中的异常进行恢复和纠正等。

服务器对下载完成的元数据文件(含对应的图片文件)，首先需要经过质量检查，包括文件是否能打开，文件大小和下载前是否相同，元数据文件、图片文件、缩小的图片文件是否一一对应等。对质量检查合格的元数据文件可以进行元数据项的提取(比如数据产生时间、实体数据文件所包含数据范围四个顶点的经纬度值、云量等)，并通过计算判断的方式确定四个顶点的经纬度值(计算判断的原则是：最北点的纬度值最大，最南点的纬度值最小，最东点的经度值最大，最西点的经度值最小)，之后在对元数据项进行必要转换(比如考虑到对数字建立索引的过程中对正数处理比较方便，统一将所有的经纬度值增加一个固定的正数，例如180，从而将所有的经纬度转换成大于或等于0的数；为了表达一致和建立索引高效，将数据的产品类型等统一转换成数字编码)的基础上对四个顶点经纬度值等建立数字索引(每一个数据均有一个唯一的数据id值)，同时将其他的元数据内容(包括元数据文件的路径)插入到本发明服务器的元数据项数据库中(每一个数据均有一个唯一的数据id值)。此过程中在元数据文件、元数据项数据库数据、数字索引项数据之间通过文件路径、元数据项数据库的数据id值、数字索引项中的数据id值(和元数据项数据库中的数据id值是同一值，对应一致)建立一一对应的映射关系，从而在此基础上形成可统一访问的数据检索接口。

此后，用户可以在用户检索部分提供的检索接口，通过直接输入经纬度值或者提交特定空间对象特征(服务器事先建立这些空间对象特征和经纬度之间的对应关系，在用户提交空间对象特征时，服务器首先将这些特征转换为经纬度值)等作为查询条件，服务器将用户输入或经转换后的经纬度值增加固定的数值(比如180)后对查询条件进行相关性计算，并对查询结果按照区域中心点和查询区域中心点的距离、时间、云量、是否存在实体数据等条件顺序排列，以此展示特定区域的空间数据情况，比如landsat数据产品中存在的此区域的数据列表，是否存在实体数据，数据产生时间、云量等等。如果用户需要这些实体数据，并且实体数据已经保存在服务器中，可直接提供给用户使用；如果服务器中不存在这些实体数据，用户可以提出数据预定申请，服务器据此组合生成实体数据下载文件(实体数据文件url是在数据产品id有效性验证过程中得到，比如数据产品id＝LE71370312010294SGS00的实体数据文件url为：http://edclpdsftp.cr.usgs.gov/lsatL1GT/137/31/2010/LE71370312010294SGS00.tar.gz？id＝6f045c0db5e533f756408cba12b3f478&iid＝LE71370312010294SGS00&did＝8884537&ver＝)列表和下载任务(一个下载任务对应的下载列表中每一类型数据产品的url组合规则为：url按照数据产品类型、时间顺序排列)，并启动之。

服务器实体数据动态汇聚及处理部分在检测到已经可以启动的landsat下载任务后，按照下载列表的url数量和数据源的数据服务器的资源情况启动相应的下载线程，并按照线程的情况及公平原则将下载列表动态分配(分配规则：按照url顺序分配)给下载线程，之后各线程按照配置文件连接数据服务器及按照所分配的列表顺序获取文件流、对下载内容进行存储、对下载过程中的异常进行恢复和纠正等(比如对下载失败文件，首先对失败原因进行判断，如果url正确，则更换线程后在已下载内容基础上继续下载；如果url错误，则采用和元数据文件id有效性验证过程类似的步骤重新生成新的有效的实体数据url后再继续下载)。此后服务器即可进行实体数据质量检查(包括文件是否能打开，文件大小和下载前是否相同，实体数据文件、元数据文件、图片文件、缩小的图片文件是否一一对应等)、元数据项补充及更新(比如将是否存在实体数据标志标注为是)、文件归档存储、向用户发出任务完成提醒等。

在此基础上，用户即可访问、使用实体数据。从而实现了分布、多源、异构空间科学数据的自动汇聚、定位、获取等功能。

Claims (10)

1.一种面向全球变化研究的空间科学数据自动汇聚方法，其步骤为：

1)选定数据源，服务器定期对所选数据源进行访问，生成下载列表和下载任务；其方法为：首先根据数据源的数据产品类型，生成该数据源元数据文件的可能有效id列表；然后验证可能有效id列表中每一id所标示的元数据文件是否存在，从而得到当前有效的元数据文件id列表；最后根据有效的id生成完整的元数据文件url，并根据元数据文件url生成所述下载列表和下载任务；

2)服务器根据所述下载列表和下载任务，访问数据源数据服务器，进行数据下载并将其保存到服务器；

3)服务器对下载的元数据文件进行质量检查，并对检查合格的元数据文件进行元数据项提取；其中，提取的所述元数据项包括：数据产生时间、实体数据文件所包含数据范围四个顶点的经纬度值、云量；对元数据文件进行所述质量检查包括：文件是否能打开，文件大小和下载前是否相同，元数据文件、图片文件、缩小的图片文件是否一一对应；

4)将元数据项及元数据文件路径保存到元数据项数据库并建立数字索引；其中，所述数字索引的建立方法为：首先对提取的实体数据文件所包含数据范围四个顶点的经纬度值进行计算，确定最北点的纬度值、最南点的纬度值、最东点的经度值、最西点的经度值；然后将确定的四个顶点经纬度值转换为大于或等于0的数；最后根据转换后的顶点经纬度值建立所述数字索引；

5)服务器通过元数据文件路径、元数据项数据库的数据id值、数字索引项中的数据id值，建立元数据文件、元数据项数据库数据、数字索引项数据之间一一对应的映射关系，并提供一检索接口；

6)服务器根据输入的查询条件，查询服务器中是否存在所查询的实体数据，如果不存在则生成数据预订申请，并根据预订申请生成实体数据下载列表和下载任务；

7)服务器根据所述实体数据下载列表和下载任务，访问数据源数据服务器，进行实体数据下载，并对下载实体数据进行质量检查、存储以及元数据项的更新。

2.如权利要求1所述的方法，其特征在于将所述四个顶点经纬度值分别加180，从而将所述四个顶点经纬度值转换为大于或等于0的数。

3.如权利要求1所述的方法，其特征在于所述根据有效的id生成完整的元数据文件url，并根据元数据文件url生成所述下载列表和下载任务的方法为：每一下载任务对应一下载列表，当设定下载url总数量为N时，每一下载列表中某一类型数据产品需下载的url数量占该下载任务需下载的url总数量的比例等同于该类型数据产品的有效id数量占当前数据源总有效id数量的比例；并且url依次按照数据产品类型、时间顺序排列；其中，N小于或等于总有效id数。

4.如权利要求3所述的方法，其特征在于服务器将所述下载列表中的url按照随机分配的方式分配给下载线程。

5.如权利要求2所述的方法，其特征在于所述查询条件为：经纬度值或空间对象特征。

6.如权利要求5所述的方法，其特征在于服务器首先建立空间对象特征与经纬度值之间的对应关系，然后将查询条件对应的经纬度值转换为大于或等于0的数，再根据转换后的查询条件进行查询，最后对查询结果按照区域中心点和查询区域中心点的距离、时间、云量、是否存在实体数据顺序排列。

7.如权利要求1所述的方法，其特征在于所述实体数据下载列表和下载任务的生成方法为：每一下载任务对应一下载列表，每一下载列表中每一类型数据产品的下载地址url按照数据产品类型、时间顺序排列。

8.如权利要求7所述的方法，其特征在于服务器按照所述实体数据下载列表中url顺序将其分配给下载线程，各下载线程按照所分配的列表顺序获取文件流、对下载内容进行存储。

9.如权利要求8所述的方法，其特征在于所述下载线程对下载过程的异常进行恢复和纠正，其方法为：首先对失败原因进行判断，如果url正确，则更换线程后在已下载内容基础上继续下载；如果url错误，则重新生成新的有效的实体数据url后再继续下载。

10.如权利要求1或7或8或9所述的方法，其特征在于对实体数据进行质量检查包括：文件是否能打开，文件大小和下载前是否相同，实体数据文件、元数据文件、图片文件、缩小的图片文件是否一一对应。

Images