CN105049343A - 分布式卫星数据中心高效协同的轻量级高通量网关系统 - Google Patents

Abstract

本发明公开了一种分布式卫星数据中心高效协同的轻量级高通量网关系统，包括：一致化服务模块，用于对外提供一致化服务接口，实现数据查询、数据获取和编目同步服务功能；业务系统交互模块，用于实现一致化服务模块与各卫星中心业务系统的交互，完成数据节点服务器对业务系统的数据查询、数据获取和编目同步服务的业务过程调用；网关节点管理模块，用于对各个网关节点进行管理和配置。本发明的有益效果：通过实现高效协同的轻量级高通量网关系统，实现了联合我国主要卫星数据中心现有业务系统的无缝协同，在保持原有业务系统独立性自治性的前提下，为实现了全局化的数据发现、数据获取和数据按需处理打下了良好的基础。

Description

分布式卫星数据中心高效协同的轻量级高通量网关系统

技术领域

本发明涉及卫星遥感观测与计算技术结合领域，具体来说，涉及一种分布式卫星数据中心高效协同的轻量级高通量网关系统。

背景技术

伴随着中国航天事业的发展，国内出现了许多卫星数据中心，包括中国科学院遥感与数字地球研究所、国家卫星气象应用中心、中国资源卫星应用中心、国家卫星海洋应用中心、国际测绘地理信息局卫星测绘应用中心等卫星数据共享平台。这些卫星数据资源极其丰富，在国土资源调查、自然灾害预报、气象、水文等领域运用也是极为广泛，并且，每天都在以TB的数量级在增长。但是，由于各个卫星中心所存储的元数据格式、数据类型、存储方式、对外服务接口等不尽相同，使得这些卫星数据平台一定程度上形成信息孤岛现象。用户在对卫星数据进行使用，特别是对多颗不同卫星的数据进行综合使用的过程中，对所需数据的查询及获取过程较为繁琐且消耗时间和精力。

因此，为改变目前卫星数据的获取情况，提高卫星数据的利用率，急需压研发一种基于现有数据服务协议和标准，不改变原有卫星数据业务系统运行模式的高效协同的轻量级高通量网关系统，以构建连接我国多卫星中心的分布式数据服务环境，形成具备组网观测和数据主动服务能力的下一代对地观测数据设施，实现国内多个卫星数据中心的连通和一致化高效数据访问的服务环境，为环境保护、农业、地矿、林业、国土等行业部门的工作提供更好的数据服务支持。

发明内容

本发明的目的是提供一种分布式卫星数据中心高效协同的轻量级高通量网关系统，以克服现有相关技术中所存在的上述技术问题。

本发明的技术方案是这样实现的：

一种分布式卫星数据中心高效协同的轻量级高通量网关系统，包括：一致化服务模块，用于对外提供一致化服务接口，实现数据查询、数据获取和编目同步服务功能；业务系统交互模块，用于实现一致化服务模块与各卫星中心业务系统的交互，完成数据节点服务器对业务系统的数据查询、数据获取和编目同步服务的业务过程调用；网关节点管理模块，用于对各个网关节点进行管理和配置。

其中，所述一致化服务模块包括数据查询子模块、数据获取子模块和目录编目服务子模块，其中，外部数据查询子模块，用于接收并解析用户通过一致化服务接口发起的数据查询请求，并将解析结果发送至业务系统交互模块，促使业务系统交互模块根据该解析结果查询并反馈对应的元数据信息，其中，所述元数据信息中包含数据ID；外部数据获取子模块，用于根据用户选择的数据ID，生成与所述数据ID对应的数据获取订单，并将该数据获取订单发送至业务系统交互模块，促使业务系统交互模块根据该数据获取订单查询并反馈对应的数据；外部编目服务子模块，用于接收用户发起的编目服务请求，并将该编目服务请求发送至业务系统交互模块，促使业务系统交互模块根据该编目服务请求生成并反馈编目服务需求的统计信息。

其中，所述业务系统交互模块包括内部数据查询子模块、内部数据获取子模块和内部编目服务子模块，其中，内部数据查询子模块，用于接收外部数据查询子模块发送的解析结果，并将该解析结果转换为内部业务系统的查询请求，并提交给卫星存档目录系统，实时返回对应的元数据信息；内部数据获取子模块，用于接收外部数据获取子模块发送的数据获取订单，并将数据获取订单转换为内部业务系统的数据获取订单，并提交给卫星存档目录系统，在订单完成后返回对应数据；内部编目服务子模块，用于接收外部编目服务子模块发送的编目服务请求，并将该编目服务请求转换为内部业务系统的编目统计，并提交给内部业务系统，生成并反馈编目服务需求的统计信息。

此外，所述外部数据查询子模块还用于根据解析结果，生成与所述解析结果对应的任务ID，并将该任务ID反馈至用户，促使用户根据该任务ID获取对应的元数据信息。

其中，所述网关节点管理模块包括数据服务发布子模块、服务启动关闭子模块、服务配置修改子模块、数据访问记录子模块和数据更新管理子模块。

本发明的有益效果：通过实现高效协同的轻量级高通量网关系统，实现了联合我国主要卫星数据中心现有业务系统的无缝协同，在保持原有业务系统独立性自治性的前提下，为实现了全局化的数据发现、数据获取和数据按需处理打下了良好的基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种分布式卫星数据中心高效协同的轻量级高通量网关系统的结构示意图；

图2是根据本发明实施例的一致化服务模块的结构示意图；

图3是根据本发明实施例的业务系统交互模块的结构示意图；

图4是根据本发明实施例的网关节点管理模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种分布式卫星数据中心高效协同的轻量级高通量网关系统。

如图1所示，根据本发明实施例的分布式卫星数据中心高效协同的轻量级高通量网关系统包括：

一致化服务模块101，用于对外提供一致化服务接口，实现数据查询、数据获取和编目同步服务功能；

业务系统交互模块103，用于实现一致化服务模块与各卫星中心业务系统的交互，完成数据节点服务器对业务系统的数据查询、数据获取和编目同步服务的业务过程调用；

网关节点管理模块105，用于对各个网关节点进行管理和配置。

如图2所示，所述一致化服务模块101包括数据查询子模块201、数据获取子模块203和目录编目服务子模块205。

其中，外部数据查询子模块201，用于接收并解析用户通过一致化服务接口发起的数据查询请求，并将解析结果发送至业务系统交互模块，促使业务系统交互模块根据该解析结果查询并反馈对应的元数据信息，其中，所述元数据信息中包含数据ID；

其中，外部数据获取子模块203，用于根据用户选择的数据ID，生成与所述数据ID对应的数据获取订单，并将该数据获取订单发送至业务系统交互模块，促使业务系统交互模块根据该数据获取订单查询并反馈对应的数据；

其中，外部编目服务子模块205，用于接收用户发起的编目服务请求，并将该编目服务请求发送至业务系统交互模块，促使业务系统交互模块根据该编目服务请求生成并反馈编目服务需求的统计信息。

如图3所示，所述业务系统交互模块103包括内部数据查询子模块301、内部数据获取子模块303和内部编目服务子模块305。

其中，内部数据查询子模块301，用于接收外部数据查询子模块发送的解析结果，并将该解析结果转换为内部业务系统的查询请求，并提交给卫星存档目录系统，实时返回对应的元数据信息；

内部数据获取子模块303，用于接收外部数据获取子模块发送的数据获取订单，并将数据获取订单转换为内部业务系统的数据获取订单，并提交给卫星存档目录系统，在订单完成后返回对应数据；

内部编目服务子模块305，用于接收外部编目服务子模块发送的编目服务请求，并将该编目服务请求转换为内部业务系统的编目统计，并提交给内部业务系统，生成并反馈编目服务需求的统计信息。

此外，所述外部数据查询子模块201还用于根据解析结果，生成与所述解析结果对应的任务ID，并将该任务ID反馈至用户，促使用户根据该任务ID获取对应的元数据信息。

如图4所示，所述网关节点管理模块105包括数据服务发布子模块401、服务启动关闭子模块403、服务配置修改子模块405、数据访问记录子模块407和数据更新管理子模块409。

为了方便理解本发明的上述技术方案，以下从具体原理角度对本发明的上述技术方案进行详细说明。

在上述分布式卫星数据中心高效协同的轻量级高通量网关系统中，一致化服务模块101是一个服务接口转换器，用于屏蔽各个卫星中心业务系统所提供服务的异构性，对外提供一致化的数据访问服务接口，包括：

外部数据查询子模块201负责数据网关对外发布数据查询服务的WebService接口，用户可以调用接口实现数据查询功能。查询采用异步方式，具体实现方式为接收到用户查询请求后返回符合条件的数据元信息描述，当查询结果数据条目大于1000条时可连续请求系统，系统根据任务单号获取附加的查询结果，在查询任务完成1小时后自动清理查询任务单。另外，考虑到各个卫星中心数据存储量巨大，当查询条件范围过大时可能返回查询结果过多造成堆溢出，查询条件将做限制，限制一周以上数据查询以及洲际范围以上数据查询行为。

外部数据获取子模块203负责响应数据获取订单，在用户查询到数据后，可对感兴趣的数据进行数据订购，生成统一订单。订单以邮件方式返回给用户，包含用户所订购数据的基本信息、时间、有效期、下载URL。统一单位经解析为各卫星中心内部订单后，从各卫星中心提取数据在规定的有效期内为用户保存。

外部编目服务子模块205分为对外的数据编目功能和对内的目录本身的同步的功能。编目功能实现用户对数据条目和数据量大小的统计。包括在线编目和离线编目两部分。用户可以获取特定传感器、时间区间、数据级别条件下的数据条目、数据量大小、数据覆盖范围信息。由于编目服务一般统计量较大，对整个系统带来的负担较重，所以只对特定权限的用户开放使用。

业务系统交互模块103是为了利用现有业务系统的功能模块和接口，实现数据网关对各中心现有数据业务系统的调用和交互，以完成一致化服务模块中数据查询、数据获取、编目服务请求的响应。针对各卫星中心的数据网关与数据业务系统的交互模块设计包括以下三种情况：

（1）卫星中心如果没有相应的数据服务，可以提供元数据库，则直接访问元数据库，按照中心数据节点制定的接口，提供数据服务；

（2）卫星中心如果有相应的数据服务，为了实现业务系统的交互，则开发中心数据节点制定的服务接口，便于中心节点直接访问服务。

（3）卫星中心如果有相应的数据服务，不能开发中心节点制定的服务接口，则提供自己的服务接口给中心节点，中心节点自己通过服务接口的转换实现业务系统交互。

网关节点管理模块105是为各个卫星中心数据网关的管理员对其节点进行管理提供对应操作，包括了数据服务发布子模块401、服务启动关闭子模块403、服务配置修改子模块405、数据访问记录子模块407和数据更新管理子模块409等子模块：

数据服务发布子模块401：卫星中心数据网关上将自带一致化服务，在服务配置稳定后可将数据服务一次性发布到中心元数据库模块，便于中心元数据库通过该节点访问各个卫星中心的数据。

服务启动关闭子模块403：对于数据网关的数据服务，管理员通过服务启动关闭子模块可对其进行关闭和重新启动。

服务配置修改子模块405：管理数据网关上数据访问服务的配置信息，包括IP地址，访问的元数据库字段或者对应服务接口的元数据属性与服务接口属性的对应关系，元数据库或对应服务的访问地址等。

数据访问记录子模块407：记录各个用户访问数据的行为，主要是记录查询行为和数据获取行为。

数据更新管理子模块409：卫星中心数据网关可向中心元数据库发起数据更新通知，告知中心元数据库触发编目服务，更新该节点所连接数据的元数据信息。重要的是，数据更新过程不可能更新每个卫星中心业务系统的全局数据，而是调用一致化服务模块的编目服务进行增量数据更新。

综上所述，借助于本发明的上述技术方案，通过实现高效协同的轻量级高通量网关系统，实现了联合我国主要卫星数据中心现有业务系统的无缝协同，在保持原有业务系统独立性自治性的前提下，为实现了全局化的数据发现、数据获取和数据按需处理打下了良好的基础。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种分布式卫星数据中心高效协同的轻量级高通量网关系统，其特征在于，包括：

一致化服务模块，用于对外提供一致化服务接口，实现数据查询、数据获取和编目同步服务功能；

业务系统交互模块，用于实现一致化服务模块与各卫星中心业务系统的交互，完成数据节点服务器对业务系统的数据查询、数据获取和编目同步服务的业务过程调用；

网关节点管理模块，用于对各个网关节点进行管理和配置。

2.根据权利要求1所述的分布式卫星数据中心高效协同的轻量级高通量网关系统，其特征在于，所述一致化服务模块包括数据查询子模块、数据获取子模块和目录编目服务子模块，其中，

外部数据查询子模块，用于接收并解析用户通过一致化服务接口发起的数据查询请求，并将解析结果发送至业务系统交互模块，促使业务系统交互模块根据该解析结果查询并反馈对应的元数据信息，其中，所述元数据信息中包含数据ID；

外部数据获取子模块，用于根据用户选择的数据ID，生成与所述数据ID对应的数据获取订单，并将该数据获取订单发送至业务系统交互模块，促使业务系统交互模块根据该数据获取订单查询并反馈对应的数据；

外部编目服务子模块，用于接收用户发起的编目服务请求，并将该编目服务请求发送至业务系统交互模块，促使业务系统交互模块根据该编目服务请求生成并反馈编目服务需求的统计信息。

3.根据权利要求2所述的分布式卫星数据中心高效协同的轻量级高通量网关系统，其特征在于，所述业务系统交互模块包括内部数据查询子模块、内部数据获取子模块和内部编目服务子模块，其中，

内部数据查询子模块，用于接收外部数据查询子模块发送的解析结果，并将该解析结果转换为内部业务系统的查询请求，并提交给卫星存档目录系统，实时返回对应的元数据信息；

内部数据获取子模块，用于接收外部数据获取子模块发送的数据获取订单，并将数据获取订单转换为内部业务系统的数据获取订单，并提交给卫星存档目录系统，在订单完成后返回对应数据；

内部编目服务子模块，用于接收外部编目服务子模块发送的编目服务请求，并将该编目服务请求转换为内部业务系统的编目统计，并提交给内部业务系统，生成并反馈编目服务需求的统计信息。

4.根据权利要求3所述的分布式卫星数据中心高效协同的轻量级高通量网关系统，其特征在于，所述外部数据查询子模块还用于根据解析结果，生成与所述解析结果对应的任务ID，并将该任务ID反馈至用户，促使用户根据该任务ID获取对应的元数据信息。

5.根据权利要求4所述的分布式卫星数据中心高效协同的轻量级高通量网关系统，其特征在于，所述网关节点管理模块包括数据服务发布子模块、服务启动关闭子模块、服务配置修改子模块、数据访问记录子模块和数据更新管理子模块。