CN104506632B - 一种基于分布式多中心的资源共享系统及方法 - Google Patents

Abstract

本发明公开了一种基于分布式多中心的资源共享系统及方法，物理层提供系统存储和计算的硬件服务，分布式集群提供分布式存储和分布式计算能力，确保内部数据迁移以及外部的安全分发；资源层是集分布式文件存储系统、分布式数据库系统、关系型数据库、分布式并行分析计算于一体的综合资源数据缓存库，完成资源目录管理；虚拟层是针对资源层的虚拟整合操作，实现对资源层的增删查改操作、对分布式集群的监理，提供分布式的数据加工和整合；服务层位于服务系统最上层，对外提供客户端的信息检索、数据加工处理、缓存中心管理综合服务。本发明的有益效果是系统具有处理能力强，数据扩展性强，支持并行处理，处理效率高。

Description

一种基于分布式多中心的资源共享系统及方法

技术领域

本发明属于数据处理技术领域，涉及一种基于分布式多中心的资源共享系统及方法。

背景技术

在互联网时代，信息总量呈高速发展的态势。资源共享与服务技术是互联网构建的核心，但随着信息爆炸时代的到来，单一服务器单一中心的资源共享技术由于其存储数据总量，核心计算单元，存储数据分发速度的限制，在数据量大，访问量大的系统构建中很难高效快速的完成数据共享与分发服务。

分布式系统是将系统的应用层，数据层或其他部分架构成网络分布的架构。支持分布式处理，在通信网络互联的多处理机体积结构上执行任务的系统。分布式系统具有处理能力强，数据扩展性强，支持并行处理的优点，是针对海量数据的一种有效的解决思路。

发明内容

本发明的目的在于提供一种基于分布式多中心的资源共享系统和方法，解决了现有的资源共享系统对于海量数据的处理共享效率低的问题。

本发明所采用的技术方案是包括物理层、资源层、虚拟层和服务层；

物理层：物理层是分布式集群、复合网络环境和安控设备组成的系统基础设施，提供系统存储和计算的硬件服务，分布式集群提供分布式存储和分布式计算能力，复合网络环境包括内部万兆网以及外部的互联网，确保内部数据迁移以及外部的安全分发；

资源层：资源层是集分布式文件存储系统、分布式数据库系统、关系型数据库、分布式并行分析计算于一体的综合资源数据缓存库，针对不同功能的数据类型，提供不同的存储机制，完成资源目录管理、统一视图构建、数据组织模型、影像数据无缝组织、数据高效检索、数据库设计和管理维护；

虚拟层：虚拟层实现针对资源层的虚拟整合操作，实现对资源层的增删查改操作、对分布式集群的监理、对资源访问情况的日志记录及数据分析，提供远程数据迁移更新控制，提供分布式的数据加工和整合；

服务层：服务层位于服务系统最上层，组织系统的业务流程，对外提供客户端的信息检索、数据加工处理、缓存中心管理综合服务，服务层是提供数据共享分发服务的前提和基础。

进一步，针对所述物理层解决方案，系统硬件体系由云存储节点和I/O集群组成的构成的分布式虚拟资源池，包括针对应用的应用服务器和针对图像数据的瓦片服务器的应用服务区，若干计算机组成的综合管理终端，若干计算核心组成的数据加工终端组成；

针对所述资源层解决方案，由针对大量图像数据及地理信息数据的分布式瓦片存储数据库，针对临时文件的分布式临时文件存储库，针对其他资源的特有资源存储库组成；

针对所述虚拟层解决方案，由资源管理维护程序，缓存清理软件组成的资源接收服务和用户管理软件和任务管理软件组成的任务监听服务组成；

针对所述服务层解决方案，服务层包括数据分发服务、数据标准化处理软件、数据迁移服务、搜索引擎服务、需求响应服务的软件和服务，自动化运行的处理环节都封装为服务，被交互展现层的软件和工具调用，实现数据信息迁移与分发功能。

进一步，数据迁移流程，影像数据迁移流程用于将历史影像数据、短期影像数据、实时更新影像数据迁移到系统缓存资源池内，能够实现多品类数据基于统一时空基准与框架，统一海量异构数据的在线组织与共享业务；

数据管理流程，数据管理流程用于对已迁移历史影像数据、实时更新影像数据进行更新、删除管理操作；

数据整合流程，数据整合流程是通过数据管理和传输分系统实现对分布式虚拟资源池内部已迁移的历史数据、短期数据、实时更新数据按照用户需求进行统一整合，并发送回客户端的过程；

数据检索流程，数据检索流程基于已有的数据库技术，实现平台的区域数据提供能力和高效的数据传输能力。

本发明的有益效果是系统具有处理能力强，数据扩展性强，支持并行处理，处理效率高。

附图说明

图1是本发明分布式多中心资源共享与服务技术的硬件架构；

图2是本发明分布式多中心资源共享与服务技术的软件系统架构；

图3是数据迁移流程；

图4是数据管理流程；

图5是数据整合流程；

图6是数据检索流程。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于分布式多中心的资源共享方法，如图1所示，其硬件架构为：包括应用服务区、综合管理终端、数据加工终端和分布式虚拟资源池；

所述应用服务区内设置有若干应用服务器，应用服务器加装有WEB应用安全网关，应用服务器通过千兆以太网通过防火墙连接核心网络交换机；

所述综合管理终端设有若干计算机，通过千兆以太网通过桌面网络交换机连接核心网络交换机；

所述分布式虚拟资源池内设有若干云存储节点，若干云存储节点通过光纤进过光纤通道交换机连接I/O集群服务器，然后I/O集群服务器通过万兆以太网经过路由器连接核心网络交换机；

所述数据加工终端设有若干计算机，通过千兆以太网通过桌面网络交换机连接核心网络交换机；

所述核心网络交换机还连接有防火墙和加密设备，对核心网络交换机进一步加强安全，分布式虚拟资源池采用并行的云存储节点，可以满足应用服务区、综合管理终端、数据加工终端对数据的提取需要。

本发明的分布式系统是将系统的应用层，数据层或其他部分架构成网络分布的架构。支持分布式处理，在通信网络互联的多处理机体积结构上执行任务的系统。分布式系统具有处理能力强，数据扩展性强，支持并行处理的优点，是针对海量数据的一种有效的解决思路。本发明基于分布式软件管理架构，通过分布式数据库系统，统一组织管理资源数据，为应用系统提透明的数据访问传输、可视化展示、数据下载等服务。如图2所示，本发明在系统组织架构上划分为物理层、资源层、虚拟层和服务层。本发明在系统架构基础上，还基于分布式多中心的资源共享与服务技术，定义了四个基本流程来完成整个资源共享与服务系统的维护与运行，系统组织架构上划分为物理层、资源层、虚拟层和服务层。

物理层：物理层是分布式集群、复合网络环境和安控设备组成的系统基础设施，提供系统存储和计算的硬件服务。分布式集群提供分布式存储和分布式计算能力。复合网络环境包括内部万兆网以及外部的互联网，确保内部数据迁移以及外部的安全分发。

资源层：资源层是集分布式文件存储系统、分布式数据库系统、关系型数据库、分布式并行分析计算于一体的综合资源数据缓存库。针对不同功能的数据类型，提供不同的存储机制。有针对图片数据的影像数据库和存放临时资源的临时资源存储库。主要任务是完成资源目录管理、统一视图构建、数据组织模型、影像数据无缝组织、数据高效检索、数据库设计和管理维护等，解决海量异构数据的高效组织管理与检索等问题。

虚拟层：虚拟层实现针对资源层的虚拟整合操作，实现对资源层的增删查改操作、对分布式集群的监理、对资源访问情况的日志记录及数据分析，提供远程数据迁移更新控制，提供分布式的数据加工和整合手段。实现了上层结构对资源层的透明化管理使用。

服务层：服务层位于服务系统最上层，组织系统的业务流程，对外提供客户端的信息检索、数据加工处理、缓存中心管理等综合服务。服务层是提供数据共享分发服务的前提和基础。

其中针对物理层解决方案，系统硬件体系由云存储节点和I/O集群组成的构成的分布式虚拟资源池，包括针对应用的应用服务器和针对图像数据的瓦片服务器的应用服务区，若干计算机组成的综合管理终端，若干计算核心组成的数据加工终端组成。

其中针对资源层解决方案，由针对大量图像数据及地理信息数据的分布式瓦片存储数据库，针对临时文件的分布式临时文件存储库，针对其他资源的特有资源存储库组成。

其中针对虚拟层解决方案，由资源管理维护程序，缓存清理软件组成的资源接收服务和用户管理软件和任务管理软件组成的任务监听服务组成。

其中针对服务层解决方案，服务层具体包括数据分发服务、数据标准化处理软件、数据迁移服务、搜索引擎服务、需求响应服务等软件和服务，自动化运行的处理环节都封装为服务，被交互展现层的软件和工具调用，实现数据信息迁移与分发功能。

本发明在系统架构基础上，还基于分布式多中心的资源共享与服务技术，定义了四个基本流程来完成整个资源共享与服务系统的维护与运行；

数据迁移流程，影像数据迁移流程用于将历史影像数据、短期影像数据、实时更新影像数据迁移到系统缓存资源池内，能够实现多品类数据基于统一时空基准与框架，统一海量异构数据的在线组织与共享业务。

数据管理流程，数据管理流程用于对已迁移历史影像数据、实时更新影像数据进行更新、删除等管理操作。

数据整合流程，数据整合流程是通过数据管理和传输分系统实现对分布式虚拟资源池内部已迁移的历史数据、短期数据、实时更新数据按照用户需求进行统一整合，并发送回客户端的过程。

数据检索流程，数据检索流程基于已有的数据库技术，实现平台的区域数据提供能力和高效的数据传输能力。

针对虚拟层架构，有：

(1)搜索引擎模块

搜索引擎对外提供任意区域的数据搜索、多时相多尺寸的数据搜索；对内建立高效索引机制，整合异构的数据。

(2)虚拟资源管理模块

虚拟资源管理模块负责为系统中异构的数据及其他信息提供统一的存储和访问管理。首先，管理软件提供基于云存储的分级存储策略；其次，提供数据全生命周期管理，包括数据的迁移入库、存储、备份、下线等管理功能，最后，通过负载均衡、数据备份、数据迁移、容灾等机制，保障数据存储的高效访问、高可用、灵活扩展和数据安全。

(3)任务管理模块

任务管理工具服务对迁移任务、入库任务、加工任务的统一增加、查询、备份管理功能。

(4)时空关联模块

时空管理工具提供对海量异构数据的时相、空间属性到瓦片的映射管理。负责数据的入库时空映射管理以及访问时的时空检索功能。

(5)缓存清理模块

缓存清理软件根据缓存中内容的优先级排序，在不同使用情境下采用不同的清理策略，实现对缓存的清理。

服务层由任务监听、数据标准化、报文封装解析、渐进式传输四种辅助模块和数据迁移、数据整合、数据管理和数据检测四种服务组成。

(1)任务监听模块；

任务监听工具负责监听数据加工端的文件系统，在有新数据产品生产后，读取新产品的元信息，并向服务器端发起迁移请求。

(2)数据标准化模块；

数据标准化软件针对异构数据，提供一个标准的指针式的存储和利用方式，使得异构数据可以达到统一入库，使用，下载的目的。

(3)报文封装和解析模块；

报文封装和解析工具为满足高安全要求，在信息传输经过加密设备前后，对来自客户端的请求及服务端的响应数据进行压缩、封装、报文解析等处理。

(4)渐进式传输加工模块；

渐进式传输加工模块解决中低网速环境下的图片快速传输问题。工具对影像进行无损的增量式压缩加工处理，并将影像数据流封装成多段不同质量的数据包。实现影像数据的边传边看功能。

数据迁移服务流程如图3所示：

1)用户获取原始图像、图像素材等数据后，利用已有处理平台提供的图像处理、判读、标注等功能，生产产品数据；

2)数据加工终端确定产品数据并向数据迁移分系统服务端发送数据迁移请求；

3)迁移分系统服务端接收到迁移请求，开始接收数据。迁移分系统按照已有的存储、组织方式进行文件的存储、入库与关联；

4)数据迁移分系统接收完毕后，分布式文件系统向缓存分布式虚拟资源池发送缓存通知；

5)区域影像迁移分系统解析已迁移数据属性，并实时完成数据资源在资源池各级存储间流转，以达到缓存资源访问效率的最优化；

6)数据迁移分系统向管理网站发送缓存完成通知。

数据管理服务流程如图4所示：

1)确定需要更新或删除的数据，向数据管理和传输分系统发送更新或删除请求；

2)数据管理和传输分系统接收到更新或删除请求，对提交的请求进行解析，按照解析结果查找元信息库中的相应任务元数据；

3)数据管理和传输分系统通过区域元信息同步更新删除缓存分布式虚拟资源池中的数据资源；

4)缓存分布式虚拟资源池执行同步操作完成，更新元信息库；

5)数据管理和传输分系统向管理客户端发送更新或删除完成通知。

数据整合流程如图5所示：

1)用户通过客户端对区域的数据提出整合需求，确定整合属性；

2)区域影像管理和传输分系统接收到整合请求，对提交的整合信息轮廓进行解析，按照解析结果检索分布式虚拟资源池中的数据；

3)分布式虚拟资源池抽取需整合的资源，通过整合工具对资源按照需求进行整合；

4)整合完成后，将已整合数据发送到数据加密打包中心节点，中心节点完成打包，根据传输协议向l送数据；

用户接受数据并在客户端显示已整合数据

数据检测流程如图6所示：

1)用户利用客户端提供的浏览和下载功能检索所需数据，确定数据属性信息；

2)数据管理和传输分系统接收到检索或下载请求后，对提交的需求信息进行分解规范，形成用户数据检索条件集合；

3)数据管理和传输分系统抽取数据(包括：历史数据、阶段数据、当前数据)，形成符合用户需求的区域数据；

4)数据管理和传输分系统将区域数据发送到数据加密打包中心节点，数据加密打包中心节点完成加密打包向用户分发区域数据；

5)用户接收区域数据并在客户端显示应用。

以上所述仅是对本发明的较佳实施方式而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (3)

1.一种基于分布式多中心的资源共享系统，其特征在于：包括物理层、资源层、虚拟层和服务层；

物理层：物理层是分布式集群、复合网络环境和安控设备组成的系统基础设施，提供系统存储和计算的硬件服务，分布式集群提供分布式存储和分布式计算能力，复合网络环境包括内部万兆网以及外部的互联网，确保内部数据迁移以及外部的安全分发；

资源层：资源层是集分布式文件存储系统、分布式数据库系统、关系型数据库、分布式并行分析计算于一体的综合资源数据缓存库，针对不同功能的数据类型，提供不同的存储机制，完成资源目录管理、统一视图构建、数据组织模型、影像数据无缝组织、数据高效检索、数据库设计和管理维护；

虚拟层：虚拟层实现针对资源层的虚拟整合操作，实现对资源层的增删查改操作、对分布式集群的监理、对资源访问情况的日志记录及数据分析，提供远程数据迁移更新控制，提供分布式的数据加工和整合；

服务层：服务层位于资源共享系统最上层，组织系统的业务流程，对外提供客户端的信息检索、数据加工处理、缓存中心管理综合服务，服务层是提供数据共享分发服务的前提和基础；

所述虚拟层架构中包括：时空关联模块，其提供对海量异构数据的时相、空间属性到瓦片的映射管理，负责数据的入库时空映射管理以及访问时的时空检索功能；

所述服务层提供的服务包括：数据检测服务；该数据检测服务的流程包括：1)用户利用客户端提供的浏览和下载功能检索所需数据，确定数据属性信息；2)数据管理和传输分系统接收到检索或下载请求后，对提交的需求信息进行分解规范，形成用户数据检索条件集合；3)数据管理和传输分系统抽取数据，形成符合用户需求的区域数据，所述数据包括：历史数据、阶段数据、当前数据；4)数据管理和传输分系统将区域数据发送到数据加密打包中心节点，数据加密打包中心节点完成加密打包向用户分发区域数据；用户接收区域数据并在客户端显示应用。

2.按照权利要求1所述一种基于分布式多中心的资源共享系统，其特征在于：

针对所述物理层解决方案，系统硬件体系由云存储节点和I/O集群组成的分布式虚拟资源池，包括针对应用的应用服务器和针对图像数据的瓦片服务器的应用服务区，若干计算机组成的综合管理终端，若干计算核心组成的数据加工终端组成；

针对所述资源层解决方案，由针对大量图像数据及地理信息数据的分布式瓦片存储数据库，针对临时文件的分布式临时文件存储库，针对其他资源的特有资源存储库组成；

针对所述虚拟层解决方案，由资源管理维护程序，缓存清理软件组成的资源接收服务和用户管理软件和任务管理软件组成的任务监听服务组成；

针对所述服务层解决方案，服务层包括数据分发服务、数据标准化处理软件、数据迁移服务、搜索引擎服务、需求响应服务的软件和服务，自动化运行的处理环节都封装为服务，被交互展现层的软件和工具调用，实现数据信息迁移与分发功能。

3.按照权利要求1所述一种基于分布式多中心的资源共享系统的维护与运行方法，其特征在于：

数据迁移流程，影像数据迁移流程用于将历史影像数据、短期影像数据、实时更新影像数据迁移到系统缓存资源池内，能够实现多品类数据基于统一时空基准与框架，统一海量异构数据的在线组织与共享业务；

数据管理流程，数据管理流程用于对已迁移历史影像数据、实时更新影像数据进行更新、删除管理操作；

数据整合流程，数据整合流程是通过数据管理和传输分系统实现对分布式虚拟资源池内部已迁移的历史影像数据、短期影像数据、实时更新影像数据按照用户需求进行统一整合，并发送回客户端的过程；

数据检索流程，数据检索流程基于已有的数据库技术，实现平台的区域数据提供能力和高效的数据传输能力。