CN104794150A - 一种基于空间知识云环境的云存储模型与管理方法 - Google Patents

Abstract

本发明提供一种基于空间知识云环境的云存储模型与管理方法，构建全球海量空间信息云环境下的存储模型，实现应用软件与存储设备相结合，通过应用软件来完成存储设备向存储服务的转变；建立云环境下全球空间知识数据库，研究多源异构空间数据半自动生成技术，构建“知识与规则”空间数据关系的框架，实现数据的自动更新；利用空间信息共享技术，突破海量空间知识云环境下的管理技术，实现多尺度空间数据集成管理、共享与服务，推进大数据时代海量数据云存储模式的发展。

Description

一种基于空间知识云环境的云存储模型与管理方法

技术领域

针对全球海量空间数据数据量大、存储成本高、存储效率低等特点，传统存储模式已难以满足大数据时代对数据存储高性能、高容量、易扩展的需求，构建全球海量空间信息云环境下的存储模型，通过集群应用、网络技术或分布式系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来，协同工作，实现共同对外提供数据存储和业务访问等功能，在大数据时代，为大数据存储领域开拓一种易扩容、易管理、更高效、更廉价、更安全的数据存储方法。

背景技术

IDC(Internet Data Center，互联网数据中心)研究表明，从2006年到2010年，全球信息总量增长了6倍以上，随着技术的发展，现有传统磁盘阵列中已经普遍采用了750GB或1TB的SATA硬盘。但在面对PB级的海量存储需求时，传统的SAN或NAS在海量和性能的扩展上存在瓶颈，已经不能满足新形势下对数据保存高性能、高容量、易扩展的需求。于是众多厂商均对云存储投入极大的支持与关注，Amazon公司推出弹性块存储(EBS)技术支持数据持久性存储；Google推出在线存储服务GDrive；内容分发网络服务提供商CDNetworks和云存储平台服务商Nirvanix结成战略伙伴关系，提供云存储和内容传送服务集成平台；EMC公司收购Berkeley DataSystems，取得该公司的Mozy在线服务软件，并开展SaaS业务；Microsoft公司推出Windows Azure，并在美国各地建立庞大的数据中心；IBM也将云计算标准作为全球备份中心扩展方案的一部分。可以说，云存储一经问世就受到高度关注。

云存储与传统的存储设备相比，其不仅仅是一个硬件，更是一个由网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。如附图1所示，其系统结构模型共分为四层。第一层为数据存储层，是云存储最基础的部分。存储设备可以是FC(Fibre Channel，网状通道)光纤通道存储设备，可以是NAS(Network Attached Storage，网络附属存储)和ISCSI(Internet Small Computer System Interface)等IP存储设备，也可以是SCSI(Small Computer System Interface，小型计算机系统接口)或SAS(SerialAttached SCSI，串行连接小型计算机系统接口)等DAS(Direct-Attached Storage，开放系统的直联式存储)存储设备。第二层数据管理层是云存储最核心的部分，也是云存储中最难以实现的部分，需要通过集群、分布式文件系统和网络计算等技术，实现云存储中多个存储设备之间的协同工作，使多个存储设备可以对外提供同一种服务，并提供更大、更强、更好的数据访问性能。该层需要完成访问调度，内容分发，存储管理和数据加密、备份、容灾四大功能。第三层应用接口层是云存储最灵活多变的部分，不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。第四层是用户访问层，任何一个授权用户都可以通过标准的公用应用接口来登陆云存储系统，享受云存储服务。

云存储运营单位不同，云存储提供的访问类型和访问手段也不同。另外，云存储不仅是一个由多部分组成的复杂系统，而且其涉及了较多的技术内容，根据云存储的特点及其应用领域，主要的云存储技术包含了CDN(Content Delivery Network，内容分发网络)内容分发、P2P技术、重复数据删除技术、数据加密技术、存储虚拟化技术等。

发明内容

针对全球海量空间数据数据量大、存储成本高、存储效率低等特点，传统存储模式已难以满足大数据时代对数据存储高性能、高容量、易扩展等需求，本发明提出了一种基于空间知识云环境的云存储模型与管理方法。构建全球海量空间信息云环境下的存储模型，实现应用软件与存储设备相结合，通过应用软件来完成存储设备向存储服务的转变；建立云环境下全球空间知识数据库，研究多源异构空间数据半自动生成技术，构建“知识与规则”空间数据关系的框架，实现数据的自动更新；利用空间信息共享技术，突破海量空间知识云环境下的管理技术，实现多尺度空间数据集成管理、共享与服务。具体如附图2所示。

空间知识云环境下的存储模型与管理技术研究，首先需要考虑包括全球海量信息云环境下的存储模型构建、空间知识数据库建设问题，然后针对空间数据库中多源异构空间数据关系的半自动生成技术进行研究，其次需要设计协同标绘数据引擎和空间知识服务引擎，实现数据的存储接入和服务导出。

本发明采用的技术路线共分为六个部分：云环境选择、云计算工具选择、数据库选择、全球海量空间信息云环境下的存储模型构建、空间知识数据库建设、关键技术。具体情况如下

一、云环境选择

●系统云环境：IAAS(基础设施即服务)、PAAS(平台即服务)、SAAS(软件即服务)

二、云计算工具选择

●云计算工具：Hadoop、Hbase

三、数据库选择

●数据库：Hbase、Mongodb

四、全球海量空间信息云环境下的存储模型构建

五、空间知识数据库建设

●标绘信息库

●规则库

●标绘知识库

●运行管理库

六、关键技术

●多源异构空间数据关系的半自动生成技术

1)知识获取与处理

2)规则建立

3)基于“知识与规则”的GIS数据结构表达

4)规则定义

5)可视化表达

●协同标绘数据引擎

●空间知识服务引擎

●THDFS文件系统关键技术

1)采用元数据服务器集群机制

2)采用客户端的核心数据服务器定位解析机制

3)数据混合存储机制

4)数据节点块内索引机制

●HCloudDB云数据库系统建设关键技术

技术路线方案示意图如附图2所示。

通过对基于空间知识云环境的云存储模型与管理方法的构建，从云环境、云计算工具、数据库的选择，全球海量空间信息云环境下的存储模型构建，空间知识数据库建设，以及云存储过程涉及到的关键技术，进行云存储模型与管理方法的建设。实现存储设备向存储服务的转变，实现数据的自动更新，实现多尺度空间数据集成管理、共享与服务，突破海量空间知识云环境存储与管理技术，打破传统数据存储模式，高效、低成本、安全地存储与管理大数据时代海量数据信息，推进新一代云存储及管理模式的发展步伐。

云存储模型与管理方法构建的挑战体现在：1)性能和数据传输速率的限制。有限的网络带宽加上云计算协议带来的延迟极大地降低了用户体验水平，使得很多数据访问模式下目前的云存储并不是最佳选择，比如当数据传输距离很远且数据流动范围很大的场合，或者数据访问频率与事物速率要求很高的场合。云存储服务的应用更多的局限在那些不需要频繁存取数据的场合，比如归档、备份、离线数据保护等；2)可管理性的缺乏。由于缺少独立于提供商的、可用于评估云存储可用性的工业标准或工具，用户担心一旦采用某个提供商云服务模式后就被“锁定”在这个提供商，使得将来在提供商之间的自由迁移变得困难；3)互操作性与协议转换的困境。当前企业的大部分应用程序都是采用基于文件块的协议，比如PC、iSCSI等，但是云存储架构中盛行的是基于文件的协议，比如CIFS和NFS，同时无论对公共云还是私有云的访问均采用REST和SOAT协议。因此，如何在云存储协议与既有应用协议之间进行翻译或转换是云存储的推广必须考虑的问题。

可以说，随着信息技术的不断发展，日益丰富的信息采集途径，多样化的业务需求以及各种行业各种外围业务系统，都要求对大数据量信息的存储具有多业务支撑能力，云存储及管理技术必将是大数据时代海量数据存储与管理的有力技术支撑，构建云存储模型与管理方法有助于促进云计算及云存储时代的到来。

附图说明

图1是云存储结构模型图；

图2是海量空间数据云存储模型图；

图3是各种云环境结构图；

图4是基于“知识规则”数据半自动生成技术；

图5是知识对象层次图；

图6是协同标绘数据引擎图；

图7是空间知识服务引擎图。

具体实施方式

一、云环境选择

●系统云环境：以IAAS(基础设施即服务)、PAAS(平台即服务)、SAAS(软件即服务)为系统云环境，进行数据的存储与管理。具体如附图3所示：

IAAS所用工具：Openstack、CloudStack、VMware；

PAAS所用工具：AppFog、Mendix、Standing Cloud；

SAAS所用工具：Hadoop、Spark；Spark：Job中间输出结果可以保存在内存中，不再需要反复读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

二、云计算工具选择

●云计算工具：选用Hadoop和Hbase。

三、数据库选择

●数据库：选用Hadoop的HDFS中的Hbase和Mongodb。

四、全球海量空间信息云环境下的存储模型构建

采用高度可扩展的空间数据结构，开展云环境下的存储模型的体系结构、冗余策略、入侵检测、信誉机制等方面的研究，实现海量空间数据的大规模非结构化数据的在线存储、查询、备份等操作。

在传统的基于C/S架构的网络应用中，参与者之间权利义务关系明确。不存在公平性问题。但在对存储系统中，用户以对等节点的身份参与系统的资源、信息、服务共享和交换，它们在系统中需要同时扮演生产者和消费者两种角色。理性的用户往往乐于享受消费者的权利，而不愿意承担生产者的义务。于是系统中就出现了一些只消费不生产的自私节点，也即“搭便车(Free-riding)”现象。搭便车现象的存在极大地损害了对等系统参与者之间生产与消费的公平性，严重时甚至会造成用户的流失和系统的消亡。由于对等存储网络是由互不相识的陌生节点动态构成的，节点之间的直接交互也没有第三方，特别是权威第三方的监督，因此还存在着信任缺失的问题。

五、空间知识数据库建设

为方便管理百万级全球动态异构空间信息协同标绘数据以及空间知识服务，采用“文件系统+关系数据库”的混合方式来存储和管理地理影像及其元数据，研究基于时空关联规则的空间知识库的建立、信息查询以及信息更新所相关的关键技术，实现海量空间知识信息的高效存储、更新和发布，为全球动态异构空间信息协同标绘数据和空间知识服务提供基础数据支撑。

数据库主要包括标绘信息库、规则库、标绘知识库、和运行管理库。

●标绘信息库

标绘信息库主要是用来存放标绘信息的数据库，是全球动态异构空间信息协同标绘数据和空间知识服务的基础数据库，主要包括：

1)符号库是用来存放标绘符号和地图符号的，标绘符号是为用户提供常规的标绘信息；地图符号库为实时制图和热点图文生成提供如指北针、比例尺等基础制图符号；

2)类别库主要是针对实时的标绘内容进行的，主要是用来存放文字、图像以及音频等信息，分为文字信息库、图像信息库和音频信息库。

●规则库

规则库主要是用来存放协同规则和优化规则两类信息的。协同规则库主要是为了存放协同标绘冲突过程中消息消解规则；优化规则库则是针对标绘的内容进行优化，主要包括标绘信息的正确率、容错率的控制，去重，以及在标绘知识整合和热点图文挖掘中的相关规则。

●标绘知识库

标绘知识库则是针对相关知识学习、规划反应行为、领域求解以及领域执行的相关信息进行定义，为后续规则的建立以及数据的处理做保障。

●运行管理库

数据管理库主要是指历史、信息动作日志库，包括管理者及用户访问操作整个系统的历史记录。

六、关键技术

●多源异构空间数据关系的半自动生成技术

结合多源异构空间数据的特性，采用基于“知识与规则”实现空间关系的一致性，构建“知识与规则”空间数据关系的框架，进行空间数据的的结构表达，实现空间数据关系的可视化建模，主要包括知识的获取与处理、规则建立和可视化表达。具体如附图4所示。

1)知识获取与处理

协同标绘中的知识来源于行业的经验和知识，这些知识是松散的而且相互之间也缺乏逻辑的紧密联系。但也正是这些知识才使得行业管理更简单，才使得专业领域的知识易于被人接受。因此如何从这些知识中提取有用的信息，在整个空间知识库建设中显得尤其重要。

2)规则建立

不管是管理对象的连接特性还是运行特性都遵循一定的规则，而且这些规则都可能随时发生变化，规则的变化也就有可能引起部分或整个系统的运行方式、处理模式的改变，也正是这些规则的定义才使得业务规则的实现成为可能，这也就对空间知识库提出了更高的要求。可以说一个好的空间知识库必须构建在正确、严密的规则之上。这些规则主要包括，强制的拓扑联结：需要关联要素在拓扑上真正地连接，而不是仅仅在图形上假似连接。引用一致性：包括空间知识数据和相关关系型数据及关系数据之间。如在电网中一个变压器组删除、与此相关的变压单元也应删除。属性合法-性：包括属性本身和属性间的组合。

3)基于“知识与规则”的GIS数据结构表达

面向对象的知识表示是以对象为中心，将对象的静态特性、动态特性及相互作用封装在表达对象的结构中。既兼有一般知识表示方法的优点，有符合专家对行业对象的认知模式。面向对象的知识表示将具有共性的的一类知识对象称为知识类，知识库由知识对象和知识类构成。在面向对象知识库中对象和对象之间形成抽象的概括关系，即高层知识为其低层知识的概括(抽象)。系统中所有知识类通过这种联系连接成一个层次网络结构，为知识类层次。具体如附图5所示。

在这种层次结构中，上一层对象所具有的一些属性可以被下一层对象所继承，从而避免了描述中的信息冗余。这样使知识库对象本身具有对知识的处理能力，加强了对知识的重复使用和管理，便于维护，另外还能使推理搜索空间缩小，加快搜索处理时间。

4)规则定义

在知识获取的过程中应用开发人员会同行业专家或用户，将系统中的运行规则、操作经验、设备关系等描述成可用计算机表达的逻辑知识，并借助于建模工具将知识转化为面向对象能存储、管理的知识。同时规则的定义一方面以行为(即过程或函数)为实现手段作为知识来表达，另一方面它通过规则库引擎存储在数据库中作为一种数据间的有效规则来表达。

规则的表示形式较多，但大多能以数据间的约束和依赖来表达，通过数据库将这些数据间的限定存储起来，同时有些无法用数据直接表示的规则可通过知识的形式来表达，这样规则才够全面够丰富。

5)可视化表达

语义转换(SemanticTranslation)是由OpenGIS协会创造的一个术语，允许用户在转换过程中重新构造数据，以解决第一代数据转换软件存在的问题。通过语义转换将标绘数据与底图同时展示。

●协同标绘数据引擎

建立协同标绘数据模型和协同标绘互操作模型，分析不同应用类型标绘数据(文字、图像、声音)的自身特点，实现标绘数据的预处理，最终可将标绘数据加入到存储系统(Hbase、Mongo)中去，允许向数据库中获取标绘信息，最终实现标绘数据的访问。具体如附图6所示。

●空间知识服务引擎

标绘知识库和地理数据库中包含的实体名称、属性和地址等提取出来，并进行编码入库，依据关键词查询获取编码，利用本体库和本体推理机对自然语言的查询进行解析，获取查询印记和关键词，根据空间叠置分析，获取查询结果，最终通过地图标注显示，获取知识服务。具体如附图7所示。

●THDFS文件系统关键技术

分布式文件系统THDFS(Tsing Hua Distributed Fileaccount System)主要指用于存储各种海量数据文件，其核心特点就是采用了元数据服务器集群技术及其客户端核态定位解析技术。THDFS以Hadoop DFS分布式文件系统为基础进行了改造，其主要实现机制如下：

i)采用了元数据服务器集群机制。通过元数据服务器，将分布式文件系统的海量数据文件的元数据分配到不同的服务器中。元数据服务器负载均衡。每台元数据服务器的工作负载要大致相等，避免出现有些元数据服务器非常繁忙，而有些元数据服务器则非常清闲的状况出现。保持负载均衡，我们主要采用基本Hash算法的方法来实现初步的负载均衡，当局部元数据服务器的访问过于热时，启动修正后的Hash算法，加大对冷门元数据服务器的元数据分配权重，分流那些负载过重的元数据服务器的访问压力。

2)采用客户端的核态元数据服务器定位解析机制。由于THDFS分布式文件系统的元数据服务器采用了集群的工作机制，客户端要访问数据而向元数据服务器集群发出请求时，其基本机制已经发生了根本性的改变。客户端微模块具有如下3个功能：

①自动定位元数据服务器。由于现在元数据服务器是以集群形式呈现，所有的元数据不再存储在单一的元数据服务器中，为了能够实现客户端与元数据之间建立通信，客户端的微模块需要能够解析到在哪里(一般是两个元数据服务器)可以访问到元数据。

②选择合适的元数据服务器。由于元数据服务器也采用了副本机制(一般是两个副本)，所以在具体和元数据之间建立联系时候需要分析采用哪个元数据服务器。具体的判断算法可以采用两个元数据服务器的响应时间比较的方法来实现。选择响应时间短的作为第一选择。当然，如果其中一台元数据服务器出现崩溃，则直接访问仅存的那一台元数据服务器。

③与数据节点进行数据读写。一旦客户端与元数据服务器建立好联系后，元数据服务器会通知客户端与具体的数据节点进行建立连接，实现客户端和数据节点之间的读写操作。

3)数据混合存储机制。元数据服务器的吞吐量牵涉到整个分布式文件系统的效率。通过采用元数据服务器集群的机制可以一定程度上缓解元数据访问请求的压力，提高并发吞吐访问量和访问效率。除了这种机制外，本项目中的元数据服务器集群对元数据集群采用了一种混合存储机制来提高对元数据访问的并发吞吐和效率。

4)数据节点块内索引机制。对数据节点的海量小文件进行组合(Merge)成大文件块，然后在大文件块内建立一个块内索引。本项目的索引建立步骤可以简单描述如下：

步骤1：根据语义算法，将有关联的小文件尽量集中在一起。(如有关联关系的人和物的小文件)；

步骤2：在步骤1的基础上，以时间为维度，将各种时间靠近的海量文件集中在一起；

步骤3：在前两个步骤的基础上，使用B+树算法，对索引的均衡进行比较均衡的分配。

●HCloudDB云数据库系统建设关键技术

THCloudDB(Tsing Hua Cloud DataBase)是一种既可以直接运行在Windows，Linux这种本地文件系统之上，又可以运行在THDFS分布式文件系统之上的一种云数据库系统，它类似于Google的BIGTABLE及其第2代的MEGASTORE，Hadoop的HBASE等等这种针对互联网海量数据文件应用的云数据库系统。其特点主要有：

1)THCloudDB的数据结构是一种既可以按行存储也可以按列存储的数据结构模式；

2)THCloudDB既可以较好支持事务性较强的OLTP处理，又可以支持分析性较强的OLAP处理；

3)THCloudDB存储的主要是这些部署在THDFS上的海量的半结构化、非结构化数据，如：文件、文本、视频、音频、图片、动画及其他半结构化或者非结构化的信息的元数据，主要是索引信息及其属性信息等等；

4)THCloudDB的索引机制引入了语义计算技术。由于THCloudDB存储的主要是海量文件的各种索引信息，为了提高THCloudDB的存取效率，THCloudDB引进了以标记和本体技术为代表的语义技术，将它们引入后，将极大提高其信息查找的精度和效率。

综上所述，本发明提供一种基于空间知识云环境的云存储模型与管理方法，构建全球海量空间信息云环境下的存储模型，实现应用软件与存储设备相结合，通过应用软件来完成存储设备向存储服务的转变；建立云环境下全球空间知识数据库，研究多源异构空间数据半自动生成技术，构建“知识与规则”空间数据关系的框架，实现数据的自动更新；利用空间信息共享技术，突破海量空间知识云环境下的管理技术，实现多尺度空间数据集成管理、共享与服务，推进大数据时代海量数据云存储模式的发展。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应该是本发明的保护范围。

Claims (2)

1. 一种基于空间知识云环境的云存储模型与管理方法，其特征包括： 

   1.基于空间知识云环境的云存储模型与管理方法构建技术流程：构建全球海量空间信息云环境下的存储模型，实现应用软件与存储设备相结合，通过应用软件来完成存储设备向存储服务的转变；建立云环境下全球空间知识数据库，研究多源异构空间数据半自动生成技术，构建“知识与规则”空间数据关系的框架，实现数据的自动更新；利用空间信息共享技术，突破海量空间知识云环境下的管理技术，实现多尺度空间数据集成管理、共享与服务。
2. 2.涉及的相关关键技术：①通过多源异构空间数据关系的半自动生成技术，结合多源异构空间数据的特性，采用基于“知识与规则”实现空间关系的一致性，构建“知识与规则”空间数据关系的框架，进行空间数据的的结构表达，实现空间数据关系的可视化建模，主要包括知识的获取与处理、规则建立和可视化表达；②通过协同标绘数据引擎技术，建立协同标绘数据模型和协同标绘互操作模型，分析不同应用类型标绘数据(文字、图像、声音)的自身特点，实现标绘数据的预处理，最终可将标绘数据加入到存储系统(Hbase、Mongo)中去，允许向数据库中获取标绘信息，最终实现标绘数据的访问；③通过空间知识服务引擎技术，将标绘知识库和地理数据库中包含的实体名称、属性和地址等提取出来，并进行编码入库，依据关键词查询获取编码，利用本体库和本体推理机对自然语言的查询进行解析，获取查询印记和关键词，根据空间叠置分析，获取查询结果，最终通过地图标注显示，获取知识服务；④通过全球海量空间信息云环境下存储模型的构建，实现海量空间数据的大规模非结构化数据的在线存储、查询、备份等操作；⑤通过THDFS文件系统关键技术，实现对海量数据文件的存储；⑥通过HCloudDB云数据库系统建设关键技术，实现数据的按行、按列存储，分析较强的OLTP、OLAP处理，实现对部署在THDFS上的海量数据的结构化、半结构化存储，引入语义计算技术，提高信息查找的精度和效率；通过这些关键技术的组合及难点攻克，实现对云存储模型及管理方法的构建。