CN105915588B - 一种基于数据虚拟化的混合云计算管理系统 - Google Patents

Abstract

本发明提出一种基于数据虚拟化的混合云计算管理系统，在混合云应用服务层和混合云服务之间增加云数据虚拟化层，负责提供用户数据访问以及管理的服务；其特征在于，云数据虚拟化层包括数据连接模块：负责与不同的数据源建立连接，并且管理不同的连接，优化网络通信以及数据传输；数据集成模块：负责为来自不同数据源的异构数据提供统一视图，同时，根据上层应用的需求，来自不同数据源的数据进行不同的组合以及优化，形成不同的数据虚拟视图；数据发布模块：负责为数据虚拟池进行封装，为上层应用提供可以统一访问并且管理虚拟数据池的服务；通过数据发布，上层的服务获取数据的元数据，得到当前数据的数据源、数据格式以及其他基本信息。

Description

一种基于数据虚拟化的混合云计算管理系统

技术领域

本发明涉及一种基于数据虚拟化的混合云计算管理系统，属于云计算应用领域。

技术背景

云计算经过将近八年的迅速发展，如今已由最初的公有云和私有云的单一服务迎来了新的衍生模式—“混合云”模式。在公有云诞生之前，大部分企业拥有自己的私有机房。随着公有云的发展，中小企业可以不需要花费大量资金去购买计算、存储以及网络资源，而是根据自己的需求在公有云平台上(如亚马逊、阿里云等)租赁资源。同时，这些本身拥有数据中心资源的企业可以利用云端技术单独搭建自己的私有云，提高资源的利用率。然而现在我们进入云计算的融合时代，单一服务形式并不能满足企业的需求。比如，中小企业需要在不同地方部署自己的应用，可能需要租赁不同的公有云；大型企业如12306.cn为了应付峰时资源需求，可能也需要租赁公共云(阿里云)。公有云和私有云承载着不同的业务需求，但面对如今日益开放和细分的市场结构及业务模式，往往会束手无策。因此，混合云融合公有云以及私有云特点，取长补短，可以解决多层次、定制化等特殊业务需求的痛点。

然而，混合云不是私有云和公有云的简单加法，无缝融合它们需要解决很多问题，其中最突出的问题就是云互操作性(Cloud Interoperability)。比如，公有云和私有云管理两处不同的数据中心，都有自己的服务门户，而且彼此对资源的使用方式也是不一样的。如公有云通常是预付费模式，按需使用，而私有云通常是审批式的，不需要支付，只需要完成相应的申请流程。在混合云中，如何构建服务门户的统一以及资源状态监控的统一，需要不同云之间的互联、可互操作。除了服务的统一，VPC(Virtual Private Cloud，虚拟私有云)互通也需要解决公有云和私有云的互操作问题，让租户可以在混合云中构建属于自己的私有云。

传统的方法解决云的互操作性主要是采用编程接口集成的方式，即抽象出公共的云操作接口，不同的云提供商用各自的编程接口实现这个公共操作接口，从而到达互通。不同厂商的数据有着不同的格式，不同的存储访问方式，编程接口集成相当于为不同厂商提供了一个相同的数据格式以及访问方式，不同的厂商再各自转化成各自的格式进行访问或存储。然而传统的编程接口集成有很多问题，其中最突出的问题就是导致软件模块耦合度高，在云端难以扩展，可伸缩性(scalability)差。其次，编程接口集成耗费大量资源在数据格式转化上，以及缺乏对数据结果质量的评估，在混合云通信环境下性能下降很快。

我们未发现目前有相关混合云系统运用数据虚拟化技术。现有的混合云方案绝大部分是基于统一技术的混合云融合，如企业的私有云和公有云都使用同一家云服务解决方案如IBM或者EMC。他们的解决方案不涉及异构云平台之间的融合。我们基于数据虚拟化技术的混合云平台可以一站式解决异构云平台之间的互操作性问题，加速不同云平台的之间的融合。

发明内容

本发明提出一种基于数据虚拟化的混合云计算管理系统，使得用户能够从一些服务、功能或其他资源的内部部署中对外部界面进行抽象化,极大的降低了软件模块之间的耦合性；这样新的云平台可以很快接入混合云平台，同时减少混合云的开发、管理、以及维护的成本。

本发明一种基于数据虚拟化的混合云计算管理系统，在混合云应用服务层和混合云服务之间增加云数据虚拟化层，负责提供用户数据访问以及管理的服务；其特征在于，云数据虚拟化层包括数据连接模块、数据集成模块和数据发布模块；其中：

数据连接模块：负责与不同的数据源建立连接，并且管理不同的连接，优化网络通信以及数据传输。

数据集成模块：负责为来自不同数据源的异构数据提供统一视图，包括传统的数据抽取、转化、加载以及不同数据格式之间的映射匹配；同时，根据上层应用的需求，来自不同数据源的数据进行不同的组合以及优化，形成不同的数据虚拟视图；不同的虚拟视图组成了数据虚拟池，管理不同的异构数据；

数据发布模块：负责为数据虚拟池进行封装，为上层应用提供可以统一访问并且管理虚拟数据池的服务；通过数据发布，上层的服务获取数据的元数据，得到当前数据的数据源、数据格式以及其他基本信息，方便上层应用的调用。

进一步地，数据连接模块基于SOAP或者REST搭建Web Service，或通过数据库连接器直接连接关系型数据库，实现运行在不同云端的不同应用可以轻松实现相互交换数据或集成，从而实现平台的独立性，以及低耦合。

本发明的有益效果：

本发明提出一种基于数据虚拟化技术混合云计算系统，数据虚拟化类似于资源虚拟化技术，提供一种允许用户访问、管理和优化异构基础架构的方法，就好像它们是一种单一、且在逻辑上是统一的资源一样。我们在混合云环境下运用数据虚拟化技术，这使得用户能够从一些服务、功能或其他资源的内部部署中对外部界面进行抽象化,极大的降低了软件模块之间的耦合性。

附图说明

图1为本发明实施方式的架构设计图；

图2为软件模块概要设计图；

图3为混合云计费管理设计图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明在数据源以及数据服务之间抽象出一层数据虚拟化层，如图1架构设计所示。我们考虑一个实际的混合云环境部署案例，一个公司的私有云需要和两个公有云服务商进行融合，以满足其不同的服务需求。我们专利发明可以帮助这些企业在公有云和私有IT资源(私有云资源，或者仅仅是虚拟化、硬件资源)之上做统一管理和解决方案，提供技术和不同层次的服务支持。

如图1所示，我们可以选取不同特点的云计算平台组成混合云，实现优势互补，满足客户多样化的需求。比如，我们可以选取公有云1提供不同层次的平台服务如软件(SaaS，Software as a service)、平台(PaaS,Platform as a Service)以及基础设施(IaaS,Infrastructure as a Service)；公有云2侧重于云端数据存储，部署不同类型的数据库，如关系数据库，Key-Value NoSQL数据库以及HDFS；私有云则侧重大量的企业级服务软件(ERP)以及办公自动化OA系统等。基于三种高度异构的平台，我们抽象出一层数据虚拟化层，其思想和资源虚拟化类似，为用户提供一种允许用户访问、管理和优化异构基础架构的方法，就好像它们是一种单一、且在逻辑上是统一的资源一样。具体来说，云数据虚拟化层在混合云应用服务层和混合云服务提供商之间增加了新的一层，负责提供用户数据访问以及管理的服务。如图1所示，混合云管理服务层的应用服务(如用户管理、计费管理、资源管理、服务管理、权限管理以及资源监控管理)就不需要知道数据存在哪以及具体存储格式，而只需要和数据虚拟化层交互。因此，云数据虚拟化层极大降低了混合云服务应用集成部署的耦合性，加速混合云间的融合。

图2具体给出了云数据虚拟化层的具体概要设计图，主要包括以下三个核心模块：

(1)数据连接模块：负责与不同的数据源建立连接，并且管理不同的连接，优化网络通信以及数据传输。通常可以基于SOAP或者REST搭建Web Service，也可以通过数据库连接器(如JDBC)等直接连接关系型数据库，实现运行在不同云端的不同应用可以轻松实现相互交换数据或集成，从而实现平台的独立性，以及低耦合。

(2)数据集成模块：负责为来自不同数据源的异构数据提供一个统一的视图，包括传统的数据抽取、转化、加载以及不同数据格式之间的映射匹配等。同时，根据上层应用的需求，来自不同数据源的数据将进行不同的组合以及优化，形成不同的数据虚拟视图。不同的虚拟视图从而组成了一个数据虚拟池，管理不同的异构数据。

(3)数据发布模块：主要为虚拟数据池进行封装，为上层应用提供一个可以统一访问并且管理虚拟数据池的服务。通过数据发布，上层的服务可以获取数据的元数据，得只当前数据的数据源、数据格式以及其他基本信息，方便上层应用的调用。

除了以上三个核心服务模块，云数据虚拟化层还提供一下6个优化模块，提高数据访问、查询以及管理效率:

(1)查询优化器：针对对于复杂的数据查询，实现查询优化，其中考虑数据大小、位置以及网络状态等因素；

(2)数据缓存模块：针对不同数据的访问频率，建立数据缓存，使得常用的数据可以缓存在云数据虚拟化层，而不用每次都去云端数据源获取，提高数据访问效率；

(3)元数据管理模块：元数据用于描述来自不同的数据源的数据特征，需要发布给上层应用服务，方便其被访问。元数据管理可以提高数据访问效率，更好的为上层应用提供数据服务；

(4)数据审查模块：针对上层应用，可以制定不同数据的质量模型，根据质量模型，对数据进行审核，提高数据质量；

(5)性能监控模块：负责监控云数据虚拟化层访问负荷，实时保证上层服务数据调用的响应水平，并对能够检测异常数据访问，防护数据服务。

(6)资源调度模块：针对不同的系统调用请求，按需分配云数据虚拟化层资源，实现虚拟化层资源调用的弹性扩展。

以上模块可以根据混合云服务应用的特点进行扩展，同时云数据虚拟化层可以支持其他优化模块插件，方便用户的扩展以及个性化需求。从图2也可以看出，上层混合云管理应用主要涉及三个层次SaaS,PaaS以及IaaS，来获取混合云中软件、平台以及基础设施的不同的信息，方便混合云用户以及管理员的使用和管理。我们云数据虚拟化层针对这三层服务推出的优化模块可以高效的实现这些上层服务。而位于不同云端的服务如资源管理、身份管理以及数据库，我们可以利用传统的Web Service技术，将其封装成开放、独立以及低耦合的外部数据源服务。

以下，我们通过一个具体的混合云计费管理系统，具体说明如何实现本方法。对应图2所示的云数据虚拟化层模块设计图，实施混合云计费管理系统的具体的步骤如下：

(1)数据连接模块负责管理与混合云下不同云平台的连接，远程获取计费管理系统相关数据，如图3所示，不同的云平台有着不同的数据格式以及存储方式。这些数据包括三部分，即用户数据、账单数据以及计费数据；

(2)数据集成模块首先抽取出元数据，交于云数据管理模块。来自不同云平台的数据存在巨大的异构性。不同的云计算平台有着不同的客户信息、不同的账单格式以及不同的计费策略。举个例子，如计费策略，云计算平台会根据不同的产品(计算、存储以及网络等)有着不同的计费模型(阶梯收费、流量收费以及会员收费等)。甚至，因为资源的地理位置不同，计费的标准也不一样。利用元数据，我们建立异构数据之间的映射关系，形成虚拟数据视图。云数据虚拟化层的所有虚拟视图组成一个虚拟数据池；

(3)数据发布模块则将云虚拟化层所维护的虚拟数据池封装发布，供上层应用提供一个统一的服务调用。我们同时提供查询优化器以及数据缓存功能，提高用户查询数据的效率。

以上步骤可以看到异构系统的集成是很复杂的，传统的方法要求开发人员需要十分熟悉每一个不同的云计算系统，从而增加了系统集成的复杂度以及时间成本。然而我们通过云数据虚拟化层可以封装这些系统复杂性，为上层混合云应用的开发人员提供一个统一的数据视图，从而不去了解具体的数据细节，如数据存在哪、如何存等。上层的服务如用户管理、账单管理、支付管理等都运行在由云数据虚拟化层提供的一个虚拟的数据池中，而具体的数据获取、集成以及发布由数据虚拟化层的各个模块完成。

从混合云计费管理的实际部署案例，原有的软件开发周期缩短了三分之一，后期的维护成本也大大降低。同时，我们发现，不同云计算提供商的数据的改变对我们混合云的管理是几乎没有影响。我们只需要更新数据连接方式以及相应的通信格式，而不需要对上层应用做出修改。因此，云数据虚拟化层为不同的云服务提供商以及混合云应用提供了很好的隔离性，降低对云服务提供商的依赖；同时也能更加灵活迅速的接入新的云服务提供商。

Claims (7)

1.一种基于数据虚拟化的混合云计算管理系统，在混合云应用服务层和混合云服务之间增加云数据虚拟化层，负责提供用户数据访问以及管理的服务；其特征在于，所述的云数据虚拟化层包括数据连接模块、数据集成模块和数据发布模块；其中,

数据连接模块：负责与不同的数据源建立连接，并且管理不同的连接，优化网络通信以及数据传输；

数据集成模块：负责为来自不同数据源的异构数据提供统一视图，包括传统的数据抽取、转化、加载以及不同数据格式之间的映射匹配；同时，根据上层应用的需求，对来自不同数据源的数据进行不同的组合以及优化，形成不同的数据虚拟视图；不同的虚拟视图组成了数据虚拟池，管理不同的异构数据；

数据发布模块：负责为数据虚拟池进行封装，为上层应用提供可以统一访问并且管理虚拟数据池的服务；通过数据发布，上层的服务获取数据的元数据，得到当前数据的数据源、数据格式以及其他基本信息，方便上层应用的调用；

该管理系统还包括数据缓存模块，负责针对不同数据的访问频率，建立数据缓存，使得常用的数据可以缓存在云数据虚拟化层，而不用每次都去云端数据源获取，提高数据访问效率。

2.如权利要求1所述的一种基于数据虚拟化的混合云计算管理系统，其特征在于，进一步地，数据连接模块基于SOAP或者REST搭建Web Service，或通过数据库连接器直接连接关系型数据库，实现运行在不同云端的不同应用相互交换数据或集成，从而实现平台的独立性，以及低耦合。

3.如权利要求1或2所述的一种基于数据虚拟化的混合云计算管理系统，其特征在于，进一步地，该管理系统还包括查询优化器，负责复杂的数据查询，实现查询优化，包括基于数据大小、位置以及网络状态因素的查询。

4.如权利要求1或2所述的一种基于数据虚拟化的混合云计算管理系统，其特征在于，进一步地，该管理系统还包括元数据管理模块，元数据用于描述来自不同的数据源的数据特征，需要发布给上层应用服务，方便其被访问，元数据管理可以提高数据访问效率，更好的为上层应用提供数据服务。

5.如权利要求1或2所述的一种基于数据虚拟化的混合云计算管理系统，其特征在于，进一步地，该管理系统还包括数据审查模块，负责针对上层应用制定不同数据的质量模型，并根据质量模型，对数据进行审核，提高数据质量。

6.如权利要求1或2所述的一种基于数据虚拟化的混合云计算管理系统，其特征在于，进一步地，该管理系统还包括性能监控模块，负责监控云数据虚拟化层访问负荷，实时保证上层服务数据调用的响应水平，并能够检测异常数据访问，防护数据服务。

7.如权利要求1或2所述的一种基于数据虚拟化的混合云计算管理系统，其特征在于，进一步地，该管理系统还包括资源调度模块，负责针对不同的系统调用请求，按需分配云数据虚拟化层资源，实现虚拟化层资源调用的弹性扩展。