CN107315776B - 一种基于云计算的数据管理系统 - Google Patents

Abstract

本发明公开了一种基于云计算的数据管理系统，包括：数据维护模块：用于基于CWM的元数据建模、元数据实体维护、元数据关系维护；数据管理模块：用于元数据分析与可视化展示；数据存储库：用于元数据、元模型存储和版本记录；数据整合平台：用于元数据的抽取与整合，将元数据整合到分布式数据库系统，还包括对存放于不同的服务器和存储设备的元数据进行统一管理和利用的资源调度引擎数据管理模块。本发明通过服务器及存储虚拟化、资源整合建模、资源调度引擎等技术，实现了异构资源上的元数据的整合、异构资源的统一管理与利用和存储在不同存储设备上的业务数据库的资源共享。

Description

一种基于云计算的数据管理系统

技术领域

本发明涉及数据库技术领域，具体的说，是一种基于云计算的数据管理系统。

背景技术

云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，云计算就是指基于互联网络的超级计算模式，即把存储于个人电脑、服务器和其它设备上的大量存储器容量和处理器资源集中在一起，统一管理并且协同工作，通常涉及由互联网来提供的动态易扩展且虚拟化的资源。传统的数据管理模式：过去数据库管理的核心是数据集，数据说明与描述都是针对某个数据集展开的，用户只有访问数据集，才可以得到对应的数据，如此将导致数据不同程度的冗余，数据集和数据之间有较低的关联性，不过数据相互之间低水平的联系或者无联系将导致数据共享存在较大的阻力，针对高级的管理系统，其对应的数据库应用环境的复杂性也相应较髙，因为存在多种数据库系统，也不利于复杂数据的访问和对异构数据集的直接访问，存在无法有效地对数据进行分析、查询、管理和存储的问题。

发明内容

本发明的目的在于提供一种基于云计算的数据管理系统，用于解决现有技术中数据库系统无法对异构数据和复杂数据直接访问并有效地分析、查询、管理和存储的问题。

为了达到上述目的，本发明通过下述技术方案实现：

一种基于云计算的数据管理系统，包括：

数据维护模块：用于基于CWM的元数据建模、元数据实体维护、元数据关系维护；

数据管理模块：用于元数据分析与可视化展示；

数据存储库：用于元数据、元模型存储和版本记录；

数据整合平台：用于元数据的抽取与整合，将元数据整合到分布式数据库系统；

所述数据管理模块包括：

元数据源层：采用经营分析系统的数据源系统，是所述元数据的来源；

元数据获取层：采用数据源抽取工具抽取分布式文件系统中的有效元数据并将元数据存储至分布式数据库系统，并为分布式数据库系统中的元数据提供统一视图；

元数据存储层：用于元数据的存储，存储的元数据包括业务元数据、技术元数据和管理元数据；

元数据管理层：用于提供符合规范的接口和实现元数据查询、元数据浏览、元数据访问、元数据分析、元数据导入和元数据导出；

元数据访问层：通过元数据管理层访问元数据存储层的元数据，包括元数据管理工具前端、二级经营分析系统和中央元数据抽取服务器。

数据管理系统包括数据维护模块，数据管理模块，数据存储库，数据整合平台，数据维护系统负责基于公共数据仓库元模型规范CWM的元数据建模，对元数据和元数据关系进行维护，数据管理模块负责对元数据进行分析以及为用户访问提供可视化展示界面，数据存储库负责元数据和元模型存储，以及存储元数据的版本记录，数据整合平台负责元数据的抽取和整合。对于每一种数据源采用专有的工具抽取分布式文件系统中的有效元数据，将元数据整合成新的元数据，存储到分布式数据库系统，并为分布式关系数据库中的元数据提供统一视图。数据整合平台中将不同的服务器和存储设备抽象为统一的资源模型，对不同存储设备上的异构资源的元数据进行整合，实现对这些异构资源的统一管理与利用以及存储在不同服务器和存储设备上的业务数据库的资源共享。元数据的来源，即经营分析系统中的元数据，位于不同的计算机即分布式文件系统上，这些分布式文件系统统称为元数据源层。元数据获取层从元数据源层抽取元数据，将元数据进行整合后存入元数据存储库。元数据管理层采用了云计算的分布式资源管理技术，访问元数据存储库，读取元数据，并对这些元数据进行维护与分析，不同的用户通过元数据访问层访问所需要的元数据。元数据存储库采用关系数据，逻辑模型针对元模型和元数据各有一套对应的库表。库表与域模型一一对应，元模型的域模型主要包括类、属性、关系、包和数据类型等，元数据的域模型主要包括类、属性和关系等。元数据访问层包括普通用户对元数据的访问，以及其它系统对元数据的访问，系统为普通用户的访问提供图形界面用于方便用户通过浏览器访问系统，系统以图和表的方式向用户展示数据。元数据管理层为其它系统访问元数据提供接口，支持元数据文件导出，同时，其它系统也可以元数据管理层授权的条件下，访问元数据库。

优选地，所述数据管理模块的具体工作流程为：

元数据获取层为所述经营分析系统中每一个模块配置一个元数据存储路径，每一个模块的元数据统一存放于所述元数据存储路径中；元数据管理层为所述经营分析系统的每个模块配置一个连接桥模块，连接桥模块实现元数据与新的元数据之间的转换，所述连接桥模块包括元数据读取与转换和元数据建模，所述元数据建模用于建立适用于所述经营分析系统的元数据的元模型，元数据入库时，元数据管理层的连接桥模块通过元数据访问层的访问接口，从位于元数据存储层中的分布式数据库系统上的元数据路径中读取元数据，并将元数据转换为新的元数据，最后将新的元数据存储入元数据库；元数据出库时，连接桥模块从元数据库中读取出元数据，按照元模型读取出元数据中的信息，并将其重新组织为经分模块中使用的元数据格式，最后将元数据存放入元数据存储层中的分布式数据库系统指定的元数据存储路径，并通过元数据访问层为用户访问提供访问接口与可视化展示界面。

在云计算平台上，每个集群建立一个数据库服务器，集中存放该集群上的元数据。每个数据库服务器上存放的元数据各不相同，分布式数据库系统为这些数据库服务器上的元数据建立一个统一的视图。用户通过客户端访问分布式数据库系统，可以在统一的视图中操作元数据，而不必关心这些元数据具体存放在那个数据库服务器上。

优选地，所述元数据管理层包括：

模型管理：定义元数据的形式，为元数据提供了抽象模板，管理包、类、类的属性、属性的数据类型以及类之间的关系；

数据管理：提供对元数据的手动维护和管理，包括添加、修改、删除、版本、权限、关系维护和整体浏览功能；

数据关系管理：维护元数据与元数据之间的关系；

数据维护：用于对整理收集好的数据按照需求进行分析，提供决策支持；

数据分析：对整理收集好的数据按照需求进行分析，提供决策支持；

系统管理：包含用户权限管理、系统参数管理、系统登录日志查询与修改密码功能。

所述模型管理为元数据提供了抽象模板，即为元数据建立模型，并为元数据的模型建立元模型，作为解析元数据的模型的语言，元数据是又称中介数据、中继数据，为描述数据的数据，用于描述数据属性的信息，对数据管理和数据维护过程提供指示存储位置、历史数据、资源查找、文件记录等功能。数据的管理包括：元数据信息的采集、操作和元数据库的创建，数据维护包括对元数据的导入和导出、查询以及增减操作，数据关系管理负责不同格式的元数据之间的转换和元数据目录关联：这样就可以通过元数据目录来查看元数据信息，也可以更好的对元数据进行分类管理；数据分析根据对元数据的分析结果为系统管理提供支持。

优选地，还包括用于对存放于不同的服务器和存储设备的元数据进行统一管理和利用的资源调度引擎数据管理模块，所述资源调度引擎数据管理模块采用资源调度算法，步骤如下：

S1）获取虚拟机集群中所有的物理机与虚拟机的性能监控数据，并评估物理机与虚拟机的资源负载状态；

S2）选择需要调度的虚拟机计算合适的目标节点，进行虚拟机的迁移；

S3）列举虚拟机集合中负载高于上限阈值的虚拟机，用最佳适应算法寻找调度后物理资源负载最高但不超过物理负载上限阈值的物理机，迁移虚拟机到此物理机上。

数据管理系统异构资源进行有效的管理、监控和调度，利用虚拟化技术实现对异构资源统一管理，实现对异构资源的有效整合、资源能力的按需分配和动态智能调度，为各类应用系统的运行提供稳定、可动态伸缩、安全的环境；为业务系统提供可快速部署的开发测试环境和运行环境。

本发明与现有技术相比，具有以下优点及有益效果：

本发明通过服务器及存储虚拟化、资源整合建模、资源调度引擎等技术，实现了异构资源整合，资源按需分配、在线动态调配、应用动态迁移以及流程管理实现各业务数据库资源共享，并能保证数据库高可能性。

附图说明

图1为本发明的体系架构图；

图2为元数据管理层的系统原理框图；

图3为资源调度算法的流程图。

具体实施方式

首先，在对本发明的具体实施例进行详述之前，对本文涉及的专业词汇给予解释说明：

CWM:公共数据仓库元模型规范；

经营分析系统：是以业务运营支撑系统中其他系统的数据为基础，构建统一的企业级数据仓库；经营分析系统采用先进的数据分析技术，即联机分析处理和数据挖掘两大类，经营分析系统的主要功能有四个，即关键指标监控(KPI)、统计报表、综合分析和数据挖掘；

元模型：模型是对现实的抽象，或者对这个抽象的描述，元模型也是模型，是关于模型的模型，它描述的对象是“模型中的元素、元素间关系以及表示法”，可以理解为它是一种语言，人们使用这种语言来描述模型。

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例1：

结合附图1和图2所示，一种基于云计算的数据管理系统，包括：

数据维护模块：用于基于CWM的元数据建模、元数据实体维护、元数据关系维护；

数据管理模块：用于元数据分析与可视化展示；

数据存储库：用于元数据、元模型存储和版本记录；

数据整合平台：用于元数据的抽取与整合，将元数据整合到分布式数据库系统；

所述数据管理模块包括：

元数据源层：采用经营分析系统的数据源系统，是所述元数据的来源；

元数据获取层：采用数据源抽取工具抽取分布式文件系统中的有效元数据并将元数据存储至分布式数据库系统，并为分布式数据库系统中的元数据提供统一视图；

元数据存储层：用于元数据的存储，存储的元数据包括业务元数据、技术元数据和管理元数据；

元数据管理层：用于提供符合规范的接口和实现元数据查询、元数据浏览、元数据访问、元数据分析、元数据导入和元数据导出；

元数据访问层：通过元数据管理层访问元数据存储层的元数据，包括元数据管理工具前端、二级经营分析系统和中央元数据抽取服务器。

数据管理系统包括数据维护模块，数据管理模块，数据存储库，数据整合平台，数据维护系统负责基于公共数据仓库元模型规范CWM的元数据建模，对元数据和元数据关系进行维护，数据管理模块负责对元数据进行分析以及为用户访问提供可视化展示界面，数据存储库负责元数据和元模型存储，以及存储元数据的版本记录，数据整合平台负责元数据的抽取和整合。对于每一种数据源采用专有的工具抽取分布式文件系统中的有效元数据，将元数据整合成新的元数据，存储到分布式数据库系统，并为分布式关系数据库中的元数据提供统一视图。数据整合平台中将不同的服务器和存储设备抽象为统一的资源模型，对不同存储设备上的异构资源的元数据进行整合，实现对这些异构资源的统一管理与利用以及存储在不同服务器和存储设备上的业务数据库的资源共享。元数据的来源，即经营分析系统中的元数据，位于不同的计算机即分布式文件系统上，这些分布式文件系统统称为元数据源层。元数据获取层从元数据源层抽取元数据，将元数据进行整合后存入元数据存储库。元数据管理层采用了云计算的分布式资源管理技术，访问元数据存储库，读取元数据，并对这些元数据进行维护与分析，不同的用户通过元数据访问层访问所需要的元数据。元数据存储库采用关系数据，逻辑模型针对元模型和元数据各有一套对应的库表。库表与域模型一一对应，元模型的域模型主要包括类、属性、关系、包和数据类型等，元数据的域模型主要包括类、属性和关系等。元数据访问层包括普通用户对元数据的访问，以及其它系统对元数据的访问，系统为普通用户的访问提供图形界面用于方便用户通过浏览器访问系统，系统以图和表的方式向用户展示数据。元数据管理层为其它系统访问元数据提供接口，支持元数据文件导出，同时，其它系统也可以元数据管理层授权的条件下，访问元数据库。

实施例2：

在实施例1的基础上，结合附图1和图2所示，所述数据管理模块的具体工作流程为：

元数据获取层为所述经营分析系统中每一个模块配置一个元数据存储路径，每一个模块的元数据统一存放于所述元数据存储路径中；元数据管理层为所述经营分析系统的每个模块配置一个连接桥模块，连接桥模块实现元数据与新的元数据之间的转换，所述连接桥模块包括元数据读取与转换和元数据建模，所述元数据建模用于建立适用于所述经营分析系统的元数据的元模型，元数据入库时，元数据管理层的连接桥模块通过元数据访问层的访问接口，从位于元数据存储层中的分布式数据库系统上的元数据路径中读取元数据，并将元数据转换为新的元数据，最后将新的元数据存储入元数据库；元数据出库时，连接桥模块从元数据库中读取出元数据，按照元模型读取出元数据中的信息，并将其重新组织为经分模块中使用的元数据格式，最后将元数据存放入元数据存储层中的分布式数据库系统指定的元数据存储路径，并通过元数据访问层为用户访问提供访问接口与可视化展示界面。

在云计算平台上，每个集群建立一个数据库服务器，集中存放该集群上的元数据。每个数据库服务器上存放的元数据各不相同，分布式数据库系统为这些数据库服务器上的元数据建立一个统一的视图。用户通过客户端访问分布式数据库系统，可以在统一的视图中操作元数据，而不必关心这些元数据具体存放在那个数据库服务器上。

优选地，所述元数据管理层包括：

模型管理：定义元数据的形式，为元数据提供了抽象模板，管理包、类、类的属性、属性的数据类型以及类之间的关系；

数据管理：提供对元数据的手动维护和管理，包括添加、修改、删除、版本、权限、关系维护和整体浏览功能；

数据关系管理：维护元数据与元数据之间的关系；

数据维护：用于对整理收集好的数据按照需求进行分析，提供决策支持；

数据分析：对整理收集好的数据按照需求进行分析，提供决策支持；

系统管理：包含用户权限管理、系统参数管理、系统登录日志查询与修改密码功能。

所述模型管理为元数据提供了抽象模板，即为元数据建立模型，并为元数据的模型建立元模型，作为解析元数据的模型的语言，元数据是又称中介数据、中继数据，为描述数据的数据，主要是描述数据属性的信息，对数据管理和数据维护过程提供支持如指示存储位置、历史数据、资源查找、文件记录。数据的管理包括：元数据信息的采集、操作和元数据库的创建，数据维护包括对元数据的导入和导出、查询以及增减操作，数据关系管理负责不同格式的元数据之间的转换和元数据目录关联：这样就可以通过元数据目录来查看元数据信息，也可以更好的对元数据进行分类管理；数据分析根据对元数据的分析结果为系统管理提供支持。

实施例3：

在实施例1的基础上，结合附图1-3所示，还包括用于对存放于不同的服务器和存储设备的元数据进行统一管理和利用的资源调度引擎数据管理模块，所述资源调度引擎数据管理模块采用资源调度算法，步骤如下：

S1）获取虚拟机集群中所有的物理机与虚拟机的性能监控数据，并评估物理机与虚拟机的资源负载状态；

S2）选择需要调度的虚拟机计算合适的目标节点，进行虚拟机的迁移；

S3）列举虚拟机集合中负载高于上限阈值的虚拟机，用最佳适应算法寻找调度后物理资源负载最高但不超过物理负载上限阈值的物理机，迁移虚拟机到此物理机上。

数据管理系统异构资源进行有效的管理、监控和调度，利用虚拟化技术实现对异构资源统一管理，实现对异构资源的有效整合、资源能力的按需分配和动态智能调度；为各类应用系统的运行提供稳定、可动态伸缩、安全的环境。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (3)

1.一种基于云计算的数据管理系统，其特征在于，包括：

数据维护模块：用于基于CWM的元数据建模、元数据实体维护、元数据关系维护；

数据管理模块：用于元数据分析与可视化展示；

数据存储库：用于元数据、元模型存储和版本记录；

数据整合平台：用于元数据的抽取与整合，将元数据整合到分布式数据库系统；

所述数据管理模块包括：

元数据源层：采用经营分析系统的数据源系统，是所述元数据的来源；

元数据获取层：采用数据源抽取工具抽取分布式文件系统中的有效元数据并将元数据存储至分布式数据库系统，并为分布式数据库系统中的元数据提供统一视图；

元数据存储层：用于元数据的存储，存储的元数据包括业务元数据、技术元数据和管理元数据；

元数据管理层：用于提供符合规范的接口和实现元数据查询、元数据浏览、元数据访问、元数据分析、元数据导入和元数据导出；

元数据访问层：通过元数据管理层访问元数据存储层的元数据，包括元数据管理工具前端、二级经营分析系统和中央元数据抽取服务器；

元数据获取层为所述经营分析系统中每一个模块配置一个元数据存储路径，每一个模块的元数据统一存放于所述元数据存储路径中；元数据管理层为所述经营分析系统的每个模块配置一个连接桥模块，连接桥模块实现元数据与新的元数据之间的转换，所述连接桥模块包括元数据读取与转换和元数据建模，所述元数据建模用于建立适用于所述经营分析系统的元数据的元模型，元数据入库时，元数据管理层的连接桥模块通过元数据访问层的访问接口，从位于元数据存储层中的分布式数据库系统上的元数据路径中读取元数据，并将元数据转换为新的元数据，最后将新的元数据存储入元数据库；元数据出库时，连接桥模块从元数据库中读取出元数据，按照元模型读取出元数据中的信息，并将其重新组织为经分模块中使用的元数据格式，最后将元数据存放入元数据存储层中的分布式数据库系统指定的元数据存储路径，并通过元数据访问层为用户访问提供访问接口与可视化展示界面。

2.根据权利要求1所述的一种基于云计算的数据管理系统，其特征在于，所述元数据管理层包括：

模型管理：定义元数据的形式，为元数据提供了抽象模板，管理包、类、类的属性、属性的数据类型以及类之间的关系；

数据管理：提供对元数据的手动维护和管理，包括添加、修改、删除、版本、权限、关系维护和整体浏览功能；

数据关系管理：维护元数据与元数据之间的关系；

数据维护：用于对整理收集好的数据按照需求进行分析，提供决策支持；

数据分析：对整理收集好的数据按照需求进行分析，提供决策支持；

系统管理：包含用户权限管理、系统参数管理、系统登录日志查询与修改密码功能。

3.根据权利要求1所述的一种基于云计算的数据管理系统，其特征在于，还包括用于对存放于不同的服务器和存储设备的元数据进行统一管理和利用的资源调度引擎数据管理模块，所述资源调度引擎数据管理模块采用资源调度算法，步骤如下：

S1）获取虚拟机集群中所有的物理机与虚拟机的性能监控数据，并评估物理机与虚拟机的资源负载状态；

S2）选择需要调度的虚拟机计算合适的目标节点，进行虚拟机的迁移；

S3）列举虚拟机集合中负载高于上限阈值的虚拟机，用最佳适应算法寻找调度后物理资源负载最高但不超过物理负载上限阈值的物理机，迁移虚拟机到此物理机上。

Images