CN105681443A - 一种基于大数据的云计算架构方法及系统 - Google Patents

Abstract

本发明属于云计算领域，特别涉及一种基于大数据的云计算架构方法及系统。一种基于大数据的云计算架构方法包括：首先，对每个云计算节点进行轻量级虚拟化处理后可实现底层资源的池化，构建了管理层；其次，所述虚拟化节点上架构大数据平台，利用大数据的分布式存储和并行计算的优势搭建服务层；同时，应用层对用户的需求进行逻辑判断，将数据的计算、读取命令通过接口实时传递给服务层实现任务处理。本发明利用Docker引擎和LXC机制实现对云计算节点操作系统的虚拟化，该虚拟化为轻量级的虚拟化，可以快速实现底层资源的虚拟化，同时保证虚拟化资源之间的隔离性好、可移动性强，既提高了资源的利用率，又降低了资源管理的复杂性。

Description

一种基于大数据的云计算架构方法及系统

技术领域

本发明属于云计算领域，特别涉及一种基于大数据的云计算架构方法及系统。

背景技术

云计算可以将IT相关资源以服务的方式提供给用户，理论上具有节省资源开支、用户按需获取服务、易扩展等特点的一种高效、专业的工作模式。

随着平安城市、智慧城市等大型项目在各地的广泛开展，云计算和大数据成为每个项目都要涉及的基础模块，但是在搭建过程中存在着云化程度不彻底、技术架构不透明、执行速度较慢的问题，提供一套更为方便、快捷、成熟、先进的云计算架构方法及系统，成为亟待解决的问题。

发明内容

本发明为了克服上述现有技术的不足，提供了一种基于大数据的云计算架构方法及系统，本发明具备分布式存储和并行计算的能力，云计算搭建过程具有方便、快捷、成熟、先进的特点。

为实现上述目的，本发明采用了以下技术措施：

一种基于大数据的云计算架构方法，即：

1)对云计算节点进行虚拟化处理，形成虚拟化节点，构建了资源即管理层；

2)所述虚拟化节点上架构大数据平台，构建平台即服务层，所述服务层具备并行计算和数据存取能力；

3)应用层对用户的需求进行逻辑判断，并调用接口将需求参数传送至服务层。

优选的，所述虚拟化处理是指利用Docker引擎和LXC机制实现对云计算节点操作系统的虚拟化。

优选的，所述大数据平台包括管理模块和数据模块，所述管理模块用于实现资源的调度、分配、状态检测，所述数据模块用于数据的存储。

进一步的，所述数据存取包括结构化数据、半结构化数据以及非结构化数据存取。

本发明还同时提供了上述一种基于大数据的云计算架构方法的云计算架构系统，本系统包括应用层、服务层以及管理层，其中，

所述应用层用于对用户的需求进行逻辑判断，并调用接口将需求参数传送至服务层，所述应用层与服务层之间双向通信连接；

服务层用于进行基础平台的池化，实现基础资源的整合，所述服务层与管理层之间双向通信连接；

管理层用于进行底层资源的池化，实现底层资源的整合。

优选的，所述服务层包括如下组成部分：

大数据管理模块：用于接收来自应用层的需求参数，并根据任务的优先级向管理层申请资源调度，所述大数据管理模块的输入端连接应用层的输出端，大数据管理模块的输出端连接管理层的输入端；

任务处理模块：用于接收管理层调度的任务处理资源，并将任务传送至计算模块，同时也对任务进行切分、处理、归类，所述任务处理模块的输出端连接计算模块和应用层的输入端，任务处理模块的输入端连接管理层的输出端；

计算模块：用于接收任务处理模块发送来的任务。

优选的，所述管理层包括如下组成部分：

虚拟化管理模块：用于感知应用层使用资源的情况，实时准备为任务分配资源；

资源管理模块：用于向任务处理模块分配任务处理资源，所述资源管理模块的输入端连接大数据管理模块的输出端，资源管理模块的输出端连接任务处理模块的输入端。

本发明的有益效果在于：

1)、本发明利用Docker引擎和LXC机制实现对云计算节点操作系统的虚拟化，该虚拟化为轻量级的虚拟化，可以快速实现底层资源的虚拟化，同时保证虚拟化资源之间的隔离性好、可移动性强，既提高了资源的利用率，又降低了资源管理的复杂性。

2)、所述虚拟化节点上架构大数据平台，构建平台即服务层，实现服务层对任务的并行计算和海量数据的分布存取能力，每个云计算节点经过轻量级虚拟化后，无需硬件的虚拟化即可实现资源的隔离、度量，同时保证每个虚拟节点的移动性和安全性，轻松实现管理层的构建，而且本发明具有构建简单、透明的特点。

3)、所述应用层对用户的需求进行逻辑判断，并调用接口将需求参数传送至服务层，管理模块、数据模块调度虚拟节点资源快速实现任务处理，有效地提高了处理效率，实现了云计算架构的简单、便捷、成熟、高效。

附图说明

图1为本发明的云计算架构方法流程图；

图2为本发明的管理层方法流程图；

图3为本发明的服务层方法流程图；

图4为本发明的任务处理流程图。

图中的附图标记含义如下：

10—应用层20—服务层30—管理层

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于大数据的云计算架构方法包括：首先，对每个云计算节点进行轻量级虚拟化处理后可实现底层资源的池化，构建了管理层30；其次，所述虚拟化节点上架构大数据平台，利用大数据的分布式存储和并行计算的优势搭建服务层20；同时，应用层对用户的需求进行逻辑判断，将数据的计算、读取命令通过接口实时传递给服务层20实现任务处理。

如图2所示，所述虚拟化处理是指利用Docker引擎和LXC机制实现对云计算节点操作系统的虚拟化，设置虚拟化容器，不对具体的硬件进行虚拟化，该虚拟化为轻量级的虚拟化，快速实现资源的虚拟化，同时保证虚拟化资源之间的隔离性好、可移动性强，同时利用其所属组件实现对资源隔离、控制，保证了每个用户调用资源的相互隔离和互不影响，而且提供了资源的可度量性，实现资源的按需分配，大大的节省了云计算节点因为虚拟化而消耗的性能，使其运用于任务处理上。

如图3所示，虚拟化完成后，所述虚拟化节点上架构大数据平台，构建平台即服务层20，实现对任务的并行计算和对数据的分布式存储，所述大数据平台包括管理模块和数据模块，所述管理模块主要实现资源角色分配、每个任务所需资源的调度、工作状态、通过接口对接应用层业务逻辑；所述数据模块主要实现数据分布式存储、并行计算、任务的切分、结果的整合、数据分析、结果输出。

如图4所示，应用层10对用户的需求进行逻辑判断，并调用接口将需求参数传送至服务层20，所述逻辑判断一般根据不同的业务场景定制开发，过程中不经过大数据的读取和计算，只做简单的权限和用户判断，判断时可连接关系型数据库，判断后将数据读取、计算任务命令实时传递给平台即服务层，实现任务的快速处理。

一种基于大数据的云计算架构系统包括应用层10、服务层20以及管理层30，其中，

所述应用层10用于对用户的需求进行逻辑判断，并调用接口将需求参数传送至服务层20，所述应用层10与服务层20之间双向通信连接；

服务层20用于进行基础平台的池化，实现基础资源的整合，所述服务层20与管理层30之间双向通信连接；

管理层30用于进行底层资源的池化，实现底层资源的整合。

所述服务层20包括如下组成部分：

大数据管理模块：用于接收来自应用层10的需求参数，并根据任务的优先级向管理层30申请资源调度，所述大数据管理模块的输入端连接应用层10的输出端，大数据管理模块的输出端连接管理层30的输入端；

任务处理模块：用于接收管理层30调度的任务处理资源，并将任务传送至计算模块，同时也对任务进行切分、处理、归类，所述任务处理模块的输出端连接计算模块和应用层10的输入端，任务处理模块的输入端连接管理层30的输出端；

计算模块：用于接收任务处理模块发送来的任务。

所述管理层30包括如下组成部分：

虚拟化管理模块：用于感知应用层10使用资源的情况，实时准备为任务分配资源；

资源管理模块：用于向任务处理模块分配任务处理资源，所述资源管理模块的输入端连接大数据管理模块的输出端，资源管理模块的输出端连接任务处理模块的输入端。

综上所述，本发明提供一种方便、快捷、成熟、先进的云计算架构体系，云计算架构方法的主要特点是利用大数据及大数据技术构建服务层20，最大限度的利用了计算机的硬件设备，极大地提高了处理效率，使用户执行查询操作时能更快获得处理结果。

Claims (7)

1.一种基于大数据的云计算架构方法，其特征在于：

1)对云计算节点进行虚拟化处理，形成虚拟化节点，构建了资源即管理层(30)；

2)所述虚拟化节点上架构大数据平台，构建平台即服务层(20)，所述服务层(20)具备并行计算和数据存取能力；

3)应用层(10)对用户的需求进行逻辑判断，并调用接口将需求参数传送至服务层(20)。

2.如权利要求1所述的一种基于大数据的云计算架构方法，其特征在于：所述虚拟化处理是指利用Docker引擎和LXC机制实现对云计算节点操作系统的虚拟化。

3.如权利要求1所述的一种基于大数据的云计算架构方法，其特征在于：所述大数据平台包括管理模块和数据模块，所述管理模块用于实现资源的调度、分配、状态检测，所述数据模块用于数据的存储。

4.如权利要求1所述的一种基于大数据的云计算架构方法，其特征在于：所述数据存取包括结构化数据、半结构化数据以及非结构化数据存取。

5.一种基于大数据的云计算架构系统，其特征在于：本系统包括应用层(10)、服务层(20)以及管理层(30)，其中，

所述应用层(10)用于对用户的需求进行逻辑判断，并调用接口将需求参数传送至服务层(20)，所述应用层(10)与服务层(20)之间双向通信连接；

服务层(20)用于进行基础平台的池化，实现基础资源的整合，所述服务层(20)与管理层(30)之间双向通信连接；

管理层(30)用于进行底层资源的池化，实现底层资源的整合。

6.如权利要求5所述的一种基于大数据的云计算架构系统，其特征在于所述服务层(20)包括如下组成部分：

大数据管理模块：用于接收来自应用层(10)的需求参数，并根据任务的优先级向管理层(30)申请资源调度，所述大数据管理模块的输入端连接应用层(10)的输出端，大数据管理模块的输出端连接管理层(30)的输入端；

任务处理模块：用于接收管理层(30)调度的任务处理资源，并将任务传送至计算模块，同时也对任务进行切分、处理、归类，所述任务处理模块的输出端连接计算模块和应用层(10)的输入端，任务处理模块的输入端连接管理层(30)的输出端；

计算模块：用于接收任务处理模块发送来的任务。

7.如权利要求6所述的一种基于大数据的云计算架构系统，其特征在于所述管理层(30)包括如下组成部分：

虚拟化管理模块：用于感知应用层(10)使用资源的情况，实时准备为任务分配资源；

资源管理模块：用于向任务处理模块分配任务处理资源，所述资源管理模块的输入端连接大数据管理模块的输出端，资源管理模块的输出端连接任务处理模块的输入端。