CN105610923A

CN105610923A - 一种基于云计算的数据处理系统和方法

Info

Publication number: CN105610923A
Application number: CN201510980253.4A
Authority: CN
Inventors: 韩逸
Original assignee: Beijing Hikeson Technology Co Ltd
Current assignee: Beijing Hikeson Technology Co Ltd
Priority date: 2015-12-23
Filing date: 2015-12-23
Publication date: 2016-05-25

Abstract

本发明涉及一种基于云计算的数据处理系统和方法，包括基础设施服务层IaaS、平台服务层PaaS和应用服务层SaaS，其中，基础设施服务层IaaS包括虚拟层和硬件层；基础设施服务层IaaS，设置在底层，用于将虚拟层和硬件层构建为基础设施服务池；平台服务层PaaS，设置在基础设施服务层IaaS的上层，用于通过应用程序编程接口API从基础设施服务池中选取资源搭建不同的平台层；应用服务层SaaS，设置在平台服务层PaaS的上层，用于调用不同的平台层为用户提供应用服务。本发明通过互联网的方式为用户提供虚拟化资源，用户通过Web页面选择所需的应用，获取应用服务，不需要再构建平台，从而节省了时间和节约了成本。

Description

一种基于云计算的数据处理系统和方法

技术领域

本发明涉及计算机领域，特别是涉及一种基于云计算的数据处理系统和方法。

背景技术

基础设施服务层IaaS作为云计算的基础，将基础设施服务层IaaS中的能力各不相同的服务器、磁盘阵列等虚拟化，形成按需分配的硬件计算和存储资源，仍面临很大的挑战。

平台服务层PaaS是整个软件系统的基础，它为面向应用的服务的开发提供服务，所有的服务端都将由平台服务层PaaS提供的接口、服务和开发工具来构建，因此，应用程序编程接口(ApplicationProgrammingInterface，API)设计的合理性、通用性至关重要。就平台服务层PaaS应该具有的通用功能而言，例如分布式文件系统、并行计算等，在实现的细节上仍面临很多难点。

应用服务层SaaS将开发的各种应用能够方便的以服务的形式集成到系统平台上来。

基础设施服务层IaaS、平台服务层PaaS和应用服务层SaaS都是孤立的，对不同的协议要设计不同的平台，而多种不同的平台难以集成。

发明内容

本发明所要解决的技术问题是提供一种基于云计算的数据处理系统和方法。

本发明解决上述技术问题的技术方案如下：一种基于云计算的数据处理系统，包括基础设施服务层IaaS、平台服务层PaaS和应用服务层SaaS，其中，所述基础设施服务层IaaS包括虚拟层和硬件层；

所述基础设施服务层IaaS，设置在底层，用于将所述虚拟层和所述硬件层构建为基础设施服务池；

所述平台服务层PaaS，设置在所述基础设施服务层IaaS的上层，用于通过应用程序编程接口API从所述基础设施服务池中选取资源搭建不同的平台层；

所述应用服务层SaaS，设置在所述平台服务层PaaS的上层，用于调用所述不同的平台层为用户提供应用服务。

本发明的有益效果是：云计算通过互联网的方式为用户提供虚拟化资源，用户通过Web页面选择所需的应用，获取应用服务，不需要再构建平台，从而节省了时间和节约了成本。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述基础设施服务层IaaS包括业务服务管理平台，所述业务服务管理平台用于将所述基础设施服务池进行封装。

进一步，所述基础设施服务层IaaS包括资源管理平台，所述资源管理平台用于对所述基础设施服务池进行调度。

进一步，所述硬件层包括物理资源，所述物理资源包括服务器设备、存储设备和网络设备。

进一步，所述虚拟层用于将所述物理资源进行虚拟化得到虚拟化资源。

进一步，所述虚拟化资源包括虚拟服务器、虚拟存储和计算机服务。

进一步，所述基础设施服务池包括所述虚拟服务器、所述虚拟存储、所述计算机服务、所述服务器设备、所述存储设备和所述网络设备。

进一步，所述不同的平台层包括软件平台层或能力层或应用平台层。

本发明解决上述技术问题的另一技术方案如下：一种基于云计算的数据处理方法，包括：

将虚拟层和硬件层构建为基础设施服务池；

通过应用程序编程接口API从所述基础设施服务池中选取资源搭建不同的平台层；

调用所述不同的平台层为用户提供应用服务。

进一步，还包括：对所述基础设施服务池进行封装。

附图说明

图1为本发明实施例提供的基于云计算的数据处理系统示意图；

图2为本发明实施例提供的基础设施服务层IaaS管理示意图；

图3为本发明实施例提供的云计算平台架构示意图；

图4为本发明实施例提供的云计算平台应用示意图。

附图中，各标号所代表的部件列表如下：

1、基础设施服务层IaaS，2、平台服务层PaaS，3、应用服务层SaaS，11、虚拟层，12、硬件层，21、软件平台层，22、能力层，23、应用平台层，31、软件服务层。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明实施例提供的基于云计算的数据处理系统示意图。

参照图1，系统包括基础设施服务层IaaS1、平台服务层PaaS2和应用服务层SaaS3，其中，所述基础设施服务层IaaS1包括虚拟层11和硬件层12，平台服务层PaaS2包括软件平台层21、能力层22和应用平台层23，应用服务层SaaS3包括软件服务层31。

所述基础设施服务层IaaS1，设置在底层，用于将所述虚拟层11和所述硬件层12构建为基础设施服务池；

所述平台服务层PaaS2，设置在所述基础设施服务层IaaS1的上层，用于通过应用程序编程接口API从所述基础设施服务池中选取资源搭建不同的平台层；

所述应用服务层SaaS3，设置在所述平台服务层PaaS2的上层，用于调用所述不同的平台层为用户提供应用服务。

进一步，所述基础设施服务层IaaS1包括业务服务管理平台，所述业务服务管理平台用于将所述基础设施服务池进行封装。

进一步，所述基础设施服务层IaaS2包括资源管理平台，所述资源管理平台用于对所述基础设施服务池进行调度。

这里，资源管理平台实现基础设施服务层IaaS的可管、可控，其核心是对每个基础资源单位的生命周期管理能力和对资源的管理调度能力。

业务服务管理平台负责将基础设施服务池封装成各种服务，从而方便地提供给用户，实现基础设施服务层IaaS的可运营条件，具体可参照图2，业务服务管理平台包括业务服务管理、业务流程管理、计费管理和用户管理。资源管理平台包括资源调度管理、模板管理、接口管理、资源生命周期管理、虚拟自动化部署、资源监控度量和虚拟机弹性能力提供。

进一步，所述硬件层12包括物理资源，所述物理资源包括服务器设备、存储设备和网络设备。

进一步，所述虚拟层11用于将所述物理资源进行虚拟化得到虚拟化资源。

这里，云计算平台包括硬件层、虚拟层、软件平台层、能力层、应用平台层和软件服务层，具体可参照图3，云计算平台架构虽然包括多个层次，但是每个层次之间都是松耦合关系，也就是在每次调用中，并不是每个层次的应用服务都使用到，而是根据搭建的平台确定的。

基础设施服务层IaaS包括硬件层和虚拟层，它主要提供服务，比如提供基本的计算服务、存储服务和网络服务。

计算服务是提供给用户一个计算环境，用户可以在上面开发和运行自己的应用，此环境一般是包含约定CPU、内存和基本存储空间的虚拟机环境，也可以是一台物理服务器，但是对用户是透明的。

存储服务是为用户提供一个存储空间，根据用户需求不同可以提供块存储服务、文件存储服务、记录存储服务和对象存储服务。

网络服务是提供用户一个网络方案，可以让用户可以维护自己的计算环境和存储空间，并可以利用计算环境和存储空间对外提供服务。

平台服务层PaaS包括软件平台层、能力层和应用平台层。

软件平台层主要提供公共的技术平台，例如统一支撑操作系统，还包括统一计费、统一配置和统一报表等后台支撑。各种应用利用相应的框架进行开发后，即可做到对外统一界面、统一运维管理、统一报表展示等；还包括分布式缓存、分布式文件系统、分布式数据库等通用技术，应用服务层SaaS可以根据自己的需要进行调度。

能力层主要提供基本业务能力，例如IP多媒体子系统(IPMultimediaSubsystem，IMS)业务能力中的多方通话和彩铃彩像等；互联网业务能力中的天气预报、地图和图片等；电信业务能力中的彩信、短信和定位等。

应用平台层对应SDPaaS，将能力层的服务进行封装，抽象成一个个原子服务，对应用服务层SaaS提供服务，从而简化了应用服务层SaaS的开发。SDPaaS是业务交付平台(SDP)和云计算PaaS的融合。

软件服务层对应应用服务层SaaS，软件服务层主要是对用户提供具体的服务，例如移动U盘、企业移动即时通讯(InstantMessaging，IM)等。

图4为本发明实施例提供的云计算平台应用示意图。

参照图4，云计算系统包括基础设施服务层IaaS、平台服务层PaaS和应用服务层SaaS。基础设施服务层IaaS提供的是用户直接访问底层计算资源、存储资源和网络资源的能力；平台服务层PaaS提供的是软件业务运行的环境；应用服务层SaaS是将软件以服务的形式通过网络传递到客户端。

基础设施服务层IaaS通过虚拟化技术将服务器等计算平台同存储和网络资源打包，通过API接口的形式提供给用户。用户不用再租用机房，不用自己维护服务器和交换机，只需要使用基础设施服务层IaaS服务就能够获得这些资源。

平台服务层PaaS构建在基础设施服务层IaaS之上，在基础架构之外还提供了业务软件的运行环境，个人网站常常用到的“虚拟主机”实际就属于平台服务层PaaS的范畴，个人站长只需要将网站源代码上传到“虚拟主机”的地址，“虚拟主机”会自动运行这些代码生成对应的Web页面。除了形成软件本身运行的环境，平台服务层PaaS通常还具备相应的存储接口，这些资源可以直接通过文件传输协议(FileTransferProtocol,FTP)等方式调用，用户无需从头进行裸盘的初始化工作。

应用服务层SaaS的目标是将一切业务运行的后台环境放入云计算系统中，具体为：用户终端通过应用服务层SaaS提供的Web页面选择自己所需的应用，应用服务层SaaS根据用户终端选择的应用从平台服务层PaaS调用该应用对应的平台层，从而为用户终端提供应用服务。

基础设施服务层IaaS提供虚拟服务器、数据存储和数据库，可以将虚拟服务器、数据存储和数据库纳入一个平台，以便部署和运行应用程序。基础设施服务层IaaS服务通常可通过一个API使用基于简单对象访问协议(SimpleObjectAccessProtocal,SOAP)或表述性状态传递(RepresentationalStateTransfer，REST₎的消息访问。

基础设施服务层IaaS是可完全脚本化的环境，适合创建随需应变的框架，可以快速地组装好完整的、并能根据对资源的需求扩展或收缩的应用程序部署环境，这种能力是当今IT部门的重要价值主张。除此之外，基础设施服务层IaaS的可以按使用付费。只需为所消费的服务付费，无需预先分配资源。使用基础设施服务层IaaS会让多种应用程序从中受益，具体为：

(1)测试和试运行

完整的测试和试运行环境可以被创建、使用并在不需要的时候拆除。硬件征用不再有时间上的延迟，也无需再等待环境就绪。任何时候想要测试，就可以创建一个新的环境并在测试完成后就丢弃该环境。

(2)Web应用程序部署环境

可以使用基础设施服务层IaaS运行Web站点并通过按需扩展资源来使站点能够轻松处理流量的增加。甚至可以使用基础设施服务层IaaS云服务针对特定的市场推广活动或销售策略创建额外的临时Web站点。

(3)存储需求

企业可以使用云服务作为为用户存储文件和其他数据的地方。

(4)大规模数据处理

可以使用云服务的强大功能来处理大型数据集并充分利用大规模并行处理，可以按需创建网格来处理大型数据并在处理完成后拆除这些网格。

亚马逊网络服务(AmazonWebServices，AWS是第一个广泛可用的基础设施服务层IaaS系统，它提供了可在Web上访问到的一组服务，这些服务又提供了对亚马逊的现成可用的计算基础设施的编程式访问。由亚马逊构建并经过多年改进的这个强壮的计算平台现在可以为任何人在任何地点使用，只要他具有Internet连接。亚马逊所提供的基本构建块基础设施能满足大多数系统的核心需求。对于复杂多样的企业应用程序的架构的搭建，现在可以通过在亚马逊提供的这些可靠并且经济的构建块服务之上铺设新的功能得以实现。

亚马逊提供的主要服务有：用来管理和运行虚拟实例的弹性可扩展的云计算服务器(ElasticComputeCloud，EC2)；简单的存储服务(SimpleStorageService，S3)。这些服务均可通过API使用SOAP或REST访问到。此API正在迅速成为与云服务环境交互的事实标准。

Eucalyptus(ElasticUtilityComputingArchitectureforLinkingYourProgramsToUsefulSystems)是一种开源的软件基础结构，用来通过计算集群或工作站群实现弹性的、实用的云计算。它提供了如下特性：

(1)与EC2和S3的接口兼容性(SOAP接口和REST接口)。使用这些接口的几乎所有现有工具都将可以与基于Eucalyptus的云协作。

(2)用来进行系统管理和用户结算的云管理工具。

(3)能够将多个分别具有各自私有的内部网络地址的集群配置到一个云内。

平台服务层PaaS是一种云服务，能提供由提供者托管于硬件基础设施上的软件和产品开发工具。平台服务层PaaS常常用于基于云的平台，可以利用这些平台构建和运行定制应用程序。平台服务层PaaS应用程序提供了构建和部署Web应用程序所需的全部东西，此外还提供了可从Internet上的任何地方访问到的服务。终端用户无需下载、安装或维护此系统。

平台服务层PaaS提供了一套基本的服务，包括虚拟服务器、存储和数据库，可以使用这些服务借助平台服务层PaaS平台所提供的工具或API在该平台之上构建一个应用程序。例如，GoogleAppEngine，用户可以在Google的基础设施上运行Web应用程序。

Hadoop是一个分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。

Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem，HDFS)。Hadoop是以一种可靠、高效、可伸缩的方式进行处理的，Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop还是可伸缩的，能够处理PB级数据。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：高可靠性，Hadoop按位存储和处理数据的能力值得人们信赖；高扩展性，Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中；高效性，Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快；高容错性，Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

很多企业如今都在运用虚拟化整合其IT基础架构，硬件整合仅仅是虚拟化众多优点的其中一点。成功实施虚拟化，实现集成服务管理和自助配置等基础设施服务层IaaS具有以下显著优点：通过改善资源利用率以及管理员与服务器的比率，削减IT运营开支和资本开支，提高效率和实现企业通用解决方案的自变化，实现简化、集成的管理，包括实时实控、高扩展、低接触配置和扩展营运，以满足市场变动和业务策略采用基础设施服务层IaaS的方法，具体可参照表1：

表1

平台服务层PaaS使用集成的开发和运行时平台，该平台对创建、部署和管理云应用程序进行了优化。平台服务层PaaS拟镜可变动调整工作负载和基础架构特性，以满足现有的业务优先级和服务级别协议(Service-LevelAgreement,SLA)。

平台服务层PaaS可帮助开发人员避免映像级工作，从而能够完全专注于应用程序开发工作。它还可借助预定义的工作负载模式，帮助减少软件步设计。企业对于迁移到平台服务层PaaS拟境的渴望程度视企业的规模和IT的成熟度而异。大型企业考虑迁移到平台服务层PaaS的意愿相对较强，具体为：整合的开发和运行时平台满足具体工作负载的需求；持续的基于模式的部署适用于最常见的工作负载；整合的工作负载管理带来SLA增强、变动资源管理、较高的可用性和业务优先级；基于业务优先级和SLA的工作负载认知和优化；在简化的管理系统中处理整合工作负载。

采用平台服务层PaaS的方法如表2所示：

表2

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于云计算的数据处理系统，其特征在于，包括基础设施服务层IaaS、平台服务层PaaS和应用服务层SaaS，其中，所述基础设施服务层IaaS包括虚拟层和硬件层；

2.根据权利要求1所述的一种基于云计算的数据处理系统，其特征在于，所述基础设施服务层IaaS包括业务服务管理平台，所述业务服务管理平台用于将所述基础设施服务池进行封装。

3.根据权利要求1所述的一种基于云计算的数据处理系统，其特征在于，所述基础设施服务层IaaS包括资源管理平台，所述资源管理平台用于对所述基础设施服务池进行调度。

4.根据权利要求1所述的一种基于云计算的数据处理系统，其特征在于，所述硬件层包括物理资源，所述物理资源包括服务器设备、存储设备和网络设备。

5.根据权利要求4所述的一种基于云计算的数据处理系统，其特征在于，所述虚拟层用于将所述物理资源进行虚拟化得到虚拟化资源。

6.根据权利要求5所述的一种基于云计算的数据处理系统，其特征在于，所述虚拟化资源包括虚拟服务器、虚拟存储和计算机服务。

7.根据权利要求6所述的一种基于云计算的数据处理系统，其特征在于，所述基础设施服务池包括所述虚拟服务器、所述虚拟存储、所述计算机服务、所述服务器设备、所述存储设备和所述网络设备。

8.根据权利要求1所述的一种基于云计算的数据处理系统，其特征在于，所述不同的平台层包括软件平台层或能力层或应用平台层。

9.一种基于云计算的数据处理方法，其特征在于，包括：

将虚拟层和硬件层构建为基础设施服务池；

调用所述不同的平台层为用户提供应用服务。

10.根据权利要求9所述的一种基于云计算的数据处理方法，其特征在于，还包括：

对所述基础设施服务池进行封装。