CN105391777A - 一种解耦逻辑代码与性能代码的算法托管PaaS平台 - Google Patents

Abstract

本发明涉及一种解耦逻辑代码与性能代码的算法托管PaaS平台，属于云计算技术领域。具体包括以下步骤：S1：将传统算法设计中的逻辑代码与性能代码进行解耦；S2：建立面向多角色、高可靠性的算法托管PaaS平台；S3：将平台的处理结果以接口方式提供给平台使用者，通过统一标准实现模块化服务；S4：将算法、数据分类保存，实现平台统一调度；S5：由解耦机制、模块化服务、托管平台构成算法托管PaaS平台。

Description

一种解耦逻辑代码与性能代码的算法托管PaaS平台

技术领域

本发明属于云计算技术领域，涉及一种解耦逻辑代码与性能代码的算法托管PaaS平台。

背景技术

大数据开启了一个重要的时代转型，而从技术上看，云计算与大数据是密不可分的，其分布式计算架构为大数据分析提供了良好的环境和更大的可能性。随着数据生成的自动化以及数据生成速度的加快，需要处理的数据量急剧膨胀，“大数据”已毋庸置疑成为当今研究热点。业界将大数据的特点归纳为4个“V”——Volume(数据体量大)、Variety(数据类型繁多)、Velocity(处理速度快)、Value(价值密度低)。

从海量数据中提取信息的能力正快速成为战略性的强制要求。于是，如何构建分布式的数据仓库？如何设计兼容结构化数据、半结构化和非结构化数据的数据库？如何实时并高效处理数据？这都是当下信息技术行业发展亟待解决的问题，因此，寻找更先进的数据处理解决方案，便显得尤为重要。除此之外，具有提供多种数据处理解决方案能力，并且可扩展的基础平台更是稀少而重要。

随着企业越来越重视应用程序向云技术迁移，云托管应运而生，大幅度提高企业系统的运行效率以及执行灵活性。国内著名的互联网企业都对外提供云托管服务，比如阿里云、腾讯云和百度云，以及国外的IBM和Google都拥有该项服务。但是，专门针对算法的云托管平台尚不多见，算法托管平台可以为算法提供可靠的性能保障，并且可以提供一个学习和交流的社区。

PaaS(PlatformasaService)：平台即服务。PaaS是位于IaaS(InfrastructureasaService，基础设施即服务)和SaaS(SoftwareasaService，软件即服务)模型之间的一种云服务，它提供了应用程序的开发环境，可分为分布式处理，如MapReduce，JobKeeper和分布式数据库，如Hbase。IaaS主要提供云存储和虚拟化服务，而SaaS主要为用户提供基于云的应用，如以Mahout为代表的分布式数据挖掘应用。国外著名的PaaS平台包括Google公司的GoogleAppEngie，微软公司的WindowsAzure和亚马逊的AmazonElasticBeanstalk。PaaS平台解耦了开发团队和运维团队，极大的提高了效率。

传统的算法设计将算法的逻辑代码和性能代码杂糅在一起，具有高耦合性，算法设计者必须考虑性能瓶颈，否则难以在大数据背景下产出高效的算法。但是随着云计算分布式技术的日益发展，算法的设计更需要从多个切入点进行解耦，使得算法设计者可以分层设计，提高效率的同时没有提高算法设计者的技术门槛。

发明内容

有鉴于此，本发明的目的在于提供一种解耦逻辑代码与性能代码的算法托管PaaS平台，包括将传统算法设计中的逻辑代码与性能代码进行解耦；将平台的处理结果以接口方式提供给平台使用者，通过统一标准实现模块化服务；建立面向多角色、高可靠性的算法托管PaaS平台；将算法、数据分类保存，实现平台统一调度；由解耦机制、模块化服务、基础平台构成算法托管PaaS平台。

为达到上述目的，本发明提供如下技术方案：

一种解耦逻辑代码与性能代码的算法托管PaaS平台，包括以下步骤：

S1：将传统算法设计中的逻辑代码与性能代码进行解耦；

S2：建立面向多角色、高可靠性的算法托管PaaS平台；

S3：将平台的处理结果以接口方式提供给平台使用者，通过统一标准实现模块化服务；

S4：将算法、数据分类保存，实现平台统一调度；

S5：由解耦机制、模块化服务、托管平台构成算法托管PaaS平台。

进一步，在步骤S1中：

S11：将算法设计过程拆分为逻辑代码设计过程与性能代码设计过程；

S12：所述算法逻辑代码设计过程不包含算法性能设计部分；

S13：所述算法性能代码设计过程不包含专门针对算法的逻辑实现部分。

进一步，在步骤S2中：

S21：所述面向多角色、高可靠性的平台指平台的使用者包含但不限于企业、科研机构及个人，平台为使用者提供多样定制的可靠服务；

S22：所述平台的基础平台层使用Hadoop分布式集群，Java分布式集群和其他分布式架构；

S23：所述平台的性能处理包含但不限于分布式缓存、任务调度、任务分割及负载均衡；

S24：所述平台的逻辑控制在下层的支持下，进行相关研究包含但不限于机器学习，社交网络分析，推荐系统。

进一步，在步骤S3中：

S31：所述平台以统一接口的方式，提供模块化服务；

S311：所述统一接口包括算法的逻辑运行接口，处理结果的返回接口及中间过程所涉及的算法与平台的交互接口等；

S312：所述模块化服务指平台将部分重要模块以组件的方式提供给平台使用者，使用者根据自身需求从平台获取模块化服务。

进一步，在步骤S4中：

S41：所述将算法、数据分类保存，指平台提供算法、数据的上传入口，并按照规则将其保存至平台上，供随时随地使用和分享；

S42：所述平台统一调度包括平台对算法、数据的管理，审核查看权限与使用权限，实现托管服务。

本发明的有益效果在于：本发明将传统算法设计中的逻辑代码与性能代码进行解耦；将平台的处理结果以接口方式提供给平台使用者，通过统一标准实现模块化服务；建立面向多角色、高可靠性的算法托管PaaS平台；将算法、数据分类保存，实现平台统一调度。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明划分的一种解耦逻辑代码与性能代码的算法托管PaaS平台的层次图；

图2为本发明的一种解耦逻辑代码与性能代码的算法托管PaaS平台总体结构图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明定义了一种解耦逻辑代码与性能代码的算法托管PaaS平台，包含如下内容：将传统算法设计中的逻辑代码与性能代码进行解耦；将平台的处理结果以接口方式提供给平台使用者，通过统一标准实现模块化服务；建立面向多角色、高可靠性的算法托管PaaS平台；将算法、数据分类保存，实现平台统一调度；由解耦机制、模块化服务、基础平台构成算法托管PaaS平台。其中包括：

1、基础平台层：通过分布式集群为系统提供物理承载平台，是为算法提供可靠的性能保障的基础。

2、性能处理层：数据主要包括流式数据和批量数据，通过对数据进行多样化处理，对任务进行调度和保证系统负载均衡，是平台的核心模块之一。

3、逻辑控制层：包括各种数据分析算法，为上层应用提供在线服务，是平台的核心模块之二。

4、可视化应用层：基于算法托管PaaS平台的上层应用，即通过统一接口实现可视化应用对算法的调用，并产生具有价值的计算结果。

如图1所示为本发明所划分的解耦逻辑代码与性能代码的算法托管PaaS平台层次图，本发明定义该层次为：性能代码层、逻辑代码层、应用层，其中：

性能代码层：一种解耦逻辑代码与性能代码的算法托管PaaS平台的底层。由分布式组件、底层调用者完成。提供解耦的性能开发接口，包括分布式开发、内存检测、负载均衡、任务调度与分割、分布式缓存等。

逻辑代码层：一种解耦逻辑代码与性能代码的算法托管PaaS平台的中层。由平台的算法逻辑业务开发者完成。为底层和顶层分别提供接口，提供多样化的在线数据分析算法。将下层所提供的接口封装为服务接口，提供调用。

应用层：一种解耦逻辑代码与性能代码的算法托管PaaS平台的顶层。由平台的使用者即软件开发人员开发完成。提供数据、算法驱动的分析模块。通过调用逻辑代码层提供的接口，实现底层解耦的算法分析模块化服务。

如图2所示为一种解耦逻辑代码与性能代码的算法托管PaaS平台的总体结构图，其包括如下层次及模块：

1.基础平台层：通过分布式集群为系统提供物理承载平台，是为算法提供可靠的性能保障的基础。包含基本的硬件、基本的网络结构，和基本的数据存储，主要由分布式集群为依托，如Hadoop集群，Java分布式集群和其他分布式架构等。

2.性能处理层：数据主要包括流式数据和批量数据，通过对数据进行多样化处理，对任务进行合理调度和保证系统负载均衡。

21：流式数据指处理的数据不是一次全部到来而是一点一点“流”过来，可减少内存的消耗。批量数据在特定场景下可减少请求次数，提高效率。

22：性能处理层提供弹性的数据处理方法，支持但不仅限于分布式数据缓存、任务分割、任务调度和负载均衡等。

3.逻辑控制层：数据分析算法，包括多种可实现的算法和基于算法接口提供的在线服务。

31：通过调用下层标准接口和利用本层标准接口，实现各算法的全部逻辑部分，并且可以通过平台监控算法运行的实时进度，保存中间结果以及返回异常原因。高效实现算法对比和逻辑调优。

32：平台提供全天全功能覆盖的在线服务，降低了科学实验的技术门槛。同时也可根据上层应用的需求，定制基于算法的模块化服务。

4：一种解耦逻辑代码与性能代码的算法托管PaaS平台总体结构图是解耦逻辑代码与性能代码的算法托管PaaS平台发明的一项具体实现。一种解耦逻辑代码与性能代码的算法托管PaaS平台具体解释为如结构图所示的一种将原有算法设计过程解耦为算法性能代码开发、算法逻辑代码开发两个步骤，并建立扩展的算法托管PaaS平台。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (5)

1.一种解耦逻辑代码与性能代码的算法托管PaaS平台，其特征在于：包括以下步骤：

S1：将传统算法设计中的逻辑代码与性能代码进行解耦；

S2：建立面向多角色、高可靠性的算法托管PaaS平台；

S3：将平台的处理结果以接口方式提供给平台使用者，通过统一标准实现模块化服务；

S4：将算法、数据分类保存，实现平台统一调度；

S5：由解耦机制、模块化服务、托管平台构成算法托管PaaS平台。

2.根据权利要求1所述的一种解耦逻辑代码与性能代码的算法托管PaaS平台，其特征在于：在步骤S1中：

S11：将算法设计过程拆分为逻辑代码设计过程与性能代码设计过程；

S12：所述算法逻辑代码设计过程不包含算法性能设计部分；

S13：所述算法性能代码设计过程不包含专门针对算法的逻辑实现部分。

3.根据权利要求1所述的一种解耦逻辑代码与性能代码的算法托管PaaS平台，其特征在于：在步骤S2中：

S21：所述面向多角色、高可靠性的平台指平台的使用者包含但不限于企业、科研机构及个人，平台为使用者提供多样定制的可靠服务；

S22：所述平台的基础平台层使用Hadoop分布式集群，Java分布式集群和其他分布式架构；

S23：所述平台的性能处理包含但不限于分布式缓存、任务调度、任务分割及负载均衡；

S24：所述平台的逻辑控制在下层的支持下，进行相关研究包含但不限于机器学习，社交网络分析，推荐系统。

4.根据权利要求1所述的一种解耦逻辑代码与性能代码的算法托管PaaS平台，其特征在于：在步骤S3中：

S31：所述平台以统一接口的方式，提供模块化服务；

S311：所述统一接口包括算法的逻辑运行接口，处理结果的返回接口及中间过程所涉及的算法与平台的交互接口等；

S312：所述模块化服务指平台将部分重要模块以组件的方式提供给平台使用者，使用者根据自身需求从平台获取模块化服务。

5.根据权利要求1所述的一种解耦逻辑代码与性能代码的算法托管PaaS平台，其特征在于：在步骤S4中：

S41：所述将算法、数据分类保存，指平台提供算法、数据的上传入口，并按照规则将其保存至平台上，供随时随地使用和分享；

S42：所述平台统一调度包括平台对算法、数据的管理，审核查看权限与使用权限，实现托管服务。