CN102929605A

CN102929605A - 一种基于云计算的数据挖掘系统开放接口

Info

Publication number: CN102929605A
Application number: CN2012103796502A
Authority: CN
Inventors: 齐磊
Original assignee: Dawning Information Industry Beijing Co Ltd
Current assignee: Dawning Information Industry Beijing Co Ltd
Priority date: 2012-10-09
Filing date: 2012-10-09
Publication date: 2013-02-13

Abstract

本发明提供一种基于云计算的数据挖掘系统开放接口，所述接口包括底层模块和上层模块，所述底层模块包括算法模块、数据设置模块和任务模块，所述上层模块包括用户模块、管理功能模块和扩展功能模块；所述底层模块为上层模块服务，上层模块调用底层模块。本发明解决了资源唯一标识的问题，是的Web在执行上述操作时，URI是不发生变化的，极大的简化了Web开发的难度，这种设计也是的URI可以被设计成为更直观的反应资源的结构，REST的思想提高了系统的可伸缩性，由于没有了限制，使得在做分布式和集群的时候变得更加简易，也可以让系统更为有效的利用缓冲池。服务器端不在需要记录客户端的一系列访问，也相应减少了服务器的负载。

Description

一种基于云计算的数据挖掘系统开放接口

技术领域

本发明属于与计算技术领域，具体涉及一种基于云计算的数据挖掘系统开放接口。

背景技术

目前谷歌的Google App Engine云计算开发平台是大多数数据挖掘系统与云计算良好结合的纽带，本系统在在开放接口的设计上也紧密结合了Google App Engine的技术。

表述性状态转移REST（Representational State Transfer），REST是一种高级抽象的架构模式，每一个架构风格由一系列的约束组成。REST中的资源所指不是数据，而是数据和表现形式的组合，他们分类的依据根据其表现形式不同而分为不同的资源类型。REST是基于Http协议的，任何对资源的操作行为都是通过Http协议来实现。

多数B/S架构的Web数据挖掘系统在执行对资源的get，put，post，delete时，Web系统自身是随着上述操作而变化的，服务器端需要记录客户端的一系列访问，服务器的负载较大。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于云计算的数据挖掘系统开放接口，解决了资源唯一标识的问题，是的Web在执行上述操作时，URI是不发生变化的，极大的简化了Web开发的难度，这种设计也是的URI可以被设计成为更直观的反应资源的结构，REST的思想提高了系统的可伸缩性，由于没有了限制，使得在做分布式和集群的时候变得更加简易，也可以让系统更为有效的利用缓冲池。服务器端不在需要记录客户端的一系列访问，也相应减少了服务器的负载。

为了实现上述发明目的，本发明采取如下技术方案：

提供一种基于云计算的数据挖掘系统开放接口，所述接口包括底层模块和上层模块，所述底层模块包括算法模块、数据设置模块和任务模块，所述上层模块包括用户模块、管理功能模块和扩展功能模块；所述底层模块为上层模块服务，上层模块调用底层模块。

所述算法模块描述算法基本信息，所述数据设置模块获取已注册的数据集的基本信息及描述，所述任务模块获取任务名称和任务ID及其基本信息，所述用户模块获取用户和用户ID所对应的详尽参数，所述管理功能模块获取管理功能基本信息，所述扩展功能模块获取扩展功能、ID及其基本信息。

所述算法模块包括算法ID模块，所述算法ID模块描述算法的ID信息；所述数据设置模块包括数据集ID模块；所述任务模块包括任务ID模块；所述用户模块包括用户ID模块；所述管理功能模块包括管理ID模块；所述扩展功能模块包括扩展ID模块。

所述算法ID模块、数据集ID模块、任务ID模块、用户ID模块、管理ID模块和扩展ID模块允许的基本操作均包括Get、Post、Put和Delete。

所述基本操作Post、Put和Delete能够传递参数，在调用接口时，通过get获取对应资源的描述，使用该资源时需要给出参数，针对不同的操作选择对应的方法并将参数信息传递给服务器，服务器响应后将所需要的数据反馈给数据挖掘系统，数据挖掘系统在通过云平台将处理结果发布给有数据需求的客户端。

所述开放接口基于REST设计，REST为高级抽象的架构模式，所述REST中的资源是数据和表现形式的组合，一组数据当其表现形式为表时，其的类型即为表数据，当其表现形式为图形时，其类型则为图形数据。

与现有技术相比，本发明的有益效果在于：

1、解决了资源唯一标识的问题，是的Web在执行上述操作时，URI是不发生变化的，极大的简化了Web开发的难度，这种设计也是的URI可以被设计成为更直观的反应资源的结构

2、REST的思想提高了系统的可伸缩性，由于没有了限制，使得在做分布式和集群的时候变得更加简易，也可以让系统更为有效的利用缓冲池。

3、服务器端不在需要记录客户端的一系列访问，也相应减少了服务器的负载。

附图说明

图1是基于云计算的数据挖掘系统开放接口工作流程示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1，提供一种基于云计算的数据挖掘系统开放接口，所述接口包括底层模块和上层模块，所述底层模块包括算法模块、数据设置模块和任务模块，所述上层模块包括用户模块、管理功能模块和扩展功能模块；所述底层模块为上层模块服务，上层模块调用底层模块。

每一个用户ID都可以设置添加属于自己的功能模块或者功能扩展模块，这样便于用户对自定义模块和需求的管理。管理功能模块和扩展功能模块的实现则是通过底层的任务模块来进行分配和实现的，而分配模块的核心是算法+数据。算法模块为任务模块寻找相应的算法，以便于任务模块调用，数据设置模块则为任务模块提供相应的数据，便于上层用户的使用，索引，访问。

基于云平台的数据挖掘系统的开放接口用于其他应用基于云计算数据挖掘平台时使用，通过这些接口，开发者可以用数据挖掘平台所提供的各种资源和服务。本平台的所有接口全部基于REST。

首先、REST模式中顶一个资源标识符（URI），通过URI对资源进行唯一标识。

其次，REST是基于HTTP协议的，系统中任何资源的操作都是通过HTTP协议实现，并且把一个资源的操作限定在4个方法中,即：get，put，post，delete。这是对资源create，read，update，delete的实现。这是因为系统基于HTTP协议完成上下层通讯，所以get，put，post，delete，操作时基于HTTP协议的。这四个操作代替了create，read，update，delete操作，但是其作用本质上相似的。这样定义的好处在于资源与URI一一对应，执行这些操作的时候URI是不发生变化的，这样极大地简化了系统Web开发，也可以使得URI更为直观的反应资源的结构。

再次，本系基于REST的设计具有较高的可伸缩性，因为它的所有操作都是无状态的，这样一来搭载咋云平台上做分布式或者集群的时候就更为简单，提高了系统缓冲的利用率。

综上所述，达到了接口开放这一策略，使接口更为高效，简单，直观易用。

系统中设计了多种接口定义：

1）Algorithms：算法模块，用于描述算法基本信息，该接口只提供get操作，返回数据挖掘平台中已经实现的算法。

Algorithms ID：算法ID模块，描述了算法的ID信息，返回到此算法的ID所对应的算法，包括参数在内的详细信息。该接口允许全部的四种（get post put delete）基本操作。

Get：获取此算法的基本信息及参数；

Post：修改此算法ID所对应的算法描述信息，但仅限于管理员使用；

Put：调用此算法ID所对应的算法；

Delete：删除此算法，但是仅限于管理员使用。

2）Datesets：数据设置模块，用于数据集的连接和描述，可以进行get操作。获取已注册的数据集的基本信息及描述；

Datesets ID：数据集ID模块，可进行四种基本操作：

Get：获取此数据集ID所对应的数据集包括共物理数据所在位置字段类型在内的详细描述信息；

Post：修改此数据集ID所对应的数据集的物理位置，路径，字段等信息。但仅限于管理员使用；

Put：访问此数据集ID所对应的数据集；

Delete：删除此数据集，但是仅限于管理员操作。

3）Tasks：任务模块，获取所有任务名称和任务ID及其基本信息，只可以进行get操作。

Tasks ID：任务ID模块

Get：获取此任务ID所对应的扩展功能的详细描述信息；

Post：修改此任务ID所对应详细信息。但仅限于管理员使用；

Put：访问此任务ID所对应的任务；

Delete：删除此任务，但是仅限于该任务的占用者使用。

4）User：用户模块，get：获取所有用户和用户ID所对应的详尽参数；

User ID：用户ID模块

Get：获取此用户ID所对应的用户详细描述信息；

Post：修改此用户ID所对应详细信息。但仅限于管理员和用户自身使用；

Put：此用户的登录与注销；

Delete：删除此用户，但是仅限于管理员操作。

5）Expansion：扩展模块：get：获取扩展功能，ID及其基本信息。

Expansion ID扩展ID模块：

Get：获取此扩展功能ID所对应的扩展功能详细描述信息；

Post：修改此扩展功能ID所对应扩展功能详细信息。但仅限于管理员操作；

Put：调用此扩展功能；

Delete：删除此扩展功能，但是仅限于管理员操作。

6）Admin:管理功能模块：get：获取所有管理功能基本信息

Admin ID管理ID模块

Get：获取此管理功能ID所对应的扩展功能详细描述信息；

Post：修改此功能ID所对应扩展功能详细信息。但仅限于管理员操作；

Put：调用此管理功能；

Delete：删除此管理功能，但是仅限于管理员操作。

利用REST的标准进行设计，基于HTTP协议，只需要定义好借口和四个基本操作即可。四个基本操作中除get是没有参数的之外，其它三个操作均可以传递参数，在调用接口时，只需要通过get获取对应资源的描述，使用该资源时需要给出一定的参数，针对不同的操作选择对应的方法并将参数信息传递给服务器，服务器响应后将所需要的数据反馈给下层的数据挖掘系统，数据挖掘系统在通过云平台将处理结果发布给有数据需求的客户端。

这些开放接口既可以被数据挖掘系统自身调用，又可以被有二次开发需求的用户直接嵌入系统，所有开发者在获得相应权限的情况下都可以直接调用指定的接口，并将其服务嵌入当前的其它应用程序中。

由于这些接口都是基于REST设计的，并具有无状态的优势，在同一个局域网内对某一个服务的重新调用可以被浏览器客户端上的缓存所代替，这不但减轻了服务器的负担，而起当用户访问量过大导致底层服务出现系统瓶颈时，系统可以通过横向增加服务器数量来实现吞吐量的扩展，增加服务器数量就利用到了云计算平台中的虚拟化技术，通过虚拟大量的服务器来实现，利用云计算平台中的虚拟服务器资源池动态的扩展来完成，这样整个基于云计算平台的数据挖掘系统就解决了普通数据挖掘系统吞吐量不足，性能上无法满足大量数据分析的瓶颈。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种基于云计算的数据挖掘系统开放接口，其特征在于：所述接口包括底层模块和上层模块，所述底层模块包括算法模块、数据设置模块和任务模块，所述上层模块包括用户模块、管理功能模块和扩展功能模块；所述底层模块为上层模块服务，上层模块调用底层模块。

2.根据权利要求1所述的基于云计算的数据挖掘系统开放接口，其特征在于：所述算法模块描述算法基本信息，所述数据设置模块获取已注册的数据集的基本信息及描述，所述任务模块获取任务名称和任务ID及其基本信息，所述用户模块获取用户和用户ID所对应的详尽参数，所述管理功能模块获取管理功能基本信息，所述扩展功能模块获取扩展功能、ID及其基本信息。

3.根据权利要求2所述的基于云计算的数据挖掘系统开放接口，其特征在于：所述算法模块包括算法ID模块，所述算法ID模块描述算法的ID信息；所述数据设置模块包括数据集ID模块；所述任务模块包括任务ID模块；所述用户模块包括用户ID模块；所述管理功能模块包括管理ID模块；所述扩展功能模块包括扩展ID模块。

4.根据权利要求3所述的基于云计算的数据挖掘系统开放接口，其特征在于：所述算法ID模块、数据集ID模块、任务ID模块、用户ID模块、管理ID模块和扩展ID模块允许的基本操作均包括Get、Post、Put和Delete。

5.根据权利要求4所述的基于云计算的数据挖掘系统开放接口，其特征在于：所述基本操作Post、Put和Delete能够传递参数，在调用接口时，通过get获取对应资源的描述，使用该资源时需要给出参数，针对不同的操作选择对应的方法并将参数信息传递给服务器，服务器响应后将所需要的数据反馈给数据挖掘系统，数据挖掘系统在通过云平台将处理结果发布给有数据需求的客户端。

6.根据权利要求1所述的基于云计算的数据挖掘系统开放接口，其特征在于：所述开放接口基于REST设计，REST为高级抽象的架构模式，所述REST中的资源是数据和表现形式的组合，一组数据当其表现形式为表时，其的类型即为表数据，当其表现形式为图形时，其类型则为图形数据。