CN102929607A - 一种基于云计算的数据挖掘系统功能层析架构 - Google Patents

一种基于云计算的数据挖掘系统功能层析架构 Download PDF

Info

Publication number
CN102929607A
CN102929607A CN2012103797100A CN201210379710A CN102929607A CN 102929607 A CN102929607 A CN 102929607A CN 2012103797100 A CN2012103797100 A CN 2012103797100A CN 201210379710 A CN201210379710 A CN 201210379710A CN 102929607 A CN102929607 A CN 102929607A
Authority
CN
China
Prior art keywords
layer
algorithm
data
application
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012103797100A
Other languages
English (en)
Inventor
齐磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Beijing Co Ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN2012103797100A priority Critical patent/CN102929607A/zh
Publication of CN102929607A publication Critical patent/CN102929607A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明提供一种基于云计算的数据挖掘系统功能层析架构，包括算法层、应用层和用户层，算法层为用户层和应用层提供算法服务，用户层提出的应用需求传递给应用层，应用层通过对上层消息的响应得出反馈，并向下传递需求信息给算法层，算法层通过算法的寻址调度，为应用层和用户层提供服务。本发明中，算法层、应用层和用户层均以XML作为通讯语言，并基于表象化状态转变的Web服务形式内部调用以更好的支持各层的可伸缩性，并最终以开放接口形式对外开放，即用户可基于任意层做开发，将已有的服务导入其系统内，这大大增强了数据挖掘系统的开放性跟易用性；同时本发明解决了数据存储及共享的问题。

Description

一种基于云计算的数据挖掘系统功能层析架构
技术领域
本发明属于云计算技术领域，具体涉及一种基于云计算的数据挖掘系统功能层析架构。背景技术
现有数据挖掘平台底层没有部署云平台，数据挖掘系统中所欲的软件都是通过物理和逻辑部署的，这样就对硬件的要求比较高，每个子系统相对独立，没有将应用完美的集中整合到到一起，形成独立的体系结构。
对于数据集的共享问题，现有的系统和模型没有比较好的解决办法，大多数还是采用数据库存储和调用。但是在多系统同时运行进行数据分析和挖掘时就会显示出明显的共享性差的缺陷。
发明内容
为了克服上述现有技术的不足，本发明提供一种基于云计算的数据挖掘系统功能层析架构，算法层、应用层和用户层均以XML作为通讯语言，并基于表象化状态转变的Web服务形式内部调用以更好的支持各层的可伸缩性，并最终以开放接口形式对外开放，即用户可基于任意层做开发，将已有的服务导入其系统内，这大大增强了数据挖掘系统的开放性跟易用性；同时本发明解决了数据存储及共享的问题。
为了实现上述发明目的，本发明采取如下技术方案：
一种基于云计算的数据挖掘系统功能层析架构，所述架构包括算法层、应用层和用户层，算法层为用户层和应用层提供算法服务，用户层提出的应用需求传递给应用层，应用层通过对上层消息的响应得出反馈，并向下传递需求信息给算法层，算法层通过算法的寻址调度，为应用层和用户层提供服务。
所述算法层使用下层提供的统一数据源实现算法调用及其管理接口，算法层提供的服务包括算法注册与注销、可视化算法调用、数据清洗算法调用和数据挖掘算法调度。
所述算法注册与注销是指上层的应用层和用户层需要调用算法时，在算法层中对需要调用的算法进行注册，调用完成后，对该算法进行注销；所述可视化算法调用是指将数据挖掘的处理结果通过图形界面化得方式呈现给用户；所述数据清洗算法调用是指将错误的数据、重复的数据和不完整的数据进行清理，针对有噪声数据的数据集在执行数据挖掘算法之前的预处理方法调用接口,清洗之后的数据将通过数据层存入数据挖掘系统提供的存储空间为接下来的数据挖掘服务；所述数据挖掘算法调度是指在使用之前对已经清洗过的数据或者不需要清洗的数据进行统一的数据挖掘分析。
所述应用层将数据挖掘过程中涉及到的数据、算法以及他们内部和外部之间的关系和顺序描述为任务，以单个或多个任务为基础，提供以应用服务为单位的调用和维护。
所述应用服务包括应用注册与注销和应用调用服务；所述应用注册与注销以插件的方式管理各种任务以及相应对任务的定义文件，所述应用调用服务提供已经注册的服务的调用接口。
所述用户层提供数据挖掘系统对于用户身份和授权的管理，是用户与数据挖掘系统交互的接口。
通过用户层提供用户身份与授权接口，并对用户进行增删改查操作；用户层包含用户所需要的通信协议和数据服务。
与现有技术相比，本发明的有益效果在于：提供一种基于云计算的数据挖掘系统功能层析架构，算法层、应用层和用户层均以XML作为通讯语言，并基于表象化状态转变的Web服务形式内部调用以更好的支持各层的可伸缩性，并最终以开放接口形式对外开放，即用户可基于任意层做开发，将已有的服务导入其系统内，这大大增强了数据挖掘系统的开放性跟易用性；同时本发明解决了数据存储及共享的问题。
附图说明
图1是基于云计算的数据挖掘系统功能层析架构结构图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图1，提供一种基于云计算的数据挖掘系统功能层析架构，所述架构包括算法层、应用层和用户层，算法层为用户层和应用层提供算法服务，用户层提出的应用需求传递给应用层，应用层通过对上层消息的响应得出反馈，并向下传递需求信息给算法层，算法层通过算法的寻址调度，为应用层和用户层提供服务。一层一层的向上传递，最终相应给用户层，用户层将算法的相应向上传递给用户界面和开放接口，通过开放接口的调度，用户可以共享数据挖掘系统中的数据，调用自己需要的各种算法，并通过云端集成到自己的应用上去。其中应用层和算法层为为数据挖掘系统的主题，算法层和应用层给予数据挖掘系统设计，通过虚拟化技术为用户层提供多样化的服务。
所述算法层使用下层提供的统一数据源实现算法调用及其管理接口，算法层提供的服务包括算法注册与注销、可视化算法调用、数据清洗算法调用和数据挖掘算法调度。
所述算法注册与注销是指上层的应用层和用户层需要调用算法时，在算法层中对需要调用的算法进行注册，调用完成后，对该算法进行注销，以免消耗系统的内存，减少资源消耗。算法注册于注销服务本质上是一个算法管理模块，并以插件的方式开管理各种算法模块，实现了及时调用，及时归档。
所述可视化算法调用是指将数据挖掘的处理结果通过图形界面化得方式呈现给用户，这样即使用户了解了数据处理前后的情况，又可以根据可视化的服务对数据进行二次分析。为数据挖据后的其它分析工作提供了良好的可视化依据。
所述数据清洗算法调用是指将错误的数据、重复的数据和不完整的数据进行清理，针对有噪声数据的数据集在执行数据挖掘算法之前的预处理方法调用接口,清洗之后的数据将通过数据层存入数据挖掘系统提供的存储空间为接下来的数据挖掘服务；
所述数据挖掘算法调度是指在使用之前对已经清洗过的数据或者不需要清洗的数据进行统一的数据挖掘分析。
所述应用层本层抽象其下一层（算法层）的操作，是整个系统的应用核心，其将数据挖掘过程中涉及到的数据、算法以及他们内部和外部之间的关系和顺序描述为任务，以单个或多个任务为基础，提供以应用服务为单位的调用和维护。
所述应用服务包括应用注册与注销和应用调用服务；所述应用注册与注销以插件的方式管理各种任务以及相应对任务的定义文件，所述应用调用服务提供已经注册的服务的调用接口。
所述用户层提供数据挖掘系统对于用户身份和授权的管理，是用户与数据挖掘系统交互的接口。通过用户层提供用户身份与授权接口，授权信息作为向下调度各层服务的通行证保证了系统的安全性。并对用户进行增删改查操作；用户层包含用户所需要的通信协议和数据服务。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于云计算的数据挖掘系统功能层析架构，其特征在于：所述架构包括算法层、应用层和用户层，算法层为用户层和应用层提供算法服务，用户层提出的应用需求传递给应用层，应用层通过对上层消息的响应得出反馈，并向下传递需求信息给算法层，算法层通过算法的寻址调度，为应用层和用户层提供服务。
2.根据权利要求1所述的基于云计算的数据挖掘系统功能层析架构，其特征在于：所述算法层使用下层提供的统一数据源实现算法调用及其管理接口，算法层提供的服务包括算法注册与注销、可视化算法调用、数据清洗算法调用和数据挖掘算法调度。
3.根据权利要求2所述的基于云计算的数据挖掘系统功能层析架构，其特征在于：所述算法注册与注销是指上层的应用层和用户层需要调用算法时，在算法层中对需要调用的算法进行注册，调用完成后，对该算法进行注销；所述可视化算法调用是指将数据挖掘的处理结果通过图形界面化得方式呈现给用户；所述数据清洗算法调用是指将错误的数据、重复的数据和不完整的数据进行清理，针对有噪声数据的数据集在执行数据挖掘算法之前的预处理方法调用接口,清洗之后的数据将通过数据层存入数据挖掘系统提供的存储空间为接下来的数据挖掘服务；所述数据挖掘算法调度是指在使用之前对已经清洗过的数据或者不需要清洗的数据进行统一的数据挖掘分析。
4.根据权利要求1所述的基于云计算的数据挖掘系统功能层析架构，其特征在于：所述应用层将数据挖掘过程中涉及到的数据、算法以及他们内部和外部之间的关系和顺序描述为任务，以单个或多个任务为基础，提供以应用服务为单位的调用和维护。
5.根据权利要求4所述的基于云计算的数据挖掘系统功能层析架构，其特征在于：所述应用服务包括应用注册与注销和应用调用服务；所述应用注册与注销以插件的方式管理各种任务以及相应对任务的定义文件，所述应用调用服务提供已经注册的服务的调用接口。
6.根据权利要求1所述的基于云计算的数据挖掘系统功能层析架构，其特征在于：所述用户层提供数据挖掘系统对于用户身份和授权的管理，是用户与数据挖掘系统交互的接口。
7.根据权利要求6所述的基于云计算的数据挖掘系统功能层析架构，其特征在于：通过用户层提供用户身份与授权接口，并对用户进行增删改查操作；用户层包含用户所需要的通信协议和数据服务。
CN2012103797100A 2012-10-09 2012-10-09 一种基于云计算的数据挖掘系统功能层析架构 Pending CN102929607A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012103797100A CN102929607A (zh) 2012-10-09 2012-10-09 一种基于云计算的数据挖掘系统功能层析架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012103797100A CN102929607A (zh) 2012-10-09 2012-10-09 一种基于云计算的数据挖掘系统功能层析架构

Publications (1)

Publication Number Publication Date
CN102929607A true CN102929607A (zh) 2013-02-13

Family

ID=47644420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012103797100A Pending CN102929607A (zh) 2012-10-09 2012-10-09 一种基于云计算的数据挖掘系统功能层析架构

Country Status (1)

Country Link
CN (1) CN102929607A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714415A (zh) * 2013-12-04 2014-04-09 深圳市华傲数据技术有限公司 一种对批量数据进行自动修复的方法及系统
CN104079636A (zh) * 2014-06-18 2014-10-01 深圳技师学院 一种基于云计算的移动校园网
CN105956077A (zh) * 2016-04-29 2016-09-21 上海交通大学 基于语义需求匹配的流程挖掘系统
CN109976729A (zh) * 2019-05-05 2019-07-05 东北大学 一种存算显全局可配置的数据分析软件架构设计方法
CN111126895A (zh) * 2019-11-18 2020-05-08 青岛海信网络科技股份有限公司 一种复杂场景下调度智能分析算法的管理仓库及调度方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070282801A1 (en) * 2006-06-05 2007-12-06 Ajay A Apte Dynamically creating and executing an application lifecycle management operation
CN101226569A (zh) * 2007-01-19 2008-07-23 国际商业机器公司 在虚拟机中验证代码模块的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070282801A1 (en) * 2006-06-05 2007-12-06 Ajay A Apte Dynamically creating and executing an application lifecycle management operation
CN101226569A (zh) * 2007-01-19 2008-07-23 国际商业机器公司 在虚拟机中验证代码模块的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李金凤: "基于微软云计算平台的海量数据挖掘系统", 《电脑知识与技术》 *
纪俊: "一种基于云计算的数据挖掘平台架构设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714415A (zh) * 2013-12-04 2014-04-09 深圳市华傲数据技术有限公司 一种对批量数据进行自动修复的方法及系统
CN104079636A (zh) * 2014-06-18 2014-10-01 深圳技师学院 一种基于云计算的移动校园网
CN104079636B (zh) * 2014-06-18 2018-02-16 深圳技师学院 一种基于云计算的移动校园网
CN105956077A (zh) * 2016-04-29 2016-09-21 上海交通大学 基于语义需求匹配的流程挖掘系统
CN105956077B (zh) * 2016-04-29 2019-10-15 上海交通大学 基于语义需求匹配的流程挖掘系统
CN109976729A (zh) * 2019-05-05 2019-07-05 东北大学 一种存算显全局可配置的数据分析软件架构设计方法
CN109976729B (zh) * 2019-05-05 2021-10-22 东北大学 一种存算显全局可配置的数据分析软件架构设计方法
CN111126895A (zh) * 2019-11-18 2020-05-08 青岛海信网络科技股份有限公司 一种复杂场景下调度智能分析算法的管理仓库及调度方法

Similar Documents

Publication Publication Date Title
CN106126346B (zh) 一种大规模分布式数据采集系统及方法
WO2016070691A1 (zh) 面向服务的变电站监控系统架构
CN103458033B (zh) 事件驱动、面向服务的物联网服务提供系统及其工作方法
CN105809356A (zh) 一种基于应用集成云平台的信息系统资源管理方法
CN102929607A (zh) 一种基于云计算的数据挖掘系统功能层析架构
CN106934497B (zh) 基于深度学习的智慧小区用电量实时预测方法及装置
CN108989194A (zh) 分布式IPSec网关
CN105678436B (zh) 一种基于云服务平台的物联网协同管理方法和系统
CN102033750A (zh) 基于soa的企业设备智能维护系统架构方法及系统
CN102982209A (zh) 基于hla的空间网络可视化仿真系统及仿真方法
CN106375480A (zh) 一种基于分布式系统的电能数据实时采集系统及方法
Liu et al. Summary of cloud robot research
CN106202399A (zh) 一种大数据的数据管理系统实现方法
CN104809551A (zh) 一种基于移动Agent客户端的跨系统工作流协同方法
CN101304410A (zh) 分布式web的智能信息平台
Pan et al. Pervasive service bus: smart SOA infrastructure for ambient intelligence
CN101751255B (zh) 遵循xpdl规范工作流中间件实现服务编制的方法、装置
CN104023047A (zh) 一种车联社区利益共同体
CN210927674U (zh) 一种基于标准通信协议的工业互联网体系架构
CN202652404U (zh) 一种基于云计算的高清视频处理和会议平台系统
Shelgaonkar Creating a smart home environment with IOT driven home appliances
CN101859249B (zh) 实现带有人工任务的自动流程的方法、装置及系统
CN110430271A (zh) 一种移动设备管理的方法及装置
CN209313868U (zh) 一种分布式云储存系统
CN105223918B (zh) 实现控制信息和服务信息分离处理的系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130213