CN112667702A - 基于大数据的数据挖掘系统 - Google Patents
基于大数据的数据挖掘系统 Download PDFInfo
- Publication number
- CN112667702A CN112667702A CN202011411910.0A CN202011411910A CN112667702A CN 112667702 A CN112667702 A CN 112667702A CN 202011411910 A CN202011411910 A CN 202011411910A CN 112667702 A CN112667702 A CN 112667702A
- Authority
- CN
- China
- Prior art keywords
- end module
- big data
- platform
- data
- big
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007418 data mining Methods 0.000 title claims abstract description 32
- 238000005065 mining Methods 0.000 claims abstract description 12
- 238000011161 development Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 239000010979 ruby Substances 0.000 claims description 4
- 229910001750 ruby Inorganic materials 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 3
- 230000002688 persistence Effects 0.000 claims description 2
- 238000009412 basement excavation Methods 0.000 claims 1
- 238000007405 data analysis Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000010354 integration Effects 0.000 abstract description 2
- 238000012549 training Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于大数据的数据挖掘系统，通过建设一个分布式、无需编码的可视化大数据分析与挖掘平台，以此为基础汇聚大数据解决方案构建智库，形成集大数据分析挖掘技术、大数据综合解决方案为一体的大数据生态圈。平台提供包括大数据服务基础平台集成、数据分析挖掘、模型部署和创新应用的完善解决方案，并为客户提供数据挖掘和业务建模的技术指导，力求以产品自助使用为主、各种培训方式为辅的方式来帮助客户降低大数据应用门槛，提升大数据价值发现的效率。
Description
技术领域
本发明设涉及大数据技术领域，具体涉及一种基于大数据的数据挖掘系统。
背景技术
随着大数据时代的到来，对于政府和企业而言，拥有海量、多样的数据资源，而经济增长方式是“生产要素的分配、投入、组合和使用的方式”，创新性地挖掘和应用隐藏在经济增长相关数据背后的事物发展规律，可以有效实现传统资源的投入、组合和使用方式的优化和预测。但就目前而言，大数据是一门新兴的技术，处于高速发展阶段，一方面利用传统技术难以进行充分的数据分析与挖掘，另一方面，大数据人才的严重匮乏，而且人力成本非常昂贵，使得政府和企业不能够及时充分地利用内外部数据，不能发现数据背后的价值和规律。如何提升海量数据的快速处理能力、数据的分析挖掘能力、大数据算法能力以通过数据助力新经济发展，是亟待解决的重要问题，也是新经济发展的关键所在。
大数据是一门新兴的技术，传统的大数据挖掘系统存在着许多缺点：数据化程度不高，数据孤岛问题严重的数据管理问题；数据挖局资金成本高、时间周期长、计算集群复杂的成本问题；大数据需求和应用方式不明确的具体业务分析问题；对数据价值进行挖掘，无法找到业务优化点、业务创新点、业务分析，需要依靠大量人力且无法准确判断得出结果是否科学合理的数据分析问题等。因此提出一种整合优化、高性价比、轻便快捷的专业机器学习环境、内置常见的算法框架、分布式、高性能、易部署的大数据挖掘系统以解决传统大数据挖掘系统的不足。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于大数据的数据挖掘系统，该基于大数据的数据挖掘系统可以很好地解决上述问题。
为达到上述要求，本发明采取的技术方案是：提供一种基于大数据的数据挖掘系统，该基于大数据的数据挖掘系统
该基于大数据的数据挖掘系统具有的优点如下：
通过建设一个分布式、无需编码的可视化大数据分析与挖掘平台，以此为基础汇聚大数据解决方案构建智库，形成集大数据分析挖掘技术、大数据综合解决方案为一体的大数据生态圈。平台提供包括大数据服务基础平台集成、数据分析挖掘、模型部署和创新应用的完善解决方案，并为客户提供数据挖掘和业务建模的技术指导，力求以产品自助使用为主、各种培训方式为辅的方式来帮助客户降低大数据应用门槛，提升大数据价值发现的效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示意性地示出了根据本申请一个实施例的基于大数据的数据挖掘系统的前端设计架构示意图。
图2示意性地示出了根据本申请一个实施例的基于大数据的数据挖掘系统的后端设计架构示意图。
图3示意性地示出了根据本申请一个实施例的基于大数据的数据挖掘系统的结构示意图核心挖掘服务端设计结构。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明。
在以下描述中，对“一个实施例”、“实施例”、“一个示例”、“示例”等等的引用表明如此描述的实施例或示例可以包括特定特征、结构、特性、性质、元素或限度，但并非每个实施例或示例都必然包括特定特征、结构、特性、性质、元素或限度。另外，重复使用短语“根据本申请的一个实施例”虽然有可能是指代相同实施例，但并非必然指代相同的实施例。
为简单起见，以下描述中省略了本领域技术人员公知的某些技术特征。
根据本申请的一个实施例，提供一种基于大数据的数据挖掘系统，如图1所示，分为三大模块，分别是平台前端模块、平台后端模块和核心挖掘服务端模块。平台前端模块处理用户交互、在浏览器中展示数据。平台后端模块和核心挖掘服务通过RPC的方式交互，核心挖掘服务端模块处理平台后端的请求，负责工作流的执行，并返回结果给平台后端。
根据本申请的一个实施例，提供一种基于大数据的数据挖掘系统，该系统的平台前端模块是基于Backbone框架的单页面应用。它的Model通过发送GET请求给后端获取所需内容。然后该内容通过模板渲染到平台前端模块。如果用户改变了Model，平台前端模块会通过发送PUT\POST请求给后端来保存数据。前端工作流程图基于Draw2D框架开发，以满足用户拖拽算子组成工作流的需求。
平台前端模块以M(Models)V(View)P(Presenter)模式进行开发，整个页面由handlebars Template前端模板渲染生成，用户通过对URL路由的操作或者页面中某些DOM节点的操作使页面跳转并重新渲染新的页面(页面部分属于V)。页面渲染需要获取模板中对应的属性参数和节点的绑定事件，这时就需要P与V和M进行交互，在P里存在着views，一些继承于views的对象和presenters，views可以为handlebars Template提供其需要的属性参数并为对应的DOM节点绑定事件，presenters是处理一些复杂的Models和collections使其能被views调用。M部分包括Models和collections，它们会给P部分提供数据和需要处理的数据，使其能被V部分展示，M能与后台进行交互使数据能增删改查。当M发生变化后V也会重新渲染，这个过程需要P去处理中间交互过程，因为M和V不能直接交互。
根据本申请的一个实施例，提供一种基于大数据的数据挖掘系统，该系统的平台后端模块使用Ruby on Rails作为开发框架，在此基础上开发具体业务逻辑，平台前端模块通过RESTful风格的API和具体的路由表和平台后端模块交互，平台后端模块和计算后端的MinerServer交互，持久化数据库使用PostgreSQL。
Rails是基于Ruby的Web应用框架，遵循MVC的软件开发模式，并强调约定由于配置，通过约定来减少配置，从而可以快速敏捷开发项目。
Rails中的模型和持久化数据库之间通过ORM框架交互，Rails中的ActiveRecord即为ORM实现。Rails所遵循的Web接口是Rack，Rack是Ruby上定义的一个简单的Web接口。
根据本申请的一个实施例，提供一种基于大数据的数据挖掘系统，该系统的核心挖掘服务端基于Netty对外提供RPC服务，主要提供算子、工作流、模型访问服务。服务端还封装了一层Connector，实现对Hadoop相关组件的调用。RPC服务端在线的情况下，可通过RPC客户端API获取各类服务对象(RPCService)，进而调用各类Service提供的相关接口。RPC服务不直接操作Hadoop相关组件，而RPC服务内部通过ConnectorService来获取底层基础框架(Infrastructure)的数据或计算资源。
以上所述实施例仅表示本发明的几种实施方式，其描述较为具体和详细，但并不能理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明保护范围。因此本发明的保护范围应该以所述权利要求为准。
Claims (7)
1.一种基于大数据的数据挖掘系统，其特征在于：包括平台前端模块、平台后端模块及核心挖掘服务端模块；
所述平台前端模块为基于Backbone框架的单页面应用，所述平台前端模块的Model通过发送GET请求给所述台后端模块获取所需内容，然后该内容通过模板渲染到所述平台前端模块；
所述平台后端模块使用Ruby on Rails作为开发框架，在此基础上开发具体业务逻辑，所述前端模块通过RESTful风格的API和具体的路由表和所述平台后端模块交互，所述平台后端模块和计算后端的MinerServer交互，持久化数据库使用PostgreSQL；
所述核心挖掘服务端模块基于Netty对外提供RPC服务，并提供算子、工作流、模型访问服务。
2.根据权利要求1所述的基于大数据的数据挖掘系统，其特征在于：所述平台前端模块以Models-View-Presenter模式进行开发，整个页面由handlebars Template前端模板渲染生成；
用户通过对URL路由的操作或者页面中DOM节点的操作使页面跳转并重新渲染新的页面。
3.根据权利要求1所述的基于大数据的数据挖掘系统，其特征在于：若用户改变了Model，所述前端模块通过发送PUT\POST请求给所述后端模块来保存数据。
4.根据权利要求1所述的基于大数据的数据挖掘系统，其特征在于：前端工作流程图基于Draw2D框架开发，以满足用户拖拽算子组成工作流的需求。
5.根据权利要求1所述的基于大数据的数据挖掘系统，其特征在于：所述核心挖掘服务端模块封装了一层Connector，实现对Hadoop相关组件的调用。
6.根据权利要求1所述的基于大数据的数据挖掘系统，其特征在于：RPC服务端在线的情况下，通过RPC客户端API获取各类服务对象，进而调用各类Service提供的相关接口。
7.根据权利要求1所述的基于大数据的数据挖掘系统，其特征在于：RPC服务不直接操作Hadoop相关组件，RPC服务内部通过ConnectorService来获取底层基础框架的数据或计算资源。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011411910.0A CN112667702A (zh) | 2020-12-03 | 2020-12-03 | 基于大数据的数据挖掘系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011411910.0A CN112667702A (zh) | 2020-12-03 | 2020-12-03 | 基于大数据的数据挖掘系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112667702A true CN112667702A (zh) | 2021-04-16 |
Family
ID=75401230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011411910.0A Pending CN112667702A (zh) | 2020-12-03 | 2020-12-03 | 基于大数据的数据挖掘系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112667702A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1975720A (zh) * | 2006-12-27 | 2007-06-06 | 章毅 | 一种基于Web的数据挖掘系统及其控制方法 |
| CN104954453A (zh) * | 2015-06-02 | 2015-09-30 | 浙江工业大学 | 基于云计算的数据挖掘rest服务平台 |
| CN107301048A (zh) * | 2017-06-23 | 2017-10-27 | 北京中泰合信管理顾问有限公司 | 应用响应式共享应用架构的内控管理系统 |
| CN107391551A (zh) * | 2017-06-06 | 2017-11-24 | 广东广业开元科技有限公司 | 一种基于数据挖掘的web业务数据分析方法及系统 |
| CN107704608A (zh) * | 2017-10-17 | 2018-02-16 | 北京览群智数据科技有限责任公司 | 一种olap多维分析和数据挖掘系统 |
| CN109325839A (zh) * | 2018-09-20 | 2019-02-12 | 电子科技大学 | 一种基于大数据中心的增值税发票应用分析系统 |
| CN110659261A (zh) * | 2019-09-19 | 2020-01-07 | 成都数之联科技有限公司 | 一种数据挖掘模型发布方法及模型和模型服务管理方法 |
| CN110909039A (zh) * | 2019-10-25 | 2020-03-24 | 北京华如科技股份有限公司 | 一种基于拖拽式流程的大数据挖掘工具及方法 |
-
2020
- 2020-12-03 CN CN202011411910.0A patent/CN112667702A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1975720A (zh) * | 2006-12-27 | 2007-06-06 | 章毅 | 一种基于Web的数据挖掘系统及其控制方法 |
| CN104954453A (zh) * | 2015-06-02 | 2015-09-30 | 浙江工业大学 | 基于云计算的数据挖掘rest服务平台 |
| CN107391551A (zh) * | 2017-06-06 | 2017-11-24 | 广东广业开元科技有限公司 | 一种基于数据挖掘的web业务数据分析方法及系统 |
| CN107301048A (zh) * | 2017-06-23 | 2017-10-27 | 北京中泰合信管理顾问有限公司 | 应用响应式共享应用架构的内控管理系统 |
| CN107704608A (zh) * | 2017-10-17 | 2018-02-16 | 北京览群智数据科技有限责任公司 | 一种olap多维分析和数据挖掘系统 |
| CN109325839A (zh) * | 2018-09-20 | 2019-02-12 | 电子科技大学 | 一种基于大数据中心的增值税发票应用分析系统 |
| CN110659261A (zh) * | 2019-09-19 | 2020-01-07 | 成都数之联科技有限公司 | 一种数据挖掘模型发布方法及模型和模型服务管理方法 |
| CN110909039A (zh) * | 2019-10-25 | 2020-03-24 | 北京华如科技股份有限公司 | 一种基于拖拽式流程的大数据挖掘工具及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104933095B (zh) | 异构信息通用性关联分析系统及其分析方法 | |
| US8972443B2 (en) | Distributed platform for network analysis | |
| CN105893593B (zh) | 一种数据融合的方法 | |
| CN110134724A (zh) | 一种建筑信息模型的数据智能提取与显示系统及方法 | |
| CN104714982A (zh) | 一种网页的加载方法和系统 | |
| CN101777004A (zh) | 面向服务环境中基于模板实现bpel子流程复用的方法及系统 | |
| CN112068825A (zh) | 一种可实现异构化节点的可视化联动编排方法 | |
| CN110991984A (zh) | 基于企业信息化异构系统的数字化经营分析平台及方法 | |
| CN103927185A (zh) | 基于能源管理的网络拓扑建模装置及其引导方法 | |
| CN108874757A (zh) | 报表生成方法及系统、计算机可读介质、电子设备 | |
| CN110059138A (zh) | 一种基于大数据平台数据分析域构架方法 | |
| CN109558194B (zh) | 一站式通用型行业报告可视化工具 | |
| CN105912723A (zh) | 一种自定义字段的存储方法 | |
| CN111813410A (zh) | 浏览器数据可视化开发用于多页面联合展示的方法和装置 | |
| CN112667702A (zh) | 基于大数据的数据挖掘系统 | |
| CN112150042A (zh) | 一种基于“微应用微服务”架构的规划评审管理方法和系统 | |
| CN110162301A (zh) | 一种表单渲染方法、装置和存储介质 | |
| Wells | New and improved: Linda in Java | |
| Brambilla et al. | Model-driven design of service-enabled web applications | |
| CN111381811A (zh) | 一种适应于多类信息系统集成的软件资源整合平台 | |
| CN108228549A (zh) | 一种数据采集方法及系统、服务器 | |
| CN114218199A (zh) | 一种具有数据交互与分析功能的可视化Portal系统 | |
| Tolksdorf | Coordinating work on the web with workspaces | |
| CN113407652A (zh) | 一种基于3dps的时空数据模型 | |
| Sun et al. | Context-aware Web service composition framework based on Agent |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210416 |