CN110427398A - 一种基于数据挖掘与分析的模型管理工具 - Google Patents
一种基于数据挖掘与分析的模型管理工具 Download PDFInfo
- Publication number
- CN110427398A CN110427398A CN201810397566.0A CN201810397566A CN110427398A CN 110427398 A CN110427398 A CN 110427398A CN 201810397566 A CN201810397566 A CN 201810397566A CN 110427398 A CN110427398 A CN 110427398A
- Authority
- CN
- China
- Prior art keywords
- model
- management
- task
- data mining
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007418 data mining Methods 0.000 title claims abstract description 29
- 238000007405 data analysis Methods 0.000 title claims abstract description 22
- 238000007726 management method Methods 0.000 claims abstract description 79
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 37
- 238000005516 engineering process Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 8
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 5
- 238000013500 data storage Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000000916 dilatatory effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 3
- 230000035800 maturation Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims 1
- 238000005457 optimization Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 238000009412 basement excavation Methods 0.000 description 4
- 241001282153 Scopelogadus mizolepis Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Stored Programmes (AREA)
Abstract
本发明公开了一种基于数据挖掘与分析的模型管理工具，包括模型管理、算法管理、任务管理、数据源管理、业务源管理模块构成；其核心功能是模型管理、算法管理、任务管理，其他模块都是为这三项核心模块进行提供辅助的模块，使用工作流技术、计算引擎技术、数据存储技术、任务调度等技术的选型，实现自主建模、实时模型训练、实时展示模型计算的输出等效果。有益效果在于：提高了数据挖掘和分析时模型创建的效率，提升了数据挖掘和分析处理的效率，减少了运营人员需求，降低了生产成本。
Description
技术领域
本发明涉及数据挖掘设备领域，本发明涉及一种基于数据挖掘与分析的模型管理工具。
背景技术
随着大数据时代的到来，数据的挖掘与分析开始被人们逐渐重视起来，因此运应运而生了许多大数据平台，这些大数据平台很多都是专注于海量数据的处理：数据的采集、解析、预处理、ETL，而在数据价值的挖掘和分析方面做的比较少。另外也有一些专业的数据挖掘与分析平台，提供了比较丰富的数据挖掘技术和数据分析算法，但是在自主模型创建方面考虑的不全面，不能进行灵活的、自主的创建模型，进行数据的挖掘和分析，不能由使用者按照自己的设想通过友好的模型管理界面进行自主模型创建，往往是以特定的多种行业的模型模板对外提供的；另外，在算法的选择方面比较单一，不能根据数据的量级而选择合适的算法，从而不能保证数据挖掘分析时的处理效率。
所谓自主建模，就是通过模型管理界面，根据需要分析的行业业务知识，选择需要分析的数据源，然后根据数据挖掘分析的知识，创建数据挖掘分析的模型。模型创建过程中完全是界面化、可视化和拖拉拽的方式进行，数据挖掘与分析需要的操作、算法都是在平台上配置好的，不需要编写代码。
发明内容
本发明的目的就在于为了解决上述问题而提供一种基于数据挖掘与分析的模型管理工具。
本发明通过以下技术方案来实现上述目的：
一种基于数据挖掘与分析的模型管理工具，包括模型管理、算法管理、任务管理、数据源管理、业务源管理模块构成；其核心功能是模型管理、算法管理、任务管理，其他模块都是为这三项核心模块进行提供辅助的模块，使用工作流技术、计算引擎技术、数据存储技术、任务调度等技术的选型，实现自主建模、实时模型训练、实时展示模型计算的输出等效果。
本实施例中，所述模型管理是由模型定义与训练、模型测试、模型发布、模型评估、历史模型查询等功能组成，其中模型定义与训练是可以在流程绘制过程中进行流程实时调试执行的，并且可以对计算结果进行展示；并且每一个原子算法、活动执行的结果会保存在临时存储中，并且可供其后继任务随时访问，当整个模型训练完成以后，模型成功保存后，通过清除操作，才可以把训练过程中的临时存储数据进行释放，这样可以提高建模的效率，避免每次调试都要从开始点执行；模型发布是用来进行模型导出和导入的，目的是把已经绘制好的模型信息从平台上导出形成文件，并可以导入到另一个平台实例中，以便于进行模型的迁移；对于成熟在用的模型，运行一段时间以后，可以使用模型评估模块，对模型的有效性进行评估，并可以进行优化。
本实施例中，所述算法管理是包含原子算法管理、原子操作管理、原子服务管理、伪码编程管理、工具包管理等功能，这些功能为平台可扩展性提供了支撑，主要是面向平台管理人员开放，可以灵活配置各种算法、操作、服务，并且可以把常用的操作集成为工具包，为建模人员提供。其中原子算法集成了多种语言实现的版本(R，C++，SparkR、Python、Java、Julia、Scala、Go、Mahout)，以便于建模人员根据实际需要处理的数据量选择效率最佳的算法。
本实施例中，所述任务管理主要是对测试通过的成熟的模型，形成固定的任务，可以配置定期时间，任务调度根据定时器调度启动执行，并可以监控模型执行状态：成功、失败、执行中，还可以查看执行日志和结果。任务管理还可以设定模型运行的并行度，根据用户对计算效率的要求设定并行度，以提高处理效率，但并行度必须以当前平台基础实施规模为前提的。
本实施例中，所述自主建模功能是指通过拖拉拽方式可视化绘制模型流程，并且可以实时单步训练，并可以对输出结果进行展示。
本实施例中，所述工具支持多语言实现的算法版本，可以根据数量灵活选择最佳的算法使用。
本实施例中，所述工具提供简单的编程功能，支持的编程语言包括：Java、C++、Python等主流开发语言，并可以集成到自建模型中辅助数据挖掘与分析处理。
本发明的有益效果在于：
1：提高了数据挖掘和分析时模型创建的效率：平台通过托拉拽的方式就可以创建数据挖掘和分析模型，从而改变了通过编写程序代码来创建数据挖掘模型的传统做法，并且降低了对建模人员编程能力要求，这样使得建模人员可以专注于数据挖掘理论研究，快速绘制挖掘模型；
2：提升了数据挖掘和分析处理的效率：平台提供了适合多种场景的算法实现版本，并且可以根据实际的数据量来设定计算的并行度，大大地提升了分析处理的效率；
3：减少了运营人员需求，降低了生产成本：平台中任务管理模块提供了定时执行功能，从而免去了专门安排人员手工执行任务工作，减少了人员需求，从而降低了生产成本。
附图说明
图1是本发明所述一种基于数据挖掘与分析的模型管理工具的工作原理图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1所示，一种基于数据挖掘与分析的模型管理工具，包括模型管理、算法管理、任务管理、数据源管理、业务源管理模块构成；其核心功能是模型管理、算法管理、任务管理，其他模块都是为这三项核心模块进行提供辅助的模块，使用工作流技术、计算引擎技术、数据存储技术、任务调度等技术的选型，实现自主建模、实时模型训练、实时展示模型计算的输出等效果。
本实施例中，所述模型管理是由模型定义与训练、模型测试、模型发布、模型评估、历史模型查询等功能组成，其中模型定义与训练是可以在流程绘制过程中进行流程实时调试执行的，并且可以对计算结果进行展示；并且每一个原子算法、活动执行的结果会保存在临时存储中，并且可供其后继任务随时访问，当整个模型训练完成以后，模型成功保存后，通过清除操作，才可以把训练过程中的临时存储数据进行释放，这样可以提高建模的效率，避免每次调试都要从开始点执行；模型发布是用来进行模型导出和导入的，目的是把已经绘制好的模型信息从平台上导出形成文件，并可以导入到另一个平台实例中，以便于进行模型的迁移；对于成熟在用的模型，运行一段时间以后，可以使用模型评估模块，对模型的有效性进行评估，并可以进行优化。
本实施例中，所述算法管理是包含原子算法管理、原子操作管理、原子服务管理、伪码编程管理、工具包管理等功能，这些功能为平台可扩展性提供了支撑，主要是面向平台管理人员开放，可以灵活配置各种算法、操作、服务，并且可以把常用的操作集成为工具包，为建模人员提供。其中原子算法集成了多种语言实现的版本(R，C++，SparkR、Python、Java、Julia、Scala、Go、Mahout)，以便于建模人员根据实际需要处理的数据量选择效率最佳的算法。
本实施例中，所述任务管理主要是对测试通过的成熟的模型，形成固定的任务，可以配置定期时间，任务调度根据定时器调度启动执行，并可以监控模型执行状态：成功、失败、执行中，还可以查看执行日志和结果。任务管理还可以设定模型运行的并行度，根据用户对计算效率的要求设定并行度，以提高处理效率，但并行度必须以当前平台基础实施规模为前提的。
本实施例中，所述自主建模功能是指通过拖拉拽方式可视化绘制模型流程，并且可以实时单步训练，并可以对输出结果进行展示。
本实施例中，所述工具支持多语言实现的算法版本，可以根据数量灵活选择最佳的算法使用。
本实施例中，所述工具提供简单的编程功能，支持的编程语言包括：Java、C++、Python等主流开发语言，并可以集成到自建模型中辅助数据挖掘与分析处理。
具体工作原理为：该数据挖掘与分析的模型管理平台IMMP，主要有模型管理、算法管理、任务管理、数据源管理、业务源管理模块构成；其核心功能是模型管理、算法管理、任务管理，其他模块都是为这三项核心模块进行提供辅助的模块。为了能够达到自主建模、实时模型训练、实时展示模型计算的输出等效果，需要考虑工作流技术、计算引擎技术、数据存储技术、任务调度等技术的选型，以便于能够有效支撑这些功能的实现。
在工作流技术选型方面，是以JBPM为蓝本进行设计和开发了建模流程界面和流程调度服务，使用的核心语言为java，web框架使用Bootstrap；在计算引擎技术选型方面，采用是java多线程技术；数据存储在技术选型时，需要考虑大数据5V特点中的大体量(Volume)、时效性(Velocity)，所以，数据存储技术选择了Hdfs+Hbase+Hive、GreenPlum、Redis、Mysql等多种存储机制；任务调度在技术选型时，选择了java多线程技术。
模型管理工具是通过WEB前台界面通过手工拖拉拽的方式绘制数据挖掘的处理流程，并把流程信息保存在Mysql数据库中，计算引擎从数据库中获取流程信息，并生成任务进行执行，流程中各原子算法、活动节点之间的临时数据是通过Redis缓存进行交互的，界面包括原子算法和操作的维护、模型训练、模型运行输出观测、任务监控等功能。建模人员在界面上通过工作流以拖、拉、拽的方式选择算法、操作，组织处理逻辑关系，平台对已经绘制好的工作流模型进行沉淀。建模人员可以在界面上及时查看模型训练的结果；也可以查看已经模型执行的进展状态等相关信息任务引擎：包括任务调度、活动排序、活动触发、状态监控输出等功能。通过任务引擎建模平台对任务进行调度、对活动进行排序、按照界面要求出发活动运行，并实时监控任务执行状态，并可以对模型训练执行指令和结果查看指令进行执行，计算引擎包含活动识别、参数解析赋值、算法的调用。当任务进行调用时计算引擎通过对工作流模型解析识别后调用相应的算法服务，计算服务包括完成服务编排、负载均衡、服务分发等。此部分为中间件采用ZeroIce实现，以完成服务节点与计算节点之间远程和异构系统之间的通信，计算节点对指定数据的统计分析和计算。此部分为算法实现部分、算法编写采用常用的Python、R、Spark、Java、C++等语言进行实现，平台将常用算法以原子算法的方式进行提供，建模人员只需通过工作流的方式将模型建立过程描述出来即可，这样就降低了对建模人员的编程技术要求。不同原子算法部署在不同的计算节点上，算法的过程数据采用统一的内存数据库以Key-Value进行存放，这样的实现提高了模型运算的性能。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。
Claims (7)
1.一种基于数据挖掘与分析的模型管理工具，其特征在于：包括模型管理、算法管理、任务管理、数据源管理、业务源管理模块构成；其核心功能是模型管理、算法管理、任务管理，其他模块都是为这三项核心模块进行提供辅助的模块，使用工作流技术、计算引擎技术、数据存储技术、任务调度等技术的选型，实现自主建模、实时模型训练、实时展示模型计算的输出等效果。
2.根据权利要求1所述的一种基于数据挖掘与分析的模型管理工具，其特征在于：所述模型管理是由模型定义与训练、模型测试、模型发布、模型评估、历史模型查询等功能组成，其中模型定义与训练是可以在流程绘制过程中进行流程实时调试执行的，并且可以对计算结果进行展示；并且每一个原子算法、活动执行的结果会保存在临时存储中，并且可供其后继任务随时访问，当整个模型训练完成以后，模型成功保存后，通过清除操作，才可以把训练过程中的临时存储数据进行释放，这样可以提高建模的效率，避免每次调试都要从开始点执行；模型发布是用来进行模型导出和导入的，目的是把已经绘制好的模型信息从平台上导出形成文件，并可以导入到另一个平台实例中，以便于进行模型的迁移；对于成熟在用的模型，运行一段时间以后，可以使用模型评估模块，对模型的有效性进行评估，并可以进行优化。
3.根据权利要求1所述的一种基于数据挖掘与分析的模型管理工具，其特征在于：所述算法管理是包含原子算法管理、原子操作管理、原子服务管理、伪码编程管理、工具包管理等功能，这些功能为平台可扩展性提供了支撑，主要是面向平台管理人员开放，可以灵活配置各种算法、操作、服务，并且可以把常用的操作集成为工具包，为建模人员提供。其中原子算法集成了多种语言实现的版本(R，C++，SparkR、Python、Java、Julia、Scala、Go、Mahout)，以便于建模人员根据实际需要处理的数据量选择效率最佳的算法。
4.根据权利要求1所述的一种基于数据挖掘与分析的模型管理工具，其特征在于：所述任务管理主要是对测试通过的成熟的模型，形成固定的任务，可以配置定期时间，任务调度根据定时器调度启动执行，并可以监控模型执行状态：成功、失败、执行中，还可以查看执行日志和结果。任务管理还可以设定模型运行的并行度，根据用户对计算效率的要求设定并行度，以提高处理效率，但并行度必须以当前平台基础实施规模为前提的。
5.根据权利要求1所述的一种基于数据挖掘与分析的模型管理工具，其特征在于：所述自主建模功能是指通过拖拉拽方式可视化绘制模型流程，并且可以实时单步训练，并可以对输出结果进行展示。
6.根据权利要求1所述的一种基于数据挖掘与分析的模型管理工具，其特征在于：所述工具支持多语言实现的算法版本，可以根据数量灵活选择最佳的算法使用。
7.根据权利要求1所述的一种基于数据挖掘与分析的模型管理工具，其特征在于：所述工具提供简单的编程功能，支持的编程语言包括：Java、C++、Python等主流开发语言，并可以集成到自建模型中辅助数据挖掘与分析处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810397566.0A CN110427398A (zh) | 2018-04-28 | 2018-04-28 | 一种基于数据挖掘与分析的模型管理工具 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810397566.0A CN110427398A (zh) | 2018-04-28 | 2018-04-28 | 一种基于数据挖掘与分析的模型管理工具 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110427398A true CN110427398A (zh) | 2019-11-08 |
Family
ID=68407064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810397566.0A Pending CN110427398A (zh) | 2018-04-28 | 2018-04-28 | 一种基于数据挖掘与分析的模型管理工具 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110427398A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110968620A (zh) * | 2019-12-10 | 2020-04-07 | 国网信通亿力科技有限责任公司 | 一种敏捷数据分析方法 |
| CN114896477A (zh) * | 2022-06-08 | 2022-08-12 | 徐州医科大学 | 一种支持多种语言算法的数据挖掘安全可视化系统及方法 |
| CN115964035A (zh) * | 2022-12-05 | 2023-04-14 | 广州市海捷计算机科技有限公司 | 数据挖掘模型管理方法、装置、电子设备及存储介质 |
| CN116521778A (zh) * | 2023-03-29 | 2023-08-01 | 山东省国土空间数据和遥感技术研究院(山东省海域动态监视监测中心) | 基于人工智能的一站式数据分析工具、方法及终端设备 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020198889A1 (en) * | 2001-04-26 | 2002-12-26 | International Business Machines Corporation | Method and system for data mining automation in domain-specific analytic applications |
| US6865573B1 (en) * | 2001-07-27 | 2005-03-08 | Oracle International Corporation | Data mining application programming interface |
| US7092941B1 (en) * | 2002-05-23 | 2006-08-15 | Oracle International Corporation | Clustering module for data mining |
| CN1841380A (zh) * | 2005-03-31 | 2006-10-04 | 微软公司 | 用于改进搜索引擎相关性的数据挖掘技术 |
| CN1975720A (zh) * | 2006-12-27 | 2007-06-06 | 章毅 | 一种基于Web的数据挖掘系统及其控制方法 |
| CN101169798A (zh) * | 2007-12-06 | 2008-04-30 | 中国电信股份有限公司 | 一种数据挖掘系统和方法 |
| CN101799809A (zh) * | 2009-02-10 | 2010-08-11 | 中国移动通信集团公司 | 数据挖掘方法和数据挖掘系统 |
| CN102413114A (zh) * | 2011-08-12 | 2012-04-11 | 华南理工大学 | 一种面向组合的语义web服务发现方法 |
| CN102890710A (zh) * | 2012-09-08 | 2013-01-23 | 佳都新太科技股份有限公司 | 一种基于excel的一种数据挖掘方法 |
| CN103942286A (zh) * | 2014-04-10 | 2014-07-23 | 北京邮电大学 | 一种利用相关系数进行相关性分析的贝叶斯分类数据挖掘方法 |
| CN106022477A (zh) * | 2016-05-18 | 2016-10-12 | 国网信通亿力科技有限责任公司 | 智能分析决策系统及方法 |
| CN107038167A (zh) * | 2016-02-03 | 2017-08-11 | 普华诚信信息技术有限公司 | 基于模型评估的大数据挖掘分析系统及其分析方法 |
| CN107526832A (zh) * | 2017-09-05 | 2017-12-29 | 江苏电力信息技术有限公司 | 一种构建基于页面拖拽技术的大数据业务模型的方法 |
| CN107526600A (zh) * | 2017-09-05 | 2017-12-29 | 成都优易数据有限公司 | 一种基于hadoop和spark的可视化数据挖掘分析平台及其数据清洗方法 |
| CN107621978A (zh) * | 2017-09-29 | 2018-01-23 | 郑州云海信息技术有限公司 | 一种并行计算环境下的高可用任务处理控制模型 |
| CN107844343A (zh) * | 2017-11-24 | 2018-03-27 | 税友软件集团股份有限公司 | 一种复杂服务端应用系统的升级系统及方法 |
-
2018
- 2018-04-28 CN CN201810397566.0A patent/CN110427398A/zh active Pending
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020198889A1 (en) * | 2001-04-26 | 2002-12-26 | International Business Machines Corporation | Method and system for data mining automation in domain-specific analytic applications |
| US6865573B1 (en) * | 2001-07-27 | 2005-03-08 | Oracle International Corporation | Data mining application programming interface |
| US7092941B1 (en) * | 2002-05-23 | 2006-08-15 | Oracle International Corporation | Clustering module for data mining |
| CN1841380A (zh) * | 2005-03-31 | 2006-10-04 | 微软公司 | 用于改进搜索引擎相关性的数据挖掘技术 |
| CN1975720A (zh) * | 2006-12-27 | 2007-06-06 | 章毅 | 一种基于Web的数据挖掘系统及其控制方法 |
| CN101169798A (zh) * | 2007-12-06 | 2008-04-30 | 中国电信股份有限公司 | 一种数据挖掘系统和方法 |
| CN101799809A (zh) * | 2009-02-10 | 2010-08-11 | 中国移动通信集团公司 | 数据挖掘方法和数据挖掘系统 |
| CN102413114A (zh) * | 2011-08-12 | 2012-04-11 | 华南理工大学 | 一种面向组合的语义web服务发现方法 |
| CN102890710A (zh) * | 2012-09-08 | 2013-01-23 | 佳都新太科技股份有限公司 | 一种基于excel的一种数据挖掘方法 |
| CN103942286A (zh) * | 2014-04-10 | 2014-07-23 | 北京邮电大学 | 一种利用相关系数进行相关性分析的贝叶斯分类数据挖掘方法 |
| CN107038167A (zh) * | 2016-02-03 | 2017-08-11 | 普华诚信信息技术有限公司 | 基于模型评估的大数据挖掘分析系统及其分析方法 |
| CN106022477A (zh) * | 2016-05-18 | 2016-10-12 | 国网信通亿力科技有限责任公司 | 智能分析决策系统及方法 |
| CN107526832A (zh) * | 2017-09-05 | 2017-12-29 | 江苏电力信息技术有限公司 | 一种构建基于页面拖拽技术的大数据业务模型的方法 |
| CN107526600A (zh) * | 2017-09-05 | 2017-12-29 | 成都优易数据有限公司 | 一种基于hadoop和spark的可视化数据挖掘分析平台及其数据清洗方法 |
| CN107621978A (zh) * | 2017-09-29 | 2018-01-23 | 郑州云海信息技术有限公司 | 一种并行计算环境下的高可用任务处理控制模型 |
| CN107844343A (zh) * | 2017-11-24 | 2018-03-27 | 税友软件集团股份有限公司 | 一种复杂服务端应用系统的升级系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李涛，曾春秋等: "大数据时代的数据挖掘――从应用的角度看大数据挖掘", 《大数据》, vol. 1, no. 4, 20 November 2015 (2015-11-20), pages 1 - 24 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110968620A (zh) * | 2019-12-10 | 2020-04-07 | 国网信通亿力科技有限责任公司 | 一种敏捷数据分析方法 |
| CN114896477A (zh) * | 2022-06-08 | 2022-08-12 | 徐州医科大学 | 一种支持多种语言算法的数据挖掘安全可视化系统及方法 |
| CN115964035A (zh) * | 2022-12-05 | 2023-04-14 | 广州市海捷计算机科技有限公司 | 数据挖掘模型管理方法、装置、电子设备及存储介质 |
| CN116521778A (zh) * | 2023-03-29 | 2023-08-01 | 山东省国土空间数据和遥感技术研究院(山东省海域动态监视监测中心) | 基于人工智能的一站式数据分析工具、方法及终端设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427398A (zh) | 一种基于数据挖掘与分析的模型管理工具 | |
| EP3996004A1 (en) | Spiking neural network computing system and method for brain-like intelligence and cognitive computing | |
| US20180159747A1 (en) | Automated feature deployment for active analytics microservices | |
| CN106647787B (zh) | 一种卫星星上自主规划任务的方法及系统 | |
| CN103324765B (zh) | 一种基于列存储的多核并行数据查询优化方法 | |
| CN105719126B (zh) | 一种基于生命周期模型的互联网大数据任务调度的系统及方法 | |
| CN110286892B (zh) | 一种基于业务流程设计的快速开发引擎系统 | |
| JP6763072B2 (ja) | データ処理グラフのコンパイル | |
| CN110333941A (zh) | 一种基于sql的大数据实时计算平台及方法 | |
| CN109784708A (zh) | 水行业多模型耦合计算的云服务系统 | |
| Bisiani et al. | The architecture of the AGORA environment | |
| CN104820616B (zh) | 一种任务调度的方法及装置 | |
| CN109710372A (zh) | 一种基于猫头鹰搜索算法的计算密集型云工作流调度方法 | |
| CN104156269B (zh) | 一种基于时间自动机的软硬件最优划分的可视化方法 | |
| CN109656692A (zh) | 一种大数据任务管理方法、装置、设备及存储介质 | |
| CN101930558A (zh) | 一种流程绩效分析方法及流程绩效分析系统 | |
| CN109960701A (zh) | 一种基于混合引擎的大数据处理方法及系统 | |
| EP3343372A1 (en) | Distributed cache cleanup for analytic instance runs processing operating data from industrial assets | |
| CN111190690A (zh) | 基于容器编排工具的智能训练装置 | |
| CN110956025A (zh) | 一种基于流程模板复用的方法 | |
| CN108459844A (zh) | 基于大数据处理框架的任务分类处理方法以及计算机设备 | |
| CN110069243A (zh) | 一种java程序线程优化方法 | |
| Sun et al. | A Variability-Enabling and Model-Driven Approach to Adaptive Microservice-based Systems | |
| CN107872352A (zh) | 一种网管系统的性能测试方法、装置及系统 | |
| CN109062695B (zh) | 一种vic陆面模型网格数据计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |