CN112486475A - 基于大数据平台的可视化业务建模及模型管理系统 - Google Patents

基于大数据平台的可视化业务建模及模型管理系统 Download PDF

Info

Publication number
CN112486475A
CN112486475A CN202011410874.6A CN202011410874A CN112486475A CN 112486475 A CN112486475 A CN 112486475A CN 202011410874 A CN202011410874 A CN 202011410874A CN 112486475 A CN112486475 A CN 112486475A
Authority
CN
China
Prior art keywords
model
modeling
visual
business modeling
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011410874.6A
Other languages
English (en)
Inventor
吴少智
陈端兵
唐国海
何方显
郭青松
温智翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Big Data Industry Technology Research Institute Co ltd
University of Electronic Science and Technology of China
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Big Data Industry Technology Research Institute Co ltd
University of Electronic Science and Technology of China
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Big Data Industry Technology Research Institute Co ltd, University of Electronic Science and Technology of China, Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Big Data Industry Technology Research Institute Co ltd
Priority to CN202011410874.6A priority Critical patent/CN112486475A/zh
Publication of CN112486475A publication Critical patent/CN112486475A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/35—Creation or generation of source code model driven

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于大数据平台的可视化业务建模及模型管理系统，该系统通过可视化的业务建模、典型的建模样例和准确到位的帮助信息，使得用户无需编程，仅通过拖拽、连线的方式，便可以完成建模工作。模型逻辑建好以后，该系统提供了文本、表格、直方图、环图、折线图、ROC曲线图、2D/3D词云、树、森林等视图，以满足建模过程中不同阶段、不同输出类型数据的预览需求。

Description

基于大数据平台的可视化业务建模及模型管理系统
技术领域
本发明具体涉及大数据技术领域，具体涉及一种基于大数据平台的可视化业务建模及模型管理系统。
背景技术
大数据平台业务建模是一个复杂的过程，需要通过算法评估、模型训练、模型验证、模型调优等多个阶段，而且技术门槛高、耗时费力，这是限制政府和企业进行数据分析挖掘的主要问题之一；因此提出一种基于大数据平台的可视化业务建模及模型管理系统以解决这一问题。
大数据平台业务建模是一个复杂的过程，需要通过算法评估、模型训练、模型验证、模型调优等多个阶段。传统的建模及模型管理的方法主要是将训练好的模型导出成PMML文件，并存储在Web服务器中，需要在Web应用程序内部加载模型，并且为每个模型搭建单独的模型应用程序，从而将模型部署成在线服务。PMML文件虽然能够跨多种平台使用，但却牺牲了很多平台自身的性能优势，存在模型文件过大、模型加载速度较慢等缺点，并且Web应用开发人员需要根据不同模型搭建不同的模型应用程序，提高了开发成本，各个模型服务嵌入应用内部，致使模型维护困难。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于大数据平台的可视化业务建模及模型管理系统，该基于大数据平台的可视化业务建模及模型管理系统可以很好地解决上述问题。
为达到上述要求，本发明采取的技术方案是：提供一种基于大数据平台的可视化业务建模及模型管理系统，该基于大数据平台的可视化业务建模及模型管理系统通过将业务建模所需的数据读写、数据预处理、特征工程、模型训练、模型评估和模型应用环节，统一封装为形式一致的可视化算子，以可视化算子的形式提供机器学习算法和数据读写、数据处理工具箱，使用可视化组件和托拉拽操作来拼装CRISP-DM工作流，即可完成数据探索、业务建模和模型部署的数据挖掘过程。
优选的，还包括Notebook服务模块，所述Notebook服务模块通过编程模式提供特定算法需求情况下的高度定制开发功能，以适应不同的数据挖掘过程中的各种需求
优选的，还包括用于实现用户空间管理、用户数据逻辑空间、用户权限和用户交互逻辑的Web GUI模块和Web Service模块。
优选的，还包括用于实现数据解析、算法管理和业务建模工作流的解析和调度的核心算法引擎服务Core模块。
优选的，还包括可视化调整模块，用于进行模块增减和模块顺序调整，并通过可拖拽和连线的方式构建业务建模流程，在模型逻辑建立好以后，将建模逻辑以工作流的形式保存在存储系统中，并随时手动或自动运行自己或协作伙伴的工作流以观察建模效果。
该基于大数据平台的可视化业务建模及模型管理系统具有的优点如下：
通过可视化的业务建模、典型的建模样例和准确到位的帮助信息，使得用户无需编程，仅通过拖拽、连线的方式，便可以完成建模工作。模型逻辑建好以后，该系统提供了文本、表格、直方图、环图、折线图、ROC曲线图、2D/3D词云、树、森林等视图，以满足建模过程中不同阶段、不同输出类型数据的预览需求。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明。
在以下描述中，对“一个实施例”、“实施例”、“一个示例”、“示例”等等的引用表明如此描述的实施例或示例可以包括特定特征、结构、特性、性质、元素或限度，但并非每个实施例或示例都必然包括特定特征、结构、特性、性质、元素或限度。另外，重复使用短语“根据本申请的一个实施例”虽然有可能是指代相同实施例，但并非必然指代相同的实施例。
为简单起见，以下描述中省略了本领域技术人员公知的某些技术特征。
根据本申请的一个实施例，提供一种基于大数据平台的可视化业务建模及模型管理系统，通过将业务建模所需的数据读写、数据预处理、特征工程、模型训练、模型评估和模型应用环节，统一封装为形式一致的可视化算子，以可视化算子的形式提供机器学习算法和数据读写、数据处理工具箱，使用可视化组件和托拉拽操作来拼装CRISP-DM工作流，即可完成数据探索、业务建模和模型部署的数据挖掘过程。
根据本申请的一个实施例，该系统还包括Notebook服务模块，所述Notebook服务模块通过编程模式提供特定算法需求情况下的高度定制开发功能，以适应不同的数据挖掘过程中的各种需求
根据本申请的一个实施例，该系统还包括用于实现用户空间管理、用户数据逻辑空间、用户权限和用户交互逻辑的Web GUI模块和Web Service模块。
根据本申请的一个实施例，该系统还包括用于实现数据解析、算法管理和业务建模工作流的解析和调度的核心算法引擎服务Core模块。
根据本申请的一个实施例，该系统还包括可视化调整模块，用于进行模块增减和模块顺序调整，并通过可拖拽和连线的方式构建业务建模流程，在模型逻辑建立好以后，将建模逻辑以工作流的形式保存在存储系统中，并随时手动或自动运行自己或协作伙伴的工作流以观察建模效果。
以上所述实施例仅表示本发明的几种实施方式，其描述较为具体和详细，但并不能理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明保护范围。因此本发明的保护范围应该以所述权利要求为准。

Claims (5)

1.一种基于大数据平台的可视化业务建模及模型管理系统，其特征在于：通过将业务建模所需的数据读写、数据预处理、特征工程、模型训练、模型评估和模型应用环节，统一封装为形式一致的可视化算子，以可视化算子的形式提供机器学习算法和数据读写、数据处理工具箱，使用可视化组件和托拉拽操作来拼装CRISP-DM工作流，即可完成数据探索、业务建模和模型部署的数据挖掘过程。
2.根据权利要求1所述的基于大数据平台的可视化业务建模及模型管理系统，其特征在于：还包括Notebook服务模块，所述Notebook服务模块通过编程模式提供特定算法需求情况下的高度定制开发功能，以适应不同的数据挖掘过程中的各种需求。
3.根据权利要求1所述的基于大数据平台的可视化业务建模及模型管理系统，其特征在于：还包括用于实现用户空间管理、用户数据逻辑空间、用户权限和用户交互逻辑的WebGUI模块和Web Service模块。
4.根据权利要求1所述的基于大数据平台的可视化业务建模及模型管理系统，其特征在于：还包括用于实现数据解析、算法管理和业务建模工作流的解析和调度的核心算法引擎服务Core模块。
5.根据权利要求1所述的基于大数据平台的可视化业务建模及模型管理系统，其特征在于：还包括可视化调整模块，用于进行模块增减和模块顺序调整，并通过可拖拽和连线的方式构建业务建模流程，在模型逻辑建立好以后，将建模逻辑以工作流的形式保存在存储系统中，并随时手动或自动运行自己或协作伙伴的工作流以观察建模效果。
CN202011410874.6A 2020-12-03 2020-12-03 基于大数据平台的可视化业务建模及模型管理系统 Pending CN112486475A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011410874.6A CN112486475A (zh) 2020-12-03 2020-12-03 基于大数据平台的可视化业务建模及模型管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011410874.6A CN112486475A (zh) 2020-12-03 2020-12-03 基于大数据平台的可视化业务建模及模型管理系统

Publications (1)

Publication Number Publication Date
CN112486475A true CN112486475A (zh) 2021-03-12

Family

ID=74938141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011410874.6A Pending CN112486475A (zh) 2020-12-03 2020-12-03 基于大数据平台的可视化业务建模及模型管理系统

Country Status (1)

Country Link
CN (1) CN112486475A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113805850A (zh) * 2021-08-12 2021-12-17 紫光云(南京)数字技术有限公司 基于多种深度学习和机器学习框架的人工智能管理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975720A (zh) * 2006-12-27 2007-06-06 章毅 一种基于Web的数据挖掘系统及其控制方法
CN107526832A (zh) * 2017-09-05 2017-12-29 江苏电力信息技术有限公司 一种构建基于页面拖拽技术的大数据业务模型的方法
KR20180065416A (ko) * 2016-12-07 2018-06-18 (주)에스피파트너스 빅데이터 분석 프로세스 모델링을 위한 인터페이스 장치
CN108694448A (zh) * 2018-05-08 2018-10-23 成都卡莱博尔信息技术股份有限公司 Phm平台
CN110909039A (zh) * 2019-10-25 2020-03-24 北京华如科技股份有限公司 一种基于拖拽式流程的大数据挖掘工具及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975720A (zh) * 2006-12-27 2007-06-06 章毅 一种基于Web的数据挖掘系统及其控制方法
KR20180065416A (ko) * 2016-12-07 2018-06-18 (주)에스피파트너스 빅데이터 분석 프로세스 모델링을 위한 인터페이스 장치
CN107526832A (zh) * 2017-09-05 2017-12-29 江苏电力信息技术有限公司 一种构建基于页面拖拽技术的大数据业务模型的方法
CN108694448A (zh) * 2018-05-08 2018-10-23 成都卡莱博尔信息技术股份有限公司 Phm平台
CN110909039A (zh) * 2019-10-25 2020-03-24 北京华如科技股份有限公司 一种基于拖拽式流程的大数据挖掘工具及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113805850A (zh) * 2021-08-12 2021-12-17 紫光云(南京)数字技术有限公司 基于多种深度学习和机器学习框架的人工智能管理系统

Similar Documents

Publication Publication Date Title
US20180300226A1 (en) System and method for equivalence class analysis-based automated requirements-based test case generation
US7827122B1 (en) Data mining of unfiltered controller data
CN100401265C (zh) 关键字驱动的自动化测试系统及方法
CN111309441A (zh) 一种基于Jenkins实现DevOps的微服务部署方法
CN108763091B (zh) 用于回归测试的方法、装置及系统
US9026986B2 (en) Process for development of monitoring tools
CN102043719A (zh) 一种对iec61850配置描述文件进行测试的方法
US20110060712A1 (en) Method and system for design check knowledge construction
CN104005917A (zh) 基于贝叶斯推理方式对风机状态进行预测的方法和系统
CN113449753B (zh) 业务风险预测方法、装置和系统
US20080189150A1 (en) Supply chain multi-dimensional serial containment process
CN112486475A (zh) 基于大数据平台的可视化业务建模及模型管理系统
US5781454A (en) Process modeling technique
CN110502242A (zh) 代码自动生成方法、装置、计算机设备及存储介质
Ulrich et al. Operator timing of task level primitives for use in computation-based human reliability analysis
CN116400950A (zh) 一种基于版本控制的DevOps元流水线系统
Bulavsky et al. Estimation of time parameters of electronic document management
CN113159599B (zh) 一种水库洪水调度方案的结构化解析驱动方法
CN114266040A (zh) 一种Linux主机入侵检测方法
EP3999917B1 (en) Method and system for generating a digital representation of asset information in a cloud computing environment
CN114612276A (zh) 一种智慧环卫增效算法模型管理平台
Reed et al. Service support system modelling language for simulation-driven development of functional products
Bicevskis et al. A Practitioners Approach to Achieve Autonomic Computing Goals
CN105303362A (zh) 一种基于存储过程的Web签字流程的方法
CN110569868A (zh) 一种危险作业规范管理系统及其管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination