CN112559829A - 一种基于大数据框架的交互式和自定义数据分析建模系统 - Google Patents

一种基于大数据框架的交互式和自定义数据分析建模系统 Download PDF

Info

Publication number
CN112559829A
CN112559829A CN202010650522.1A CN202010650522A CN112559829A CN 112559829 A CN112559829 A CN 112559829A CN 202010650522 A CN202010650522 A CN 202010650522A CN 112559829 A CN112559829 A CN 112559829A
Authority
CN
China
Prior art keywords
data
module
modeling
interactive
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010650522.1A
Other languages
English (en)
Inventor
王清杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Defeng New Journey Technology Co ltd
Original Assignee
Beijing Defeng New Journey Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Defeng New Journey Technology Co ltd filed Critical Beijing Defeng New Journey Technology Co ltd
Priority to CN202010650522.1A priority Critical patent/CN112559829A/zh
Publication of CN112559829A publication Critical patent/CN112559829A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于大数据框架的交互式和自定义数据分析建模系统，包括数据采集模块、数据整合模块、数据处理模块、数据存储模块、数据服务模块、数据展现模块、建模聚合分析模块和流程构建模块，所述数据采集模块、数据整合模块、数据处理模块、数据存储模块、数据服务模块、数据展现模块、建模聚合分析模块和流程构建模块依次连接，所述数据采集模块包括数据监控单元和数据库，且数据监控单元与数据库相连接，所述数据处理模块包括数据监测单元和数据校验单元。本发明能够实现对数据可视化分析建模，以及对建模产生的模型进行统一管理，减少了建模工作量，提高了建模的效率和有效，同时，建模速度快，反应快速，能够合理利用时间。

Description

一种基于大数据框架的交互式和自定义数据分析建模系统
技术领域
本发明涉及数据分析建模技术领域，尤其涉及一种基于大数据框架的交互式和自定义数据分析建模系统。
背景技术
数据分析建模是数据挖掘应用的基础，目前数据分析建模需要调研人员或者业务人员调研客户痛点，产品人员设计解决方案，建模人员使用各自熟悉的建模工具进行数据预处理、特征工程、建模调参、模型选择及验证等步骤后，最终生成模型以供用户使用。
然而，现有的建模工作量大，效率低等问题，因此，如何更高效地进行数据分析建模成为亟待解决的问题。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于大数据框架的交互式和自定义数据分析建模系统。
本发明提出的一种基于大数据框架的交互式和自定义数据分析建模系统，包括数据采集模块、数据整合模块、数据处理模块、数据存储模块、数据服务模块、数据展现模块、建模聚合分析模块和流程构建模块，所述数据采集模块、数据整合模块、数据处理模块、数据存储模块、数据服务模块、数据展现模块、建模聚合分析模块和流程构建模块依次连接，所述数据采集模块包括数据监控单元和数据库，且数据监控单元与数据库相连接，所述数据处理模块包括数据监测单元和数据校验单元。
优选的，所述数据采集模块用于将各类数据源进行数据采集，所述数据监控单元用于对数据采集模块中数据收集过程进行监控记录和处理，处理后的数据信息传输至数据库中进行保存，同时，将数据信息传输至数据整合模块。
优选的，所述数据整合模块用于将采集的各类数据源信息进行整合，并将整合的数据传输至数据处理模块。
优选的，所述数据处理模块用于对采集的数据进行数据处理，所述数据监测单元用于对处理后的数据信息进行检测，数据校验单元用于对处理后的数据信息进行校验，数据监测单元和数据检验单元处理后的数据信息传输至数据存储模块中进行数据信息的存储。
优选的，所述数据服务模块将数据存储管理模块存储的数据以各种方式与客户之间进行交互，实现客户对数据的访问需求，所述数据服务模块包括数据共享分发、元数据交换、Web检索服务、数据定制服务、数据直接服务、数据访问服务接口和用户服务管理，所述数据服务模块将数据信息传输至数据展现模块。
优选的，所述数据展现模块用于用于对已经处理过的数据进行图形化展现，数据展现模块将图形化展现的数据传输至建模聚合分析模块。
优选的，所述建模聚合分析模块用于将各数据对应不同的算法流程，得到不同的算法结构数据，将不同的算法结构数据进行对比，组成建模流程图。
优选的，所述流程构建模块用于将最优的算法建模流程图构建成最优算法模型。
本发明中，所述一种基于大数据框架的交互式和自定义数据分析建模系统，能够实现对数据可视化分析建模，以及对建模产生的模型进行统一管理，减少了建模工作量，提高了建模的效率和有效，同时，建模速度快，反应快速，能够合理利用时间。
附图说明
图1为本发明提出的一种基于大数据框架的交互式和自定义数据分析建模系统的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1，一种基于大数据框架的交互式和自定义数据分析建模系统，包括数据采集模块、数据整合模块、数据处理模块、数据存储模块、数据服务模块、数据展现模块、建模聚合分析模块和流程构建模块，所述数据采集模块、数据整合模块、数据处理模块、数据存储模块、数据服务模块、数据展现模块、建模聚合分析模块和流程构建模块依次连接，所述数据采集模块包括数据监控单元和数据库，且数据监控单元与数据库相连接，所述数据处理模块包括数据监测单元和数据校验单元。
本发明中，所述数据采集模块用于将各类数据源进行数据采集，所述数据监控单元用于对数据采集模块中数据收集过程进行监控记录和处理，处理后的数据信息传输至数据库中进行保存，同时，将数据信息传输至数据整合模块。
本发明中，所述数据整合模块用于将采集的各类数据源信息进行整合，并将整合的数据传输至数据处理模块。
本发明中，所述数据处理模块用于对采集的数据进行数据处理，所述数据监测单元用于对处理后的数据信息进行检测，数据校验单元用于对处理后的数据信息进行校验，数据监测单元和数据检验单元处理后的数据信息传输至数据存储模块中进行数据信息的存储。
本发明中，所述数据服务模块将数据存储管理模块存储的数据以各种方式与客户之间进行交互，实现客户对数据的访问需求，所述数据服务模块包括数据共享分发、元数据交换、Web检索服务、数据定制服务、数据直接服务、数据访问服务接口和用户服务管理，所述数据服务模块将数据信息传输至数据展现模块。
本发明中，所述数据展现模块用于用于对已经处理过的数据进行图形化展现，数据展现模块将图形化展现的数据传输至建模聚合分析模块。
本发明中，所述建模聚合分析模块用于将各数据对应不同的算法流程，得到不同的算法结构数据，将不同的算法结构数据进行对比，组成建模流程图。
本发明中，所述流程构建模块用于将最优的算法建模流程图构建成最优算法模型。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于大数据框架的交互式和自定义数据分析建模系统，其特征在于，包括数据采集模块、数据整合模块、数据处理模块、数据存储模块、数据服务模块、数据展现模块、建模聚合分析模块和流程构建模块，所述数据采集模块、数据整合模块、数据处理模块、数据存储模块、数据服务模块、数据展现模块、建模聚合分析模块和流程构建模块依次连接，所述数据采集模块包括数据监控单元和数据库，且数据监控单元与数据库相连接，所述数据处理模块包括数据监测单元和数据校验单元。
2.根据权利要求1所述的一种基于大数据框架的交互式和自定义数据分析建模系统，其特征在于，所述数据采集模块用于将各类数据源进行数据采集，所述数据监控单元用于对数据采集模块中数据收集过程进行监控记录和处理，处理后的数据信息传输至数据库中进行保存，同时，将数据信息传输至数据整合模块。
3.根据权利要求1所述的一种基于大数据框架的交互式和自定义数据分析建模系统，其特征在于，所述数据整合模块用于将采集的各类数据源信息进行整合，并将整合的数据传输至数据处理模块。
4.根据权利要求1所述的一种基于大数据框架的交互式和自定义数据分析建模系统，其特征在于，所述数据处理模块用于对采集的数据进行数据处理，所述数据监测单元用于对处理后的数据信息进行检测，数据校验单元用于对处理后的数据信息进行校验，数据监测单元和数据检验单元处理后的数据信息传输至数据存储模块中进行数据信息的存储。
5.根据权利要求1所述的一种基于大数据框架的交互式和自定义数据分析建模系统，其特征在于，所述数据服务模块将数据存储管理模块存储的数据以各种方式与客户之间进行交互，实现客户对数据的访问需求，所述数据服务模块包括数据共享分发、元数据交换、Web检索服务、数据定制服务、数据直接服务、数据访问服务接口和用户服务管理，所述数据服务模块将数据信息传输至数据展现模块。
6.根据权利要求1所述的一种基于大数据框架的交互式和自定义数据分析建模系统，其特征在于，所述数据展现模块用于用于对已经处理过的数据进行图形化展现，数据展现模块将图形化展现的数据传输至建模聚合分析模块。
7.根据权利要求1所述的一种基于大数据框架的交互式和自定义数据分析建模系统，其特征在于，所述建模聚合分析模块用于将各数据对应不同的算法流程，得到不同的算法结构数据，将不同的算法结构数据进行对比，组成建模流程图。
8.根据权利要求1所述的一种基于大数据框架的交互式和自定义数据分析建模系统，其特征在于，所述流程构建模块用于将最优的算法建模流程图构建成最优算法模型。
CN202010650522.1A 2020-07-08 2020-07-08 一种基于大数据框架的交互式和自定义数据分析建模系统 Pending CN112559829A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010650522.1A CN112559829A (zh) 2020-07-08 2020-07-08 一种基于大数据框架的交互式和自定义数据分析建模系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010650522.1A CN112559829A (zh) 2020-07-08 2020-07-08 一种基于大数据框架的交互式和自定义数据分析建模系统

Publications (1)

Publication Number Publication Date
CN112559829A true CN112559829A (zh) 2021-03-26

Family

ID=75040974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010650522.1A Pending CN112559829A (zh) 2020-07-08 2020-07-08 一种基于大数据框架的交互式和自定义数据分析建模系统

Country Status (1)

Country Link
CN (1) CN112559829A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096067A (zh) * 2016-08-23 2016-11-09 成都卡莱博尔信息技术股份有限公司 具有数据监控功能的海量数据平台
CN108595627A (zh) * 2018-04-23 2018-09-28 温州市鹿城区中津先进科技研究院 一种自助式数据分析建模平台
CN109189865A (zh) * 2018-08-09 2019-01-11 广东电网有限责任公司 项目数据的综合分析系统及方法
CN110245138A (zh) * 2019-05-17 2019-09-17 深圳市特区建设发展集团有限公司 一种区域数据管理系统
CN111274452A (zh) * 2020-01-15 2020-06-12 平安科技（深圳）有限公司 一种数据分析建模方法、平台、服务器及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096067A (zh) * 2016-08-23 2016-11-09 成都卡莱博尔信息技术股份有限公司 具有数据监控功能的海量数据平台
CN108595627A (zh) * 2018-04-23 2018-09-28 温州市鹿城区中津先进科技研究院 一种自助式数据分析建模平台
CN109189865A (zh) * 2018-08-09 2019-01-11 广东电网有限责任公司 项目数据的综合分析系统及方法
CN110245138A (zh) * 2019-05-17 2019-09-17 深圳市特区建设发展集团有限公司 一种区域数据管理系统
CN111274452A (zh) * 2020-01-15 2020-06-12 平安科技（深圳）有限公司 一种数据分析建模方法、平台、服务器及可读存储介质

Similar Documents

Publication Publication Date Title
CN108470228A (zh) 财务数据稽核方法及稽核系统
US7487163B2 (en) Apparatus and method for business process tracking and business process tracking program, and recording medium thereof
US8719066B2 (en) Systems and methods for capturing, managing, sharing, and visualising asset information of an organization
CN107909300A (zh) 智能工厂管理平台和方法
CN111881224A (zh) 一种多维数据分析方法及系统
CN106326482A (zh) 一种大数据可视化采集分析及文件转换系统和方法
CN106407469A (zh) 一种描述事物时间属性并基于所述描述进行查找的方法
CN111985716B (zh) 一种客运信息可视化的客运量预测系统
CN106096865A (zh) 一种电力营销业扩全流程信息公开与实施管控系统集成方法
CN113722383A (zh) 一种基于时序情报调查装置及方法
CN106355489A (zh) 一种面向管理的数据中心系统及数据处理方法
CN109829615B (zh) 一种基于专有云的目标任务多级监控装置和方法
CN117493412A (zh) 数字基座运营管理系统
CN112559829A (zh) 一种基于大数据框架的交互式和自定义数据分析建模系统
CN112162896A (zh) 一种基于InfluxDB的集群数据监控方法
US20090172023A1 (en) Data management system for manufacturing enterprise and related methods
CN103345485B (zh) 一种大型主机平台动态报表自动生成方法及系统
WO2020010531A1 (zh) 故障检测方法、设备
CN114896230A (zh) 应用数据实时分析分布式大数据平台
CN114911769A (zh) 支持自定义动态标签构建的数据管理方法和系统
CN112633621A (zh) 一种基于paas平台的电网企业管理决策系统和方法
CN111667299A (zh) 一种用于智慧展馆的空间数据采集系统
CN112151134B (zh) 一种基于大数据模型的临床研究数据管理平台及方法
CN111435466A (zh) 一种一体化机房运维管理系统
RU2733067C1 (ru) Система автоматизации формирования и принятия управленческих решений по функционированию военно-строительного комплекса

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination