CN114443702A - 一种基于工作流的大数据分析方法 - Google Patents

一种基于工作流的大数据分析方法 Download PDF

Info

Publication number
CN114443702A
CN114443702A CN202011215056.0A CN202011215056A CN114443702A CN 114443702 A CN114443702 A CN 114443702A CN 202011215056 A CN202011215056 A CN 202011215056A CN 114443702 A CN114443702 A CN 114443702A
Authority
CN
China
Prior art keywords
data
workflow
model
preprocessing
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011215056.0A
Other languages
English (en)
Inventor
高军
郭毅可
万磊
李世群
泮海燕
邵仁强
周彦葆
薛强强
高强强
张颢頔
朱相东
罗昌
王娜
薛栋杰
冯博
潘卿
王凯哲
刘淑婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiuzhan Information Technology Co ltd
Original Assignee
Shanghai Jiuzhan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiuzhan Information Technology Co ltd filed Critical Shanghai Jiuzhan Information Technology Co ltd
Priority to CN202011215056.0A priority Critical patent/CN114443702A/zh
Publication of CN114443702A publication Critical patent/CN114443702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及大数据分析技术领域，且公开了一种基于工作流的大数据分析方法，所述通过建立数据库标签和导入外部数据文件到用户空间，以便用户使用数据进行分析，建立数据库标签，连接数据库获取数据库的数据，可以获取的数据库包括HIVE、MYSQL、MSSQL、TRANSWARPINCEPTOR、POSTGRES、ORACLE、neo4j和Elasticsearch等。该发明，通过本发明所有的数据处理积木(数据源、操作以及结果)都是使用功能图标来表示，同时使用定向箭头将组件连接在一起来表示组件所代表的数据之间的处理流程，即完整的保存分析思路，也可以随时对工作流进行局部修改，极大的提高了用户的工作效率。

Description

一种基于工作流的大数据分析方法
技术领域
本发明涉及大数据分析技术领域，具体为一种基于工作流的大数据分析方法。
背景技术
工作流(WorkFlow)属于计算机支持的协同工作(ComputerSupportedCooperativeWork，CSCW)的一部分，是工作流程的计算模型，即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对其实施计算。
工作流要解决的主要问题是：为实现某个业务目标，在多个参与者之间，利用计算机，按某种预定规则自动传递，目前的工作流的大数据分析存在高效率损耗，动态数据可视效率低等问题，因此需要一种可以把基于因果关系的数据探索转变为流水线的方法，支持程序、自动化执行重复性的任务、数据捕获记录以及不同细节层次上的复杂数据分析过程的重用之间的转移，为程序流水线提供更多的便利为此，我们推出一种基于工作流的大数据分析方法。
发明内容
本发明提供了一种基于工作流的大数据分析方法，具备本发明可有效地连接数据分析管线的不同阶段，减少创建可视化实例以及程序转移的效率损耗，提高动态数据可视效率的优点，解决了目前的工作流大数据分析在创建可视化实例以及程序转移的过程中存在效率损耗的问题问题。
本发明提供如下技术方案：一种基于工作流的大数据分析方法，所述通过建立数据库标签和导入外部数据文件到用户空间，以便用户使用数据进行分析，建立数据库标签，连接数据库，获取数据库的数据，可以获取的数据库包括HIVE、MYSQL、MSSQL、TRANSWARPINCEPTOR、POSTGRES、ORACLE、neo4j和Elasticsearch等，构建工作流、添加数据、数据预处理、安装功能组件、构建训练模型、模型评估和模型应用和数据的可视化，导入外部数据文件，用户可以导入csv、excel、text、xml等形式的数据。
一、构建工作流
在工作流编辑器面板上，新建工作流，打开工作流构建面板。
二、添加数据
将用户空间中的数据，拖拽到工作流编辑器，用来构建工作流。
三、数据预处理
在数据挖掘整体过程中，海量的原始数据中存在这大量复杂的，重复的，不完整的数据，严重影响到数据挖掘算法的执行效率，甚至可能导致挖掘结果的偏差。
四、安装功能组件
构成组件树，为用户进行工作流构建提供功能节点。
五、将组件树中的组件拖拽到工作流编辑器面板进行数据预处理
在数据预处理过程中，功能组件的使用没有先后顺序，可能某种预处理先后要多次进行。
六、构建训练模型
用添加的数据，通过一些方法(最优化或者其他方法)确定函数的参数，参数确定后的函数就是训练结果，使用模型把新的数据代入函数中求值。
七、模型评估和模型应用
使用评估方法评价模型优劣，并进行模型选择，从而得到一个更好的模型。
八、可视化
将分析的结果进行可视化展示，完成从数据空间到可视空间的映射，将相对晦涩的数据通过可视的、交互的方式进行展示，从而形象、直观地表达数据蕴含的信息和规律。
优选的，在数据挖掘算法执行之前，必须对收集到的原始数据进行预处理，从大量的，不完全的，有噪声的，模糊的、随机的数据中，去除源数据集中的噪声数据和无关数据，处理遗漏数据和清洗脏数据，空缺值，识别删除孤立点，提取隐含在其中、事先不知道的，但有潜在的有用信息和知识，来改进数据的质量，提高数据挖掘过程的效率、精度和性能。
优选的，数据预处理的方法有很多，包括基本粗集理论的简约方法，复共线性数据预处理方法，基于Hash函数取样的数据预处理方法，基于遗传算法数据预处理方法；基于神经网络的数据预处理方法，Web挖掘的数据预处理方法等等。
优选的，这里的可视化展示主要是通过自助分析和自助报告进行展示，用户使用自助报告完成报表；使用工作流和发布编辑器进行自助分析完成分析挖掘成果。
本发明具备以下有益效果：
1、该基于工作流的大数据分析方法，通过本发明所有的数据处理积木(数据源、操作以及结果)都是使用功能图标来表示，同时使用定向箭头将组件连接在一起来表示组件所代表的数据之间的处理流程，即完整的保存分析思路，也可以随时对工作流进行局部修改，极大的提高了用户的工作效率。
2、该基于工作流的大数据分析方法，通过本发明把基于因果关系的数据探索转变为流水线的方法，支持程序、自动化执行重复性的任务、数据捕获记录以及不同细节层次上的复杂数据分析过程的重用之间的转移，本发明针对高效率损耗的问题，把静态的多视图显示扩展到气泡的隐喻界面中，这样可自由地布局来支持数据分析任务，每一个气泡是一个功能单元，可以用于编程计算，也可以用来创建一个可视化实例，支持多个气泡组成一个组的操作，同一组中的气泡操作统一化，增强了用户体验，本发明可有效地连接数据分析管线的不同阶段，以减少创建可视化实例以及程序转移的效率损耗，提高动态数据可视效率。
附图说明
图1为本发明方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，一种基于工作流的大数据分析方法，通过建立数据库标签和导入外部数据文件到用户空间，以便用户使用数据进行分析，建立数据库标签，连接数据库，获取数据库的数据，可以获取的数据库包括HIVE、MYSQL、MSSQL、TRANSWARPINCEPTOR、POSTGRES、ORACLE、neo4j和Elasticsearch等，构建工作流、添加数据、数据预处理、安装功能组件、构建训练模型、模型评估和模型应用和数据的可视化，导入外部数据文件，用户可以导入csv、excel、text、xml等形式的数据，其步骤如下：
一、构建工作流
在工作流编辑器面板上，新建工作流，打开工作流构建面板。
二、添加数据
将用户空间中的数据，拖拽到工作流编辑器，用来构建工作流。
三、数据预处理
在数据挖掘整体过程中，海量的原始数据中存在这大量复杂的，重复的，不完整的数据，严重影响到数据挖掘算法的执行效率，甚至可能导致挖掘结果的偏差。
四、安装功能组件
构成组件树，为用户进行工作流构建提供功能节点。
五、将组件树中的组件拖拽到工作流编辑器面板进行数据预处理
在数据预处理过程中，功能组件的使用没有先后顺序，可能某种预处理先后要多次进行。
六、构建训练模型
用添加的数据，通过一些方法(最优化或者其他方法)确定函数的参数，参数确定后的函数就是训练结果，使用模型把新的数据代入函数中求值。
七、模型评估和模型应用
使用评估方法评价模型优劣，并进行模型选择，从而得到一个更好的模型。
八、可视化
将分析的结果进行可视化展示，完成从数据空间到可视空间的映射，将相对晦涩的数据通过可视的、交互的方式进行展示，从而形象、直观地表达数据蕴含的信息和规律。
其中，数据挖掘算法执行之前，必须对收集到的原始数据进行预处理，从大量的，不完全的，有噪声的，模糊的、随机的数据中，去除源数据集中的噪声数据和无关数据，处理遗漏数据和清洗脏数据，空缺值，识别删除孤立点，提取隐含在其中、事先不知道的，但有潜在的有用信息和知识，来改进数据的质量，提高数据挖掘过程的效率、精度和性能。
其中，数据预处理的方法有很多，包括基本粗集理论的简约方法，复共线性数据预处理方法，基于Hash函数取样的数据预处理方法，基于遗传算法数据预处理方法；基于神经网络的数据预处理方法，Web挖掘的数据预处理方法等等。
其中，这里的可视化展示主要是通过自助分析和自助报告进行展示，用户使用自助报告完成报表；使用工作流和发布编辑器进行自助分析完成分析挖掘成果。
其中，本发明所有的数据处理积木(数据源、操作以及结果)都是使用功能图标来表示，同时使用定向箭头将组件连接在一起来表示组件所代表的数据之间的处理流程，即完整的保存分析思路。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于工作流的大数据分析方法，其特征在于：所述通过建立数据库标签和导入外部数据文件到用户空间，以便用户使用数据进行分析，建立数据库标签，连接数据库，获取数据库的数据，可以获取的数据库包括HIVE、MYSQL、MSSQL、TRANSWARPINCEPTOR、POSTGRES、ORACLE、neo4j和Elasticsearch等，构建工作流、添加数据、数据预处理、安装功能组件、构建训练模型、模型评估和模型应用和数据的可视化，导入外部数据文件，用户可以导入csv、excel、text、xml等形式的数据，其步骤如下：
一、构建工作流
在工作流编辑器面板上，新建工作流，打开工作流构建面板。
二、添加数据
将用户空间中的数据，拖拽到工作流编辑器，用来构建工作流。
三、数据预处理
在数据挖掘整体过程中，海量的原始数据中存在这大量复杂的，重复的，不完整的数据，严重影响到数据挖掘算法的执行效率，甚至可能导致挖掘结果的偏差。
四、安装功能组件
构成组件树，为用户进行工作流构建提供功能节点。
五、将组件树中的组件拖拽到工作流编辑器面板进行数据预处理
在数据预处理过程中，功能组件的使用没有先后顺序，可能某种预处理先后要多次进行。
六、构建训练模型
用添加的数据，通过一些方法(最优化或者其他方法)确定函数的参数，参数确定后的函数就是训练结果，使用模型把新的数据代入函数中求值。
七、模型评估和模型应用
使用评估方法评价模型优劣，并进行模型选择，从而得到一个更好的模型。
八、可视化
将分析的结果进行可视化展示，完成从数据空间到可视空间的映射，将相对晦涩的数据通过可视的、交互的方式进行展示，从而形象、直观地表达数据蕴含的信息和规律。
2.根据权利要求1所述的一种基于工作流的大数据分析方法，其特征在于：所述在数据挖掘算法执行之前，必须对收集到的原始数据进行预处理，从大量的，不完全的，有噪声的，模糊的、随机的数据中，去除源数据集中的噪声数据和无关数据，处理遗漏数据和清洗脏数据，空缺值，识别删除孤立点，提取隐含在其中、事先不知道的，但有潜在的有用信息和知识，来改进数据的质量，提高数据挖掘过程的效率、精度和性能。
3.根据权利要求1所述的一种基于工作流的大数据分析方法，其特征在于：所述数据预处理的方法有很多，包括基本粗集理论的简约方法，复共线性数据预处理方法，基于Hash函数取样的数据预处理方法，基于遗传算法数据预处理方法；基于神经网络的数据预处理方法，Web挖掘的数据预处理方法等等。
4.根据权利要求1所述的一种基于工作流的大数据分析方法，其特征在于：所述这里的可视化展示主要是通过自助分析和自助报告进行展示，用户使用自助报告完成报表；使用工作流和发布编辑器进行自助分析完成分析挖掘成果。
CN202011215056.0A 2020-11-04 2020-11-04 一种基于工作流的大数据分析方法 Pending CN114443702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011215056.0A CN114443702A (zh) 2020-11-04 2020-11-04 一种基于工作流的大数据分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011215056.0A CN114443702A (zh) 2020-11-04 2020-11-04 一种基于工作流的大数据分析方法

Publications (1)

Publication Number Publication Date
CN114443702A true CN114443702A (zh) 2022-05-06

Family

ID=81361398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011215056.0A Pending CN114443702A (zh) 2020-11-04 2020-11-04 一种基于工作流的大数据分析方法

Country Status (1)

Country Link
CN (1) CN114443702A (zh)

Similar Documents

Publication Publication Date Title
Yarmohammadi et al. Mining implicit 3D modeling patterns from unstructured temporal BIM log text data
Claes et al. Merging event logs for process mining: A rule based merging method and rule suggestion algorithm
JP4717945B2 (ja) 業務分析プログラムおよび業務分析装置
CN105260835A (zh) 多来源业务大数据的建模、分析、自我优化的方法
CN111611236A (zh) 一种数据分析方法及系统
CN109345133B (zh) 基于大数据和深度学习的评审方法和机器人系统
Adesta et al. Total Productive Maintenance (TPM) implementation based on lean manufacturing tools in Indonesian manufacturing industries
Sergiienko et al. Application of taxonomic analysis in assessing the level of enterprise development in emergency situations
Gao et al. A data structure for studying 3D modeling design behavior based on event logs
CN116595418A (zh) 一种科技成果多维画像构建方法
Ong Big data and its research implications for higher education: Cases from UK higher education institutions
JP4282727B2 (ja) 業務分析プログラムおよび業務分析装置
CN117952342A (zh) 融合工序知识库与空间约束的施工方案生成方法及系统
US20200327125A1 (en) Systems and methods for hierarchical process mining
CN114443702A (zh) 一种基于工作流的大数据分析方法
JP2014126902A (ja) 製品情報管理装置及び方法
CN106919755B (zh) 一种基于数据的云制造系统不确定性量化分析方法及装置
Xu et al. Artificial Intelligence Ethics and Applications
CN114442997A (zh) 一种低代码大数据应用发布方法
Schardong et al. Visual interactive support for selecting scenarios from time-series ensembles
Aouad et al. The development of a process map for the construction sector
AU2020201689A1 (en) Cognitive forecasting
CN118245743B (zh) 基于自动化流程的基础数据建设优化系统及方法
CN118012916B (zh) 报表的生成方法、装置、设备及存储介质
CN117892817B (zh) 基于制造业全生命周期数据的知识图谱构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination