CN118034672A - 一种基于Spark的可视化数据处理分析方法及系统 - Google Patents

Abstract

本发明公开一种基于Spark的可视化数据处理分析方法及系统，涉及大数据处理数据技术领域；包括：步骤1：建立基于Spark的可视化数据处理分析系统，步骤2：通过可视化数据处理分析系统进行可视化数据处理分析：脚本设计工作台模块选取Spark的相关组件形成Spark脚本配置，脚本生成模块根据Spark脚本配置生成Spark脚本，脚本管理模块管理Spark脚本，执行管理模块进行脚本提交、执行和监控，结果分析模块进行Spark脚本执行结果的分析，可视化展示及数据发布模块对分析结果进行展示并发布Spark脚本版本，存储模块存储数据；本发明提高开发效率，降低开发成本和错误率，提高系统的可维护性和可扩展性。

Description

一种基于Spark的可视化数据处理分析方法及系统

技术领域

本发明公开一种方法及系统，涉及大数据处理数据技术领域，具体地说是一种基于Spark的可视化数据处理分析方法及系统。

背景技术

目前，Spark是一种广泛应用于大数据处理和分析的开源分布式计算框架。但是，使用Spark进行开发通常需要具备一定的编程技能，包括熟悉Scala、Java或Python等编程语言。这对于普通用户和非编程专业人员来说既耗时又困难，而且缺乏对数据处理过程的直观理解，是一个技术门槛。因此，现有技术中缺乏一种简单易用的方式，使非编程专业人员也能进行Spark开发。最后，现有技术还缺乏对分析结果的有效存储、可视化展示和发布机制，这使得分析结果无法被有效充分利用。

发明内容

本发明针对现有技术的问题，提供一种基于Spark的可视化数据处理分析方法及系统，提高了开发效率，而且降低了开发成本和错误率，同时提高了系统的可维护性和可扩展性。

本发明提出的具体方案是：

本发明提供一种基于Spark的可视化数据处理分析方法，包括：

步骤1：建立基于Spark的可视化数据处理分析系统，所述可视化数据处理分析系统包括脚本设计工作台模块、可视化展示及数据发布模块、脚本生成模块、脚本管理模块、执行管理模块、结果分析模块和存储模块，

步骤2：通过可视化数据处理分析系统进行可视化数据处理分析：

通过脚本设计工作台模块选取Spark的相关组件形成Spark脚本配置，通过脚本生成模块根据Spark脚本配置生成Spark脚本，

通过脚本管理模块管理Spark脚本，进行版本管理、Spark脚本功能调试以及Spark脚本的编辑和镜像复制，

通过执行管理模块进行脚本提交、执行和监控，

通过结果分析模块进行Spark脚本执行结果的分析，

通过可视化展示及数据发布模块对分析结果进行展示并发布Spark脚本版本，

通过存储模块存储可视化数据处理分析过程中涉及的数据。

进一步，所述的一种基于Spark的可视化数据处理分析方法中所述通过脚本设计工作台模块选取Spark的相关组件形成Spark脚本配置，包括：

选取Spark的数据分析相关组件，所述数据分析相关组件包括全局参数组件、逻辑运算组件、输入输出组件、SQL处理组件、MapReduce组件、图计算组件、聚类组件和回归组件，

根据数据分析相关组件完成Spark脚本配置。

进一步，所述的一种基于Spark的可视化数据处理分析方法中步骤2中，包括：

登录可视化数据处理分析系统，进入脚本设计工作台模块，选取Spark的数据分析相关组件，通过脚本生成模块新建Spark脚本，

通过执行管理模块根据Spark脚本执行任务，对从数据输入源获取的数据进行优化处理，并根据数据内容配置合并规则，根据合并规则合并多数据来源的数据，对合并后数据进行分析运算，

并通过执行管理模块监控任务的运行情况，

通过可视化展示及数据发布模块对分析结果进行展示并发布Spark脚本版本，

通过存储模块存储可视化数据处理分析过程中涉及的数据。

进一步，所述的一种基于Spark的可视化数据处理分析方法中所述通过执行管理模块进行脚本提交、执行和监控，包括：

根据Spark脚本需要执行的任务，通过执行管理模块自动创建对应的执行环境和提交任务，并且查看任务的执行次数、运行状态和处理的数据。

进一步，所述的一种基于Spark的可视化数据处理分析方法中所述通过可视化展示及数据发布模块对分析结果进行展示，包括：

通过可视化展示及数据发布模块基于可视化的界面将分析结果展示为柱状图、折线图或点云图像。

本发明还提供一种基于Spark的可视化数据处理分析系统，所述可视化数据处理分析系统包括脚本设计工作台模块、可视化展示及数据发布模块、脚本生成模块、脚本管理模块、执行管理模块、结果分析模块和存储模块，

可视化数据处理分析系统进行可视化数据处理分析：

脚本设计工作台模块选取Spark的相关组件形成Spark脚本配置，脚本生成模块根据Spark脚本配置生成Spark脚本，

脚本管理模块管理Spark脚本，进行版本管理、Spark脚本功能调试以及Spark脚本的编辑和镜像复制，

执行管理模块进行脚本提交、执行和监控，

结果分析模块进行Spark脚本执行结果的分析，

可视化展示及数据发布模块对分析结果进行展示并发布Spark脚本版本，

存储模块存储可视化数据处理分析过程中涉及的数据。

进一步，所述的一种基于Spark的可视化数据处理分析系统中所述脚本设计工作台模块选取Spark的相关组件形成Spark脚本配置，包括：

选取Spark的数据分析相关组件，所述数据分析相关组件包括全局参数组件、逻辑运算组件、输入输出组件、SQL处理组件、MapReduce组件、图计算组件、聚类组件和回归组件，

根据数据分析相关组件完成Spark脚本配置。

进一步，所述的一种基于Spark的可视化数据处理分析系统中可视化数据处理分析系统进行可视化数据处理分析，包括：

登录可视化数据处理分析系统，进入脚本设计工作台模块，选取Spark的数据分析相关组件，脚本生成模块新建Spark脚本，

执行管理模块根据Spark脚本执行任务，对从数据输入源获取的数据进行优化处理，并根据数据内容配置合并规则，根据合并规则合并多数据来源的数据，对合并后数据进行分析运算，

执行管理模块监控任务的运行情况，

可视化展示及数据发布模块对分析结果进行展示并发布Spark脚本版本，

存储模块存储可视化数据处理分析过程中涉及的数据。

进一步，所述的一种基于Spark的可视化数据处理分析系统中所述执行管理模块进行脚本提交、执行和监控，包括：

根据Spark脚本需要执行的任务，通过执行管理模块自动创建对应的执行环境和提交任务，并且查看任务的执行次数、运行状态和处理的数据。

进一步，所述的一种基于Spark的可视化数据处理分析系统中所述可视化展示及数据发布模块对分析结果进行展示，包括：

通过可视化展示及数据发布模块基于可视化的界面将分析结果展示为柱状图、折线图或点云图像。

本发明的有益之处是：

本发明提供一种基于Spark的可视化数据处理分析方法，与现有技术相比：1. 降低Spark开发的难度，非编程专业人员也可以通过组件配置来生成脚本，无需编写复杂的代码。这大大降低了脚本开发的门槛，扩大了脚本生成的用户群体。

2. 提高效率，通过可视化界面和组件化配置，用户可以更直观地定义数据处理过程，减轻了脚本编写和管理的负担，提高了开发效率。此外，系统还支持脚本的版本管理，方便用户对脚本的迭代与维护。

3. 提高可维护性，由于系统自动生成代码，可以减少人为错误，提高代码的可维护性。

4. 可视化分析，通过可视化技术模块，用户可以直观查看脚本执行结果的可视化效果，从而更好地理解和验证脚本的正确性。图形化的界面也增强了用户对数据处理过程的可视化和交互性，提升了分析效果和用户体验。

5. 数据服务支持，系统提供数据服务接口，方便用户将生成的脚本应用于实际的数据处理任务中，提高了数据的重用性。

附图说明

图1是本发明系统架构示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

本发明提供一种基于Spark的可视化数据处理分析方法，包括：

步骤1：建立基于Spark的可视化数据处理分析系统，所述可视化数据处理分析系统包括脚本设计工作台模块、可视化展示及数据发布模块、脚本生成模块、脚本管理模块、执行管理模块、结果分析模块和存储模块，

步骤2：通过可视化数据处理分析系统进行可视化数据处理分析：

通过脚本设计工作台模块选取Spark的相关组件形成Spark脚本配置，通过脚本生成模块根据Spark脚本配置生成Spark脚本，

通过脚本管理模块管理Spark脚本，进行版本管理、Spark脚本功能调试以及Spark脚本的编辑和镜像复制，

通过执行管理模块进行脚本提交、执行和监控，

通过结果分析模块进行Spark脚本执行结果的分析，

通过可视化展示及数据发布模块对分析结果进行展示并发布Spark脚本版本，

通过存储模块存储可视化数据处理分析过程中涉及的数据。

本发明方法通过脚本管理和执行管理模块对数据处理和分析过程进行实时监控和管理，以提高数据处理的效率和准确性。本发明通过分析结果的存储、可视化展示和发布数据服务模块对分析结果进行处理和发布，以提高分析结果的可访问性和重用性。用户可以快速、准确地构建和运行数据分析任务，而无需编写代码。这种方法不仅提高了开发效率，而且降低了开发成本和错误率，同时提高了系统的可维护性和可扩展性。

具体应用中，在本发明方法的一些实施例中，可参考如下：

步骤1：建立基于Spark的可视化数据处理分析系统，所述可视化数据处理分析系统包括脚本设计工作台模块、可视化展示及数据发布模块、脚本生成模块、脚本管理模块、执行管理模块、结果分析模块和存储模块。参考图1，脚本设计工作台模块（ScriptDesigner）、脚本生成模块（Script Generator）、脚本管理模块（Script Manager）、执行管理模块（Execution Manager）、结果分析模块（Result Analyzer）等，其中脚本设计工作台模块可以为组件化脚本配置的用户界面，提供拖拽式脚本配置服务；脚本生成模块和脚本管模块为脚本生成和管理模块，负责将可视化配置转化为可执行数据处理脚本，并进行版本管理等；执行管理模块具备脚本的计划执行和任务跟踪等能力；结果分析模块负责对执行结果进行收集和存储管理；数据可视化展示和发布模块分别负责数据的可视化图表展示和提供RESTful Api服务。

步骤2：通过可视化数据处理分析系统进行可视化数据处理分析：

步骤21：通过脚本设计工作台模块选取Spark的相关组件形成Spark脚本配置，通过脚本生成模块根据Spark脚本配置生成Spark脚本。

其中进一步，步骤21包括：

选取Spark的数据分析相关组件，所述数据分析相关组件包括全局参数组件、逻辑运算组件、输入输出组件、SQL处理组件、MapReduce组件、图计算组件、聚类组件和回归组件，

根据数据分析相关组件完成Spark脚本配置。

步骤22：通过脚本管理模块管理Spark脚本，进行版本管理、Spark脚本功能调试以及Spark脚本的编辑和镜像复制。

步骤23：通过执行管理模块进行脚本提交、执行和监控。

其中进一步，步骤23中包括：

根据Spark脚本需要执行的任务，通过执行管理模块自动创建对应的执行环境和提交任务，并且查看任务的执行次数、运行状态和处理的数据。

步骤24：通过结果分析模块进行Spark脚本执行结果的分析。

步骤25：通过可视化展示及数据发布模块对分析结果进行展示并发布Spark脚本版本。

其中进一步，步骤25中，包括：

通过可视化展示及数据发布模块基于可视化的界面将分析结果展示为柱状图、折线图或点云图像。让用户能够直观地查看和理解分析结果。此外，该模块还提供了对分析结果的发布功能，可以将分析结果分享给外部的系统。

步骤26：通过存储模块存储可视化数据处理分析过程中涉及的数据。将分析结果存储在介质中，以便于用户在后续的数据分析和处理过程中进行访问和使用。

根据本发明方法，执行脚本任务时，可参考过程如下：

S1、登录可视化数据处理分析系统，进入脚本设计工作台模块，选取Spark的数据分析相关组件，通过脚本生成模块新建Spark脚本。

S2、通过执行管理模块根据Spark脚本执行任务，对从数据输入源获取的数据进行优化处理，其中数据源可以是关系型数据库、非关系型数据库、图数据库、文件、HDFS等，也可以是流式数据源或者粘贴的文本。

并根据数据内容配置合并规则，根据合并规则合并多数据来源的数据，对合并后数据进行分析运算。例如，聚类分析、关键内容提取等，直接选择相关的计算组件并根据提示配置相关的计算规则。

S3、通过执行管理模块监控任务的运行情况，例如任务的执行时间、执行频率等参数。

S4、通过可视化展示及数据发布模块对分析结果进行展示并发布Spark脚本版本。其中可视化展示及数据发布模块可以根据用户预制的图表模型和分析数据生成柱状图、折线图等统计图表，还可以根据用户的组合配置生成大屏应用，通过http网络协议即可查看直观、动态更新且有科研价值的统计数据。

S5、通过存储模块存储可视化数据处理分析过程中涉及的数据。

S6、结果分析模块可根据用户的数据配置装置将系统内暂存的分析数据转化为可以重复调用的网络api，按照平台提供的认证手段，第三方平台能够轻松的查询和使用分析数据。

本发明还提供一种基于Spark的可视化数据处理分析系统，所述可视化数据处理分析系统包括脚本设计工作台模块、可视化展示及数据发布模块、脚本生成模块、脚本管理模块、执行管理模块、结果分析模块和存储模块，

可视化数据处理分析系统进行可视化数据处理分析：

脚本设计工作台模块选取Spark的相关组件形成Spark脚本配置，脚本生成模块根据Spark脚本配置生成Spark脚本，

脚本管理模块管理Spark脚本，进行版本管理、Spark脚本功能调试以及Spark脚本的编辑和镜像复制，

执行管理模块进行脚本提交、执行和监控，

结果分析模块进行Spark脚本执行结果的分析，

可视化展示及数据发布模块对分析结果进行展示并发布Spark脚本版本，

存储模块存储可视化数据处理分析过程中涉及的数据。

上述系统内的模块间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

同样地本发明系统降低Spark开发的难度，非编程专业人员也可以通过组件配置来生成脚本，无需编写复杂的代码。这大大降低了脚本开发的门槛，扩大了脚本生成的用户群体。

提高效率，通过可视化界面和组件化配置，用户可以更直观地定义数据处理过程，减轻了脚本编写和管理的负担，提高了开发效率。此外，系统还支持脚本的版本管理，方便用户对脚本的迭代与维护。

提高可维护性，由于系统自动生成代码，可以减少人为错误，提高代码的可维护性。

可视化分析，通过可视化技术模块，用户可以直观查看脚本执行结果的可视化效果，从而更好地理解和验证脚本的正确性。图形化的界面也增强了用户对数据处理过程的可视化和交互性，提升了分析效果和用户体验。

数据服务支持，系统提供数据服务接口，方便用户将生成的脚本应用于实际的数据处理任务中，提高了数据的重用性。

需要说明的是，上述各流程和各系统结构中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种基于Spark的可视化数据处理分析方法，其特征是包括：

步骤1：建立基于Spark的可视化数据处理分析系统，所述可视化数据处理分析系统包括脚本设计工作台模块、可视化展示及数据发布模块、脚本生成模块、脚本管理模块、执行管理模块、结果分析模块和存储模块，

步骤2：通过可视化数据处理分析系统进行可视化数据处理分析：

通过脚本设计工作台模块选取Spark的相关组件形成Spark脚本配置，通过脚本生成模块根据Spark脚本配置生成Spark脚本，

通过脚本管理模块管理Spark脚本，进行版本管理、Spark脚本功能调试以及Spark脚本的编辑和镜像复制，

通过执行管理模块进行脚本提交、执行和监控，

通过结果分析模块进行Spark脚本执行结果的分析，

通过可视化展示及数据发布模块对分析结果进行展示并发布Spark脚本版本，

通过存储模块存储可视化数据处理分析过程中涉及的数据。

2.根据权利要求1所述的一种基于Spark的可视化数据处理分析方法，其特征是所述通过脚本设计工作台模块选取Spark的相关组件形成Spark脚本配置，包括：

选取Spark的数据分析相关组件，所述数据分析相关组件包括全局参数组件、逻辑运算组件、输入输出组件、SQL处理组件、MapReduce组件、图计算组件、聚类组件和回归组件，

根据数据分析相关组件完成Spark脚本配置。

3.根据权利要求2所述的一种基于Spark的可视化数据处理分析方法，其特征是步骤2中，包括：

登录可视化数据处理分析系统，进入脚本设计工作台模块，选取Spark的数据分析相关组件，通过脚本生成模块新建Spark脚本，

通过执行管理模块根据Spark脚本执行任务，对从数据输入源获取的数据进行优化处理，并根据数据内容配置合并规则，根据合并规则合并多数据来源的数据，对合并后数据进行分析运算，

并通过执行管理模块监控任务的运行情况，

通过可视化展示及数据发布模块对分析结果进行展示并发布Spark脚本版本，

通过存储模块存储可视化数据处理分析过程中涉及的数据。

4.根据权利要求1所述的一种基于Spark的可视化数据处理分析方法，其特征是所述通过执行管理模块进行脚本提交、执行和监控，包括：

根据Spark脚本需要执行的任务，通过执行管理模块自动创建对应的执行环境和提交任务，并且查看任务的执行次数、运行状态和处理的数据。

5.根据权利要求1所述的一种基于Spark的可视化数据处理分析方法，其特征是所述通过可视化展示及数据发布模块对分析结果进行展示，包括：

通过可视化展示及数据发布模块基于可视化的界面将分析结果展示为柱状图、折线图或点云图像。

6.一种基于Spark的可视化数据处理分析系统，其特征是所述可视化数据处理分析系统包括脚本设计工作台模块、可视化展示及数据发布模块、脚本生成模块、脚本管理模块、执行管理模块、结果分析模块和存储模块，

可视化数据处理分析系统进行可视化数据处理分析：

脚本设计工作台模块选取Spark的相关组件形成Spark脚本配置，脚本生成模块根据Spark脚本配置生成Spark脚本，

脚本管理模块管理Spark脚本，进行版本管理、Spark脚本功能调试以及Spark脚本的编辑和镜像复制，

执行管理模块进行脚本提交、执行和监控，

结果分析模块进行Spark脚本执行结果的分析，

可视化展示及数据发布模块对分析结果进行展示并发布Spark脚本版本，

存储模块存储可视化数据处理分析过程中涉及的数据。

7.根据权利要求6所述的一种基于Spark的可视化数据处理分析系统，其特征是所述脚本设计工作台模块选取Spark的相关组件形成Spark脚本配置，包括：

选取Spark的数据分析相关组件，所述数据分析相关组件包括全局参数组件、逻辑运算组件、输入输出组件、SQL处理组件、MapReduce组件、图计算组件、聚类组件和回归组件，

根据数据分析相关组件完成Spark脚本配置。

8.根据权利要求7所述的一种基于Spark的可视化数据处理分析系统，其特征是可视化数据处理分析系统进行可视化数据处理分析，包括：

登录可视化数据处理分析系统，进入脚本设计工作台模块，选取Spark的数据分析相关组件，脚本生成模块新建Spark脚本，

执行管理模块根据Spark脚本执行任务，对从数据输入源获取的数据进行优化处理，并根据数据内容配置合并规则，根据合并规则合并多数据来源的数据，对合并后数据进行分析运算，

执行管理模块监控任务的运行情况，

可视化展示及数据发布模块对分析结果进行展示并发布Spark脚本版本，

存储模块存储可视化数据处理分析过程中涉及的数据。

9.根据权利要求6所述的一种基于Spark的可视化数据处理分析系统，其特征是所述执行管理模块进行脚本提交、执行和监控，包括：

根据Spark脚本需要执行的任务，通过执行管理模块自动创建对应的执行环境和提交任务，并且查看任务的执行次数、运行状态和处理的数据。

10.根据权利要求6所述的一种基于Spark的可视化数据处理分析系统，其特征是所述可视化展示及数据发布模块对分析结果进行展示，包括：

通过可视化展示及数据发布模块基于可视化的界面将分析结果展示为柱状图、折线图或点云图像。