CN109582837A - 一种基于云的可视化数据处理方法及系统 - Google Patents

Abstract

本发明涉及一种基于云的可视化数据处理方法及系统，其中的方法包括:根据用户输入的模型创建指令，在云端创建分析模型；当接收到用户触发用于提取数据的可视化图形元件的指令时，从数据库中提取并保存数据，以可视化图形元件的形式进行显示；当接收到用户触发用于处理数据的可视化图形元件的指令时，对第一数据块中的数据进行处理后，保存处理结果并以可视化图形元件的形式进行显示。本发明充分利用了云存储的优势，首先，它将海量数据统一存储在云端，进行集中安全管理。其次，提供统一的可视化界面，用户不需要知道数据存储在哪里、以什么方式存储的，只需要在界面上进行简单的操作就可以进行数据处理工作，大大提高了工作效率。

Description

一种基于云的可视化数据处理方法及系统

技术领域

本发明涉及数据分析领域，具体涉及一种基于云的可视化数据处理方法及系统。

背景技术

大数据分析在企业和社会发展中，越来越受到重视。随着数据量级的爆发式增长，对数据存储的扩展性及分析实时性要求越来越严苛，基于传统IT架构的分析工具已经不能满足业务需求。

传统的分析工具大致包括以下两类：

1、基于本地PC机进行数据分析。将数据导入内存，在内存中进行计算。这种方式的主要缺点是，数据只是临时存储在内存中，下次分析时需要重新导入；受限于PC机性能，数据量较大时，响应时间较长。

2、基本本地服务器进行数据分析。将数据存储在本地专门的存储中，可以进行统一的数据管理，分析时性能有较大提高。这种方式的主要缺点是：数据量爆发增长时，存储扩展性较差；没有提供友好的可视化界面，让用户对所有的分析结果一目了然。

发明内容

针对上述技术问题，本发明提供一种基于云的可视化数据处理方法及系统。

本发明解决上述技术问题的技术方案如下：一种基于云的可视化数据处理方法，包括:

根据用户输入的模型创建指令，在云端创建分析模型；

当接收到用户触发用于提取数据的可视化图形元件的指令时，从数据库中提取数据并保存在所述分析模型的第一数据块中，并以可视化图形元件的形式进行显示；

当接收到用户触发用于处理数据的可视化图形元件的指令时，对所述第一数据块中的数据进行处理后，将处理结果保存在所述分析模型的第二数据块中，并以可视化图形元件的形式进行显示。

为实现上述发明目的，本发明还提供一种基于云的可视化数据处理系统，包括:

模型创建模块，用于根据用户输入的模型创建指令，在云端创建分析模型；

数据提取模块，用于当接收到用户触发用于提取数据的可视化图形元件的指令时，从数据库中提取数据并保存在所述分析模型的第一数据块中，并以可视化图形元件的形式进行显示；

数据处理模块，用于当接收到用户触发用于处理数据的可视化图形元件的指令时，对所述第一数据块中的数据进行处理后，将处理结果保存在所述分析模型的第二数据块中，并以可视化图形元件的形式进行显示。

本发明的有益效果是：充分利用了云存储的优势，首先，它将海量数据统一存储在云端，进行集中安全管理。其次，提供统一的可视化界面，用户不需要知道数据存储在哪里、以什么方式存储的，只需要在界面上进行简单的操作就可以进行数据处理工作，大大提高了工作效率。

附图说明

图1为本发明实施例提供的一种基于云的可视化数据处理方法的流程图；

图2为本发明实施例提供的构建分析模型的软件操作界面；

图3为本发明实施例提供的数据提取的软件操作界面；

图4为本发明实施例提供的多个数据块的软件操作界面；

图5为本发明实施例提供的数据处理操作的软件操作界面；

图6为本发明实施例提供的数据分析操作和输出操作的软件操作界面。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明实施例提供的一种基于云的可视化数据处理方法的流程图，如图1所示，该方法包括:

S1、根据用户输入的模型创建指令，在云端创建分析模型；

具体的，用户在系统界面创建模型时只需要输入模型名称，系统会将模型保存在云端。接下来的所有操作步骤都是在这个模型中进行的，所有操作的结果也都保存在模型中，它们共同构成了一个分析模型。如图2所示。

S2、当接收到用户触发用于提取数据的可视化图形元件的指令时，从数据库中提取数据并保存在所述分析模型的第一数据块中，并以可视化图形元件的形式进行显示；

具体的，如果要在模型中进行探索分析，首先需要得到要分析的数据。模型中提供了“数据提取”的功能。数据提取功能支持从多种存储介质提取数据，可以是用户本地文件、云端存储，或是常见数据库。数据提取可以根据用户指定的筛选条件，对存储在云端的数据进行筛选过滤，并将筛选结果展现在页面上。如图3所示。

当用户找到合适的数据后，点击可视化图形元件“数据提取”触发数据提取操作，可以将这些数据以数据块的形式保存在模型中，以便后续步骤使用。如果进行多次的“数据提取”操作，那么提取的数据会保存在不同的数据块中，界面上也会显示多个数据块。保存后如图4所示。

对于多个数据块，还可通过点击可视化图形元件“合并”、“相减”、“列拼接”、“行拼接”，触发对多个数据块的操作。如图3所示。

S3、当接收到用户触发用于处理数据的可视化图形元件的指令时，对所述第一数据块中的数据进行处理后，将处理结果保存在所述分析模型的第二数据块中，并以可视化图形元件的形式进行显示。

具体的，如图5所示，提取数据后，用户可以根据系统提供的如下功能对数据进行进一步的过滤和清洗。功能包括：筛选、汇总、新增列、去重、截取、同环比、排名、升降维、合并、行列拼接等等。每一项功能都只需要简单的界面操作，系统会在后台进行自动计算，并把计算结果返回界面。

如果此时得到的结果与用户设想不一致，那么用户可重新进行步骤S2、S3中的操作。如果和用户的预期值一致，那么可以将该结果数据保存，系统会将这些数据生成新的数据块，保存在模型中。此时的模型如图6所示，图6中的“汇总结果”即为处理结果生成的数据块。

可选地，在该实施例中，该方法还包括：

S4、当接收到用户触发用于分析数据的可视化图形元件的指令时，对所述第二数据块中的处理结果进行分析后，将分析结果保存在所述分析模型中并进行显示。

具体的，在上述步骤形成的数据块的基础上，可以进行绘图、OLAP、挖掘等操作，形成图、表等更直观的分析成果。其中，绘图功能可内置丰富的图形选项，还可根据具体场景进行新图形的个性化定制，让数据以更鲜活的方式展现。挖掘功能支持所有常见挖掘算法，满足更专业的分析人员使用需求。如图6中的“高级汇总”即为分析结果，点击即可打开生成的图表。

可选地，在该实施例中，该方法还包括：

S5、当接收到用户触发用于输出报告的可视化图形元件的指令时，根据所述分析结果输出分析报告。

具体的，可以将分析成果以图片、Word、PPT等方式，形成分析报告等可视化产品。

本发明实施例还提供一种基于云的可视化数据处理系统，本系统中的各个模块的功能原理已在前述内容中进行了介绍，以下不再赘述。

该系统包括:

模型创建模块，用于根据用户输入的模型创建指令，在云端创建分析模型；

数据提取模块，用于当接收到用户触发用于提取数据的可视化图形元件的指令时，从数据库中提取数据并保存在所述分析模型的第一数据块中，并以可视化图形元件的形式进行显示；

数据处理模块，用于当接收到用户触发用于处理数据的可视化图形元件的指令时，对所述第一数据块中的数据进行处理后，将处理结果保存在所述分析模型的第二数据块中，并以可视化图形元件的形式进行显示。

可选地，在该实施例中，所述数据提取模块，还用于当进行多次数据提取操作时，将每次提取的数据保存在不同的数据块中，并分别以可视化图形元件的形式进行显示。

可选地，在该实施例中，所述用于处理数据的可视化图形元件的指令包括筛选、汇总、新增列、去重、截取、同环比、排名、升降维、合并和行列拼接中的一种或多种。

可选地，在该实施例中，还包括：数据分析模块，用于当接收到用户触发用于分析数据的可视化图形元件的指令时，对所述第二数据块中的处理结果进行分析后，将分析结果保存在所述分析模型中并进行显示。

可选地，在该实施例中，还包括：报告输出模块，用于当接收到用户触发用于输出报告的可视化图形元件的指令时，根据所述分析结果输出分析报告。

本发明将数据存储在云端，不仅实现了数据的集中管理，也不用再为频繁的硬件扩容而担忧。对于云存储来说，数据容量是没有限制的，可以按需使用，随时扩展。即能够在数据量较小时，保证低成本运行；又可以在数据量爆发增长时，提供良好的扩展性及存取速度。

本发明充分利用了云存储的优势。首先，它将海量数据统一存储在云端，进行集中安全管理。其次，工具提供统一的可视化分析界面。用户不需要知道数据存储在哪里，以什么方式存储的，只需要在界面上进行简单的操作就可以进行数据分析工作。同时，工具提供了HTTP接口，可为已授权的其他软件系统提供统一的数据服务。让数据资源在安全的前提下，实现共享。

要在庞大数据的基础上进行分析，势必需要强大的计算能力的支撑。传统的分布式计算架构，对硬件的要求极高，随着海量数据的到来，企业的硬件成本也呈几何式的增涨。

本发明通过云的分布式计算能力，能够实现超大数据的秒级计算。经过测试，基于本发明的技术，可实现亿计数据的秒级计算。云计算可伸缩能力极强，可根据实际需要，匹配最优的计算资源，实现资源利用率最大化。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于云的可视化数据处理方法，其特征在于，包括:

根据用户输入的模型创建指令，在云端创建分析模型；

当接收到用户触发用于提取数据的可视化图形元件的指令时，从数据库中提取数据并保存在所述分析模型的第一数据块中，并以可视化图形元件的形式进行显示；

当接收到用户触发用于处理数据的可视化图形元件的指令时，对所述第一数据块中的数据进行处理后，将处理结果保存在所述分析模型的第二数据块中，并以可视化图形元件的形式进行显示。

2.根据权利要求1所述的方法，其特征在于，还包括：当进行多次数据提取操作时，将每次提取的数据保存在不同的数据块中，并分别以可视化图形元件的形式进行显示。

3.根据权利要求1所述的方法，其特征在于，所述用于处理数据的可视化图形元件的指令包括筛选、汇总、新增列、去重、截取、同环比、排名、升降维、合并和行列拼接中的一种或多种。

4.根据权利要求1-3任一项所述的方法，其特征在于，还包括：当接收到用户触发用于分析数据的可视化图形元件的指令时，对所述第二数据块中的处理结果进行分析后，将分析结果保存在所述分析模型中并进行显示。

5.根据权利要求4所述的方法，其特征在于，还包括：当接收到用户触发用于输出报告的可视化图形元件的指令时，根据所述分析结果输出分析报告。

6.一种基于云的可视化数据处理系统，其特征在于，包括:

模型创建模块，用于根据用户输入的模型创建指令，在云端创建分析模型；

数据提取模块，用于当接收到用户触发用于提取数据的可视化图形元件的指令时，从数据库中提取数据并保存在所述分析模型的第一数据块中，并以可视化图形元件的形式进行显示；

数据处理模块，用于当接收到用户触发用于处理数据的可视化图形元件的指令时，对所述第一数据块中的数据进行处理后，将处理结果保存在所述分析模型的第二数据块中，并以可视化图形元件的形式进行显示。

7.根据权利要求6所述的系统，其特征在于，所述数据提取模块，还用于当进行多次数据提取操作时，将每次提取的数据保存在不同的数据块中，并分别以可视化图形元件的形式进行显示。

8.根据权利要求6所述的系统，其特征在于，所述用于处理数据的可视化图形元件的指令包括筛选、汇总、新增列、去重、截取、同环比、排名、升降维、合并和行列拼接中的一种或多种。

9.根据权利要求6-8任一项所述的系统，其特征在于，还包括：数据分析模块，用于当接收到用户触发用于分析数据的可视化图形元件的指令时，对所述第二数据块中的处理结果进行分析后，将分析结果保存在所述分析模型中并进行显示。

10.根据权利要求9所述的系统，其特征在于，还包括：报告输出模块，用于当接收到用户触发用于输出报告的可视化图形元件的指令时，根据所述分析结果输出分析报告。