CN111444230A

CN111444230A - 一种基于大数据平台的数据可视化分析方法

Info

Publication number: CN111444230A
Application number: CN201910042844.5A
Authority: CN
Inventors: 彭玉
Original assignee: Suzhou Heiniu New Media Co ltd
Current assignee: Suzhou Heiniu New Media Co ltd
Priority date: 2019-01-17
Filing date: 2019-01-17
Publication date: 2020-07-24

Abstract

本发明涉及大数据应用技术领域，提供一种基于大数据平台的数据可视化分析方法，包括以下操作步骤：步骤S1：采集或录入原始数据，并对原始数据进行预处理及存储，经预处理后得到精确的初始数据；步骤S2：对得到的初始数据进行可视化匹配处理：步骤S3：映射：完成数据建模；步骤S4：绘制和设计图表；步骤S5：可视化呈现；发明提供了一种基于大数据平台的数据可视化分析方法，通过优化数据的深度处理方法，并借助与计算机自动化分析能力和制作能力，辅助人们更为直观和高效地洞悉大数据背后的信息、知识与智慧。

Description

一种基于大数据平台的数据可视化分析方法

技术领域

本发明涉及大数据应用技术领域，具体涉及一种基于大数据平台的数据可视化分析方法。

背景技术

当前，整个世界已经步入了大数据时代，伴随着互联网、云计算、物联网等信息技术的飞速发展，信息技术正在与人类世界的各个方面进行深入融合，产生出比以往任何年代都多的海量数据。对海量数据进行统计、分析，并挖掘出其中蕴含的潜在价值，是我们一直在深入研究的。从前，由数据分析师、统计学方面的专家及其科研工作者对数据进行统计、分析。但在当前大数据背景下，海量的数据只有在被合理的采集、解读、表达后才可完美的呈现出它们的深奥，而数据可视化让数据的更加亲切、更加让人理解，一副图传达出的信息胜过千言万语。人类从外界获得信息的80％以上均来自人的视觉系统。将大数据通过直观的、可视化图形方式展示给分析者，更容易方便分析者挖掘出数据背后隐藏的信息。

大数据可视化分析是大数据分析不可或缺的重要手段和工具。事实上，在科学计算可视化领域以及传统的商业智能(business intelligence，简称BI)领域，可视化一直是重要的方法和手段.然而，这些研究领域并未深入地结合人机交互的理论和技术，因此难以全面地支持可视分析的人机交互过程。同时，大数据本身的新特点也对可视分析提出了更为迫切的需求与更加严峻的挑战。

发明内容

解决的技术问题

针对现有技术的不足，本发明提供了一种基于大数据平台的数据可视化分析方法，通过优化数据的深度处理方法，并借助与计算机自动化分析能力和制作能力，辅助人们更为直观和高效地洞悉大数据背后的信息、知识与智慧。

技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于大数据平台的数据可视化分析方法，包括以下操作步骤：

步骤S1：采集或录入原始数据，并对原始数据进行预处理及存储，经预处理后得到精确的初始数据；

步骤S2：对得到的初始数据进行可视化匹配处理：主要包括数据的滤波处理、平滑处理、规范化处理、几何变换、线性变换和特征检测及提取等；

步骤S3：映射：对步骤S2中处理后的数据进行数据集建立，并将数值数据转成几何数据，完成数据建模；

步骤S4：绘制和设计图表：根据业务数据呈现方式的需要，选择图表类型，匹配待呈现图表的显示数值，利用计算机内置的可视化类库的制图引擎绘制出图表；

步骤S5：可视化呈现：通过准备好待显示页面的页面布局、局部图表的定制、数据源和数据集的配置以及统一的从大数据平台获取数据的接口进行整合，将需要呈现的数据源显示在Web页面前端，从而实现大数据平台的自动可视化分析页面的配置与呈现。

更进一步地，所述步骤S1中的预处理主要包括数据格式的标准化、分析、分割、分类、压缩和解压缩。

更进一步地，所述步骤S1中采集原始数据匹配MPP数据库和Hadoop的融合架构，提供多平SQL驱动。

更进一步地，执行SQL指令查询字段，整合所述字段成数据集，采用INTEL SSE4.1和SSE4.2指令集，可实现指令的加快执行。

更进一步地，所述步骤S4中的图表类型包括折线图、柱状图、散点图、气泡图、数据表、流程图、KPI标签、漏斗图、桑基图、雷达图以及区域地图等。

更进一步地，所述步骤S4中的可视化类库包括统计数据可视化类库、关系数据可视化类库、地理空间数据可视化类库和文本数据可视化类库等。

有益效果

本发明提供了一种基于大数据平台的数据可视化分析方法，与现有公知技术相比，本发明的具有如下有益效果：

本发明通过数据平台中的海量数据进行挖掘和分析之后，根据不用的数据维度和业务类型自主地选用不同形式的可视化类库，将大数据转换为简单易懂的绚丽数据可视化图形或图表，并通过人机交互页面直观的展现在用户的眼前，大大提高了数据使用的适应性，丰富了数据的表现形式和美感；使得非专业的数据分析专家，也能够轻松的获得海量大数据台中所存储的数据要表达的深刻含义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的可视化呈现方法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

本实施例的一种基于大数据平台的数据可视化分析方法，参照图1：包括以下操作步骤：

(其中针对不同的数据类型应采用不同的映射技术，常用的方式有：应用图形中可识别的变量来验证维数的基数；使用缩放比例和偏移量匹配数值范围；使用投影来压缩信息，获得计量等)

步骤S1中的预处理主要包括数据格式的标准化、分析、分割、分类、压缩和解压缩。

本发明优选的实施方案：在步骤S1中采集原始数据匹配MPP数据库和Hadoop的融合架构，提供多平SQL驱动。执行SQL指令查询字段，整合字段成数据集，采用INTEL SSE4.1和SSE4.2指令集，可实现指令的加快执行。

本发明优选的实施方案：步骤S4中的图表类型包括折线图、柱状图、散点图、气泡图、数据表、流程图、KPI标签、漏斗图、桑基图、雷达图以及区域地图等。步骤S4中的可视化类库包括统计数据可视化类库、关系数据可视化类库、地理空间数据可视化类库和文本数据可视化类库等。

本发明通过数据平台中的海量数据进行挖掘和分析之后，根据不用的数据维度和业务类型自主地选用不同形式的可视化类库，将大数据转换为简单易懂的绚丽数据可视化图形或图表，并通过人机交互页面直观的展现在用户的眼前，大大提高了数据使用的适应性，丰富了数据的表现形式和美感。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于大数据平台的数据可视化分析方法，其特征在于，包括以下操作步骤：

2.根据权利要求1所述的一种基于大数据平台的数据可视化分析方法，其特征在于，所述步骤S1中的预处理主要包括数据格式的标准化、分析、分割、分类、压缩和解压缩。

3.根据权利要求1所述的一种基于大数据平台的数据可视化分析方法，其特征在于，所述步骤S1中采集原始数据匹配MPP数据库和Hadoop的融合架构，提供多平SQL驱动。

4.根据权利要求3所述的一种基于大数据平台的数据可视化分析方法，其特征在于，执行SQL指令查询字段，整合所述字段成数据集，采用INTEL SSE4.1和SSE4.2指令集，可实现指令的加快执行。

5.根据权利要求1所述的一种基于大数据平台的数据可视化分析方法，其特征在于，所述步骤S4中的图表类型包括折线图、柱状图、散点图、气泡图、数据表、流程图、KPI标签、漏斗图、桑基图、雷达图以及区域地图等。

6.根据权利要求1所述的一种基于大数据平台的数据可视化分析方法，其特征在于，所述步骤S4中的可视化类库包括统计数据可视化类库、关系数据可视化类库、地理空间数据可视化类库和文本数据可视化类库等。