CN110109989A - 一种大数据可视化处理方法以及可读存储介质 - Google Patents

Abstract

本发明提供了一种大数据可视化处理方法以及可读存储介质，方法包括以下步骤：按照可视化要求对从数据源读取的数据进行数据格式转换；对转换后的数据进行预处理，所述预处理包括排序和过滤；将经过预处理的数据汇集到数据表中表示；利用可缩放矢量图形地图算法将所述数据表中不同数据维度的数据映射到视觉元素的不同属性中，以形成静态和动态的视觉图形，从而完成数据的可视化视图显示。本发明构建了可视化数据模型，并引入了字段表驱动算法、优化链表插入排序、混合过滤技术、可缩放矢量图形地图布局算法以及交互技术等，实现了针对大规模数据分析以及可视化显示。

Description

一种大数据可视化处理方法以及可读存储介质

技术领域

本发明属于大数据技术领域，尤其涉及一种大数据可视化处理方法，以及存储有能够实现该方法的程序的可读存储介质。

背景技术

大数据时代翩然而至，海量数据并不是一堆数字，它有着不可估量的价值。如何让这些杂乱无章的数据变得亲切且易于理解，数据可视化无疑是最有效的手段之一。

在大数据环境下，在传统的数据可视化基础平台和架构中，通常是由专业的研究人员来主导，以数据仓库和数据挖掘技术为基础，通过面向特定技术领域的数据可视化工具，来构建独有的数据可视化解决方案。尽管这类可视化系统架构能够很好地利用可视化视图来分析数据中隐藏的信息，但是由于其所允许输入的数据格式较为单一，所允许使用的可视化算法也被集成在系统架构内部，致使这样高度定制化的数据可视化系统架构缺少用户参与的自由性、灵活性和数据导入、算法导入的开放性。

发明内容

针对上述技术问题，本发明提供了一种能够提高与用户之间的交互性能的大数据可视化方法。该方法构建了可视化数据模型，并引入了优化链表插入排序、混合过滤技术、可缩放矢量图形(SVG)地图布局算法以及用户交互等技术，实现了针对大规模数据分析的可视化。

为了解决上述技术问题，本申请的实施例首先提供了一种大数据可视化处理方法，包括：

S100，按照可视化要求对从数据源读取的数据进行数据格式转换；

S200，对转换后的数据进行预处理，所述预处理包括排序和过滤；

S300，采用数据表形式对经过预处理的数据进行表示；

S400，利用可缩放矢量图形地图算法将所述数据表中不同数据维度的数据映射到视觉元素的不同属性中，以形成静态和/或动态的视觉图形，从而完成数据的可视化视图显示。

优选地，在所述步骤S100中，利用字段表驱动算法，按照可视化要求对从数据源读取的数据进行数据格式转换。

优选地，在所述步骤S200中，利用优化链表插入排序算法对转换后的数据进行排序，具体包括以下步骤：

对转换后的数据构建数据三元组T(O，A，Vj)，其中，O表示所有数据对象的集合，A表示数据对象属性的集合，Vj表示数据对象oj(1＜j＜＝|O|)的属性，|O|表示集合O中的数据对象的数量；

确定所述数据三元组所对应的关键字；

根据所述关键字，利用链表插入排序算法对所述数据三元组进行排序。

优选地，在所述步骤S200中，对转换后的数据进行过滤，包括对其中的冗余数据、无效数据和无关数据进行过滤。

优选地，在所述步骤S300中，采用数据表形式对经过预处理的数据进行表示，具体包括以下步骤：

将经过预处理的数据添加进数据表中；

检验数据表中的数据质量是否满足预设条件：

若不满足预设条件，则返回执行步骤S100和S200；

若满足预设条件，则执行步骤S400。

优选地，所述步骤S400包括以下步骤：

S410，对所述数据三元组中的每个点进行判断，当判断该点属于边界点时，对所述边界点进行坐标变换，将其坐标转换为相对于绘图区域原点的坐标；

S420，将经过坐标变换的边界点连接起来，以形成边界曲线的轮廓路径；

S430，基于地图事件触发和图表事件触发，在由所述边界曲线围成的区域内形成视觉图形。

优选地，在所述步骤S410中，所述坐标变换包括以下步骤：

根据如下表达式计算经纬度比例因子：

经度比例因子LS＝MAX(Li)-MIN(Li)/W，(1＜＝i＜＝n)；

纬度比例因子VS＝MAX(Vi)-MIN(Vi)/H，(1＜＝i＜＝n)；

其中，W为对数据进行可视化视图显示时绘图区域的宽度，H为对数据进行可视化视图显示时绘图区域的高度，Li表示所述边界点的经度，Vi表示所述边界点的纬度，MAX(·)表示取最大值，MIN(·)表示取最小值；n表示所述数据三元组中边界点的个数；以及

根据如下表达式计算转换后的坐标：

经度Xi＝(Li-MIN(Li))/LS，(1＜＝i＜＝n)；

纬度Yi＝(MAX(Vi)-Vi)/VS，(1＜＝i＜＝n)。

优选地，在所述步骤S430中，所述视觉图形包括静态和/或动态的视觉图形，其中，动态的视觉图形用于为用户提供可视化交互功能。

本申请的实施例还提供了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行以实现上述方法。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

本发明提供了一种数据可视化处理方法，可以达到以下有益下效果：1).构建七层数据可视化模型，每一层相互独立且相互联系，实现了可视化界面与底层数据模型和应用逻辑的分离，运用该模型构建的系统具有通用性、可视化接口与可扩展性；2).在数据转换中引入字段表驱动算法、优化链表插入排序算法以及混合过滤技术，解决了异构数据转换时命名、结构、数据类型冲突问题，在大规模数据排序，查询更加高效快速；3).通过在可视化方法中引入可缩放矢量图形(SVG)地图算法与交互技术，将数据集中不同的数据维度映射到视觉元素的不同属性中，可以生成静态的视觉图形和动态图形，同时动态图形又可以提供可视化交互的功能。

本发明的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1为根据本发明一实施例的大数据可视化处理方法的流程示意图；

图2为基于所述可视化数据模型与可缩放矢量图形地图算法对数据进行可视化视图显示的流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

本发明提供了一种数据可视化处理方法，构建了可视化数据模型，并引入了字段表驱动算法、优化链表插入排序、混合过滤技术、可缩放矢量图形(SVG)地图布局算法以及交互技术等，实现了针对大规模数据分析以及可视化显示，并在大数据细节表现上更加丰富。

发明的目的通过如下技术方案来实现：

如图1所示，一种大数据可视化方法，主要步骤包括：

S100，按照可视化要求对从数据源读取的数据进行数据格式转换；

S200，对转换后的数据进行预处理，所述预处理包括排序和过滤；

S300，采用数据表形式对经过预处理的数据进行表示；

S400，利用可缩放矢量图形地图算法将所述数据表中不同数据维度的数据映射到视觉元素的不同属性中，以形成静态和动态的视觉图形，从而完成数据的可视化视图显示。

关于步骤S100，按照可视化要求对从数据源读取的数据进行数据格式转换。

首先选择需要进行可视化处理的数据。在此，数据的来源可以是内部的数据库，也可以是来自外部服务器。

在获取数据后，首先需要进行数据格式转换，读入数据按照可视化要求进行数据格式转化在。在此，引入了字段表驱动算法，即在web服务端构建字段映射表，对于外部数据源，字段映射表中都应该有相应的映射记录，对于外部无法提供的数据，则在映射表中设置默认值。字段表驱动算法数学模型为：FM(LTN，LFN，LFP，EFN)，其中，LTN指字段映射表名称，LFN指字段映射表字段名称，LFP是LFN所指字段在LTN所指数据表中物理排位序号，ENP为外部数据源中对应的字段名称。在此，数据格式转化主要是填写FM表中的LTN、LFN和LFP信息。而对于EFN，则根据情况进行设置。

关于S200，对转换后的数据进行预处理，所述预处理包括排序和过滤。

关于排序

转换后的数据是杂乱无章的，不利于后面数据可视化实现。在此，优选一种优化的链表插入排序方法对转换后的数据进行排序处理。由于大数据的数据特征不仅包括时空属性，还包含其他属性，譬如天气数据中的污染、温度等，因此如果涉及有数据属性的排序，会增加排序处理的复杂度，延长排序处理的时间。为此，这里提出了一种优化的链表排序算法：构建一个数据三元组T(O，A，Vj)，其中O表示所有数据对象集合O＝{o1，o2，oi，…on}，为非空有限集合；A表示数据对象的属性集合，A＝{a1，a2，a3，ai，…an}，为非空集合；Vj为数据对象oj(1＜j＜＝|O|)的属性，其由若干等价类构成的等价关系，Vj＝{vi1，vi2，vi3，…vin}，vij是数据三元组的一个属性值；然后确定数据三元组T的关键字，根据关键字，利用链表插入排序算法对T列表进行排序，例如输入n个记录T1，T2，T3…Tn，其相应的关键字分别为K1，K2，…Kn；输出Ti1，Ti2，Ti3，…Tin，＜使得Ki1＜Ki2＜…＜Kin或者Ki1＞Ki2＞…＞Kin。

关于过滤

数据过滤是根据特定条件，筛选出满足用户需求的数据条目，不满足条件则予以排除。在数据过滤处理过程中，主要是过滤掉冗余数据与无效数据，但是对于数据可视化，还需要过滤无关数据，只对符合相关条件的数据进行可视化显示。本方法采用了一种混合过滤技术，即Web服务端采用基于协作的过滤方式，Web端采用基于内容的过滤方式，(1)用户请求，首先经过Web服务端，检索相关信息；(2)然后检索内容在Web端完成；(3)如果通过Web服务得到的相关数据信息在用户的浏览范围内，其结果就可以直接作为检索结果。

关于步骤S300，采用数据表形式对经过预处理的数据进行表示。

数据表示是在完成了数据的排序和过滤等预处理之后，需要将预处理后的数据汇集到数据表中表示。通过这种数据表的形式，可以检验之前数据的转换、排序和过滤等处理的工作质量，判断是否达到预期的质量要求，若不符合要求，需要对数据重新进行转换排序、排序和过滤等操作。

关于步骤S400，利用可缩放矢量图形地图算法将所述数据表中不同数据维度的数据映射到视觉元素的不同属性中，以形成静态和动态的视觉图形，从而完成数据的可视化视图显示。

当前面的工作都达到了预期的要求之后，选择需要的可视化算法，对数据进行可视化视图显示。若用户对最后的可视化效果不满意，则跳转到数据的排序和过滤等操作，重新对数据进行简单的操作，直到可视化效果达到用户的要求。

在此，可视化算法采用了可缩放矢量图形(SVG，Scalable Vector Graphics)地图算法，其主要步骤有：

S410，对所述数据三元组中的每个点进行判断，当判断该点属于边界点时，对所述边界点进行坐标变换，将其坐标转换为相对于绘图区域原点的坐标；

S420，将经过坐标变换的边界点连接起来，以形成边界曲线的轮廓路径；

S430，基于地图事件触发和图表事件触发，在由所述边界曲线围成的区域内形成视觉图形。

关于步骤S410，坐标位置转换的计算。

在数据文件中，各个区域边界由若干个具有经纬度的点组成。假设，绘图区域的高度H，宽度为W，任意边界上点坐标为Si(Li，Vi)，Li为该点的经度，Vi为该点的纬度，构成边界的所有点的集合为{S1，S2，S3，…Sn}。在绘制前需要通过坐标变换将上述集合中的每个边界点Si(Li，Vi)，1＜＝i＜＝n的坐标换成屏幕上相对于绘图区域原点的坐标Pi(Xi，Yi)，1＜＝i＜＝n。具体换算方式如下：

首先，计算经纬度比例因子(每个像素代表的经纬度)：

经度比例因子LS，LS＝MAX(Li)-MIN(Li)/W (1＜＝i＜＝n)；

维度比例因子VS，VS＝MAX(Vi)-MIN(Vi)/H (1＜＝i＜＝n)；

然后，通过如下坐标转换式计算Pi(Xi，Yi)：

Xi＝(Li-MIN(Li))/LS (1＜＝i＜＝n)；

Yi＝(MAX(Vi)-Vi)/VS (1＜＝i＜＝n)；

当所有边界点完成坐标转换后进入步骤S420边界曲线绘制步骤。

关于步骤S420，边界曲线绘制。

将经过坐标变换后的所有边界点连接起来，绘制边界曲线的轮廓路径。在本实施例中，可缩放矢量图形(SVG)地图算法采用<path>来绘制计算，具体实施流程如图2所示：

a)判断输入的经纬度数组Si元素的i值域；

b)若i＞n，绘制边界曲线；

c)否则，进行Si(Li，Vi)-＞Pi(Xi，Yi)坐标转换；

d)当完成坐标转换后，判断值域i：

若i＝＝1成立，初始化边界曲线；

否则，更新边界曲线；

e)计算i++；

f)返回步骤b)。

关于步骤S430，基于地图事件触发和图表事件触发，在由所述边界曲线围成的区域内形成视觉图形。

在本实施例中，采用了javascript+SMIL(同步多媒体集成语言)，基于地图事件触发和图表的事件触发，在由所述边界曲线围成的区域内形成静态和/或动态的视觉图形。

其中，本发明采用直接交互与间接交互相结合的技术，使得动态的视觉图形能够为用户提供可视化交互的功能。用户不仅能够操作系统中的功能部件如按钮、菜单或者滑动条等改变信息视图，保存数据可视化案例，而且也可以直接操作表达信息的图形视图来进行人机交互。

在本发明的另一个实施例中，还提供了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行以实现上述的方法，此处不再赘述。

本发明的技术方案通过构建多层相互独立的数据可视化模型，实现了可视化界面与底层数据模型和应用逻辑的分离，运用该模型构建的系统具有通用性、可视化接口与可扩展性。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (9)

1.一种大数据可视化处理方法，包括以下步骤：

S100，按照可视化要求对从数据源读取的数据进行数据格式转换；

S200，对转换后的数据进行预处理，所述预处理包括排序和过滤；

S300，将经过预处理的数据汇集到数据表中表示；

S400，利用可缩放矢量图形地图算法将所述数据表中不同数据维度的数据映射到视觉元素的不同属性中，以形成静态和/或动态的视觉图形，从而完成数据的可视化视图显示。

2.根据权利要求1所述的方法，其特征在于，在所述步骤S100中，利用字段表驱动算法，按照可视化要求对从数据源读取的数据进行数据格式转换。

3.根据权利要求1所述的方法，其特征在于，在所述步骤S200中，利用优化链表插入排序算法对转换后的数据进行排序，具体包括以下步骤：

对转换后的数据构建数据三元组T(O，A，Vj)，其中，O表示所有数据对象的集合，A表示数据对象属性的集合，Vj表示数据对象oj(1＜j＜＝|O|)的属性，|O|表示集合O中的数据对象的数量；

确定所述数据三元组所对应的关键字；

根据所述关键字，利用链表插入排序算法对所述数据三元组进行排序。

4.根据权利要求1所述的方法，其特征在于，在所述步骤S200中，对转换后的数据进行过滤，包括对其中的冗余数据、无效数据和无关数据进行过滤。

5.根据权利要求1所述的方法，其特征在于，在所述步骤S300中，采用数据表形式对经过预处理的数据进行表示，具体包括以下步骤：

将经过预处理的数据添加进数据表中；

检验数据表中的数据质量是否满足预设条件：

若不满足预设条件，则返回执行步骤S100和S200；

若满足预设条件，则执行步骤S400。

6.根据权利要求3所述的方法，其特征在于，所述步骤S400包括以下步骤：

S410，对所述数据三元组中的每个点进行判断，当判断该点属于边界点时，对所述边界点进行坐标变换，将其坐标转换为相对于绘图区域原点的坐标；

S420，将经过坐标变换的边界点连接起来，以形成边界曲线的轮廓路径；

S430，基于地图事件触发和图表事件触发，在由所述边界曲线围成的区域内形成视觉图形。

7.根据权利要求6所述的方法，其特征在于，在所述步骤S410中，所述坐标变换包括以下步骤：

根据如下表达式计算经纬度比例因子：

经度比例因子LS＝MAX(Li)-MIN(Li)/W，(1＜＝i＜＝n)；

纬度比例因子VS＝MAX(Vi)-MIN(Vi)/H，(1＜＝i＜＝n)；

其中，W为对数据进行可视化视图显示时绘图区域的宽度，H为对数据进行可视化视图显示时绘图区域的高度，Li表示所述边界点的经度，Vi表示所述边界点的纬度，MAX(·)表示取最大值，MIN(·)表示取最小值；n表示所述数据三元组中边界点的个数；以及

根据如下表达式计算转换后的坐标：

经度Xi＝(Li-MIN(Li))/LS，(1＜＝i＜＝n)；

纬度Yi＝(MAX(Vi)-Vi)/VS，(1＜＝i＜＝n)。

8.根据权利要求6所述的方法，其特征在于，在所述步骤S430中，所述视觉图形包括静态和/或动态的视觉图形，其中，动态的视觉图形用于为用户提供可视化交互功能。

9.一种可读存储介质，其上存储有计算机程序，该程序被处理器执行以实现如权利要求1至8中任意一项所述的方法。