CN112069200A - 一种面向高维时空大数据的多细节层次可视化方法 - Google Patents

Abstract

本发明属于数据可视化技术领域，公开了一种面向高维时空大数据的多细节层次可视化方法，通过对时空大数据进行建模、映射、归约、聚合等步骤将原始时空大数据转换为易查、易取、易展示的高维细节层次模型，根据高维细节层次模型实现自适应的多层次融合显示可视化。本发明能够提高可视化效率，能够直观高效地来显示高维数据内容。

Description

一种面向高维时空大数据的多细节层次可视化方法

技术领域

本发明涉及数据可视化技术领域，尤其涉及一种面向高维时空大数据的多细节层次可视化方法。

背景技术

随着移动互联网、云计算、物联网等信息技术的迅猛发展，泛在的智能设备、传感器、互联网站、社交网络时时刻刻都在生成海量时空位置数据，这些数据规模巨大、类型繁多，兼具时空特征、高维特征。时空特征，是指数据都带有空间位置和时间标签或者能体现时空位置的属性字段；高维特征指数据常包含除时空标签外的其他丰富属性信息，这些属性所能反映出的对象内蕴特征，往往更具研究价值。

数据可视化是挖掘和分析海量时空数据的一种重要步骤和手段，其能够直观反映出数据中蕴含的模式和规律。当前大规模时空数据的可视化方案还存在许多问题，主要体现在以下几个方面：

(1)大规模数据可视化效率低、延迟高。随着数据规模的日益增大，当前直接显示原始数据的可视化方案对硬件性能要求很高，可视化耗时随着数据量的增大而超线性增长，同时还会出现数据遮盖现象。而采用高性能硬件环境虽然可以提升可视化效率，但硬件成本代价不菲，无法普及推广。

(2)预聚合可视化方案缺乏对数据时空特征、高维特征同时有效的支持。传统2D地图可视化展现方式采用二维瓦片金字塔模型，在空间维度能够直接提供不同分辨率的数据而无需进行实时重采样，而时间维度与属性维度展示还需要实时计算，无法直观高效地来显示高维数据内容。当前基于预处理中间结果的可视化方式从数据组织到展现方式都不能自由的扩展数据维度，而且聚合后丢失了时空数据的原始信息，无法满足原始记录和聚合信息融合显示的需求。

(3)可视化方案无法满足时空数据高并发访问需求，可扩展能力不强。现有可视化方案，多基于单机方案设计，难于在分布式平台实现，导致可扩展能力很低，无法应对数据规模和数据维度的扩展需求。

发明内容

针对现有技术中存在的缺陷，本发明提供一种面向高维时空大数据的多细节层次可视化方法。

本申请实施例提供一种面向高维时空大数据的多细节层次可视化方法，包括以下步骤：

步骤1、对原始数据记录进行预处理，提取得到每条原始数据记录的维度读取结果信息；

步骤2、确定可视化的空间划分最大层级、时间划分粒度、属性顺序；

步骤3、将原始数据记录转化为高维细节层次模型中低层的时空属高维像素；

步骤4、将所述高维细节层次模型中低层的时空属高维像素映射到时空属高维立方体上，得到底层时空属高维立方体；

步骤5、将所述底层时空属高维立方体逐级向上聚合，依次生成中层时空属高维立方体和高层时空属高维立方体，得到完整的高维细节层次模型；

步骤6、将所述高维细节层次模型存储于键值对表中，得到键值化的高维细节层次模型；

步骤7、基于所述键值化的高维细节层次模型，进行数据调用与多维联动可视化。

优选的，所述步骤1中，所述维度读取结果信息包括空间维度信息、时间维度信息、属性维度信息，表示为Data{[Lon,Lat],Time,Attribute[]}三元组；所述属性维度信息Attribute[]对应数据记录中的属性列表。

优选的，所述步骤3中，将原始数据记录转化为高维细节层次模型中低层的时空属高维像素的具体实现方式为：

将步骤1中得到的所述维度读取结果信息按照时间和空间范围映射到指定像素，得到映射结果像素集；其中，一个时空高维像素对应多条原始数据记录；

在映射过程中，进行属性维度规约；其中，将各时空高维像素中对应的所有原始数据记录的属性列表按照步骤2中确定的所述属性顺序组织成树状，形成属性规约树。

优选的，将所述维度读取结果信息按照时间和空间范围映射到指定像素的映射关系如下：

MAP(Data,w_s,L_max,Bin_max)->HPixel([l,x,y],t,attr[])

其中，上式左边代表映射所需的数据和参数，MAP表示映射操作，w_s为模型定义的时空瓦片宽度，L_max为最大层级，Bin_max为时间划分粒度；上式右边代表映射结果，HPixel表示时空属高维像素，[l,x,y]表示空间维，l指代层级，x、y为该像素在对应空间范围内的坐标，t表示时间维，attr[]表示属性维；’->’表示隶属关系。

优选的，所述映射采用如下计算公式：

式中，Lon代表经度，Lat代表纬度，r通过w_s计算得出，与l相加为时空高维像素所在的层级，空间行列号x、y利用墨卡托投影的公式计算，t通过数据精确时间按规定时间粒度计算得出。

优选的，所述形成属性规约树的具体实现方式为：

设根节点为0层，从第1层开始，每层代表一种属性，每层的兄弟结点代表属性的取值，结点的取值代表这种属性记录的计数；

从叶结点开始，逐层向上规约，形成属性规约树；

将属性规约树按照广度优先方式遍历并扁平化为一维数组HPixel.attr[]，操作公式如下：

Attr_tree.a_i＝Tree(COUNT(Data.Attribute[i]))

HPixel.attr[]＝Serialize(Attr_tree)

其中，Attr_tree是一个像素中所有属性组织成的属性规约树，Attr_tree.a_i表示属性树的子节点，Attribute[i]表示原始数据中的属性值，HPixel.attr[]表示扁平化后的一维数组，作为时空属高维像素的属性表达。

优选的，所述步骤4中，将时空属高维像素HPixel映射到时空属高维立方体HCube上采用以下公式：

其中，下标t表示每一个对应关系的时间限定，w_s为模型定义的时空瓦片宽度，L代表层号，X、Y代表行列号，T代表时空属高维立方体的时间范围。

优选的，所述步骤5中，所述聚合包括空间聚合、时间聚合、属性聚合；

所述空间聚合中，通过下层对应的四个时空高维像素聚合形成上层的时空高维像素；

所述时间聚合中，将上层时间粒度所包含的所有下层时空瓦片进行累加，得到上层对应的时空瓦片；

所述属性聚合中，通过时空瓦片内部各属性维度的聚合形成属性聚合的树结构，经过底层属性节点的向上聚合得到完整的属性规约树。

优选的，所述步骤7包括：

根据屏幕界面展示的空间范围和时间范围，通过所述键值化的高维细节层次模型获取界面上的时空数据总数；

可视化数据调用；

根据屏幕界面上的总像素点数以及所述时空数据总数判断可视化类型；

对可视化数据进行显示。

优选的，所述可视化数据调用包括：时序热力图调用、时空对象调用、属性调用；

所述可视化类型包括：高层类型、中层类型、低层类型；所述高层类型对应显示热力图，所述中层类型对应融合显示热力图和原始数据，所述低层类型对应显示原始数据；

所述对可视化数据进行显示包括：若判断为低层类型，则直接在屏幕上绘制原始数据；若判断为中层类型，则从所述键值化的高维细节层次模型中取出热力图集合进行时空属性多维再聚合，将热力图绘制在屏幕上，融合显示原始数据和热力图；若判断为高层类型，则从所述键值化的高维细节层次模型中取出热力图集合进行时空属性多维再聚合，将热力图绘制在屏幕上。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

在本申请实施例中，通过对时空大数据进行建模、映射、归约、聚合等步骤将原始时空大数据转换为易查、易取、易展示的高维细节层次模型，根据此模型实现自适应的多层次融合显示可视化。该模型在可视化时能够大幅降低数据在线计算叠加，减少渲染延迟，提高可视化效率。

附图说明

图1为本发明提供的一种面向高维时空大数据的多细节层次可视化方法中设计的高维细节层次模型的结构示意图；

图2为本发明提供的一种面向高维时空大数据的多细节层次可视化方法的流程示意图。

具体实施方式

本发明提供了一种面向高维时空大数据的多细节层次可视化方法，针对海量时空大数据时空多维的特点，本发明结合时空立方体思想扩展传统二维金字塔模型，设计同时支持时间、空间、属性等多维度聚合的细节层次模型，通过离线预构建和实时查询调度实现高维时空大数据的多层级快速可视化。本发明提出的可视化方法能实现海量时空数据的高效组织，支持多细节层次、多维视图联动的数据展示，解决原有时空大数据可视化方法内存开销大、渲染延迟高、展示维度少等问题；此外，本发明的方法易映射到分布式平台进行实现，具有良好可扩展性，原型系统验证可以达到亚秒级绘制响应。

本发明通过将二维多细节层次(LOD，Levels of Detail)技术扩展到时间、空间、属性高维，结合时空立方体思想，提出了根据层级自适应控制可视化内容的高维细节层次模型。其中，最底层(即低层)直接显示时空大数据的各维度原始记录信息；从最底层向上到顶层，时空大数据的时间、空间、属性等维度逐层聚合，进而映射到多维联动视图进行可视化展示。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

参看图1、图2，本实施例提供了一种面向高维时空大数据的多细节层次可视化方法，包括以下步骤：

步骤1、数据预处理。

读取原始数据记录，提取得到每条数据记录的经纬度、时间和其他属性。数据读取的结果表示为Data{[Lon,Lat],Time,Attribute[]}三元组，分别代表空间维、时间维和属性维，其中属性维Attribute[]表示数据记录中的属性列表。

步骤2、确定聚合参数。

根据数据集特征和可视化粒度要求，确定聚合可视化的空间划分最大层级L_max、时间划分粒度Bin_max和属性顺序。

属性顺序可以人为根据用户关注度指定字段优先级。聚合参数和可视化粒度的对应关系如表1所示：

表1聚合参数与可视化粒度对应关系表

例如，L_max＝40，Bin_max＝H，属性聚合顺序指定为支付方式P(0、1)>乘车人数N(1、2、3)。

步骤3、高维像素提取。

在本发明中，可视化的最细粒度为屏幕上的一个绘制单元(如热力图的一个像素，柱状图的一个Bar)，将其称为时空属高维像素HPixel。此步骤将原始数据记录转化为高维细节层次模型中低层的时空属高维像素HPixel，具体分为两步。

(3A)原始记录像素映射，将数据读取结果按照时间和空间范围映射到指定像素。映射关系如下：

MAP(Data,w_s,L_max,Bin_max)->HPixel([l,x,y],t,attr[])

其中，上式左边代表映射所需的数据和参数，MAP表示映射操作，w_s为模型定义的时空瓦片宽度，通常为256。右边代表映射结果，即时空高维像素HPixel，同样分为空间、时间、属性三个维度。空间维采用[l,x,y]表示，l指代层级，x、y为该像素对应空间范围的中心或某一角点坐标。这里的’->’表示隶属关系，一个时空高维像素中对应多条原始数据记录。映射操作的具体计算公式如下所示：

式中，Lon代表经度，Lat代表纬度，r通过w_s计算得出，与l相加为时空高维像素所在的层级，空间行列号x、y利用墨卡托投影的公式计算，t通过数据精确时间按规定时间粒度计算得出。

(3B)属性维度规约。

在步骤3A的映射过程中，将各像素包含的所有记录的属性列表按照步骤2指定的属性顺序组织成树状，设根节点为0层，则从第1层开始，每层代表一种属性，每层的兄弟结点代表属性的取值，结点的取值代表这种属性记录的计数。从叶结点开始，逐层向上规约，从而形成属性规约树。显然，根节点的取值即为该像素包含的记录数。最后，将属性规约树按照广度优先方式遍历并扁平化为一维数组HPixel.attr[]。操作公式如下：

Attr_tree.a_i＝Tree(COUNT(Data.Attribute[i]))

HPixel.attr[]＝Serialize(Attr_tree)

其中，Attr_tree是一个像素中所有属性组织成的属性规约树，Attr_tree.a_i表示属性树的子节点，Attribute[i]表示原始数据中的属性值，HPixel.attr[]表示扁平化后的一维数组，作为时空属高维像素的属性表达。

一个时空高维像素上通常包含多条原始记录，每条时空要素记录对应属性规约树最底层(即低层)的一个节点，通过空间经纬度、具体时间信息、高维属性信息能够确定每条数据所属的时空高维像素及其对应的树节点。

例如，属性规约树底层节点代表的含义为用现金/信用卡支付的乘车人数为一人/两人/三人以上的时空要素数量。

步骤4、时空属高维立方体的提取。

本发明中，扩展二维地理瓦片概念，将其扩展到时空属高维立方体HCube(L,X,Y,T)，建立时空高维像素与HCube之间的对应关系，将HPixel映射到具体的HCube上，属性维度信息保持在像素中。公式如下：

其中，下标t表示每一个对应关系都是有时间限定的，其中L代表层号，X、Y代表行列号，T代表时空属高维立方体的时间范围。最后将每个时空高维像素聚合成时空属高维立方体，即最后得出的结果是找出了每一个像素所属的时空单元。

例如，时空高维像素与时空瓦片单元存在256*256:1的关系，因此时空高维像素上推8层得到对应时空瓦片，完成高维细节层次模型底层数据的生成。

步骤5、高维细节层次模型的底层时空属高维立方体逐级向上聚合，生成各级高维立方体。聚合操作分为空间聚合、时间聚合以及属性聚合。

(5A)空间聚合中，上层的时空高维像素总是由下层对应的四个时空高维像素聚合而成，操作公式如下：

HCube([l_N-1,X_i,Y_j])＝HCube([l_N,X_2i,Y_2j])+HCube([l_N,X_2i,Y_2j+1])

+HCube([l_N,X_2i+1,Y_2j])+HCube([l_N,X_2i+1,Y_2j+1])

(5B)时间聚合是将上层时间粒度所包含的所有下层时空瓦片进行累加，可采用小时-日-月-年的自然时间粒度分割方法，也可采用二聚一、十聚一等方法，其公式如下：

HCube(T_M)＝∑HCube(T_M-1)

(5C)属性聚合是时空瓦片内部各属性维度的聚合过程，会形成属性聚合的树结构，在步骤3和步骤4中，通过映射和归约的不同属性属于属性规约树的底层节点，经过底层属性节点的向上聚合得到完整的属性规约树，其公式如下：

其中，a_sum表示属性树的父节点，a_i表示属性树的子节点，m为第一个子节点在扁平化的属性树中的编号，n为子节点的数量。

例如，底层节点在扁平后的属性聚合树数组中编号A3的计算方式为：

A3＝3*P+N+3

其中，乘数3代表下层属性的类别数量，加数3代表上层属性节点总数。同理，编号A2通过底层节点编号的计算方法为：

A2＝(A3-3)/3+1

步骤6、高维细节层次模型键值化。

将上述步骤得到的高维细节层次模型存储于键值对表中；表中将细节层次模型中的时空信息按照“L_t+T+L_s+S”的编码方式进行编码，其中L_t表示时间维度聚合的层级，L_s表示空间维度聚合的层级，T表示各层级节点的时间信息，S为经过空间降维后的空间编码信息。表每行存储相同时空属高维立方体的节点，在行中分别存储各层级的属性节点。时空原始数据即为索引表的底层，即令L_t＝Bin_max，L_s＝L_max。

步骤7、根据屏幕界面展示的空间范围和时间轴定义的时间范围，通过高维细节层次模型获取界面上的时空数据总数Sum(同时支持其他聚合操作，如平均Avg，最大Max，最小Min)。

其中，Attr_tree.root表示属性规约树的根节点，代表该时空属高维立方体内包含的对象总数。

步骤8、可视化数据调用。本发明中根据可视化层级，判断不同的数据调用类型，高层级调用高维细节层次模型生成的聚合数据，低层级调用底层存储的原始记录信息。具体从维度分，数据调用又可分为时序热力图调用、时空对象调用和属性调用。

(8A)时序热力图调用，采用异步请求，即每一张地图瓦片单独向服务端发送查询请求。当服务端接收到数据请求操作时，中间件将请求参数解析为时间/空间过滤条件，返回时序热力图的集合。

(8B)时空对象调用，基本方法和热力图调用相同。区别在于，后端请求得到的结果为原始时空数据，将这些原始数据直接返回前端渲染。

(8C)属性调用，根据屏幕显示的时空范围，统计各个属性类别的总和，汇总进一步统计整个时间/空间范围内的瓦片序列的每一个类别节点的总值，并最后将结果提交至服务端进行前端渲染绘制。

步骤9、设屏幕界面上的总像素点数为N，根据时空数据总数Sum的大小来定义可视化的类型，判断公式如下：

其中，阈值Max＝N/i，Min＝N/j，i和j为可调整参数，1<i<j。

步骤10、可视化数据在线聚合与显示。

在步骤9中，如果判断为底层，则直接在屏幕上绘制原始数据；如果判断为中高层，则需要对数据采用热力图展示，将从高维细节层次模型中取出的热力图集合进行时空属性多维再聚合。由于模型已经在生成过程中对各维度进行了预聚合，因此本步骤所需的在线聚合计算量很小。聚合方法同步骤5，最后将计算结果热力图绘制在屏幕上。

综上，本发明的可视化模式为多维联动视图，具体分为时间维、空间维和属性维。其中，时间维视图可视化为时间轴；空间维视图根据层级的高低可视化为热力图或原始数据；属性维视图可视化为属性表。通过多维视图的联动，来共同表达高维对象的不同维度信息。本发明提供了一种高维细节层次模型，利用该模型对时空大数据建模，在低层直接用时空高维像素表达时空数据，上层(包括中层、高层)通过时/空/属性高维逐级聚合，构建高维细节层次模型。在本发明中，可视化效果由多细节层次来体现，高层级展示时空大数据高维聚合热力图，低层级展示时空数据的各维度的具体属性。

本发明实施例提供的一种面向高维时空大数据的多细节层次可视化方法至少包括如下技术效果：

通过对时空大数据进行建模、映射、归约、聚合等步骤将原始时空大数据转换为易查、易取、易展示的高维细节层次模型，根据此模型实现自适应的多层次融合显示可视化，高层显示时空大数据高维聚合热力图，低层显示原始时空对象及其属性。该模型在可视化时能够大幅降低数据在线计算叠加，减少渲染延迟，提高可视化效率。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种面向高维时空大数据的多细节层次可视化方法，其特征在于，包括以下步骤：

步骤1、对原始数据记录进行预处理，提取得到每条原始数据记录的维度读取结果信息；

步骤2、确定可视化的空间划分最大层级、时间划分粒度、属性顺序；

步骤3、将原始数据记录转化为高维细节层次模型中低层的时空属高维像素；

步骤4、将所述高维细节层次模型中低层的时空属高维像素映射到时空属高维立方体上，得到底层时空属高维立方体；

步骤5、将所述底层时空属高维立方体逐级向上聚合，依次生成中层时空属高维立方体和高层时空属高维立方体，得到完整的高维细节层次模型；

步骤6、将所述高维细节层次模型存储于键值对表中，得到键值化的高维细节层次模型；

步骤7、基于所述键值化的高维细节层次模型，进行数据调用与多维联动可视化。

2.根据权利要求1所述的面向高维时空大数据的多细节层次可视化方法，其特征在于，所述步骤1中，所述维度读取结果信息包括空间维度信息、时间维度信息、属性维度信息，表示为Data{[Lon,Lat],Time,Attribute[]}三元组；所述属性维度信息Attribute[]对应数据记录中的属性列表。

3.根据权利要求2所述的面向高维时空大数据的多细节层次可视化方法，其特征在于，所述步骤3中，将原始数据记录转化为高维细节层次模型中低层的时空属高维像素的具体实现方式为：

将步骤1中得到的所述维度读取结果信息按照时间和空间范围映射到指定像素，得到映射结果像素集；其中，一个时空高维像素对应多条原始数据记录；

在映射过程中，进行属性维度规约；其中，将各时空高维像素中对应的所有原始数据记录的属性列表按照步骤2中确定的所述属性顺序组织成树状，形成属性规约树。

4.根据权利要求3所述的面向高维时空大数据的多细节层次可视化方法，其特征在于，将所述维度读取结果信息按照时间和空间范围映射到指定像素的映射关系如下：

MAP(Data,w_s,L_max,Bin_max)->HPixel([l,x,y],t,attr[])

其中，上式左边代表映射所需的数据和参数，MAP表示映射操作，w_s为模型定义的时空瓦片宽度，L_max为最大层级，Bin_max为时间划分粒度；上式右边代表映射结果，HPixel表示时空属高维像素，[l,x,y]表示空间维，l指代层级，x、y为该像素在对应空间范围内的坐标，t表示时间维，attr[]表示属性维；’->’表示隶属关系。

5.根据权利要求4所述的面向高维时空大数据的多细节层次可视化方法，其特征在于，所述映射采用如下计算公式：

式中，Lon代表经度，Lat代表纬度，r通过w_s计算得出，与l相加为时空高维像素所在的层级，空间行列号x、y利用墨卡托投影的公式计算，t通过数据精确时间按规定时间粒度计算得出。

6.根据权利要求3所述的面向高维时空大数据的多细节层次可视化方法，其特征在于，所述形成属性规约树的具体实现方式为：

设根节点为0层，从第1层开始，每层代表一种属性，每层的兄弟结点代表属性的取值，结点的取值代表这种属性记录的计数；

从叶结点开始，逐层向上规约，形成属性规约树；

将属性规约树按照广度优先方式遍历并扁平化为一维数组HPixel.attr[]，操作公式如下：

Attr_tree.a_i＝Tree(COUNT(Data.Attribute[i]))

HPixel.attr[]＝Serialize(Attr_tree)

其中，Attr_tree是一个像素中所有属性组织成的属性规约树，Attr_tree.a_i表示属性树的子节点，Attribute[i]表示原始数据中的属性值，HPixel.attr[]表示扁平化后的一维数组，作为时空属高维像素的属性表达。

7.根据权利要求1所述的面向高维时空大数据的多细节层次可视化方法，其特征在于，所述步骤4中，将时空属高维像素HPixel映射到时空属高维立方体HCube上采用以下公式：

其中，下标t表示每一个对应关系的时间限定，w_s为模型定义的时空瓦片宽度，L代表层号，X、Y代表行列号，T代表时空属高维立方体的时间范围。

8.根据权利要求1所述的面向高维时空大数据的多细节层次可视化方法，其特征在于，所述步骤5中，所述聚合包括空间聚合、时间聚合、属性聚合；

所述空间聚合中，通过下层对应的四个时空高维像素聚合形成上层的时空高维像素；

所述时间聚合中，将上层时间粒度所包含的所有下层时空瓦片进行累加，得到上层对应的时空瓦片；

所述属性聚合中，通过时空瓦片内部各属性维度的聚合形成属性聚合的树结构，经过底层属性节点的向上聚合得到完整的属性规约树。

9.根据权利要求1所述的面向高维时空大数据的多细节层次可视化方法，其特征在于，所述步骤7包括：

根据屏幕界面展示的空间范围和时间范围，通过所述键值化的高维细节层次模型获取界面上的时空数据总数；

可视化数据调用；

根据屏幕界面上的总像素点数以及所述时空数据总数判断可视化类型；

对可视化数据进行显示。

10.根据权利要求9所述的面向高维时空大数据的多细节层次可视化方法，其特征在于，所述可视化数据调用包括：时序热力图调用、时空对象调用、属性调用；

所述可视化类型包括：高层类型、中层类型、低层类型；所述高层类型对应显示热力图，所述中层类型对应融合显示热力图和原始数据，所述低层类型对应显示原始数据；

所述对可视化数据进行显示包括：若判断为低层类型，则直接在屏幕上绘制原始数据；若判断为中层类型，则从所述键值化的高维细节层次模型中取出热力图集合进行时空属性多维再聚合，将热力图绘制在屏幕上，融合显示原始数据和热力图；若判断为高层类型，则从所述键值化的高维细节层次模型中取出热力图集合进行时空属性多维再聚合，将热力图绘制在屏幕上。

Images