CN107515913A - 一种多变量数据模型集成构建方法及其可视化交互系统 - Google Patents

Abstract

本发明涉及一种多变量数据模型构建集成方法及其可视化系统，该方法为采集区域内传感器的数据，并将数据信息传输至数据处理模块，预制数据立方体模型的框架，映射数据至数据立方体模型的框架，集成数据立方体模型，进行在线分析处理；该系统包括：数据采集模块、数据处理模块、数据存储模块、数据分析模块、用户端浏览器；用户端浏览器包含数据展现模块，用于统一管理各模块，数据展现模块通过数据分析模块的在线分析处理，用于使多变量数据可视化；本发明解决了在多维数据集操作的组合中实现各种多变量分析目标，来自单个站的多变量数据的趋势分析，跨站数据比较和汇总统计，使用对应的数据分析技术，实现了一个高效和交互的多变量可视化系统。

Description

一种多变量数据模型集成构建方法及其可视化交互系统

技术领域

本发明涉及三维可视化领域，具体的说是一种多变量数据模型集成构建方法及其可视化交互系统。

背景技术

虽然通过采用本地缓存机制来提高数据访问的效率，但由于不同的站收集不同频率的不同环境变量，所以仍然存在各个表之间信息不对称的问题。这种差异对视觉分析和跨站数据比较构成挑战。为了解决这个问题并以统一的方式操纵数据，建立了一个数据立方体模型来重构异构数据并提供统一的数据操作。然而，现有的数据立方体模型主要集中于解决存在于关系数据库中的数据的可视化挑战，而不是最近流行的NoSQL数据库，如HBase。

基于此，针对上述现状中存在的局限性，本发明提出了一种能解决与关系数据库和NoSQL数据库进行整合的多变量数据模型集成构建方法及其可视化交互系统。

发明内容

为了解决上述现有技术问题，本发明提供一种能解决与关系数据库和 NoSQL数据库进行整合的多变量数据模型集成构建方法及其可视化交互系统。

本发明解决其技术问题所采用的技术方案是：

一种多变量数据模型构建集成方法，按照以下步骤进行：

步骤1：采集区域内传感器的数据，并将数据信息传输至数据处理模块；

步骤2：在数据处理模块中预制数据立方体模型的框架,定义x维度为变量集合序列化，y维度为时间戳，z维度为站；

步骤3：根据步骤1的数据信息一一映射至步骤2中数据立方体模型的框架，集成数据立方体模型；

步骤4：对集成的数据立方体进行在线分析处理,在线分析处理包括切片、切块、转置、向上钻取、向下钻取。

进一步地，所述步骤1中的数据包括异构的非结构化数据。

一种多变量数据可视化交互系统，该系统包括：

数据采集模块，用于采集区域内传感器的数据；

数据处理模块，将采集的数据进行融合、映射处理生成数据立方体；

数据存储模块，将数据处理模块中得到的数据进行存储；

数据分析模块，提供数据存储模块中的数据可视化的输入数据并进行对应的编码处理；

用户端浏览器，提供交互界面，用于获取数据与展现数据；

其中用户端浏览器包含数据展现模块，用于统一管理各模块，所述数据展现模块通过数据分析模块的在线分析处理，用于使多变量数据可视化。

进一步地，所述数据采集模块包括传感器数据纲量转换模块、传感器多变量数据处理模块和GIS模块；

所述传感器数据纲量转换模块用于将不同纲量的数据转换成统一纲量的数据；

所述传感器多变量数据处理模块用于多变量数据的采集与处理；

所述GIS模块用于提供初始层的GIS支持服务，以及信息的存储与访问。

进一步地，所述数据处理模块包括超维度数据融合模块和异构传感器数据映射模块；

所述超维度数据融合模块将多变量数据进行融合，所述异构传感器数据映射模块内预制数据立方体模型的框架，融合的数据在异构传感器数据映射模块中进行一一映射生成数据立方体。

进一步地，所述数据分析模块中在线分析处理包括切片、切块、转置、向上钻取、向下钻取。

更进一步地，在所述数据分析模块中设定2个JSON结构模块，分别定义为第一数据结构模块和第二数据结构模块；

所述第一数据结构基于区域中观察站点的ID，对每个时间戳记的时间戳和值进行编码，用于保存来自区域中各个观察点的数据；

所述第二数据结构对第一数据结构中的数据进行编码，将多变量名变成对应的根密钥，站名变成对应的辅助密钥。

与现有技术相比，本发明的有益效果是：本发明解决了在多维数据集操作的组合中实现各种多变量分析目标，来自单个站的多变量数据的趋势分析，跨站数据比较和汇总统计，使用对应的数据分析技术，实现了一个高效和交互的多变量可视化系统。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明的系统流程图；

图2为本发明的方法步骤中数据立方体处理流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1至图2所示，本发明所述的一种多变量数据模型构建集成方法，按照以下步骤进行：

步骤1：采集区域内传感器的数据，并将数据信息传输至数据处理模块2；

步骤2：在数据处理模块2中预制数据立方体模型的框架,定义x维度为变量集合序列化，y维度为时间戳，z维度为站即地理信息；

步骤3：根据步骤1的数据信息一一映射至步骤2中数据立方体模型的框架，集成数据立方体模型；

步骤4：对集成的数据立方体进行在线分析处理,在线分析处理包括切片 401、切块402、转置403、向上钻取404、向下钻取405。

在上述方案中，每个站的数据(变量、时间)可以被认为是立方体中的一个数据切片。当发布分析请求时，数据立方体模型首先将来自观测站点01、观测站点02等站点的原始数据映射到所建立的数据立方体上。然后，可以在多维数据集操作的组合中实现各种多变量分析目标，包括来自单个站的多变量数据的趋势分析406，跨站数据比较407、汇总统计408和分解409。切片401通过根据其尺寸之一挑选数据来生成子集，以获得另外两个维度的数据。代替立方体，数据产品变为二维(2D)，并且可以在2D数组中表示。切片401通过在多个维度中选择特定值来生成子集。在所有站点和所有可用时间戳中仅选择变量子集的过程是旋转操作的示例。与实际上是尺寸减小的切片操作不同，切片的结果仍然是三维立方体。多变量数据的呈现可以互换地使用<time，variable> 或<station，time>的组合。为了支持这种变化，切割的子分支需要旋转以查看具有水平(x轴)等一维(例如时间)的垂直(y轴)布置的另一个(例如可变) 的面(第三维)。这是枢纽操作的功能。切块402和转置403都用于支持跨站多变量可视化。钻取操作是通过其原始数据立方体之一聚集原始数据的过程。例如，细粒度观察数据可以合计为每日或每月数据。向上钻取404是一个汇总过程，用于支持我们的可视化平台中的摘要统计。相反，向下钻取405允许用户以分解的方式检查传感器观测数据的变化中的细节。下拉操作支持交互式多变量可视化中的放大模式。

作为本发明一个较佳的实施例，所述步骤1中的数据包括异构的非结构化数据，能对多变量数据进行整合处理。

一种多变量数据可视化交互系统，该系统包括：

数据采集模块1，用于采集区域内传感器的数据，比如观测站点01的传感器011至01N、观测站点02的传感器021至02N等的传感数据；

数据处理模块2，将采集的数据进行融合、映射处理生成数据立方体；

数据存储模块3，将数据处理模块中得到的数据进行存储；

数据分析模块4，提供数据存储模块中的数据可视化的输入数据并进行对应的编码处理；

用户端浏览器5，提供交互界面，用于获取数据与展现数据；

其中用户端浏览器包含数据展现模块，用于统一管理各模块，所述数据展现模块通过数据分析模块的在线分析处理，用于使多变量数据可视化。

作为本发明一个较佳的实施例，所述数据采集模块1包括传感器数据纲量转换模块11、传感器多变量数据处理模块12和GIS模块13；

所述传感器数据纲量转换模块11用于将不同纲量的数据转换成统一纲量的数据；

所述传感器多变量数据处理模块12用于多变量数据的采集与处理；

所述GIS模块13用于提供初始层的GIS支持服务，以及信息的存储与访问。

作为本发明一个较佳的实施例，所述数据处理模块2包括超维度数据融合模块21和异构传感器数据映射模块22；

所述超维度数据融合模块21将多变量数据进行融合，所述异构传感器数据映射模块22内预制数据立方体模型的框架，融合的数据在异构传感器数据映射模块中进行一一映射生成数据立方体。

作为本发明一个较佳的实施例，所述数据分析模块4中在线分析处理包括切片401、切块402、转置403、向上钻取404、向下钻取405。

在上述实施例中，在所述数据分析模块4中设定2个JSON结构模块，分别定义为第一数据结构模块和第二数据结构模块；

所述第一数据结构基于区域中观察站点的ID，对每个时间戳记的时间戳和值进行编码，用于保存来自区域中各个观察点的数据；

所述第二数据结构对第一数据结构中的数据进行编码，将多变量名变成对应的根密钥，站名变成对应的辅助密钥。

根据以上方案的实施，可视化的复杂性从外部模块中隐藏起来。数据分析模块通过向后端数据立方体发布相应的查询来提供可视化模块的输入数据，只需要根据所请求的JSON格式对数据进行编码。一旦用户的数据请求发生变化，分析模块只需要重新设置渲染模块中的数据，用户端浏览器5显示将自动更新。

用于促进多变量可视化的基于JSON的数据结构，具体如下：支持两种主要类型的视觉统计分析，在单个观测站点收集的数据和跨站数据比较的多变量可视化。定义了两个JSON结构，可以将其视为分层哈希映射。Data Structure 1代表第一数据结构，使用观察站点的ID作为主键。沿着层次结构，来自每个观察站点的数据由变量名称索引。最低级数据结构对每个时间戳记的时间戳和值进行编码。键x和y分别指在水平和垂直方向上的数据绘图。该数据结构用于保存来自各个观察站点的数据，用于多变量可视化。Data Structure 2代表第二数据结构，使用非常相似的数据结构，对层次结构中的数据进行编码，使得变量名成为根密钥，并且将站名用作辅助密钥。以这种方式索引数据可以轻松支持跨数据比较的数据统计。

用户使用时，用户的请求通过AJAX发送到数据分析人员，以防止Web前端在等待响应时卡住。根据观测站的位置以及感兴趣的时间和变量，将调用相应的数据立方体操作，并根据请求的可视化类型序列化数据。如果需要对各个站点的数据进行可视化，则将使用HTML5的canvas元素生成包含每个站点的选定变量的一系列图表。2D图表库用于调整大小、子集、缩放和其他交互操作，而3D区域上的可视化可实现真实地形模拟和位置感知可视化。跨站可视化遵循类似的工作流程，区别在于图表对象仅发送到2D图表库，因为每个图表包含多个站的数据而不是单个站。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种多变量数据模型构建集成方法，其特征在于，按照以下步骤进行：

步骤1：采集区域内传感器的数据，并将数据信息传输至数据处理模块；

步骤2：在数据处理模块中预制数据立方体模型的框架,定义x维度为变量集合序列化，y维度为时间戳，z维度为站；

步骤3：根据步骤1的数据信息一一映射至步骤2中数据立方体模型的框架，集成数据立方体模型；

步骤4：对集成的数据立方体进行在线分析处理,在线分析处理包括切片、切块、转置、向上钻取、向下钻取。

2.根据权利要求1所述的一种多变量数据模型集成构建方法，其特征在于，所述步骤1中的数据包括异构的非结构化数据。

3.一种多变量数据可视化交互系统，其特征在于，该系统包括：

数据采集模块，用于采集区域内传感器的数据；

数据处理模块，将采集的数据进行融合、映射处理生成数据立方体；

数据存储模块，将数据处理模块中得到的数据进行存储；

数据分析模块，提供数据存储模块中的数据可视化的输入数据并进行对应的编码处理；

用户端浏览器，提供交互界面，用于获取数据与展现数据；

其中用户端浏览器包含数据展现模块，用于统一管理各模块，所述数据展现模块通过数据分析模块的在线分析处理，用于使多变量数据可视化。

4.根据权利要求3所述的一种多变量数据可视化交互系统，其特征在于，所述数据采集模块包括传感器数据纲量转换模块、传感器多变量数据处理模块和GIS模块；

所述传感器数据纲量转换模块用于将不同纲量的数据转换成统一纲量的数据；

所述传感器多变量数据处理模块用于多变量数据的采集与处理；

所述GIS模块用于提供初始层的GIS支持服务，以及信息的存储与访问。

5.根据权利要求3所述的一种多变量数据可视化交互系统，其特征在于，所述数据处理模块包括超维度数据融合模块和异构传感器数据映射模块；

所述超维度数据融合模块将多变量数据进行融合，所述异构传感器数据映射模块内预制数据立方体模型的框架，融合的数据在异构传感器数据映射模块中进行一一映射生成数据立方体。

6.根据权利要求3所述的一种多变量数据可视化交互系统，其特征在于，所述数据分析模块中在线分析处理包括切片、切块、转置、向上钻取、向下钻取。

7.根据权利要求6所述的一种多变量数据可视化交互系统，其特征在于，在所述数据分析模块中设定2个JSON结构模块，分别定义为第一数据结构模块和第二数据结构模块；

所述第一数据结构基于区域中观察站点的ID，对每个时间戳记的时间戳和值进行编码，用于保存来自区域中各个观察点的数据；

所述第二数据结构对第一数据结构中的数据进行编码，将多变量名变成对应的根密钥，站名变成对应的辅助密钥。