CN106844669A - 大数据可视化分析展示框架构建方法及可视化分析展示框架 - Google Patents

Abstract

本发明提供了一种大数据可视化分析展示框架构建方法及可视化分析展示框架，其中，可视化分析展示框架包括可视化核心以及耦接可视化核心的数据转换接入模块、算法构造接入模块、参数设置模块和UI展示模块；大数据可视化分析展示框架构建方法包括如下步骤：输入数据经分布式并行运算集群处理后以不同格式存放在不同的数据源集合里；将数据源中的数据转换为选定的可视化算法需要的目标格式；根据算法参数对可视化算法库中选定的算法进行编译；编译后数据用于处理目标格式的数据得到算法输出数据；监听算法输出数据以及外观属性参数的数据变动；调用相应函数，得到新数据，并用新数据重新绘制可视化区域图形。

Description

大数据可视化分析展示框架构建方法及可视化分析展示框架

技术领域

本发明涉及大数据分析处理技术领域，特别涉及一种大数据可视化分析展示框架构建方法及可视化分析展示框架。

背景技术

随着物联网和大数据的发展，以往看似不相关的数据经过大规模的并行分布式计算处理，变得可以理解，并能产生重要的意义。数据正在提供越来越重要的价值，不仅仅在企业，数据下正成为企业管理变革过程中提供重要决策依据的关键资产，在公共事业领域，数据也正在发挥越来越重要的作用。当前大数据的关键与核心技术集中的数据分析方法和技术上，但大数据分析的结果才是用户最为关心的问题，人类视觉对图形图象的敏感性导致数据不能以其原本的样子向最终用户呈现，因为那会由于误导和复杂性导致理解偏差，直接影响用户的决策过程。而数据的可视化展示，则能通过直观的方式向用户以图形化的形式展现数据。

当前数据可视化方案主要分为商用解决方案和为特定数据分析和展现业务构建的特殊解决方案。商用解决方案如Microsoft的Excel、PowerBI，IBM Statistics SPSS等专用软件，优点是界面友好功能强大，但是其自带的可视化配置方案固定，无法方便有效地进行定制和扩展，对于数据源也有很严格的要求，很难满足特定的数据展示需求，所以一般用在报表等固定的场合，同时其学习曲线也相对陡峭，并不能有效解决大数据环境下的数据可视化展示问题。而为特定数据分析和展现业务构建的特殊解决方案，会涉及到一个新系统的构建，对于每一个展现业务要分别构建一个新和系统，开发的周期和成本很高，也很不方便，并且这类解决方案通常都是面对专业的研究人员和技术人员，对于特定领域的可视化展示任务，需要特定领域的专业研究人员配合专业的技术开发人员进行编程开发。

发明内容

本发明提供一种大数据可视化分析展示框架构建方法及可视化分析展示框架，解决现有上述的问题。

为解决上述问题，本发明实施例提供一种大数据可视化分析展示框架构建方法，包括如下步骤：

输入数据经分布式并行运算集群处理后以不同格式存放在不同的数据源集合里；

将数据源中的数据转换为选定的可视化算法需要的目标格式；

根据算法参数对可视化算法库中选定的算法进行编译；

编译后数据用于处理目标格式的数据得到算法输出数据；

监听算法输出数据以及外观属性参数的数据变动；

调用相应函数，得到新数据，并用新数据重新绘制可视化区域图形。

作为一种实施方式，所述输入数据经分布式并行运算集群处理后以不同格式存放在不同的数据源集合里，将数据源中的数据转换为选定的可视化算法需要的目标格式步骤是用于实现输入的数据源集合到可视化算法需要的目标格式的数据源集合的映射，其中，令输入的数据源集合为 为其中的一种数据源，令可视化算法需要的目标格式的数据源集合 为其中的一种数据源，F为所实现的映射的集合，映射的两个数据源集合满足如下关系：

作为一种实施方式，所述将数据源中的数据转换为选定的可视化算法需要的目标格式步骤，具体包括以下步骤：

令输入的数据源集合为 为其中的一种数据源；

从输入的数据源集合D_source中选择一个数据源根据数据源的类型，采用不同的方式，将数据转换成统一的中间JSON形式JSON_intermedia，JSON_intermedia为单纯的键值对。

作为一种实施方式，所述根据数据源的类型，采用不同的方式，将数据转换成统一的中间JSON形式JSON_intermedia步骤，具体包括以下步骤：

若数据源的类型为RDBMS文件时，则用列名为Key，字段值为value构造JSON_intermedia；

若数据源的类型为Object Store文件时，则直接取出相应的JSON记录作为JSON_intermedia数据；

若数据源的类型为Plain Text文件时，则根据相应的文本文件解析方案将其构造为JSON_intermedia数据；

将JSON_intermedia数据内的Key-value对重新组合，形成可视化算法的目标数据。

作为一种实施方式，所述根据算法参数对可视化算法库中选定的算法进行编译，编译后数据用于处理目标格式的数据得到算法输出数据步骤，具体包括以下步骤：

选择存储的可视化算法；

导入算法参数；

目标数据根据算法参数对选定的算法进行编译；

编译后数据用于处理目标格式的数据得到算法输出数据。

作为一种实施方式，所述监听算法输出数据以及外观属性参数的数据变动，调用相应函数，得到新数据，并用新数据重新绘制可视化区域图形步骤，具体包括以下步骤：

接收算法输出数据以及外观属性参数；

将算法输出数据以及外观属性参数与V层进行绑定；

监听由V层交互引起的外观属性参数的数据变动；

通过双向绑定机制重新绘制可视化区域图形。

为解决上述问题，本发明实施例还提供一种可视化分析展示框架，包括可视化核心以及耦接可视化核心的数据转换接入模块、算法构造接入模块、参数设置模块和UI展示模块，

可视化核心，用于调度各个模块工作；

数据转换接入模块，用于将数据源中的数据转换为选定的可视化算法需要的目标格式；

算法构造接入模块，用于根据算法参数对可视化算法库中选定的算法进行编译，编译后数据用于处理目标格式的数据得到算法输出数据；

参数设置模块，用于提供算法参数和外观属性参数；

UI展示模块，用于将重新绘制可视化区域图形以WEB方式可视化呈现。

作为一种实施方式，所述UI展示模块采用MVVM架构，包括M层、VM层和V层，其中，

M层，用于接收算法输出数据和外观属性参数，并监听数据变动；

VM层，用于将算法输出数据和外观属性参数和V层进行绑定。

作为一种实施方式，所述参数设置模块包括算法参数设置模块和外观属性参数设置模块。

本发明相比于现有技术的有益效果在于：有效克服了现有数据可视化系统，在应用进行不同数据可视化展示任务时，需要特定领域的专业研究人员配合专业的技术开发人员进行编程开发，并且无法适配不同数据源，不可扩展的弊端，对于完成大量不同展示方案的数据可视化展示任务这样的复杂问题具有较好的效果。

附图说明

图1为本发明的可视化分析展示框架的整体架构图；

图2为本发明的可视化分析展示框架的数据逻辑图；

图3为本发明的大数据可视化分析展示框架构建方法的流程图。

附图标注：1、可视化核心；2、数据转换接入模块；3、算法构造接入模块；31、可视化算法库；32、可视化算法参数模块；33、可视化算法编译模块；4、参数设置模块；41、算法参数设置模块；42、外观属性参数设置模块；5、UI展示模块。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。

如图1至2所示，本发明的一种可视化分析展示框架，包括可视化核心1以及耦接可视化核心1的数据转换接入模块2、算法构造接入模块3、参数设置模块4和UI展示模块5，可视化核心1用于调度各个模块工作；数据转换接入模块2，用于将数据源中的数据转换为选定的可视化算法需要的目标格式；算法构造接入模块3，用于根据算法参数对可视化算法库31中选定的算法进行编译，编译后数据用于处理目标格式的数据得到算法输出数据；参数设置模块4，用于提供算法参数和外观属性参数；UI展示模块5，用于将重新绘制可视化区域图形以WEB方式可视化呈现。其中，算法构造接入模块3包括可视化算法库31、可视化算法参数模块32、可视化算法编译模块33。UI展示模块5采用MVVM架构，包括M层、VM层和V层，M层，用于接收算法输出数据和外观属性参数，并监听数据变动，VM层用于将算法输出数据和外观属性参数和V层进行绑定。参数设置模块4包括算法参数设置模块41和外观属性参数设置模块42。

具体工作过程如下：数据源集合的数据经过数据转换接入模块2处理后，等待可视化核心1的数据请求，算法构造接入模块3需要数据时，向可视化核心1发送请求，可视化核心1将请求转发给数据转换接入模块2并将数据传输给算法构造接入模块3，可视化核心1同时根据算法构造接入模块3的请求，向参数设置模块4发送参数请求，并向算法构造接入模块3返回算法参数，算法构造接入模块3处理完成后可视化核心1向参数设置模块4发送外观属性参数请求，并将算法输出数据和外观属性参数发送给UI展示模块5，UI展示模块5监听到数据变动，调用相应函数，用新数据重新绘制可视化区域图形。

如图3所示，本发明还提供一种大数据可视化分析展示框架构建方法，包括如下步骤：

S100：输入数据经分布式并行运算集群处理后以不同格式存放在不同的数据源集合里；

S101：将数据源中的数据转换为选定的可视化算法需要的目标格式；

S102：根据算法参数对可视化算法库中选定的算法进行编译；

S103：编译后数据用于处理目标格式的数据得到算法输出数据；

S104：监听算法输出数据以及外观属性参数的数据变动；

S105：调用相应函数，得到新数据，并用新数据重新绘制可视化区域图形。

其中，步骤S100和步骤S101实现输入的数据源集合到可视化算法需要的目标格式的数据源集合的映射，其中，令输入的数据源集合为 为其中的一种数据源，令可视化算法需要的目标格式的数据源集合 为其中的一种数据源，F为所实现的映射的集合，映射的两个数据源集合满足如下关系：

考虑到数据源的形式和格式问题，数据可以存放在关系型数据库(RDBMS)中，也可以存放在对象存储(Object Store)中，甚至是文本型数据(Plain Text)。首先从输入的数据源集合D_source中选择一个数据源根据数据源的类型，采用不同的方式，将数据转换成统一的中间JSON形式JSON_intermedia，JSON_intermedia为单纯的键值对。若数据源的类型为RDBMS文件时，则用列名为Key，字段值为value构造JSON_intermedia；若数据源的类型为Object Store文件时，则直接取出相应的JSON记录作为JSON_intermedia数据；若数据源的类型为Plain Text文件时，则根据相应的文本文件解析方案将其构造为JSON_intermedia数据；将JSON_intermedia数据内的Key-value对重新组合，形成可视化算法的目标数据。

步骤S102和步骤S103具体包括以下步骤：

S200：选择存储的可视化算法；

S201：导入算法参数，算法参数集合为 为其中的一个算法参数，算法参数其中，conf_k为参数名称，value_k为参数的值；

S202：目标数据根据算法参数对选定的算法进行编译；

S203：编译后数据用于处理目标格式的数据得到算法输出数据，算法输出数据其中，d_set为数据集，vis为可视化的绘图类型，为vis对应的配置信息。

步骤S104和步骤S105具体包括以下步骤：

S300：接收算法输出数据以及外观属性参数，外观属性参数集合 为其中的一个外观属性参数，外观属性参数其中，conf_k为参数名称，value_k为参数的值；

S301：将算法输出数据以及外观属性参数与V层进行绑定；

S302：监听由V层交互引起的外观属性参数的数据变动；

S303：通过双向绑定机制重新绘制可视化区域图形。

本发明相比于现有技术的有益效果在于：有效克服了现有数据可视化系统，在应用进行不同数据可视化展示任务时，需要特定领域的专业研究人员配合专业的技术开发人员进行编程开发，并且无法适配不同数据源，不可扩展的弊端，对于完成大量不同展示方案的数据可视化展示任务这样的复杂问题具有较好的效果。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种大数据可视化分析展示框架构建方法，其特征在于，包括如下步骤：

输入数据经分布式并行运算集群处理后以不同格式存放在不同的数据源集合里；

将数据源中的数据转换为选定的可视化算法需要的目标格式；

根据算法参数对可视化算法库中选定的算法进行编译；

编译后数据用于处理目标格式的数据得到算法输出数据；

监听算法输出数据以及外观属性参数的数据变动；

调用相应函数，得到新数据，并用新数据重新绘制可视化区域图形。

2.根据权利要求1所述的大数据可视化分析展示框架构建方法，其特征在于，所述输入数据经分布式并行运算集群处理后以不同格式存放在不同的数据源集合里，将数据源中的数据转换为选定的可视化算法需要的目标格式步骤是用于实现输入的数据源集合到可视化算法需要的目标格式的数据源集合的映射，其中，令输入的数据源集合为 为其中的一种数据源，令可视化算法需要的目标格式的数据源集合 为其中的一种数据源，F为所实现的映射的集合，映射的两个数据源集合满足如下关系：

$\∀d_i^{source}\∈D_{source},\∃f_j\∈F,f_j\left(d_i^{source}\right)\→a_j^{source},a_j^{source}\∈A_{source}.$

3.根据权利要求1所述的大数据可视化分析展示框架构建方法，其特征在于，所述将数据源中的数据转换为选定的可视化算法需要的目标格式步骤，具体包括以下步骤：

令输入的数据源集合为 为其中的一种数据源；

从输入的数据源集合D_source中选择一个数据源根据数据源的类型，采用不同的方式，将数据转换成统一的中间JSON形式JSON_intermedia，JSON_intermedia为单纯的键值对。

4.根据权利要求3所述的大数据可视化分析展示框架构建方法，其特征在于，所述根据数据源的类型，采用不同的方式，将数据转换成统一的中间JSON形式JSON_intermedia步骤，具体包括以下步骤：

若数据源的类型为RDBMS文件时，则用列名为Key，字段值为value构造JSON_intermedia；

若数据源的类型为Object Store文件时，则直接取出相应的JSON记录作为JSON_intermedia数据；

若数据源的类型为Plain Text文件时，则根据相应的文本文件解析方案将其构造为JSON_intermedia数据；

将JSON_intermedia数据内的Key-value对重新组合，形成可视化算法的目标数据。

5.根据权利要求1所述的大数据可视化分析展示框架构建方法，其特征在于，所述根据算法参数对可视化算法库中选定的算法进行编译，编译后数据用于处理目标格式的数据得到算法输出数据步骤，具体包括以下步骤：

选择存储的可视化算法；

导入算法参数；

目标数据根据算法参数对选定的算法进行编译；

编译后数据用于处理目标格式的数据得到算法输出数据。

6.根据权利要求1所述的大数据可视化分析展示框架构建方法，其特征在于，所述监听算法输出数据以及外观属性参数的数据变动，调用相应函数，得到新数据，并用新数据重新绘制可视化区域图形步骤，具体包括以下步骤：

接收算法输出数据以及外观属性参数；

将算法输出数据以及外观属性参数与V层进行绑定；

监听由V层交互引起的外观属性参数的数据变动；

通过双向绑定机制重新绘制可视化区域图形。

7.一种可视化分析展示框架，其特征在于，包括可视化核心以及耦接可视化核心的数据转换接入模块、算法构造接入模块、参数设置模块和UI展示模块，

可视化核心，用于调度各个模块工作；

数据转换接入模块，用于将数据源中的数据转换为选定的可视化算法需要的目标格式；

算法构造接入模块，用于根据算法参数对可视化算法库中选定的算法进行编译，编译后数据用于处理目标格式的数据得到算法输出数据；

参数设置模块，用于提供算法参数和外观属性参数；

UI展示模块，用于将重新绘制可视化区域图形以WEB方式可视化呈现。

8.根据权利要求7所述的可视化分析展示框架，其特征在于，所述UI展示模块采用MVVM架构，包括M层、VM层和V层，其中，

M层，用于接收算法输出数据和外观属性参数，并监听数据变动；

VM层，用于将算法输出数据和外观属性参数和V层进行绑定。

9.根据权利要求7所述的可视化分析展示框架，其特征在于，所述参数设置模块包括算法参数设置模块和外观属性参数设置模块。