CN113761047A

CN113761047A - 一种面向多源异构大数据的可视化联动效果实现方法

Info

Publication number: CN113761047A
Application number: CN202110291539.7A
Authority: CN
Inventors: 匡小燕; 冯凯; 李学涛; 秦茂军; 祁伟杰
Original assignee: Golaxy Data Technology Co ltd
Current assignee: Golaxy Data Technology Co ltd
Priority date: 2021-03-18
Filing date: 2021-03-18
Publication date: 2021-12-07

Abstract

本发明公开了一种面向多源异构大数据的可视化联动效果实现方法，包括以下步骤：S1、创建数据源，生成连接模板，配置数据源信息；S2、采用自定义查询语句，对接入数据源进行不同维度的预处理，包括数据二次或多次处理，并缓存预处理结果集；S3、根据步骤S2中缓存的结果数据集和数据集本身特点，选择符合的可视化组件，完成从数据到图表的制作；S4、从步骤S3中的可视化组件中选择需要联动呈现的图表，完成联动设置。有益效果：对异源数据进行多次预处理加工，借助交互式可视化效果配置功能，实现数据内在关系的动态呈现，简化从原始数据到可视化效果呈现的流程，降低大规模数据的可视化绘制和配置难度，提高数据可视化呈现能力。

Description

一种面向多源异构大数据的可视化联动效果实现方法

技术领域

本发明涉及数据可视化领域，具体来说，涉及一种面向多源异构大数据的可视化联动效果实现方法。

背景技术

近年来随着大数据技术的蓬勃发展，出现了各种各样的大数据存储组件，例如关系型数据库(例如mysql/oracle/postgresql等)，文档数据库(mongodb等)，列式数据库(hbase等)，检索数据库(elasticsearch,solr等)，不同数据系统查询方式不同，适用于不同的应用场景，通常一个大数据应用系统往往需要依赖于多个大数据存储组件的能力，这增加数据复杂度，对数据信息的挖掘也提出了更高要求。

可视化系统可以充分挖掘数据价值，直接体现数据之中蕴含的信息。大部分可视化系统都是基于关系数据库进行构建，不具备对各类异构大数据存储组件中存储的数据进行可视化展示的能力。另外，可视化系统一般通过界面配置的方式，选择与可视化展示维度相匹配的数据操作方式，但大部分系统的配置能力有限，经常出现无法直接在基础数据上形成预期的可视化展示结果的情况。对于数据联动、钻取等表现数据内里联系的可视化呈现，往往需要进行复杂的数据逻辑运作才能实现。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

本发明的目的在于提供一种面向多源异构大数据的可视化联动效果实现方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种面向多源异构大数据的可视化联动效果实现方法，包括以下步骤：

S1、创建数据源，生成连接模板，配置数据源信息；

S2、采用自定义查询语句，对接入数据源进行不同维度的预处理，包括数据二次或多次处理，并缓存预处理结果集；

S3、根据步骤S2中缓存的结果数据集和数据集本身特点，选择符合的可视化组件，完成从数据到图表的制作；

S4、从步骤S3中的可视化组件中选择需要联动呈现的图表，完成联动设置。

进一步的，所述步骤S1创建数据源，生成连接模板，配置数据源信息包括以下步骤：

S101、根据数据源特点，内置数据源连接驱动；

S102、根据数据源连接驱动需求，生成连接信息模板；

S103、准备数据源连接信息，输入到连接信息模板中存储；

S104、启用异步调度任务，测试数据源连接；

S105、连接信息入库。

进一步的，所述步骤S2采用自定义查询语句，对接入数据源进行不同维度的预处理，包括数据二次或多次处理，并缓存预处理结果集包括以下步骤：

S201、选择一个数据源；

S202、根据数据和数据源特点，编写数据预处理方法或选择内置预处理流程；

S203、调用异步消息队列，执行数据汇总任务，获取预处理数据结果集；

S204、缓存预处理数据结果集，并设置缓存定期更新机制。该结果集可直接作为后续的可视化配置分析数据集，也可以作为内存数据库中的一个表，与其他执行结果进行二次联合查询或者多次联合查询，继续挖掘数据之间的关联及价值。

进一步的，所述步骤S3根据步骤S2中缓存的结果数据集和数据集本身特点，选择符合的可视化组件，完成从数据到图表的制作包括以下步骤：

S301、选择一个数据结果集，选择符合数据要求的可视化组件；

S302、配置可视化组件绘制所需字段映射，包括指标、维度、分组等，根据选择的可视化组件不同所有区分；

S303、验证字段映射，根据不同的可视化组件验证指标、维度、分组是否满足格式需求；

S304、根据选择的字段映射，和可视化组件特点，组装绘制所需的数据集合；

S305、根据可视化组件属性模板，绘制可视化组件；

S306、通过交互式界面调整可视化组件样式配置或者重新配置绘制数据集和字段映射。

进一步的，所述步骤S4从步骤S3中的可视化组件中选择需要联动呈现的图表，完成联动设置包括以下步骤：

S401、选择需要实现联动的可视化图表(一个或者多个)；

S402、确定可视化联动方式：自联动、间联动。其中，自联动表示单个图表自身数据的联动，一般包括钻取和上卷等；间联动表示多个图表之间的数据联动。

S403、可视化联动配置。

若是自联动，步骤有：

(1).选择触发方式，包括但不限于点击、定时、自动等方式；

(2).设置联动字段，根据该字段处理联动数据；

(3).设置联动效果，包括联动步长和最大层级，联动步长指一次触发钻取或上卷层级数；

(4).配置联动触发后呈现形式，包括可视化图表呈现方式及呈现组件类型，若是选择当前组件，则触发后可视化图表呈现方式和组件类型不变，数据根据联动字段从缓存结果集中重新获取；若选择新组件，则要求新组件数据与联动字段处理后的数据集匹配。

若是间联动，步骤有：

(1).选择触发方式，包括但不限于点击、定时、自动等方式；

(2).配置联动主图，包括联动主图id、联动主图缓存数据信息、主图联动筛选数据字段映射、联动字段数据取值范围；

(3).配置联动副图，包括副图信息、副图联动筛选字段映射；

S404、经过上一步的联动设置后，可通过仪表板预览联动效果，若不满意，可继续步骤S403重新配置联动信息及联动图表。

根据本发明的另一个方面，提供了一种面向多源异构大数据的可视化联动效果实现系统，包括数据接入模块、数据预处理模块和数据联动可视化模块；

其中，数据接入模块本模块主要通过数据源连接配置模板，配置不同数据源的连接信息，包括基本信息及驱动，在接入指定数据源时，只需基于模板信息配置数据源，后续根据数据源类别，获取数据源连接信息，得到该数据源的连接实例，从而实现接入该数据源数据；

数据预处理模块，本模块主要基于接入的数据源，进行数据预处理和数据分析，本模块提供自定义数据查询编辑器，可基于不同业务需求自定义数据聚合查询语句，并缓存分析结果，同时定期更新，为后续的可视化绘制提供基础数据支撑；

数据联动可视化模块，本模块主要基于数据预处理模块缓存的结果数据，以可视化图表的方式为载体，呈现数据的趋势走向、分布差异等，从而直观呈现数据内在价值。模块基于主副可视化图表设置图表之间的联动，或者基于父子数据设置图表内部数据向上/向下联动，通过联动的方式动态呈现数据内在关联，同时借助缓存数据的定时更新机制，实现一段时间内的数据可视化定时更新。

进一步的，所述可视化图表包括但不限于柱形图、折线图、饼图、散点图、雷达图、关系网络图、词云、地图。

与现有技术相比，本发明具有以下有益效果：通过简单配置接入异源大数据组件，通过内置的/自定义的数据预处理规则，对异源数据进行多次预处理加工，借助交互式可视化效果配置功能，实现数据内在关系的动态呈现，简化从原始数据到可视化效果呈现的流程，降低大规模数据的可视化绘制和配置难度，提高数据可视化呈现能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种面向多源异构大数据的可视化联动效果实现方法的数据源准备及创建过程示意图；

图2是根据本发明实施例的一种面向多源异构大数据的可视化联动效果实现方法的数据预处理流程示意图；

图3是根据本发明实施例的一种面向多源异构大数据的可视化联动效果实现方法的可视化配置过程示意图；

图4是根据本发明实施例的一种面向多源异构大数据的可视化联动效果实现方法的可视化联动配置流程示意图；

图5是根据本发明实施例的一种面向多源异构大数据的可视化联动效果实现方法的流程图；

图6是根据本发明实施例的一种面向多源异构大数据的可视化联动效果实现系统的系统框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

在描述本发明提供的面向多源异构大数据的可视化联动效果实现方法实现之前，先简要对发明中提到的术语进行说明：

异构大数据组件：不同存储形式的数据库，比如mysql、oracle、postgres、mongoDB、elasticsearch、hbase等。

数据预处理：利用原生查询语言实现同源或不同源数据的聚合统计分析，将庞杂数据按照一定逻辑规律进行聚合，获取具有实际价值的数据。

大数据可视化：针对预处理后的数据，采用图形化的方式，直观表现数据分布及数据价值的一种方法。

数据联动：通过数据本身内在关联，借助外在交互手段，实现的一种数据多层次、多维度的图表关联呈现方式。

请参阅图1-5，根据本发明实施例的一种面向多源异构大数据的可视化联动效果实现方法，包括以下步骤：

步骤S1、创建数据源，生成连接模板，配置数据源信息，如图1所示，其中包含步骤有：

步骤S101根据数据源特点，内置数据源连接驱动

步骤S102根据数据源连接驱动需求，生成连接信息模板

步骤S103准备数据源连接信息，输入到连接信息模板中，存储

步骤S104启用异步调度任务，测试数据源连接

步骤S105连接信息入库

步骤S2、采用自定义查询语句，对接入数据源进行不同维度的预处理，包括数据二次或多次处理，并缓存预处理结果集，如图2所示，其中包含的步骤有：

步骤S201，选择一个数据源；

步骤S202，根据数据和数据源特点，编写数据预处理方法或选择内置预处理流程；

步骤S203，调用异步消息队列，执行数据汇总任务，获取预处理数据结果集；

步骤S204，缓存预处理数据结果集，并设置缓存定期更新机制。该结果集可直接作为后续的可视化配置分析数据集，也可以作为内存数据库中的一个表，与其他执行结果进行二次联合查询或者多次联合查询，继续挖掘数据之间的关联及价值。

步骤S3、根据步骤二中缓存的结果数据集和数据集本身特点，选择符合的可视化组件，完成从数据到图表的制作，如图3所示，具体步骤有：

步骤S301选择一个数据结果集，选择符合数据要求的可视化组件；

步骤S302配置可视化组件绘制所需字段映射，包括指标、维度、分组等，根据选择的可视化组件不同所有区分。比如选择统计柱形图，则需要指标、维度、分组三个字段信息；

步骤S303验证字段映射，根据不同的可视化组件验证指标、维度、分组是否满足格式需求，比如，指标需要是数值型，而维度需要是字符型数据等；

步骤S304根据选择的字段映射，和可视化组件特点，组装绘制所需的数据集合，比如，频数直方图绘制，需根据结果集数据，基于默认组数，计算组距和每组的频数；

步骤S305，根据可视化组件属性模板，绘制可视化组件；

步骤S306，通过交互式界面调整可视化组件样式配置或者重新配置绘制数据集和字段映射。

步骤S4、从步骤三中的可视化组件中选择需要联动呈现的图表，完成联动设置，如图4所示，具体步骤有：

步骤S401选择需要实现联动的可视化图表(一个或者多个)；

步骤S402确定可视化联动方式：自联动、间联动。其中，自联动表示单个图表自身数据的联动，一般包括钻取和上卷等；间联动表示多个图表之间的数据联动。

步骤S403可视化联动配置。

若是自联动，步骤有：

(1).选择触发方式，包括但不限于点击、定时、自动等方式；

(2).设置联动字段，根据该字段处理联动数据；

若是间联动，步骤有：

(1).选择触发方式，包括但不限于点击、定时、自动等方式；

(3).配置联动副图，包括副图信息、副图联动筛选字段映射；

步骤S404经过上一步的联动设置后，可通过仪表板预览联动效果，若不满意，可继续步骤S403重新配置联动信息及联动图表。

请参阅图6，根据本发明的另一个方面，提供了一种面向多源异构大数据的可视化联动效果实现系统，包括数据接入模块、数据预处理模块和数据联动可视化模块；

其中，数据接入模块，本模块主要通过数据源连接配置模板，配置不同数据源的连接信息，包括基本信息及驱动，在接入指定数据源时，只需基于模板信息配置数据源，后续根据数据源类别，获取数据源连接信息，得到该数据源的连接实例，从而实现接入该数据源数据。

数据预处理模块，本模块主要基于接入的数据源，进行数据预处理和数据分析。本模块提供自定义数据查询编辑器(可以支持结构化语言或非结构化语言等不同类型查询方式)，可基于不同业务需求自定义数据聚合查询语句，并缓存分析结果，同时定期更新，为后续的可视化绘制提供基础数据支撑。

数据联动可视化模块，本模块主要基于数据预处理模块缓存的结果数据，以可视化图表的方式为载体，呈现数据的趋势走向、分布差异等，从而直观呈现数据内在价值。常用的可视化图表包括但不限于柱形图、折线图、饼图、散点图、雷达图、关系网络图、词云、地图等。模块基于主副可视化图表设置图表之间的联动，或者基于父子数据设置图表内部数据向上/向下联动，通过联动的方式动态呈现数据内在关联，同时借助缓存数据的定时更新机制，实现一段时间内的数据可视化定时更新。

为了方便理解本发明的上述技术方案，以下就本发明在实际过程中的工作原理或者操作方式进行详细说明。

在实际应用时，可以通过简单配置接入异源大数据组件，通过内置的/自定义的数据预处理规则，对异源数据进行多次预处理加工，借助交互式可视化效果配置功能，实现数据内在关系的动态呈现，简化从原始数据到可视化效果呈现的流程，降低大规模数据的可视化绘制和配置难度，提高数据可视化呈现能力。本发明公开了一种面向多源异构大数据的可视化实现系统。通过数据接入层，基于各个大数据存储组件(例如关系数据库、列式数据库、文档数据库、检索数据库等)的原生查询语言，提供面向各类大数据组件的数据查询能力，将返回的数据组织成数据库表进行缓存，为后续进一步的聚合、过滤等数据加工或预处理提供数据依据，也为后续进一步的可视化联动效果实现提供数据依赖。另外，可视化表现层通过人机友好的图形化操作将预处理的数据直观呈现，通过清晰的交互配置，实现可视化图表间数据的联动、钻取等效果，降低可视化图表间交互的复杂度，提高数据的表现能力，简化数据图表复杂交互实现流程和步骤。同时，借助缓存的数据缩短数据加载和图表绘制时间，借助缓存定期更新机制，实现数据的定期更新。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种面向多源异构大数据的可视化联动效果实现方法，其特征在于，包括以下步骤：

S1、创建数据源，生成连接模板，配置数据源信息；

S3、根据步骤S2中的缓存结果数据集和数据集本身特点，选择符合的可视化组件，完成从数据到图表的制作；

2.根据权利要求1所述的一种面向多源异构大数据的可视化联动效果实现方法，其特征在于，所述步骤S1创建数据源，生成连接模板，配置数据源信息包括以下步骤：

S101、根据数据源特点，内置数据源连接驱动；

S102、根据数据源连接驱动需求，生成连接信息模板；

S103、准备数据源连接信息，输入到连接信息模板中存储；

S104、启用异步调度任务，测试数据源连接；

S105、连接信息入库。

3.根据权利要求1所述的一种面向多源异构大数据的可视化联动效果实现方法，其特征在于，所述步骤S2采用自定义查询语句，对接入数据源进行不同维度的预处理，包括数据二次或多次处理，并缓存预处理结果集包括以下步骤：

S201、选择一个数据源；

4.根据权利要求1所述的一种面向多源异构大数据的可视化联动效果实现方法，其特征在于，所述步骤S3根据步骤S2中缓存的结果数据集和数据集本身特点，选择符合的可视化组件，完成从数据到图表的制作包括以下步骤：

S305、根据可视化组件属性模板，绘制可视化组件；

5.根据权利要求1所述的一种面向多源异构大数据的可视化联动效果实现方法，其特征在于，所述步骤S4从步骤S3中的可视化组件中选择需要联动呈现的图表，完成联动设置包括以下步骤：

S401、选择需要实现联动的可视化图表；

S403、可视化联动配置；

6.一种面向多源异构大数据的可视化联动效果实现系统，用于权利要求1-5任意一项所述的面向多源异构大数据的可视化联动效果实现方法的使用，其特征在于，包括数据接入模块、数据预处理模块和数据联动可视化模块；

数据联动可视化模块，本模块主要基于数据预处理模块缓存的结果集数据，以可视化图表的方式为载体，呈现数据的趋势走向、分布差异等，从而直观呈现数据内在价值。模块基于主副可视化图表设置图表之间的联动，或者基于父子数据设置图表内部数据向上/向下联动，通过联动的方式动态呈现数据内在关联，同时借助缓存数据的定时更新机制，实现一段时间内的数据可视化定时更新。

7.根据权利要求6所述的一种面向多源异构大数据的可视化联动效果实现系统，其特征在于，所述可视化图表包括但不限于柱形图、折线图、饼图、散点图、雷达图、关系网络图、词云、地图。