CN107291885A - 一种基于人机交互的大数据可视化系统及其控制方法 - Google Patents

Abstract

本发明公开了一种基于人机交互的大数据可视化系统及其控制方法，包括：可视化层、交互层、支撑层、大数据平台层、资源层；所述可视化层包括数据选择模块和显示模块；所述交互层，包括数据传递模块和数据编辑模块；所述支撑层，包括消息处理模块、数据转换模块、算法匹配模块、表单处理模块；所述大数据平台层，包括关系数据交换模块、存储及优化模块、数据计算模块；所述资源层，包括用于提供本地数据源的服务器。本发明根据数据的特点和显示要求，根据不同的需求匹配算法，生成符合用户需求的数据下的静态视图和动态视图，提高了人机交互，提高了系统运行速度，使得数据可更准确和快速的进行显示。

Description

一种基于人机交互的大数据可视化系统及其控制方法

技术领域

本发明涉及一种基于人机交互的大数据可视化系统及其控制方法，属于数据处理的技术领域。

背景技术

当前关于大数据可视化应用的讨论大多集中在业务和行业领域，例如，应用在商业智能、政府决策、公共服务、市场营销等业务领域，应用在金融行业、电力行业、通讯行业、工业制造、医疗保健等行业领域等。数据可视化可以使数据变得更有意义，而且可视化也可以使数据变得更容易理解。数据可视化软件正帮助越来越多的企业从浩如烟海的复杂数据中理出头绪，化繁为简，从而实现更有效的决策过程。

数据可视化工具能够以一种简便易用的方式将复杂的数据呈现出来。在可视化展示中支持人机交互的可视化系统，更能符合不同用户的可视化需求。

但目前数据可视化系统存在不足，如申请号为201310325767.7，名称为用于数据可视化的描述性框架的文件中，公开的一种用来便利数据可视化的系统框架，该框架提供了多个模块清单，每个模块清单表示可视化的特定组件。 其中图清单可以用来协调一个或多个模块清单。可以基于图清单来呈现可视化。但其存在的缺陷是不能处理大规模数据的可视化要求以及不能实现可视化的人机交互。

因此，目前可视化系统存在缺陷，对于本地数据或导入的数据，无法根据数据特点和显示要求的不同，无法通过人机交互匹配选择合适的可视化算法进行可视化效果的展示，导致系统的可视化性能低。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于人机交互的大数据可视化系统及其控制方法，解决无法根据数据特点和显示要求的不同，无法通过人机交互匹配选择合适的可视化算法进行可视化效果的展示的问题。

本发明具体采用以下技术方案解决上述技术问题：

一种基于人机交互的大数据可视化系统，可视化层、交互层、支撑层、大数据平台层、资源层；其中，

所述可视化层包括数据选择模块和显示模块，所述数据选择模块，用于为用户提供基于数据源的数据搜索和数据选择，生成用户所需数据请求；所述显示模块，用于为用户提供数据源显示，及接收和显示数据传递模块所转发的反馈数据；

所述交互层，包括数据传递模块和数据编辑模块，所述数据传递模块用于传输用户所需数据请求，及转发来自数据编辑模块编辑后的反馈数据；所述数据编辑模块，用于对消息处理模块发送的反馈数据进行格式编辑；

所述支撑层，包括消息处理模块、数据转换模块、算法匹配模块、表单处理模块，所述消息处理模块，用于接收用户所需数据请求，及将接收的反馈数据作为应答用户请求进行发送；所述数据转换模块，用于根据用户所需数据请求中用户所选择的数据转换为用户通用数据格式数据；所述算法匹配模块，用于预先根据数据属性将数据与算法进行映射匹配，及根据用户通用数据格式数据查询和提取与其匹配的算法；所述表单处理模块，用于根据提取的匹配算法形成表单；

所述大数据平台层，包括关系数据交换模块、存储及优化模块、数据计算模块，所述关系数据交换模块，用于导入所述用户通用数据格式数据和表单；所述存储及优化模块，用于将导入的用户通用数据格式数据和表单优化后存储在数据库；所述数据计算模块，用于根据用户通用数据格式数据和表单访问本地数据源获得访问数据，及对访问的数据进行并行计算和将计算所得数据作为反馈数据发送至消息处理模块；

所述资源层，包括用于提供本地数据源的服务器。

进一步地，作为本发明的一种优选技术方案：所述交互层还包括导入模块，所述导入模块用于导入外部数据源和外部匹配算法。

进一步地，作为本发明的一种优选技术方案：所述算法匹配模块还包括根据用户通用数据格式数据重复执行查询，提取在最大相似度下的数据所匹配的算法。

本发明还提出一种基于所述基于人机交互的大数据可视化系统的控制方法，包括以下步骤：

步骤1、将数据源显示，及读取用户基于数据源的数据搜索和数据选择，获得用户所需数据请求；

步骤2、接收用户所需数据请求，及根据用户所需数据请求中用户所选择的数据转换为用户通用数据格式数据；

步骤3、预先根据数据属性将数据与算法进行映射匹配，及根据用户通用数据格式数据查询和提取与其匹配的算法，并根据提取的匹配算法形成表单；

步骤4、导入所述用户通用数据格式数据和表单，并优化后存储在数据库；根据用户通用数据格式数据和表单访问本地数据源获得访问数据，及对访问的数据进行并行计算和将计算所得数据作为反馈数据发送；

步骤5、将反馈数据进行格式编辑后显示。

进一步地，作为本发明的一种优选技术方案：所述步骤3还包括导入和编辑外部数据源和外部匹配算法，及将编辑后的外部数据源和外部匹配算法提供于查询和提取。

进一步地，作为本发明的一种优选技术方案：所述步骤3还包括根据用户通用数据格式数据重复执行查询，提取在最大相似度下的数据所匹配的算法。

本发明采用上述技术方案，能产生如下技术效果：

本发明提供的基于人机交互的大数据可视化系统及其控制方法，根据数据的特点和显示要求，用户可以通过此系统架构将数据集中不同的数据维度映射到视觉元素的不同属性中，根据不同的需求匹配算法，根据生成的XML数据运用javascript等技术得到想要的静态视图和动态视图提高了人机交互。系统采用大数据平台提高了系统运行速度，使得数据可更准确和快速的进行显示。有效可以解决根据数据特点和显示要求的不同，通过人机交互匹配选择合适的可视化算法进行可视化效果的展示的问题。

附图说明

图1为本发明的基于人机交互的大数据可视化系统的模块示意图。

具体实施方式

下面结合说明书附图对本发明的实施方式进行描述。

如图1所示，本发明设计了一种基于人机交互的大数据可视化系统，可视化层、交互层、支撑层、大数据平台层、资源层；其中，

所述可视化层包括数据选择模块和显示模块，所述数据选择模块，用于为用户提供基于数据源的数据搜索和数据选择，生成用户所需数据请求；所述显示模块，用于为用户提供数据源显示，及接收和显示数据传递模块所转发的反馈数据；

所述交互层，包括数据传递模块和数据编辑模块，所述数据传递模块用于传输用户所需数据请求，及转发来自数据编辑模块编辑后的反馈数据；所述数据编辑模块，用于对消息处理模块发送的反馈数据进行格式编辑；

所述支撑层，包括消息处理模块、数据转换模块、算法匹配模块、表单处理模块，所述消息处理模块，用于接收用户所需数据请求，及将接收的反馈数据作为应答用户请求进行发送；所述数据转换模块，用于根据用户所需数据请求中用户所选择的数据转换为用户通用数据格式数据；所述算法匹配模块，用于预先根据数据属性将数据与算法进行映射匹配，及根据用户通用数据格式数据查询和提取与其匹配的算法；所述表单处理模块，用于根据提取的匹配算法形成表单；

所述大数据平台层，包括关系数据交换模块、存储及优化模块、数据计算模块，所述关系数据交换模块，用于导入所述用户通用数据格式数据和表单；所述存储及优化模块，用于将导入的用户通用数据格式数据和表单优化后存储在数据库；所述数据计算模块，用于根据用户通用数据格式数据和表单访问本地数据源获得访问数据，及对访问的数据进行并行计算和将计算所得数据作为反馈数据发送至消息处理模块；

所述资源层，包括用于提供本地数据源的服务器。

该系统的原理是：本系统提供的可视化层可以将数据的可视化，并且根据用户的需求，提供给用户进行数据搜索和选择，根据用户的需要将数据交由交互层传递至支撑层，并接受和显示来自消息处理模块的反馈数据,使得可以根据用户需要显示出数据，在可视化时,用户可以数据选择模块进行可视化控制,从而达到可视化时的可定制数据显示。交互层为可视化层提供XML格式数据，使其反馈的数据可以经数据编辑模块编辑后，形成XML格式数据，以便可视化层准确地显示。支撑层为可视化层和大数据平台层提供支撑的基础能力，消息处理模块负责接收用户所需数据请求，交由数据转换模块将用户所选择的数据转换为用户通用数据格式数据；算法匹配模块预先根据数据属性将数据与算法进行映射匹配，将数据集中不同的数据维度映射到视觉元素的不同属性中，根据不同的需求匹配算法，使得数据可以对应不同的算法，使得通过此模块对数据和算法进行合理的映射，以期达到最优的可视化效果。表单处理模块提取的匹配算法形成表单。

系统中，大数据平台层主要进行数据地交互，关系数据交换模块可实现数据导入功能，如关系数据交换工具Sqoop导入数据，即导入所述用户通用数据格式数据和表单；之后，存储及优化模块对大数据平台上的海量数据进行存储优化，再将数据存储在数据库Hive中，通过数据库Hive的分区等功能实现数据存储优化，提高访问效率。然后数据计算模块通过JDBC的方式访问本地数据源和数据库Hive中的数据，之后对访问的数据通过MapReduce并行计算，将计算所得数据作为反馈数据发送至消息处理模块，再由消息处理模块接收的反馈数据作为应答用户请求进行发送；可视化层显示来自消息处理模块的反馈数据。

进一步地，所述系统的交互层还包括导入模块，所述导入模块用于导入外部数据源和外部匹配算法。该交互层主要帮助扩展数据源和匹配算法，当系统本地的数据源无法满足用户需求时，可以通过导入方式增加数据源和匹配算法的导入和编辑，可以方便用户将系统架构外部的文本数据导入到系统架构内部，和外部算法的导入；并且为用户提供一个算法编辑功能，通过编写的算法可以与支撑层进行数据的传递和交互。

以及，所述支撑层中，算法匹配模块还包括根据用户通用数据格式数据重复执行查询，提取在最大相似度下的数据所匹配的算法。使得将算法生成可执行算法类，更符合用户的可视化需求。

在可视化系统的基础上，本发明还提供一种基于人机交互的大数据可视化系统的控制方法，包括以下步骤：

步骤1、首先将数据源显示，及读取用户基于数据源的数据搜索和数据选择，获得用户所需数据请求。用户可以选择系统架构内部中的本地数据源，也可以选择外部数据源；无论是外部数据源还是本地数据源，都需要通过将数据读入，提供给用户搜索和选择。

步骤2、接收用户所需数据请求，及根据用户所需数据请求中用户所选择的数据转换为用户通用数据格式数据；

步骤3、预先根据数据属性将数据与算法进行映射匹配，及根据用户通用数据格式数据查询和提取与其匹配的算法，并根据提取的匹配算法形成表单；其中，提取的算法是根据用户的选择条件，选出满足条件的数据行，对于不满足条件的数据，则给予排除。在数据处理过程中，要求尽量减少冗余数据和无效数据，提高数据质量。

步骤4、导入所述用户通用数据格式数据和表单，并优化后存储在数据库；根据用户通用数据格式数据和表单访问本地数据源获得访问数据，及对访问的数据进行并行计算和将计算所得数据作为反馈数据发送；

步骤5、将反馈数据进行格式编辑后显示。将反馈数据转换成XML格式数据，选择需要的可视化算法对数据进行可视化视图显示。

若用户对最后的可视化效果需要重新选择，用户可以重复步骤1至5的过程进行可视化控制,由数据进行搜索和选择，直到可视化效果达到用户的要求。最终，使得用户通过可以通过本方法获取可视化地数据显示，根据生成的XML给数据运用javascript等技术得到想要的静态视图和动态可视化视图。

并且，所述步骤3还包括导入和编辑外部数据源和外部匹配算法，及将编辑后的外部数据源和外部匹配算法提供于查询和提取。

进一步地，所述步骤3还包括根据用户通用数据格式数据重复执行查询，提取在最大相似度下的数据所匹配的算法。

综上，本发明提供的基于人机交互的大数据可视化系统及其控制方法，根据数据的特点和显示要求，用户可以通过此系统架构将数据集中不同的数据维度映射到视觉元素的不同属性中，根据不同的需求匹配算法，根据生成的XML数据运用javascript等技术得到想要的静态视图和动态视图提高了人机交互。系统采用大数据平台提高了系统运行速度，使得数据可更准确和快速的进行显示。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种基于人机交互的大数据可视化系统，其特征在于，包括：可视化层、交互层、支撑层、大数据平台层、资源层；其中，

所述可视化层包括数据选择模块和显示模块，所述数据选择模块，用于为用户提供基于数据源的数据搜索和数据选择，生成用户所需数据请求；所述显示模块，用于为用户提供数据源显示，及接收和显示数据传递模块所转发的反馈数据；

所述交互层，包括数据传递模块和数据编辑模块，所述数据传递模块用于传输用户所需数据请求，及转发来自数据编辑模块编辑后的反馈数据；所述数据编辑模块，用于对消息处理模块发送的反馈数据进行格式编辑；

所述支撑层，包括消息处理模块、数据转换模块、算法匹配模块、表单处理模块，所述消息处理模块，用于接收用户所需数据请求，及将接收的反馈数据作为应答用户请求进行发送；所述数据转换模块，用于根据用户所需数据请求中用户所选择的数据转换为用户通用数据格式数据；所述算法匹配模块，用于预先根据数据属性将数据与算法进行映射匹配，及根据用户通用数据格式数据查询和提取与其匹配的算法；所述表单处理模块，用于根据提取的匹配算法形成表单；

所述大数据平台层，包括关系数据交换模块、存储及优化模块、数据计算模块，所述关系数据交换模块，用于导入所述用户通用数据格式数据和表单；所述存储及优化模块，用于将导入的用户通用数据格式数据和表单优化后存储在数据库；所述数据计算模块，用于根据用户通用数据格式数据和表单访问本地数据源获得访问数据，及对访问的数据进行并行计算和将计算所得数据作为反馈数据发送至消息处理模块；

所述资源层，包括用于提供本地数据源的服务器。

2.根据权利要求1所述基于人机交互的大数据可视化系统，其特征在于：所述交互层还包括导入模块，所述导入模块用于导入外部数据源和外部匹配算法。

3.根据权利要求1所述基于人机交互的大数据可视化系统，其特征在于：所述算法匹配模块还包括根据用户通用数据格式数据重复执行查询，提取在最大相似度下的数据所匹配的算法。

4.一种基于权利要求1至3任一项所述人机交互的大数据可视化系统的控制方法，其特征在于，包括以下步骤：

步骤1、将数据源显示，及读取用户基于数据源的数据搜索和数据选择，获得用户所需数据请求；

步骤2、接收用户所需数据请求，及根据用户所需数据请求中用户所选择的数据转换为用户通用数据格式数据；

步骤3、预先根据数据属性将数据与算法进行映射匹配，及根据用户通用数据格式数据查询和提取与其匹配的算法，并根据提取的匹配算法形成表单；

步骤4、导入所述用户通用数据格式数据和表单，并优化后存储在数据库；根据用户通用数据格式数据和表单访问本地数据源获得访问数据，及对访问的数据进行并行计算和将计算所得数据作为反馈数据发送；

步骤5、将反馈数据进行格式编辑后显示。

5.根据权利要求4所述基于人机交互的大数据可视化系统的控制方法，其特征在于：所述步骤3还包括导入和编辑外部数据源和外部匹配算法，及将编辑后的外部数据源和外部匹配算法提供于查询和提取。

6.根据权利要求4所述基于人机交互的大数据可视化系统的控制方法，其特征在于：所述步骤3还包括根据用户通用数据格式数据重复执行查询，提取在最大相似度下的数据所匹配的算法。