CN107766428B - 一种自动实现数据可视化的方法和系统 - Google Patents

Abstract

本发明涉及一种自动实现数据可视化的方法和系统，属于可视化与可视分析领域。该方法包括以下步骤：用户首先选取进行探索的数据库和表格，观察各个维度的分布情况，确定对数据模型的更改，包括维度的增加、删除、修改，形成新的数据模型；接着对数据的某个维度或维度组合进行全局或局部过滤，得到数据子集；用户选取希望进行可视化的维度或维度组合，将它们与可视化模块连接，得到相应的可视化结果；上述各个步骤中，系统收集用户的交互序列，存储进用户交互历史数据库，系统根据交互历史进行匹配，推荐可能的可视化构建流程。本发明可以提供支持用户构建可视化的完整流程的工具，且拥有高灵活度和高自动化程度。

Description

一种自动实现数据可视化的方法和系统

技术领域

本发明属于从数据库出发的可视化与可视分析领域，具体涉及一种根据已有数据库自动推荐数据建模和可视化形式的一种自动实现数据可视化的方法和系统。

背景技术

数据库技术的发展和数据的涌现，使得数据库中存储的数据越来越丰富，从而增加了探索和分析数据的需求。可视化方法适合于对数据库中的数据进行探索性分析，使用户了解数据全貌和可能的有趣的模式。然而，可视化地探索数据库中的数据，要求用户进行相应的数据转换和可视化的编程工作，提高了门槛，增加了工作量。即使使用商业工具进行探索性分析，也要求用户具备一定的可视化能力，并且需要通过反复地寻找不同数据维度组合和可视化形式来更好地理解数据，阻碍了快速的数据探索。基于数据流图的可视化构建系统是另一种支持探索性分析的可视化系统。它给用户构建可视化的高自由度，比如VisFlow(B.Yu and C.T.Silva.“VisFlow-Web-based Visualization Framework forTabular Data with a Subset Flow Model”.IEEE Transactions on Visualization andComputer Graphics,2017,23(1):251–260.)和VisTrail(L.Bavoil,S.P.Callahan,P.J.Crossno et al.“VisTrails:enabling interactive multiple-viewvisualizations”.In:VIS 05.IEEE Visualization,2005.2005:135–142.)等工作都以流图为主要界面，用户决定数据的流向，从而在可视化模块中生成可视化。但是前者没有推荐的功能，和使用商业工具一样，用户需要反复进行探索，后者利用大量的历史数据推荐可能的可视化数据流，但是针对的是科学可视化中的数据处理和可视化的流程，而不是针对信息可视化的构建中需要的一般数据的处理和过滤以及可视化这一流程。本方法结合了流程图构建的灵活性和自动推荐的高效性。

因此，现有的针对信息可视化的快速构建和探索分析的工作中，编程复杂，商业工具灵活度不高且需要手动进行大量探索，可视化流程图构建工具同样自动化程度较低，急需一种技术方案以提供支持用户构建可视化的完整流程的工具，且拥有高灵活度和高自动化程度。

发明内容

针对现有技术中存在的不足，本发明的目的在于提供一种对数据库中的数据能够快速构建的自动实现数据可视化方法和系统，该方法和系统能够提供用户不需要手动编码，也不需要先验地知道数据中有趣的模式和异常的方法，提供一系列自动构建可视化的方法，提供支持用户构建可视化的完整流程的工具，且拥有高灵活度和高自动化程度。

为实现上述目的，本发明采用的技术方案为：一种自动实现数据可视化的方法，包括以下步骤：

用户首先选取进行探索的数据库和表格，观察各个维度的分布情况，确定对数据模型的更改，包括维度的增加、删除、修改，形成新的数据模型；

接着对数据的某个维度或维度组合进行全局或局部过滤，得到数据子集；

用户选取希望进行可视化的维度或组合，将它们与可视化模块连接，得到相应的可视化结果；

上述各个步骤中，系统收集用户的交互序列，存储进用户交互历史数据库，系统根据交互历史进行匹配，推荐可能的可视化构建流程。

进一步，如上所述的一种自动实现数据可视化的方法，具体包括以下步骤：

(1)用户首先选取进行探索的数据库和表格，对于数据库中的数据，自动推测每个维度的类型，并提供用户观察各个维度数据分布的方式和交互修改维度类型的手段；

(2)根据用户交互，系统相应修改数据模型，包括增加、删除数据维度，修改数据维度，组合数据维度；

(3)根据用户交互，系统选取相应数据维度，对该维度进行全局或局部过滤，保留数据子集；

(4)对于用户拖拽维度和可视化模块并连接的交互，系统选取要进行可视化的维度或维度组合，和相应的可视化形式及其编码通道，自动生成可视化结果；

(5)针对每个数据集，收集用户构建可视化的交互操作，存储到对应的用户交互历史数据库或文件中，并将交互序列构建成内部的表示形式；

(6)对于用户已经构建的部分的可视化流程，系统根据历史记录数据进行匹配，推荐最相关的可视化流程中的下面一步或多步；

(7)系统根据用户对推荐结果的取舍，修改现有流程图，相应改变可视化结果，并允许用户递归进行可视化构建，形成若干视图的可视化系统。

进一步，如上所述的一种自动实现数据可视化的方法，步骤(1)中，所述对于数据库中的数据，自动推测每个维度的类型，并提供用户观察各个维度数据分布的方式和交互修改维度类型的手段，包括：

1.1)对于关系型数据库如MySQL，访问其元数据表格，获取所有的维度，对于非关系型数据库如MongoDB，首先对数据进行抽样，对每个抽样的数据，展开它的嵌套维度，方式为将上一级的已展开的维度名与本级维度名以特殊符号如‘-’连接，把对抽样数据的维度展开后所得的维度定义为数据的维度，同时系统在后台对所有数据进行维度抽取操作，完成后更新在抽样数据上计算得到的全部数据维度，针对每一个数据库中的一个表格，创建一个元信息表，为每个提取的维度创立一个条目，设置显示属性为true；

1.2)对于关系型数据库，访问其元数据表格获得各个维度的类型信息；对于非关系型数据库，针对每个提取出的维度，先在抽样数据上，对该维度的值，依次判断其能否转化为布尔数、整数、实数和字符串类型，若该值由多个值组成，判断其是否为基本组合，包括坐标等，如此定义出每个维度的类型，同时在后台对全部数据进行计算，完成后更新在抽样数据上计算得到的类型信息，在元信息表中，对每一个条目，增加维度类型信息的属性，为提取出的维度类型；

1.3)对于用户点击的不同数据维度，系统读取该维度所有的数据，可视化出它的分布情况，从元信息表中读取该属性的类型，对于类别型数据，按照每一类别统计数量，对于数量型数据，将其分为若干区间，统计每个区间中数据的个数，然后以柱状图的形式展现；

1.4)当用户点击一个维度下面的类型下拉框，选取自己想要定义的类型，修改维度的类型时，系统将这一信息更新到元信息表中该维度对应的条目中，并在后续使用过程中使用该维度时，利用这一类型信息。

进一步，如上所述的一种自动实现数据可视化的方法，步骤(2)中，所述对于用户使用对维度相关按钮或菜单的点击、拖拽、连线等交互，系统相应修改数据模型，包括增加、删除数据维度，修改数据维度，组合数据维度等，包括：

2.1)当用户点击表格中不需要的维度的删除按钮时，系统将元信息表中这一维度的信息设置为隐藏，从而在后续表格以及维度表盘中均不显示该维度；

2.2)当用户点击维度创建菜单，输入创建改维度所需的一个或多个已有维度，创建维度的生成函数以及生成维度的名称和类型来创建维度或者修改现有维度的映射方程，或者，当用户拖拽一个或多个输入维度到流程图视图中，选取不同的维度创建模块或自定义函数并将其与输入维度进行连接时，系统根据菜单输入或者流程图的数据流动逻辑，判断待生成维度的输入维度、映射函数、输出维度名称与类型信息，向元信息表中添加该条目，属性包括维度名称与类型，输入维度名称、映射函数、显示属性，生成该生成维度的数据，并在表格和维度表盘中显示这一新维度；如果通过检查元信息表，发现输出维度已存在，则视为对该维度的修改，按照与创建维度时相同方式递归计算修改后的数据，向系统进行更新，更新系统保留的临时数据中该维度的数据；

所述生成该生成维度的数据所用的方法是，对数据库表格中的每一个条目，根据映射函数及其输入维度，如果输入维度是原始维度，则使用这一维度，如果不是，则递归计算该派生维度的值，最终递归计算出该维度的数据。

进一步，如上所述的一种自动实现数据可视化的方法，步骤(3)中，所述对于用户点击过滤菜单、拖拽维度和过滤模块、连线等交互，系统选取相应数据维度，对该维度进行过滤，保留数据子集，包括：

3.1)当用户点击过滤菜单，输入一个或多个过滤维度名称和过滤条件，点击确定按钮后，系统视这一交互为定义全局过滤，按照用户输入的维度和过滤条件，即时对流程图中每一部分的数据进行过滤；

3.2)当用户选取一个或多个待过滤维度和过滤模块，分别将它们拖拽到流程图视图中，将待过滤维度的输出端口连接至过滤模块的输入端口，设置过滤条件后，系统视这一交互为定义数据的局部过滤，按照用户的定义，对过滤器模块输出部分的数据进行过滤，使得任何以过滤器模块的输出为输入的模块得到的是局部过滤后的数据，具体方式是，设置该模块以及流程图中该模块之后的数据的过滤条件为原有条件与新输入过滤条件的合取式，设置该模块所连接流程图中的可视化模块，按照原有过滤条件和新输入过滤条件的合取，进行数据过滤和可视化结果更新。

进一步，如上所述的一种自动实现数据可视化的方法，步骤(4)中，所述对于用户拖拽维度和可视化模块并连接的交互，系统选取要进行可视化的维度，和相应的可视化形式及其编码通道，自动生成可视化结果，包括：

4.1)当用户将希望可视化的维度或维度组合以及可视化模块，拖拽至流程图视图中，将维度的输出连接至可视化模块的输入端口时，系统确定流向可视化模块的各个通道的数据，方式是读取所有输入模块的输出过滤条件和维度名称，对于创建维度还需读取映射函数，从而计算输入数据；

4.2)系统根据可视化通道与数据的对应，在可视化模块内展示相应的结果。

进一步，如上所述的一种自动实现数据可视化的方法，步骤(5)中，所述针对每个数据集，收集用户构建可视化的交互操作，存储到对应的数据库中，并将交互序列构建成内部的表示形式，包括：

5.1)将用户交互行为分类为用户选择数据库、用户选择表格、用户修改数据模型、用户设置过滤器和用户选择可视化维度5类，对每一类交互，定义不同的记录格式，系统记录用户每次交互的序列，不同类型的交互的标识符中，共有的部分包括交互行为的类型，对用户选择数据库，还需记录数据库名称；对用户选择表格，还需记录数据库名称和表格名称；对用户修改数据模型，还需记录数据库和表格名称、修改维度名称、修改类型、维度类型、维度映射函数；对于用户设置过滤器，还需记录数据库和表格名称、全局或局部过滤、过滤维度、过滤条件；对用户选择可视化，记录通道和输入维度、输入维度映射函数以及过滤条件；

5.2)系统记录所有不同的交互标识符，并按照该交互的类别和序数编号这些交互的标识符；

5.3)对交互序列的每一步，如果可以找到对应的标识符，则用标识符代替，否则定义新标识符，并以新标识符代替，从而将交互序列转化为标识符编号序列；

5.4)对每个序列，分割成若干独立路径，分割的方式为，对于序列中的第一步交互，将其作为第一个路径的开头，对于以后的每一步，如果它的类别在当前路径中的每一步交互的类别之后，则加入当前路径，继续考察下一步交互；否则，存储当前路径，逆序寻找当前路径中第一个步骤，使得当前步骤的类别在这个步骤的类别之后，删除当前路径中这个步骤之后的步骤，将当前步骤连接于其后，将这些路径存储进改数据库表格对应的交互历史数据库或文件中。

进一步，如上所述的一种自动实现数据可视化的方法，步骤(6)中，所述对于用户已经构建的部分的可视化流程图，系统根据历史记录数据进行匹配，推荐最相关的可视化流程图，包括：

6.1)按照5.4)中的相同步骤记录用户当前的路径；

6.2)对于用户当前路径，尝试推荐维度选取、维度创建或修改、数据过滤以及可视化。方式为，截取路径前缀使得该前缀子路径不包含维度创建及以后的交互，从历史数据库中匹配最可能的其它维度或者过滤操作；截取路径前缀使得该前缀子路径不包含过滤及以后的交互操作，匹配最可能的过滤操作或者可视化方式；匹配当前路径，获取最可能出现在该路径之后的可视化选取操作；

6.3)推荐结果显示为流程图界面中的一个模块，这个模块的映射与用户选取的模块的映射方式不同。

进一步，如上所述的一种自动实现数据可视化的方法，步骤(7)中，所述系统根据用户对推荐结果的取舍，修改现有流程图，相应改变可视化结果，并允许用户递归进行可视化构建，形成若干视图的可视化系统，包括：

7.1)当用户进行点击或拖拽推荐模块的操作时，系统将这些模块转化为新的模块，改变它们的映射形式，使得与用户选取的模块相同，同时根据流程中数据的流动，按照该模块的连接方式进行计算，如果该模块为非可视化模块，则该模块的过滤条件设置为输入模块的过滤条件与自身过滤条件的合取，并对流程图中在它之后的模块的过滤条件进行合取计算；对于可视化模块，根据输入模块数据和可视化通道结果绘制可视化，进行数据模型修改、数据子集过滤或者可视化创建等操作，并根据用户选取的推荐模块，由5.4)中的步骤计算用户当前路径；

7.2)当用户删除推荐模块，或者不操作推荐模块，进行其它操作时，系统在流程图中删除推荐模块以及该模块原有的信息，同时针对用户新的操作重新计算推荐结果并在流程图构建界面中进行展示。

本发明还提供了一种自动实现数据可视化的系统，包括以下模块：

数据模型更新模块，用于选取进行探索的数据库和表格，观察各个维度的分布情况，确定对数据模型的更改，包括维度的增加、删除、修改，形成新的数据模型；

过滤模块，用于接着对数据的某个维度或维度组合进行全局或局部过滤，得到数据子集；

可视化模块，用于选取希望进行可视化的维度或维度组合，将它们与可视化模块连接，得到相应的可视化结果；

交互历史存储及匹配模块，用于收集用户的交互序列，存储进用户交互历史数据库，在用户的每一步交互过程中，系统根据交互历史进行匹配，推荐可能的可视化构建流程图。

本发明的有益效果在于：采用本发明所述的方法和系统，可以提供支持用户构建可视化的完整流程的工具，且拥有高灵活度和高自动化程度。具体来说，本发明针对存储于数据库中的数据常见的缺乏快速自动生成可视化的现象，提供一种毋需编码同时能够自动推荐可视化的技术。不依赖于具体的数据库类型，数据类型，提供多种数据库和数据的统一数据模型，既允许用户自由创建可视化，又能通过推荐指导用户快速完成对数据库中数据的可视化探索。同时当数据模型存在错误时，本方法利用过往用户交互数据提取出这一信息，推荐用户对数据模型进行修改，可以使得新用户尽快发现原始数据模型中的错误，避免误解数据，快速修正数据模型。

附图说明

图1为本发明具体实施方式的一种自动实现数据可视化的方法的流程图；

图2为本发明具体实施方式中的系统界面图；

图3为本发明具体实施方式中的可视化流程图构建视图；

图4为本发明具体实施方式中不同方类型维度的维度节点图；

图5为本发明具体实施方式中的过滤器模块图；

图6为本发明具体实施方式中的维度创建与修改菜单图；

图7为本发明具体实施方式中的可视化模块图；

图8为本发明具体实施方式中的不同模块进行连接的示例；

图9为本发明具体实施方式中的推荐的模块图；

图10为本发明具体实施方式中用户根据推荐结果发现数据模型中误导用户的维度命名的案例；

图11为本发明具体实施方式的一种自动实现数据可视化的系统的结构框图。

具体实施方式

下面结合说明书附图与具体实施方式对本发明做进一步的详细说明。

一种自动实现数据可视化分析方法包括以下步骤：

用户首先选取进行探索的数据库和表格，观察各个维度的分布情况，确定对数据模型的更改，包括增加、删除、修改维度等，形成新的数据模型；

接着对数据的某个维度或组合进行全局或局部过滤，得到数据子集；

然后，用户选取希望进行可视化的维度或组合，将它们与可视化模块连接，得到相应的可视化结果；

上述各个步骤中，系统收集用户的交互序列，存储进用户交互历史数据库，在用户的每一步交互过程中，系统根据交互历史进行匹配，推荐可能的可视化构建流程，包括数据模型修改、数据子集过滤、可视化形式和编码通道选择等。

如图1所示，图1示出了本发明具体实施方式中一种自动实现数据可视化方法的流程图，所述自动即在用户输入可视化流程中的部分步骤时，系统根据历史信息推荐下一步流程图构建方法，具体包括以下步骤：

(1)用户首先选取进行探索的数据库和表格，对于数据库中的数据，自动推测每个维度的类型，并提供用户观察各个维度数据分布的方式和交互修改维度类型的手段；

(2)根据用户交互，比如使用对维度相关按钮或菜单的点击、拖拽、连线等交互，系统相应修改数据模型，包括增加、删除数据维度，修改数据维度，组合数据维度等；

(3)根据用户交互，比如点击过滤菜单、拖拽维度和过滤模块、连线等交互，系统选取相应数据维度，对该维度或维度组合进行过滤，保留数据子集；

(4)对于用户拖拽维度和可视化模块并连接的交互，系统选取要进行可视化的维度或维度组合，和相应的可视化形式及其编码通道，自动生成可视化结果；

(5)针对每个数据集，收集用户构建可视化的交互操作，存储到对应的用户交互历史数据库或文件中，并将交互序列构建成内部的表示形式；

所述的交互操作主要是前述选取数据库，选取表格，修改数据模型，过滤数据，进行可视化形式选取的操作等。

(6)对于用户已经构建的部分的可视化流程图，系统根据历史记录数据进行匹配，推荐最相关的可视化流程中的下面一步或多步；

(7)系统根据用户对推荐结果的取舍，修改现有流程图，相应改变可视化结果，并允许用户递归进行可视化构建，形成若干视图的可视化系统。

步骤(1)中，所述对于数据库中的数据，自动推测每个维度的类型，并提供用户观察各个维度数据分布的方式和交互修改维度类型的手段，包括：

1.1)对于关系型数据库如MySQL，访问其元数据表格，获取所有的维度，对于非关系型数据库如MongoDB，首先对数据进行抽样，对每个抽样的数据，展开它的嵌套维度，方式为将上一级的已展开的维度名与本级维度名以特殊符号如‘-’连接，把对抽样数据的维度展开后所得的维度定义为数据的维度，同时系统在后台对所有数据进行维度抽取操作，完成后更新在抽样数据上计算得到的全部数据维度，针对每一个数据库中的一个表格，创建一个元信息表，为每个提取的维度创立一个条目，设置显示属性为true；

1.2)对于关系型数据库，访问其元数据表格获得各个维度的类型信息；对于非关系型数据库，针对每个提取出的维度，先在抽样数据上，对该维度的值，依次判断其能否转化为布尔数、整数、实数和字符串类型，若该值由多个值组成，判断其是否为基本组合，包括坐标等，如此定义出每个维度的类型，同时在后台对全部数据进行计算，完成后更新在抽样数据上计算得到的类型信息，在元信息表中，对每一个条目，增加维度类型信息的属性，为提取出的维度类型；

1.3)对于用户点击的不同数据维度，系统读取该维度所有的数据，可视化出它的分布情况，从元信息表中读取该属性的类型，对于类别型数据，按照每一类别统计数量，对于数量型数据，将其分为若干区间，统计每个区间中数据的个数，然后以柱状图的形式展现；

1.4)当用户点击一个维度下面的类型下拉框，选取自己想要定义的类型，修改维度的类型时，系统将这一信息更新到元信息表中该维度对应的条目中，并在后续使用过程中使用该维度时，利用这一类型信息。

步骤(2)中，所述对于用户使用对维度相关按钮或菜单的点击、拖拽、连线等交互，系统相应修改数据模型，包括增加、删除数据维度，修改数据维度，组合数据维度等，包括：

2.1)当用户点击表格中不需要的维度的删除按钮时，系统将元信息表中这一维度的信息设置为隐藏，从而在后续表格以及维度表盘中均不显示该维度；

2.2)当用户点击维度创建菜单，输入创建改维度所需的一个或多个已有维度，创建维度的生成函数以及生成维度的名称和类型来创建维度或者修改现有维度的映射方程，或者，当用户拖拽一个或多个输入维度到流程图视图中，选取不同的维度创建模块或自定义函数并将其与输入维度进行连接时，系统根据菜单输入或者流程图的数据流动逻辑，判断待生成维度的输入维度、映射函数、输出维度名称与类型信息，向元信息表中添加该条目，属性包括维度名称与类型，输入维度名称、映射函数、显示属性，生成该生成维度的数据，并在表格和维度表盘中显示这一新维度；

如果通过检查元信息表，发现输出维度已存在，则视为对该维度的修改，按照与创建维度时相同方式递归计算修改后的数据，向系统进行更新，更新系统保留的临时数据中该维度的数据；

所述生成该生成维度的数据所用的方法是，对数据库表格中的每一个条目，根据映射函数及其输入维度，如果输入维度是原始维度，则使用这一维度，如果不是，则递归计算该派生维度的值，最终递归计算出该维度的数据。

步骤(3)中，所述对于用户点击过滤菜单、拖拽维度和过滤模块、连线等交互，系统选取相应数据维度，对该维度进行过滤，保留数据子集，包括：3.1)当用户点击过滤菜单，输入一个或多个过滤维度名称和过滤条件，点击确定按钮后，系统视这一交互为定义全局过滤，按照用户输入的维度和过滤条件，即时对流程图中每一部分的数据进行过滤；即，对非可视化模块，记录过滤条件为原有条件与用户指定新条件的合取，对于可视化模块，根据过滤条件对数据进行过滤并更新到最终显示中。

3.2)当用户选取待一个或多个过滤维度和过滤模块，分别将它们拖拽到流程图视图中，将待过滤维度的输出端口连接至过滤模块的输入端口，设置过滤条件后，系统视这一交互为定义数据的局部过滤，按照用户的定义，对过滤器模块输出部分的数据进行过滤，使得任何以过滤器模块的输出为输入的模块得到的是局部过滤后的数据，具体方式是，设置该模块以及流程图中该模块之后的数据的过滤条件为原有条件与新输入过滤条件的合取式，设置该模块所连接流程图中的可视化模块，按照原有过滤条件和新输入过滤条件的合取，进行数据过滤和可视化结果更新。

步骤(4)中，所述对于用户拖拽维度和可视化模块并连接的交互，系统选取要进行可视化的维度，和相应的可视化形式及其编码通道，自动生成可视化结果，包括：

4.1)当用户将希望可视化的维度或维度组合以及可视化模块，拖拽至流程图视图中，将维度的输出连接至可视化模块的输入端口时，系统确定流向可视化模块的各个通道的数据，方式是读取所有输入模块的输出过滤条件和维度名称，对于创建维度还需读取映射函数，从而计算输入数据；

4.2)系统根据可视化通道与数据维度的对应，在可视化模块内展示相应的结果，例如，对散点图，每个数据项对应一个点，数据项所选维度的值与点的属性(坐标、颜色、大小等)对应；对平行坐标，所选择的属性与平行的轴一一对应，每个数据项与平行坐标中的折线对应，属性的值与平行轴上的值对应以及颜色等通道对应；对柱状图，数据属性值与横纵轴排列或高度以及颜色对应，其中键必须对应横轴或纵轴的排列；对折线图，时间属性与横轴对应，数值属性与纵轴对应。

步骤(5)中，所述针对每个数据集，收集用户构建可视化的交互操作，存储到对应的数据库中，并将交互序列构建成内部的表示形式，包括：

5.1)将用户交互行为分类为用户选择数据库、用户选择表格、用户修改数据模型(删除、增加、修改数据维度)、用户设置过滤器和用户选择可视化维度5类，对每一类交互，定义不同的记录格式，系统记录用户每次交互的序列；

对用户选择数据库，还需记录数据库名称；对用户选择表格，还需记录数据库名称和表格名称；对用户修改数据模型，还需记录数据库和表格名称、修改维度名称、修改类型(删除，增加，修改)、维度类型、维度映射函数；对于用户设置过滤器，还需记录数据库和表格名称、全局或局部过滤、过滤维度、过滤条件；对用户选择可视化，记录通道和输入维度、输入维度映射函数(如果是生成的维度)以及过滤条件。

5.2)系统记录所有不同的交互标识符，并按照该交互的类别和序数编号这些交互的标识符；

5.3)对交互序列的每一步，如果可以找到对应的标识符，则用标识符代替，否则定义新标识符，并以新标识符代替，从而将交互序列转化为标识符编号序列；

5.4)对每个序列，分割成若干独立路径，分割的方式为，对于序列中的第一步交互(总是选取数据库的操作)，将其作为第一个路径的开头，对于以后的每一步，如果它的类别在当前路径中的每一步交互的类别之后，则加入当前路径，继续考察下一步交互；否则，存储当前路径，逆序寻找当前路径中第一个步骤，使得当前步骤的类别在这个步骤的类别之后，删除当前路径中这个步骤之后的步骤，将当前步骤连接于其后，将这些路径存储进改数据库表格对应的交互历史数据库或文件中。

步骤(6)中，所述对于用户已经构建的部分的可视化流程图，系统根据历史记录数据进行匹配，推荐最相关的可视化流程图，包括：

6.1)按照5.4)中的相同步骤记录用户当前的路径；

6.2)对于用户当前路径，尝试推荐维度选取、维度创建或修改、数据过滤以及可视化。方式为，截取路径前缀使得该前缀子路径不包含维度创建及以后的交互，从历史数据库中匹配最可能的其它维度或者过滤操作；截取路径前缀使得该前缀子路径不包含过滤及以后的交互操作，匹配最可能的过滤操作或者可视化方式；匹配当前路径，获取最可能出现在该路径之后的可视化选取操作；

6.3)推荐结果显示为流程图界面中的一个模块，这个模块的映射与用户选取的模块的映射方式不同。

步骤(7)中，所述系统根据用户对推荐结果的取舍，修改现有流程图，相应改变可视化结果，并允许用户递归进行可视化构建，形成若干视图的可视化系统，包括：

7.1)当用户进行点击或拖拽推荐模块的操作时，系统将这些模块转化为新的模块，改变它们的映射形式，使得与用户选取的模块相同，同时根据流程中数据的流动，按照该模块的连接方式进行计算，如果该模块为非可视化模块，则该模块的过滤条件设置为输入模块的过滤条件与自身过滤条件的合取，并对流程图中在它之后的模块的过滤条件进行合取计算；对于可视化模块，根据输入模块数据和可视化通道结果绘制可视化，进行数据模型修改、数据子集过滤或者可视化创建等操作，并根据用户选取的推荐模块，由5.4)中的步骤计算用户当前路径；

7.2)当用户删除推荐模块，或者不操作推荐模块，进行其它操作时，系统在流程图中删除推荐模块以及该模块原有的信息，同时针对用户新的操作重新计算推荐结果并在流程图构建界面中进行展示。

图2示出了本发明具体实施方式中的自动实现数据可视化方法的可视化面板。左上的视图为数据表格视图，用户可以选取数据库和表格，观察原始数据、修改维度类型、删除维度。用户也可以选取观察的维度，从而在左下的维度分布视图中观察维度分布。右上为维度创建修改菜单和全局过滤菜单。用户可以点击按钮，在下拉菜单中输入修改条件。右下为可视化流程图构建视图，用户可以选取不同维度组合、数据转换和过滤方式、可视化生成方法，同时可以在系统的推荐下快速自动地得到可视化结果。

图3示出了本发明具体实施方式中可视化流程图构建的界面。左侧为维度表盘，右侧为维度创建和修改模块，过滤模块和可视化模块。用户可以从左右的表盘中拖拽维度节点或不同模块，到中间的流程图构建画布中，并连接不同节点之间的输出和输入，形成完整的流程图。同时用户可以在上部选择不同的标签页从而观察不同的可视化流程图以及相应的可视化结果。用户可以点击右上角的开关来打开或关闭推荐功能。

图4示出了本发明的实施例中维度节点的示例图。对于数值型和类别型维度，系统提供不同的颜色进行编码。外层显示表格图标和表格名称，内层显示维度图标和维度名称。

图5示出了本发明的实施例中过滤节点的示例图，外层显示了待过滤维度的维度图标和维度名称，内层显示了过滤图标和过滤条件。

图6示出了本发明的实施例中维度创建和修改的菜单。用户在其中可以输入维度创建中的输入维度名称、生成维度名称、生成维度类型和维度生成函数。当用户点击保存键，系统即时生成用户指定的维度。

图7示出了本发明的实施例中可视化模块的示例图。左侧为可视化模块的各个通道，比如对于散点图，有x轴坐标，y轴坐标，颜色，大小等通道。中间为可视化结果展示区。

图8示出了本发明的实施例中不同模块之间的连接过程示意图。用户点击一个模块的输入或输出节点，拖拽至另一节点的输出或输入节点，系统将二者以贝塞尔曲线连接，同时，系统确定不同模块之间的数据流向关系。

图9示出了本发明的实施例中推荐节点的示例图。与其它节点不同的是该节点外层的透明度设置得较低，并且左上角有标记有’R’的圆圈。此处展示的是推荐的维度节点。

图10示出了本发明的实施例中，用户在探索一个关于某公司一天的计算机异常的统计数据，其中有2个关于时间的维度，st和et，分别代表开始时间和持续时间，由于命名的问题，新用户容易将et视为结束时间。但是在本方法下，用户选取st时，系统根据过往用户的交互数据，推荐et以及将二者相加生成新维度的操作，用户据此发现et并不是结束时间，否则不能与开始时间相加。由此，用户在本方法下可以及早地发现数据模型的错误或者误导之处。

如图11所示，本实例例还提供了一种自动实现数据可视化的系统，包括以下模块：

数据模型更新模块11，用于选取进行探索的数据库和表格，观察各个维度的分布情况，确定对数据模型的更改，包括维度的增加、删除、修改，形成新的数据模型；

过滤模块12，用于接着对数据的某个维度或维度组合进行全局或局部过滤，得到数据子集；

可视化模块13，用于选取希望进行可视化的维度或维度组合，将它们与可视化模块连接，得到相应的可视化结果；

交互历史存储及匹配模块14，用于收集用户的交互序列，存储进用户交互历史数据库，在用户的每一步交互过程中，系统根据交互历史进行匹配，推荐可能的可视化构建流程图。

本领域技术人员应该明白，本发明所述的方法和系统并不限于具体实施方式中所述的实施例，上面的具体描述只是为了解释本发明的目的，并非用于限制本发明。本领域技术人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的技术创新范围，本发明的保护范围由权利要求及其等同物限定。

Claims (8)

1.一种自动实现数据可视化的方法，包括以下步骤：

用户首先选取进行探索的数据库和表格，观察各个维度的分布情况，确定对数据模型的更改，包括维度的增加、删除、修改，形成新的数据模型；

接着对数据的某个维度或维度组合进行全局或局部过滤，得到数据子集；

用户选取希望进行可视化的维度或维度组合，将它们与可视化模块连接，得到相应的可视化结果；

上述各个步骤中，系统收集用户的交互序列，存储进用户交互历史数据库，系统根据交互历史进行匹配，推荐可能的可视化构建流程；

该方法具体包括以下步骤：

(1)用户首先选取进行探索的数据库和表格，对于数据库中的数据，自动推测每个维度的类型，并提供用户观察各个维度数据分布的方式和交互修改维度类型的手段；

(2)根据用户交互，系统相应修改数据模型，包括增加、删除数据维度，修改数据维度，组合数据维度；

(3)根据用户交互，系统选取相应数据维度，对该维度或维度组合进行全局或局部过滤，保留数据子集；

(4)对于用户拖拽维度和可视化模块并连接的交互，系统选取要进行可视化的维度或维度组合，和相应的可视化形式及其编码通道，自动生成可视化结果；

(5)针对每个数据集，收集用户构建可视化的交互操作，存储到对应的用户交互历史数据库或文件中，并将交互序列构建成内部的表示形式；

(6)对于用户已经构建的部分的可视化流程，系统根据历史记录数据进行匹配，推荐最相关的可视化流程中的下面一步或多步；

(7)系统根据用户对推荐结果的取舍，修改现有流程图，相应改变可视化结果，并允许用户递归进行可视化构建，形成若干视图的可视化系统；

步骤(1)中，所述对于数据库中的数据，自动推测每个维度的类型，并提供用户观察各个维度数据分布的方式和交互修改维度类型的手段，包括：

1.1)对于关系型数据库如MySQL，访问其元数据表格，获取所有的维度，对于非关系型数据库如MongoDB，首先对数据进行抽样，对每个抽样的数据，展开它的嵌套维度，方式为将上一级的已展开的维度名与本级维度名以特殊符号如‘-’连接，把对抽样数据的维度展开后所得的维度定义为数据的维度，同时系统在后台对所有数据进行维度抽取操作，完成后更新在抽样数据上计算得到的全部数据维度，针对每一个数据库中的一个表格，创建一个元信息表，为每个提取的维度创立一个条目，设置显示属性为true；

1.2)对于关系型数据库，访问其元数据表格获得各个维度的类型信息；对于非关系型数据库，针对每个提取出的维度，先在抽样数据上，对该维度的值，依次判断其能否转化为布尔数、整数、实数和字符串类型，若该值由多个值组成，判断其是否为基本组合，包括坐标等，如此定义出每个维度的类型，同时在后台对全部数据进行计算，完成后更新在抽样数据上计算得到的类型信息，在元信息表中，对每一个条目，增加维度类型信息的属性，为提取出的维度类型；

1.3)对于用户点击的不同数据维度，系统读取该维度所有的数据，可视化出它的分布情况，从元信息表中读取该属性的类型，对于类别型数据，按照每一类别统计数量，对于数量型数据，将其分为若干区间，统计每个区间中数据的个数，然后以柱状图的形式展现；

1.4)当用户点击一个维度下面的类型下拉框，选取自己想要定义的类型，修改维度的类型时，系统将这一信息更新到元信息表中该维度对应的条目中，并在后续使用过程中使用该维度时，利用这一类型信息。

2.如权利要求1所述的一种自动实现数据可视化的方法，其特征是：步骤(2)中，所述根据用户交互，系统相应修改数据模型，包括增加、删除数据维度，修改数据维度，组合数据维度等，包括：

2.1)当用户点击表格中不需要的维度的删除按钮时，系统将元信息表中这一维度的信息设置为隐藏，从而在后续表格以及维度表盘中均不显示该维度；

2.2)当用户点击维度创建菜单，输入创建该维度所需的一个或多个已有维度，创建维度的生成函数以及生成维度的名称和类型来创建维度或者修改现有维度的映射方程，或者，当用户拖拽一个或多个输入维度到流程图视图中，选取不同的维度创建模块或自定义函数并将其与输入维度进行连接时，系统根据菜单输入或者流程图的数据流动逻辑，判断待生成维度的输入维度、映射函数、输出维度名称与类型信息，向元信息表中添加待生成维度对应的条目，属性包括维度名称与类型，输入维度名称、映射函数、显示属性，生成该生成维度的数据，并在表格和维度表盘中显示这一新维度；如果通过检查元信息表，发现输出维度已存在，则视为对该维度的修改，按照与创建维度时相同方式递归计算修改后的数据，向系统进行更新，更新系统保留的临时数据中该维度的数据；

所述生成该生成维度的数据所用的方法是，对数据库表格中的每一个条目，根据映射函数及其输入维度，如果输入维度是原始维度，则使用这一维度，如果输入维度是派生维度，则递归计算该派生维度的值，最终递归计算出该维度的数据。

3.如权利要求1所述的一种自动实现数据可视化的方法，其特征是：步骤(3)中，所述根据用户交互，系统选取相应数据维度，对该维度进行过滤，保留数据子集，包括：

3.1)当用户点击过滤菜单，输入一个或多个过滤维度名称和过滤条件，点击确定按钮后，系统视这一交互为定义全局过滤，按照用户输入的维度和过滤条件，即时对流程图中每一部分的数据进行过滤；

3.2)当用户选取一个或多个待过滤维度和过滤模块，分别将它们拖拽到流程图视图中，将待过滤维度的输出端口连接至过滤模块的输入端口，设置过滤条件后，系统视这一交互为定义数据的局部过滤，按照用户的定义，对过滤器模块输出部分的数据进行过滤，使得任何以过滤器模块的输出为输入的模块得到的是局部过滤后的数据，具体方式是，设置该模块以及流程图中该模块之后的数据的过滤条件为原有条件与新输入过滤条件的合取式，设置该模块所连接流程图中的可视化模块，按照原有过滤条件和新输入过滤条件的合取，进行数据过滤和可视化结果更新。

4.如权利要求1所述的一种自动实现数据可视化的方法，其特征是：步骤(4)中，所述对于用户拖拽维度和可视化模块并连接的交互，系统选取要进行可视化的维度，和相应的可视化形式及其编码通道，自动生成可视化结果，包括：

4.1)当用户将希望可视化的维度或维度组合以及可视化模块，拖拽至流程图视图中，将维度的输出连接至可视化模块的输入端口时，系统确定流向可视化模块的各个通道的数据，方式是读取所有输入模块的输出过滤条件和维度名称，对于创建维度还需读取映射函数，从而计算输入数据；

4.2)系统根据可视化通道与数据维度的对应，在可视化模块内展示相应的结果。

5.如权利要求1-4任一项所述的一种自动实现数据可视化的方法，其特征是：步骤(5)中，所述针对每个数据集，收集用户构建可视化的交互操作，存储到对应的数据库中，并将交互序列构建成内部的表示形式，包括：

5.1)将用户交互行为分类为用户选择数据库、用户选择表格、用户修改数据模型、用户设置过滤器和用户选择可视化维度5类，对每一类交互，定义不同的记录格式，系统记录用户每次交互的序列，不同类型的交互的标识符中，共有的部分包括交互行为的类型，对用户选择数据库，还需记录数据库名称；对用户选择表格，还需记录数据库名称和表格名称；对用户修改数据模型，还需记录数据库和表格名称、修改维度名称、修改类型、维度类型、维度映射函数；对于用户设置过滤器，还需记录数据库和表格名称、全局或局部过滤、过滤维度、过滤条件；对用户选择可视化，记录通道和输入维度、输入维度映射函数以及过滤条件；

5.2)系统记录所有不同的交互标识符，并按照该交互的类别和序数编号这些交互的标识符；

5.3)对交互序列的每一步，如果可以找到对应的标识符，则用标识符代替，否则定义新标识符，并以新标识符代替，从而将交互序列转化为标识符编号序列；

5.4)对每个序列，分割成若干独立路径，分割的方式为，对于序列中的第一步交互，将其作为第一个路径的开头，对于以后的每一步，如果它的类别在当前路径中的每一步交互的类别之后，则加入当前路径，继续考察下一步交互；否则，存储当前路径，逆序寻找当前路径中第一个步骤，使得当前步骤的类别在这个步骤的类别之后，删除当前路径中这个步骤之后的步骤，将当前步骤连接于其后，将这些路径存储进改数据库表格对应的交互历史数据库或文件中。

6.如权利要求5所述的一种自动实现数据可视化的方法，其特征是：步骤(6)中，所述对于用户已经构建的部分的可视化流程图，系统根据历史记录数据进行匹配，推荐最相关的可视化流程图，包括：

6.1)按照5.4)中的相同步骤记录用户当前的路径；

6.2)对于用户当前路径，尝试推荐维度选取、维度创建或修改、数据过滤以及可视化；方式为，截取路径前缀使得该前缀子路径不包含维度创建及以后的交互，从历史数据库中匹配最可能的其它维度或者过滤操作；截取路径前缀使得该前缀子路径不包含过滤及以后的交互操作，匹配最可能的过滤操作或者可视化方式；匹配当前路径，获取最可能出现在该路径之后的可视化选取操作；

6.3)推荐结果显示为流程图界面中的一个模块，这个模块的映射与用户选取的模块的映射方式不同。

7.如权利要求6所述的一种自动实现数据可视化的方法，其特征是：步骤(7)中，所述系统根据用户对推荐结果的取舍，修改现有流程图，相应改变可视化结果，并允许用户递归进行可视化构建，形成若干视图的可视化系统，包括：

7.1)当用户进行点击或拖拽推荐模块的操作时，系统将这些模块转化为新的模块，改变它们的映射形式，使得与用户选取的模块相同，同时根据流程中数据的流动，按照该模块的连接方式进行计算，如果该模块为非可视化模块，则该模块的过滤条件设置为输入模块的过滤条件与自身过滤条件的合取，并对流程图中在它之后的模块的过滤条件进行合取计算；对于可视化模块，根据输入模块数据和可视化通道结果绘制可视化，进行数据模型修改、数据子集过滤或者可视化创建等操作，并根据用户选取的推荐模块，由5.4)中的步骤计算用户当前路径；

7.2)当用户删除推荐模块，或者不操作推荐模块，进行其它操作时，系统在流程图中删除推荐模块以及该模块原有的信息，同时针对用户新的操作重新计算推荐结果并在流程图构建界面中进行展示。

8.一种自动实现数据可视化的系统，应用于权利要求1-7任一项所述的一种自动实现数据可视化的方法，所述系统包括以下模块：

数据模型更新模块，用于选取进行探索的数据库和表格，观察各个维度的分布情况，确定对数据模型的更改，包括维度的增加、删除、修改，形成新的数据模型；

过滤模块，用于接着对数据的某个维度或维度组合进行全局或局部过滤，得到数据子集；

可视化模块，用于选取希望进行可视化的维度或维度组合，将它们与可视化模块连接，得到相应的可视化结果；

交互历史存储及匹配模块，用于收集用户的交互序列，存储进用户交互历史数据库，在用户的每一步交互过程中，系统根据交互历史进行匹配，推荐可能的可视化构建流程图。

Images