CN105205087A - 一种对大数据的数据分析结果进行处理的方法和装置 - Google Patents

Abstract

本发明提供了一种对大数据的数据分析结果进行处理的方法和装置，方法包括步骤：获取对大数据进行分析的数据分析结果；将每一个数据分析结果作为一个关联实体，得到关联结果集；对关联结果集内的所有关联实体进行预处理，得到一包括所有关联实体的支持度和关联实体之间的置信度的数组；根据所述置信度得到关联边的特征；根据支持度得到关联实体的形状特性；根据关联实体的形状特性和关联边的特征构建图形模型，并可视化显示。本发明还提供了一种对应上述方法的装置。本发明的方法展示的结果更为直观。用户可以通过图形化的结果快速识别核心节点及其关联节点，提高了用户感知结果的能力，使得数据分析结果转化为知识的方式更为便捷和有效。

Description

一种对大数据的数据分析结果进行处理的方法和装置

技术领域

本发明涉及数据分析领域，尤其涉及一种对大数据的数据分析结果进行处理的方法和装置。

背景技术

当前很多行业已经进入大数据时代。大数据已经不再是计算、统计学科的专宠，商学院开始的广泛应用，表明大数据已经被各行业的广泛接纳并应用。将复杂的大数据进行提炼和应用，一项重要的思维转换就是从传统的因果分析向相关性分析转换。在传统的统计分析中，一个重要的因素是因果关系的可靠性，确认两个变量间可能存在因果关系。但大数据的出现改变了这种在科学界普遍追求的因果关系的检验。大数据的一个明显特点是从相关性着手，而不是因果关系，这从本质上改变了传统数据的分析方法。

如何将结果价值最大化，可视化提供了一个非常有效的手段。眼睛是认识世界最直接有效的渠道。如果一个图能够迫使我们看到我们不曾想看到的东西，那么这个图就是一个非常有价值的。分析数据的相关性是大数据分析结果的极为重要的一环。数据可视化不仅仅是为了展示数据，还可以通过图像残留来增加人思考的时间和质量，加大概率发现隐藏在数据背后的未知知识。

现有的关联结果可视化方法比较单一，通常使用Table的方式呈现数据，阅读不够直观。或者有些图形化显示，但是显示关联结果的方法仍然不能够充分表达关联实体之间的内在关系，无法给用户理解关联结果的价值提供非常简单便捷的途径。

发明内容

为了克服现有技术中关联结果可视化方法单一，从而无法给用户理解关联结果的价值这一技术问题，本发明提供了一种对大数据的数据分析结果进行处理的方法和装置。

为了解决上述技术问题，本发明采用如下技术方案：

本发明提供了一种对大数据的数据分析结果进行处理的方法，所述方法包括步骤：

获取对大数据进行分析的数据分析结果；

将每一个所述数据分析结果作为一个关联实体，得到关联结果集；

对关联结果集内的所有关联实体进行预处理，得到一包括所有关联实体的支持度和关联实体之间的置信度的数组；

根据所述置信度得到关联边的特征；

根据所述支持度得到关联实体的形状特性；

根据关联实体的形状特性和关联边的特征构建图形模型，并可视化显示。

进一步来说，所述的对大数据的数据分析结果进行处理方法中，对关联结果集内的所有关联实体进行预处理，得到一包括所有关联实体的支持度和关联实体之间的置信度的数组的步骤包括：

对关联结果集内所有关联实体进行编号O1至On；

形成一n阶方阵，该方阵每行除对角线位置的元素为与该行号对应的关联实体与其他关联实体之间的置信度，该方阵的对角线上的元素为与该行号对应的关联实体的支持度。

进一步来说，所述的对大数据的数据分析结果进行处理方法中，根据所述支持度得到关联实体的形状特性的步骤包括：

用节点表示关联实体，根据每一所述关联实体的支持度的大小得到每一关联实体对应的节点的大小，每一所述关联实体的支持度的大小与每一关联实体对应的节点的大小呈正比关系。

进一步来说，所述的对大数据的数据分析结果进行处理方法中，根据所述置信度得到关联边的特征的步骤包括：

根据关联实体之间的置信度得到关联边的粗细，所述关联边的粗细与关联实体之间的置信度成正比关系；

根据关联实体之间的置信度得到关联边的长度，所述关联边的长度与关联实体之间的置信度成反比关系。

进一步来说，所述的对大数据的数据分析结果进行处理方法中，根据所述支持度得到关联实体的形状特性之后还包括步骤：

对关联结果集内所有关联实体进行分类，同一类关联实体对应的节点的颜色相同。

进一步来说，所述的对大数据的数据分析结果进行处理方法中，根据关联实体的形状特性和关联边的特征构建图形模型，并可视化显示步骤包括：

将节点最大的关联实体进行居中显示，将整个图形模型按照比例缩放。

进一步来说，所述的对大数据的数据分析结果进行处理方法中，根据关联实体的形状特性和关联边的特征构建图形模型，并可视化显示步骤还包括：

接收用户操作信息，按照操作信息对图形模型进行调整。

本发明提供了一种对大数据的数据分析结果进行处理的装置，所述装置包括：

获取模块，用于获取对大数据进行分析的数据分析结果；

关联结果集形成模块，用于将每一个所述数据分析结果作为一个关联实体，得到关联结果集；

预处理模块，用于对关联结果集内的所有关联实体进行预处理，得到一包括所有关联实体的支持度和关联实体之间的置信度的数组；

关联边确定模块，用于根据所述置信度得到关联边的特征；

关联实体确定模块，用于根据所述支持度得到关联实体的形状特性；

建模模块，用于根据关联实体的形状特性和关联边的特征构建图形模型，并可视化显示。

进一步来说，所述的对大数据的数据分析结果进行处理的装置中，所述预处理模块具体用于：

对关联结果集内所有关联实体进行编号O1至On；

形成一n阶方阵，该方阵每行除对角线位置的元素为与该行号对应的关联实体与其他关联实体之间的置信度，该方阵的对角线上的元素为与该行号对应的关联实体的支持度。

进一步来说，所述的对大数据的数据分析结果进行处理的装置中，所述关联实体确定模块具体用于：

用节点表示关联实体，根据每一所述关联实体的支持度的大小得到每一关联实体对应的节点的大小，每一所述关联实体的支持度的大小与每一关联实体对应的节点的大小呈正比关系。

进一步来说，所述的对大数据的数据分析结果进行处理的装置中，所述关联边确定模块包括：

关联边粗细确定子模块，用于根据关联实体之间的置信度得到关联边的粗细，所述关联边的粗细与关联实体之间的置信度成正比关系；

关联边长度确定子模块，用于根据关联实体之间的置信度得到关联边的长度，所述关联边的长度与关联实体之间的置信度成反比关系。

进一步来说，所述的对大数据的数据分析结果进行处理的装置中，所述装置还包括：

关联实体颜色分析和渲染模块，用于对关联结果集内所有关联实体进行分类，同一类关联实体对应的节点的颜色相同。

进一步来说，所述的对大数据的数据分析结果进行处理的装置中，所述装置还包括：

居中模块，用于将节点最大的关联实体进行居中显示，将整个图形模型按照比例缩放。

进一步来说，所述的对大数据的数据分析结果进行处理的装置中，所述装置还包括：

显示调整模块，用于接收用户操作信息，按照操作信息对图形模型进行调整。

本发明的有益效果是：本发明的与现有关联结果展示方法相比，该方法展示的结果更为直观，可视化程度更高，传递结果价值的途径更有效。用户可以通过这个图形化的结果快速识别出核心节点，以及核心节点的关联节点，提高了用户感知结果的能力，使得数据分析结果转化为知识的方式更为便捷和有效。

附图说明

图1表示本发明关联实体建模的方法主要流程图；

图2表示本发明关联实体建模的装置主要部件构成图；

图3表示本发明实施例中预处理得到的支持度和置信度的方阵示意图；

图4表示本发明关联实体建模的方法的详细流程图；

图5表示本发明关联实体建模的方法得到的关联结果渲染图一；

图6表示本发明关联实体建模的方法得到的关联结果渲染图二。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。

本发明提供了一种一种对大数据的数据分析结果进行处理的方法，所述方法包括：步骤1，获取对大数据进行分析的数据分析结果；步骤2，将每一个所述数据分析结果作为一个关联实体，得到关联结果集；步骤3，对关联结果集内的所有关联实体进行预处理，得到一包括所有关联实体的支持度和关联实体之间的置信度的数组；步骤4，根据所述置信度得到关联边的特征；步骤5，根据所述支持度得到关联实体的形状特性；步骤6，根据关联实体的形状特性和关联边的特征构建图形模型，并可视化显示。

具体来说，本发明提供了一种关联结果直关展现的方法。包括对关联结果集中的所有关联实体的支持度和关联实体之间的置信度进行预处理，得到一数组。利用此数组得到关联实体的形状特性和关联边的形状特性，并根据每个关联实体和关联边构建图形模型并进行可视化的显示。本方法，可以将关联结果的价值以最直接的图形模型方式展示出来。让用户能够快速的洞察出实体之间的关联性和内在的价值，还可以通过视觉残留来进一步增强思考的时间和质量，激发出用户对结果价值更深层次的想象力。

对关联结果集内所有关联实体进行预处理，得到一包括所有关联实体的支持度和关联实体之间的置信度的数组步骤具体为：

对关联结果集内所有关联实体进行编号O1至On；形成一n阶方阵，该方阵每行元素为与该行号对应的关联实体与其他关联实体之间的置信度，该方阵的对角线上的元素为与该行号对应的关联实体的支持度。

关联结果集预处理结果数据结构，为了使得后续的分析计算更为方便，首先需要对数据进行预处理。形成一n阶方阵，该方阵每行该方阵每行除对角线位置的元素为与该行号对应的关联实体与其他关联实体之间的置信度，该方阵的对角线上的元素为与该行号对应的关联实体的支持度。参照附图1所示，举例来说，每一个不同的关联实体编号为O1、O2…On，把N个实体的一个关联集群他们的支持度和置信度预处理成一个N阶方阵。此N阶方阵中，对角线上的元素代表节点的支持度，支持度是关联实体出现的概率，例如V_o1＝O1出现的次数/所有关联实体出现的总次数。例如，第一行对角线上的元素即为V_o1，第二行对角线上的元素为V_o2，第n行对角线上的元素为V_on。V_oioj代表Oi关联Oj的置信度，例如元素V_o1o2的值就是O1、O2的关联置信度，物理意义是V_o1o2＝P_o1o2/P_o1，表示在O1实体出现的情况下，O2出现的概率，即条件概率。同理，在O2出现的情况下O1出现的条件概率定义为V_o2o1＝P_o1o2/P_o2。

参照图6所示，条件概率在图形展示上是有方向性的，V_o2o1表示成一条从O2指向O1的边。数据关联关系通常使用支持度和置信度来分析。支持度是无方向的概率，置信度是有方向的条件概率。本发明提出的方法可以同时适用于关联节点支持度和置信度的展示。

此N阶方阵中，每行元素为与该行号对应的关联实体与其他关联实体之间的置信度。例如，第一行的除对角线位置的元素为V_o1o2，V_o1o3，V_o1o4…V_o1on；第一行的除对角线位置的元素为V_o2o1，V_o2o3，V_o2o4…V_o2on。其他行的元素以此类推。

根据所述支持度得到关联实体的形状特性，根据所述置信度得到关联边的特征具体为：用节点表示关联实体，根据每一所述关联实体的支持度的大小得到每一关联实体对应的节点的大小，每一所述关联实体的支持度的大小与每一关联实体对应的节点的大小呈正比关系；根据关联实体之间的置信度得到关联边的粗细，所述关联边的粗细与关联实体之间的置信度成正比关系；根据关联实体之间的置信度得到关联边的长度，所述关联边的长度与关联实体之间的置信度成反比关系。

关联边的线条粗细分析，两个节点O1->O2如果相关，则关联的边的线条粗细决定于V_o1o2。由于V_o1o2是概率值，取概率值为0.2时，绘制线的粗细为系统默认标准值。当V_oioj的值大于0.2时，对关联边的线在标准值粗细的基础上加粗；当V_oioj的值小于0.2时，对关联边的线在标准值粗细的基础上进行减细。当然也可以选择取概率值为其他值时作为绘制线粗细的标准值。节点O1和O2的连接线在本系统中表示为E12。利用上述预处理矩阵得到E12、E13、E14…E1n；E21、E23、…E2n；…；E(n-1)n。

关联边的长度计算，Eij计算结果取倒数。得到L12、L13、….、L(n-1)n。长度短的关联边，表示两个节点的关系比较密切。两个关联实体之间的关联边越短越粗，表示两个关联实体之间的关联性越高；两个关联实体之间的关联边越长越细，表示两个关联实体之间的关联性越低，用户可以直观观察出两个关联实体之间的紧密程度。

关联实体大小分析，关联实体的大小就取节点的支持度。对于O1节点来说，O1的支持度就是O1的出现频度。为了绘制方便，做归一化处理。

参照图5所示，不同填充的○，代表不同的颜色。根据关联实体所属类别的不同渲染不同的颜色，将同一类实体渲染成同一种颜色。从颜色维度传递关联实体的分布模式，让用户能够直观的识别出实体的归属关系。

关联实体作为节点、与关联边的数据集构建球棍模型。利用D3.js绘制球棍模型。D3.js是一个用动态图形显示数据的JavaScript库，一个数据可视化的工具。兼容W3C标准，并且利用广泛实现的SVG，JavaScript，和CSS标准。该模型包含展现效果。

根据每个关联实体和关联边构建图形模型之后还包括步骤：将节点最大的关联实体进行居中显示，整个图形模型按照比例缩放；接收用户操作信息，按照操作信息对图形模型进行调整。

为了使得显示图形更方便查看，需要对显示进行优化调整。首先是将最大的节点居中显示，然后整体按照比例缩放，让节点满足用户视图区。在节点非常多的情况下，如果整体都进行缩放，会导致节点很小，不方便查看。具体实现上可以设置一个阈值，保证最大的节点大小不小于默认的阈值。

展示模型响应用户的操作有如下几个动作。在用户单击某个节点的时候，该节点会居中显示，并缩放成比较理想的效果。用户可以调整图形的比例尺，让图形整体在一个可控的范围内调整大小。在视图区内无法显示全部节点的时候，以用户关注的核心节点为中心，距离远的节点从视图中隐藏，只保留连接线提示用户后续还有关联的节点，以实现大量节点展示上的局部节点显示最优化。

参照图4所示，详细介绍本发明的流程。步骤100，获取关联结果集；步骤110，对关联结果集进行数据预处理，以N阶矩阵的方式来保存预处理结果；步骤120，关联边的线条粗细分析，节点O1和O2的连接线表示为E12，利用上述预处理矩阵的置信度得到Eij，Eij数值的大小代表了边的线条粗细；步骤130，关联边的长度计算，取计算结果Eij的倒数作为关联边的长度；步骤140，关联实体的大小分析，实体节点的大小直接取该节点的支持度数值；步骤150，根据实体对象所属类别的不同渲染不同的颜色；步骤160，按照顶点和边的数据集构建球棍模型；步骤170，根据用户的操作，实现模型旋转将用户选择的节点居中显示，并且根据显示视图的大小调整比例，根据用户视图调整球棍模型的整体比例，使之最适合显示，在图形旁边显示比例尺，用户可以操作比例尺来整体调整节点大小。本发明分析各实体的关联性(实体的概念可以非常广泛，诸如新闻事件、某个人或者某台设备等都可以作为一个实体在大数据系统中存在)，在繁杂的数据上进行建模，并且利用大数据技术处理手段将数据之间的关联性知识提取出来。最终将结果以交互式图形进行呈现。

本发明还提供了本发明提供了一种对大数据的数据分析结果进行处理的装置，所述装置包括：获取模块10，用于获取对大数据进行分析的数据分析结果；关联结果集形成模块20，用于将每一个所述数据分析结果作为一个关联实体，得到关联结果集；预处理模块30，用于对关联结果集内的所有关联实体进行预处理，得到一包括所有关联实体的支持度和关联实体之间的置信度的数组；关联边确定模块40，用于根据所述置信度得到关联边的特征；关联实体确定模块50，用于根据所述支持度得到关联实体的形状特性；建模模块60，用于根据关联实体的形状特性和关联边的特征构建图形模型，并可视化显示。本发明的装置展示的结果更为直观，可视化程度更高，传递结果价值的途径更有效。用户可以通过这个图形化的结果快速识别出核心节点，以及核心节点的关联节点，提高了用户感知结果的能力，使得数据分析结果转化为知识的方式更为便捷和有效。

本发明中建模模块采用为D3.js，是一个用动态图形显示数据的JavaScript库，一个数据可视化的工具。其他可以实现数据可视化的工具在此同样适用。

所述与处理模块具体用于：对关联结果集内所有关联实体进行编号O1至On；形成一n阶方阵，该方阵每行元素为与该行号对应的关联实体与其他关联实体之间的置信度，该方阵的对角线上的元素为与该行号对应的关联实体的支持度。

关联实体确定模块，用于确定关联实体的形状特征，具体为：用节点表示关联实体，根据每一所述关联实体的支持度的大小得到每一关联实体对应的节点的大小，每一所述关联实体的支持度的大小与每一关联实体对应的节点的大小呈正比关系。关联边确定模块确定关联边，包括：关联边粗细确定模块，根据关联实体之间的置信度得到关联边的粗细，所述关联边的粗细与关联实体之间的置信度成正比关系；关联边长度确定模块，根据关联实体之间的置信度得到关联边的长度，所述关联边的长度与关联实体之间的置信度成反比关系。两个关联实体之间的关联边越短越粗，表示两个关联实体之间的关联性越高；两个关联实体之间的关联边越长越细，表示两个关联实体之间的关联性越低，用户可以直观观察出两个关联实体之间的紧密程度。

所述装置还包括：关联实体颜色分析和渲染模块，用于对关联结果集内所有关联实体进行分类，同一类关联实体对应的节点的颜色相同。从颜色维度传递关联实体的分布模式，让用户能够直观的识别出实体的归属关系。

所述装置还包括：居中模块，用于将节点最大的关联实体进行居中显示，整个图形模型按照比例缩放；显示调整模块，用于接收用户操作信息，按照操作信息对图形模型进行调整。便于用户对关联结构的图形模型进行调整和观察。

以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。

Claims (14)

1.一种对大数据的数据分析结果进行处理的方法，其特征在于，所述方法包括步骤：

获取对大数据进行分析的数据分析结果；

将每一个所述数据分析结果作为一个关联实体，得到关联结果集；

对关联结果集内的所有关联实体进行预处理，得到一包括所有关联实体的支持度和关联实体之间的置信度的数组；

根据所述置信度得到关联边的特征；

根据所述支持度得到关联实体的形状特性；

根据关联实体的形状特性和关联边的特征构建图形模型，并可视化显示。

2.如权利要求1所述的对大数据的数据分析结果进行处理方法，其特征在于，对关联结果集内的所有关联实体进行预处理，得到一包括所有关联实体的支持度和关联实体之间的置信度的数组的步骤包括：

对关联结果集内所有关联实体进行编号O1至On；

形成一n阶方阵，该方阵每行除对角线位置的元素为与该行号对应的关联实体与其他关联实体之间的置信度，该方阵的对角线上的元素为与该行号对应的关联实体的支持度。

3.如权利要求1所述的对大数据的数据分析结果进行处理方法，其特征在于，根据所述支持度得到关联实体的形状特性的步骤包括：

用节点表示关联实体，根据每一所述关联实体的支持度的大小得到每一关联实体对应的节点的大小，每一所述关联实体的支持度的大小与每一关联实体对应的节点的大小呈正比关系。

4.如权利要求3所述的对大数据的数据分析结果进行处理方法，其特征在于，根据所述置信度得到关联边的特征的步骤包括：

根据关联实体之间的置信度得到关联边的粗细，所述关联边的粗细与关联实体之间的置信度成正比关系；

根据关联实体之间的置信度得到关联边的长度，所述关联边的长度与关联实体之间的置信度成反比关系。

5.如权利要求1所述的对大数据的数据分析结果进行处理方法，其特征在于，根据所述支持度得到关联实体的形状特性之后还包括步骤：

对关联结果集内所有关联实体进行分类，同一类关联实体对应的节点的颜色相同。

6.如权利要求3所述的对大数据的数据分析结果进行处理方法，其特征在于，根据关联实体的形状特性和关联边的特征构建图形模型，并可视化显示步骤包括：

将节点最大的关联实体进行居中显示，将整个图形模型按照比例缩放。

7.如权利要求6所述的对大数据的数据分析结果进行处理方法，其特征在于，根据关联实体的形状特性和关联边的特征构建图形模型，并可视化显示步骤还包括：

接收用户操作信息，按照操作信息对图形模型进行调整。

8.一种对大数据的数据分析结果进行处理的装置，其特征在于，所述装置包括：

获取模块，用于获取对大数据进行分析的数据分析结果；

关联结果集形成模块，用于将每一个所述数据分析结果作为一个关联实体，得到关联结果集；

预处理模块，用于对关联结果集内的所有关联实体进行预处理，得到一包括所有关联实体的支持度和关联实体之间的置信度的数组；

关联边确定模块，用于根据所述置信度得到关联边的特征；

关联实体确定模块，用于根据所述支持度得到关联实体的形状特性；

建模模块，用于根据关联实体的形状特性和关联边的特征构建图形模型，并可视化显示。

9.如权利要求8所述的对大数据的数据分析结果进行处理的装置，其特征在于，所述预处理模块具体用于：

对关联结果集内所有关联实体进行编号O1至On；

形成一n阶方阵，该方阵每行除对角线位置的元素为与该行号对应的关联实体与其他关联实体之间的置信度，该方阵的对角线上的元素为与该行号对应的关联实体的支持度。

10.如权利要求8所述的对大数据的数据分析结果进行处理的装置，其特征在于，所述关联实体确定模块具体用于：

用节点表示关联实体，根据每一所述关联实体的支持度的大小得到每一关联实体对应的节点的大小，每一所述关联实体的支持度的大小与每一关联实体对应的节点的大小呈正比关系。

11.如权利要求10所述的对大数据的数据分析结果进行处理的装置，其特征在于，所述关联边确定模块包括：

关联边粗细确定子模块，用于根据关联实体之间的置信度得到关联边的粗细，所述关联边的粗细与关联实体之间的置信度成正比关系；

关联边长度确定子模块，用于根据关联实体之间的置信度得到关联边的长度，所述关联边的长度与关联实体之间的置信度成反比关系。

12.如权利要求8所述的对大数据的数据分析结果进行处理的装置，其特征在于，所述装置还包括：

关联实体颜色分析和渲染模块，用于对关联结果集内所有关联实体进行分类，同一类关联实体对应的节点的颜色相同。

13.如权利要求10所述的对大数据的数据分析结果进行处理的装置，其特征在于，所述装置还包括：

居中模块，用于将节点最大的关联实体进行居中显示，将整个图形模型按照比例缩放。

14.如权利要求13所述的对大数据的数据分析结果进行处理的装置，其特征在于，所述装置还包括：

显示调整模块，用于接收用户操作信息，按照操作信息对图形模型进行调整。