CN105956016A - 关联信息可视化处理系统 - Google Patents

Abstract

本发明涉及互联网信息处理技术领域，特别涉及关联信息可视化处理系统。本发明系统包括：关联数据分析模块和关联数据可视化模块，所述关联数据分析模块通过设置字段等方式，从海量的信息中分析出目标主体以及与目标主体直接相关的关联信息，根据直接关联关系抽象出一度关联关系，根据不同一度关联关系中相同的信息单元逐级扩展目标信息的n度关联信息数据；所述关联数据可视化模块在关联数据的基础上使用可视化工具，绘制出目标信息的N度关联关系图谱，并将绘制好的图谱通过客户端提供给用户使用。通过本系统用户可以轻松查阅各个目标信息的关联关系图谱，极大的节省了人工整理和分析资料的成本，减轻从业人员的工作负担，提高了行业的工作效率。

Description

关联信息可视化处理系统

技术领域

本发明涉及互联网信息处理技术领域，特别涉及关联信息可视化处理系统。

背景技术

今世界早就进入了信息时代，随着信息的爆发式增长和积累，大数据时代已近来临，作为大数据最重要的特点：数据量大和价值密度低却是困扰如此海量数据信息挖掘利用的难题。实际上在纷繁复杂的信息海洋中，某些信息之间的联系往往比与其他信息之间的联系要紧密得多，而这些具有某种紧密联系的信息往往反映的是现实生活中的人与人之间或者团体之间的特定关系，这些特定关系会使其在相关的社会或者经济活动中相互影响或者牵制。

针对特定的信息目标，如何分析该目标与其他目标之间的关联关系在很多领域具有更加实际的意义，因为具有关联关系的目标在进行各种活动时往往比单独的简单个体具有更大的影响面，而且具有关联关系的目标在对外建立各种活动时，受到内部的关联关系的相互牵制或者支持，会比简单目标的活动轨迹更加复杂。

一般情况下目标信息的关联关联都不是直观可见的，具有隐秘性，传递性、不易被人察觉，目标背景分析、市场调研、市场风险防控、产品推广、广告传播等应用领域为了分析这些隐蔽的关联关系，往往会耗费人们巨大的人力成本，降低相关问题的判断和分析的效率。在这样的背景下，发明一种系统自动完成通过数据挖掘在海量的数据信息中分析出与目标信息相关联的信息，并通过数据可视化工具将信息之间的关联关系直观的展示出来提供给广大的用户使用，将极大的便利相关人员的工作。

发明内容

本发明的目的在于克服现有技术中所存在的上述不足，提供关联信息可视化处理系统，本发明系统通过设置字段等方式，从海量的信息中分析出目标主体以及与目标主体直接相关的关联信息，根据直接关联关系成一度关联关系，形成对应的数据记录；根据不同数据记录中的相同的信息单元逐级扩展关联信息；并在关联关系数据的基础上，使用可视化工具，将关联关系可视化、图谱化，为相关的数据分析提供参考，极大的节省了用户用于相关数据分析的人力和时间成本。

为实现上述目的，本发明关联信息可视化处理系统，包括关联数据分析模块和关联数据可视化模块，所述关联数据分析模块通过设置字段方式，从原始信息中提取出对应信息，将其中一个字段对应的信息作为目标信息，将其他字段对应的信息作为目标信息的一度关联信息，根据不同一度关联关系中相同的信息单元逐级扩展目标信息的n度关联信息数据；

所述关联数据可视化模块在关联数据的基础上使用可视化工具，绘制出目标信息的N度关联关系图谱。

作为一种优选，所述关联数据分析模块采用Hadoop大数据处理框架的集群架构。

进一步的，所述关联数据分析模块采用Hadoop大数据处理框架的集群架构时，包括主节点和从节点，所述主节点将N度关联关系的任务自动切分后分配到从节点上进行自行，并将从节点计算后的结果整合后供给用户使用。

进一步的，所述关联数据分析模块包括主节点和从节点，所述主节点将N度关联关系的任务自动切分后分配到从节点上运行，并将从节点计算后的结果整合后供用户使用。

进一步的，所述关联数据分析模块包括数据存储模块，所述数据存储模块用于存储原始数据。

进一步的，所述数据存储模块为HDFS分布式文件系统。

进一步的，所述所述关联数据分析模块还包括HBase数据库，所述HBase数据库用于存储N度关联数据。

进一步的，所述关联数据可视化模块绘制目标信息关联图谱时，采用yEd、D3、Google Chart API或者jcharts等可视化工具。

进一步的，所述系统包含客户端，所述客户端与所述关联数据分析模块相连，所述客户端从所述关联数据分析模块读取N度关联数据。

进一步的，所述系统包含客户端，所述客户端通过与所述关联数据可视化模块相连，所述客户端从所述关联数据可视化模块读取目标信息的关联关系图谱。

进一步的，所述客户端提供Web接口供用户读取目标信息的关联关系图谱。

与现有技术相比，本发明的有益效果：本关联信息可视化处理系统，本发明系统包括：关联数据分析模块和关联数据可视化模块，所述关联数据分析模块通过设置字段等方式，从海量的信息中分析出目标主体以及与目标主体直接相关的关联信息，根据直接关联关系抽象出一度关联关系，根据不同一度关联关系中相同的信息单元逐级扩展目标信息的n度关联信息数据；所述关联数据可视化模块在关联数据的基础上使用可视化工具，绘制出目标信息的N度关联关系图谱，并将绘制好的图谱通过客户端提供给用户使用。通过本系统用户可以轻松查阅各个目标信息的关联关系图谱，极大的节省了人工整理和分析资料的成本，减轻从业人员的工作负担，提高了行业的工作效率。

附图说明：

图1是关联信息可视化处理系统的系统结构示意图。

图2为本发明系统关联信息计算原理示意图。

图3为实施例1关联数据分析模块的架构示意图。

图4为实施例1字段提取的数据记录示意图。

图5为实施例1的一度关联关系示意图。

图6为实施例1的二度关联关系示意图。

图7为实施例1中以a为目标信息的三度关联关系示意图。

图8为实施例1中以e为目标信息的三度关联关系示意图。

图9为实施例1中以h为目标信息的三度关联关系示意图。

图10为以a为0级节点可视化3度关联图谱示意图。

图11为以e为0级节点的可视化3度关联图谱示意图。

图12为以h为0级节点的可视化3度关联图谱示意图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

为实现上述目的，本发明关联信息可视化处理系统，如图1所示：包括关联数据分析模块和关联数据可视化模块，所述关联数据分析模块通过设置字段方式，从原始信息中提取出对应信息，将其中一个字段对应的信息作为目标信息，将其他字段对应的信息作为目标信息的一度关联信息，根据不同一度关联关系中相同的信息单元逐级扩展目标信息的n度关联信息数据(其中n＞1)，关联关系的计算原理如图2所示；所述关联数据可视化模块在关联数据的基础上使用可视化工具，绘制出目标信息的N度关联关系图谱(其中N≥1)。

作为一种优选，所述关联数据分析模块采用Hadoop大数据处理框架的集群架构。

进一步的，所述关联数据分析模块采用Hadoop大数据处理框架的集群架构时，包括主节点和从节点，所述主节点将N度关联关系的任务自动切分后分配到从节点上进行自行，并将从节点计算后的结果整合后供给用户使用。

本发明关联关系的计算以云计算平台的大数据处理框架来实现，可以同时对海量的目标并行的处理，也就是说，从基础数据到N度关联信息的计算，都是多个目标同时并列处理。可以看出随着关联度N的逐级增加，计算的复杂度和数据维度不断增加，而这样复杂的数据处理过程通过云计算平台的大数据处理框架(比如Hadoop下的MapReduce和Spark等大数据处理框架)得以顺利快速的实现；MapReduce和Spark等大数据处理框架能够使用户只需要按照计算框架提供的接口设计上层指令，在不关心底层运行过程的情况下，处理框架根据上层指令自动调用内部的相关资源，并且将任务自动切分，分配到内部的不同节点进行处理，实现了数据的并行高效计算，在处理完成后还自动将处理结果整合后提供给用户；任务完成过程高度自动化，极大的节省了人力，提高了数据的处理效率。

进一步的，所述关联数据分析模块包括主节点和从节点，所述主节点将N度关联关系的任务自动切分后分配到从节点上运行，并将从节点计算后的结果整合后供用户使用。

进一步的，所述关联数据分析模块包括数据存储模块，所述数据存储模块用于存储原始数据。所述原始数据的来源可以是从互联中根据需要爬取的数据，互联中包含广泛丰富的信息来源，从互联网中根据需要爬取相关信息，并将获取的信息进行深度处理，为信息的精细化处理和深度应用提供一种全新的途径。

进一步的，所述数据存储模块为HDFS分布式文件系统。HDFS作为Hadoop下面的分布式文件系统，具有高度容错性，适合部署在廉价的机器上，运行和维护成本较低。同时HDFS非常适合用于大规模数据集；采用HDFS来存储待处理数据可以满足海量数据存储，高容错性的需要，并且为采用Hadoop的其他处理方式提供了便利。

进一步的，所述所述关联数据分析模块还包括HBase数据库，所述HBase数据库用于存储N度关联数据。经过所述一度关联计算模块以及n度关联计算模块处理后的N度关联数据已经为结构化的数据，将这些结构化的数据存储于关系型的HBase数据库中可以更好和更快的进行读取。

进一步的，所述关联数据可视化模块绘制目标信息关联图谱时，采用yEd、D3、Google Chart API或者jcharts等可视化工具。

进一步的，所述系统包含客户端，所述客户端与所述关联数据分析模块相连，所述客户端从所述关联数据分析模块读取N度关联数据。一般主节点和子节点为服务器，服务器具有性能稳定、处理能力强、可靠、安全、可扩展、可管理等优点。但是服务器的价格昂贵，需要专业的维护；一般服务器的维护以服务器托管的方式进行，不便直接在服务器上进行操作；通过客户端来访问服务器的运行方式，可以有效的将任务开发与任务执行分开，保障系统的运行效率，同时可以进行远程的操作，不受距离的限制扩展了系统的使用空间距离。

进一步的，所述系统包含客户端，所述客户端通过与所述关联数据可视化模块相连，所述客户端从所述关联数据可视化模块读取目标信息的关联关系图谱。

进一步的，所述客户端提供Web接口供用户读取目标信息的关联关系图谱。为了方便问题的分析，节省相关从业人员的重复性劳动，通过本发明系统实习的可视化关联图谱可以网页查询的方式提供给用户，这样用户在进行目标信息分析时，不再需在庞大的基础数据中要逐个查找资料，逐个的去构建关联关系，再逐个的去分析目标信息的庞大关联网络，而是通过网页直接查询经过本发明系统实现的目标信息的关联图谱，缩短数据分析时间提高决策制定的效率。

实施例1

本实施例采用如图3所示的系统连接方式(Hadoop的架构，可采用MapReduce或者Spark计算框架)，通过客户端将实施关联关系计算模块功能的程序加载于主节点服务器中，在大数据处理框架下，所述主节点将任务自动切分后分配到各个从节点服务器上执行，原始数据存储于HDFS分布式文件系统中，HDFS的主节点与关联关系计算的主节点相同，HDFS的从节点与关联关系计算的从节点相同，同一节点运行不同的进程实现不同的功能。N度关联数据存储于HBase数据库中，所述HBase数据库运行于数台服务器上，与所述主节点通过接口连线相连，所述关联数据可视化模块根据需要从调用所述HBase数据库存储的N度关联数据绘制出目标信息的N关联图谱并通过客户端供用户查阅。

关联关系计算以及关联图谱的绘制原理如下：假设在原始数据中经过字段(设置的字段包括：第一字段、第二字段、第三字段)提取，提取出来3条数据记录如图4所示，其中第一数据记录包含的根据第一字段提取的内容a，第二字段提取的内容b，第三字段所对应的信息内容为c、d；第二条数据记录中包含根据第一字段提取的内容e，第二字段提取的内容b第三字段对应的信息内容c、f、g；第三条数据记录中包含的根据第一字段提取内容h，第二字段提取的内容a、c，第三字段对应的信息内容i、j、k、l。以第一字段对应的信息为目标信息，则分别构建出的以a、e、h为目标信息的一度关联关系如图5所示，(a-b)(a-c)(a-d)，(e-b)(e-c)(e-f)(e-g)，(h-a)(h-c)(h-i)(h-j)(h-k)(h-l)，根据本发明关联关系的计算方式可以得到以a、e、h为目标信息的二度关联关系为如图6所示(a-b-e)(a-c-e)(a-c-h)，(e-b-a)(e-c-a)(e-c-h)，(h-a-b)(h-a-c)(h-a-d)(h-c-a)(h-c-e)三度关联关系为(a-b-e-c)(a-b-e-f)(a-b-e-g)(a-c-e-b)(a-c-e-f)(a-c-e-g)，(a-c-h-a)(a-c-h-i)(a-c-h-j)(a-c-h-k)(a-c-h-l)如图7所示，(e-b-a-c)(e-b-a-d)(e-c-a-b)(e-c-a-d)(e-c-h-a)(e-c-h-i)(e-c-h-j)(e-c-h-k)(e-c-h-l)如图8所示，(h-a-b-e)(h-c-e-b)(h-c-e-f)(h-c-e-g)如图9所示......将上述关联关系中的信息抽象成节点，并采用可视化工具，绘制出以a、e、h为0级节点的三级以内的关联图谱分别如图10、图11、图12所示。使用例如yEd、jcharts、D3、Google Chart API等可视化工具以目标信息对应的0节点为中心，逐级扩展子节点，将下一级节点扩展到上一节点的外围；最终形成以目标信息为中心的关联图谱(在扩展关联节点是，可以根据需要去除重复路径，保证图谱清晰简洁)。实际上针对每个目标信息的个度关联信息可能都是多个的，而且随着关联度数的增加，扩展出来的关联信息数量更多；多度关联信息图谱均可以按照上述过程逐级扩展出来。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化时显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (10)

1.关联信息可视化处理系统，其特征在于，包括关联数据分析模块和关联数据可视化模块，所述关联数据分析模块通过设置字段方式，从原始信息中提取出对应信息，将其中一个字段对应的信息作为目标信息，将其他字段对应的信息作为目标信息的一度关联信息，根据不同一度关联关系中相同的信息单元逐级扩展目标信息的n度关联信息数据；

所述关联数据可视化模块在关联数据的基础上使用可视化工具，绘制出目标信息的N度关联关系图谱。

2.如权利要求1所述的系统，其特征在于，所述关联数据分析模块采用Hadoop大数据处理框架的集群架构。

3.如权利要求2所述的系统，其特征在于，所述关联数据分析模块包括主节点和从节点，所述主节点将N度关联关系的任务自动切分后分配到从节点上运行，并将从节点计算后的结果整合后供用户使用。

4.如权利要求3所述的系统，其特征在于，所述关联数据分析模块包括数据存储模块，所述数据存储模块用于存储原始数据。

5.如权利要求4所述的系统，其特征在于，所述数据存储模块为HDFS分布式文件系统。

6.如权利要求5所述的系统，其特征在于，所述所述关联数据分析模块还包括HBase数据库，所述HBase数据库用于存储N度关联数据。

7.如权利要求1所述的系统，其特征在于，所述关联数据可视化模块绘制目标信息关联图谱时，采用yEd、D3、Google Chart API或者jcharts等可视化工具。

8.如权利要求1至6之一所述的系统，其特征在于，所述系统包含客户端，所述客户端与所述关联数据分析模块相连，所述客户端从所述关联数据分析模块读取N度关联数据。

9.如权利要求1至6之一所述的系统，其特征在于，所述系统包含客户端，所述客户端通过与所述关联数据可视化模块相连，所述客户端从所述关联数据可视化模块读取目标信息的关联关系图谱。

10.如权利要求9所述的系统，其特征在于，所述客户端提供Web接口供用户读取目标信息的关联关系图谱。