CN108829783B - 一种基于海量数据的关系处理方法及系统 - Google Patents
一种基于海量数据的关系处理方法及系统 Download PDFInfo
- Publication number
- CN108829783B CN108829783B CN201810549620.9A CN201810549620A CN108829783B CN 108829783 B CN108829783 B CN 108829783B CN 201810549620 A CN201810549620 A CN 201810549620A CN 108829783 B CN108829783 B CN 108829783B
- Authority
- CN
- China
- Prior art keywords
- nodes
- node
- canvas
- path
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims abstract description 86
- 238000009877 rendering Methods 0.000 claims abstract description 32
- 238000012544 monitoring process Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000012098 association analyses Methods 0.000 claims description 18
- 230000001960 triggered effect Effects 0.000 claims description 18
- 238000013499 data model Methods 0.000 claims description 17
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 26
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 102100038367 Gremlin-1 Human genes 0.000 description 4
- 101001032872 Homo sapiens Gremlin-1 Proteins 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011985 exploratory data analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于海量数据的关系处理方法及系统,该方法包括:使用图数据库存储海量数据的关联信息数据;在监测到外部设置的至少一个节点、针对该至少一个节点的分析请求类型时,根据分析请求类型,利用图遍历语言从图数据库中查询该至少一个节点的目标关联信息数据;使用画布对目标关联信息数据进行渲染,并对渲染后的画布进行可视化展示。可以利用图数据库来存储海量数据的关联信息数据,并基于外部的关联图谱分析请求,以查询相应的关联信息数据并向用户展示,故本方案能够应对复杂关联图谱分析的处理。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种基于海量数据的关系处理方法及系统。
背景技术
图谱分析是当前信息技术中数据分析的重要应用之一,主要被用来分析目标节点间的关系及相关问题的分析追踪。
目前,基于传统的关系型数据库,可以获知数据库中各个实体间的简单关联关系。
但是,针对当前关联图谱分析的实际应用场景,特别是图谱节点间大量关系且非常复杂时,传统的关系型数据库已经不堪重负,故急需一种能够应对复杂关联图谱分析的处理手段。
发明内容
本发明提供了一种基于海量数据的关系处理方法及系统,能够应对复杂关联图谱分析的处理。
为了达到上述目的,本发明是通过如下技术方案实现的:
一方面,本发明提供了一种基于海量数据的关系处理方法,使用图数据库存储海量数据的关联信息数据;还包括:
S1:在监测到外部设置的至少一个节点、针对所述至少一个节点的分析请求类型时,根据所述分析请求类型,利用图遍历语言从所述图数据库中查询所述至少一个节点的目标关联信息数据;
S2:使用画布对所述目标关联信息数据进行渲染,并对渲染后的所述画布进行可视化展示。
进一步地,所述S1包括:
A1:在监测到外部通过路径分析面板而设置有第一节点和第二节点,并触发工具栏中的路径分析请求按钮时,执行A2;
A2:在预设时间段内,利用图遍历语言从所述图数据库中,查询所述第一节点和所述第二节点间的第一数量的关联路径,其中,
所述第一数量为整数;
所述第一数量的关联路径中的每一个关联路径,均为所述第一节点和所述第二节点间的最短关联路径;
所述第一数量的关联路径中的每一个关联路径均包括:总计至少两个节点,该至少两个节点包括所述第一节点和所述第二节点,该至少两个节点不包括相重复的节点,且该至少两个节点的个数不大于预设节点数;
所述A1的执行方为前端,所述A2的执行方为后端,且所述预设节点数和所述预设时间段均设置于所述后端中。
进一步地,所述S1包括:
A3:在监测到外部通过关联分析面板而设置有至少两个节点,并触发工具栏中的关联分析请求按钮时,执行A4;
A4:针对设置的至少两个节点中的任意两个节点均执行:在预设时间段内,利用图遍历语言从所述图数据库中,查询当前两个节点间的第二数量的关联路径,其中,
所述第二数量为整数;
所述第二数量的关联路径中的每一个关联路径均包括:总计至少两个节点,该至少两个节点包括所述当前两个节点,该至少两个节点不包括相重复的节点,且该至少两个节点的个数不大于预设节点数;
所述A3的执行方为前端,所述A4的执行方为后端,且所述预设节点数和所述预设时间段均设置于所述后端中。
进一步地,所述S1包括:
A5:在监测到外部通过关联反查面板而设置有一目的节点,并触发所述目的节点的任一关联反查请求按钮时,执行A6;
A6:在预设时间段内,利用图遍历语言从所述图数据库中,查询针对所述目的节点的第三数量的关联路径,其中,
所述第三数量为整数;
所述第三数量的关联路径中的每一个关联路径均仅包括两个节点,且该两个节点中的所述目的节点与另一节点间的关联关系与所述关联反查请求按钮相对应;
所述预设时间段均设置于所述后端中。
进一步地,所述目标关联信息数据包括:第四数量的目标关联路径;
所述第四数量为整数;
所述S2包括:将所述第四数量的目标关联路径封装为可识别的数据模型,并将所述数据模型渲染至当前的画布中,以使渲染后的所述画布中,每一个所述目标关联路径突出展示,并对渲染后的所述画布进行可视化展示。
另一方面,本发明提供了一种基于海量数据的关系处理系统,包括:
前端,用于在监测到外部设置的至少一个节点、针对所述至少一个节点的分析请求类型时,触发后端;使用画布对所述后端返回的所述至少一个节点的目标关联信息数据进行渲染,并对渲染后的所述画布进行可视化展示;
所述后端,用于使用图数据库存储海量数据的关联信息数据;根据所述分析请求类型,利用图遍历语言从所述图数据库中查询所述至少一个节点的目标关联信息数据。
进一步地,所述前端,具体用于在监测到外部通过路径分析面板而设置有第一节点和第二节点,并触发工具栏中的路径分析请求按钮时,触发所述后端;
所述后端,具体用于在预设时间段内,利用图遍历语言从所述图数据库中,查询所述第一节点和所述第二节点间的第一数量的关联路径,其中,
所述第一数量为整数;
所述第一数量的关联路径中的每一个关联路径,均为所述第一节点和所述第二节点间的最短关联路径;
所述第一数量的关联路径中的每一个关联路径均包括:总计至少两个节点,该至少两个节点包括所述第一节点和所述第二节点,该至少两个节点不包括相重复的节点,且该至少两个节点的个数不大于预设节点数;
所述预设节点数和所述预设时间段均设置于所述后端中。
进一步地,所述前端,具体用于在监测到外部通过关联分析面板而设置有至少两个节点,并触发工具栏中的关联分析请求按钮时,触发所述后端;
所述后端,具体用于针对设置的至少两个节点中的任意两个节点均执行:在预设时间段内,利用图遍历语言从所述图数据库中,查询当前两个节点间的第二数量的关联路径,其中,
所述第二数量为整数;
所述第二数量的关联路径中的每一个关联路径均包括:总计至少两个节点,该至少两个节点包括所述当前两个节点,该至少两个节点不包括相重复的节点,且该至少两个节点的个数不大于预设节点数;
所述预设节点数和所述预设时间段均设置于所述后端中。
进一步地,所述前端,具体用于在监测到外部通过关联反查面板而设置有一目的节点,并触发所述目的节点的任一关联反查请求按钮时,触发所述后端;
所述后端,具体用于在预设时间段内,利用图遍历语言从所述图数据库中,查询针对所述目的节点的第三数量的关联路径,其中,
所述第三数量为整数;
所述第三数量的关联路径中的每一个关联路径均仅包括两个节点,且该两个节点中的所述目的节点与另一节点间的关联关系与所述关联反查请求按钮相对应;
所述预设时间段均设置于所述后端中。
进一步地,所述目标关联信息数据包括:第四数量的目标关联路径;
所述第四数量为整数;
所述前端,具体用于将所述第四数量的目标关联路径封装为可识别的数据模型,并将所述数据模型渲染至当前的画布中,以使渲染后的所述画布中,每一个所述目标关联路径突出展示,并对渲染后的所述画布进行可视化展示。
本发明提供了一种基于海量数据的关系处理方法及系统,该方法包括:使用图数据库存储海量数据的关联信息数据;在监测到外部设置的至少一个节点、针对该至少一个节点的分析请求类型时,根据分析请求类型,利用图遍历语言从图数据库中查询该至少一个节点的目标关联信息数据;使用画布对目标关联信息数据进行渲染,并对渲染后的画布进行可视化展示。可以利用图数据库来存储海量数据的关联信息数据,并基于外部的关联图谱分析请求,以查询相应的关联信息数据并向用户展示,故本发明能够应对复杂关联图谱分析的处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种基于海量数据的关系处理方法的流程图;
图2是本发明一实施例提供的一种前端针对路径分析请求所展示的关联信息数据的示意图;
图3是本发明一实施例提供的一种前端针对关联分析请求所展示的关联信息数据的示意图;
图4是本发明一实施例提供的一种前端针对关联反查请求所展示的关联信息数据的示意图;
图5是本发明一实施例提供的另一种基于海量数据的关系处理方法的流程图;
图6是本发明一实施例提供的一种基于海量数据的关系处理系统的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种基于海量数据的关系处理方法,可以包括以下步骤:
步骤101:使用图数据库存储海量数据的关联信息数据。
步骤102:在监测到外部设置的至少一个节点、针对所述至少一个节点的分析请求类型时,根据所述分析请求类型,利用图遍历语言从所述图数据库中查询所述至少一个节点的目标关联信息数据。
步骤103:使用画布对所述目标关联信息数据进行渲染,并对渲染后的所述画布进行可视化展示。
本发明实施例提供了一种基于海量数据的关系处理方法,使用图数据库存储海量数据的关联信息数据;在监测到外部设置的至少一个节点、针对该至少一个节点的分析请求类型时,根据分析请求类型,利用图遍历语言从图数据库中查询该至少一个节点的目标关联信息数据;使用画布对目标关联信息数据进行渲染,并对渲染后的画布进行可视化展示。可以利用图数据库来存储海量数据的关联信息数据,并基于外部的关联图谱分析请求,以查询相应的关联信息数据并向用户展示,故本发明实施例能够应对复杂关联图谱分析的处理。
在本发明一个实施例中,上述画布可以为canvas画布。
本发明实施例中,可以采用对于原生支持关系的图数据库,图数据库不仅可以解决关系复杂操作的问题,还可以准确分析追踪相应的问题,故不仅可以带来运行性能的提升,更可以大大提高系统开发效率。
详细地,上述步骤102可以涉及数据挖掘领域关联图谱的探索式分析,上述步骤103可以涉及分析后图谱数据的可视化展现操作,如此,可以主要面向实际应用中,关联图谱中目标节点n度关联关系的探索及丰富的可视化展现与交互性分析。
详细地,这里的目标节点即可以为用户通过前端面板所设置的各个节点。
详细地,这里的n可以为预设值,比如n=5、6或7,等。
在本发明一个实施例中,上述图遍历语言可以为Gremlin。Gremlin是一种函数式数据流语言,可以使得用户使用简洁的方式来表述复杂属性图的遍历或查询。
比如,可以通过图遍历语言gremlin中对节点或边的语法操作拼装成特定分析要求的sql(Structured Query Language,结构化查询语言)语句,对图数据库进行关系数据查询分析。详细地,这里的边可以为任意两节点间的路径。
比如,某一关联路径为a-c-d-e-f-g-b,故其一端节点为a,另一端节点为b,这该关联路径包括7个节点、6个边,且a与b为6度关联关系。
详细地,图谱的前端展现可以使用很多开源的项目。比如,在本发明一个实施例中,前端图谱绘制技术可以基于sigma组件。sigma组件是一个致力于在Web应用中进行图形绘制的JavaScript库,旨在帮助开发者们创建图形,同时也能够让用户在网页上进行网络操控变得平顺、更快速。其中,sigma组件可以主要包括定制渲染、面向交互、强大的图形模型、插件扩展、强大的兼容性等特性。
详细地,基于后端建好的数据模型与导入好的数据,根据用户通过前端搜索界面给定的目标节点实体,可以利用图遍历语言中的语法操作,对设置节点中进行两两节点路径探索的原理,以完成路径的探寻功能。对于海量数据的情况下,为保证节点探索效率,故可以默认探索时间和并对探索n度关系进行了一定的限制。如此,可保证分析探索的性能,并及时返回关系路径的分析结果。
具体地,用户可以通过前端界面中的控制面板,比如路径分析面板、关联分析面板、关联反查面板,以设定需要关系路径分析的节点。比如,在路径分析面板中,用户可搜索设置起点和终点两个节点;在关联分析面板中,用户可搜索设置两个及以上的节点;在关联反查面板中,用户可搜索设置一个待反查的节点。
基于此,步骤102中外部设置的节点关联探索请求,至少可以对应于下述实现方式中的任意一种:
方式1:路径分析请求;
方式2:关联分析请求;
方式3:关联反查请求。
详细地,对应于上述方式1:
在本发明一个实施例中,所述步骤102包括:
A1:在监测到外部通过路径分析面板而设置有第一节点和第二节点,并触发工具栏中的路径分析请求按钮时,执行A2;
A2:在预设时间段内,利用图遍历语言从所述图数据库中,查询所述第一节点和所述第二节点间的第一数量的关联路径,其中,
所述第一数量为整数;
所述第一数量的关联路径中的每一个关联路径,均为所述第一节点和所述第二节点间的最短关联路径;
所述第一数量的关联路径中的每一个关联路径均包括:总计至少两个节点,该至少两个节点包括所述第一节点和所述第二节点,该至少两个节点不包括相重复的节点,且该至少两个节点的个数不大于预设节点数;
所述A1的执行方为前端,所述A2的执行方为后端,且所述预设节点数和所述预设时间段均设置于所述后端中。
本发明实施例中,预设时间段可以优选为6s内。如此,后端查询关联路径所用时长达到6s时限时,将停止查询。如此,当停止查询时后端仍未查询到任一关联路径,故后端返回的关联路径的个数为0。如此,上述第一数量可以为整数。
详细地,预设节点数可以表示为N,预设节点数与上述目标节点n度关联关系之间可以满足:N=n+1。
详细地,关联路径最短,即关联路径中的全部节点的个数相对最小。预设节点数可以为,任一关联路径中所能包括的全部节点的最大个数。比如第一节点为a,第二节点为b,假设仅存在如下所述的4条关联路径:
路径1:a-c-d-b;
路径2:a-c-f-b;
路径3:a-c-d-e-f-g-b;
路径4:a-c-d-e-f-g-h-b。
可以看出,这4条关联路径包括的全部节点数分别为4、4、7、8,故路径1中a和b为3级关联、路径2中a和b为3级关联、路径3中a和b为6级关联、路径4中a和b为7级关联。
由上所述,假设预设节点数N=7,故路径1、路径2和路径3满足这一限定条件,而路径4不满足。同时,与路径3相比,仅路径1和路径2为最短关联路径,故后端返回的路径可以为路径1和路径2这两个路径。
基于上述内容,本发明实施例中,预设节点数为n时,说明仅查询两节点间的关联级数不大于(n-1)级的最短关联路径。
本发明实施例中,对于路径分析,通常仅设置两个节点。
举例来说,请参考图2,图2可以为针对外部的路径分析请求而显示的画布,该画布中展示有关联信息数据。其中,图2中的用户X、公司1、公司5这3个节点以及相应的边加粗显示,以达到渲染效果。
详细地,外部设置节点时,可以基于路径分析面板上预设的信息输入框而人为输入节点,此外,当前存在画布的情况下,还可以点击画布中显示的任一节点以输入节点。
比如,对应于方式1,图2所示的画布在未渲染前,用户可以在路径分析面板点击公司1和公司5这两个节点,以及点击工具栏中的路径分析请求按钮。如此,后端可以查询公司1和公司5间的各个关联路径。比如,查询到的关联路径为公司1—用户X—公司5,故可以在画布上渲染该关联路径。当渲染方式为加粗显示时,渲染后的画布即可如图2所示。当然,还可以存在其他渲染方式,比如高亮显示等。
在本发明一个实施例中,渲染前不存在已有画布时,前端所展示的画布中可以仅包括后端查询到的各个关联路径。
详细地,对应于上述方式2:
在本发明一个实施例中,所述步骤102包括:
A3:在监测到外部通过关联分析面板而设置有至少两个节点,并触发工具栏中的关联分析请求按钮时,执行A4;
A4:针对设置的至少两个节点中的任意两个节点均执行:在预设时间段内,利用图遍历语言从所述图数据库中,查询当前两个节点间的第二数量的关联路径,其中,
所述第二数量为整数;
所述第二数量的关联路径中的每一个关联路径均包括:总计至少两个节点,该至少两个节点包括所述当前两个节点,该至少两个节点不包括相重复的节点,且该至少两个节点的个数不大于预设节点数;
所述A3的执行方为前端,所述A4的执行方为后端,且所述预设节点数和所述预设时间段均设置于所述后端中。
本发明实施例中,对于关联分析,通常可设置至少两个节点。
举例来说,请参考图3,图3可以为针对外部的关联分析请求而显示的画布,该画布中展示有关联信息数据。其中,图3中的用户X、公司1、公司5、公司7、用户Y这5个节点以及相应的边加粗显示,以达到渲染效果。
详细地,外部设置节点时,可以基于关联分析面板上预设的信息输入框而人为输入节点,此外,当前存在画布的情况下,还可以点击画布中显示的任一节点以输入节点。
比如,对应于方式2,假设用户需要分析公司1、公司5和公司7这3个节点,但由于图3所示的画布在未渲染前包括有公司1和公司5这两个节点,但未包括公司7这一节点,故用户可以在路径分析面板点击公司1和公司5这两个节点,并人为输入公司7这一节点,以及点击工具栏中的关联分析请求按钮。如此,后端可以查询公司1、公司5、公司7这3个节点中,任意两个节点间的各个关联路径。然后,查询得到的每一个关联路径可以在画布上渲染显示。当渲染方式为加粗显示时,渲染后的画布即可如图3所示。
详细地,用户点击公司1和公司5这两个节点,以及人为输入公司7这一节点后,可以通过ctrl+单击节点的方式,以使这3个节点处于选择状态。
在本发明一个实施例中,人为输入任一节点后,当前的画布中可以显示有这一节点,如此,用户可以选中该节点以使其处于选择状态。
详细地,假设未渲染前,当前的画布中不存在上述用户Y这一节点,但后端查询到的关联路径中涉及到该节点,故渲染后的画布将会存在该节点。
详细地,对应于上述方式3:
在本发明一个实施例中,所述步骤102包括:
A5:在监测到外部通过关联反查面板而设置有一目的节点,并触发所述目的节点的任一关联反查请求按钮时,执行A6;
A6:在预设时间段内,利用图遍历语言从所述图数据库中,查询针对所述目的节点的第三数量的关联路径,其中,
所述第三数量为整数;
所述第三数量的关联路径中的每一个关联路径均仅包括两个节点,且该两个节点中的所述目的节点与另一节点间的关联关系与所述关联反查请求按钮相对应;
所述预设时间段均设置于所述后端中。
在监测到外部通过关联反查面板而设置有一目的节点,并触发所述目的节点的任一关联反查请求按钮时,在预设时间段内,利用图遍历语言从所述图数据库中,查询所述目的节点的每一个关联路径,其中,
所述目的节点的任一关联路径均仅包括两个节点,且该两个节点中的所述目的节点与另一节点间的关联关系与所述关联反查请求按钮相对应。
综上所述,对于海量数据,基于上述方式1和方式2,目标节点路径分析的探索可以控制在n度关系中。此外,为了方便用户扩展n度以外的关系,基于上述方式3,可以通过节点的扩展功能进行逐层的探索分析,通过节点的折叠功能进行节点层级的折叠操作,方便了用户的灵活使用。
本发明实施例中,对于关联反查,通常可设置一个节点。
举例来说,请参考图4,图4可以为针对外部的关联反查请求而显示的画布,该画布中展示有关联信息数据。
详细地,外部设置节点时,可以基于关联反查面板上预设的信息输入框而人为输入节点,此外,当前存在画布的情况下,还可以点击画布中显示的任一节点以输入节点。
比如,对应于方式3,用户人为输出公司X这一节点后,可以新建一仅包括该节点的画布,然后用户可以右键单击公司X这一节点,前端可以根据关系的类型对该节点进行层级展开,逐步探索。假设展出的某一层中存在股东这一选项,故用户可以点击该选项,如此,后端可以查询公司X的每一个股东,及相应关联路径。然后,查询得到的每一个关联路径可以在画布上渲染显示,渲染后的画布即可如图4所示。
可以看出,用户触发的关联反查请求按钮为股东时,返回的各关联路径中,公司X和另一节点的关联关系亦为股东,两者相对应。
在本发明一个实施例中,所述目标关联信息数据包括:第四数量的目标关联路径;
所述第四数量为整数;
所述步骤103包括:将所述第四数量的目标关联路径封装为可识别的数据模型,并将所述数据模型渲染至当前的画布中,以使渲染后的所述画布中,每一个所述目标关联路径突出展示,并对渲染后的所述画布进行可视化展示。
详细地,可以根据Sigma组件对节点和边的渲染规则,对后端返回的分析结果中的所有节点和边封装为可识别的数据模型,并渲染至画布中。然后,可以通过前端渲染组件中的设置,画布中目标节点默认为高亮显示,以为用户记录当前的分析节点。将返回结果中的路径详情列表利用模板技术渲染至图解读模块,为用户提供目标节点实体间的详细关系路径,用户可通过hover图解读中的每条路径,使画布中对应路径中的节点和边高亮显示。
在本发明一个实施例中,需要模板技术动态渲染路径分析的详情列表。比如,需要模板动态渲染具体的路径分析的详情列表,主要利用arttemplate模板渲染技术对返回的数据动态渲染,使用户能友好地进行分析操作。
在本发明一个实施例中,基于sigma组件进行图形的绘制,具体可以选用其中的canvas方式进行节点和边的渲染,对目标节点进行丰富的展现,如高亮显示。
详细地,在图谱的可视化中,丰富了目标节点间的关系路径分析的展现形式,节点间的每条路径都可以根据用户的指定进行高亮显示,提供友好易用的前端探索式交互分析,减少用户使用过程中的认知负担。
综上所述,本发明一实施例可以提供一种基于海量数据的关系发现及可视化的实现方法,主要对设置的多个目标节点在海量数据中抽象出n(比如n≤6)度关联信息数据,完成路径分析或关联分析探索,并返回目标节点间的所有路径以实现图解读功能;通过可视化工具,渲染出n(n≤6)度关联关系图谱,图解读中各路径与画布节点联动高亮显示,以供用户分析使用;对于n>6度以上的关联数据可以通过可视化中节点的关联反查功能逐一追踪、逐层展开,数据间逻辑关系清晰直观,极大的减少了用户的认知负担,为目标信息的分析、挖掘及相关问题的分析追踪提供丰富的可视化操作及参考依据。
因此,本发明实施例可以使用图遍历语言对所请求节点间的关系路径进行分析,以衡量多实体间联系的密切程度,并返回所有任意两节点间的路径列表。如此,前端可以对返回的分析结果进行可视的丰富展现,并对路径分析列表进行图解读的操作,为用户的分析提供了便利。
如图5所示,本发明一个实施例提供了另一种基于海量数据的关系处理方法,该方法以上述方式1为例,具体包括以下步骤:
步骤501:后端使用图数据库存储海量数据的关联信息数据。
步骤502:前端在监测到外部通过路径分析面板而设置有起始节点和终止节点,并触发工具栏中的路径分析请求按钮时,执行步骤503。
假设用户设置的起始节点为上述公司1,终止节点为上述公司5。
步骤503:后端在内部预设的6s时间段内,利用Gremlin图遍历语言从图数据库中,查询起始节点和终止节点间的第一数量的关联路径,其中,第一数量为整数;查询到的每一个关联路径均为第一节点和第二节点间的最短关联路径;查询到的每一个关联路径均包括:总计至少两个节点,该至少两个节点包括起始节点和终止节点,该至少两个节点不包括相重复的节点,且该至少两个节点的个数不大于内部预设节点数N=7。
详细地,可以在后端预设时间段为6s,预设节点数N=7,相当于预设节点关联度n≤6。
步骤504:前端将后端查询到的全部关联路径封装为可识别的数据模型,并根据Sigma组件对节点和边的渲染规则,将数据模型渲染至当前的画布中,以使渲染后的画布中,每一个关联路径突出展示,并对渲染后的画布进行可视化展示。
基于上述内容,所展示的画布可以如图2所示。其中,经图2可以看出,仅存在一个关联路径,且该关联路径中,起始节点和终止节点的节点关联度n=2≤6。
如图6所示,本发明一个实施例提供了一种基于海量数据的关系处理系统,可以包括:
前端601,用于在监测到外部设置的至少一个节点、针对所述至少一个节点的分析请求类型时,触发后端602;使用画布对所述后端602返回的所述至少一个节点的目标关联信息数据进行渲染,并对渲染后的所述画布进行可视化展示;
所述后端602,用于使用图数据库存储海量数据的关联信息数据;根据所述分析请求类型,利用图遍历语言从所述图数据库中查询所述至少一个节点的目标关联信息数据。
详细地,上述前端,或可称作前端展示器,以主要用于展示与用户交互的各个控制界面,以及展示渲染前后的画布等;上述后端,或可称作后端处理器,以主要用于使用图数据库存储海量数据,以及基于图数据库查询关联信息数据等。
详细地,前端除了可视化展示关联信息数据外,还提供方便用户交互的控制面板,比如可以包括路径分析面板、关联分析面板、关联反查面板。如此,用户可以基于前端提供的相应面板,以设置节点和分析请求类型。
在本发明一个实施例中,所述前端601,具体用于在监测到外部通过路径分析面板而设置有第一节点和第二节点,并触发工具栏中的路径分析请求按钮时,触发所述后端602;
所述后端602,具体用于在预设时间段内,利用图遍历语言从所述图数据库中,查询所述第一节点和所述第二节点间的第一数量的关联路径,其中,
所述第一数量为整数;
所述第一数量的关联路径中的每一个关联路径,均为所述第一节点和所述第二节点间的最短关联路径;
所述第一数量的关联路径中的每一个关联路径均包括:总计至少两个节点,该至少两个节点包括所述第一节点和所述第二节点,该至少两个节点不包括相重复的节点,且该至少两个节点的个数不大于预设节点数;
所述预设节点数和所述预设时间段均设置于所述后端602中。
在本发明一个实施例中,所述前端601,具体用于在监测到外部通过关联分析面板而设置有至少两个节点,并触发工具栏中的关联分析请求按钮时,触发所述后端602;
所述后端602,具体用于针对设置的至少两个节点中的任意两个节点均执行:在预设时间段内,利用图遍历语言从所述图数据库中,查询当前两个节点间的第二数量的关联路径,其中,
所述第二数量为整数;
所述第二数量的关联路径中的每一个关联路径均包括:总计至少两个节点,该至少两个节点包括所述当前两个节点,该至少两个节点不包括相重复的节点,且该至少两个节点的个数不大于预设节点数;
所述预设节点数和所述预设时间段均设置于所述后端602中。
在本发明一个实施例中,所述前端601,具体用于在监测到外部通过关联反查面板而设置有一目的节点,并触发所述目的节点的任一关联反查请求按钮时,触发所述后端602;
所述后端602,具体用于在预设时间段内,利用图遍历语言从所述图数据库中,查询针对所述目的节点的第三数量的关联路径,其中,
所述第三数量为整数;
所述第三数量的关联路径中的每一个关联路径均仅包括两个节点,且该两个节点中的所述目的节点与另一节点间的关联关系与所述关联反查请求按钮相对应;
所述预设时间段均设置于所述后端602中。
在本发明一个实施例中,所述目标关联信息数据包括:第四数量的目标关联路径;
所述第四数量为整数;
所述前端601,具体用于将所述第四数量的目标关联路径封装为可识别的数据模型,并将所述数据模型渲染至当前的画布中,以使渲染后的所述画布中,每一个所述目标关联路径突出展示,并对渲染后的所述画布进行可视化展示。
综上所述,本发明实施例通过使用图数据库,可以弥补传统关系型数据库对于描述具有丰富关系的实体不堪重负的问题,对前端sigma组件对图节点和边的渲染进行了新的改进,从而为用户对目标节点的关系路径分析提供了良好的展示和操作。图谱分析提供了新的简单易用的交互式探索分析,提高分析效率,减少用户的认知负担。
上述系统内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
综上所述,本发明的各个实施例至少具有如下有益效果:
1、本发明实施例中,使用图数据库存储海量数据的关联信息数据;在监测到外部设置的至少一个节点、针对该至少一个节点的分析请求类型时,根据分析请求类型,利用图遍历语言从图数据库中查询该至少一个节点的目标关联信息数据;使用画布对目标关联信息数据进行渲染,并对渲染后的画布进行可视化展示。可以利用图数据库来存储海量数据的关联信息数据,并基于外部的关联图谱分析请求,以查询相应的关联信息数据并向用户展示,故本发明实施例能够应对复杂关联图谱分析的处理。
2、本发明实施例中,通过使用图数据库,可以弥补传统关系型数据库对于描述具有丰富关系的实体不堪重负的问题,对前端sigma组件对图节点和边的渲染进行了新的改进,从而为用户对目标节点的关系路径分析提供了良好的展示和操作。图谱分析提供了新的简单易用的交互式探索分析,提高分析效率,减少用户的认知负担。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个······”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (2)
1.一种基于海量数据的关系处理方法,其特征在于,使用图数据库存储海量数据的关联信息数据;还包括:
S1:在监测到外部设置的至少一个节点、针对所述至少一个节点的分析请求类型时,根据所述分析请求类型,利用图遍历语言从所述图数据库中查询所述至少一个节点的目标关联信息数据;
S2:使用画布对所述目标关联信息数据进行渲染,并对渲染后的所述画布进行可视化展示;
所述S1包括:
A1:在监测到外部通过路径分析面板而设置有第一节点和第二节点,并触发工具栏中的路径分析请求按钮时,执行A2;
A2:在预设时间段内,利用图遍历语言从所述图数据库中,查询所述第一节点和所述第二节点间的第一数量的关联路径,其中,
所述第一数量为整数;
所述第一数量的关联路径中的每一个关联路径,均为所述第一节点和所述第二节点间的最短关联路径;
所述第一数量的关联路径中的每一个关联路径均包括:总计至少两个节点,该至少两个节点包括所述第一节点和所述第二节点,该至少两个节点不包括相重复的节点,且该至少两个节点的个数不大于预设节点数;
所述A1的执行方为前端,所述A2的执行方为后端,且所述预设节点数和所述预设时间段均设置于所述后端中;
所述S1包括:
A3:在监测到外部通过关联分析面板而设置有至少两个节点,并触发工具栏中的关联分析请求按钮时,执行A4;
A4:针对设置的至少两个节点中的任意两个节点均执行:在预设时间段内,利用图遍历语言从所述图数据库中,查询当前两个节点间的第二数量的关联路径,其中,
所述第二数量为整数;
所述第二数量的关联路径中的每一个关联路径均包括:总计至少两个节点,该至少两个节点包括所述当前两个节点,该至少两个节点不包括相重复的节点,且该至少两个节点的个数不大于预设节点数;
所述A3的执行方为前端,所述A4的执行方为后端,且所述预设节点数和所述预设时间段均设置于所述后端中;
所述S1包括:
A5:在监测到外部通过关联反查面板而设置有一目的节点,并触发所述目的节点的任一关联反查请求按钮时,执行A6;
A6:在预设时间段内,利用图遍历语言从所述图数据库中,查询针对所述目的节点的第三数量的关联路径,其中,
所述第三数量为整数;
所述第三数量的关联路径中的每一个关联路径均仅包括两个节点,且该两个节点中的所述目的节点与另一节点间的关联关系与所述关联反查请求按钮相对应;
所述预设时间段均设置于所述后端中;
所述目标关联信息数据包括:第四数量的目标关联路径;
所述第四数量为整数;
所述S2包括:将所述第四数量的目标关联路径封装为可识别的数据模型,并将所述数据模型渲染至当前的画布中,以使渲染后的所述画布中,每一个所述目标关联路径突出展示,并对渲染后的所述画布进行可视化展示。
2.一种基于海量数据的关系处理系统,其特征在于,包括:
前端,用于在监测到外部设置的至少一个节点、针对所述至少一个节点的分析请求类型时,触发后端;使用画布对所述后端返回的所述至少一个节点的目标关联信息数据进行渲染,并对渲染后的所述画布进行可视化展示;
所述后端,用于使用图数据库存储海量数据的关联信息数据;根据所述分析请求类型,利用图遍历语言从所述图数据库中查询所述至少一个节点的目标关联信息数据;
所述前端,具体用于在监测到外部通过路径分析面板而设置有第一节点和第二节点,并触发工具栏中的路径分析请求按钮时,触发所述后端;
所述后端,具体用于在预设时间段内,利用图遍历语言从所述图数据库中,查询所述第一节点和所述第二节点间的第一数量的关联路径,其中,
所述第一数量为整数;
所述第一数量的关联路径中的每一个关联路径,均为所述第一节点和所述第二节点间的最短关联路径;
所述第一数量的关联路径中的每一个关联路径均包括:总计至少两个节点,该至少两个节点包括所述第一节点和所述第二节点,该至少两个节点不包括相重复的节点,且该至少两个节点的个数不大于预设节点数;
所述预设节点数和所述预设时间段均设置于所述后端中;
所述前端,具体用于在监测到外部通过关联分析面板而设置有至少两个节点,并触发工具栏中的关联分析请求按钮时,触发所述后端;
所述后端,具体用于针对设置的至少两个节点中的任意两个节点均执行:在预设时间段内,利用图遍历语言从所述图数据库中,查询当前两个节点间的第二数量的关联路径,其中,
所述第二数量为整数;
所述第二数量的关联路径中的每一个关联路径均包括:总计至少两个节点,该至少两个节点包括所述当前两个节点,该至少两个节点不包括相重复的节点,且该至少两个节点的个数不大于预设节点数;
所述预设节点数和所述预设时间段均设置于所述后端中;
所述前端,具体用于在监测到外部通过关联反查面板而设置有一目的节点,并触发所述目的节点的任一关联反查请求按钮时,触发所述后端;
所述后端,具体用于在预设时间段内,利用图遍历语言从所述图数据库中,查询针对所述目的节点的第三数量的关联路径,其中,
所述第三数量为整数;
所述第三数量的关联路径中的每一个关联路径均仅包括两个节点,且该两个节点中的所述目的节点与另一节点间的关联关系与所述关联反查请求按钮相对应;
所述预设时间段均设置于所述后端中;
所述目标关联信息数据包括:第四数量的目标关联路径;
所述第四数量为整数;
所述前端,具体用于将所述第四数量的目标关联路径封装为可识别的数据模型,并将所述数据模型渲染至当前的画布中,以使渲染后的所述画布中,每一个所述目标关联路径突出展示,并对渲染后的所述画布进行可视化展示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810549620.9A CN108829783B (zh) | 2018-05-31 | 2018-05-31 | 一种基于海量数据的关系处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810549620.9A CN108829783B (zh) | 2018-05-31 | 2018-05-31 | 一种基于海量数据的关系处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108829783A CN108829783A (zh) | 2018-11-16 |
CN108829783B true CN108829783B (zh) | 2021-09-28 |
Family
ID=64147212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810549620.9A Active CN108829783B (zh) | 2018-05-31 | 2018-05-31 | 一种基于海量数据的关系处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108829783B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109558399B (zh) * | 2018-11-22 | 2021-06-29 | 北京邮电大学 | 一种数据存储方法及装置 |
CN111611322B (zh) * | 2019-02-25 | 2024-04-09 | 京东科技控股股份有限公司 | 一种用户信息关联的方法及系统 |
CN111800481B (zh) * | 2020-06-18 | 2022-11-22 | 广州图凌云科技有限公司 | 基于互联网的网络互动方法、装置及服务器 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104007948A (zh) * | 2014-05-23 | 2014-08-27 | 广东威创视讯科技股份有限公司 | 基于三维gis海量数据分布式计算可视化显示的方法及装置 |
CN104899258A (zh) * | 2015-05-19 | 2015-09-09 | 重庆大学 | 面向海量文献信息可交互可视化分析系统架构 |
CN106528757A (zh) * | 2016-11-03 | 2017-03-22 | 北京中安智达科技有限公司 | 一种面向大数据的关系分析展示方法 |
CN107870911A (zh) * | 2016-09-23 | 2018-04-03 | 腾讯科技(深圳)有限公司 | 一种数据可视化展示方法和设备 |
-
2018
- 2018-05-31 CN CN201810549620.9A patent/CN108829783B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104007948A (zh) * | 2014-05-23 | 2014-08-27 | 广东威创视讯科技股份有限公司 | 基于三维gis海量数据分布式计算可视化显示的方法及装置 |
CN104899258A (zh) * | 2015-05-19 | 2015-09-09 | 重庆大学 | 面向海量文献信息可交互可视化分析系统架构 |
CN107870911A (zh) * | 2016-09-23 | 2018-04-03 | 腾讯科技(深圳)有限公司 | 一种数据可视化展示方法和设备 |
CN106528757A (zh) * | 2016-11-03 | 2017-03-22 | 北京中安智达科技有限公司 | 一种面向大数据的关系分析展示方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108829783A (zh) | 2018-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10514827B2 (en) | Resequencing actionable task structures for transforming data | |
US9760612B2 (en) | Graphic representations of data relationships | |
KR102330547B1 (ko) | 보고 생성 방법 | |
CN110245270A (zh) | 基于图模型的数据血缘关系存储方法、系统、介质和设备 | |
US8819592B2 (en) | Sparse dynamic selection trees | |
CN109033260B (zh) | 基于rdf的知识图谱交互式可视化查询方法 | |
US8316323B2 (en) | Breadcrumb navigation through heirarchical structures | |
US10481766B2 (en) | Interfaces and methods for generating and applying actionable task structures | |
US11294645B2 (en) | Visual virtual programming machine for real-time interactive creation, playback, execution, inspection and manipulation of programming elements | |
US20120047483A1 (en) | Smart Web Service Discovery | |
CN108829783B (zh) | 一种基于海量数据的关系处理方法及系统 | |
Liebig et al. | OntoTrack: Combining browsing and editing with reasoning and explaining for OWL Lite ontologies | |
JP2000194466A (ja) | ツリ―構造におけるナビゲ―ト方法およびシステム | |
Harrison et al. | A review of formalisms for describing interactive behaviour | |
US9015608B2 (en) | Regenerating a user interface area | |
CN108710693A (zh) | 一种数据可视化的方法及装置 | |
North et al. | Visualization schemas for flexible information visualization | |
US20140130008A1 (en) | Generating information models | |
US20230185797A1 (en) | Systems and methods for generation and display of query visualizations | |
Li et al. | amAssist: In-IDE ambient search of online programming resources | |
US20180253466A1 (en) | Trie-structure formulation and navigation for joining | |
US20120197870A1 (en) | Transforming entity and relation data using a proxy engine | |
US10365808B2 (en) | Metadata-based navigation in semantic zoom environment | |
Cockburn et al. | Hidden messages: evaluating the efficiency of code elision in program navigation | |
Burkhardt et al. | Towards process-oriented Information Visualization for supporting users |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210908 Address after: 271000 Langchao science and Technology Park, 527 Dongyue street, Tai'an City, Shandong Province Applicant after: INSPUR SOFTWARE Co.,Ltd. Address before: 250100 Ji'nan hi tech Zone No. 2877, Shandong Province Applicant before: INSPUR GROUP Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |