CN111814001B - 反馈信息的方法和装置 - Google Patents
反馈信息的方法和装置 Download PDFInfo
- Publication number
- CN111814001B CN111814001B CN201910290003.6A CN201910290003A CN111814001B CN 111814001 B CN111814001 B CN 111814001B CN 201910290003 A CN201910290003 A CN 201910290003A CN 111814001 B CN111814001 B CN 111814001B
- Authority
- CN
- China
- Prior art keywords
- index value
- graph database
- determining
- recorded
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 32
- 238000004364 calculation method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种反馈信息的方法和装置,属于数据处理领域。所述方法包括:每当达到预设的统计周期时,根据图数据库的全量数据,确定所述图数据库的指标值,基于当前确定的指标值,更新记录的指标值;在每个统计周期内,每经过预设时长时,获取所述图数据库在所述预设时长内的增量数据,根据所述增量数据和当前记录的指标值,确定所述图数据库当前的指标值,基于当前确定的指标值,更新记录的指标值;当接收到目标设备发送的指标值获取请求时,基于当前记录的指标值,对所述指标值获取请求进行反馈。采用本申请,可以提高反馈的效率。
Description
技术领域
本申请涉及数据处理领域,特别涉及一种反馈信息的方法和装置。
背景技术
图数据库是一种非关系型数据库,它应用图形理论存储实体之间的关系信息,以社会网络中人与人之间的关系为例,在图数据库中,每个人被表示为一个节点,人与人之间的关系用节点与节点之间的边来表示。而如果用关系型数据库存储人与人之间的关系数据,其存储效果并不好,具有查询复杂、查询缓慢、超出预期等缺点,而图数据库的独特设计恰恰弥补了这个缺陷。
在某些使用场景下,用户需要了解图数据库的一些固定的指标值,如图数据库中的所有图数据的总节点数、总边数、每个节点的出度以及入度等。图数据库每次都需要临时计算这些指标,且每次计算均需要使用图数据库中的全量数据,计算的数据量较大,计算耗时较长,使得向用户反馈的效率较低。
发明内容
为了解决现有技术的问题,本申请实施例提供了一种反馈信息的方法和装置。所述技术方案如下:
第一方面,提供了一种反馈信息的方法,所述方法包括:
每当达到预设的统计周期时,根据图数据库的全量数据,确定所述图数据库的指标值,基于当前确定的指标值,更新记录的指标值;
在每个统计周期内,每经过预设时长时,获取所述图数据库在所述预设时长内的增量数据,根据所述增量数据和当前记录的指标值,确定所述图数据库当前的指标值,基于当前确定的指标值,更新记录的指标值;
当接收到目标设备发送的指标值获取请求时,基于当前记录的指标值,对所述指标值获取请求进行反馈。
可选地,所述指标值包括总节点数、总边数、超级节点信息、网络密度、最大出度节点信息、最大入度节点信息、度分布、连通图数目以及最大连通图的节点数中的一种或多种,其中,所述超级节点信息为边数目超过预设阈值的节点的信息。
可选地,所述根据所述增量数据和当前记录的指标值,确定所述图数据库当前的指标值,包括:
根据所述增量数据,确定所述增量数据对应的指标值增量;
根据所述指标值增量以及当前记录的指标值,确定所述图数据库当前的指标值。
可选地,所述方法还包括:
接收所述目标设备发送的业务统计函数,检测所述业务统计函数的合法性;
如果所述业务统计函数合法,则根据所述业务统计函数以及所述图数据库中的全量数据,确定所述业务统计函数对应的扩展指标值;
向所述目标设备发送所述扩展指标值。
可选地,所述基于当前记录的指标值,对所述指标值获取请求进行反馈,包括:
将当前记录的指标值发送给所述目标设备。
可选地,所述基于当前记录的指标值,对所述指标值获取请求进行反馈,包括:
确定接收所述指标值获取请求的第一时间点;
根据所述图数据库在所述第一时间点与最近一次更新指标值的时间点之间的时间段内的增量数据、以及当前记录的指标值,确定所述图数据库当前的指标值;
将当前确定的指标值发送给所述目标设备。
第二方面,提供了一种反馈信息的装置,所述装置包括:
更新模块,用于每当达到预设的统计周期时,根据图数据库的全量数据,确定所述图数据库的指标值,基于当前确定的指标值,更新记录的指标值;
所述更新模块,还用于在每个统计周期内,每经过预设时长时,获取所述图数据库在所述预设时长内的增量数据,根据所述增量数据和当前记录的指标值,确定所述图数据库当前的指标值,基于当前确定的指标值,更新记录的指标值;
反馈模块,用于当接收到目标设备发送的指标值获取请求时,基于当前记录的指标值,对所述指标值获取请求进行反馈。
可选地,所述指标值包括总节点数、总边数、超级节点信息、网络密度、最大出度节点信息、最大入度节点信息、度分布、连通图数目以及最大连通图的节点数中的一种或多种,其中,所述超级节点信息为边数目超过预设阈值的节点的信息。
可选地,所述更新模块,用于:
根据所述增量数据,确定所述增量数据对应的指标值增量;
根据所述指标值增量以及当前记录的指标值,确定所述图数据库当前的指标值。
可选地,所述装置还包括:
检测模块,用于接收所述目标设备发送的业务统计函数,检测所述业务统计函数的合法性;
确定模块,用于如果所述业务统计函数合法,则根据所述业务统计函数以及所述图数据库中的全量数据,确定所述业务统计函数对应的扩展指标值;
所述反馈模块,还用于向所述目标设备发送所述扩展指标值。
可选地,所述反馈模块,用于:
将当前记录的指标值发送给所述目标设备。
可选地,所述反馈模块,用于:
当接收到目标设备发送的指标值获取请求时,确定接收所述指标值获取请求的第一时间点;
根据所述图数据库在所述第一时间点与最近一次更新指标值的时间点之间的时间段内的增量数据、以及当前记录的指标值,确定所述图数据库当前的指标值;
将当前确定的指标值发送给所述目标设备。
第三方面,提供了一种服务器,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如上述第一方面所述的反馈信息的方法。
第四方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如上述第一方面所述的反馈信息的方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
本申请实施例中,每当达到预设的统计周期时,根据图数据库的全量数据,确定图数据库的指标值,基于当前确定的指标值,更新记录的指标值;在每个统计周期内,每经过预设时长时,获取图数据库在预设时长内的增量数据,根据增量数据和当前记录的指标值,确定图数据库当前的指标值,基于当前确定的指标值,更新记录的指标值;当接收到目标设备发送的指标值获取请求时,基于当前记录的指标值,对指标值获取请求进行反馈。这样,服务器可以预先计算出指标值,无需在用户请求时临时计算指标量,因此,向用户反馈的效率较高。且无需每次都根据全量数据确定指标值,根据增量数据计算指标值处理的数据量较小,计算的耗时较短,使得计算的效率较高。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种反馈信息的方法的流程图;
图2是本申请实施例提供的一种反馈信息的方法的流程图;
图3是本申请实施例提供的一种反馈信息的方法的流程图;
图4是本申请实施例提供的一种反馈信息的方法的流程图;
图5是本申请实施例提供的一种反馈信息的装置的结构示意图;
图6是本申请实施例提供的一种反馈信息的装置的结构示意图;
图7是本申请实施例提供的一种服务器结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例提供了一种反馈信息的方法,该方法可以由服务器实现。其中,服务器是安装有图数据库的服务器。图数据库可以是Janusgraph(一种分布式图数据库),图数据库中存储有大量的图数据、OLAP(Online Analytical Processing,联机分析处理)类的任务、基于各指标值的业务和决策等,图数据库中的各指标值主要基于Spark框架以及Spark Graphx算法进行计算,Spark时专为大规模数据处理而设计的快速通用的计算引擎,可以用来构建大型的、低延迟的数据分析应用程序,Spark中数据组织结构抽象为RDD(Resilient Distributed Datasets,弹性分布式数据集),RDD是只读的记录分区的集合,可以看作是Spark的一个对象,表示不可变已分区的数据集。Spark Graphx是Spark框架中用于进行图数据计算的一个模块。
如图1所示,该方法的处理流程可以包括如下的步骤:
在步骤101中,每当达到预设的统计周期时,根据图数据库的全量数据,确定图数据库的指标值,基于当前确定的指标值,更新记录的指标值。
其中,指标值是待统计的每个指标的取值,指标可以技术人员是预先设定的,全量数据为图数据库存储的全部数据。
一种可能的实施方式中,图数据库中存储有大量的图数据,在某些使用场景下,用户可能需要了解图数据库的一些固定的指标值,如图数据库中的总节点数、总边数等,如果图数据库每次都临时计算这些指标值,计算的耗时较长,导致向用户反馈的效率较低。为了解决这个问题,申请人提出图概况信息的概念。图概况信息由多个指标值组成,服务器可以定时更新图概况信息中的各指标值,这样,服务器可以直接基于计算好的指标值对用户进行反馈。图概况信息对于了解网络中全体图数据具有重要意义,相关技术中,大多数图数据库中对于了解网络的图数据的分布,基本依靠开发人员或者运营人员根据直觉进行判断或者评估,很多情况下都不能提供准确的评判依据,图谱概况信息可以对图数据进行指标精确化、规范化的评估。
为了服务器可以定时更新图概况信息中的各指标,技术人员可以为服务器预先设定一个统计周期,每当检测到达到预设的统计周期,触发服务器获取图数据库中的全量数据。根据图概况信息中的每个指标值对应的统计方式以及全量数据,确定每个指标对应的当前最准确的指标值。根据当前确定的指标值,更新图概况信息中的各指标的指标值。这样,服务器可以根据该统计周期对图概况信息进行定时更新。
由于图数据库中全量数据过多,根据全量数据更新指标值的处理较为浪费时间和资源,因此,统计周期可以设置的较长一些,如30天。
上述指标值可以包括但不限于:总节点数、总边数、超级节点信息、网络密度、最大出度节点信息、最大入度节点信息、度分布、连通图数目以及最大连通图的节点数中的一种或多种,其中,连通图表示在当前图中任意两点均可以到达的子图,度为与一个顶点相关联的边的条数,对于有向图来说,一个顶点的度可以分为出度和入度。一个顶点的入度是与该顶点关联的各边中,以该顶点为终点的边数,出度是与该顶点关联的各边中,以该顶点为起点的边数。超级节点为边数目超过预设阈值的节点,超级节点信息可以是超级节点的个数、出度、入度等信息。
举个例子,在操作中,指标值可以如下表1所示,其中,key为参数名,value为参数值。
表1
其中,上表中的超级节点的集合存储格式可以是(vertexID,(入度,出度)),全体节点二阶的存储格式为(vertexID,二阶路径数量值),全体节点三阶的存储格式为(vertexID,三阶路径数量值)。上述图概况信息中连通图数目和最大连通图节点数采用的是图计算框架(Spark Graphx)进行计算,其它的指标值采用Spark进行计算,图数据可以存储在Janusgraph上。
在步骤102中,在每个统计周期内,每经过预设时长时,获取图数据库在预设时长内的增量数据,根据增量数据和当前记录的指标值,确定图数据库当前的指标值,基于当前确定的指标值,更新记录的指标值。
一种可能的实施方式中,在每个统计周期内,技术人员可以将一个周期时长平均分成多份,将每份时长确定为预设时长。每经过预设时长,触发服务器获取图数据库在预设时长内的增量数据以及当前记录的指标值。根据预设时长内的增量数据以及当前记录的指标值,确定图数据库中当前最准确的指标值,根据当前确定的指标值,更新图概况信息中记录的指标值。
对上述步骤101和102举个例子,统计周期为30天,预设时长为1天,如图2所示,从开启自动更新功能时开始计时,假设2010年1月1日00:00:00开始计时,服务器周期性检测是否达到统计周期,如果达到统计周期,假设到了2010年1月31日00:00:00,则获取全量数据,根据全量数据计算当前的指标值,并根据当前确定的指标值更新记录的指标值。如果没达到统计周期,则检测在统计周期中是否经过预设时长,假设到了2010年2月1日00:00:00,则在统计周期经过了预设时长,则获取在2010年1月31日00:00:00至2010年2月1日00:00:00这1天时间内的增量数据,根据增量数据以及在2010年1月31日00:00:00记录的指标值,计算2010年2月1日00:00:00当前的指标值,使用当前确定的指标值更新2010年1月31日00:00:00记录的指标值。根据上述步骤更新指标值后,可以将图概况信息进行持久化处理。这样,实现了定时根据全量数据更新指标值,保证了指标值的准确性。
可选地,上述根据增量数据和当前记录的指标值,确定图数据库当前的指标值的处理可以如下:根据增量数据,确定增量数据对应的指标值增量;根据指标值增量以及当前记录的指标值,确定图数据库当前的指标值。
需要说明的是,由于上述图概况信息的计算依赖于全量数据、当前记录的指标值以及增量数据,如图3所示,当服务器触发计算指标值操作时,服务器获取全量数据的RDD(Resilient Distributed Datasets,弹性分布式数据集),RDD是只读的记录分区的集合,可以看作是Spark的一个对象,它本身运行于内存中,读取数据是一个RDD、文件计算是一个RDD、结果集也是一个RDD。服务器确定是否进行Graphx计算类任务,即是否进行连通图数目和最大连通图节点数的指标值,如果是,则根据全量数据RDD,构造Graphx计算所需要的Graphx RDD,并计算指标值;如果不是,则直接计算指标值,确定图数据库当前的指标值。
可选地,服务器还支持根据用户传入的业务统计函数计算相应的指标值,相应的处理可以如下:接收目标设备发送的业务统计函数,检测业务统计函数的合法性;如果业务统计函数合法,则根据业务统计函数以及图数据库中的全量数据,确定业务统计函数对应的扩展指标值;向目标设备发送扩展指标值。
一种可能的实施方式中,上述方法中提到的指标值是与业务数据无关的指标值,如总节点数、总边数等,这样的指标值组成的图概况信息可以成为基础类图概况信息,这些指标值可以根据技术人员预先设定的计算方式自动确定。除此之外,根据图数据库中的图数据还可以计算与业务数据相关的指标值,这样的指标值可以成为扩展指标值,由扩展指标值组成的图概况信息可以成为扩展类图概况信息。扩展类图概况信息可以有图数据库使用开发者进行开发,对于扩展类图概况信息的计算,可以分为基于Spark框架的计算以及基于Spark Graphx框架的计算,Spark Graphx主要负责相关图计算的任务。
由于图数据在Janusgraph中存储时进行了复杂的压缩处理,为了提高图数据库对使用开发者的易用性,图数据库的扩展类图概况信息可以向用户提供较为简便的计算API(Application Programming Interface,应用程序编程接口),用户可以通过目标设备向服务器发送业务统计函数,如图4所示,服务器接收到业务统计函数后,检测业务统计函数的合法性,如果业务统计函数不合法,则向目标设备发送提示消息,使得目标设备向用户发出提示消息,提示用户重新传入合法的业务统计函数。如果业务统计函数合法,则根据业务统计函数以及全量数据,启动Pregel计算流程,构造Graphx需要的Graphx RDD,确定业务统计函数对应的扩展指标值,存储计算出的扩展指标值。然后,服务器向目标设备发送扩展指标值。这样,开发使用者不需要关注底层的存储结构,只需要传入相应的函数,即可得到想要的指标值。
在步骤103中,当接收到目标设备发送的指标值获取请求时,基于当前记录的指标值,对指标值获取请求进行反馈。
一种可能的实施方式中,用户可以通过目标设备对图数据库中的图概况信息进行查询,每次查询可以查询图概况信息中的一个或多个指标值。例如,用户查询某公司的人员来往信息,则可以在图数据库中查询总节点数、总边数、连通图数目等指标值,则用户可以在终端上进行相应的查询操作,通过目标设备向服务器发起指标值获取请求,服务器获取到指标值获取请求后,根据指标值获取请求中的指标值标识,确定对应的指标值,根据确定出的指标值对目标设备发送的指标值获取请求进行反馈。
可选地,上述基于当前记录的指标值,对指标值获取请求进行反馈的处理可以包括:将当前记录的指标值发送给目标设备。
可选地,为了使用户得到的指标值更准确,在服务器接收到目标设备发送的指标值获取请求时,可以临时计算指标值,相应的处理可以如下:确定接收指标值获取请求的第一时间点;根据图数据库在第一时间点与最近一次更新指标值的时间点之间的时间段内的增量数据、以及当前记录的指标值,确定图数据库当前的指标值;将当前确定的指标值发送给目标设备。
一种可能的实施方式中,为了使用户得到的指标值更准确,在服务器接收到指标值获取请求时,确定接收到指标值获取请求的时间点(可称为第一时间点)。服务器确定最近一次更新指标值的时间点(可称为第二时间点),在增量日志中查询第一时间点至第二时间点之间的时间段内的增量数据,并获取这段时间段内的增量数据,计算该增量数据对应的指标值增量,获取当前记录的指标值,根据指标值增量以及当前记录的指标值,确定当前的指标值。服务器将当前计算的指标值发送给目标设备。这样,用户获取的指标值的准确性较高。
本申请实施例中,每当达到预设的统计周期时,根据图数据库的全量数据,确定图数据库的指标值,基于当前确定的指标值,更新记录的指标值;在每个统计周期内,每经过预设时长时,获取图数据库在预设时长内的增量数据,根据增量数据和当前记录的指标值,确定图数据库当前的指标值,基于当前确定的指标值,更新记录的指标值;当接收到目标设备发送的指标值获取请求时,基于当前记录的指标值,对指标值获取请求进行反馈。这样,服务器可以预先计算出指标值,无需在用户请求时临时计算指标量,因此,向用户反馈的效率较高。且无需每次都根据全量数据确定指标值,根据增量数据计算指标值处理的数据量较小,计算的耗时较短,使得计算的效率较高。
基于相同的技术构思,本申请实施例还提供了一种反馈信息的装置,该装置可以为上述实施例中的服务器,如图5所示,该装置包括:更新模块510以及反馈模块520。
更新模块510,被配置为每当达到预设的统计周期时,根据图数据库的全量数据,确定所述图数据库的指标值,基于当前确定的指标值,更新记录的指标值;
所述更新模块510,还被配置为在每个统计周期内,每经过预设时长时,获取所述图数据库在所述预设时长内的增量数据,根据所述增量数据和当前记录的指标值,确定所述图数据库当前的指标值,基于当前确定的指标值,更新记录的指标值;
反馈模块520,被配置为当接收到目标设备发送的指标值获取请求时,基于当前记录的指标值,对所述指标值获取请求进行反馈。
可选地,所述指标值包括总节点数、总边数、超级节点信息、网络密度、最大出度节点信息、最大入度节点信息、度分布、连通图数目以及最大连通图的节点数中的一种或多种,其中,所述超级节点信息为边数目超过预设阈值的节点的信息。
可选地,所述更新模块510,被配置为:
根据所述增量数据,确定所述增量数据对应的指标值增量;
根据所述指标值增量以及当前记录的指标值,确定所述图数据库当前的指标值。
可选地,如图6所示,所述装置还包括:
检测模块530,被配置为接收所述目标设备发送的业务统计函数,检测所述业务统计函数的合法性;
确定模块540,被配置为如果所述业务统计函数合法,则根据所述业务统计函数以及所述图数据库中的全量数据,确定所述业务统计函数对应的扩展指标值;
所述反馈模块520,还被配置为向所述目标设备发送所述扩展指标值。
可选地,所述反馈模块520,被配置为:
将当前记录的指标值发送给所述目标设备。
可选地,所述反馈模块520,被配置为:
当接收到目标设备发送的指标值获取请求时,确定接收所述指标值获取请求的第一时间点;
根据所述图数据库在所述第一时间点与最近一次更新指标值的时间点之间的时间段内的增量数据、以及当前记录的指标值,确定所述图数据库当前的指标值;
将当前确定的指标值发送给所述目标设备。
本申请实施例中,每当达到预设的统计周期时,根据图数据库的全量数据,确定图数据库的指标值,基于当前确定的指标值,更新记录的指标值;在每个统计周期内,每经过预设时长时,获取图数据库在预设时长内的增量数据,根据增量数据和当前记录的指标值,确定图数据库当前的指标值,基于当前确定的指标值,更新记录的指标值;当接收到目标设备发送的指标值获取请求时,基于当前记录的指标值,对指标值获取请求进行反馈。这样,服务器可以预先计算出指标值,无需在用户请求时临时计算指标量,因此,向用户反馈的效率较高。且无需每次都根据全量数据确定指标值,根据增量数据计算指标值处理的数据量较小,计算的耗时较短,使得计算的效率较高。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
需要说明的是:上述实施例提供的反馈信息的装置在反馈信息时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的反馈信息的装置与反馈信息的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图7是本申请实施例提供的一种计算机设备的结构示意图,该计算机设备可以是上述实施例中的服务器。该计算机设备700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)701和一个或一个以上的存储器702,其中,所述存储器702中存储有至少一条指令,所述至少一条指令由所述处理器701加载并执行以实现上述反馈信息的方法。
在示例性实施例中,还提供了一种计算机可读存储介质,存储介质中存储有至少一条指令,至少一条指令由处理器加载并执行以实现上述实施例中的反馈信息的方法。例如,所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本申请实施例中,每当达到预设的统计周期时,根据图数据库的全量数据,确定图数据库的指标值,基于当前确定的指标值,更新记录的指标值;在每个统计周期内,每经过预设时长时,获取图数据库在预设时长内的增量数据,根据增量数据和当前记录的指标值,确定图数据库当前的指标值,基于当前确定的指标值,更新记录的指标值;当接收到目标设备发送的指标值获取请求时,基于当前记录的指标值,对指标值获取请求进行反馈。这样,服务器可以预先计算出指标值,无需在用户请求时临时计算指标量,因此,向用户反馈的效率较高。且无需每次都根据全量数据确定指标值,根据增量数据计算指标值处理的数据量较小,计算的耗时较短,使得计算的效率较高。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (8)
1.一种反馈信息的方法,其特征在于,所述方法包括:
每当达到预设的统计周期时,根据图数据库的全量数据,确定所述图数据库的指标值,基于当前确定的指标值,更新记录的指标值,其中,所述指标值包括总节点数、总边数、超级节点信息、网络密度、最大出度节点信息、最大入度节点信息、度分布、连通图数目以及最大连通图的节点数中的一种或多种,所述超级节点信息为边数目超过预设阈值的节点的信息;
在每个统计周期内,每经过预设时长时,获取所述图数据库在所述预设时长内的增量数据,根据所述增量数据和当前记录的指标值,确定所述图数据库当前的指标值,基于当前确定的指标值,更新记录的指标值;
当接收到目标设备发送的指标值获取请求时,基于当前记录的指标值,对所述指标值获取请求进行反馈;
当接收所述目标设备发送的业务统计函数时,检测所述业务统计函数的合法性,如果所述业务统计函数合法,则根据所述业务统计函数以及所述图数据库中的全量数据,确定所述业务统计函数对应的扩展指标值,向所述目标设备发送所述扩展指标值。
2.根据权利要求1所述的方法,其特征在于,所述根据所述增量数据和当前记录的指标值,确定所述图数据库当前的指标值,包括:
根据所述增量数据,确定所述增量数据对应的指标值增量;
根据所述指标值增量以及当前记录的指标值,确定所述图数据库当前的指标值。
3.根据权利要求1所述的方法,其特征在于,所述基于当前记录的指标值,对所述指标值获取请求进行反馈,包括:
将当前记录的指标值发送给所述目标设备。
4.根据权利要求1所述的方法,其特征在于,所述基于当前记录的指标值,对所述指标值获取请求进行反馈,包括:
确定接收所述指标值获取请求的第一时间点;
根据所述图数据库在所述第一时间点与最近一次更新指标值的时间点之间的时间段内的增量数据、以及当前记录的指标值,确定所述图数据库当前的指标值;
将当前确定的指标值发送给所述目标设备。
5.一种获取信息的装置,其特征在于,所述装置包括:
更新模块,用于每当达到预设的统计周期时,根据图数据库的全量数据,确定所述图数据库的指标值,基于当前确定的指标值,更新记录的指标值,其中,所述指标值包括总节点数、总边数、超级节点信息、网络密度、最大出度节点信息、最大入度节点信息、度分布、连通图数目以及最大连通图的节点数中的一种或多种,所述超级节点信息为边数目超过预设阈值的节点的信息;
所述更新模块,还用于在每个统计周期内,每经过预设时长时,获取所述图数据库在所述预设时长内的增量数据,根据所述增量数据和当前记录的指标值,确定所述图数据库当前的指标值,基于当前确定的指标值,更新记录的指标值;
反馈模块,用于当接收到目标设备发送的指标值获取请求时,基于当前记录的指标值,对所述指标值获取请求进行反馈;
检测模块,用于当接收所述目标设备发送的业务统计函数时,检测所述业务统计函数的合法性;
确定模块,用于如果所述业务统计函数合法,则根据所述业务统计函数以及所述图数据库中的全量数据,确定所述业务统计函数对应的扩展指标值;
所述反馈模块,还用于向所述目标设备发送所述扩展指标值。
6.根据权利要求5所述的装置,其特征在于,所述更新模块,用于:
根据所述增量数据,确定所述增量数据对应的指标值增量;
根据所述指标值增量以及当前记录的指标值,确定所述图数据库当前的指标值。
7.根据权利要求5所述的装置,其特征在于,所述反馈模块,用于:
将当前记录的指标值发送给所述目标设备。
8.根据权利要求5所述的装置,其特征在于,所述反馈模块,用于:
当接收到目标设备发送的指标值获取请求时,确定接收所述指标值获取请求的第一时间点;
根据所述图数据库在所述第一时间点与最近一次更新指标值的时间点之间的时间段内的增量数据、以及当前记录的指标值,确定所述图数据库当前的指标值;
将当前确定的指标值发送给所述目标设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910290003.6A CN111814001B (zh) | 2019-04-11 | 2019-04-11 | 反馈信息的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910290003.6A CN111814001B (zh) | 2019-04-11 | 2019-04-11 | 反馈信息的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111814001A CN111814001A (zh) | 2020-10-23 |
CN111814001B true CN111814001B (zh) | 2024-05-10 |
Family
ID=72843883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910290003.6A Active CN111814001B (zh) | 2019-04-11 | 2019-04-11 | 反馈信息的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111814001B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114564618A (zh) * | 2020-11-27 | 2022-05-31 | 亚信科技(中国)有限公司 | 面向海量图数据的超级节点查找方法、装置、介质及设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101557316A (zh) * | 2009-05-14 | 2009-10-14 | 阿里巴巴集团控股有限公司 | 一种更新统计数据的方法和系统 |
US8601025B1 (en) * | 2011-09-28 | 2013-12-03 | Emc Corporation | Techniques using a bidirectional graph for reporting to clients |
CN104615677A (zh) * | 2015-01-20 | 2015-05-13 | 同济大学 | 一种图数据存取方法及系统 |
CN106598823A (zh) * | 2016-10-19 | 2017-04-26 | 同盾科技有限公司 | 一种网络行为特征的差量计算方法和系统 |
CN107391533A (zh) * | 2017-04-18 | 2017-11-24 | 阿里巴巴集团控股有限公司 | 生成图形数据库查询结果的方法及装置 |
CN108090165A (zh) * | 2017-12-13 | 2018-05-29 | 美林数据技术股份有限公司 | 一种基于嵌入式图数据库的图谱变化差异的获取方法 |
CN109087107A (zh) * | 2018-07-04 | 2018-12-25 | 恒生电子股份有限公司 | 基于分布式内存数据库的实时监控方法、系统及电子设备 |
CN109241355A (zh) * | 2018-06-20 | 2019-01-18 | 中南大学 | 有向无环图的可达性查询方法、系统及可读存储介质 |
CN109299090A (zh) * | 2018-09-03 | 2019-02-01 | 平安科技(深圳)有限公司 | 基金知识推理方法、系统、计算机设备和存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10152559B2 (en) * | 2013-02-28 | 2018-12-11 | Kyoto University | Relational graph database system |
EP3217293B1 (en) * | 2014-11-07 | 2019-05-08 | Hitachi, Ltd. | Method for retrieving encrypted graph, system for retrieving encrypted graph, and computer |
US10915519B2 (en) * | 2016-09-09 | 2021-02-09 | Salesforce.Com, Inc. | Processing offline updates to records of a database system |
US10803034B2 (en) * | 2016-11-23 | 2020-10-13 | Amazon Technologies, Inc. | Global column indexing in a graph database |
US20180144061A1 (en) * | 2016-11-23 | 2018-05-24 | Linkedin Corporation | Edge store designs for graph databases |
US10445321B2 (en) * | 2017-02-21 | 2019-10-15 | Microsoft Technology Licensing, Llc | Multi-tenant distribution of graph database caches |
-
2019
- 2019-04-11 CN CN201910290003.6A patent/CN111814001B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101557316A (zh) * | 2009-05-14 | 2009-10-14 | 阿里巴巴集团控股有限公司 | 一种更新统计数据的方法和系统 |
US8601025B1 (en) * | 2011-09-28 | 2013-12-03 | Emc Corporation | Techniques using a bidirectional graph for reporting to clients |
CN104615677A (zh) * | 2015-01-20 | 2015-05-13 | 同济大学 | 一种图数据存取方法及系统 |
CN106598823A (zh) * | 2016-10-19 | 2017-04-26 | 同盾科技有限公司 | 一种网络行为特征的差量计算方法和系统 |
CN107391533A (zh) * | 2017-04-18 | 2017-11-24 | 阿里巴巴集团控股有限公司 | 生成图形数据库查询结果的方法及装置 |
CN108090165A (zh) * | 2017-12-13 | 2018-05-29 | 美林数据技术股份有限公司 | 一种基于嵌入式图数据库的图谱变化差异的获取方法 |
CN109241355A (zh) * | 2018-06-20 | 2019-01-18 | 中南大学 | 有向无环图的可达性查询方法、系统及可读存储介质 |
CN109087107A (zh) * | 2018-07-04 | 2018-12-25 | 恒生电子股份有限公司 | 基于分布式内存数据库的实时监控方法、系统及电子设备 |
CN109299090A (zh) * | 2018-09-03 | 2019-02-01 | 平安科技(深圳)有限公司 | 基金知识推理方法、系统、计算机设备和存储介质 |
Non-Patent Citations (7)
Title |
---|
Akshay Kansal et al..A Scalable Graph-Coarsening Based Index for Dynamic Graph Databases.《CIKM '17: Proceedings of the 2017 ACM on Conference on Information and Knowledge Management》.2017,第207-216页. * |
Efficient Relational Techniques for Processing Graph Queries;Sherif Sakr et al.;《Journal of Computer Science and Technology》;第25卷(第6期);第1237-1255页 * |
一种Spark环境下的高效率大规模图数据处理机制;杨天晴等;《计算机应用研究》;第33卷(第12期);第3730-3747页 * |
图数据库中的相似性搜索算法研究与应用;孟均平等;《计算机应用研究》;第27卷(第5期);第1813-1819页 * |
图结构数据的可视化分析系统的设计与实现;孙伟伟;《中国优秀硕士学位论文全文数据库信息科技辑》(第第2期期);第22-28页 * |
基于Neo4j 的网络化协作加工设备资源建模方法研究;赵旭等;《现代制造工程》(第2期);第55-63页 * |
基于Spark的数据库增量准实时同步;王浩等;《微型机与应用》;第35卷(第19期);第9-13页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111814001A (zh) | 2020-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111339200B (zh) | 一种基于数据库同步的数据校验方法及数据校验系统 | |
CN111352759B (zh) | 一种告警根因的判定方法及装置 | |
CN110457175B (zh) | 业务数据处理方法、装置、电子设备及介质 | |
US10592327B2 (en) | Apparatus, system, and method for analyzing logs | |
CN111177222A (zh) | 模型测试方法、装置及计算设备、存储介质 | |
CN109117440B (zh) | 一种元数据信息获取方法、系统和计算机可读存储介质 | |
CN105979532B (zh) | 一种业务处理系统的性能容量分析预警方法及装置 | |
CN112035415B (zh) | 针对用户访问数据的处理系统、方法、设备及存储介质 | |
CN109241084B (zh) | 数据的查询方法、终端设备及介质 | |
CN111314158B (zh) | 大数据平台监控方法、装置及设备、介质 | |
WO2017020725A1 (zh) | 一种数据检测方法及装置 | |
CN108366012B (zh) | 一种社交关系建立方法、装置及电子设备 | |
CN110147470B (zh) | 一种跨机房数据比对系统及方法 | |
CN110297746A (zh) | 一种数据处理方法及系统 | |
CN113242157B (zh) | 一种分布式处理环境下的集中式数据质量监测方法 | |
CN112181840A (zh) | 一种数据库状态的确定方法及装置、设备、存储介质 | |
CN116126843A (zh) | 一种数据质量评估方法、装置、电子设备和存储介质 | |
CN111814001B (zh) | 反馈信息的方法和装置 | |
CN109087107B (zh) | 基于分布式内存数据库的实时监控方法、系统及电子设备 | |
CN111800807A (zh) | 一种基站用户数量告警的方法及装置 | |
CN113778996A (zh) | 一种大数据流数据处理方法、装置、电子设备及存储介质 | |
CN111797181B (zh) | 用户职住地的定位方法、装置、控制设备及存储介质 | |
CN115329011A (zh) | 数据模型的构建方法、数据查询的方法、装置及存储介质 | |
CN110543509B (zh) | 用户访问数据的监控系统、方法、装置及电子设备 | |
CN106304122B (zh) | 一种业务数据分析方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |