CN111581049B - 分布式系统运行状态监测方法、装置、设备及存储介质 - Google Patents
分布式系统运行状态监测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111581049B CN111581049B CN202010269542.4A CN202010269542A CN111581049B CN 111581049 B CN111581049 B CN 111581049B CN 202010269542 A CN202010269542 A CN 202010269542A CN 111581049 B CN111581049 B CN 111581049B
- Authority
- CN
- China
- Prior art keywords
- key value
- module
- call
- calling
- distributed system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 137
- 238000012544 monitoring process Methods 0.000 title claims abstract description 56
- 238000012806 monitoring device Methods 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 22
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 101150086283 rpcA gene Proteins 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种分布式系统运行状态监测方法、装置、设备及存储介质,涉及互联网技术领域。具体实现方案为:获取分布式系统中第一模块发送的第一调用键值对,其中,所述第一调用键值对中包括第一关键码值及第一关键字值,所述第一关键码值,用于唯一表征与所述第一模块关联的第一调用,所述第一关键字值用于表征所述第一调用的总调用数据;根据所述第一关键字值、及预设的数据库中与所述第一关键码值对应的历史调用数据,确定所述第一模块当前的运行状态。由此,降低了分布式系统中调用数据占用的存储空间,降低了分布式系统的存储成本。
Description
技术领域
本申请涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及一种分布式系统运行状态监测方法、装置、设备及存储介质。
背景技术
随着计算机和互联网技术的不断发展,如今的互联网服务大多都是用分布式架构的服务系统来实现的。分布式系统中包括了多个服务子系统(或称为组件、模块、子服务器等),并部署在不同的服务器上,一个业务流程往往要跨越多个服务子系统进行多次服务调用才能完成。
随着分布式系统的规模越来越大,分布式系统的调用数据占用的存储空间也越来越大,如何降低分布式系统的调用数据占用的存储空间,对于降低分布式系统的存储成本具有重要意义。
发明内容
提供了一种分布式系统运行状态监测方法、装置、设备及存储介质,用于降低分布式系统的调用数据占用的存储空间,以降低分布式系统的存储成本。
根据第一方面,提供了一种分布式系统运行状态监测方法,包括:获取分布式系统中第一模块发送的第一调用键值对,其中,所述第一调用键值对中包括第一关键码值及第一关键字值,所述第一关键码值,用于唯一表征与所述第一模块关联的第一调用,所述第一关键字值用于表征所述第一调用的总调用数据;根据所述第一关键字值、及预设的数据库中与所述第一关键码值对应的历史调用数据,确定所述第一模块当前的运行状态。
根据第二方面,提供了一种分布式系统运行状态监测装置,包括:第一获取模块,用于获取分布式系统中第一模块发送的第一调用键值对,其中,所述第一调用键值对中包括第一关键码值及第一关键字值,所述第一关键码值,用于唯一表征与所述第一模块关联的第一调用,所述第一关键字值用于表征所述第一调用的总调用数据;第一确定模块,用于根据所述第一关键字值、及预设的数据库中与所述第一关键码值对应的历史调用数据,确定所述第一模块当前的运行状态。
根据第三方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面所述的分布式系统运行状态监测方法。
根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行第一方面所述的分布式系统运行状态监测方法。
根据本申请的技术,实现了将分布式系统中的调用数据按照关键码值进行聚合后存储,降低了分布式系统的调用数据占用的存储空间,进而降低了分布式系统的存储成本。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请第一实施例的分布式系统运行状态监测方法的流程示意图;
图2是根据本申请第二实施例的分布式系统运行状态监测方法的流程示意图;
图3是根据本申请第二实施例的分布式系统运行状态监测方法的示例图;
图4是根据本申请第三实施例的分布式系统运行状态监测方法的流程示意图;
图5是根据本申请第四实施例的分布式系统运行状态监测方法的流程示意图;
图6是根据本申请第四实施例的拓扑示例图;
图7是根据本申请第五实施例的分布式系统运行状态监测装置的结构示意图;
图8是根据本申请第六实施例的分布式系统运行状态监测装置的结构示意图;
图9是用来实现本申请实施例的分布式系统运行状态监测的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
可以理解的是,目前的分布式系统的远程过程调用中,每次执行调用过程时,都会保存当前的调用信息,比如,模块A通过模块B调用C后,会存储该调用的全局追踪标识、模块B调用模块C的链路标识、模块A调用模块B的链路标识、模块A调用模块B的链路与模块B调用模块C的链路的关系(比如模块A调用模块B的链路为模块B调用模块C的链路的父链路),及各调用的耗时等数据,模块A通过模块B调用模块D后,也会存储该调用的全局链路标识、模块A调用模块B的链路标识、模块B调用模块D的链路标识,模块A调用模块B的链路与模块B调用模块D的链路的关系,及各调用的耗时等数据,随着分布式系统的规模越来越大,这种方式的存储成本越来越高。
本申请为了降低分布式系统的存储成本,提出一种分布式系统运行状态监测方法,首先获取分布式系统中第一模块发送的第一调用键值对,其中,第一调用键值对中包括第一关键码值及第一关键字值,第一关键码值用于唯一表征与第一模块关联的第一调用,第一关键字值用于表征第一调用的总调用数据,然后根据第一关键字值及预设的数据库中与第一关键码值对应的历史调用数据,确定第一模块当前的运行状态。由此,实现了将分布式系统中的调用数据按照关键码值进行聚合后存储,降低了分布式系统中调用数据占用的存储空间,降低了分布式系统的存储成本,且实现了利用聚合后的数据对整个分布式系统中各模块的运行状态进行监测。
下面结合附图,对本申请提供的分布式系统运行状态监测方法、装置、电子设备及非瞬时计算机可读存储介质进行说明。
首先,结合附图,对本申请提供的分布式系统运行状态监测方法进行说明。
图1是根据本申请第一实施例的分布式系统运行状态监测方法的流程示意图。
如图1所示,本申请提供的分布式系统运行状态监测方法,包括:
步骤101,获取分布式系统中第一模块发送的第一调用键值对。
其中,第一调用键值对中包括第一关键码值及第一关键字值。
具体的,本申请提供的分布式系统运行状态监测方法,可以由本申请提供的分布式系统运行状态监测装置,以下简称监测装置执行,该装置可以被配置在电子设备中,以对分布式系统的运行状态进行监测。其中,电子设备可以是电脑、服务器等,本申请对此不作限制。
可以理解的是,分布式系统中,每次执行调用操作后,均会产生调用数据,比如,模块A调用模块B,对应的调用方法为a方法,耗时1毫秒(ms)等,本申请中,可以将各模块执行调用操作后产生的调用数据,利用调用键值对的方式进行存储,并发送至监测装置。
其中,调用键值对中的关键码值,用于将所有调用数据,以该关键码值进行聚合存储。调用键值对中与关键码值对应的关键字值,表征以该关键码值聚合后的总调用数据。其中,第一调用键值对中包括的第一关键码值,用于唯一表征与第一模块关联的第一调用,从而可以将调用数据中所有与第一模块关联的第一调用以第一关键码值进行聚合存储。第一关键字值,用于表征第一调用的总调用数据,其可以包括第一模块关联的第一调用的总耗时、第一模块关联的第一调用已被执行的总次数,第一模块每次执行第一调用的耗时,等等。其中,第一调用为第一模块关联的所有调用中的任一调用。
比如,模块A通过a方法调用模块B n次,共耗时T1,模块A通过b方法调用模块B m次,共耗时T2,则可以存储调用键值对X和调用键值对Y。其中,调用键值对X中的关键码值用于唯一表征模块A通过a方法调用模块B的调用,其可以包括模块A的标识“A”、调用方法a的标识“a”、模块A调用模块B的链路标识等数据,关键字值用于表征模块A通过a方法调用模块B的调用的总调用数据,可以包括n和T1;调用键值对Y中的关键码值用于唯一表征模块A通过b方法调用模块B的调用,其可以包括模块A的标识“A”、调用方法b的标识“b”、模块A调用模块B的链路标识等数据,关键字值用于表征模块A通过b方法调用模块B的调用的总调用数据,可以包括m和T2。
可以理解的是,分布式系统中,各模块都可以在每次执行调用操作后,将对应的调用数据以调用键值对的方式进行存储,并将调用键值对发送至监测装置,从而监测装置可以获取各模块发送的调用键值对。
步骤102,根据第一关键字值、及预设的数据库中与第一关键码值对应的历史调用数据,确定第一模块当前的运行状态。
其中,第一模块当前的运行状态,可以通过多种指标进行表征,比如可以通过第一模块正常执行第一调用的次数、每秒查询率、平均耗时等等任意指标,表征第一模块当前的运行状态。通过确定各模块的运行状态,可以确定整个分布式系统的运行情况是否异常、分布式系统的性能好坏。
本申请中,可以预先设置数据库,监测装置每获取到一个模块发送的调用键值对后,可以将调用键值对存储至预设的数据库,也就是说,预设的数据库中存储有各模块之前分别发送的所有调用键值对,从而监测装置获取第一模块当前发送的第一调用键值对后,可以根据第一调用键值对中的第一关键码值,以及预设的数据库中存储的与第一关键码值对应的历史调用数据,确定第一模块当前的运行状态。
举例来说,假设模块A之前已通过a方法调用模块B n次,共耗时T1,即,预设的数据库中已存储了模块A之前发送的调用键值,其中,调用键值对中的关键码值用于唯一表征模块A通过a方法调用模块B的调用过程,其包括模块A的标识“A”、调用方法a的标识“a”、模块A调用模块B的链路标识,关键字值包括n和T1。当前模块A再次通过a方法调用模块B,此次调用耗时t,即模块A再次向监测装置发送了调用键值对,其中,调用键值对中的关键码值包括模块A的标识“A”、调用方法a的标识“a”、模块A调用模块B的链路标识,关键字值包括n+1和T1+t。则监测装置可以根据n+1和T1+t,及预设的数据库中存储的n和T1,确定模块A执行n+1次模块A通过a方法调用模块B的调用过程的平均耗时(T1+t)/(n+1),模块A在T1时间内的每秒查询率n/T1,等等指标,以确定第一模块当前的运行状态。
本申请中,通过以调用键值对的方式存储调用数据,可以将各模块的调用数据,按照相同的关键码值进行聚合,相同的关键码值,可以仅存储聚合后的调用数据,因此,可以大幅度的降低分布式系统中调用数据占用的存储空间,降低分布式系统的存储成本。另外,由于本申请中将所有模块的调用数据以各模块执行的各调用分别对应的关键码值进行聚合,因此可以利用各模块当前发送的调用键值对和预设的数据库中存储的历史调用数据,确定各模块当前的运行状态,从而实现利用聚合后的数据对整个分布式系统中各模块的运行状态进行监测。
本申请提供的分布式系统运行状态监测方法,首先获取分布式系统中第一模块发送的第一调用键值对,其中,第一调用键值对中包括第一关键码值及第一关键字值,第一关键码值,用于唯一表征与第一模块关联的第一调用,第一关键字值用于表征第一调用的总调用数据,然后根据第一关键字值、及预设的数据库中与第一关键码值对应的历史调用数据,确定第一模块当前的运行状态。由此,实现了将分布式系统中的调用数据按照关键码值进行聚合后存储,降低了分布式系统的调用数据占用的存储空间,降低了分布式系统的存储成本。
通过上述分析可知,本申请中,可以根据第一关键字值、及预设的数据库中与第一关键码值对应的历史调用数据,确定第一模块当前的运行状态,而第一模块当前的运行状态,可以通过每秒查询率、平均耗时等指标进行表征,下面结合图2,对本申请提供的分布式系统运行状态监测方法中如何确定第一模块的每秒查询率、平均耗时等的方法进行说明。
图2是根据本申请第二实施例的分布式系统运行状态监测方法的流程示意图。
如图2所示,本申请提供的分布式系统运行状态监测方法,包括:
步骤201,获取分布式系统中第一模块发送的第一调用键值对。
其中,第一调用键值对中包括第一关键码值及第一关键字值。
可以理解的是,分布式系统中,每次执行调用操作后,均会产生调用数据,比如,模块A调用模块B,对应的调用方法为a方法,耗时1毫秒(ms)等,本申请中,可以将各模块执行调用操作后产生的调用数据,利用调用键值对的方式进行存储,并发送至监测装置。
其中,调用键值对中的关键码值,用于将所有调用数据,以该关键码值进行聚合存储。调用键值对中与关键码值对应的关键字值,表征以该关键码值聚合后的总调用数据。
其中,第一调用键值对中包括的第一关键码值,用于唯一表征与第一模块关联的第一调用,从而可以将调用数据中所有与第一模块关联的第一调用以第一关键码值进行聚合存储。本申请实施例中,第一调用键值对的关键码值,可以包括第一模块的标识、调用方法名、当前的第一链路标识(即Spanid)及对应的第一父链路标识(即Parentid)。
其中,第一模块的标识,用于唯一标识第一模块,其可以根据需要任意设置。
调用方法名,用于标识某个模块执行某次调用时对应的调用方法。第一关键码值中包括的调用方法名,用于标识第一模块执行本次第一调用时对应的调用方法名。
举例来说,以图3所示的模块A通过模块B调用模块C的链路为例,假设调用方法名为rpcA,模块A调用模块B的链路标识为queryA,模块B调用模块C的链路标识为queryB,模块C调用其它模块(图3中未示出)的链路标识为queryC,即,queryA为queryB的父链路,则模块B向监测装置发送的调用键值对中的关键码值可以包括:模块A的标识“A”,调用方法名:rpcA,链路标识:queryB,父链路标识:queryA。
第一关键字值,用于表征第一调用的总调用数据,其可以包括第一模块关联的第一调用的总耗时、第一调用已被执行的总次数等等。
其中,第一调用已被执行的总次数,为第一模块在执行本次第一调用之前,第一调用已被执行的总次数加1,第一调用的总耗时,为第一模块在执行本次第一调用之前,第一调用已被执行的总耗时,与本次第一调用被执行的总耗时的和。
比如,模块A之前已通过a方法调用了模块B n次,共耗时T1,本次模块A通过a方法再次调用模块B,耗时t1,则模块A发送的调用键值对中,关键码值可以包括模块A的标识“A”、调用方法a的标识“a”、模块A调用模块B的链路标识,关键字值可以包括n+1,T1+t1。
可以理解的是,分布式系统中,各模块都可以在每次执行调用操作后,将对应的调用数据以调用键值对的方式进行存储,并将调用键值对发送至监测装置,从而监测装置可以获取各模块发送的调用键值对。
步骤202,根据第一调用已被执行的总次数、第一调用的总耗时、及预设的数据库中与第一关键码值对应的历史调用总次数及历史总耗时,确定第一模块的每秒查询率、平均耗时及分位耗时。
可以理解的是,每秒查询率、平均耗时、分位耗时为确定整个分布式系统的运行情况是否异常、分布式系统的性能好坏等的重要指标。
本申请中,可以预先设置数据库,监测装置每获取到一个模块发送的调用键值对后,可以将调用键值对存储至预设的数据库,也就是说,预设的数据库中存储有各模块之前分别发送的所有调用键值对,从而监测装置获取第一模块当前发送的第一调用键值对后,可以根据第一调用键值对中的第一关键码值,在预设的数据库中查询是否包含与第一关键码值对应的历史调用总次数及历史总耗时。若包含,则表示第一模块之前执行过第一调用,从而监测装置可以根据第一关键字值中包括的第一调用已被执行的总次数、及第一调用的总耗时、预设的数据库中存储的与第一关键码值对应的历史调用总次数及历史总耗时,确定第一模块的每秒查询率、平均耗时及分位耗时。
其中,第一模块的每秒查询率(qps),可以为第一模块在预设时间内的每秒查询率,其中,预设时间,可以根据需要设置。
比如,假设第一模块发送的第一调用键值对中,第一关键字值包括第一调用已被执行的总次数N及第一调用的总耗时T,预设的数据库中,第一关键码值对应的历史总次数为N’,历史总耗时为T’。第一模块的每秒查询率可以为第一模块在T时间内的每秒查询率,此时,每秒查询率=N/T。或者,第一模块的每秒查询率可以为第一模块在本次执行第一调用的总耗时(即T-T’)内的每秒查询率,此时,每秒查询率=(N-N’)/(T-T’)。
第一模块的平均耗时,可以为第一模块执行预设次数的某调用时,每次调用的耗时,其中,预设次数,可以根据需要设置。
比如,假设第一模块发送的第一调用键值对中,第一关键字值包括第一调用已被执行的总次数N及第一调用的总耗时T,预设的数据库中,第一关键码值对应的历史总次数为N’,历史总耗时为T’。第一模块的平均耗时,可以为第一模块执行N次第一调用中每次调用的耗时,此时,平均耗时=T/N。或者,第一模块的平均耗时,可以为第一模块执行前N’次第一调用的平均耗时,此时,平均耗时=T’/N’。
可以理解的是,本申请中,关键字值中,除了包括某调用已被执行的总次数N及总耗时T外,还可以对耗时进行分桶,桶的长度可以根据需要设置,比如将0-50ms分到0号桶,将50-100ms分到1号桶,将100-150ms分到2号桶,直至将950-1000ms分到19号桶,0号桶中存储耗时在0-50ms的所有调用的耗时之和,1号桶存储耗时在50-100ms的所有调用的耗时之和,以此类推,19号桶存储耗时在950-1000ms的所有调用的耗时之和。
那么,在示例性实施例中,可以根据如下公式,确定第一模块的分位耗时Pm。
其中,m为分位值,比如,确定95分位耗时时,m=95;N为所有桶的第一调用次数的总和,也即第一关键字值中包括的第一调用已被执行的总次数;L为在m分位的第一调用所在的桶的左区间;Fb表示比L小的桶中存储的第一调用的次数;f为m所在桶中存储的第一调用的次数;i为每个桶的长度,比如,上述示例中的50。
举例来说,假设继续上述示例,需要确定耗时最高的5%的调用耗时,即95分位耗时,若所有桶的第一调用次数的总和为92次,95分位的第一调用所在的桶为19号桶,19号桶的左区间为950ms,耗时在0-950ms的所有第一调用的次数为90次,19号桶中存储的第一调用的次数为2次,每个桶的长度为50,则95分位耗时
需要说明的是,上述第一模块的每秒查询率、平均耗时、分位耗时,仅是示例性说明,在实际应用中,还可以根据第一调用已被执行的总次数、第一调用的总耗时、历史调用总次数、历史总耗时,确定能够表征第一模块当前的运行状态的其它指标,本申请对此不作限制。
需要说明的是,监测装置获取到某个模块发送的调用键值对后,若查询到预设的数据库中包含与该调用键值对中包括的关键码值对应的历史调用数据,则将预设的数据库中包含的该关键码值对应的历史调用数据,更新为该模块发送的调用键值对中,关键字值中包括的该模块关联的调用已被执行的总次数及总耗时,也就是说,预设的数据库中包含的第一关键码值对应的历史调用总次数及历史总耗时,即为第一模块最近一次发送的与该第一关键码值对应的关键字值中包括的,第一调用已被执行的总次数、及第一调用的总耗时。
可以理解的是,本申请中,通过在第一调用键值对的第一关键码值中包括第一模块的标识、调用方法名、当前的第一链路标识及对应的第一父链路标识,第一关键字值中包括第一调用已被执行的调用总次数及总耗时,使得第一调用键值对中能够包含第一模块的所有调用数据,以及第一模块的相关调用链路之间的父子关系,从而根据键值对中的上述信息,即可确定第一模块的每秒查询率、平均耗时、分位耗时等用于表征第一模块的运行状态的数据,实现对整个分布式系统中第一模块的运行状态的监测。
通过以调用键值对的方式存储调用数据,可以将各模块的调用数据,按照相同的关键码值进行聚合,相同的关键码值,可以仅存储聚合后的调用数据,因此,可以大幅度的降低分布式系统中调用数据的存储空间,降低分布式系统的存储成本,且本申请中,可以利用第一模块当前发送的调用键值对和预设的数据库中存储的与第一关键码值对应的历史调用总次数及历史总耗时,确定第一模块的每秒查询率、平均耗时及分位耗时等数据,从而实现了利用聚合后的数据,对第一模块的运行状态的监测,通过以同样的方式,监测各模块的运行状态,可以实现聚合后的数据对整个分布式系统中各模块的运行状态的监测。
本申请提供的分布式系统运行状态监测方法,首先获取分布式系统中第一模块发送的第一调用键值对,然后根据第一调用已被执行的总次数、第一调用的总耗时、及预设的数据库中与第一关键码值对应的历史调用总次数及历史总耗时,确定第一模块的每秒查询率、平均耗时及分位耗时。由此,通过将调用数据按照关键码值进行聚合后存储,降低了分布式系统中调用数据占用的存储空间,降低了分布式系统的存储成本,且通过利用聚合后的数据,实现了对整个分布式系统中各模块的运行状态的监测。
通过上述分析可知,在预设的数据库中包含与第一关键码值对应的历史数据时,可以根据第一关键字值、及预设的数据库中与所述第一关键码值对应的历史调用数据,确定第一模块当前的运行状态,在一种可能的实现形式中,预设的数据库中可能并没有包含与第一关键码值对应的历史调用数据,下面针对上述情况,结合图4,对本申请提供的分布式系统运行状态监测方法进行进一步说明。
图4是根据本申请第三实施例的分布式系统运行状态监测方法的流程示意图。
如图4所示,本申请提供的分布式系统运行状态监测方法,包括:
步骤301,获取分布式系统中第一模块发送的第一调用键值对。
其中,第一调用键值对中包括第一关键码值及第一关键字值,第一关键码值,用于唯一表征与第一模块关联的第一调用,第一关键字值用于表征第一调用的总调用数据。
其中,第一关键字值,可以包括第一调用已被执行的总次数、及第一调用的总耗时。
其中,上述步骤301的具体实现过程及原理,可以参照上述实施例的相关描述,此处不再赘述。
需要说明的是,本实施例提供的分布式系统运行状态监测方法,同样适用于第一关键码值包括第一模块的标识、调用方法名、当前的第一链路标识及对应的第一父链路标识的情况,本申请对此不作限制。
步骤302,查询预设的数据库中是否包含与第一关键码值对应的历史调用数据。
其中,第一关键码值对应的历史调用数据,可以包括第一关键码值对应的历史调用总次数、历史总耗时、第一调用每次被执行的耗时等数据,本申请实施例以第一关键码值对应的历史调用数据包括第一关键码值对应的历史调用总次数及历史总耗时为例进行说明。
步骤303,若否,则根据第一关键字值,确定第一模块当前的运行状态。
可以理解的是,预设的数据库中未包含与第一关键码值对应的历史调用数据时,表示第一模块之前并未执行过第一调用,此时,第一关键字值中包括的第一调用已被执行的调用总次数,即为1,历史总耗时,即为第一模块本次执行第一调用的总耗时。
本申请中,预设的数据库中未包含与第一关键码值对应的历史调用数据时,可以根据第一模块发送的第一调用键值对中,第一关键码值对应的第一关键字值,确定第一模块当前的运行状态。
其中,第一模块当前的运行状态,可以通过第一模块的每秒查询率、平均耗时及分位耗时等指标表征。
需要说明的是,由于第一模块之前并未执行过第一调用,因此,此处的第一模块的每秒查询率,可以为第一模块在本次执行第一调用的总耗时时间内的每秒查询率,平均耗时,可以为第一模块本次执行第一调用的耗时。
由此,可以实现在第一模块第一次执行第一调用时,即可根据第一模块发送的调用键值对,确定第一模块当前的运行状态,也就是说,通过本申请的方法,可以实现在各模块第一次执行调用时,均可以根据各模块发送的调用键值对,对整个分布式系统中各模块的运行状态进行监测。
可以理解的是,监测装置获取分布式系统中第一模块发送的调用键值对后,可以将预设的数据库中的第一关键码值对应的历史总调用次数及历史总耗时,更新为该第一模块发送的第一调用键值对中,第一关键字值中包括的第一调用已被执行的总次数及第一调用的总耗时。
另外,为了便于用户了解分布式系统的更多运行状态数据,预设的数据库中,还可以存储各模块当前的运行状态,比如每秒查询率、平均耗时及分位耗时等数据。
即,在步骤303之后,还可以包括:
利用第一关键字值及第一模块当前的运行状态,更新预设的数据库中与第一关键码值对应的第二关键字值。
也就是说,预设的数据库中的第一关键码值对应的第二关键字值,既可以包括第一模块发送的调用键值对中,第一关键字值中包括的第一调用已被执行的总次数及第一调用的总耗时,还可以包括根据第一关键字值、预设的数据库中的历史调用数据,或者根据第一关键字值,确定的第一模块当前的运行状态。
通过利用第一关键字值及第一模块当前的运行状态,更新预设的数据库中与第一关键码值对应的第二关键字值,可以使得预设的数据库中的第一关键码值对应的第二关键字值中包括第一调用已被执行的总次数及第一调用的总耗时,以及第一模块的每秒查询率、平均耗时及分位耗时等用于表征第一模块当前的运行状态的数据,且预设的数据库中包括的数据,与分布式系统运行产生的调用数据保持同步,从而在进行分布式系统的链路追踪时,从数据库中得到的均为最新的数据。
本申请提供的分布式系统运行状态监测方法,首先获取分布式系统中第一模块发送的第一调用键值对,然后查询预设的数据库中是否包含与第一关键码值对应的历史调用数据,若未包含,则根据第一关键字值,确定第一模块当前的运行状态。由此,通过将调用数据按照关键码值进行聚合后存储,降低了分布式系统中调用数据占用的存储空间,降低了分布式系统的存储成本,且通过利用聚合后的数据,实现了对整个分布式系统中各模块的运行状态的监测。
通过上述分析可知,各模块在每次执行调用后,都可以将生成的调用键值发送至监测装置,本申请中,在获取各模块发送的调用键值对后,还可以根据各调用键值对,生成用于表现当前各模块之间的关系的拓扑图,并进行展示,下面针对上述情况,结合图5,对本申请提供的分布式系统运行状态监测方法进行进一步说明。
图5是根据本申请第四实施例的分布式系统运行状态监测方法的流程示意图。
如图5所示,本申请提供的分布式系统运行状态监测方法,包括:
步骤101,获取分布式系统中第一模块发送的第一调用键值对。
其中,第一调用键值对中包括第一关键码值及第一关键字值。第一关键码值,用于唯一表征与第一模块关联的第一调用,第一关键字值用于表征第一调用的总调用数据。
第一关键码值,可以包括第一模块的标识、调用方法名、当前的第一链路标识及对应的第一父链路标识。第一关键字值可以包括第一调用已被执行的总次数及第一调用的总耗时。
在步骤101之后,还可以包括:
步骤401,获取分布式系统中第二模块发送的第二调用键值对,第二调用键值对中包括第二关键码值。
第一关键码值,用于唯一表征与第二模块关联的第二调用,第二关键字值用于表征第二调用的总调用数据。
第二关键码值,可以包括第二模块的标识、调用方法名、当前的第二链路标识及对应的第二父链路标识。其中,第二模块的标识,用于唯一标识第二模块,第二关键码值包括的调用方法名,用于标识第二模块执行本次调用时对应的调用方法名。
需要说明的是,前述对第一模块发送的第一调用键值对的描述,也适用于本申请实施例中的第二模块发送的第二调用键值对,此处不再赘述。
步骤402,若第二关键码值中的调用方法名与第一关键码值中的方法名相同、且第二关键码值中的第二父链路标识与第一链路标识相同,则利用第一调用键值对更新第一模块与第二模块间的拓扑关系。
步骤403,若第二关键码值中的调用方法名与第一关键码值中的方法名相同、且第二关键码值中的第二链路标识与第一父链路标识相同,则利用第二调用键值对更新第一模块与第二模块间的拓扑关系。
可以理解的是,各模块在每次执行调用后,都可以将生成的调用键值发送至监测装置,本申请中,在获取各模块发送的调用键值对后,还可以根据各调用键值对,生成用于表现当前各模块之间的关系的拓扑图,并进行展示。
其中,拓扑图中的各节点,表示各个模块,各节点之间的边,表示其中一个模块对应的调用键值对中的关键码值。
需要说明的是,当两个模块A和B中,模块A发送的调用键值对中,关键码值中的调用方法名,与模块B发送的调用键值对中的关键码值中的调用方法名相同,且模块A发送的调用键值对中,关键码值中的链路标识,与模块B发送的调用键值对中的关键码值中的父链路标识相同时,即通过模块A调用模块B时,模块A和B之间的边,表示模块A发送的调用键值对中的关键码值。
那么,在本申请实施例中,若第二关键码值中的调用方法名与第一关键码值中的方法名相同、且第二关键码值中的第二父链路标识与第一链路标识相同,即第一模块调用第二模块时,则利用第一调用键值对更新第一模块与第二模块间的拓扑关系。若第二关键码值中的调用方法名与第一关键码值中的方法名相同、且第二关键码值中的第二父链路标识与第一链路标识相同,即第二模块调用第一模块时,则利用第二调用键值对更新第一模块与第二模块间的拓扑关系。
通过获取多个模块的调用键值对,可以实现根据各调用键值对,生成拓扑图,以使用户直观的了解分布式系统运行状态,且通过根据第一模块和第二模块分别执行调用时实时发送的调用键值对,对第一模块与第二模块之间的拓扑关系进行更新,使得拓扑图中的数据与分布式系统运行产生的调用数据保持同步,从而在进行分布式系统的链路追踪时,根据拓扑图得到的均为最新的数据。
另外,拓扑图中,各模块之间的边表示的关键码值对应的关键字值包括的数据,可以在用户点击模块之间的边时,以预设方式显示在显示界面上。其中,预设方式,可以包括关键字值包括的数据的显示位置、字体大小、显示顺序等等。其中,关键码值对应的关键字值,可以是监测装置根据用户选择要查看的边对应的关键码值,在预设的数据库中进行查询后,从预设的数据库中获取的该关键码值对应的关键字值。
比如,如图6所示,模块A和模块B之间的边表示模块A发送的调用键值对中的关键码值时,用户点击模块A和模块B之间的边时,监测装置可以根据该边对应的关键码值,在预设的数据库中查询,以获取关键码值对应的关键字值,从而如图6所示,在拓扑图的右侧位置,显示模块A发送的调用键值对中的关键码值对应的关键字值包括的数据,比如平均吞吐量、平均耗时、数据返回比例、分位耗时等,以使用户直观的了解分布式系统的运行状态。
需要说明的是,在实现不同服务时,一个模块可能会使用不同的调用方法调用另一个模块,那么,在本申请的拓扑图中,相同的两个模块之间,可以包括多个边,每个边表示的关键码值中的调用方法不同。本申请中,在两个模块A和B分别发送的调用键值对中的关键码值中的调用方法名相同,且模块A的链路标识与模块B的父链路标识相同时,才根据模块A发送的调用键值对,更新模块A与模块B间的拓扑关系。
本申请提供的分布式系统运行状态监测方法,在获取分布式系统中第一模块发送的第一调用键值对后,获取分布式系统中第二模块发送的第二调用键值对,第二调用键值对包括第二关键码值,若第二关键码值中的调用方法名与第一关键码值中的方法名相同、且第二关键码值中的第二父链路标识与第一链路标识相同,则利用第一调用键值对更新第一模块与第二模块间的拓扑关系,若第二关键码值中的调用方法名与第一关键码值中的方法名相同、且第二关键码值中的第二链路标识与第一父链路标识相同,则利用第二调用键值对更新第一模块与第二模块间的拓扑关系。由此,实现了根据各模块发送的调用键值对,生成用于表现当前各模块之间的关系的拓扑图,并根据各模块发送的调用键值对对拓扑图进行更新,使得用户可以直观的了解分布式系统的运行状态。
下面结合图7,对本申请提供的分布式系统运行状态监测装置进行说明。
图7是根据本申请第五实施例的分布式系统运行状态监测装置的结构示意图。
如图7所示,本申请提供的分布式系统运行状态监测装置,包括:
第一获取模块11,用于获取分布式系统中第一模块发送的第一调用键值对,其中,第一调用键值对中包括第一关键码值及第一关键字值,第一关键码值,用于唯一表征与第一模块关联的第一调用,第一关键字值用于表征第一调用的总调用数据;
第一确定模块12,用于根据第一关键字值、及预设的数据库中与第一关键码值对应的历史调用数据,确定第一模块当前的运行状态。
具体的,本申请提供的分布式系统运行状态监测装置,以下简称监测装置,可以执行本申请提供的分布式系统运行状态监测方法,该装置可以被配置在电子设备中,以对分布式系统的运行状态进行监测。
上述实施例中对分布式系统运行状态监测方法的说明,也适用于本申请实施例中的分布式系统运行状态监测装置,此处不再赘述。
本申请提供的分布式系统运行状态监测装置,包括第一获取模块,用于获取分布式系统中第一模块发送的第一调用键值对,其中,第一调用键值对中包括第一关键码值及第一关键字值,第一关键码值,用于唯一表征与第一模块关联的第一调用,第一关键字值用于表征第一调用的总调用数据;第一确定模块,用于根据第一关键字值、及预设的数据库中与第一关键码值对应的历史调用数据,确定第一模块当前的运行状态。实现了将分布式系统中的调用数据按照关键码值进行聚合后存储,降低了分布式系统中调用数据占用的存储空间,降低了分布式系统的存储成本。
下面结合图8,对本申请提供的分布式系统运行状态监测装置进行进一步说明。
图8是根据本申请第六实施例的分布式系统运行状态监测装置的结构示意图。
如图8所示,本申请提供的分布式系统运行状态监测装置,包括:
第一获取模块11,用于获取分布式系统中第一模块发送的第一调用键值对。
其中,第一调用键值对中包括第一关键码值及第一关键字值,第一关键字值包括第一模块已执行的调用总次数及总耗时;第一关键码值,包括第一模块的标识、调用方法名、当前的第一链路标识及对应的第一父链路标识。
第一确定模块12,用于根据第一关键字值、及预设的数据库中与第一关键码值对应的历史调用数据,确定第一模块当前的运行状态;
第二确定模块21,用于在预设的数据库中未包含与第一关键码值对应的历史调用数据时,根据第一关键字值,确定第一模块当前的运行状态;
第一更新模块22,用于利用第一关键字值及第一模块当前的运行状态,更新预设的数据库中与第一关键码值对应的第二关键字值;
第二获取模块23,用于获取分布式系统中第二模块发送的第二调用键值对,第二调用键值对中包括第二关键码值;
第二更新模块24,用于在第二关键码值中的调用方法名与第一关键码值中的方法名相同、且第二关键码值中的第二父链路标识与第一链路标识相同时,利用第一调用键值对更新第一模块与第二模块间的拓扑关系;
第三获取模块25,用于获取分布式系统中第二模块发送的第二调用键值对,第二调用键值对中包括第二关键码值;
第三更新模块26,用于在第二关键码值中的调用方法名与第一关键码值中的方法名相同、且第二关键码值中的第二链路标识与第一父链路标识相同时,利用第二调用键值对更新第一模块与第二模块间的拓扑关系。
在一种可能的实现形式中,第一关键字值中包括第一调用已被执行的总次数、及第一调用的总耗时时,第一确定模块,具体用于:根据第一调用已被执行的总次数、第一调用的总耗时、及预设的数据库中与第一关键码值对应的历史调用总次数及历史总耗时,确定第一模块的每秒查询率、平均耗时及分位耗时。
上述实施例中对分布式系统运行状态监测方法的说明,也适用于本申请实施例中的分布式系统运行状态监测装置,此处不再赘述。
本申请提供的分布式系统运行状态监测装置,实现了将分布式系统中的调用数据按照关键码值进行聚合后存储,降低了分布式系统中调用数据占用的存储空间,降低了分布式系统的存储成本,且实现了利用聚合后的数据对整个分布式系统中各模块的运行状态进行监测。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图9所示,是根据本申请实施例的分布式系统运行状态监测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示,该电子设备包括:一个或多个处理器901、存储器902,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的分布式系统运行状态监测方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的分布式系统运行状态监测方法。
存储器902作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的分布式系统运行状态监测方法对应的程序指令/模块(例如,附图7所示的第一获取模块11和第一确定模块12)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的分布式系统运行状态监测方法。
存储器902可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据分布式系统运行状态监测的电子设备的使用所创建的数据等。此外,存储器902可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器902可选包括相对于处理器901远程设置的存储器,这些远程存储器可以通过网络连接至分布式系统运行状态监测的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
分布式系统运行状态监测方法的电子设备还可以包括:输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接,图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息,以及产生与分布式系统运行状态监测的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,通过将调用数据按照关键码值进行聚合后存储,降低了分布式系统中调用数据占用的存储空间,降低了分布式系统的存储成本,且实现了利用聚合后的数据对整个分布式系统中各模块的运行状态的监测。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (12)
1.一种分布式系统运行状态监测方法,其特征在于,包括:
获取分布式系统中第一模块发送的第一调用键值对,其中,所述第一调用键值对中包括第一关键码值及第一关键字值,所述第一关键码值,用于唯一表征与所述第一模块关联的第一调用,并将调用数据中所有与所述第一模块关联的第一调用以所述第一关键码值进行聚合存储,所述第一关键字值用于表征以所述第一关键码值聚合后的所述第一调用的总调用数据,其中,所述第一调用为所述第一模块关联的所有调用中的任一调用;
根据所述第一关键字值、及预设的数据库中与所述第一关键码值对应的历史调用数据,确定所述第一模块当前的运行状态;
所述第一关键码值,包括所述第一模块的标识、调用方法名、当前的第一链路标识及对应的第一父链路标识;
获取分布式系统中第二模块发送的第二调用键值对,第二调用键值对中包括第二关键码值,所述第二关键码值,包括第二模块的标识、调用方法名、当前的第二链路标识及对应的第二父链路标识,所述第二关键码值包括的调用方法名,用于标识所述第二模块执行本次调用时对应的调用方法名;
若所述第二关键码值中的调用方法名与所述第一关键码值中的方法名相同、且所述第二关键码值中的第二父链路标识与所述第一链路标识相同,则利用所述第一调用键值对更新所述第一模块与所述第二模块间的拓扑关系。
2.如权利要求1所述的方法,其特征在于,所述第一关键字值中包括所述第一调用已被执行的总次数、及所述第一调用的总耗时;
所述根据所述第一关键字值、及预设的数据库中与所述第一关键码值对应的历史调用数据,确定所述第一模块当前的运行状态,包括:
根据所述第一调用已被执行的总次数、所述第一调用的总耗时、及所述预设的数据库中与所述第一关键码值对应的历史调用总次数及历史总耗时,确定所述第一模块的每秒查询率、平均耗时及分位耗时。
3.如权利要求1所述的方法,其特征在于,所述获取分布式系统中第一模块发送的第一调用键值对之后,还包括:
若所述预设的数据库中未包含与第一关键码值对应的历史调用数据,则根据所述第一关键字值,确定所述第一模块当前的运行状态。
4.如权利要求1所述的方法,其特征在于,所述确定所述第一模块当前的运行状态之后,还包括:
利用所述第一关键字值及所述第一模块当前的运行状态,更新所述预设的数据库中与所述第一关键码值对应的第二关键字值。
5.如权利要求1所述的方法,其特征在于,还包括:
获取分布式系统中第二模块发送的第二调用键值对,第二调用键值对中包括第二关键码值;
若所述第二关键码值中的调用方法名与所述第一关键码值中的方法名相同、且所述第二关键码值中的第二链路标识与所述第一父链路标识相同,则利用所述第二调用键值对更新所述第一模块与所述第二模块间的拓扑关系。
6.一种分布式系统运行状态监测装置,其特征在于,包括:
第一获取模块,用于获取分布式系统中第一模块发送的第一调用键值对,其中,所述第一调用键值对中包括第一关键码值及第一关键字值,所述第一关键码值,用于唯一表征与所述第一模块关联的第一调用,并将调用数据中所有与所述第一模块关联的第一调用以所述第一关键码值进行聚合存储,所述第一关键字值用于表征以所述第一关键码值聚合后的所述第一调用的总调用数据,其中,所述第一调用为所述第一模块关联的所有调用中的任一调用;
第一确定模块,用于根据所述第一关键字值、及预设的数据库中与所述第一关键码值对应的历史调用数据,确定所述第一模块当前的运行状态;
所述第一关键码值,包括所述第一模块的标识、调用方法名、当前的第一链路标识及对应的第一父链路标识;
第二获取模块,用于获取分布式系统中第二模块发送的第二调用键值对,第二调用键值对中包括第二关键码值,所述第二关键码值,包括第二模块的标识、调用方法名、当前的第二链路标识及对应的第二父链路标识,所述第二关键码值包括的调用方法名,用于标识所述第二模块执行本次调用时对应的调用方法名;
第二更新模块,用于在所述第二关键码值中的调用方法名与所述第一关键码值中的方法名相同、且所述第二关键码值中的第二父链路标识与所述第一链路标识相同时,利用所述第一调用键值对更新所述第一模块与所述第二模块间的拓扑关系。
7.如权利要求6所述的装置,其特征在于,所述第一关键字值中包括所述第一调用已被执行的总次数、及所述第一调用的总耗时;
所述第一确定模块,具体用于:根据所述第一调用已被执行的总次数、所述第一调用的总耗时、及所述预设的数据库中与所述第一关键码值对应的历史调用总次数及历史总耗时,确定所述第一模块的每秒查询率、平均耗时及分位耗时。
8.如权利要求6所述的装置,其特征在于,所述装置,还包括:
第二确定模块,用于在所述预设的数据库中未包含与第一关键码值对应的历史调用数据时,根据所述第一关键字值,确定所述第一模块当前的运行状态。
9.如权利要求6所述的装置,其特征在于,还包括:
第一更新模块,用于利用所述第一关键字值及所述第一模块当前的运行状态,更新所述预设的数据库中与所述第一关键码值对应的第二关键字值。
10.如权利要求6所述的装置,其特征在于,还包括:
第三获取模块,用于获取分布式系统中第二模块发送的第二调用键值对,第二调用键值对中包括第二关键码值;
第三更新模块,用于在所述第二关键码值中的调用方法名与所述第一关键码值中的方法名相同、且所述第二关键码值中的第二链路标识与所述第一父链路标识相同时,利用所述第二调用键值对更新所述第一模块与所述第二模块间的拓扑关系。
11.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010269542.4A CN111581049B (zh) | 2020-04-08 | 2020-04-08 | 分布式系统运行状态监测方法、装置、设备及存储介质 |
PCT/CN2020/117472 WO2021203635A1 (zh) | 2020-04-08 | 2020-09-24 | 分布式系统运行状态监测方法、装置、设备及存储介质 |
US17/907,465 US20230153290A1 (en) | 2020-04-08 | 2020-09-24 | Method for monitoring running state of distributed system, device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010269542.4A CN111581049B (zh) | 2020-04-08 | 2020-04-08 | 分布式系统运行状态监测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111581049A CN111581049A (zh) | 2020-08-25 |
CN111581049B true CN111581049B (zh) | 2023-10-10 |
Family
ID=72114956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010269542.4A Active CN111581049B (zh) | 2020-04-08 | 2020-04-08 | 分布式系统运行状态监测方法、装置、设备及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230153290A1 (zh) |
CN (1) | CN111581049B (zh) |
WO (1) | WO2021203635A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111581049B (zh) * | 2020-04-08 | 2023-10-10 | 北京百度网讯科技有限公司 | 分布式系统运行状态监测方法、装置、设备及存储介质 |
CN113760648A (zh) * | 2021-07-22 | 2021-12-07 | 北京房江湖科技有限公司 | 接口调用链路耗时统计方法及装置、设备及介质 |
CN113760930A (zh) * | 2021-07-30 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 业务系统中运行数据的确定方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577440A (zh) * | 2012-07-27 | 2014-02-12 | 阿里巴巴集团控股有限公司 | 一种非关系型数据库中的数据处理方法和装置 |
KR20150011087A (ko) * | 2013-07-22 | 2015-01-30 | 에스케이텔레콤 주식회사 | 컨텐츠 전송 서비스를 위한 분산 캐싱 관리 방법 및 이를 위한 중앙 관리 장치 |
CN105427193A (zh) * | 2015-12-17 | 2016-03-23 | 山东鲁能软件技术有限公司 | 一种基于分布式时序数据服务的大数据分析装置及方法 |
CN108462750A (zh) * | 2018-03-22 | 2018-08-28 | 平安好房(上海)电子商务有限公司 | 分布式调用追踪方法、业务系统、监控系统及存储介质 |
CN109471863A (zh) * | 2018-11-12 | 2019-03-15 | 北京懿医云科技有限公司 | 基于分布式数据库的信息查询方法及装置、电子设备 |
CN110262901A (zh) * | 2019-06-27 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 一种数据处理方法及数据处理系统 |
CN110717032A (zh) * | 2019-08-26 | 2020-01-21 | 四川新网银行股份有限公司 | 多系统的方法调用链路图的生成及显示方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008114560A1 (ja) * | 2007-02-21 | 2008-09-25 | Nec Corporation | コンピュータ、動作ルール適用方法、オペレーティングシステム |
JP5883946B2 (ja) * | 2012-04-18 | 2016-03-15 | ニシラ, インコーポレイテッド | ネットワーク転送状態の算出ならびに伝播のためのトランザクションの使用 |
US8935704B2 (en) * | 2012-08-10 | 2015-01-13 | International Business Machines Corporation | Resource management using reliable and efficient delivery of application performance information in a cloud computing system |
CN105242873B (zh) * | 2014-06-27 | 2018-06-01 | 阿里巴巴集团控股有限公司 | 云计算系统的性能数据的采集与存储方法及装置 |
CN104991939A (zh) * | 2015-07-08 | 2015-10-21 | 携程计算机技术(上海)有限公司 | 业务数据监控方法和系统 |
US10447623B2 (en) * | 2017-02-24 | 2019-10-15 | Satori Worldwide, Llc | Data storage systems and methods using a real-time messaging system |
US10419437B2 (en) * | 2017-06-30 | 2019-09-17 | Futurewei Technologies, Inc. | Quasi-agentless cloud resource management |
CN107798108B (zh) * | 2017-10-30 | 2020-11-10 | 中国联合网络通信集团有限公司 | 一种异步任务查询方法及设备 |
CN109684307B (zh) * | 2018-12-26 | 2021-06-22 | 百度在线网络技术(北京)有限公司 | 一种数据存储方法、装置、设备及存储介质 |
US11025780B2 (en) * | 2019-08-02 | 2021-06-01 | Fmr Llc | Systems and methods for search based call routing |
US11424911B2 (en) * | 2020-03-03 | 2022-08-23 | International Business Machines Corporation | Storage and communication environment for cryptographic tags |
CN111581049B (zh) * | 2020-04-08 | 2023-10-10 | 北京百度网讯科技有限公司 | 分布式系统运行状态监测方法、装置、设备及存储介质 |
-
2020
- 2020-04-08 CN CN202010269542.4A patent/CN111581049B/zh active Active
- 2020-09-24 WO PCT/CN2020/117472 patent/WO2021203635A1/zh active Application Filing
- 2020-09-24 US US17/907,465 patent/US20230153290A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577440A (zh) * | 2012-07-27 | 2014-02-12 | 阿里巴巴集团控股有限公司 | 一种非关系型数据库中的数据处理方法和装置 |
KR20150011087A (ko) * | 2013-07-22 | 2015-01-30 | 에스케이텔레콤 주식회사 | 컨텐츠 전송 서비스를 위한 분산 캐싱 관리 방법 및 이를 위한 중앙 관리 장치 |
CN105427193A (zh) * | 2015-12-17 | 2016-03-23 | 山东鲁能软件技术有限公司 | 一种基于分布式时序数据服务的大数据分析装置及方法 |
CN108462750A (zh) * | 2018-03-22 | 2018-08-28 | 平安好房(上海)电子商务有限公司 | 分布式调用追踪方法、业务系统、监控系统及存储介质 |
CN109471863A (zh) * | 2018-11-12 | 2019-03-15 | 北京懿医云科技有限公司 | 基于分布式数据库的信息查询方法及装置、电子设备 |
CN110262901A (zh) * | 2019-06-27 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 一种数据处理方法及数据处理系统 |
CN110717032A (zh) * | 2019-08-26 | 2020-01-21 | 四川新网银行股份有限公司 | 多系统的方法调用链路图的生成及显示方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2021203635A1 (zh) | 2021-10-14 |
US20230153290A1 (en) | 2023-05-18 |
CN111581049A (zh) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111581049B (zh) | 分布式系统运行状态监测方法、装置、设备及存储介质 | |
CN112000450A (zh) | 神经网络架构搜索方法以及装置 | |
CN110706147B (zh) | 图像处理的环境确定方法、装置、电子设备和存储介质 | |
CN111782147B (zh) | 用于集群扩缩容的方法和装置 | |
CN113051446A (zh) | 拓扑关系查询方法、装置、电子设备和介质 | |
CN112579897B (zh) | 信息搜索方法和装置 | |
CN112491617B (zh) | 一种链路跟踪方法、装置、电子设备和介质 | |
CN111461343A (zh) | 模型参数更新方法及其相关设备 | |
CN113051043A (zh) | 微服务异常补偿方法和装置 | |
CN111291082B (zh) | 数据聚合处理方法、装置、设备及存储介质 | |
CN112565356A (zh) | 数据存储方法、装置以及电子设备 | |
CN112328658A (zh) | 用户档案数据处理方法、装置、设备及存储介质 | |
CN110517079B (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN111177479B (zh) | 获取关系网络图中节点的特征向量的方法以及装置 | |
CN112084000A (zh) | 容器集群的测试方法和装置 | |
CN115905322A (zh) | 业务处理方法、装置、电子设备及存储介质 | |
CN111597026B (zh) | 用于获取信息的方法及装置 | |
CN113032209B (zh) | 运行监控方法、装置、服务器及介质 | |
CN111680508B (zh) | 文本的处理方法和装置 | |
CN112507100B (zh) | 一种问答系统的更新处理方法和装置 | |
CN112671665B (zh) | 智能流量调度方法、装置、设备以及存储介质 | |
CN114500326A (zh) | 异常检测方法、装置、电子设备以及存储介质 | |
CN111737593A (zh) | 跨群体通信关系图的获取方法、装置、设备和存储介质 | |
CN111523000A (zh) | 用于导入数据的方法、装置、设备以及存储介质 | |
CN113672446B (zh) | 监控参数确定方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |