CN114185708A - 基于分布式链路追踪的数据分析方法、装置和电子设备 - Google Patents

基于分布式链路追踪的数据分析方法、装置和电子设备 Download PDF

Info

Publication number
CN114185708A
CN114185708A CN202111534583.2A CN202111534583A CN114185708A CN 114185708 A CN114185708 A CN 114185708A CN 202111534583 A CN202111534583 A CN 202111534583A CN 114185708 A CN114185708 A CN 114185708A
Authority
CN
China
Prior art keywords
service
information
business
link
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111534583.2A
Other languages
English (en)
Inventor
刘一童
郭建根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN202111534583.2A priority Critical patent/CN114185708A/zh
Publication of CN114185708A publication Critical patent/CN114185708A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079Root cause analysis, i.e. error or fault diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Evolutionary Computation (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供了一种基于分布式链路追踪的数据分析方法、装置和电子设备,通过分布式链路追踪技术获取业务交易过程中的多个服务调用节点的服务数据,并根据服务数据,生成服务调用链路;对多个业务交易的服务调用链路进行特征提取,得到多个服务调用链路对应的特征信息;根据特征信息,确定业务流程信息;对业务流程信息进行分析,得到分析结果,分析结果包括业务交易异常或业务交易正常。本申请实施例提供的技术方案通过分布式链路追踪技术获取数据并生成服务调用链路,并对服务调用链路进行特征提取和分析,能够准确地得到业务交易是否异常的分析结果,实现了业务交易过程中的数据进行实时分析,从而有效的提升了数据分析的效率。

Description

基于分布式链路追踪的数据分析方法、装置和电子设备
技术领域
本申请涉及数据处理技术领域,尤其涉及一种基于分布式链路追踪的数据分析方法、装置和电子设备。
背景技术
随着分布式系统的不断发展,越来越多的企业使用分布式架构作为其业务系统,特别是金融企业。对于分布式架构的业务系统,通过各个业务系统的多个业务服务的相互调用,协同完成业务人员与用户之间进行的业务服务。因此,在业务服务的过程中,若任何一个节点出现问题都有可能导致最终交易失败或者异常。由于整个业务服务过程中各个节点可能处于不同的业务系统,即可能部署在不同的服务器上,这对于排查整个业务服务过程中的异常节点提出了很大的挑战。
现有技术中,在业务服务出现异常时,通常是在业务服务出现问题之后,技术人员对整个业务服务中的各个节点中与业务服务对应的数据进行分析,以确定各个节点是否出现问题,从而确定业务服务出现异常的异常原因。
但是,现有技术的方法仅能过在出现异常后对异常原因进行排查,且异常原因是通过技术人员逐一对各个节点中与业务服务对应的数据进行分析确定出的,由于各节点间的依赖关系较强,这增加了技术人员对数据进行分析的难度,从而导致数据分析的效率较低。
发明内容
本申请实施例提供了一种基于分布式链路追踪的数据分析方法、装置和电子设备,能够有效的提升数据分析的准确度和效率。
第一方面,本申请实施例提供了一种基于分布式链路追踪的数据分析方法,所述基于分布式链路追踪的数据分析方法包括:
通过分布式链路追踪技术获取业务交易过程中的多个服务调用节点的服务数据,并根据所述服务数据,生成服务调用链路。
对多个业务交易的所述服务调用链路进行特征提取,得到多个所述服务调用链路对应的特征信息。
根据所述特征信息,确定业务流程信息。
对所述业务流程信息进行分析,得到分析结果,所述分析结果包括业务交易异常或业务交易正常。
可选的,所述特征信息为代码格式;所述根据所述特征信息,确定业务流程信息,包括:
根据代码格式的所述特征信息和预先存储的代码与应用服务信息之间的映射关系,得到所述特征信息对应的应用服务信息。
对所述特征信息对应的应用服务信息进行聚类,得到聚类结果,所述聚类结果包括目标应用服务信息。
根据所述目标应用服务信息,确定业务流程信息。
可选的,所述根据所述目标应用服务信息,确定业务流程信息,包括:
根据所述目标应用服务信息和预先存储的应用服务信息与业务流程信息之间的映射关系,得到所述目标应用服务信息对应的业务流程信息。
可选的,所述业务流程信息包括业务关键数据;所述对所述业务流程信息进行分析,得到分析结果,包括:
将所述业务关键信息与预设标准业务关键数据进行对比,若所述业务关键信息与预设标准业务关键数据一致,则确定所述分析结果包括业务交易正常。
若所述业务关键信息与预设标准业务关键数据不一致,则确定所述分析结果包括业务交易异常以及所述业务交易的异常节点和异常原因。
可选的,所述分布式链路追踪技术包括Open Tracing协议;所述通过分布式链路追踪技术获取业务交易过程中的多个服务调用节点的服务数据,并根据所述服务数据,生成服务调用链路,包括:
通过Open Tracing协议对业务交易过程中的多个服务调用节点进行监控,采集每个所述服务调用节点产生的服务数据。
根据所述服务数据,生成链路单元,所述链路单元包括链路单元标识和上级链路单元标识。
根据多个所述链路单元的所述链路单元标识和所述上级链路单元标识,得到多个链路单元的对应的调用顺序。
根据所述调用顺序将多个所述链路单元连接,生成服务调用链路。
可选的,所述方法还包括:
若所述分析结果包括业务交易异常,则输出告警信息。
第二方面,本申请实施例提供了一种基于分布式链路追踪的数据分析装置,所述基于分布式链路追踪的数据分析装置包括:
生成模块,用于通过分布式链路追踪技术获取业务交易过程中的多个服务调用节点的服务数据,并根据所述服务数据,生成服务调用链路。
处理模块,用于对多个业务交易的所述服务调用链路进行特征提取,得到多个所述服务调用链路对应的特征信息。
所述处理模块,还用于根据所述特征信息,确定业务流程信息。
分析模块,用于对所述业务流程信息进行分析,得到分析结果,所述分析结果包括业务交易异常或业务交易正常。
可选的,所述特征信息为代码格式;所述处理模块,具体用于根据代码格式的所述特征信息和预先存储的代码与应用服务信息之间的映射关系,得到所述特征信息对应的应用服务信息;对所述特征信息对应的应用服务信息进行聚类,得到聚类结果,所述聚类结果包括目标应用服务信息;根据所述目标应用服务信息,确定业务流程信息。
可选的,所述处理模块,具体用于根据所述目标应用服务信息和预先存储的应用服务信息与业务流程信息之间的映射关系,得到所述目标应用服务信息对应的业务流程信息。
可选的,所述业务流程信息包括业务关键数据;所述分析模块,具体用于将所述业务关键信息与预设标准业务关键数据进行对比,若所述业务关键信息与预设标准业务关键数据一致,则确定所述分析结果包括业务交易正常;在所述业务关键信息与预设标准业务关键数据不一致时,确定所述分析结果包括业务交易异常以及所述业务交易的异常节点和异常原因。
可选的,所述分布式链路追踪技术包括Open Tracing协议;所述生成模块,具体用于通过Open Tracing协议对业务交易过程中的多个服务调用节点进行监控,采集每个所述服务调用节点产生的服务数据;根据所述服务数据,生成链路单元,所述链路单元包括链路单元标识和上级链路单元标识;根据多个所述链路单元的所述链路单元标识和所述上级链路单元标识,得到多个链路单元的对应的调用顺序;根据所述调用顺序将多个所述链路单元连接,生成服务调用链路。
可选的,所述装置还包括输出模块,所述输出模块,用于在所述分析结果包括业务交易异常时,输出告警信息。
第三方面,本申请实施例还提供了一种电子设备,该电子设备包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现上述第一方面任一种可能的实现方式中所述的基于分布式链路追踪的数据分析方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现上述第一方面任一种可能的实现方式中所述的基于分布式链路追踪的数据分析方法。
第五方面,本申请实施例还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时,实现上述第一方面任一种可能的实现方式中所述的基于分布式链路追踪的数据分析方法。
由此可见,本申请实施例提供了一种基于分布式链路追踪的数据分析方法、装置和电子设备,通过分布式链路追踪技术获取业务交易过程中的多个服务调用节点的服务数据,并根据服务数据,生成服务调用链路;对多个业务交易的服务调用链路进行特征提取,得到多个服务调用链路对应的特征信息;根据特征信息,确定业务流程信息;对业务流程信息进行分析,得到分析结果,分析结果包括业务交易异常或业务交易正常。本申请实施例提供的技术方案通过分布式链路追踪技术能够在业务交易过程中实时获取业务交易产生的服务数据,并生成服务调用链路。此外,通过对特征提取得到特征信息进行分析得到业务流程数据,不需要技术人员进行人工分析,提升了数据分析的准确度,并且减少了数据分析的数据量,避免了技术人员对大量服务数据进行分析耗费大量时间的问题,从而提极大的提升了数据分析的效率。
附图说明
图1为本申请实施例提供的一种基于分布式链路追踪的数据分析方法应用场景示意图;
图2为本申请实施例提供的一种基于分布式链路追踪的数据分析方法的流程示意图;
图3为本申请实施例提供的另一种基于分布式链路追踪的数据分析方法的流程示意图;
图4为本申请实施例提供的一种基于分布式链路追踪的数据分析装置的结构示意图;
图5为本申请提供的一种电子设备结构示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本申请的实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。在本申请的文字描述中,字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的技术方案可以应用于分布式系统的数据分析的场景中。对于金融行业,为了支撑其日益庞大的业务量,通常使用分布式、微服务架构。然而,分布式系统的各分布式应用之间存在较强的依赖关系,这使得通过对应用间的业务关系进行梳理确定业务异常问题的复杂度较大。
现有技术中,通常在业务服务出现异常时,对出现异常问题的业务服务产生的数据进行分析,具体的,技术人员结合个节点之间的依赖关系,对该业务服务个节点的数据按照调用顺序进行逐一分析,确定出现异常数据的节点,从而确定业务服务出现异常的异常原因。例如,某业务交易按顺序经由系统A、系统B和系统C分别完成前台界面请求、中间业务流转和核心业务处理的流程,当业务交易出现问题时,通过系统A在前台界面返回异常。经过系统A的运维和开发人员分析后,发现是调用系统B产生的异常。再经由系统B、系统C的运维和开发人员逐一排查、协同分析后,最终确定异常节点在系统C,即整个业务交易链条的末端。
但是,业务服务对应的多个节点之间的依赖关系增加了技术人员分析确定异常原因的难度,且技术人员进行人工分析可能导致分析错误的问题,使得数据分析的准确度较低,且数据分析的效率较低。
为了解决技术人员人工对业务服务对应的数据进行分析,而导致数据分析的准确度和效率较低的问题,考虑到业务服务的各节点之间具有依赖关系,可以采用分布式链路追踪技术采集业务交易过程中各调用节点产生的数据,生成服务调用链路,通过对服务调用链路进行特征提取和分析,确定出业务服务对应的业务流程,并检测出业务服务是否出现异常。使得在业务服务进行的过程中自动获取各个调用节点的数据,并进行实时分析,能够及时确定当前进行的业务服务是否出现异常,并能够及时确定出异常原因,避免了在出现异常之后技术人员进行分析导致分析效率低的问题,能够有效的提升数据分析的准确度和效率。
图1为本申请实施例提供的一种基于分布式链路追踪的数据分析方法的应用场景示意图。在本申请中,可以通过图1所示的多个服务器和终端设备之间的交互,完成业务交易。示例的,在进行业务交易时,用户可以通过终端设备101输入业务请求指令,例如查询账号余额的指令,终端设备101在接收到用户输入的业务请求指令时,根据业务请求指令生成用于调用服务器102的第一调用指令,服务器102根据接收到的第一调用指令,生成调用服务器103的第二调用指令,服务器103根据接收到的调用服务器104的第三调用指令,服务器104可以根据接收到的第三调用指令向服务器103反馈第三反馈信息,使得服务器103根据接收到的第三反馈信息向服务器102反馈第二反馈信息,服务器102根据接收到的第二反馈信息向终端设备101反馈与业务请求指令对应的第一反馈信息,终端设备101在接收到第一反馈信息后,可以在终端设备101的显示界面进行显示,使得用户能够通过终端设备101的显示界面获取用户的查询信息。可以理解的是,图1中的每个服务器均为一个服务调用节点。
示例的,在进行上述业务交易的过程中,利用分布式链路追踪技术获取各个服务调用节点的服务数据,即获取各个服务器产生的数据,例如,调用指令和反馈信息等,根据各个服务调用节点产生的数据,生成服务调用链路,该服务调用链路包含各个服务器和终端设备之间的调用关系。在生成服务调用链路后,对服务调用链路进行特征提取,得到该服务连用链路对应的特征信息。可以将得到的特征信息与正在进行的多个业务交易对应的特征信息进行分析处理,得到对应的业务流程信息,并分析是否出现异常。
可以理解的是,本申请实施例仅以图1为例进行说明,但并不代表本申请实施例仅局限于此。
本申请实施例提供的技术方案能够在业务交易进行的过程中分析该业务交易是否出现异常,不需要技术人员进行人工分析,从而极大地提升了数据分析的效率。
下面,将通过具体的实施例对本申请提供的基于分布式链路追踪的数据分析方法进行详细地说明。可以理解的是,下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本申请实施例提供的一种基于分布式链路追踪的数据分析方法的流程示意图。该基于分布式链路追踪的数据分析方法可以由软件和/或硬件装置执行,例如,该硬件装置可以为基于分布式链路追踪的数据分析装置,该基于分布式链路追踪的数据分析装置可以为终端或者终端中的处理芯片。示例的,请参见图2所示,该基于分布式链路追踪的数据分析方法可以包括:
S201、通过分布式链路追踪技术获取业务交易过程中的多个服务调用节点的服务数据,并根据服务数据,生成服务调用链路。
示例的,分布式链路追踪技术可以在业务交易涉及多个系统的服务调用时,通过该协议可记录业务交易在不同系统间发生服务调用的先后顺序,从而形成单笔业务交易的服务调用链路,实现对单笔业务交易中各个服务调用节点的性能和状态的跟踪。
示例的,分布式链路追踪技术可以包括Open Tracing协议。在生成服务调用链路时,可以通过Open Tracing协议对业务交易过程中的多个服务调用节点进行监控,采集每个服务调用节点产生的服务数据;根据服务数据,生成链路单元,链路单元包括链路单元标识和上级链路单元标识;根据多个链路单元的链路单元标识和上级链路单元标识,得到多个链路单元的对应的调用顺序;根据调用顺序将多个链路单元连接,生成服务调用链路。服务数据可以为各个服务调用节点的性能和状态数据,本申请实施例对此不做具体限定。
示例的,在根据调用顺序将多个链路单元连接,生成服务调用链路时,调用顺序可以为链路单元对应的调用的先后顺序,即按照上级链路单元处于下级链路单元前方的顺序,将多个链路单元连接得到服务调用链路。本申请实施例仅以调用的先后顺序为例进行说明,但并不代表本申请实施例仅局限于此。
可以理解的是,只要存在业务交易发生,则通过分布式链路追踪技术生成其对应的服务调用链路。
在本申请实施例中,通过分布式链路追踪技术生成其对应的服务调用链路,实现了在业务交易过程中对服务数据进行实时采集,并能够保存个服务调用节点之间的依赖关系,避免了在出现异常问题后再获取数据进行分析,从而进一步提升了后续对服务调用链路进行分析的效率。
S202、对业务交易的服务调用链路进行特征提取,得到多个服务调用链路对应的特征信息。
示例的,在对业务交易的服务调用链路进行特征提取,得到多个服务调用链路对应的特征信息时,得到的特征信息可以为业务交易过程产生的服务数据中的服务名称、调用的先后顺序、各个服务调用节点的业务字段键值以及键值对应的内容,也可以包括其他特征信息,本申请实施例仅以上述为例进行说明,但并不代表本申请实施例仅局限于此。
在本申请实施例中,通过提取多个服务调用链对应的特征信息,以便于根据特征信息对业务交易进行分类,能够避免业务交易中无用的信息对数据分析造成影响,从而减轻了数据分析的计算量,进一步提升数据分析的效率。
S203、根据特征信息,确定业务流程信息。
示例的,由于在通过分布式链路追踪技术对业务交易过程进行监控时,需要技术人员编写代码,以控制对业务甲乙过程进行监控,因此,生成服务调用链路中包括的信息为代码格式。也就是说,对业务交易的服务调用链路进行特征提取,得到的多个服务调用链路对应的特征信息为代码格式。
在根据特征信息,确定业务流程信息时,可以根据代码格式的特征信息和预先存储的代码与应用服务信息之间的映射关系,得到特征信息对应的应用服务信息;对特征信息对应的应用服务信息进行聚类,得到聚类结果,聚类结果包括目标应用服务信息;根据目标应用服务信息,确定业务流程信息。
示例的,预先存储的代码与应用服务信息之间的映射关系可以为技术人员预先写入的,通过预先存储的代码与应用服务信息之间的映射关系,能够实现将代码转换为应用服务信息,能够避免因不同的技术人员编码的代码不同而导致无法根据代码准确的确定应用服务信息的问题,能够提升数据分析的准确度。
可以理解的是,同一类型的业务交易生成的服务调用链路具有相同的特征,例如,通过网站查询个人金融账户余额的操作,包含用户登录状态验证-用户个人信息验证-用户金融账户查询-金融账户余额读取的主要业务流程,各业务流程的各个环节可对应于不同的服务调用节点,本申请实施例仅以此为例进行说明,但并代表本申请实施例仅局限于此。
示例的,通过对特征信息对应的应用服务信息进行聚类,能够将不同的业务交易进行分类,实现了将相同类型的业务交易分为一类的目的。聚类后得到的聚类结果包括多个服务调用链路类型,即业务交易类型,每个服务调用链路类型均包括其应用服务信息,目标应用服务信息为待分析的应用程序服务信息。通过对应用服务信息进行聚类,能够确定出每一类服务调用链路的业务流程信息,有利于对业务流程进行分析处理。
示例的,服务调用链路的类型可以包括HTTP调用、程序内部调用、数据库调用等,本申请仅以此为例进行说明,但并代表本申请实施例仅局限于此。
在本申请实施例中,通过将代码格式的特征信息转换为应用服务信息,并对应用服务信息进行聚类,能够准确的得到业务交易对应的业务流程信息,以便于对对业务流程信息进行分析确定业务交易是否出现异常,能够有效地提升数据分析的准确度。
示例的,在根据目标应用服务信息,确定业务流程信息时,可以根据目标应用服务信息和预先存储的应用服务信息与业务流程信息之间的映射关系,得到目标应用服务信息对应的业务流程信息。
示例的,根据目标应用服务信息,确定业务流程信息可以实现确定业务交易业务层的逻辑信息,例如,对于服务A-服务B-服务C的服务调用链路,经过聚类确定业务流程信息后,可以转变为业务流程1-业务流程2-业务流程3的业务流程信息。本申请实施例仅以此为例进行说明,但并不代表本申请实施例仅局限于此。
可以理解的是,聚类后得到的目标应用服务信息包含应用层的代码逻辑信息,例如,应用服务名称实际为系统代码中定义的服务接口名称。因此,需要技术人员预先将设定好的应用服务信息与业务流程信息之间的映射关系写入代码中。
在本申请实施例中,将目标应用服务信息转换为对应的业务流程信息,使得能够直接对业务流程进行分析,能够缩短对业务流程进行分析的时间,从而提升数据分析的效率。
S204、对业务流程信息进行分析,得到分析结果,分析结果包括业务交易异常或业务交易正常。
示例的,业务流程信息包括业务关键数据,在对业务流程信息进行分析,得到分析结果时,可以将业务关键信息与预设标准业务关键数据进行对比,若业务关键信息与预设标准业务关键数据一致,则确定分析结果包括业务交易正常;若业务关键信息与预设标准业务关键数据不一致,则确定分析结果包括业务交易异常以及业务交易的异常节点和异常原因。
可以理解的是,预设标准业务关键数据为业务交易正常进行过程中的关键数据,例如,业务交易过程中的服务调用时长、状态返回码等信息,本申请实施例对此不做任何限定。
示例的,将与预设标准业务关键数据不一致的业务关键信息的调用节点,确定为异常节点,并根据该业务关键信息得出异常原因,例如,调用节点1出现响应时长较长的问题,本申请实施例对于异常问题不做具体限定。
示例的,通过对业务流程进行分析,能够得出业务流程对应的业务交易的交易量、平均响应时间、成功率等信息,本申请实施例对此不做任何限定。
在本申请实施例中,通过将业务关键信息与预设标准业务关键数据进行对比,使得在生成服务调用链路后,能够及时确定出该服务调用链路是否出现异常,即确定业务交易是否出现异常,极大地提升了数据分析的效率。
由此可见,本申请实施例提供的基于分布式链路追踪的数据分析方法,通过分布式链路追踪技术获取业务交易过程中的多个服务调用节点的服务数据,并根据服务数据,生成服务调用链路;对多个业务交易的服务调用链路进行特征提取,得到多个服务调用链路对应的特征信息;根据特征信息,确定业务流程信息;对业务流程信息进行分析,得到分析结果,分析结果包括业务交易异常或业务交易正常。本申请实施例提供的技术方案能够通过分布式链路追踪技术生成业务交易过程对应的服务调用链路,并通过特征提取和分析,将特征信息换为业务流程,从而确定出分析结果,不需要技术人员进行人工分析,提升了数据分析的准确度,并实现了在业务交易过程中对服务调用链路进行自动分析,从而有效地提升了数据分析的效率。
在本申请的另一实施例中,为了提升用户在业务交易过程中的体验,在得到业务交易异常的分析结果时,还可以输出告警信息。在输出告警信息时,可以输出异常节点和异常原因,使得技术人员能够根据告警信息及时对业务交易进行维护,避免因业务交易异常而导致用户体验差的问题。
示例的,在输出告警信息时,可以通过语音、短信等方式输出,本申请实施例对此不做任何限定。
在本申请的另一实施例中,通过分布式链路追踪技术获取业务交易过程中的多个服务调用节点的服务数据,并生成服务调用链路,服务调用链路中的链路单元可以包括链路标识、调用服务名称、起始时刻、持续时长、本端信息,即链路单元所属的服务器的地址信息、对端信息,即上级链路单元所属的服务器的地址信息和自定义字段中的至少两种,自定义信息包括交易码、服务调用日期、返回码和错误码中的至少一种。
示例的,链路单元中的包含的信息在分布式链路追踪技术中以键值的方式存在,链路单元中键值、键值的中文名称以及键值表示的业务含义之间的对象关系可参见表1所示:
表1
Figure BDA0003412711080000121
可以理解的是,本申请实施例仅以表1为例进行说明,但并不代表本申请实施例仅局限于此。
示例的,自定义字段为技术人员写入的自定义的监控数据,对于不同的业务交易自定义字段可能相同也可能不相同,本申请实施例对此不做任何限定。通过对该自定义字段保存的数据进行键值、内容以及格式进行定义,可以实现保存具有业务含义的数据。示例的,自定义字段的键值与业务含义的对应关系参见表2所示:
表2
Figure BDA0003412711080000122
Figure BDA0003412711080000131
可以理解的是,本申请实施例仅以表2为例进行说明,但并不代表本申请实施例仅局限于此。
示例的,技术人员在设定监控数据的格式后,可以在程序逻辑的关键路径上将预设标准业务关键数据写入服务调用链路中,
为了便于理解本申请实施例提供的基于分布式链路追踪的数据分析方法,下面,将通过图3对本申请实施例提供的技术方案进行详细的描述,图3为本申请实施例提供的另一种基于分布式链路追踪的数据分析方法的流程示意图。根据图3所示,该基于分布式链路追踪的数据分析方法可以包括下述步骤:
S301、单链路单元聚合还原服务调用链路。
示例的,单链路单元聚合还原可以根据采集到的链路单元的服务数据还原每笔业务交易的服务调用链路。服务调用链路包含的
S302、基于服务调用链路进行特征提取和聚类,得到聚类结果。
示例的,在基于服务调用链路进行特征提取时,可以先获取服务调用链路对应的特征信息。在进行聚类时,可以根据应用标识、服务名称、调用顺序以及业务信息等特征信息对服务调用链路进行聚类,得到聚类结果。具体的,可参见上述实施例所述,本申请实施例在此不再赘述。
S303、定义业务含义。
示例的,可以有开发人员对聚类结果的业务特征进行定义,即预先定义代码与应用服务信息之间的映射关系,以及,应用服务信息与业务流程信息之间的映射关系,具体的可参见上市实施例所述,本申请实施例在此不再赘述。
S304、业务层性能告警分析。
示例的,通过得到的业务层的业务流程确定业务交易是否存在异常,并在业务交易存在异常时,输出告警信息。具体的,可参见上述实施例所述,本申请实施例在此不再赘述。
可以理解的是,本申请实施例对于上述步骤S302和步骤S303的执行顺序不做任何限定。
综上所述,本申请提供的技术方案,通过具备较为通用的应用服务调用采集能力的分布式链路跟踪协议,可以在不同的应用系统,即不同的服务调用节点,以相同的数据格式采集监控服务数据,从而实现应用间的服务调用链路串联,生成服务调用链路。通过对服务调用链路进行特征分析和聚类处理,实现了对面向应用层、大量业务交易产生的服务调用链路的服务数据进行分析,高效简明地解释业务层的性能数据和业务含义,对业务交易异常问题进行快速定位,从而提升了数据分析的效率。
图4为本申请实施例提供的一种基于分布式链路追踪的数据分析装置40的结构示意图,示例的,请参见图4所示,该基于分布式链路追踪的数据分析装置40可以包括:
生成模块401,用于通过分布式链路追踪技术获取业务交易过程中的多个服务调用节点的服务数据,并根据服务数据,生成服务调用链路。
处理模块402,用于对多个业务交易的服务调用链路进行特征提取,得到多个服务调用链路对应的特征信息。
处理模块402,还用于根据特征信息,确定业务流程信息。
分析模块403,用于对业务流程信息进行分析,得到分析结果,分析结果包括业务交易异常或业务交易正常。
可选的,特征信息为代码格式;处理模块402,具体用于根据代码格式的特征信息和预先存储的代码与应用服务信息之间的映射关系,得到特征信息对应的应用服务信息;对特征信息对应的应用服务信息进行聚类,得到聚类结果,聚类结果包括目标应用服务信息;根据目标应用服务信息,确定业务流程信息。
可选的,处理模块402,具体用于根据目标应用服务信息和预先存储的应用服务信息与业务流程信息之间的映射关系,得到目标应用服务信息对应的业务流程信息。
可选的,业务流程信息包括业务关键数据;分析模块403,具体用于将业务关键信息与预设标准业务关键数据进行对比,若业务关键信息与预设标准业务关键数据一致,则确定分析结果包括业务交易正常;在业务关键信息与预设标准业务关键数据不一致时,确定分析结果包括业务交易异常以及业务交易的异常节点和异常原因。
可选的,分布式链路追踪技术包括Open Tracing协议;生成模块401,具体用于通过Open Tracing协议对业务交易过程中的多个服务调用节点进行监控,采集每个服务调用节点产生的服务数据;根据服务数据,生成链路单元,链路单元包括链路单元标识和上级链路单元标识;根据多个链路单元的链路单元标识和上级链路单元标识,得到多个链路单元的对应的调用顺序;根据调用顺序将多个链路单元连接,生成服务调用链路。
可选的,装置还包括输出模块404,输出模块404,用于在分析结果包括业务交易异常时,输出告警信息。
本申请实施例提供的基于分布式链路追踪的数据分析装置,可以执行上述任一实施例中的基于分布式链路追踪的数据分析方法的技术方案,其实现原理以及有益效果与基于分布式链路追踪的数据分析方法的实现原理及有益效果类似,可参见基于分布式链路追踪的数据分析方法的实现原理及有益效果,此处不再进行赘述。
图5为本申请提供的一种电子设备结构示意图。如图5所示,该电子设备500可以包括:至少一个处理器501和存储器502。
存储器502,用于存放程序。具体地,程序可以包括程序代码,程序代码包括计算机操作指令。
存储器502可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器501用于执行存储器502存储的计算机执行指令,以实现前述方法实施例所描述的基于分布式链路追踪的数据分析方法。其中,处理器501可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application SpecificIntegrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。具体的,在实现前述方法实施例所描述的基于分布式链路追踪的数据分析方法时,该电子设备例如可以是终端、服务器等具有处理功能的电子设备。
可选的,该电子设备500还可以包括通信接口503。在具体实现上,如果通信接口503、存储器502和处理器501独立实现,则通信接口503、存储器502和处理器501可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry StandardArchitecture,简称为ISA)总线、外部设备互连(Peripheral Component,简称为PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果通信接口503、存储器502和处理器501集成在一块芯片上实现,则通信接口503、存储器502和处理器501可以通过内部接口完成通信。
本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁盘或者光盘等各种可以存储程序代码的介质,具体的,该计算机可读存储介质中存储有程序指令,程序指令用于上述实施例中的方法。
本申请还提供一种程序产品,该程序产品包括执行指令,该执行指令存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该执行指令,至少一个处理器执行该执行指令使得电子设备实施上述的各种实施方式提供的基于分布式链路追踪的数据分析方法。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种基于分布式链路追踪的数据分析方法,其特征在于,包括:
通过分布式链路追踪技术获取业务交易过程中的多个服务调用节点的服务数据,并根据所述服务数据,生成服务调用链路;
对多个业务交易的所述服务调用链路进行特征提取,得到多个所述服务调用链路对应的特征信息;
根据所述特征信息,确定业务流程信息;
对所述业务流程信息进行分析,得到分析结果,所述分析结果包括业务交易异常或业务交易正常。
2.根据权利要求1所述的方法,其特征在于,所述特征信息为代码格式;
所述根据所述特征信息,确定业务流程信息,包括:
根据代码格式的所述特征信息和预先存储的代码与应用服务信息之间的映射关系,得到所述特征信息对应的应用服务信息;
对所述特征信息对应的应用服务信息进行聚类,得到聚类结果,所述聚类结果包括目标应用服务信息;
根据所述目标应用服务信息,确定业务流程信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标应用服务信息,确定业务流程信息,包括:
根据所述目标应用服务信息和预先存储的应用服务信息与业务流程信息之间的映射关系,得到所述目标应用服务信息对应的业务流程信息。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述业务流程信息包括业务关键数据;
所述对所述业务流程信息进行分析,得到分析结果,包括:
将所述业务关键信息与预设标准业务关键数据进行对比,若所述业务关键信息与预设标准业务关键数据一致,则确定所述分析结果包括业务交易正常;
若所述业务关键信息与预设标准业务关键数据不一致,则确定所述分析结果包括业务交易异常以及所述业务交易的异常节点和异常原因。
5.根据权利要求4所述的方法,其特征在于,所述分布式链路追踪技术包括OpenTracing协议;
所述通过分布式链路追踪技术获取业务交易过程中的多个服务调用节点的服务数据,并根据所述服务数据,生成服务调用链路,包括:
通过Open Tracing协议对业务交易过程中的多个服务调用节点进行监控,采集每个所述服务调用节点产生的服务数据;
根据所述服务数据,生成链路单元,所述链路单元包括链路单元标识和上级链路单元标识;
根据多个所述链路单元的所述链路单元标识和所述上级链路单元标识,得到多个链路单元的对应的调用顺序;
根据所述调用顺序将多个所述链路单元连接,生成服务调用链路。
6.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
若所述分析结果包括业务交易异常,则输出告警信息。
7.一种基于分布式链路追踪的数据分析装置,其特征在于,包括:
生成模块,用于通过分布式链路追踪技术获取业务交易过程中的多个服务调用节点的服务数据,并根据所述服务数据,生成服务调用链路;
处理模块,用于对多个业务交易的所述服务调用链路进行特征提取,得到多个所述服务调用链路对应的特征信息;
所述处理模块,还用于根据所述特征信息,确定业务流程信息;
分析模块,用于对所述业务流程信息进行分析,得到分析结果,所述分析结果包括业务交易异常或业务交易正常。
8.一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-6任一项所述的方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时,实现上述权利要求1-6任一项所述的方法。
CN202111534583.2A 2021-12-15 2021-12-15 基于分布式链路追踪的数据分析方法、装置和电子设备 Pending CN114185708A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111534583.2A CN114185708A (zh) 2021-12-15 2021-12-15 基于分布式链路追踪的数据分析方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111534583.2A CN114185708A (zh) 2021-12-15 2021-12-15 基于分布式链路追踪的数据分析方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN114185708A true CN114185708A (zh) 2022-03-15

Family

ID=80543938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111534583.2A Pending CN114185708A (zh) 2021-12-15 2021-12-15 基于分布式链路追踪的数据分析方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN114185708A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114818645A (zh) * 2022-06-29 2022-07-29 深圳红途科技有限公司 基于数据主体的自动化报告生成方法、装置、设备及介质
CN115378997A (zh) * 2022-08-19 2022-11-22 建信金融科技有限责任公司 业务路径的处理方法、装置及设备
CN115529227A (zh) * 2022-08-29 2022-12-27 金螳螂家数字科技(苏州)有限公司 一种基于Web请求的链路跟踪和异常诊断方法
CN115984002A (zh) * 2023-02-22 2023-04-18 上海信宝博通电子商务有限公司 用于车辆交易管理的数据处理方法和装置
CN116028469A (zh) * 2023-01-04 2023-04-28 北京夏石科技有限责任公司 数据安全链路跟踪方法及装置
CN116055219A (zh) * 2023-03-07 2023-05-02 北京安胜华信科技有限公司 一种基于api访问链路防跳步方法、系统、终端及存储介质
CN116471213A (zh) * 2023-06-09 2023-07-21 北京随信云链科技有限公司 链路追踪方法、链路追踪系统及介质
CN116756044A (zh) * 2023-08-11 2023-09-15 杭州罗莱迪思科技股份有限公司 一种基于数据链路追踪的rpc远程调试方法、装置及应用
CN116915463A (zh) * 2023-07-17 2023-10-20 北京优特捷信息技术有限公司 一种调用链数据安全分析方法、装置、设备及存储介质
WO2024046027A1 (zh) * 2022-08-30 2024-03-07 中国电信股份有限公司 服务链路的生成方法及装置、电子设备、存储介质
CN117891749A (zh) * 2024-03-18 2024-04-16 卓望数码技术(深圳)有限公司 Api应用安全监测方法、装置、设备及存储介质

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114818645A (zh) * 2022-06-29 2022-07-29 深圳红途科技有限公司 基于数据主体的自动化报告生成方法、装置、设备及介质
CN115378997A (zh) * 2022-08-19 2022-11-22 建信金融科技有限责任公司 业务路径的处理方法、装置及设备
CN115378997B (zh) * 2022-08-19 2023-07-04 建信金融科技有限责任公司 业务路径的处理方法、装置及设备
CN115529227A (zh) * 2022-08-29 2022-12-27 金螳螂家数字科技(苏州)有限公司 一种基于Web请求的链路跟踪和异常诊断方法
WO2024046027A1 (zh) * 2022-08-30 2024-03-07 中国电信股份有限公司 服务链路的生成方法及装置、电子设备、存储介质
CN116028469A (zh) * 2023-01-04 2023-04-28 北京夏石科技有限责任公司 数据安全链路跟踪方法及装置
CN115984002B (zh) * 2023-02-22 2024-01-16 上海信宝博通电子商务有限公司 用于车辆交易管理的数据处理方法和装置
CN115984002A (zh) * 2023-02-22 2023-04-18 上海信宝博通电子商务有限公司 用于车辆交易管理的数据处理方法和装置
CN116055219A (zh) * 2023-03-07 2023-05-02 北京安胜华信科技有限公司 一种基于api访问链路防跳步方法、系统、终端及存储介质
CN116055219B (zh) * 2023-03-07 2023-06-20 北京安胜华信科技有限公司 一种基于api访问链路防跳步方法、系统、终端及存储介质
CN116471213A (zh) * 2023-06-09 2023-07-21 北京随信云链科技有限公司 链路追踪方法、链路追踪系统及介质
CN116471213B (zh) * 2023-06-09 2023-09-15 北京随信云链科技有限公司 链路追踪方法、链路追踪系统及介质
CN116915463A (zh) * 2023-07-17 2023-10-20 北京优特捷信息技术有限公司 一种调用链数据安全分析方法、装置、设备及存储介质
CN116915463B (zh) * 2023-07-17 2024-03-08 北京优特捷信息技术有限公司 一种调用链数据安全分析方法、装置、设备及存储介质
CN116756044B (zh) * 2023-08-11 2023-11-21 杭州罗莱迪思科技股份有限公司 一种基于数据链路追踪的rpc远程调试方法、装置及应用
CN116756044A (zh) * 2023-08-11 2023-09-15 杭州罗莱迪思科技股份有限公司 一种基于数据链路追踪的rpc远程调试方法、装置及应用
CN117891749A (zh) * 2024-03-18 2024-04-16 卓望数码技术(深圳)有限公司 Api应用安全监测方法、装置、设备及存储介质
CN117891749B (zh) * 2024-03-18 2024-06-04 卓望数码技术(深圳)有限公司 Api应用安全监测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN114185708A (zh) 基于分布式链路追踪的数据分析方法、装置和电子设备
CN107168854B (zh) 互联网广告异常点击检测方法、装置、设备及可读存储介质
CN111552633A (zh) 接口的异常调用测试方法、装置、计算机设备及存储介质
CN107888446B (zh) 一种协议健壮性测试方法及装置
CN108923972B (zh) 一种去重流量提示方法、装置、服务器及存储介质
CN107168844B (zh) 一种性能监控的方法及装置
CN110807050B (zh) 性能分析方法、装置、计算机设备及存储介质
CN109409948B (zh) 交易异常检测方法、装置、设备及计算机可读存储介质
CN109639456B (zh) 一种自动化告警的改进方法及告警数据的自动化处理平台
CN111309505A (zh) 页面异常处理方法、装置、电子设备
CN116107789A (zh) 一种监测、分析应用故障原因的方法及存储介质
CN111371581A (zh) 物联网卡业务异常检测的方法、装置、设备和介质
CN111767161A (zh) 远程调用深度识别方法、装置、计算机设备及可读存储介质
CN115687406B (zh) 一种调用链数据的采样方法、装置、设备及存储介质
CN111431733A (zh) 服务告警覆盖信息的评估方法及装置
CN116302989A (zh) 压力测试方法及系统、存储介质、计算机设备
CN115328734A (zh) 跨服务的日志处理方法、装置及服务器
CN115061924A (zh) 自动化测试案例的生成方法、生成装置
CN112765213A (zh) 一种二代征信自动化查询方法、系统及计算机设备
CN114371866A (zh) 业务系统的版本重构测试方法、装置和设备
CN113055760A (zh) 日志处理方法、装置、设备和存储介质
CN111835566A (zh) 一种系统故障管理方法、装置及系统
CN113434404B (zh) 校验灾备系统可靠性的自动化业务验证方法及装置
CN112232960B (zh) 交易应用系统监控方法及装置
CN114302398B (zh) 基于大数据的预留诈骗号码识别方法、装置及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination