CN109559121B - 交易路径调用异常分析方法、装置、设备及可读存储介质 - Google Patents
交易路径调用异常分析方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN109559121B CN109559121B CN201811476782.0A CN201811476782A CN109559121B CN 109559121 B CN109559121 B CN 109559121B CN 201811476782 A CN201811476782 A CN 201811476782A CN 109559121 B CN109559121 B CN 109559121B
- Authority
- CN
- China
- Prior art keywords
- abnormal
- data
- calling
- transaction path
- scene information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/389—Keeping log of transactions for guaranteeing non-repudiation of a transaction
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种交易路径调用异常分析方法、装置、设备及可读存储介质,该方法包括步骤:当获取到交易路径对应的特征码后,根据所述特征码获取所述交易路径对应的调用数据,并根据所述调用数据检测所述交易路径的调用是否调用异常;若检测到所述交易路径调用异常,则获取所述交易路径对应的异常相关信息;根据所述异常相关信息获取所述交易路径对应的异常数据,根据所述异常数据分析所述交易路径调用异常的异常原因。本发明实现了在确定交易路径调用异常时,通过异常相关信息分析出交易路径调用异常的异常原因。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种交易路径调用异常分析方法、装置、设备及可读存储介质。
背景技术
目前在基于银行分布式消息中间件的信息系统中,因为该系统中节点众多、交易路径复杂、日志信息分散、以及存在故障定位时复杂等问题,难以对交易全路径进行精准的跟踪和分析,在发现存在交易路径异常时难以进行进一步的定位,无法分析出交易路径调用异常的异常原因。
发明内容
本发明的主要目的在于提供一种交易路径调用异常分析方法、装置、设备及可读存储介质,旨在解决无法分析出交易路径远程调用异常的原因的技术问题。
为实现上述目的,本发明提供一种交易路径调用异常分析方法,所述交易路径调用异常分析方法包括步骤:
当获取到交易路径对应的特征码后,根据所述特征码获取所述交易路径对应的调用数据,并根据所述调用数据检测所述交易路径的调用是否调用异常;
若检测到所述交易路径调用异常,则获取所述交易路径对应的异常相关信息;
根据所述异常相关信息获取所述交易路径对应的异常数据,根据所述异常数据分析所述交易路径调用异常的异常原因。
优选地,所述当获取到交易路径对应的特征码后,根据所述特征码获取所述交易路径对应的调用数据的步骤之前,还包括:
采集调用所述交易路径调用异常的异常场景信息;
将所述异常场景信息进行分类标记,得到分类标记后的异常场景信息,并将分类标记后的异常场景信息分类存储至异常数据库中。
优选地,所述采集调用所述交易路径调用异常的异常场景信息的步骤之后,还包括:
对所述异常场景信息进行加工处理,得到加工处理后的异常场景信息;
所述将所述异常场景信息进行分类标记,得到分类标记后的异常场景信息的步骤包括:
确定加工处理后的所述异常场景信息对应异常场景的影响范围,并根据所述影响范围对加工处理后的所述异常场景信息进行分类标记,得到分类标记后的异常场景信息。
优选地,所述对所述异常场景信息进行加工处理,得到加工处理后的异常场景信息的步骤至少包括步骤A,步骤B和步骤C中的一个步骤:
步骤A:对所述异常场景信息进行无效数据清洗,得出清洗后的异常场景信息;
步骤B:对所述异常场景信息中待转换数据格式的目标数据进行数据格式转换,得到格式转换后的所述异常场景信息;
步骤C:对所述异常场景信息中的缺失数据进行填充,得到数据填充后的所述异常场景信息。
优选地,所述对所述异常场景信息进行无效数据清洗,得出清洗后的异常场景信息的步骤包括:
确定所述异常场景信息中缺少特征码的异常场景信息,将缺少特征码的所述异常场景信息确定为无效数据;
删除所述无效数据,得到清洗后的异常场景信息。
优选地,所述对所述异常场景信息中待转换数据格式的目标数据进行数据格式转换,得到格式转换后的所述异常场景信息的步骤之前,还包括:
检测所述异常场景信息中的时间数据和/或地址数据的数据格式是否为对应的目标格式;
若所述时间数据和/或地址数据的数据格式不是目标格式,则对所述异常场景信息中待转换数据格式的目标数据进行数据格式转换,得到格式转换后的所述异常场景信息的步骤包括:
将所述异常场景信息中的所述时间数据和/或地址数据对应确定为待转换数据格式的目标数据;
将所述目标数据的数据格式转换成对应的目标格式,以得到格式转换后的所述异常场景信息。
优选地,所述根据所述异常相关信息获取所述交易路径对应的异常数据,根据所述异常数据分析所述交易路径调用异常的异常原因的步骤包括:
通过与所述异常相关信息对应的查询接口,在异常数据库中获取所述交易路径对应的异常数据,并确定所述异常数据对应异常场景;
若所述异常数据对应的异常场景为应用启停场景和/或消息被丢弃场景,则确定所述交易路径调用异常的异常原因是所述交易路径的调用链中断;
若所述异常数据对应的异常场景为消息中间件的流控场景和/或消息推送失败场景,则确定所述交易路径调用异常的异常原因是所述交易路径的调用链调用超时。
优选地,所述根据所述异常相关信息获取所述交易路径对应的异常数据,根据所述异常数据分析所述交易路径调用异常的异常原因的步骤之后,还包括:
获取与所述异常原因对应的解决方案,并输出所述解决方案以供运维人员查看。
此外,为实现上述目的,本发明还提供一种交易路径调用异常分析装置,所述装置包括:
获取模块,用于当获取到交易路径对应的特征码后,根据所述特征码获取所述交易路径对应的调用数据,并根据所述调用数据检测所述交易路径的调用是否调用异常;
所述获取模块,还用于若检测到所述交易路径调用异常,则获取所述交易路径对应的异常相关信息;
分析模块,用于根据所述异常相关信息获取所述交易路径对应的异常数据,根据所述异常数据分析所述交易路径调用异常的异常原因。
此外,为实现上述目的,本发明还提供一种交易路径调用异常分析设备,所述交易路径调用异常分析设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的交易路径调用异常分析程序,所述交易路径调用异常分析程序被所述处理器执行时实现如上所述的交易路径调用异常分析方法的步骤。
此外,为实现上述目的,本发明还提供一种可读存储介质,所述可读存储介质上存储有交易路径调用异常分析程序,所述交易路径调用异常分析程序被处理器执行时实现如上所述的交易路径调用异常分析方法的步骤。
本发明通过根据交易路径对应的特征码获取交易路径对应的调用数据,在根据调用数据检测到交易路径调用异常后,获取交易路径对应的异常相关信息,根据异常相关信息获取交易路径对应的异常数据,根据异常数据分析交易路径调用异常的异常原因,实现了在确定交易路径调用异常时,通过异常相关信息分析出交易路径调用异常的异常原因,实现秒级异常分析。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的结构示意图;
图2是本发明交易路径调用异常分析方法第一实施例的流程示意图;
图3是本发明交易路径调用异常分析方法第二实施例的流程示意图;
图4是本发明交易路径调用异常分析方法第三实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是,图1即可为交易路径调用异常分析设备的硬件运行环境的结构示意图。本发明实施例交易路径调用异常分析设备可以是PC,便携计算机等终端设备。
如图1所示,该交易路径调用异常分析设备可以包括:处理器1001,例如CPU,网络接口1004,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的交易路径调用异常分析设备结构并不构成对交易路径调用异常分析设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及交易路径调用异常分析程序。其中,操作系统是管理和控制交易路径调用异常分析设备硬件和软件资源的程序,支持交易路径调用异常分析程序以及其它软件或程序的运行。
在图1所示的交易路径调用异常分析设备中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;而处理器1001可以用于调用存储器1005中存储的交易路径调用异常分析程序,并执行以下操作:
当获取到交易路径对应的特征码后,根据所述特征码获取所述交易路径对应的调用数据,并根据所述调用数据检测所述交易路径的调用是否调用异常;
若检测到所述交易路径调用异常,则获取所述交易路径对应的异常相关信息;
根据所述异常相关信息获取所述交易路径对应的异常数据,根据所述异常数据分析所述交易路径调用异常的异常原因。
进一步地,所述当获取到交易路径对应的特征码后,根据所述特征码获取所述交易路径对应的调用数据的步骤之前,处理器1001还可以用于调用存储器1005中存储的交易路径调用异常分析程序,并执行以下步骤:
采集调用所述交易路径调用异常的异常场景信息;
将所述异常场景信息进行分类标记,得到分类标记后的异常场景信息,并将分类标记后的异常场景信息分类存储至异常数据库中。
进一步地,所述采集调用所述交易路径调用异常的异常场景信息的步骤之后,处理器1001还可以用于调用存储器1005中存储的交易路径调用异常分析程序,并执行以下步骤:
对所述异常场景信息进行加工处理,得到加工处理后的异常场景信息;
所述将所述异常场景信息进行分类标记,得到分类标记后的异常场景信息的步骤包括:
确定加工处理后的所述异常场景信息对应异常场景的影响范围,并根据所述影响范围对加工处理后的所述异常场景信息进行分类标记,得到分类标记后的异常场景信息。
进一步地,所述对所述异常场景信息进行加工处理,得到加工处理后的异常场景信息的步骤至少包括步骤A,步骤B和步骤C中的一个步骤:
步骤A:对所述异常场景信息进行无效数据清洗,得出清洗后的异常场景信息;
步骤B:对所述异常场景信息中待转换数据格式的目标数据进行数据格式转换,得到格式转换后的所述异常场景信息;
步骤C:对所述异常场景信息中的缺失数据进行填充,得到数据填充后的所述异常场景信息。
进一步地,所述对所述异常场景信息进行无效数据清洗,得出清洗后的异常场景信息的步骤包括:
确定所述异常场景信息中缺少特征码的异常场景信息,将缺少特征码的所述异常场景信息确定为无效数据;
删除所述无效数据,得到清洗后的异常场景信息。
进一步地,所述对所述异常场景信息中待转换数据格式的目标数据进行数据格式转换,得到格式转换后的所述异常场景信息的步骤之前,处理器1001还可以用于调用存储器1005中存储的交易路径调用异常分析程序,并执行以下步骤:
检测所述异常场景信息中的时间数据和/或地址数据的数据格式是否为对应的目标格式;
若所述时间数据和/或地址数据的数据格式不是目标格式,则对所述异常场景信息中待转换数据格式的目标数据进行数据格式转换,得到格式转换后的所述异常场景信息的步骤包括:
将所述异常场景信息中的所述时间数据和/或地址数据对应确定为待转换数据格式的目标数据;
将所述目标数据的数据格式转换成对应的目标格式,以得到格式转换后的所述异常场景信息。
进一步地,所述根据所述异常相关信息获取所述交易路径对应的异常数据,根据所述异常数据分析所述交易路径调用异常的异常原因的步骤包括:
通过与所述异常相关信息对应的查询接口,在异常数据库中获取所述交易路径对应的异常数据,并确定所述异常数据对应异常场景;
若所述异常数据对应的异常场景为应用启停场景和/或消息被丢弃场景,则确定所述交易路径调用异常的异常原因是所述交易路径的调用链中断;
若所述异常数据对应的异常场景为消息中间件的流控场景和/或消息推送失败场景,则确定所述交易路径调用异常的异常原因是所述交易路径的调用链调用超时。
进一步地,所述根据所述异常相关信息获取所述交易路径对应的异常数据,根据所述异常数据分析所述交易路径调用异常的异常原因的步骤之后,处理器1001还可以用于调用存储器1005中存储的交易路径调用异常分析程序,并执行以下步骤:
获取与所述异常原因对应的解决方案,并输出所述解决方案以供运维人员查看。
基于上述的结构,提出交易路径调用异常分析方法的各个实施例。
参照图2,图2为本发明交易路径调用异常分析方法第一实施例的流程示意图。
本发明实施例提供了交易路径调用异常分析方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
交易路径调用异常分析方法应用于服务器或者终端中,终端可以包括诸如手机、穿戴设备、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal DigitalAssistant,PDA)等移动终端,以及诸如数字TV、台式计算机等固定终端。交易路径调用异常分析方法的各个实施例中,为了便于描述,省略执行主体进行阐述各个实施例。交易路径调用异常分析方法包括:
步骤S10,当获取到交易路径对应的特征码后,根据所述特征码获取所述交易路径对应的调用数据,并根据所述调用数据检测所述交易路径的调用是否调用异常。
当获取到交易路径对应的特征码后,根据特征码在调用数据库中获取交易路径对应的调用数据。其中,每一条交易路径都存在唯一的特征码,特征码为该交易路径的交易流水号,用于唯一表示该交易路径。在调用数据库中,存储有各条交易路径的调用数据,各个调用数据都携带有对应交易路径的特征码,因此,根据特征码即可获取到交易路径对应的调用数据。调用数据包括每次调用操作的调用方、被调用方、每次调用操作的调用时长和调用结果等。调用结果包括调用成功和调用失败两种结果。需要说明的是,一个交易请求对应一条交易路径,一条交易路径至少存在一次调用操作,一次调用操作至少存在一条调用数据。如某条交易路径存在10次调用操作,每次调用操作存在4条调用数据。
当得到调用数据后,根据调用数据检测交易路径的调用是否异常。具体地,当检测到调用数据中的调用结果为调用失败,和/或调用操作的调用时长大于预设时长时,确定交易路径调用异常;当检测到调用数据中的调用结果为调用成功,且调用操作的调用时长小于或者等于预设时长时,确定对应的调用操作调用正常。当交易路径对应的所有调用操作调用正常时,即可确定对应的交易路径调用正常。其中,预设时长可根据具体需要而设置,调用结果中设置有对应的结果状态码,根据结果状态码即可确定调用结果是调用成功还是调用失败。如可设置为当结果状态码为“1”时,表示调用结果为调用成功,当结果状态码为“0”时,表示调用结果为调用失败。
进一步地,当获取到交易路径对应的调用数据后,将调用数据加工成完整的交易路径,以得到与该特征码对应的完整交易路径。在将调用数据加工成完整的交易路径过程中,检测调用数据中是否存在缺失数据。若存在缺失数据,则采用关联数据进行数据填充,以使交易路径中的调用数据是完整的调用数据。在本发明实施例中,预先设置好调用数据的组成形式,如某条调用数据的组成形式为:特征码+调用操作调用方对应的系统ID+被调用方的系统ID+调用操作对应应用所在主机的主机地址+主机对应服务器所在区域+调用操作对应服务的服务ID+调用开始时间点+调用结束时间点。可以理解的是,调用时长等于调用操作对应调用开始时间点和调用结束时间点之间的时间差。
若某条调用数据中缺少其中一个或者多个数据,则确定该条调用数据中存在缺失数据,此时,根据应用对应消息中间件的名称可以获取应用所在主机的主机地址和应用对应的系统ID,根据主机地址可以获取服务器所在区域和对应的服务ID。在本发明实施例中,当某个应用接入消息中间件时,消息中间件可以获取到该应用对应的主机地址、系统ID和进程号等,而主机地址是和其对应服务器和服务ID关联存储的,因此,通过消息中间件的名称可以获取应用所在主机的主机地址和应用对应的系统ID,根据主机地址可以获取服务器所在区域和服务ID。获取到之后,对相应的缺失数据进行填充。需要说明的是,消息中间件中的某个应用既可以成为调用方,也可以成为被调用方。上述调用数据的组成形式只是为了便于理解,并不造成对调用数据组成形式的限制,用户可根据具体需要设置调用数据的组成形式。本发明实施例中的消息中间件为分布式消息中间件,是可以支持在分布式系统中发送和接受消息的硬件或软件基础设施,通过消息中间件,应用(应用程序)或组件之间可以进行可靠的同步或者异步通讯,从而降低系统之间的耦合度,提高系统的可扩展性和可用性。
若某一次调用操作的其中一条调用数据缺少调用开始时间点和/或调用结束时间点,则可从此次调用操作的其它调用数据中获取调用开始时间点和调用结束时间点,补充其它调用数据中所缺失的调用开始时间点和/或调用结束时间点。可以理解的是,同一次调用操作对应调用数据中的调用开始时间点和调用结束时间点是相同的。
需要说明的是,在将调用数据加工成完整的交易路径过程中,需要先将每一次调用操作对应的调用数据整合成一条调用数据,然后再将此次交易请求对应的所有调用操作的调用数据按照调用开始时间点或者调用结束时间点的先后顺序从前到后整合成调用链,以得到完整的交易路径。当得到完整的交易路径后,输出该完整的交易路径,以供用户查看交易请求对应的完整交易路径。可以理解的是,在该完整的交易路径中,有各个调用操作的调用细节和调用时间点,即有各个调用操作的调用数据和调用时间点。需要说明是,根据调用链中每一个环节的调用时间点还可以判断调用的耗时情况,从而得出可以优化的环节。
步骤S20,若检测到所述交易路径调用异常,则获取所述交易路径对应的异常相关信息。
若检测到交易路径调用异常,则获取交易路径对应的异常相关信息。其中,异常相关信息包括但不限于调用异常的交易路径对应的异常特征码、异常时间点和交易路径中调用操作调用异常对应的异常服务ID。需要说明的是,当检测到交易路径调用异常时,异常时间点为该调用操作的调用开始时间点。进一步地,若检测交易路径调用正常,则输出该交易路径调用正常的提示信息,以根据该提示信息提示用户交易路径调用正常。
步骤S30,根据所述异常相关信息获取所述交易路径对应的异常数据,根据所述异常数据分析所述交易路径调用异常的异常原因。
当获取到异常相关信息后,根据异常相关信息在预设的异常数据库中查找对应的异常数据,以获取交易路径对应的异常数据,根据所获取的异常数据分析交易路径调用异常的异常原因。具体地,在根据异常相关信息在预设的异常数据库中查找对应的异常数据过程中,是在异常数据库中查找携带异常特征码的调用数据,查找异常时间点对应的调用数据,和/或查找异常服务ID对应的调用数据。需要说明的是,异常时间点对应的调用数据为异常数据库中调用开始时间点为异常时间点对应的调用数据;异常服务ID对应的调用数据为异常数据库中调用数据中携带该异常服务ID对应的调用数据。在本发明实施例中,异常数据库是预先设置好的,用于存储异常调用数据的。
进一步地,步骤S30包括:
步骤a,通过与所述异常相关信息对应的查询接口,在异常数据库中获取所述交易路径对应的异常数据,并确定所述异常数据对应异常场景。
进一步地,为了提高获取到异常数据的效率,在异常数据库中,不同的异常相关信息对应不同的查询接口,每个查询接口对应一个数据表。当得到异常相关信息后,通过与异常相关信息对应的查询接口,在异常数据库中获取交易路径对应的异常数据,并确定异常数据对应的异常场景。在本发明实施例中,一共存在四种异常场景,分别为应用启停场景,消息被丢弃场景、消息推送失败场景和消息中间件的流控场景。当异常数据存在某个异常场景的场景信息中,则确定该场景信息对应的异常场景为异常数据对应的异常场景。应用启停场景对应的场景信息为应用启停信息,消息被丢弃场景对应的场景信息为消息被丢弃对应的消息被丢弃日志,消息推送失败场景对应的场景信息为消息推送失败日志,消息中间件的流控场景对应的场景信息为流控信息。如当异常特征码存在应用启停消息中,即应用启停消息对应的特征码为异常特征码时,可确定该异常特征码对应的异常场景为应用启停场景。
步骤b,若所述异常数据对应的异常场景为应用启停场景和/或消息被丢弃场景,则确定所述交易路径调用异常的异常原因是所述交易路径的调用链中断。
若确定异常数据对应的异常场景为应用启停场景和/或消息被丢弃场景,则确定交易路径调用异常的异常原因是交易路径的调用链中断。具体地,调用链中断的位置为应用启停位置,或者是消息被丢弃的位置。
步骤c,若所述异常数据对应的异常场景为消息中间件的流控场景和/或消息推送失败场景,则确定所述交易路径调用异常的异常原因是所述交易路径的调用链调用超时。
若确定异常数据对应的异常场景为消息中间件的流控场景和/或消息推送失败场景,则确定交易路径调用异常的异常原因是交易路径的调用链调用超时。具体地,调用链调用超时的原因为消息推送失败或消息中间件中触发了流控,其中,流控为流量控制。当消息中间件中触发流控时,会导致消息中间件在同一时间段所能执行的调用操作减少。
本实施例通过根据交易路径对应的特征码获取交易路径对应的调用数据,在根据调用数据检测到交易路径调用异常后,获取交易路径对应的异常相关信息,根据异常相关信息获取交易路径对应的异常数据,根据异常数据分析交易路径调用异常的异常原因,实现了在确定交易路径调用异常时,通过异常相关信息分析出交易路径调用异常的异常原因,实现秒级异常分析。
进一步地,提出本发明交易路径调用异常分析方法第二实施例。
所述交易路径调用异常分析方法第二实施例与所述交易路径调用异常分析方法第一实施例的区别在于,参照图3,交易路径调用异常分析方法还包括:
步骤S40,采集调用所述交易路径调用异常的异常场景信息。
步骤S50,将所述异常场景信息进行分类标记,得到分类标记后的异常场景信息,并将分类标记后的异常场景信息分类存储至异常数据库中。
当侦测到创建异常数据库的创建指令后,根据该创建指令采集远程调用交易路径调用异常的异常场景信息,或者在监控交易路径调用过程中,若检测到交易路径调用异常,采集远程调用交易路径调用异常的异常场景信息。异常场景信息包括但不限于获取应用启停信息,消息被丢弃日志,消息推送失败日志和消息中间件的流控信息。需要说明的是,本实施例中的异常场景信息为异常场景的场景信息。具体地,可从CMDB(ConfigurationManagement Database,配置管理数据库)获取消息中间件的系统地址和接入消息中间件中应用对应的主机地址,然后通过系统地址和主机地址在消息中间件对应的服务器中获取异常场景信息,或者通过系统地址和主机地址在监控系统中获取异常场景信息,或者发送场景信息获取请求给消息中间件对应的服务器或者监控系统,以供消息中间件对应的服务器或者监控系统根据场景信息获取请求对应返回异常场景信息。可以理解的是,由于各个应用都接入了消息中间件中,因此,在各个应用执行交易请求时,对应的异常场景信息会存储在消息中间件的服务器中;而监控系统用于监控整个交易路径,因此,监控系统中也会存储有对应的异常场景信息。
当获取到异常场景信息后,将该异常场景信息进行分类标记,得到分类标记后的异常场景信息,并将分类标记后的异常场景信息按照类别(也可以是特征码)分类存储至异常数据库中。其中,创建指令可由对应的工作人员根据需要而触发。在异常数据库中,一个类别的异常场景信息对应一个数据表,在将异常场景信息存储至异常数据库过程中,将对应类型的异常场景信息存储至对应的数据表中。
本实施例通过采集交易路径调用异常的异常场景信息,将异常场景信息进行分类标记,并将分类标记后的异常场景信息分类存储至异常数据库中,以便于快速从异常数据库中获取异常场景信息。
进一步地,交易路径调用异常分析方法还包括:
步骤d,对所述异常场景信息进行加工处理,得到加工处理后的异常场景信息。
当获取到异常场景信息后,对异常场景信息进行加工处理,得到加工处理后的异常场景信息。其中,加工处理的操作包括但不限于数据清洗、格式转换和/或数据填充。
进一步地,步骤d至少包括步骤A,步骤B和步骤C中的一个步骤:
步骤A:对所述异常场景信息进行无效数据清洗,得出清洗后的异常场景信息。
步骤B:对所述异常场景信息中待转换数据格式的目标数据进行数据格式转换,得到格式转换后的所述异常场景信息。
步骤C:对所述异常场景信息中的缺失数据进行填充,得到数据填充后的所述异常场景信息。
当获取到异常场景信息后,对异常场景信息进行无效数据清洗,得出清洗后的异常场景信息;确定异常场景信息中待转换数据格式的数据,将待转换数据格式的数据确定为目标数据,对目标数据进行格式转换,得到格式转换后的异常场景信息;对异常场景信息中的缺失数据进行填充,得到数据填充后的异常场景信息。其中,数据填充(步骤C)的过程已在上述实施例中详细描述,在此不再赘述。
当步骤d包括步骤A,步骤B和步骤C中至少两个步骤时,本实施例不限制步骤d所包括步骤执行的先后顺序。如当步骤d包括步骤A,步骤B和步骤C三个步骤时,可以先执行步骤A,再执行步骤B,最后执行步骤C,也可以先执行步骤B,再执行步骤A,最后执行步骤C。
进一步地,步骤A包括:
步骤A1,确定所述异常场景信息中缺少特征码的异常场景信息,将缺少特征码的所述异常场景信息确定为无效数据。
步骤A2,删除所述无效数据,得到清洗后的异常场景信息。
数据清洗的过程为:检测异常场景信息是否都携带了对应的特征码。可以理解的是,每一个异常场景都是属于某个交易路径的,因此,正常情况下每一个异常场景都存在对应的特征码。确定异常场景信息中未携带对应特征码的异常场景信息,即确定异常场景信息中缺少特征码的异常场景信息,将缺少特征码的异常场景信息确定为无效数据。当确定异常场景中的无效数据,删除无效数据,得到清洗后的异常场景信息。
进一步地,检测异常场景信息中是否存在重复的异常场景信息,其中,重复的异常场景信息为异常场景信息中对应的数据都相同。如若两个应用启停消息的应用名称、应用启动运行时间点和应用停止运行时间点都相同,则可确定这两个应用启停消息为重复的异常场景信息。当检测到异常场景信息中存在重复的异常场景信息后,删除重复的异常场景信息,只保留重复异常场景信息中的其中一个异常场景信息即可,以得到清洗后的异常场景信息。
进一步地,交易路径调用异常分析方法还包括:
步骤f,检测所述异常场景信息中的时间数据和/或地址数据的数据格式是否为对应的目标格式。
当获取到异常场景信息后,检测异常场景信息中的时间数据和/或地址数据的数据格式是否为对应的目标格式。时间数据为应用启停信息中的应用启动运行时间点和应用停止运行时间点、消息被丢弃信息中的丢弃时间点等;地址数据为消息中间件对应的系统IP(Internet Protocol,网络之间互连的协议)地址和接入消息中间件中各个应用对应的主机IP地址等。目标格式是预先设置好,如时间数据的目标格式可设置为时分秒的格式,地址数据的目标格式可设置4段式的格式,此时,地址数据是一个32位的二进制数,通常被分割为4个“8位二进制数”(也就是4个字节)。可以理解的是,将时间数据和/或地址数据的数据格式与对应目标格式进行对比即可对应知道时间数据和/或地址数据的数据格式是否为对应的目标格式。
若所述时间数据和/或地址数据的数据格式不是目标格式,则步骤B包括:
步骤B1,将所述异常场景信息中的所述时间数据和/或地址数据对应确定为待转换数据格式的目标数据。
步骤B2,将所述目标数据的数据格式转换成对应的目标格式,以得到格式转换后的所述异常场景信息。
若检测到时间数据和/或地址数据的数据格式不是目标格式,则将异常场景信息中的时间数据和/或地址数据确定为待转换数据格式的目标数据,并将目标数据的数据格式转换成对应的目标格式,以得到格式转换后的异常场景信息。进一步地,若检测到时间数据和/或地址数据的数据格式为目标格式,则不执行数据格式转换的操作。
所述将所述异常场景信息进行分类标记,得到分类标记后的异常场景信息的步骤包括:
步骤e,确定加工处理后的所述异常场景信息对应异常场景的影响范围,并根据所述影响范围对加工处理后的所述异常场景信息进行分类标记,得到分类标记后的异常场景信息。
当得到加工处理后的异常场景信息后,确定加工处理后的异常场景信息对应异常场景的影响范围,根据该影响范围对加工处理后的异常场景信息进行分类标记,得到分类标记后的异常场景信息。如消息被丢弃日志对应异常场景为某条消息被丢弃,此时只会影响所丢弃的该条消息,即影响范围为一条消息,因此,在该消息被丢弃日志对应的特征码中添加异常标识;应用启停消息对应异常场景为某个应用启停异常,此时会影响携带该应用对应系统ID所有调用操作,即影响范围为携带该系统ID的所有调用操作,因此在该应用的系统ID中添加异常标识。由此可知,分类标记后的异常场景信息为:携带异常标识的特征码对应的异常场景信息,携带异常标识的系统ID对应的异常场景信息,携带异常标识的时间戳对应的异常场景信息(时间戳为调用时长异常对应调用开始运行时间点和/或调用停止运行时间点对应的时间戳)等。
本实施例通过对异常场景信息进行加工处理,得到加工处理后的异常场景信息,实现了对分散在消息中间件和接入消息中间件中各应用上的异常日志和异常信息进行整理和筛选,通过特征码、系统ID等多种数据与异常场景进行关联,以便于在分析交易路径调用异常的异常原因过程中,可以快速分析出交易路径调用异常的异常原因,以及快速定位故障点。可以理解的是,当确定交易路径调用异常的异常场景后,即可确定故障点。
进一步地,提出本发明交易路径调用异常分析方法第三实施例。
所述交易路径调用异常分析方法第三实施例与所述交易路径调用异常分析方法第一或第二实施例的区别在于,参照图4,交易路径调用异常分析方法还包括:
步骤S60,获取与所述异常原因对应的解决方案,并输出所述解决方案以供运维人员查看。
当分析出交易路径调用异常的异常原因后,获取预先存储的与异常原因对应的解决方案,并输出该解决方案供运维人员查看。需要说明的是,异常原因对应的解决方案是预先设置好的,不同的异常原因对应着至少一种解决方案,在输出解决方案过程中,可输出一种或者多种解决方案,也可将异常原因和解决方案一起输出。
本实施例通过在确定交易路径调用异常的异常原因后,输出该异常原因对应的解决方案供用户查看,以供运维人员查看,以供运维人员根据该解决方案快速解决交易路径调用异常的问题。
此外,本发明还提供一种交易路径调用异常分析装置,所述装置包括:
获取模块,用于当获取到交易路径对应的特征码后,根据所述特征码获取所述交易路径对应的调用数据,并根据所述调用数据检测所述交易路径的调用是否调用异常;
所述获取模块,还用于若检测到所述交易路径调用异常,则获取所述交易路径对应的异常相关信息;
分析模块,用于根据所述异常相关信息获取所述交易路径对应的异常数据,根据所述异常数据分析所述交易路径调用异常的异常原因。
此外,本发明实施例还提出一种可读存储介质,所述可读存储介质上存储有交易路径调用异常分析程序,所述交易路径调用异常分析程序被处理器执行时实现如上所述的交易路径调用异常分析方法的步骤。
本发明可读存储介质具体实施方式与上述交易路径调用异常分析方法各实施例基本相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种交易路径调用异常分析方法,其特征在于,应用在交易路径调用异常分析设备中,所述交易路径调用异常分析设备包括消息中间件、消息中间件的服务器、通过消息中间件通讯的多个应用、每个应用所在的主机,所述交易路径调用异常分析方法包括以下步骤:
当获取到交易路径对应的特征码后,根据所述特征码获取所述交易路径对应的调用数据,所述调用数据包括:特征码+调用操作调用方对应的系统ID+被调用方的系统ID+调用操作对应应用所在主机的主机地址+主机对应服务器所在区域+调用操作对应服务的服务ID+调用开始时间点+调用结束时间点,并根据所述调用数据检测所述交易路径的调用是否调用异常,其中,调用异常包括调用结果失败或调用时长大于预设时长;
若检测到所述交易路径调用异常,则获取所述交易路径对应的异常相关信息;
根据所述异常相关信息获取所述交易路径对应的异常数据,根据所述异常数据分析所述交易路径调用异常的异常原因;
所述获取所述交易路径对应的异常相关信息之前,包括:
检测所述调用数据中是否存在缺失数据;
若是,则采用关联数据对所述缺失数据进行数据填充;所述关联数据由所述调用对应的应用的消息中间件提供,其中,消息中间件根据应用所在主机的主机地址确定服务ID,以根据特征码、主机地址及服务ID确定关联数据;
所述根据所述异常相关信息获取所述交易路径对应的异常数据,根据所述异常数据分析所述交易路径调用异常的异常原因的步骤包括:
通过与所述异常相关信息对应的查询接口,在异常数据库中获取所述交易路径对应的异常数据,并基于所述异常数据中的异常特征码所在的场景信息,确定异常场景,其中,所述场景信息的确定方式包括:获取消息中间件的系统地址和接入消息中间件中应用对应的主机地址;通过系统地址和主机地址在消息中间件的服务器中获取所述交易路径调用异常的场景信息,所述异常数据为携带所述异常特征码的调用数据;
若所述异常场景为应用启停场景和/或消息被丢弃场景,则确定所述交易路径调用异常的异常原因是所述交易路径的调用链中断;
若所述异常场景为消息中间件的流控场景和/或消息推送失败场景,则确定所述交易路径调用异常的异常原因是所述交易路径的调用链调用超时。
2.如权利要求1所述的交易路径调用异常分析方法,其特征在于,所述当获取到交易路径对应的特征码后,根据所述特征码获取所述交易路径对应的调用数据的步骤之前,还包括:
采集调用所述交易路径调用异常的异常场景信息;
将所述异常场景信息进行分类标记,得到分类标记后的异常场景信息,并将分类标记后的异常场景信息分类存储至异常数据库中。
3.如权利要求2所述的交易路径调用异常分析方法,其特征在于,所述采集调用所述交易路径调用异常的异常场景信息的步骤之后,还包括:
对所述异常场景信息进行加工处理,得到加工处理后的异常场景信息;
所述将所述异常场景信息进行分类标记,得到分类标记后的异常场景信息的步骤包括:
确定加工处理后的所述异常场景信息对应异常场景的影响范围,并根据所述影响范围对加工处理后的所述异常场景信息进行分类标记,得到分类标记后的异常场景信息。
4.如权利要求3所述的交易路径调用异常分析方法,其特征在于,所述对所述异常场景信息进行加工处理,得到加工处理后的异常场景信息的步骤至少包括步骤A,步骤B和步骤C中的一个步骤:
步骤A:对所述异常场景信息进行无效数据清洗,得出清洗后的异常场景信息;
步骤B:对所述异常场景信息中待转换数据格式的目标数据进行数据格式转换,得到格式转换后的所述异常场景信息;
步骤C:对所述异常场景信息中的缺失数据进行填充,得到数据填充后的所述异常场景信息。
5.如权利要求4所述的交易路径调用异常分析方法,其特征在于,所述对所述异常场景信息进行无效数据清洗,得出清洗后的异常场景信息的步骤包括:
确定所述异常场景信息中缺少特征码的异常场景信息,将缺少特征码的所述异常场景信息确定为无效数据;
删除所述无效数据,得到清洗后的异常场景信息。
6.如权利要求4所述的交易路径调用异常分析方法,其特征在于,所述对所述异常场景信息中待转换数据格式的目标数据进行数据格式转换,得到格式转换后的所述异常场景信息的步骤之前,还包括:
检测所述异常场景信息中的时间数据和/或地址数据的数据格式是否为对应的目标格式;
若所述时间数据和/或地址数据的数据格式不是目标格式,则对所述异常场景信息中待转换数据格式的目标数据进行数据格式转换,得到格式转换后的所述异常场景信息的步骤包括:
将所述异常场景信息中的所述时间数据和/或地址数据对应确定为待转换数据格式的目标数据;
将所述目标数据的数据格式转换成对应的目标格式,以得到格式转换后的所述异常场景信息。
7.如权利要求1至6任一项所述的交易路径调用异常分析方法,其特征在于,所述根据所述异常相关信息获取所述交易路径对应的异常数据,根据所述异常数据分析所述交易路径调用异常的异常原因的步骤之后,还包括:
获取与所述异常原因对应的解决方案,并输出所述解决方案以供运维人员查看。
8.一种交易路径调用异常分析装置,其特征在于,所述交易路径调用异常分析装置包括:
获取模块,用于当获取到交易路径对应的特征码后,根据所述特征码获取所述交易路径对应的调用数据,所述调用数据包括:特征码+调用操作调用方对应的系统ID+被调用方的系统ID+调用操作对应应用所在主机的主机地址+主机对应服务器所在区域+调用操作对应服务的服务ID+调用开始时间点+调用结束时间点,并根据所述调用数据检测所述交易路径的调用是否调用异常,其中,调用异常包括调用结果失败或调用时长大于预设时长;
所述获取模块,还用于若检测到所述交易路径调用异常,则获取所述交易路径对应的异常相关信息;
分析模块,用于根据所述异常相关信息获取所述交易路径对应的异常数据,根据所述异常数据分析所述交易路径调用异常的异常原因;
所述获取模块,还用于检测所述调用数据中是否存在缺失数据;若是,则采用关联数据对所述缺失数据进行数据填充;所述关联数据由所述调用对应的应用的消息中间件提供,其中,消息中间件根据应用所在主机的主机地址确定服务ID,以根据特征码、主机地址及服务ID确定关联数据;
所述分析模块,还用于通过与所述异常相关信息对应的查询接口,在异常数据库中获取所述交易路径对应的异常数据,并基于所述异常数据中的异常特征码所在的场景信息,确定异常场景,其中,所述场景信息的确定方式包括:获取消息中间件的系统地址和接入消息中间件中应用对应的主机地址;通过系统地址和主机地址在消息中间件的服务器中获取所述交易路径调用异常的场景信息,所述异常数据为携带所述异常特征码的调用数据;若所述异常场景为应用启停场景和/或消息被丢弃场景,则确定所述交易路径调用异常的异常原因是所述交易路径的调用链中断;若所述异常场景为消息中间件的流控场景和/或消息推送失败场景,则确定所述交易路径调用异常的异常原因是所述交易路径的调用链调用超时。
9.一种交易路径调用异常分析设备,其特征在于,所述交易路径调用异常分析设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的交易路径调用异常分析程序,所述交易路径调用异常分析程序被所述处理器执行时实现如权利要求1至7中任一项所述的交易路径调用异常分析方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有交易路径调用异常分析程序,所述交易路径调用异常分析程序被处理器执行时实现如权利要求1至7中任一项所述的交易路径调用异常分析方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811476782.0A CN109559121B (zh) | 2018-12-03 | 2018-12-03 | 交易路径调用异常分析方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811476782.0A CN109559121B (zh) | 2018-12-03 | 2018-12-03 | 交易路径调用异常分析方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109559121A CN109559121A (zh) | 2019-04-02 |
CN109559121B true CN109559121B (zh) | 2022-04-26 |
Family
ID=65869088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811476782.0A Active CN109559121B (zh) | 2018-12-03 | 2018-12-03 | 交易路径调用异常分析方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109559121B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111240876B (zh) * | 2020-01-06 | 2023-08-25 | 远光软件股份有限公司 | 微服务的故障定位方法、装置、存储介质及终端 |
CN111355614A (zh) * | 2020-03-10 | 2020-06-30 | 北京意锐新创科技有限公司 | 适用于支付设备日志的异常信息定位方法和装置 |
TWI793910B (zh) * | 2021-12-09 | 2023-02-21 | 中華電信股份有限公司 | 偵測異常及提供修復策略的微服務監控系統及其方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101707537A (zh) * | 2009-11-18 | 2010-05-12 | 华为技术有限公司 | 故障链路定位方法、告警根因分析方法及设备、系统 |
CN104954165A (zh) * | 2015-04-20 | 2015-09-30 | 华为技术有限公司 | 一种链路分析的方法、设备及系统 |
CN106790718A (zh) * | 2017-03-16 | 2017-05-31 | 北京搜狐新媒体信息技术有限公司 | 服务调用链路分析方法及系统 |
CN106941421A (zh) * | 2017-03-31 | 2017-07-11 | 北京奇艺世纪科技有限公司 | 一种链路故障修复方法及装置 |
CN108462750A (zh) * | 2018-03-22 | 2018-08-28 | 平安好房(上海)电子商务有限公司 | 分布式调用追踪方法、业务系统、监控系统及存储介质 |
CN108833184A (zh) * | 2018-06-29 | 2018-11-16 | 腾讯科技(深圳)有限公司 | 服务故障定位方法、装置、计算机设备及存储介质 |
-
2018
- 2018-12-03 CN CN201811476782.0A patent/CN109559121B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101707537A (zh) * | 2009-11-18 | 2010-05-12 | 华为技术有限公司 | 故障链路定位方法、告警根因分析方法及设备、系统 |
CN104954165A (zh) * | 2015-04-20 | 2015-09-30 | 华为技术有限公司 | 一种链路分析的方法、设备及系统 |
CN106790718A (zh) * | 2017-03-16 | 2017-05-31 | 北京搜狐新媒体信息技术有限公司 | 服务调用链路分析方法及系统 |
CN106941421A (zh) * | 2017-03-31 | 2017-07-11 | 北京奇艺世纪科技有限公司 | 一种链路故障修复方法及装置 |
CN108462750A (zh) * | 2018-03-22 | 2018-08-28 | 平安好房(上海)电子商务有限公司 | 分布式调用追踪方法、业务系统、监控系统及存储介质 |
CN108833184A (zh) * | 2018-06-29 | 2018-11-16 | 腾讯科技(深圳)有限公司 | 服务故障定位方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109559121A (zh) | 2019-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9369521B2 (en) | Naming of distributed business transactions | |
CN109559121B (zh) | 交易路径调用异常分析方法、装置、设备及可读存储介质 | |
CN112631913B (zh) | 应用程序的运行故障监控方法、装置、设备和存储介质 | |
CN109684155B (zh) | 监控配置方法、装置、设备及可读存储介质 | |
RU2004109134A (ru) | Архитектура и система для обеспечения информированности о местоположении | |
US9372776B2 (en) | Monitoring user activity and performance of computerized devices | |
CN111061498B (zh) | 一种配置信息管理系统 | |
CN111447102A (zh) | Sdn网络设备访问方法、装置、计算机设备及存储介质 | |
CN110674034A (zh) | 一种健康检查方法、装置及电子设备和存储介质 | |
CN116107846B (zh) | 一种基于EBPF的Linux系统事件监控方法及装置 | |
CN108111346B (zh) | 告警关联分析中频繁项集的确定方法、装置及存储介质 | |
CN110287056A (zh) | 网页错误信息获取方法和装置 | |
CN111737207A (zh) | 展示、归集分布式系统中服务节点的日志的方法和装置 | |
WO2015187001A2 (en) | System and method for managing resources failure using fast cause and effect analysis in a cloud computing system | |
CN109409948B (zh) | 交易异常检测方法、装置、设备及计算机可读存储介质 | |
CN112235128B (zh) | 一种交易路径分析方法、装置、服务器及存储介质 | |
CN110231921B (zh) | 日志打印方法、装置、设备及计算机可读存储介质 | |
CN115951923B (zh) | 订阅事件管理方法、显示系统、设备和存储介质 | |
CN112527619A (zh) | 一种基于有向无环图结构的分析链路调用方法及系统 | |
CN111124542A (zh) | 一种配置信息管理系统 | |
CN112199275B (zh) | 一种组件接口测试分析方法、装置、服务器以及存储介质 | |
CN110875832A (zh) | 异常业务监控方法、装置、系统及计算机可读存储介质 | |
CN114048467A (zh) | 基于入侵检测系统的模型数据处理方法、装置、设备及存储介质 | |
CN112671615A (zh) | 前端用户操作行为数据的收集方法、系统及存储介质 | |
CN113448836A (zh) | 软件接口测试方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |