CN108683562A - 异常检测定位方法、装置、计算机设备及存储介质 - Google Patents

异常检测定位方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN108683562A
CN108683562A CN201810478548.5A CN201810478548A CN108683562A CN 108683562 A CN108683562 A CN 108683562A CN 201810478548 A CN201810478548 A CN 201810478548A CN 108683562 A CN108683562 A CN 108683562A
Authority
CN
China
Prior art keywords
server
log information
component
response
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810478548.5A
Other languages
English (en)
Other versions
CN108683562B (zh
Inventor
丁晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201810478548.5A priority Critical patent/CN108683562B/zh
Publication of CN108683562A publication Critical patent/CN108683562A/zh
Application granted granted Critical
Publication of CN108683562B publication Critical patent/CN108683562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0677Localisation of faults
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Abstract

本发明公开一种异常检测定位方法、装置、计算机设备及存储介质。该方法包括平台服务器执行的如下步骤:获取服务器集群发送的响应信息,响应信息包括响应标识和访问ID;服务器集群包括本地组件服务器或者本地组件服务器和关联组件服务器;若响应标识为响应失败标识,则获取服务器集群在响应访问ID对应的http请求过程中生成的异常日志信息,异常日志信息包括组件标识;若组件标识中存在关联组件标识,则确定关联组件标识对应的异常日志信息为第一目标日志信息;基于第一目标日志信息,确定关联组件服务器在响应http请求的过程中出现访问异常。该方法实现快速确定存在异常的目标日志信息的位置,节省了测试人员查找异常日志的时间。

Description

异常检测定位方法、装置、计算机设备及存储介质
技术领域
本发明涉及软件技术领域,尤其涉及一种异常检测定位方法、装置、计算机设备及存储介质。
背景技术
在网络测试过程中,经常会出现测试异常的情况。当出现测试异常的情况时,测试人员一般会通过异常发生的时间点获取异常日志块,从而确定成测试异常的具体位置。由于在网络测试过程中会生成大量的日志,若从大量的日志中确定异常日志的具体位置会耗费测试人员大量的时间。现有技术中通常使用有线连接的方式获取网络测试过程中的日志,如Charles代理服务器。Charles是一个http代理服务器,http监视器,反转代理服务器,当浏览器连接Charles的代理访问互联网时,Charles可以监控浏览器发送和接收的所有数据,即Charles是一款可以通过截取http请求和http请求对应的结果,以实现网络分析和后端调试的代理服务器。Charles代理服务器也只能通过网络接口的返回值来确定异常日志的具体位置,不能快速定位异常位置。
发明内容
本发明实施例提供一种异常检测定位方法、装置、计算机设备及存储介质,以解决在网络测试过程中,不能快速确定导致异常情况发生的具体位置的问题。
第一方面,本发明实施例提供一种异常检测定位方法,包括平台服务器执行的如下步骤:
获取服务器集群发送的响应信息,所述响应信息包括响应标识和访问ID;所述服务器集群包括本地组件服务器或者本地组件服务器和关联组件服务器;
若所述响应标识为响应失败标识,则获取所述服务器集群在响应所述访问ID对应的http请求过程中生成的异常日志信息,所述异常日志信息包括组件标识;
若所述组件标识中存在关联组件标识,则确定所述关联组件标识对应的异常日志信息为第一目标日志信息;
基于所述第一目标日志信息,确定所述关联组件服务器在响应所述http请求的过程中出现访问异常。
第二方面,本发明实施例提供一种异常检测定位装置,包括:
响应信息获取模块,用于获取服务器集群发送的响应信息,所述响应信息包括响应标识和访问ID;所述服务器集群包括本地组件服务器或者本地组件服务器和关联组件服务器;
异常日志信息获取模块,用于若所述响应标识为响应失败标识,则获取所述服务器集群在响应所述访问ID对应的http请求过程中生成的异常日志信息,所述异常日志信息包括组件标识;
第一目标日志信息获取模块,用于若所述组件标识中存在关联组件标识,则确定所述关联组件标识对应的异常日志信息为第一目标日志信息;
第一访问异常位置确认模块,用于基于所述第一目标日志信息,确定所述关联组件服务器在响应所述http请求的过程中出现访问异常。
第三方面,本发明实施例提供一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述异常检测定位方法的步骤。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述异常检测定位方法的步骤。
本发明实施例提供的异常检测定位方法、装置、计算机设备及存储介质中,通过网络路由器的旁路部署将响应信息拷贝并发送给平台服务器,平台服务器在响应信息携带有响应失败标识时,基于响应信息中的访问ID获取http请求在服务器集群中的异常日志信息,通过异常日志信息中的组件标识确定http请求在访问过程中出现异常的位置是在关联组件服务器还是在本地组件服务器。实现了快速确定存在异常的目标日志信息的位置,节省了测试人员查找异常日志的时间。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中异常检测定位方法的应用场景图;
图2是本发明一实施例中异常检测定位方法的一流程图;
图3是图1中步骤S20的一具体流程图;
图4是本发明一实施例中异常检测定位方法的另一流程图;
图5是本发明一实施例中异常检测定位装置的一原理框图;
图6是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1示出本实施例中异常检测定位方法的应用场景图。该异常检测定位方法应用在平台服务器上,用于在http请求访问过程中出现访问异常时,可以快速并准确地确定出现访问异常的具体位置,节省了测试人员人工查找访问异常的时间。其中,平台服务器是指根据获取的响应失败标识对应的响应信息确定http请求访问失败的具体位置的服务器。如图1所示,该平台服务器通过旁路部署获取经过网络路由器的信息,其中,网络路由器与客户端和服务器相连。具体地,客户端通过网络路由器发送http请求给对应的服务器集群,服务器集群在获取到http请求时,会发送对应的响应信息给客户端,该响应信息通过网络路由器传送给对应的客户端。在客户端和服务器集群通过网络路由器进行信息传送时,网络路由器的旁路部署会将经过网络路由器的信息拷贝下来发送给对应的平台服务器。如图2所示,平台服务器在获取到服务器集群发送的响应信息时会执行如下具体步骤:
S10:获取服务器集群发送的响应信息,响应信息包括响应标识和访问ID;服务器集群包括本地组件服务器或者本地组件服务器和关联组件服务器。
集群是将一组相互独立的、通过高速网络互联的计算机构成一个组,并以单一系统的模式加以管理的技术。服务器集群是指将多个服务器集中起来共同完成一个服务的技术。
本实施例中的服务器集群包括本地组件服务器或者本地组件服务器和关联组件服务器。其中,本地组件服务器是指一应用程序中自身携带的组件服务器;关联组件服务器是指一应用程序中用于与第三方组件进行信息交互的组件服务器。本地组件服务器和关联组件服务器是指应用程序中功能组件对应的服务器。如一购物APP携带的支付组件、钱包组件、转账组件和交互组件,其中,支付组件、钱包组件和转账组件为该购物APP的本地组件,交互组件是用于与银行等第三方金融机构进行信息交互的组件,该交互组件则为关联组件。在利用该购物APP购买物品时,会向服务器集群发送http请求,服务器集群基于该http请求依次通过转账组件、钱包组件和支付组件进行响应,若在支付组件进行支付操作过程中,出现余额不足或其他不能支付情况时,通过交互组件进行响应,即通过交互组件采用其他支付途径完成支付。
进一步地,步骤S10具体包括:通过网络路由器的旁路部署,获取服务器集群发送的响应信息。
网络路由器与服务器集群和平台服务器相连。旁路部署是指在网络路由器上配置一端口镜像,该端口镜像通过其对应的接口将通过网络路由器上的信息拷贝下来,发送给平台服务器进行存储的一种作业模式。旁路部署可以对当前网络进行监控,并且不会影响现有的网络结构,同时使得原始数据的传输不会造成延时。
客户端将一http请求通过网络路由器发送给对应的服务器集群,服务器集群在收到http请求后,会基于响应逻辑依次响应该http请求,并将对应的响应信息发送给客户端。其中,响应逻辑是指响应http请求访问顺序的逻辑。当客户端将http请求通过网络路由器发送给服务器集群,或者服务器集群将响应信息通过网络路由器发送给客户端时,网络路由器的旁路部署都会对通过该网络路由器的信息进行拷贝,并发送响应信息给对应的平台服务器。其中,网络路由器与服务器集群和平台服务器相连。
进一步地,响应信息携带有响应标识和访问ID。其中,响应标识是指用于识别响应信息内容的标识,响应标识包括响应失败标识和响应成功标识。访问ID是指客户端发送的http请求中携带的访问ID,该访问ID可用于唯一识别http请求。本实施例中的访问ID具体为requestID。
S20:若响应标识为响应失败标识,则获取服务器集群在响应访问ID对应的http请求过程中生成的异常日志信息,异常日志信息包括组件标识。
响应标识为响应失败标识时,则表示服务器集群在响应http请求时,响应失败。当服务器集群将响应失败标识对应的响应信息通过网络路由器发送给客户端时,网络路由器的旁路部署会将该响应失败标识对应的响应信息拷贝下来,并发送给平台服务器。此时,平台服务器会基于响应信息中的访问ID,从服务器集群中的本地组件服务器和关联组件服务器上获取http请求对应的所有异常日志信息。本地组件服务器和关联组件服务器的异常日志信息中都会携带有对应的组件标识。该组件标识是用于区分本地组件服务器和关联组件服务器的身份的标识。本实施例中的组件标识包括本地组件标识或者关联组件标识。本地组件标识是用于表示本地组件服务器的标识,该本地组件标识可以快速识别服务器集群中的组件服务器是本地组件服务器;关联组件标识是用于表示关联组件服务器的标识,该关联组件标识可以快速识别服务器集群中的组件服务器是关联组件服务器。
异常日志信息中都包含有组件标识,以便于快速识别异常日志信息的位置是本地组件服务器还是关联组件服务器。
S30:若组件标识中存在关联组件标识,则确定关联组件标识对应的异常日志信息为第一目标日志信息。
在获取异常日志信息后,平台服务器会基于异常日志信息中携带的组件标识,确定异常日志信息来自本地组件服务器还是关联组件服务器。当异常日志信息中的组件标识存在关联组件标识时,则确定关联组件标识对应的异常日志信息为第一目标日志信息。其中,第一目标日志信息是指关联组件标识对应的异常日志信息。
服务器集群在响应http请求的过程中,是根据响应逻辑执行的。服务器集群在响应过程中,若有一个本地组件服务器或者关联组件服务器出现异常,则后续响应该http请求的本地组件服务器或者关联组件服务器便不再执行。同时,该发生异常的本地组件服务器或者关联组件服务器产生的异常指令会依据响应逻辑的顺序依次返回,直至返回给响应逻辑中的最后一个本地组件服务器或者关联组件服务器,使得该本地组件服务器或者该关联组件服务器之前的本地组件服务器和关联组件服务器中都存在异常日志信息,因此,需要确定第一目标日志信息。
例如,在利用该购物APP购买物品时,会向服务器集群发送http请求,该http请求需依次访问支付组件、钱包组件和转账组件;服务器集群基于该http请求依次响应转账组件、钱包组件和支付组件,若在支付组件进行支付操作过程中,出现余额不足或其他不能支付情况时,通过交互组件进行响应,即通过交互组件采用其他支付途径完成支付,该交互组件对应关联组件服务器。若交互组件对应的关联组件服务器发生异常,则该关联组件服务器产生的异常指令会依据响应逻辑的顺序依次返回,即异常指令从交互组件发送给转账组件,然后从转账组件发送给钱包组件,再从钱包组件发送给支付组件,该支付组件对应的本地组件服务器为最后一个本地组件服务器。若转账组件对应的本地组件服务器发生异常,则该本地组件服务器产生的异常指令会依据响应逻辑的顺序依次返回,即异常指令从转账组件发送给钱包组件,再从钱包组件发送给支付组件,该支付组件对应的本地组件服务器为最后一个本地组件服务器。
本实施例中,服务器集群在依据响应逻辑进行响应过程中,本地组件服务器执行完之后才会执行关联组件服务器,关联组件服务器在响应逻辑中属于最后一个响应的组件服务器。因此,当异常日志信息中出现关联组件标识时,则可以直接基于关联组件标识获取第一目标日志信息,节省处理时间,提高处理效率。
S40:基于第一目标日志信息,确定关联组件服务器在响应http请求的过程中出现访问异常。
当平台服务器确定目标日志信息后,则可以确定http请求在访问过程出现异常的位置。通过该目标日志信息携带的关联组件标识,可以确定服务器集群按照响应逻辑执行时,出现异常的服务器的位置为关联组件服务器。通过目标日志信息可以快速直接地确定服务器集群在响应http请求出现异常,是在关联组件服务器响应时时发生的,实现了自动化确定异常的位置,节省了测试人员查找异常日志获取目标日志信息的时间,提高异常检测定位的效率。
本实施例提供的异常检测定位方法,当服务器集群将http请求对应的响应信息通过网络路由器发送给客户端时,网络路由器的旁路部署会将响应信息拷贝并发送给平台服务器。利用网络路由器的旁路部署可以实现对当前网络的监控,并且不会影响现有的网络结构。当平台服务器获取的响应信息携带有响应失败标识时,平台服务器会基于响应信息携带的访问ID获取http请求在服务器集群中的异常日志信息。当异常日志信息中的组件标识包括关联组件标识时,则确定存在异常的第一目标日志信息的位置在关联组件服务器中,从而确定该http请求是在访问关联组件服务器时出现了访问异常的情况。通过关联组件标识确定http请求在访问过程中出现异常的位置,可以快速地获知出现异常的具体位置,节省了测试人员查找异常日志获取目标日志信息的时间,提高异常检测定位的效率。
在一实施例中,服务器集群会存在仅包括本地组件服务器的情况,因此,在步骤S20,获取服务器集群在响应访问ID对应的http请求过程中生成的异常日志信息的步骤之后,异常检测定位方法还包括:
S50:若组件标识中不存在关联组件标识,则获取本地组件服务器对应的响应逻辑,基于响应逻辑,从异常日志信息中确定第二目标日志信息。
在获取异常日志信息后,平台服务器会确定异常日志信息中携带的组件标识是否包括关联组件标识,若不包括关联组件标识,则表示异常日志信息中只存在本地组件标识,异常日志信息都是本地组件服务器的异常日志信息。
异常日志信息在生成时都会有对应的生成时间,在确定异常日志信息都是本地组件服务器的异常日志信息后,平台服务器会基于异常日志信息的生成时间和访问ID获取服务器集群在响应访问ID对应的http请求过程中的响应逻辑。基于响应逻辑,查找本地组件服务器中异常日志信息对应的生成时间,将生成时间与当前时间进行比较,获取最接近当前时间的本地组件服务器对应的异常日志信息,该异常日志信息则确定为第二目标日志信息。
在http请求对应的服务器集群中,服务器集群的日志信息是根据响应逻辑生成,在访问过程中有一个本地组件服务器出现异常,则后续的本地组件服务器便不再响应该http请求,因此,在服务器集群中,与当前时间最接近的异常日志信息则可以确定为第二目标日志信息。
S60:基于第二目标日志信息,确定本地组件服务器在响应http请求的过程中出现访问异常。
平台服务器基于获取的目标日志信息,则可以确定本地组件服务器在响应http请求的过程中出现访问异常的位置。按照响应逻辑,则可以确定服务器集群在响应http请求的过程中,出现访问异常的服务器是与当前时间最接近的最后一个本地组件服务器,即造成响应失败的位置是在最后一个本地组件服务器。其中,最后一个本地组件服务器是指基于该本地组件服务器的访问时间,确定的与当前时间最接近的本地组件服务器。通过确定异常日志信息中不存在关联组件标识,排除异常日志信息是来自关联组件服务器的异常日志信息,从而确定异常日志信息来自本地组件服务器。
在确定异常日志信息来自本地组件服务器后,当异常日志信息对应的本地组件服务器包括多个本地组件服务器时,还需要进一步确定造成http请求在访问过程中出现访问异常的具体位置,对出现访问异常的具体位置进行快速准确的定位,节约了测试人员查找目标日志信息的时间,提高异常检测定位的效率。
在一实施例中,如图3所示,步骤S20中,获取服务器集群在响应访问ID对应的http请求过程中生成的异常日志信息,具体包括如下步骤:
S21:获取访问ID对应的http请求在服务器集群中的原始日志信息,原始日志信息包括响应状态标识。
平台服务器在获取到响应失败标识对应的响应失败信息后,会基于响应失败信息中的访问ID获取对应的http访问请求在服务器集群中的原始日志信息。服务器集群中的组件服务器对应的原始日志信息会包含响应状态标识,该响应状态标识是用于表示原始日志信息类型的标识,其中,原始日志信息类型包括正常日志信息类型和异常日志信息类型。正常日志信息类型对应正常状态标识,异常日志信息类型对应异常状态标识。具体地,正常状态标识是指用于表示组件服务器中,原始日志信息类型属于正常日志信息类型的标识,该正常状态标识可以识别原始日志信息中正常日志信息类型对应的日志信息;异常状态标识是指用于表示组件服务器中的原始日志信息属于异常的标识,该异常状态标识可以识别原始日志信息中异常日志信息类型对应的日志信息。
基于原始日志信息的响应状态标识,可以直观清楚地了解原始日志信息中是否存在有异常状态标识对应的日志信息。
S22:若响应状态标识为异常状态标识,则将异常状态标识对应的原始日志信息确定为异常日志信息。
当原始日志信息中的响应状态标识为异常状态标识时,则可以确定该异常状态标识对应的原始日志信息为异常日志信息。本实施例中,异常状态标识包括但不限于预先设置的关键字或者预先设置的异常指令,当原始日志信息中出现这些预先设置的关键字或异常指令时,其响应状态标识即为异常状态标识。例如,预先设置的关键字为“null”或“fail”,或者,预先设置的异常指令为“错误进程:0x1100”时,在任一原始日志信息中出现“null”或“fail”时,或者,出现“错误进程:0x1100”等异常指令时,则认为该原始日志信息中的响应状态标识为异常状态标识,通过该异常状态标识则可以确定该原始日志信息为异常日志信息。通过确定异常日志信息就可以执行步骤S30,进一步地确定http请求访问过程出现异常的具体位置。
通过对原始日志信息中的响应状态标识的判断,确定异常状态标识对应的原始日志信息为异常日志信息,便于后续步骤中只对异常日志信息进行分析,降低了平台服务器对数据的处理量。
在一实施例中,异常日志信息还包括异常类型,该异常类型是指用于表示异常日志生成原因的类型。当响应信息为响应失败标识对应的响应信息时,平台服务器通过异常日志信息中包括的异常类型,对种异常类型出现的次数进行统计,并一可视化报告的形式展示出来,方便测试人员分析并归纳总结造成http请求访问失败的主要原因有哪些。因此,如图4所示,该异常检测定位方法还包括如下步骤:
S71:获取报告制作请求,报告制作请求包括数据菜单和报告标识。
报告制作请求是指用于触发平台服务器基于异常类型制作报告的指令。该报告制作请求携带有数据菜单和报告标识。其中,数据菜单是用于记录异常类型、异常出现的时间和异常类型出现的次数的菜单。报告标识是用于识别可视化报告模板的标识。进一步地,报告制作请求中还携带有某一特定http请求对应的报告主题。该报告主题与http请求携带的访问ID保持一致,方便测试人员基于报告主题可以快速辨别出该报告与哪一个http请求相对应。
异常类型包括但不限于服务器响应时间超时、内存溢出和逻辑错误。其中,服务器响应时间超时包括但不限于网速过慢、并发用户数过大造成网络负载过重等原因导致的服务器响应时间超时。内存溢出是指访问量太多并且每个访问的时间太长或者数据太多,导致数据释放不掉,造成内存溢出。逻辑错误是指程序运行时代码运行异常的情况。
S72:基于报告标识从可视化模板库选取可视化报告模板,可视化报告模板包括模板框架和图表转换工具。
可视化模板库是指平台服务器中用于存储各种类型的可视化报告模板的数据库。其中,可视化报告模板包括模板框架和图表转换工具。模板框架是指可视化报告模板中需要填充报告数据的区域。图表转换工具是指用于将数据菜单中的数据进行可视化的工具。图表转换工具是指采用图表转化工具将数据菜单中的数据转化成不同可视化的图表类型。该图表类型包括但不限于柱状图、折线图和饼状图。
本实施例中的图表转换工具可以采用但不限于Echarts工具。ECharts(Enterprise Charts,商业级数据图表),是一个纯Javascript的图表库,可以流畅的运行在PC和移动设备上,兼容当前绝大部分浏览器(IE6/7/8/9/10/11,chrome,firefox,Safari等)。使用图表转换工具能够给用户提供直观、生动、可高度个性化定制的数据可视化图表,有效提高数据的可视化程度。
具体地,平台服务器基于报告制作请求中携带的报告标识,从可视化模板库中选取与报告标识对应的可视化报告模板,其中,可视化报告模板包括模板框架和图表转换工具。利用该可视化报表模板制作异常分析报告,有利于提高报表的制作效率。
S73:采用图表转换工具对与数据菜单相对应的异常数据进行可视化显示,获取可视化图像。
其中,可视化图像是采用图表转换工具对与数据菜单相对应的异常数据进行可视化转换后的图像。
具体地,采用图表转换工具根据用户选择的图表类型将数据菜单中的异常类型、异常出现的时间和对应的异常类型出现的次数等异常数据进行可视化展示,获取对应的可视化图像。采用图表转换工具对与数据菜单相对应的异常数据进行可视化显示,可以提高获取可视图像的效率和准确性。
S74:将可视化图像填充到模板框架上,形成异常分析报告。
异常分析报告是指基于可视化图像和模板框架生成的报告,该异常分析报告用于反映造成响应信息为响应失败标识对应的响应信息的主要原因、次要原因等情况。
具体地,在获取到可视化图像后,将可视化图像填充到模板框架上,生成对应的异常分析报告。该异常分析报告可以直观地显示出与数据菜单相对应的每种异常类型、异常出现的时间和异常类型出现的次数等异常数据,方便测试人员进行分析,并可基于异常类型、异常出现的时间和异常类型出现的次数等异常数据确定导致http请求在访问过程中出现异常的常见原因。
如采用图表转换工具将异常类型和对应的异常出现的次数填充到饼状图或者柱状图对应的图表类型中,获取对应的可视化图像,然后将可视化图像填充到模板框架上,获取该http请求访问失败的异常分析报告。该饼状图可以反映造成该http请求访问失败的主要原因和次要原因,柱状图可以反映造成http请求访问失败的各种异常类型的次数。将异常类型、异常出现的时间和异常类型出现的次数转换成折线图对应的异常分析报告,可以具体反映每种异常类型在不同时间出现次数的变化趋势图。该异常分析报告中填充有基于异常数据生成的可视化图像,以便于测试人员可以一目了然地获知造成http请求访问异常的原因,并采取对应的解决方案防止该异常类型的出现,以避免http请求出现访问失败的情况。
该异常检测定位方法通过网络路由器的旁路部署将响应信息拷贝并发送给平台服务器,平台服务器在响应信息携带有响应失败标识时,基于响应信息中的访问ID获取http请求在服务器集群中的异常日志信息,通过异常日志信息中的组件标识确定http请求在访问过程中出现异常的位置是在关联组件服务器还是在本地组件服务器。该异常检测定位方法实现了快速确定存在异常的目标日志信息的位置,节省了测试人员查找异常日志的时间。并且,通过对异常类型进行可视化展示,方便测试人员直观清楚的了解造成http在访问过程中出现异常的原因。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种异常检测定位装置。该异常检测定位装置于上述实施例中异常检测定位方法一一对应。如图5所示,该异常检测定位装置包括响应信息获取模块10、异常日志信息获取模块20、第一目标日志信息获取模块30、第一访问异常位置确认模块40、第二目标日志信息获取模块50和第二访问异常位置确认模块60。其中,响应信息获取模块10、异常日志信息获取模块20、第一目标日志信息获取模块30、第一访问异常位置确认模块40、第二目标日志信息获取模块50和第二访问异常位置确认模块60的实现功能与实施例中异常检测定位方法对应的步骤一一对应,为避免赘述,本实施例不一一详述。
响应信息获取模块10,用于获取服务器集群发送的响应信息,响应信息包括响应标识和访问ID;服务器集群包括本地组件服务器或者本地组件服务器和关联组件服务器。
异常日志信息获取模块20,用于若响应标识为响应失败标识,则获取服务器集群在响应访问ID对应的http请求过程中生成的异常日志信息,异常日志信息包括组件标识。
第一目标日志信息获取模块30,用于若组件标识中存在关联组件标识,则确定关联组件标识对应的异常日志信息为第一目标日志信息。
第一访问异常位置确认模块40,用于基于第一目标日志信息,确定关联组件服务器在响应http请求的过程中出现访问异常。
优选地,异常检测定位装置还包括第二目标日志信息获取模块50和第二访问异常位置确认模块60。
第二目标日志信息获取模块50,用于若组件标识中不存在关联组件标识,则获取本地组件服务器对应的响应逻辑,基于响应逻辑,从异常日志信息中确定第二目标日志信息。
第二访问异常位置确认模块60,用于基于第二目标日志信息,确定本地组件服务器在响应http请求的过程中出现访问异常。
优选地,响应信息获取模块10,用于通过网络路由器的旁路部署,获取服务器集群发送的响应信息。
优选地,异常日志信息获取模块20包括原始日志信息获取单元21和异常日志信息获取单元22。
原始日志信息获取单元21,用于获取访问ID对应的http请求在服务器集群中的原始日志信息,原始日志信息包括响应状态标识。
异常日志信息获取单元22,用于若响应状态标识为异常状态标识,则将异常状态标识对应的原始日志信息确定为异常日志信息。
优选地,异常检测定位装置还包括报告制作请求获取单元71、可视化报告模板获取单元72、可视化图像获取单元73和异常分析报告获取单元74。
报告制作请求获取单元71,用于获取报告制作请求,报告制作请求包括数据菜单和报告标识。
可视化报告模板获取单元72,用于基于报告标识从可视化模板库选取可视化报告模板,可视化报告模板包括模板框架和图表转换工具。
可视化图像获取单元73,用于采用图表转换工具对与数据菜单相对应的异常数据进行可视化显示,获取可视化图像。
异常分析报告获取单元74,用于将可视化图像填充到模板框架上,形成异常分析报告。
在一实施例中,提供一计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中异常检测定位方法,为避免重复,这里不再赘述。或者,该计算机程序被处理器执行时实现上述实施例中异常检测定位装置的各模块/单元的功能,为避免重复,这里不再赘述。
该计算机可读存储介质可以包括:能够携带所述计算机程序的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、电载波信号和电信信号等。
在一实施例中,提供一种计算机设备。如图6所示,该实施例的计算机设备80包括:处理器81、存储器82以及存储在存储器82中并可在处理器81上运行的计算机程序83。处理器81执行计算机程序83时实现上述实施例中异常检测定位方法的步骤,例如图1所示的步骤S10至步骤S60。或者,处理器81执行计算机程序83时实现上述实施例中异常检测定位装置的各模块/单元的功能,例如图5所示响应信息获取模块10、异常日志信息获取模块20、第一目标日志信息获取模块30、第一访问异常位置确认模块40、第二目标日志信息获取模块50和第二访问异常位置确认模块60的功能。
其中,计算机设备80可以是桌上型计算机、笔记本、掌上电脑及云端服务器等设备,图6仅为本实施例中计算机设备的示例,可以包括比如图6示更多或更少的部件,或者组合某些部件或者不同的部件。存储器82可以是计算机设备的内部存储单元,如硬盘或内存,也可以是计算机设备的外部存储单元,如插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。计算机程序83包括程序代码,该程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种异常检测定位方法,其特征在于,包括平台服务器执行的如下步骤:
获取服务器集群发送的响应信息,所述响应信息包括响应标识和访问ID;所述服务器集群包括本地组件服务器或者本地组件服务器和关联组件服务器;
若所述响应标识为响应失败标识,则获取所述服务器集群在响应所述访问ID对应的http请求过程中生成的异常日志信息,所述异常日志信息包括组件标识;
若所述组件标识中存在关联组件标识,则确定所述关联组件标识对应的异常日志信息为第一目标日志信息;
基于所述第一目标日志信息,确定所述关联组件服务器在响应所述http请求的过程中出现访问异常。
2.如权利要求1所述的异常检测定位方法,其特征在于,在所述获取所述服务器集群在响应所述访问ID对应的http请求过程中生成的异常日志信息的步骤之后,所述异常检测定位方法还包括:
若所述组件标识中不存在关联组件标识,则获取本地组件服务器对应的响应逻辑,基于所述响应逻辑,从异常日志信息中确定第二目标日志信息;
基于所述第二目标日志信息,确定所述本地组件服务器在响应所述http请求的过程中出现访问异常。
3.如权利要求1所述的异常检测定位方法,其特征在于,所述获取服务器集群发送的响应信息,包括:
通过网络路由器的旁路部署,获取服务器集群发送的响应信息。
4.如权利要求1所述的异常检测定位方法,其特征在于,所述获取所述服务器集群在响应所述访问ID对应的http请求过程中生成的异常日志信息,包括:
获取所述访问ID对应的http请求在所述服务器集群中的原始日志信息,原始日志信息包括响应状态标识;
若所述响应状态标识为异常状态标识,则将所述异常状态标识对应的原始日志信息确定为所述异常日志信息。
5.如权利要求1所述的异常检测定位方法,其特征在于,所述异常检测定位方法还包括:
获取报告制作请求,所述报告制作请求包括数据菜单和报告标识;
基于所述报告标识从可视化模板库选取可视化报告模板,所述可视化报告模板包括模板框架和图表转换工具;
采用所述图表转换工具对与所述数据菜单相对应的异常数据进行可视化显示,获取可视化图像;
将所述可视化图像填充到所述模板框架上,形成异常分析报告。
6.一种异常检测定位装置,其特征在于,包括:如权利要求1所述的异常检测定位方法,其特征在于,
响应信息获取模块,用于获取服务器集群发送的响应信息,所述响应信息包括响应标识和访问ID;所述服务器集群包括本地组件服务器或者本地组件服务器和关联组件服务器;
异常日志信息获取模块,用于若所述响应标识为响应失败标识,则获取所述服务器集群在响应所述访问ID对应的http请求过程中生成的异常日志信息,所述异常日志信息包括组件标识;
第一目标日志信息获取模块,用于若所述组件标识中存在关联组件标识,则确定所述关联组件标识对应的异常日志信息为第一目标日志信息;
第一访问异常位置确认模块,用于基于所述第一目标日志信息,确定所述关联组件服务器在响应所述http请求的过程中出现访问异常。
7.如权利要求6所述的异常检测定位装置,其特征在于,所述服务器集群包括本地组件服务器,在异常日志信息获取模块之后,所述异常检测定位装置还包括:
第二目标日志信息获取模块,用于若所述组件标识中不存在关联组件标识,则获取本地组件服务器对应的响应逻辑,基于所述响应逻辑,从异常日志信息中确定第二目标日志信息;
第二访问异常位置确认模块,用于基于所述第二目标日志信息,确定所述本地组件服务器在响应所述http请求的过程中出现访问异常。
8.如权利要求6所述的异常检测定位装置,其特征在于,所述异常检测定位装置还包括:
报告制作请求获取单元,用于获取报告制作请求,所述报告制作请求包括数据菜单和报告标识;
可视化报告模板获取单元,用于基于所述报告标识从可视化模板库选取可视化报告模板,所述可视化报告模板包括模板框架和图表转换工具;
可视化图像获取单元,用于采用所述图表转换工具对与所述数据菜单相对应的异常数据进行可视化显示,获取可视化图像;
异常分析报告获取单元,用于将所述可视化图像填充到所述模板框架上,形成异常分析报告。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述异常检测定位方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述异常检测定位方法的步骤。
CN201810478548.5A 2018-05-18 2018-05-18 异常检测定位方法、装置、计算机设备及存储介质 Active CN108683562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810478548.5A CN108683562B (zh) 2018-05-18 2018-05-18 异常检测定位方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810478548.5A CN108683562B (zh) 2018-05-18 2018-05-18 异常检测定位方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN108683562A true CN108683562A (zh) 2018-10-19
CN108683562B CN108683562B (zh) 2022-05-17

Family

ID=63806863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810478548.5A Active CN108683562B (zh) 2018-05-18 2018-05-18 异常检测定位方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN108683562B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508251A (zh) * 2018-11-21 2019-03-22 北京锐安科技有限公司 数据存储方法、系统、设备和介质
CN109618225A (zh) * 2018-12-25 2019-04-12 百度在线网络技术(北京)有限公司 视频抽帧方法、装置、设备和介质
CN110187992A (zh) * 2019-04-11 2019-08-30 阿里巴巴集团控股有限公司 故障分析方法及装置
CN111177513A (zh) * 2019-12-31 2020-05-19 北京百度网讯科技有限公司 异常访问地址的确定方法、装置、电子设备及存储介质
CN111176945A (zh) * 2019-12-28 2020-05-19 浪潮电子信息产业股份有限公司 节点故障定位方法、装置、设备及计算机可读存储介质
CN111191305A (zh) * 2019-12-05 2020-05-22 江苏艾佳家居用品有限公司 基于可视化图像的自动布局异常问题定位框架及定位方法
CN111274150A (zh) * 2020-02-07 2020-06-12 北京字节跳动网络技术有限公司 服务实例访问方法、装置和电子设备
CN111371623A (zh) * 2020-03-13 2020-07-03 杨磊 业务性能和安全的监测方法、装置、存储介质及电子设备
CN111666198A (zh) * 2020-06-10 2020-09-15 创新奇智(上海)科技有限公司 日志异常监控方法、装置及电子设备
CN112351090A (zh) * 2020-10-29 2021-02-09 深圳Tcl新技术有限公司 基于智能大屏的日志信息传输方法、装置及存储介质
CN112422337A (zh) * 2020-11-11 2021-02-26 网宿科技股份有限公司 一种日志标识的生成方法、系统及装置
CN112925716A (zh) * 2021-03-19 2021-06-08 广东好太太智能家居有限公司 一种可视化图像的测试方法、设备及存储介质
CN114185502A (zh) * 2021-12-15 2022-03-15 平安科技(深圳)有限公司 基于产线环境的日志打印方法、装置、设备及介质
CN114268658A (zh) * 2018-10-31 2022-04-01 创新先进技术有限公司 设备绑定方法、装置和系统
WO2022135023A1 (zh) * 2020-12-25 2022-06-30 北京旷视机器人技术有限公司 处理异常的方法、装置和机器人
CN115460296A (zh) * 2022-09-13 2022-12-09 中航信移动科技有限公司 一种基于rpc的离群摘除方法、存储介质及电子设备
CN116107789A (zh) * 2021-09-22 2023-05-12 北京基调网络股份有限公司 一种监测、分析应用故障原因的方法及存储介质
WO2023240993A1 (zh) * 2022-06-14 2023-12-21 Oppo广东移动通信有限公司 定位异常解决方法及相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103916370A (zh) * 2013-01-05 2014-07-09 成都国腾电子技术股份有限公司 北斗运营中心与分中心安全可靠通信的方法
CN104869019A (zh) * 2015-05-18 2015-08-26 百度在线网络技术(北京)有限公司 用于定位故障的反馈方法、装置及服务器
US20170059641A1 (en) * 2015-08-25 2017-03-02 Eaton Corporation System and method for automatic high resistance ground pulse activation and detection
CN106603520A (zh) * 2016-12-08 2017-04-26 深圳Tcl数字技术有限公司 异常信息的拦截方法及装置
CN107566191A (zh) * 2017-10-17 2018-01-09 山东浪潮云服务信息科技有限公司 一种异常定位装置、方法及系统
CN107678869A (zh) * 2017-07-26 2018-02-09 上海壹账通金融科技有限公司 客户端异常定位方法、装置、计算机设备和存储介质
CN107992415A (zh) * 2017-11-28 2018-05-04 中国银联股份有限公司 一种交易系统的故障定位和分析方法及相关服务器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103916370A (zh) * 2013-01-05 2014-07-09 成都国腾电子技术股份有限公司 北斗运营中心与分中心安全可靠通信的方法
CN104869019A (zh) * 2015-05-18 2015-08-26 百度在线网络技术(北京)有限公司 用于定位故障的反馈方法、装置及服务器
US20170059641A1 (en) * 2015-08-25 2017-03-02 Eaton Corporation System and method for automatic high resistance ground pulse activation and detection
CN106603520A (zh) * 2016-12-08 2017-04-26 深圳Tcl数字技术有限公司 异常信息的拦截方法及装置
CN107678869A (zh) * 2017-07-26 2018-02-09 上海壹账通金融科技有限公司 客户端异常定位方法、装置、计算机设备和存储介质
CN107566191A (zh) * 2017-10-17 2018-01-09 山东浪潮云服务信息科技有限公司 一种异常定位装置、方法及系统
CN107992415A (zh) * 2017-11-28 2018-05-04 中国银联股份有限公司 一种交易系统的故障定位和分析方法及相关服务器

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114268658B (zh) * 2018-10-31 2023-06-09 创新先进技术有限公司 设备绑定方法、装置和系统
CN114268658A (zh) * 2018-10-31 2022-04-01 创新先进技术有限公司 设备绑定方法、装置和系统
CN109508251A (zh) * 2018-11-21 2019-03-22 北京锐安科技有限公司 数据存储方法、系统、设备和介质
CN109618225A (zh) * 2018-12-25 2019-04-12 百度在线网络技术(北京)有限公司 视频抽帧方法、装置、设备和介质
CN110187992A (zh) * 2019-04-11 2019-08-30 阿里巴巴集团控股有限公司 故障分析方法及装置
CN110187992B (zh) * 2019-04-11 2023-01-24 创新先进技术有限公司 故障分析方法及装置
CN111191305A (zh) * 2019-12-05 2020-05-22 江苏艾佳家居用品有限公司 基于可视化图像的自动布局异常问题定位框架及定位方法
CN111191305B (zh) * 2019-12-05 2022-08-12 江苏艾佳家居用品有限公司 基于可视化图像的自动布局异常问题定位框架及定位方法
CN111176945A (zh) * 2019-12-28 2020-05-19 浪潮电子信息产业股份有限公司 节点故障定位方法、装置、设备及计算机可读存储介质
CN111177513A (zh) * 2019-12-31 2020-05-19 北京百度网讯科技有限公司 异常访问地址的确定方法、装置、电子设备及存储介质
CN111177513B (zh) * 2019-12-31 2023-10-31 北京百度网讯科技有限公司 异常访问地址的确定方法、装置、电子设备及存储介质
CN111274150B (zh) * 2020-02-07 2023-08-22 北京字节跳动网络技术有限公司 服务实例访问方法、装置和电子设备
CN111274150A (zh) * 2020-02-07 2020-06-12 北京字节跳动网络技术有限公司 服务实例访问方法、装置和电子设备
CN111371623B (zh) * 2020-03-13 2023-02-28 杨磊 业务性能和安全的监测方法、装置、存储介质及电子设备
CN111371623A (zh) * 2020-03-13 2020-07-03 杨磊 业务性能和安全的监测方法、装置、存储介质及电子设备
CN111666198A (zh) * 2020-06-10 2020-09-15 创新奇智(上海)科技有限公司 日志异常监控方法、装置及电子设备
CN112351090A (zh) * 2020-10-29 2021-02-09 深圳Tcl新技术有限公司 基于智能大屏的日志信息传输方法、装置及存储介质
CN112351090B (zh) * 2020-10-29 2024-04-05 深圳Tcl新技术有限公司 基于智能大屏的日志信息传输方法、装置及存储介质
CN112422337A (zh) * 2020-11-11 2021-02-26 网宿科技股份有限公司 一种日志标识的生成方法、系统及装置
WO2022135023A1 (zh) * 2020-12-25 2022-06-30 北京旷视机器人技术有限公司 处理异常的方法、装置和机器人
CN112925716A (zh) * 2021-03-19 2021-06-08 广东好太太智能家居有限公司 一种可视化图像的测试方法、设备及存储介质
CN112925716B (zh) * 2021-03-19 2024-01-23 广东好太太智能家居有限公司 一种可视化图像的测试方法、设备及存储介质
CN116107789A (zh) * 2021-09-22 2023-05-12 北京基调网络股份有限公司 一种监测、分析应用故障原因的方法及存储介质
CN114185502A (zh) * 2021-12-15 2022-03-15 平安科技(深圳)有限公司 基于产线环境的日志打印方法、装置、设备及介质
WO2023240993A1 (zh) * 2022-06-14 2023-12-21 Oppo广东移动通信有限公司 定位异常解决方法及相关装置
CN115460296B (zh) * 2022-09-13 2023-03-31 中航信移动科技有限公司 一种基于rpc的离群摘除方法、存储介质及电子设备
CN115460296A (zh) * 2022-09-13 2022-12-09 中航信移动科技有限公司 一种基于rpc的离群摘除方法、存储介质及电子设备

Also Published As

Publication number Publication date
CN108683562B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN108683562A (zh) 异常检测定位方法、装置、计算机设备及存储介质
AU2020276284C1 (en) Continuous data sensing of functional states of networked computing devices to determine efficiency metrics for servicing electronic messages asynchronously
JP5431430B2 (ja) 依存データからの依存マップの生成
CN103038752B (zh) 一种用于管理软件问题报告的方法、系统和设备
CN108415832A (zh) 接口自动化测试方法、装置、设备及存储介质
CN105095970B (zh) 第三方应用的执行方法及系统
CN109558746B (zh) 数据脱敏方法、装置、电子设备及存储介质
CN110928772A (zh) 一种测试方法及装置
CN110060139B (zh) 账务处理方法及装置
CN110399383A (zh) 应用于服务器的数据处理方法、装置、计算设备、介质
CN108074033A (zh) 指标数据的处理方法、系统、电子设备和存储介质
CN108021505A (zh) 数据上线方法、装置和计算机设备
CN111401722B (zh) 智能决策方法和智能决策系统
CN110263145A (zh) 一种电子合同签署方法及电子合同签署设备
CN106487603A (zh) 一种响应测试方法及装置
US10771359B2 (en) System capacity heatmap
CN109582550B (zh) 一种获取全量业务场景故障集合的方法、装置及服务器
CN110135711A (zh) 一种情报管理方法及装置
CN108460068A (zh) 报表导入导出的方法、装置、存储介质及终端
CN105868956A (zh) 一种数据处理方法及装置
CN108959048A (zh) 模块化环境的性能分析方法、装置及可存储介质
CN111414410A (zh) 数据处理方法、装置、设备和存储介质
CN116545709A (zh) 敏感数据的溯源方法、装置及设备
CN106056418A (zh) 一种发票报送方法、装置及系统
CN110516120A (zh) 信息处理方法及装置、存储介质、电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant