CN113220522A - 服务异常自动定位方法和装置 - Google Patents

服务异常自动定位方法和装置 Download PDF

Info

Publication number
CN113220522A
CN113220522A CN202110383173.6A CN202110383173A CN113220522A CN 113220522 A CN113220522 A CN 113220522A CN 202110383173 A CN202110383173 A CN 202110383173A CN 113220522 A CN113220522 A CN 113220522A
Authority
CN
China
Prior art keywords
server
log
exception
service log
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110383173.6A
Other languages
English (en)
Inventor
李成龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seashell Housing Beijing Technology Co Ltd
Original Assignee
Beijing Fangjianghu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Fangjianghu Technology Co Ltd filed Critical Beijing Fangjianghu Technology Co Ltd
Priority to CN202110383173.6A priority Critical patent/CN113220522A/zh
Publication of CN113220522A publication Critical patent/CN113220522A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供一种服务异常自动定位方法和装置，自动定位方法包括：获取服务器的原始服务日志；将原始服务日志转换为包括多个字段的目标服务日志，其中，多个字段至少包括异常标识字段和消息字段，异常标识字段包括标识名称和用于表示所述服务器是否存在异常的内容，消息字段包括消息名称和用于表示服务器异常详情的内容；提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情。本发明的实施例具有节省人力、服务异常检测效率高、异常检测准确性高的优点。

Description

服务异常自动定位方法和装置
技术领域
本发明涉及计算机应用领域，尤其涉及一种服务异常自动定位方法和装置。
背景技术
在系统服务异常定位时，随着系统复杂程度不断增大，对测试人员知识与业务能力提出了更高要求，同时，由于常规定位方法采用人工查看日志与服务状态进行定位，日志数量庞大，因此导致定位效率低，耗费时间长，且人工定查看日志过程难免发生误判，使得系统存在异常后，服务异常的检测效率低、人力成本高且检测准确性难以保证。
发明内容
本发明提供一种服务异常自动定位方法和装置。该服务异常自动定位方法可自动实现服务异常检测，具有节省人力、服务异常检测效率高、异常检测准确性高的优点。
为了实现上述目的，本发明的第一方面公开了一种服务异常自动定位方法，包括：
获取服务器的原始服务日志；
将所述原始服务日志转换为包括多个字段的目标服务日志，其中，所述多个字段至少包括异常标识字段和消息字段，所述异常标识字段包括标识名称和用于表示所述服务器是否存在异常的内容，所述消息字段包括消息名称和用于表示服务器异常详情的内容；
提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情。
进一步地，还包括：获取所述目标服务日志对应的服务器的服务状态信息；
所述在确定所述服务器异常后，还包括:
根据所述服务状态信息判断所述服务器异常诱因。
进一步地，所述多个字段还包括追踪标识，所述追踪标识包括追踪标识名称和关联日志信息；
所述在提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情之前，还包括：
提取各目标服务日志的追踪标识；
根据所述追踪标识将关联的多个目标服务日志融合为一个目标服务日志。
进一步地，在提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情之后，还包括：
上报服务器异常通知，其中，所述上报为上报给所述目标终端上的预设客户端中，或者以邮件上报给预设的邮箱中。
进一步地，所述获取服务器的原始服务日志，包括：
从消息队列中读取所述原始服务日志，其中，所述服务器的原始服务日志缓存到所述消息队列中。
进一步地，所述将所述原始服务日志转换为包括多个字段的目标服务日志，包括：
获取所述原始服务日志的日志内容；
根据所述日志内容得到所述多个字段；
根据所述多个字段得到所述目标服务日志。
进一步地，还包括：
为各目标服务日志建立索引，以便通过所述索引查找相应的目标服务日志。
第二方面，本发明公开了一种服务异常自动定位装置，包括：
获取模块，用于获取服务器的原始服务日志；
转换模块，用于将所述原始服务日志转换为包括多个字段的目标服务日志，其中，所述多个字段至少包括异常标识字段和消息字段，所述异常标识字段包括标识名称和用于表示所述服务器是否存在异常的内容，所述消息字段包括消息名称和用于表示服务器异常详情的内容；
异常检测模块，用于提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情。
第三方面，本发明公开了一种电子设备，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行将原始服务日志转换为包括多个字段的目标服务日志，提取目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情。
第三方面，本发明公开了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行将原始服务日志转换为包括多个字段的目标服务日志，提取目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情。
本发明的服务异常自动定位方法和装置能够自动提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情，减轻了人工劳动强度，节省了人力成本，同时，提高了服务异常检测的效率和精度。
附图说明
图1为本发明实施例提供的服务异常自动定位方法流程示意图；
图2为转换后的目标服务日志；
图3为本发明实施例提供的服务异常自动定位方法流程框图；
图4为获取PHP服务的负载信息；
图5为第一实施例对应的下游服务日志；
图6为本发明的实施例提供的服务异常自动定位装置结构框图；
图7为本发明实施例提供的计算机设备的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
以下结合附图描述根据本发明实施例的服务异常自动定位方法。图1为本发明实施例的服务异常自动定位方法流程示意图，如图1所示，所述服务异常自动定位方法包括：
S101、获取服务器的原始服务日志。
具体地，可以选用目前已有的开源方案实现获取服务器的原始服务日志，具有成本低，性能好的优点。例如，通过日志采集系统采集日志，日志采集系统为但不限于Filebeat、Logstash和Logagent等。
S102、将所述原始服务日志转换为包括多个字段的目标服务日志，其中，所述多个字段至少包括异常标识字段和消息字段，所述异常标识字段包括标识名称和用于表示所述服务器是否存在异常的内容，所述消息字段包括消息名称和用于表示服务器异常详情的内容。
具体地，S101步骤获取服务器的原始服务日志后，对原始服务日志进行筛选，按照预设字段，提取其中部分日志数据，转换为目标服务日志，用于定位服务异常，其中，预设字段包括：异常标识字段、消息字段和时间字段等，异常标识字段和消息字段是必须提取字段，为后续进行服务异常定位的基础，首先，利用异常标识字段，判断系统是否存在服务异常，在判断存在服务异常基础上，利用消息字段，获取异常详情的内容，图2为转换后的目标服务日志，如图2所示，“level”字段为异常标识字段，用于表示所述服务器是否存在异常内容，若“level”字段内容为error，表示系统存在服务异常；“message”字段为消息字段，用于表示服务器异常详情的内容，即导致出现服务异常的原因，在确定系统存在服务异常基础上，借助“message”字段内容可以实现服务异常定位。
S103、提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情。
具体地，通过日志中level字段判断系统是否存在服务异常，如日志中level字段内容为error，则可判断此时系统出现服务异常；在判断系统存在服务异常的基础上，本发明实施例通过解析消息字段“message”，进一步定位导致系统出现服务异常的原因。
以上一实施例中日志为例进行分析，在上面的日志信息中，level字段内容为error，表明系统此时出现服务异常，在此基础上，进一步解析消息字段“message”，得到系统消息字段内容为：‘message’:’connect()failed(111:Connection refused)whileconnecting to upstream’，由此信息可以确定系统出现服务异常的原因为后端服务链接不上导致。
本发明实施例的服务异常自动定位方法，能够自动提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情，减轻了人工劳动强度，节省了人力成本，同时，提高了服务异常检测的效率和精度。
在本发明的一个实施例中，还包括：获取所述目标服务日志对应的服务器的服务状态信息；所述在确定所述服务器异常后，还包括:根据所述服务状态信息判断所述服务器异常诱因。
具体地，图3为本发明实施例提供的服务异常自动定位方法流程框图。如图3所示，服务状态信息305通常可以通过API的形式获取，例如获取PHP服务的相关状态可以开启PHP服务的管理端口，也可以使用Zabbix这类服务监控软件对服务进行监控，本实施例实时获取的服务状态信息305，通过综合目标服务日志，完成服务异常判断306。
以第一个实施例中日志为例，在确定系统出现服务异常的原因为后端服务链接不上导致基础上，本发明实施例利用服务状态信息305通过服务异常判断306，进一步判断导致系统出现服务异常的诱因。图4为获取PHP服务的负载信息。如图4所示，利用PHP服务的负载信息，可以确认导致本次系统出现服务异常的诱因为后端PHP服务达到瓶颈所导致。
根据本发明实施例的服务异常自动定位方法，可以准确定位系统服务异常原因。
在本发明的一个实施例中，所述多个字段还包括追踪标识，所述追踪标识包括追踪标识名称和关联日志信息；所述在提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情之前，还包括：提取各目标服务日志的追踪标识；根据所述追踪标识将关联的多个目标服务日志融合为一个目标服务日志。
具体地，为了提高系统服务异常的定位效率，在步骤S103中之前，本实施例将提取各目标服务日志的追踪标识“traceId”字段，利用提取的追踪标识，将关联的多个目标服务日志融合为完整的目标服务日志。以第一实施例中日志为例，现假设第一实施例中日志请求被发送到下游服务，图5为第一实施例对应的下游服务日志。如图5所示，“traceId”字段代表追踪标识，如果请求被不同服务处理，则不同服务的日志带有相同的追踪标识traceId，本实施例可以通过不同服务日志内容中的traceId字段关联一个请求的不同服务打印的日志，从而追溯到一个完整请求信息。如图5所示，“traceId”字段内容为1553521854，图2中“traceId”字段内容为：1553521854，可见，图2与图5中“traceId”字段相同，本实施例可以将图2与图4对应的两条日志关联，形成一条完整的请求信息日志，从而，减少了系统中的日志数量。
根据本发明的实施例的服务异常自动定位方法，通过将系统中大量的日志融合后，可以减少日志处理量，提升异常定位效率。
在本发明的一个实施例中，在提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情之后，还包括：上报服务器异常通知，其中，所述上报为上报给所述目标终端上的预设客户端中，或者以邮件上报给预设的邮箱中。
具体地，如图3所示，当根据异常标识字段判断系统出现服务异常时，利用消息字段或消息字段辅助服务状态信息进一步获得服务异常的详情，本实施例将向预设客户端上报异常通知307，通知内容为获得的服务异常的详情，例如获得服务异常的详情，本实施例通过向预设客户端发送短信完成服务异常详情的上报或通过电子邮件的方式向预设电子邮箱发送获得的服务异常详情。
根据本发明实施例的服务异常自动定位方法，用户可以及时、准确获得系统服务异常详情。
在本发明的一个实施例中，所述获取服务器的原始服务日志，包括：从消息队列中读取所述原始服务日志，其中，所述服务器的原始服务日志缓存到所述消息队列中。
具体地，如图3所示，在获取服务器的原始服务日志301后，消息队列302负责服务器的原始服务日志的缓存，不同服务的日志缓存到不同的消息队列。消息队列302通常采用Kafka实现，也可以使用RabbitMQ或ActiveMQ等系统实现。
根据本发明实施例的服务异常自动定位方法，通过将原始服务日志缓存到消息队列，便于日志的读取和日志数据的处理。
在本发明的一个实施例中，所述将所述原始服务日志转换为包括多个字段的目标服务日志，包括：获取所述原始服务日志的日志内容；根据所述日志内容得到所述多个字段；根据所述多个字段得到所述目标服务日志。
具体地，如图3所示，本发明实施例对获得的原始服务日志的日志内容进行日志转换303，可以采用Spark、Storm、Flink或Hadoop实现原始服务日志转换303，根据日志不同进行不同的处理，最终将每一条日志处理成键值对的形式，得到所述多个字段，同时利用数据聚合能力，把相关联的数据通过一定规则聚合到一起，最终根据所述多个字段得到所述目标服务日志。
在本发明的一个实施例中，为各目标服务日志建立索引，以便通过所述索引查找相应的目标服务日志。
具体地，如图3所示，本发明实施例为采用Elastic公司的Elasticsearch数据检索系统为各目标服务日志建立日志索引304，日志索引304的检索接口可供服务异常判断306使用，本发明实施例可通过接口查询，获取判断定位系统是否存在服务异常所需要的日志数据。
根据本发明实施例的服务异常自动定位方法，通过为日志数据建立索引，加快数据检索速度，提高服务异常定位效率。
进一步的，本发明的实施例提供了一种服务异常自动定位装置，图6是本发明的实施例提供的服务异常自动定位装置结构框图，如图6所示，所述装置包括：获取模块601，用于获取服务器的原始服务日志；转换模块602，用于将所述原始服务日志转换为包括多个字段的目标服务日志，其中，所述多个字段至少包括异常标识字段和消息字段，所述异常标识字段包括标识名称和用于表示所述服务器是否存在异常的内容，所述消息字段包括消息名称和用于表示服务器异常详情的内容；异常检测模块603，用于提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情。
基于相同的发明构思，本发明又一个实施例提供了一种电子设备，参见图7，所述电子设备具体包括如下内容：处理器701、存储器702、通信接口703和通信总线704；
其中，所述处理器701、存储器702、通信接口703通过所述通信总线704完成相互间的通信；所述通信接口703用于实现各设备之间的信息传输；
所述处理器701用于调用所述存储器702中的计算机程序，所述处理器执行所述计算机程序时实现上述服务异常自动定位方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：获取服务器的原始服务日志；将所述原始服务日志转换为包括多个字段的目标服务日志，其中，所述多个字段至少包括异常标识字段和消息字段，所述异常标识字段包括标识名称和用于表示所述服务器是否存在异常的内容，所述消息字段包括消息名称和用于表示服务器异常详情的内容；提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情。
另外，根据本发明实施例的电子设备的其它构成以及作用对于本领域的普通技术人员而言都是已知的，此处不做赘述。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述服务异常自动定位方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：获取服务器的原始服务日志；将所述原始服务日志转换为包括多个字段的目标服务日志，其中，所述多个字段至少包括异常标识字段和消息字段，所述异常标识字段包括标识名称和用于表示所述服务器是否存在异常的内容，所述消息字段包括消息名称和用于表示服务器异常详情的内容；提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的指标监控方法。
此外，在本发明中，诸如“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

Claims (10)

1.一种服务异常自动定位方法，其特征在于，包括：
获取服务器的原始服务日志；
将所述原始服务日志转换为包括多个字段的目标服务日志，其中，所述多个字段至少包括异常标识字段和消息字段，所述异常标识字段包括标识名称和用于表示所述服务器是否存在异常的内容，所述消息字段包括消息名称和用于表示服务器异常详情的内容；
提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情。
2.根据权利要求1所述的服务异常自动定位方法，其特征在于，还包括：获取所述目标服务日志对应的服务器的服务状态信息；
所述在确定所述服务器异常后，还包括:
根据所述服务状态信息判断所述服务器异常诱因。
3.根据权利要求2所述的服务异常自动定位方法，其特征在于，所述多个字段还包括追踪标识，所述追踪标识包括追踪标识名称和关联日志信息；
所述在提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情之前，还包括：
提取各目标服务日志的追踪标识；
根据所述追踪标识将关联的多个目标服务日志融合为一个目标服务日志。
4.根据权利要求3所述的服务异常自动定位方法，其特征在于，在提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情之后，还包括：
上报服务器异常通知，其中，所述上报为上报给所述目标终端上的预设客户端中，或者以邮件上报给预设的邮箱中。
5.根据权利要求1所述的服务异常自动定位方法，其特征在于，所述获取服务器的原始服务日志，包括：
从消息队列中读取所述原始服务日志，其中，所述服务器的原始服务日志缓存到所述消息队列中。
6.根据权利要求1-5任一项所述的服务异常自动定位方法，其特征在于，所述将所述原始服务日志转换为包括多个字段的目标服务日志，包括：
获取所述原始服务日志的日志内容；
根据所述日志内容得到所述多个字段；
根据所述多个字段得到所述目标服务日志。
7.根据权利要求1所述的服务异常自动定位方法，其特征在于，还包括：
为各目标服务日志建立索引，以便通过所述索引查找相应的目标服务日志。
8.一种服务异常自动定位装置，其特征在于，包括：
获取模块，用于获取服务器的原始服务日志；
转换模块，用于将所述原始服务日志转换为包括多个字段的目标服务日志，其中，所述多个字段至少包括异常标识字段和消息字段，所述异常标识字段包括标识名称和用于表示所述服务器是否存在异常的内容，所述消息字段包括消息名称和用于表示服务器异常详情的内容；
异常检测模块，用于提取所述目标服务日志的异常标识字段，并根据所述异常标识字段确定所述服务器异常时，进一步根据所述消息字段确定所述服务器异常详情。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行根据权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行根据权利要求1至7任一所述的方法。
CN202110383173.6A 2021-04-09 2021-04-09 服务异常自动定位方法和装置 Pending CN113220522A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110383173.6A CN113220522A (zh) 2021-04-09 2021-04-09 服务异常自动定位方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110383173.6A CN113220522A (zh) 2021-04-09 2021-04-09 服务异常自动定位方法和装置

Publications (1)

Publication Number Publication Date
CN113220522A true CN113220522A (zh) 2021-08-06

Family

ID=77086821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110383173.6A Pending CN113220522A (zh) 2021-04-09 2021-04-09 服务异常自动定位方法和装置

Country Status (1)

Country Link
CN (1) CN113220522A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113746703A (zh) * 2021-09-03 2021-12-03 上海众源网络有限公司 一种异常链路监控方法、系统和装置
CN114024839A (zh) * 2022-01-06 2022-02-08 深圳市明源云科技有限公司 服务器日志消息分类方法、装置、设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645336A (zh) * 2005-01-20 2005-07-27 上海复旦光华信息科技股份有限公司 基于模板的异构日志信息自动提取与分析方法
CN106484742A (zh) * 2015-09-01 2017-03-08 北京国双科技有限公司 日志处理方法和装置
CN109388623A (zh) * 2018-11-02 2019-02-26 郑州云海信息技术有限公司 一种设备故障检测的方法、系统及相关组件
CN112433991A (zh) * 2020-11-20 2021-03-02 苏宁金融科技(南京)有限公司 一种问题定位方法和装置
CN112491611A (zh) * 2020-11-25 2021-03-12 网银在线（北京）科技有限公司 故障定位系统、方法、装置、电子设备和计算机可读介质
CN112506894A (zh) * 2020-12-02 2021-03-16 平安医疗健康管理股份有限公司 基于链路追踪的服务链日志处理方法、装置和计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645336A (zh) * 2005-01-20 2005-07-27 上海复旦光华信息科技股份有限公司 基于模板的异构日志信息自动提取与分析方法
CN106484742A (zh) * 2015-09-01 2017-03-08 北京国双科技有限公司 日志处理方法和装置
CN109388623A (zh) * 2018-11-02 2019-02-26 郑州云海信息技术有限公司 一种设备故障检测的方法、系统及相关组件
CN112433991A (zh) * 2020-11-20 2021-03-02 苏宁金融科技(南京)有限公司 一种问题定位方法和装置
CN112491611A (zh) * 2020-11-25 2021-03-12 网银在线（北京）科技有限公司 故障定位系统、方法、装置、电子设备和计算机可读介质
CN112506894A (zh) * 2020-12-02 2021-03-16 平安医疗健康管理股份有限公司 基于链路追踪的服务链日志处理方法、装置和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张骁: "应用软件运行日志的收集与服务处理框架", 《计算机工程与应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113746703A (zh) * 2021-09-03 2021-12-03 上海众源网络有限公司 一种异常链路监控方法、系统和装置
CN114024839A (zh) * 2022-01-06 2022-02-08 深圳市明源云科技有限公司 服务器日志消息分类方法、装置、设备及可读存储介质
CN114024839B (zh) * 2022-01-06 2022-04-08 深圳市明源云科技有限公司 服务器日志消息分类方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN112801666B (zh) 基于企业服务总线的监控管理方法、系统、介质和设备
CN110309030A (zh) 基于ELK和Zabbix的日志分析监控系统和方法
CN113220522A (zh) 服务异常自动定位方法和装置
CN111881011A (zh) 日志管理方法、平台、服务器及存储介质
CN109409948B (zh) 交易异常检测方法、装置、设备及计算机可读存储介质
CN112948262A (zh) 一种系统测试方法、装置、计算机设备和存储介质
CN112087320A (zh) 一种异常定位方法、装置、电子设备和可读存储介质
JP6574310B2 (ja) 評価情報のマッチング方法、装置及びサーバー
CN113766363B (zh) 故障监控方法、装置及计算设备
CN114629786A (zh) 日志实时分析方法、装置、存储介质及系统
CN112954667A (zh) 热点移动终端的检测方法、装置、计算机设备和存储介质
CN112148508A (zh) 一种信息处理的方法及相关装置
CN111708689B (zh) 一种修改ab实验的方法、装置及电子设备
CN110362464A (zh) 软件分析方法及设备
CN114265739A (zh) 数据处理方法、装置、设备及存储介质
CN117421337B (zh) 数据采集方法、装置、设备及计算机可读介质
CN118093312A (zh) 实例检测方法、装置、设备以及存储介质
US20230370318A1 (en) Data Processing Method, Apparatus, and System, and Storage Medium
CN116109219A (zh) 一种物流异常事件的处理方法、装置和设备
CN117667565A (zh) 业务异常监控方法、电子设备及存储介质
CN107124288B (zh) 一种消息处理方法和装置
CN116089499A (zh) 基于kafka数据量的数据统计方法、装置及介质
CN117061334A (zh) 一种链路告警处理方法、装置、设备及存储介质
CN116170281A (zh) 告警关联规则生成方法、装置、电子设备和存储介质
CN117768362A (zh) 一种基于eBPF的网络诊断与预警方法、装置和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220318

Address after: 100085 Floor 101 102-1, No. 35 Building, No. 2 Hospital, Xierqi West Road, Haidian District, Beijing

Applicant after: Seashell Housing (Beijing) Technology Co.,Ltd.

Address before: 101309 room 24, 62 Farm Road, Erjie village, Yangzhen, Shunyi District, Beijing

Applicant before: Beijing fangjianghu Technology Co.,Ltd.

TA01 Transfer of patent application right