CN109039782A - 一种集群日志记录方法及相关装置 - Google Patents

一种集群日志记录方法及相关装置 Download PDF

Info

Publication number
CN109039782A
CN109039782A CN201811115251.9A CN201811115251A CN109039782A CN 109039782 A CN109039782 A CN 109039782A CN 201811115251 A CN201811115251 A CN 201811115251A CN 109039782 A CN109039782 A CN 109039782A
Authority
CN
China
Prior art keywords
information
destination request
recipient
request
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811115251.9A
Other languages
English (en)
Inventor
李娟�
李强
袁鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811115251.9A priority Critical patent/CN109039782A/zh
Publication of CN109039782A publication Critical patent/CN109039782A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种集群日志记录方法，记录了目标请求的信息、目标请求发送方的具体信息以及发送时间，目标请求接收方的信息以及接收时间、和对目标请求的处理信息，使对请求的记录内容更全面，通过处理信息并结合发送、接收的相关信息，即可确定请求被处理过程的前后关联性，从而当一个问题经由多个节点时，即可方便的确定出请求在集群中哪一节点出现问题，从而可以更方便准确的定位问题。本申请还提供了一种集群日志记录系统、装置及计算机可读存储介质，同样可以实现上述技术效果。

Description

一种集群日志记录方法及相关装置
技术领域
本发明涉及计算机技术领域，更具体地说，涉及一种集群日志记录方法、系统、装置及计算机可读存储介质。
背景技术
随着计算机技术的发展，集群的应用也越来越广泛。在集群的使用过程中，往往会出现各种故障，工作人员在检查故障以及修复故障时，通常通过查看日志信息来进行。
但是目前通过日志来定位错误，往往十分困难，尤其是在分布式集群中，一个问题的发生通常会经由多个服务器或者存储，因此通过现有的日志就更难进行错误定位。
因此，如何方便的通过日志来定位错误，是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种集群日志记录方法、系统、装置及计算机可读存储介质，以解决如何方便的通过日志来定位错误的问题。
为实现上述目的，本发明实施例提供了如下技术方案：
一种集群日志记录方法，包括：
记录目标请求的目标信息，所述目标信息包括所述目标请求的唯一标识与请求内容信息；
记录所述目标请求的发送方信息与所述发送方发送所述目标请求的第一时间；
记录所述目标请求的接收方信息与接收方接收到所述目标请求的第二时间；
记录所述接收方处理所述目标请求过程的处理信息。
其中，所述发送方信息包括：
所述发送方的唯一标识。
其中，所述接收方信息包括：
所述接收方的唯一标识、所述接收方的属性信息与所述接收方对所述目标请求的处理方法。
其中，所述处理信息包括：
所述目标请求被处理完成的时间；
所述目标请求被处理的执行状态信息；其中执行状态包括正常状态与异常状态。
其中，还包括：
记录针对所述目标请求的用户自定义内容。
其中，所述方法还包括：
利用已记录的所述目标信息、所述发送方信息、所述第一时间、所述接收方信息、所述第二时间、所述处理信息，确定所述目标请求按照时间顺序的执行流程。
其中，所述方法还包括：
利用已记录的所述目标信息、所述发送方信息、所述接收方信息、所述处理信息，确定所述目标请求的执行路径。
本申请还提供了一种集群日志记录系统，包括：
第一记录模块，用于记录目标请求的目标信息，所述目标信息包括所述目标请求的唯一标识与请求内容信息；
第二记录模块，记录所述目标请求的发送方信息与所述发送方发送所述目标请求的第一时间；
第三记录模块，记录所述目标请求的接收方信息与接收方接收到所述目标请求的第二时间；
第四记录模块，记录所述接收方处理所述目标请求过程的处理信息。
本申请还提供了一种集群日志记录装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如所述集群日志记录方法的步骤。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如所述集群日志记录方法的步骤。
通过以上方案可知，本发明提供的一种集群日志记录方法，包括：记录目标请求的目标信息，所述目标信息包括所述目标请求的唯一标识与请求内容信息；记录所述目标请求的发送方信息与所述发送方发送所述目标请求的第一时间；记录所述目标请求的接收方信息与接收方接收到所述目标请求的第二时间；记录所述接收方处理所述目标请求过程的处理信息。
由此可见，本申请实施例提供的一种集群日志记录方法，记录了目标请求的信息、目标请求发送方的具体信息以及发送时间，目标请求接收方的信息以及接收时间、和对目标请求的处理信息，使对请求的记录内容更全面，通过处理信息并结合发送、接收的相关信息，即可确定请求被处理过程的前后关联性，从而当一个问题经由多个节点时，即可方便的确定出请求在集群中哪一节点出现问题，从而可以更方便准确的定位问题。本申请还提供了一种集群日志记录系统、装置及计算机可读存储介质，同样可以实现上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种集群日志记录方法流程图；
图2为本发明实施例公开的一种具体的集群日志记录方法流程图；
图3为本发明实施例公开的一种具体的集群日志记录方法流程图；
图4为本发明实施例公开的一种集群日志记录系统结构示意图；
图5为本发明实施例公开的一种集群日志记录装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种集群日志记录方法、系统、装置及计算机可读存储介质，以解决如何方便的通过日志来定位错误的问题。
参见图1，本发明实施例提供的一种集群日志记录方法，具体包括：
S101，记录目标请求的目标信息，所述目标信息包括所述目标请求的唯一标识与请求内容信息。
在本方案中，需要在日志中记录目标请求的目标信息，其中，目标信息包括目标请求的唯一标识以及请求内容信息。
具体地，在日志中定义“全局索引”字段，来保存目标请求的唯一标识；定义“事件”字段，来保存请求内容信息，记录请求的内容，内容包括请求的目的。
S102，记录所述目标请求的发送方信息与所述发送方发送所述目标请求的第一时间。
具体地，记录目标请求发送方信息，以及发送方发送该目标请求的时间，作为第一时间。
对于接收方，发送方即是接收方的上一层节点，所以，定义“父索引”字段，记录发送方的唯一标识，如ID。
S103，记录所述目标请求的接收方信息与接收方接收到所述目标请求的第二时间。
具体地，记录目标请求的接收方信息，并且记录接收方接收到目标请求的第二时间。
需要说明的是，接收方信息包括接收方的唯一标识、接收方的属性信息与接收方对目标请求的处理方法。
具体地，定义“自索引”字段，保存接收方的唯一标识；定义“自描述”字段，保存接收方的属性信息与所述接收方对所述目标请求的处理方法。具体描述哪些属性信息，可以根据实际情况确定，例如根据工作人员具体需要知道接收方这个节点的哪些信息确定。
S104，记录所述接收方处理所述目标请求过程的处理信息。
具体地，记录接收方处理目标请求过程的处理信息。处理信息包括所述目标请求被处理完成的时间；所述目标请求被处理的执行状态信息；其中执行状态包括正常状态与异常状态。
具体地，可以定义“结束时间”字段保存接收处理完成目标请求的时间，定义“执行态”字段，保存执行状态，定义“执行说明”字段，保存当执行状态为异常状态时，具体的异常信息。
需要说明的是，在日志中还可以定义“特别说明”字段，用来记录针对所述目标请求的用户自定义内容。用户可以根据项目需求自定义的记录内容。
由此可见，本申请实施例提供的一种集群日志记录方法，记录了目标请求的信息、目标请求发送方的具体信息以及发送时间，目标请求接收方的信息以及接收时间、和对目标请求的处理信息，使对请求的记录内容更全面，通过处理信息并结合发送、接收的相关信息，即可确定请求被处理过程的前后关联性，从而当一个问题经由多个节点时，即可方便的确定出请求在集群中哪一节点出现问题，从而可以更方便准确的定位问题。
为了更方面的查看请求的处理过程，从而更方便的定位请求问题的位置，本申请提供一种具体的集群日志记录方法，在完成上述实施例的记录操作后，还需将记录的内容序列化为请求的执行流程。
下面对本申请实施例提供的一种具体的集群日志记录方法进行介绍，下文描述的一种集群日志记录方法与上述实施例可以相互参照。
参见图2，本申请实施例提供的一种具体的集群日志记录方法，具体包括：
S201，记录目标请求的目标信息，所述目标信息包括所述目标请求的唯一标识与请求内容信息。
S202，记录所述目标请求的发送方信息与所述发送方发送所述目标请求的第一时间。
S203，记录所述目标请求的接收方信息与接收方接收到所述目标请求的第二时间。
S204，记录所述接收方处理所述目标请求过程的处理信息。
S205，利用已记录的所述目标信息、所述发送方信息、所述第一时间、所述接收方信息、所述第二时间、所述处理信息，确定所述目标请求按照时间顺序的执行流程。
在本方案中，需要将记录的所有内容，从时间的角度序列化为执行流程。
例如，父索引为发送方的ID，具体数据为ID0，发送方发送目标请求的时间为t1；自索引为接收方的ID，具体数据为ID1，接收方接收到目标请求的时间为t2；接收方对目标请求进行处理，处理完成时间为t3，则目标请求在该接收方与发送方之间的执行流程，从时间的角度即可序列化为：t1时刻ID0发送目标请求；t2时刻ID1接收目标请求；t3时刻ID1完成目标请求的处理。
从而可以通过时间角度的执行流程更清晰的了解目标请求被执行的时间顺序，并且可以及时的发现执行流程的哪一部分所耗时间过长，从而及时发现请求处理过程中的阻塞点。
下面对本申请实施例提供的一种具体的集群日志记录方法进行介绍，下文描述的一种具体的集群日志记录方法对另一种序列化执行流程的方法进行介绍，与上述实施例可以相互参照。
参见图3，本申请实施例提供的一种具体的集群日志记录方法，具体包括：
S301，记录目标请求的目标信息，所述目标信息包括所述目标请求的唯一标识与请求内容信息。
S302，记录所述目标请求的发送方信息与所述发送方发送所述目标请求的第一时间。
S303，记录所述目标请求的接收方信息与接收方接收到所述目标请求的第二时间。
S304，记录所述接收方处理所述目标请求过程的处理信息。
S305，利用已记录的所述目标信息、所述发送方信息、所述接收方信息、所述处理信息，确定所述目标请求的执行路径。
在本方案中，只关注目标请求的发送方、接收方，而不关注发送、接收的时间点。也就是说，只需根据目标信息、发送方信息、接收方信息以及处理信息确定目标请求都经由哪些节点，以及具体的处理信息，从而得出一个目标请求的执行路径。当一个目标请求涉及多个发送方、接收方时，例如目标请求从ID0发送至ID1，经ID1进行处理得到中间结果，再由ID1发送至ID2，等等。从而可以从全局的角度发现请求路径，从而及时发现问题的发生点。
下面对本申请实施例提供的一种集群日志记录系统进行介绍，下文描述的一种集群日志记录系统与上述任意实施例可以相互参照。
参见图4，本申请实施例提供的一种集群日志记录系统，具体包括：
第一记录模块401，用于记录目标请求的目标信息，所述目标信息包括所述目标请求的唯一标识与请求内容信息。
第二记录模块402，记录所述目标请求的发送方信息与所述发送方发送所述目标请求的第一时间。
第三记录模块403，记录所述目标请求的接收方信息与接收方接收到所述目标请求的第二时间。
第四记录模块404，记录所述接收方处理所述目标请求过程的处理信息。
本实施例的集群日志记录系统用于实现前述的集群日志记录方法，因此集群日志记录系统中的具体实施方式可见前文中的集群日志记录方法的实施例部分，例如，第一记录模块401，第二记录模块402，第三记录模块403，第四记录模块404，分别用于实现上述集群日志记录方法中步骤S101，S102，S103和S104，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
下面对本申请实施例提供的一种集群日志记录装置进行介绍，下文描述的一种集群日志记录装置与上述实施例可以相互参照。
参见图5，本申请实施例提供的一种集群日志记录装置，具体包括：
存储器501，用于存储计算机程序；
处理器502，用于执行所述计算机程序时实现如上述任意一个实施例所述集群日志记录方法的步骤。
具体的，存储器501包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器502为集群日志记录装置提供计算和控制能力，可以实现上述任一集群日志记录方法实施例所提供的步骤。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种集群日志记录方法，其特征在于，包括：
记录目标请求的目标信息，所述目标信息包括所述目标请求的唯一标识与请求内容信息；
记录所述目标请求的发送方信息与所述发送方发送所述目标请求的第一时间；
记录所述目标请求的接收方信息与接收方接收到所述目标请求的第二时间；
记录所述接收方处理所述目标请求过程的处理信息。
2.根据权利要求1所述的方法，其特征在于，所述发送方信息包括：
所述发送方的唯一标识。
3.根据权利要求1所述的方法，其特征在于，所述接收方信息包括：
所述接收方的唯一标识、所述接收方的属性信息与所述接收方对所述目标请求的处理方法。
4.根据权利要求1所述的方法，其特征在于，所述处理信息包括：
所述目标请求被处理完成的时间；
所述目标请求被处理的执行状态信息；其中执行状态包括正常状态与异常状态。
5.根据权利要求1所述的方法，其特征在于，还包括：
记录针对所述目标请求的用户自定义内容。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：
利用已记录的所述目标信息、所述发送方信息、所述第一时间、所述接收方信息、所述第二时间、所述处理信息，确定所述目标请求按照时间顺序的执行流程。
7.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：
利用已记录的所述目标信息、所述发送方信息、所述接收方信息、所述处理信息，确定所述目标请求的执行路径。
8.一种集群日志记录系统，其特征在于，包括：
第一记录模块，用于记录目标请求的目标信息，所述目标信息包括所述目标请求的唯一标识与请求内容信息；
第二记录模块，记录所述目标请求的发送方信息与所述发送方发送所述目标请求的第一时间；
第三记录模块，记录所述目标请求的接收方信息与接收方接收到所述目标请求的第二时间；
第四记录模块，记录所述接收方处理所述目标请求过程的处理信息。
9.一种集群日志记录装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述集群日志记录方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述集群日志记录方法的步骤。
CN201811115251.9A 2018-09-25 2018-09-25 一种集群日志记录方法及相关装置 Pending CN109039782A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811115251.9A CN109039782A (zh) 2018-09-25 2018-09-25 一种集群日志记录方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811115251.9A CN109039782A (zh) 2018-09-25 2018-09-25 一种集群日志记录方法及相关装置

Publications (1)

Publication Number Publication Date
CN109039782A true CN109039782A (zh) 2018-12-18

Family

ID=64617802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811115251.9A Pending CN109039782A (zh) 2018-09-25 2018-09-25 一种集群日志记录方法及相关装置

Country Status (1)

Country Link
CN (1) CN109039782A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254460A (zh) * 2021-07-07 2021-08-13 阿里云计算有限公司 数据处理方法、系统、电子设备及计算机程序产品
CN114785675A (zh) * 2022-06-20 2022-07-22 中建三局信息科技有限公司 一种定位服务超时的方法、装置和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101163265A (zh) * 2007-11-20 2008-04-16 中兴通讯股份有限公司 基于分布式数据库的彩信日志查询方法与系统
CN101753344A (zh) * 2008-12-12 2010-06-23 华为技术有限公司 一种记录日志的方法、装置及系统
KR20120048460A (ko) * 2010-11-05 2012-05-15 경기대학교 산학협력단 로그 관리 방법
CN105337748A (zh) * 2014-06-20 2016-02-17 北京奇虎科技有限公司 日志文件收集方法和系统及服务器和服务集群控制装置
CN107979490A (zh) * 2017-11-17 2018-05-01 北京联想超融合科技有限公司 日志数据的记录方法及服务器集群
CN108459939A (zh) * 2018-01-08 2018-08-28 平安科技（深圳）有限公司 一种日志收集方法、装置、终端设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101163265A (zh) * 2007-11-20 2008-04-16 中兴通讯股份有限公司 基于分布式数据库的彩信日志查询方法与系统
CN101753344A (zh) * 2008-12-12 2010-06-23 华为技术有限公司 一种记录日志的方法、装置及系统
KR20120048460A (ko) * 2010-11-05 2012-05-15 경기대학교 산학협력단 로그 관리 방법
CN105337748A (zh) * 2014-06-20 2016-02-17 北京奇虎科技有限公司 日志文件收集方法和系统及服务器和服务集群控制装置
CN107979490A (zh) * 2017-11-17 2018-05-01 北京联想超融合科技有限公司 日志数据的记录方法及服务器集群
CN108459939A (zh) * 2018-01-08 2018-08-28 平安科技（深圳）有限公司 一种日志收集方法、装置、终端设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254460A (zh) * 2021-07-07 2021-08-13 阿里云计算有限公司 数据处理方法、系统、电子设备及计算机程序产品
CN113254460B (zh) * 2021-07-07 2022-01-11 阿里云计算有限公司 数据处理方法、系统、电子设备及存储介质
CN114785675A (zh) * 2022-06-20 2022-07-22 中建三局信息科技有限公司 一种定位服务超时的方法、装置和存储介质
CN114785675B (zh) * 2022-06-20 2022-09-09 中建三局信息科技有限公司 一种定位服务超时的方法、装置和存储介质

Similar Documents

Publication Publication Date Title
CN108289034B (zh) 一种故障发现方法和装置
CN106802892B (zh) 用于主备数据一致性校验的方法和设备
CN106126374B (zh) 数据写入方法、数据读取方法及装置
CN110515894B (zh) 一种数据格式转换方法、装置、设备及可读存储介质
CN105045632A (zh) 一种多核环境下实现免锁队列的方法和设备
JP6987340B2 (ja) データベースのデータ変更要求処理方法及び装置
CN104407820B (zh) 基于固态硬盘存储系统的数据处理方法、装置以及系统
CN108512726B (zh) 一种数据监控的方法及设备
CN109039782A (zh) 一种集群日志记录方法及相关装置
CN106802785A (zh) 一种栈解析方法和装置
CN108255576A (zh) 虚拟机热迁移异常处理方法、装置和存储介质
JP4713843B2 (ja) バックアップ方法
CN109117297A (zh) 一种固态硬盘的故障定位方法及装置
CN102222033B (zh) 一种保存小型计算机系统接口访问错误的方法及装置
CN102394909B (zh) 远程会诊业务处理方法和系统
CN115756955A (zh) 一种数据备份、数据恢复的方法、装置及计算机设备
CN109471901B (zh) 一种数据同步方法及装置
CN110704686B (zh) 半结构化数据的质量检测方法、装置、存储介质及设备
CN107111532A (zh) 计算不确定性情况下的恢复和容错
CN109358813B (zh) 一种分布式存储系统的扩容方法及装置
CN107393594A (zh) 一种多核固态硬盘调试方法及系统
CN111200654A (zh) 客户端请求错误处理方法及装置
CN117763024A (zh) 一种数据分片抽取方法及装置
CN103488549B (zh) 多镜像数据的回滚处理系统和回滚处理方法
CN109102839A (zh) 一种坏块标记方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181218