CN112463546B - 一种异常日志表的处理方法 - Google Patents

一种异常日志表的处理方法 Download PDF

Info

Publication number
CN112463546B
CN112463546B CN202110092859.XA CN202110092859A CN112463546B CN 112463546 B CN112463546 B CN 112463546B CN 202110092859 A CN202110092859 A CN 202110092859A CN 112463546 B CN112463546 B CN 112463546B
Authority
CN
China
Prior art keywords
data
abnormal
field
record
abnormal log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110092859.XA
Other languages
English (en)
Other versions
CN112463546A (zh
Inventor
吴新才
姜跃滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tianjian Source Technology Co ltd
Original Assignee
Beijing Tianjian Source Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tianjian Source Technology Co ltd filed Critical Beijing Tianjian Source Technology Co ltd
Priority to CN202110092859.XA priority Critical patent/CN112463546B/zh
Publication of CN112463546A publication Critical patent/CN112463546A/zh
Application granted granted Critical
Publication of CN112463546B publication Critical patent/CN112463546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例涉及一种异常日志表的处理方法，该方法包括：获取第一异常数据和对应的第一应用程序数据、第一用户数据和第一时间数据；使用散列算法计算第一散列码数据；根据第一应用程序数据、第一用户数据和第一散列码数据，在异常日志表中查询第一匹配异常日志记录；第一匹配异常日志记录为空时进行异常日志记录新增处理；第一匹配异常日志记录不为空时进行异常日志记录合并处理。该方法还包括对异常日志表进行异常日志记录维护处理和异常日志记录统计处理。使用本发明实施例可以减少异常日志记录数量、降低维护难度，同时还增加了两种统计处理流程，方便维护人员对异常日志表的进行数据分析。

Description

一种异常日志表的处理方法
技术领域
本发明涉及数据信息处理技术领域，特别涉及一种异常日志表的处理方法。
背景技术
软件产品或软件系统在运行中出现运行错误时，通常采用自动或人工向异常日志表添加异常日志记录的方式来保留与运行错误相关的信息。添加的异常日志记录的内容至少包括与运行错误相关的应用程序信息、与使用者相关的用户信息、与运行错误发生时间相关的时间信息、以及用于详细描述运行错误的异常信息。负责维护的工程师会根据异常日志表的内容，对发生的运行错误进行分析和解决。然而我们在实际应用中发现，常规的异常日志表处理方法有以下几种缺陷：1）每次发生运行错误时，都向异常日志表添加一条异常日志记录，即使在相同应用程序信息、相同用户信息和相同异常信息的情况下，也不能进行同类异常记录合并，这样一方面使得异常日志表内记录数过多、维护工作量较大，另一方面也不方便对同类异常进行统计；2）常规的异常日志表中没有与异常解决相关的信息，例如解决人员信息和解决时间信息等，负责维护的工程师需另行建立对应表单以及表单处理流程，来对与异常解决相关的信息进行统计；3）常规的异常日志表的处理方法中不包括数据分析和统计功能，负责维护的工程师或者客户想要了解软件产品或软件系统的运行状况时，也需要另行建立对应表单以及表单处理流程，来对与运行状况相关的信息进行统计。
发明内容
本发明的目的，就是针对现有技术的缺陷，提供一种异常日志表的处理方法、计算机程序产品及计算机可读存储介质,一方面，在异常日志表的异常日志记录的数据结构上除常规字段之外，增加了散列码字段、更新时间字段、出错次数字段，并在处理异常日志记录添加时，增加了对同类异常记录进行合并的处理，这样既可以减少异常日志表中的异常日志记录数量、降低维护难度，也方便对同类异常的数量、最新时间进行统计；另一方面，在异常日志记录的数据结构上，增加了解决时间字段和解决人员字段，这样负责维护的工程师解决完某类异常之后，无需另行建立对应表单，只需对某条异常日志记录的相关字段进行更新即可；再一方面，对异常日志表增加了两种统计处理流程，一种用于对总异常数量、已解决数量和未解决记录进行统计，另一种用于对产生每类异常的用户信息、时间信息和出错次数信息等进行统计。
为实现上述目的，本发明实施例第一方面提供了一种异常日志表的处理方法，所述方法包括：
获取第一异常数据和对应的第一应用程序数据、第一用户数据和第一时间数据；
对所述第一异常数据，按预设的第一散列算法信息，使用对应的散列算法进行散列码计算处理，生成第一散列码数据；
根据所述第一应用程序数据、所述第一用户数据和所述第一散列码数据，在预设的异常日志表中，进行异常日志记录匹配处理，得到第一匹配异常日志记录；
当所述第一匹配异常日志记录为空时，根据所述第一应用程序数据、所述第一用户数据、所述第一散列码数据、所述第一时间数据和所述第一异常数据，对所述异常日志表，进行异常日志记录新增处理；
当所述第一匹配异常日志记录不为空时，根据所述第一时间数据，对所述异常日志表的所述第一匹配异常日志记录，进行异常日志记录合并处理。
优选的，
所述异常日志表包括多个第一异常日志记录；所述第一异常日志记录包括第一应用程序字段、第一用户字段、第一散列码字段、第一创建时间字段、第一更新时间字段、第一出错次数字段、第一异常摘要字段、第一异常备注字段、第一解决时间字段和第一解决人员字段。
优选的，所述根据所述第一应用程序数据、所述第一用户数据和所述第一散列码数据，在预设的异常日志表中，进行异常日志记录匹配处理，得到第一匹配异常日志记录，具体包括：
根据所述第一散列码数据、所述第一应用程序数据和所述第一用户数据，对所述异常日志表的所有所述第一异常日志记录，进行异常日志记录轮询处理；首先，将当前被轮询的所述第一异常日志记录做为当前记录；其次，在所述当前记录中，当所述第一应用程序字段与所述第一应用程序数据相同、且所述第一用户字段与所述第一用户数据相同、且所述第一散列码字段与所述第一散列码数据相同时，将所述当前记录做为所述第一匹配异常日志记录；
所述异常日志记录轮询处理的过程中，未找到与所述第一散列码数据、所述第一应用程序数据和所述第一用户数据匹配的所述第一异常日志记录时，将所述第一匹配异常日志记录设为空。
优选的，所述当所述第一匹配异常日志记录为空时，根据所述第一应用程序数据、所述第一用户数据、所述第一散列码数据、所述第一时间数据和所述第一异常数据，对所述异常日志表，进行异常日志记录新增处理，具体包括：
当所述第一匹配异常日志记录为空时，初始化第二异常日志记录；所述第二异常日志记录包括第二应用程序字段、第二用户字段、第二散列码字段、第二创建时间字段、第二更新时间字段、第二出错次数字段、第二异常摘要字段、第二异常备注字段、第二解决时间字段和第二解决人员字段；
并对所述第一异常数据，进行异常摘要提取处理，生成对应的第一异常摘要数据；
再根据所述第一应用程序数据、所述第一用户数据、所述第一散列码数据、所述第一时间数据、所述第一异常摘要数据和所述第一异常数据，对所述第二异常日志记录进行设置处理；
然后，将所述第二异常日志记录做为新增记录，向所述异常日志表进行添加。
进一步的，所述根据所述第一应用程序数据、所述第一用户数据、所述第一散列码数据、所述第一时间数据、所述第一异常摘要数据和所述第一异常数据，对所述第二异常日志记录进行设置处理，具体包括：
将所述第二异常日志记录的所述第二应用程序字段，设为所述第一应用程序数据；将所述第二异常日志记录的所述第二用户字段，设为所述第一用户数据；将所述第二异常日志记录的所述第二散列码字段，设为所述第一散列码数据；将所述第二异常日志记录的所述第二创建时间字段，设为所述第一时间数据；将所述第二异常日志记录的所述第二更新时间字段，设为所述第一时间数据；将所述第二异常日志记录的所述第二出错次数字段的值，设为1；将所述第二异常日志记录的所述第二异常摘要字段，设为所述第一异常摘要数据；将所述第二异常日志记录的所述第二异常备注字段，设为所述第一异常数据；将所述第二异常日志记录的所述第二解决时间字段，设为空；将所述第二异常日志记录的所述第二解决人员字段，设为空。
优选的，所述当所述第一匹配异常日志记录不为空时，根据所述第一时间数据，对所述异常日志表的所述第一匹配异常日志记录，进行异常日志记录合并处理，具体包括：
当所述第一匹配异常日志记录不为空时，使用所述第一时间数据，更新所述异常日志表的所述第一匹配异常日志记录的所述第一更新时间字段；并将所述异常日志表的所述第一匹配异常日志记录的所述第一出错次数字段的值加1。
优选的，所述方法还包括：对所述异常日志表进行异常日志记录维护处理时；
获取第一记录索引数据、第一解决时间数据和第一解决人员数据；
所述异常日志表中，将与所述第一记录索引数据对应的所述第一异常日志记录，做为维护记录；使用所述第一解决时间数据，更新所述维护记录的所述第一解决时间字段；使用所述第一解决人员数据，更新所述维护记录的所述第一解决人员字段。
优选的，所述方法还包括：对所述异常日志表进行异常日志记录统计处理时；
获取统计模式数据；
当所述统计模式数据为第一模式时，对所述异常日志表进行第一模式统计处理；在所述异常日志表中，统计所述第一异常日志记录的数量，生成总异常数量数据；并统计满足所述第一解决时间字段晚于所述第一更新时间字段的所述第一异常日志记录的数量，生成已解决数量数据；并统计满足所述第一解决时间字段为空、或者所述第一解决时间字段早于所述第一更新时间字段的所有所述第一异常日志记录，生成未解决记录集合；然后根据所述总异常数量数据、所述已解决数量数据和所述未解决记录集合，进行第一统计报告合成处理，生成第一统计报告数据；
当所述统计模式数据为第二模式时，对所述异常日志表进行第二模式统计处理；在所述异常日志表中，对所述第一散列码字段相同的所述第一异常日志记录进行统计，生成多个第一记录集合；再在每个所述第一记录集合中，提取每个所述第一异常日志记录的所述第一用户字段、所述第一创建时间字段、所述第一更新时间字段和所述第一出错次数字段，组成第一用户数据，并由所述第一用户数据组成与所述第一记录集合对应的第一用户数据集合；然后根据所述第一散列码字段、及与所述第一散列码字段对应的所述第一记录集合、及与所述第一记录集合对应的所述第一用户数据集合，进行第二统计报告合成处理，生成第二统计报告数据。
本发明实施例第二方面提供了一种计算机程序产品，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码被计算机执行时，使得所述计算机执行上述第一方面所述的方法。
本发明实施例第三方面提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。
本发明实施例提供一种异常日志表的处理方法、计算机程序产品及计算机可读存储介质,一方面，在异常日志表的异常日志记录的数据结构上除常规字段之外，增加了散列码字段、更新时间字段、出错次数字段，并在处理异常日志记录添加时，增加了对同类异常记录进行合并的处理，这样既减少了异常日志表中的异常日志记录数量、降低了维护难度，也能方便地对同类异常的数量、最新时间进行统计；另一方面，在异常日志记录的数据结构上，增加了解决时间字段和解决人员字段，这样负责维护的工程师解决完某类异常之后，无需另行建立对应表单，只需对某条异常日志记录的相关字段进行更新即可；再一方面，还对异常日志表增加了两种统计处理流程，一种用于对总异常数量、已解决数量和未解决记录进行统计，另一种用于对产生每类异常的用户信息、时间信息和出错次数信息等进行统计。
附图说明
图1为本发明实施例一提供的一种异常日志表的处理方法示意图；
图2为本发明实施例二提供的另一种异常日志表的处理方法示意图；
图3为本发明实施例三提供的另一种异常日志表的处理方法示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
当软件产品或软件系统在运行中出现运行错误时，需向异常日志表添加与运行错误相关的信息，这里，与运行错误相关的信息中至少包括：与运行错误相关的第一应用程序数据、与使用者相关第一用户数据、与运行错误发生时间相关的第一时间数据和用于详细描述运行错误的第一异常数据；本发明实施例一提供的一种异常日志表的处理方法，在获取了上述数据之后，对异常日志表进行异常日志记录新增处理或异常日志记录合并处理；如图1为本发明实施例一提供的一种异常日志表的处理方法示意图所示，本方法主要包括如下步骤：
步骤101，获取第一异常数据和对应的第一应用程序数据、第一用户数据和第一时间数据。
这里，第一应用程序数据是与运行错误相关的软件程序或软件系统程序的程序名称、或者程序标识，第一用户数据是与运行错误相关的登录用户或者操作用户的信息，第一时间数据是运行错误发生的时间点信息，第一异常数据是运行错误的详细信息。
步骤102，对第一异常数据，按预设的第一散列算法信息，使用对应的散列算法进行散列码计算处理，生成第一散列码数据。
这里，散列算法是将任意长度信息压缩到固定长度散列码的算法；本发明实施例支持多种散列算法，第一散列算法信息可以为信息摘要算法(Message-Digest Algorithm，MD)-2、MD-4或MD-5，还可以为安全散列算法(Secure Hash Algorithm，SHA)-1、SHA-224、SHA-256、SHA-384或SHA-512；使用对应的散列算法进行散列码计算处理，就是根据第一散列算法信息的具体取值，使用对应的散列算法，对不定长度的第一异常数据进行散列码计算，计算输出结果就是固定长度的第一散列码数据。
例如，第一异常数据为错误信息1，错误信息1为一个包含了800个字符的字符串，第一散列算法信息为MD5，则本步骤会采用MD5算法将长度为800的字符串，压缩成一个长度为32的十六进制字符串即散列码A。
步骤103，根据第一应用程序数据、第一用户数据和第一散列码数据，在预设的异常日志表中，进行异常日志记录匹配处理，得到第一匹配异常日志记录；
其中，异常日志表包括多个第一异常日志记录；第一异常日志记录包括第一应用程序字段、第一用户字段、第一散列码字段、第一创建时间字段、第一更新时间字段、第一出错次数字段、第一异常摘要字段、第一异常备注字段、第一解决时间字段和第一解决人员字段；
这里，异常日志表是一个静态向量表，由多个异常日志记录组成；每向异常日志表添加一条记录就会自动在记录索引上增加一个索引号与之对应；异常日志记录的数据结构如表一所示，其中，第一应用程序字段用于存储运行错误的程序名称、或者程序标识，第一用户字段用于存储登录用户或者操作用户的信息，第一异常备注字段用于存储异常错误的详细信息，第一异常摘要字段用于存储第一异常备注字段的缩略摘要信息，第一散列码字段用于存储由异常错误的详细信息计算得到的固定长度的散列码，第一出错次数字段用于存储同类错误发生过的次数，第一创建时间字段、第一更新时间字段、第一解决时间字段的数据格式均为NNNN年YY月DD日HH时MM分SS秒，第一创建时间字段用于存储该类错误的首次发生时间，第一更新时间字段用于存储该类错误的末次发生时间，第一解决时间字段用于存储维护工程师解决该问题的时间，第一解决人员字段于存储维护工程师的人员信息；
第一应用程序字段 第一用户字段 第一散列码字段 第一创建时间字段 第一更新时间字段 第一出错次数字段 第一异常摘要字段 第一异常备注字段 第一解决时间字段 第一解决人员字段
表一
具体包括：步骤1031，根据第一散列码数据、第一应用程序数据和第一用户数据，对异常日志表的所有第一异常日志记录，进行异常日志记录轮询处理；首先，将当前被轮询的第一异常日志记录做为当前记录；其次，在当前记录中，当第一应用程序字段与第一应用程序数据相同、且第一用户字段与第一用户数据相同、且第一散列码字段与第一散列码数据相同时，将当前记录做为第一匹配异常日志记录；
例如，异常日志表包括1条第一异常日志记录，如表二所示；若获得的第一应用程序数据为“第1程序”、第一用户数据为“小王”、第一异常数据为错误信息1、第一时间数据为“20201201000000”，计算出的第一散列码数据为散列码A；使用“第1程序”+散列码A +“小王”，对异常日志表进行异常日志记录轮询，则得到的第一匹配异常日志记录为第1个第一异常日志记录；
第一异常日志记录索引 第一应用程序字段 第一用户字段 第一散列码字段 第一创建时间字段 第一更新时间字段 第一出错次数字段 第一异常摘要字段 第一异常备注字段 第一解决时间字段 第一解决人员字段
1 第1程序 小王 散列码A 20201101133530 20201110090000 4 摘要信息1 错误信息1 空 空
表二
步骤1032，异常日志记录轮询处理的过程中，未找到与第一散列码数据、第一应用程序数据和第一用户数据匹配的第一异常日志记录时，将第一匹配异常日志记录设为空。
例如，异常日志表如表二所示；而获得的第一应用程序数据为“第1程序”、第一用户数据为“小张”、第一异常数据为错误信息1、第一时间数据为“20201201000000”，计算出的第一散列码数据为散列码A；使用“第1程序”+散列码A +“小张”，对异常日志表进行异常日志记录轮询，没有匹配的第一异常日志记录与之对应，所以第一匹配异常日志记录为空。
步骤104，判断第一匹配异常日志记录是否为空，当第一匹配异常日志记录为空时，转至步骤105；当第一匹配异常日志记录不为空时，转至步骤106。
这里，第一匹配异常日志记录为空时，意味着当前发生的异常错误之前从未记录过，需要转至步骤105对异常日志表进行异常日志记录新增处理；第一匹配异常日志记录不为空时，意味着当前发生的异常错误之前记录过，需要转至步骤106对异常日志表进行合并处理。
步骤105，根据第一应用程序数据、第一用户数据、第一散列码数据、第一时间数据和第一异常数据，对异常日志表，进行异常日志记录新增处理；
具体包括：步骤1051，初始化第二异常日志记录；
其中，第二异常日志记录包括第二应用程序字段、第二用户字段、第二散列码字段、第二创建时间字段、第二更新时间字段、第二出错次数字段、第二异常摘要字段、第二异常备注字段、第二解决时间字段和第二解决人员字段；
这里，因为第一匹配异常日志记录为空，需要对异常日志表进行异常日志记录新增处理，新增记录的第一步，首先要按第一异常日志记录的数据结构对新增记录进行初始化；
步骤1052，并对第一异常数据，进行异常摘要提取处理，生成对应的第一异常摘要数据；
这里，异常摘要提取处理就是从第一异常数据中提取指定长度的缩略信息做为第一异常摘要数据；
例如，第一异常数据为错误信息1，错误信息1为一个包含了800个字符的字符串，缩略信息的指定长度为500，那么第一异常摘要数据就是由错误信息1中第1-第500个字符组成的摘要信息1；
步骤1053，再根据第一应用程序数据、第一用户数据、第一散列码数据、第一时间数据、第一异常摘要数据和第一异常数据，对第二异常日志记录进行设置处理；
具体包括：将第二异常日志记录的第二应用程序字段，设为第一应用程序数据；将第二异常日志记录的第二用户字段，设为第一用户数据；将第二异常日志记录的第二散列码字段，设为第一散列码数据；将第二异常日志记录的第二创建时间字段，设为第一时间数据；将第二异常日志记录的第二更新时间字段，设为第一时间数据；将第二异常日志记录的第二出错次数字段的值，设为1；将第二异常日志记录的第二异常摘要字段，设为第一异常摘要数据；将第二异常日志记录的第二异常备注字段，设为第一异常数据；将第二异常日志记录的第二解决时间字段，设为空；将第二异常日志记录的第二解决人员字段，设为空；
例如，第一应用程序数据为“第1程序”、第一用户数据为“小张”、第一异常数据为错误信息1、第一时间数据为“20201201000000”，计算出的第一散列码数据为散列码A、第一异常摘要数据为摘要信息1，则新增的第二异常日志记录的内容如表三所示；
第一应用程序字段 第一用户字段 第一散列码字段 第一创建时间字段 第一更新时间字段 第一出错次数字段 第一异常摘要字段 第一异常备注字段 第一解决时间字段 第一解决人员字段
第1程序 小张 散列码A 20201201000000 20201201000000 1 摘要信息1 错误信息1 空 空
表三
步骤1054，然后，将第二异常日志记录做为新增记录，向异常日志表进行添加。
例如，异常日志表如表二所示，新增的第二异常日志记录的内容如表三所示，则异常日志记录新增处理之后，会在表二的异常日志表后增加1个新的新的异常日志记录，如表四所示。
第一异常日志记录索引 第一应用程序字段 第一用户字段 第一散列码字段 第一创建时间字段 第一更新时间字段 第一出错次数字段 第一异常摘要字段 第一异常备注字段 第一解决时间字段 第一解决人员字段
1 第1程序 小王 散列码A 20201101133530 20201110090000 4 摘要信息1 错误信息1 空 空
2 第1程序 小张 散列码A 20201201000000 20201201000000 1 摘要信息1 错误信息1 空 空
表四
步骤106，根据第一时间数据，对异常日志表的第一匹配异常日志记录，进行异常日志记录合并处理；
具体包括：当第一匹配异常日志记录不为空时，使用第一时间数据，更新异常日志表的第一匹配异常日志记录的第一更新时间字段；并将异常日志表的第一匹配异常日志记录的第一出错次数字段的值加1。
例如，异常日志表如表二所示；获得的第一应用程序数据为“第1程序”、第一用户数据为“小王”、第一异常数据为错误信息1、第一时间数据为“20201202101033”，计算出的第一散列码数据为散列码A；使用“第1程序”+散列码A +“小王”，对异常日志表进行异常日志记录轮询，得到的第一匹配异常日志记录为索引为1的第一异常日志记录；则对第1条第一异常日志记录进行异常日志记录合并处理，完成合并处理后的异常日志表应如表五所示，第1条第一异常日志记录的第一更新时间字段从原来的“20201110090000”变为最近一次同类错误发生的时间“20201202101033”，第1条第一异常日志记录的第一出错次数字段从原来的“4”变为新的“5”。
第一异常日志记录索引 第一应用程序字段 第一用户字段 第一散列码字段 第一创建时间字段 第一更新时间字段 第一出错次数字段 第一异常摘要字段 第一异常备注字段 第一解决时间字段 第一解决人员字段
1 第1程序 小王 散列码A 20201101133530 20201202101033 5 摘要信息1 错误信息1 空 空
表五
在负责维护的工程师解决了异常日志表中某条具体异常日志记录中记载的异常情况之后，需要对工作人员信息、工作时间信息进行登记，本发明实施例二提供的另一种异常日志表的处理方法，在获取了表示具体异常日志记录的第一记录索引数据、表示具体工作人员信息的第一解决人员数据、和表示具体工作时间信息的第一解决时间数据之后，对异常日志表进行异常日志记录维护处理；如图2为本发明实施例二提供的另一种异常日志表的处理方法示意图所示，本方法主要包括如下步骤：
步骤201，获取第一记录索引数据、第一解决时间数据和第一解决人员数据。
这里，第一记录索引数据为具体的异常日志记录索引，第一解决时间数据的数据格式为NNNN年YY月DD日HH时MM分SS秒，第一解决人员数据为负责维护的工程师信息。
步骤202，异常日志表中，将与第一记录索引数据对应的第一异常日志记录，做为维护记录；使用第一解决时间数据，更新维护记录的第一解决时间字段；使用第一解决人员数据，更新维护记录的第一解决人员字段。
例如，异常日志表如实施例一的表五所示，第一记录索引数据为1，第一解决时间数据为“20201203111145”，第一解决人员数据为“小李”。则对异常日志表进行异常日志记录维护处理之后，更新后的异常日志表如表六所示。
第一异常日志记录索引 第一应用程序字段 第一用户字段 第一散列码字段 第一创建时间字段 第一更新时间字段 第一出错次数字段 第一异常摘要字段 第一异常备注字段 第一解决时间字段 第一解决人员字段
1 第1程序 小王 散列码A 20201101133530 20201110090000 4 摘要信息1 错误信息1 20201203111145 小李
2 第1程序 小张 散列码A 20201201000000 20201202101033 2 摘要信息1 错误信息1 空 空
表六
在负责维护的工程师或者客户想要了解对运行错误的修改进度时，本发明实施例三提供的另一种异常日志表的处理方法，对异常日志表进行第一模式统计处理，得到能够反映修改进度的第一统计报告数据；在负责维护的工程师或者客户想要以具体的运行错误为关键字，统计与每个运行错误相关的使用者信息和或每个运行错误的发生频率信息时，本发明实施例三提供的另一种异常日志表的处理方法，对异常日志表进行第二模式统计处理，得到能够反映运行错误、使用者和错误发生频率对应关系的第二统计报告数据；如图3为本发明实施例三提供的另一种异常日志表的处理方法示意图所示，本方法主要包括如下步骤：
步骤301，获取统计模式数据。
此处，统计模式数据包括第一模式和第二模式。
这里，本发明实施例支持两种统计模式，用户可以根据设置统计模式数据，来调用对应的统计处理流程。
步骤302，当统计模式数据为第一模式时，对异常日志表进行第一模式统计处理；
这里，本发明实施例对异常日志表进行第一模式统计处理，得到能够反映修改进度的第一统计报告数据；
具体包括：步骤3021，在异常日志表中，统计第一异常日志记录的数量，生成总异常数量数据；
例如，异常日志表如实施例二的表六所示，则总异常数量数据应为2；
步骤3022，并统计满足第一解决时间字段晚于第一更新时间字段的第一异常日志记录的数量，生成已解决数量数据；
例如，异常日志表如实施例二的表六所示，第1条第一异常日志记录的第一解决时间字段为“20201203111145”是指2020年12月03日11点11分45秒，第1条第一异常日志记录的第一更新时间字段为“20201110090000”是指2020年11月10日09点00分00秒，第一解决时间字段的时间是晚于第一更新时间字段的时间的，则第1条第一异常日志记录是属于已解决错误了的记录，而第2条第一异常日志记录的第一解决时间字段的时间为空，则第2条第一异常日志记录不属于已解决错误了的记录，统计出的已解决数量数据为1；
步骤3023，并统计满足第一解决时间字段为空、或者第一解决时间字段早于第一更新时间字段的所有第一异常日志记录，生成未解决记录集合；
例如，异常日志表如实施例二的表六所示，则未解决记录集合包括1条第一异常日志记录：第2条第一异常日志记录；
步骤3024，然后根据总异常数量数据、已解决数量数据和未解决记录集合，进行第一统计报告合成处理，生成第一统计报告数据；
这里，第一统计报告合成处理，就是对异常日志表的修改进度进行汇总，报告中的关键信息包括异常记录总数、已维护记录总数、维护进度百分比和未维护的记录列表；
例如，异常日志表如实施例二的表六所示，总异常数量数据为2、已解决数量数据为1、未解决记录集合包括第2条第一异常日志记录、计算维护进度百分比=(已维护记录总数/异常记录总数)×100%，则生成的第一统计报告：
异常记录总数：2条；
已维护记录总数：1条；
维护进度百分比：50%；
未维护的记录列表：第2条第一异常日志记录。
步骤303，当统计模式数据为第二模式时，对异常日志表进行第二模式统计处理；
这里，本发明实施例对异常日志表进行第二模式统计处理，得到能够反映运行错误、使用者和错误发生频率对应关系的第二统计报告数；
具体包括：步骤3031，在异常日志表中，对第一散列码字段相同的第一异常日志记录进行统计，生成多个第一记录集合；
例如，异常日志表如表七所示，全表总共包括2个不同的散列码：散列码A和散列码B；与散列码A对应的第1个第一记录集合由第1、2个第一异常日志记录组成；与散列码B对应的第2个第一记录集合由第3个第一异常日志记录组成；
第一异常日志记录索引 第一应用程序字段 第一用户字段 第一散列码字段 第一创建时间字段 第一更新时间字段 第一出错次数字段 第一异常摘要字段 第一异常备注字段 第一解决时间字段 第一解决人员字段
1 第1程序 小王 散列码A 20201101133530 20201110090000 40 摘要信息1 错误信息1 空 空
2 第1程序 小张 散列码A 20201201000000 20201202101033 20 摘要信息1 错误信息1 空 空
3 第2程序 小张 散列码B 20201221144424 20201221144444 10 摘要信息2 错误信息2 空 空
表七
步骤3032，再在每个第一记录集合中，提取每个第一异常日志记录的第一用户字段、第一创建时间字段、第一更新时间字段和第一出错次数字段，组成第一用户数据，并由第一用户数据组成与第一记录集合对应的第一用户数据集合；
例如，异常日志表如表七所示，第1个第一记录集合由第1、2个第一异常日志记录组成；则第1个第一记录集合对应的第1个第一用户数据集合包括2个第一用户数据：第一用户数据A和第一用户数据B；其中，第一用户数据A为“小王”+“20201101133530”+“20201110090000”+“40”，第一用户数据B为“小张”+“20201201000000”+“20201202101033”+“20”；第2个第一记录集合由第3个第一异常日志记录组成；则第2个第一记录集合对应的第2个第一用户数据集合包括1个第一用户数据：第一用户数据C；其中，第一用户数据C为“小张”+“20201221144424”+“20201221144444”+“10”；
步骤3033，然后根据第一散列码字段、及与第一散列码字段对应的第一记录集合、及与第一记录集合对应的第一用户数据集合，进行第二统计报告合成处理，生成第二统计报告数据。
这里，第二统计报告合成处理，就是对异常日志表的运行错误、使用者和错误发生频率进行汇总。
例如，异常日志表如表七所示，全表总共包括2个不同的散列码：散列码A和散列码B；
散列码A对应第1个第一记录集合；第1个第一记录集合对应第1个第一用户数据集合；第1个第一用户数据集合包括第一用户数据A和第一用户数据B；以天为单位，计算第一用户数据A的错误发生频率=40/(2020年11月10日-2020年11月01日+1)=40/10=4(次/天)，计算第一用户数据B的错误发生频率=20/(2020年12月02日-2020年12月01日+1)=20/2=10(次/天)；
散列码B对应第2个第一记录集合；第2个第一记录集合对应第2个第一用户数据集合；第2个第一用户数据集合包括第一用户数据C；以天为单位，计算第一用户数据C的错误发生频率=10/(2020年12月21日-2020年12月21日+1)=10/1=10(次/天)；
最后，得到的第二统计报告：
散列码A
操作用户1：“小王”；第一次错误发生时间：“2020年11月01日13点35分30秒”；最后一次错误发生时间：“2020年11月10日09时00分00秒”；错误总数：“40次”；错误发生频率：“4次/天”；
操作用户2：“小张”；第一次错误发生时间：“2020年12月01日00时00分00秒”；最后一次错误发生时间：“2020年12月02日10时10分33秒”；错误总数：“20次”；错误发生频率：“10次/天”；
散列码B
操作用户1：“小张”；第一次错误发生时间：“2020年12月21日14时44分24秒”；最后一次错误发生时间：“2020年12月21日14时44分44秒”；错误总数：“10次”；错误发生频率：“10次/天”。
需要说明的是，本发明实施例还提供一种计算机可读存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行本发明实施例提供的方法的步骤和处理过程。
本发明实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在存储介质中，至少一个处理器可以从上述存储介质读取上述计算机程序，上述至少一个处理器执行本发明实施例提供的方法的步骤和处理过程。
本发明实施例提供一种异常日志表的处理方法、计算机程序产品及计算机可读存储介质,一方面，在异常日志表的异常日志记录的数据结构上除常规字段之外，增加了散列码字段、更新时间字段、出错次数字段，并在处理异常日志记录添加时，增加了对同类异常记录进行合并的处理，这样既减少了异常日志表中的异常日志记录数量、降低了维护难度，也能方便地对同类异常的数量、最新时间进行统计；另一方面，在异常日志记录的数据结构上，增加了解决时间字段和解决人员字段，这样负责维护的工程师解决完某类异常之后，无需另行建立对应表单，只需对某条异常日志记录的相关字段进行更新即可；再一方面，还对异常日志表增加了两种统计处理流程，一种用于对总异常数量、已解决数量和未解决记录进行统计，另一种用于对产生每类异常的用户信息、时间信息和出错次数信息等进行统计。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种异常日志表的处理方法，其特征在于，所述方法包括：
获取第一异常数据和对应的第一应用程序数据、第一用户数据和第一时间数据；
对所述第一异常数据，按预设的第一散列算法信息，使用对应的散列算法进行散列码计算处理，生成第一散列码数据；
根据所述第一应用程序数据、所述第一用户数据和所述第一散列码数据，在预设的异常日志表中，进行异常日志记录匹配处理，得到第一匹配异常日志记录；
当所述第一匹配异常日志记录为空时，根据所述第一应用程序数据、所述第一用户数据、所述第一散列码数据、所述第一时间数据和所述第一异常数据，对所述异常日志表，进行异常日志记录新增处理；
当所述第一匹配异常日志记录不为空时，根据所述第一时间数据，对所述异常日志表的所述第一匹配异常日志记录，进行异常日志记录合并处理；
其中，所述第一散列算法信息包括：信息摘要算法MD-2、MD-4、MD-5、安全散列算法SHA-1、SHA-224、SHA-256、SHA-384和SHA-512；
所述异常日志表包括多个第一异常日志记录；所述第一异常日志记录包括第一应用程序字段、第一用户字段、第一散列码字段、第一创建时间字段、第一更新时间字段、第一出错次数字段、第一异常摘要字段、第一异常备注字段、第一解决时间字段和第一解决人员字段；
所述根据所述第一应用程序数据、所述第一用户数据和所述第一散列码数据，在预设的异常日志表中，进行异常日志记录匹配处理，得到第一匹配异常日志记录，具体包括：
根据所述第一散列码数据、所述第一应用程序数据和所述第一用户数据，对所述异常日志表的所有所述第一异常日志记录，进行异常日志记录轮询处理；首先，将当前被轮询的所述第一异常日志记录作为 当前记录；其次，在所述当前记录中，当所述第一应用程序字段与所述第一应用程序数据相同、且所述第一用户字段与所述第一用户数据相同、且所述第一散列码字段与所述第一散列码数据相同时，将所述当前记录作为 所述第一匹配异常日志记录；
所述异常日志记录轮询处理的过程中，未找到与所述第一散列码数据、所述第一应用程序数据和所述第一用户数据匹配的所述第一异常日志记录时，将所述第一匹配异常日志记录设为空；
所述当所述第一匹配异常日志记录不为空时，根据所述第一时间数据，对所述异常日志表的所述第一匹配异常日志记录，进行异常日志记录合并处理，具体包括：
当所述第一匹配异常日志记录不为空时，使用所述第一时间数据，更新所述异常日志表的所述第一匹配异常日志记录的所述第一更新时间字段；并将所述异常日志表的所述第一匹配异常日志记录的所述第一出错次数字段的值加1；
所述方法还包括：对所述异常日志表进行异常日志记录维护处理时，
获取第一记录索引数据、第一解决时间数据和第一解决人员数据；
所述异常日志表中，将与所述第一记录索引数据对应的所述第一异常日志记录，作为维护记录；使用所述第一解决时间数据，更新所述维护记录的所述第一解决时间字段；使用所述第一解决人员数据，更新所述维护记录的所述第一解决人员字段；
所述方法还包括：对所述异常日志表进行异常日志记录统计处理时，
获取统计模式数据；
当所述统计模式数据为第一模式时，对所述异常日志表进行第一模式统计处理；在所述异常日志表中，统计所述第一异常日志记录的数量，生成总异常数量数据；并统计满足所述第一解决时间字段晚于所述第一更新时间字段的所述第一异常日志记录的数量，生成已解决数量数据；并统计满足所述第一解决时间字段为空、或者所述第一解决时间字段早于所述第一更新时间字段的所有所述第一异常日志记录，生成未解决记录集合；然后根据所述总异常数量数据、所述已解决数量数据和所述未解决记录集合，进行第一统计报告合成处理，生成第一统计报告数据；
当所述统计模式数据为第二模式时，对所述异常日志表进行第二模式统计处理；在所述异常日志表中，对所述第一散列码字段相同的所述第一异常日志记录进行统计，生成多个第一记录集合；再在每个所述第一记录集合中，提取每个所述第一异常日志记录的所述第一用户字段、所述第一创建时间字段、所述第一更新时间字段和所述第一出错次数字段，组成第一操作用户数据，并由所述第一操作用户数据组成与所述第一记录集合对应的第一用户数据集合；然后根据所述第一散列码字段、及与所述第一散列码字段对应的所述第一记录集合、及与所述第一记录集合对应的所述第一用户数据集合，进行第二统计报告合成处理，生成第二统计报告数据。
2.根据权利要求1所述的异常日志表的处理方法，其特征在于，所述当所述第一匹配异常日志记录为空时，根据所述第一应用程序数据、所述第一用户数据、所述第一散列码数据、所述第一时间数据和所述第一异常数据，对所述异常日志表，进行异常日志记录新增处理，具体包括：
当所述第一匹配异常日志记录为空时，初始化第二异常日志记录；所述第二异常日志记录包括第二应用程序字段、第二用户字段、第二散列码字段、第二创建时间字段、第二更新时间字段、第二出错次数字段、第二异常摘要字段、第二异常备注字段、第二解决时间字段和第二解决人员字段；
并对所述第一异常数据，进行异常摘要提取处理，生成对应的第一异常摘要数据；
再根据所述第一应用程序数据、所述第一用户数据、所述第一散列码数据、所述第一时间数据、所述第一异常摘要数据和所述第一异常数据，对所述第二异常日志记录进行设置处理；
然后，将所述第二异常日志记录作为 新增记录，向所述异常日志表进行添加。
3.根据权利要求2所述的异常日志表的处理方法，其特征在于，所述根据所述第一应用程序数据、所述第一用户数据、所述第一散列码数据、所述第一时间数据、所述第一异常摘要数据和所述第一异常数据，对所述第二异常日志记录进行设置处理，具体包括：
将所述第二异常日志记录的所述第二应用程序字段，设为所述第一应用程序数据；将所述第二异常日志记录的所述第二用户字段，设为所述第一用户数据；将所述第二异常日志记录的所述第二散列码字段，设为所述第一散列码数据；将所述第二异常日志记录的所述第二创建时间字段，设为所述第一时间数据；将所述第二异常日志记录的所述第二更新时间字段，设为所述第一时间数据；将所述第二异常日志记录的所述第二出错次数字段的值，设为1；将所述第二异常日志记录的所述第二异常摘要字段，设为所述第一异常摘要数据；将所述第二异常日志记录的所述第二异常备注字段，设为所述第一异常数据；将所述第二异常日志记录的所述第二解决时间字段，设为空；将所述第二异常日志记录的所述第二解决人员字段，设为空。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-3任一项所述的方法。
CN202110092859.XA 2021-01-25 2021-01-25 一种异常日志表的处理方法 Active CN112463546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110092859.XA CN112463546B (zh) 2021-01-25 2021-01-25 一种异常日志表的处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110092859.XA CN112463546B (zh) 2021-01-25 2021-01-25 一种异常日志表的处理方法

Publications (2)

Publication Number Publication Date
CN112463546A CN112463546A (zh) 2021-03-09
CN112463546B true CN112463546B (zh) 2021-04-27

Family

ID=74802284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110092859.XA Active CN112463546B (zh) 2021-01-25 2021-01-25 一种异常日志表的处理方法

Country Status (1)

Country Link
CN (1) CN112463546B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792820B (zh) * 2021-11-15 2022-02-08 航天宏康智能科技(北京)有限公司 用户行为日志异常检测模型的对抗训练方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103095503A (zh) * 2013-01-23 2013-05-08 网神信息技术（北京）股份有限公司 告警方法及装置
CN103514565A (zh) * 2012-06-27 2014-01-15 中国银联股份有限公司 金融交易处理系统的交易异常处理单元及方法
CN108563718A (zh) * 2018-04-02 2018-09-21 郑州云海信息技术有限公司 一种防止日志洪水的方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460235B1 (en) * 2018-07-06 2019-10-29 Capital One Services, Llc Data model generation using generative adversarial networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514565A (zh) * 2012-06-27 2014-01-15 中国银联股份有限公司 金融交易处理系统的交易异常处理单元及方法
CN103095503A (zh) * 2013-01-23 2013-05-08 网神信息技术（北京）股份有限公司 告警方法及装置
CN108563718A (zh) * 2018-04-02 2018-09-21 郑州云海信息技术有限公司 一种防止日志洪水的方法及系统

Also Published As

Publication number Publication date
CN112463546A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
US8590044B2 (en) Selective virus scanning system and method
CN108768929B (zh) 电子装置、征信反馈报文的解析方法及存储介质
CN112636957A (zh) 基于日志的预警方法、装置、服务器及存储介质
CN112463546B (zh) 一种异常日志表的处理方法
US8280847B2 (en) Apparatus, method, and computer program product for synchronizing data sources
CN109284331B (zh) 基于业务数据资源的制证信息获取方法、终端设备及介质
CN113536325A (zh) 一种数字化信息风险监控方法及装置
CN112163412A (zh) 数据校验方法、装置、电子设备及存储介质
CN114637989A (zh) 基于分布式系统的apt攻击追溯方法、系统及存储介质
CN111708673A (zh) 一种日志数据压缩方法、装置、设备和存储介质
CN112329043A (zh) 信息加密处理方法、装置、计算机设备及介质
CN109992476B (zh) 一种日志的分析方法、服务器及存储介质
CN113141369B (zh) 基于人工智能的防火墙策略管理方法及相关设备
US11379421B1 (en) Generating readable, compressed event trace logs from raw event trace logs
US11061856B2 (en) Data ingestion system
JP2009225084A (ja) 情報漏洩検査装置及びコンピュータプログラム及び情報漏洩検査方法
CN111104259B (zh) 一种数据库恢复方法、装置及存储介质
CN112084262A (zh) 数据信息筛选方法、装置、计算机设备及存储介质
WO2009107234A1 (ja) イベント履歴記憶装置、イベント履歴追跡装置、イベント履歴記憶方法、イベント履歴記憶プログラム及びデータ構造
CN109815082B (zh) Kafka主题监控方法、装置、电子设备及存储介质
CN109992475B (zh) 一种日志的处理方法、服务器及存储介质
CN112559546B (zh) 数据库同步方法、装置、计算机设备及可读存储介质
JP2003150762A (ja) プロジェクト情報連携方法およびシステム
JP7108566B2 (ja) デジタルエビデンス管理方法およびデジタルエビデンス管理システム
JPH0561744A (ja) ソフトウエア資産の世代管理方式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method for handling abnormal log tables

Granted publication date: 20210427

Pledgee: Beijing Zhongguancun bank Limited by Share Ltd.

Pledgor: BEIJING TIANJIAN SOURCE TECHNOLOGY CO.,LTD.

Registration number: Y2024980007736

PE01 Entry into force of the registration of the contract for pledge of patent right