CN116166501B - 一种日志校验方法、装置、电子设备及存储介质 - Google Patents

一种日志校验方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116166501B
CN116166501B CN202310091838.5A CN202310091838A CN116166501B CN 116166501 B CN116166501 B CN 116166501B CN 202310091838 A CN202310091838 A CN 202310091838A CN 116166501 B CN116166501 B CN 116166501B
Authority
CN
China
Prior art keywords
variable
log information
checked
log
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310091838.5A
Other languages
English (en)
Other versions
CN116166501A (zh
Inventor
翟亚雷
杨辰
葛晓波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eoi Information Technology Co ltd
Original Assignee
Shanghai Eoi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eoi Information Technology Co ltd filed Critical Shanghai Eoi Information Technology Co ltd
Priority to CN202310091838.5A priority Critical patent/CN116166501B/zh
Publication of CN116166501A publication Critical patent/CN116166501A/zh
Application granted granted Critical
Publication of CN116166501B publication Critical patent/CN116166501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Fuzzy Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志校验方法、装置、电子设备及存储介质。方法包括：获取第一日志信息和第二日志信息，确定第一日志信息和第二日志信息中的待校验变量；对于任一待校验变量，对待校验变量的长度、首字母、统计量和变量类型中的一项或多项进行校验，得到待校验变量的校验结果；基于各待校验变量的校验结果确定第一日志信息和第二日志信息的校验结果。通过对不同种类的日志信息进行聚类处理，提取出日志模版以及变量，确定日志信息中需要校验的变量，对校验的变量进行智能对比校验，确定日志信息的校验结果，解决日志校验面临日志种类繁多、数据量大、情况复杂等问题，实现对日志变更做出一个全方位精细化校验，提高了日志校验的高效性和通用性。

Description

一种日志校验方法、装置、电子设备及存储介质
技术领域
本发明涉及信息校验技术领域，尤其涉及一种日志校验方法、装置、电子设备及存储介质。
背景技术
现代软件系统通常会生成大量日志，大约每小时生成十亿字节的数据，可以通过检查日志消息以获取关键诊断信息。
证券业务研发部门在每次有版本变更前，都需要拿生产交易数据在新版本的测试环境运行一遍，检验新版本是否有异常。可以通过对日志信息进行字段校验，如字段和字段值都一致，则说明版本更新没有问题，如前后出现不一致的现象，则说明可能是测试环境的问题。
对于日志中的字段进行逐个校验，耗费时间较长，不利于对拥有大量业务的系统更新过程中产生的日志进行校验，并且此类日志校验的方法通用性较差。
发明内容
本发明提供了一种日志校验方法、装置、电子设备及存储介质，以解决在日志校验面临着日志种类繁多、数据量大、情况复杂等问题的情况下校验效率低和通用性差的问题。
根据本发明的一方面，提供了一种日志校验方法，包括：
获取第一日志信息和第二日志信息，确定第一日志信息和第二日志信息中的待校验变量；
对于任一待校验变量，对待校验变量的长度、首字母、统计量和变量类型中的一项或多项进行校验，得到待校验变量的校验结果；
基于各待校验变量的校验结果确定第一日志信息和第二日志信息的校验结果。
可选的，获取第一日志信息和第二日志信息，还包括：
获取多个待校验日志信息，对多个待校验日志信息进行聚类处理，得到各类日志信息；
在同一类日志信息中，确定进行校验的第一日志信息和第二日志信息。
可选的，在确定进行校验的第一日志信息和第二日志信息之前，还包括：
确定同一类日志信息各日志信息的日志类型；
若同一类日志信息各日志信息的日志类型均相同，则取消对所述类中日志信息的校验；
若同一类日志信息中包括存在不同日志类型的日志信息，则继续确定进行校验的第一日志信息和第二日志信息的步骤。
可选的，在同一类日志信息各日志信息的日志类型均相同的情况下，方法还包括：
若同一类日志信息中各日志信息的日志类型均为生产日志，则生成缺失日志信息；
若同一类日志信息中各日志信息的日志类型均为回放日志，则生成新增日志信息。
可选的，确定第一日志信息和第二日志信息中的待校验变量，包括：
对第一日志信息和第二日志信息的各变量进行异常度计算，得到变量异常度；
若变量异常度满足校验条件，则确定对应变量为待校验变量；
若变量异常度不满足校验条件，则确定对应变量为非待校验变量。
可选的，对于任一待校验变量，对待校验变量的长度、首字母、统计量和变量类型中的一项或多项进行校验，得到待校验变量的校验结果，包括：
基于预设校验顺序，对待校验变量的长度、首字母、统计量和变量类型依次进行校验；
若待校验变量在长度、首字母、统计量和变量类型中的任一项发生变化，则生成异常原因，并停止对待校验变量的校验。
可选的，待校验变量的长度、首字母、统计量的校验方式为：确定待校验变量在第一日志信息和第二日志信息中的长度、首字母、统计量，并比对是否发生变化；
变量类型的校验方式为：
若待校验变量的变量类型为可枚举类型，则确定第一日志信息和第二日志信息中待校验变量的统计柱状图重叠面积,基于待校验变量的统计柱状图重叠面积确定变量类型的校验结果；
若待校验变量的变量类型为不可枚举类型，则确定第一日志信息和第二日志信息中待校验变量的变量均值和标准差高斯分布重叠面积，基于待校验变量的变量均值和标准差高斯分布重叠面积确定变量类型的校验结果。
根据本发明的另一方面，提供了一种日志校验装置，包括：
待校验变量确定模块，用于获取第一日志信息和第二日志信息，确定第一日志信息和第二日志信息中的待校验变量；
校验结果确定模块，用于对于任一待校验变量，对待校验变量的长度、首字母、统计量和变量类型中的一项或多项进行校验，得到待校验变量的校验结果；
日志信息校验模块，用于基于各待校验变量的校验结果确定第一日志信息和第二日志信息的校验结果。
根据本发明的另一方面，提供了一种电子设备，电子设备包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的日志校验方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的日志校验方法。
本发明实施例的技术方案，通过对不同种类的日志信息进行聚类处理，提取出日志模版以及变量，确定日志信息中需要校验的变量，对校验的变量进行智能对比校验，确定日志信息的校验结果，解决日志校验面临日志种类繁多、数据量大、情况复杂等问题，实现对日志变更做出一个全方位精细化校验，提高了日志校验的高效性和通用性。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种日志校验方法的流程图；
图2是本发明实施例二提供的一种日志校验装置的结构示意图；
图3是实现本发明实施例的日志校验方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是本发明实施例一提供的一种日志校验方法的流程图，本实施例可适用于日志信息进行校验的情况，该方法可以由日志校验装置来执行，该日志校验装置可以采用硬件和/或软件的形式实现，该日志校验装置可配置于计算机等电子设备中。如图1所示，该方法包括：
S110、获取第一日志信息和第二日志信息，确定第一日志信息和第二日志信息中的待校验变量。
其中，第一日志信息和第二日志信息具体可以理解为是日志模板中的日志信息，可以分别指代生产日志信息和回放日志信息。日志模板指的是对待处理进行模板提取处理后获得的日志模板，可以通过日志聚类等方法进行日志模板的提取。生产日志信息和回放日志信息可以理解为是系统版本更新前和更新后系统对交易数据处理后生成的日志信息。待校验变量可以是第一日志信息和第二日志信息中存在异常的变量，异常变量可以通过相似度算法进行判断，相似度算法可以包含但不限于信息熵算法、LCS(Longest CommonSubsequence,最长公共子序)等算法，通过算法计算变量的异常度，例如，可以设置当变量的异常度超过某个值时，判断该变量属于待校验变量，反之，该变量不属于待校验变量。
具体的，通过从服务器中下载日志信息或者由导入设备导入日志信息，对这些日志信息进行模板提取后，确定各类日志信息中的第一日志信息和第二日志信息，采用相似度算法对第一日志信息和第二日志信息中的变量信息进行相似度计算，进而确定变量的异常度，根据异常度确定第一日志信息和第二日志信息中的待校验变量。
可选的，获取第一日志信息和第二日志信息，还包括：获取多个待校验日志信息，对多个待校验日志信息进行聚类处理，得到各类日志信息；在同一类日志信息中，确定进行校验的第一日志信息和第二日志信息。
其中，聚类处理具体可以理解为是通过日志聚类算法对系统接收到的日志信息进行处理，将不同类型的日志信息区分开来。聚类算法包含但不限于Drain算法、LogSig算法、Log Cluster等。
具体的，将系统接收到的所有日志信息存储在数据库中，并设置stage字段记录日志信息所属的是生产日志信息还是回放日志信息，其中，stage字段的值可以通过数值0和数值1进行设置，例如，若stage字段的值为0，则表示对应的日志信息为生产日志信息，若stage字段的值为1，则表示对应的日志信息为回放日志信息。进一步的，由于所接收的待校验日志信息中包含的日志信息的种类信息繁多，故可以通过将混合后的待校验日志信息进行聚类处理，提取日志信息对应的模板和日志信息中的变量，区分日志信息的种类，得到各类日志信息，同一模板中的日志信息可以理解为是同一类日志信息。在同一类日志信息中，根据判断模板中的日志信息所属的日志类型是否属于同一类型的日志信息确定进行校验的第一日志信息和第二日志信息，可以预先设定校验判断的规则，比如可以设置对于模板中的日志信息所属的日志类型不一样的情况下，将其确定为需要进行校验的第一日志信息和第二日志信息，反之，不需要进行校验。
在本实施例中，通过采用对日志信息进行聚类处理的方法，区分不同业务对应的日志信息，将相同类别的日志信息进行聚合，获得各类日志信息，分别对各种类的日志信息进行校验，实现了对种类繁多、数据量大、情况复杂的日志的分类处理，有助于提高日志校验的高效性和通用性。
可选的，在确定进行校验的第一日志信息和第二日志信息之前，还包括：确定同一类日志信息各日志信息的日志类型；若同一类日志信息各日志信息的日志类型均相同，则取消对所述类中日志信息的校验；若同一类日志信息中包括存在不同日志类型的日志信息，则继续确定进行校验的第一日志信息和第二日志信息的步骤。
具体的，对聚类处理后获得的各类日志信息中的日志信息进行处理，在同一类日志信息中，根据日志信息对应的stage字段的值确定日志信息的类型。如果日志信息对应的stage字段的值完全相同，则表示该日志信息类型均相同，取消对所述类中日志信息的校验；如果日志信息对应的stage字段的值存在不同的情况下，则表示同一类日志信息中包括存在不同日志类型的日志信息，然后继续确定进行校验的第一日志信息和第二日志信息的步骤。
可选的，在同一类日志信息各日志信息的日志类型均相同的情况下，方法还包括：若同一类日志信息中各日志信息的日志类型均为生产日志，则生成缺失日志信息；若同一类日志信息中各日志信息的日志类型均为回放日志，则生成新增日志信息。
具体的，若模版对应的日志信息的stage字段的值完全相同并且都为0，表示日志信息全部为第一生产日志，则生成缺失日志信息并输出该提示信息，提示该模版对应的日志信息为缺失日志；若模版对应的日志信息的stage字段的值完全相同并且都为1，表示日志信息全部为第二生产日志，则生成新增日志信息并输出该提示信息，提示该模版对应的日志信息为新增日志。
可选的，确定第一日志信息和第二日志信息中的待校验变量，包括：对第一日志信息和第二日志信息的各变量进行异常度计算，得到变量异常度；若变量异常度满足校验条件，则确定对应变量为待校验变量；若变量异常度不满足校验条件，则确定对应变量为非待校验变量。
其中，变量异常度具体可以理解为第一日志信息和第二日志信息中的变量及其变量值的差异度，可以通过异常度算法进行计算，可以包含但不限于信息熵计算法、GMM(Gaussian Mixture Model，高斯混合模型)等。校验条件具体可以理解为是确定待校验变量时,变量的异常度满足一定的条件方可确定为待校验变量，比如，当变量异常度满足一个设定的值，则表示该变量为需要进行校验的变量。
具体的，对获取到的第一日志信息和第二日志信息进行自动化的变量异常度的计算，异常度计算过程使用信息熵，对于离散型或连续型变量，通过计算变更前后该变量的信息熵值来衡量变量的稳定性，进而判断变量的异常度，通过变量异常情况自动判断需要校验的变量和无需校验的变量。熵值等价于异常度，通过设置熵值阈值进行判断，阈值设定为0和log(n)(n表示变量种类数)，当熵值等于0或等于log(n)的时候，无需对该变量进行校验，当熵值不满足阈值设定，则需要对该变量进行校验。其中，信息熵描述信息的不确定性，熵值越低，不确定性越低，相应的异常度越小。信息熵用以下公式计算：
若变量X离散：
H(X)＝∑iP(xi)I(xi)＝-∑i P(xi)log(P(xi))
若变量X连续：
H(X)＝∫-P(xi)log(P(xi))dxi
其中，X表示变量；i表示变量的序号，取值为1,2,……,n等；P(xi)表示随机事件xi的概率，本例中随机事件指的是日志信息中的变量，即P(xi)代表着变量为xi的概率。I(x)＝-log(P(x))代表信息量，信息量是度量一个变量需要查询的信息的多少，单位是比特，对于变量取某个值的概率的倒数的对数就是信息量。对于某一变量，计算得到的信息熵越大，则表示变量的差异越小，反之，信息熵越小，则表示变量的差异越大。
在本实施例中，通过对获取的第一日志信息和第二日志信息进行混合后存储在数据库中，然后执行日志聚类处理，提取日志信息对应的模板和变量，利用信息熵算法确定变量的异常度，进而确定待校验变量。根据此类方法可以对不同种类的日志信息进行校验，只需要对满足校验条件的变量进行检验，减少了需要校验的变量的数量，提供了日志信息校验的高效性和通用性。
S120、对于任一待校验变量，对待校验变量的长度、首字母、统计量和变量类型中的一项或多项进行校验，得到待校验变量的校验结果。
具体的，对于待校验变量的校验过程主要是从变量的长度、首字母、统计量和变量类型的维度进行校验的，可以根据上述维度中的一个维度或者多个维度进行校验，根据变量的具体内容进行具体分析，最终获取对待校验变量的校验结果。
可选的，对于任一待校验变量，对待校验变量的长度、首字母、统计量和变量类型中的一项或多项进行校验，得到待校验变量的校验结果，包括：基于预设校验顺序，对待校验变量的长度、首字母、统计量和变量类型依次进行校验；若待校验变量在长度、首字母、统计量和变量类型中的任一项发生变化，则生成异常原因，并停止对待校验变量的校验。
具体的，针对变量异常度的判断过程，对单个变量进行校验的情况下，提取变量的4个衍生特征，分别为length(长度)、prefix(首字母)、value_count(统计量)、type(变量类型：是否可枚举)。其中，预设验证顺序即为length、prefix、value_count、type。在按照预设顺序进行验证的过程中，一旦验证结果出现变量对应的特征验证异常，则直接生成对应的异常原因，并停止对待校验变量的剩余的特征进行校验。
可选的，待校验变量的长度、首字母、统计量的校验方式为：确定待校验变量在第一日志信息和第二日志信息中的长度、首字母、统计量，并比对是否发生变化；
具体的，待校验变量的校验步骤如下：
步骤一：判断该变量变更前后length是否发生变化，若length不一样则结束该变量对比，输出异常原因，否则继续进行步骤二的校验；
步骤二：判断该变量变更前后prefix是否发生变化，若prefix不一样则结束该变量对比，输出异常原因，否则继续进行步骤三的校验；
步骤三：判断该变量变更前后value_count是否发生变化，若value_count不一样则结束该变量对比，输出异常原因，否则继续步骤四的校验；
步骤四：判断该变量变更前后type是否发生变化，若发生变化则结束该变量对比，输出异常原因，结束变量的校验步骤。
进一步的，步骤四中的type变量类型的校验方式为：
(1)若待校验变量的变量类型为可枚举类型，则确定第一日志信息和第二日志信息中待校验变量的统计柱状图重叠面积,基于待校验变量的统计柱状图重叠面积确定变量类型的校验结果。
其中，可枚举类型是四种基本数据类型之一，指的是变量的数量的是有限的，可以把所有的变量列举出来。统计柱状图具体可以理解为是根据变量及其变量的数量而生成的柱状图。
具体的，当待校验变量的变量类型为可枚举类型，可以通过对每一个变量通过统计柱状图进行表示，然后将第一日志信息中的待校验变量对应的统计柱状图与第二日志信息中的待校验变量对应的统计柱状图进行重合校验，计算两个统计柱状图之间的重叠面积，重叠的面积越大，证明第一日志信息和第二日志信息中待校验变量的变量差异越小。如果完全重叠则表示变量无差异，如果不是完全重叠，则表示该变量存在差异，并生成相应的变量的异常信息。
(2)若待校验变量的变量类型为不可枚举类型，则确定第一日志信息和第二日志信息中待校验变量的变量均值和标准差高斯分布重叠面积，基于待校验变量的变量均值和标准差高斯分布重叠面积确定变量类型的校验结果。
其中，高斯分布(Gaussian distribution)是数学领域中重要的概率分布，高斯分布中包含两个参数，分别是平均值和方差，其中，概率密度函数曲线以均值为对称中线,方差越小，分布越集中在均值附近。可以用于根据待校验变量平均值和方差确定待校验变量的高斯分布。
具体的，当待校验变量的变量类型为不可枚举类型，可以通过计算第一日志信息和第二日志信息中待校验变量的均值和方差，确定变量的均值和方差的高斯分布，即确定待校验变量的均值和方差所形成的函数曲线图。将第一日志信息中的待校验变量对应的均值和方差的高斯分布与第二日志信息中的待校验变量对应的均值和方差的高斯分布进行重合校验，计算两个高斯分布之间的重叠面积，重叠的面积越大，证明第一日志信息和第二日志信息中待校验变量的变量差异越小。如果完全重叠则表示变量无差异，如果不是完全重叠，则表示该变量存在差异，并生成相应的变量的异常信息。
在本实施例中，对单个待校验变量进行校验的情况下，提取待校验变量的4个衍生特征，分别为length、prefix、value_count、type等。对四个特征进行分析校验，通过采用变量的柱状图、变量的均值和方差的高斯分布等由粗到细进行层层校验，一旦发现异常，则报出异常，并且返回异常原因。通过上述校验方法，对变量进行了精细化的校验，提高了对变量的校验的精确度，有助于提高日志信息的校验的准确性。
S130、基于各待校验变量的校验结果确定第一日志信息和第二日志信息的校验结果。
具体的，根据各个待校验变量的校验结果，可以确定第一日志信息和第二日志信息的校验结果，如果各个待校验变量的校验结果为变量变更前后存在异常，则表示第一日志信息和第二日志信息的校验结果为第一日志信息和第二日志信息不一致。
进一步的，可以根据确定的日志信息的校验结果判定系统更新是否成功。
本实施例的技术方案，通过对不同种类的日志信息进行聚类处理，确定日志信息中需要校验的变量，对待校验的变量进行智能对比校验，采用计算变量的柱状图、变量的均值和方差的高斯分布的面积重叠度判断变量是否存在差异，进而确定日志信息的校验结果，解决了日志校验面临着日志种类繁多、数据量大、情况复杂等问题，实现了对日志信息的变化做出一个全方位精细化的校验，提高了日志校验的高效性，有助于进行系统版本更新的校验。
实施例二
图2是本发明实施例二提供的一种日志校验装置的结构示意图。如图2所示，该装置包括：
待校验变量确定模块210，用于获取第一日志信息和第二日志信息，确定第一日志信息和第二日志信息中的待校验变量；
校验结果确定模块220，用于对于任一待校验变量，对待校验变量的长度、首字母、统计量和变量类型中的一项或多项进行校验，得到待校验变量的校验结果；
日志信息校验模块230，用于基于各待校验变量的校验结果确定第一日志信息和第二日志信息的校验结果。
可选的，待校验变量确定模块210，具体用于获取第一日志信息和第二日志信息，还包括：获取多个待校验日志信息，对多个待校验日志信息进行聚类处理，得到各类日志信息；在同一类日志信息中，确定进行校验的第一日志信息和第二日志信息。
在确定进行校验的第一日志信息和第二日志信息之前，还包括：确定同一类日志信息各日志信息的日志类型；若同一类日志信息各日志信息的日志类型均相同，则取消对类中日志信息的校验；若同一类日志信息中包括存在不同日志类型的日志信息，则继续确定进行校验的第一日志信息和第二日志信息的步骤。
在同一类日志信息各日志信息的日志类型均相同的情况下，方法还包括：若同一类日志信息中各日志信息的日志类型均为生产日志，则生成缺失日志信息；若同一类日志信息中各日志信息的日志类型均为回放日志，则生成新增日志信息。
确定第一日志信息和第二日志信息中的待校验变量，包括：对第一日志信息和第二日志信息的各变量进行异常度计算，得到变量异常度；若变量异常度满足校验条件，则确定对应变量为待校验变量；若变量异常度不满足校验条件，则确定对应变量为非待校验变量。
可选的，校验结果确定模块220，具体用于对于任一待校验变量，对待校验变量的长度、首字母、统计量和变量类型中的一项或多项进行校验，得到待校验变量的校验结果，包括：基于预设校验顺序，对待校验变量的长度、首字母、统计量和变量类型依次进行校验；若待校验变量在长度、首字母、统计量和变量类型中的任一项发生变化，则生成异常原因，并停止对待校验变量的校验。
待校验变量的长度、首字母、统计量的校验方式为：确定待校验变量在第一日志信息和第二日志信息中的长度、首字母、统计量，并比对是否发生变化；
变量类型的校验方式为：
若待校验变量的变量类型为可枚举类型，则确定第一日志信息和第二日志信息中待校验变量的统计柱状图重叠面积,基于待校验变量的统计柱状图重叠面积确定变量类型的校验结果；
若待校验变量的变量类型为不可枚举类型，则确定第一日志信息和第二日志信息中待校验变量的变量均值和标准差高斯分布重叠面积，基于待校验变量的变量均值和标准差高斯分布重叠面积确定变量类型的校验结果。
本发明实施例所提供的日志校验装置可执行本发明任意实施例所提供的日志校验方法，具备执行方法相应的功能模块和有益效果。
实施例三
图3是本发明实施例三提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图3所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如日志校验方法。
在一些实施例中，日志校验方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的日志校验方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行日志校验方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的日志校验方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
实施例四
本发明实施例四还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行一种日志校验方法，该方法包括：
获取第一日志信息和第二日志信息，确定第一日志信息和第二日志信息中的待校验变量；
对于任一待校验变量，对待校验变量的长度、首字母、统计量和变量类型中的一项或多项进行校验，得到待校验变量的校验结果；
基于各待校验变量的校验结果确定第一日志信息和第二日志信息的校验结果。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (6)

1.一种日志校验方法，其特征在于，包括：
获取第一日志信息和第二日志信息，确定所述第一日志信息和所述第二日志信息中的待校验变量；
对于任一待校验变量，对所述待校验变量的长度、首字母、统计量和变量类型中的一项或多项进行校验，得到所述待校验变量的校验结果；
基于各所述待校验变量的校验结果确定所述第一日志信息和所述第二日志信息的校验结果；
其中，所述确定所述第一日志信息和所述第二日志信息中的待校验变量，包括：
对所述第一日志信息和所述第二日志信息的各变量进行异常度计算，得到变量异常度，其中，所述变量异常度为所述第一日志信息和所述第二日志信息中的变量及其变量值的差异度；
若所述变量异常度满足校验条件，则确定对应变量为待校验变量；
若所述变量异常度不满足校验条件，则确定对应变量为非待校验变量；
其中，所述待校验变量为所述第一日志信息和所述第二日志信息中存在异常的变量；
所述获取第一日志信息和第二日志信息，还包括：
获取多个待校验日志信息，对所述多个待校验日志信息进行聚类处理，得到各类日志信息；
在同一类日志信息中，确定进行校验的第一日志信息和第二日志信息；
其中，所述对于任一待校验变量，对所述待校验变量的长度、首字母、统计量和变量类型中的一项或多项进行校验，得到所述待校验变量的校验结果，包括：
基于预设校验顺序，对所述待校验变量的长度、首字母、统计量和变量类型依次进行校验；
若所述待校验变量在所述长度、所述首字母、所述统计量和所述变量类型中的任一项发生变化，则生成异常原因，并停止对所述待校验变量的校验；
所述待校验变量的长度、首字母、统计量的校验方式为：确定所述待校验变量在所述第一日志信息和所述第二日志信息中的长度、首字母、统计量，并比对是否发生变化；
所述变量类型的校验方式为：
若所述待校验变量的变量类型为可枚举类型，则确定所述第一日志信息和所述第二日志信息中所述待校验变量的统计柱状图重叠面积,基于所述待校验变量的统计柱状图重叠面积确定所述变量类型的校验结果；
若所述待校验变量的变量类型为不可枚举类型，则确定所述第一日志信息和所述第二日志信息中所述待校验变量的变量均值和标准差高斯分布重叠面积，基于所述待校验变量的变量均值和标准差高斯分布重叠面积确定所述变量类型的校验结果。
2.根据权利要求1所述的方法，其特征在于，在确定进行校验的第一日志信息和第二日志信息之前，还包括：
确定所述同一类日志信息各日志信息的日志类型；
若所述同一类日志信息各日志信息的日志类型均相同，则取消对所述同一类中日志信息的校验；
若所述同一类日志信息中包括存在不同日志类型的日志信息，则继续确定进行校验的第一日志信息和第二日志信息的步骤。
3.根据权利要求2所述的方法，其特征在于，在所述同一类日志信息各日志信息的日志类型均相同的情况下，所述方法还包括：
若所述同一类日志信息中各日志信息的日志类型均为生产日志，则生成缺失日志信息；
若所述同一类日志信息中各日志信息的日志类型均为回放日志，则生成新增日志信息。
4.一种日志校验装置，其特征在于，包括：
待校验变量确定模块，用于获取第一日志信息和第二日志信息，确定所述第一日志信息和所述第二日志信息中的待校验变量；
校验结果确定模块，用于对于任一待校验变量，对所述待校验变量的长度、首字母、统计量和变量类型中的一项或多项进行校验，得到所述待校验变量的校验结果；
日志信息校验模块，用于基于各所述待校验变量的校验结果确定所述第一日志信息和所述第二日志信息的校验结果；
其中，所述待校验变量确定模块，具体用于：
对所述第一日志信息和所述第二日志信息的各变量进行异常度计算，得到变量异常度，其中，所述变量异常度为所述第一日志信息和所述第二日志信息中的变量及其变量值的差异度；
若所述变量异常度满足校验条件，则确定对应变量为待校验变量；
若所述变量异常度不满足校验条件，则确定对应变量为非待校验变量；
其中，所述待校验变量为所述第一日志信息和所述第二日志信息中存在异常的变量；
其中，所述待校验变量确定模块，具体用于：
获取多个待校验日志信息，对所述多个待校验日志信息进行聚类处理，得到各类日志信息；
在同一类日志信息中，确定进行校验的第一日志信息和第二日志信息；
其中，所述校验结果确定模块，具体用于：
基于预设校验顺序，对所述待校验变量的长度、首字母、统计量和变量类型依次进行校验；
若所述待校验变量在所述长度、所述首字母、所述统计量和所述变量类型中的任一项发生变化，则生成异常原因，并停止对所述待校验变量的校验；
所述待校验变量的长度、首字母、统计量的校验方式为：确定所述待校验变量在所述第一日志信息和所述第二日志信息中的长度、首字母、统计量，并比对是否发生变化；
所述变量类型的校验方式为：
若所述待校验变量的变量类型为可枚举类型，则确定所述第一日志信息和所述第二日志信息中所述待校验变量的统计柱状图重叠面积,基于所述待校验变量的统计柱状图重叠面积确定所述变量类型的校验结果；
若所述待校验变量的变量类型为不可枚举类型，则确定所述第一日志信息和所述第二日志信息中所述待校验变量的变量均值和标准差高斯分布重叠面积，基于所述待校验变量的变量均值和标准差高斯分布重叠面积确定所述变量类型的校验结果。
5.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的日志校验方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-3中任一项所述的日志校验方法。
CN202310091838.5A 2023-02-03 2023-02-03 一种日志校验方法、装置、电子设备及存储介质 Active CN116166501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310091838.5A CN116166501B (zh) 2023-02-03 2023-02-03 一种日志校验方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310091838.5A CN116166501B (zh) 2023-02-03 2023-02-03 一种日志校验方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116166501A CN116166501A (zh) 2023-05-26
CN116166501B true CN116166501B (zh) 2024-03-08

Family

ID=86415968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310091838.5A Active CN116166501B (zh) 2023-02-03 2023-02-03 一种日志校验方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116166501B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542743A (zh) * 2018-11-16 2019-03-29 北京微播视界科技有限公司 日志校验方法、装置、电子设备及计算机可读存储介质
CN113590421A (zh) * 2021-07-27 2021-11-02 招商银行股份有限公司 日志模板提取方法、程序产品及存储介质
CN113688006A (zh) * 2017-10-16 2021-11-23 创新先进技术有限公司 一种日志数据的校验方法及装置
CN114020513A (zh) * 2021-11-03 2022-02-08 北京沃东天骏信息技术有限公司 一种处理日志信息的方法和装置
CN114064490A (zh) * 2021-11-18 2022-02-18 北京迪力科技有限责任公司 一种数据处理方法和装置
CN114201201A (zh) * 2021-12-15 2022-03-18 建信金融科技有限责任公司 一种对业务系统异常检测方法、装置及设备
CN114281781A (zh) * 2016-10-26 2022-04-05 华为技术有限公司 一种数据处理方法以及数据处理设备
CN114371866A (zh) * 2020-10-14 2022-04-19 腾讯科技（深圳）有限公司 业务系统的版本重构测试方法、装置和设备
CN114722960A (zh) * 2022-04-24 2022-07-08 山东理工大学 一种业务过程事件日志不完整轨迹检测方法与系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114281781A (zh) * 2016-10-26 2022-04-05 华为技术有限公司 一种数据处理方法以及数据处理设备
CN113688006A (zh) * 2017-10-16 2021-11-23 创新先进技术有限公司 一种日志数据的校验方法及装置
CN109542743A (zh) * 2018-11-16 2019-03-29 北京微播视界科技有限公司 日志校验方法、装置、电子设备及计算机可读存储介质
CN114371866A (zh) * 2020-10-14 2022-04-19 腾讯科技（深圳）有限公司 业务系统的版本重构测试方法、装置和设备
CN113590421A (zh) * 2021-07-27 2021-11-02 招商银行股份有限公司 日志模板提取方法、程序产品及存储介质
CN114020513A (zh) * 2021-11-03 2022-02-08 北京沃东天骏信息技术有限公司 一种处理日志信息的方法和装置
CN114064490A (zh) * 2021-11-18 2022-02-18 北京迪力科技有限责任公司 一种数据处理方法和装置
CN114201201A (zh) * 2021-12-15 2022-03-18 建信金融科技有限责任公司 一种对业务系统异常检测方法、装置及设备
CN114722960A (zh) * 2022-04-24 2022-07-08 山东理工大学 一种业务过程事件日志不完整轨迹检测方法与系统

Also Published As

Publication number Publication date
CN116166501A (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN109754290B (zh) 一种游戏数据的处理方法和装置
CN116049146B (zh) 一种数据库故障处理方法、装置、设备及存储介质
CN115204733A (zh) 数据审计方法、装置、电子设备及存储介质
CN116881156A (zh) 一种自动化测试方法、装置、设备及存储介质
WO2019196502A1 (zh) 营销活动质量评估方法、服务器及计算机可读存储介质
CN117593115A (zh) 信贷风险评估模型的特征值确定方法、装置、设备和介质
CN116305171B (zh) 一种组件漏洞分析方法、装置、设备和存储介质
CN116166501B (zh) 一种日志校验方法、装置、电子设备及存储介质
CN110795308A (zh) 一种服务器检验方法、装置、设备及存储介质
CN115774648A (zh) 一种异常定位方法、装置、设备以及存储介质
CN115146997A (zh) 基于电力数据的评估方法、装置、电子设备及存储介质
CN114741291A (zh) 一种漏洞信息自动提交的方法、装置、设备及介质
CN111429257B (zh) 一种交易监控方法和装置
CN114881112A (zh) 一种系统异常检测方法、装置、设备及介质
CN116149933B (zh) 一种异常日志数据确定方法、装置、设备及存储介质
CN117934001A (zh) 一种交易异常检测方法、装置、电子设备及存储介质
CN116502841A (zh) 一种事件的处理方法、装置、电子设备以及介质
CN117609723A (zh) 一种对象识别方法、装置、电子设备及存储介质
CN117195118A (zh) 一种数据的异常检测方法、装置、设备及介质
CN117010760A (zh) 等级评估方法、装置、设备、存储介质及程序产品
CN117331924A (zh) 一种数据模型匹配度核查方法、装置、设备及存储介质
CN117076988A (zh) 异常行为检测方法、装置、设备及介质
CN114693305A (zh) 一种交易欺诈检测方法、装置、设备、介质及产品
CN118013303A (zh) 交易检测方法、装置、设备及存储介质
CN117608896A (zh) 交易数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant