CN114844778B - 核心网的异常检测方法、装置、电子设备及可读存储介质 - Google Patents

核心网的异常检测方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN114844778B
CN114844778B CN202210439558.4A CN202210439558A CN114844778B CN 114844778 B CN114844778 B CN 114844778B CN 202210439558 A CN202210439558 A CN 202210439558A CN 114844778 B CN114844778 B CN 114844778B
Authority
CN
China
Prior art keywords
log
history
chi
square
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210439558.4A
Other languages
English (en)
Other versions
CN114844778A (zh
Inventor
任心怡
熊建胜
金鑫
邓程
赵越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202210439558.4A priority Critical patent/CN114844778B/zh
Publication of CN114844778A publication Critical patent/CN114844778A/zh
Application granted granted Critical
Publication of CN114844778B publication Critical patent/CN114844778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种核心网的异常检测方法、装置、电子设备及可读存储介质，该方法包括：通过针对核心网中的每一类日志，采用预设时长的滑窗对日志进行分窗处理，得到至少一个子日志，根据日志对应的至少一个子日志以及预先存储的日志对应的至少一个日志模板，获取日志的第一矩阵，根据日志的第一矩阵对日志进行卡方检验，获取日志的卡方和向量，在卡方和向量中的任一子日志的卡方值大于预先获取的卡方阈值时，生成提醒信息。在本方案中，通过预先确定的日志模板以及各类型日志对应的卡方阈值对核心网进行异常检测，有效提高了异常检测的准确度，达到准确对故障进行定位的目的。

Description

核心网的异常检测方法、装置、电子设备及可读存储介质
技术领域
本申请涉及电子技术领域，尤其涉及一种核心网的异常检测方法、装置、电子设备及可读存储介质。
背景技术
随着计算机技术的飞速发展，核心网云架构经过不断升级，致使核心网的结构越来越复杂，导致核心网在运行阶段容易出现异常情况。由于核心网服务的用户群体庞大，若不及时发现并解决上述异常情况，会严重影响用户的正常生活。因此，如何准确获取核心网的异常情况是关键。
目前，获取核心网的异常情况主要通过获取核心网的日志，判断核心网的日志中是否包含特定关键词(如：“warning”，“error”等)，在日志包含上述关键词时，确定上述关键词在日志中的位置，根据该位置获取对应的日志行，根据该日志行确定核心网出现的异常情况，从而达到目的。
然而，在核心网实际运行环境中，由于部分用于表征核心网出现异常情况的日志行中可能不包含特定关键词，导致现有技术存在对核心网进行异常检测的准确度较低的问题。
发明内容
本申请提供一种核心网的异常检测方法、装置、电子设备及可读存储介质，以解决现有技术存在的对核心网进行异常检测的准确度较低的问题。
第一方面，本申请提供一种核心网的异常检测方法，包括：
针对核心网中的每一类日志，采用预设时长的滑窗对所述日志进行分窗处理，得到至少一个子日志；
根据所述日志对应的至少一个子日志以及预先存储的所述日志对应的至少一个日志模板，获取日志的第一矩阵，所述第一矩阵包括各子日志中的各日志模板的TFIDF；
根据所述日志的第一矩阵对所述日志进行卡方检验，获取日志的卡方和向量，所述卡方和向量包括所述日志中各子日志的卡方值；
在所述卡方和向量中的任一子日志的卡方值大于预先获取的卡方阈值时，生成提醒信息，所述提醒信息用于表示所述子日志存在异常。
在第一方面的一种可能设计中，所述根据所述日志的第一矩阵对所述日志进行卡方检验，获取日志的卡方和向量，包括：
将所述第一矩阵中相同子日志的各日志模板的TFIDF进行叠加，生成第一向量，所述第一向量包括日志中各子日志的TFIDF；
将所述日志的第一矩阵中相同日志模板的各子日志的TFIDF进行叠加，生成第二向量，所述第二向量包括所述日志中各日志模板的TFIDF；
将所述日志的第一矩阵中所有元素的TFIDF进行叠加，获取所述日志的TFIDF总和；
根据所述第一向量，所述第二向量以及所述日志的TFIDF总和，生成第二矩阵，所述第二矩阵包括各子日志中的各日志模板的理论TFIDF；
根据所述日志的第一矩阵以及所述日志的第二矩阵，获取所述日志的卡方和向量。
可选的，所述根据所述第一向量，所述第二向量以及所述日志的TFIDF总和，生成第二矩阵，包括：
将第一向量中的各元素逐一与所述日志的TFIDF总和相除，获取比值向量；
将所述比值向量与所述第二向量点乘，生成所述第二矩阵。
可选的，所述根据所述日志的第一矩阵以及所述日志的第二矩阵，获取所述日志的卡方和向量，包括：
根据所述日志的第一矩阵以及所述日志的第二矩阵，生成卡方矩阵，所述卡方矩阵包括所述日志中各子日志中的各日志模板的卡方值；
将所述卡方矩阵中的相同子日志的各日志模板的卡方值进行叠加，获取所述日志的卡方和向量。
可选的，所述在所述卡方和向量中的任一子日志的卡方值大于预先获取的卡方阈值时，生成提醒信息，包括：
在所述卡方和向量中的任一子日志的卡方值大于预先获取的卡方阈值时，根据所述卡方矩阵，获取所述子日志中各日志模板的卡方值；
确定各日志模板中卡方值最大的日志模板在所述日志中对应的日志行，根据所述日志行生成所述提醒信息。
在第一方面的另一种可能设计中，在所述针对核心网中的每一类日志，采用预设时长的滑窗对所述日志进行分窗处理，得到至少一个子日志之前，所述方法还包括：
获取核心网的至少一类的第一日志；
针对每一类的第一日志，将所述第一日志中的堆栈信息进行删除，获取第二日志；
对所述第二日志进行掩码处理，获取核心网的至少一类日志。
在第一方面的另一种可能设计中，在所述针对核心网中的每一类日志，采用预设时长的滑窗对所述日志进行分窗处理，得到至少一个子日志之前，所述方法还包括：
针对所述核心网中的每一类历史日志，对所述历史日志进行日志模板提取处理，获取每一类历史日志对应的至少一个日志模板，所述历史日志包括正常日志以及异常日志；
采用所述预设时长的滑窗对所述历史日志进行分窗处理，得到至少一个子历史日志；
根据所述历史日志对应的至少一个子历史日志以及所述历史日志对应的至少一个日志模板，获取历史日志的第一历史矩阵，所述第一历史矩阵包括各子历史日志中的各日志模板的TFIDF；
根据所述历史日志的第一历史矩阵对所述历史日志进行卡方检验，获取历史日志的历史卡方和向量，所述历史卡方和向量包括所述历史日志中各子历史日志的卡方值；
利用统计学方法对所述历史日志的历史卡方和向量进行处理，获取历史日志对应的卡方阈值。
可选的，所述根据所述历史日志的第一历史矩阵对所述历史日志进行卡方检验，获取历史日志的历史卡方和向量，包括：
将所述第一历史矩阵中相同子历史日志的各日志模板的TFIDF进行叠加，生成第一历史向量，所述第一历史向量包括历史日志中各子历史日志的TFIDF；
将所述历史日志的第一历史矩阵中相同日志模板的各子历史日志的TFIDF进行叠加，生成第二历史向量，所述第二历史向量包括所述历史日志中各日志模板的TFIDF；
将所述历史日志的第一历史矩阵中所有元素的TFIDF进行叠加，获取所述历史日志的TFIDF总和；
根据所述第一历史向量，所述第二历史向量以及所述历史日志的TFIDF总和，生成第二历史矩阵，所述第二历史矩阵包括各子历史日志中的各日志模板的理论TFIDF；
根据所述历史日志的第一历史矩阵以及所述历史日志的第二历史矩阵，获取所述历史日志的历史卡方和向量。
可选的，所述根据所述第一历史向量，所述第二历史向量以及所述历史日志的TFIDF总和，生成第二历史矩阵，包括：
将第一历史向量中的各元素逐一与所述历史日志的TFIDF总和相除，获取历史比值向量；
将所述历史比值向量与所述第二历史向量点乘，生成所述第二历史矩阵。
可选的，所述根据所述历史日志的第一历史矩阵以及所述历史日志的第二历史矩阵，获取所述历史日志的历史卡方和向量，包括：
根据所述历史日志的第一历史矩阵以及所述历史日志的第二历史矩阵，生成卡方矩阵，所述卡方矩阵包括所述历史日志中各子历史日志中的各日志模板的卡方值；
将所述卡方矩阵中的相同子历史日志的各日志模板的卡方值进行叠加，获取所述历史日志的历史卡方和向量。
可选的，在所述针对核心网中的每一类历史日志，对所述历史日志进行日志模板提取处理，获取每一类历史日志对应的至少一个日志模板之前，所述方法还包括：
获取核心网的至少一类的第一历史日志；
针对每一类的第一历史日志，将所述第一历史日志中的堆栈信息进行删除，获取第二历史日志；
对所述第二历史日志进行掩码处理，获取核心网的至少一类历史日志。
第二方面，本申请提供一种核心网的异常检测装置，包括：
处理模块，用于针对核心网中的每一类日志，采用预设时长的滑窗对所述日志进行分窗处理，得到至少一个子日志；
所述处理模块，还用于根据所述日志对应的至少一个子日志以及预先存储的所述日志对应的至少一个日志模板，获取日志的第一矩阵，所述第一矩阵包括各子日志中的各日志模板的TFIDF；
所述处理模块，还用于根据所述日志的第一矩阵对所述日志进行卡方检验，获取日志的卡方和向量，所述卡方和向量包括所述日志中各子日志的卡方值；
生成模块，用于在所述卡方和向量中的任一子日志的卡方值大于预先获取的卡方阈值时，生成提醒信息，所述提醒信息用于表示所述子日志存在异常。
在第二方面的一种可能设计中，所述处理模块，具体用于：
将所述第一矩阵中相同子日志的各日志模板的TFIDF进行叠加，生成第一向量，所述第一向量包括日志中各子日志的TFIDF；
将所述日志的第一矩阵中相同日志模板的各子日志的TFIDF进行叠加，生成第二向量，所述第二向量包括所述日志中各日志模板的TFIDF；
将所述日志的第一矩阵中所有元素的TFIDF进行叠加，获取所述日志的TFIDF总和；
根据所述第一向量，所述第二向量以及所述日志的TFIDF总和，生成第二矩阵，所述第二矩阵包括各子日志中的各日志模板的理论TFIDF；
根据所述日志的第一矩阵以及所述日志的第二矩阵，获取所述日志的卡方和向量。
可选的，所述处理模块，具体用于：
将第一向量中的各元素逐一与所述日志的TFIDF总和相除，获取比值向量；
将所述比值向量与所述第二向量点乘，生成所述第二矩阵。
可选的，所述处理模块，具体用于：
根据所述日志的第一矩阵以及所述日志的第二矩阵，生成卡方矩阵，所述卡方矩阵包括所述日志中各子日志中的各日志模板的卡方值；
将所述卡方矩阵中的相同子日志的各日志模板的卡方值进行叠加，获取所述日志的卡方和向量。
可选的，所述生成模块，具体用于：
在所述卡方和向量中的任一子日志的卡方值大于预先获取的卡方阈值时，根据所述卡方矩阵，获取所述子日志中各日志模板的卡方值；
确定各日志模板中卡方值最大的日志模板在所述日志中对应的日志行，根据所述日志行生成所述提醒信息。
在第二方面的另一种可能设计中，在所述针对核心网中的每一类日志，采用预设时长的滑窗对所述日志进行分窗处理，得到至少一个子日志之前，所述装置还包括：
获取模块，用于获取核心网的至少一类的第一日志；
所述处理模块，还用于针对每一类的第一日志，将所述第一日志中的堆栈信息进行删除，获取第二日志；
所述处理模块，还用于对所述第一日志中的进行掩码处理，获取核心网的至少一类日志。
在第二方面的另一种可能设计中，在所述针对核心网中的每一类日志，采用预设时长的滑窗对所述日志进行分窗处理，得到至少一个子日志之前，所述装置还包括：
提取模块，用于针对所述核心网中的每一类历史日志，对所述历史日志进行日志模板提取处理，获取每一类历史日志对应的至少一个日志模板，所述历史日志包括正常日志以及异常日志；
所述处理模块，还用于采用预设时长的滑窗对所述历史日志进行分窗处理，得到至少一个子历史日志；
所述处理模块，还用于根据所述历史日志对应的至少一个子历史日志以及所述历史日志对应的至少一个日志模板，获取历史日志的第一历史矩阵，所述第一历史矩阵包括各子历史日志中的各日志模板的TFIDF；
所述处理模块，还用于根据所述历史日志的第一历史矩阵对所述历史日志进行卡方检验，获取历史日志的历史卡方和向量，所述历史卡方和向量包括所述历史日志中各子历史日志的卡方值；
所述处理模块，还用于利用统计学方法对所述历史日志的历史卡方和向量进行处理，获取历史日志对应的卡方阈值。
可选的，所述处理模块，具体用于：
将所述第一历史矩阵中相同子历史日志的各日志模板的TFIDF进行叠加，生成第一历史向量，所述第一历史向量包括历史日志中各子历史日志的TFIDF；
将所述历史日志的第一历史矩阵中相同日志模板的各子历史日志的TFIDF进行叠加，生成第二历史向量，所述第二历史向量包括所述历史日志中各日志模板的TFIDF；
将所述历史日志的第一历史矩阵中所有元素的TFIDF进行叠加，获取所述历史日志的TFIDF总和；
根据所述第一历史向量，所述第二历史向量以及所述历史日志的TFIDF总和，生成第二历史矩阵，所述第二历史矩阵包括各子历史日志中的各日志模板的理论TFIDF；
根据所述历史日志的第一历史矩阵以及所述历史日志的第二历史矩阵，获取所述历史日志的历史卡方和向量。
可选的，所述处理模块，具体用于：
将第一历史向量中的各元素逐一与所述历史日志的TFIDF总和相除，获取历史比值向量；
将所述历史比值向量与所述第二历史向量点乘，生成所述第二历史矩阵。
可选的，所述处理模块，具体用于：
根据所述历史日志的第一历史矩阵以及所述历史日志的第二历史矩阵，生成卡方矩阵，所述卡方矩阵包括所述历史日志中各子历史日志中的各日志模板的卡方值；
将所述卡方矩阵中的相同子历史日志的各日志模板的卡方值进行叠加，获取所述历史日志的历史卡方和向量。
可选的，在所述针对核心网中的每一类历史日志，对所述历史日志进行日志模板提取处理，获取每一类历史日志对应的至少一个日志模板之前，所述装置还包括：
获取模块，用于获取核心网的至少一类的第一历史日志；
所述处理模块，还用于针对每一类的第一历史日志，将所述第一历史日志中的堆栈信息进行删除，获取第二历史日志；
所述处理模块，还用于对所述第二历史日志进行掩码处理，获取核心网的至少一类历史日志。
第三方面，本申请提供一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序指令，所述处理器执行所述计算机程序指令时用于实现第一方面以及各可能设计提供的方法。
第四方面，本申请可提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面以及各可能设计提供的方法。
本申请提供的核心网的异常检测方法、装置、电子设备及可读存储介质，该方法中，通过针对核心网中的每一类日志，采用预设时长的滑窗对日志进行分窗处理，得到至少一个子日志，根据日志对应的至少一个子日志以及预先存储的日志对应的至少一个日志模板，获取日志的第一矩阵，根据日志的第一矩阵对日志进行卡方检验，获取日志的卡方和向量，在卡方和向量中的任一子日志的卡方值大于预先获取的卡方阈值时，生成提醒信息。在本方案中，通过预先确定的日志模板以及各类型日志对应的卡方阈值对核心网进行异常检测，有效提高了异常检测的准确度，达到准确对故障进行定位的目的。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的核心网的异常检测方法的一种应用场景示意图；
图2为本申请实施例提供的核心网的异常检测方法实施例一的流程示意图；
图3为本申请实施例提供的核心网的异常检测方法实施例二的流程示意图；
图4为本申请实施例提供的核心网的异常检测方法实施例三的流程示意图；
图5为本申请实施例提供的核心网的异常检测方法实施例四的流程示意图；
图6为本申请实施例提供的核心网的异常检测装置实施例一的结构示意图；
图7为本申请实施例提供的电子设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在介绍本申请的实施例之前，首先对本申请实施例的应用背景进行解释：
在核心网云资源的日常运营中，日志作为记录核心网运行状态的最重要的信息之一，需要得到工作人员的重点关注。随着核心网设备规模的不断扩大，核心网云架构不断升级，日志的种类和复杂度也在不断增加。日志的异常检测与故障定位旨在保障核心网的可用性及运转高效性，能在一定程度上规避网络质量劣化带来的不利影响。
现有技术中，主要通过以下几种方法对异常日志进行检测：
a)，判断核心网的日志中是否包含特定关键词(如：“warning”，“error”等)，在日志包含上述关键词时，则该日志即为异常日志。进一步的，还可以确定上述关键词在日志中的位置，并根据该位置获取对应的日志行，从而根据该日志行对核心网出现的异常情况进行定位。然而，由于部分用于表征核心网出现异常情况的日志行中可能不包含特定关键词，导致该方法存在对核心网进行异常检测的准确度较低的问题。
b)，通过正则匹配或简单统计方法对日志进行处理，从而实现对日志的异常检测以及故障定位。然而，该方法的漏报率以及误报率较高，且无法准确进行对故障进行定位。
总结来说，上述现有技术中存在对核心网进行异常检测的准确度较低的问题。
针对上述问题，本申请的发明构思如下：由于正常日志与异常数据的差异性较大，针对每一类核心网日志，如果能对历史日志进行卡夫检验，确定该类日志的卡夫阈值，那么在对核心网每一类的日志进行检测时，就可以将日志的卡夫值与卡夫阈值进行对比，在日志卡夫值大于卡夫阈值时，则认为该日志存在异常，就能解决现有技术中对核心网进行异常检测的准确度较低的问题，为后续及时对核心网的异常进行处理提供了保障。
示例性的，本申请实施例提供的核心网的异常检测方法可以应用于图1所示的一种应用场景示意图中。图1为本申请实施例提供的核心网的异常检测方法的一种应用场景示意图，用以解决上述技术问题。如图1所示，该应用场景可以包括：核心网11和电子设备12，还可以包括与电子设备12连接的数据存储设备13。可选的，核心网包括核心网设备111，核心网设备112，核心网设备113。
其中，电子设备12获取核心网11生成的至少一类历史日志，并对每一类历史日志进行处理，获取每一类历史日志对应的日志模板、卡方阈值以及确定该卡方阈值时使用的滑窗的预设时长，并将每一类历史日志对应的日志模板、卡方阈值以及确定该卡方阈值时使用的滑窗的预设时长存储至数据存储设备13中。
在本申请实施例中，电子设备12获取核心网11在运行阶段生成的至少一类日志，并从数据存储设备13中获取日志模板、每一类日志对应的卡方阈值以及确定该卡方阈值时使用的滑窗的预设时长，执行核心网的异常检测方法的程序代码，生成提醒信息。
可以理解的是，本申请实施例的执行主体可以是终端设备，例如，计算机、平板电脑等，也可以是服务器，例如，后台的处理平台等。因而，本实施例以终端设备和服务器统称为电子设备进行解释说明，关于该电子设备具体为终端设备，还是服务器，其可以实际情况确定。
下面，通过具体实施例对本申请的技术方案进行详细说明。
需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为本申请实施例提供的核心网的异常检测方法实施例一的流程示意图。如图2所示，该核心网的异常检测方法可以包括如下步骤：
S21、针对核心网中的每一类历史日志，对历史日志进行日志模板提取处理，获取每一类历史日志对应的至少一个日志模板。
其中，历史日志包括正常日志以及异常日志。应理解，正常日志为核心网正常运行时生成的日志，异常日志为核心网在存在异常情况下生成的日志。
其中，历史日志为核心网在预设历史时长内生成的日志，如历史日志为核心网在过去一个月内生成的历史日志，历史日志还可以为电子设备对核心网在预设历史时长内生成的第一历史日志进行处理得到的，具体的实现方式将在图3所示的实施例中进行详细说明，在此不再赘述。
示例性的，预设历史时长可以为1个月，还可以为2个月或3个月等，可以根据实际需求进行确定，本申请实施例对此不进行具体限制。
示例性的，可以采用频繁模式树(frequent-pattern tree，FT-Tree)算法对历史日志进行日志模板提取处理，还可以采用spell算法或drain算法对历史日志进行日志模板提取处理。应理解，可以根据实际需求确实对历史日志进行日志模板提取处理时采用的算法，本申请实施例对此不进行具体限制。
示例性的，针对每一类历史日志进行日志模板提取处理得到的日志模板可以为一个，也可以为多个，本申请不对每一类历史日志对应的日志模板数量进行限制。
S22、采用预设时长的滑窗对历史日志进行分窗处理，得到至少一个子历史日志。
其中，上述滑窗为无重叠滑窗，也就是说当前滑窗的起始位置为上一个滑窗的终止位置，当前滑窗的终止位置为下一滑窗的起始位置。
示例性的，预设时长可以为5分钟，还可以为10分钟，15分钟等，可以根据实际情况进行确定，本申请实施例对此不进行具体限制。
示例性的，针对每一类历史日志进行分窗处理得到的子历史日志可以为1个，也可以为多个，本申请实施例不对每一类历史日志对应的子历史日志的个数进行具体限制。
S23、根据历史日志对应的至少一个子历史日志以及历史日志对应的至少一个日志模板，获取历史日志的第一历史矩阵。
其中，第一历史矩阵包括各子历史日志中的各日志模板的词频-逆向文件频率(Term Frequency–Inverse Document Frequency，TFIDF)。
在一种可能的实现方式中，首先，可以通过下述公式：TFn＝模板n在该子历史日志内出现的次数/该子历史日志内的日志总行数，获取各子历史日志中的各日志模板的词频。其中，n为大于等于1的正整数，TFn为各子历史日志中的各日志模板的词频。
进一步的，电子设备可以通过下述公式获取日志模板的逆向文件频率：IDFn＝log(子历史日志的总数/包含模板n的子历史日志的数量+1)。其中，IDFn为日志模板的逆向文件频率。
最后，还可以通过下述公式获取各子历史日志中的各日志模板的TFIDF：TFIDFn＝TFn*IDFn。
示例性的，第一历史矩阵的容量为M×N，其中，M为子历史日志的总数，N为日志模板总数，M、N为大于等于1的正整数。
S24、根据历史日志的第一历史矩阵对历史日志进行卡方检验，获取历史日志的历史卡方和向量。
其中，历史卡方和向量包括历史日志中各子历史日志的卡方值。
在一种可能的实现方式中，将第一历史矩阵中相同子历史日志的各日志模板的TFIDF进行叠加，生成第一历史向量(也可表示为SUMtemplate)。进一步的，将历史日志的第一历史矩阵中相同日志模板的各子历史日志的TFIDF进行叠加，生成第二历史向量(也可表示为SUMwindow)。然后，将历史日志的第一历史矩阵中所有元素的TFIDF进行叠加，获取历史日志的TFIDF总和(也可表示为SUMtotal)。之后，根据第一历史向量，第二历史向量以及历史日志的TFIDF总和，生成第二历史矩阵(也可以称为理论值矩阵)。最后，根据历史日志的第一历史矩阵以及历史日志的第二历史矩阵，获取历史日志的历史卡方和向量，提高了获取历史卡方和向量的准确性。
其中，第一历史向量包括历史日志中各子历史日志的TFIDF，第二历史向量包括历史日志中各日志模板的TFIDF，第二历史矩阵包括各子历史日志中的各日志模板的理论TFIDF。
进一步的，根据第一历史向量，第二历史向量以及历史日志的TFIDF总和，生成第二历史矩阵可以通过下述步骤实现：
将第一历史向量中的各元素逐一与历史日志的TFIDF总和相除，获取历史比值向量(也可表示为RATIOtemplate)，将历史比值向量与第二历史向量点乘，生成第二历史矩阵。
进一步的，根据历史日志的第一历史矩阵以及历史日志的第二历史矩阵，获取历史日志的历史卡方和向量可以通过下述步骤实现：
根据历史日志的第一历史矩阵以及历史日志的第二历史矩阵，生成卡方矩阵，将卡方矩阵中的相同子历史日志的各日志模板的卡方值进行叠加，获取历史日志的历史卡方和向量，为后续确定历史日志对应的卡方阈值奠定了基础。
其中，卡方矩阵包括历史日志中各子历史日志中的各日志模板的卡方值。
S25、利用统计学方法对历史日志的历史卡方和向量进行处理，获取历史日志对应的卡方阈值。
示例性的，上述统计学方法可以为箱形图(英文：Box-plot)，还可以为n-sigma或其他现有的统计学方法，可以根据实际情况进行确定，本申请实施例对此不进行具体限制。
进一步的，还可以根据核心网异常情况的严重程度与统计学方法中的计算参数之间的映射关系，对统计学方法中的计算参数进行配置，从而获取该历史日志对应的多个卡方阈值。
本申请实施例提供的核心网的异常检测方法，通过针对核心网中的每一类历史日志，对历史日志进行日志模板提取处理，获取每一类历史日志对应的至少一个日志模板，采用预设时长的滑窗对历史日志进行分窗处理，得到至少一个子历史日志，根据历史日志对应的至少一个子历史日志以及历史日志对应的至少一个日志模板，获取历史日志的第一历史矩阵，根据历史日志的第一历史矩阵对历史日志进行卡方检验，获取历史日志的历史卡方和向量，利用统计学方法对历史日志的历史卡方和向量进行处理，获取历史日志对应的卡方阈值。在本方案中，根据对历史日志进行处理，获取每类历史日志对应的至少一个日志模板和卡方阈值，为后续根据上述至少一个日志模板和卡方阈值对核心网进行异常检测奠定了基础，提高了后续检测的准确性。
可选的，图3为本申请实施例提供的核心网的异常检测方法实施例二的流程示意图。如图3所示，在上述任一实施例的基础上，在针对核心网中的每一类历史日志，对历史日志进行日志模板提取处理，获取每一类历史日志对应的至少一个日志模板之前，该核心网的异常检测方法还可以包括如下步骤：
S31、获取核心网的至少一类的第一历史日志。
其中，电子设备可以获取核心网在预设历史时长内生成的至少一类的第一历史日志。
示例性的，预设历史时长可以为1个月，还可以为2个月或3个月等，可以根据实际需求进行确定，本申请实施例对此不进行具体限制。
其中，第一历史日志包括正常日志以及异常日志。
S32、针对每一类的第一历史日志，将第一历史日志中的堆栈信息进行删除，获取第二历史日志。
进一步的，在对第一历史日志中的堆栈信息进行删除后，还可以将该第一历史日志中的其他不规则行进行删除。
S33、对第二历史日志进行掩码处理，获取核心网的至少一类历史日志。
在一种可实现的方式中，可以利用正则式对上述第一历史日志进行参数词替换处理。电子设备可以将上述参数词替换为特定的固定字符，如星号，加号，空格等，还可以将上述参数词随机替换为其他字符，可以根据实际情况进行确定，本申请不对具体的替换方式进行限定。
可选的，上述参数词可以为网际互连协议(Internet Protocol，IP)地址、网元编号、统一资源定位系统(uniform resource locator，url)、通用唯一识别码(UniversallyUnique Identifier，UUID)、文件路径、内存地址、日期等，还可以包括日志中的其他参数词或其他敏感词，可以根据实际情况进行限定，本申请实施例对此不进行具体限制。
在上述实施例中，通过对第一历史日志中的冗余信息进行删除处理，之后将处理后的日志进行掩码处理，提高了后续对生成的历史日志处理的效率，保证了历史日志的数据安全性。
结合上述各个实施例中的核心网的异常检测方案，下面通过一种具体的实例对S24中的步骤进行举例说明。
第一历史矩阵的容量为M×N，其中，M为子历史日志的总数，N为日志模板总数，M、N为大于等于1的正整数。将该第一历史矩阵分别按行、按列求和，得到向量SUMwindow以及向量SUMtemplate，并将历史日志的第一历史矩阵中所有元素的TFIDF进行叠加，获取SUMtotal。进一步的，将向量SUMtemplate内的元素逐一与SUMtotal相除，得到向量RATIOtemplate。接下来，将向量RATIOtemplate与向量SUMwindow进行点乘，得到理论值矩阵。
之后，可以通过下述公式获取卡方矩阵：
Figure GDA0004194311270000151
其中，xij为卡方矩阵中的各元素，aij为第一矩阵中的各元素，tij为理论值矩阵的各元素。
最后，将卡方矩阵进行按行求和，得到历史卡方和向量。示例性的，历史卡方和向量可以表示为历史卡方和向量S＝[s1,s2,s3,…,sM]。
在得到每一类历史日志对应的至少一个日志模板，卡方阈值以及确定该卡方阈值时使用的滑窗的预设时长之后，可以使用上述日志模板，卡方阈值以及预设时长对核心网的日志进行异常检测。下面结合具体地实施例对对核心网的日志进行异常检测的方法进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图4为本申请实施例提供的核心网的异常检测方法实施例三的流程示意图。如图4所示，
S41、针对核心网中的每一类日志，采用预设时长的滑窗对日志进行分窗处理，得到至少一个子日志。
其中，上述滑窗为无重叠滑窗。
其中，该预设时长需要与确定该日志种类对应的卡方阈值时使用的滑窗的预设时长(也就是上述任一实施例中的预设时长)一致，如5分钟，10分钟，15分钟等。
可选的，关于该步骤的具体实现原理可以参见S22所示的实施例的记载，此处不再赘述。
S42、根据日志对应的至少一个子日志以及预先存储的日志对应的至少一个日志模板，获取日志的第一矩阵。
其中，第一矩阵包括各子日志中的各日志模板的TFIDF。
在一种可实现的方式中，电子设备将日志与预先存储的日志模板进行匹配，获取该日志对应的至少一个日志模板。
可选的，关于该步骤的具体实现原理可以参见S23所示的实施例的记载，此处不再赘述。
S43、根据日志的第一矩阵对日志进行卡方检验，获取日志的卡方和向量。
其中，卡方和向量包括日志中各子日志的卡方值。
在一种具体的实现方式中，将第一矩阵中相同子日志的各日志模板的TFIDF进行叠加，生成第一向量。之后，将日志的第一矩阵中相同日志模板的各子日志的TFIDF进行叠加，生成第二向量。进一步的，将日志的第一矩阵中所有元素的TFIDF进行叠加，获取日志的TFIDF总和。接下来，根据第一向量，第二向量以及日志的TFIDF总和，生成第二矩阵。最后，根据日志的第一矩阵以及日志的第二矩阵，获取日志的卡方和向量。
其中，第一向量包括日志中各子日志的TFIDF，第二向量包括日志中各日志模板的TFIDF，第二矩阵包括各子日志中的各日志模板的理论TFIDF。
其中，根据第一向量，第二向量以及日志的TFIDF总和，生成第二矩阵可以通过以下步骤实现。
将第一向量中的各元素逐一与日志的TFIDF总和相除，获取比值向量，将比值向量与第二向量点乘，生成第二矩阵。
其中，根据日志的第一矩阵以及日志的第二矩阵，获取日志的卡方和向量可以通过以下步骤实现。
根据日志的第一矩阵以及日志的第二矩阵，生成卡方矩阵，卡方矩阵包括日志中各子日志中的各日志模板的卡方值，卡方矩阵中的相同子日志的各日志模板的卡方值进行叠加，获取日志的卡方和向量。
可选的，关于该步骤的具体实现原理可以参见S24所示的实施例的记载，此处不再赘述。
S44、在卡方和向量中的任一子日志的卡方值大于预先获取的卡方阈值时，生成提醒信息。
其中，提醒信息用于表示子日志存在异常。
其中，预先获取的卡方阈值为上述实施例确定的该类日志对应的卡方阈值，卡方阈值的数量可以为1个，也可以为多个。
可选的，可以根据不同的卡方阈值生成不同的提醒信息，还可以根据不同的卡方阈值生成相同的提醒信息。
可选的，提醒信息中包括卡方值大于卡方阈值的子日志的标识。
在一种可能的实现方式中，在卡方和向量中的任一子日志的卡方值大于预先获取的卡方阈值时，根据卡方矩阵，获取子日志中各日志模板的卡方值，确定各日志模板中卡方值最大的日志模板在日志中对应的日志行，根据日志行生成提醒信息。
本申请实施例提供的核心网的异常检测方法，通过针对核心网中的每一类日志，采用预设时长的滑窗对日志进行分窗处理，得到至少一个子日志，根据日志对应的至少一个子日志以及预先存储的日志对应的至少一个日志模板，获取日志的第一矩阵，根据日志的第一矩阵对日志进行卡方检验，获取日志的卡方和向量，在卡方和向量中的任一子日志的卡方值大于预先获取的卡方阈值时，生成提醒信息。在本方案中，通过预先确定的日志模板以及各类型日志对应的卡方阈值对核心网进行异常检测，有效提高了异常检测的准确度，达到准确对故障进行定位的目的。
进一步的，与现有技术中使用预先训练好的监督模型(如：Xgboost、LightGBM)、无监督的模型(如：PCA、KNN)、深度神经网络模型(如：GRU、LSTM)对核心网进行异常检测相比，现有技术需要预先对模型进行训练，且运行进行检测时资源消耗大，模型训练成本高。而本技术方案无需进行模型训练，普适性较好，能够适用于大规模，多种类，复杂度高的核心网，有效提高检测效率。
可选的，图5为本申请实施例提供的核心网的异常检测方法实施例四的流程示意图。如图5所示，在上述任一实施例的基础上，在针对核心网中的每一类日志，采用预设时长的滑窗对日志进行分窗处理，得到至少一个子日志之前，该核心网的异常检测方法还可以包括如下步骤：
S51、获取核心网的至少一类的第一日志。
可选的，关于该步骤的具体实现原理可以参见S31所示的实施例的记载，此处不再赘述
S52、针对每一类的第一日志，将第一日志中的堆栈信息进行删除，获取第二日志。
可选的，关于该步骤的具体实现原理可以参见S32所示的实施例的记载，此处不再赘述
S53、对第二日志进行掩码处理，获取核心网的至少一类日志。
可选的，关于该步骤的具体实现原理可以参见S33所示的实施例的记载，此处不再赘述
具体实现时，图4以及图5对应的核心网的异常检测方法的执行主体也可以为终端或者服务器等具有处理能力的电子设备。应理解，执行图4以及图5对应的核心网的异常检测方法的电子设备，与，执行图2以及图3对应的核心网的异常检测方法的电子设备，可以是同一设备，也可以是不同设备。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图6为本申请实施例提供的核心网的异常检测装置实施例一的结构示意图。如图6所示，该核心网的异常检测装置包括：
处理模块61，用于针对核心网中的每一类日志，采用预设时长的滑窗对日志进行分窗处理，得到至少一个子日志；
处理模块61，还用于根据日志对应的至少一个子日志以及预先存储的日志对应的至少一个日志模板，获取日志的第一矩阵，第一矩阵包括各子日志中的各日志模板的TFIDF；
处理模块61，还用于根据日志的第一矩阵对日志进行卡方检验，获取日志的卡方和向量，卡方和向量包括日志中各子日志的卡方值；
生成模块62，用于在卡方和向量中的任一子日志的卡方值大于预先获取的卡方阈值时，生成提醒信息，提醒信息用于表示子日志存在异常。
在本申请实施例的一种可能设计中，处理模块61，具体用于：
将第一矩阵中相同子日志的各日志模板的TFIDF进行叠加，生成第一向量，第一向量包括日志中各子日志的TFIDF；
将日志的第一矩阵中相同日志模板的各子日志的TFIDF进行叠加，生成第二向量，第二向量包括日志中各日志模板的TFIDF；
将日志的第一矩阵中所有元素的TFIDF进行叠加，获取日志的TFIDF总和；
根据第一向量，第二向量以及日志的TFIDF总和，生成第二矩阵，第二矩阵包括各子日志中的各日志模板的理论TFIDF；
根据日志的第一矩阵以及日志的第二矩阵，获取日志的卡方和向量。
可选的，处理模块61，具体用于：
将第一向量中的各元素逐一与日志的TFIDF总和相除，获取比值向量；
将比值向量与第二向量点乘，生成第二矩阵。
可选的，处理模块61，具体用于：
根据日志的第一矩阵以及日志的第二矩阵，生成卡方矩阵，卡方矩阵包括日志中各子日志中的各日志模板的卡方值；
将卡方矩阵中的相同子日志的各日志模板的卡方值进行叠加，获取日志的卡方和向量。
可选的，生成模块62，具体用于：
在卡方和向量中的任一子日志的卡方值大于预先获取的卡方阈值时，根据卡方矩阵，获取子日志中各日志模板的卡方值；
确定各日志模板中卡方值最大的日志模板在日志中对应的日志行，根据日志行生成提醒信息。
在本申请实施例的另一种可能设计中，在针对核心网中的每一类日志，采用预设时长的滑窗对日志进行分窗处理，得到至少一个子日志之前，装置还包括：
获取模块，用于获取核心网的至少一类的第一日志；
处理模块61，还用于针对每一类的第一日志，将第一日志中的堆栈信息进行删除，获取第二日志；
处理模块61，还用于对第一日志中的进行掩码处理，获取核心网的至少一类日志。
可选的，该核心网的异常检测装置包括：
提取模块63，用于针对核心网中的每一类历史日志，对历史日志进行日志模板提取处理，获取每一类历史日志对应的至少一个日志模板，历史日志包括正常日志以及异常日志；
处理模块61，还用于采用预设时长的滑窗对历史日志进行分窗处理，得到至少一个子历史日志；
处理模块61，还用于根据历史日志对应的至少一个子历史日志以及历史日志对应的至少一个日志模板，获取历史日志的第一历史矩阵，第一历史矩阵包括各子历史日志中的各日志模板的TFIDF；
处理模块61，还用于根据历史日志的第一历史矩阵对历史日志进行卡方检验，获取历史日志的历史卡方和向量，历史卡方和向量包括历史日志中各子历史日志的卡方值；
处理模块61，还用于利用统计学方法对历史日志的历史卡方和向量进行处理，获取历史日志对应的卡方阈值。
在本申请实施例的一种可能设计中，处理模块61，具体用于：
将第一历史矩阵中相同子历史日志的各日志模板的TFIDF进行叠加，生成第一历史向量，第一历史向量包括历史日志中各子历史日志的TFIDF；
将历史日志的第一历史矩阵中相同日志模板的各子历史日志的TFIDF进行叠加，生成第二历史向量，第二历史向量包括历史日志中各日志模板的TFIDF；
将历史日志的第一历史矩阵中所有元素的TFIDF进行叠加，获取历史日志的TFIDF总和；
根据第一历史向量，第二历史向量以及历史日志的TFIDF总和，生成第二历史矩阵，第二历史矩阵包括各子历史日志中的各日志模板的理论TFIDF；
根据历史日志的第一历史矩阵以及历史日志的第二历史矩阵，获取历史日志的历史卡方和向量。
可选的，处理模块61，具体用于：
将第一历史向量中的各元素逐一与历史日志的TFIDF总和相除，获取历史比值向量；
将历史比值向量与第二历史向量点乘，生成第二历史矩阵。
可选的，处理模块61，具体用于：
根据历史日志的第一历史矩阵以及历史日志的第二历史矩阵，生成卡方矩阵，卡方矩阵包括历史日志中各子历史日志中的各日志模板的卡方值；
将卡方矩阵中的相同子历史日志的各日志模板的卡方值进行叠加，获取历史日志的历史卡方和向量。
在本申请实施例的另一种可能设计中，在针对核心网中的每一类历史日志，对历史日志进行日志模板提取处理，获取每一类历史日志对应的至少一个日志模板之前，装置还包括：
获取模块，用于获取核心网的至少一类的第一历史日志；
处理模块61，还用于针对每一类的第一历史日志，将第一历史日志中的堆栈信息进行删除，获取第二历史日志；
处理模块61，还用于对第一历史日志进行掩码处理，获取核心网的至少一类历史日志。
本申请实施例提供的核心网的异常检测装置，可用于执行上述任一实施例中的核心网的异常检测方法，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外，这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
图7为本申请实施例提供的电子设备的结构示意图。如图7所示，该电子设备12可以包括：处理器81、存储器82及存储在所述存储器82上并可在处理器81上运行的计算机程序指令，所述处理器81执行所述计算机程序指令时实现前述任一实施例提供的核心网的异常检测方法。
可选的，该电子设备12的上述各个器件之间可以通过系统总线连接。
存储器82可以是单独的存储单元，也可以是集成在处理器中的存储单元。处理器的数量为一个或者多个。
可选的，电子设备12还可以包括与其他设备进行交互的接口。
应理解，处理器81可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
系统总线可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。存储器可能包括随机存取存储器(randomaccess memory，RAM)，也可能还包括非易失性存储器(non-volatile memory，NVM)，例如至少一个磁盘存储器。
实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一可读取存储器中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储器(存储介质)包括：只读存储器(read-only memory，ROM)、RAM、快闪存储器、硬盘、固态硬盘、磁带(英文：magnetic tape)、软盘(英文：floppy disk)、光盘(英文：optical disc)及其任意组合。
本申请实施例提供的电子设备，可用于执行上述任一方法实施例提供的核心网的异常检测方法，其实现原理和技术效果类似，在此不再赘述。
本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述核心网的异常检测方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器，电可擦除可编程只读存储器，可擦除可编程只读存储器，可编程只读存储器，只读存储器，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
可选的，将可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，至少一个处理器可以从该计算机可读存储介质中读取该计算机程序，所述至少一个处理器执行所述计算机程序时可实现上述核心网的异常检测方法。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (14)

1.一种核心网的异常检测方法，其特征在于，包括：
针对核心网中的每一类日志，采用预设时长的滑窗对所述日志进行分窗处理，得到至少一个子日志；
根据所述日志对应的至少一个子日志以及预先存储的所述日志对应的至少一个日志模板，获取日志的第一矩阵，所述第一矩阵包括各子日志中的各日志模板的词频-逆向文件频率TFIDF；
根据所述日志的第一矩阵对所述日志进行卡方检验，获取日志的卡方和向量，所述卡方和向量包括所述日志中各子日志的卡方值；
在所述卡方和向量中的任一子日志的卡方值大于预先获取的卡方阈值时，生成提醒信息，所述提醒信息用于表示所述子日志存在异常。
2.根据权利要求1所述的方法，其特征在于，所述根据所述日志的第一矩阵对所述日志进行卡方检验，获取日志的卡方和向量，包括：
将所述第一矩阵中相同子日志的各日志模板的TFIDF进行叠加，生成第一向量，所述第一向量包括日志中各子日志的TFIDF；
将所述日志的第一矩阵中相同日志模板的各子日志的TFIDF进行叠加，生成第二向量，所述第二向量包括所述日志中各日志模板的TFIDF；
将所述日志的第一矩阵中所有元素的TFIDF进行叠加，获取所述日志的TFIDF总和；
根据所述第一向量，所述第二向量以及所述日志的TFIDF总和，生成第二矩阵，所述第二矩阵包括各子日志中的各日志模板的理论TFIDF；
根据所述日志的第一矩阵以及所述日志的第二矩阵，获取所述日志的卡方和向量。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一向量，所述第二向量以及所述日志的TFIDF总和，生成第二矩阵，包括：
将第一向量中的各元素逐一与所述日志的TFIDF总和相除，获取比值向量；
将所述比值向量与所述第二向量点乘，生成所述第二矩阵。
4.根据权利要求2所述的方法，其特征在于，所述根据所述日志的第一矩阵以及所述日志的第二矩阵，获取所述日志的卡方和向量，包括：
根据所述日志的第一矩阵以及所述日志的第二矩阵，生成卡方矩阵，所述卡方矩阵包括所述日志中各子日志中的各日志模板的卡方值；
将所述卡方矩阵中的相同子日志的各日志模板的卡方值进行叠加，获取所述日志的卡方和向量。
5.根据权利要求4所述的方法，其特征在于，所述在所述卡方和向量中的任一子日志的卡方值大于预先获取的卡方阈值时，生成提醒信息，包括：
在所述卡方和向量中的任一子日志的卡方值大于预先获取的卡方阈值时，根据所述卡方矩阵，获取所述子日志中各日志模板的卡方值；
确定各日志模板中卡方值最大的日志模板在所述日志中对应的日志行，根据所述日志行生成所述提醒信息。
6.根据权利要求1至5任一项所述的方法，其特征在于，在所述针对核心网中的每一类日志，采用预设时长的滑窗对所述日志进行分窗处理，得到至少一个子日志之前，所述方法还包括：
获取核心网的至少一类的第一日志；
针对每一类的第一日志，将所述第一日志中的堆栈信息进行删除，获取第二日志；
对所述第二日志进行掩码处理，获取核心网的至少一类日志。
7.根据权利要求1所述的方法，其特征在于，在所述针对核心网中的每一类日志，采用预设时长的滑窗对所述日志进行分窗处理，得到至少一个子日志之前，所述方法还包括：
针对所述核心网中的每一类历史日志，对所述历史日志进行日志模板提取处理，获取每一类历史日志对应的至少一个日志模板，所述历史日志包括正常日志以及异常日志；
采用所述预设时长的滑窗对所述历史日志进行分窗处理，得到至少一个子历史日志；
根据所述历史日志对应的至少一个子历史日志以及所述历史日志对应的至少一个日志模板，获取历史日志的第一历史矩阵，所述第一历史矩阵包括各子历史日志中的各日志模板的词频-逆向文件频率TFIDF；
根据所述历史日志的第一历史矩阵对所述历史日志进行卡方检验，获取历史日志的历史卡方和向量，所述历史卡方和向量包括所述历史日志中各子历史日志的卡方值；
利用统计学方法对所述历史日志的历史卡方和向量进行处理，获取历史日志对应的卡方阈值。
8.根据权利要求7所述的方法，其特征在于，所述根据所述历史日志的第一历史矩阵对所述历史日志进行卡方检验，获取历史日志的历史卡方和向量，包括：
将所述第一历史矩阵中相同子历史日志的各日志模板的TFIDF进行叠加，生成第一历史向量，所述第一历史向量包括历史日志中各子历史日志的TFIDF；
将所述历史日志的第一历史矩阵中相同日志模板的各子历史日志的TFIDF进行叠加，生成第二历史向量，所述第二历史向量包括所述历史日志中各日志模板的TFIDF；
将所述历史日志的第一历史矩阵中所有元素的TFIDF进行叠加，获取所述历史日志的TFIDF总和；
根据所述第一历史向量，所述第二历史向量以及所述历史日志的TFIDF总和，生成第二历史矩阵，所述第二历史矩阵包括各子历史日志中的各日志模板的理论TFIDF；
根据所述历史日志的第一历史矩阵以及所述历史日志的第二历史矩阵，获取所述历史日志的历史卡方和向量。
9.根据权利要求8所述的方法，其特征在于，所述根据所述第一历史向量，所述第二历史向量以及所述历史日志的TFIDF总和，生成第二历史矩阵，包括：
将第一历史向量中的各元素逐一与所述历史日志的TFIDF总和相除，获取历史比值向量；
将所述历史比值向量与所述第二历史向量点乘，生成所述第二历史矩阵。
10.根据权利要求8所述的方法，其特征在于，所述根据所述历史日志的第一历史矩阵以及所述历史日志的第二历史矩阵，获取所述历史日志的历史卡方和向量，包括：
根据所述历史日志的第一历史矩阵以及所述历史日志的第二历史矩阵，生成卡方矩阵，所述卡方矩阵包括所述历史日志中各子历史日志中的各日志模板的卡方值；
将所述卡方矩阵中的相同子历史日志的各日志模板的卡方值进行叠加，获取所述历史日志的历史卡方和向量。
11.根据权利要求7至10任一项所述的方法，其特征在于，在所述针对核心网中的每一类历史日志，对所述历史日志进行日志模板提取处理，获取每一类历史日志对应的至少一个日志模板之前，所述方法还包括：
获取核心网的至少一类的第一历史日志；
针对每一类的第一历史日志，将所述第一历史日志中的堆栈信息进行删除，获取第二历史日志；
对所述第二历史日志进行掩码处理，获取核心网的至少一类历史日志。
12.一种核心网的异常检测装置，其特征在于，包括：
处理模块，用于针对核心网中的每一类日志，采用预设时长的滑窗对所述日志进行分窗处理，得到至少一个子日志；
所述处理模块，还用于根据所述日志对应的至少一个子日志以及预先存储的所述日志对应的至少一个日志模板，获取日志的第一矩阵，所述第一矩阵包括各子日志中的各日志模板的词频-逆向文件频率TFIDF；
所述处理模块，还用于根据所述日志的第一矩阵对所述日志进行卡方检验，获取日志的卡方和向量，所述卡方和向量包括所述日志中各子日志的卡方值；
生成模块，用于在所述卡方和向量中的任一子日志的卡方值大于预先获取的卡方阈值时，生成提醒信息，所述提醒信息用于表示所述子日志存在异常。
13.一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序指令，其特征在于，所述处理器执行所述计算机程序指令时用于实现如权利要求1至11任一项所述的核心网的异常检测方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至11任一项所述的核心网的异常检测方法。
CN202210439558.4A 2022-04-25 2022-04-25 核心网的异常检测方法、装置、电子设备及可读存储介质 Active CN114844778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210439558.4A CN114844778B (zh) 2022-04-25 2022-04-25 核心网的异常检测方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210439558.4A CN114844778B (zh) 2022-04-25 2022-04-25 核心网的异常检测方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114844778A CN114844778A (zh) 2022-08-02
CN114844778B true CN114844778B (zh) 2023-05-30

Family

ID=82565955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210439558.4A Active CN114844778B (zh) 2022-04-25 2022-04-25 核心网的异常检测方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114844778B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761173A (zh) * 2013-12-28 2014-04-30 华中科技大学 一种基于日志的计算机系统故障诊断方法及装置
CN107248927A (zh) * 2017-05-02 2017-10-13 华为技术有限公司 故障定位模型的生成方法、故障定位方法和装置
WO2020017037A1 (ja) * 2018-07-20 2020-01-23 日本電気株式会社 ログ分析装置、ログ分析方法、プログラム
CN111240942A (zh) * 2019-12-02 2020-06-05 华为技术有限公司 日志异常检测方法及装置
CN111459964A (zh) * 2020-03-24 2020-07-28 长沙理工大学 一种面向模板基于Word2vec的日志异常检测方法及装置
CN113032226A (zh) * 2021-05-28 2021-06-25 北京宝兰德软件股份有限公司 异常日志的检测方法、装置、电子设备及存储介质
CN113472555A (zh) * 2020-03-30 2021-10-01 华为技术有限公司 故障检测方法、系统、装置、服务器及存储介质
WO2022035942A1 (en) * 2020-08-11 2022-02-17 Nationstar Mortgage LLC, d/b/a/ Mr. Cooper Systems and methods for machine learning-based document classification

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200021511A1 (en) * 2018-07-12 2020-01-16 Fujitsu Limited Performance analysis for transport networks using frequent log sequence discovery
US11475132B2 (en) * 2020-04-24 2022-10-18 Netapp, Inc. Systems and methods for protecting against malware attacks

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761173A (zh) * 2013-12-28 2014-04-30 华中科技大学 一种基于日志的计算机系统故障诊断方法及装置
CN107248927A (zh) * 2017-05-02 2017-10-13 华为技术有限公司 故障定位模型的生成方法、故障定位方法和装置
WO2020017037A1 (ja) * 2018-07-20 2020-01-23 日本電気株式会社 ログ分析装置、ログ分析方法、プログラム
CN111240942A (zh) * 2019-12-02 2020-06-05 华为技术有限公司 日志异常检测方法及装置
CN111459964A (zh) * 2020-03-24 2020-07-28 长沙理工大学 一种面向模板基于Word2vec的日志异常检测方法及装置
CN113472555A (zh) * 2020-03-30 2021-10-01 华为技术有限公司 故障检测方法、系统、装置、服务器及存储介质
WO2022035942A1 (en) * 2020-08-11 2022-02-17 Nationstar Mortgage LLC, d/b/a/ Mr. Cooper Systems and methods for machine learning-based document classification
CN113032226A (zh) * 2021-05-28 2021-06-25 北京宝兰德软件股份有限公司 异常日志的检测方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
The algorithm of information system anomaly detection;Ming Gu;《2013 3rd International Conference on Consumer Electronics,Communications and Networks》;全文 *
基于日志分析的AAA服务状态监测系统设计与实现;罗伟;《中国优秀硕士学位论文全文数据库信息科技辑》;全文 *

Also Published As

Publication number Publication date
CN114844778A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN108388489B (zh) 一种服务器故障诊断方法、系统、设备及存储介质
US8719791B1 (en) Display of aggregated stack traces in a source code viewer
US10909022B2 (en) Systems and methods for identifying and tracking application performance incidents
CN108154230B (zh) 深度学习处理器的监控方法和监控装置
CN110673936B (zh) 编排业务的断点续作方法、装置、存储介质及电子设备
EP3682324A1 (en) Method and apparatus for finding long methods in code
CN111626498B (zh) 设备运行状态预测方法、装置、设备及存储介质
CN114844768A (zh) 信息分析方法、装置及电子设备
CN114691409A (zh) 内存故障处理方法及装置
CN114238980A (zh) 一种工控设备漏洞挖掘方法、系统、设备及存储介质
CN114844778B (zh) 核心网的异常检测方法、装置、电子设备及可读存储介质
CN113449062B (zh) 轨迹处理方法、装置、电子设备和存储介质
CN115185724A (zh) 故障处理方法、装置、电子设备以及存储介质
CN115205619A (zh) 检测模型的训练方法、检测方法、装置和存储介质
CN112799911A (zh) 一种节点健康状态检测方法、装置、设备及存储介质
CN111752600A (zh) 代码异常检测方法、装置、计算机设备及存储介质
CN112612641A (zh) 一种模型训练的保护方法、装置、电子设备及存储介质
CN111475400A (zh) 一种业务平台的验证方法及相关设备
CN117435441B (zh) 一种基于日志数据的故障诊断方法及装置
CN111953544B (zh) 一种服务器的故障检测方法、装置、设备及存储介质
CN117034261B (zh) 一种基于标识符的异常检测方法、装置、介质及电子设备
CN115858324B (zh) 基于ai的it设备故障处理方法、装置、设备和介质
EP4283543A1 (en) Method and system for blockchain monitoring
Demanou et al. A Dynamic Model Selection Approach to Mitigate the Change of Balance Problem in Cross-Version Bug Prediction.
CN115509941A (zh) 数据接口的测试方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant