CN116185752A - 一种基于日志的异常监测方法、系统、装置及存储介质 - Google Patents

一种基于日志的异常监测方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN116185752A
CN116185752A CN202111421618.1A CN202111421618A CN116185752A CN 116185752 A CN116185752 A CN 116185752A CN 202111421618 A CN202111421618 A CN 202111421618A CN 116185752 A CN116185752 A CN 116185752A
Authority
CN
China
Prior art keywords
log
unit
information
log unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111421618.1A
Other languages
English (en)
Inventor
骆旭剑
张宙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202111421618.1A priority Critical patent/CN116185752A/zh
Priority to PCT/CN2022/126493 priority patent/WO2023093394A1/zh
Publication of CN116185752A publication Critical patent/CN116185752A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提出了一种基于日志的异常监测方法、系统、装置及存储介质。该方法通过获取日志信息，将日志信息进行结构化处理和分类聚合，得到日志单元；当日志单元异常，判断日志单元的异常类型是否属于首次输出的异常类型；若不属于首次输出的异常类型，则输出日志单元的简要信息；若属于首次输出的异常类型，则输出日志单元。该系统包括日志采集模块、日志管理模块、异常监测模块和日志输出模块。通过使用本申请中提供的方法，能够在日志出现异常时输出该日志信息，有利于故障的根因分析，能够满足故障定位的需求；同时，有利于缓解日志信息之间缺乏关联性的情况，提升异常监测的效率。本申请可广泛应用于通信技术领域内。

Description

一种基于日志的异常监测方法、系统、装置及存储介质
技术领域
本申请涉及通信技术领域，尤其是一种基于日志的异常监测方法、系统、装置及存储介质。
背景技术
在通信系统中，日志作为记录系统运行信息的一种方法，用于排查故障及故障定位。随着虚拟化的发展，通信网络越来越趋于模块化，系统组网复杂性不断增加，增加了日志信息的分散度，也加大了用日志来排查故障的难度。相关技术中的日志系统，大量低级别日志的输出，会增大输入输出的负荷，影响业务系统的正常运行。因此，通常情况下，不会打开低级别日志的输出，从而不利于故障的根因分析。同时，日志信息之间缺乏关联性，重复信息较多。
发明内容
本申请的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
为此，本申请实施例的一个目的在于提供一种基于日志的异常监测方法，该方法有利于故障的根因分析，能够满足故障定位的需求；该方法还有利于缓解日志信息之间缺乏关联性的情况，提升异常监测的效率。
本申请实施例的另一个目的在于提供一种基于日志的异常监测系统。
为了达到上述技术目的，本申请实施例所采取的技术方案包括：
一方面，本申请实施例提供了一种基于日志的异常监测方法，包括以下步骤：
获取日志信息；将所述日志信息进行结构化处理，得到结构化的日志信息；将所述结构化的日志信息进行分类聚合，得到日志单元；当所述日志单元异常，判断所述日志单元的异常类型是否属于首次输出的异常类型；若所述日志单元的异常类型不属于首次输出的异常类型，则输出所述日志单元的简要信息；若所述日志单元的异常类型属于首次输出的异常类型，则输出所述日志单元。
本申请实施例的一种基于日志的异常监测方法，通过将获取的日志信息进行结构化处理和分类聚合，得到日志单元，进而根据日志单元的异常类型选择不同的输出方式；能够在日志出现异常时输出该日志信息，有利于故障的根因分析，能够满足故障定位的需求；同时，通过结构化处理和分类聚合，有利于缓解日志信息之间缺乏关联性的情况，提升异常监测的效率。
另外，根据本申请上述实施例的基于日志的异常监测方法，还可以具有以下附加的技术特征：
进一步地，在本申请的一个实施例中，所述判断所述日志单元的异常类型是否属于首次输出的异常类型，包括以下之一：
若当前所述日志单元与历史输出的日志单元具有相同的异常标识，则确定当前所述日志单元的异常类型不属于首次输出的异常类型；
或者，若当前所述日志单元与历史输出的日志单元具有相同的事务标识且具有相同的异常标识，则确定当前所述日志单元的异常类型不属于首次输出的异常类型；
或者，若当前所述日志单元与历史输出的日志单元具有相同的事务标识、具有相同的日志点标识且具有相同的异常标识，则确定当前所述日志单元的异常类型不属于首次输出的异常类型；
或者，若所述日志单元具有第一输出标识，则确定所述日志单元的异常类型不属于首次输出的异常类型。
本申请实施例中，通过将当前日志单元与历史输出的日志单元进行对比，以确定当前日志单元是否属于首次输出的异常类型。通过判断当前日志单元是否属于首次输出的异常类型，确定当前日志单元的输出方式，能够在日志出现异常时输出该日志信息，有利于故障的根因分析，同时减少同种异常类型的日志信息的输出，有利于减轻系统的负荷，有利于提升系统的性能。
进一步地，本申请实施例的基于日志的异常监测方法，所述方法还包括判断所述日志单元是否异常的步骤，所述判断所述日志单元是否异常的步骤包括以下之一：
若所述日志单元包括异常标识，则确定所述日志单元异常；
或者，若所述日志单元缺少会话结束标识，则确定所述日志单元异常；
或者，若所述日志单元的会话时间大于预设会话时间阈值，则确定所述日志单元异常；
其中，会话用于表示事务从开始至结束的时间和操作空间。
本申请实施例中，通过对日志单元的相关信息的判断，确定日志单元是否异常，从而输出异常的日志单元，有利于故障的根因分析，能够满足故障定位的需求。
进一步地，在本申请的一个实施例中，所述将所述结构化的日志信息进行分类聚合，包括：
从所述结构化的日志信息中获取满足预设条件的若干个日志信息；
将所述满足预设条件的若干个日志信息进行合并，得到所述日志单元。
本申请实施例中，通过将结构化的日志信息进行分类聚合，将满足预设条件的若干个日志信息进行合并，有利于减少日志的输出，同时，提升日志信息之间的关联性，有利于提升异常监测系统的性能。
进一步地，在本申请的一个实施例中，所述结构化的日志信息具有会话标识，所述预设条件为具有相同的所述会话标识；所述将所述满足预设条件的若干个日志信息进行合并，得到所述日志单元，包括：
将具有相同的所述会话标识的若干个日志信息按照预设的排列方式进行合并，得到所述日志单元。
进一步地，在本申请的一个实施例中，所述日志单元的简要信息包括日志单元的关联描述信息，所述日志单元的关联描述信息用于描述当前所述日志单元与历史输出的日志单元之间的关联关系；所述若所述日志单元的异常类型不属于首次输出的异常类型，则输出所述日志单元的简要信息这一步骤，包括：
若当前所述日志单元的异常类型不属于首次输出的异常类型，则输出当前所述日志单元的关联描述信息。
本申请实施例中，对于当前所述日志单元的异常类型不属于首次输出的异常类型的情况，输出当前所述日志单元的关联描述信息。通过输出所述关联描述信息，减少日志单元的输出信息量，同时提升日志单元之间的关联性，提升异常监测系统的效率。
进一步地，在本申请的一个实施例中，所述日志单元的简要信息包括所述日志单元的预设标识，所述若所述日志单元的异常类型不属于首次输出的异常类型，则输出所述日志单元的简要信息这一步骤，包括：
若所述日志单元的异常类型不属于首次输出的异常类型，输出所述日志单元的预设标识
本申请实施例中，对于所述日志单元的异常类型不属于首次输出的异常类型的情况，输出所述日志单元的预设标识，有利于减少日志单元的输出信息，减轻系统的负荷，提升系统的运行性能。
进一步地，在本申请的一个实施例中，所述日志信息包括第一日志信息和第二日志信息，所述日志信息通过以下步骤生成：
在事务处理的入口生成所述第一日志信息；
在事务处理的出口输出所述第二日志信息；
其中，所述第二日志信息由所述第一日志信息更新得到，所述事务用于表示处理消息或数据时的一系列操作。
本申请实施例中，日志信息可以在事务处理的入口和出口生成，通过在事务会话进程中获取日志信息，有利于增加日志信息的系统性，提升异常监测系统的监测范围。
进一步地，本申请实施例的基于日志的异常监测方法，还包括以下步骤；
当所述日志单元异常，统计所述日志单元异常的出现次数；
若所述日志单元异常的出现次数大于预设的次数阈值，输出告警信息。
本申请实施例中，增加告警信息，提醒用户注意，提升监测系统的实用性。
进一步地，本申请实施例的基于日志的异常监测方法，还包括以下步骤；
当所述日志单元正常，删除所述日志单元。
本申请实施例中，对于所述日志单元正常的情况，删除所述日志单元。减少日志单元的输出，有利于减轻系统的负荷，提升系统的性能。
进一步地，在本申请的一个实施例中，所述方法由异常监测系统执行，所述异常监测系统包括第一日志管理模块、第二日志管理模块、异常监测模块和日志输出模块，所述将所述结构化的日志信息进行分类聚合，得到日志单元，包括：
通过所述第一日志管理模块将所述结构化的日志信息进行分类聚合，得到第一日志单元；
通过所述第二日志管理模块将所述结构化的日志信息进行分类聚合，得到第二日志单元；
当所述异常监测模块确定所述日志单元异常，由所述异常监测模块发送输出请求给所述日志输出模块；
根据所述输出请求，通过所述日志输出模块获取所述第一日志管理模块发送的所述第一日志单元，通过所述日志输出模块获取所述第二日志管理模块发送的所述第二日志单元，进而由所述日志输出模块将所述第一日志单元和所述第二日志单元进行二次聚合，得到所述日志单元；
或者，根据所述输出请求，通过所述日志输出模块发送二次聚合请求给所述第一日志管理模块或所述第二日志管理模块，以使所述第一日志管理模块或所述第二日志管理模块将所述第一日志单元和所述第二日志单元进行二次聚合，得到所述日志单元。
本申请实施例中，增加基于日志的分布式日志管理流程，在日志信息较多时，提升系统响应时间，提升用户体验。
另一方面，本申请实施例提出了一种基于日志的异常监测系统，包括：
日志采集模块，用于获取日志信息；
日志管理模块，用于将所述日志信息进行结构化处理，得到结构化的日志信息；将所述结构化的日志信息进行分类聚合，得到日志单元；
异常监测模块，用于当所述日志单元异常，判断所述日志单元的异常类型是否属于首次输出的异常类型；
日志输出模块，用于当所述日志单元的异常类型不属于首次输出的异常类型，输出所述日志单元的简要信息；当所述日志单元的异常类型属于首次输出的异常类型，输出所述日志单元。
进一步地，在本申请的一个实施例中，所述系统还包括：
异常告警模块，用于当所述日志单元异常时，统计所述日志单元异常的出现次数；当所述日志单元异常的出现次数大于预设的次数阈值时，输出告警信息。
另一方面，本申请实施例提供了一种基于日志的异常监测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的基于日志的异常监测方法。
另一方面，本申请实施例提供了一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于实现上述的基于日志的异常监测方法。
本申请实施例提供了一种基于日志的异常监测方法，该方法通过获取日志信息，将日志信息进行结构化处理和分类聚合，得到日志单元，当日志单元异常，判断日志单元的异常类型是否属于首次输出的异常类型；若日志单元的异常类型不属于首次输出的异常类型，则输出日志单元的简要信息；若日志单元的异常类型属于首次输出的异常类型，则输出日志单元。该方法能够在日志出现异常时输出该日志信息，有利于故障的根因分析，能够满足故障定位的需求；同时，通过结构化处理和分类聚合，有利于缓解日志信息之间缺乏关联性的情况，提升异常监测的效率。
附图说明
为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本申请的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1为本申请提供的一种基于日志的异常监测方法的流程示意图；
图2为相关技术中的日志监测系统对应的业务系统的架构图；
图3为本申请提供的一种基于日志的异常监测系统的结构示意图；
图4为本申请提供的一种基于日志的异常监测方法的一种实施例的流程示意图；
图5为本申请提供的一种基于日志的异常监测方法的另一种实施例的流程示意图；
图6为本申请提供的一种基于日志的异常监测方法的另一种实施例的流程示意图；
图7为本申请提供的一种基于日志的异常监测装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在通信系统中，日志作为记录系统运行信息的一种方法，同时行使着排查故障定位问题的重要功能。随着虚拟化的发展，通信网络越来越趋于模块化，示例性地，如5G核心网的网络，与3G和4G网络相比，网元类型更多，同时随着网络的水平扩展能力的提升，网元的数量也逐渐增多。系统组网复杂性的增加，增加了日志信息的分散度，也加大了用日志来排查故障的难度。
此外，现有的日志系统，大多数采用分级打印机制，通常分成错误、警告、信息、调试等级别，级别越低，记录信息越多，对定位故障越有利，但是日志存储和输入输出量也会增加。所以一般商用系统只开启高级别日志。当系统发生故障，需要定位问题时，再打开低级别日志，因此对于偶发性问题，故障定位缺乏时效性，同时低级别日志的打开时间难以确定。另外，大量低级别日志的输出，会增加系统输入输出的负荷，影响业务系统的正常运行，所以商用环境也不适合打开低级别日志输出。
日志信息一般按时间排序输出，满足级别的日志无差别输出，日志信息之间的关联性不够，重复信息较多。同时，每个模块只针对自身操作做日志记录，没有更高级别的日志监控管理，对于模块间、节点间的通信或处理异常，系统可能就不存在异常日志，形成监测的漏洞。
对此，本申请提出一种基于日志的异常监测方法、系统、装置及存储介质，该方法能够在日志出现异常时输出该日志信息，有利于故障的根因分析，能够满足故障定位的需求；同时，通过结构化处理和分类聚合，有利于缓解日志信息之间缺乏关联性的情况，提升异常监测的效率。下面详细介绍本申请提出的技术方案。
本申请实施例提供的一种基于日志的异常监测方法的实施环境可以包括终端和服务器。该终端可以为用户侧设备，可以安装和运行有应用程序。该应用程序的资源包中可以包括用于采集日志信息的程序代码，该终端可以将应用程序在运行过程中所产生的日志信息上报至服务器。该终端也可将自身在运行过程中所产生的日志信息上报至服务器。上述服务器可以是该应用程序对应的后台服务器、测试服务器等，该服务器可以对该终端上报的日志信息进行数据处理，并通过该日志信息对相应的系统进行异常监测。本申请提供的异常监测方法，可以应用于终端或服务器中的任何系统，本申请并不限定具体的应用环境。
上述终端可以是智能手机、平板电脑、电子书阅读器、MP3(Moving PictureExperts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机、台式计算机、智能音箱、智能手表等。上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端和服务器之间可以通过有线网络或无线网络相连，使终端和服务器之间可以进行数据交互。本领域技术人员可以知晓，上述终端的数量可以仅为一个，或者上述终端为几十个或几百个，或者更多数量。本申请对终端的数量和设备类型不加以限定。
本申请实施例提供的基于日志的异常监测方法可以与多种应用场景相结合，例如，在若干终端与服务器进行通信的业务系统中，对该业务系统进行异常监控时，可以应用本申请实施例提供的技术方案。采集各个终端与服务器之间的通信过程所产生的日志信息，并对该日志信息进行处理，当日志信息存在异常时，输出该日志信息，有利于故障的根因分析，能够满足故障定位的需求。
下面参照附图详细描述根据本申请实施例提出的一种基于日志的异常监测方法和系统，首先将参照附图描述本申请实施例提出的一种基于日志的异常监测方法。
参照图1，本申请实施例中提出一种基于日志的异常监测方法，该方法主要包括以下步骤：
S101：获取日志信息；
本申请实施例中，日志信息可以由终端中的系统产生，也可以由服务器中的系统产生，还可以由终端与服务器之间通信的相关系统产生，本方法首先获取日志信息。该日志信息可以包括会话标识、事务标识、模块标识、日志点标识、会话开始标识、当前时间等，该日志信息还可以包括操作标识，日志来源标识等信息，本申请并不限定具体的日志信息的内容。其中，会话标识用于标记某一次事务会话；事务标识用于标记事务类型，示例性地，如处理会话单、处理定时器消息等；模块标识用于标记输出日志信息的模块名称或编号；日志点标识用于标记程序输出日志的代码点，示例性地，可以是文件名+行号经过哈希运算得到一个值；会话开始标识，用于标记某个事务会话开始；当前时间，用于标记日志提交时的本地时间；日志信息还可以包括在日志中记录的其它业务相关信息。当然，本领域技术人员可以根据实际需要，周期性地或者计划性地获取日志信息，对于不同的系统，采用不同的实施方案获取日志信息。
S102：将日志信息进行结构化处理，得到结构化的日志信息；
本申请实施例中，将日志信息进行结构化处理，得到结构化的日志信息。结构化信息即能够用数据或统一的结构加以表示的信息，示例性地，可以将日志信息按照设定规则处理，得到结构化的日志信息。在一些可能的实施方式中，将业务系统产生的日志信息转化为“日志名称、位置、时间、产生模块名称”的数据格式，可以通过规定的字符作为不同的字段之间的划分。本领域技术人员可以理解的是，以上数据格式仅是示例性的说明，并不构成对日志信息的结构化处理的方式的具体限定内容，可以通过其它的方式，进行日志信息的结构化处理。通过将日志信息进行结构化处理，简化日志解析，使得日志的后续处理、分析或查询变得方便高效，提高异常监测的效率。同时，结构化的日志信息，方便建立日志信息之间的关联，缓解日志信息冗余、杂乱无章的现象。本申请并不限定对日志信息进行结构化处理时所采用的方法，也不限定结构化的日志信息的具体表现形式。
S103：将结构化的日志信息进行分类聚合，得到日志单元；
本申请实施例中，将结构化的日志信息进行分类聚合，得到日志单元。在一些可能的实施方式中，可以将结构化的日志信息按照设定标识进行分类，也可以将结构化的日志信息按照设定属性进行分类，还可以将结构化的日志信息按照设定用途进行分类，然后聚合得到日志单元。可以理解的是，上述方式是示例性的列举，并不限制分类聚合的具体方式方法。通过将日志信息进行分类聚合，有利于提升日志信息之间的关联度，提升异常监测的效率，同时，便于用户进行故障定位。
S104：当日志单元异常，判断日志单元的异常类型是否属于首次输出的异常类型；
本申请实施例中，对于日志单元存在异常的情况，判断日志单元的异常类型是否属于首次输出的异常类型。即判断当前异常的日志单元，是否与已输出的异常的日志单元属于同种异常类型。在一些可能的实施方式中，可以将出现异常的原因和结果均相同的异常视为同种类型的异常。同样，本领域技术人员可以通过增加时间属性，进行是否属于首次输出的异常类型的判断，即判断日志单元的异常类型在一段时间内是否属于首次输出的异常类型。对于一段时间的设定，可以是实时的时间，也可以是固定的当地时间段，还可以是非固定的时间段。根据系统在不同时间段内的使用频率或重要程度，设定不同区间长度的时间段，满足系统需求的同时，提供多样化的选择。
S105：若日志单元的异常类型不属于首次输出的异常类型，则输出日志单元的简要信息；
本申请实施例中，对于日志单元的异常类型不属于首次输出的异常类型的情况，输出日志单元的简要信息。其中，日志单元的简要信息用于表征日志单元的属性、标识或字段等信息，使得用户、管理员或系统可以通过该简要信息找到该日志单元。在一些可能的实施方式中，日志单元的简要信息可以是表征该日志单元的某些设定属性，也可以是表征该日志单元的某些设定信息，还可以是表征该日志单元的某些设定标识，本申请并不限定日志单元的简要信息的具体表现形式。通过输出日志单元的简要信息，减少日志单元的输出信息量，有利于减轻系统的负荷，同时，对于相同异常类型的日志单元，只输出一次日志单元的完整信息，便于用户、管理员或系统进行故障定位，降低故障定位的难度。
S106：若日志单元的异常类型属于首次输出的异常类型，则输出日志单元。
本申请实施例中，对于日志单元的异常类型属于首次输出的异常类型的情况，输出日志单元，即对于首次出现的日常类型，输出该异常的日志单元的所有日志信息，有利于故障的根因分析。
可选地，本申请实施例中的基于日志的异常监测方法，对于判断日志单元的异常类型是否属于首次输出的异常类型的方法，包括以下之一：
若当前日志单元与历史输出的日志单元具有相同的异常标识，则确定当前日志单元的异常类型不属于首次输出的异常类型；
或者，若当前日志单元与历史输出的日志单元具有相同的事务标识且具有相同的异常标识，则确定当前日志单元的异常类型不属于首次输出的异常类型；
或者，若当前日志单元与历史输出的日志单元具有相同的事务标识、具有相同的日志点标识且具有相同的异常标识，则确定当前日志单元的异常类型不属于首次输出的异常类型；
或者，若日志单元具有第一输出标识，则确定日志单元的异常类型不属于首次输出的异常类型。
本步骤中，可以根据实际的情况灵活选取是否属于首次输出的异常类型的判断方式。
在一些可能的实施方式中，对于当前日志单元与历史输出的日志单元具有相同的异常标识的情况，可以确定当前日志单元的异常类型不属于首次输出的异常类型。可选地，可以将历史输出的日志单元的异常标识(简称历史异常标识)存储到数据库中，这样在具体的判断时，就可以将当前日志单元的异常标识(简称当前异常标识)与数据库中的历史异常标识进行比较，若通过比较发现数据库中存在与当前异常标识相同的历史异常标识，则判定当前日志单元的异常类型不属于首次输出的异常类型；若数据库中不存在与当前异常标识相同的历史异常标识，则判定当前日志单元的异常类型属于首次输出的异常类型。
在一些可能的实施方式中，对于日志信息包括事务会话的情况，异常标识相同的日志单元，可以认为是系统级别下的相同类型的异常日志。而对于事务级别的日志单元，判定异常日志的类型是否相同的方法可以设定为：对于事务标识相同的日志单元，若异常标识也相同，则可以认为是事务级别下的相同类型的异常日志单元。同样，对于模块级别下的日志单元，即同时包含事务标识和日志点标识时，判定异常日志的类型是否相同的方法可以设定为：对于事务标识相同且日志点标识相同的日志单元，若异常标识也相同，则可以认为是模块级别下的相同类型的异常日志。对应地，事务级别下，对于当前日志单元与历史输出的日志单元具有相同的异常标识且具有相同的事务标识的情况；或者，模块级别下，对于当前日志单元与历史输出的日志单元具有相同的异常标识、具有相同的事务标识且具有相同的日志点标识的情况，可以确定当前日志单元的异常类型不属于首次输出的异常类型。通过上述与历史输出的日志单元之间的比较判断，可以判断出异常的日志单元属于哪个维度下的异常类型，并不局限于模块本身，有利于提高异常监测的广度和精度。
在一些可能的实施方式中，对于异常的日志单元，可以通过建立第一输出标识的方式，判断当前日志单元的异常类型是否属于首次输出的异常类型。其中，第一输出标识，用于标识首次输出的异常类型，可以通过数值、字段或文字等方式来进行具体的标识。示例性地，第一输出标识可以通过具体的数值进行标记，0代表不属于首次输出的异常类型，1代表属于首次输出的异常类型。本领域技术人员可以通过其它方式标记第一输出标识，本申请并不限定第一输出标识的具体标记方法。可以理解，通过建立第一输出标识，用户、管理员或系统可以更方便直接地对日志单元的异常类型是否属于首次输出的异常类型进行判断，提高系统的监测效率。
可选地，本申请实施例中的基于日志的异常监测方法，还包括判断日志单元是否异常的步骤，该步骤包括以下之一：
若日志单元包括异常标识，则确定日志单元异常；
或者，若日志单元缺少会话结束标识，则确定日志单元异常；
或者，若日志单元的会话时间大于预设会话时间阈值，则确定日志单元异常；
其中，会话用于表示事务从开始至结束的时间和操作空间。
本步骤中，提出了判断日志单元是否异常的步骤。对于日志单元包括异常标识的情况，则可确定日志单元异常。示例性地，当日志单元缺少会话结束标识或日志单元的会话时间大于预设会话时间阈值，可以认为该日志单元异常，同样，可通过将上述两种异常标记异常标识的方法，进行日志单元异常的判断处理。对于预设会话阈值，可以根据系统的事务时长和系统的繁忙程度综合设定。以上三种日志单元的异常判断方式仅是部分的示例说明，并不构成对日志单元的异常判断方式的具体限定内容，本领域技术人员可以理解的是，还可以通过其它的方式进行异常日志的判断。
可选地，本申请实施例中的基于日志的异常监测方法，其中将结构化的日志信息进行分类聚合，包括以下步骤：
从结构化的日志信息中获取满足预设条件的若干个日志信息；
将满足预设条件的若干个日志信息进行合并，得到日志单元。
本步骤中，对于日志信息中包含若干个的情况，将满足预设条件的日志信息进行合并，得到日志单元。在一些可能的实施例中，预设条件可以是日志信息具有相同的属性，也可以是日志信息具有相同的描述，还可以是日志信息具有相同的信息等。当然，本领域技术人员可以理解的是，以上三种预设条件仅是部分的示例说明，并不构成对根据预设条件进行日志信息的合并的判断和操作的具体限定内容，也可以通过其它的方式，进行日志信息的合并的判断和操作。在一些可能的实施方式中，具体的合并方式可以是，将具有相同内容的日志合并为相互连接的信息或数据，示例性地，将具有相同内容的日志合并为首尾字段相连接的字符串，本申请并不限定具体的合并方式。将满足预设条件的若干个日志信息进行合并，在日志异常的情况下，只输出一次，有利于减少用户、管理员或系统的判断次数，提升异常监测的效率。
可选地，本申请实施例中的基于日志的异常监测方法，结构化的日志信息具有会话标识，预设条件为具有相同的会话标识；将满足预设条件的若干个日志信息进行合并，得到日志单元，包括：
将具有相同的会话标识的若干个日志信息按照预设的排列方式进行合并，得到日志单元。
本步骤中，将具有相同的会话标识的若干个日志信息按照预设的排列方式进行合并，得到日志单元。在一些可能的实施方式中，预设的排列方式可以是按照时间顺序进行排列，也可以是按照产生日志的模块名称进行排列，本申请并不限定具体的排列方式。
可选地，本申请实施例中的基于日志的异常监测方法，日志单元的简要信息包括日志单元的关联描述信息，日志单元的关联描述信息用于描述当前日志单元与历史输出的日志单元之间的关联关系；若日志单元的异常类型不属于首次输出的异常类型，则输出日志单元的简要信息这一步骤S105，包括：
若当前日志单元的异常类型不属于首次输出的异常类型，则输出当前日志单元的关联描述信息。
本步骤中，对于当前日志单元的异常类型不属于首次输出的异常类型的情况，输出当前日志单元的关联描述信息。对于不属于首次输出的异常类型的异常的日志单元，不需要输出该日志单元的所有信息，只需要输出当前日志单元与历史输出的日志单元之间的关联描述信息，用户、管理员或系统若需要了解该异常的日志单元的信息时，可以通过该关联描述信息进行查找，既能够满足故障查找定位的需求，又有利于降低输出的日志信息量，提升系统性能。在一些可能的实施方式中，关联描述信息可以是表征与历史输出的日志单元之间的连接关系的标记，示例性地，如指针、字符标记等。本申请并不限定该关联描述信息的具体表现形式，本领域技术人员可以根据需要选择其它形式来表述当前日志单元与历史输出的日志单元之间的连接关系。
可选地，本申请实施例中的基于日志的异常监测方法，日志单元的简要信息包括日志单元的预设标识，若日志单元的异常类型不属于首次输出的异常类型，则输出日志单元的简要信息这一步骤S105，包括：
若日志单元的异常类型不属于首次输出的异常类型，输出日志单元的预设标识。
本步骤中，对于日志单元的异常类型不属于首次输出的异常类型的情况，输出该日志单元的预设标识。在一些可能的实施例中，该预设标识可以是用户、管理员或系统指定的标识，可以是表征该异常的日志单元相关属性的信息，还可以是表征该异常的日志单元的相关描述的信息。本领域技术人员应当理解的是，上述只是该预设标识的示例性举例，并不用于限定具体的预设标识的表达形式。本领域技术人员可以通过该预设标识，查看该异常的日志单元的具体信息，有利于故障的定位和根因分析。
可选地，本申请实施例中的基于日志的异常监测方法，日志信息包括第一日志信息和第二日志信息，日志信息通过以下步骤生成：
在事务处理的入口生成第一日志信息；
在事务处理的出口输出第二日志信息；
其中，第二日志信息由第一日志信息更新得到，事务用于表示处理消息或数据时的一系列操作。
本步骤中，日志信息可以在事务的进程中生成。在每个事务处理的入口，生成第一日志信息，在事务处理的出口生成更新后的第一日志信息，即第二日志信息。该日志信息可以表征系统级别的事务，同时也包括了系统级别的异常的日志信息，有利于提升异常监测的监测范围，提升该异常监测方法的实用性。
可选地，本申请实施例中的基于日志的异常监测方法，还包括：
当日志单元异常，统计日志单元异常的出现次数；
若日志单元异常的出现次数大于预设的次数阈值，输出告警信息。
本步骤中，对于异常的日常单元比较多的情况，增加了输出告警信息，提醒用户、管理员或系统注意排故，以便及时进行故障定位，恢复系统的运行。在一些可能的实施方式中，当日志单元异常的总量超过预设的次数阈值时，输出告警信息。本领域技术人员可以理解的是，也可以设置为当首次输出的异常类型超过预设的次数阈值时，输出告警信息。当然，还可以根据需要设置为当某种异常类型出现的次数超过预设的次数阈值时，输出告警信息。具体告警信息输出条件的设置，可以根据实际需要选择。该预设的次数阈值，可以从系统的使用情况，使用频率和重要程度等方面综合考量后进行设定。在一些可能的实施例中，可以增加时间属性，统计一段时间内的日志单元异常的出现次数。
可选地，本申请实施例中的基于日志的异常监测方法，还包括：
当日志单元正常，删除日志单元。
本步骤中，对于日志单元正常的情况，将日志单元删除。正常的日志单元，对于异常监测系统而言，参考价值不大，同时占用内存空间。因此，删除正常的日志单元，有利于减轻系统的负荷，提升系统的性能。
可选地，本申请实施例中的基于日志的异常监测方法，由异常监测系统执行，异常监测系统包括第一日志管理模块、第二日志管理模块、异常监测模块和日志输出模块，将结构化的日志信息进行分类聚合，得到日志单元，包括：
通过第一日志管理模块将结构化的日志信息进行分类聚合，得到第一日志单元；
通过第二日志管理模块将结构化的日志信息进行分类聚合，得到第二日志单元；
当所述异常监测模块确定所述日志单元异常，由所述异常监测模块发送输出请求给所述日志输出模块；
根据所述输出请求，通过所述日志输出模块获取所述第一日志管理模块发送的所述第一日志单元，通过所述日志输出模块获取所述第二日志管理模块发送的所述第二日志单元，进而由所述日志输出模块将所述第一日志单元和所述第二日志单元进行二次聚合，得到所述日志单元；
或者，根据所述输出请求，通过所述日志输出模块发送二次聚合请求给所述第一日志管理模块或所述第二日志管理模块，以使所述第一日志管理模块或所述第二日志管理模块将所述第一日志单元和所述第二日志单元进行二次聚合，得到所述日志单元。
本步骤中，对于日志信息较多的系统，可以采用分布式缓存的方式进行日志信息的分类聚合。可以通过第一日志管理模块和第二日志管理模块分别对日志信息进行分类聚合，提升系统响应速度。当异常监测模块确定日志单元异常时，再进行二次聚合，有利于减少消息量，提升系统性能。当然，日志管理模块可以是一个，也可以是两个，还可以是多个，本领域技术人员可以根据实际需要选择不同数量的日志管理模块进行布局。在一些可能的实施例中，若日志单元异常，需要输出日志单元时，由异常监测模块发送输出请求给日志输出模块，通过日志输出模块获取第一日志管理模块发送的第一日志单元，并获取第二日志管理模块发送的第二日志单元，然后通过日志输出模块对上述第一日志单元和第二日志单元进行二次聚合后，得到日志单元，进而进行异常类型的判断，然后按照上述介绍的输出方式输出日志单元。在一些可能的实施例中，由异常监测模块发送输出请求给日志输出模块，由日志输出模块发送二次聚合请求给第一日志管理模块或第二日志管理模块，以使第一日志管理模块或第二日志管理模块将第一日志单元和第二日志单元进行二次聚合，得到日志单元，并由日志输出模块输出日志单元。可选地，可以由第一日志管理模块进行二次聚合操作，也可以由第二日志管理模块进行二次聚合操作，还可以由第一日志管理模块和第二日志管理模块共同进行二次聚合操作。示例性地，以由第一日志管理模块进行二次聚合操作为例，聚合过程为：由日志输出模块发送二次聚合请求给第一日志管理模块，二次聚合请求中携带有第二日志单元信息，这样，第一日志管理模块就可以将第一日志单元和第二日志单元进行二次聚合，得到日志单元，并返回给日志输出模块输出该日志单元。
通过以上描述可知，本申请实施例中提出的基于日志的异常监测方法，通过获取日志信息，将日志信息进行结构化处理和分类聚合，得到日志单元；当日志单元异常，判断日志单元的异常类型是否属于首次输出的异常类型；若不属于首次输出的异常类型，则输出日志单元的简要信息；若属于首次输出的异常类型，则输出日志单元。该系统包括日志采集模块、日志管理模块、异常监测模块和日志输出模块。通过使用本申请中提供的方法，能够在日志出现异常时输出该日志信息，有利于故障的根因分析，能够满足故障定位的需求；同时，有利于缓解日志信息之间缺乏关联性的情况，提升异常监测的效率。
其次，参照附图2和附图3描述根据本申请实施例提出的一种基于日志的异常监测系统。
本发明所提出的一种基于日志的异常监测系统对应的业务系统的架构图如图2所示。异常监测系统属于日志管理子系统的一部分。日志管理子系统属于业务系统(网元)的操作维护管理(OAM)功能的组成部分。业务系统由若干业务节点(示例性地，如图2中业务节点1、业务节点2和业务节点3所示)和一个日志管理子系统组成，每个业务节点包含若干业务模块(示例性地，如图2中业务模块11、业务模块12、业务模块13和业务模块32等)，每个业务模块都输出日志信息至日志管理子系统，异常监测系统可以获取该日志信息，通过上述的异常监测方法对系统进行异常监测。可以理解的是，图中显示的业务节点和相应的业务模块的个数是示例性的，本领域技术人员可以根据实际需要调整具体个数。
基于图2的系统架构，提出本申请一个实施例的基于日志的异常监测系统的结构示意图，如图3所示，该系统具体包括：
日志采集模块310，用于获取日志信息；
日志管理模块320，用于将日志信息进行结构化处理，得到结构化的日志信息；将结构化的日志信息进行分类聚合，得到日志单元；
异常监测模块330，用于当日志单元异常，判断日志单元的异常类型是否属于首次输出的异常类型；
日志输出模块340，用于当日志单元的异常类型不属于首次输出的异常类型，输出日志单元的简要信息；当日志单元的异常类型属于首次输出的异常类型，输出日志单元。
可选地，本申请实施例中的基于日志的异常监测系统，还包括：
异常告警模块，用于当所述日志单元异常时，统计所述日志单元异常的出现次数；当所述日志单元异常的出现次数大于预设的次数阈值时，输出告警信息。
可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
为了更好地说明本方案提出的异常监测方法和异常监测系统，下面通过三个示例进行具体说明：
示例一：如图4所示，以单个业务模块为例，对本申请提出的基于日志的异常监测方法进行说明，该方法具体包括以下步骤401-步骤410：
步骤401：事务开始时，业务模块向会话管理模块注册会话，会话管理模块生成日志信息，该日志信息包括会话标识，会话管理模块还用于保证该会话标识在该业务系统中的唯一性。
步骤402：业务模块提交事务开始的日志信息。
步骤402可以进一步划分为步骤402a和步骤402b：
步骤402a：事务的后续进程中，系统在经过的日志点生成后续的日志信息，日志采集模块获取该日志信息。示例性地，如果是异常日志，则该日志信息中会携带异常标示。
步骤402b：事务处理结束时，系统生成会话结束的日志信息，向日志采集模块发送该信息，同时，会话结束标识，用于表示某个事务会话结束。
步骤403：日志采集模块获取上述日志信息。
步骤404和步骤405：日志采集模块将上述日志信息缓存至日志管理模块，以使日志管理模块对上述日志信息进行分类聚合，形成日志单元。
步骤406和步骤407：异常监测模块对该日志单元进行判断，当日志单元异常，判断日志单元的异常类型是否属于首次输出的异常类型，日志输出模块用于输出该日志单元。
步骤407和步骤408可以进一步细分为以下步骤：
步骤407a和步骤408a：若日志单元的异常类型不属于首次输出的异常类型，则输出日志单元的简要信息；
步骤407b和步骤408b：若日志单元的异常类型属于首次输出的异常类型，则输出日志单元的完整信息；若日志单元正常，则删除该日志单元。
步骤409：日志管理模块统计一定时间范围内的异常日志单元出现次数。
步骤410：若异常日志单元出现次数超过预设的次数阈值，则上报告警，告警携带具体异常信息。
示例二：如图5所示，以多业务模块为例，日志信息采用集中缓存的方式进行处理，在事务处理的流程中，该方法包括以下步骤501-步骤510：
步骤501：事务开始时，第一业务模块向会话管理模块注册会话。
步骤502：第一业务模块提交事务开始的日志信息。
步骤502可以进一步划分为步骤502a和步骤502b：
步骤502a：随着事务处理的流程，第二业务模块提交事务中的日志信息。
步骤502b：事务处理结束时，第一业务模块提交事务结束的日志信息。
步骤503：日志采集模块采集上述日志信息。
步骤504至步骤510同示例一中的步骤404至步骤410。
本领域技术人员可以理解的是，上述步骤可由第一业务模块和第二业务模块中的任意一个模块执行，图5中所述的步骤流程线路属于示例性地描述，即可通过第一业务模块或第二业务模块中的任意一个业务模块进行日志信息的生成，并将日志信息发送至日志采集模块。通过多业务模块的布局，缓解了日志信息繁多时的系统生成日志信息的压力，提升系统响应速度，提高用户体验。
示例三：如图6所示，以多业务模块，日志信息采用分布缓存的方式进行处理，由第一日志管理模块或第二日志管理模块进行二次聚合得到日志单元为例，在事务处理的流程中，该方法包括以下步骤601-步骤610：
步骤601：事务开始时，第一业务模块向会话管理模块注册会话。
步骤602：第一业务模块提交事务开始的日志信息至第一日志采集模块。
步骤602可以进一步划分为步骤602a和步骤602b：
步骤602a：随着事务处理的流程，第二业务模块提交事务中的日志信息至第二日志采集模块。
步骤602b：事务处理结束时，第一业务模块提交事务结束的日志信息至第一日志采集模块。
步骤603和步骤604可以进一步细分为以下步骤：
步骤603a和步骤604a：第一日志采集模块获取上述日志信息，并将上述日志信息缓存至第一日志管理模块；
步骤603b和步骤604b：第二日志采集模块获取上述日志信息，并将上述日志信息缓存至第二日志管理模块。
步骤605可以进一步细分为以下步骤：
步骤605a：第一日志管理模块将日志信息进行结构化处理和分类聚合，得到第一日志单元。
步骤605b：第二日志管理模块将日志信息进行结构化处理和分类聚合，得到第二日志单元。
步骤606：异常监测模块对第一日志单元和第二日志单元进行日志单元的异常判断。
步骤607：若日志单元异常，则由日志输出模块发出输出请求。
步骤608a和步骤608b：第一日志管理模块或第二日志管理模块接收到上述输出请求后，对第一日志单元和第二日志单元进行二次聚合操作，得到日志单元。
步骤609：日志输出模块接收上述日志单元后，输出日志单元。
步骤610至步骤611：对异常日志单元按照上述异常告警处理方法进行处理，如达到预设阈值时，输出告警信息。
从上述的描述可以看出，系统中可以布局多个业务模块、多个日志采集模块和多个日志管理模块，在日志信息生成阶段，多个业务模块均参与工作，后将日志信息发送至多个日志采集模块中的任意一个，后经过多个日志管理模块的分类聚合，得到日志单元。通过布局多个业务模块、多个日志采集模块和多个日志管理模块，有利于提升系统的运行性能，满足对于异常监测的时间性能的要求。本领域技术人员可以理解的是，上述三个示例中的业务模块、日志采集模块和日志管理模块的个数属于示例性地展示，本申请并不限定业务模块、日志采集模块和日志管理模块的具体个数。以上三个示例属于示例性的举例，并不作为对本申请具体实施方式的限制。
参照图7，本申请实施例提供了一种基于日志的异常监测装置，包括：
至少一个处理器710；
至少一个存储器720，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器710执行时，使得所述至少一个处理器710实现所述的基于日志的异常监测方法。
同理，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干程序用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行程序的定序列表，可以具体实现在任何计算机可读介质中，以供程序执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从程序执行系统、装置或设备取程序并执行程序的系统)使用，或结合这些程序执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供程序执行系统、装置或设备或结合这些程序执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的程序执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明，但本申请并不限于所述实施例，熟悉本领域的技术人员在不违背本申请精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (15)

1.一种基于日志的异常监测方法，其特征在于，包括以下步骤：
获取日志信息；
将所述日志信息进行结构化处理，得到结构化的日志信息；
将所述结构化的日志信息进行分类聚合，得到日志单元；
当所述日志单元异常，判断所述日志单元的异常类型是否属于首次输出的异常类型；
若所述日志单元的异常类型不属于首次输出的异常类型，则输出所述日志单元的简要信息；
若所述日志单元的异常类型属于首次输出的异常类型，则输出所述日志单元。
2.根据权利要求1所述的基于日志的异常监测方法，其特征在于，所述判断所述日志单元的异常类型是否属于首次输出的异常类型，包括以下之一：
若当前所述日志单元与历史输出的日志单元具有相同的异常标识，则确定当前所述日志单元的异常类型不属于首次输出的异常类型；
或者，若当前所述日志单元与历史输出的日志单元具有相同的事务标识且具有相同的异常标识，则确定当前所述日志单元的异常类型不属于首次输出的异常类型；
或者，若当前所述日志单元与历史输出的日志单元具有相同的事务标识、具有相同的日志点标识且具有相同的异常标识，则确定当前所述日志单元的异常类型不属于首次输出的异常类型；
或者，若所述日志单元具有第一输出标识，则确定所述日志单元的异常类型不属于首次输出的异常类型。
3.根据权利要求1所述的基于日志的异常监测方法，其特征在于，所述方法还包括判断所述日志单元是否异常的步骤，所述判断所述日志单元是否异常的步骤包括以下之一：
若所述日志单元包括异常标识，则确定所述日志单元异常；
或者，若所述日志单元缺少会话结束标识，则确定所述日志单元异常；
或者，若所述日志单元的会话时间大于预设会话时间阈值，则确定所述日志单元异常；其中，会话用于表示事务从开始至结束的时间和操作空间。
4.根据权利要求1所述的基于日志的异常监测方法，其特征在于，所述将所述结构化的日志信息进行分类聚合，包括：
从所述结构化的日志信息中获取满足预设条件的若干个日志信息；
将所述满足预设条件的若干个日志信息进行合并，得到所述日志单元。
5.根据权利要求4所述的基于日志的异常监测方法，其特征在于，所述结构化的日志信息具有会话标识，所述预设条件为具有相同的所述会话标识；所述将所述满足预设条件的若干个日志信息进行合并，得到所述日志单元，包括：
将具有相同的所述会话标识的若干个日志信息按照预设的排列方式进行合并，得到所述日志单元。
6.根据权利要求1所述的基于日志的异常监测方法，其特征在于，所述日志单元的简要信息包括所述日志单元的关联描述信息，所述日志单元的关联描述信息用于描述当前所述日志单元与历史输出的日志单元之间的关联关系；所述若所述日志单元的异常类型不属于首次输出的异常类型，则输出所述日志单元的简要信息这一步骤，包括：
若当前所述日志单元的异常类型不属于首次输出的异常类型，则输出当前所述日志单元的关联描述信息。
7.根据权利要求1所述的基于日志的异常监测方法，其特征在于，所述日志单元的简要信息包括所述日志单元的预设标识，所述若所述日志单元的异常类型不属于首次输出的异常类型，则输出所述日志单元的简要信息这一步骤，包括：
若所述日志单元的异常类型不属于首次输出的异常类型，输出所述日志单元的预设标识。
8.根据权利要求1所述的基于日志的异常监测方法，其特征在于，所述日志信息包括第一日志信息和第二日志信息，所述日志信息通过以下步骤生成：
在事务处理的入口生成所述第一日志信息；
在事务处理的出口输出所述第二日志信息；
其中，所述第二日志信息由所述第一日志信息更新得到，所述事务用于表示处理消息或数据时的一系列操作。
9.根据权利要求1所述的基于日志的异常监测方法，其特征在于，所述方法还包括：
当所述日志单元异常，统计所述日志单元异常的出现次数；
若所述日志单元异常的出现次数大于预设的次数阈值，输出告警信息。
10.根据权利要求1所述的基于日志的异常监测方法，其特征在于，所述方法还包括：
当所述日志单元正常，删除所述日志单元。
11.根据权利要求1所述的基于日志的异常监测方法，其特征在于，所述方法由异常监测系统执行，所述异常监测系统包括第一日志管理模块、第二日志管理模块、异常监测模块和日志输出模块，所述将所述结构化的日志信息进行分类聚合，得到日志单元，包括：
通过所述第一日志管理模块将所述结构化的日志信息进行分类聚合，得到第一日志单元；
通过所述第二日志管理模块将所述结构化的日志信息进行分类聚合，得到第二日志单元；
当所述异常监测模块确定所述日志单元异常，由所述异常监测模块发送输出请求给所述日志输出模块；
根据所述输出请求，通过所述日志输出模块获取所述第一日志管理模块发送的所述第一日志单元，通过所述日志输出模块获取所述第二日志管理模块发送的所述第二日志单元，进而由所述日志输出模块将所述第一日志单元和所述第二日志单元进行二次聚合，得到所述日志单元；
或者，根据所述输出请求，通过所述日志输出模块发送二次聚合请求给所述第一日志管理模块或所述第二日志管理模块，以使所述第一日志管理模块或所述第二日志管理模块将所述第一日志单元和所述第二日志单元进行二次聚合，得到所述日志单元。
12.一种基于日志的异常监测系统，其特征在于，包括：
日志采集模块，用于获取日志信息；
日志管理模块，用于将所述日志信息进行结构化处理，得到结构化的日志信息；将所述结构化的日志信息进行分类聚合，得到日志单元；
异常监测模块，用于当所述日志单元异常，判断所述日志单元的异常类型是否属于首次输出的异常类型；
日志输出模块，用于当所述日志单元的异常类型不属于首次输出的异常类型，输出所述日志单元的简要信息；当所述日志单元的异常类型属于首次输出的异常类型，输出所述日志单元。
13.根据权利要求12所述的基于日志的异常监测系统，其特征在于，所述系统还包括：
异常告警模块，用于当所述日志单元异常时，统计所述日志单元异常的出现次数；当所述日志单元异常的出现次数大于预设的次数阈值时，输出告警信息。
14.一种基于日志的异常监测装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-11中任一项所述的一种基于日志的异常监测方法。
15.一种存储介质，其中存储有处理器可执行的程序，其特征在于：所述处理器可执行的程序在由处理器执行时用于实现如权利要求1-11中任一项所述的一种基于日志的异常监测方法。
CN202111421618.1A 2021-11-26 2021-11-26 一种基于日志的异常监测方法、系统、装置及存储介质 Pending CN116185752A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111421618.1A CN116185752A (zh) 2021-11-26 2021-11-26 一种基于日志的异常监测方法、系统、装置及存储介质
PCT/CN2022/126493 WO2023093394A1 (zh) 2021-11-26 2022-10-20 一种基于日志的异常监测方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111421618.1A CN116185752A (zh) 2021-11-26 2021-11-26 一种基于日志的异常监测方法、系统、装置及存储介质

Publications (1)

Publication Number Publication Date
CN116185752A true CN116185752A (zh) 2023-05-30

Family

ID=86431194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111421618.1A Pending CN116185752A (zh) 2021-11-26 2021-11-26 一种基于日志的异常监测方法、系统、装置及存储介质

Country Status (2)

Country Link
CN (1) CN116185752A (zh)
WO (1) WO2023093394A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8495429B2 (en) * 2010-05-25 2013-07-23 Microsoft Corporation Log message anomaly detection
CN106407077A (zh) * 2016-09-21 2017-02-15 广州华多网络科技有限公司 一种实时告警方法及系统
US20180129579A1 (en) * 2016-11-10 2018-05-10 Nec Laboratories America, Inc. Systems and Methods with a Realtime Log Analysis Framework
US11783046B2 (en) * 2017-04-26 2023-10-10 Elasticsearch B.V. Anomaly and causation detection in computing environments
US11574211B2 (en) * 2017-09-27 2023-02-07 Nec Corporation Log analysis system, log analysis method, log analysis program, and storage medium
CN113495820B (zh) * 2020-04-03 2024-06-18 北京沃东天骏信息技术有限公司 异常信息收集、处理方法和装置以及异常监控系统

Also Published As

Publication number Publication date
WO2023093394A1 (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
WO2022048168A1 (zh) 一种用于故障预测神经网络模型的训练方法与设备
CN111984499B (zh) 一种大数据集群的故障检测方法和装置
CN105488610B (zh) 一种电力应用系统故障实时分析诊断方法
CN107729210B (zh) 分布式服务集群的异常诊断方法和装置
CN110851321B (zh) 一种业务告警方法、设备及存储介质
US8676965B2 (en) Tracking high-level network transactions
CN110661659A (zh) 一种告警方法、装置、系统及电子设备
CN110166290A (zh) 基于日志文件的告警方法及装置
WO2020228276A1 (zh) 网络告警的方法及装置
CN113254255B (zh) 一种云平台日志的分析方法、系统、设备及介质
CN110209518A (zh) 一种多数据源日志数据集中收集存储方法及装置
CN111258798B (zh) 监控数据的故障定位方法、装置、计算机设备及存储介质
CN113986595A (zh) 一种异常定位方法及装置
CN112395156A (zh) 故障的告警方法和装置、存储介质和电子设备
CN112350846A (zh) 一种智能变电站的资产学习方法、装置、设备及存储介质
Pan et al. Proactive microwave link anomaly detection in cellular data networks
CN108039971A (zh) 一种告警方法及装置
CN115686381B (zh) 存储集群运行状态的预测方法及装置
CN117914511A (zh) 一种基于数据交换、日志分析的安全审计系统
CN115987827B (zh) 一种设备监测方法、装置、电子设备及可读介质
CN116881100A (zh) 日志检测方法、日志告警方法、系统、设备及存储介质
CN116185752A (zh) 一种基于日志的异常监测方法、系统、装置及存储介质
CN116795631A (zh) 业务系统监控告警方法、装置、设备和介质
CN116662127A (zh) 一种设备告警信息分类并预警的方法、系统、设备和介质
US20220092438A1 (en) Metadata-assisted inventory management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination