CN109522196A - 一种故障日志处理的方法及装置 - Google Patents

一种故障日志处理的方法及装置 Download PDF

Info

Publication number
CN109522196A
CN109522196A CN201811391790.5A CN201811391790A CN109522196A CN 109522196 A CN109522196 A CN 109522196A CN 201811391790 A CN201811391790 A CN 201811391790A CN 109522196 A CN109522196 A CN 109522196A
Authority
CN
China
Prior art keywords
fault log
log
split
neural network
training sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811391790.5A
Other languages
English (en)
Inventor
段谊海
郭锋
张俊雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811391790.5A priority Critical patent/CN109522196A/zh
Publication of CN109522196A publication Critical patent/CN109522196A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种故障日志处理的方法，包括：对采集到的故障日志进行分割；对分割后的故障日志进行特征提取，根据提取的特征构造输入矩阵作为训练样本；将所述训练样本输入BP神经网络进行训练；通过训练后的BP神经网络对故障日志进行分类。还公开了一种故障日志处理的装置。本方案能够提高数据中心设备运行的稳定性，保证各种业务的正常运行。

Description

一种故障日志处理的方法及装置
技术领域
本发明涉及计算机技术，尤指一种故障日志处理的方法及装置。
背景技术
随着互联网的飞速发展，数据中心承载着各种数据的采集、存储及分析等功能，并随着业务的增加，业务主机会出现各种软件或者硬件的故障，影响着业务的稳定运行，传统监控只能通过标准接口去监控设备的运行状态，能够获取到设备的信息有限，对于内部的故障不能够监控，已经不能够满足客户需求。
发明内容
为了解决上述技术问题，本发明提供了一种故障日志处理的方法及装置，能够提高数据中心设备运行的稳定性。
为了达到本发明目的，本发明提供了一种故障日志处理的方法，其中，包括：
对采集到的故障日志进行分割；
对分割后的故障日志进行特征提取，根据提取的特征构造输入矩阵作为训练样本；
将所述训练样本输入BP神经网络进行训练；
通过训练后的BP神经网络对故障日志进行分类。
进一步地，所述对采集到的故障日志进行分割，包括：
将采集到的故障日志按照文本段落进行分割，每一段日志为一条数据。
进一步地，所述每一条数据采用空格作为分词器进行分割。
进一步地，所述根据提取的特征构造输入矩阵作为训练样本，包括：
将预设关键字作为特征，当分割后的故障日志中能够匹配到所述预设关键字，则输出置为1，否则置为0，将所述输出的值按照固定顺序组装成向量构成输入矩阵作为训练样本。
一种故障日志处理的装置，包括：存储器和处理器；其中：
所述存储器，用于保存用于日志故障处理的程序；
所述处理器，用于读取执行所述用于日志故障处理的程序，执行如下操作：
对采集到的故障日志进行分割；
对分割后的故障日志进行特征提取，根据提取的特征构造输入矩阵作为训练样本；
将所述训练样本输入BP神经网络进行训练；
通过训练后的BP神经网络对故障日志进行分类。
进一步地，所述对采集到的故障日志进行分割，包括：
将采集到的故障日志按照文本段落进行分割，每一段日志为一条数据。
进一步地，所述每一条数据采用空格作为分词器进行分割。
进一步地，所述根据提取的特征构造输入矩阵作为训练样本，包括：
将预设关键字作为特征，当分割后的故障日志中能够匹配到所述预设关键字，则输出置为1，否则置为0，将所述输出的值按照固定顺序组装成向量构成输入矩阵作为训练样本。
综上所述，本发明实施例的方案，通过对监控主机进行收集日志，进行日志的特征提取，构造输入矩阵，之后通过BP神经网络进行日志故障分类，进而产生告警，这样大大的提高了数据中心设备运行的稳定性，保证各种业务的正常运行。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例的一种故障日志处理的方法的流程图；
图2为BP神经网络的拓扑示意图；
图3为本发明实施例的一种故障日志处理的装置的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明实施例的一种故障日志处理的方法的流程图，如图1所示，本实施例的方法包括：
步骤101、对采集到的故障日志进行分割；
步骤102、对分割后的故障日志进行特征提取，根据提取的特征构造输入矩阵作为训练样本；
步骤103、将所述训练样本输入BP神经网络进行训练；
步骤104、通过训练后的BP神经网络对故障日志进行分类。
本发明实施例的方法将采集到的日志按照文本段落进行分割，每一段日志为一条数据，每一条数据采用空格作为分词器进行分割，将分割后的单词，分别采用不同的特征提取器进行提取，将提取到的体征进行编号后，进行构造网络的输入矩阵；采用BP神经网络来实现故障的分类，进而产生告警，这样大大的提高了数据中心设备运行的稳定性，保证各种业务的正常运行。
并且，如果当前的分类标准不能满足客户的需要，客户可以将采集到的新的数据和旧的数据进行合并训练，以达到增长学习的过程。
本实施例中，可以设计特征提取器，特征提取器采用预设关键字、关键词或者句作为特征，当日志中分割后的词能够匹配(精确匹配或正则匹配)到特征提取器中的关键字时，认为该特征提取到相关特征，则该特征提取器的输出置为1，否则置为0。将所有特征采集器输出的值按照固定顺序组装成向量，则构成输入矩阵。
例如特征提取器1，预设关键字为[“Mem Usage”、“memory”]，如果在分割后日志中，出现“Mem Usage”或者“memory”，则认为特征提取到相关特征，则该特征提取输出置为1，否则置为0。
BP神经网络是一种多层前馈神经网络，BP神经网络的主要特点是信号向前传递，误差反向传播。在向前传递中，输入信号从输入层到隐含层进行逐层的处理，直到最终输出层。每一次的神经元的状态都会影响到下一次神经元的状态，如果输出层计算出来的结果与期望的输出偏差较大，则进入反向传播，根据预测的误差，对网络的权值和阈值进行调整，从而使BP神经网络的预测的输出值不断的逼近期望的输出值。BP神经网络的拓扑结果如图2所示。
BP神经网络首先要经过训练，通过训练才能使网络具有联想、记忆和预测的能力。BP神经网络的训练过程具体包含以下几个步骤：
1)网络的初始化，根据系统的输入和输出值(X，Y)来确定BP神经网络输入层节点数n，隐含层节点数了，输出层节点数m，并且初始化各个神经元之间的权值Wjk，Wij及隐含层阈值a，输出层阈值b，设定学习率、神经元激励函数和最大迭代次数。
2)隐含层输入计算。根据输入向量X，输入层和隐含层之间的权值Wij、阈值a，计算隐含层的输入值H。
其中，
式中，l为隐含层节点数，n为输入节点数，f为激励函数。
3)输出层计算。根据隐含层输出H、隐含层和输出层的阈值b以及权值Wjk，计算BP神经网络的输入O。
4)误差计算。根据网络的预测输出值O和期望输出值Y做误差计算e。
ek＝Yk-Ok,k＝1,2,...,m
5)权值更新。根据计算出来的偏差e，更新Wjk和Wij。
wjk＝wjk+ηHjek
其中，η为学习率。
6)阈值更新。根据网络误差e，对阈值a和b，进行更新。
bk＝bk+ek。
7)根据误差或者迭代次数判断是否结束，如果不满足结束标准，则返回步骤2)。
BP神经网络的故障分类，则是由构造的输入矩阵，输入到BP神经网络，进行逐层的计算，最终输出的预测则为故障的最终预测故障分类。
本发明实施例的方法通过对监控主机进行收集日志，进行日志的特征提取，构造输入矩阵，之后通过BP神经网络进行日志故障分类，进而产生告警，这样大大的提高了数据中心设备运行的稳定性，保证各种业务的正常运行。
图3为本发明实施例的一种故障日志处理的装置的示意图，如图3所示，本实施例的装置可以包括：存储器和处理器，其中，
所述存储器，用于保存用于日志故障处理的程序；
所述处理器，用于读取执行所述用于日志故障处理的程序，执行如下操作：
对采集到的第一故障日志进行分割；
对分割后的故障日志进行特征提取，根据提取的特征构造输入矩阵作为第一训练样本；
将所述第一训练样本输入BP神经网络进行训练；
通过训练后的BP神经网络对故障日志进行分类。
在一实施例中，所述对采集到的故障日志进行分割，包括：
将采集到的故障日志按照文本段落进行分割，每一段日志为一条数据。
在一实施例中，所述每一条数据采用空格作为分词器进行分割。
在一实施例中，所述根据提取的特征构造输入矩阵作为训练样本，包括：
将预设关键字作为特征，当分割后的故障日志中能够匹配到所述预设关键字，则输出置为1，否则置为0，将所述输出的值按照固定顺序组装成向量构成输入矩阵作为训练样本。
本发明实施例还提供了一种计算机可读存储介质，其存储有计算机可执行指令，所述计算机可执行指令被执行时实现所述故障日志处理的方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (8)

1.一种故障日志处理的方法，其特征在于，包括：
对采集到的故障日志进行分割；
对分割后的故障日志进行特征提取，根据提取的特征构造输入矩阵作为训练样本；
将所述训练样本输入BP神经网络进行训练；
通过训练后的BP神经网络对故障日志进行分类。
2.根据权利要求1所述的方法，其特征在于，所述对采集到的故障日志进行分割，包括：
将采集到的故障日志按照文本段落进行分割，每一段日志为一条数据。
3.根据权利要求2所述的方法，其特征在于，
所述每一条数据采用空格作为分词器进行分割。
4.根据权利要求1所述的方法，其特征在于，所述根据提取的特征构造输入矩阵作为训练样本，包括：
将预设关键字作为特征，当分割后的故障日志中能够匹配到所述预设关键字，则输出置为1，否则置为0，将所述输出的值按照固定顺序组装成向量构成输入矩阵作为训练样本。
5.一种故障日志处理的装置，包括：存储器和处理器；其特征在于：
所述存储器，用于保存用于日志故障处理的程序；
所述处理器，用于读取执行所述用于日志故障处理的程序，执行如下操作：
对采集到的故障日志进行分割；
对分割后的故障日志进行特征提取，根据提取的特征构造输入矩阵作为训练样本；
将所述训练样本输入BP神经网络进行训练；
通过训练后的BP神经网络对故障日志进行分类。
6.根据权利要求5所述的装置，其特征在于，所述对采集到的故障日志进行分割，包括：
将采集到的故障日志按照文本段落进行分割，每一段日志为一条数据。
7.根据权利要求6所述的装置，其特征在于，
所述每一条数据采用空格作为分词器进行分割。
8.根据权利要求5所述的装置，其特征在于，所述根据提取的特征构造输入矩阵作为训练样本，包括：
将预设关键字作为特征，当分割后的故障日志中能够匹配到所述预设关键字，则输出置为1，否则置为0，将所述输出的值按照固定顺序组装成向量构成输入矩阵作为训练样本。
CN201811391790.5A 2018-11-21 2018-11-21 一种故障日志处理的方法及装置 Withdrawn CN109522196A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811391790.5A CN109522196A (zh) 2018-11-21 2018-11-21 一种故障日志处理的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811391790.5A CN109522196A (zh) 2018-11-21 2018-11-21 一种故障日志处理的方法及装置

Publications (1)

Publication Number Publication Date
CN109522196A true CN109522196A (zh) 2019-03-26

Family

ID=65778090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811391790.5A Withdrawn CN109522196A (zh) 2018-11-21 2018-11-21 一种故障日志处理的方法及装置

Country Status (1)

Country Link
CN (1) CN109522196A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795552A (zh) * 2019-10-22 2020-02-14 腾讯科技（深圳）有限公司 一种训练样本生成方法、装置、电子设备及存储介质
CN112115032A (zh) * 2020-09-29 2020-12-22 中国银行股份有限公司 一种日志生成方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795552A (zh) * 2019-10-22 2020-02-14 腾讯科技（深圳）有限公司 一种训练样本生成方法、装置、电子设备及存储介质
CN110795552B (zh) * 2019-10-22 2024-01-23 腾讯科技（深圳）有限公司 一种训练样本生成方法、装置、电子设备及存储介质
CN112115032A (zh) * 2020-09-29 2020-12-22 中国银行股份有限公司 一种日志生成方法和装置
CN112115032B (zh) * 2020-09-29 2023-12-08 中国银行股份有限公司 一种日志生成方法和装置

Similar Documents

Publication Publication Date Title
EP3355547B1 (en) Method and system for learning representations of network flow traffic
WO2017206936A1 (zh) 基于机器学习的网络模型构造方法及装置
AU2015201161B2 (en) Event correlation
US9536050B2 (en) Influence filtering in graphical models
US20220100963A1 (en) Event extraction from documents with co-reference
KR101965277B1 (ko) 하이퍼그래프 데이터 분석 시스템 및 방법과, 이를 위한 컴퓨터 프로그램
US10891178B2 (en) Method and device for identifying problematic component in storage system
US20220100772A1 (en) Context-sensitive linking of entities to private databases
CN115244587A (zh) 高效基础事实注释
CN114153980A (zh) 知识图谱构建方法和装置、检查方法、存储介质
US11948077B2 (en) Network fabric analysis
CN109522196A (zh) 一种故障日志处理的方法及装置
CN109783626A (zh) 问题生成方法、智能问答系统、介质以及计算机系统
CN111491300A (zh) 风险检测方法、装置、设备及存储介质
US20220100967A1 (en) Lifecycle management for customized natural language processing
WO2022072237A1 (en) Lifecycle management for customized natural language processing
CN116010187A (zh) 一种日志检测方法以及相关装置
CN112883736A (zh) 医疗实体关系抽取方法和装置
CN115186738B (zh) 模型训练方法、装置和存储介质
US20190179950A1 (en) Computer-implemented method and computer system for clustering data
CN111625579B (zh) 一种信息处理方法、装置及系统
CN113590774A (zh) 事件查询方法、装置以及存储介质
EP4068693A1 (en) Methods and devices for network monitoring
US20230419102A1 (en) Token synthesis for machine learning models
CN115393659B (zh) 基于多级决策树的个性化分类流程优化方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190326

WW01 Invention patent application withdrawn after publication