CN108055150A - 一种日志屏蔽方法及装置 - Google Patents

一种日志屏蔽方法及装置 Download PDF

Info

Publication number
CN108055150A
CN108055150A CN201711304673.6A CN201711304673A CN108055150A CN 108055150 A CN108055150 A CN 108055150A CN 201711304673 A CN201711304673 A CN 201711304673A CN 108055150 A CN108055150 A CN 108055150A
Authority
CN
China
Prior art keywords
daily record
keyword
record data
definite
shielding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711304673.6A
Other languages
English (en)
Inventor
王稳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unihub China Information Technology Co Ltd
Zhongying Youchuang Information Technology Co Ltd
Original Assignee
Unihub China Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unihub China Information Technology Co Ltd filed Critical Unihub China Information Technology Co Ltd
Priority to CN201711304673.6A priority Critical patent/CN108055150A/zh
Publication of CN108055150A publication Critical patent/CN108055150A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种日志屏蔽方法及装置，方法包括：对日志数据进行分类确定日志数据中的关键字；根据确定的关键字和预先建立的屏蔽规则确定屏蔽关键字；屏蔽日志数据中所述屏蔽关键字对应的日志数据。本发明利用日志关键字自动识别、排序和分析，能持续的分析现网业务中存在的无意义日志，从而持续提升有效日志占比，降低了无业务意义日志占比，提升了分析、查询速度，降低了对存储要求。

Description

一种日志屏蔽方法及装置
技术领域
本发明涉及数据处理技术，具体的讲是一种日志屏蔽方法及装置。
背景技术
现有的日志系统，实际有业务意义日志(log)偏少，而整体接收和存储日志量超大，无法有效避免日志峰值冲击的问题。
另外，现有技术的日志系统根据厂商设备设置不同性能(Facility)分类进行日志接收、分析和存放。在日志中，大部分日志对客户是没有业务的意义，但是仍需要耗费系统宝贵的资源和时间去进一步分析，在某台设备出现某种异常时，还可能会持续发送大量无效日志，从而对整个系统进行冲击，现有的这种不同厂商按性能分类接收的方式已经无法满足电信集团项目要求
发明内容
为克服现有的日志系统，实际有业务意义日志偏少，而整体接收和存储日志量超大，无法有效避免日志峰值冲击的问题，本发明实施例提供了一种日志屏蔽方法，该方法包括：
对日志数据进行分类确定日志数据中的关键字；
根据确定的关键字和预先建立的屏蔽规则确定屏蔽关键字；
屏蔽日志数据中所述屏蔽关键字对应的日志数据。
本发明实施例中，对日志数据进行分类确定日志数据中的关键字包括：
利用系统日志工具对日志数据进行分类；
对分类后的日志数据进行正则匹配确定日志数据中的关键字。
本发明实施例中，所述的方法还包括：
按照预先设置的统计次数阈值和排名规则预先建立屏蔽规则。
同时，本发明还一种日志屏蔽装置，包括：
关键字确定模块，用于对日志数据进行分类确定日志数据中的关键字；
屏蔽关键字确定模块，用于根据确定的关键字和预先建立的屏蔽规则确定屏蔽关键字；
屏蔽模块，用于屏蔽日志数据中所述屏蔽关键字对应的日志数据。
本发明实施例中，关键字确定模块包括：
分类单元，用于利用系统日志工具对日志数据进行分类；
正则匹配单元，用于对分类后的日志数据进行正则匹配确定日志数据中的关键字。
本发明实施例中，日志屏蔽装置还包括：存储模块，用于存储按照预先设置的统计次数阈值和排名规则预先建立屏蔽规则。
本发明利用日志关键字自动识别、排序和分析，能持续的分析现网业务中存在的无意义日志，从而持续提升有效日志占比，降低了无业务意义日志占比，提升了分析、查询速度，降低了对存储要求。
为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明公开的日志屏蔽方法的流程图；
图2为本发明公开的日志屏蔽装置的框图；
图3为本发明一实施例的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明公开的一种日志屏蔽方法的流程图，该方法包括：
步骤S101，对日志数据进行分类确定日志数据中的关键字；
步骤S102，根据确定的关键字和预先建立的屏蔽规则确定屏蔽关键字；
步骤S103，屏蔽日志数据中屏蔽关键字对应的日志数据。
本发明实施例中，利用系统日志工具对日志数据进行分类，利用文本处理工具(AWK)对分类后的日志数据进行正则匹配确定日志数据中的关键字。
同时，本发明还一种日志屏蔽装置，如图2所示，为本发明公开的日志屏蔽装置的框图，其包括：
关键字确定模块201，用于对日志数据进行分类确定日志数据中的关键字；
屏蔽关键字确定模块202，用于根据确定的关键字和预先建立的屏蔽规则确定屏蔽关键字；
屏蔽模块203，用于屏蔽日志数据中所述屏蔽关键字对应的日志数据。
本发明实施例中，关键字确定模块201包括：
分类单元，用于利用系统日志工具对日志数据进行分类；
正则匹配单元，用于对分类后的日志数据进行正则匹配确定日志数据中的关键字。
本发明实施例中，日志屏蔽装置还包括：存储模块，用于存储按照预先设置的统计次数阈值和排名规则预先建立屏蔽规则。
本发明的初衷是克服现有的日志系统，实际有业务意义log偏少，而整体接收和存储日志量超大，无法有效避免日志峰值冲击的问题。
本实施例在Facility分类基础上增加基于对日志关键字进行自动识别，通过进行排序，获取超过阈值的日志，通过与现有的业务规则比对，不符合现有业务规则的日志，则放到屏蔽日志(pingbi_log)内，留存待查，不做业务处理，从而提升了业务日志占比，降低日志处理压力，提升处理效果。
如图3所示，为本实施例的基础思路，在一个单独的周期内，引用rsyslog进行日志分类配置功能，通过使用awk(文本处理工具)通过正则匹配，识别每个厂商的核心关键字，按照系统设置的阈值和排序规则进行日志log测试，预先对于前top10内的无业务意义的日志，加入到规则屏蔽规则库中，在后续的日志接收环节直接进入到屏蔽文本中。
本实施例的具体实现流程说明：
1.设备发送日志log后，通过rsyslog(系统日志工具)进行接收前进行内容匹配；
2.现有技术中，仅可依赖设备配置的性能对收到的日志按厂商区分，而本方案在一个周期内，对已经收到的数据，系统会按照各厂商关键字特征进行识别，通过对日志关键字的汇总和排序，获取排名较高的关键字，然后获取关键字内的日志，与预先建立的系统的告警规则进行业务规则判断，判断为可屏蔽内容的数据，则将关键字纳入进屏蔽规则库从而在下一个周期中直接屏蔽；
3.如果符合屏蔽规则的，则进入屏蔽规则库，下一个周期里不进行分析、处理。如果不符合则进行正式数据，不进行任何处理；
4.对已经接收的日志log，系统启动分析排序功能，按厂商进行关键字获取和排序
每个厂商对应的关键字形式和位置都有不同，通过正则匹配，获取对应的关键字，并对相同项进行排序统计。
本实施例中，对统计排名前10且次数超阈值的，则在屏蔽规则中增加对应数据，从而不断降低无效log占比。
如：接收到的syslog中包含“INTERACT-6-UI_CHILD_STATUS”关键字在昨日的log占比为前10，带此关键字日志，在系统中和告警的白名单规则匹配，不符合则确定为匹配屏蔽规则，从而在下一个周期日志接收中直接屏蔽。
配置如下：
:rawmsg,regex,"INTERACT-6-UI_CHILD_STATUS"～
5.通过多个周期获得一定的屏蔽规则后，系统的无效log量可降低到一个较低的水平。
本发明实施例，利用日志关键字自动识别、排序和分析，能持续的分析现网业务中存在的无意义日志，从而持续提升有效日志占比，降低了无业务意义日志占比，提升了分析、查询速度，降低了对存储要求。由于以前的日志是只要设备发送，即进行接收、分析和存储，引用本方案后，自动分析日志日志关键字，对超阈值次数的排名靠前日志，进行业务判断，从而降低无效日志，从目前的效果看，日志占比可降低到原有的45％左右水平。
另外，本发明还公开一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本实施例中公开的日志屏蔽方法。
同时，本发明还公开一种计算机可读存储介质，计算机可读存储介质存储有执行本实施例中公开的日志屏蔽方法的计算机程序。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种日志屏蔽方法，其特征在于，所述的方法包括：
对日志数据进行分类确定日志数据中的关键字；
根据确定的关键字和预先建立的屏蔽规则确定屏蔽关键字；
屏蔽日志数据中所述屏蔽关键字对应的日志数据。
2.如权利要求1所述的日志屏蔽方法，其特征在于，所述的对日志数据进行分类确定日志数据中的关键字包括：
利用系统日志工具对日志数据进行分类；
对分类后的日志数据进行正则匹配确定日志数据中的关键字。
3.如权利要求1所述的日志屏蔽方法，其特征在于，所述的方法还包括：
按照预先设置的统计次数阈值和排名规则预先建立屏蔽规则。
4.一种日志屏蔽装置，其特征在于，所述的装置包括：
关键字确定模块，用于对日志数据进行分类确定日志数据中的关键字；
屏蔽关键字确定模块，用于根据确定的关键字和预先建立的屏蔽规则确定屏蔽关键字；
屏蔽模块，用于屏蔽日志数据中所述屏蔽关键字对应的日志数据。
5.如权利要求4所述的日志屏蔽装置，其特征在于，所述的关键字确定模块包括：
分类单元，用于利用系统日志工具对日志数据进行分类；
正则匹配单元，用于对分类后的日志数据进行正则匹配确定日志数据中的关键字。
6.如权利要求4所述的日志屏蔽装置，其特征在于，所述的装置还包括：
存储模块，用于存储按照预先设置的统计次数阈值和排名规则预先建立屏蔽规则。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一所述方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至3任一所述方法的计算机程序。
CN201711304673.6A 2017-12-11 2017-12-11 一种日志屏蔽方法及装置 Pending CN108055150A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711304673.6A CN108055150A (zh) 2017-12-11 2017-12-11 一种日志屏蔽方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711304673.6A CN108055150A (zh) 2017-12-11 2017-12-11 一种日志屏蔽方法及装置

Publications (1)

Publication Number Publication Date
CN108055150A true CN108055150A (zh) 2018-05-18

Family

ID=62122938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711304673.6A Pending CN108055150A (zh) 2017-12-11 2017-12-11 一种日志屏蔽方法及装置

Country Status (1)

Country Link
CN (1) CN108055150A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012167066A2 (en) * 2011-06-01 2012-12-06 Wilmington Savings Fund Society, Fsb Method and system for providing information from third party applications to devices
US20140188860A1 (en) * 2012-12-28 2014-07-03 Ge Medical Systems Global Technology Company, Llc Method and device for searching and displaying scattered logs
CN105656699A (zh) * 2016-03-29 2016-06-08 网宿科技股份有限公司 内容分发网络的告警管理方法及系统
CN105677877A (zh) * 2016-01-11 2016-06-15 常州大学 基于用户行为的定向信息屏蔽方法
CN106528619A (zh) * 2016-09-30 2017-03-22 国家电网公司 一种基于关键字段的交换机日志快速聚合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012167066A2 (en) * 2011-06-01 2012-12-06 Wilmington Savings Fund Society, Fsb Method and system for providing information from third party applications to devices
US20140188860A1 (en) * 2012-12-28 2014-07-03 Ge Medical Systems Global Technology Company, Llc Method and device for searching and displaying scattered logs
CN105677877A (zh) * 2016-01-11 2016-06-15 常州大学 基于用户行为的定向信息屏蔽方法
CN105656699A (zh) * 2016-03-29 2016-06-08 网宿科技股份有限公司 内容分发网络的告警管理方法及系统
CN106528619A (zh) * 2016-09-30 2017-03-22 国家电网公司 一种基于关键字段的交换机日志快速聚合方法

Similar Documents

Publication Publication Date Title
CN107391598A (zh) 一种威胁情报自动生成方法及系统
CN105574544A (zh) 一种数据处理方法和装置
CN103986669B (zh) 一种云计算中资源分配策略的评估方法
CN109992569A (zh) 集群日志特征提取方法、装置及存储介质
CN110706096A (zh) 基于捞回用户管理授信额度的方法、装置和电子设备
CN112463859B (zh) 基于大数据和业务分析的用户数据处理方法及服务器
CN106372977B (zh) 一种虚拟账户的处理方法和设备
CN110069629A (zh) 房屋交易任务处理方法、设备、存储介质及装置
CN106909454B (zh) 一种规则处理方法和设备
CN107239563A (zh) 舆情信息动态监控方法
CN111242318A (zh) 基于异构特征库的业务模型训练方法及装置
CN109582548B (zh) 一种基于无埋点的页面元素圈选方法及装置
CN109656615A (zh) 一种基于代码方法重要程度进行权限预警的方法
CN106156170B (zh) 舆情分析方法及装置
US20180239904A1 (en) Assigning classifiers to classify security scan issues
CN107493275A (zh) 异构网络安全日志信息的自适应提取和分析方法及系统
CN110059083A (zh) 一种数据评价方法、装置和电子设备
US11188648B2 (en) Training a security scan classifier to learn an issue preference of a human auditor
CN106897267A (zh) 文章缩略文意生成方法、装置及服务器
CN108984790A (zh) 一种数据分箱方法及装置
CN108512822B (zh) 一种数据处理事件的风险识别方法和装置
CN109558887A (zh) 一种预测行为的方法和装置
CN110826845B (zh) 一种多维组合成本分摊装置及方法
CN108055150A (zh) 一种日志屏蔽方法及装置
CN108628873A (zh) 一种文本分类方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180518