CN106095659A - 一种非结构化事件日志数据的实时监控方法与装置 - Google Patents

一种非结构化事件日志数据的实时监控方法与装置 Download PDF

Info

Publication number
CN106095659A
CN106095659A CN201610416190.4A CN201610416190A CN106095659A CN 106095659 A CN106095659 A CN 106095659A CN 201610416190 A CN201610416190 A CN 201610416190A CN 106095659 A CN106095659 A CN 106095659A
Authority
CN
China
Prior art keywords
event
index
destructuring
time monitoring
log data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610416190.4A
Other languages
English (en)
Inventor
陈凌岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Tianshu Information Technology Co Ltd
Original Assignee
Anhui Tianshu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Tianshu Information Technology Co Ltd filed Critical Anhui Tianshu Information Technology Co Ltd
Priority to CN201610416190.4A priority Critical patent/CN106095659A/zh
Publication of CN106095659A publication Critical patent/CN106095659A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86—Event-based monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种非结构化事件日志数据的实时监控方法与装置，此存储装置包括：事件分类器、指标计算器、指标内存数据库、事件分片与存储模块、监控平台、指标历史数据库、分布文件系统，此方法步骤包括：事件初筛：将收集的数据信息进行初步筛选；事件分类：利用事件分类器根据事件的内容进行初步的探查，根据事件的类别进行划分；指标计算：分类后的事件通过指标计算器根据一系列指标进行计算；事件划分：计算后的事件按事件类型及ID进行Hash划分，便于后续存储；事件存储：将划分好的事件保存到分布式文件系统。本发明实现了对事件的实时监控，及时处理事件日志数据，防止数据丢失。

Description

一种非结构化事件日志数据的实时监控方法与装置
技术领域
本发明涉及一种数据存储技术，尤其涉及一种非结构化事件日志数据的实时监控方法与装置。
背景技术
随着各类企业信息系统的建设和完善，非结构化数据存储技术快速发展。一旦企业各业务系统出现安全事件、发生故障或形成性能瓶颈，不能被及时发现、及时处理、及时恢复，势必会直接影响承载在其上所有业务的运行，影响企业的正常运营秩序，企业业务不能正常开展。因此，对于政府和企业IT基础实施的安全保障就显得格外重要。
随着信息化程度地不断提高，各业务系统间联系越来越密切，数据交换越来越频繁，各系统有着复杂网络或逻辑连接，存在大量数据交换，如果一个故障就可以引发成为企业全网故障，一点系统出现漏洞感染病毒或受到攻击，将迅速波及其它业务系统及网络，甚至导致企业全网瘫痪。
企业IT系统产生了丰富的日志数据，随着存储设备成本的降低，没有理由丢弃这些数据，然而，缺乏相应的分析工具来存储和关联这些异构的日志数据，使得进行大数据分析更为艰难，而且对于事件信息的实时监控也是非常重要的，直接影响着数据是否能及时处理。
发明内容
针对上述问题，本发明提出了一种非结构化事件日志数据的实时监控方法与装置，实现事件的实时持续监控，防止数据丢失。
本发明提出了一种非结构化事件日志数据的实时监控方法，包括：
a.事件初筛：将收集的数据信息进行初步筛选，将信息数据根据字段条件进行筛选过滤，提取重要属性；
b.事件分类：利用事件分类器根据事件的内容进行初步的探查，根据事件的类别进行划分，基于关键字或主题模型对事件信息进行分类；
c.指标计算：分类后的事件通过指标计算器根据一系列指标进行计算；
d.事件划分：计算后的事件按事件类型及ID进行Hash划分，便于后续存储；
e.事件存储：将划分好的事件保存到分布式文件系统。
进一步，所述指标计算是指把各个指标的计算过程合并为一个处理流程，一旦事件流过这个流程，各个指标可以适时计算出来，然后提交给一个内存数据库缓存，便于进行事件数据展示。
进一步，所述指标计算转化成一个查询计划树，所述查询计划树的操作步骤包括扫描、过滤、投影、分组、聚集，便于后续检索查询事件。
进一步，所述指标计算在内存中都维护一个Hash表，当指标的计算完成，事件已经从上一分钟结束，到达下一分钟，完成的统计指标交给指标内存数据库，同时通知监控平台更新仪表板，便于对事件进行实时监控。
进一步，所述内存数据库保存最近的指标，历史指标不断转存到指标历史数据库，防止事件数据丢失。
本发明还提供一种非结构化事件日志数据的实时监控装置，包括：事件分类器、指标计算器、指标内存数据库、事件分片与存储模块、监控平台、指标历史数据库、分布文件系统，所述事件分类器与指标计算器相连通，指标计算器连通指标内存数据库，指标内存数据库与监控平台连通，指标内存数据库一个端口与指标历史数据库连接，指标内存数据库的下端设有事件分片与存储模块，事件分布与存储模块与分布式文件系统连接。
进一步，所述指标计算器安装在单独的事件处理服务器中，便于各个指标的计算。
进一步，所述指标计算器是指把各个指标的计算过程合并为一个处理流程，一旦事件流过这个流程，各个指标可以适时计算出来，然后提交给指标内存数据库缓存，将事件数据进行指标计算处理，便于事件的分类处理。
进一步，所述指标计算器计算完成后，完成的统计指标交给指标内存数据库，同时监控平台上更新仪表板。
本发明的有益效果为：一种非结构化事件日志数据的实时监控方法与装置，将带有时间、地理位置、来源、事件描述等不同来源的事件信息进行持续监控，实时了解事件发展态势，及时处理事件日志，防止数据丢失，提高了事件数据分析的效率和准确性。
附图说明
图1为本发明一种非结构化事件日志数据的实时监控方法流程图；
图2为本发明一种非结构化事件日志数据的实时监控装置示意图；
图3为本发明所述查询计划树的示意图。
具体实施方式
结合图1所示，一种非结构化事件日志数据的实时监控方法，包括：
a.事件初筛：将收集的数据信息进行初步筛选，将信息数据根据字段条件进行筛选过滤，提取重要属性；
b.事件分类：利用事件分类器根据事件的内容进行初步的探查，根据事件的类别进行划分，基于关键字或主题模型对事件信息进行分类；
c.指标计算：分类后的事件通过指标计算器根据一系列指标进行计算；
d.事件划分：计算后的事件按事件类型及ID进行Hash划分，便于后续存储；
e.事件存储：将划分好的事件保存到分布式文件系统。
结合图3所示，指标计算是指把各个指标的计算过程合并为一个处理流程，一旦事件流过这个流程，各个指标可以适时计算出来，然后提交给一个内存数据库缓存。所述指标计算转化成一个查询计划树，所述查询计划树的操作步骤包括扫描、过滤、投影、分组、聚集。所述指标计算在内存中都维护一个Hash表，当指标的计算完成，事件已经从上一分钟结束，到达下一分钟，完成的统计指标交给指标内存数据库，同时通知监控平台更新仪表。
所述内存数据库保存最近的指标，历史指标不断转存到指标历史数据库。
结合图2所示，一种非结构化事件日志数据的实时监控装置，包括：事件分类器、指标计算器、指标内存数据库、事件分片与存储模块、监控平台、指标历史数据库、分布文件系统，所述事件分类器与指标计算器相连通，指标计算器连通指标内存数据库，指标内存数据库与监控平台连通，指标内存数据库一个端口与指标历史数据库连接，指标内存数据库的下端设有事件分片与存储模块，事件分布与存储模块与分布式文件系统连接。
所述指标计算器安装在单独的事件处理服务器中，便于各个指标的计算。所述指标计算器是指把各个指标的计算过程合并为一个处理流程，一旦事件流过这个流程，各个指标可以适时计算出来，然后提交给指标内存数据库缓存，将事件数据进行指标计算处理，便于事件的分类处理。所述指标计算器计算完成后，完成的统计指标交给指标内存数据库，同时监控平台上更新仪表板。
实施例：
首先将事件进行初筛，然后通过事件分类器对不同事件类别进行分类处理，事件分类器根据事件的内容进行初步探查，根据关键字或主题模型对事件信息进行分类，分类处理好的事件被传输到指标计算器中进行指标计算，根据特定的分组标准或是时间周期建立指标，指标的计算可以转化成一个查询计划树，该查询计划树主要的操作包括扫描、过滤、投影、分组、聚集等，我们把各个指标计算的扫描整合到一起，形成一个查询计划树，便于后续事件的检索查询，我们在内存中为每个指标的计算，维护了一个Hash表，当指标的计算完成，计算后的事件按事件类型及ID进行Hash划分，便于后续存储，比如事件已经从上一分钟结束，而到达下一分钟，则上一分钟的统计指标计算完成，交给指标内存数据库，同时通知监控平台进行仪表板更新，以此达到事件实时监控，此指标内存数据库仅仅保存最近的指标数据，历史的指标数据不断转存到指标历史数据库，必要时可以查询出来，进行显示和对比，本发明支持历史明细信息的查询，在某些特定字段上建有轻量级索引，支持对历史数据的查询，当需要针对某个指标进行查询时，可以把相关查询条件发送给历史信息查询器，由其从分布式文件系统中提取具体指标信息，进行深入探查。
以上显示和描述了本发明的基本原理和主要特征以及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种非结构化事件日志数据的实时监控方法，其特征在于，包括以下步骤：
a.事件初筛：将收集的数据信息进行初步筛选，将信息数据根据字段条件进行筛选过滤，提取重要属性；
b.事件分类：利用事件分类器根据事件的内容进行初步的探查，根据事件的类别进行划分，基于关键字或主题模型对事件信息进行分类；
c.指标计算：分类后的事件通过指标计算器根据一系列指标进行计算；
d.事件划分：计算后的事件按事件类型及ID进行Hash划分，便于后续存储；
e.事件存储：将划分好的事件保存到分布式文件系统。
2.根据权利要求1所述的一种非结构化事件日志数据的实时监控方法，其特征在于，所述指标计算是指把各个指标的计算过程合并为一个处理流程，一旦事件流过这个流程，各个指标可以适时计算出来，然后提交给一个内存数据库缓存。
3.根据权利要求2所述的一种非结构化事件日志数据的实时监控方法，其特征在于，所述指标计算转化成一个查询计划树，所述查询计划树的操作步骤包括扫描、过滤、投影、分组、聚集。
4.根据权利要求3所述的一种非结构化事件日志数据的实时监控方法，其特征在于，所述指标计算在内存中都维护一个Hash表，当指标的计算完成，事件已经从上一分钟结束，到达下一分钟，完成的统计指标交给指标内存数据库，同时通知监控平台更新仪表板。
5.根据权利要求4所述的一种非结构化事件日志数据的实时监控方法，其特征在于，所述内存数据库保存最近的指标，历史指标不断转存到指标历史数据库。
6.一种非结构化事件日志数据的实时监控装置，其特征在于，包括：事件分类器、指标计算器、指标内存数据库、事件分片与存储模块、监控平台、指标历史数据库、分布文件系统，所述事件分类器与指标计算器相连通，指标计算器连通指标内存数据库，指标内存数据库与监控平台连通，指标内存数据库一个端口与指标历史数据库连接，指标内存数据库的下端设有事件分片与存储模块，事件分布与存储模块与分布式文件系统连接。
7.根据权利要求6所述的一种非结构化事件日志数据的实时监控装置，其特征在于，所述指标计算器安装在单独的事件处理服务器中。
8.根据权利要求6所述的一种非结构化事件日志数据的实时监控装置，其特征在于，所述指标计算器是指把各个指标的计算过程合并为一个处理流程，一旦事件流过这个流程，各个指标可以适时计算出来，然后提交给指标内存数据库缓存。
9.根据权利要求6所述的一种非结构化事件日志数据的实时监控装置，其特征在于，所述指标计算器计算完成后，完成的统计指标交给指标内存数据库，同时监控平台上更新仪表板。
CN201610416190.4A 2016-06-15 2016-06-15 一种非结构化事件日志数据的实时监控方法与装置 Pending CN106095659A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610416190.4A CN106095659A (zh) 2016-06-15 2016-06-15 一种非结构化事件日志数据的实时监控方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610416190.4A CN106095659A (zh) 2016-06-15 2016-06-15 一种非结构化事件日志数据的实时监控方法与装置

Publications (1)

Publication Number Publication Date
CN106095659A true CN106095659A (zh) 2016-11-09

Family

ID=57845202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610416190.4A Pending CN106095659A (zh) 2016-06-15 2016-06-15 一种非结构化事件日志数据的实时监控方法与装置

Country Status (1)

Country Link
CN (1) CN106095659A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301120A (zh) * 2017-07-12 2017-10-27 北京京东尚科信息技术有限公司 用于处理非结构化日志的方法及装置
CN107579864A (zh) * 2017-10-16 2018-01-12 深圳大宇无限科技有限公司 请求监控方法、装置及服务器
CN109634519A (zh) * 2018-11-28 2019-04-16 平安科技（深圳）有限公司 电子装置、监控数据缓存的方法及存储介质
CN109634808A (zh) * 2018-12-05 2019-04-16 中信百信银行股份有限公司 一种基于关联分析的链式监控事件根因分析方法
US11132387B2 (en) 2018-06-28 2021-09-28 Beijing Baidu Netcom Science And Technology Co., Ltd. Event display method and device
CN115221013A (zh) * 2022-09-21 2022-10-21 云智慧（北京）科技有限公司 一种日志模式的确定方法、装置及设备
CN116561374A (zh) * 2023-07-11 2023-08-08 腾讯科技（深圳）有限公司 基于半结构化存储的资源确定方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117306A (zh) * 2010-01-04 2011-07-06 阿里巴巴集团控股有限公司 Etl数据处理过程的监控方法及其系统
CN103546312A (zh) * 2013-08-27 2014-01-29 中国航天科工集团第二研究院七〇六所 一种海量多源异构日志关联分析方法
CN103823811A (zh) * 2012-11-19 2014-05-28 北京百度网讯科技有限公司 用于处理日志的方法及其系统
CN104104734A (zh) * 2014-08-04 2014-10-15 浪潮(北京)电子信息产业有限公司 日志分析方法和装置
CN104346681A (zh) * 2013-08-08 2015-02-11 中国科学院计算机网络信息中心 一种从异构企业信息系统中主动获取数据的方法
CN104539626A (zh) * 2015-01-14 2015-04-22 中国人民解放军信息工程大学 一种基于多源报警日志的网络攻击场景生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117306A (zh) * 2010-01-04 2011-07-06 阿里巴巴集团控股有限公司 Etl数据处理过程的监控方法及其系统
CN103823811A (zh) * 2012-11-19 2014-05-28 北京百度网讯科技有限公司 用于处理日志的方法及其系统
CN104346681A (zh) * 2013-08-08 2015-02-11 中国科学院计算机网络信息中心 一种从异构企业信息系统中主动获取数据的方法
CN103546312A (zh) * 2013-08-27 2014-01-29 中国航天科工集团第二研究院七〇六所 一种海量多源异构日志关联分析方法
CN104104734A (zh) * 2014-08-04 2014-10-15 浪潮(北京)电子信息产业有限公司 日志分析方法和装置
CN104539626A (zh) * 2015-01-14 2015-04-22 中国人民解放军信息工程大学 一种基于多源报警日志的网络攻击场景生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王秀锋: ""网络环境下异构日志信息获取和预处理研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301120A (zh) * 2017-07-12 2017-10-27 北京京东尚科信息技术有限公司 用于处理非结构化日志的方法及装置
CN107301120B (zh) * 2017-07-12 2021-04-30 北京京东尚科信息技术有限公司 用于处理非结构化日志的方法及装置
CN107579864A (zh) * 2017-10-16 2018-01-12 深圳大宇无限科技有限公司 请求监控方法、装置及服务器
CN107579864B (zh) * 2017-10-16 2021-01-08 深圳大宇无限科技有限公司 请求监控方法、装置及服务器
US11132387B2 (en) 2018-06-28 2021-09-28 Beijing Baidu Netcom Science And Technology Co., Ltd. Event display method and device
CN109634519A (zh) * 2018-11-28 2019-04-16 平安科技（深圳）有限公司 电子装置、监控数据缓存的方法及存储介质
CN109634808A (zh) * 2018-12-05 2019-04-16 中信百信银行股份有限公司 一种基于关联分析的链式监控事件根因分析方法
CN109634808B (zh) * 2018-12-05 2022-05-10 中信百信银行股份有限公司 一种基于关联分析的链式监控事件根因分析方法
CN115221013A (zh) * 2022-09-21 2022-10-21 云智慧（北京）科技有限公司 一种日志模式的确定方法、装置及设备
CN116561374A (zh) * 2023-07-11 2023-08-08 腾讯科技（深圳）有限公司 基于半结构化存储的资源确定方法、装置、设备及介质
CN116561374B (zh) * 2023-07-11 2024-02-23 腾讯科技（深圳）有限公司 基于半结构化存储的资源确定方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN106095659A (zh) 一种非结构化事件日志数据的实时监控方法与装置
CN111885012B (zh) 基于多种网络设备信息采集的网络态势感知方法及系统
US10929345B2 (en) System and method of performing similarity search queries in a network
CN108197261A (zh) 一种智慧交通操作系统
US7882262B2 (en) Method and system for inline top N query computation
CN103116605B (zh) 一种基于监测子网的微博热点事件实时检测方法及系统
CN102340415B (zh) 一种服务器集群系统的监控方法和一种服务器集群系统
CN104917627B (zh) 一种用于大型服务器集群的日志集群扫描与分析方法
CN107229556A (zh) 基于elastic组件的日志分析系统
CN106656627A (zh) 一种基于业务的性能监控和故障定位的方法
CN105183609A (zh) 一种应用于软件系统的实时监控系统及方法
CN109254901B (zh) 一种指标监测方法及系统
CN107783985A (zh) 一种分布式数据库查询方法、装置及管理系统
CN104965935B (zh) 网络监控日志的更新方法
CN110209518A (zh) 一种多数据源日志数据集中收集存储方法及装置
CN108170775A (zh) 一种数据库sql索引动态优化方法
CN101145841A (zh) 一种光传输网络处理告警信息上报的方法
CN102385632A (zh) 一种日志自动分类通知方法及系统
CN111552885A (zh) 实现自动化实时消息推送运营的系统及其方法
CN103365963B (zh) 数据库稽核系统合规性快速检验方法
CN113242157A (zh) 一种分布式处理环境下的集中式数据质量监测方法
CN108304293A (zh) 一种基于大数据技术的软件系统监控方法
CN107548087A (zh) 一种告警关联分析的方法及装置
Liu et al. Big Data architecture for IT incident management
CN109960839A (zh) 基于机器学习的业务支撑系统业务链路发现方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161109

WD01 Invention patent application deemed withdrawn after publication