CN104104734A - 日志分析方法和装置 - Google Patents
日志分析方法和装置 Download PDFInfo
- Publication number
- CN104104734A CN104104734A CN201410380155.2A CN201410380155A CN104104734A CN 104104734 A CN104104734 A CN 104104734A CN 201410380155 A CN201410380155 A CN 201410380155A CN 104104734 A CN104104734 A CN 104104734A
- Authority
- CN
- China
- Prior art keywords
- log
- log information
- log analysis
- analysis
- masterplate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种日志分析方法和装置。涉及计算机应用领域;解决了现有的日志分析方式不能满足云环境下日志分析的需求的问题。该方法包括:收集多台异构设备的日志信息;对接收到的日志信息进行分析。本发明提供的技术方案适用于云计算环境,实现了对多台异构设备日志的统一分析管理。
Description
技术领域
本发明涉及计算机应用领域,尤其涉及一种日志分析方法和装置。
背景技术
随着云计算时代的到来,网络中的资源被集中起来充分利用以提供更高的性能,从而出现了大量的数据中心,随之出现的还有大量的服务器运维工作,然而这给网络中成千上万的服务器设备日志的分析及管理带来了巨大的挑战。而设备日志信息作为设备健康状况的一个重要指标,在设备资源监控监测中占有极为重要的地位。面对如此多样的设备以及复杂的网络环境,对这些异构设备日志进行实时准确的性能监控显得尤为必要。
目前业界对于设备系统日志的分析工具众多,但大多是只能分析本机的系统日志,无法适应云环境下特别是大量异构设备系统日志的统一分析和管理。
综上,现有的日志分析方式不能满足云环境下日志分析的需求。
发明内容
本发明提供了一种日志分析方法和装置,解决了现有的日志分析方式不能满足云环境下日志分析的需求的问题。
一种日志分析方法,包括:
收集多台异构设备的日志信息;
对接收到的日志信息进行分析。
优选的,所述收集多台异构设备的日志信息的步骤具体为通过以下一种或多种方式收集:
调用异构设备提供的接口获取日志信息,
通过与所述异构设备上的日志代理收集器,收集各个异构设备上的日志信息,
通过用户临时上传的方式获取日志信息。
优选的,该方法还包括:
预定义日志分析模版,在所述日志分析模版中定义了对日志信息的解析格式和告警关键字。
优选的,对接收到的日志信息进行分析包括:
根据所述日志分析模版对所述日志信息进行分析;
在所述日志信息中存在所述告警关键字时生成告警事件。
优选的,对接收到的日志信息进行分析的步骤之后,还包括:
输出对所述日志信息进行分析的结果和告警事件。
本发明还提供了一种日志分析装置,包括:
日志收集模块,用于收集多台异构设备的日志信息;
日志分析模块,用于对接收到的日志信息进行分析。
优选的,所述日志收集模块包括:
第一收集单元,用于调用异构设备提供的接口获取日志信息;
第二收集单元,用于通过与所述异构设备上的日志代理收集器,收集各个异构设备上的日志信息;
第三收集单元,用于通过用户临时上传的方式获取日志信息。
优选的,该装置还包括:
模版管理模块,用于预定义日志分析模版,在所述日志分析模版中定义了对日志信息的解析格式和告警关键字。
优选的,所述日志分析模块括:
分析单元,用于根据所述日志分析模版对所述日志信息进行分析;
告警单元,用于在所述日志信息中存在所述告警关键字时生成告警事件。
优选的,该装置还包括:
结果展示模块,用于输出对所述日志信息进行分析的结果和告警事件。
本发明提供了一种日志分析方法和装置,收集多台异构设备的日志信息,然后对接收到的日志信息进行分析。实现了对多台异构设备日志的统一分析管理,解决了现有的日志分析方式不能满足云环境下日志分析的需求的问题。
附图说明
图1是本发明的实施例一提供的一种日志分析方法的流程图;
图2是本发明的实施例二提供的一种日志分析系统的结构示意图;
图3是本发明的实施例三提供的一种日志分析装置的结构示意图。
具体实施方式
目前业界对于设备系统日志的分析工具众多,但大多是只能分析本机的系统日志,无法适应云环境下特别是大量异构设备系统日志的统一分析和管理。另一方面业界目前对于日志分析结果的处理不够完善,无告警机制无法根据处理结果实时告警,无法将告警通知及时发送给相关联系人。
为了解决上述问题,本发明的实施例提供了一种日志分析方法和装置。
下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
首先结合附图,对本发明的实施例一进行说明。
本发明实施例提供了一种日志分析方法,能够对云环境下大量异构设备的系统日志进行统一的分析和管理,具体流程如图1所示,包括:
步骤101、收集多台异构设备的日志信息;
本步骤中,具体可通过以下一种或多种方式收集:
调用异构设备提供的接口获取日志信息,
通过与所述异构设备上的日志代理收集器,收集各个异构设备上的日志信息,
通过用户临时上传的方式获取日志信息。
步骤102、对接收到的日志信息进行分析;
本发明实施例中,预定义日志分析模版,在所述日志分析模版中定义了对日志信息的解析格式和告警关键字。
本步骤中,根据所述日志分析模版对所述日志信息进行分析,并在所述日志信息中存在所述告警关键字时生成告警事件。
然后,即可输出对所述日志信息进行分析的结果和告警事件。如,在系统界面展示分析的结果信息以及告警事件,同时,将产生的告警事件以邮件或短信的形式发出。
下面结合附图,对本发明的实施例二进行说明。
本发明实施例提供了一种日志分析系统,考虑到云环境下大量异构设备系统日志格式差异较大的特点,该系统如图2所示,包括:
日志接收模块201、日志分析模块202以及日志结果展示模块203。
日志接收模块201可以通过接口请求、日志代理收集器以及临时上传三种方式收集各异构设备的日志信息,接口请求即调用设备提供的接口取得日志信息;日志代理收集器是安装在各个异构设备上的收集日志信息的代理,本系统可与代理通信并获取日志信息;本系统还可以通过用户临时上传的方式获取日志进行分析。以A设备和B设备为例,B设备对A设备提供了获取B设备日志信息的接口;日志代理收集器安装到B设备上,以获取B的日志信息并发送至A。
日志分析模块202从日志收集模块201获取日志信息进行分析,采用如下两种分析方式全面准确的对日志分析:日志分析模版和关键字告警。将日志格式类似的设备日志定义为同一种日志分析模版,避免了为每种设备定义模版,模版定义了日志的解析格式,根据模版实现对各种日志的解析。当检测到日志中出现符合条件的关键字时可根据关键字告警。例如,日志包含事件ID、时间戳、名称、类型和描述等信息,针对这样的日志可定义模板:{time,name,type,des}(分别对应时间戳、名称、类型和描述)。
日志结果展示模块203从日志分析模块202接收日志分析结果信息,并在系统界面展示分析结果信息以及告警信息,同时,将产生的告警事件以邮件或短信的形式发出通知。
下面结合附图,对本发明的实施例三进行说明。
本发明实施例提供了一种日志分析装置,其结构如图3所示,包括:
日志收集模块301,用于收集多台异构设备的日志信息;
日志分析模块302,用于对接收到的日志信息进行分析。
优选的,所述日志收集模块301包括:
第一收集单元3011,用于调用异构设备提供的接口获取日志信息;
第二收集单元3012,用于通过与所述异构设备上的日志代理收集器,收集各个异构设备上的日志信息;
第三收集单元3013,用于通过用户临时上传的方式获取日志信息。
优选的,该装置还包括:
模版管理模块303,用于预定义日志分析模版,在所述日志分析模版中定义了对日志信息的解析格式和告警关键字。
优选的,所述日志分析模块302包括:
分析单元3021,用于根据所述日志分析模版对所述日志信息进行分析;
告警单元3022,用于在所述日志信息中存在所述告警关键字时生成告警事件。
优选的,该装置还包括:
结果展示模块304,用于输出对所述日志信息进行分析的结果和告警事件。
本发明的实施例提供了一种日志分析方法、装置和系统,收集多台异构设备的日志信息,然后对接收到的日志信息进行分析。实现了对多台异构设备日志的统一分析管理,解决了现有的日志分析方式不能满足云环境下日志分析的需求的问题。
本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现,所述计算机程序可以存储于一计算机可读存储介质中,所述计算机程序在相应的硬件平台上(如系统、设备、装置、器件等)执行,在执行时,包括方法实施例的步骤之一或其组合。
可选地,上述实施例的全部或部分步骤也可以使用集成电路来实现,这些步骤可以被分别制作成一个个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
上述实施例中的各装置/功能模块/功能单元可以采用通用的计算装置来实现,它们可以集中在单个的计算装置上,也可以分布在多个计算装置所组成的网络上。
上述实施例中的各装置/功能模块/功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器,磁盘或光盘等。
任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求所述的保护范围为准。
Claims (10)
1.一种日志分析方法,其特征在于,包括:
收集多台异构设备的日志信息;
对接收到的日志信息进行分析。
2.根据权利要求1所述的日志分析方法,其特征在于,所述收集多台异构设备的日志信息的步骤具体为通过以下一种或多种方式收集:
调用异构设备提供的接口获取日志信息,
通过与所述异构设备上的日志代理收集器,收集各个异构设备上的日志信息,
通过用户临时上传的方式获取日志信息。
3.根据权利要求1所述的日志分析方法,其特征在于,该方法还包括:
预定义日志分析模版,在所述日志分析模版中定义了对日志信息的解析格式和告警关键字。
4.根据权利要求3所述的日志分析方法,其特征在于,对接收到的日志信息进行分析包括:
根据所述日志分析模版对所述日志信息进行分析;
在所述日志信息中存在所述告警关键字时生成告警事件。
5.根据权利要求4所述的日志分析方法,其特征在于,对接收到的日志信息进行分析的步骤之后,还包括:
输出对所述日志信息进行分析的结果和告警事件。
6.一种日志分析装置,其特征在于,包括:
日志收集模块,用于收集多台异构设备的日志信息;
日志分析模块,用于对接收到的日志信息进行分析。
7.根据权利要求1所述的日志分析装置,其特征在于,所述日志收集模块包括:
第一收集单元,用于调用异构设备提供的接口获取日志信息;
第二收集单元,用于通过与所述异构设备上的日志代理收集器,收集各个异构设备上的日志信息;
第三收集单元,用于通过用户临时上传的方式获取日志信息。
8.根据权利要求1所述的日志分析装置,其特征在于,该装置还包括:
模版管理模块,用于预定义日志分析模版,在所述日志分析模版中定义了对日志信息的解析格式和告警关键字。
9.根据权利要求8所述的日志分析装置,其特征在于,所述日志分析模块括:
分析单元,用于根据所述日志分析模版对所述日志信息进行分析;
告警单元,用于在所述日志信息中存在所述告警关键字时生成告警事件。
10.根据权利要求9所述的日志分析装置,其特征在于,该装置还包括:
结果展示模块,用于输出对所述日志信息进行分析的结果和告警事件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410380155.2A CN104104734A (zh) | 2014-08-04 | 2014-08-04 | 日志分析方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410380155.2A CN104104734A (zh) | 2014-08-04 | 2014-08-04 | 日志分析方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104104734A true CN104104734A (zh) | 2014-10-15 |
Family
ID=51672533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410380155.2A Pending CN104104734A (zh) | 2014-08-04 | 2014-08-04 | 日志分析方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104104734A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104486107A (zh) * | 2014-12-05 | 2015-04-01 | 曙光信息产业(北京)有限公司 | 一种日志采集装置及方法 |
CN105049247A (zh) * | 2015-07-06 | 2015-11-11 | 中国科学院信息工程研究所 | 一种网络安全日志模板抽取方法及装置 |
CN106095659A (zh) * | 2016-06-15 | 2016-11-09 | 安徽天枢信息科技有限公司 | 一种非结构化事件日志数据的实时监控方法与装置 |
CN106202511A (zh) * | 2016-07-21 | 2016-12-07 | 浪潮(北京)电子信息产业有限公司 | 一种基于日志分析的告警方法和系统 |
CN106250290A (zh) * | 2016-08-03 | 2016-12-21 | 广州唯品会信息科技有限公司 | 异常信息的分析方法及装置 |
CN106254086A (zh) * | 2015-06-04 | 2016-12-21 | 重庆达特科技有限公司 | 云日志集中管理,分析,监控和报警平台 |
CN106817262A (zh) * | 2017-03-01 | 2017-06-09 | 郑州云海信息技术有限公司 | 一种日志分析装置 |
CN106992886A (zh) * | 2017-04-05 | 2017-07-28 | 国家电网公司 | 一种基于分布式存储的日志分析方法及装置 |
CN107273269A (zh) * | 2017-06-12 | 2017-10-20 | 北京奇虎科技有限公司 | 日志解析方法及装置 |
CN107729206A (zh) * | 2017-09-04 | 2018-02-23 | 上海斐讯数据通信技术有限公司 | 告警日志的实时分析方法、系统和计算机处理设备 |
US11366712B1 (en) | 2020-12-02 | 2022-06-21 | International Business Machines Corporation | Adaptive log analysis |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1645336A (zh) * | 2005-01-20 | 2005-07-27 | 上海复旦光华信息科技股份有限公司 | 基于模板的异构日志信息自动提取与分析方法 |
US20120124047A1 (en) * | 2010-11-17 | 2012-05-17 | Eric Hubbard | Managing log entries |
CN102739434A (zh) * | 2011-03-31 | 2012-10-17 | 日本电气株式会社 | 根据简单网络管理协议使用服务器代理的通信系统 |
CN102780726A (zh) * | 2011-05-13 | 2012-11-14 | 中兴通讯股份有限公司 | 一种基于web平台的日志分析方法及系统 |
-
2014
- 2014-08-04 CN CN201410380155.2A patent/CN104104734A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1645336A (zh) * | 2005-01-20 | 2005-07-27 | 上海复旦光华信息科技股份有限公司 | 基于模板的异构日志信息自动提取与分析方法 |
US20120124047A1 (en) * | 2010-11-17 | 2012-05-17 | Eric Hubbard | Managing log entries |
CN102739434A (zh) * | 2011-03-31 | 2012-10-17 | 日本电气株式会社 | 根据简单网络管理协议使用服务器代理的通信系统 |
CN102780726A (zh) * | 2011-05-13 | 2012-11-14 | 中兴通讯股份有限公司 | 一种基于web平台的日志分析方法及系统 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104486107A (zh) * | 2014-12-05 | 2015-04-01 | 曙光信息产业(北京)有限公司 | 一种日志采集装置及方法 |
CN106254086A (zh) * | 2015-06-04 | 2016-12-21 | 重庆达特科技有限公司 | 云日志集中管理,分析,监控和报警平台 |
CN105049247B (zh) * | 2015-07-06 | 2019-04-26 | 中国科学院信息工程研究所 | 一种网络安全日志模板抽取方法及装置 |
CN105049247A (zh) * | 2015-07-06 | 2015-11-11 | 中国科学院信息工程研究所 | 一种网络安全日志模板抽取方法及装置 |
CN106095659A (zh) * | 2016-06-15 | 2016-11-09 | 安徽天枢信息科技有限公司 | 一种非结构化事件日志数据的实时监控方法与装置 |
CN106202511A (zh) * | 2016-07-21 | 2016-12-07 | 浪潮(北京)电子信息产业有限公司 | 一种基于日志分析的告警方法和系统 |
CN106250290A (zh) * | 2016-08-03 | 2016-12-21 | 广州唯品会信息科技有限公司 | 异常信息的分析方法及装置 |
CN106817262A (zh) * | 2017-03-01 | 2017-06-09 | 郑州云海信息技术有限公司 | 一种日志分析装置 |
CN106992886A (zh) * | 2017-04-05 | 2017-07-28 | 国家电网公司 | 一种基于分布式存储的日志分析方法及装置 |
CN107273269A (zh) * | 2017-06-12 | 2017-10-20 | 北京奇虎科技有限公司 | 日志解析方法及装置 |
CN107273269B (zh) * | 2017-06-12 | 2021-04-23 | 北京奇虎科技有限公司 | 日志解析方法及装置 |
CN107729206A (zh) * | 2017-09-04 | 2018-02-23 | 上海斐讯数据通信技术有限公司 | 告警日志的实时分析方法、系统和计算机处理设备 |
US11366712B1 (en) | 2020-12-02 | 2022-06-21 | International Business Machines Corporation | Adaptive log analysis |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104104734A (zh) | 日志分析方法和装置 | |
US11683221B1 (en) | Automatic generation of template for provisioning services in a hosted computing environment | |
CN107943668B (zh) | 计算机服务器集群日志监控方法及监控平台 | |
CN101707632A (zh) | 一种动态监控服务器集群性能并实时报警的方法 | |
CN102567185B (zh) | 一种应用服务器的监控方法 | |
CN108984332A (zh) | 一种定位服务器宕机故障的装置及方法 | |
CN1960297A (zh) | 监控网络上设备组的系统与方法 | |
CN108521339A (zh) | 一种基于集群日志的反馈式节点故障处理方法及系统 | |
CN110147470B (zh) | 一种跨机房数据比对系统及方法 | |
CN111162932A (zh) | 一种基于日志分析的api网关监控方法 | |
CN110737726A (zh) | 一种确定待测试接口的测试数据的方法和装置 | |
CN114201540A (zh) | 工业多源数据采集及存储系统 | |
CN117492403B (zh) | 一种大型仪器设备运行监控系统及方法 | |
CN107870850A (zh) | 一种高效的互联网应用日志系统 | |
CN1971599A (zh) | 一种软件应用错误监控方法及系统 | |
CN114265904A (zh) | 一种数据处理方法及云计算平台 | |
CN112579406B (zh) | 一种日志调用链生成方法和装置 | |
CN109818799B (zh) | 日志采集分析方法及设备 | |
CN108959041B (zh) | 信息发送的方法、服务器及计算机可读存储介质 | |
CN112506886B (zh) | 一种多源业务操作日志采集方法及系统 | |
CN110020166A (zh) | 一种数据分析方法及相关设备 | |
CN114138720A (zh) | 日志处理方法、装置、电子装置和存储介质 | |
CN112783920A (zh) | 基于数据编排的工业物联网数据实时计算方法和系统 | |
CN104182325A (zh) | 一种检测服务器环境声振动的方法 | |
CN101771578A (zh) | 一种网络性能检测方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141015 |