CN107729206A - 告警日志的实时分析方法、系统和计算机处理设备 - Google Patents

Abstract

本发明提供一种告警日志的实时分析方法，所述方法包括：采集告警日志；获取告警日志的初始标识信息；获取热点告警日志，根据热点告警日志获取预设标识信息；将每个告警日志的初始标识信息与预设标识信息相比较，获取与预设标识信息相匹配的告警日志；将获取的相匹配的告警日志存储，并进行展示。这样就可以获取到与预设标识信息相匹配的初始标识信息所对应的告警日志，从而系统可以自动获取到出现热点问题的告警日志，及时对告警日志进行分析，找到告警事项，更早的对告警做预防处理。

Description

告警日志的实时分析方法、系统和计算机处理设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种告警日志的实时分析方法、系统和计算机处理设备。

背景技术

作为大型分布式系统来说，服务器集群中少则有几十台，多则几百上千台，这些24小时运转的服务器会产生大量的系统日志。而这种大型分布式系统每天通常也有几十万甚至千万用户访问，也会产生大量的业务日志。也就是说大型分布式系统每天产生的日志记录，每天少则上亿条，多则几十亿条条。对于每天产生的这些海量日志，实时处理需要大量服务器资源，因此大部分公司不会分析与处理，只是简单记录。也有一些公司会在系统运行中出现问题后，设置相应问题的过滤条件，从而查找相应的日志记录，但这种方式需要首先在系统运行后发现问题，具有滞后性，无法更早的得知系统运行中出现的问题，对于告警日志分析并不及时和充分。

因此，如何提供一种告警日志的分析方法，能够及时对告警日志进行分析，找到告警事项，更早的对告警做预防处理，成为本领域亟需解决的问题。

发明内容

本发明的目的是一种告警日志的实时分析方法、系统和计算机处理设备，能够及时对告警日知进行分析，找到告警事项，更早的对告警做预防处理。

本发明的目的是通过以下技术方案来实现的：

一种告警日志的实时分析方法，所述方法包括：

采集告警日志；

获取告警日志的初始标识信息；

获取热点告警日志，根据热点告警日志获取预设标识信息；

将每个告警日志的初始标识信息与预设标识信息相比较，获取与预设标识信息相匹配的告警日志；

将获取的相匹配的告警日志存储，并进行展示。

优选的，所述热点告警日志包括预设时间内用户关注的告警日志；所述根据热点告警日志获取预设标识信息的步骤包括：根据预设时间内用户关注的告警日志获取预设标识信息。

优选的，所述热点告警日志还包括与所述预设时间内用户关注的告警日志相关联的第一关联告警日志；所述根据热点告警日志获取预设标识信息的步骤包括：根据预设时间内用户关注的告警日志及相关联的第一关联告警日志获取预设标识信息。

优选的，所述预设时间内用户关注的告警日志与相关联的第一关联告警日志之间具有相同类别的关键词。

优选的，所述热点告警日志包括预设时间内出现频次超过预设次数的告警日志；所述根据热点告警日志获取预设标识信息的步骤包括：根据预设时间内出现频次超过预设次数的告警日志获取预设标识信息。

优选的，所述热点告警日志还包括与所述预设时间内出现频次超过预设次数的告警日志相关联的第二关联告警日志；所述根据热点告警日志获取预设标识信息的步骤包括：根据预设时间内出现频次超过预设次数的告警日志及相关联的第二关联告警日志获取预设标识信息。

优选的，所述预设时间内出现频次超过预设次数的告警日志及相关联的第二关联告警日志之间具有相同类别的关键词。

优选的，所述将获取的相匹配的告警日志存储，并进行展示的步骤具体包括：将获取的相匹配的告警日志存储到MySQL中，并以图表的形式对相匹配的告警日志进行展示。

一种计算机处理设备，包括处理器及计算机可读存储介质，所述处理器获取所述计算机可读存储介质上的计算机程序，并执行如上述任一所述方法的步骤。

一种告警日志的实时分析系统，包括：

采集模块，用于采集告警日志；

第一获取模块，用于获取告警日志的初始标识信息；

第二获取模块，用于获取热点告警日志，根据热点告警日志获取预设标识信息；

处理模块，用于将每个告警日志的初始标识信息与预设标识信息相比较，获取与预设标识信息相匹配的告警日志；

存储展示模块，用于将获取的相匹配的告警日志存储，并进行展示。

本发明的数告警日志的实时分析方法由于包括：采集告警日志；获取告警日志的初始标识信息；获取热点告警日志，根据热点告警日志获取预设标识信息；将每个告警日志的初始标识信息与预设标识信息相比较，获取与预设标识信息相匹配的告警日志；将获取的相匹配的告警日志存储，并进行展示。采用这种方式，根据告警日志获取告警日志的初始标识信息，系统自动根据热点告警日志得到预设标识信息，然后将初始标识信息与预设标识信息相比较，获得与预设标识信息相匹配的初始标识信息，这样就可以获取到与预设标识信息相匹配的初始标识信息所对应的告警日志，从而系统可以自动获取到出现热点问题的告警日志，及时对告警日志进行分析，找到告警事项，更早的对告警做预防处理。

附图说明

图1是本发明实施例的一种告警日志的实时分析方法的流程图；

图2是本发明实施例的一种告警日志的实时分析系统的示意图。

具体实施方式

虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

计算机设备包括用户设备与网络设备。其中，用户设备或客户端包括但不限于电脑、智能手机、PDA等；网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云。计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制，使用这些术语仅仅是为了将一个单元与另一个单元进行区分。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

下面结合附图和较佳的实施例对本发明作进一步说明。

如图1所示，本实施例中公开一种告警日志的实时分析方法，所述方法包括：

S101、采集告警日志；

S102、获取告警日志的初始标识信息；

S103、获取热点告警日志，根据热点告警日志获取预设标识信息；

S104、将每个告警日志的初始标识信息与预设标识信息相比较，获取与预设标识信息相匹配的告警日志；

S105、将获取的相匹配的告警日志存储，并进行展示。

采用这种方式，根据告警日志获取告警日志的初始标识信息，系统自动根据热点告警日志得到预设标识信息，然后将初始标识信息与预设标识信息相比较，获得与预设标识信息相匹配的初始标识信息，这样就可以获取到与预设标识信息相匹配的初始标识信息所对应的告警日志，从而系统可以自动获取到出现热点问题的告警日志，及时对告警日志进行分析，找到告警事项，更早的对告警做预防处理。

现有技术中，只能在系统出现问题，并且具有表现后，用户发现了该问题，用户才能够自己去提取与该问题相关的告警日志。这样不仅滞后，无法及时防范问题的出现，而且对于告警日志不能够及时、实时的分析。本实施例中可根据热点告警日志自动获取获取预设标识信息，并在海量告警日志中找出与预设标识信息相匹配的告警日志，从而对于热点问题的告警日志进行分析，更高效和准确的对告警日志进行利用和分析，找到热点问题并提前处理，预防问题的发生。本实施例中标识信息可以是关键字、关键词、字符串、ID号、或问题内容、问题类型等等。本实施例中预设标识信息与初始标识信息的类型应该一致，以便进行比较。

例如，获取的告警日志的初始标识信息为关键词，那么系统就会根据热点告警日志获取获取关键词作为预设标识信息，然后将海量的告警日志的关键词提取，与预设标识信息(关键词)进行匹配，得到匹配一致的告警日志，就是需要进行分析的告警日志，从而方便用户进行分析。

根据其中一个示例，所述热点告警日志包括预设时间内用户关注的告警日志；所述根据热点告警日志获取预设标识信息的步骤包括：根据预设时间内用户关注的告警日志获取预设标识信息。这样就可以让系统根据用户之前关注过的问题对告警日志进行筛选，从而寻找到相匹配的告警日志。例如用户在之前的操作中搜索过关于“死机”的告警日志，那么系统就会将该类告警日志作为热点告警日志，从而获取到预设标识信息为“死机”，并根据该预设标识信息匹配所有具有“死机”的初始标识信息的告警日志，对这些告警日志进行分析。

根据其中另一个示例，所述热点告警日志还包括与所述预设时间内用户关注的告警日志相关联的第一关联告警日志；所述根据热点告警日志获取预设标识信息的步骤包括：根据预设时间内用户关注的告警日志及相关联的第一关联告警日志获取预设标识信息。采用这种方式就可以获取到相同或相似类型的告警日志，从而方便用户对同类型的问题统一的研究和处理。例如上述案例中与“死机”相关联的告警日志，可以选择初始标识信息包括“重启”、“蓝屏”等的告警日志，这样就可以对具有“死机”、“重启”和“蓝屏”的标识信息的告警日志进行分析，找出具有类似问题的原因，并统一解决，提高对告警日志的利用率。

具体的，所述预设时间内用户关注的告警日志与相关联的第一关联告警日志之间具有相同类别的关键词。本实施例中相同类别的关键词可以是出现相同或类似问题的词，例如上述案例中“死机”、“重启”和“蓝屏”即为相同类别的关键词。当然也可以是其他的，例如“读取错误”、“读取缓慢”和“无法读取”等等。

根据其中另一个示例，所述热点告警日志包括预设时间内出现频次超过预设次数的告警日志；所述根据热点告警日志获取预设标识信息的步骤包括：根据预设时间内出现频次超过预设次数的告警日志获取预设标识信息。采用这种方式就可以让系统自动判断在一段时间内所出现的热点问题，从而针对该热点问题的告警日志进行分析。例如在预设时间内具有蓝屏的告警日志出现的频次高于预设次数，或者出现的频次排列第一或第二，那么就可以以蓝屏作为预设标识信息，将海量告警日志的初始标识信息与之进行匹配。

根据其中另一个示例，所述热点告警日志还包括与所述预设时间内出现频次超过预设次数的告警日志相关联的第二关联告警日志；所述根据热点告警日志获取预设标识信息的步骤包括：根据预设时间内出现频次超过预设次数的告警日志及相关联的第二关联告警日志获取预设标识信息。采用这种方式就可以获取到相同或相似类型的告警日志，从而方便用户对同类型的问题统一的研究和处理。例如上述案例中与“死机”相关联的告警日志，可以选择初始标识信息包括“重启”、“蓝屏”等的告警日志，这样就可以对具有“死机”、“重启”和“蓝屏”的标识信息的告警日志进行分析，找出具有类似问题的原因，并统一解决，提高对告警日志的利用率。

具体的，所述预设时间内出现频次超过预设次数的告警日志及相关联的第二关联告警日志之间具有相同类别的关键词。本实施例中相同类别的关键词可以是出现相同或类似问题的词，例如上述案例中“死机”、“重启”和“蓝屏”即为相同类别的关键词。当然也可以是其他的，例如“读取错误”、“读取缓慢”和“无法读取”等等。

根据其中另一个示例，所述将获取的相匹配的告警日志存储，并进行展示的步骤具体包括：将获取的相匹配的告警日志存储到MySQL中，并以图表的形式对相匹配的告警日志进行展示。这样可以方便用户了解和查找数据，并且查看和分析数据。

本实施例中为了更具体的阐述实施方案，实际应用中可按照下面方式进行配置。

(1)搭建Hadoop2.6的集群环境，并配置好Storm、hbase、sqoop、flume、MySQL等环境与配置，设置好Namenode HA和ResourceManager HA；

(2)分析对象确定：经常遇到的error、warn、exception、info等告警类别进行各应用类型的分类；

(3)各种开启agent，通过Flume收集日志；

(4)日志收集：使用Flume收集日志；通过agent，发送给装有Flume的日志服务器的flume目录池下，日志服务器会自动将flume目录池下的数据传输到HDFS，实现日志收集；

(5)HDFS分布式文件系统存储：通过Storm将日志数据与HDFS关联，HDFS通过一个高效的分布式算法，将数据的访问和存储分布在大量服务器之中，在可靠地多备份存储的同时还能将访问分布在集群中的各个服务器之上。配置并启动Storm的计算引擎，并通过分布式的协同过滤算法，对收集的数据进行快速实时分析，分析后分别存入MySQL。

(6)分布式汇总计算：利用Storm进行分布式的并行计算，同时利用分布式的协同过滤算法，计算每个agent每秒、每分，每小时，每天、每月的分析和推荐。分布式汇总计算的统计结果通过Apache Sqoop将error、warn、exception、info等告警类别的数据自动从HDFS中转移至Mysql关系数据库表。

(7)结果展现：分布式汇总计算的统计结果通过Apache Sqoop将各应用的告警日志数量的数据自动从HDFS中转移至Mysql关系数据库表中，使用java web程序访问mysql数据库，以html页面图表和列表的方式展现网页、广告、图片、按钮实时和一段时间内的日志分析情况。例如最后通过开源软件echarts对查询结果进行可视化并展现。

其中，Flume是apache开源的技术，是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。

Storm是apache开源的技术，一个分布式的、容错的实时计算系统。

Kafka是apache开源的技术，用于日志处理的分布式消息队列。

本实施例中采用协调过滤算法的思想：比如从计算的角度看，就是将所有用户对某个物品的偏好作为一个向量来计算物品之间的相似度，得到物品的相似物品后，根据用户历史的偏好预测当前用户还没有表示偏好的物品，计算得到一个排序的物品列表作为推荐。例如，对于物品A，根据所有用户的历史偏好，喜欢物品A的用户都喜欢物品C，得出物品A和物品C比较相似，而用户C喜欢物品A，那么可以推断出用户C可能也喜欢物品C。通过这个思想，本实施例中对不同用户对error、warn、exception、info的告警类型的次数进行分析和用户推荐，也对相同类型告警下不同告警信息的统计，再做推荐。

分布式协同过滤算法的改造点：协同过滤算法本来是针对商品多个属性，和具体一个用户做选择。但日志数据的特点是，1.数据没有多个属性，但其时效性非常强。所以改造后算法，主要是根据时间计算每个条目的相似度。2，因为日志不是真对或关联某个用户，即不是预测某个用户对某个条目的打分，而是基于群体性行为打分。本发明实施例从log4j的告警日志数据的采集、传输、存储、和分布式推荐算法计算全部实现分布式的实时特性，高效、简洁、新颖和超前。

本实施中公开一种计算机处理设备，包括处理器及计算机可读存储介质，所述处理器获取所述计算机可读存储介质上的计算机程序，并执行如上述任一所述方法的步骤。

如图2所示，本实施例中公开一种告警日志的实时分析系统，包括：

采集模块201，用于采集告警日志；

第一获取模块202，用于获取告警日志的初始标识信息；

第二获取模块203，用于获取热点告警日志，根据热点告警日志获取预设标识信息；

处理模块204，用于将每个告警日志的初始标识信息与预设标识信息相比较，获取与预设标识信息相匹配的告警日志；

存储展示模块205，用于将获取的相匹配的告警日志存储，并进行展示。

采用这种方式，根据告警日志获取告警日志的初始标识信息，系统自动根据热点告警日志得到预设标识信息，然后将初始标识信息与预设标识信息相比较，获得与预设标识信息相匹配的初始标识信息，这样就可以获取到与预设标识信息相匹配的初始标识信息所对应的告警日志，从而系统可以自动获取到出现热点问题的告警日志，及时对告警日志进行分析，找到告警事项，更早的对告警做预防处理。

现有技术中，只能在系统出现问题，并且具有表现后，用户发现了该问题，用户才能够自己去提取与该问题相关的告警日志。这样不仅滞后，无法及时防范问题的出现，而且对于告警日志不能够及时、实时的分析。本实施例中可根据热点告警日志自动获取获取预设标识信息，并在海量告警日志中找出与预设标识信息相匹配的告警日志，从而对于热点问题的告警日志进行分析，更高效和准确的对告警日志进行利用和分析，找到热点问题并提前处理，预防问题的发生。本实施例中标识信息可以是关键字、关键词、字符串、ID号、或问题内容、问题类型等等。本实施例中预设标识信息与初始标识信息的类型应该一致，以便进行比较。

例如，获取的告警日志的初始标识信息为关键词，那么系统就会根据热点告警日志获取获取关键词作为预设标识信息，然后将海量的告警日志的关键词提取，与预设标识信息(关键词)进行匹配，得到匹配一致的告警日志，就是需要进行分析的告警日志，从而方便用户进行分析。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种告警日志的实时分析方法，其特征在于，所述方法包括：

采集告警日志；

获取告警日志的初始标识信息；

获取热点告警日志，根据热点告警日志获取预设标识信息；

将每个告警日志的初始标识信息与预设标识信息相比较，获取与预设标识信息相匹配的告警日志；

将获取的相匹配的告警日志存储，并进行展示。

2.根据权利要求1所述的一种告警日志的实时分析方法，其特征在于，所述热点告警日志包括预设时间内用户关注的告警日志；所述根据热点告警日志获取预设标识信息的步骤包括：根据预设时间内用户关注的告警日志获取预设标识信息。

3.根据权利要求2所述的一种告警日志的实时分析方法，其特征在于，所述热点告警日志还包括与所述预设时间内用户关注的告警日志相关联的第一关联告警日志；所述根据热点告警日志获取预设标识信息的步骤包括：根据预设时间内用户关注的告警日志及相关联的第一关联告警日志获取预设标识信息。

4.根据权利要求3所述的一种告警日志的实时分析方法，其特征在于，所述预设时间内用户关注的告警日志与相关联的第一关联告警日志之间具有相同类别的关键词。

5.根据权利要求1所述的一种告警日志的实时分析方法，其特征在于，所述热点告警日志包括预设时间内出现频次超过预设次数的告警日志；所述根据热点告警日志获取预设标识信息的步骤包括：根据预设时间内出现频次超过预设次数的告警日志获取预设标识信息。

6.根据权利要求5所述的一种告警日志的实时分析方法，其特征在于，所述热点告警日志还包括与所述预设时间内出现频次超过预设次数的告警日志相关联的第二关联告警日志；所述根据热点告警日志获取预设标识信息的步骤包括：根据预设时间内出现频次超过预设次数的告警日志及相关联的第二关联告警日志获取预设标识信息。

7.根据权利要求6所述的一种告警日志的实时分析方法，其特征在于，所述预设时间内出现频次超过预设次数的告警日志及相关联的第二关联告警日志之间具有相同类别的关键词。

8.根据权利要求1所述的一种告警日志的实时分析方法，其特征在于，所述将获取的相匹配的告警日志存储，并进行展示的步骤具体包括：将获取的相匹配的告警日志存储到MySQL中，并以图表的形式对相匹配的告警日志进行展示。

9.一种计算机处理设备，包括处理器及计算机可读存储介质，其特征在于，所述处理器获取所述计算机可读存储介质上的计算机程序，并执行如权利要求1-8任一所述方法的步骤。

10.一种告警日志的实时分析系统，其特征在于，包括：

采集模块，用于采集告警日志；

第一获取模块，用于获取告警日志的初始标识信息；

第二获取模块，用于获取热点告警日志，根据热点告警日志获取预设标识信息；

处理模块，用于将每个告警日志的初始标识信息与预设标识信息相比较，获取与预设标识信息相匹配的告警日志；

存储展示模块，用于将获取的相匹配的告警日志存储，并进行展示。