CN109947715A - 日志告警方法及装置 - Google Patents
日志告警方法及装置 Download PDFInfo
- Publication number
- CN109947715A CN109947715A CN201811043125.7A CN201811043125A CN109947715A CN 109947715 A CN109947715 A CN 109947715A CN 201811043125 A CN201811043125 A CN 201811043125A CN 109947715 A CN109947715 A CN 109947715A
- Authority
- CN
- China
- Prior art keywords
- log
- mode
- pattern match
- log analysis
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提出一种日志告警方法及装置,其中方法包括:获取待查询日志的模式;根据模式,查询配置信息库,判断是否存在与模式匹配的日志分析信息;日志分析信息包括:查询语句、日志分析脚本和预期结果;若存在与模式匹配的日志分析信息,则根据日志分析信息,查询日志索引库,获取具有模式的日志,并确定是否进行告警;日志索引库中,针对不同模式的日志,设置有不同结构的索引。该方法能够实现对日志告警的配置化、可视化和自动化。并且对于具有相同查询逻辑的不同日志,无需重复配置查询语句、日志分析脚本和预期结果,可以提升系统的执行效率。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种日志告警方法及装置。
背景技术
目前的日志告警方法为:通过在基于分布式多用户能力的全文搜索引擎ElasticSearch(简称ES)的开源的分析与可视化平台Kibana中,按照ES查询规范,编写特定模式的日志的查询语句,将查询结果进行展示,或者,通过Kibana自带的判断脚本进行分析,确定是否进行告警。
这种方式下,具有相同查询逻辑的不同业务告警,需要重复配置查询语句和判断脚本,存在执行效率较低的问题。
发明内容
本发明提出一种日志告警方法及装置,以实现对日志告警的配置化、可视化和自动化。并且对于具有相同查询逻辑的不同日志,无需重复配置查询语句、日志分析脚本和预期结果,可以提升系统的执行效率,用于解决现有技术中执行效率较低的技术问题。
本发明一方面实施例提出了一种日志告警方法,包括:
获取待查询日志的模式;
根据所述模式,查询配置信息库,判断是否存在与所述模式匹配的日志分析信息;所述日志分析信息包括:查询语句、日志分析脚本和预期结果;
若存在与所述模式匹配的日志分析信息,则根据所述日志分析信息,查询日志索引库,获取具有所述模式的日志,并确定是否进行告警;所述日志索引库中,针对不同模式的日志,设置有不同结构的索引。
进一步的,若存在与所述模式匹配的日志分析信息,则根据所述日志分析信息,查询日志数据库,确定是否进行告警,包括:
若存在与所述模式匹配的日志分析信息,则采用所述查询语句进行日志索引库,获取查询结果;所述查询结果中包括:具有所述模式的日志;
采用所述日志分析脚本对所述查询结果进行分析,获取分析结果;
将所述分析结果与预期结果进行比对,确定是否进行告警。
进一步的,所述方法还包括:
若不存在与所述模式匹配的日志分析信息,则依次从查询条件集合、查询语句模板集合、日志分析模板集合以及预期结果模板集合中选择与所述模式匹配的查询条件、查询语句模板、日志分析模板和预期结果模板;
根据与所述模式匹配的查询条件、查询语句模板,生成与所述模式匹配的查询语句;
将与所述模式匹配的日志分析模板,确定为与所述模式匹配的日志分析脚本;
将与所述模式匹配的预期结果模板,确定为与所述模式匹配的预期结果。
进一步的,根据所述模式,查询配置信息库,判断是否存在与所述模式匹配的日志分析信息之前,还包括:
获取所述待查询日志中业务的类型;
对应的,所述根据所述模式,查询配置信息库,判断是否存在与所述模式匹配的日志分析信息,包括:
根据所述模式和所述类型,查询配置信息库,判断是否存在与所述模式和所述类型匹配的日志分析信息。
进一步的,所述根据所述模式,查询配置信息库,判断是否存在与所述模式匹配的日志分析信息之前,还包括:
判断日志告警任务是否启动;
若所述日志告警任务未启动,则不对具有所述模式的日志进行操作。
本发明实施例的日志告警方法,通过获取待查询日志的模式,而后,根据模式,查询配置信息库,判断是否存在与模式匹配的日志分析信息,若是,则根据日志分析信息,查询日志索引库,获取具有模式的日志,并确定是否进行告警,其中,日志索引库中,针对不同模式的日志,设置有不同结构的索引。由此,可以实现对日志告警的配置化、可视化和自动化。并且对于具有相同查询逻辑的不同日志,无需重复配置查询语句、日志分析脚本和预期结果,可以提升系统的执行效率。
本发明又一方面实施例提出了一种日志告警装置,包括:
获取模块,用于获取待查询日志的模式;
查询模块,用于根据所述模式,查询配置信息库,判断是否存在与所述模式匹配的日志分析信息;所述日志分析信息包括:查询语句、日志分析脚本和预期结果;
确定模块,用于在存在与所述模式匹配的日志分析信息时,根据所述日志分析信息,查询日志索引库,获取具有所述模式的日志,并确定是否进行告警;所述日志索引库中,针对不同模式的日志,设置有不同结构的索引。
进一步的,所述确定模块具体用于,
若存在与所述模式匹配的日志分析信息,则采用所述查询语句进行日志索引库,获取查询结果;所述查询结果中包括:具有所述模式的日志;
采用所述日志分析脚本对所述查询结果进行分析,获取分析结果;
将所述分析结果与预期结果进行比对,确定是否进行告警。
进一步的,所述装置还包括:选择模块和生成模块;
所述选择模块,用于在不存在与所述模式匹配的日志分析信息时,依次从查询条件集合、查询语句模板集合、日志分析模板集合以及预期结果模板集合中选择与所述模式匹配的查询条件、查询语句模板、日志分析模板和预期结果模板;
所述生成模块,用于根据与所述模式匹配的查询条件、查询语句模板,生成与所述模式匹配的查询语句;
所述确定模块,还用于将与所述模式匹配的日志分析模板,确定为与所述模式匹配的日志分析脚本;
所述确定模块,还用于将与所述模式匹配的预期结果模板,确定为与所述模式匹配的预期结果。
进一步的,所述获取模块,还用于获取所述待查询日志中业务的类型;
对应的,所述查询模块具体用于,根据所述模式和所述类型,查询配置信息库,判断是否存在与所述模式和所述类型匹配的日志分析信息。
进一步的,所述装置还包括:判断模块;
所述判断模块,用于判断日志告警任务是否启动;
所述查询模块,还用于在所述日志告警任务未启动,则不对具有所述模式的日志进行操作。
本发明实施例的日志告警装置,通过获取待查询日志的模式,而后,根据模式,查询配置信息库,判断是否存在与模式匹配的日志分析信息,若是,则根据日志分析信息,查询日志索引库,获取具有模式的日志,并确定是否进行告警,其中,日志索引库中,针对不同模式的日志,设置有不同结构的索引。由此,可以实现对日志告警的配置化、可视化和自动化。并且对于具有相同查询逻辑的不同日志,无需重复配置查询语句、日志分析脚本和预期结果,可以提升系统的执行效率。
本发明又一方面实施例提出了另一种日志告警装置,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如上所述的日志告警方法。
本发明又一方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的日志告警方法。
本发明又一方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,实现如上所述的日志告警方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例一所提供的日志告警方法的流程示意图;
图2为本发明实施例二所提供的日志告警方法的流程示意图;
图3为本发明实施例三所提供的日志告警方法的流程示意图;
图4为本发明实施例四所提供的日志告警方法的流程示意图;
图5为本发明实施例五所提供的日志告警装置的结构示意图;
图6为本发明实施例六所提供的日志告警装置的结构示意图;
图7为本发明实施例七所提供的日志告警装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
本发明主要针对现有技术中执行效率较低的技术问题,提出一种日志告警方法。
本发明实施例的日志告警方法,通过获取待查询日志的模式,而后,根据模式,查询配置信息库,判断是否存在与模式匹配的日志分析信息,若是,则根据日志分析信息,查询日志索引库,获取具有模式的日志,并确定是否进行告警,其中,日志索引库中,针对不同模式的日志,设置有不同结构的索引。由此,可以实现对日志告警的配置化、可视化和自动化。并且对于具有相同查询逻辑的不同日志,无需重复配置查询语句、日志分析脚本和预期结果,可以提升系统的执行效率。
下面参考附图描述本发明实施例的日志告警方法及装置。
图1为本发明实施例一所提供的日志告警方法的流程示意图。
本发明提供的日志告警方法的执行主体为日志聚合装置,日志聚合装置可以为Kibana,或者为特定模式日志的业务分析配置平台,对此不作限制。
如图1所示,该日志告警方法可以包括以下步骤:
步骤101,获取待查询日志的模式。
本申请实施例中,待查询日志为需要进行查询的日志,该待查询日志可以为业务产生的结构化日志。
可以理解的是,不同日志包括的数据可以不同,并且,不同日志的数据的组织格式可以不同,从而日志对应的模式可以不同,例如,当日志包括:名称、时间、地点等数据时,该日志对应的模式可以为第一模式,当日志包括:地点、次数等数据时,该日志对应的模式可以为第二模式,即不同模式的日志中,数据的组织格式可以不同。
作为一种可能的实现方式,可以预先建立不同数据的组织格式与模式之间的对应关系,当获取到待查询日志后,可以根据待查询日志的数据的组织格式,查询上述对应关系,获取与该待查询日志对应的模式。
步骤102,根据模式,查询配置信息库,判断是否存在与模式匹配的日志分析信息;日志分析信息包括:查询语句、日志分析脚本和预期结果。
本申请实施例中,日志分析信息可以包括:查询语句、日志分析脚本和预期结果。可以理解的是,对于不同模式的日志,由于数据格式不同,需要查询的目标或者分析的目的可以不同,因此,不同模式对应的日志分析信息可以不同,从而查询语句、日志分析脚本和预期结果可以不同。
本申请实施例中,可以预先根据不同模式的日志,在配置信息库中设置对应的日志分析信息,并在配置信息库中建立模式与日志分析信息之间的对应关系。从而在获取到待查询日志的模式后,可以根据模式,查询上述配置信息库,确定配置库中是否存在与模式匹配的日志分析信息。具体地,可以判断配置库中是否存在模式,若是,则确定存在与模式匹配的日志分析信息,若否,则确定不存在与模式匹配的日志分析信息。
作为一种示例,可以提供统一的配置界面,将分散的查询语句、日志分析脚本和预期结果集中进行配置,而后保存在信息配置库中,可以实现对配置信息进行标准化和模块化的管理,可以降低配置管理的复杂程度。并且,可以实现日志告警的配置化和可视化。
步骤103,若存在与模式匹配的日志分析信息,则根据日志分析信息,查询日志索引库,获取具有模式的日志,并确定是否进行告警;日志索引库中,针对不同模式的日志,设置有不同结构的索引。
本申请实施例中,可以预先根据不同模式的日志,设置对应结构的索引,并在日志索引库中保存有不同模式的日志与对应结构的索引之间的对应关系。当配置信息库存在与模式匹配的日志分析信息时,可以通过日志分析信息中的查询语句查询日志索引库中的指定索引,获取查询结果,该查询结果中可以包括具有模式的日志,而后可以对查询结果进行分析判断,确定是否进行告警。具体地,可以根据日志分析脚本对查询结果进行分析,获取分析结果,而后将分析结果与预期结果进行比对,如果分析结果超过预期结果,则确定进行告警,如果分析结果未超过预期结果,则确定不进行告警。
需要说明的是,应用系统通过在程序中增加判断逻辑,对日志中出现的问题进行直接告警,虽然可以实现日志告警的自动化,但是,该方法需要对应用代码进行修改,修改量较大,且配置的灵活性较低。
而本申请实施例中,可以通过提供统一的配置界面,对配置信息库和日志索引库进行配置,可以实现对配置信息进行标准化和模块化的管理,可以降低配置管理的复杂程度,提升配置的灵活性,并且无需对应用代码进行修改,可以降低人工参与程度,且提升系统的执行效率。
本发明实施例的日志告警方法,通过获取待查询日志的模式,而后,根据模式,查询配置信息库,判断是否存在与模式匹配的日志分析信息,若是,则根据日志分析信息,查询日志索引库,获取具有模式的日志,并确定是否进行告警,其中,日志索引库中,针对不同模式的日志,设置有不同结构的索引。由此,可以实现对日志告警的配置化、可视化和自动化。并且对于具有相同查询逻辑的不同日志,无需重复配置查询语句、日志分析脚本和预期结果,可以提升系统的执行效率。
作为一种可能的实现方式,参见图2,在图1所示实施例的基础上,步骤103具体可以包括以下子步骤:
步骤201,若存在与模式匹配的日志分析信息,则采用查询语句查询日志索引库,获取查询结果;查询结果中包括:具有模式的日志。
本申请实施例中,当配置信息库中存在与模式匹配的日志分析信息时,可以采用查询语句查询日志索引库中的指定索引,获取查询结果。其中,查询结果包括具有模式的日志,例如该具有模式的日志中可以包括:交易时间,交易对象,交易数量等信息。
需要说明的是,采用查询语句查询日志索引库的操作,还可以由ES集群或者ES集群对应的ES搜索引擎来执行,本申请实施例对此不作限制。
步骤202,采用日志分析脚本对查询结果进行分析,获取分析结果。
本申请实施例中,可以通过日志分析脚本,对查询结果进行分析,获取分析结果。仍以上述例子示例,分析结果可以为统计预设时间段内的交易数量。
步骤203,将分析结果与预期结果进行比对,确定是否进行告警。
本申请实施例中,可以将分析结果与预期结果进行比对,如果分析结果超过预期结果,则确定进行告警,如果分析结果未超过预期结果,则确定不进行告警,可以提升告警的准确度。
举例而言,以具有模式的日志中包括:交易时间,交易对象,交易数量为例,采用日志分析脚本对查询结果进行分析,获取的分析结果可以为统计预设时间段内的交易数量。当预设时间段内的交易数量超过预期结果时,则进行告警,而当预设时间段内的交易数量未超过预期结果时,则不进行告警。
作为一种可能的实现方式,当配置信息库中不存在与模式匹配的日志分析信息时,还可以在配置界面提供模板配置,当对特定业务类型的日志进行分析时,可以使用模板配置,生成与该日志的模式匹配的日志分析信息,从而可以提升配置的效率。下面结合图3,对上述过程进行详细说明。
图3为本申请实施例三所提供的日志告警方法的流程示意图。
如图3所示,该日志告警方法可以包括以下步骤:
步骤301,获取待查询日志的模式。
步骤302,根据模式,查询配置信息库,判断是否存在与模式匹配的日志分析信息,若是,执行步骤303,否则,执行步骤304。
其中,日志分析信息包括:查询语句、日志分析脚本和预期结果;
步骤303,根据日志分析信息,查询日志索引库,获取具有模式的日志,并确定是否进行告警。
其中,日志索引库中,针对不同模式的日志,设置有不同结构的索引。
步骤304,依次从查询条件集合、查询语句模板集合、日志分析模板集合以及预期结果模板集合中选择与模式匹配的查询条件、查询语句模板、日志分析模板和预期结果模板。
本申请实施例中,可以预先设置不同的查询条件、查询语句模板、日志分析模板、预期结果模板,并分别置于查询条件集合、查询语句模板集合、日志分析模板集合以及预期结果模板集合中。当配置信息库中不存在与模式匹配的日志分析信息时,可以根据待查询日志的模式,依次从查询条件集合、查询语句模板集合、日志分析模板集合以及预期结果模板集合中,选择与模式匹配的查询条件、查询语句模板、日志分析模板和预期结果模板。
步骤305,根据与模式匹配的查询条件、查询语句模板,生成与模式匹配的查询语句。
步骤306,将与模式匹配的日志分析模板,确定为与模式匹配的日志分析脚本。
步骤307,将与模式匹配的预期结果模板,确定为与模式匹配的预期结果。
本申请实施例中,可以根据与模式匹配的查询条件、查询语句模板,生成与模式匹配的查询语句,将与模式匹配的日志分析模板,确定为与模式匹配的日志分析脚本,以及将与模式匹配的预期结果模板,确定为与模式匹配的预期结果,从而当配置信息库中不存在与模式匹配的日志分析信息时,可以从预先设置的配置模板中,确定与模式匹配的日志分析信息,可以提升该方法的适用性,以及提升日志被成功分析的概率,从而避免因不存在与模式匹配的日志分析信息而导致无法告警的情况发生,提升系统的可靠性。
作为一种可能的实现方式,在步骤102之前,该日志告警方法还可以包括以下步骤:获取待查询日志中业务的类型。
可以理解的是,对于同样数据格式的日志,针对不同类型的业务,需要查询的目标或者分析的目的可以不同。因此,可以对待查询日志进行解析,获取该待查询日志中业务的类型。
对应的,步骤102具体包括:根据模式和类型,查询配置信息库,判断是否存在与模式和类型匹配的日志分析信息。
具体地,对于不同模式的日志,由于数据格式不同,需要查询的目标或者分析的目的可以不同,并且,对于同样数据格式的日志,针对不同类型的业务,需要查询的目标或者分析的目的可以不同,因此,本申请中,可以预先根据不同模式和类型,在配置信息库中设置对应的日志分析信息,并在配置信息库中建立模式和类型,与日志分析信息之间的对应关系。从而在获取到待查询日志的模式和待查询日志中业务的类型后,根据模式和类型,查询上述配置信息库,确定是否存在与模式和类型匹配的日志分析信息。具体地,若配置信息库中存在模式和类型,则确定存在与模式和类型匹配的日志分析信息,若配置信息库中不存在模式和类型,则可以参考步骤304,创建与所述模式和类型匹配的日志分析信息。由此,可以提升日志分析信息确定的准确性。
作为一种可能的实现方式,为了节省系统的资源占用,只有当日志告警任务启动时,才对具有模式的日志进行操作,而当日志告警任务未启动时,可以不对具有模式的日志进行操作。下面结合图4,对上述过程进行详细说明。
图4为本申请实施例四所提供的日志告警方法的流程示意图。
如图4所示,在图1所示实施例的基础上,在步骤102之前,该日志告警方法还可以包括以下步骤:
步骤401,判断日志告警任务是否启动。
作为一种可能的实现方式,可以在配置界面设置启动日志告警任务按钮,本申请中,可以通过侦听方式,确定用户是否启动上述按钮,当用户启动上述按钮时,可以确定日志告警任务启动,此时,可以执行步骤102,而当用户未启动上述按钮时,可以确定日志告警任务未启动,此时,可以执行步骤402。
步骤402,若日志告警任务未启动,则不对具有模式的日志进行操作。
本申请实施例中,当日志告警任务未启动时,为了节省系统的资源占用,可以不对具有模式的日志进行操作。
为了实现上述实施例,本发明还提供一种日志告警装置。
图5为本发明实施例五所提供的日志告警装置的结构示意图。
如图5所示,该日志告警装置100可以包括:获取模块110、查询模块120,以及确定模块130。
其中,获取模块110,用于获取待查询日志的模式。
查询模块120,用于根据模式,查询配置信息库,判断是否存在与模式匹配的日志分析信息;日志分析信息包括:查询语句、日志分析脚本和预期结果。
确定模块130,用于在存在与模式匹配的日志分析信息时,根据日志分析信息,查询日志索引库,获取具有模式的日志,并确定是否进行告警;日志索引库中,针对不同模式的日志,设置有不同结构的索引。
作为一种可能的实现方式,确定模块130,具体用于:若存在与模式匹配的日志分析信息,则采用查询语句进行日志索引库,获取查询结果;查询结果中包括:具有模式的日志;采用日志分析脚本对查询结果进行分析,获取分析结果;将分析结果与预期结果进行比对,确定是否进行告警。
进一步地,在本发明实施例的一种可能的实现方式中,参见图6,在图5所示实施例的基础上,该日志告警装置100还可以包括:选择模块140、生成模块150和判断模块160。
其中,选择模块140,用于在不存在与模式匹配的日志分析信息时,依次从查询条件集合、查询语句模板集合、日志分析模板集合以及预期结果模板集合中选择与模式匹配的查询条件、查询语句模板、日志分析模板和预期结果模板。
生成模块150,用于根据与模式匹配的查询条件、查询语句模板,生成与模式匹配的查询语句。
确定模块130,还用于将与模式匹配的日志分析模板,确定为与模式匹配的日志分析脚本。
确定模块130,还用于将与模式匹配的预期结果模板,确定为与模式匹配的预期结果。
作为一种可能的实现方式,获取模块110,还用于获取待查询日志中业务的类型。
对应的,查询模块120,具体用于:根据模式和类型,查询配置信息库,判断是否存在与模式和类型匹配的日志分析信息。
判断模块160,用于判断日志告警任务是否启动。
查询模块120,还用于在日志告警任务未启动,则不对具有模式的日志进行操作。
需要说明的是,前述对日志告警方法实施例的解释说明也适用于该实施例的日志告警装置100,此处不再赘述。
本发明实施例的日志告警装置,通过获取待查询日志的模式,而后,根据模式,查询配置信息库,判断是否存在与模式匹配的日志分析信息,若是,则根据日志分析信息,查询日志索引库,获取具有模式的日志,并确定是否进行告警,其中,日志索引库中,针对不同模式的日志,设置有不同结构的索引。由此,可以实现对日志告警的配置化、可视化和自动化。并且对于具有相同查询逻辑的不同日志,无需重复配置查询语句、日志分析脚本和预期结果,可以提升系统的执行效率。
为了实现上述实施例,本发明还提供另一种日志告警装置。
图7为本发明实施例七所提供的日志告警装置的结构示意图。
如图7所示,该日志告警装置可以包括:存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。
处理器1002执行所述程序时实现上述实施例中提供的日志告警方法。
进一步地,该日志告警装置可以还包括:
通信接口1003,用于存储器1001和处理器1002之间的通信。
存储器1001,用于存放可在处理器1002上运行的计算机程序。
存储器1001可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器1002,用于执行所述程序时实现上述实施例所述的日志告警方法。
如果存储器1001、处理器1002和通信接口1003独立实现,则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(Peripheral Component,简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture,简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器1001、处理器1002及通信接口1003,集成在一块芯片上实现,则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。
处理器1002可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路。
本发明还提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的日志告警方法。
本发明还提供一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,实现如上所述的日志告警方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (13)
1.一种日志告警方法,其特征在于,包括:
获取待查询日志的模式;
根据所述模式,查询配置信息库,判断是否存在与所述模式匹配的日志分析信息;所述日志分析信息包括:查询语句、日志分析脚本和预期结果;
若存在与所述模式匹配的日志分析信息,则根据所述日志分析信息,查询日志索引库,获取具有所述模式的日志,并确定是否进行告警;所述日志索引库中,针对不同模式的日志,设置有不同结构的索引。
2.根据权利要求1所述的方法,其特征在于,若存在与所述模式匹配的日志分析信息,则根据所述日志分析信息,查询日志数据库,确定是否进行告警,包括:
若存在与所述模式匹配的日志分析信息,则采用所述查询语句查询日志索引库,获取查询结果;所述查询结果中包括:具有所述模式的日志;
采用所述日志分析脚本对所述查询结果进行分析,获取分析结果;
将所述分析结果与预期结果进行比对,确定是否进行告警。
3.根据权利要求1所述的方法,其特征在于,还包括:
若不存在与所述模式匹配的日志分析信息,则依次从查询条件集合、查询语句模板集合、日志分析模板集合以及预期结果模板集合中选择与所述模式匹配的查询条件、查询语句模板、日志分析模板和预期结果模板;
根据与所述模式匹配的查询条件、查询语句模板,生成与所述模式匹配的查询语句;
将与所述模式匹配的日志分析模板,确定为与所述模式匹配的日志分析脚本;
将与所述模式匹配的预期结果模板,确定为与所述模式匹配的预期结果。
4.根据权利要求1所述的方法,其特征在于,根据所述模式,查询配置信息库,判断是否存在与所述模式匹配的日志分析信息之前,还包括:
获取所述待查询日志中业务的类型;
对应的,所述根据所述模式,查询配置信息库,判断是否存在与所述模式匹配的日志分析信息,包括:
根据所述模式和所述类型,查询配置信息库,判断是否存在与所述模式和所述类型匹配的日志分析信息。
5.根据权利要求1所述的方法,其特征在于,所述根据所述模式,查询配置信息库,判断是否存在与所述模式匹配的日志分析信息之前,还包括:
判断日志告警任务是否启动;
若所述日志告警任务未启动,则不对具有所述模式的日志进行操作。
6.一种日志告警装置,其特征在于,包括:
获取模块,用于获取待查询日志的模式;
查询模块,用于根据所述模式,查询配置信息库,判断是否存在与所述模式匹配的日志分析信息;所述日志分析信息包括:查询语句、日志分析脚本和预期结果;
确定模块,用于在存在与所述模式匹配的日志分析信息时,根据所述日志分析信息,查询日志索引库,获取具有所述模式的日志,并确定是否进行告警;所述日志索引库中,针对不同模式的日志,设置有不同结构的索引。
7.根据权利要求6所述的装置,其特征在于,所述确定模块具体用于,
若存在与所述模式匹配的日志分析信息,则采用所述查询语句进行日志索引库,获取查询结果;所述查询结果中包括:具有所述模式的日志;
采用所述日志分析脚本对所述查询结果进行分析,获取分析结果;
将所述分析结果与预期结果进行比对,确定是否进行告警。
8.根据权利要求6所述的装置,其特征在于,还包括:选择模块和生成模块;
所述选择模块,用于在不存在与所述模式匹配的日志分析信息时,依次从查询条件集合、查询语句模板集合、日志分析模板集合以及预期结果模板集合中选择与所述模式匹配的查询条件、查询语句模板、日志分析模板和预期结果模板;
所述生成模块,用于根据与所述模式匹配的查询条件、查询语句模板,生成与所述模式匹配的查询语句;
所述确定模块,还用于将与所述模式匹配的日志分析模板,确定为与所述模式匹配的日志分析脚本;
所述确定模块,还用于将与所述模式匹配的预期结果模板,确定为与所述模式匹配的预期结果。
9.根据权利要求6所述的装置,其特征在于,所述获取模块,还用于获取所述待查询日志中业务的类型;
对应的,所述查询模块具体用于,根据所述模式和所述类型,查询配置信息库,判断是否存在与所述模式和所述类型匹配的日志分析信息。
10.根据权利要求6所述的装置,其特征在于,还包括:判断模块;
所述判断模块,用于判断日志告警任务是否启动;
所述查询模块,还用于在所述日志告警任务未启动,则不对具有所述模式的日志进行操作。
11.一种日志告警装置,其特征在于,包括:
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-5中任一所述的日志告警方法。
12.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的日志告警方法。
13.一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,实现如权利要求1-5中任一所述的日志告警方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811043125.7A CN109947715B (zh) | 2018-09-07 | 2018-09-07 | 日志告警方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811043125.7A CN109947715B (zh) | 2018-09-07 | 2018-09-07 | 日志告警方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109947715A true CN109947715A (zh) | 2019-06-28 |
CN109947715B CN109947715B (zh) | 2021-08-27 |
Family
ID=67005834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811043125.7A Active CN109947715B (zh) | 2018-09-07 | 2018-09-07 | 日志告警方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109947715B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111597550A (zh) * | 2020-05-14 | 2020-08-28 | 深信服科技股份有限公司 | 一种日志信息分析方法及相关装置 |
CN111723098A (zh) * | 2020-06-29 | 2020-09-29 | 珠海复旦创新研究院 | 基于位图索引的日志数据模式查询方法、装置及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102163353A (zh) * | 2011-02-25 | 2011-08-24 | 广州广电运通金融电子股份有限公司 | 电子流水日志智能分析系统及方法 |
US20120259801A1 (en) * | 2011-04-06 | 2012-10-11 | Microsoft Corporation | Transfer of learning for query classification |
CN103577420A (zh) * | 2012-07-23 | 2014-02-12 | 中国移动通信集团上海有限公司 | 一种用户信息动态查询方法及装置 |
CN105740121A (zh) * | 2016-01-26 | 2016-07-06 | 中国银行股份有限公司 | 一种日志文本监控与预警方法、装置 |
CN106055585A (zh) * | 2016-05-20 | 2016-10-26 | 北京神州绿盟信息安全科技股份有限公司 | 一种日志解析方法及装置 |
CN107273269A (zh) * | 2017-06-12 | 2017-10-20 | 北京奇虎科技有限公司 | 日志解析方法及装置 |
-
2018
- 2018-09-07 CN CN201811043125.7A patent/CN109947715B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102163353A (zh) * | 2011-02-25 | 2011-08-24 | 广州广电运通金融电子股份有限公司 | 电子流水日志智能分析系统及方法 |
US20120259801A1 (en) * | 2011-04-06 | 2012-10-11 | Microsoft Corporation | Transfer of learning for query classification |
CN103577420A (zh) * | 2012-07-23 | 2014-02-12 | 中国移动通信集团上海有限公司 | 一种用户信息动态查询方法及装置 |
CN105740121A (zh) * | 2016-01-26 | 2016-07-06 | 中国银行股份有限公司 | 一种日志文本监控与预警方法、装置 |
CN106055585A (zh) * | 2016-05-20 | 2016-10-26 | 北京神州绿盟信息安全科技股份有限公司 | 一种日志解析方法及装置 |
CN107273269A (zh) * | 2017-06-12 | 2017-10-20 | 北京奇虎科技有限公司 | 日志解析方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111597550A (zh) * | 2020-05-14 | 2020-08-28 | 深信服科技股份有限公司 | 一种日志信息分析方法及相关装置 |
CN111723098A (zh) * | 2020-06-29 | 2020-09-29 | 珠海复旦创新研究院 | 基于位图索引的日志数据模式查询方法、装置及设备 |
CN111723098B (zh) * | 2020-06-29 | 2023-06-30 | 珠海复旦创新研究院 | 基于位图索引的日志数据模式查询方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109947715B (zh) | 2021-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109657238B (zh) | 基于知识图谱的上下文识别补全方法、系统、终端及介质 | |
US6542881B1 (en) | System and method for revealing necessary and sufficient conditions for database analysis | |
US10831648B2 (en) | Intermittent failure metrics in technological processes | |
JP4972301B2 (ja) | ルールベースのフィルタリングおよび警報発生 | |
US20170109657A1 (en) | Machine Learning-Based Model for Identifying Executions of a Business Process | |
CA3040646A1 (en) | Machine learning artificial intelligence system for predicting popular hours | |
US20170109676A1 (en) | Generation of Candidate Sequences Using Links Between Nonconsecutively Performed Steps of a Business Process | |
CN108170580A (zh) | 一种基于规则的日志报警方法、装置及系统 | |
CN109446253B (zh) | 数据查询控制方法、装置、计算机设备及存储介质 | |
Chen et al. | Development of foundation models for Internet of Things | |
CN109726209A (zh) | 日志聚合方法及装置 | |
CN108549683A (zh) | 数据查询方法以及系统 | |
JP5869345B2 (ja) | ルールベース処理システム、及び事象識別方法 | |
CN114726654B (zh) | 应对云计算网络攻击的数据分析方法及服务器 | |
CN109947715A (zh) | 日志告警方法及装置 | |
Ali et al. | A hybrid DevOps process supporting software reuse: A pilot project | |
CN108345658A (zh) | 算法计算轨迹的分解处理方法、服务器及存储介质 | |
CN108304591A (zh) | 一种标签的定制方法、系统及终端设备 | |
CN110516120A (zh) | 信息处理方法及装置、存储介质、电子装置 | |
US20170109640A1 (en) | Generation of Candidate Sequences Using Crowd-Based Seeds of Commonly-Performed Steps of a Business Process | |
CN110534183A (zh) | 患者检查项目分诊方法及系统 | |
CN110245074A (zh) | 一种日志记录的生成方法、装置、存储介质和服务器 | |
CN110246033A (zh) | 信贷风险监测方法、装置、设备及存储介质 | |
CN114138997A (zh) | 具有数字孪生和基于图形的结构的计算机实现的系统和方法 | |
CN110298581B (zh) | 确定风险指标值的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |