CN105302827B - 一种事件的搜索方法和设备 - Google Patents
一种事件的搜索方法和设备 Download PDFInfo
- Publication number
- CN105302827B CN105302827B CN201410309581.7A CN201410309581A CN105302827B CN 105302827 B CN105302827 B CN 105302827B CN 201410309581 A CN201410309581 A CN 201410309581A CN 105302827 B CN105302827 B CN 105302827B
- Authority
- CN
- China
- Prior art keywords
- field
- template
- information
- search condition
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开了一种事件的搜索方法和设备,包括:接收输入的搜索条件,并从所述搜索条件中获取字段信息;在根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件符合设定规则时,从所述搜索条件中获取与所述字段信息匹配的字段模板;利用所述字段模板生成新的搜索条件,并搜索出符合所述新的搜索条件的事件,这样通过对输入的搜索条件的分析,避免了当接收到的搜索条件不正确时发生无意义的搜索以及基于搜索的计算问题,同时利用从搜索条件中获取的字段信息,确定该字段信息对应的至少一个字段模板,利用该字段模板生成新的搜索条件,有效地缩小了原搜索条件对应的搜索范围,提高了搜索效率,节省了计算资源。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种事件的搜索方法和设备。
背景技术
随着科学技术的发展,机器在运行中将产生大量数据,例如:日志信息,通常将机器在运行中产生的数据被称为事件。一个事件由一条或多条日志信息组成。
在基于事件对机器进行故障定位时,往往依据对事件建立的索引。针对建立的索引,执行基于关键字的布尔查询操作,搜索到包含关键字的事件,但是在搜索到的事件中包含了不希望获取的事件(即无效事件),增加了定位故障的难度。
为了提供搜索精度,目前提出借助事件抽取模板对事件进行分析。具体地,在得到搜索结果后,利用事件抽取模板类型,获取搜索到的事件对应的抽取事件,进一步地获取事件对应的字段抽取信息,然后比较搜索关键字中的字段抽取信息与获取事件对应的字段抽取信息是否匹配,若匹配,则确定获取的事件符合条件;否则,获取的事件不符合条件。
由此可见,借助事件抽取模板对事件进行分析无法避免的搜索到无效事件,但可以对搜索到的事件进行识别,最终筛选出搜索到的无效事件。
但是,在实际应用中出现了接收到的搜索关键字属于无效事件的情形,按照上述方式依然会进行搜索与事件抽取,这样将导致大量无效事件被搜索到,同时发生不必要的事件抽取过程,使得搜索效率比较低、计算量比较大,进一步浪费计算资源。
发明内容
有鉴于此,本发明实施例提供了一种事件的搜索方法和设备,用于解决目前在搜索领域存在的搜索效率比较低、计算量比较大、导致浪费计算资源的问题。
本发明的第一方面,提供了一种事件的搜索方法,包括:
接收输入的搜索条件,并从所述搜索条件中获取字段信息;
在根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件符合设定规则时,从所述搜索条件中获取与所述字段信息匹配的字段模板;
利用所述字段模板生成新的搜索条件,并搜索出符合所述新的搜索条件的事件。
结合第一方面可能的实施方式,在第一种可能的实施方式中,所述方法还包括:
在根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件不符合设定规则时,返回搜索条件错误信息;或,
提示搜索条件不正确,将按照模糊查询方式进行搜索。
结合第一方面可能的实施方式,或者结合第一方面的第一种可能的实施方式,在第二种可能的实施方式中,所述从所述搜索条件中获取与所述字段信息匹配的字段模板,包括:
根据配置的字段名与事件模板类型之间的对应关系,得到所述字段信息中包含的字段名对应的事件模板类型;并
根据配置的事件模板类型与字段模板之间的对应关系,查找出与得到的所述事件模板类型匹配的字段模板。
结合第一方面的第二种可能的实施方式,在第三种可能的实施方式中,所述查找出与得到的所述事件模板类型匹配的字段模板,包括:
当依据字段信息查找出与得到的所述事件模板类型匹配的字段模板为嵌套字段模板时,根据字段模板与字段模板的内容格式之间的对应关系,确定所述嵌套字段模板中包含的每一个字段模板对应的所述字段模板的内容格式,其中,所述嵌套字段模板中包含了至少两个字段模板;
将所述字段信息中包含的字段名对应的内容格式与所述嵌套字段模板中包含的每一个字段模板的内容格式进行比较;
当所述字段信息中包含的字段名对应的内容格式与所述嵌套字段模板中包含的其中一个字段模板的内容格式一致时,将内容格式一致的所述字段模板作为从所述搜索条件中获取与所述字段信息匹配的字段模板。
结合第一方面可能的实施方式,或者结合第一方面的第一种可能的实施方式,或者结合第一方面的第二种可能的实施方式,或者结合第一方面的第三种可能的实施方式,在第四种可能的实施方式中,所述利用所述字段模板生成新的搜索条件,包括:
将所述字段信息以及所述字段模板进行组合,得到包含了所述字段模板的新的搜索条件,其中,所述字段模板用于缩小搜索范围。
结合第一方面可能的实施方式,或者结合第一方面的第一种可能的实施方式,或者结合第一方面的第二种可能的实施方式,或者结合第一方面的第三种可能的实施方式,或者结合第一方面的第四种可能的实施方式,在第五种可能的实施方式中,在利用所述字段模板生成新的搜索条件之前,所述方法还包括:
根据字段名与事件数据来源之间的对应关系,得到抽取到的所述字段信息中包含的字段名所对应的事件数据来源;
所述利用所述字段模板生成新的搜索条件,包括:
将所述字段信息、所述字段模板以及所述事件数据来源进行组合,得到包含了所述字段模板和所述事件数据来源的新的搜索条件,其中,所述字段模板和所述事件数据来源用于缩小搜索范围。
结合第一方面可能的实施方式,或者结合第一方面的第一种可能的实施方式,或者结合第一方面的第二种可能的实施方式,或者结合第一方面的第三种可能的实施方式,或者结合第一方面的第四种可能的实施方式,或者结合第一方面的第五种可能的实施方式,在第六种可能的实施方式中,在利用所述字段模板生成新的搜索条件之前,所述方法还包括:
根据字段名与产生包含所述字段名的事件的设备标识之间的对应关系,得到抽取到的所述字段信息中包含的字段名对应的设备标识;
所述利用所述字段模板生成新的搜索条件,包括:
将所述字段信息、所述字段模板以及所述设备标识进行组合,得到包含了所述字段模板和所述设备标识的新的搜索条件,其中,所述字段模板和所述设备标识用于缩小搜索范围。
结合第一方面可能的实施方式,或者结合第一方面的第一种可能的实施方式,或者结合第一方面的第二种可能的实施方式,或者结合第一方面的第三种可能的实施方式,或者结合第一方面的第四种可能的实施方式,或者结合第一方面的第五种可能的实施方式,或者结合第一方面的第六种可能的实施方式,在第七种可能的实施方式中,所述利用所述字段模板生成新的搜索条件,包括:
当从所述搜索条件中获取与所述字段信息匹配的字段模板的个数为多个时,确定获取的字段模板的属性,并根据所述字段模板的属性,将获取的字段模板进行排序;
根据排序结果,从获取的多个字段模板中选择至少一个字段模板生成新的搜索条件。
结合第一方面可能的实施方式,或者结合第一方面的第一种可能的实施方式,或者结合第一方面的第二种可能的实施方式,或者结合第一方面的第三种可能的实施方式,或者结合第一方面的第四种可能的实施方式,或者结合第一方面的第五种可能的实施方式,或者结合第一方面的第六种可能的实施方式,或者结合第一方面的第七种可能的实施方式,在第八种可能的实施方式中,所述字段索引信息中包含了字段名和事件模板类型,且每一个字段名对应至少一个事件模板类型;
所述根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件符合设定规则,包括:
从配置的字段索引信息中搜索获取到的所述字段信息中包含的字段名,并在搜索到获取到的所述字段信息中包含的字段名时,确定所述字段信息中包含的字段名对应的事件模板类型,并根据配置的事件模板类型与字段模板之间的对应关系,查找出与确定的所述事件模板类型对应的字段模板;
将获取到的所述字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式进行比较;
当获取到的所述字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式一致时,确定所述搜索条件符合设定规则。
结合第一方面的第八种可能的实施方式,在第九种可能的实施方式中,所述方法还包括:
若从配置的字段索引信息中查找不到与获取到的所述字段信息中包含的字段名一致的字段名,和/或若从配置的字段索引信息中查找到与获取到的所述字段信息中包含的字段名一致的字段名、但获取到的字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式不一致时,确定所述搜索条件不符合设定规则。
结合第一方面可能的实施方式,或者结合第一方面的第一种可能的实施方式,或者结合第一方面的第二种可能的实施方式,或者结合第一方面的第三种可能的实施方式,或者结合第一方面的第四种可能的实施方式,或者结合第一方面的第五种可能的实施方式,或者结合第一方面的第六种可能的实施方式,或者结合第一方面的第七种可能的实施方式,或者结合第一方面的第八种可能的实施方式,或者结合第一方面的第九种可能的实施方式,在第十种可能的实施方式中,所述从所述搜索条件中获取字段信息,包括:
解析接收到的搜索条件,并确定所述搜索条件中包含的至少一个字段信息,其中,所述字段信息包含了字段名以及所述字段名对应的内容格式。
本发明的第二方面,提供了一种事件的搜索设备,包括:
接收模块,用于接收输入的搜索条件,并从所述搜索条件中获取字段信息;
匹配模块,用于在根据所述接收模块获取到的所述字段信息和配置的字段索引信息确定所述搜索条件符合设定规则时,从所述搜索条件中获取与所述字段信息匹配的字段模板;
搜索模块,用于利用所述匹配模块获取的所述字段模板生成新的搜索条件,并搜索出符合所述新的搜索条件的事件。
结合第二方面可能的实施方式,在第一种可能的实施方式中,所述设备还包括:
错误返回模块,用于在根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件不符合设定规则时,返回搜索条件错误信息;或,
提示搜索条件不正确,将按照模糊查询方式进行搜索。
结合第二方面可能的实施方式,或者结合第二方面的第一种可能的实施方式,在第二种可能的实施方式中,所述匹配模块,具体用于根据配置的字段名与事件模板类型之间的对应关系,得到所述字段信息中包含的字段名对应的事件模板类型;并
根据配置的事件模板类型与字段模板之间的对应关系,查找出与得到的所述事件模板类型匹配的字段模板。
结合第二方面的第二种可能的实施方式,在第三种可能的实施方式中,所述匹配模块,具体用于当依据字段信息查找出与得到的所述事件模板类型匹配的字段模板为嵌套字段模板时,根据字段模板与字段模板的内容格式之间的对应关系,确定所述嵌套字段模板中包含的每一个字段模板对应的所述字段模板的内容格式,其中,所述嵌套字段模板中包含了至少两个字段模板;
将所述字段信息中包含的字段名对应的内容格式与所述嵌套字段模板中包含的每一个字段模板的内容格式进行比较;
当所述字段信息中包含的字段名对应的内容格式与所述嵌套字段模板中包含的其中一个字段模板的内容格式一致时,将内容格式一致的所述字段模板作为从所述搜索条件中获取与所述字段信息匹配的字段模板。
结合第二方面可能的实施方式,或者结合第二方面的第一种可能的实施方式,或者结合第二方面的第二种可能的实施方式,或者结合第二方面的第三种可能的实施方式,在第四种可能的实施方式中,所述搜索模块,具体用于将所述字段信息以及所述字段模板进行组合,得到包含了所述字段模板的新的搜索条件,其中,所述字段模板用于缩小搜索范围。
结合第二方面可能的实施方式,或者结合第二方面的第一种可能的实施方式,或者结合第二方面的第二种可能的实施方式,或者结合第二方面的第三种可能的实施方式,或者结合第二方面的第四种可能的实施方式,在第五种可能的实施方式中,所述搜索设备还包括:
事件数据来源确定模块,用于在利用所述字段模板生成新的搜索条件之前,根据字段名与事件数据来源之间的对应关系,得到抽取到的所述字段信息中包含的字段名所对应的事件数据来源;
所述搜索模块,具体用于将所述字段信息、所述字段模板以及所述事件数据来源进行组合,得到包含了所述字段模板和所述事件数据来源的新的搜索条件,其中,所述字段模板和所述事件数据来源用于缩小搜索范围。
结合第二方面可能的实施方式,或者结合第二方面的第一种可能的实施方式,或者结合第二方面的第二种可能的实施方式,或者结合第二方面的第三种可能的实施方式,或者结合第二方面的第四种可能的实施方式,或者结合第二方面的第五种可能的实施方式,在第六种可能的实施方式中,所述搜索设备还包括:
设备标识确定模块,用于在利用所述字段模板生成新的搜索条件之前,根据字段名与产生包含所述字段名的事件的设备标识之间的对应关系,得到抽取到的所述字段信息中包含的字段名对应的设备标识;
所述搜索模块,具体用于将所述字段信息、所述字段模板以及所述设备标识进行组合,得到包含了所述字段模板和所述设备标识的新的搜索条件,其中,所述字段模板和所述设备标识用于缩小搜索范围。
结合第二方面可能的实施方式,或者结合第二方面的第一种可能的实施方式,或者结合第二方面的第二种可能的实施方式,或者结合第二方面的第三种可能的实施方式,或者结合第二方面的第四种可能的实施方式,或者结合第二方面的第五种可能的实施方式,或者结合第二方面的第六种可能的实施方式,在第七种可能的实施方式中,所述搜索模块,具体用于当从所述搜索条件中获取与所述字段信息匹配的字段模板的个数为多个时,确定获取的字段模板的属性,并根据所述字段模板的属性,将获取的字段模板进行排序;
根据排序结果,从获取的多个字段模板中选择至少一个字段模板生成新的搜索条件。
结合第二方面可能的实施方式,或者结合第二方面的第一种可能的实施方式,或者结合第二方面的第二种可能的实施方式,或者结合第二方面的第三种可能的实施方式,或者结合第二方面的第四种可能的实施方式,或者结合第二方面的第五种可能的实施方式,或者结合第二方面的第六种可能的实施方式,或者结合第二方面的第七种可能的实施方式,在第八种可能的实施方式中,所述字段索引信息中包含了字段名和事件模板类型,且每一个字段名对应至少一个事件模板类型;
所述匹配模块,具体用于从配置的字段索引信息中搜索获取到的所述字段信息中包含的字段名,并在搜索到获取到的所述字段信息中包含的字段名时,确定所述字段信息中包含的字段名对应的事件模板类型,并根据配置的事件模板类型与字段模板之间的对应关系,查找出与确定的所述事件模板类型对应的字段模板;
将获取到的所述字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式进行比较;
当获取到的所述字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式一致时,确定所述搜索条件符合设定规则。
结合第二方面的第八种可能的实施方式,在第九种可能的实施方式中,所述匹配模块,还用于若从配置的字段索引信息中查找不到与获取到的所述字段信息中包含的字段名一致的字段名,和/或若从配置的字段索引信息中查找到与获取到的所述字段信息中包含的字段名一致的字段名、但获取到的字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式不一致时,确定所述搜索条件不符合设定规则。
结合第二方面可能的实施方式,或者结合第二方面的第一种可能的实施方式,或者结合第二方面的第二种可能的实施方式,或者结合第二方面的第三种可能的实施方式,或者结合第二方面的第四种可能的实施方式,或者结合第二方面的第五种可能的实施方式,或者结合第二方面的第六种可能的实施方式,或者结合第二方面的第七种可能的实施方式,或者结合第二方面的第八种可能的实施方式,或者结合第二方面的第九种可能的实施方式,在第十种可能的实施方式中,所述接收模块,具体用于解析接收到的搜索条件,并确定所述搜索条件中包含的至少一个字段信息,其中,所述字段信息包含了字段名以及所述字段名对应的内容格式。
本发明的第三方面,提供了一种事件的搜索设备,包括:
信号接收器,用于接收输入的搜索条件,并从所述搜索条件中获取字段信息;
处理器,用于在根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件符合设定规则时,从所述搜索条件中获取与所述字段信息匹配的字段模板;利用获取的所述字段模板生成新的搜索条件,并搜索出符合所述新的搜索条件的事件。
结合第三方面可能的实施方式,在第一种可能的实施方式中,
所述处理器,还用于在根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件不符合设定规则时,返回搜索条件错误信息;或,
提示搜索条件不正确,将按照模糊查询方式进行搜索。
结合第三方面可能的实施方式,或者结合第三方面的第一种可能的实施方式,在第二种可能的实施方式中,所述处理器,具体用于根据配置的字段名与事件模板类型之间的对应关系,得到所述字段信息中包含的字段名对应的事件模板类型;并根据配置的事件模板类型与字段模板之间的对应关系,查找出与得到的所述事件模板类型匹配的字段模板。
结合第三方面的第二种可能的实施方式,在第三种可能的实施方式中,所述处理器,具体用于当依据字段信息查找出与得到的所述事件模板类型匹配的字段模板为嵌套字段模板时,根据字段模板与字段模板的内容格式之间的对应关系,确定所述嵌套字段模板中包含的每一个字段模板对应的所述字段模板的内容格式,其中,所述嵌套字段模板中包含了至少两个字段模板;
将所述字段信息中包含的字段名对应的内容格式与所述嵌套字段模板中包含的每一个字段模板的内容格式进行比较;
当所述字段信息中包含的字段名对应的内容格式与所述嵌套字段模板中包含的其中一个字段模板的内容格式一致时,将内容格式一致的所述字段模板作为从所述搜索条件中获取与所述字段信息匹配的字段模板。
结合第三方面可能的实施方式,或者结合第三方面的第一种可能的实施方式,或者结合第三方面的第二种可能的实施方式,或者结合第三方面的第三种可能的实施方式,在第四种可能的实施方式中,所述处理器,具体用于将所述字段信息以及所述字段模板进行组合,得到包含了所述字段模板的新的搜索条件,其中,所述字段模板用于缩小搜索范围。
结合第三方面可能的实施方式,或者结合第三方面的第一种可能的实施方式,或者结合第三方面的第二种可能的实施方式,或者结合第三方面的第三种可能的实施方式,或者结合第三方面的第四种可能的实施方式,在第五种可能的实施方式中,所述处理器,具体用于在利用所述字段模板生成新的搜索条件之前,根据字段名与事件数据来源之间的对应关系,得到抽取到的所述字段信息中包含的字段名所对应的事件数据来源;将所述字段信息、所述字段模板以及所述事件数据来源进行组合,得到包含了所述字段模板和所述事件数据来源的新的搜索条件,其中,所述字段模板和所述事件数据来源用于缩小搜索范围。
结合第三方面可能的实施方式,或者结合第三方面的第一种可能的实施方式,或者结合第三方面的第二种可能的实施方式,或者结合第三方面的第三种可能的实施方式,或者结合第三方面的第四种可能的实施方式,或者结合第三方面的第五种可能的实施方式,在第六种可能的实施方式中,所述处理器,具体用于在利用所述字段模板生成新的搜索条件之前,根据字段名与产生包含所述字段名的事件的设备标识之间的对应关系,得到抽取到的所述字段信息中包含的字段名对应的设备标识;将所述字段信息、所述字段模板以及所述设备标识进行组合,得到包含了所述字段模板和所述设备标识的新的搜索条件,其中,所述字段模板和所述设备标识用于缩小搜索范围。
结合第三方面可能的实施方式,或者结合第三方面的第一种可能的实施方式,或者结合第三方面的第二种可能的实施方式,或者结合第三方面的第三种可能的实施方式,或者结合第三方面的第四种可能的实施方式,或者结合第三方面的第五种可能的实施方式,或者结合第三方面的第六种可能的实施方式,在第七种可能的实施方式中,所述处理器,具体用于当从所述搜索条件中获取与所述字段信息匹配的字段模板的个数为多个时,确定获取的字段模板的属性,并根据所述字段模板的属性,将获取的字段模板进行排序;
根据排序结果,从获取的多个字段模板中选择至少一个字段模板生成新的搜索条件。
结合第三方面可能的实施方式,或者结合第三方面的第一种可能的实施方式,或者结合第三方面的第二种可能的实施方式,或者结合第三方面的第三种可能的实施方式,或者结合第三方面的第四种可能的实施方式,或者结合第三方面的第五种可能的实施方式,或者结合第三方面的第六种可能的实施方式,或者结合第三方面的第七种可能的实施方式,在第八种可能的实施方式中,所述字段索引信息中包含了字段名和事件模板类型,且每一个字段名对应至少一个事件模板类型;
所述处理器,具体用于从配置的字段索引信息中搜索获取到的所述字段信息中包含的字段名,并在搜索到获取到的所述字段信息中包含的字段名时,确定所述字段信息中包含的字段名对应的事件模板类型,并根据配置的事件模板类型与字段模板之间的对应关系,查找出与确定的所述事件模板类型对应的字段模板;
将获取到的所述字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式进行比较;
当获取到的所述字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式一致时,确定所述搜索条件符合设定规则。
结合第三方面的第八种可能的实施方式,在第九种可能的实施方式中,所述处理器,还用于若从配置的字段索引信息中查找不到与获取到的所述字段信息中包含的字段名一致的字段名,和/或若从配置的字段索引信息中查找到与获取到的所述字段信息中包含的字段名一致的字段名、但获取到的字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式不一致时,确定所述搜索条件不符合设定规则。
结合第三方面可能的实施方式,或者结合第三方面的第一种可能的实施方式,或者结合第三方面的第二种可能的实施方式,或者结合第三方面的第三种可能的实施方式,或者结合第三方面的第四种可能的实施方式,或者结合第三方面的第五种可能的实施方式,或者结合第三方面的第六种可能的实施方式,或者结合第三方面的第七种可能的实施方式,或者结合第三方面的第八种可能的实施方式,或者结合第三方面的第九种可能的实施方式,在第十种可能的实施方式中,所述信号接收器,具体用于解析接收到的搜索条件,并确定所述搜索条件中包含的至少一个字段信息,其中,所述字段信息包含了字段名以及所述字段名对应的内容格式。
本发明实施例接收输入的搜索条件,并从所述搜索条件中获取字段信息;在根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件符合设定规则时,从所述搜索条件中获取与所述字段信息匹配的字段模板;利用所述字段模板生成新的搜索条件,并搜索出符合所述新的搜索条件的事件,这样通过对输入的搜索条件的分析,避免了当接收到的搜索条件不正确时发生无意义的搜索以及基于搜索的计算问题,同时利用从搜索条件中获取的字段信息,确定该字段信息对应的至少一个字段模板,利用该字段模板生成新的搜索条件,有效地缩小了原搜索条件对应的搜索范围,提高了搜索效率,节省了计算资源。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种事件的搜索方法的流程示意图;
图2为本发明实施例二提供的一种事件的搜索设备的结构示意图;
图3为本发明实施例三提供的一种事件的搜索设备的结构示意图。
具体实施方式
为了实现本发明的目的,本发明实施例提供了一种事件的搜索方法和设备,通过接收输入的搜索条件,并从所述搜索条件中获取字段信息;在根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件符合设定规则时,从所述搜索条件中获取与所述字段信息匹配的字段模板;利用所述字段模板生成新的搜索条件,并搜索出符合所述新的搜索条件的事件,这样通过对输入的搜索条件的分析,避免了当接收到的搜索条件不正确时发生无意义的搜索以及基于搜索的计算问题,同时利用从搜索条件中获取的字段信息,确定该字段信息对应的至少一个字段模板,利用该字段模板生成新的搜索条件,有效地缩小了原搜索条件对应的搜索范围,提高了搜索效率,节省了计算资源。
需要说明的是,本发明实施例在实施之前,根据各个机器设备产生的日志信息(即事件)建立索引库,该索引库包含了字段名、字段名对应的内容格式、字段名对应的事件模板类型以及事件模板类型对应的字段模板等,这样,当机器设备产生日志信息后,确定产生的日志信息对应的索引信息。
下面以一个事件为例进行说明。例如:事件为“13912345678 18612345678[11/11/2013:16:05:49]io=high&cpu=low”,通过分析确定“13912345678”对应字段名对应的内容格式,那么该内容格式与srcphone字段名的内容格式一致;“18612345678”对应字段名对应的内容格式,那么该内容格式与destphone字段名的内容格式一致;“[11/11/2013:16:05:49]”对应字段名对应的内容格式,那么该内容格式与time字段名的内容格式一致;“io=high&cpu=low”对应字段名对应的内容格式,那么该内容格式与performance字段名的内容格式一致。
由此可见,事件为“13912345678 18612345678[11/11/2013:16:05:49]io=high&cpu=low”对应的事件模板类型为“t_phone%{PHONE:srcphone}%{PHONE:destphone}\[%{TIMESTAMP:time}\]%{WORD:performance}”。
其中,t_phone表示事件模板类型名;srcphone、destphone、time以及performance表示字段信息的字段名;PHONE、TIMESTAMP、WORD表示字段模板。
也就是说,针对每一个事件,在机器设备产生之时,将根据为其产生索引信息,并存储。
在建立字段索引信息时,由于不同的字段模板之间可以是相互独立的,也可以是相互之间具备包含关系,那么对于具备包含关系的不同字段模板又被称为嵌套字段模板。
如表1所示,为字段模板中嵌套字段模板的第一字段模板与第二字段模板之间的对照表:
第一字段模板 | 第二字段模板 |
PHONE | %{UNI_PHONE}|%{MOB_PHONE} |
MOB_PHONE | 139\d{8} |
UNI_PHONE | 186\d{8} |
WORD | \b\w+\b |
TIMESTAMP | %{MONTHDAY}/%{MONTH}/%{YEAR}:%{TIME} |
QUUERYSTRING | \b\S*\b |
NETADDRESS | http://(?:[\w-]+\.)+[\w-]+(?:/[\w-./?%&=]*)? |
..... | …… |
表1
由表1中可以看出,第一字段模板与第二字段模板之间具备了包含关系,例如:第一字段模板“PHONE”与第二字段模板“%{UNI_PHONE}|%{MOB_PHONE}”之间具备了包含关系。
需要说明的是,UNI_PHONE与MOB_PHONE又可以分别属于第一字段模板。
以上述事件为例,若不考虑嵌套关系,抽取得到的字段信息为:
字段名:srcphone;字段名对应的内容格式:13912345678;
字段名:destphone;字段名对应的内容格式:18612345678;
字段名:time;字段名对应的内容格式:11/11/2013:16:05:49;
字段名:performance;字段名对应的内容格式:io=high&cpu=low。
若考虑了嵌套关系,“字段名:srcphone”以及“字段名:destphone”都属于“PHONE”。
以上述事件为例,若考虑嵌套关系,抽取得到的字段信息为:
由于“字段名:srcphone”对应的事件模板类型为t_phone,可以确定“字段名:srcphone”对应的字段模板为“PHONE”,而“PHONE”属于一个嵌套字段模板,“PHONE”对应“MOB_PHONE”和“UNIPHONE”,而“13912345678”与“MOB_PHONE”内容格式匹配,那么抽取到的字段信息为:嵌套字段模板对应的字段名:srcphone_MOB_PHONE;以及该字段名对应的内容:13912345678;
由于“字段名:destphone”对应的事件模板类型为t_phone,可以确定“字段名:destphone”对应的字段模板为“PHONE”,而“PHONE”属于一个嵌套字段模板,“PHONE”对应“MOB_PHONE”和“UNIPHONE”,而“18612345678”与“UNIPHONE”内容格式匹配,那么抽取到的字段信息为:嵌套字段模板对应的字段名:destphone_UNIPHONE;以及该字段名对应的内容:18612345678;
由于“字段名:TIMESTAMP”对应的事件模板类型为t_phone,可以确定“字段名:TIMESTAMP”对应的字段模板为“time”,而“time”属于一个嵌套字段模板,“time”对应“MONTHDAY”、“MONTH”、“YEAR”和“TIME”,而“11/11/2013:16:05:49”与“TIMESTAMP”内容格式匹配,那么抽取到的字段信息为:嵌套字段模板对应的字段名:time_MONTH;以及该字段名对应的内容:11;嵌套字段模板对应的字段名:time_MONTHDAY;以及该字段名对应的内容:11;嵌套字段模板对应的字段名:time_YEAR;以及该字段名对应的内容:2013;嵌套字段模板对应的字段名:time_TIME;以及该字段名对应的内容:16:05:49。
由此可见,上述嵌套字段模板对应的字段名分别由字段名和嵌套字段模板组合而成。
或者,嵌套字段模板对应的字段名还可以由嵌套字段模板组成。
例如:以上述事件为例,若考虑嵌套关系,抽取得到的字段信息为:
嵌套字段模板对应的字段名:MOB_PHONE;以及该字段名对应的内容:13912345678;
嵌套字段模板对应的字段名:UNIPHONE;以及该字段名对应的内容:18612345678;
嵌套字段模板对应的字段名:MONTH;以及该字段名对应的内容:11;
嵌套字段模板对应的字段名:MONTHDAY;以及该字段名对应的内容:11;
嵌套字段模板对应的字段名:YEAR;以及该字段名对应的内容:2013;
嵌套字段模板对应的字段名:TIME;以及该字段名对应的内容:16:05:49。
由此可见,嵌套字段模板可以是指多个字段模板,这多个字段模板之间具备包含关系;嵌套字段模板还可以是一个字段模板,该字段模板包含在另外一个字段模板之内,称之为其他字段模板的嵌套字段模板。
下面结合说明书附图对本发明各个实施例作进一步地详细描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例一:
如图1所示,为本发明实施例一提供的一种事件的搜索方法的流程示意图。所述方法可以如下所示。
步骤101:接收输入的搜索条件,并从所述搜索条件中获取字段信息。
其中,字段信息包含了字段名和字段名对应的内容格式。
在步骤101中,通过系统界面接收到用户输入的搜索条件,例如:接收到的搜索条件为:srcphone=13912345678。
对于接收到的搜索条件,解析接收到的搜索条件,并确定所述搜索条件中包含的至少一个字段信息。
其中,所述字段信息包含了字段名以及所述字段名对应的内容格式。
具体地,所述字段信息至少分为单一的字段信息、嵌套字段信息和内容字段信息中的一类或者多类,其中:
所述单一的字段信息具体包含了单一的字段名以及所述单一的字段名对应的内容;
所述嵌套字段信息具体包含了嵌套字段名以及所述嵌套字段名对应的内容;
所述内容字段信息具体包含了内容字段名以及所述内容字段名对应的内容。
需要说明的是,嵌套字段名可以包含了至少一个单一的字段名,这里不做限定。
具体地,单一的字段名可以是由系统预先定义的全局字段名,也可以是根据产生的事件确定的,这里不做限定。
例如:单一的字段名可以为:时间、time、电话号码、srcphone、destphone等;还可以为:phone、MOB_phone、UNI_phone、WORD、TIMESTAMP(例如:MONTHDAY、MONTH、YEAR、TIME)、NETADDRESS等。
此时,嵌套字段名可以为:srcphone_MOB_phone、destphone_UNI_phone、time_MONTHDAY、time_MONTH、time_YEAR、time_TIME等,也可以为MOB_phone、UNI_phone、MONTHDAY、MONTH、YEAR、TIME等。
字段名属于能够从事件中抽取部分字段,根据抽取部分字段的属性,可以分为内容性质的字段名和事件性质的字段名(所谓事件性质的字段名表示一种事件发生的字段名,简称为事件字段名,例如:表示时间的字段名),而内容性质字段名(以下简称内容字段名)可以利用预置的字段规则,从事件对应的内容中得到。
例如:内容字段名可以为:IO、CPU等。
在得到搜索条件之后,利用预先配置的字段发现规则例如:该规则是一个正则表达式,或者是一个函数名),从搜索条件中获取字段信息,即字段名以及字段名对应的内容格式。
例如:“srcphone=13912345678”中“srcphone”属于字段名,而“13912345678”属于字段名对应的内容格式。
且进一步可以确定“srcphone”属于字段名中的单一的字段名。
步骤102:在根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件符合设定规则时,从所述搜索条件中获取与所述字段信息匹配的字段模板。
在步骤102中,在从搜索条件中获取字段信息时,将配置的字段索引信息与获取到的所述字段信息进行比较,进一步判断该搜索条件是否正确,这样通过判断确定搜索条件不正确时,及时结束搜索,避免了资源浪费。
或者,返回搜索条件错误信息;或者,提示搜索条件不正确,将按照模糊查询方式进行搜索,能够及时提醒修改搜索条件或者降低搜索标准,提升搜索精度。
具体地,根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件符合设定规则的方式包括但不限于:
从配置的字段索引信息中搜索获取到的所述字段信息中包含的字段名,并在搜索到获取到的所述字段信息中包含的字段名时,确定所述字段信息中包含的字段名对应的事件模板类型,并根据配置的事件模板类型与字段模板之间的对应关系,查找出与确定的所述事件模板类型对应的字段模板;
将获取到的所述字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式进行比较;
当获取到的所述字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式一致时,确定所述搜索条件符合设定规则。
若从配置的字段索引信息中查找不到与获取到的所述字段信息中包含的字段名一致的字段名,和/或若从配置的字段索引信息中查找到与获取到的所述字段信息中包含的字段名一致的字段名、但获取到的字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式不一致时,确定所述搜索条件不符合设定规则。
例如:“srcphone”,从预设的单一的字段名索引、嵌套字段名索引以及内容字段名索引中搜索,可以确定“srcphone”属于单一的字段名,对应的事件模板为t_phone,此时确定字段名“srcphone”正确。
例如:当确定“srcphone”对应的事件模板为t_phone时,在事件抽取模板为t_phone的索引表中,“srcphone”对应的内容是“phone”,此时,“13912345678”若符合“phone”的抽取规则,那么说明“13912345678”内容正确。假设“13912345678”不符合“phone”的抽取规则,那么说明“13912345678”内容不正确。
此时,在确定搜索条件正确时,为了提升后续搜索效率,对接收到的搜索条件做优化处理,即从所述搜索条件中获取与所述字段信息匹配的字段模板。
具体地,根据配置的字段名与事件模板类型之间的对应关系,得到所述字段信息中包含的字段名对应的事件模板类型;并根据配置的事件模板类型与字段模板之间的对应关系,查找出与得到的所述事件模板类型匹配的字段模板。
当依据字段信息查找出与得到的所述事件模板类型匹配的字段模板为嵌套字段模板时,根据字段模板与字段模板的内容格式之间的对应关系,确定所述嵌套字段模板中包含的每一个字段模板对应的所述字段模板的内容格式,其中,所述嵌套字段模板中包含了至少两个字段模板;
将所述字段信息中包含的字段名对应的内容格式与所述嵌套字段模板中包含的每一个字段模板的内容格式进行比较;
当所述字段信息中包含的字段名对应的内容格式与所述嵌套字段模板中包含的其中一个字段模板的内容格式一致时,将内容格式一致的所述字段模板作为从所述搜索条件中获取与所述字段信息匹配的字段模板。
例如:根据“srcphone”,确定“”对应的事件模板类型为t_phone,以及t_phone对应的字段模板为单一的字段名对应的字段模板:“srcphone–>%{phone}”。
此时,将“srcphone”对应的内容格式“13912345678”与“phone”对应的内容格式进行比较时,由于字段模板“MOB_phone”与字段模板“phone”具备了包含关系,经过计算后发现,“13912345678”对应的内容格式不仅与“phone”对应的内容格式匹配,而且也与“MOB_phone”对应的内容格式匹配,并且“与“MOB_phone”对应的内容格式匹配的计算复杂度低于与“phone”对应的内容格式匹配的计算复杂度。
最后,确定“srcphone”对应的字段模板为“MOB_phone”,对应的事件模板类型为t_phone。
步骤103:利用所述字段模板生成新的搜索条件,并搜索出符合所述新的搜索条件的事件。
在步骤103中,将所述字段信息以及所述字段模板进行组合,得到包含了所述字段模板的新的搜索条件,其中,所述字段模板用于缩小搜索范围。
例如:在步骤102中,确定的字段模板为“MOB_phone”,此时将“srcphone=13912345678”与“MOB_phone”组合作为新的搜索条件。
需要说明的是,当从所述搜索条件中获取与所述字段信息匹配的字段模板的个数为多个时,确定获取的字段模板的属性,并根据所述字段模板的属性,将获取的字段模板进行排序;根据排序结果,从获取的多个字段模板中选择至少一个字段模板生成新的搜索条件。
例如:确定的字段模板包含了“TIME”、“PHONE”、“WORD”,那么由于“TIME”对时间要求比较严格,因此,可以优先选择“TIME”。
在本发明的另一实施例中,所述方法还包括:
根据字段名与事件数据来源之间的对应关系,得到抽取到的所述字段信息中包含的字段名所对应的事件数据来源。
所述利用确定的所述至少一个事件抽取模板生成计算条件,包括:
将所述字段信息、所述字段模板以及所述事件数据来源进行组合,得到包含了所述字段模板和所述事件数据来源的新的搜索条件,其中,所述字段模板和所述事件数据来源用于缩小搜索范围。
在本发明的另一实施例中,所述方法还包括:
根据字段名与产生包含所述字段名的事件的设备标识之间的对应关系,得到抽取到的所述字段信息中包含的字段名对应的设备标识。
所述利用确定的所述至少一个事件抽取模板生成计算条件,包括:
将所述字段信息、所述字段模板以及所述设备标识进行组合,得到包含了所述字段模板和所述设备标识的新的搜索条件,其中,所述字段模板和所述设备标识用于缩小搜索范围。
具体地,利用所述搜索条件进行搜索,搜索出符合所述新的搜索条件的事件的方式包括但不限于:
第一步:将得到的新的搜索条件分发到事件内容索引上。
例如:将新的搜索条件分发到事件内容索引index20131111上。
第二步:根据新的搜索条件进行搜索,获取符合新的搜索条件的事件。
例如:根据搜索条件“content:13912345678AND event type:t_phone AND MOB_phone”,从事件内容索引index20131111中获取满足content字段值为13912345678且eventtype值为t_phone并与MOB_phone相匹配的事件,即获取符合新的搜索条件的事件:event_phone_1。
通过本发明实施例一的方案,接收输入的搜索条件,并从所述搜索条件中获取字段信息;在根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件符合设定规则时,从所述搜索条件中获取与所述字段信息匹配的字段模板;利用所述字段模板生成新的搜索条件,并搜索出符合所述新的搜索条件的事件,这样通过对输入的搜索条件的分析,避免了当接收到的搜索条件不正确时发生无意义的搜索以及基于搜索的计算问题,同时利用从搜索条件中获取的字段信息,确定该字段信息对应的至少一个字段模板,利用该字段模板生成新的搜索条件,有效地缩小了原搜索条件对应的搜索范围,提高了搜索效率,节省了计算资源。
实施例二:
如图2所示,为本发明实施例二提供的一种事件的搜索设备的结构示意图。所述搜索设备包括:接收模块21、匹配模块22和搜索模块23,其中:
接收模块21,用于接收输入的搜索条件,并从所述搜索条件中获取字段信息;
匹配模块22,用于在根据所述接收模块21获取到的所述字段信息和配置的字段索引信息确定所述搜索条件符合设定规则时,从所述搜索条件中获取与所述字段信息匹配的字段模板;
搜索模块23,用于利用所述匹配模块22获取的所述字段模板生成新的搜索条件,并搜索出符合所述新的搜索条件的事件。
在本发明的一种实施例中,所述设备还包括:错误返回模块24,其中:
错误返回模块24,用于在根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件不符合设定规则时,返回搜索条件错误信息;或,
提示搜索条件不正确,将按照模糊查询方式进行搜索。
在本发明的一种实施例中,所述匹配模块22,具体用于根据配置的字段名与事件模板类型之间的对应关系,得到所述字段信息中包含的字段名对应的事件模板类型;并根据配置的事件模板类型与字段模板之间的对应关系,查找出与得到的所述事件模板类型匹配的字段模板。
在本发明的一种实施例中,所述匹配模块22,具体用于当依据字段信息查找出与得到的所述事件模板类型匹配的字段模板为嵌套字段模板时,根据字段模板与字段模板的内容格式之间的对应关系,确定所述嵌套字段模板中包含的每一个字段模板对应的所述字段模板的内容格式,其中,所述嵌套字段模板中包含了至少两个字段模板;
将所述字段信息中包含的字段名对应的内容格式与所述嵌套字段模板中包含的每一个字段模板的内容格式进行比较;
当所述字段信息中包含的字段名对应的内容格式与所述嵌套字段模板中包含的其中一个字段模板的内容格式一致时,将内容格式一致的所述字段模板作为从所述搜索条件中获取与所述字段信息匹配的字段模板。
在本发明的一种实施例中,所述搜索模块23,具体用于将所述字段信息以及所述字段模板进行组合,得到包含了所述字段模板的新的搜索条件,其中,所述字段模板用于缩小搜索范围。
在本发明的一种实施例中,所述搜索设备还包括:事件数据来源确定模块25,其中:
事件数据来源确定模块25,用于在利用所述字段模板生成新的搜索条件之前,根据字段名与事件数据来源之间的对应关系,得到抽取到的所述字段信息中包含的字段名所对应的事件数据来源;
所述搜索模块23,具体用于将所述字段信息、所述字段模板以及所述事件数据来源进行组合,得到包含了所述字段模板和所述事件数据来源的新的搜索条件,其中,所述字段模板和所述事件数据来源用于缩小搜索范围。
在本发明的一种实施例中,,所述搜索设备,还包括:设备标识确定模块26,其中:
设备标识确定模块26,用于在利用所述字段模板生成新的搜索条件之前,根据字段名与产生包含所述字段名的事件的设备标识之间的对应关系,得到抽取到的所述字段信息中包含的字段名对应的设备标识;
所述搜索模块23,具体用于将所述字段信息、所述字段模板以及所述设备标识进行组合,得到包含了所述字段模板和所述设备标识的新的搜索条件,其中,所述字段模板和所述设备标识用于缩小搜索范围。
在本发明的一种实施例中,所述搜索模块23,具体用于当从所述搜索条件中获取与所述字段信息匹配的字段模板的个数为多个时,确定获取的字段模板的属性,并根据所述字段模板的属性,将获取的字段模板进行排序;
根据排序结果,从获取的多个字段模板中选择至少一个字段模板生成新的搜索条件。
在本发明的一种实施例中,所述字段索引信息中包含了字段名和事件模板类型,且每一个字段名对应至少一个事件模板类型;
所述匹配模块22,具体用于从配置的字段索引信息中搜索获取到的所述字段信息中包含的字段名,并在搜索到获取到的所述字段信息中包含的字段名时,确定所述字段信息中包含的字段名对应的事件模板类型,并根据配置的事件模板类型与字段模板之间的对应关系,查找出与确定的所述事件模板类型对应的字段模板;
将获取到的所述字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式进行比较;
当获取到的所述字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式一致时,确定所述搜索条件符合设定规则。
在本发明的一种实施例中,所述匹配模块22,还用于若从配置的字段索引信息中查找不到与获取到的所述字段信息中包含的字段名一致的字段名,和/或若从配置的字段索引信息中查找到与获取到的所述字段信息中包含的字段名一致的字段名、但获取到的字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式不一致时,确定所述搜索条件不符合设定规则。
在本发明的一种实施例中,所述接收模块21,具体用于解析接收到的搜索条件,并确定所述搜索条件中包含的至少一个字段信息,其中,所述字段信息包含了字段名以及所述字段名对应的内容格式。
需要说明的是,本发明实施例二所述的搜索设备可以通过硬件方式实现,也可以通过软件方式实现,这里不做限定。
实施例三:
如图3所示,为本发明实施例三提供的一种事件的搜索设备的结构示意图。所述搜索设备具备执行本发明实施例一至本发明实施例二的功能,所述搜索设备可以采用通用计算机系统结构,计算机系统可具体是基于处理器的计算机。所述搜索设备包含了至少一个处理器31和信号接收器32,其中,至少一个处理器31和信号接收器32通过总线33连接。其中:
处理器31可以是一个通用中央处理器(CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本发明方案程序执行的集成电路。
信号接收器32,用于接收输入的搜索条件,并从所述搜索条件中获取字段信息。
处理器31,用于在根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件符合设定规则时,从所述搜索条件中获取与所述字段信息匹配的字段模板;利用获取的所述字段模板生成新的搜索条件,并搜索出符合所述新的搜索条件的事件。
在本发明的另一实施例中,所述处理器31,还用于在根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件不符合设定规则时,返回搜索条件错误信息;或,提示搜索条件不正确,将按照模糊查询方式进行搜索。
在本发明的另一实施例中,所述处理器31,具体用于根据配置的字段名与事件模板类型之间的对应关系,得到所述字段信息中包含的字段名对应的事件模板类型;并根据配置的事件模板类型与字段模板之间的对应关系,查找出与得到的所述事件模板类型匹配的字段模板。
在本发明的另一实施例中,所述处理器31,具体用于当依据字段信息查找出与得到的所述事件模板类型匹配的字段模板为嵌套字段模板时,根据字段模板与字段模板的内容格式之间的对应关系,确定所述嵌套字段模板中包含的每一个字段模板对应的所述字段模板的内容格式,其中,所述嵌套字段模板中包含了至少两个字段模板;
将所述字段信息中包含的字段名对应的内容格式与所述嵌套字段模板中包含的每一个字段模板的内容格式进行比较;
当所述字段信息中包含的字段名对应的内容格式与所述嵌套字段模板中包含的其中一个字段模板的内容格式一致时,将内容格式一致的所述字段模板作为从所述搜索条件中获取与所述字段信息匹配的字段模板。
在本发明的另一实施例中,所述处理器31,具体用于将所述字段信息以及所述字段模板进行组合,得到包含了所述字段模板的新的搜索条件,其中,所述字段模板用于缩小搜索范围。
在本发明的另一实施例中,所述处理器31,具体用于在利用所述字段模板生成新的搜索条件之前,根据字段名与事件数据来源之间的对应关系,得到抽取到的所述字段信息中包含的字段名所对应的事件数据来源;将所述字段信息、所述字段模板以及所述事件数据来源进行组合,得到包含了所述字段模板和所述事件数据来源的新的搜索条件,其中,所述字段模板和所述事件数据来源用于缩小搜索范围。
在本发明的另一实施例中,所述处理器31,具体用于在利用所述字段模板生成新的搜索条件之前,根据字段名与产生包含所述字段名的事件的设备标识之间的对应关系,得到抽取到的所述字段信息中包含的字段名对应的设备标识;将所述字段信息、所述字段模板以及所述设备标识进行组合,得到包含了所述字段模板和所述设备标识的新的搜索条件,其中,所述字段模板和所述设备标识用于缩小搜索范围。
在本发明的另一实施例中,所述处理器31,具体用于当从所述搜索条件中获取与所述字段信息匹配的字段模板的个数为多个时,确定获取的字段模板的属性,并根据所述字段模板的属性,将获取的字段模板进行排序;
根据排序结果,从获取的多个字段模板中选择至少一个字段模板生成新的搜索条件。
在本发明的另一实施例中,所述字段索引信息中包含了字段名和事件模板类型,且每一个字段名对应至少一个事件模板类型;
所述处理器31,具体用于从配置的字段索引信息中搜索获取到的所述字段信息中包含的字段名,并在搜索到获取到的所述字段信息中包含的字段名时,确定所述字段信息中包含的字段名对应的事件模板类型,并根据配置的事件模板类型与字段模板之间的对应关系,查找出与确定的所述事件模板类型对应的字段模板;
将获取到的所述字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式进行比较;
当获取到的所述字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式一致时,确定所述搜索条件符合设定规则。
在本发明的另一实施例中,所述处理器31,还用于若从配置的字段索引信息中查找不到与获取到的所述字段信息中包含的字段名一致的字段名,和/或若从配置的字段索引信息中查找到与获取到的所述字段信息中包含的字段名一致的字段名、但获取到的字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式不一致时,确定所述搜索条件不符合设定规则。
在本发明的另一实施例中,所述信号接收器32,具体用于解析接收到的搜索条件,并确定所述搜索条件中包含的至少一个字段信息,其中,所述字段信息包含了字段名以及所述字段名对应的内容格式。
本领域的技术人员应明白,本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (20)
1.一种事件的搜索方法,其特征在于,包括:
接收输入的搜索条件,并从所述搜索条件中获取字段信息;
在根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件符合设定规则时,根据配置的字段名与事件模板类型之间的对应关系,得到所述字段信息中包含的字段名对应的事件模板类型,并根据配置的事件模板类型与字段模板之间的对应关系,查找出与得到的所述事件模板类型匹配的字段模板;
利用所述字段模板生成新的搜索条件,并搜索出符合所述新的搜索条件的事件,所述事件由一条或多条日志信息组成。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
在根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件不符合设定规则时,返回搜索条件错误信息;或,
提示搜索条件不正确,将按照模糊查询方式进行搜索。
3.如权利要求1所述的方法,其特征在于,所述查找出与得到的所述事件模板类型匹配的字段模板,包括:
当依据字段信息查找出与得到的所述事件模板类型匹配的字段模板为嵌套字段模板时,根据字段模板与字段模板的内容格式之间的对应关系,确定所述嵌套字段模板中包含的每一个字段模板对应的所述字段模板的内容格式,其中,所述嵌套字段模板中包含了至少两个字段模板;
将所述字段信息中包含的字段名对应的内容格式与所述嵌套字段模板中包含的每一个字段模板的内容格式进行比较;
当所述字段信息中包含的字段名对应的内容格式与所述嵌套字段模板中包含的其中一个字段模板的内容格式一致时,将内容格式一致的所述字段模板作为从所述搜索条件中获取与所述字段信息匹配的字段模板。
4.如权利要求1所述的方法,其特征在于,所述利用所述字段模板生成新的搜索条件,包括:
将所述字段信息以及所述字段模板进行组合,得到包含了所述字段模板的新的搜索条件,其中,所述字段模板用于缩小搜索范围。
5.如权利要求1所述的方法,其特征在于,在利用所述字段模板生成新的搜索条件之前,所述方法还包括:
根据字段名与事件数据来源之间的对应关系,得到抽取到的所述字段信息中包含的字段名所对应的事件数据来源;
所述利用所述字段模板生成新的搜索条件,包括:
将所述字段信息、所述字段模板以及所述事件数据来源进行组合,得到包含了所述字段模板和所述事件数据来源的新的搜索条件,其中,所述字段模板和所述事件数据来源用于缩小搜索范围。
6.如权利要求1所述的方法,其特征在于,在利用所述字段模板生成新的搜索条件之前,所述方法还包括:
根据字段名与产生包含所述字段名的事件的设备标识之间的对应关系,得到抽取到的所述字段信息中包含的字段名对应的设备标识;
所述利用所述字段模板生成新的搜索条件,包括:
将所述字段信息、所述字段模板以及所述设备标识进行组合,得到包含了所述字段模板和所述设备标识的新的搜索条件,其中,所述字段模板和所述设备标识用于缩小搜索范围。
7.如权利要求1所述的方法,其特征在于,所述利用所述字段模板生成新的搜索条件,包括:
当从所述搜索条件中获取与所述字段信息匹配的字段模板的个数为多个时,确定获取的字段模板的属性,并根据所述字段模板的属性,将获取的字段模板进行排序;
根据排序结果,从获取的多个字段模板中选择至少一个字段模板生成新的搜索条件。
8.如权利要求1所述的方法,其特征在于,所述字段索引信息中包含了字段名和事件模板类型,且每一个字段名对应至少一个事件模板类型;
所述根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件符合设定规则,包括:
从配置的字段索引信息中搜索获取到的所述字段信息中包含的字段名,并在搜索到获取到的所述字段信息中包含的字段名时,确定所述字段信息中包含的字段名对应的事件模板类型,并根据配置的事件模板类型与字段模板之间的对应关系,查找出与确定的所述事件模板类型对应的字段模板;
将获取到的所述字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式进行比较;
当获取到的所述字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式一致时,确定所述搜索条件符合设定规则。
9.如权利要求8所述的方法,其特征在于,所述方法还包括:
若从配置的字段索引信息中查找不到与获取到的所述字段信息中包含的字段名一致的字段名,和/或若从配置的字段索引信息中查找到与获取到的所述字段信息中包含的字段名一致的字段名、但获取到的字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式不一致时,确定所述搜索条件不符合设定规则。
10.如权利要求1所述的方法,其特征在于,所述从所述搜索条件中获取字段信息,包括:
解析接收到的搜索条件,并确定所述搜索条件中包含的至少一个字段信息,其中,所述字段信息包含了字段名以及所述字段名对应的内容格式。
11.一种事件的搜索设备,其特征在于,包括:
接收模块,用于接收输入的搜索条件,并从所述搜索条件中获取字段信息;
匹配模块,用于在根据所述接收模块获取到的所述字段信息和配置的字段索引信息确定所述搜索条件符合设定规则时,根据配置的字段名与事件模板类型之间的对应关系,得到所述字段信息中包含的字段名对应的事件模板类型,并根据配置的事件模板类型与字段模板之间的对应关系,查找出与得到的所述事件模板类型匹配的字段模板;
搜索模块,用于利用所述匹配模块获取的所述字段模板生成新的搜索条件,并搜索出符合所述新的搜索条件的事件,所述事件由一条或多条日志信息组成。
12.如权利要求11所述的搜索设备,其特征在于,所述设备还包括:
错误返回模块,用于在根据获取到的所述字段信息和配置的字段索引信息确定所述搜索条件不符合设定规则时,返回搜索条件错误信息;或,
提示搜索条件不正确,将按照模糊查询方式进行搜索。
13.如权利要求11所述的搜索设备,其特征在于,
所述匹配模块,具体用于当依据字段信息查找出与得到的所述事件模板类型匹配的字段模板为嵌套字段模板时,根据字段模板与字段模板的内容格式之间的对应关系,确定所述嵌套字段模板中包含的每一个字段模板对应的所述字段模板的内容格式,其中,所述嵌套字段模板中包含了至少两个字段模板;
将所述字段信息中包含的字段名对应的内容格式与所述嵌套字段模板中包含的每一个字段模板的内容格式进行比较;
当所述字段信息中包含的字段名对应的内容格式与所述嵌套字段模板中包含的其中一个字段模板的内容格式一致时,将内容格式一致的所述字段模板作为从所述搜索条件中获取与所述字段信息匹配的字段模板。
14.如权利要求11所述的搜索设备,其特征在于,
所述搜索模块,具体用于将所述字段信息以及所述字段模板进行组合,得到包含了所述字段模板的新的搜索条件,其中,所述字段模板用于缩小搜索范围。
15.如权利要求11所述的搜索设备,其特征在于,所述搜索设备还包括:
事件数据来源确定模块,用于在利用所述字段模板生成新的搜索条件之前,根据字段名与事件数据来源之间的对应关系,得到抽取到的所述字段信息中包含的字段名所对应的事件数据来源;
所述搜索模块,具体用于将所述字段信息、所述字段模板以及所述事件数据来源进行组合,得到包含了所述字段模板和所述事件数据来源的新的搜索条件,其中,所述字段模板和所述事件数据来源用于缩小搜索范围。
16.如权利要求11所述的搜索设备,其特征在于,所述搜索设备还包括:
设备标识确定模块,用于在利用所述字段模板生成新的搜索条件之前,根据字段名与产生包含所述字段名的事件的设备标识之间的对应关系,得到抽取到的所述字段信息中包含的字段名对应的设备标识;
所述搜索模块,具体用于将所述字段信息、所述字段模板以及所述设备标识进行组合,得到包含了所述字段模板和所述设备标识的新的搜索条件,其中,所述字段模板和所述设备标识用于缩小搜索范围。
17.如权利要求11所述的搜索设备,其特征在于,
所述搜索模块,具体用于当从所述搜索条件中获取与所述字段信息匹配的字段模板的个数为多个时,确定获取的字段模板的属性,并根据所述字段模板的属性,将获取的字段模板进行排序;
根据排序结果,从获取的多个字段模板中选择至少一个字段模板生成新的搜索条件。
18.如权利要求11所述的搜索设备,其特征在于,所述字段索引信息中包含了字段名和事件模板类型,且每一个字段名对应至少一个事件模板类型;
所述匹配模块,具体用于从配置的字段索引信息中搜索获取到的所述字段信息中包含的字段名,并在搜索到获取到的所述字段信息中包含的字段名时,确定所述字段信息中包含的字段名对应的事件模板类型,并根据配置的事件模板类型与字段模板之间的对应关系,查找出与确定的所述事件模板类型对应的字段模板;
将获取到的所述字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式进行比较;
当获取到的所述字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式一致时,确定所述搜索条件符合设定规则。
19.如权利要求18所述的搜索设备,其特征在于,
所述匹配模块,还用于若从配置的字段索引信息中查找不到与获取到的所述字段信息中包含的字段名一致的字段名,和/或若从配置的字段索引信息中查找到与获取到的所述字段信息中包含的字段名一致的字段名、但获取到的字段信息中包含的字段名对应的内容格式与查找的所述字段模板的内容格式不一致时,确定所述搜索条件不符合设定规则。
20.如权利要求11所述的搜索设备,其特征在于,
所述接收模块,具体用于解析接收到的搜索条件,并确定所述搜索条件中包含的至少一个字段信息,其中,所述字段信息包含了字段名以及所述字段名对应的内容格式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410309581.7A CN105302827B (zh) | 2014-06-30 | 2014-06-30 | 一种事件的搜索方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410309581.7A CN105302827B (zh) | 2014-06-30 | 2014-06-30 | 一种事件的搜索方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105302827A CN105302827A (zh) | 2016-02-03 |
CN105302827B true CN105302827B (zh) | 2018-11-20 |
Family
ID=55200102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410309581.7A Active CN105302827B (zh) | 2014-06-30 | 2014-06-30 | 一种事件的搜索方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105302827B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108133035B (zh) * | 2018-01-09 | 2019-07-30 | 上海创图网络科技股份有限公司 | 一种基于大数据的文化云平台的活动管理方法及装置 |
CN110232137B (zh) * | 2019-05-10 | 2021-09-03 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和电子设备 |
CN110781209B (zh) * | 2019-09-29 | 2022-04-22 | 苏州浪潮智能科技有限公司 | 一种数据快速查询的方法及装置 |
CN111291150B (zh) * | 2020-03-09 | 2023-08-25 | 北京明智和术科技有限公司 | 一种待搜索信息的确定方法、确定装置及可读存储介质 |
CN111639016A (zh) * | 2020-05-29 | 2020-09-08 | 北京合力思腾科技股份有限公司 | 大数据日志分析方法、装置及计算机存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1298525A (zh) * | 1998-02-26 | 2001-06-06 | 太阳微系统公司 | 用于安全类型属性匹配的方法和系统 |
CN101127053A (zh) * | 2007-10-16 | 2008-02-20 | 金蝶软件(中国)有限公司 | 一种在数据选择界面实现动态模糊查询的方法和系统 |
CN102239472A (zh) * | 2008-09-05 | 2011-11-09 | Arc景象有限责任公司 | 在支持查询的同时高效地存储日志数据 |
CN102834802A (zh) * | 2009-11-09 | 2012-12-19 | Arc景象有限责任公司 | 使用结构化数据储存库实现更快的全文搜索 |
CN103064933A (zh) * | 2012-12-24 | 2013-04-24 | 华为技术有限公司 | 数据查询方法及系统 |
CN103221951A (zh) * | 2010-07-22 | 2013-07-24 | 谷歌公司 | 预测查询建议高速缓存 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8521719B1 (en) * | 2012-10-10 | 2013-08-27 | Limelight Networks, Inc. | Searchable and size-constrained local log repositories for tracking visitors' access to web content |
-
2014
- 2014-06-30 CN CN201410309581.7A patent/CN105302827B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1298525A (zh) * | 1998-02-26 | 2001-06-06 | 太阳微系统公司 | 用于安全类型属性匹配的方法和系统 |
CN101127053A (zh) * | 2007-10-16 | 2008-02-20 | 金蝶软件(中国)有限公司 | 一种在数据选择界面实现动态模糊查询的方法和系统 |
CN102239472A (zh) * | 2008-09-05 | 2011-11-09 | Arc景象有限责任公司 | 在支持查询的同时高效地存储日志数据 |
CN102834802A (zh) * | 2009-11-09 | 2012-12-19 | Arc景象有限责任公司 | 使用结构化数据储存库实现更快的全文搜索 |
CN103221951A (zh) * | 2010-07-22 | 2013-07-24 | 谷歌公司 | 预测查询建议高速缓存 |
CN103064933A (zh) * | 2012-12-24 | 2013-04-24 | 华为技术有限公司 | 数据查询方法及系统 |
Non-Patent Citations (2)
Title |
---|
"Business Cycle Indication Using Query Logs of Search Engines";Jeng-Chien Chen ET AL;《2010 International Conference on P2P, Parallel, Grid, Cloud and Internet Computing》;20101231;全文 * |
"海量分布式日志检索技术的研究";王荣德;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110315;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN105302827A (zh) | 2016-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105302827B (zh) | 一种事件的搜索方法和设备 | |
CN111061750A (zh) | 一种查询处理方法、装置及计算机可读存储介质 | |
JP2005352888A (ja) | 表記揺れ対応辞書作成システム | |
CN110007906B (zh) | 脚本文件的处理方法、装置和服务器 | |
US11144562B1 (en) | Method and apparatus of indicator information determination | |
CN110162522A (zh) | 一种分布式数据搜索系统及方法 | |
CN110166522A (zh) | 服务器识别方法、装置、可读存储介质和计算机设备 | |
CN112035480A (zh) | 数据表管理方法、装置、设备及存储介质 | |
CN113672628A (zh) | 数据血缘分析方法、终端设备及介质 | |
CN113434482A (zh) | 数据迁移方法、装置、计算机设备及存储介质 | |
CN110263121B (zh) | 表格数据处理方法、装置、电子装置及计算机可读存储介质 | |
CN113360300B (zh) | 接口调用链路生成方法、装置、设备及可读存储介质 | |
CN113961768A (zh) | 敏感词检测方法、装置、计算机设备和存储介质 | |
CN107330031B (zh) | 一种数据存储的方法、装置及电子设备 | |
CN112433753A (zh) | 基于参数信息的接口文档生成方法、装置、设备和介质 | |
CN107368525B (zh) | 搜索相关词的方法及装置、存储介质和终端设备 | |
CN110941831A (zh) | 基于分片技术的漏洞匹配方法 | |
CN114579580A (zh) | 存储数据的方法、查询数据的方法和装置 | |
CN112765118B (zh) | 一种日志查询方法、装置、设备及存储介质 | |
CN109634929A (zh) | 业务数据的采集方法、装置和服务器 | |
EP4053713A1 (en) | Question and answer method and apparatus based on knowledge graph | |
US8577861B2 (en) | Apparatus and method for searching information | |
CN111078671A (zh) | 数据表字段的修改方法、装置、设备和介质 | |
CN112860811A (zh) | 数据血缘关系的确定方法、装置、电子设备和存储介质 | |
CN111444253A (zh) | 数据导入方法、装置、计算机可读存储介质和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |