CN112765118B - 一种日志查询方法、装置、设备及存储介质 - Google Patents

一种日志查询方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112765118B
CN112765118B CN202110374955.3A CN202110374955A CN112765118B CN 112765118 B CN112765118 B CN 112765118B CN 202110374955 A CN202110374955 A CN 202110374955A CN 112765118 B CN112765118 B CN 112765118B
Authority
CN
China
Prior art keywords
field
query
target
log
fields
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110374955.3A
Other languages
English (en)
Other versions
CN112765118A (zh
Inventor
饶琛琳
梁玫娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youtejie Information Technology Co ltd
Original Assignee
Beijing Youtejie Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youtejie Information Technology Co ltd filed Critical Beijing Youtejie Information Technology Co ltd
Priority to CN202110374955.3A priority Critical patent/CN112765118B/zh
Publication of CN112765118A publication Critical patent/CN112765118A/zh
Application granted granted Critical
Publication of CN112765118B publication Critical patent/CN112765118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了一种日志查询方法、装置、设备及存储介质。其中,方法包括:响应于日志查询指令,对日志查询指令进行解析,得到至少一个参考字段;将各参考字段分别与标准字段集进行比对,标准字段集中包括历史查询频率满足高频查询条件的加速字段;如果确定各参考字段中包括至少一个目标标准字段,则获取与目标标准字段对应的目标查询索引;根据目标查询索引,查询得到与日志查询指令匹配的日志。本发明实施例的方案,解决了难以快速地查询到与查询指令匹配的日志数据,查询效率较低的问题,实现了快速地查询到目标日志,提升了日志搜索的效率。

Description

一种日志查询方法、装置、设备及存储介质
技术领域
本发明实施例涉及计算机技术,尤其涉及一种日志查询方法、装置、设备及存储介质。
背景技术
随着信息技术的不断发展,各种网站、服务器以及应用程序每天都会产生数以亿记的日志数据;如何在这些日志数据中查询到用户所需求的日志是业内关注的重点问题。
现阶段,主要是对生成的日志数据存储在数据库中,当接收到日志查询指令时,在数据库中搜索与查询指令匹配的日志数据;这种方法由于需要搜索数据较多,很难快速地查询到与查询指令匹配的日志数据,查询效率较低。
发明内容
本发明实施例提供一种日志查询方法、装置、设备及存储介质,以实现快速地查询到目标日志,提升了日志搜索的效率。
第一方面,本发明实施例提供了一种日志查询方法,包括:
响应于日志查询指令,对所述日志查询指令进行解析,得到至少一个参考字段;
将各所述参考字段分别与标准字段集进行比对,所述标准字段集中包括历史查询频率满足高频查询条件的加速字段;
如果确定各所述参考字段中包括至少一个目标标准字段,则获取与所述目标标准字段对应的目标查询索引;
根据所述目标查询索引,查询得到与所述日志查询指令匹配的日志。
可选的,在响应于日志查询指令,对所述日志查询指令进行解析之前,还包括:
获取多条历史日志查询指令进行解析,得到多个目标字段;
统计各所述目标字段的查询频率,并获取查询频率大于或等于设定阈值的目标字段确定为加速字段;
将各所述加速字段不重叠的存储于所述标准字段集中,并分别建立所述标准字段集中各所述加速字段的查询索引。
可选的,所述标准字段集中还包括:与加速字段对应的中间结果字段;
如果确定各所述参考字段中包括至少一个目标标准字段,则获取与所述目标标准字段对应的目标查询索引,包括:
如果确定所述目标标准字段为加速字段,则获取所述目标标准字段的查询索引,作为所述目标查询索引;
如果确定所述目标标准字段为中间结果字段,则获取与所述目标标准字段对应的加速字段的查询索引,作为所述目标查询索引。
可选的,在获取查询频率大于设定阈值的目标字段确定为加速字段之后,还包括:
对各所述加速字段所包含的函数进行解析,生成与各待加速字段匹配的中间结果字段。
可选的,所述将各所述参考字段分别与标准字段集进行比对,包括:
分别确定各所述参考字段与所述标准字段集中的各标准字段的一致性;
当目标参考字段与目标标准字段相一致时,确定各所述参考字段中包含至少一个目标标准字段。
可选的,在将各所述参考字段分别与预设的各标准字段进行比对之后,还包括:
如果确定各所述参考字段中包含目标标准字段的数目为0个,则从索引库中获取与参考字段对应的索引,获取与所述查询指令对应的查询结果。
可选的,日志查询方法,还包括:
每间隔设定时间重新执行获取多条历史日志查询指令,对各所述历史日志查询指令进行解析的操作,以对所述标准字段集进行更新。
第二方面,本发明实施例还提供了一种日志查询装置,包括:
解析模块,用于响应于日志查询指令,对所述日志查询指令进行解析,得到至少一个参考字段;
比对模块,用于将各所述参考字段分别与标准字段集进行比对,所述标准字段集中包括历史查询频率满足高频查询条件的加速字段;
获取模块,用于如果确定各所述参考字段中包括至少一个目标标准字段,则获取与所述目标标准字段对应的目标查询索引;
查询模块,用于根据所述目标查询索引,查询得到与所述日志查询指令匹配的日志。
第三方面,本发明实施例还提供了一种日志查询设备,所述日志查询设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例中任一实施例所述的日志查询方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一实施例所述的日志查询方法。
本发明实施例通过响应于日志查询指令,对日志查询指令进行解析,得到至少一个参考字段;将各参考字段分别与标准字段集进行比对,标准字段集中包括历史查询频率满足高频查询条件的加速字段;如果确定各参考字段中包括至少一个目标标准字段,则获取与目标标准字段对应的目标查询索引;根据目标查询索引,查询得到与日志查询指令匹配的日志,解决了难以快速地查询到与查询指令匹配的日志数据,查询效率较低的问题,实现了快速地查询到目标日志,提升了日志搜索的效率。
附图说明
图1是本发明实施例一中的一种日志查询方法的流程图;
图2是本发明实施例二中的一种日志查询方法的流程图;
图3是本发明实施例三中的一种日志查询方法的流程图;
图4是本发明实施例四中的一种日志查询装置的结构示意图;
图5是本发明实施例五中的一种日志查询设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明实施例,而非对本发明实施例的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明实施例相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的日志查询方法的流程图,本实施例可适用于快速地查询到与查询指令匹配的日志的情况,该方法可以由日志查询装置来执行,该装置可以通过软件和/或硬件的方式实现,并集成在执行本方法的日志查询设备中;其中,日志查询设备可以为计算机、服务器或者平板电脑等电子设备,具体的,参考图1,该方法具体包括如下步骤:
步骤110、响应于日志查询指令,对日志查询指令进行解析,得到至少一个参考字段。
其中,日志查询指令可以为任一操作环境或者计算机语言下的查询指令,本实施例中对其具体形式不作限定。
在本实施例的一个可选实现方式中,在接收到日志查询指令之后,可以对接收到的查询指令进行解析,从而得到多个参考字段。需要说明的是,本实施例中每个参考字段可以包括待查询日志的产生时间、大小或者类别等,本实施例中对其不加以限定。
步骤120、将各参考字段分别与标准字段集进行比对,标准字段集中包括历史查询频率满足高频查询条件的加速字段。
其中,标准字段集中可以包括多条历史查询频率满足高频查询条件的加速字段;需要说明的是,标准字段集中的各加速字段两两均不相同,即标准字段集中不存在相同的两个加速字段;还需要说明的是,标准字段集中的各加速字段不是固定不变的,各加速字段随着用户的历史查询指令的变化而变化。
在本实施例的一个可先实现方式中,在对日志查询指令进行解析,得到多个参考字段之后,可以进一步的将各参考字段分别与标准字段集进行比对,例如可以依次将各参考字段与标准字段集中的每一个加速字段进行比对;确定是否存在至少一个参考字段与标准字段集中任一加速字段相同或者相似。
步骤130、如果确定各参考字段中包括至少一个目标标准字段,则获取与目标标准字段对应的目标查询索引。
在本实施例的一个可选实现方式中,在将各参考字段分别与标准字段集进行比对之后,如果确定各参考字段中包括至少一个目标标准字段,即确定一个或者多个参考字段与标准字段集中的任一加速字段相同或者相似,则可以将这一个或者多个参考字段确定为目标标准字段。
进一步的,可以获取与目标标准字段对应的目标查询索引。需要说明的是,在本实施例中,可以预先为每一个日志或者字段建立索引,即在确定至少一个目标标准字段之后,可以在相关存储区域中获取到与目标标准字段对应的目标查询索引。
步骤140、根据目标查询索引,查询得到与日志查询指令匹配的日志。
在本实施例的一个可选实现方式中,在获取到与目标标准字段对应的目标查询索引之后,可以进一步的根据目标查询索引,查询得到与日志查询指令匹配的日志;示例性的,在确定目标查询索引之后,可以在索引关系映射表中,查询得到与目标查询索引对应的日志,即与日志查询指令匹配的日志。
在本实施例的一个具体例子中,在获取到日志查询指令A之后,对日志查询指令A进行解析,得到参考字段a、参考字段b以及参考字段c;将这三个参考字段分别与标准字段集进行比对,确定参考字段a也包含在标准字段集中,即参考字段a为目标标准字段;进一步的,可以在索引与字段对应表中获取与字段a对应的目标查询索引;进一步的,根据与字段a对应的目标查询索引查询到与查询指令匹配的日志,即获得到了与日志查询指令对应的搜索结果。
本实施例的方案,通过响应于日志查询指令,对日志查询指令进行解析,得到至少一个参考字段;将各参考字段分别与标准字段集进行比对,标准字段集中包括历史查询频率满足高频查询条件的加速字段;如果确定各参考字段中包括至少一个目标标准字段,则获取与目标标准字段对应的目标查询索引;根据目标查询索引,查询得到与日志查询指令匹配的日志,解决了难以快速地查询到与查询指令匹配的日志数据,查询效率较低的问题,实现了快速地查询到目标日志,提升了日志搜索的效率。
实施例二
图2是本发明实施例二中的一种日志查询方法的流程图,本实施例是对上述各技术方案的进一步细化,本实施例中的技术方案可以与上述一个或者多个实施例中的各个可选方案结合。如图2所示,日志查询方法可以包括如下步骤:
步骤210、获取多条历史日志查询指令进行解析,得到多个目标字段;统计各目标字段的查询频率,并获取查询频率大于或等于设定阈值的目标字段确定为加速字段;将各加速字段不重叠的存储于标准字段集中,并分别建立标准字段集中各加速字段的查询索引。
在本实施例的一个可选实现方式中,在响应于日志查询指令,对日志查询指令进行解析之前,还可以获取多条历史日志查询指令进行解析,得到多个目标字段;统计各目标字段的查询频率,并获取查询频率大于或等于设定阈值的目标字段确定为加速字段;将各加速字段不重叠的存储于标准字段集中,并分别建立标准字段集中各加速字段的查询索引。
其中,历史日志查询指令可以为设定时间内产生的多条日志查询指令;在本实施例的一个可选实现方式中,在获取到设定时间内的多条历史日志查询指令之后,可以分别对这些历史日志查询指令进行解析,从而得到多个目标字段;进一步的,可以统计每个目标字段的查询频率,即每个目标字段出现的次数;并将查询频率大于或者等于设定预知的目标字段确定为加速字段;其中,设定阈值可以为1000、10000或者50000等,本实施例对其不加以限定。
在本实施例的另一个可选实现方式中,在统计得到每个目标字段的查询频率之后,可以按照查询频率的大小进行排序,并将排在前N位的目标字段确定为加速字段,其中,N可以为任一正整数,本实施例中的对其不加以限定。
进一步的,可以将各加速字段不重叠的存储在标准字段集中,这样设置的好处在于,可以保证标准字段集中不存在重复的加速字段,避免了字段相同,但查询到的日志不相同的现象;进一步的,可以建立标准字段集中各加速字段的查询索引,为后续确定与查询指令匹配的日志提供依据。
在本实施例的一个可选实现方式中,标准字段集中还可以包括:与加速字段对应的中间结果字段;示例性的,若加速字段为平均值字段,则与平均值字段对应的中间结果字段可以为求和字段以及求商字段等,本实施例中对其不加以限定。例如,频繁出现的查询语句为:
* | bucket timestamp span=1m as ts | stats avg(duration) by ts
其中,avg(duration)为平均值字段,可以理解的是,可以通过sum(duration)/count(duration)求得avg(duration),那么count(duration)和sum(duration)字段即为avg(duration)的中间结果字段。
在本实施例的一个可选实现方式中,在获取查询频率大于设定阈值的目标字段确定为加速字段之后,还包括:对各加速字段所包含的函数进行解析,生成与各待加速字段匹配的中间结果字段。
示例性的,在确定加速字段之后,可以继续对每个加速字段进行解析,确定其是否包含中间函数,如果包含,则将中间函数确定为中间结果字段。
步骤220、将各参考字段分别与标准字段集进行比对。
步骤230、如果确定各参考字段中包括至少一个目标标准字段,则获取与目标标准字段对应的目标查询索引。
可选的,如果确定各参考字段中包括至少一个目标标准字段,则获取与目标标准字段对应的目标查询索引,可以包括如下操作,下述操作可以独立实施,也可以结合实施;可以按照设定顺序串行实施,也可以并行实施。即实施顺序和组合方式不限。具体操作如下:
步骤231、如果确定目标标准字段为加速字段,则获取目标标准字段的查询索引,作为目标查询索引。
在本实施例的一个可选实现方式中,如果确定目标标准字段为标准字段集中的加速字段,则可以直接获取目标标准字段的查询索引,作为目标查询索引。
步骤232、如果确定目标标准字段为中间结果字段,则获取与目标标准字段对应的加速字段的查询索引,作为目标查询索引。
在本实施例的另一个可选实现方式中,如果确定目标标准字段为中间结果字段,则可以获取与目标标准字段对应的加速字段的查询索引,作为目标查询索引。
这样设置的好处在于,可以快速地确定与中间结果字段对应的目标查询索引,为后续快速地确定与日志查询指令匹配的日志提供依据。
需要说明的是,本实施例中涉及到的中间结果字段也可以有与其对应的查询索引,即如果确定目标标准字段为中间结果字段,则也可以获取与目标标准字段对应的中间结果字段的查询索引,作为目标查询索引,本实施例中对其不加以限定。
步骤240、根据目标查询索引,查询得到与日志查询指令匹配的日志。
本实施例的方案,在响应于日志查询指令,对日志查询指令进行解析之前,还可以包括:获取多条历史日志查询指令进行解析,得到多个目标字段;统计各目标字段的查询频率,并获取查询频率大于或等于设定阈值的目标字段确定为加速字段;将各加速字段不重叠的存储于标准字段集中,并分别建立标准字段集中各加速字段的查询索引,可以通过与加速字段对应的查询索引,快速地确定与日志查询指令匹配的日志,为提升日志查询的效率提供依据,减少了大量的查询时间。
在上述技术方案的基础上,日志查询方法还可以包括:每间隔设定时间重新执行获取多条历史日志查询指令,对各历史日志查询指令进行解析的操作,以对标准字段集进行更新。
其中,设定时间可以为一周、一个月或者三个月等,本实施例中对其不加以限定。
在本实施例的一个可选实现方式中,可以每间隔一个月执行一次获取多条历史日志查询指令,对各历史日志查询指令进行解析的操作,从而实现对加速字段的更新,即对标准字段集进行更新。
这样设置的好处在于,可以避免由于用户的查询需求变化,而难以通过之前的标准字段集确定目标标准字段,导致得不到查询结果的问题;可以适应用户多变性的查询指令,为快速且准确地获得查询日志提供依据。
实施例三
图3是本发明实施例三中的一种日志查询方法的流程图,本实施例是对上述各技术方案的进一步细化,本实施例中的技术方案可以与上述一个或者多个实施例中的各个可选方案结合。如图3所示,日志查询方法可以包括如下步骤:
步骤310、响应于日志查询指令,对日志查询指令进行解析,得到至少一个参考字段。
步骤320、分别确定各参考字段与标准字段集中的各标准字段的一致性;当目标参考字段与目标标准字段相一致时,确定各参考字段中包含至少一个目标标准字段。
在本实施例的一个可选实现方式中,在对日志查询指令进行解析,得到至少一个参考指端之后,可以进一步的分别确定各参考字段与标准字段集中的各标准字段的一致性;进一步的,当目标参考字段与目标标准字段相一致时,确定参考字段中包含至少一个目标标准字段。
在本实施例的一个例子中,在对日志查询指令进行解析,得到至少一个参考指端之后,可以进一步的分别计算各参考字段与标准字段集中的各标准字段的相似度,当目标参考字段与目标标准字段的相似度大于设定阈值(例如,1、0.99或者0.98等,本实施例中对其不加以限定),则可以确定目标参考字段为目标标准字段,即确定了参考字段中包含至少一个目标标准字段。
在本实施例的一个可选实现方式中,在将各参考字段分别与预设的各标准字段进行比对之后,还可以包括:如果确定各参考字段中包含目标标准字段的数目为0个,则从索引库中获取与参考字段对应的索引,获取与查询指令对应的查询结果。
可选的,如果任一参考字段均与标准字段集中的各标准字段不一致(不相似),则可以确定各参考字段中包含目标标准字段的数目为0个,此时无法从标准字段集中获取到目标查询索引,那么可以在索引库中获取与各参考字段对应的目标查询索引。
这样设置的好处在于,即使日志查询指令为一个从未出现的查询指令,也可以获取到与查询指令匹配的日志,增强了本算法的鲁棒性。
步骤330、获取与目标标准字段对应的目标查询索引。
步骤340、根据目标查询索引,查询得到与日志查询指令匹配的日志。
本实施例的方案,将各参考字段分别与标准字段集进行比对,包括:分别确定各参考字段与标准字段集中的各标准字段的一致性;当目标参考字段与目标标准字段相一致时,确定各参考字段中包含至少一个目标标准字段,可以快速地确定目标标准字段,为快速地确定与查询指令匹配的日志提供依据。
为了使本领域技术人员更好地理解本实施例日志查询方法,下面采用一个具体示例进行说明,具体过程包括有:
1、采集日志数据,抽取各日志数据的时间信息,并提取相关的关键字段(系统内置正则表达式规则,也可由用户自定义),对其命名(field_name),建立field_name=field_value(field_value为抽取的关键字段)。
2、对日志数据建立索引,在日志查询过程中,确定与查询语句对应的索引,即可直接确定与查询语句对应的日志。
3、根据搜索引擎接收到的查询语句进行分析,解析热语句,统计热点字段的查询频率并进行排序。
4、根据搜索引擎现有的索引字段的情况,对上一步的统计结果进行过滤,记录下查询频率高但并不是现成存在的字段,将这些字段列为待加速字段。
5、对过滤出来的待加速字段,针对不同的统计函数,生成中间结果字段,方便加速查询过程中使用;
具体可分为以下两种情况:
1)、事先未提取字段,例如频繁出现的查询语句为:
* | parse "(<aaa>xxx)" | stats count() by aaa,即可自动构建一个“aaa”字段的加速索引。
2)、事先已提取字段,例如频繁出现的查询语句为:
* | bucket timestamp span=1m as ts | stats avg(duration) by ts
其中,avg(duration)平均值,avg(duration)实际为sum(duration)/count(duration),即可构建一个包含count(duration) 和 sum(duration)的加速索引。可以理解的是,除了上述查询语句之外,包括|bucket timestmap span=15m as ts | statscount(duration) by ts 等查询语句也一样能自动被加速。
6、按年、月、日等多级记录中间结果字段。在加速查询时根据实际选择的时间范围寻找对应级别的中间结果;需要说明的是,用户也可以自定义常用时间级别,例如7天或者3个月等,本实施例中对其不加以限定。
7、对计算的中间结果设置自动淘汰时间,超过时间自动丢弃;例如,选择7天为自动淘汰时间,则表示系统会自动删除早于7天的数据,同时继续根据新传入的最近7天的数据统计中间结果字段。
8、对计算的中间结果设置统计频率,即多久更新一次计算结果。
9、加速检索时,针对加速索引及预先计算的中间结果字段,而不是完整的数据索引进行搜索,因为加速索引数量小于完整索引,因此会比直接检索所有数据速度有极大提升。
本发明实施例的方案,可以实现对日志查询指令的自动查询加速,无需用户进行额外的设定规则,可以自动识别出热搜索语句,从而自动建立加速索引,加速索引可以直接用于分析,对于大量数据检索能显著提升速度,提高搜索效率。同时原始索引的存储成本也只有一部分,原始数据可以和新的汇总索引并存。
实施例四
图4是本发明实施例四中的一种日志查询装置的结构示意图,该装置可以执行上述各实施例中涉及到的日志查询方法。参照图4,该装置包括:解析模块410、比对模块420、获取模块430以及查询模块440。
解析模块410,用于响应于日志查询指令,对所述日志查询指令进行解析,得到至少一个参考字段;
比对模块420,用于将各所述参考字段分别与标准字段集进行比对,所述标准字段集中包括历史查询频率满足高频查询条件的加速字段;
获取模块430,用于如果确定各所述参考字段中包括至少一个目标标准字段,则获取与所述目标标准字段对应的目标查询索引;
查询模块440,用于根据所述目标查询索引,查询得到与所述日志查询指令匹配的日志。
本实施例的方案,通过解析模块响应于日志查询指令,对所述日志查询指令进行解析,得到至少一个参考字段;通过比对模块将各所述参考字段分别与标准字段集进行比对,所述标准字段集中包括历史查询频率满足高频查询条件的加速字段;如果确定各所述参考字段中包括至少一个目标标准字段,则通过获取模块获取与所述目标标准字段对应的目标查询索引;他爸查询模块根据所述目标查询索引,查询得到与所述日志查询指令匹配的日志,解决了难以快速地查询到与查询指令匹配的日志数据,查询效率较低的问题,实现了快速地查询到目标日志,提升了日志搜索的效率。
在本实施例的一个可选实现方式中,日志查询装置还包括:查询索引建立模块,用于
获取多条历史日志查询指令进行解析,得到多个目标字段;
统计各所述目标字段的查询频率,并获取查询频率大于或等于设定阈值的目标字段确定为加速字段;
将各所述加速字段不重叠的存储于所述标准字段集中,并分别建立所述标准字段集中各所述加速字段的查询索引。
在本实施例的一个可选实现方式中,所述标准字段集中还包括:与加速字段对应的中间结果字段;
获取模块430,具体用于如果确定所述目标标准字段为加速字段,则获取所述目标标准字段的查询索引,作为所述目标查询索引;
如果确定所述目标标准字段为中间结果字段,则获取与所述目标标准字段对应的加速字段的查询索引,作为所述目标查询索引。
在本实施例的一个可选实现方式中,日志查询装置还包括:中间结果字段生成模块,用于
对各所述加速字段所包含的函数进行解析,生成与各待加速字段匹配的中间结果字段。
在本实施例的一个可选实现方式中,比对模块420,具体用于分别确定各所述参考字段与所述标准字段集中的各标准字段的一致性;
当目标参考字段与目标标准字段相一致时,确定各所述参考字段中包含至少一个目标标准字段。
在本实施例的一个可选实现方式中,日志查询装置还包括:查询结果获取模块,用于
如果确定各所述参考字段中包含目标标准字段的数目为0个,则从索引库中获取与参考字段对应的索引,获取与所述查询指令对应的查询结果。
在本实施例的一个可选实现方式中,日志查询装置还包括:更新模块,用于
每间隔设定时间重新执行获取多条历史日志查询指令,对各所述历史日志查询指令进行解析的操作,以对所述标准字段集进行更新。
本发明实施例所提供的日志查询装置可执行本发明任意实施例所提供的日志查询方法,具备执行方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种日志查询设备的结构示意图,如图5所示,该日志查询设备包括处理器50、存储器51、输入装置52和输出装置53;日志查询设备中处理器50的数量可以是一个或多个,图5中以一个处理器50为例;日志查询设备中的处理器50、存储器51、输入装置52和输出装置53可以通过总线或其他方式连接,图5中以通过总线连接为例。
存储器51作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的日志查询方法对应的程序指令/模块(例如,日志查询装置中的解析模块410、比对模块420、获取模块430以及查询模块440)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块,从而执行日志查询设备的各种功能应用以及数据处理,即实现上述的日志查询方法。
存储器51可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器51可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器51可进一步包括相对于处理器50远程设置的存储器,这些远程存储器可以通过网络连接至日志查询设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置52可用于接收输入的数字或字符信息,以及产生与日志查询设备的用户设置以及功能控制有关的键信号输入。输出装置53可包括显示屏等显示设备。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种日志查询方法,该方法包括:
响应于日志查询指令,对所述日志查询指令进行解析,得到至少一个参考字段;
将各所述参考字段分别与标准字段集进行比对,所述标准字段集中包括历史查询频率满足高频查询条件的加速字段;
如果确定各所述参考字段中包括至少一个目标标准字段,则获取与所述目标标准字段对应的目标查询索引;
根据所述目标查询索引,查询得到与所述日志查询指令匹配的日志。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的日志查询方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述日志查询装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种日志查询方法,其特征在于,包括:
获取多条历史日志查询指令进行解析,得到多个目标字段;
统计各所述目标字段的查询频率,并获取查询频率大于或等于设定阈值的目标字段确定为加速字段;
将各所述加速字段不重叠的存储于标准字段集中,并分别建立所述标准字段集中各所述加速字段的查询索引;
响应于日志查询指令,对所述日志查询指令进行解析,得到至少一个参考字段;所述参考字段包括下述至少一项:待查询日志的产生时间、大小或者类别;
将各所述参考字段分别与标准字段集进行比对,所述标准字段集中包括历史查询频率满足高频查询条件的加速字段;所述标准字段集中还包括与所述加速字段对应的中间结果字段;其中,所述标准字段集中的各所述加速字段不是固定不变的,各所述加速字段随着用户的历史查询指令的变化而变化;
如果确定各所述参考字段中包括至少一个目标标准字段,则获取与所述目标标准字段对应的目标查询索引;
如果确定各所述参考字段中包括至少一个目标标准字段,则获取与所述目标标准字段对应的目标查询索引,包括:
如果确定所述目标标准字段为加速字段,则获取所述目标标准字段的查询索引,作为所述目标查询索引;
如果确定所述目标标准字段为中间结果字段,则获取与所述目标标准字段对应的加速字段的查询索引,作为所述目标查询索引;
根据所述目标查询索引,查询得到与所述日志查询指令匹配的日志。
2.根据权利要求1所述的方法,其特征在于,在获取查询频率大于设定阈值的目标字段确定为加速字段之后,还包括:
对各所述加速字段所包含的函数进行解析,生成与各待加速字段匹配的中间结果字段。
3.根据权利要求1所述的方法,其特征在于,所述将各所述参考字段分别与标准字段集进行比对,包括:
分别确定各所述参考字段与所述标准字段集中的各标准字段的一致性;
当目标参考字段与目标标准字段相一致时,确定各所述参考字段中包含至少一个目标标准字段。
4.根据权利要求1所述的方法,其特征在于,在将各所述参考字段分别与预设的各标准字段进行比对之后,还包括:
如果确定各所述参考字段中包含目标标准字段的数目为0个,则从索引库中获取与参考字段对应的索引,获取与所述查询指令对应的查询结果。
5.根据权利要求1所述的方法,其特征在于,还包括:
每间隔设定时间重新执行获取多条历史日志查询指令,对各所述历史日志查询指令进行解析的操作,以对所述标准字段集进行更新。
6.一种日志查询装置,其特征在于,包括:
查询索引建立模块,用于
获取多条历史日志查询指令进行解析,得到多个目标字段;
统计各所述目标字段的查询频率,并获取查询频率大于或等于设定阈值的目标字段确定为加速字段;
将各所述加速字段不重叠的存储于标准字段集中,并分别建立所述标准字段集中各所述加速字段的查询索引;
解析模块,用于响应于日志查询指令,对所述日志查询指令进行解析,得到至少一个参考字段;所述参考字段包括下述至少一项:待查询日志的产生时间、大小或者类别;
比对模块,用于将各所述参考字段分别与标准字段集进行比对,所述标准字段集中包括历史查询频率满足高频查询条件的加速字段;所述标准字段集中还包括与所述加速字段对应的中间结果字段;其中,所述标准字段集中的各加速字段不是固定不变的,各加速字段随着用户的历史查询指令的变化而变化;
获取模块,用于如果确定各所述参考字段中包括至少一个目标标准字段,则获取与所述目标标准字段对应的目标查询索引;
获取模块,具体用于如果确定所述目标标准字段为加速字段,则获取所述目标标准字段的查询索引,作为所述目标查询索引;
如果确定所述目标标准字段为中间结果字段,则获取与所述目标标准字段对应的加速字段的查询索引,作为所述目标查询索引;
查询模块,用于根据所述目标查询索引,查询得到与所述日志查询指令匹配的日志。
7.一种日志查询设备,其特征在于,所述日志查询设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的日志查询方法。
8.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5中任一所述的日志查询方法。
CN202110374955.3A 2021-04-08 2021-04-08 一种日志查询方法、装置、设备及存储介质 Active CN112765118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110374955.3A CN112765118B (zh) 2021-04-08 2021-04-08 一种日志查询方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110374955.3A CN112765118B (zh) 2021-04-08 2021-04-08 一种日志查询方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112765118A CN112765118A (zh) 2021-05-07
CN112765118B true CN112765118B (zh) 2021-08-03

Family

ID=75691245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110374955.3A Active CN112765118B (zh) 2021-04-08 2021-04-08 一种日志查询方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112765118B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116610724B (zh) * 2023-04-23 2024-02-09 北京优特捷信息技术有限公司 一种日志数据追踪方法、装置、电子设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436448A (zh) * 2010-09-29 2012-05-02 腾讯科技(深圳)有限公司 搜索方法和系统
US10095731B2 (en) * 2015-06-02 2018-10-09 Vmware, Inc. Dynamically converting search-time fields to ingest-time fields
CN106055621A (zh) * 2016-05-26 2016-10-26 浪潮电子信息产业股份有限公司 一种日志检索方法及装置
CN109800223A (zh) * 2018-12-12 2019-05-24 平安科技(深圳)有限公司 日志处理方法、装置、电子设备及存储介质
CN112364014B (zh) * 2020-10-26 2024-01-02 北京达佳互联信息技术有限公司 数据查询方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN112765118A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN111708860A (zh) 信息提取方法、装置、设备及存储介质
CN107016018B (zh) 数据库索引创建方法及装置
JP2013504118A (ja) クエリのセマンティックパターンに基づく情報検索
CN109299101B (zh) 数据检索方法、装置、服务器和存储介质
CN112364014B (zh) 数据查询方法、装置、服务器及存储介质
CN107832444B (zh) 基于搜索日志的事件发现方法及装置
CN108733790B (zh) 数据排序方法、装置、服务器和存储介质
JP2018501540A (ja) ストップワード識別方法および装置
CN109582155B (zh) 输入联想词的推荐方法、装置、存储介质及电子设备
CN108804550B (zh) 一种查询词拓展方法、装置以及电子设备
CN108664492B (zh) 一种向用户推送内容的方法、装置、电子设备和存储介质
CN112347100A (zh) 数据库索引优化方法、装置、计算机设备和存储介质
CN112765118B (zh) 一种日志查询方法、装置、设备及存储介质
CN109064067B (zh) 基于互联网的金融风险运营主体判定方法及装置
CN110704472A (zh) 数据查询统计方法及装置
CN105302827A (zh) 一种事件的搜索方法和设备
CN114791927A (zh) 一种数据分析方法和装置
CN103092838B (zh) 一种获取英文词的方法及装置
CN110895529B (zh) 结构化查询语言的处理方法及相关装置
CN113010539A (zh) 一种数据处理方法及装置
CN111078671A (zh) 数据表字段的修改方法、装置、设备和介质
CN110633430B (zh) 事件发现方法、装置、设备和计算机可读存储介质
CN114398399A (zh) 管理信息库的检索方法、装置及电子设备
CN103577560B (zh) 一种输入数据库操作指令的方法和装置
CN113742344A (zh) 电力系统数据的索引方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant