CN110737634A - 日志搜索方法、客户端、服务端与计算机可读存储介质 - Google Patents

日志搜索方法、客户端、服务端与计算机可读存储介质 Download PDF

Info

Publication number
CN110737634A
CN110737634A CN201911003906.8A CN201911003906A CN110737634A CN 110737634 A CN110737634 A CN 110737634A CN 201911003906 A CN201911003906 A CN 201911003906A CN 110737634 A CN110737634 A CN 110737634A
Authority
CN
China
Prior art keywords
log
search
information
client
log search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911003906.8A
Other languages
English (en)
Inventor
邬秋元
陈晓丹
李宗波
殷凇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201911003906.8A priority Critical patent/CN110737634A/zh
Publication of CN110737634A publication Critical patent/CN110737634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志搜索方法,包括:若接收到日志搜索服务端下发的搜索请求,则读取所述搜索请求的关键字,根据所述关键字确定是否存在所述搜索请求对应的目标日志信息,所述目标日志信息存储在所述日志搜索客户端的本地业务机器上;若存在,则将所述目标日志信息返回所述日志搜索服务端。本发明还公开了一种日志搜索客户端、服务端和计算机可读存储介质。本发明不需要另外的集群机器资源来存储日志以及搜索,而是在接收到搜索请求时,在本地进行日志搜索,省略与其他集群机器资源进行数据传输的环节,减少带宽压力,能提高日志的搜索效率。

Description

日志搜索方法、客户端、服务端与计算机可读存储介质
技术领域
本发明涉及金融科技(Fintech)技术领域,尤其涉及日志搜索方法、客户端、服务端与计算机可读存储介质。
背景技术
近年来,随着金融科技(Fintech),尤其是互联网金融的不断发展,日志搜索技术被引入银行等金融机构的日常服务中。在银行等金融机构的日常服务过程中,出于管控需求,需要对各种软硬件设备的运行情况进行监管,而监管的依据是运行时,各类事件产生的日志,那么如何准确的找到用户想要的日志,从而进行展示或者分析等处理?
现有技术中,大多搭建ELK平台(分布式日志搜索平台,由Elasticsearch搜索服务器,Logstash数据收集引擎,Kibana可视化平台等工具组成)来实现日志的搜索,其中Elasticsearch基于Lucene搜索引擎(全文搜索引擎),提供了index(索引)存储、集群管理、搜索等功能;Logstash负责日志采集;Kibana则提供日志查询界面,具体由Logstash采集日志,并统一存储在Elasticsearch集群,用户通过Kibana发起日志搜索请求时,在集群中查找对应的日志并在Kibana展示。
然而现有的ELK平台由于是通过Logstash采集并传输到Elasticsearch集群进行统一存储,因此,当日志量较大时,势必会对网络带宽带来较大的压力,并且,由于采用统一的集群管理,搜索时需要从集群中的列表进行搜索,在日志较多的情况下,搜索所需时长较长,导致搜索效率较低。
发明内容
本发明的主要目的在于提出一种日志搜索方法、客户端、服务端与计算机可读存储介质,旨在提高日志的搜索效率。
为实现上述目的,本发明提供一种日志搜索方法,所述日志搜索方法应用于日志搜索客户端,所述日志搜索方法包括如下步骤:
若接收到日志搜索服务端下发的搜索请求,则读取所述搜索请求的关键字,根据所述关键字确定是否存在所述搜索请求对应的目标日志信息,所述目标日志信息存储在所述日志搜索客户端的本地业务机器上;
若存在,则将所述目标日志信息返回所述日志搜索服务端。
优选地,所述若接收到日志搜索服务端下发的搜索请求,则读取所述搜索请求的关键字,根据所述关键字确定是否存在所述搜索请求对应的目标日志信息的步骤之前,所述日志搜索方法还包括:
接收日志搜索服务端发送的日志目录配置信息,并确定是否存在与所述日志目录配置信息一致的配置信息;
若存在,则监测所述日志目录配置信息对应的文件目录位置是否产生日志信息;
若产生,则采集所述日志信息,并将所述日志信息存储在本地业务机器上。
优选地,所述若产生,则采集所述日志信息,并将所述日志信息存储在本地业务机器上的步骤包括:
若产生,则异步采集所述日志信息,并将所述日志信息存储在本地业务机器上;
建立所述日志信息的索引信息,并将所述索引信息保存到磁盘中。
优选地,所述若接收到所述日志搜索服务端下发的搜索请求,则读取所述搜索请求的关键字,根据所述关键字确定是否存在所述搜索请求对应的目标日志信息的步骤包括:
若接收到所述日志搜索服务端下发的搜索请求,则读取所述搜索请求的关键字,并获取磁盘中的索引信息;
基于所述磁盘中的索引信息,确定是否存在所述关键字对应的目标日志信息。
此外,为实现上述目的,本发明还提供一种日志搜索客户端,所述日志搜索客户端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志搜索程序,所述日志搜索程序被所述处理器执行时实现如上所述的日志搜索方法的步骤。
此外,为实现上述目的,本发明还提供一种日志搜索方法,所述日志搜索方法应用于日志搜索服务端,所述日志搜索方法包括如下步骤:
在检测到搜索请求时,根据缓存的日志搜索客户端的连接信息,将所述搜索请求下发至所述日志搜索客户端;
接收所述日志搜索客户端基于所述搜索请求的关键字返回的搜索结果,并将所述搜索结果展示在显示界面。
优选地,所述在检测到搜索请求时,根据缓存的日志搜索客户端的连接信息,将所述搜索请求下发至所述日志搜索客户端的步骤之前,所述日志搜索方法还包括:
若监测到所述日志搜索客户端启动,则获取所述日志搜索客户端的连接信息,并确定所述日志搜索客户端的日志目录配置信息;
缓存所述连接信息,并将所述日志目录配置信息发送至所述日志搜索客户端。
优选地,所述在检测到搜索请求时,根据缓存的日志搜索客户端的连接信息,将所述搜索请求下发至所述日志搜索客户端的步骤包括:
在检测到搜索请求时,确定所述搜索请求的属性信息,并确定所述属性信息对应的日志搜索客户端;
根据缓存的所述日志搜索客户端的连接信息,将所述搜索请求下发至所述日志搜索客户端。
优选地,所述接收所述日志搜索客户端基于所述搜索请求返回的搜索结果,并将所述搜索结果展示在显示界面的步骤包括:
接收所述日志搜索客户端基于所述搜索请求返回的搜索结果,并确定所述搜索结果的展示格式;
基于所述展示格式,将所述搜索结果展示在显示界面。
此外,为实现上述目的,本发明还提供一种日志搜索服务端,所述日志搜索服务端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志搜索程序,所述日志搜索程序被所述处理器执行时实现如上所述的日志搜索方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有日志搜索程序,所述日志搜索程序被处理器执行时实现如上所述的日志搜索方法的步骤。
本发明提出的日志搜索方法,日志搜索客户端通过日志搜索服务端接收日志的搜索请求,并读取所述搜索请求的关键字,根据所述关键字确定是否存在所述搜索请求对应的目标日志信息,所述目标日志信息存储在所述日志搜索客户端的本地业务机器上;若存在,则将所述目标日志信息返回所述日志搜索服务端。本发明将日志存储到本地业务机器,不需要将日志传输至集群机器资源中进行存储,后续只要通过日志搜索服务端接收用户的搜索请求在本地进行日志搜索,也无需通过ELK平台到集群中进行搜查,省略与其他集群机器资源进行传输的环节,减少带宽压力,同时能提高日志的搜索效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本发明日志搜索方法第一实施例的流程示意图;
图3为本发明日志搜索方法第一实施例中,日志搜索设备的组成示意图;
图4为本发明日志搜索方法第一实施例中,日志搜索设备拓扑结构示意图;
图5为本发明日志搜索方法第二实施例的流程示意图;
图6为本发明日志搜索方法第二实施例中,日志搜索服务端的显示界面示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例设备可以是PC机或服务器设备。
如图1所示,该设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的设备结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及日志搜索程序。
其中,操作系统是管理和控制日志搜索设备与软件资源的程序,支持网络通信模块、用户接口模块、日志搜索程序以及其他程序或软件的运行;网络通信模块用于管理和控制网络接口1002;用户接口模块用于管理和控制用户接口1003。
在图1所示的日志搜索设备中,所述日志搜索设备通过处理器1001调用存储器1005中存储的日志搜索程序,并执行下述日志搜索方法各个实施例中的操作。
基于上述硬件结构,提出本发明日志搜索方法实施例。
参照图2,图2为本发明日志搜索方法第一实施例的流程示意图,所述日志搜索方法方法应用于日志搜索客户端,所述日志搜索方法包括:
步骤S10,若接收到日志搜索服务端下发的搜索请求,则读取所述搜索请求的关键字,根据所述关键字确定是否存在所述搜索请求对应的目标日志信息,所述目标日志信息存储在所述日志搜索客户端的本地业务机器上;
步骤S20,若存在,则将所述目标日志信息返回所述日志搜索服务端。
本实施例日志搜索方法运用于理财机构或者银行等金融机构的日志搜索客户端中,日志搜索客户端是日志搜索系统的组成部分,参照图3,日志搜索系统由日志搜索服务端和日志搜索客户端(也称日志客户端)组成,其中,日志搜索服务端具体包括UI界面(用于提供日志搜索界面和搜索结果显示界面,用户可通过UI界面向日志搜索服务端发起日志搜索请求)、日志搜索请求处理器(用于接收搜索请求并进行处理)、日志客户端连接管理器(用于缓存日志客户端的连接信息)、API接口和网络模块(用于与外接设备,如日志客户端,进行连接)、日志结果缓存模块(用于接收日志客户端返回的搜索结果)、业务机器配置管理(用于配置日志目录配置信息)、日志客户端版本管理和DB数据库等;而日志客户端具体包括网络模块(用于与日志搜索服务端连接)、日志请求解析器(用于接收搜索请求并解析)、文件目录监听器(用于根据日志搜索服务端配置的日志目录配置信息,监听对应的文件目录位置是否有目标日志信息产生)、日志采集器(用于采集目标日志信息)、日志索引读/写器(用于写入目标日志息的索引信息/读取目标信息的索引信息)、日志索引管理和index(索引)模块(用于存储索引信息)、业务机器(用于储存采集的日志信息,和根据搜索请求搜索日志信息)等。在本实施例中,业务机器相当于日志客户端的本地存储空间,因此,日志客户端在进行日志搜索时,没有网络带宽的压力,只需按照关键字和索引信息进行本地搜索即可。
本实施例的日志搜索系统包含有一个日志搜索服务端和至少一个日志客户端,参照图4日志搜索系统拓扑结构图,用户通过日志搜索服务端内置的搜索请求处理器发起日志搜索请求,日志搜索服务端与多个日志客户端通过网络模块实现连接交互,从而将搜索请求下发到各个日志客户端;而各个日志客户端在接收到搜索请求时,进行日志搜索,并将对应的搜索结果返回给日志搜索服务端,具体地,日志客户端读取搜索请求的关键字,通过日志索引管理和index模块进行索引搜索,确定日志客户端中是否存在关键字对应的目标日志信息,若存在,则在业务机器上找到目标日志信息,再将目标日志信息作为本次搜索结果返回给日志搜索服务端,使得日志搜索服务端在得到搜索请求对应的搜索结果后,将搜索结果展示在显示界面,以供用户查看。实现了日志客户端所在的业务机器本地存储日志信息等数据,再反馈给日志搜索服务端,相比于现有技术将日志信息等数据统一存储到业务机器对应的云端集群,本实施例日志搜索的效率更高,对网络要求也较低。
本实施例不需要另外的机器资源来存储日志以及搜索,而是在接收到搜索请求时,在本地进行日志搜索,省略与其他机器资源进行数据传输的环节,减少带宽压力,能提高日志的搜索效率。
以下将对各个步骤进行详细说明:
步骤S10,若接收到所述日志搜索服务端下发的搜索请求,则读取所述搜索请求的关键字,根据所述关键字确定是否存在所述搜索请求对应的目标日志信息,所述目标日志信息存储在所述日志搜索客户端的本地业务机器上。
在本实施例中,日志搜索客户端若接收到日志搜索服务端下发的搜索请求,日志客户端则读取搜索请求的关键字,然后,根据关键字,确定是否存在搜索请求对应的目标日志信息,其中,目标日志信息存储在日志客户端的本地业务机器上。
具体的,将关键字与业务机器上存储的日志信息进行比较,从而确定是否存在搜索请求对应的目标日志信息。
进一步地,步骤S10之前,日志搜索方法还包括:
步骤a,接收日志搜索服务端发送的日志目录配置信息,并确定是否存在与所述日志目录配置信息一致的配置信息;
在该步骤中,日志搜索客户端接收日志服务端发送的日志目录配置信息,然后,先确定是否存在与日志目录配置信息一致的配置,也即确定日志搜索客户端中是否存在与日志目录配置信息一致的配置信息,如日志目录配置信息为A,那么需要确定日志搜索客户端也有A的配置信息才行,如果日志搜索客户端的配置信息是B,那么说明日志搜索客户端无法执行有A相关的动作。
步骤b,若存在,则监测所述日志目录配置信息对应的文件目录位置是否产生日志信息;
若存在,日志搜索客户端则启动目录监听器,通过目录监听器监测日志目录配置信息对应的文件目录位置是否产生日志信息,也即监测文件目录位置上是否有新的日志信息产生。
进一步地,若不存在,则结束流程,日志搜索客户端无需启动目录监听器进行监测和采集日志信息,也即日志搜索客户端没有针对日志目录配置信息的动作可执行。
步骤c,若产生,则采集所述日志信息,并将所述日志信息存储在本地业务机器上。
若产生,也即当前文件目录位置出现变动,产生了新的日志信息,日志搜索客户端则通过日志采集器开始采集产生的日志信息,并将采集的日志信息存储在本地业务机器上。
若未产生,日志搜索客户端通过目录监听器继续进行监测。
可以理解的,在日志搜索客户端除了能通过日志采集器,采集日志目录配置信息对应的文件目录位置上新产生的日志信息,也可以采集文件目录位置上已有的日志信息。
进一步地,步骤c包括:
若产生,则异步采集所述日志信息,并将所述日志信息存储在本地业务机器上;
在该步骤中,若文件目录位置上产生了新的日志信息,日志搜索客户端则异步采集日志信息,其中,采用异步采集的方式可提高采集效率,避免某一日志信息采集出错,导致后续的日志信息无法采集的情况,具体的,日志搜索客户端采用多线程采集日志信息,如文件目录位置上新产生A,B,C三个日志信息,那么日志搜索客户端则采用三个线程分别采集日志信息,当采集A日志信息的线程出错时,不会影响到B和C对应线程的采集动作,并且由于是多线程进行,可提高采集效率。
建立所述日志信息的索引信息,并将所述索引信息保存到磁盘中。
在该步骤中,日志搜索客户端在采集到日志信息后,创建日志信息对应的索引信息,并将索引信息保存到磁盘。
具体的,日志搜索客户端根据日志搜索服务端发送过来的日志目录配置信息,确定日志信息对应的子系统ID,并确定日志信息所在文件目录位置所属的DCN(data centernode,数据中心节点)号,以及日志信息的日志内容,然后根据子系统ID、DCN号和日志内容,创建日志信息对应的索引信息,其中,子系统ID指的是日志搜索系统中,业务机器的区域划分,而DCN号则是日志信息所属的数据中心的编号,即日志信息是哪一个数据中心产生的。
进一步地,步骤S10包括:
若接收到所述日志搜索服务端下发的搜索请求,则读取所述搜索请求的关键字,并获取磁盘中的索引信息;
在该步骤中,日志搜索客户端若接收到日志搜索服务端下发的搜索请求,则读取搜索请求中的关键字,并且,获取磁盘中的索引信息,通过上述步骤可知,索引信息是根据日志信息的日志内容,子系统ID以及DCN号生成的,因此,索引信息可直观的展示日志搜索客户端中存储的日志信息的大纲,方便进行检索。
基于所述磁盘中的索引信息,确定是否存在所述关键字对应的目标日志信息。
在该步骤中,日志搜索客户端根据磁盘中的索引信息,确定是否存在关键字对应的目标日志信息,具体的,日志搜索客户端在接收到下发的搜索请求后,日志客户端根据关键字,在磁盘中,对索引信息进行搜索,通过索引信息,日志搜索客户端确定各自采集的日志信息中,是否存在与关键字匹配的日志信息。
也即,先在磁盘中根据索引信息和关键字进行匹配检索,而不是拿关键字与所有的日志信息进行一一比较。
步骤S20,若存在,则将所述目标日志信息返回所述日志搜索服务端。
在本实施例中,若日志搜索客户端确定存在目标日志信息,则将目标日志信息作为搜索结果返回给日志搜索服务端。
若是不存在,则无需回复,或者以空白信息作为搜索结果返回给日志搜索服务端。
进一步地,步骤S20包括:
若存在,则确定所述目标日志信息的附属信息,并将所述目标日志信息和所述附属信息返回所述日志搜索服务端。
在该步骤中,若日志搜索客户端确定存在目标日志信息,则进一步确定目标日志信息的附属信息,其中,目标日志信息的附属信息包括目标日志信息的采集时间,以及目标日志信息的文件位置,文件位置包括目标日志信息在日志搜索客户端的文件目录位置和子系统ID,也即,日志搜索客户端在采集到日志信息后,将日志信息存储在业务机器,业务机器划分有多个子系统,各子系统以ID区分,并且各子系统下还划分多个文件目录,以树状的方式对日志信息进行分类存储,附属信息即为目标日志信息的具体所在位置以及采集时间等。
最后,日志搜索客户端将目标日志信息和对应的附属信息返回日志搜索服务端,以供日志搜索服务端展示,使得用户除了能查找到相应的日志信息,并且知道该日志信息在哪里,什么时候出现等,便于用户通过日志信息分析出问题出在哪里,什么时候产生等。
本实施例中,日志搜索客户端通过日志搜索服务端接收日志的搜索请求,并读取所述搜索请求的关键字,根据所述关键字确定是否存在所述搜索请求对应的目标日志信息,所述目标日志信息存储在所述日志搜索客户端的本地业务机器上;若存在,则将所述目标日志信息返回所述日志搜索服务端。本发明将日志存储到本地业务机器,不需要将日志传输至集群机器资源中进行存储,后续只要通过日志搜索服务端接收用户的搜索请求在本地进行日志搜索,也无需通过ELK平台到集群中进行搜查,省略与集群机器资源进行传输的环节,减少带宽压力,同时能提高日志的搜索效率。
进一步地,基于本发明日志搜索方法第一实施例,提出本发明日志搜索方法第二实施例。
日志搜索方法的第二实施例与日志搜索方法的第一实施例的区别在于,所述日志搜索方法方法应用于日志搜索服务端,参照图5,所述日志搜索方法包括:
步骤S30,在检测到搜索请求时,根据缓存的日志搜索客户端的连接信息,将所述搜索请求下发至所述日志搜索客户端;
步骤S40,接收所述日志搜索客户端基于所述搜索请求的关键字返回的搜索结果,并将所述搜索结果展示在显示界面。
在本实施例中,日志搜索服务端通过网络模块与多个日志搜索客户端连接交互,在检测到搜索请求时,将搜索请求下发到日志搜索客户端,然后,等着接收日志搜索客户端返回的搜索结果即可。在下发的过程中,日志搜索服务端可以选择将搜索请求下发到所有与日志搜索服务端连接的日志搜索客户端上,也可以选择将搜索请求下发到指定的日志搜索客户端上。
以下将对各个步骤进行详细说明:
步骤S30,在检测到搜索请求时,根据缓存的日志搜索客户端的连接信息,将所述搜索请求下发至所述日志搜索客户端。
在本实施例中,日志搜索服务端对外提供UI搜索界面,用户可通过UI搜索界面发起日志搜索请求,具体UI搜索界面提供关键字输入栏,用户可在关键字输入栏键入关键字,从而发起日志搜索请求,日志搜索服务端在检测到搜索请求时,获取预先缓存的各日志搜索客户端的连接信息,其中,连接信息包括日志搜索客户端的IP地址、端口地址和域名地址等中的一种或几种。
然后,基于连接信息,将搜索请求下发至相应的日志搜索客户端,以供日志搜索客户端基于搜索请求的关键字进行日志搜索。
进一步地,步骤S30之前,日志搜索方法还包括:
步骤d,若监测到所述日志搜索客户端启动,则获取所述日志搜索客户端的连接信息,并确定所述日志搜索客户端的日志目录配置信息;
在该步骤中,用户首先在日志搜索服务端上配置需要采集日志信息的业务机器配置信息,以及日志目录配置信息等,其中,业务机器配置信息包括业务机器区域和IP地址等,如将IP地址为10.101.1.11~10.101.1.101的90个日志搜索客户端配置为KA0业务机器区域,将IP地址为10.101.1.102~10.101.1.112的10个日志搜索客户端配置为KA1业务机器区域等。业务机器配置信息与日志目录配置信息之间存在一一对应关系。
在配置完成后,日志搜索服务端若检测到有日志搜索客户端启动,则获取日志搜索客户端的连接信息,其中,连接信息包括IP地址,根据预先配置的业务机器配置信息,确定日志搜索客户端所属的业务机器区域,以及对应的日志目录配置信息,日志目录配置信息包括文件目录位置和子系统ID等,其中,文件目录位置为日志搜索客户端采集日志信息的位置,也即,日志搜索客户端根据文件目录位置,去相应的位置采集日志信息,而子系统ID则是日志搜索客户端将日志信息保存在业务机器上的具体区域,同时也是后续建立索引信息的参数。
步骤e,缓存所述连接信息,并将所述日志目录配置信息发送至所述日志搜索客户端。
在该步骤中,日志搜索服务端将日志搜索客户端的IP信息等连接信息放入缓存中,并将日志目录配置信息发送给日志搜索客户端,以供日志搜索客户端基于日志目录配置信息采集日志信息。
进一步地,步骤30包括:
步骤f,在检测到搜索请求时,确定所述搜索请求的属性信息,并确定所述属性信息对应的日志搜索客户端;
在该步骤中,日志搜索服务端在检测到搜索请求时,确定当前搜索请求的属性信息,再根据属性信息,匹配到相应的日志搜索客户端,也即,在本实施例中,各日志搜索客户端采集并储存的日志信息不一致,带有各自的属性信息,各日志搜索客户端仅采集和储存与自身属性信息匹配的日志信息,如A、C日志搜索客户端采集并储存属性信息为a类的日志信息;B、D日志搜索客户端采集并储存属性信息为b类的日志信息等,日志信息的属性信息由用户事先划分。
用户通过日志搜索服务端发起搜索请求时,需要带有相应的属性信息,如用户想搜索的是b类的日志信息,则在键入关键字时,输入相应的属性信息,日志搜索服务端根据搜索请求的属性信息,确定搜索请求对应的日志搜索客户端。
步骤g,根据缓存的所述日志搜索客户端的连接信息,将所述搜索请求下发至所述日志搜索客户端。
在该步骤中,日志搜索服务端预先缓存有所有的日志搜索客户端的总的连接信息,但仅获取与属性信息匹配的日志搜索客户端的连接信息,以便后续仅将搜索请求下发到该日志搜索客户端,而无需下发给其他的日志搜索客户端,提高日志搜索客户端的利用率,并实现针对性搜索。
如上述所示例子,用户当前的搜索请求的属性信息为b类时,日志搜索服务端仅需要在预先缓存的所有连接信息中,获取B和D日志搜索客户端的连接信息,后续也仅将搜索请求下发到B和D这两个日志搜索客户端中。
步骤S40,接收所述日志搜索客户端基于所述搜索请求的关键字返回的搜索结果,并将所述搜索结果展示在显示界面。
在本实施例中,日志搜索服务端接收日志搜索客户端基于搜索请求的关键字返回的搜索结果,然后,将搜索结果展示在显示界面,也即UI界面,供用户进行查看以及分析。
进一步地,步骤S40包括:
步骤h,接收所述日志搜索客户端基于所述搜索请求返回的搜索结果,并确定所述搜索结果的展示格式;
在该步骤中,日志搜索服务端接收日志搜索客户端返回的搜索结果,并确定搜索结果的展示格式,其中,展示格式包括按采集时间进行排序展示,按所属IP地址进行展示,按所属业务机器区域进行展示等。展示格式可由用户事先进行设置,或者实时下达等。
步骤i,基于所述展示格式,将所述搜索结果展示在显示界面。
在该步骤中,按照展示格式,日志搜索服务端将第二日志信息展示在显示界面上。
如当用户键入的关键字为18500000020130205562066332245时,日志搜索服务端将搜索请求下发到各个日志搜索客户端,各日志搜索客户端依据关键字以及自身创建的索引信息进行搜索,并将搜索结果返回,如图6所示,有多个日志搜索客户端根据搜索请求返回了搜索结果。当前日志搜索服务端显示界面展示的是IP地址为10.101.1.11的日志搜索客户端返回的日志信息,该日志搜索客户端所属的业务机器区域为KA0,并且,将该日志搜索客户端各子系统搜索到的日志内容,按照采集时间的先后顺序进行排序,同时,展示切确的采集时间和日志信息的文件目录位置等。
需要说明的是,日志搜索服务端的UI显示界面还提供多窗口切换功能,当日志搜索客户端检测到切换显示指令时,如用户点击IP地址为10.101.1.101的窗口,日志搜索服务端则显示IP地址为10.101.1.101的日志搜索客户端返回的搜索结果。并且,本实施例的UI显示界面还提供高亮关键字功能,即将日志信息中与关键字匹配的日志内容高亮显示等。
本实施例日志搜索服务端在检测到搜索请求时,根据缓存的日志搜索客户端的连接信息,将所述搜索请求下发至所述日志搜索客户端;接收所述日志搜索客户端基于所述搜索请求的关键字返回的搜索结果,并将所述搜索结果展示在显示界面。本发明将搜索请求下发到各日志搜索客户端,由日志搜索客户端各自进行搜索,提高日志的搜索效率。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有日志搜索程序,所述日志搜索程序被处理器执行时实现如上所述的日志搜索方法的步骤。
其中,在所述处理器上运行的日志搜索程序被执行时所实现的方法可参照本发明日志搜索方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种日志搜索方法,其特征在于,所述日志搜索方法应用于日志搜索客户端,所述日志搜索方法包括如下步骤:
若接收到日志搜索服务端下发的搜索请求,则读取所述搜索请求的关键字,根据所述关键字确定是否存在所述搜索请求对应的目标日志信息,所述目标日志信息存储在所述日志搜索客户端的本地业务机器上;
若存在,则将所述目标日志信息返回所述日志搜索服务端。
2.如权利要求1所述的日志搜索方法,其特征在于,所述若接收到日志搜索服务端下发的搜索请求,则读取所述搜索请求的关键字,根据所述关键字确定是否存在所述搜索请求对应的目标日志信息的步骤之前,所述日志搜索方法还包括:
接收日志搜索服务端发送的日志目录配置信息,并确定是否存在与所述日志目录配置信息一致的配置信息;
若存在,则监测所述日志目录配置信息对应的文件目录位置是否产生日志信息;
若产生,则采集所述日志信息,并将所述日志信息存储在本地业务机器上。
3.如权利要求2所述的日志搜索方法,其特征在于,所述若产生,则采集所述日志信息,并将所述日志信息存储在本地业务机器上的步骤包括:
若产生,则异步采集所述日志信息,并将所述日志信息存储在本地业务机器上;
建立所述日志信息的索引信息,并将所述索引信息保存到磁盘中。
4.如权利要求3所述的日志搜索方法,其特征在于,所述若接收到所述日志搜索服务端下发的搜索请求,则读取所述搜索请求的关键字,根据所述关键字确定是否存在所述搜索请求对应的目标日志信息的步骤包括:
若接收到所述日志搜索服务端下发的搜索请求,则读取所述搜索请求的关键字,并获取磁盘中的索引信息;
基于所述磁盘中的索引信息,确定是否存在所述关键字对应的目标日志信息。
5.一种日志搜索方法,其特征在于,所述日志搜索方法应用于日志搜索服务端,所述日志搜索方法包括如下步骤:
在检测到搜索请求时,根据缓存的日志搜索客户端的连接信息,将所述搜索请求下发至所述日志搜索客户端;
接收所述日志搜索客户端基于所述搜索请求的关键字返回的搜索结果,并将所述搜索结果展示在显示界面。
6.如权利要求5所述的日志搜索方法,其特征在于,所述在检测到搜索请求时,根据缓存的日志搜索客户端的连接信息,将所述搜索请求下发至所述日志搜索客户端的步骤之前,所述日志搜索方法还包括:
若监测到所述日志搜索客户端启动,则获取所述日志搜索客户端的连接信息,并确定所述日志搜索客户端的日志目录配置信息;
缓存所述连接信息,并将所述日志目录配置信息发送至所述日志搜索客户端。
7.如权利要求5所述的日志搜索方法,其特征在于,所述在检测到搜索请求时,根据缓存的日志搜索客户端的连接信息,将所述搜索请求下发至所述日志搜索客户端的步骤包括:
在检测到搜索请求时,确定所述搜索请求的属性信息,并确定所述属性信息对应的日志搜索客户端;
根据缓存的所述日志搜索客户端的连接信息,将所述搜索请求下发至所述日志搜索客户端。
8.如权利要求5-7任一项所述的日志搜索方法,其特征在于,所述接收所述日志搜索客户端基于所述搜索请求返回的搜索结果,并将所述搜索结果展示在显示界面的步骤包括:
接收所述日志搜索客户端基于所述搜索请求返回的搜索结果,并确定所述搜索结果的展示格式;
基于所述展示格式,将所述搜索结果展示在显示界面。
9.一种日志搜索客户端,其特征在于,所述日志搜索客户端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志搜索程序,所述日志搜索程序被所述处理器执行时实现如权利要求1至4中任一项所述的日志搜索方法的步骤。
10.一种日志搜索服务端,其特征在于,所述日志搜索服务端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志搜索程序,所述日志搜索程序被所述处理器执行时实现如权利要求5至8中任一项所述的日志搜索方法的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有日志搜索程序,所述日志搜索程序被处理器执行时实现如权利要求1至4或者5至8中任一项所述的日志搜索方法的步骤。
CN201911003906.8A 2019-10-22 2019-10-22 日志搜索方法、客户端、服务端与计算机可读存储介质 Pending CN110737634A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911003906.8A CN110737634A (zh) 2019-10-22 2019-10-22 日志搜索方法、客户端、服务端与计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911003906.8A CN110737634A (zh) 2019-10-22 2019-10-22 日志搜索方法、客户端、服务端与计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110737634A true CN110737634A (zh) 2020-01-31

Family

ID=69270742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911003906.8A Pending CN110737634A (zh) 2019-10-22 2019-10-22 日志搜索方法、客户端、服务端与计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110737634A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858273A (zh) * 2020-07-02 2020-10-30 五八有限公司 一种处理日志的展示方法及装置
CN111897834A (zh) * 2020-08-12 2020-11-06 网易(杭州)网络有限公司 日志搜索方法、装置及服务器
CN112732647A (zh) * 2021-03-30 2021-04-30 北京优特捷信息技术有限公司 一种日志搜索方法、装置、设备及存储介质
CN112948328A (zh) * 2021-01-28 2021-06-11 长沙市到家悠享网络科技有限公司 一种日志数据的检索方法及装置、设备、介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858273A (zh) * 2020-07-02 2020-10-30 五八有限公司 一种处理日志的展示方法及装置
CN111897834A (zh) * 2020-08-12 2020-11-06 网易(杭州)网络有限公司 日志搜索方法、装置及服务器
CN112948328A (zh) * 2021-01-28 2021-06-11 长沙市到家悠享网络科技有限公司 一种日志数据的检索方法及装置、设备、介质
CN112732647A (zh) * 2021-03-30 2021-04-30 北京优特捷信息技术有限公司 一种日志搜索方法、装置、设备及存储介质
CN112732647B (zh) * 2021-03-30 2021-06-25 北京优特捷信息技术有限公司 一种日志搜索方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US11768811B1 (en) Managing user data in a multitenant deployment
US20220004557A1 (en) Dynamic data processor for streaming and batch queries
CN110737634A (zh) 日志搜索方法、客户端、服务端与计算机可读存储介质
US20220365932A1 (en) Pipelined search query, leveraging reference values of an inverted index to access a set of event data and performing further queries on associated raw data
CN111522922B (zh) 日志信息查询方法、装置、存储介质及计算机设备
US10061807B2 (en) Collection query driven generation of inverted index for raw machine data
US10929560B2 (en) Identifying personally identifiable information in machine-generated data
US10839038B2 (en) Generating configuration information for obtaining web resources
US11226964B1 (en) Automated generation of metrics from log data
US20190098106A1 (en) Proxying hypertext transfer protocol (http) requests for microservices
US11062016B2 (en) Systems and methods for verifying user credentials for search
US11379482B2 (en) Methods, systems, and computer readable mediums for performing an aggregated free-form query
US11436116B1 (en) Recovering pre-indexed data from a shared storage system following a failed indexer
US11841834B2 (en) Method and apparatus for efficient synchronization of search heads in a cluster using digests
US20210149773A1 (en) Qualification parameters for captain selection in a search head cluster
US11663172B2 (en) Cascading payload replication
US11681707B1 (en) Analytics query response transmission
WO2021057383A1 (zh) 日志查询方法、装置、设备及计算机可读存储介质
CN111310007B (zh) 网页接口查询方法、装置、电子设备及存储介质
CN107491463B (zh) 数据查询的优化方法和系统
CN114398520A (zh) 数据检索方法、系统、装置、电子设备及存储介质
CN112187509A (zh) 多架构云平台执行日志管理方法、系统、终端及存储介质
CN111698109A (zh) 监控日志的方法和装置
US20210173729A1 (en) Systems and methods of application program interface (api) parameter monitoring
CN111368039A (zh) 一种数据管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination