CN109885548A - 日志查询方法、装置、存储介质和电子装置 - Google Patents

日志查询方法、装置、存储介质和电子装置 Download PDF

Info

Publication number
CN109885548A
CN109885548A CN201910133173.3A CN201910133173A CN109885548A CN 109885548 A CN109885548 A CN 109885548A CN 201910133173 A CN201910133173 A CN 201910133173A CN 109885548 A CN109885548 A CN 109885548A
Authority
CN
China
Prior art keywords
constraint condition
inquiry
journal entries
script file
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910133173.3A
Other languages
English (en)
Inventor
刘京洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201910133173.3A priority Critical patent/CN109885548A/zh
Publication of CN109885548A publication Critical patent/CN109885548A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志查询方法、装置、存储介质和电子装置。其中,该方法包括:确定查询约束条件,其中,查询约束条件采用文本处理工具AWK语言编写而成;将查询约束条件并行发送到多个服务器中,以指示多个服务器查询与查询约束条件匹配的日志条目;接收多个服务器返回的多个日志条目。本发明解决了相关技术中日志查询开销大的技术问题。

Description

日志查询方法、装置、存储介质和电子装置
技术领域
本发明涉及计算机领域,具体而言,涉及一种日志查询方法、装置、存储介质和电子装置。
背景技术
日志在代理集群中是一个非常大的问题。因为是高性能的代理,所以能承载的业务量很大,而所有业务的每一个请求都会有一个日志条目被记录。这些记录通常是记录在本地,但是在运维的时候需要整个集群的日志查询分析。如此大多数人的做法是将日志全量的收集到远端,然后使用远端的大数据处理引擎进行处理。假设有一个查询一段时间内来源于某个互联网协议(Internet Protocol,简称为IP)的所有请求的数目的需求,通常的做法是直接实时的处理所有数据,在数据范围内进行检索。这对于复杂均衡集群上传输块(Transport Block,简称为TB)的数据量来说是一个非常高开销的事情。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种日志查询方法、装置、存储介质和电子装置,以至少解决相关技术中日志查询开销大的技术问题。
根据本发明实施例的一个方面,提供了一种日志查询方法,包括:确定查询约束条件,其中,查询约束条件采用文本处理工具AWK语言编写而成;将查询约束条件并行发送到多个服务器中,以指示多个服务器查询与查询约束条件匹配的日志条目;接收多个服务器返回的多个日志条目。
根据本发明实施例的另一方面,还提供了一种日志查询方法,包括:接收客户端发送的查询约束条件,其中,查询约束条件采用文本处理工具AWK语言编写而成;查询与查询约束条件匹配的日志条目;将日志条目发送到客户端。
根据本发明实施例的另一方面,还提供了一种日志查询装置,包括:第一确定模块,用于确定查询约束条件,其中,查询约束条件采用文本处理工具AWK语言编写而成;第一发送模块,用于将查询约束条件并行发送到多个服务器中,以指示多个服务器查询与查询约束条件匹配的日志条目;第一接收模块,用于接收多个服务器返回的多个日志条目。
根据本发明实施例的另一方面,还提供了一种日志查询装置,包括:第二接收模块,用于接收客户端发送的查询约束条件,其中,查询约束条件采用文本处理工具AWK语言编写而成;查询模块,用于查询与查询约束条件匹配的日志条目;第二发送模块,用于将日志条目发送到客户端。
在本发明实施例中,客户端在对日志进行查询之前会先确定查询约束条件,查询约束条件采用文本处理工具AWK语言编写而成;并将查询约束条件并行发送到多个服务器中,以指示多个服务器并行查询与查询约束条件匹配的日志条目;接收多个服务器返回的多个日志条目。即采用多个服务器分布式查询的方式查询日志条目。达到了快速查询日志的目的,从而实现了节省查询日志的开销技术效果,进而解决了相关技术中日志查询开销大的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种日志查询方法的移动终端的硬件结构框图;
图2是根据本发明实施例提供的日志查询方法的流程示意图(一);
图3是根据本发明实施例提供的日志查询方法的流程示意图(二);
图4是根据本发明实施例提供的下发查询条件的示意图;
图5是根据本发明实施例提供的日志查询装置的结构示意图(一);
图6是根据本发明实施例提供的日志查询装置的结构示意图(二)。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种日志查询方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种日志查询方法的移动终端的硬件结构框图。如图1所示,移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的日志查询方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
图2是根据本发明实施例提供的日志查询方法的流程示意图(一),如图2所示,该方法包括如下步骤:
步骤S202,确定查询约束条件,其中,查询约束条件采用文本处理工具AWK语言编写而成;
步骤S204,将查询约束条件并行发送到多个服务器中,以指示多个服务器查询与查询约束条件匹配的日志条目;
步骤S206,接收多个服务器返回的多个日志条目。
通过上述步骤,客户端在对日志进行查询之前会先确定查询约束条件,查询约束条件采用文本处理工具AWK语言编写而成;并将查询约束条件并行发送到多个服务器中,以指示多个服务器并行查询与查询约束条件匹配的日志条目;接收多个服务器返回的多个日志条目。即采用多个服务器分布式查询的方式查询日志条目。达到了快速查询日志的目的,从而实现了节省查询日志的开销技术效果,进而解决了相关技术中日志查询开销大的技术问题。
需要说明的是,上述中的多个服务器是分布式的,即可以同时查询日志条目,上述执行主体是客户端,利用计算机。
可选地,通过以下方式确定查询约束条件,接收服务器发送的脚本文件,其中,脚本文件是利用AWK语言编写并封装的;在脚本文件中输入查询参数,确定查询约束条件。在服务器侧利用其它文本编辑器利用AWK语言编写脚本文件,将脚本文件拷贝到AWK软件添加查询参数,并运行脚本文件。查询约束条件采用awk软件本身就具备的强大的脚本能力。Awk几乎能够处理筛选任何满足约束条件的场景,还能得到指定的输出格式。在每一台机器上都有默认安装,非常匹配这种分布式查询的需求。查询约束条件包括限定时间的范围,限定某一个域的范围,查询约束条件可以根据用户的查询需要,添加不同的查询参数。查询参数包括不同的时间、不同的地址等。查询的种类非常多,可以是所有数据域的任意组合。是什么数据域,怎么组合,完全取决于客户的数据定义。
在一个可选的实施例中,客户端设置有对应的前台界面显示多个日志条目中每个日志条目对应的日志内容。显示的方式包括多种方式,并不限于前台界面的显示。
显示多个日志条目中每个日志条目对应的日志内容之后,客户端会将多个日志条目中每个日志条目对应的日志内容分别发送到对应的多个服务器中,指示多个服务器存储日志内容。在下次查询同样的内容时,直接复用存储的日志内容,即是数据层面的复用,节省了资源。
可选地,客户端在接收到服务器发送的脚本文件之后,还会对脚本文件进行判断;在脚本文件满足预设约束条件的情况下,在脚本文件中录入查询参数,以确定查询约束条件;在脚本文件不满足预设约束条件的情况下,删除脚本文件。预设约束条件包括以下至少之一:脚本文件是利用AWK语言编写并封装的;脚本文件对应于查询约束条件。对脚本文件的判断,增加了查询约束条件的准确性,并且脚本文件是通用的文件,可以适用于多种查询约束条件。
图3是根据本发明实施例提供的日志查询方法的流程示意图(二),如图3所示,该方法包括如下步骤:
步骤S302,接收客户端发送的查询约束条件,其中,查询约束条件采用文本处理工具AWK语言编写而成;
步骤S304,查询与查询约束条件匹配的日志条目;
步骤S306,将日志条目发送到客户端。
通过上述步骤,服务器接收客户端发送的查询约束条件,其中,查询约束条件采用文本处理工具AWK语言编写而成,查询与查询约束条件匹配的日志条目,将日志条目发送到客户端,其中服务器包括多个分布式排列的服务器。即采用多个服务器分布式查询的方式查询日志条目。达到了快速查询日志的目的,从而实现了节省查询日志的开销技术效果,进而解决了相关技术中日志查询开销大的技术问题。
需要说明的是,上述执行主体是服务器。
可选地,通过以下方式确定查询约束条件:利用AWK语言编写并封装用于确定查询约束条件的脚本文件;向客户端发送脚本文件,以指示客户端在脚本文件中输入查询参数,确定查询约束条件。在本实施例中,可以利用文本编辑器撰写脚本文件。脚本文件的撰写及封装必须满足AWK语言的格式要求。
在向客户端发送日志条目之后,还会接收客户端发送的与日志条目对应的日志内容;存储日志内容。在下次查询同样的内容时,直接复用存储的日志内容,即是数据层面的复用,节省了资源。
下面结合一个优选实施例对本发明进行详细说明:
日志在Nginx或者Haproxy等代理集群中是一个非常大的问题。因为是高性能的代理,所以能承载的业务量很大,而所有业务的每一个请求都会有一个日志条目被记录。这些记录通常是记录在本地,但是在运维的时候需要整个集群的日志查询分析。如此大多数人的做法是将日志全量的收集到远端,然后使用远端的大数据处理引擎进行处理。假设有一个查询一段时间内来源于某个IP的所有请求的数目的需求,通常的做法是直接实时的处理所有数据,在数据范围内进行检索。这对于复杂均衡集群上太字节TB的数据量来说是一个非常高开销的事情。
相关技术是利用ELK统一收集日志,然后在查询满足条件的数据的时候使用ELK提供的界面输入约束条件。ELK会实时的去检索庞大的集群数据量,找到满足查询条件的数据。这在数据量巨大的时候,ELK经常不能满足需求,查询响应时间过长,计算资源开销过大等都是问题。最大的问题是网络流量的损耗,可以以集群的模式进行数据处理的代价是提前从所有的服务器上将日志收集到集群。但是这个每天都过TB级别的日志数据量的传输是一个对网络开销要求非常大的需求,带宽也伴随着CPU的损耗。资源开销非常的重量级。
本实施例提供一种全分布式的查询架构和查询约束条件的表达引擎。如图4所示,客户端将查询约束条件下发到各个服务器中,各个服务器是分布式架构,分布式的架构使得对大数据的处理天然的并行化到每一台服务器,并且只返回满足匹配结果的条目。对于中央处理器(Central Processing Unit,简称为CPU)和网络流量都是一个巨大的节省。查询约束条件采用awk软件本身就具备的强大的脚本能力。Awk几乎能够处理筛选任何满足约束条件的场景,还能得到指定的输出格式。在每一台机器上都有默认安装,非常匹配这种分布式查询的需求。
本实施例包括Client/Server(简称为CS)模式的服务端软件和客户端软件,其中,CS模式可以用任何的编程语言使用任何的网络框架实现,可选地,本实施的系统中是使用的C++语言的Boost::asio库实现的。
查询约束条件采用awk语言编程而成,awk软件提供完整的图灵完备的编程语言,可以用于表达任何想要的查询约束条件,是完全满足任何查询需求的。Awk提供的输出方式可以输出任何满足条件的条目的任何形式,awk内部直接使用编程的方式就可以提供输出自定义,甚至可以经过进一步的处理。
服务器端采用编辑器撰写awk脚本,封装出常用的查询脚本,在脚本中传入不同的查询参数即可。采用awk方案,可以在不同的查询的约束条件和输出方式上进行用例的复用(这是ELK网页的方式所做不到的),还可以在不同查询次数的数据的层面进行复用(这也是ELK做不到的)。数据层面的复用是指第一次查询得到的所有服务器上满足条件的数据集是存储在Client端的,这个数据集是不进行删除的。因为使用client端的是用户自己。每一个用户都有查询的连贯性,他上一次的结果下一次很可能还是会用到。所以从另外一个方式,本实施例可以对不同用户的数据层面的效率进行优化。
综上,本实施例所要解决的问题是各个维度的资源节省的问题。大部分的资源问题都在数据量比较大的时候发生。一个庞大的ELK集群和一个单机的ELK服务器是有本质的人力维护开销区别的。数据量降下来的条件满足查询需求,本身就是对服务器资源和人力资源开销的巨大节省。本发明的查询是全分布式的,复用服务器的分布式特性,不用单独组装集群。分布式的特点能让查询并行化,设计好查询条件,同时进入所有的服务器查询满足条件的日志条目,然后将满足条目的日志条目上传。如此能做到最小的数据传输需求和快速的检索能力。负载均衡团队不再需要为了满足业务的查障需求而收集巨量的日志到远端。负载均衡集群的业务查障需求,直接使用分布式日志查询装置就地解决。对CPU和网络流量带来了巨大的提高,并且对于大量数据的存储管理的需求完全消失。是一个非常有益的巨大进步。
本发明实施例还提供了一种日志查询装置,图5是根据本发明实施例提供的日志查询装置的结构示意图(一),如图5所示,该装置包括:
第一确定模块52,用于确定查询约束条件,其中,查询约束条件采用文本处理工具AWK语言编写而成;
第一发送模块54,用于将查询约束条件并行发送到多个服务器中,以指示多个服务器查询与查询约束条件匹配的日志条目;
第一接收模块56,用于接收多个服务器返回的多个日志条目。
通过上述装置,客户端在对日志进行查询之前会先确定查询约束条件,查询约束条件采用文本处理工具AWK语言编写而成;并将查询约束条件并行发送到多个服务器中,以指示多个服务器并行查询与查询约束条件匹配的日志条目;接收多个服务器返回的多个日志条目。即采用多个服务器分布式查询的方式查询日志条目。达到了快速查询日志的目的,从而实现了节省查询日志的开销技术效果,进而解决了相关技术中日志查询开销大的技术问题。
需要说明的是,上述中的多个服务器是分布式的,即可以同时查询日志条目,上述执行主体是客户端,利用计算机。
可选地,通过以下方式确定查询约束条件,接收服务器发送的脚本文件,其中,脚本文件是利用AWK语言编写并封装的;在脚本文件中输入查询参数,确定查询约束条件。在服务器侧利用其它文本编辑器利用AWK语言编写脚本文件,将脚本文件拷贝到AWK软件添加查询参数,并运行脚本文件。查询约束条件采用awk软件本身就具备的强大的脚本能力。Awk几乎能够处理筛选任何满足约束条件的场景,还能得到指定的输出格式。在每一台机器上都有默认安装,非常匹配这种分布式查询的需求。查询约束条件包括限定时间的范围,限定某一个域的范围,查询约束条件可以根据用户的查询需要,添加不同的查询参数。查询参数包括不同的时间、不同的地址等。查询的种类非常多,可以是所有数据域的任意组合。是什么数据域,怎么组合,完全取决于客户的数据定义。
在一个可选的实施例中,客户端设置有对应的前台界面显示多个日志条目中每个日志条目对应的日志内容。显示的方式包括多种方式,并不限于前台界面的显示。
显示多个日志条目中每个日志条目对应的日志内容之后,客户端会将多个日志条目中每个日志条目对应的日志内容分别发送到对应的多个服务器中,指示多个服务器存储日志内容。在下次查询同样的内容时,直接复用存储的日志内容,即是数据层面的复用,节省了资源。
可选地,客户端在接收到服务器发送的脚本文件之后,还会对脚本文件进行判断;在脚本文件满足预设约束条件的情况下,在脚本文件中录入查询参数,以确定查询约束条件;在脚本文件不满足预设约束条件的情况下,删除脚本文件。预设约束条件包括以下至少之一:脚本文件是利用AWK语言编写并封装的;脚本文件对应于查询约束条件。对脚本文件的判断,增加了查询约束条件的准确性,并且脚本文件是通用的文件,可以适用于多种查询约束条件。
本发明实施例还提供了一种日志查询装置,图6是根据本发明实施例提供的日志查询装置的结构示意图(二),如图6所示,该装置包括:
第二接收模块62,用于接收客户端发送的查询约束条件,其中,所述查询约束条件采用文本处理工具AWK语言编写而成;
查询模块64,用于查询与所述查询约束条件匹配的日志条目;
第二发送模块66,用于将所述日志条目发送到所述客户端。
通过上述步骤,服务器接收客户端发送的查询约束条件,其中,查询约束条件采用文本处理工具AWK语言编写而成,查询与查询约束条件匹配的日志条目,将日志条目发送到客户端,其中服务器包括多个分布式排列的服务器。即采用多个服务器分布式查询的方式查询日志条目。达到了快速查询日志的目的,从而实现了节省查询日志的开销技术效果,进而解决了相关技术中日志查询开销大的技术问题。
需要说明的是,上述执行主体是服务器。
可选地,通过以下方式确定查询约束条件:利用AWK语言编写并封装用于确定查询约束条件的脚本文件;向客户端发送脚本文件,以指示客户端在脚本文件中输入查询参数,确定查询约束条件。在本实施例中,可以利用文本编辑器撰写脚本文件。脚本文件的撰写及封装必须满足AWK语言的格式要求。
在向客户端发送日志条目之后,还会接收客户端发送的与日志条目对应的日志内容;存储日志内容。在下次查询同样的内容时,直接复用存储的日志内容,即是数据层面的复用,节省了资源。
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,确定查询约束条件,其中,查询约束条件采用文本处理工具AWK语言编写而成;
S2,将查询约束条件并行发送到多个服务器中,以指示多个服务器查询与查询约束条件匹配的日志条目;
S3,接收多个服务器返回的多个日志条目。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,确定查询约束条件,其中,查询约束条件采用文本处理工具AWK语言编写而成;
S2,将查询约束条件并行发送到多个服务器中,以指示多个服务器查询与查询约束条件匹配的日志条目;
S3,接收多个服务器返回的多个日志条目。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种日志查询方法,其特征在于,包括:
确定查询约束条件,其中,所述查询约束条件采用文本处理工具AWK语言编写而成;
将所述查询约束条件并行发送到多个服务器中,以指示所述多个服务器查询与所述查询约束条件匹配的日志条目;
接收所述多个服务器返回的多个日志条目。
2.根据权利要求1所述的方法,其特征在于,确定所述查询约束条件包括:
接收服务器发送的脚本文件,其中,所述脚本文件是利用所述AWK语言编写并封装的;
在所述脚本文件中输入查询参数,确定所述查询约束条件。
3.根据权利要求1所述的方法,其特征在于,接收所述多个服务器返回的所述多个日志条目之后,所述方法还包括:
显示所述多个日志条目中每个日志条目对应的日志内容。
4.根据权利要求3所述的方法,其特征在于,显示所述多个日志条目中每个日志条目对应的日志内容之后,所述方法还包括:
将所述多个日志条目中每个日志条目对应的日志内容分别发送到对应的所述多个服务器中,指示所述多个服务器存储所述日志内容。
5.根据权利要求2所述的方法,其特征在于,接收所述服务器发送的脚本文件之后,所述方法还包括:
对所述脚本文件进行判断;
在所述脚本文件满足预设约束条件的情况下,在所述脚本文件中录入查询参数,以确定所述查询约束条件;
在所述脚本文件不满足预设约束条件的情况下,删除所述脚本文件。
6.根据权利要求5所述的方法,其特征在于,所述预设约束条件包括以下至少之一:
所述脚本文件是利用所述AWK语言编写并封装的;
所述脚本文件对应于所述查询约束条件。
7.一种日志查询方法,其特征在于,包括:
接收客户端发送的查询约束条件,其中,所述查询约束条件采用文本处理工具AWK语言编写而成;
查询与所述查询约束条件匹配的日志条目;
将所述日志条目发送到所述客户端。
8.根据权利要求7所述的方法,其特征在于,确定所述查询约束条件包括:
利用所述AWK语言编写并封装用于确定所述查询约束条件的脚本文件;
向所述客户端发送所述脚本文件,以指示所述客户端在所述脚本文件中输入查询参数,确定所述查询约束条件。
9.根据权利要求7所述的方法,其特征在于,将所述日志条目发送到所述客户端之后,所述方法还包括:
接收所述客户端发送的与所述日志条目对应的日志内容;
存储所述日志内容。
10.一种日志查询装置,其特征在于,包括:
第一确定模块,用于确定查询约束条件,其中,所述查询约束条件采用文本处理工具AWK语言编写而成;
第一发送模块,用于将所述查询约束条件并行发送到多个服务器中,以指示所述多个服务器查询与所述查询约束条件匹配的日志条目;
第一接收模块,用于接收所述多个服务器返回的多个日志条目。
11.一种日志查询装置,其特征在于,包括:
第二接收模块,用于接收客户端发送的查询约束条件,其中,所述查询约束条件采用文本处理工具AWK语言编写而成;
查询模块,用于查询与所述查询约束条件匹配的日志条目;
第二发送模块,用于将所述日志条目发送到所述客户端。
12.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述的方法。
13.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至4任一项中所述的方法。
CN201910133173.3A 2019-02-22 2019-02-22 日志查询方法、装置、存储介质和电子装置 Pending CN109885548A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910133173.3A CN109885548A (zh) 2019-02-22 2019-02-22 日志查询方法、装置、存储介质和电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910133173.3A CN109885548A (zh) 2019-02-22 2019-02-22 日志查询方法、装置、存储介质和电子装置

Publications (1)

Publication Number Publication Date
CN109885548A true CN109885548A (zh) 2019-06-14

Family

ID=66928981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910133173.3A Pending CN109885548A (zh) 2019-02-22 2019-02-22 日志查询方法、装置、存储介质和电子装置

Country Status (1)

Country Link
CN (1) CN109885548A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781143A (zh) * 2019-11-05 2020-02-11 北纬通信科技南京有限责任公司 一种服务器日志查询提取的方法及装置
CN111124815A (zh) * 2019-12-05 2020-05-08 京东数字科技控股有限公司 一种日志查看方法、装置、设备及存储介质
CN111259044A (zh) * 2020-01-15 2020-06-09 网易(杭州)网络有限公司 一种数据查询方法、装置、设备及介质
CN111797618A (zh) * 2020-06-10 2020-10-20 云南电网有限责任公司 一种基于语法树解析的日志分析方法及装置
CN113190410A (zh) * 2021-05-10 2021-07-30 芯讯通无线科技(上海)有限公司 日志收集方法、系统、客户端和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398856A (zh) * 2008-11-12 2009-04-01 北京搜狗科技发展有限公司 获取导航查询词的方法、装置及展现搜索结果的方法
CN102279891A (zh) * 2011-09-02 2011-12-14 深圳中兴网信科技有限公司 一种并行搜索it日志的检索方法、装置及系统
CN103064933A (zh) * 2012-12-24 2013-04-24 华为技术有限公司 数据查询方法及系统
CN103853743A (zh) * 2012-11-29 2014-06-11 百度在线网络技术(北京)有限公司 一种分布式系统及其日志查询方法
CN104252536A (zh) * 2014-09-16 2014-12-31 福建新大陆软件工程有限公司 一种基于hbase的上网日志数据查询方法及装置
CN107483567A (zh) * 2017-08-03 2017-12-15 广州华多网络科技有限公司 一种分布式日志搜索的方法及系统
CN108108466A (zh) * 2017-12-29 2018-06-01 咪咕文化科技有限公司 一种分布式系统日志查询分析方法及装置
US20180232425A1 (en) * 2017-02-10 2018-08-16 Oracle International Corporation Systems and methods for distributed log data querying using virtual fields defined in query strings

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398856A (zh) * 2008-11-12 2009-04-01 北京搜狗科技发展有限公司 获取导航查询词的方法、装置及展现搜索结果的方法
CN102279891A (zh) * 2011-09-02 2011-12-14 深圳中兴网信科技有限公司 一种并行搜索it日志的检索方法、装置及系统
CN103853743A (zh) * 2012-11-29 2014-06-11 百度在线网络技术(北京)有限公司 一种分布式系统及其日志查询方法
CN103064933A (zh) * 2012-12-24 2013-04-24 华为技术有限公司 数据查询方法及系统
CN104252536A (zh) * 2014-09-16 2014-12-31 福建新大陆软件工程有限公司 一种基于hbase的上网日志数据查询方法及装置
US20180232425A1 (en) * 2017-02-10 2018-08-16 Oracle International Corporation Systems and methods for distributed log data querying using virtual fields defined in query strings
CN107483567A (zh) * 2017-08-03 2017-12-15 广州华多网络科技有限公司 一种分布式日志搜索的方法及系统
CN108108466A (zh) * 2017-12-29 2018-06-01 咪咕文化科技有限公司 一种分布式系统日志查询分析方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ELLIE QUIGLEY: "《Linux Shell实例精解》", 28 February 2003, 北京:中国电力出版社 *
刘循: "《UNIX操作系统教程 管理与编程》", 31 December 2003, 北京:高等教育出版社 *
姜开达等: "基于Hadoop的校园网站日志系统的设计与实现", 《华东师范大学学报(自然科学版)》 *
王宏宾: "基于分布式计算平台的web日志挖掘技术研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781143A (zh) * 2019-11-05 2020-02-11 北纬通信科技南京有限责任公司 一种服务器日志查询提取的方法及装置
CN110781143B (zh) * 2019-11-05 2022-03-15 北纬通信科技南京有限责任公司 一种服务器日志查询提取的方法及装置
CN111124815A (zh) * 2019-12-05 2020-05-08 京东数字科技控股有限公司 一种日志查看方法、装置、设备及存储介质
CN111259044A (zh) * 2020-01-15 2020-06-09 网易(杭州)网络有限公司 一种数据查询方法、装置、设备及介质
CN111797618A (zh) * 2020-06-10 2020-10-20 云南电网有限责任公司 一种基于语法树解析的日志分析方法及装置
CN113190410A (zh) * 2021-05-10 2021-07-30 芯讯通无线科技(上海)有限公司 日志收集方法、系统、客户端和存储介质

Similar Documents

Publication Publication Date Title
CN109885548A (zh) 日志查询方法、装置、存储介质和电子装置
CN112953778B (zh) 智融标识网络中基于意图驱动的服务编排系统和方法
CN102880475B (zh) 计算机软件系统中基于云计算的实时事件处理系统及方法
CN111131379B (zh) 一种分布式流量采集系统和边缘计算方法
CN110716744A (zh) 一种数据流处理方法、系统和计算机可读存储介质
CN109408508A (zh) 监测数据的存储和查询方法、装置和计算机设备
CN104462370A (zh) 分布式任务调度系统及方法
CN103761309A (zh) 一种运营数据处理方法及系统
CN109885624A (zh) 数据处理方法、装置、计算机设备和存储介质
CN108881066A (zh) 一种路由请求的方法、接入服务器以及存储设备
CN113900810A (zh) 分布式图处理方法、系统及存储介质
CN104484187A (zh) 一种信息集成方法和系统
CN113867600A (zh) 处理流式数据的开发方法、装置和计算机设备
CN115280741A (zh) 混合能量管理中的自主监测和恢复的系统和方法
CN106446289B (zh) 基于Pinpoint的信息查询方法和装置
CN114710571B (zh) 数据包处理系统
CN106992940A (zh) 报文处理方法、装置、系统及终端
CN113014608B (zh) 一种流量分发控制方法、装置、电子设备及存储介质
CN108875035A (zh) 分布式文件系统的数据存储方法及相关设备
CN111131040A (zh) 路由的配置方法、装置及系统、存储介质、电子装置
CN111556123A (zh) 一种基于边缘计算的自适应网络快速配置及负载均衡系统
CN108173898A (zh) 用于资源访问服务的方法、装置及终端设备
CN111131512A (zh) 设备信息的处理方法、装置、存储介质及处理器
CN103425707A (zh) 数据分析方法和装置
CN116821215A (zh) 基于端口查询的opc ua服务器搜索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190614

RJ01 Rejection of invention patent application after publication