CN107483567A

CN107483567A - 一种分布式日志搜索的方法及系统

Info

Publication number: CN107483567A
Application number: CN201710656269.9A
Authority: CN
Inventors: 李佳林; 古培昌
Original assignee: Guangzhou Huaduo Network Technology Co Ltd
Current assignee: Guangzhou Huaduo Network Technology Co Ltd
Priority date: 2017-08-03
Filing date: 2017-08-03
Publication date: 2017-12-15
Anticipated expiration: 2037-08-03
Also published as: CN107483567B

Abstract

本申请公开了一种分布式日志搜索的方法，包括命令提示符代理接收到查询服务器发送的日志查询命令，根据所述日志查询命令在服务器中查询并得到查询结果；将所述查询结果发送至所述查询服务器；其中，每个所述服务器部署一个所述命令提示符代理，所述服务器的数量至少为两个；所述查询服务器的数量小于所述服务器的数量。通过在服务器部署命令提示符代理，接收相关的查询指令进行查询并实时反馈至查询服务器中，实现了在多台服务器中自动化查询，可以提高日志查询的效率，同时不会占用大量的存储空间。本申请还公开了一种分布式日志搜索的系统，具有上述有益效果。

Description

一种分布式日志搜索的方法及系统

技术领域

本申请涉及计算机技术领域，特别涉及一种分布式日志搜索的方法及系统。

背景技术

随着互联网的发展，互联网的基础设施的发展也非常迅速。尤其是在云计算时代来临后，服务器的数量大规模增多。同时对于服务器的维护也带了大量的任务，例如，对服务进行查询操作，目前需要人工烛台登陆服务器进行手动输入日志查询命令，才可以完成日志查询操作。

尤其对于服务器的日志查询操作，当管理者需要搜索日志的内容时，就需要大量繁杂的操作，效率低下。一般会部署大型的专用日志系统，将各台服务器的日志采集到中央存数服务器，再进行搜索查询操作。但是服务器在运行中会产生大量日志数据，日志专用系统无法将全量的日志存储下来，一般会采集部分关键日志，因此会有部分日志缺失的情况。同时在日志量达的情况下，搜索的过程也会变慢。

因此，如何解决服务器的日志查询操作繁琐是本领域技术人员的重点问题。

发明内容

本申请的目的是提供一种分布式日志搜索的方法及系统，通过在服务器部署命令提示符代理，接收相关的查询指令进行查询并实时反馈至查询服务器中，实现了在多台服务器中自动化查询，可以提高日志查询的效率，同时不会占用大量的存储空间。

为解决上述技术问题，本申请提供一种分布式日志搜索的方法，所述方法包括：

命令提示符代理接收到查询服务器发送的日志查询命令，根据所述日志查询命令在服务器中查询并得到查询结果；

将所述查询结果发送至所述查询服务器；

其中，每个所述服务器部署一个所述命令提示符代理，所述服务器的数量至少为两个；所述查询服务器的数量小于所述服务器的数量。

可选的，所述方法还包括：

所述命令提示符代理相隔预定时间间隔查询日志是否更新；

若是，则将更新的所述查询结果发送至所述查询服务器。

可选的，当所述查询服务器接收到所述查询结果时，包括：

所述查询服务器对所述查询结果进行解析处理得到日志信息；

将所述日志信息以预定路径展示。

可选的，将所述日志信息以预定路径展示，包括：

所述查询服务器将所述日志信息制作成网页的形式展示在浏览器中；

或将所述日志信息发送到桌面程序并展示在终端中；

或将所述日志信息发送到移动终端应用并展示在移动终端中。

可选的，在所述查询服务器发送所述日志查询命令前，还包括：

所述查询服务器接收到查询进程名和所要查询的所述服务器的地址信息；

根据所述查询进程名生成所述日志查询命令，并将所述日志查询命令发送至所述地址信息对应的所述服务器的所述命令提示符代理中。

本申请还提供一种分布式日志搜索的系统，所述系统包括：

命令提示符代理，用于收到查询服务器发送的日志查询命令，根据所述日志查询命令在服务器中查询并得到查询结果；将所述查询结果发送至所述查询服务器；每个所述服务器部署一个所述命令提示符代理；

查询服务器，用于对所述查询结果进行解析处理得到日志信息；将所述日志信息以预定路径展示；

其中，所述服务器的数量至少为一个，所述查询服务器的数量小于所述服务器的数量。

可选的，所述命令提示符代理，还用于相隔预定时间间隔查询日志是否更新；若是，则将更新的所述查询结果发送至所述查询服务器。

可选的，所述查询服务器，具体用于将所述日志信息制作成网页的形式展示在浏览器中；或将所述日志信息发送到桌面程序并展示在终端中；或将所述日志信息发送到移动终端应用并展示在移动终端中。

可选的，所述查询服务器，还用于接收到查询进程名和所要查询的所述服务器的地址信息；根据所述查询进程名生成所述日志查询命令，并将所述日志查询命令发送至所述地址信息对应的所述服务器的所述命令提示符代理中。

本申请所提供的分布式日志搜索的方法，包括：命令提示符代理接收到查询服务器发送的日志查询命令，根据所述日志查询命令在服务器中查询并得到查询结果；将所述查询结果发送至所述查询服务器；其中，每个所述服务器部署一个所述命令提示符代理，所述服务器的数量至少为两个；所述查询服务器的数量小于所述服务器的数量。

通过，在服务器部署命令提示符代理，接收查询服务器发来的查询指令，并在服务器中进行查询，实时返回查询结果，同时管理者可以使用查询服务器个性化发送查询信息，同时返回的查询结果可以在网页移动端等方式展现出来，方便管理者查看。提高了查询日志的效率。同时由于，查询内容是实时返回至查询服务器中，不会占用查询服务器的大量资源。本申请还提供一种分布式日志搜索的系统，具有上述有益效果，在此不作赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的日志搜索的流程图；

图2为本申请实施例提供的自动查询的流程图；

图3为本申请实施例提供的查询结果展示的流程图；

图4为本申请实施例提供的查询命令发送的流程图；

图5为本申请实施例提供的分布式搜索系统的框图；

图6为本申请实施例提供的管理平台信息输入图。

具体实施方式

本申请的核心是提供一种分布式日志搜索的方法及系统，通过在服务器部署命令提示符代理，接收相关的查询指令进行查询并实时反馈至查询服务器中，可以提高日志查询的效率，同时不会占用大量的存储空间。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例提供的日志搜索的流程图。

本申请所提供分布式日志搜索的方法，可以包括以下步骤：

S100，命令提示符代理接收到查询服务器发送的日志查询命令，根据所述日志查询命令在服务器中查询并得到查询结果；

其中，命令提示符代理部署在服务器中，可以自动执行对于命令提示符的相关操作指令，例如，日志查询命令、网络状态查询以及系统状态查询，对于日志查询命令，其查询内容可以是查询当前时段的日志内容，也可以是查询过往时段的日志内容，还可以对日志查询的内容做筛选。具体的日志查询命令可以根据实际情况中需要解决的问题来设定，在此不做限定。

同时其代理可以接收到查询服务器发送的指令，并且可以返回相应的结果。而查询服务器发送的指令可以是用户主动发送，也可以是设定好的内容按照一定的触发条件发送，例如，当到达某一时间点发送，或者当某一事件出现发送。是为了查询服务器可以自动完成查询的任务，方便管理人员的操作，无需时时刻刻关注查询服务器，解放了管理员的一定精力，其具体的内容设定，以及触发条件，可以由具体情况做设置，在此不做具体限定。

其中，查询结果是指使用查询命令查询后服务器给出对应的查询内容，例如，日志查询命令对应的就是日志内容，网络状态查询命令则对应的就是网络状态。

S200，将所述查询结果发送至所述查询服务器。

其中，每个所述服务器部署一个所述命令提示符代理，所述服务器的数量至少为两个；所述查询服务器的数量小于所述服务器的数量。可以例如，当需要查询的服务器为20个时，根据其查询服务的性能，可以选择1个查询服务器；当服务器的数量超过查询服务器所设计最大查询数量时，可以增加查询服务器的数量，例如，其查询服务器的最大数量为20个，当需要查询的服务器由35个时，可以设置2个查询服务器。因此，需要根据实际的情况和查询服务器的最大负载设计查询服务器和服务器的数量关系，在此不做具体限定。

需要注意的是，服务器的数量至少为两个，而当需要查询的服务器的数量等于查询服务器的数量，可想而知，在该数量关系下查询服务器的在查询中的效果并不能达到其设计时的初衷，因此，查询服务器的数量需要小于服务器的数量。

其中，命令提示符代理可以是部署在服务器的系统中的软件，也可以是安装在服务器中的外部设备，只要可以接收查询服务器发送的查询指令，并根据查询命令在服务器的命令提示符中执行命令，读取命令并发送回查询服务器中，在此不做限定。在本实施例中的命令提示符代理选用的是安装在服务器系统中的软件，完成查询任务等一系列操作。

需要强调的是，命令提示符代理以软件的形式部署在服务器中，方便了移植在其他服务器中，并且当开发完成后，部署没有边际成本，大大降低了人工操作，并且部署一次就可以对代理的软件进行在线的更新和维护，也降低了后期的维护难度和成本。同时使用代理对服务器进行相关操作，无需人工监控，当服务器数量较多时，可以批量进行，大大节约了人工查询的成本和时间，提高了效率。

同时，查询结果可以实时传输的，也就是说对于查询服务器和代理都可以非必要的安装大量存储设备，可以大大解决资源。

其中，查询服务器一般为基于web开发的管理后台，可以完成接收网页发来的查询命令，并对查询命令做处理，发送至相应的服务器中。在本实施例中，选用的是以Nginx开发的网页服务器，对于管理者可以以网页的形式涨势管理页面，同时将查询结果生成网页的形式展示出来，方便了管理者的操作和观察结果数据。

通过在服务器部署命令提示符代理，接收相关的查询指令进行查询并实时反馈至查询服务器中，实现了在多台服务器中自动化查询，可以提高日志查询的效率，同时不会占用大量的存储空间。

可选的，可以使代理通过预定方式自动查询服务器。

请参考图2，图2为本申请实施例提供的自动查询的流程图。

基于上述实施例，本实施例的自动查询步骤可以包括：

S300，所述命令提示符代理相隔预定时间间隔查询日志是否更新；

S400，若是，则将更新的所述查询结果发送至所述查询服务器。

其中，本实施例是通过预定时间间隔实现自动查询日志，也可以是设置触发条件使代理自动查询服务器，可以使用时间触发和条件触发相结合的方式使代理自动查询服务，改自动的方式可以根据实际的使用情况进行设定，只要满足使用需求，在此不做限定。

需要强调的是，相隔预定时间间隔的方式可以通过确定一个时间段的查询次数，来自动确定查询的时间标准。也可以通过直接设定查询间隔，让代理自动查询，在此也不做限定。

其中，可以知道的是，通过设置自动查询的条件，可以使代理依据条件自动返回日志内容，可以解放管理者的精力。当其将条件设置为当出现沈萼梅情况就查询日志，管理者无需时时刻刻关注查询系统，并提交查询命令，就可以得到需要的日志信息，提高了管理者维护服务器的效率，也降低了人工成本。

请参考图3，图3为本申请实施例提供的查询结果展示的流程图。

基于上述实施例，本实施例的查询结果展示步骤可以包括

S210，所述查询服务器对所述查询结果进行解析处理得到日志信息；

S220，将所述日志信息以预定路径展示。

其中，代理所读取的查询结果，需要以适合当前网络环境的方式和格式发送至查询服务器，可以保持查询结果的实时传输，以及传输的信息的完整性。因此，代理读取到查询结果需要对数据进行处理，再发送至查询服务器，同样，查询服务器在接收到查询结果时需要对查询结果进行处理得到适合观察和展示的日志信息。

当查询服务器得到日志信息时，可以将日志信息以预定的路径展示。

可以是，查询服务器将日志信息制作成网页的形式展示在浏览器中；

也可以是，或将日志信息发送到桌面程序并展示在终端中；

也可以是，或将日志信息发送到移动终端应用并展示在移动终端中。

可以理解的是，上述的展示路径都有自身的优点以及使用的场景，例如，网页的形式的展示，只要可以打开网页的平台都可以展示日志内容，因此适合大部分场景，同时省去了二次开发的麻烦。对于展示路径的选择在此不做限定。

需要强调的是，无论选择何种路径进行展示，对于管理者搜索和查看的操作都十分方便，且信息的传输都基于线上的方式，具有很高的灵活性，所查询的内容也都可以实时的传送过来，极大的方便了管理者的操作，提高了搜索效率。

基于以上实施例，提供下述具体操作步骤，方便理解技术方案。

本操作步骤中，具体应用环境为采用时间间隔使代理自动查询，并以网页的形式将查询结果展示出来。

步骤1，管理者在查询服务器提供的管理平台中，设置查询条件以及范围，并确定查询条件；

步骤2，查询服务器将接收到的查询条件处理后发送至对应范围的服务器的代理；

步骤3，代理接收到查询条件后，处理得到查询指令，并在服务器执行查询指令；

步骤4，代理读取到查询结果后，将查询结果处理并发送至查询服务器；

步骤5，确定预定时间为30秒，每过30秒代理自动查询服务器，并将更新的内容发送至查询服务器中；

步骤6，查询服务器接收到查询结果，解析出相应的日志信息，并制作为网页的形式展示在管理平台。

通过，上述方式对于管理员，可以有下发查询指令一步的操作，就可以在管理平台中，观察到相应范围内的所有服务器的日志信息，极大的方便了管理员的查询操作的步骤，提高了效率。

请参考图4，图4为本申请实施例提供的查询命令发送的流程图。

基于上述实施例，本实施例可以包括：

S110，所述查询服务器接收到查询进程名和所要查询的所述服务器的地址信息；

S120，根据所述查询进程名生成所述日志查询命令，并将所述日志查询命令发送至所述地址信息对应的所述服务器的所述命令提示符代理中。

请参考图6，图6为本申请实施例提供的管理平台信息输入图。

其中，查询服务器接收到的查询信息一般是查询进程名和服务器对应的地址信息，可以有其他更个性化的设置内容，例如，对于查询指令的附加命令，只要是为了方便适应应用环境的需要，都可以对查询发送的指令做适应性的修改。

需要说明的是，管理员可以在管理平台中对发送的查询指令进行编辑操作，该操作平台可以是电脑终端的应用程序，也可以是移动终端的应用程序，还可以是在网页形式的管理平台。

其中，该服务器的地址信息，一般可以是服务器在网络中的IP地址，也可以是服务器的MAC地址，只要可以在一定范围内无差别的唯一确定服务器的地址都可以作为该服务器的地址信息，在此不做限定。

本申请实施例提供了分布式日志搜索的方法，可以通过在服务器部署命令提示符代理，接收相关的查询指令进行查询并实时反馈至查询服务器中，可以提高日志查询的效率，同时不会占用大量的存储空间。

下面对本申请实施例提供的分布式日志搜索的系统进行介绍，下文描述的分布式日志搜索的系统与上文描述的分布式日志搜索的方法可相互对应参照。

请参考图5，图5为本申请实施例提供的分布式搜索系统的框图。

本申请实施例提供一种分布式日志搜索的系统，可以包括：

命令提示符代理10，用于收到查询服务器发送的日志查询命令，根据所述日志查询命令在服务器中查询并得到查询结果；将所述查询结果发送至所述查询服务器；每个所述服务器部署一个所述命令提示符代理；

查询服务器20，用于对所述查询结果进行解析处理得到日志信息；将所述日志信息以预定路径展示；

基于上述实施例，该命令提示符代理10，还用于相隔预定时间间隔查询日志是否更新；若是，则将更新的所述查询结果发送至所述查询服务器。

基于上述实施例，该查询服务器20，具体用于将所述日志信息制作成网页的形式展示在浏览器中；或将所述日志信息发送到桌面程序并展示在终端中；或将所述日志信息发送到移动终端应用并展示在移动终端中。

基于上述实施例，该查询服务器20，还用于接收到查询进程名和所要查询的所述服务器的地址信息；根据所述查询进程名生成所述日志查询命令，并将所述日志查询命令发送至所述地址信息对应的所述服务器的所述命令提示符代理中。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的分布式日志搜索的方法及系统进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims

1.一种分布式日志搜索的方法，其特征在于，包括：

将所述查询结果发送至所述查询服务器；

2.根据权利要求1所述的方法，其特征在于，还包括：

所述命令提示符代理相隔预定时间间隔查询日志是否更新；

若是，则将更新的所述查询结果发送至所述查询服务器。

3.根据权利要求2所述的方法，其特征在于，当所述查询服务器接收到所述查询结果时，包括：

将所述日志信息以预定路径展示。

4.根据权利要求3所述的方法，其特征在于，将所述日志信息以预定路径展示，包括：

或将所述日志信息发送到桌面程序并展示在终端中；

5.根据权利要求1-4任一项所述的方法，其特征在于，在所述查询服务器发送所述日志查询命令前，还包括：

6.一种分布式日志搜索的系统，其特征在于，包括：

7.根据权利要求6所述的系统，其特征在于，所述命令提示符代理，还用于相隔预定时间间隔查询日志是否更新；若是，则将更新的所述查询结果发送至所述查询服务器。

8.根据权利要求7所述的系统，其特征在于，所述查询服务器，具体用于将所述日志信息制作成网页的形式展示在浏览器中；或将所述日志信息发送到桌面程序并展示在终端中；或将所述日志信息发送到移动终端应用并展示在移动终端中。

9.根据权利要求6-8任一项所述的系统，其特征在于，所述查询服务器，还用于接收到查询进程名和所要查询的所述服务器的地址信息；根据所述查询进程名生成所述日志查询命令，并将所述日志查询命令发送至所述地址信息对应的所述服务器的所述命令提示符代理中。