CN109783754A - 一种基于web技术实现的日志展示方法及系统 - Google Patents

Abstract

本发明提供了一种基于WEB技术实现的日志展示方法及系统，其中方法包括：WEB页面获取待查看日志信息的查询条件，通过websocket建立WEB页面与服务端的通信，并向服务端发送查看请求，其中，查看请求中至少包括查询条件；服务端接收查看请求，根据查看请求调用搜索引擎，查找查询条件对应的待查看日志信息，对待查看日志信息进行负载处理，并将待查看日志信息返回至WEB页面，其中，搜索引擎中存储可用的日志信息；WEB页面接收待查看日志信息，对待查看日志信息进行页面渲染，展示待查看日志信息。由此基于Web技术实现日志实时追踪功能，省去了命令行和安装客户端，降低使用难度，无需多台服务器一个个去查看，方便使用。

Description

一种基于WEB技术实现的日志展示方法及系统

技术领域

本发明涉及日志追踪技术领域，尤其涉及一种基于WEB技术实现的日志展示方法及系统。

背景技术

随着社会的发展，信息化时代各种系统工具取代了原先的纸质办公年代，迅速的提高了办公能力，而在这之中每个系统或者工具产生大量的日志信息数据，而这些日志信息数据都能反映出自身的状态或相关业务的信息，在如今大数据时代都是有着极大的价值的，因而系统或工具出现故障的话，就需要进行查看对应的故障日志信息进行问题定位、调试。而往往在需要查看对应的日志信息时候需要，客户端+命令行进行查看，需要具备一定的专业知识才能使用。

就目前而言很难看到完整的实时日志查询工具，大多数工具都有以下缺陷：

(1)需要【客户端+命令行】，而命令的使用需要一定的专业知识，从而有一定的成本；

(2)不能实时的获取最新日志信息展示；

(3)不能通过筛选条件快速定位到需要的日志信息；

(4)没有分屏同时工作的优势。

发明内容

本发明旨在提供一种克服上述问题之一或者至少部分地解决上述任一问题的基于WEB技术实现的日志展示方法及系统。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明的一个方面提供了一种基于WEB技术实现的日志展示方法，包括：WEB页面获取待查看日志信息的查询条件，通过websocket建立WEB页面与服务端的通信，并向服务端发送查看请求，其中，查看请求中至少包括查询条件；服务端接收查看请求，根据查看请求调用搜索引擎，查找查询条件对应的待查看日志信息，对待查看日志进行负载处理，并将待查看日志信息返回至WEB页面，其中，搜索引擎中存储可用的日志信息；WEB页面接收待查看日志信息，对待查看日志信息进行页面渲染，展示待查看日志信息。

其中，方法还包括：实时采集服务器的日志数据，并对日志数据进行解析，得到可用的日志信息，将可用的日志信息存储在搜索引擎中。

其中，对待查看日志信息进行负载处理包括：对待查看日志信息通过限制字节数和/或调用频率进行负载处理。

其中，展示待查看日志信息包括：设置N个展示界面，其中，N≥1；利用N个展示界面中的一个展示界面展示待查看日志信息。

其中，对待查看日志信息进行页面渲染，展示待查看日志信息包括：WEB页面对待查看日志信息进行高亮标记显示；和/或WEB页面对待查看日志信息进行原文显示。

其中，方法还包括：通过WEB界面开启或者关闭websocket通信通道启用或者停止对日志进行追踪。

本发明另一方面提供了一种基于WEB技术实现的日志展示系统，包括：WEB页面，用于获取待查看日志信息的查询条件，通过websocket建立WEB页面与服务端的通信，并向服务端发送查看请求，其中，查看请求中至少包括查询条件；服务端，用于接收查看请求，根据查看请求调用搜索引擎，查找查询条件对应的待查看日志信息，对待查看日志进行负载处理，并将待查看日志信息返回至WEB页面，其中，搜索引擎中存储可用的日志信息；WEB页面，还用于接收待查看日志信息，对待查看日志信息进行页面渲染，展示待查看日志信息。

其中，系统还包括：日志采集工具；日志采集工具，用于实时采集服务器的日志数据，并对日志数据进行解析，得到可用的日志信息，将可用的日志信息存储在搜索引擎中。

其中，WEB页面通过如下方式对待查看日志信息进行负载处理：WEB页面，具体用于对待查看日志信息通过限制字节数和/或调用频率进行负载处理。

其中，WEB页面通过如下方式展示待查看日志信息：WEB页面，具体用于设置N个展示界面，其中，N≥1；利用N个展示界面中的一个展示界面展示待查看日志信息。

其中，WEB页面通过如下方式对待查看日志信息进行页面渲染，展示待查看日志信息：WEB页面，具体用于对待查看日志信息进行高亮标记显示；和/或对待查看日志信息进行原文显示。

其中，WEB界面，还用于开启或者关闭websocket通信通道启用或者停止对日志进行追踪。

由此可见，通过本发明实施例提供的基于WEB技术实现的日志展示方法及系统，可以基于Web技术实现日志实时追踪功能，省去了命令行和安装客户端，降低使用难度，无需多台服务器一个个去查看，方便使用。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的基于WEB技术实现的日志展示方法的流程图；

图2为本发明实施例提供的基于WEB技术实现的日志展示方法的一种具体示例流程图；

图3为本发明实施例提供的基于WEB技术实现的日志展示系统的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明的目的是解决了排查或调试问题时需要查看某个或某些日志时需要同时登陆不同机器或分屏的复杂操作。包括条件过滤、暂停/运行、分屏、全量/精简模式等功能。

图1示出了本发明实施例提供的基于WEB技术实现的日志展示方法的流程图，参见图1，本发明实施例提供的基于WEB技术实现的日志展示方法，包括：

S101，WEB页面获取待查看日志信息的查询条件，通过websocket建立WEB页面与服务端的通信，并向服务端发送查看请求，其中，查看请求中至少包括查询条件。

具体地，websocket通信是web技术实现的类似终端功能。通过该功能在某种程度上可以代替【客户+命令行】的方式查看日志信息的效果。

作为本发明实施例的一个可选实施方式，本发明实施例提供的基于WEB技术实现的日志展示方法还包括：实时采集服务器的日志数据，并对日志数据进行解析，得到可用的日志信息，将可用的日志信息存储在搜索引擎中。由此可以基于WEB技术实现的日志实时追踪功能。其中日志采集可以利用安装filebeat采集日志信息，再由ES(ElasticSearch)搜索引擎功能实现整个日志事采集(存储)。

S102，服务端接收查看请求，根据查看请求调用搜索引擎，查找查询条件对应的待查看日志信息，对待查看日志进行负载处理，并将待查看日志信息返回至WEB页面，其中，搜索引擎中存储可用的日志信息。

具体地，采集到的日志信息，通过对应的解析规则解析成可用的日志信息，将可用的日志信息存储在搜索引擎中后，可以通过简单的查询条件(筛选条件)，获取到对应的日志信息。查询条件例如：主机地址(ip)，日志文件地址(path)，timestamp，appname，tag...之类的指定条件查看对应的日志信息。由此可以提供筛选条件快速定位需要查看的日志信息。

作为本发明实施例的一个可选实施方式，对待查看日志信息进行负载处理包括：对待查看日志信息通过限制字节数和/或调用频率进行负载处理。例如可以通过堆栈处理抛掉堆积的信息，防止数据量过载。

S103，WEB页面接收待查看日志信息，对待查看日志信息进行页面渲染，展示待查看日志信息。

具体地，通过WEB页面进行待查看日志信息的展示，作为本发明实施例的一个可选实施方式，展示待查看日志信息包括：设置N个展示界面，其中，N≥1；利用N个展示界面中的一个展示界面展示待查看日志信息。由此提供分屏功能可以同时进行多个不同的条件操作，以此利用web技术可以实现多个工作窗口列表，且多个窗口之间独立工作互不干扰。

作为本发明实施例的一个可选实施方式，对待查看日志信息进行页面渲染，展示待查看日志信息包括：WEB页面对待查看日志信息进行高亮标记显示；和/或WEB页面对待查看日志信息进行原文显示。由此可以提供精简/全量模式功能。在全量模式下通过web技术筛选出重要日志信息进行高亮标记，精简模式是简洁的日志原文显示。

作为本发明实施例的一个可选实施方式，本发明实施例提供的基于WEB技术实现的日志展示方法还包括：通过WEB界面开启或者关闭websocket通信通道启用或者停止对日志进行追踪。由此来提供暂停、运行功能。通过停止与启动服务端的通信来停止或加载日志信息，方便定位到具体的日志数据进行问题排查和调试。

由此可见，通过本发明实施例提供的基于WEB技术实现的日志展示方法，可以基于Web技术实现日志实时追踪功能，省去了命令行和安装客户端，降低使用难度，无需多台服务器一个个去查看，方便使用。

以下，参见图2，提供本发明的一种具体示例，但本发明并不局限于此：

图2中包含搜索、日志信息展示界面、服务端、日志采集处理层。图2提供一种排查或调试问题时需要查看某个或某些日志时需要同时登陆不同机器或分屏的复杂操作，是将当前时刻实时产生的日志打印到屏幕上并实时刷新，类似于操作系统上“tail-f”的操作命令。

整体架构是日志采集处理层负责响应服务端请求的日志信息，服务端又响应来自前端展示界面的查询请求，前端展示界面与服务端通过websocket通信确保实时性，能够获取到最新的日志信息；通过堆栈处理抛掉堆积的信息，防止数据量过载；最后就是通过不同的条件分屏查看不同的日志信息，定位需求。

具体工作流程如下：

①进入追踪功能界面；

②输入查询条件，定位需要查看的日志信息；

③通过websocket通信想服务端发送请求；

④服务端调用搜索引擎查找对应信息；

⑤服务端返回所需信息；

⑥消息队列进行负载处理；

⑦界面展示最新的日志信息；

例如：现有需要查看172.16.0.128、172.16.0.129、172.16.0.130服务器上的/data/logs/nginx目录下nginx日志的信息；

具体实施如下：

1、服务端以及日志实时采集的实现(即流程图中的⑤和⑥)：

(1)先在172.16.0.128～130等3台机器上安装filebeat用于采集日志工具，再是配置接入采集nginx日志,实现实时采集功能，采集到的3台服务器的nginx日志数据通过对应的nginx解析规则，使nginx日志解析成可用的日志存储在es搜索引擎中；

(2)通过服务端调用es服务，可获取到所有es中的日志数据。

2、web界面和服务端实时通信的实现(即流程图中④，⑤和⑥)：

通过websocket建立前后端的实时通信通道，服务端直接调用es获取数据，再将数据实时推送给前端界面展示，再通过限制字节数，和调用频率来缓解展示界面的展示压力；前端界面将服务端推送过来的信息展示在模拟终端的界面上。

3、方便性和定位查看的实现：

由于存储在es中，便无需再使用命令行+终端查看日志，可以直接打开界面便可以接受到服务端推送过来日志数据，再是日志都是经过解析的可用日志，便可以通过IP地址条件如：172.16.0.128；只查看172.168.0.128的服务器上nginx日志信息。类似可帮助快速定位查询日志的条件可以是IP，appname,tag,或者是日志文件路径path。

4、运行/暂停和全量/精简模式的实现：

(1)运行/暂停通过界面开关传参通信通道停止和启用服务端消息的推送。

(2)全量和精简模式的不同在于通过界面开关现实隐藏重要的高亮信息。(如：ip信息172.16.0.128，接入命名的appname,/data/logs/nginx/nginx.log)。

5、分屏查看的实现：

通过web技术将每个展示界面作为列表中的一个元素，每新增一个分配就建立一个新的通信通道，这样就可以查看不同的信息，且不会互相干扰。如有a,b两个分屏，a分频查看的是172.16.0.128的服务器nginx日志,b分屏查看的是172.16.0.129的日志，切不用登录不同服务器，只需一个简单的查询条件：host:“172.16.0.128”,就能查看对应的日志数据。

由此可见，本发明实施例提供的基于WEB技术实现的日志展示方法，具有如下技术效果：

(1)实时性：可以通过追踪功能随时查找到最新的日志信息。

(2)便于使用：无需使用客户端，查找具体的日志文件路径，打开文件查看日志信息。

(3)定位查看：通过搜索条件查看相应的日志信息。

(4)多屏查看：可以通过不同的条件分屏查看不一样的日志信息。

(5)暂停/运行：查找到需要的信息，可以暂停运行，便会停止最新日志信息加载；运行反之。

(6)精简/全量模式：精简模式显示日志原文信息，全量模式显示原文和高亮显示关键信息。

图3示出了本发明实施例提供的基于WEB技术实现的日志展示系统的结构示意图，该基于WEB技术实现的日志展示系统应用于上述方法，以下仅对基于WEB技术实现的日志展示系统的结构进行简单说明，其他未尽事宜，请参照上述基于WEB技术实现的日志展示方法中的相关描述，参见图3，本发明实施例提供的基于WEB技术实现的日志展示系统，包括：

WEB页面301，用于获取待查看日志信息的查询条件，通过websocket建立WEB页面与服务端的通信，并向服务端发送查看请求，其中，查看请求中至少包括查询条件；

服务端302，用于接收查看请求，根据查看请求调用搜索引擎，查找查询条件对应的待查看日志信息，对待查看日志进行负载处理，并将待查看日志信息返回至WEB页面，其中，搜索引擎中存储可用的日志信息；

WEB页面303，还用于接收待查看日志信息，对待查看日志信息进行页面渲染，展示待查看日志信息。

由此可见，通过本发明实施例提供的基于WEB技术实现的日志展示系统，可以基于Web技术实现日志实时追踪功能，省去了命令行和安装客户端，降低使用难度，无需多台服务器一个个去查看，方便使用。

作为本发明实施例的一个可选实施方式，本发明实施例提供的基于WEB技术实现的日志展示系统还包括：日志采集工具(图中未示出)；日志采集工具，用于实时采集服务器的日志数据，并对日志数据进行解析，得到可用的日志信息，将可用的日志信息存储在搜索引擎中。由此可以基于WEB技术实现的日志实时追踪功能。

作为本发明实施例的一个可选实施方式，WEB页面通过如下方式对待查看日志信息进行负载处理：WEB页面，具体用于对待查看日志信息通过限制字节数和/或调用频率进行负载处理。例如可以通过堆栈处理抛掉堆积的信息，防止数据量过载。

作为本发明实施例的一个可选实施方式，WEB页面通过如下方式展示待查看日志信息：WEB页面，具体用于设置N个展示界面，其中，N≥1；利用N个展示界面中的一个展示界面展示待查看日志信息。由此提供分屏功能可以同时进行多个不同的条件操作，以此利用web技术可以实现多个工作窗口列表，且多个窗口之间独立工作互不干扰。

作为本发明实施例的一个可选实施方式，WEB页面通过如下方式对待查看日志信息进行页面渲染，展示待查看日志信息：WEB页面，具体用于对待查看日志信息进行高亮标记显示；和/或对待查看日志信息进行原文显示。由此可以提供精简/全量模式功能。在全量模式下通过web技术筛选出重要日志信息进行高亮标记，精简模式是简洁的日志原文显示。

作为本发明实施例的一个可选实施方式，WEB界面，还用于开启或者关闭websocket通信通道启用或者停止对日志进行追踪。由此来提供暂停、运行功能。通过停止与启动服务端的通信来停止或加载日志信息，方便定位到具体的日志数据进行问题排查和调试。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于WEB技术实现的日志展示方法，其特征在于，包括：

WEB页面获取待查看日志信息的查询条件，通过websocket建立所述WEB页面与服务端的通信，并向所述服务端发送查看请求，其中，所述查看请求中至少包括所述查询条件；

所述服务端接收所述查看请求，根据所述查看请求调用搜索引擎，查找所述查询条件对应的待查看日志信息，对所述待查看日志进行负载处理，并将所述待查看日志信息返回至所述WEB页面，其中，所述搜索引擎中存储可用的日志信息；

所述WEB页面接收所述待查看日志信息，对所述待查看日志信息进行页面渲染，展示所述待查看日志信息。

2.根据权利要求1所述的方法，其特征在于，还包括：

实时采集服务器的日志数据，并对所述日志数据进行解析，得到所述可用的日志信息，将所述可用的日志信息存储在所述搜索引擎中。

3.根据权利要求1所述的方法，其特征在于，所述对所述待查看日志信息进行负载处理包括：

对所述待查看日志信息通过限制字节数和/或调用频率进行负载处理。

4.根据权利要求1所述的方法，其特征在于，所述展示所述待查看日志信息包括：

设置N个展示界面，其中，所述N≥1；

利用所述N个展示界面中的一个展示界面展示所述待查看日志信息。

5.根据权利要求1或4所述的方法，其特征在于，所述对所述待查看日志信息进行页面渲染，展示所述待查看日志信息包括：

所述WEB页面对所述待查看日志信息进行高亮标记显示；和/或

所述WEB页面对所述待查看日志信息进行原文显示。

6.根据权利要求1所述的方法，其特征在于，还包括：

通过所述WEB界面开启或者关闭所述websocket通信通道启用或者停止对日志进行追踪。

7.一种基于WEB技术实现的日志展示系统，其特征在于，包括：

WEB页面，用于获取待查看日志信息的查询条件，通过websocket建立所述WEB页面与服务端的通信，并向所述服务端发送查看请求，其中，所述查看请求中至少包括所述查询条件；

所述服务端，用于接收所述查看请求，根据所述查看请求调用搜索引擎，查找所述查询条件对应的待查看日志信息，对所述待查看日志进行负载处理，并将所述待查看日志信息返回至所述WEB页面，其中，所述搜索引擎中存储可用的日志信息；

所述WEB页面，还用于接收所述待查看日志信息，对所述待查看日志信息进行页面渲染，展示所述待查看日志信息。

8.根据权利要求7所述的系统，其特征在于，还包括：日志采集工具；所述日志采集工具，用于实时采集服务器的日志数据，并对所述日志数据进行解析，得到所述可用的日志信息，将所述可用的日志信息存储在所述搜索引擎中；所述WEB页面通过如下方式对所述待查看日志信息进行负载处理：所述WEB页面，具体用于对所述待查看日志信息通过限制字节数和/或调用频率进行负载处理。

9.根据权利要求7所述的系统，其特征在于，所述WEB页面通过如下方式展示所述待查看日志信息：

所述WEB页面，具体用于设置N个展示界面，其中，所述N≥1；利用所述N个展示界面中的一个展示界面展示所述待查看日志信息。

10.根据权利要求7所述的系统，其特征在于，所述WEB页面通过如下方式对所述待查看日志信息进行页面渲染，展示所述待查看日志信息：

所述WEB页面，具体用于对所述待查看日志信息进行高亮标记显示；和/或对所述待查看日志信息进行原文显示。

所述WEB界面，还用于开启或者关闭所述websocket通信通道启用或者停止对日志进行追踪。