CN112860456B - 日志处理方法和装置 - Google Patents

Abstract

本发明公开了一种日志处理方法和装置。其中，该方法包括：在服务器接收到客户端的调用请求的情况下，获取调用请求中的第一参数数据；对第一参数数据进行格式化，得到第一日志；在服务器响应调用请求之后，接收服务器发送的第二参数数据，其中，第二参数数据包括调用请求的调用结果数据；对第二参数数据进行格式化，得到第二日志；将第一日志和第二日志存储到搜索引擎中。本发明解决了日志记录不全面的技术问题。

Description

日志处理方法和装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种日志处理方法和装置。

背景技术

现有技术中，在日志保存的时候，通常为在接收到请求的情况下保存日志，以便后续的查阅日志。然而，现有技术中，每次接收到请求的情况下保存日志，容易造成日志的遗漏，进而造成日志保存不全面。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种日志处理方法和装置，以至少解决日志记录不全面的技术问题。

根据本发明实施例的一个方面，提供了一种日志处理方法，包括：在服务器接收到客户端的调用请求的情况下，获取上述调用请求中的第一参数数据，其中，上述第一参数数据为上述调用请求中的输入参数；对上述第一参数数据进行格式化，得到第一日志；在上述服务器响应上述调用请求之后，接收上述服务器发送的第二参数数据，其中，上述第二参数数据包括上述调用请求的调用结果数据；对上述第二参数数据进行格式化，得到第二日志；将上述第一日志和上述第二日志存储到搜索引擎中。

根据本发明实施例的另一方面，还提供了一种日志处理装置，包括：获取单元，用于在服务器接收到客户端的调用请求的情况下，获取上述调用请求中的第一参数数据，其中，上述第一参数数据为上述调用请求中的输入参数；第一处理单元，用于对上述第一参数数据进行格式化，得到第一日志；接收单元，用于在上述服务器响应上述调用请求之后，接收上述服务器发送的第二参数数据，其中，上述第二参数数据包括上述调用请求的调用结果数据；第二处理单元，用于对上述第二参数数据进行格式化，得到第二日志；存储单元，用于将上述第一日志和上述第二日志存储到搜索引擎中。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述日志处理方法。

根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的日志处理方法。

在本发明实施例中，采用了在服务器接收到客户端的调用请求的情况下，获取上述调用请求中的第一参数数据，其中，所述第一参数数据为所述调用请求中的输入参数；对上述第一参数数据进行格式化，得到第一日志；在上述服务器响应上述调用请求之后，接收上述服务器发送的第二参数数据，其中，上述第二参数数据包括上述调用请求的调用结果数据；对上述第二参数数据进行格式化，得到第二日志；将上述第一日志和上述第二日志存储到搜索引擎中的方法，由于在上述方法中，在接收到请求的情况下保存日志，以及在处理请求之后保存日志，保证了记录的日志完整全面，进而解决了日志记录不全面的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的日志处理方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的日志处理方法的流程图图；

图3是根据本发明实施例的一种可选的日志处理方法的系统示意图；

图4是根据本发明实施例的一种可选的日志处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种日志处理方法，可选地，作为一种可选的实施方式，上述日志处理方法可以但不限于应用于如图1所示的环境中。

如图1所示，终端设备102包括了存储器104，用于存储终端设备102运行过程中产生的各项数据、处理器106，用于处理运算上述各项数据、显示器108，用于显示程序。终端设备102可以通过网络110与服务器112之间进行数据交互。服务器112包括数据库114，用于存储各项数据，处理引擎116，用于处理上述各项数据。服务器112接收到终端设备102上的客户端的调用请求下，保存日志，以及在处理请求之后保存日志。

可选地，在本实施例中，上述终端设备可以是配置有目标客户端的终端设备，可以包括但不限于以下至少之一：手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices，移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。

可选地，作为一种可选的实施方式，如图2所示，上述日志处理方法包括：

S202，在服务器接收到客户端的调用请求的情况下，获取调用请求中的第一参数数据，其中，第一参数数据为调用请求中的输入参数；

S204，对第一参数数据进行格式化，得到第一日志；

S206，在服务器响应调用请求之后，接收服务器发送的第二参数数据，其中，第二参数数据包括调用请求的调用结果数据；

S208，对第二参数数据进行格式化，得到第二日志；

S210，将第一日志和第二日志存储到搜索引擎中。

可选地，上述日志处理方法可以但不限于应用与存储以及查询日志的过程中。日志的产生客户端的类型并不进行限定。只要是会产生日志以及需要查阅日志的客户端均可。

例如，客户端在使用过程中，与服务器进行交互，交互过程中，会记录下相应的日志，以备后续查阅。

作为一种示例，对第一参数数据或第二参数数据进行格式化，得到第一日志或第二日志包括：

将第一参数数据或第二参数数据按照不同的规则进行分类，得到不同类型的参数数据；

将不同类型的参数数据格式化为不同类型的日志，日志为第一日志或第二日志。

作为一种示例，在将不同类型的参数数据格式化为不同类型的日志之后，方法还包括：

从不同类型的日志中提取关键词，其中，关键词用于检索日志；

记录日志和关键词的关联关系。

作为一种示例，在服务器接收到客户端的调用请求的情况下，获取调用请求中的第一参数数据包括：

接收服务器发送的调用请求；

拦截调用请求；

解析调用请求中的输入数据，得到第一参数数据。

作为一种示例，将第一日志和第二日志存储到搜索引擎中包括：

将第一日志和第二日志异步存储到搜索引擎中。

结合一个示例进行说明。如图3所示。

应用程序(Application，简称为APP)或者全球广域网(World Wide Web，简称为WEB)在使用过程中，可以向应用服务器Server发送接口请求。Server接收请求，经过前置过滤器。前置过滤器拦截接口请求，解析接口请求入参等数据，组装日志数据。将日志数据传给Logstash收集引擎。Logstash收集引擎对数据进行过滤和格式化，得到第一日志。包括Logstash中的中间处理组件Filters，按照特定的规则过滤数据，将数据格式化成JSON格式，得到第一日志。Outputs组件将处理的第一日志输出到ES搜索引擎，ES对第一日志进行存储，创建搜索用的索引。

Server处理具体业务逻辑。

Server处理完成请求后，再经过后置过滤器，日志后置过滤器同样会对接口结果进行解析、组装成日志数据，将日志数据传给Logstash收集引擎。Logstash收集引擎对日志数据过滤、格式化后，得到第二日志，将第二日志异步推送给ES中存储。Server将接口数据返回给APP/WEB。

可以通过可视化的Kibana平台，按照条件精准、快速查看日志数据。

可选地，本实施例中，可以将不同的APP和WEB的日志数据存储到ES中。可以按照应用类型、日志类型、日期等多个维度进行分类存储。可以创建日志和关键词的对应关系，在接收到关键词的情况下，返回对应的日志。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述日志处理方法的日志处理装置。如图4所示，该装置包括：

获取单元402，用于在服务器接收到客户端的调用请求的情况下，获取调用请求中的第一参数数据，其中，第一参数数据为调用请求中的输入参数；

第一处理单元404，用于对第一参数数据进行格式化，得到第一日志；

接收单元406，用于在服务器响应调用请求之后，接收服务器发送的第二参数数据，其中，第二参数数据包括调用请求的调用结果数据；

第二处理单元408，用于对第二参数数据进行格式化，得到第二日志；

存储单元410，用于将第一日志和第二日志存储到搜索引擎中。

作为一种示例，第一处理单元或第二处理单元包括：

分类模块，用于将第一参数数据或第二参数数据按照不同的规则进行分类，得到不同类型的参数数据；

处理模块，用于将不同类型的参数数据格式化为不同类型的日志，日志为第一日志或第二日志。

作为一种示例，第一处理单元或第二处理单元包括还包括：

提取模块，用于在将不同类型的参数数据格式化为不同类型的日志之后，从不同类型的日志中提取关键词，其中，关键词用于检索日志；

记录模块，用于记录日志和关键词的关联关系。

作为一种示例，接收单元包括：

接收模块，用于接收服务器发送的调用请求；

拦截模块，用于拦截调用请求；

解析模块，用于解析调用请求中的输入数据，得到第一参数数据。

作为一种示例，存储单元包括：

存储模块，用于将第一日志和第二日志异步存储到搜索引擎中。

本实施例的其他示例请参见上述示例，在此不再赘述。

根据本发明实施例的又一个方面，还提供了一种用于实施上述日志处理方法的电子设备，该电子设备可以包括存储器与处理器，存储器存储有计算机程序，处理器被设置为通过存储器中的计算机程序实现上述日志处理方法。

根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种日志处理方法，其特征在于，包括：

在服务器通过前置过滤器拦截到客户端的调用请求的情况下，解析出所述调用请求中的输入参数；

对基于所述输入参数组装后得到的日志数据进行过滤并格式化，得到第一日志；

在所述服务器处理完成所述调用请求之后，接收所述服务器发送的包含所述调用请求的调用结果数据的日志数据，其中，包含所述调用结果数据的日志数据是所述服务器对经过后置过滤器的所述调用结果数据进行组装后得到的；

对包含所述调用结果数据的日志数据进行过滤并格式化，得到第二日志；

将所述第一日志和所述第二日志按照各自对应的类型异步存储到搜索引擎中。

2.根据权利要求1所述的方法，其特征在于，对基于所述输入参数组装后得到的日志数据或包含所述调用结果数据的日志数据进行格式化，得到所述第一日志或所述第二日志包括：

将所述基于所述输入参数组装后得到的日志数据或所述包含所述调用结果数据的日志数据按照不同的规则进行分类，得到不同类型的参数数据；

将所述不同类型的参数数据格式化为不同类型的日志，所述日志为所述第一日志或所述第二日志。

3.根据权利要求2所述的方法，其特征在于，在将所述不同类型的参数数据格式化为不同类型的日志之后，所述方法还包括：

从不同类型的所述日志中提取关键词，其中，所述关键词用于检索所述日志；

记录所述日志和所述关键词的关联关系。

4.一种日志处理装置，其特征在于，包括：

获取单元，用于在服务器通过前置过滤器拦截到客户端的调用请求的情况下，解析出所述调用请求中的输入参数；

第一处理单元，用于对基于所述输入参数组装后得到的日志数据进行过滤并格式化，得到第一日志；

接收单元，用于在所述服务器处理完成所述调用请求之后，接收所述服务器发送的包含所述调用请求的调用结果数据的日志数据，其中，包含所述调用结果数据的日志数据是所述服务器对经过后置过滤器的所述调用结果数据进行组装后得到的；

第二处理单元，用于对包含所述调用结果数据的日志数据进行过滤并格式化，得到第二日志；

存储单元，用于将所述第一日志和所述第二日志按照各自对应的类型异步存储到搜索引擎中。

5.根据权利要求4所述的装置，其特征在于，所述第一处理单元或所述第二处理单元包括：

分类模块，用于将所述基于所述输入参数组装后得到的日志数据或所述包含所述调用结果数据的日志数据按照不同的规则进行分类，得到不同类型的参数数据；

处理模块，用于将所述不同类型的参数数据格式化为不同类型的日志，所述日志为所述第一日志或所述第二日志。

6.根据权利要求5所述的装置，其特征在于，所述第一处理单元或所述第二处理单元包括还包括：

提取模块，用于在将所述不同类型的参数数据格式化为不同类型的日志之后，从不同类型的所述日志中提取关键词，其中，所述关键词用于检索所述日志；

记录模块，用于记录所述日志和所述关键词的关联关系。