CN117235130A - 一种日志处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种日志处理方法、装置、电子设备及存储介质。该方法包括：接收目标服务查询指令；根据目标服务查询指令，从日志处理系统的数据存储单元中获取目标服务在历史时间段内的目标历史请求、以及目标历史响应结果；根据原始请求的报文组装格式，对目标历史请求进行报文组装，得到目标报文；将目标报文发送至目标地址，以得到目标地址根据目标报文反馈的目标响应内容；根据目标历史响应结果和目标响应内容，得到目标分析结果。本申请的方法，提高了对日志处理的处理效果。

Description

一种日志处理方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种日志处理方法、装置、电子设备及存储介质。

背景技术

随着互联网用户增长，IT系统服务调用量激增。在异常时间段需要对异常请求进行问题定位，而在空闲时段进行问题复现。

目前对请求的复现主要采取人工的方式，通过日志文件查找当时的请求报文或者按照规范重新构造报文，通过工具对服务发起调用，观察服务日志或者主机日志，进行现象对比，从大量的日志中寻找错误，由此，确定待检测的生产系统的性能。

然而，现有的方法在对生产系统进行检测时，存在检测效果不好的问题。

发明内容

本申请提供一种日志处理方法、装置、电子设备及存储介质，用以解决现有的方法在对生产系统进行检测时，存在检测效果不好的问题。

第一方面，本申请提供一种日志处理方法，包括：

接收目标服务查询指令；

根据目标服务查询指令，从日志处理系统的数据存储单元中获取目标服务在历史时间段内的目标历史请求、以及目标历史响应结果；

根据原始请求的报文组装格式，对目标历史请求进行报文组装，得到目标报文，其中，原始请求为用户针对生产系统发起的、与历史请求对应的请求，生产系统为与目标历史请求和目标历史响应结果对应的系统；

将目标报文发送至目标地址，以得到目标地址根据目标报文反馈的目标响应内容，其中，目标地址为用户根据目标任务预先配置的地址；

根据目标历史响应结果和目标响应内容，得到目标分析结果。

在本申请中，在接收目标服务查询指令之前，方法还包括：

获取生产系统的历史日志信息；

根据历史日志信息的类型，对历史日志信息进行分类，得到分类日志信息；

提取分类日志信息中的日志信息，日志信息包括历史请求和历史响应结果；

根据预设的结构化数据要求，对目标日志信息中的非结构化数据进行结构化处理，得到结构化数据；

根据结构化数据，得到生产系统运行的预测结果；

将结构化数据、以及与结构化数据对应的预测结果存储在数据存储单元，以在数据存储单元接收到查询请求后，在日志处理系统中的显示单元中显示预测结果。

在本申请中，获取生产系统的历史日志信息，包括：

在生产系统运行时，根据日志处理系统的日志记录单元，获取生产系统的运行信息、服务链路的标识信息、以及中间件的运行信息，其中，运行信息包括请求信息，请求信息包括请求、响应头部、报文体、协议、以及执行时间；

根据生产系统的运行信息、服务链路的标识信息、以及中间件的运行信息，得到历史日志信息。

在本申请中，将结构化数据、以及与结构化数据对应的预测结果存储在数据存储单元，以在数据存储单元接收到查询请求后，在日志处理系统中的显示单元中显示预测结果，包括：

根据数据查询热度需求，对结构化数据、以及与结构化数据对应的预测结果进行划分，得到离线数据和热点数据；

将离线数据存入数据存储单元中的大数据存储集群中；

将热点数据存入数据存储单元中的分布式搜索引擎中。

在本申请中，将目标报文发送至目标地址，以得到目标地址根据目标报文反馈的目标响应内容，包括：

确定初始目标地址，初始目标地址为用户根据目标任务预先配置的地址；

对初始目标地址的配置信息进行压力调整处理，得到目标地址，配置信息包括并发数量，链接数量以及目标速率；

将目标报文发送至目标地址，以得到目标地址根据目标报文反馈的目标响应内容。

在本申请中，在将目标报文发送至目标地址，以得到目标地址反馈的响应内容之后，方法还包括：

将响应内容发送至测试系统，以在测试系统根据响应内容，得到离线测试结果后，将离线测试结果发送日志处理系统的结果分析单元，得到离线分析结果，测试系统为根据响应内容，对生产系统的运行状态进行模拟的系统；

在日志处理系统中的显示单元中显示离线分析结果。

在本申请中，根据历史响应结果和响应内容，得到分析结果，包括：

获取与响应内容对应的系统指标数据；

比对响应内容与执行结果的差异度，得到差异度分析结果；

根据系统指标数据，得到错误指标数据分析结果；

根据差异度分析结果和错误指标数据分析结果，得到分析结果。

在本申请中，在根据差异度分析结果和错误指标数据分析结果，得到分析结果之后，方法还包括：

将分析结果发送到日志处理系统中的显示单元中进行重放结果展示或系统压力情况展示。

在本申请中，在根据历史响应结果和响应内容，得到分析结果之后，方法还包括：

将分析结果发送至数据存储单元进行存储，以在数据存储单元接收到针对分析结果的查询指令后，数据存储单元将分析结果发送至日志处理系统中的显示单元中进行显示。

第二方面，本申请提供一种日志处理装置，包括：

接收模块，用于接收目标服务查询指令；

获取模块，用于根据目标服务查询指令，从日志处理系统的数据存储单元中获取目标服务在历史时间段内的目标历史请求、以及目标历史响应结果；

报文组装模块，用于根据原始请求的报文组装格式，对目标历史请求进行报文组装，得到目标报文，其中，原始请求为用户针对生产系统发起的、与历史请求对应的请求，生产系统为与目标历史请求和目标历史响应结果对应的系统；

发送模块，用于将目标报文发送至目标地址，以得到目标地址根据目标报文反馈的目标响应内容，其中，目标地址为用户根据目标任务预先配置的地址；

得到模块，用于根据目标历史响应结果和目标响应内容，得到目标分析结果。

第三方面，本申请提供了一种电子设备，包括：处理器，以及与处理器通信连接的存储器；

存储器存储计算机执行指令；

处理器执行存储器存储的计算机执行指令，以实现本申请的请求处理方法。

第四方面，一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现本申请的请求处理方法。

本申请提供的一种日志处理方法、装置、电子设备及存储介质，通过在接收目标服务查询指令后，根据目标服务查询指令，从日志处理系统的数据存储单元中获取目标服务在历史时间段内的目标历史请求、以及目标历史响应结果，根据原始请求的报文组装格式，对目标历史请求进行报文组装，得到目标报文，其中，原始请求为用户针对生产系统发起的、与历史请求对应的请求，生产系统为与目标历史请求和目标历史响应结果对应的系统，将目标报文发送至目标地址，以得到目标地址根据目标报文反馈的目标响应内容，其中，目标地址为用户根据目标任务预先配置的地址，进而根据目标历史响应结果和目标响应内容，得到目标分析结果的手段，能够根据目标服务查询指令，获取生产系统在历史时间段内的目标历史请求、以及目标历史响应结果，并通过将根据原始请求的报文组装格式对目标历史请求进行报文组装后的目标报文发送至目标地址，以对生产系统在历史时间段内的目标历史请求进行准确的模拟，从而得到目标响应内容，最后通过对目标历史响应结果和目标响应内容进行分析，得到目标分析结果，由此，改善了现有的方法存在使用效果不好的问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的一种日志处理系统的场景示意图；

图2为本申请实施例提供的一种日志处理方法的流程示意图；

图3为本申请实施例提供的另一种日志处理方法的流程示意图；

图4为本申请实施例提供的日志处理装置的结构示意图；

图5为本申请实施例提供的电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

现有技术中，在对请求进行复现时，主要采取人工的方式进行处理，通过日志文件查找当时的请求报文或者按照规范重新构造报文，通过工具对服务发起调用，观察服务日志或者主机日志，进行现象对比，从大量的日志中寻找错误，对服务进行线上性能观测，与正常服务进行对比。其中，采用人工的方式通过日志文件进行查找当时的请求报文，在大量日志查找所需目标的效率低下，且采用手工对请求进行重放达不到线上系统真实的压力，对异常无法复现。

为了解决上述问题，本申请采用日志处理系统进行处理，可以根据目标服务查询指令，从日志处理系统的数据存储单元中自动获取目标服务在历史时间段内的目标历史请求、以及目标历史响应结果，根据原始请求的报文组装格式对目标历史请求进行报文组装后的目标报文发送至人工配置的目标地址，实现生产系统在历史时间段内的目标历史请求的模拟，使得模拟结果更加准确，从而得到目标响应内容，最后通过对目标历史响应结果和目标响应内容进行分析，得到目标分析结果，同时，根据目标服务查询指令，从数据存储单元中直接获取目标服务查询指令对应的目标历史请求和目标历史响应结果的，比采用人工方式进行目标服务查询的效率更高，由此，改善了现有的方法存在使用效果不好的问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图对本申请的实施例进行描述。

图1为本申请实施例提供的一种日志处理系统的场景示意图，如图1所示，该日志处理系统包括：生产系统、测试系统、日志采集单元、日志分析单元、数据存储单元、请求控制单元、压力控制单元、结果分析单元和显示单元。日志采集单元采集生产系统运行产生的日志后，通过日志分析单元对采集到的日志进行清洗并输出到数据存储单元，数据存储单元将接收到的数据进行存储并响应请求控制单元发出的服务状态查询及显示单元的结果展示请求，请求控制单元接受请求重放指令后，查询对应时间段内数据存储单元中对指定服务进行请求重放的请求数据，压力控制单元用于对请求控制单元发出的请求进行压力调节，以得到压力调节后的结果，将请求重放结果及压力调节后的结果输出到测试系统进行离线测试，以得到离线测试结果，在得到离线测试结果后，将离线测试结果、请求重放结果以及压力调节后的结果输出到发送日志处理系统的结果分析单元进行结果分析，通过显示单元对分析结果入库或者输出展示。本申请实施例提供的日志处理方法的执行主体可以是日志处理系统。其中，日志处理系统可以为手机、平板、电脑等设备。本实施例对执行主体的实现方式不做特别限制，只要该执行主体能够接收目标服务查询指令；根据目标服务查询指令，从日志处理系统的数据存储单元中获取目标服务在历史时间段内的目标历史请求、以及目标历史响应结果；根据原始请求的报文组装格式，对目标历史请求进行报文组装，得到目标报文，其中，原始请求为用户针对生产系统发起的、与历史请求对应的请求，生产系统为与目标历史请求和目标历史响应结果对应的系统；将目标报文发送至目标地址，以得到目标地址根据目标报文反馈的目标响应内容，其中，目标地址为用户根据目标任务预先配置的地址；根据目标历史响应结果和目标响应内容，得到目标分析结果即可。

其中，生产系统可以指企业或组织中用于生产和提供产品或服务的系统。它通常包括硬件、软件、网络、数据库等多个组成部分，用于支持企业或组织的核心业务。

大数据存储集群是一种用于存储和处理大规模数据的计算机集群，可以由多台服务器组成，用于有效地存储、管理和检索大量数据，这些集群通常运行分布式文件系统(Hadoop Distributed File System)，以确保数据的可靠性和可扩展性，大数据存储集群可以用于支持各种大数据处理任务，包括数据分析、数据挖掘、机器学习等。

分布式搜索引擎是一种能够在大规模数据集上进行高效搜索和检索操作的系统，可以将搜索任务分解为多个部分，并将这些部分分配到多台计算机(节点)上同时处理，从而提高搜索速度和吞吐量，分布式搜索引擎通常使用并行计算和分布式存储来处理查询请求，以便在处理大量数据时能够获得良好的性能表现，其中，一些常见的分布式搜索引擎可以包括Elasticsearch和Apache Solr。

图2为本申请实施例提供的一种日志处理方法的流程示意图，如图2所示，该日志处理方法包括以下步骤：

S201、接收目标服务查询指令。

其中，目标服务查询指令可以指对生产系统中目标服务进行查询的指令，在本申请实施例中，目标服务查询指令可以为用户直接通过日志处理系统中请求控制单元的发送的用于请求重放的指令，也可以为用户通过其他系统设备所发送的用于请求重放的指令。

目标服务可以指对某个符合特定目标或特定要求的服务，其中，目标服务可以指在目标时间段内某种类别的服务，在本申请实施例中，生产系统在请求的执行时，所产生的数据可以带有特定的标识，比如，时间、执行请求的类型，由此，可以通过目标服务查询指令对该标识进行查询。

其中，在本申请实施例中，在接收目标服务查询指令之前，方法还包括：

获取生产系统的历史日志信息；

根据历史日志信息的类型，对历史日志信息进行分类，得到分类日志信息；

提取分类日志信息中的日志信息，日志信息包括历史请求和历史响应结果；

根据预设的结构化数据要求，对目标日志信息中的非结构化数据进行结构化处理，得到结构化数据；

根据结构化数据，得到生产系统运行的预测结果；

将结构化数据、以及与结构化数据对应的预测结果存储在数据存储单元，以在数据存储单元接收到查询请求后，在日志处理系统中的显示单元中显示预测结果。

其中，历史日志信息可以指生产系统历史运行时所产生的日志，该日志可以包括服务内存、CPU使用情况日志，服务所在主机内存、CPU、网络、磁盘使用情况日志。

对历史日志信息进行分类可以指按照不同维度对历史日志信息进行分类的方法，其中，根据不同维度进行分类可以包括日志级别分类、功能模块分类、时间分类、来源分类、业务分类、异常类型分类等。

分类日志信息可以指对历史日志信息进行分类后得到的信息。

提取分类日志信息中的日志信息可以指从分类日志信息中对历史请求和历史响应结果进行提取的过程，其中，历史请求可以指用户向生产系统已发出过的请求，该请求中包含了用户需要的数据或者操作，历史响应结果可以指生产系统需要根据历史请求中的数据或操作进行相应的处理，并返回给用户的处理结果。

结构化数据要求可以指目标日志信息中对非结构化数据进行处理的要求，其中，非结构化数据可以指目标日志信息中没有明确定义的数据格式或组织方式的数据，由于非结构化数据不适合使用传统的关系型数据库进行存储和处理，因此，需要对其进行结构化处理，得到结构化数据。

结构化数据是以表格、行和列的形式进行组织的数据，每个数据项都有明确的数据类型和定义，其中，结构化数据可以在数据库中存储，并使用SQL等查询语言进行检索和操作，典型的结构化数据包括数字、日期、金额等。例如，关系数据库中的表格就是结构化数据的典型例子。

对目标日志信息中的非结构化数据进行结构化处理，得到结构化数据可以包括将非结构化数据转化为结构化数据可以采用文本提取方法。即使用自然语言处理技术从文本中提取出关键信息，例如实体、关键词等，然后将其映射到结构化表格中的字段，以便进行存储和分析，从而更好地利用不同类型的数据。在本申请实施例中，将非结构化数据转化为结构化数据后，对结构化数据进行建模可以得到对服务未来运行情况更加准确的预测结果。

其中，在本申请实施例中，获取生产系统的历史日志信息，包括：

在生产系统运行时，根据日志处理系统的日志记录单元，获取生产系统的运行信息、服务链路的标识信息、以及中间件的运行信息，其中，运行信息包括请求信息，请求信息包括请求、响应头部、报文体、协议、以及执行时间；

根据生产系统的运行信息、服务链路的标识信息、以及中间件的运行信息，得到历史日志信息。

其中，生产系统的运行信息是指关于正在运行的实际生产系统的数据和信息，这些运行信息可以包括性能指标，如响应时间、吞吐量、并发连接数等，用于衡量系统的性能和效率；资源利用率，涉及系统的资源使用情况，如CPU利用率、内存使用量、磁盘空间等；错误和异常，记录系统产生的错误、异常和警告信息，以帮助故障排除和问题解决；日志记录，包括系统产生的各种日志信息；用户行为，关于用户在系统中的操作、活动和访问情况的信息；数据流量，对于网络系统，记录数据流量、传输速率、带宽利用率等信息；状态监测，监测系统的各种状态，如运行状态、停机时间、可用性等。

服务链路的标识信息是用于唯一标识和识别在分布式系统或微服务架构中的服务之间的关系和流程的信息，服务链路标识通常用于追踪一个请求在系统中的传递路径，以便监测和分析整个服务链路中的性能、延迟、错误和效率等指标，这些标识信息通常包括以下内容：Trace ID(追踪标识)、Span ID(跨度标识)、父子关系、时间戳、额外信息通过记录和传递。这些标识信息，可以实现以下目标：追踪分布式请求、错误追踪、监测和诊断。通过服务链路标识信息，可以更好地了解分布式系统的工作方式，以及在不同组件之间的请求如何传递和处理。

中间件的运行信息是指在分布式系统、应用程序或服务中使用的中间件(middleware)的状态、性能指标和操作记录。中间件是位于操作系统和应用程序之间的软件层，用于处理通信、数据传输、事务管理等基础功能，它可以帮助不同的组件或服务相互协作，对于保障分布式系统的稳定性、性能和安全性具有重要作用。

其中，在本申请实施例中，将结构化数据、以及与结构化数据对应的预测结果存储在数据存储单元，以在数据存储单元接收到查询请求后，在日志处理系统中的显示单元中显示预测结果，包括：

根据数据查询热度需求，对结构化数据、以及与结构化数据对应的预测结果进行划分，得到离线数据和热点数据；

将离线数据存入数据存储单元中的大数据存储集群中；

将热点数据存入数据存储单元中的分布式搜索引擎中。

其中，数据查询热度需求可以指对数据或信息的热门程度进行查询和分析的需求，该数据查询热度需求可以根据系统记录的用户的查询行为确定，比如，可以根据系统记录的用户对目标类别数据的查询频率，将不同类别的结构化数据、以及与结构化数据对应的预测结果划分为离线数据和热点数据。

离线数据可以指未满足数据查询热度需求的数据，由于该数据的查询频率低，对响应的要求也较低，无需应对高频查询的情况，因此，可以存入数据存储单元中的大数据存储集群中。

热点数据可以指满足数据查询热度需求的数据，由于该数据的查询频率高，对响应的要求也较高，需应对高频查询的情况，因此，可以存入数据存储单元中的分布式搜索引擎中，以通过分布式搜索引擎提高对热点数据的查询响应速率。

S202、根据目标服务查询指令，从日志处理系统的数据存储单元中获取目标服务在历史时间段内的目标历史请求、以及目标历史响应结果。

其中，目标历史请求可以指根据目标服务查询指令从历史请求中确定的请求，目标历史响应结果为目标历史请求的响应结果。

在本申请实施例中，根据目标服务查询指令，从日志处理系统的数据存储单元中获取目标服务在历史时间段内的目标历史请求、以及目标历史响应结果的过程可以为：根据目标服务查询指令，确定目标服务查询指令在数据存储单元中的历史请求和历史请求对应的历史响应结果，从日志处理系统的数据存储单元中获取目标服务在历史时间段内的目标历史请求和目标历史响应结果。

S203、根据原始请求的报文组装格式，对目标历史请求进行报文组装，得到目标报文，其中，原始请求为用户针对生产系统发起的、与历史请求对应的请求，生产系统为与目标历史请求和目标历史响应结果对应的系统。

其中，原始请求可以指用户对当前生产系统所发送的请求。

报文组装就是指将数据按照特定的格式和规则组合成一个完整的报文或消息的过程，在本申请实施例中，对目标历史请求按照原始请求的顺序组装成原始的消息，得到目标报文的过程。

报文可以用于实现请求。报文是在计算机网络中传输的数据单元，它包含了请求的内容和相关的元数据，如请求方法、请求头、请求体等。

S204、将目标报文发送至目标地址，以得到目标地址根据目标报文反馈的目标响应内容，其中，目标地址为用户根据目标任务预先配置的地址。

其中，目标地址是在网络通信中用于识别数据包应该发送到哪个设备或主机的标识。在不同的通信协议中，目标地址的类型和格式会有所不同，比如，在以太网中，目标地址通常是MAC地址，而在互联网协议中，目标地址是IP地址，这个地址帮助确保数据包被正确地传送到目标设备，在本申请实施例中，目标地址可以为用户根据目标任务预先配置的地址。

反馈的目标响应内容是指在给定的情境中，期望或希望从接收方获得的反馈回复，这种回复通常是针对之前的行动、信息传递或请求所做出的，用于确认接收、提供结果、回答问题，目标响应内容因情境而异，可以是文本、数据、声音、图像等不同形式的信息，这种响应内容是对目标报文的回应，包含有关操作是否成功、请求结果如何、所需信息等的信息，在本申请实施例中，根据目标报文反馈的目标响应内容是指，基于发送的目标报文，接收方根据目标报文的目标地址反馈的响应内容。

其中，在本申请实施例中，将目标报文发送至目标地址，以得到目标地址根据目标报文反馈的目标响应内容的方法可以包括：

确定初始目标地址，初始目标地址为用户根据目标任务预先配置的地址；

对初始目标地址的配置信息进行压力调整处理，得到目标地址，配置信息包括并发数量，链接数量以及目标速率；

将目标报文发送至目标地址，以得到目标地址根据目标报文反馈的目标响应内容。

其中，压力调整处理可以指在生产系统运行过程中，根据生产系统的负载情况，动态地调整生产系统的资源分配，以保证生产系统的稳定性和性能。在本申请实施例中，可以通过配置并发数量，链接数量以及目标速率来对初始目标地址的配置信息进行压力调整处理。

并发数量可以指同时处理的请求数量。在压力测试中，可以通过逐渐增加并发数量来测试生产系统的性能极限。并发数量的增加会增加生产系统的负载，如果生产系统无法处理这些并发请求，就会出现性能瓶颈或者系统崩溃的情况。因此，在进行压力测试时，需要逐渐增加并发数量，观察系统的响应时间、吞吐量等指标，以确定生产系统的性能极限和瓶颈点。同时，也需要根据实际情况合理设置并发数量，以保证生产系统的稳定性和可靠性。

链接数量可以指同时建立的连接数。通过配置的目标地址的链接数量，创建相应的链接数量，以达到对目标地址的链接压力。

目标速率可以指生产系统在一定时间内需要处理的请求数量或数据量，通过配置的目标速率模式，采用相对应的流量速率管理算法进行流速管理，以达到目标地址在固定时间段内产生相应的系统吞吐量。

其中，在本申请实施例中，在将目标报文发送至目标地址，以得到目标地址反馈的响应内容之后方法还包括：

将响应内容发送至测试系统，以在测试系统根据响应内容，得到离线测试结果后，将离线测试结果发送日志处理系统的结果分析单元，得到离线分析结果，测试系统为根据响应内容，对生产系统的运行状态进行模拟的系统；

在日志处理系统中的显示单元中显示离线分析结果。

其中，测试系统可以指与生产系统相同，用于模拟生产系统运行情况的系统。在本申请实施例中，测试系统可以接收响应内容，并根据响应内容，进行离线测试，由此得到离线测试结果，在得到离线测试结果后，将离线测试结果发送日志处理系统的结果分析单元，得到离线分析结果，并将离线分析结果通过显示单元显示。

S205、根据目标历史响应结果和目标响应内容，得到目标分析结果。

其中，目标分析结果可以指对目标历史响应结果和目标响应内容的分析结果，该分析结果可以表征生产系统的运行情况，在本申请实施例中，通过将目标历史响应结果和目标响应内容进行对比，对比响应内容、执行时间，从而可以得到表征相似度、与现有内容的差异的分析对比结果。同时，还可以通过对比服务内存、CPU使用率，对比主机内存、CPU使用率的方式，得到表征其他指标比对的分析对比结果。另外，还可以通过标记想要出现的错误信息，来对哪些请求会出现标记的错误进行确定，从而得到表征生产问题的分析对比结果；通过上述分析对比结果，可以得到目标分析结果。

其中，在本申请实施例中，根据历史响应结果和目标响应内容，得到分析结果的方法可以包括：

获取与响应内容对应的系统指标数据；

比对响应内容与执行结果的差异度，得到差异度分析结果；

根据系统指标数据，得到错误指标数据分析结果；

根据差异度分析结果和错误指标数据分析结果，得到分析结果。

其中，差异度分析是一种用于比较两个或多个对象、数据集、样本等之间的差异或相似性的方法，通过差异度分析可以更好地确定数据之间的关系、趋势和模式，在本申请实施例中，通过比对响应内容与执行结果的差异度，得到差异度分析结果。

其中，在本申请实施例中，在根据差异度分析结果和错误指标数据分析结果，得到分析结果之后，方法还包括：

将分析结果发送到日志处理系统中的显示单元中进行重放结果展示或系统压力情况展示。

其中，重放结果展示指得到分析结果后，根据分析结果的内容执行请求重放并展示其结果的过程，以便复现特定问题或场景。

系统压力展示是指在进行系统压力调节模拟后，将该压力情况进行展示的过程。

其中，在本申请实施例中，在根据历史响应结果和响应内容，得到分析结果之后，方法还包括：

将分析结果发送至数据存储单元进行存储，以在数据存储单元接收到针对分析结果的查询指令后，数据存储单元将分析结果发送至日志处理系统中的显示单元中进行显示。

本申请实施例提供的日志处理方法，可以根据目标服务查询指令，自动获取生产系统在历史时间段内的目标历史请求、以及目标历史响应结果，并通过将根据原始请求的报文组装格式对目标历史请求进行报文组装后的目标报文发送至目标地址，以对生产系统在历史时间段内的目标历史请求进行准确的模拟，达到线上系统的真实压力，从而得到目标响应内容，最后通过对目标历史响应结果和目标响应内容进行分析，得到目标分析结果，由此，改善了现有的方法存在使用效果不好的问题。

图3为本申请实施例提供的另一种日志处理方法的流程示意图，如图3所示，该日志处理方法包括：

S301、获取生产系统运行产生的历史日志信息；

S302、对不同类型的日志进行过滤、分类，存储到数据存储单元。

其中，数据存储单元用于接收持久化日志分析模块输出的数据，并响应查询服务状态，对查询数据的请求进行分类，对于热点数据的查询，将数据从分布式搜索引擎中缓存，方便再次快速查询，对于历史大数据量的查询，采用离线处理的方式，发出查询数据的任务，采用后台的方式对历史数据进行归类，查询完之后发出通知。

S303、接收请求重放指令，查询对应时间段内数据存储单元中的请求数据，对指定服务发出重放请求。

其中，根据查询后筛选出的请求，按照原始请求的报文格式组装请求报文，并且根据用户配置的请求目标地址发起请求。

S304、将重放请求的结果输出到结果分析单元进行分析。

其中，根据配置的目标地址的并发数量，创建相应的并发请求线程，并将发起的请求按照顺序分配到不同的任务队列中；根据配置的目标地址的链接数量，创建相应的链接数量，以达到对目标地址的链接压力；按照配置的目标速率模式，采用相对应的流量速率管理算法进行流速管理，以达到目标地址在固定时间段内产生相应的系统吞吐量。

在本申请实施例中，在步骤S303和S304之间，还可以根据对指定服务发出的重放请求，进行压力调节，并根据压力调节的结果，执行对指定服务的重放。

结果分析包括：比对响应内容与执行结果的差异度，对比服务内存、CPU使用率，对比主机内存、CPU使用率，得到差异度分析结果；标记想要出现的错误信息，根据系统指标数据，得到错误指标数据分析结果。

S305、对分析后的结果进行入库或者输出展示。

本申请实施例提供的另一种日志处理方法，可以解决采用人工方式检索日志效率低下的问题，同时改善现有方法中日志文件通常采用滚动存储的方法，导致时间过去太久日志文件会丢失的问题，并还改善采用手工对请求进行重放可能达不到线上系统真实的压力，对异常无法复现的问题，以及采用脚本配合压测工具的方式无法自动筛选出想要时间段的请求报文，无法准确的模拟触发异常情况的边界条件的问题，由此，通过记录生产系统运行时产生的服务调用日志，对日志进行分析入库，在合适的时刻对选定的时间段进行请求的回放，通过压力调节模块模拟真实的线上压力，通过结果分析模块和服务状态监控模块来对请求回放的结果进行分析，来实现对线上服务的性能调优或者问题复现，提高了日志处理的效果。

图4为本申请实施例提供的日志处理装置的结构示意图。如图4所示，该日志处理装置40包括：接收模块401、获取模块402、报文组装模块403、发送模块404以及得到模块405。其中：

接收模块401，用于接收目标服务查询指令；

获取模块402，用于根据目标服务查询指令，从日志处理系统的数据存储单元中获取目标服务在历史时间段内的目标历史请求、以及目标历史响应结果；

报文组装模块403，用于根据原始请求的报文组装格式，对目标历史请求进行报文组装，得到目标报文，其中，原始请求为用户针对生产系统发起的、与历史请求对应的请求，生产系统为与目标历史请求和目标历史响应结果对应的系统；

发送模块404，用于将目标报文发送至目标地址，以得到目标地址根据目标报文反馈的目标响应内容，其中，目标地址为用户根据目标任务预先配置的地址；

得到模块405，用于根据目标历史响应结果和目标响应内容，得到目标分析结果。

在本申请实施例中，获取模块402还可以用于：

获取生产系统的历史日志信息；

根据历史日志信息的类型，对历史日志信息进行分类，得到分类日志信息；

提取分类日志信息中的日志信息，日志信息包括历史请求和历史响应结果；

根据预设的结构化数据要求，对目标日志信息中的非结构化数据进行结构化处理，得到结构化数据；

根据结构化数据，得到生产系统运行的预测结果；

将结构化数据、以及与结构化数据对应的预测结果存储在数据存储单元，以在数据存储单元接收到查询请求后，在日志处理系统中的显示单元中显示预测结果。

在本申请实施例中，获取模块402还可以具体用于：

在生产系统运行时，根据日志处理系统的日志记录单元，获取生产系统的运行信息、服务链路的标识信息、以及中间件的运行信息，其中，运行信息包括请求信息，请求信息包括请求、响应头部、报文体、协议、以及执行时间；

根据生产系统的运行信息、服务链路的标识信息、以及中间件的运行信息，得到历史日志信息。

在本申请实施例中，获取模块402还可以具体用于：

根据数据查询热度需求，对结构化数据、以及与结构化数据对应的预测结果进行划分，得到离线数据和热点数据；

将离线数据存入数据存储单元中的大数据存储集群中；

将热点数据存入数据存储单元中的分布式搜索引擎中。

在本申请实施例中，发送模块404还可以用于：

确定初始目标地址，初始目标地址为用户根据目标任务预先配置的地址；

对初始目标地址的配置信息进行压力调整处理，得到目标地址，配置信息包括并发数量，链接数量以及目标速率；

将目标报文发送至目标地址，以得到目标地址根据目标报文反馈的目标响应内容。

在本申请实施例中，得到模块405还可以用于：

获取与响应内容对应的系统指标数据；

比对响应内容与执行结果的差异度，得到差异度分析结果；

根据系统指标数据，得到错误指标数据分析结果；

根据差异度分析结果和错误指标数据分析结果，得到分析结果。

在本申请实施例中，得到模块405还可以用于：

将分析结果发送到日志处理系统中的显示单元中进行重放结果展示或系统压力情况展示。

在本申请实施例中，得到模块405还可以用于

将分析结果发送至数据存储单元进行存储，以在数据存储单元接收到针对分析结果的查询指令后，数据存储单元将分析结果发送至日志处理系统中的显示单元中进行显示。

由上可知，本实施例的日志处理装置由接收模块401，用于接收目标服务查询指令；获取模块402，用于根据目标服务查询指令，从日志处理系统的数据存储单元中获取目标服务在历史时间段内的目标历史请求、以及目标历史响应结果；报文组装模块403，用于根据原始请求的报文组装格式，对目标历史请求进行报文组装，得到目标报文，其中，原始请求为用户针对生产系统发起的、与历史请求对应的请求，生产系统为与目标历史请求和目标历史响应结果对应的系统；发送模块404，用于将目标报文发送至目标地址，以得到目标地址根据目标报文反馈的目标响应内容，其中，目标地址为用户根据目标任务预先配置的地址；得到模块405，用于根据目标历史响应结果和目标响应内容，得到目标分析结果。由此，提升了日志处理的效果。

图5为本申请实施例提供的电子设备的结构示意图。如图5所示，该电子设备50包括：

该电子设备50可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、通信部件503等部件。其中，处理器501、存储器502以及通信部件503通过总线504连接。

在具体实现过程中，至少一个处理器501执行存储器502存储的计算机执行指令，使得至少一个处理器501执行如上的日志处理方法。

处理器501的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

在上述的图5所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-volatile Memory，NVM)，例如至少一个磁盘存储器。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

在一些实施例中，还提出一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述任一种日志处理方法中的步骤。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种日志处理方法中的步骤。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种日志处理方法中的步骤，因此，可以实现本申请实施例所提供的任一种日志处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (12)

1.一种日志处理方法，其特征在于，应用于日志处理系统，所述方法包括：

接收目标服务查询指令；

根据所述目标服务查询指令，从所述日志处理系统的数据存储单元中获取目标服务在历史时间段内的目标历史请求、以及目标历史响应结果；

根据原始请求的报文组装格式，对所述目标历史请求进行报文组装，得到目标报文，其中，所述原始请求为用户针对生产系统发起的、与所述历史请求对应的请求，所述生产系统为与所述目标历史请求和所述目标历史响应结果对应的系统；

将所述目标报文发送至目标地址，以得到所述目标地址根据所述目标报文反馈的目标响应内容，其中，所述目标地址为用户根据所述目标任务预先配置的地址；

根据所述目标历史响应结果和所述目标响应内容，得到目标分析结果。

2.根据权利要求1所述的方法，其特征在于，在所述接收目标服务查询指令之前，所述方法还包括：

获取所述生产系统的历史日志信息；

根据所述历史日志信息的类型，对所述历史日志信息进行分类，得到分类日志信息；

提取所述分类日志信息中的日志信息，所述日志信息包括历史请求和历史响应结果；

根据预设的结构化数据要求，对所述目标日志信息中的非结构化数据进行结构化处理，得到结构化数据；

根据所述结构化数据，得到所述生产系统运行的预测结果；

将所述结构化数据、以及与所述结构化数据对应的所述预测结果存储在所述数据存储单元，以在所述数据存储单元接收到查询请求后，在所述日志处理系统中的显示单元中显示所述预测结果。

3.根据权利要求2所述的方法，其特征在于，所述获取生产系统的历史日志信息，包括：

在所述生产系统运行时，根据所述日志处理系统的日志记录单元，获取所述生产系统的运行信息、服务链路的标识信息、以及中间件的运行信息，其中，所述运行信息包括请求信息，所述请求信息包括请求、响应头部、报文体、协议、以及执行时间；

根据所述生产系统的运行信息、服务链路的标识信息、以及中间件的运行信息，得到历史日志信息。

4.根据权利要求2所述的方法，其特征在于，所述将所述结构化数据、以及与所述结构化数据对应的所述预测结果存储在所述数据存储单元，以在所述数据存储单元接收到查询请求后，在所述日志处理系统中的显示单元中显示所述预测结果，包括：

根据数据查询热度需求，对所述结构化数据、以及与所述结构化数据对应的所述预测结果进行划分，得到离线数据和热点数据；

将所述离线数据存入所述数据存储单元中的大数据存储集群中；

将所述热点数据存入所述数据存储单元中的分布式搜索引擎中。

5.根据权利要求1所述的方法，其特征在于，所述将所述目标报文发送至目标地址，以得到所述目标地址根据所述目标报文反馈的目标响应内容，包括：

确定初始目标地址，所述初始目标地址为用户根据所述目标任务预先配置的地址；

对所述初始目标地址的配置信息进行压力调整处理，得到所述目标地址，所述配置信息包括并发数量，链接数量以及目标速率；

将所述目标报文发送至所述目标地址，以得到所述目标地址根据所述目标报文反馈的目标响应内容。

6.根据权利要求1所述的方法，其特征在于，在将所述目标报文发送至目标地址，以得到所述目标地址反馈的响应内容之后，所述方法还包括：

将所述响应内容发送至测试系统，以在所述测试系统根据所述响应内容，得到离线测试结果后，将所述离线测试结果发送所述日志处理系统的结果分析单元，得到离线分析结果，所述测试系统为根据所述响应内容，对所述生产系统的运行状态进行模拟的系统；

在所述日志处理系统中的显示单元中显示所述离线分析结果。

7.根据权利要求1所述的方法，其特征在于，所述根据所述目标历史响应结果和所述目标响应内容，得到目标分析结果，包括：

获取与所述响应内容对应的系统指标数据；

比对所述响应内容与执行结果的差异度，得到差异度分析结果；

根据所述系统指标数据，得到错误指标数据分析结果；

根据所述差异度分析结果和所述错误指标数据分析结果，得到分析结果。

8.根据权利要求7所述的方法，其特征在于，在根据所述差异度分析结果和所述错误指标数据分析结果，得到分析结果之后，所述方法还包括：

将所述分析结果发送到所述日志处理系统中的显示单元中进行重放结果展示或系统压力情况展示。

9.根据权利要求1所述的方法，其特征在于，在根据所述历史响应结果和所述响应内容，得到分析结果之后，所述方法还包括：

将所述分析结果发送至所述数据存储单元进行存储，以在所述数据存储单元接收到针对所述分析结果的查询指令后，所述数据存储单元将所述分析结果发送至所述日志处理系统中的显示单元中进行显示。

10.一种日志处理装置，其特征在于，包括：

接收模块，用于接收目标服务查询指令；

获取模块，用于根据所述目标服务查询指令，从所述日志处理系统的数据存储单元中获取目标服务在历史时间段内的目标历史请求、以及目标历史响应结果；

报文组装模块，用于根据原始请求的报文组装格式，对所述目标历史请求进行报文组装，得到目标报文，其中，所述原始请求为用户针对生产系统发起的、与所述历史请求对应的请求，所述生产系统为与所述目标历史请求和所述目标历史响应结果对应的系统；

发送模块，用于将所述目标报文发送至目标地址，以得到所述目标地址根据所述目标报文反馈的目标响应内容，其中，所述目标地址为用户根据所述目标任务预先配置的地址；

得到模块，用于根据所述目标历史响应结果和所述目标响应内容，得到目标分析结果。

11.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至9中任一项所述的请求处理方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至9任一项所述的请求处理方法。