CN109150998A - 基于云测试平台的日志文件处理系统及方法 - Google Patents

Abstract

本发明公开了一种基于云测试平台的日志文件处理系统及方法。其中，该系统包括：前端服务器、后端服务器以及存储服务器；其中，前端服务器，用于根据本地存储的日志文件处理来自用户终端的日志访问请求，并在本地存储的日志文件中未包含日志访问请求所对应的日志文件时，向后端服务器发送后端请求消息；后端服务器，用于根据本地存储的日志文件处理来自前端服务器的后端请求消息，并在本地存储的日志文件中未包含后端请求消息所对应的日志文件时，向存储服务器发送存储请求消息；存储服务器，用于存储与各个测试任务相对应的日志文件，根据本地存储的日志文件处理来自后端服务器的存储请求消息。该方式提升了访问性能，避免了卡顿问题。

Description

基于云测试平台的日志文件处理系统及方法

技术领域

本发明涉及计算机技术领域，具体涉及一种基于云测试平台的日志文件处理系统及方法。

背景技术

在云测试平台中，由于测试任务数量众多，因此，测试结束后生成的测试日志文件的数量也非常庞大。在现有技术中，通常将测试日志文件统一存储在数据库中。当需要访问测试日志文件时，通过访问数据库获取对应的日志文件。

但是，发明人在实现本发明的过程中发现，现有技术中至少存在下述缺陷：由于日志文件的数量庞大，所有关于日志文件的访问请求均由数据库处理时，势必会导致数据库的压力增大、性能下降，进而导致访问速度缓慢，容易卡顿。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于云测试平台的日志文件处理系统及方法。

根据本发明的一个方面，提供了一种基于云测试平台的日志文件处理系统，包括：前端服务器、后端服务器以及存储服务器；其中，

所述前端服务器，用于根据本地存储的日志文件处理来自用户终端的日志访问请求，并在本地存储的日志文件中未包含所述用户终端的日志访问请求所对应的日志文件时，进一步向所述后端服务器发送后端请求消息，以请求所述用户终端的日志访问请求所对应的日志文件；

所述后端服务器，用于根据本地存储的日志文件处理来自所述前端服务器的后端请求消息，并在本地存储的日志文件中未包含所述前端服务器的后端请求消息所对应的日志文件时，进一步向所述存储服务器发送存储请求消息，以请求所述用户终端的日志访问请求所对应的日志文件；

所述存储服务器，用于存储与各个测试任务相对应的日志文件，并根据本地存储的日志文件处理来自所述后端服务器的存储请求消息。

可选的，所述前端服务器进一步用于：根据所述后端服务器针对所述后端请求消息返回的后端请求结果获取所述用户终端的日志访问请求所对应的日志文件，按照预设前端缓存策略将所述用户终端的日志访问请求所对应的日志文件缓存在本地。

可选的，所述预设前端缓存策略包括：判断所述用户终端的日志访问请求所对应的日志文件的大小是否小于预设缓存阈值；若是，将所述用户终端的日志访问请求所对应的日志文件缓存在本地。

可选的，所述预设缓存阈值为100M。

可选的，所述后端服务器进一步用于：根据所述存储服务器针对所述存储请求消息返回的存储请求结果获取所述用户终端的日志访问请求所对应的日志文件，将所述用户终端的日志访问请求所对应的日志文件存储在本地。

可选的，所述后端服务器进一步用于：在本地存储的日志文件中未包含所述前端服务器的后端请求消息所对应的日志文件时，针对所述前端服务器的后端请求消息所对应的日志文件执行加锁操作后，向所述存储服务器发送存储请求消息；

并且，将所述用户终端的日志访问请求所对应的日志文件缓存在本地后，针对所述前端服务器的后端请求消息所对应的日志文件执行解锁操作。

可选的，各个日志文件通过键值对方式存储，则所述后端服务器具体用于：针对所述前端服务器的后端请求消息所对应的日志文件的键执行加锁操作；其中，所述前端服务器的后端请求消息所对应的日志文件的键通过所述前端服务器的后端请求消息所对应的日志文件的摘要信息表示。

可选的，所述前端服务器包括：由多台代理服务器或缓存服务器构成的前端服务器集群；

所述后端服务器包括：由多台WEB服务器构成的后端服务器集群；

所述存储服务器包括：由多台分布式服务器构成的分布式存储服务器集群。

可选的，所述前端服务器集群为分布式前端服务器集群，所述后端服务器集群为分布式后端服务器集群，并且，所述代理服务器或缓存服务器包括：VARNISH服务器。

可选的，所述日志访问请求中包含与日志文件对应的URL信息；并且，所述URL信息中包含日志文件的摘要信息；并且，所述后端请求消息和/或所述存储请求消息中包含日志文件的摘要信息。

根据本发明的另一方面，提供了一种基于上述的系统的日志文件处理方法，包括：

前端服务器根据本地存储的日志文件处理来自用户终端的日志访问请求，并在本地存储的日志文件中未包含所述用户终端的日志访问请求所对应的日志文件时，进一步向所述后端服务器发送后端请求消息，以请求所述用户终端的日志访问请求所对应的日志文件；

后端服务器根据本地存储的日志文件处理来自所述前端服务器的后端请求消息，并在本地存储的日志文件中未包含所述前端服务器的后端请求消息所对应的日志文件时，进一步向所述存储服务器发送存储请求消息，以请求所述用户终端的日志访问请求所对应的日志文件；

存储服务器存储与各个测试任务相对应的日志文件，并根据本地存储的日志文件处理来自所述后端服务器的存储请求消息。

可选的，所述方法进一步包括：

前端服务器根据所述后端服务器针对所述后端请求消息返回的后端请求结果获取所述用户终端的日志访问请求所对应的日志文件，按照预设前端缓存策略将所述用户终端的日志访问请求所对应的日志文件缓存在本地。

可选的，所述预设前端缓存策略包括：判断所述用户终端的日志访问请求所对应的日志文件的大小是否小于预设缓存阈值；若是，将所述用户终端的日志访问请求所对应的日志文件缓存在本地。

可选的，所述方法进一步包括：

后端服务器根据所述存储服务器针对所述存储请求消息返回的存储请求结果获取所述用户终端的日志访问请求所对应的日志文件，将所述用户终端的日志访问请求所对应的日志文件缓存在本地。

可选的，所述方法进一步包括：后端服务器在本地存储的日志文件中未包含所述前端服务器的后端请求消息所对应的日志文件时，针对所述前端服务器的后端请求消息所对应的日志文件执行加锁操作后，向所述存储服务器发送存储请求消息；并且，将所述用户终端的日志访问请求所对应的日志文件缓存在本地后，针对所述前端服务器的后端请求消息所对应的日志文件执行解锁操作。

根据本发明公开的基于云测试平台的日志文件处理系统及方法中，设置了前端服务器、后端服务器以及存储服务器三层存储节点。具体地，由前端服务器面向用户终端处理日志访问请求，并在前端服务器中未存储相对应的日志文件时请求后端服务器，若后端服务器也未存储相对应的日志文件则进一步请求存储服务器。由此可见，由于前端服务器能够分担一部分日志访问请求并直接通过本地缓存的数据处理该部分日志访问请求，因此，不必将所有的日志访问请求均转发给后端服务器或存储服务器，从而降低了后端服务器或存储服务器的压力、提升了访问性能，进而避免了访问速度缓慢，容易卡顿的问题。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明一个实施例的基于云测试平台的日志文件处理系统的结构示意图；

图2示出了本发明另一个实施例的基于云测试平台的日志文件处理系统的结构示意图；

图3示出了一种基于上述日志文件处理系统的日志文件处理方法的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了本发明一个实施例的基于云测试平台的日志文件处理系统的结构示意图。如图1所示，该系统包括：前端服务器11、后端服务器12以及存储服务器13。其中，前端服务器11，用于根据本地存储的日志文件处理来自用户终端的日志访问请求，并在本地存储的日志文件中未包含用户终端的日志访问请求所对应的日志文件时，进一步向后端服务器12发送后端请求消息，以请求用户终端的日志访问请求所对应的日志文件。后端服务器12，用于根据本地存储的日志文件处理来自前端服务器的后端请求消息，并在本地存储的日志文件中未包含前端服务器的后端请求消息所对应的日志文件时，进一步向存储服务器发送存储请求消息，以请求用户终端的日志访问请求所对应的日志文件。存储服务器13，用于存储与各个测试任务相对应的日志文件，并根据本地存储的日志文件处理来自后端服务器的存储请求消息。

由此可见，由于前端服务器能够分担一部分日志访问请求并直接通过本地缓存的数据处理该部分日志访问请求，因此，不必将所有的日志访问请求均转发给后端服务器或存储服务器，从而降低了后端服务器或存储服务器的压力、提升了访问性能，进而避免了访问速度缓慢，容易卡顿的问题。

图2示出了本发明另一个实施例的基于云测试平台的日志文件处理系统的结构示意图。如图2所示，该系统包括：由多台代理服务器(也叫反向代理服务器或缓存服务器)构成的前端服务器集群21、由多台WEB服务器构成的后端服务器集群22以及由多台分布式服务器构成的分布式存储服务器集群23。图2中的每个集群中均包含多台分布式服务器，图中未示出。

为了便于理解，首先介绍日志文件的存储过程：云测试平台在某台设备执行完测试任务后，将相应的测试日志文件上传回WEB端，以便由多台WEB服务器构成的后端服务器集群22进行存储；然后，后端服务器集群22在WEB端将日志文件存储到分布式存储服务器集群23中，以实现日志文件的冗余存储以及持久化存储。具体地，在后端服务器集群22以及分布式存储服务器集群23中存储日志文件时，可以通过键值对的方式进行存储，以实现快速查询的效果。例如，以文件的MD5等摘要信息作为日志文件的key，后续根据日志文件的key进行快速查询。另外，在后续的访问过程中，为了实现日志文件的下载，还需要分别针对每个日志文件生成对应的URL信息，以便根据该URL信息查询并下载对应的日志文件。具体地，该URL信息中进一步包含日志文件的key。

具体实施时，由前端服务器集群21负责接收并处理来自用户终端的日志访问请求。具体地，前端服务器集群21针对接收到的日志访问请求进行解析，以获取其中包含的日志文件的URL信息，并进一步从URL信息中提取日志文件的key，即日志文件的MD5值。前端服务器集群21查询本地是否缓存有与该MD5值对应的日志文件，若是，直接根据本地缓存的与该MD5值对应的日志文件向用户终端返回响应结果；若否，则向后端服务器集群22发送后端请求消息，以请求上述用户终端的日志访问请求所对应的日志文件。具体地，该后端请求消息中可直接包含日志文件的URL信息，也可包含日志文件的MD5值，总之，只要能够唯一标识对应的日志文件即可。

另外，前端服务器集群21进一步用于：根据后端服务器针对后端请求消息返回的后端请求结果获取用户终端的日志访问请求所对应的日志文件，按照预设前端缓存策略将用户终端的日志访问请求所对应的日志文件缓存在本地。通过该方式能够在该日志文件再次被用户访问时加快访问速度，减少从后端服务器集群22获取的时延，也可以降低后端服务器集群22的处理压力。具体地，发明人在实现本发明的过程中发现：当前端服务器集群21由Varnish集群实现时，Varnish集群在处理大文件时具有一定的缺陷(大文件经缓存后性能反而下降)，因此，在本实施例中，将预设前端缓存策略设置为：判断用户终端的日志访问请求所对应的日志文件的大小是否小于预设缓存阈值；若是，将用户终端的日志访问请求所对应的日志文件缓存在本地；若否，则不做缓存直接转发给用户终端。由于游戏等大文件通常大于100M，因此，在本实施例中将预设缓存阈值设置为100M。

由此可见，前端服务器集群21作为整个存储系统的第一重分布式集群。通常情况下，当前端服务器集群21第一次处理日志访问请求时，其上并未存储任何日志文件，因此，必然要根据后端服务器集群22获取对应的日志文件。在后续过程中，随着前端服务器集群21本地缓存的日志文件越来越多，其请求后端服务器集群22的次数也会越来越少，从而加快日志文件的访问速度。

后端服务器集群22用于作为整个存储系统的第二重分布式集群，当前端服务器集群21中未存储与日志访问请求对应的日志文件时，则需要由后端服务器集群22为前端服务器集群21提供支持。具体地，后端服务器集群22用于根据本地存储的日志文件处理来自前端服务器的后端请求消息，并在本地存储的日志文件中未包含前端服务器的后端请求消息所对应的日志文件时，进一步向分布式存储服务器集群23发送存储请求消息，以请求用户终端的日志访问请求所对应的日志文件。

具体地，由于后端服务器集群22受限于存储容量而可能无法存储全部的日志文件，并且，后端服务器集群22中的存储内容也可能存在丢失或损毁等风险，因此，当后端服务器集群22中没有对应的日志文件时，需要进一步向分布式存储服务器集群23请求。相应地，后端服务器集群22进一步用于：根据存储服务器针对存储请求消息返回的存储请求结果获取用户终端的日志访问请求所对应的日志文件，将用户终端的日志访问请求所对应的日志文件存储在本地，以便下次能够直接根据本地存储的日志文件进行处理，降低去分布式存储服务器集群23请求的时延。

另外，发明人在实现本发明的过程中发现：由于后端服务器集群22为分布式集群，因此，可能出现多个用户同时或先后针对一个日志文件发送访问请求的情况。例如，假设用户A针对日志文件一发送了访问请求，后端服务器集群22中的一台服务器经查询后发现后端服务器集群22本地未存储日志文件一，则向分布式存储服务器集群23请求日志文件一，并将请求到的日志文件一存储在后端服务器集群22中；假设用户B针对日志文件一也发送了访问请求，后端服务器集群22中的另一台服务器经查询后也发现后端服务器集群22本地未存储日志文件一，也向分布式存储服务器集群23请求日志文件一，并将请求到的日志文件一存储在后端服务器集群22中，由此将导致日志文件一在后端服务器集群22中冗余存储，并且，在用户终端可以针对日志文件进行写入等修改操作时，还可能导致数据错误的情况发生。因此，为了解决上述问题，后端服务器集群22进一步用于：在本地存储的日志文件中未包含所述前端服务器的后端请求消息所对应的日志文件时，针对前端服务器的后端请求消息所对应的日志文件执行加锁操作后，向存储服务器发送存储请求消息；并且，将用户终端的日志访问请求所对应的日志文件缓存在本地后，针对前端服务器的后端请求消息所对应的日志文件执行解锁操作。例如，当各个日志文件通过键值对方式存储时，后端服务器集群22针对前端服务器集群21的后端请求消息所对应的日志文件的键执行加锁操作；其中，前端服务器的后端请求消息所对应的日志文件的键通过前端服务器的后端请求消息所对应的日志文件的摘要信息表示。通过加锁操作能够有效防止不同用户同时请求同一文件所导致的冗余存储甚至读写错误的情况发生。

分布式存储服务器集群23用于作为整个存储系统的第三重分布式集群，当后端服务器集群22中也未存储与日志访问请求对应的日志文件时，则需要由分布式存储服务器集群23为后端服务器集群22提供支持。具体地，分布式存储服务器集群23用于存储与各个测试任务相对应的日志文件，并根据本地存储的日志文件处理来自后端服务器的存储请求消息。

由此可见，在本实施例中，通过分布式存储(即分布式存储服务器集群23)、Varnish集群(即前端服务器集群21)和本地磁盘(即后端服务器集群22)三者相结合，提供了高速稳定的下载服务。其中，通过Varnish集群的缓存过程，大幅加快了日志文件的访问及下载时延。并且，通过三重分布式系统，能够为日志文件的存储提供多重保障，防止文件丢失等情况的发生。

图3示出了一种基于上述日志文件处理系统的日志文件处理方法的流程图，如图3所示，该方法包括：

步骤S310：前端服务器根据本地存储的日志文件处理来自用户终端的日志访问请求，并在本地存储的日志文件中未包含所述用户终端的日志访问请求所对应的日志文件时，进一步向所述后端服务器发送后端请求消息，以请求所述用户终端的日志访问请求所对应的日志文件。

步骤S320：后端服务器根据本地存储的日志文件处理来自所述前端服务器的后端请求消息，并在本地存储的日志文件中未包含所述前端服务器的后端请求消息所对应的日志文件时，进一步向所述存储服务器发送存储请求消息，以请求所述用户终端的日志访问请求所对应的日志文件。

步骤S330：存储服务器存储与各个测试任务相对应的日志文件，并根据本地存储的日志文件处理来自后端服务器的存储请求消息。

可选地，该方法进一步包括：前端服务器根据所述后端服务器针对所述后端请求消息返回的后端请求结果获取所述用户终端的日志访问请求所对应的日志文件，按照预设前端缓存策略将所述用户终端的日志访问请求所对应的日志文件缓存在本地。

可选地，所述预设前端缓存策略包括：判断所述用户终端的日志访问请求所对应的日志文件的大小是否小于预设缓存阈值；若是，将所述用户终端的日志访问请求所对应的日志文件缓存在本地。

可选地，该方法进一步包括：后端服务器根据所述存储服务器针对所述存储请求消息返回的存储请求结果获取所述用户终端的日志访问请求所对应的日志文件，将所述用户终端的日志访问请求所对应的日志文件缓存在本地。

可选地，该方法进一步包括：后端服务器在本地存储的日志文件中未包含所述前端服务器的后端请求消息所对应的日志文件时，针对所述前端服务器的后端请求消息所对应的日志文件执行加锁操作后，向所述存储服务器发送存储请求消息；并且，将所述用户终端的日志访问请求所对应的日志文件缓存在本地后，针对前端服务器的后端请求消息所对应的日志文件执行解锁操作。

上述步骤的具体实现细节可参照系统实施例中相应部分的描述，此处不再赘述。

为了加深理解，下面通过一个具体的示例描述本发明提供的日志文件处理方法：

步骤一：云测试平台在某台设备执行测试任务后，将相应的测试日志文件上传回WEB端(即上述后端服务器集群22)。

步骤二：在WEB端将日志文件存储到分布式存储服务器集群23中，以文件的MD5(Message Digest Algorithm，简称MD5，中文名为消息摘要算法第五版)作为键(key)。

步骤三：通过下载的URL，参数MD5，进行测试日志下载。

步骤四：下载URL为Varnish的URL，Varnish作为缓存，向WEB端请求日志文件，请求成功后，将日志文件缓存在内存中，第一次请求后，再次请求文件，从缓存获取。

步骤五：由于Varnish处理大文件的缺陷(缓存后性能下降)，在接收到来自后端服务器集群22的响应消息(vcl_backend_response)过程中判断日志文件中用于表示文件大小或长度的参数beresp.http.Content-Length是否大于100M，如果大于则不进行缓存，直接做转发。

步骤六：在WEB端的文件下载URL，通过MD5，判断本地是否存在该日志文件，如果不存在，则通过该MD5获取一把锁，进行加锁后，从分布式存储获取该日志文件，下载完毕后或日志文件存在，通过输出流(OutputStream)的形式返回日志文件。

综上所述，本发明中的方式通过分布式存储提高了日志文件的冗余性；通过Varnish集群，为小于100M的文件提供了缓存访问，在有缓存的场景下，省略了从分布式存储获取文件和本地磁盘获取文件的步骤，提高了访问速度。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于云测试平台的日志文件处理装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明还公开了A1.一种基于云测试平台的日志文件处理系统，包括：前端服务器、后端服务器以及存储服务器；其中，

所述前端服务器，用于根据本地存储的日志文件处理来自用户终端的日志访问请求，并在本地存储的日志文件中未包含所述用户终端的日志访问请求所对应的日志文件时，进一步向所述后端服务器发送后端请求消息，以请求所述用户终端的日志访问请求所对应的日志文件；

所述后端服务器，用于根据本地存储的日志文件处理来自所述前端服务器的后端请求消息，并在本地存储的日志文件中未包含所述前端服务器的后端请求消息所对应的日志文件时，进一步向所述存储服务器发送存储请求消息，以请求所述用户终端的日志访问请求所对应的日志文件；

所述存储服务器，用于存储与各个测试任务相对应的日志文件，并根据本地存储的日志文件处理来自所述后端服务器的存储请求消息。

A2.根据A1所述的系统，其中，所述前端服务器进一步用于：根据所述后端服务器针对所述后端请求消息返回的后端请求结果获取所述用户终端的日志访问请求所对应的日志文件，按照预设前端缓存策略将所述用户终端的日志访问请求所对应的日志文件缓存在本地。

A3.根据A2所述的系统，其中，所述预设前端缓存策略包括：判断所述用户终端的日志访问请求所对应的日志文件的大小是否小于预设缓存阈值；若是，将所述用户终端的日志访问请求所对应的日志文件缓存在本地。

A4.根据A3所述的系统，其中，所述预设缓存阈值为100M。

A5.根据A1-4任一所述的系统，其中，所述后端服务器进一步用于：根据所述存储服务器针对所述存储请求消息返回的存储请求结果获取所述用户终端的日志访问请求所对应的日志文件，将所述用户终端的日志访问请求所对应的日志文件存储在本地。

A6.根据A5所述的系统，其中，所述后端服务器进一步用于：在本地存储的日志文件中未包含所述前端服务器的后端请求消息所对应的日志文件时，针对所述前端服务器的后端请求消息所对应的日志文件执行加锁操作后，向所述存储服务器发送存储请求消息；

并且，将所述用户终端的日志访问请求所对应的日志文件缓存在本地后，针对所述前端服务器的后端请求消息所对应的日志文件执行解锁操作。

A7.根据A6所述的系统，其中，各个日志文件通过键值对方式存储，则所述后端服务器具体用于：针对所述前端服务器的后端请求消息所对应的日志文件的键执行加锁操作；其中，所述前端服务器的后端请求消息所对应的日志文件的键通过所述前端服务器的后端请求消息所对应的日志文件的摘要信息表示。

A8.根据A1-7任一所述的系统，其中，所述前端服务器包括：由多台代理服务器或缓存服务器构成的前端服务器集群；

所述后端服务器包括：由多台WEB服务器构成的后端服务器集群；

所述存储服务器包括：由多台分布式服务器构成的分布式存储服务器集群。

A9.根据A8所述的系统，其中，所述前端服务器集群为分布式前端服务器集群，所述后端服务器集群为分布式后端服务器集群，并且，所述代理服务器或缓存服务器包括：VARNISH服务器。

A10.根据A1-9任一所述的系统，其中，所述日志访问请求中包含与日志文件对应的URL信息；并且，所述URL信息中包含日志文件的摘要信息；并且，所述后端请求消息和/或所述存储请求消息中包含日志文件的摘要信息。

B11.一种基于B1-10任一所述的系统的日志文件处理方法，包括：

前端服务器根据本地存储的日志文件处理来自用户终端的日志访问请求，并在本地存储的日志文件中未包含所述用户终端的日志访问请求所对应的日志文件时，进一步向所述后端服务器发送后端请求消息，以请求所述用户终端的日志访问请求所对应的日志文件；

后端服务器根据本地存储的日志文件处理来自所述前端服务器的后端请求消息，并在本地存储的日志文件中未包含所述前端服务器的后端请求消息所对应的日志文件时，进一步向所述存储服务器发送存储请求消息，以请求所述用户终端的日志访问请求所对应的日志文件；

存储服务器存储与各个测试任务相对应的日志文件，并根据本地存储的日志文件处理来自所述后端服务器的存储请求消息。

B12.根据B11所述的方法，其中，所述方法进一步包括：

前端服务器根据所述后端服务器针对所述后端请求消息返回的后端请求结果获取所述用户终端的日志访问请求所对应的日志文件，按照预设前端缓存策略将所述用户终端的日志访问请求所对应的日志文件缓存在本地。

B13.根据B12所述的方法，其中，所述预设前端缓存策略包括：判断所述用户终端的日志访问请求所对应的日志文件的大小是否小于预设缓存阈值；若是，将所述用户终端的日志访问请求所对应的日志文件缓存在本地。

B14.根据B11-13任一所述的方法，其中，所述方法进一步包括：

后端服务器根据所述存储服务器针对所述存储请求消息返回的存储请求结果获取所述用户终端的日志访问请求所对应的日志文件，将所述用户终端的日志访问请求所对应的日志文件缓存在本地。

B15.根据B14所述的方法，其中，所述方法进一步包括：后端服务器在本地存储的日志文件中未包含所述前端服务器的后端请求消息所对应的日志文件时，针对所述前端服务器的后端请求消息所对应的日志文件执行加锁操作后，向所述存储服务器发送存储请求消息；并且，将所述用户终端的日志访问请求所对应的日志文件缓存在本地后，针对所述前端服务器的后端请求消息所对应的日志文件执行解锁操作。

Claims (10)

1.一种基于云测试平台的日志文件处理系统，包括：前端服务器、后端服务器以及存储服务器；其中，

所述前端服务器，用于根据本地存储的日志文件处理来自用户终端的日志访问请求，并在本地存储的日志文件中未包含所述用户终端的日志访问请求所对应的日志文件时，进一步向所述后端服务器发送后端请求消息，以请求所述用户终端的日志访问请求所对应的日志文件；

所述后端服务器，用于根据本地存储的日志文件处理来自所述前端服务器的后端请求消息，并在本地存储的日志文件中未包含所述前端服务器的后端请求消息所对应的日志文件时，进一步向所述存储服务器发送存储请求消息，以请求所述用户终端的日志访问请求所对应的日志文件；

所述存储服务器，用于存储与各个测试任务相对应的日志文件，并根据本地存储的日志文件处理来自所述后端服务器的存储请求消息。

2.根据权利要求1所述的系统，其中，所述前端服务器进一步用于：根据所述后端服务器针对所述后端请求消息返回的后端请求结果获取所述用户终端的日志访问请求所对应的日志文件，按照预设前端缓存策略将所述用户终端的日志访问请求所对应的日志文件缓存在本地。

3.根据权利要求2所述的系统，其中，所述预设前端缓存策略包括：判断所述用户终端的日志访问请求所对应的日志文件的大小是否小于预设缓存阈值；若是，将所述用户终端的日志访问请求所对应的日志文件缓存在本地。

4.根据权利要求3所述的系统，其中，所述预设缓存阈值为100M。

5.根据权利要求1-4任一所述的系统，其中，所述后端服务器进一步用于：根据所述存储服务器针对所述存储请求消息返回的存储请求结果获取所述用户终端的日志访问请求所对应的日志文件，将所述用户终端的日志访问请求所对应的日志文件存储在本地。

6.根据权利要求5所述的系统，其中，所述后端服务器进一步用于：在本地存储的日志文件中未包含所述前端服务器的后端请求消息所对应的日志文件时，针对所述前端服务器的后端请求消息所对应的日志文件执行加锁操作后，向所述存储服务器发送存储请求消息；

并且，将所述用户终端的日志访问请求所对应的日志文件缓存在本地后，针对所述前端服务器的后端请求消息所对应的日志文件执行解锁操作。

7.根据权利要求6所述的系统，其中，各个日志文件通过键值对方式存储，则所述后端服务器具体用于：针对所述前端服务器的后端请求消息所对应的日志文件的键执行加锁操作；其中，所述前端服务器的后端请求消息所对应的日志文件的键通过所述前端服务器的后端请求消息所对应的日志文件的摘要信息表示。

8.根据权利要求1-7任一所述的系统，其中，所述前端服务器包括：由多台代理服务器或缓存服务器构成的前端服务器集群；

所述后端服务器包括：由多台WEB服务器构成的后端服务器集群；

所述存储服务器包括：由多台分布式服务器构成的分布式存储服务器集群。

9.根据权利要求8所述的系统，其中，所述前端服务器集群为分布式前端服务器集群，所述后端服务器集群为分布式后端服务器集群，并且，所述代理服务器或缓存服务器包括：VARNISH服务器。

10.一种基于权利要求1-9任一所述的系统的日志文件处理方法，包括：

前端服务器根据本地存储的日志文件处理来自用户终端的日志访问请求，并在本地存储的日志文件中未包含所述用户终端的日志访问请求所对应的日志文件时，进一步向所述后端服务器发送后端请求消息，以请求所述用户终端的日志访问请求所对应的日志文件；

后端服务器根据本地存储的日志文件处理来自所述前端服务器的后端请求消息，并在本地存储的日志文件中未包含所述前端服务器的后端请求消息所对应的日志文件时，进一步向所述存储服务器发送存储请求消息，以请求所述用户终端的日志访问请求所对应的日志文件；

存储服务器存储与各个测试任务相对应的日志文件，并根据本地存储的日志文件处理来自所述后端服务器的存储请求消息。