CN114490280A - 一种日志处理方法、装置、设备及介质 - Google Patents

Abstract

本申请涉及数据分析领域，具体涉及一种日志处理方法、装置、设备及介质，用于实现公有云多租户的日志统一处理，该方法应用于公有云的日志处理服务器中，公有云包括多个租户，每个租户配置有多个web服务器，每个web服务器连接多个客户端，该方法包括：接收各个租户的web服务器发送的多个访问信息，每个访问信息为一个客户端访问对应的web服务器的信息；对多个访问信息进行预处理，获得多个访问日志，每个访问日志携带有一个标签，标签用于指示发送各个访问信息的web服务器；根据各个访问日志的标签，对多个访问日志进行分类；将各个访问日志发送到对应类别的队列，分别处理各个web服务器的访问日志。

Description

一种日志处理方法、装置、设备及介质

技术领域

本申请涉及数据分析领域，具体涉及一种日志处理方法、装置、设备及介质。

背景技术

随着信息化时代的发展，大量的应用(web)访问信息具有很高的分析价值。

目前，主要通过埋点来收集访问信息，埋点就是在有需要的位置插入相应的代码，从而采集并分析相应的访问信息。然而公有云上各租户的数据是隔离的，同一个租户内不同系统的访问信息也是分散存储在不同的web服务器上，而埋点技术需要在项目源代码中嵌入埋点代码，与系统耦合性高，不便于统一收集和分析。

发明内容

本申请实施例提供一种基于日志处理方法、装置、设备及介质，用于实现公有云多租户的日志统一处理。

第一方面，本申请提供一种日志处理方法，应用于公有云的日志处理服务器中，所述公有云包括多个租户，每个租户配置有多个web服务器，每个web服务器连接多个客户端，所述方法包括：

接收各个租户的web服务器发送的多个访问信息，其中，每个访问信息为一个客户端访问对应的web服务器的信息；

对所述多个访问信息进行预处理，获得多个访问日志，其中，每个访问日志携带有一个标签，所述标签用于指示发送各个访问信息的web服务器；

根据各个访问日志的标签，对所述多个访问日志进行分类；

将各个访问日志发送到对应类别的队列，分别处理各个web服务器的访问日志。

在一种可能的实施例中，对所述多个访问信息进行预处理，获得多个访问日志，包括：

将各个访问信息转换为预设格式的访问日志；

根据发送各个访问信息的web服务器的信息，确定各个访问日志的标签。

在一种可能的实施例中，将各个访问日志发送到对应类别的队列，分别处理各个web服务器的访问日志，包括：

针对每个队列中的各个访问日志，分别进行如下处理：

若确定第一访问日志与规则库中的预设规则匹配，则确定所述第一访问日志为恶意攻击，断开第一访问通道，其中，所述第一访问日志为第一客户端访问第一web服务器的信息，所述第一访问通道为所述第一客户端访问所述第一web服务器的通道。

在一种可能的实施例中，在将各个访问日志发送到对应类别的队列，分别处理各个web服务器的访问日志之后，所述方法包括：

获取用户的历史习惯数据、系统运维信息以及客户端信息，其中，所述历史习惯数据包括用户访问过的页面、用户访问时长、以及用户访问频率，所述系统运维信息为与系统运维有关的信息，所述客户端信息为与客户端有关的信息；

根据所述历史习惯数据、所述系统运维信息以及所述客户端信息中的至少一种，确定页面展示所需的配置参数；

基于所述配置参数，展示所有队列的各个访问日志。

第二方面，本申请提供一种日志处理装置，所述装置设置于公有云的日志处理服务器中，所述公有云包括多个租户，每个租户配置有多个web服务器，每个web服务器连接多个客户端，所述装置包括：

接收模块，用于接收各个租户的web服务器发送的多个访问信息，其中，每个访问信息为一个客户端访问对应的web服务器的信息；

获得模块，用于对所述多个访问信息进行预处理，获得多个访问日志，其中，每个访问日志携带有一个标签，所述标签用于指示发送各个访问信息的web服务器；

分类模块，用于根据各个访问日志的标签，对所述多个访问日志进行分类；

处理模块，用于将各个访问日志发送到对应类别的队列，分别处理各个web服务器的访问日志。

在一种可能的实施例中，所述获得模块具体用于：

将各个访问信息转换为预设格式的访问日志；

根据发送各个访问信息的web服务器的信息，确定各个访问日志的标签。

在一种可能的实施例中，所述处理模块具体用于：

针对每个队列中的各个访问日志，分别进行如下处理：

若确定第一访问日志与规则库中的预设规则匹配，则确定所述第一访问日志为恶意攻击，断开第一访问通道，其中，所述第一访问日志为第一客户端访问第一web服务器的信息，所述第一访问通道为所述第一客户端访问所述第一web服务器的通道。

在一种可能的实施例中，所述装置还包括展示模块，所述展示模块用于：

获取用户的历史习惯数据、系统运维信息以及客户端信息，其中，所述历史习惯数据包括用户访问过的页面、用户访问时长、以及用户访问频率，所述系统运维信息为与系统运维有关的信息，所述客户端信息为与客户端有关的信息；

根据所述历史习惯数据、所述系统运维信息以及所述客户端信息中的至少一种，确定页面展示所需的配置参数；

基于所述配置参数，展示所有队列的各个访问日志。

第三方面，本申请提供一种电子设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行第一方面中任一项所述的方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时，使所述计算机执行第一方面中任一项所述的方法。

第五方面，本申请提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行第一方面中任一项所述的方法。

日志处理服务器可以接收公有云的各个租户的web服务器发送的多个访问信息，通过一个单独的日志处理服务器对公有云的所有访问信息进行处理，可以实现公有云多租户的日志统一处理，且相较于现有技术中的埋点方式，本申请实施例的方法可以无感知无侵入的接入web服务器，无需对客户端和web服务器做任何代码层面的改造，不占用web服务器的计算和存储资源，不会影响web服务器的正常工作，即使日志处理服务器出现故障，也不会影响客户端的正常访问web服务器。且，根据各个访问日志的标签，对多个访问日志进行分类，将各个访问日志发送到对应类别的队列，分别处理各个web服务器的访问日志，通过不同的队列并行处理各个web服务器的访问日志，可以提高日志处理的效率。

上述第二方面至第五方面中的各个方面以及各个方面可能达到的技术效果参照上述针对第一方面或者第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种公有云多租户的网络架构图；

图2为本申请实施例提供的一种日志处理方法的应用场景示意图；

图3为本申请实施例提供的一种日志处理方法的流程图；

图4为本申请实施例提供的一种日志处理装置的结构图；

图5为本申请实施例提供的一种电子设备的结构图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以按不同于此处的顺序执行所示出或描述的步骤。

本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个，例如可以是两个、三个或者更多个，本申请实施例不做限制。

在介绍本申请实施例提供的日志处理方法之前，先对本申请实施例涉及的概念进行简单介绍。

1、公有云，公有云通常指第三方提供商为用户提供的能够使用的云，公有云一般可通过公有网路使用，公有云的核心属性是共享资源服务。

2、租户，租户是指公有云上进行资源管理和数据隔离的单位，多租户可以共用相同的系统或程序组件，但是租户之间是数据隔离的，每个租户的数据对其他租户不可见。同一租户下有多个系统，每个系统包括多个客户端、以及多个客户端连接的web服务器。

针对公有云多租户模式中不同租户数据隔离、以及同一租户下不同系统的访问信息存储在不同的web服务器的情况，为了实现公有云多租户的日志统一处理，本申请实施例提供一种日志处理方法。该方法可以由公有云的日志处理服务器执行，日志处理服务器例如实体服务或虚拟服务器等，日志处理服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，但并不局限于此。

请参照图1，为本申请实施例提供的一种公有云多租户的网络架构图。该公有云包括第一租户101和第二租户102。例如总公司包括多个子公司部门，第一租户101为其中的第一子公司系统，第二租户102为其中的第二子公司系统。第一租户101和第二租户102之间的网络是彼此隔离的。

第一租户101内部网络包括外联区、开放区、以及互联网区这三个区域。外联区包括多个外联前置web服务器，用于第一租户101与其他租户之间传递数据，其他租户例如第二租户102，大量的访问数据源处于互联网区。互联网区包括多个互联网前置web服务器，用于为普通用户提供互联网服务，部分专线的访问数据处于外联区。开放区为第一租户101的网络核心区，用于汇总外联区和互联网区的访问数据。通过对等连接连通第一租户101内部的开放区与外联区之间的网络、以及开放区与互联网区之间的网络。以及通过对等连接连通第一租户101的外联区和第二租户102的外联区之间的网络。

第二租户102的网络区域请参照前文论述的第一租户101的内容，此处不再赘述。应当说明的是，图1是以公有云包括第一租户101和第二租户102这两个租户为例，实际上不限制公有云中租户的数量。

下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中，可以根据实际需要灵活地应用本申请实施例提供的技术方案。

请参照图2，为本申请实施例提供的一种日志处理方法的应用场景图。该应用场景包括客户端201、web服务器202、日志处理服务器203。图2是以四个客户端201、两个web服务器202为例，实际上不限制客户端201和web服务器202的数量。其中，每个web服务器202连接多个客户端201，日志处理服务器203连接有多个web服务器202。

各个web服务器202将对应的多个客户端201的访问信息发送给日志处理服务器203，日志处理服务器203对收到的多个访问信息进行统一处理。其中，日志处理服务器203具体如何处理访问信息的过程将在下文进行介绍。

应当说明的是，每个租户内部可以配置一个日志处理服务器203，用于收集同一租户下各个web服务器202的访问信息进行统一处理。公有云还可以设置一个专门的管理租户，在管理租户中配置一个日志处理服务器203，用于收集各个租户的各个web服务器202的访问信息进行统一处理。

基于上述的应用场景，下面以图2中的日志处理服务器执行日志处理方法为例，对本申请实施例提供的日志处理方法进行详细介绍。本申请实施例所有实施方式对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。请参照图3，为本申请实施例提供的一种日志处理方法的流程示意图。

S301、接收各个租户的web服务器发送的多个访问信息。

一个公有云通常包括多个租户，每个租户配置有多个web服务器，每个web服务器连接有多个客户端。客户端与web服务器之间通过超文本传输协议(Hypertext TransferProtocol，HTTP)进行通信，每个客户端访问对应的web服务器时，将客户端的IP地址、客户端的名称、客户端的型号等访问信息放在请求包中，发送给对应的web服务器。

因此，每个web服务器可以收到多个客户端的访问信息，将多个访问信息发送给日志处理服务器，每个访问信息为一个客户端访问对应的web服务器的信息。web服务器与日志处理服务器之间支持多种协议传输访问信息，例如传输控制协议(TransmissionControl Protocol，TCP)、用户数据包协议(User Datagram Protocol，UDP)等。

S302、对多个访问信息进行预处理，获得多个访问日志。

日志处理服务器收到多个访问信息之后，可以利用rsyslog对访问信息进行预处理，预处理包括格式转换、打标签等过程，下面进行介绍。

日志处理服务器可以将各个访问信息转换为预设格式的访问日志，例如编码为json格式的访问日志，根据发送各个访问信息的web服务器的信息，确定各个访问日志的标签。因此，每个访问日志携带有一个标签，该标签用于指示发送该访问信息的web服务器。

例如，若第一web服务器发送了第一访问信息和第二访问信息，分别进行预处理后得到第一访问日志和第二访问日志，则第一访问日志和第二访问日志的标签均为1，表示第一访问日志和第二访问日志均是第一web服务器发送的。若第一web服务器发送了第一访问信息，第二web服务器发送了第二访问信息，分别进行预处理后得到第一访问日志和第二访问日志，则第一访问日志的标签为1，表示第一访问日志是第一web服务器发送的，第二访问日志的标签为2，表示第二访问日志是第二web服务器发送的。

考虑到多个访问日志中可能有重复的访问日志，在一种可能的实施例中，日志处理服务器还可以对多个访问日志进行去重处理，从多个访问日志中删除两个相同的访问日志中的任一个访问日志，以保证每个访问日志是唯一的。

S303、根据各个访问日志的标签，对多个访问日志进行分类。

日志处理服务器获得多个访问日志之后，可以根据各个访问日志的标签，对多个访问日志进行分类，将标签相同的访问日志分为一类。

例如，第一访问日志和第二访问日志的标签均为1，将第一访问日志和第二访问日志分为一类，第三访问日志和第四访问日志的标签均为2，将第三访问日志和第四访问日志分为一类。

S304、将各个访问日志发送到对应类别的队列，分别处理各个web服务器的访问日志。

具体的，日志处理服务器对多个访问日志进行分类之后，可以将各个访问日志发送到RabbitMQ中对应类别的队列中，RabbitMQ是一种实现高级消息队列协议的开源消息代理软件，用于存储消息。例如将标签均为1的访问日志存入RabbitMQ的第一队列中，将标签均为2的访问日志存入RabbitMQ的第二队列中，通过不同的队列可以分别处理各个web服务器的访问日志。

本申请实施例中，利用RabbitMQ做异步缓冲，当短时间内大量访问信息陡增，日志处理服务器处理不过来时不会造成丢弃或宕机，访问信息较低时也不会出现过度轮询的情况。且，通过不同的队列分别处理各个web服务器的访问日志，可以提高日志处理的效率，满足高并发的需求。

其中涉及到如何处理各个访问日志，日志处理服务器可以对各个访问日志进行攻击检测，针对每个队列中的各个访问日志，分别进行如下处理：若确定第一访问日志与规则库中的预设规则匹配，则确定第一访问日志为恶意攻击，断开第一访问通道。

具体的，日志处理服务器包括安全预警处置模块，安全预警处置模块预存了规则库，该规则库包括多个预设规则，可以检测多种类型的攻击，预设规则可以是用户自己设置的，也可以是用户从网络资源中获取的。日志处理服务器的安全预警处置模块可以检测第一访问日志与规则库中的任一预设规则是否匹配，若第一访问日志与任一预设规则均不匹配，则确定第一访问日志是正常访问，若第一访问日志与某个预设规则匹配，则确定第一访问日志为恶意攻击，立即断开第一访问通道。其中，第一访问日志是由第一客户端访问第一web服务器的第一访问信息进行预处理获得的，第一访问日志为多个访问日志中的任意一个日志，第一访问通道为第一客户端访问第一web服务器的通道。

例如，日志处理服务器配置了Etcd工具，web服务器配置了Confd工具，通过Etcd工具和Confd工具联动，日志处理服务器可以远程控制第一web服务器重新加载配置文件，配置文件包括禁止访问的客户端的信息，例如禁止访问的客户端的IP地址为191.16.33，则断开IP地址为191.16.33的第一客户端访问第一web服务器的通道。

在一种可能的实施例中，日志处理服务器在确定第一访问日志为恶意攻击之后，还可以记录该第一访问日志的详细攻击信息，作为报警日志进行展示。

本申请实施例中，日志处理服务器具备应急处置能力，确认是恶意攻击后可以断开恶意连接，且，不会影响其他正常的客户端访问web服务器。

考虑到攻击者可能使用一个程序，每次只发送一个字节的数据包，可以避开规则匹配。在一种可能的实施例中，日志处理服务器的安全预警处置模块安装了TCP流插件，可以对接收到的TCP包进行缓冲，并重新组合这些缓冲的TCP包，得到一个新的数据包，再将新的数据包进行预处理和规则匹配。

在一种可能的实施例中，日志处理服务获取用户的历史习惯数据、系统运维信息以及客户端信息，根据历史习惯数据、系统运维信息以及客户端信息中的至少一种，确定页面展示所需的配置参数，基于配置参数，展示所有队列的各个访问日志。

其中，用户指的是管理层人员、运维人员或者运营人员。用户的历史习惯数据为与用户的历史操作有关的数据，历史习惯数据包括用户访问过的页面、用户访问时长、以及用户访问频率。系统运维信息为与系统运维有关的信息，系统运维信息包括访问失败告警信息、访问信息的响应时长、访问信息的占用带宽、访问信息的数据量、访问信息的访问通道等。客户端信息为与客户端有关的信息，客户端信息包括各个客户端的位置分布信息、客户端的身份信息、客户端的类型等。

在本申请实施例中，可以根据用户的历史习惯数据、系统运维信息以及客户端信息这多个维度的信息，综合展示所有队列的各个访问日志，根据系统运维信息可以更好的做好监控和应急工作，为社会化运营提供数据支持。

在一种可能的实施例中，日志处理服务器包括页面管理配置模块，页面管理配置模块包括通过菜单配置、展示模块配置、统计信息配置、IP参数配置、关注功能配置等功能，响应于用户的输入操作，保存用户输入的配置参数，基于用户输入的配置参数，展示所有队列的各个访问日志。本申请实施例中，用户可以自定义配置参数，日志处理服务器可以按照不同用户的不同需求，展示不同维度的访问日志，为运维和运营提供数据支持。

在一种可能的实施例中，将日志处理服务器的功能进行容器封装，采用Docker镜像的形式一键部署。Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的Linux或Windows机器上。本申请实施例中通过容器化封装，使得日志处理服务器易安装部署，进一步提升用户体验。

应当说明的是，日志处理服务器可以执行预处理、攻击检测、展示日志等全过程，考虑到日志处理服务器的性能有限，日志处理服务器也可以执行预处理，将各个访问日志发送到对应类别的队列之后，通过另一个安全服务器对访问日志进行攻击检测，以及通过另一个展示服务器对所有队列的访问日志进行展示。安全服务器和展示服务器的实现方式请参照前文论述的日志处理服务器的内容，此处不再赘述。

综上所述，本申请实施例所提供的日志处理方法，可以将公有云环境下不同租户不同系统的web服务器集群的访问信息集中统一分析，对访问信息的分析不限于一个web服务器，而是对同一公司管辖的所有租户下的所有web服务器的访问信息进行集中处理和分析，能够从全局了解同一公司各项目的运营情况，全局分析维度更多、结果也会更精确，便于各项目进行各维度指标的横向比对和排名，为运营提供数据支持。且不占用web服务器的计算和存储资源，不会影响web服务器的正常工作，即使日志处理服务器出现故障，也不会影响客户端的正常访问web服务器。且通过不同的队列并行处理各个web服务器的访问日志，可以提高日志处理的效率。

基于同一发明构思，本申请实施例提供一种日志处理装置，该装置设置于前文论述的公有云的日志处理服务器中，该公有云包括多个租户，每个租户配置有多个web服务器，每个web服务器连接多个客户端，请参照图4，该装置包括：

接收模块401，用于接收各个租户的web服务器发送的多个访问信息，其中，每个访问信息为一个客户端访问对应的web服务器的信息；

获得模块402，用于对多个访问信息进行预处理，获得多个访问日志，其中，每个访问日志携带有一个标签，标签用于指示发送各个访问信息的web服务器；

分类模块403，用于根据各个访问日志的标签，对多个访问日志进行分类；

处理模块404，用于将各个访问日志发送到对应类别的队列，分别处理各个web服务器的访问日志。

在一种可能的实施例中，获得模块402具体用于：

将各个访问信息转换为预设格式的访问日志；

根据发送各个访问信息的web服务器的信息，确定各个访问日志的标签。

在一种可能的实施例中，处理模块404具体用于：

针对每个队列中的各个访问日志，分别进行如下处理：

若确定第一访问日志与规则库中的预设规则匹配，则确定第一访问日志为恶意攻击，断开第一访问通道，其中，第一访问日志为第一客户端访问第一web服务器的信息，第一访问通道为第一客户端访问第一web服务器的通道。

在一种可能的实施例中，该装置还包括展示模块405，展示模块405用于：

获取用户的历史习惯数据、系统运维信息以及客户端信息，其中，历史习惯数据包括用户访问过的页面、用户访问时长、以及用户访问频率，系统运维信息为与系统运维有关的信息，客户端信息为与客户端有关的信息；

根据历史习惯数据、系统运维信息以及客户端信息中的至少一种，确定页面展示所需的配置参数；

基于配置参数，展示所有队列的各个访问日志。

作为一种实施例，图4论述的装置可以用于执行图3所示的实施例中所述的方法，因此，对于该装置的各功能模块所能够实现的功能等可参考图3所示的实施例的描述，此处不再赘述。

本申请提供的日志处理装置，可以接收公有云的各个租户的web服务器发送的多个访问信息，通过一个单独的日志处理服务装置对公有云的所有访问信息进行处理，可以实现公有云多租户的日志统一处理，且可以无感知无侵入的接入web服务器，不占用web服务器的计算和存储资源，不会影响web服务器的正常工作。且，将各个访问日志发送到对应类别的队列，分别处理各个web服务器的访问日志，通过不同的队列并行处理各个web服务器的访问日志，提高了日志处理的效率。

基于同一发明构思，本申请实施例提供一种电子设备，该设备可以实现前文论述的日志处理服务器的功能，请参照图5，该设备包括：

至少一个处理器51，以及与至少一个处理器51连接的存储器52，本申请实施例中不限定处理器51与存储器52之间的具体连接介质，图5中是以处理器51和存储器52之间通过总线50连接为例。总线50在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线50可以分为地址总线、数据总线、控制总线等，为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器51也可以称为控制器，对于名称不做限制。

在本申请实施例中，存储器52存储有可被至少一个处理器51执行的指令，至少一个处理器51通过执行存储器52存储的指令，可以执行前文论述日志处理方法。处理器51可以实现图4所示的装置中各个模块的功能。

其中，处理器51是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器52内的指令以及调用存储在存储器52内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监控。

在一种可能的设计中，处理器51可包括一个或多个处理单元，处理器51可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器51中。在一些实施例中，处理器51和存储器52可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器51可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的日志处理方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器52作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器52可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等。存储器52是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器52还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

通过对处理器51进行设计编程，可以将前述实施例中介绍的日志处理方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图1所示的实施例的日志处理方法的步骤。如何对处理器51进行设计编程为本领域技术人员所公知的技术，这里不再赘述。

基于同一发明构思，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被计算机执行时，使计算机执行如前文论述任一的日志处理方法。由于上述计算机可读存储介质解决问题的原理与日志处理方法相似，因此上述计算机可读存储介质的实施可以参见方法的实施，重复之处不再赘述。

基于同一发明构思，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码在计算机上运行时，使得计算机执行如前文论述任一的日志处理方法。由于上述计算机程序产品解决问题的原理与日志处理方法相似，因此上述计算机程序产品的实施可以参见方法的实施，重复之处不再赘述。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本发明的实施方式中提供的日志处理方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等，或者上述的任意合适的组合。可以用一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种日志处理方法，其特征在于，所述方法应用于公有云的日志处理服务器中，所述公有云多包括多个租户，每个租户配置有多个web服务器，每个web服务器连接多个客户端，所述方法包括：

接收各个租户的web服务器发送的多个访问信息，其中，每个访问信息为一个客户端访问对应的web服务器的信息；

对所述多个访问信息进行预处理，获得多个访问日志，其中，每个访问日志携带有一个标签，所述标签用于指示发送各个访问信息的web服务器；

根据各个访问日志的标签，对所述多个访问日志进行分类；

将各个访问日志发送到对应类别的队列，分别处理各个web服务器的访问日志。

2.如权利要求1所述的方法，其特征在于，对所述多个访问信息进行预处理，获得多个访问日志，包括：

将各个访问信息转换为预设格式的访问日志；

根据发送各个访问信息的web服务器的信息，确定各个访问日志的标签。

3.如权利要求1或2所述的方法，其特征在于，将各个访问日志发送到对应类别的队列，分别处理各个web服务器的访问日志，包括：

针对每个队列中的各个访问日志，分别进行如下处理：

若确定第一访问日志与规则库中的预设规则匹配，则确定所述第一访问日志为恶意攻击，断开第一访问通道，其中，所述第一访问日志为第一客户端访问第一web服务器的信息，所述第一访问通道为所述第一客户端访问所述第一web服务器的通道。

4.如权利要求1或2所述的方法，其特征在于，在将各个访问日志发送到对应类别的队列，分别处理各个web服务器的访问日志之后，所述方法包括：

获取用户的历史习惯数据、系统运维信息以及客户端信息，其中，所述历史习惯数据包括用户访问过的页面、用户访问时长、以及用户访问频率，所述系统运维信息为与系统运维有关的信息，所述客户端信息为与客户端有关的信息；

根据所述历史习惯数据、所述系统运维信息以及所述客户端信息中的至少一种，确定页面展示所需的配置参数；

基于所述配置参数，展示所有队列的各个访问日志。

5.一种日志处理装置，其特征在于，所述装置设置于公有云的日志处理服务器中，所述公有云包括多个租户，每个租户配置有多个web服务器，每个web服务器连接多个客户端，所述装置包括：

接收模块，用于接收各个租户的web服务器发送的多个访问信息，其中，每个访问信息为一个客户端访问对应的web服务器的信息；

获得模块，用于对所述多个访问信息进行预处理，获得多个访问日志，其中，每个访问日志携带有一个标签，所述标签用于指示发送各个访问信息的web服务器；

分类模块，用于根据各个访问日志的标签，对所述多个访问日志进行分类；

处理模块，用于将各个访问日志发送到对应类别的队列，分别处理各个web服务器的访问日志。

6.如权利要求5所述的装置，其特征在于，所述获得模块具体用于：

将各个访问信息转换为预设格式的访问日志；

根据发送各个访问信息的web服务器的信息，确定各个访问日志的标签。

7.如权利要求5或6所述的装置，其特征在于，所述处理模块具体用于：

针对每个队列中的各个访问日志，分别进行如下处理：

若确定第一访问日志与规则库中的预设规则匹配，则确定所述第一访问日志为恶意攻击，断开第一访问通道，其中，所述第一访问日志为第一客户端访问第一web服务器的信息，所述第一访问通道为所述第一客户端访问所述第一web服务器的通道。

8.如权利要求5或6所述的装置，其特征在于，所述装置还包括展示模块，所述展示模块用于：

获取用户的历史习惯数据、系统运维信息以及客户端信息，其中，所述历史习惯数据包括用户访问过的页面、用户访问时长、以及用户访问频率，所述系统运维信息为与系统运维有关的信息，所述客户端信息为与客户端有关的信息；

根据所述历史习惯数据、所述系统运维信息以及所述客户端信息中的至少一种，确定页面展示所需的配置参数；

基于所述配置参数，展示所有队列的各个访问日志。

9.一种电子设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如权利要求1-4中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时，使所述计算机执行如权利要求1-4中任一项所述的方法。

11.一种计算机程序产品，其特征在于，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述如权利要求1-4中任一项所述的方法。

Images