CN108234233B - 日志处理方法及装置 - Google Patents

Abstract

本申请提供一种日志处理方法及装置，该方法应用于内容分发网络的边缘节点上，包括：对日志进行处理，得到所述日志的字段信息；基于所述字段信息对预设的用于表示日志过滤条件的运算式进行运算；在运算结果为日志符合所述日志过滤条件时，将所述日志上报给所述内容分发网络的中心节点。通过本申请的技术方案，解决了现有技术中只能通过固定逻辑对日志进行处理的问题，能够根据用户设置的过滤表达式和处理规则对日志进行处理，从而得到符合用户需求的日志，并且用户可以随时更改过滤表达式及处理规则，使得对日志的处理方式更加多样和灵活，而且不存在现有技术中的延迟问题。

Description

日志处理方法及装置

技术领域

本申请涉及数据处理技术领域，尤其涉及一种日志处理方法及装置。

背景技术

在CDN(Content Delivery Network，内容分发网络)的架构中，通常包括中心节点及与中心节点相连接的若干边缘节点。各CDN节点的主要功能是将源站，例如淘宝的页面和图片等静态资源缓存到与用户地理位置更近的CDN节点，以提高用户的网络访问速度，CDN节点每天产生海量的访问日志，会对日志进行一些处理。

现有技术中，对多地多节点日志的处理流程是在各个边缘节点内部对日志进行统一逻辑的例如解析、统计、合并等处理，然后将处理结果传输至中心节点，由中心节点基于日志所属的用户对日志进行分割。在这种方式中，由于用户的需求是多样化的，而边缘节点的处理逻辑是固定的，因而无法满足不同用户的不同需求，用户无法获取符合与边缘节点的固有逻辑不一致的特定条件的日志。另一方面，中心节点按照所属用户进行分割的方式存在较大的延迟，且分割后的文件无法灵活的进行分析。

发明内容

本申请提供日志处理方法及装置，以解决现有技术中边缘节点的处理逻辑是固定的，因而无法满足不同的用户需求以及中心节点按照所属用户进行分割的方式存在较大的延迟，且分割后的文件无法灵活的进行分析等问题。

根据本申请实施例的第一方面，提供一种日志处理方法，应用于内容分发网络的边缘节点上，包括：

对日志进行处理，得到所述日志的字段信息；

基于所述字段信息对用于表示预设的日志过滤条件的运算式进行运算；

在运算结果为所述日志符合所述日志过滤条件时，将所述日志上报给所述内容分发网络的中心节点。

根据本申请实施例的第二方面，提供了一种日志处理方法，应用于内容分发网络的中心节点上，包括：

将用户设置的用于表示日志过滤条件的表达式发送给所述内容分发网络的边缘节点，以使所述边缘节点在确定日志符合所述日志过滤条件时，上报所述日志；

基于所述用户设置的第二处理规则对所述边缘节点上报的日志进行第二处理。

根据本申请实施例的第三方面，提供一种日志处理装置，应用于内容分发网络的边缘节点上，所述装置包括：

第一处理单元，用于对日志进行处理，得到所述日志的字段信息；

过滤单元，用于基于所述字段信息对用于表示预设的日志过滤条件的运算式进行运算；

上报单元，用于在运算结果为所述日志符合所述日志过滤条件时，将所述日志上报给所述内容分发网络的中心节点。

根据本申请实施例的第四方面，提供一种日志处理装置，应用于内容分发网络的中心节点上，所述装置包括：

第二发送单元，用于将用户设置的用于表示日志过滤条件的表达式发送给所述内容分发网络的边缘节点，以使所述边缘节点在确定日志符合所述日志过滤条件时，上报所述日志；

第三处理单元，用于基于所述用户设置的第二处理规则对所述边缘节点上报的日志进行第二处理。

根据本申请实施例的第五方面，提供一种日志处理装置，应用于内容分发网络中，所述内容分发网络包括多个边缘节点，及与所述边缘节点连接的中心节点，所述装置包括：

日志过滤模块，设置在所述边缘节点中，用于获取日志的字段信息，并基于所述字段信息，通过所述中心节点下发的用于表示日志过滤条件的运算式对所述日志进行过滤，并将过滤后的日志上报给所述中心节点；

第一处理模块，设置在所述中心节点中，用于对所述边缘节点上报的日志基于用户设置的第二处理规则进行处理；

配置管理模块，设置在所述中心节点中，用于将用户设置的所述运算式下发给所述日志过滤模块。

根据本申请实施例的第六方面，提供一种日志处理装置，所述装置为作为内容分发网络的边缘节点的服务器，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为：

对日志进行处理，得到所述日志的字段信息；

基于所述字段信息对用于表示预设的日志过滤条件的运算式进行运算；

在运算结果为所述日志符合所述日志过滤条件时，将所述日志上报给所述内容分发网络的中心节点。

根据本申请实施例的第七方面，提供一种日志处理装置，所述装置为服务器，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为：

将用户设置的用于表示日志过滤条件的表达式发送给所述内容分发网络的边缘节点，以使所述边缘节点在确定日志符合所述日志过滤条件时，上报所述日志；

基于所述用户设置的第二处理规则对所述边缘节点上报的日志进行第二处理。

由以上技术方案可见，本申请的实施例中内容分发网络的边缘节点通过基于用户设置的过滤表达式来对日志进行初步过滤，基于用户设置的处理规则分别在边缘节点和中心节点对符合日志过滤条件的日志进行处理，从而得到符合用户需求的日志，并且用户可以随时更改过滤表达式及处理规则，使得对日志的处理方式更加多样和灵活，而且不存在现有技术中的延迟问题。

附图说明

图1是本申请日志处理方法的场景示意图；

图2是本申请日志处理方法的一个实施例流程图；

图3是本申请日志处理方法的另一个实施例流程图；

图4为本申请日志处理装置所在设备的一种硬件结构图；

图5为本申请日志处理装置的一个实施例框图；

图6为本申请日志处理装置的另一个实施例框图；

图7为本申请日志处理装置的另一个实施例框图。

具体实施方式

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

现有技术中，内容分发网络架构中的边缘节点对日志进行统一处理，然后将处理后的日志发送给中心节点，由中心节点基于日志所属的用户对日志进行分割。由于用户的需求是多样化的，而边缘节点的处理逻辑是固定的，因而这种日志处理方式无法满足不同用户的不同需求，用户无法获取符合与边缘节点的固有逻辑不一致的特定条件的日志。另一方面，中心节点按照所属用户对日志进行分割的方式存在较大的延迟，且分割后的文件无法灵活的进行分析。

本申请的实施例提出一种新的日志处理方法及装置，边缘节点基于中心节点下发的用户所设置的过滤运算式对日志进行初步过滤，得到符合用户条件的日志，然后由边缘节点基于用户设置的第一处理规则对过滤出的日志进行初步处理，并将初步处理之后的日志发送给中心节点，中心节点对来自各边缘节点的日志根据用户设置的第二处理规则进行进一步处理，从而得到符合用户各种个性化要求的日志，而且用户可以更新过滤条件以及处理规则，从而提高日志处理的灵活性，提高效率。本申请的实施例可以应用于服务器中，服务器可以是一个物理或逻辑服务器，也可以是由两个或两个以上分担不同职责的物理或逻辑服务器、相互协同来实现本申请实施例中服务器的各项功能。本申请实施例对服务器的种类，以及服务器之间通信网络的类型、协议等均不做限定。

参见图1，为本申请实施例的日志处理方法的场景示意图：

在图1所示的场景中，包括多个边缘节点和中心节点，其中边缘节点示出了两个为例进行说明，事实上可以多个，中心节点示意性的示出了一个。边缘节点、中心节点都与运营商相对应，边缘节点可以位于世界各地，中心节点集中设置在一些主要城市，边缘节点基于用户的要求对日志进行过滤和第一处理，中心节点基于用户的要求对边缘节点上报的日志进行第二处理和输出，并管理各个用户设置的过滤表达式及处理规则。

应用在边缘节点上的日志处理方法的流程如图2所示，该方法可以包括下述步骤。

步骤201、对日志进行处理，得到该日志的字段信息。

本申请步骤之前，边缘节点接收中心节点发送的日志格式与字段信息的对应关系。

中间节点预先获取若干日志，并对所获取的日志进行统计；然后基于日志格式的不同对日志的字段、字段的数据类型、及该数据类型支持的操作符进行定义；然后将日志的格式与所定义的内容，这里称之为字段信息对应的进行存储，并将该对应关系发送给边缘节点。

其中，日志的字段可以包括例如：域名、响应码、URL(Uniform Resource Locator，统一资源定位符)等，日志的格式可以为：“域名+时间+其他字段”的形式，或“域名+响应码+其他字段”等其他形式。不同格式的日志对应不同字段。字段的数据类型可以包括例如：整数、字符串、浮点数等。操作符可以包括例如等于、不等于、加、减、乘、除、取整、取余、括弧、逻辑运算等操作符，数据类型支持操作符即该数据类型允许执行该操作符对应的操作，例如数据类型为整数时，所支持的操作符为加、减、乘、除，也就是说允许对整数进行加、减、乘、除操作。

本申请步骤中，边缘节点对日志的处理包括：首先确定日志的格式；然后通过上述描述可知，日志基于格式的不同具有不同的字段信息，因而基于格式查找对应关系，可以查找到该日志对应的字段、各字段的数据类型、及各数据类型支持的操作符；然后基于查找到的信息对日志进行解析处理，得到日志的基础字段值和扩展字段值。例如对某条日志，基于格式进行查找之后得到的字段包括“时间”，对日志进行解析之后得到的时间为17:30，那么字段“时间”对应的值“17:30”即字段值，这里称之为基础字段值。基础字段值是固定的，在所有的字段值中，除基础字段值以外的就是扩展字段值。所谓扩展字段值指的是对应基础字段值的更详细的描述信息，例如客户端(Client)地域信息等附加字段，例如IP地址所属的省市，运营商信息，等。

通过上述处理，得到包括基础字段值、扩展字段值、数据类型及数据类型支持的操作符的字段信息。在另一实施例中，还可以针对不同的格式对字段值进行设置，例如前n个字段值为基础字段值，后m个字段值为扩展字段值，n和m都为整数。

步骤202、基于字段信息对预设的用于表示日志过滤条件的运算式进行运算。

本申请实施例中，用户在中心节点处设置用于表示日志过滤条件的过滤表达式，中心节点检测该过滤表达式的操作合法性，并将检测为操作合法的过滤表达式下发给边缘节点。

其中，过滤表达式可以基于C/C++规则而设置，可以包括变量(对应字段名)、变量值(对应字段值)和操作符，过滤表达式可以表示为例如domain(变量)＝www.taobao.com(变量值)，其中“＝”为操作符。

由此可见，用户可以根据日志包含的字段值组织出需要的过滤表达式，甚至复杂的表达式，从而使得边缘节点能够基于该表达式过滤到符合用户需求的日志，与现有技术中边缘节点仅对字段进行简单的比较来筛选日志相比，能够保证获取到的日志更符合用户需求，而且用户可以任意调整表达式，因而过滤日志更为灵活。

边缘节点接收中心节点下发的用户设置的用于表示日志过滤条件的过滤表达式之后，对该过滤表达式进行解析和处理，得到作为运算式的AST(Abstract Syntax Tree，抽象语法树)。

边缘节点所接收到的过滤表达式中，还携带有域名，域名能够表明过滤表达式所来自的用户，一个域名可能对应多个过滤表达式，即一个用户设置了多个过滤表达式。边缘节点也可以预先基于运算式的域名对各个运算式进行分类。日志中也具有域名，因而通过日志的域名可以确定对应的运算式，本申请实施例中对日志的域名进行提取，然后基于该域名查找到对应的运算式，从而对日志进行运算，具有同一域名的日志使用相同的运算式进行运算和过滤，然后将日志的字段信息代入到运算式中进行递归的运算。如果运算结果为是(true)，那么说明该日志符合日志过滤条件，如果运算结果为否(false)，则说明该日志不符合日志过滤条件，可以丢弃该日志。

边缘节点通过域名对日志进行分类，基于与域名对应的运算式对日志进行运算，由于域名与用户对应，因而能够保证分属不同用户的日志基于不同的表达式进行运算，因而过滤出的日志符合用户需求。

步骤203、在运算结果为该日志符合所述日志过滤条件时，将日志上报给内容分发网络的中心节点。

对于符合日志过滤条件的日志，边缘节点可以将其上报给中心节点。

在上报之前，边缘节点还可以基于中心节点下发的第一处理规则对其进行第一处理。本申请实施例中，用户通过中心节点设置对符合日志过滤条件的日志的第一处理规则，中心节点将该第一处理规则下发给边缘节点。该第一处理规则可以包括：基于日志的时间戳对日志进行排序、合并、求和、封包等处理。然后，边缘节点将经过第一处理的日志上报给中心节点。

在上述步骤中，边缘节点以表达式列表的形式下发过滤表达式(表达式列表中可以包括各过滤表达式的具体内容及过滤表达式的序号)、第一处理规则都可以携带有版本信息，从而，边缘节点在接收到这些信息之后，可以提取其版本信息，并将提取的版本信息与存储的现有的过滤表达式或第一处理规则的版本信息作对比。如果接收到的版本信息高于当前版本信息，则对存储的过滤表达式或第一处理规则进行更新，否则，不进行更新，从而用户可以随时更改过滤表达式及第一处理规则，并且边缘节点能够保证每次都使用最新的日志过滤条件及第一处理规则对日志进行处理，以得到符合用户最新要求的日志。

同样的，边缘节点将日志上报给中心节点时也可以将日志的版本信息携带在日志中，以使中心节点在接收到的日志的版本信息高于所存储的日志的版本信息时，对日志进行更新，以避免在重复收到同样的日志时，重复存储耗费网络资源，降低日志处理效率。

应用在中心节点上的日志处理方法的流程如图3所示，该方法可以包括下述步骤。

步骤301、将用户设置的用于表示日志过滤条件的表达式发送给内容分发网络的边缘节点，以使边缘节点在确定日志符合日志过滤条件时，上报日志。

结合图2所示实施例可知，用户通过中心节点设置过滤表达式，中心节点在接收到过滤表达式之后，会对过滤表达式的操作合法性进行检测，以确保每个字段只允许特定的数学操作。

首先，中心节点基于过滤表达式生成抽象表达式，抽象表达式包括根节点、子节点等多个节点，各个节点上存储有字段值、操作符及数据类型，中心节点通过确定抽象表达式各节点上的该数据类型的字段值是否能够进行该节点上的操作符的运算来确定对应的过滤表达式是否合法，只有合法的过滤表达式才会发送给边缘节点，否则会拒绝用户的请求，并输出相应的提示给用户。中心节点基于预设置的格式与字段信息的对应关系来检查过滤表达式的合法性。

在一种实现方式中，该过滤表达式中携带有版本信息，以便边缘节点基于版本信息确定是否需要更新所存储的过滤表达式，以保证边缘节点所使用的表达式总是最新的、符合用户最新需求的表达式，从而得到符合用户需求的日志

在一种实现方式中，中心节点向边缘节点以表达式列表的形式下发过滤表达式，列表中存储有具体的过滤表达式，及用于唯一的表征过滤表达式的序号。

步骤302、基于用户设置的第二处理规则对边缘节点上报的日志进行第二处理。

中心节点还可以接收用户设置的第一处理规则和第二处理规则，其中第一处理规则用于边缘节点对符合日志过滤条件的日志进行第一处理，中心节点会将版本信息携带在第一处理规则中下发给边缘节点；第二处理规则用于中心节点对边缘节点上报的、经过第一处理的日志进行第二处理。该第二处理可以例如：对各边缘节点上报的日志基于第二处理规则中设置的类别进行分类；将属于同一类别的日志进行合并；将合并后的日志分别发送给第二处理规则对应的用户。在用户设置为主动提取日志的情况下，第二处理还可以包括：对合并后的日志进行存储。

在一实施例中，结合图1所示，中心节点接收用户设置的过滤表达式，并基于该过滤表达式生成AST，然后判断AST各节点上的数据类型的字段值是否能够进行该节点上的操作符的运算，例如，某个节点上的字段的数据类型为字符串，操作符为乘，但是字符串这种数据类型的字段值无法进行乘除等操作，因而中心节点判断为该表达式不合法，因而中心节点不会将对应的过滤表达式发给边缘节点，而是拒绝用户请求，或者提醒用户修改过滤表达式。如果判断结果为过滤表达式合法，则发送给边缘节点。此外，中心节点还接收用户设置的第一处理规则和第二处理规则，并将该第二处理规则进行存储，将第一处理规则发送给边缘节点。

边缘节点对接收到的合法的过滤表达式进行处理，得到AST，基于AST中携带的域名对AST进行存储。

对生成的日志，首先确定日志的格式，例如格式为“域名+响应码+其他字段”，然后查找中心节点下发的格式与字段的对应关系，从而确定与该日志的格式对应的字段、数据类型及数据类型支持的操作符，并基于确定的字段解析日志，从而得到与字段对应的基础字段值，例如对应字段“响应码”的基础字段值为“202”；还得到扩展字段值，包括客户端地域信息等，基础字段值、扩展字段值、字段、数据类型和数据类型支持的操作符构成字段信息。边缘节点提取日志中的域名，并查找对应的AST，然后将字段信息代入到AST中进行运算，运算结果包括“是”和“否”。在运算结果为“是”时，表示该日志符合日志过滤条件，在运算结果为“否”时，表示该日志不符合日志过滤条件，将其丢弃。

对于运算结果为“是”的情况，边缘节点可以基于中心节点发送的第一处理规则进一步对其进行第一处理，例如：基于日志的时间戳对日志进行排序、合并等处理，然后将经过第一处理之后的日志上报给中心节点。

中心节点基于第二处理规则对接收到的日志进行第二处理，由于不同的用户设置了不同的第二处理规则，因而可以提取日志中的域名，以确定对应的第二处理规则，然后进行第二处理，例如：基于第二处理规则中设置的类别对日志进行分类，对属于同一类别的日志进行合并，等。例如：用户需要访问失败的记录日志，在访问页面时如果访问成功则返回状态码200，如果访问不成功则返回状态码500，根据该字段可以确定是否访问成功，从而基于状态码可以将用户需要的日志进行合并。然后中心节点将经过第二处理的日志发送给第二处理规则对应的用户。

从现有技术中可以看出，边缘节点只能够基于固定的处理逻辑对日志进行处理，中心节点只能对边缘节点上报的日志进行分割，因而无法满足用户多样化的个性化的需求。而本申请通过基于用户设置的过滤表达式来对日志进行初步过滤，基于用户设置的处理规则分别在边缘节点和中心节点对符合日志过滤条件的日志进行处理，从而得到符合用户需求的日志，并且用户可以随时更改过滤表达式及处理规则，使得对日志的处理方式更加多样和灵活，而且不存在现有技术中的延迟问题。

与本申请日志处理方法的实施例相对应，本申请还提供了日志处理装置的实施例。

本申请日志处理装置的实施例可以应用在服务器上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本申请日志处理装置所在设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常根据该设备的实际功能，还可以包括其他硬件，图4中不再一一示出。

参见图5，为本申请日志处理装置的一个实施例框图，该装置可以应用在内容分发网络的边缘节点上，该装置包括：第一处理单元510、过滤单元520以及上报单元530。

第一处理单元510，用于对日志进行处理，得到日志的字段信息；

过滤单元520，用于基于字段信息对预设的用于表示日志过滤条件的运算式进行运算；

上报单元530，用于在运算结果为所述日志符合日志过滤条件时，将所述日志上报给所述内容分发网络的中心节点。

在另一个可选的实现方式中，第一处理单元510可以包括(图5中未示出)：

第一确定子单元，用于确定所述日志的格式；

第一查找子单元，用于基于所述格式查找预存储的格式与字段的对应关系，得到与所述日志对应的字段、字段的数据类型、所述数据类型支持的操作符；

解析子单元，用于基于所述字段对所述日志进行解析处理，得到所述日志的基础字段值和扩展字段值，所述基础字段值、所述扩展字段值、所述数据类型、所述数据类型支持的操作符构成所述字段信息。

在另一个可选的实现方式中，该装置还可以包括(图5中未示出)：

第一接收单元，用于接收所述中心节点下发的用户设置的用于表示日志过滤条件的过滤表达式；

表达式处理单元，用于对所述过滤表达式进行处理，得到作为所述运算式的抽象表达式。

在另一个可选的实现方式中，过滤单元可以包括(图5中未示出)：

提取子单元，用于提取所述日志的域名信息；

第二查找子单元，用于基于所述日志的域名信息查找预存储的域名信息与运算式的对应关系，得到对应于所述域名信息的运算式；

运算子单元，用于将所述字段信息代入所述运算式进行运算。

在另一个可选的实现方式中，所述装置还可以包括(图5中未示出)：

第二接收单元，用于接收所述中心节点发送的用户所设置的第一处理规则；

第二处理单元，用于基于所述第一处理规则对所述日志进行第一处理；

第一发送单元，用于将所述第一处理之后的日志封包发送给所述中心节点。

在另一个可选的实现方式中，该装置还可以包括(图5中未示出)：

第三接收单元，用于接收所述中心节点下发的新的运算式和/或新的第一处理规则；

版本确定单元，用于确定所述新的运算式和/或所述新的第一处理规则的版本信息；

第一更新单元，用于在所述新的运算式的版本信息高于当前运算式的版本信息时，将所述当前运算式更新为所述新的运算式；

第二更新单元，用于在所述新的第一处理规则的版本信息高于当前第一处理规则的版本信息时，将所述当前第一处理规则更新为所述新的第一处理规则。

在另一个可选的实现方式中，上报单元530可以包括(图5中未示出)：

第一上报子单元，用于将所述日志的版本信息携带在所述日志中上报给所述内容分发网络的中心节点，以使所述中心节点基于所述版本信息对接收的日志进行更新。

参见图6，为本申请日志处理装置的一个实施例框图，该装置可以应用在内容分发网络的中心节点上，该装置包括：第二发送单元610和第三处理单元620。

第二发送单元610，用于将用户设置的用于表示日志过滤条件的表达式发送给所述内容分发网络的边缘节点，以使所述边缘节点在确定日志符合所述日志过滤条件时，上报所述日志；

第三处理单元620，用于基于所述用户设置的第二处理规则对所述边缘节点上报的日志进行第二处理。

在另一个可选的实现方式中，该装置还可以包括(图6中未示出)：

获取单元，用于获取若干日志；

定义单元，用于基于所述日志的格式的不同对所述日志的字段进行定义，所述字段信息包括字段、字段的数据类型、数据类型支持的操作符；

存储单元，用于存储日志的格式与所定义的字段信息的对应关系。

在另一个可选的实现方式中，该装置还可以包括(图6中未示出)：

第四接收单元，用于接收用户输入的用于表示日志过滤条件的过滤表达式；

生成单元，用于基于所述过滤表达式生成抽象表达式；

检测单元，用于基于所述日志的格式与字段信息的对应关系对所述抽象表达式的

操作合法性进行检测，在检测结果为合法时，将所述过滤表达式发送给所述边缘节点。

在另一个可选的实现方式中，第三处理单元620可以包括(图6中未示出)：

分类子单元，用于对各所述边缘节点上报的日志基于所述第二处理规则中设置的类别进行分类；

合并子单元，用于将属于同一类别的所述日志进行合并；

第一发送子单元，用于将所述合并后的日志分别发送给所述第二处理规则对应的用户。

在另一个可选的实现方式中，第二发送单元610可以包括(图6中未示出)：

第一发送子单元，用于将所述表达式中的版本信息携带在用于表示日志过滤条件的表达式中发送给所述内容分发网络的边缘节点，以使所述边缘节点基于版本信息对存储的表达式进行更新。

在另一个可选的实现方式中，该装置还包括(图6中未示出)：

第五接收单元，用于接收用户设置的用于处理符合过滤条件的日志的第一处理规则；

第二发送单元，包括将所述第一处理规则的版本信息携带在所述第一处理规则中发送给所述边缘节点，以使所述边缘节点基于版本信息对所存储的第一处理规则进行更新。

参见图7，为本申请日志处理装置的一个实施例框图，该装置可以应用在内容分发网络中，该内容分发网络包括多个边缘节点710，以及与边缘节点710连接的中心节点720，该装置包括：日志过滤模块711、第一处理模块721、配置管理模块722。

日志过滤模块711，设置在边缘节点710中，用于获取日志的字段信息，并基于所述字段信息，通过所述中心节点720下发的用于表示日志过滤条件的运算式对所述日志进行过滤，并将过滤后的日志上报给所述中心节点720；

第一处理模块721，设置在所述中心节点中，用于对所述边缘节点710上报的日志基于用户设置的第二处理规则进行处理；

配置管理模块722，设置在所述中心节点720中，用于将用户设置的所述运算式下发给所述日志过滤模块711。

在另一个可选的实现方式中，配置管理模块722还用于将用户设置的第一处理规则下发给所述边缘节点710的第二处理模块712；

所述装置还包括：第二处理模块712。

第二处理模块712，设置在边缘节点710中，用于基于第二处理规则对日志过滤模块711过滤之后的日志进行第一处理，并将第一处理之后的日志发送给第一处理模块721。

在另一个可选的实现方式中，配置管理模块722发给边缘节点710的运算式、第二处理规则中携带有版本信息，以使边缘节点710基于版本信息对存储的运算式或第二处理规则进行更新；

第二处理模块712发送给第一处理模块721的日志中携带有版本信息，以使所述第一处理模块721基于日志的版本信息对所存储的日志进行更新。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

由上述实施例可见，边缘节点基于中心节点下发的用户所设置的过滤运算式对日志进行初步过滤，得到符合用户条件的日志，然后由边缘节点基于用户设置的第一处理规则对过滤出的日志进行初步处理，并将初步处理之后的日志发送给中心节点，中心节点对来自各边缘节点的日志根据用户设置的第二处理规则进行进一步处理，从而得到符合用户各种个性化要求的日志，而且用户可以更新过滤条件以及处理规则，从而提高日志处理的灵活性，提高日志处理效率。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (29)

1.一种日志处理方法，其特征在于，应用于内容分发网络的边缘节点上，包括：

对日志进行处理，得到所述日志的字段信息；

基于所述字段信息对用于表示预设的日志过滤条件的运算式进行运算；

在运算结果为所述日志符合所述日志过滤条件时，将所述日志上报给所述内容分发网络的中心节点，以使所述中心节点执行：对各所述边缘节点上报的日志基于第二处理规则中设置的类别进行分类；将属于同一类别的所述日志进行合并；将所述合并后的日志分别发送给所述第二处理规则对应的用户。

2.根据权利要求1所述的方法，其特征在于，所述对日志进行处理，得到日志的字段信息，包括：

确定所述日志的格式；

基于所述格式查找预存储的格式与字段的对应关系，得到与所述日志对应的字段、字段的数据类型、所述数据类型支持的操作符；

基于所述字段对所述日志进行解析处理，得到所述日志的基础字段值和扩展字段值，所述基础字段值、所述扩展字段值、所述数据类型、所述数据类型支持的操作符构成所述字段信息。

3.根据权利要求2所述的方法，其特征在于，所述基于所述字段信息对用于表示预设的日志过滤条件的运算式进行运算之前，所述方法还包括：

接收所述中心节点下发的用户设置的用于表示日志过滤条件的过滤表达式；

对所述过滤表达式进行处理，得到作为所述运算式的抽象表达式。

4.根据权利要求3所述的方法，其特征在于，所述基于所述字段信息对预设的用于表示日志过滤条件的运算式进行运算，包括：

提取所述日志的域名信息；

基于所述日志的域名信息查找预存储的域名信息与运算式的对应关系，得到对应于所述域名信息的运算式；

将所述字段信息代入所述对应于所述域名信息的运算式进行运算。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述中心节点发送的用户所设置的第一处理规则；

基于所述第一处理规则对所述日志进行第一处理；

将所述第一处理之后的日志封包发送给所述中心节点。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

接收所述中心节点下发的新的运算式和/或新的第一处理规则；

确定所述新的运算式和/或所述新的第一处理规则的版本信息；

在所述新的运算式的版本信息高于当前运算式的版本信息时，将所述当前运算式更新为所述新的运算式；

在所述新的第一处理规则的版本信息高于当前第一处理规则的版本信息时，将所述当前第一处理规则更新为所述新的第一处理规则。

7.根据权利要求1所述的方法，其特征在于，所述将所述日志上报给所述内容分发网络的中心节点，包括：

将所述日志的版本信息携带在所述日志中上报给所述内容分发网络的中心节点，以使所述中心节点基于所述版本信息对接收的日志进行更新。

8.一种日志处理方法，其特征在于，应用于内容分发网络的中心节点上，包括：

将用户设置的用于表示日志过滤条件的表达式发送给所述内容分发网络的边缘节点，以使所述边缘节点在确定日志符合所述日志过滤条件时，上报所述日志；

基于所述用户设置的第二处理规则对所述边缘节点上报的日志进行第二处理，具体包括：

对各所述边缘节点上报的日志基于所述第二处理规则中设置的类别进行分类；将属于同一类别的所述日志进行合并；将所述合并后的日志分别发送给所述第二处理规则对应的用户。

9.根据权利要求8所述的方法，其特征在于，所述将用户设置的用于表示日志过滤条件的表达式发送给所述内容分发网络的边缘节点之前，所述方法还包括：

获取若干日志；

基于各所述日志的格式的不同对日志的字段信息进行定义，所述字段信息包括字段、字段的数据类型、数据类型支持的操作符；

存储日志的格式与所定义的字段信息的对应关系。

10.根据权利要求9所述的方法，其特征在于，所述对日志进行处理之前，所述方法还包括：

接收用户输入的用于表示日志过滤条件的过滤表达式；

基于所述过滤表达式生成抽象表达式；

基于所述日志的格式与字段信息的对应关系对所述抽象表达式的操作合法性进行检测，在检测结果为合法时，将所述过滤表达式发送给所述边缘节点。

11.根据权利要求8所述的方法，其特征在于，所述将用户设置的用于表示日志过滤条件的表达式发送给所述内容分发网络的边缘节点，包括：

将所述表达式中的版本信息携带在用于表示日志过滤条件的表达式中发送给所述内容分发网络的边缘节点，以使所述边缘节点基于版本信息对存储的表达式进行更新。

12.根据权利要求8所述的方法，其特征在于，所述方法还包括：

接收用户设置的用于处理符合过滤条件的日志的第一处理规则；

将所述第一处理规则的版本信息携带在所述第一处理规则中发送给所述边缘节点，以使所述边缘节点基于版本信息对所存储的第一处理规则进行更新。

13.一种日志处理装置，其特征在于，应用于内容分发网络的边缘节点上，所述装置包括：

第一处理单元，用于对日志进行处理，得到所述日志的字段信息；

过滤单元，用于基于所述字段信息对用于表示预设的日志过滤条件的运算式进行运算；

上报单元，用于在运算结果为所述日志符合所述日志过滤条件时，将所述日志上报给所述内容分发网络的中心节点，以使所述中心节点执行：对各所述边缘节点上报的日志基于第二处理规则中设置的类别进行分类；将属于同一类别的所述日志进行合并；将所述合并后的日志分别发送给所述第二处理规则对应的用户。

14.根据权利要求13所述的装置，其特征在于，所述第一处理单元包括：

第一确定子单元，用于确定所述日志的格式；

第一查找子单元，用于基于所述格式查找预存储的格式与字段的对应关系，得到与所述日志对应的字段、字段的数据类型、所述数据类型支持的操作符；

解析子单元，用于基于所述字段对所述日志进行解析处理，得到所述日志的基础字段值和扩展字段值，所述基础字段值、所述扩展字段值、所述数据类型、所述数据类型支持的操作符构成所述字段信息。

15.根据权利要求14所述的装置，其特征在于，所述装置还包括：

第一接收单元，用于接收所述中心节点下发的用户设置的用于表示日志过滤条件的过滤表达式；

表达式处理单元，用于对所述过滤表达式进行处理，得到作为所述运算式的抽象表达式。

16.根据权利要求15所述的装置，其特征在于，所述过滤单元包括：

提取子单元，用于提取所述日志的域名信息；

第二查找子单元，用于基于所述日志的域名信息查找预存储的域名信息与运算式的对应关系，得到对应于所述域名信息的运算式；

运算子单元，用于将所述字段信息代入所述对应于所述域名信息的运算式进行运算。

17.根据权利要求13所述的装置，其特征在于，所述装置还包括：

第二接收单元，用于接收所述中心节点发送的用户所设置的第一处理规则；

第二处理单元，用于基于所述第一处理规则对所述日志进行第一处理；

第一发送单元，用于将所述第一处理之后的日志封包发送给所述中心节点。

18.根据权利要求17所述的装置，其特征在于，所述装置还包括：

第三接收单元，用于接收所述中心节点下发的新的运算式和/或新的第一处理规则；

版本确定单元，用于确定所述新的运算式和/或所述新的第一处理规则的版本信息；

第一更新单元，用于在所述新的运算式的版本信息高于当前运算式的版本信息时，将所述当前运算式更新为所述新的运算式；

第二更新单元，用于在所述新的第一处理规则的版本信息高于当前第一处理规则的版本信息时，将所述当前第一处理规则更新为所述新的第一处理规则。

19.根据权利要求13所述的装置，其特征在于，所述上报单元包括：

第一上报子单元，用于将所述日志的版本信息携带在所述日志中上报给所述内容分发网络的中心节点，以使所述中心节点基于所述版本信息对接收的日志进行更新。

20.一种日志处理装置，其特征在于，应用于内容分发网络的中心节点上，所述装置包括：

第二发送单元，用于将用户设置的用于表示日志过滤条件的表达式发送给所述内容分发网络的边缘节点，以使所述边缘节点在确定日志符合所述日志过滤条件时，上报所述日志；

第三处理单元，用于对各所述边缘节点上报的日志基于第二处理规则中设置的类别进行分类；将属于同一类别的所述日志进行合并；将所述合并后的日志分别发送给所述第二处理规则对应的用户。

21.根据权利要求20所述的装置，其特征在于，所述装置还包括：

获取单元，用于获取若干日志；

定义单元，用于基于所述日志的格式的不同对所述日志的字段信息进行定义，所述字段信息包括字段、字段的数据类型、数据类型支持的操作符；

存储单元，用于存储日志的格式与所定义的字段信息的对应关系。

22.根据权利要求21所述的装置，其特征在于，所述装置还包括：

第四接收单元，用于接收用户输入的用于表示日志过滤条件的过滤表达式；

生成单元，用于基于所述过滤表达式生成抽象表达式；

检测单元，用于基于所述日志的格式与字段信息的对应关系对所述抽象表达式的操作合法性进行检测，在检测结果为合法时，将所述过滤表达式发送给所述边缘节点。

23.根据权利要求20所述的装置，其特征在于，所述第二发送单元包括：

第一发送子单元，用于将所述表达式中的版本信息携带在用于表示日志过滤条件的表达式中发送给所述内容分发网络的边缘节点，以使所述边缘节点基于版本信息对存储的表达式进行更新。

24.根据权利要求20所述的装置，其特征在于，所述装置还包括：

第五接收单元，用于接收用户设置的用于处理符合过滤条件的日志的第一处理规则；

第二发送单元，包括将所述第一处理规则的版本信息携带在所述第一处理规则中发送给所述边缘节点，以使所述边缘节点基于版本信息对所存储的第一处理规则进行更新。

25.一种日志处理装置，其特征在于，应用于内容分发网络中，所述内容分发网络包括多个边缘节点，及与所述边缘节点连接的中心节点，所述装置包括：

日志过滤模块，设置在所述边缘节点中，用于获取日志的字段信息，并基于所述字段信息，通过所述中心节点下发的用于表示日志过滤条件的运算式对所述日志进行过滤，并将过滤后的日志上报给所述中心节点；

第一处理模块，设置在所述中心节点中，用于对各所述边缘节点上报的日志基于第二处理规则中设置的类别进行分类；将属于同一类别的所述日志进行合并；将所述合并后的日志分别发送给所述第二处理规则对应的用户；

配置管理模块，设置在所述中心节点中，用于将用户设置的所述运算式下发给所述日志过滤模块。

26.根据权利要求25所述的日志处理装置，其特征在于，所述配置管理模块还用于将用户设置的第一处理规则下发给所述边缘节点的第二处理模块；

所述装置还包括：

所述第二处理模块，设置在所述边缘节点中，用于基于所述第二处理规则对所述日志过滤模块过滤之后的日志进行第一处理，并将所述第一处理之后的日志发送给所述第一处理模块。

27.根据权利要求26所述的日志处理装置，其特征在于，

所述配置管理模块发给所述边缘节点的运算式、第二处理规则中携带有版本信息，以使所述边缘节点基于所述版本信息对存储的运算式或第二处理规则进行更新；

所述第二处理模块发送给第一处理模块的日志中携带有版本信息，以使所述第一处理模块基于日志的版本信息对所存储的日志进行更新。

28.一种日志处理装置，其特征在于，所述装置为作为内容分发网络的边缘节点的服务器，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为：

对日志进行处理，得到所述日志的字段信息；

基于所述字段信息对用于表示预设的日志过滤条件的运算式进行运算；

在运算结果为所述日志符合所述日志过滤条件时，将所述日志上报给所述内容分发网络的中心节点，以使所述中心节点执行：对各所述边缘节点上报的日志基于第二处理规则中设置的类别进行分类；将属于同一类别的所述日志进行合并；将所述合并后的日志分别发送给所述第二处理规则对应的用户。

29.一种日志处理装置，其特征在于，所述装置为作为内容分发网络的中心节点的服务器，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为：

将用户设置的用于表示日志过滤条件的表达式发送给所述内容分发网络的边缘节点，以使所述边缘节点在确定日志符合所述日志过滤条件时，上报所述日志；

基于所述用户设置的第二处理规则对所述边缘节点上报的日志进行第二处理，具体包括：

对各所述边缘节点上报的日志基于所述第二处理规则中设置的类别进行分类；将属于同一类别的所述日志进行合并；将所述合并后的日志分别发送给所述第二处理规则对应的用户。

Images