CN113872814A - 内容分发网络的信息处理方法、装置和系统 - Google Patents

Abstract

本申请实施例提供了一种内容分发网络的信息处理方法、装置和系统，该方法在子节点有故障发生时，获取当前子节点的故障信息，根据故障信息，通过采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志，并将采集的故障日志和原始日志存储在日志存储系统中，节约了大量的日志采集资源和本地存储资源；当需要查询分析故障的时候，响应于数据中心服务器下发的日志获取任务命令，将存储的故障日志和原始日志上传至数据中心服务器，节约了网络数据上传带宽，数据中心服务器的存储及计算资源，从而极大地节约了日志处理成本。

Description

内容分发网络的信息处理方法、装置和系统

技术领域

本申请涉及内容分发网络技术领域，具体而言，本申请涉及一种内容分发网络(Content Delivery Network，CDN)的信息处理方法、装置和系统。

背景技术

随着互联网的发展，短视频、直播等流媒体日渐融入大家的生活，对采用CDN来降低网络拥塞，提高访问响应速度的需求越来越强烈，CDN产生的日志量呈飞跃式的增加。现有技术中，CDN网络对于产生的故障，一般会采集所有日志来进行针对故障的排查。然而，CDN服务的可靠性很高，对于故障相关的日志在所有日志中占的比重很小。对所有的日志全量采集、传输、存储、查询、分析等工作，需要大量占用服务器和网络成本。随着业务的不断扩大，现有的故障日志排查方式所需的硬件成本还会不断的增加，可能会导致日志服务质量下降，从而出现数据延迟、数据丢失、查询分析慢等不良现象。

发明内容

本申请实施例的目的旨在能解决如何节约对故障日志查询分析成本的技术问题。

根据本申请实施例的一个方面，提供了一种CDN的信息处理方法，CDN包括数据中心服务器和与数据中心服务器交互的CDN节点，该方法应用于每个CDN节点，其中，每个CDN节点包括子节点以及日志存储系统，该方法包括：

当子节点有故障发生时，获取当前子节点的故障信息；

根据故障信息，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志；

将采集的故障日志和原始日志存储在日志存储系统中，以用于响应于数据中心服务器下发的日志获取命令，将存储的故障日志和原始日志上传至数据中心服务器。

在一种可选的实施方式中，故障信息包括故障时间和故障类型；根据故障信息，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志，包括：

获取故障类型对应的故障类型权重；

根据故障时间和故障类型权重，确定预定时间范围；

基于预定时间范围，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志。

在一种可选的实施方式中，响应于数据中心服务器下发的日志获取命令，将存储的故障日志和原始日志上传至数据中心服务器，包括：

响应于数据中心服务器下发的ETL(extract、transform、load，抽取、转换、加载)任务命令，将存储的故障日志和原始日志执行ETL任务后上传至数据中心服务器。

在一种可选的实施方式中，将采集的故障日志和原始日志存储在日志存储系统中，包括：

若故障日志包括多个种类的日志，则对故障日志和原始日志进行分类；

将分类后的故障日志和原始日志存储在日志存储系统中。

在一种可选的实施方式中，日志存储系统包括与子节点分别对应的日志存储子系统；将采集的故障日志和原始日志存储在日志存储系统中，包括：

针对每个当前子节点，将采集的该当前子节点的故障日志和原始日志存储在该当前子节点对应的日志存储子系统中。

根据本申请实施例的另一个方面，提供了一种CDN的信息处理方法，CDN包括数据中心服务器和与数据中心服务器交互的CDN节点，该方法应用于数据中心服务器，该方法包括：

下发日志获取命令到目标CDN节点；

接收目标CDN节点根据日志获取命令上传的故障日志和原始日志，用于查询分析，故障日志为目标CDN节点的子节点的故障日志，原始日志为采集的故障日志前后预定时间范围内的原始日志。

在一种可选的实施方式中，下发日志获取命令到目标CDN节点，包括：

下发ETL任务命令到目标CDN节点；

接收目标CDN节点根据日志获取命令上传的故障日志和原始日志，包括：

接收目标CDN节点执行ETL任务后上传的故障日志和原始日志。

在一种可选的实施方式中，下发日志获取命令到目标CDN节点之后，还包括：

获取目标CDN节点对日志获取命令的处理状态，用于查询分析。

在一种可选的实施方式中，数据中心服务器中包括REDIS(Remote DictionaryServer，远程字典服务)数据库，获取目标CDN节点对日志获取命令的处理状态，包括：

通过REDIS数据库，接收ETL任务的执行状态。

在一种可选的实施方式中，数据中心服务器中包括与CDN节点对应的分布式任务调度系统，每两个任务调度系统之间同步数据，下发日志获取命令到目标CDN节点，包括：

确定目标CDN节点对应的目标任务调度系统；

通过目标任务调度系统，下发日志获取命令到目标CDN节点。

在一种可选的实施方式中，数据中心服务器中预置有REST(RepresentationalState Transfer，表述性状态转移)接口，下发的ETL任务命令到目标CDN节点，包括：

调用REST接口，下发ETL任务命令到目标CDN节点。

以及，调用REST接口，查询ETL任务的执行状态。

在一种可选的实施方式中，接收目标CDN节点上传的日志数据，用于查询分析，包括：

接收日志数据并进行存储；

消费存储的日志数据，得到数据处理结果，用于查询分析。

在一种可选的实施方式中，数据中心服务器中包括Kafka(卡夫卡)系统，接收目标CDN节点上传的日志数据，用于查询分析，包括：

通过Kafka系统，接收日志数据并进行存储；

消费存储于Kafka系统中的日志数据，得到数据处理结果，用于查询分析。

根据本申请实施例的另一个方面，提供了一种CDN节点，该CDN节点与数据中心服务器交互，其中，该CDN节点包括子节点以及日志存储系统，该CDN节点包括：

获取模块，用于当子节点有故障发生时，获取当前子节点的故障信息；

采集模块，用于根据故障信息，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志；

存储和上传模块，用于将采集的故障日志和原始日志存储在日志存储系统中，以用于响应于数据中心服务器下发的日志获取命令，将存储的故障日志和原始日志上传至数据中心服务器。

在一种可选的实施方式中，故障信息包括故障时间和故障类型；采集模块在用于根据故障信息，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志时，具体用于：

获取故障类型对应的故障类型权重；

根据故障时间和故障类型权重，确定预定时间范围；

基于预定时间范围，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志。

在一种可选的实施方式中，存储和上传模块在用于将采集的故障日志和原始日志存储在日志存储系统中时，具体用于：

若故障日志包括多个种类的日志，则对故障日志和原始日志进行分类；

将分类后的故障日志和原始日志存储在日志存储系统中。

在一种可选的实施方式中，日志存储系统包括与子节点分别对应的日志存储子系统；存储和上传模块在用于将采集的故障日志和原始日志存储在日志存储系统中时，具体用于：

针对每个当前子节点，将采集的该当前子节点的故障日志和原始日志存储在该当前子节点对应的日志存储子系统中。

根据本申请实施例的另一个方面，提供了一种数据中心服务器，该数据中心服务器与CDN节点交互，该数据中心服务器包括：

下发模块，用于下发日志获取命令到目标CDN节点；

接收模块，用于接收目标CDN节点根据日志获取命令上传的故障日志和原始日志，用于查询分析，故障日志为目标CDN节点的子节点的故障日志，原始日志为采集的故障日志前后预定时间范围内的原始日志。

在一种可选的实施方式中，下发模块具体用于下发ETL任务命令到目标CDN节点；

接收模块具体用于接收目标CDN节点执行ETL任务后上传的故障日志和原始日志。

在一种可选的实施方式中，接收模块还用于获取目标CDN节点对日志获取命令的处理状态，用于查询分析。

在一种可选的实施方式中，数据中心服务器中包括REDIS数据库，接收模块还用于：

通过REDIS数据库，接收ETL任务的执行状态，用于查询分析。

在一种可选的实施方式中，数据中心服务器中包括与CDN节点对应的分布式任务调度系统，每两个任务调度系统之间同步数据，下发模块在用于下发日志获取命令到目标CDN节点时，具体用于：

确定目标CDN节点对应的目标任务调度系统；

通过目标任务调度系统，下发日志获取命令到目标CDN节点。

在一种可选的实施方式中，数据中心服务器中预置有REST接口，下发模块在用于下发的ETL任务命令到目标CDN节点时，具体用于：

调用REST接口，下发ETL任务命令到目标CDN节点。

接收模块还用于调用REST接口，查询ETL任务的执行状态。

在一种可选的实施方式中，接收模块在用于接收目标CDN节点上传的日志数据，用于查询分析时，具体用于：

接收日志数据并进行存储；

消费存储的日志数据，得到数据处理结果，用于查询分析。

在一种可选的实施方式中，数据中心服务器中包括Kafka系统，接收模块在用于接收目标CDN节点上传的日志数据，用于查询分析时，具体用于：

通过Kafka系统，接收日志数据并进行存储；

消费存储于Kafka系统中的日志数据，得到数据处理结果，用于查询分析。

根据本申请实施例的另一个方面，提供了一种CDN系统，该CDN系统包括本申请各实施例提供的CDN节点以及本申请各实施例提供的数据中心服务器。

根据本申请实施例的又一个方面，提供了一种电子系统，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行该计算机程序以实现本申请各实施例提供的CDN的信息处理方法的步骤。

根据本申请实施例的再一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请各实施例提供的CDN的信息处理方法的步骤。

根据本申请实施例的还一个方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请各实施例提供的CDN的信息处理方法的步骤。

本申请实施例提供的内容分发网络的信息处理方法、装置和系统，通过采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志，并将采集的故障日志和原始日志存储在日志存储系统中，节约了大量的日志采集资源和本地存储资源；当需要查询分析故障的时候，响应于数据中心服务器下发的ETL任务命令，将对存储的故障日志和原始日志执行ETL任务后得到的日志数据上传至数据中心服务器，节约了网络数据上传带宽，数据中心服务器的存储及计算资源，从而极大地节约了日志处理成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种CDN系统的拓扑结构示意图；

图2为本申请实施例提供的一种CDN的信息处理方法的流程示意图；

图3为本申请实施例提供的一种日志采集的流程示例图；

图4为本申请实施例提供的另一种CDN的信息处理方法的流程示意图；

图5为本申请实施例提供的一种ETL任务下发的流程示例图；

图6为本申请实施例提供的又一种CDN的信息处理方法的流程示意图；

图7为本申请实施例提供的一种CDN系统的架构图；

图8为本申请实施例提供的一种CDN节点的结构示意图；

图9为本申请实施例提供的一种数据中心服务器的结构示意图；

图10为本申请实施例提供的一种电子系统的结构示意图。

具体实施方式

下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”指示实现为“A”，或者实现为“A”，或者实现为“A和B”。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请实施例提供了一种CDN的信息处理方法，可以应用于CDN系统中，实现在需要对故障的日志进行查询分析时，达到节约资源、减少成本的目的。

本申请实施例中，一种可能的CDN系统的拓扑结构示意图如图1所示，CDN系统包括数据中心服务器(可简称为数据中心)和CDN节点(也可称为边缘节点，图1中以3个CDN节点为例)。其中，每个CDN节点包括至少一台设备，将每台设备看作一个子节点(图1中以每个CDN节点包括3个子节点为例)。CDN节点还包括日志存储系统(也可称为边缘日志存储系统)。数据中心服务器分别与每个CDN节点通过互联网进行交互。图1中示例性的给出了数据中心服务器的组成部分，可以包括但不限于分布式任务调度系统、Kafka系统、REDIS数据库等。

下面通过对几个示例性实施方式的描述，对CDN系统中如何使用本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。

本申请实施例中提供了一种CDN的信息处理方法，该方法应用于每个CDN节点，如图2所示，该方法包括：

步骤S201：当子节点有故障发生时，获取当前子节点的故障信息；

本申请实施例中，若CDN节点有子节点出现故障，将当前出现故障的子节点称为当前子节点。实际应用中，可能发生故障的子节点可以是一个或多个，本申请实施例在此不做限定。可以理解的是，若同时存在多个发生故障的子节点，每个子节点均可作为当前子节点而采用本申请实施例的方案进行处理，相同的处理过程将不再赘述。

当故障出现时，通常可以接收到故障消息，例如网络中出现了通信异常等情况时会接收到故障的状态码，从而可以知晓故障发生的时间点，例如从接收时间来确定，以及知晓故障状态或类型，例如从接收到的状态码来确定。本申请实施例中，获取子节点发生故障后能够得到的故障信息，用于继续执行后续步骤。

步骤S202：根据故障信息，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志；

其中，故障日志是指故障发生时报告错误的日志，例如可以是状态码为异常的日志，但不限于此。

本申请的发明人考虑到，当故障出现时，故障相关的日志会集中在一段时间范围内，而一天中这段时间范围外的大多数时间系统都是正常的，这段时间范围可能占全天的时间很小，因此本申请实施例中，基于故障发生相关的预定时间范围来采样日志，使得采样具备很大的实用价值。

具体而言，可以将当前子节点的原始日志进行解析后，采集故障日志以及前后预定时间范围内的原始日志。

步骤S203：将采集的故障日志和原始日志存储在日志存储系统中，以用于响应于数据中心服务器下发的日志获取命令，将存储的故障日志和原始日志上传至数据中心服务器。

具体而言，可以响应于数据中心服务器下发的ETL任务命令，将存储的故障日志和原始日志执行ETL任务后上传至数据中心服务器。

本申请实施例中，对采集的故障日志和原始日志进行本地存储，以等待ETL任务命令。数据中心服务器需要查询分析CDN节点的故障时，会下发ETL任务命令。其中，ETL任务是负责将分布的、各种格式的日志数据进行提取、转换、集成，最后加载到数据中心，作为日志数据的查询分析处理的基础。

CDN节点响应于数据中心服务器下发的ETL任务命令，对存储的故障日志和原始日志执行ETL任务，得到对应的日志数据，并将这些日志数据上传至数据中心服务器，用于存储、查询、分析等。

本申请实施例提供的CDN的信息处理方法，极大地节约了日志处理成本。

具体地，本申请实施例提供的CDN的信息处理方法，大量缩减了上报的数据，可以极大地减少数据中心服务器的建设，极大地降低服务器的使用率。

以及，本申请实施例提供的CDN的信息处理方法，通过大量缩减上报的数据，可以极大地降低CDN节点与数据中心服务器之间传输的网络带宽。

以及，本申请实施例提供的CDN的信息处理方法，只对故障日志以及前后预定时间范围内的原始日志进行采样存储，大大地降低了数据的稀疏性，提高数据的单位有效价值，并且可以极大地降低CDN节点的存储资源。

本申请实施例中，提供了一种可选的实施方式，本领域技术人员可以直接根据实际情况对预定时间范围的值进行设置。此时，故障信息可以包括故障时间或故障日志位置。步骤S202中，基于故障出现的时间点或故障日志位置采集当前子节点的故障日志，根据预定时间范围采集故障日志前后预定时间范围内的原始日志。

本申请实施例中，提供了另一种可选的实施方式，故障信息包括故障时间和故障类型，可以根据故障信息动态地确定预定时间范围，以更加准确地采集故障相关的日志。

具体而言，步骤S202可以包括：

步骤S2021：获取故障类型对应的故障类型权重；

考虑到不同的故障类型(例如不同的异常状态码)对应的日志重要性不一样，本申请实施例中，针对不同的故障类型设置不同的权重。在采集日志时，根据故障类型，获取对应的故障类型权重。需要说明的是，本申请实施例对各种故障类型权重的值不做限定，本领域技术人员可以根据实际情况进行设置。

步骤S2022：根据故障时间和故障类型权重，确定预定时间范围；

其中，将故障时间作为采样基础时间，采集该基础时间前后一定时间范围内的日志。

一种可选地实施方式中，可以采用以下函数来确定采样的预定时间范围：

Y＝t₀±Ka

其中，Y是时间范围，t₀是给定的采样基础时间，a是常量，K是对应的故障类型权重。

本领域技术人员可以根据实际情况来设置常量a，本申请实施例在此不做限定。

步骤S2023：基于预定时间范围，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志。

本申请实施例中，通过对故障日志及一定时间范围内的原始日志进行采样抽取，也可以实现有效提供故障相关的日志。与现有技术中对所有的日志全量采集相比，能够显著较少采样数据，节约计算资源。

本申请实施例中，当前子节点的日志可能包括一个或多个种类的日志。对于当前子节点包含多个种类日志的情况，采集的故障日志及前后预定时间范围内的原始日志可能来自于一个种类的日志，也可能来自于多个种类的日志。基于这样的考虑，在步骤S203中，可以对故障日志及前后预定时间范围内的原始日志进行分类后，再进行存储。

具体而言，步骤S203可以包括：若故障日志包括多个种类的日志，则对故障日志和原始日志进行分类；将分类后的故障日志和原始日志存储在日志存储系统中。

可以理解的是，若故障日志及前后预定时间范围内的原始日志仅包括一个种类，也可以对其执行分类操作，考虑到这种情况分类操作前后结果相同，本领域技术人员可以根据实际情况设置是判断为仅包含一个种类日志时直接存储，还是统一执行分类操作后进行存储，本申请实施例在此不做限定。

本申请实施例中，对于不同子节点的日志，可以共同存储于CDN节点一个总的日志存储系统中，例如总的日志存储系统可以部署在CDN节点的一个设备上。或者，日志存储系统包括与子节点分别对应的日志存储子系统，不同子节点的日志可以分别存储在各自对应的日志存储子系统上。其中，不同的日志存储子系统可以部署在CDN节点的一个设备上，也可以部署在不同设备上，例如每个子节点的对应的日志存储子系统可以直接部署在子节点上。

对于利用日志存储子系统进行存储的情形，步骤S203具体可以包括：针对每个当前子节点，将采集的该当前子节点的故障日志和原始日志存储在该当前子节点对应的日志存储子系统中。

本申请实施例中，可以预置日志采集程序来对故障日志及前后预定时间范围的原始日志进行采集。日志采集程序将采集的日志推送到边缘日志存储系统中，边缘日志存储系统存储日志采集程序采集的日志。

另外，边缘日志存储系统还可以处理ETL任务命令，将对应的日志数据上传到数据中心服务器。

同理地，对于不同子节点的日志，可以预置一个总的日志采集程序，例如总的日志采集程序可以部署在CDN节点的一个设备上。或者，针对不同子节点可以分别预置不同的日志采集程序。其中，不同的日志采集程序可以部署在CDN节点的一个设备上，也可以部署在不同设备上，例如每个子节点的对应的日志采集程序可以直接部署在子节点上。

图3示出了一种日志采集的流程示例图。如图3所示，日志采集程序对获取的日志进行分类，得到种类1的日志、种类2的日志等分类后的日志。日志采集程序对分类后的日志进行缓存。日志采集程序再从缓存的日志中判断是否存在故障，若是，则利用故障日志抽样模块从缓存中拉取故障附件日志，从而采集出故障日志及前后预定时间范围的原始日志。日志采集程序将采集的日志数据发送给边缘日志存储系统。

边缘日志存储系统在接收到日志数据后，对日志进行分类，得到种类1的日志、种类2的日志等分类后的日志，存储至日志存储模块，等待ETL任务命令，将对应的日志数据上传到数据中心服务器。

本申请实施例提供的CDN的信息处理方法，能够节约大量的日志采集资源和本地存储资源，还能够进一步节约网络数据上传带宽，数据中心服务器的存储及计算资源，从而达到节约日志处理成本的目的。

本申请实施例中还提供了一种CDN的信息处理方法，该方法应用于数据中心服务器，如图4所示，该方法包括：

步骤S401：下发日志获取命令到目标CDN节点；

其中，目标CDN节点可以是全部CDN节点，也可以是指定的一个或多个CDN节点。

步骤S402：接收目标CDN节点根据日志获取命令上传的故障日志和原始日志，用于查询分析，故障日志为目标CDN节点的子节点的故障日志，原始日志为采集的故障日志前后预定时间范围内的原始日志。

其中，对于目标CDN节点采集和存储故障日志以及故障日志前后预定时间范围内的原始日志的方法可以参见上文中的介绍，在此不再赘述。

本申请实施例提供的CDN的信息处理方法，极大地节约了日志处理成本。

具体地，本申请实施例提供的CDN的信息处理方法，大量缩减了CDN节点上报的数据，可以极大地减少数据中心服务器的建设，极大地降低服务器的使用率。

以及，本申请实施例提供的CDN的信息处理方法，通过大量缩减CDN节点上报的数据，可以极大地降低CDN节点与数据中心服务器之间传输的网络带宽。

本申请实施例中，下发日志获取命令到目标CDN节点具体可以包括：下发ETL任务命令到目标CDN节点；则接收目标CDN节点根据日志获取命令上传的故障日志和原始日志具体可以包括：接收目标CDN节点执行ETL任务后上传的故障日志和原始日志。具体实施方式可以参见上文中的介绍，在此不再赘述。

本申请实施例中，数据中心服务器中可以预置有REST接口，可以提供ETL任务下发功能，还可以提供任务状态查询功能。那么对于步骤S401，可以调用REST接口，下发ETL任务命令到目标CDN节点。

进一步地，下发日志获取命令到目标CDN节点之后，还可以包括步骤：获取目标CDN节点对日志获取命令的处理状态，用于查询分析。例如调用REST接口，查询目标CDN节点对日志获取命令的处理状态。

具体而言，数据中心服务器中还可以包括REDIS数据库，在步骤S401之后，可以通过REDIS数据库，接收ETL任务的执行状态(即日志获取命令的处理状态)，用于查询分析。例如调用REST接口，查询ETL任务的执行状态。

具体地，REDIS数据库将接收的ETL任务的执行状态进行存储，可以通过调用REST接口查询存储的ETL任务的执行状态。

其中，ETL任务的执行状态可以包括下发、等待、运行中、失败等，本申请实施例在此不做限定。

本申请实施例中，通过REDIS数据库记录ETL任务的执行状态，对日志的查询分析起到辅助分析作用。由于同时执行的ETL任务数量通常很多，利用REDIS数据库记录ETL任务的执行状态，可以无需等待全部ETL任务执行完成就可进行日志的查询分析工作，提高查询分析效率。

本申请实施例中，接收目标CDN节点上传的日志数据，用于查询分析，具体可以包括：接收日志数据并进行存储；消费存储的日志数据，得到数据处理结果，用于查询分析。

具体而言，数据中心服务器中可以包括Kafka系统，Kafka系统是一种高吞吐量的分布式发布订阅消息系统，在本申请实施例中用于日志数据的存储，可以提高日志数据处理的稳定性。具体地，在步骤S402中，通过Kafka系统，接收日志数据并进行存储，以等待读取(通过创建消费者消费的方式)；进一步地，可以消费存储于Kafka系统中的日志数据，得到数据处理结果，用于查询分析。

本申请实施例中，数据中心服务器中可以包括与CDN节点对应的分布式任务调度系统，用于将ETL任务下发到边缘日志存储系统中，并知晓任务状态。分布式任务调度系统中包含多个任务调度系统，分别部署调度程序。通过一致性hash，将众多的CDN节点均匀分布到对应的调度程序上。每两个任务调度系统之间同步数据。

本申请实施例中，数据中心服务器的ETL任务可以是针对所有的CDN节点，也可以是针对指定的一个或多个CDN节点。当ETL任务的对象包括了所有CDN节点，即目标CDN节点为所有CDN节点，则用于下发任务的目标任务调度系统也为分布式任务调度系统中的所有任务调度系统。当ETL任务的对象包括了指定的一个或多个CDN节点，即目标CDN节点为指定的一个或多个CDN节点，则用于下发任务的目标任务调度系统为分布式任务调度系统中该指定的一个或多个CDN节点对应的任务调度系统。

具体而言，步骤S401可以包括步骤：

确定目标CDN节点对应的目标任务调度系统；

通过目标任务调度系统，下发日志获取命令到目标CDN节点。

具体地，可以是下发ETL任务命令到目标CDN节点。

进而分布式任务调度系统便可通过REDIS数据库获取ETL任务的状态，用于查询分析。

本申请实施例提供的技术方案，支持全网所有节点的ETL，也支持具体某个，某几个节点的ETL，针对性强，可以进一步节约成本。

本申请实施例中，数据中心服务器还包括查询分析系统：用于存储、查询、分析ETL上来的日志数据。

图5示出了一种ETL任务下发的流程示例图。如图5所示，数据中心服务器确定需要下发ETL任务，分布式任务调度系统接收任务。分布式任务调度系统根据接收的任务，判断ETL任务是针对全网CDN节点还是指定的一个或多个CDN节点。若是针对全网CDN节点，则调用全部任务调度系统向全部CDN节点下发ETL任务。若不是针对全网CDN节点，则为指定CDN节点匹配对应的任务调度系统，用于向指定CDN节点下发ETL任务。进而分布式任务调度系统便可通过REDIS数据库获取ETL任务的状态。

分布式任务调度系统下发ETL任务后，对应的CDN节点的边缘日志存储系统接收任务，并执行该ETL任务。随后经过压缩等操作，边缘日志存储系统将ETL任务的执行状态发送给REDIS数据库，以使得REDIS数据库接收状态后进行存储。同时边缘日志存储系统将执行ETL任务后得到的日志数据上传至Kafka系统。

Kafka系统接收日志数据并进行存储，以等待消费。

结果处理程序消费存储于Kafka系统中的日志数据，并进行数据处理，得到数据处理结果。结果处理程序还提供了查询接口用于结果查询分析。

本申请实施例提供的CDN的信息处理方法，能够有效节约数据中心的存储和计算能力，节约服务器成本和网络带宽成本。

本申请实施例中还提供了一种CDN的信息处理方法，该方法应用于CDN系统，如图6所示，该方法包括：

步骤S601：当CDN节点的子节点有故障发生时，当前CDN节点获取当前子节点的故障信息；

步骤S602：当前CDN节点根据故障信息，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志；

步骤S603：当前CDN节点将采集的故障日志和原始日志存储在日志存储系统中。

步骤S604：数据中心服务器下发日志获取命令(例如ETL任务命令)到目标CDN节点；

步骤S605：目标CDN节点响应于数据中心服务器下发的日志获取命令，将存储的故障日志和原始日志上传至数据中心服务器。

步骤S606：数据中心服务器接收目标CDN节点上传的日志数据，用于查询分析。

其中，各步骤的具体实施方法可以参见上文中的介绍，在此不再赘述。

图7中以CDN系统包括日志采集程序、边缘日志存储系统、分布式任务调度系统等为例，示出了一种CDN系统的架构图。如图7所示，日志采集程序通过采集agent(一种日志采集工具)采集每个出现故障的CDN子节点的CDN故障日志及前后预定时间范围内的原始日志，分别存储到边缘日志存储系统中各个CDN子节点对应的日志存储系统中。在数据中心服务器需要查询分析日志时，通过REST调用接口下发任务，分布式任务调度系统在互相同步的各个任务调度系统中确定出目标CDN节点对应的任务调度系统，并利用确定出的任务调度系统向边缘日志存储系统下发任务。边缘日志存储系统中的各个日志存储系统执行ETL任务后进行反馈。具体地，边缘日志存储系统将ETL任务的执行状态发送给REDIS数据库进行存储。同时边缘日志存储系统将执行ETL任务后得到的日志数据上传至Kafka系统。数据中心服务器可以通过REST调用接口从REDIS数据库中查询ETL任务的执行状态，以及数据中心服务器可以查询对Kafka系统中存储的日志数据消费后的数据处理结果。

本申请实施例的信息处理方法，节约了大量的日志采集资源、本地存储资源、网络数据上传带宽，数据中心服务器的存储及计算资源，从而可以显著地节约日志处理成本。

本申请实施例提供了一种CDN节点，如图8所示，该CDN节点可以包括：获取模块801、采集模块802以及存储和上传模块803，其中，

获取模块801用于当子节点有故障发生时，获取当前子节点的故障信息；

采集模块802用于根据故障信息，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志；

存储和上传模块803用于将采集的故障日志和原始日志存储在日志存储系统中，以用于响应于数据中心服务器下发的日志获取命令，将存储的故障日志和原始日志上传至数据中心服务器。

在一种可选的实施方式中，故障信息包括故障时间和故障类型；采集模块802在用于根据故障信息，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志时，具体用于：

获取故障类型对应的故障类型权重；

根据故障时间和故障类型权重，确定预定时间范围；

基于预定时间范围，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志。

在一种可选的实施方式中，存储和上传模块803在用于将采集的故障日志和原始日志存储在日志存储系统中时，具体用于：

若故障日志包括多个种类的日志，则对故障日志和原始日志进行分类；

将分类后的故障日志和原始日志存储在日志存储系统中。

在一种可选的实施方式中，日志存储系统包括与子节点分别对应的日志存储子系统；存储和上传模块803在用于将采集的故障日志和原始日志存储在日志存储系统中时，具体用于：

针对每个当前子节点，将采集的该当前子节点的故障日志和原始日志存储在该当前子节点对应的日志存储子系统中。

本申请实施例提供了一种数据中心服务器，如图9所示，该数据中心服务器可以包括：下发模块901以及接收模块902，其中

下发模块901用于下发日志获取命令到目标CDN节点；

接收模块902用于接收目标CDN节点根据日志获取命令上传的故障日志和原始日志，用于查询分析，故障日志为目标CDN节点的子节点的故障日志，原始日志为采集的故障日志前后预定时间范围内的原始日志。

在一种可选的实施方式中，下发模块901具体用于下发ETL任务命令到目标CDN节点；

接收模块902具体用于接收目标CDN节点执行ETL任务后上传的故障日志和原始日志。

在一种可选的实施方式中，接收模块902还用于获取目标CDN节点对日志获取命令的处理状态，用于查询分析。

在一种可选的实施方式中，数据中心服务器中包括REDIS数据库，接收模块902在用于下发ETL任务命令到目标CDN节点之后，还用于：

通过REDIS数据库，接收ETL任务的执行状态，用于查询分析。

在一种可选的实施方式中，数据中心服务器中包括与CDN节点对应的分布式任务调度系统，每两个任务调度系统之间同步数据，下发模块901在用于下发ETL任务命令到目标CDN节点时，具体用于：

确定目标CDN节点对应的目标任务调度系统；

通过目标任务调度系统，下发日志获取命令到目标CDN节点。

在一种可选的实施方式中，数据中心服务器中预置有REST接口，下发模块901在用于下发的ETL任务命令到目标CDN节点时，具体用于：

调用REST接口，下发ETL任务命令到目标CDN节点。

接收模块902还用于调用REST接口，查询ETL任务的执行状态。

在一种可选的实施方式中，接收模块902在用于接收目标CDN节点上传的日志数据，用于查询分析时，具体用于：

接收日志数据并进行存储；

消费存储的日志数据，得到数据处理结果，用于查询分析。

在一种可选的实施方式中，数据中心服务器中包括Kafka系统，接收模块902在用于接收目标CDN节点上传的日志数据，用于查询分析时，具体用于：

通过Kafka系统，接收日志数据并进行存储；

消费存储于Kafka系统中的日志数据，得到数据处理结果，用于查询分析。

本申请实施例的CDN节点和数据中心服务器可执行本申请前述各实施例所提供的方法，其实现原理相类似，本申请各实施例的CDN节点和数据中心服务器中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于CDN节点和数据中心服务器的各模块的详细功能描述和有益效果具体可以参见前文中所示的对应方法中的描述，此处不再赘述。

基于此，本申请实施例还提供了一种CDN系统，例如可以参考图1，该CDN系统包括本申请各实施例提供的CDN节点以及本申请各实施例提供的数据中心服务器。对于详细功能描述和有益效果具体可以参见前文中的相应描述，此处不再赘述。

本申请实施例中提供了一种电子系统，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现前述方法各实施例的步骤。

在一个可选实施例中提供了一种电子系统，如图10所示，图10所示的电子系统1000包括：处理器1001和存储器1003。其中，处理器1001和存储器1003相连，如通过总线1002相连。可选地，电子系统1000还可以包括收发器1004，收发器1004可以用于该电子系统与其他电子系统之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器1004不限于一个，该电子系统1000的结构并不构成对本申请实施例的限定。

处理器1001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线1002可包括一通路，在上述组件之间传送信息。总线1002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线1002可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器1003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。

存储器1003用于存储执行本申请实施例的计算机程序，并由处理器1001来控制执行。处理器1001用于执行存储器1003中存储的计算机程序，以实现前述方法实施例所示的步骤。

其中，电子系统包括但不限于CDN节点、CDN子节点、日志存储系统、数据中心服务器、分布式任务调度系统等。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。

本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。

应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。

以上仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (14)

1.一种内容分发网络CDN的信息处理方法，其特征在于，所述CDN包括数据中心服务器和与数据中心服务器交互的CDN节点，所述方法应用于每个CDN节点，其中，每个CDN节点包括子节点以及日志存储系统，所述方法包括：

当子节点有故障发生时，获取当前子节点的故障信息；

根据所述故障信息，采集所述当前子节点的故障日志以及所述故障日志前后预定时间范围内的原始日志；

将采集的所述故障日志和所述原始日志存储在所述日志存储系统中，以用于响应于所述数据中心服务器下发的日志获取命令，将存储的所述故障日志和所述原始日志上传至所述数据中心服务器。

2.根据权利要求1所述的信息处理方法，其特征在于，所述故障信息包括故障时间和故障类型；所述根据所述故障信息，采集所述当前子节点的故障日志以及所述故障日志前后预定时间范围内的原始日志，包括：

获取所述故障类型对应的故障类型权重；

根据所述故障时间和所述故障类型权重，确定所述预定时间范围；

基于所述预定时间范围，采集所述当前子节点的故障日志以及所述故障日志前后预定时间范围内的原始日志。

3.根据权利要求1或2所述的信息处理方法，其特征在于，所述将采集的所述故障日志和所述原始日志存储在所述日志存储系统中，包括：

若所述故障日志包括多个种类的日志，则对所述故障日志和所述原始日志进行分类；

将分类后的所述故障日志和所述原始日志存储在所述日志存储系统中。

4.根据权利要求1或2所述的信息处理方法，其特征在于，所述日志存储系统包括与所述子节点分别对应的日志存储子系统；所述将采集的所述故障日志和所述原始日志存储在所述日志存储系统中，包括：

针对每个当前子节点，将采集的该当前子节点的所述故障日志和所述原始日志存储在该当前子节点对应的日志存储子系统中。

5.一种内容分发网络CDN的信息处理方法，其特征在于，所述CDN包括数据中心服务器和与数据中心服务器交互的CDN节点，所述方法应用于所述数据中心服务器，所述方法包括：

下发日志获取命令到目标CDN节点；

接收所述目标CDN节点根据所述日志获取命令上传的故障日志和原始日志，用于查询分析，所述故障日志为所述目标CDN节点的子节点的故障日志，所述原始日志为采集的所述故障日志前后预定时间范围内的原始日志。

6.根据权利要求5所述的信息处理方法，其特征在于，所述下发日志获取命令到目标CDN节点之后，还包括：

获取所述目标CDN节点对所述日志获取命令的处理状态，用于查询分析。

7.根据权利要求5所述的信息处理方法，其特征在于，所述数据中心服务器中包括与所述CDN节点对应的分布式任务调度系统，每两个所述任务调度系统之间同步数据，所述下发日志获取命令到目标CDN节点，包括：

确定所述目标CDN节点对应的目标任务调度系统；

通过所述目标任务调度系统，下发日志获取命令到目标CDN节点。

8.根据权利要求5所述的信息处理方法，其特征在于，所述接收所述目标CDN节点上传的日志数据，用于查询分析，包括：

接收所述日志数据并进行存储；

消费存储的日志数据，得到数据处理结果，用于查询分析。

9.一种内容分发网络CDN节点，其特征在于，所述CDN节点与数据中心服务器交互，其中，所述CDN节点包括子节点以及日志存储系统，所述CDN节点包括：

获取模块，用于当子节点有故障发生时，获取当前子节点的故障信息；

采集模块，用于根据所述故障信息，采集所述当前子节点的故障日志以及所述故障日志前后预定时间范围内的原始日志；

存储和上传模块，用于将采集的所述故障日志和所述原始日志存储在所述日志存储系统中，以用于响应于所述数据中心服务器下发的日志获取命令，将存储的所述故障日志和所述原始日志上传至所述数据中心服务器。

10.一种数据中心服务器，其特征在于，所述数据中心服务器与CDN节点交互，所述数据中心服务器包括：

下发模块，用于下发日志获取命令到目标CDN节点；

接收模块，用于接收所述目标CDN节点根据所述日志获取命令上传的故障日志和原始日志，用于查询分析，所述故障日志为所述目标CDN节点的子节点的故障日志，所述原始日志为采集的所述故障日志前后预定时间范围内的原始日志。

11.一种内容分布网络CDN系统，其特征在于，包括权利要求9所述的CDN节点以及权利要求10所述的数据中心服务器。

12.一种电子系统，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-4中任一项所述方法或权利要求5-8中任一项所述方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4中任一项所述方法或权利要求5-8中任一项所述方法的步骤。

14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4中任一项所述方法或权利要求5-8中任一项所述方法的步骤。

Images