CN114189467B - 内容分发网络服务评估方法及装置 - Google Patents

Abstract

本公开关于一种内容分发网络服务评估方法及装置，评估方法包括：获取评估期的第一指标数据和第二指标数据；根据第一指标数据和预设异常阈值，确定待评估内容分发网络服务的第一类异常时间点；根据第一指标数据和第二指标数据，确定待评估内容分发网络服务的第二类异常时间点；根据第一类异常时间点和第二类异常时间点，确定待评估内容分发网络服务在评估期的评估结果。根据本公开的内容分发网络服务评估方法及装置，通过将第一指标数据分别和预设异常阈值和第二指标数据比较，明确了服务不可用的逻辑，减少误判错判的情况，使得评估结果更加公平。

Description

内容分发网络服务评估方法及装置

技术领域

本公开涉及互联网技术领域，尤其涉及一种内容分发网络服务评估方法及装置。

背景技术

内容服务平台使用了内容分发网络(CDN，Content Delivery Network)服务来为其内容触达到消费用户提供通路，因此，对于内容分发网络服务的稳定性的评估很重要。在相关技术的评估方法中，采用的是对于一评估指标设置一阈值，对于超过该阈值的时间段认为是其存在异常，判定为内容分发网络服务不可用。但是，由于样本量的大小会使得评估指标的波动较大、同一评估指标在不同的时间段会有所变化，以及对于一内容分发网络的一评估指标可能存在短时波动，所以该评估方法对于内容分发网络服务的评估可能存在误判错判的情况。

发明内容

本公开提供一种内容分发网络服务评估方法及装置，以至少解决上述相关技术中的问题，也可不解决任何上述问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种内容分发网络服务评估方法，包括：获取评估期的第一指标数据和第二指标数据，其中，所述第一指标数据是第一评估样本在使用待评估内容分发网络服务的过程中产生的关于至少一个评估指标的数据，所述第二指标数据是第二评估样本在使用其他内容分发网络服务的过程中产生的关于所述至少一个评估指标的数据；根据所述第一指标数据和预设异常阈值，确定所述待评估内容分发网络服务的第一类异常时间点，其中，所述预设异常阈值是预设的用于确定所述待评估内容分发网络服务的所述至少一个评估指标在所述评估期是否异常的阈值；根据所述第一指标数据和所述第二指标数据，确定所述待评估内容分发网络服务的第二类异常时间点；根据所述第一类异常时间点和所述第二类异常时间点，确定所述待评估内容分发网络服务在所述评估期的评估结果。

可选地，还包括：基于历史指标数据，预测所述预设异常阈值，其中，所述历史指标数据是第三评估样本在使用所述待评估内容分发网络服务的过程中产生的关于所述至少一个评估指标的历史数据。

可选地，所述基于历史指标数据，预测所述预设异常阈值，包括：根据所述历史指标数据，建立差分整合移动平均自回归模型；根据所述差分整合移动平均自回归模型，得到所述预设异常阈值。

可选地，第一评估样本和第二评估样本的数量均大于或者等于针对所述至少一个评估指标而预设的评估样本数量阈值。

可选地，所述根据所述第一指标数据和预设异常阈值，确定所述待评估内容分发网络服务的第一类异常时间点，包括：基于所述第一指标数据和所述预设异常阈值，确定所述评估期的每一时间点的第一比值，其中，所述第一比值是所述第一指标数据和所述预设异常阈值的比值；基于第一预设值与所述第一比值的比较，确定所述评估期中的第一类时间点，其中，所述第一类时间点的第一比值大于所述第一预设值；在存在大于或者等于第二预设值个连续的第一类时间点的情况下，将所述第二预设值个连续的第一类时间点确定为第一类异常时间点。

可选地，所述根据所述第一指标数据和所述第二指标数据，确定所述待评估内容分发网络服务的第二类异常时间点，包括：基于所述第一指标数据和所述第二指标数据，确定所述评估期的每一时间点的至少一个第二比值，其中，所述其他内容分发网络服务包括至少一个其他内容分发网络服务，所述至少一个第二比值分别是所述第一指标数据和每个其他内容分发网络服务的第二指标数据的比值；基于所述至少一个第二比值与第三预设值的比较，确定所述评估期中的第二类时间点；在存在大于或者等于第四预设值个连续的第二类时间点的情况下，将所述第四预设值个连续的第二类时间点均作为第二类异常时间点。

可选地，所述基于所述至少一个第二比值与第三预设值的比较，确定所述评估期中的第二类时间点，包括：针对所述评估期中的每个时间点，执行以下操作：确定当前时间点的所述至少一个第二比值中大于第三预设值的第二比值的个数；在大于第三预设值的第二比值的个数大于第五预设值的情况下，将所述当前时间点确定为第二类时间点。

可选地，所述根据所述第一类异常时间点和所述第二类异常时间点，确定所述待评估内容分发网络服务在所述评估期的评估结果，包括：根据所述第一类异常时间点和所述第二类异常时间点的和值，确定异常时间点个数；根据所述异常时间点个数和所述评估期的总时间点个数，确定所述待评估内容分发网络服务在所述评估期的可用率，作为所述评估结果。

根据本公开实施例的第二方面，提供一种内容分发网络服务评估装置，包括：数据获取单元，被配置为：获取评估期的第一指标数据和第二指标数据，其中，所述第一指标数据是第一评估样本在使用待评估内容分发网络服务的过程中产生的关于至少一个评估指标的数据，所述第二指标数据是第二评估样本在使用其他内容分发网络服务的过程中产生的关于所述至少一个评估指标的数据；第一确定单元，被配置为：根据所述第一指标数据和预设异常阈值，确定所述待评估内容分发网络服务的第一类异常时间点，其中，所述预设异常阈值是预设的用于确定所述待评估内容分发网络服务的所述至少一个评估指标在所述评估期是否异常的阈值；第二确定单元，被配置为：根据所述第一指标数据和所述第二指标数据，确定所述待评估内容分发网络服务的第二类异常时间点；结果确定单元，被配置为：根据所述第一类异常时间点和所述第二类异常时间点，确定所述待评估内容分发网络服务在所述评估期的评估结果。

可选地，还包括阈值预测单元，被配置为：基于历史指标数据，预测所述预设异常阈值，其中，所述历史指标数据是第三评估样本在使用所述待评估内容分发网络服务的过程中产生的关于所述至少一个评估指标的历史数据。

可选地，阈值预测单元被配置为：根据所述历史指标数据，建立差分整合移动平均自回归模型；根据所述差分整合移动平均自回归模型，得到所述预设异常阈值。

可选地，第一评估样本和第二评估样本的数量均大于或者等于针对所述至少一个评估指标而预设的评估样本数量阈值。

可选地，第一确定单元被配置为：基于所述第一指标数据和所述预设异常阈值，确定所述评估期的每一时间点的第一比值，其中，所述第一比值是所述第一指标数据和所述预设异常阈值的比值；基于第一预设值与所述第一比值的比较，确定所述评估期中的第一类时间点，其中，所述第一类时间点的第一比值大于所述第一预设值；在存在大于或者等于第二预设值个连续的第一类时间点的情况下，将所述第二预设值个连续的第一类时间点确定为第一类异常时间点。

可选地，第二确定单元被配置为：基于所述第一指标数据和所述第二指标数据，确定所述评估期的每一时间点的至少一个第二比值，其中，所述其他内容分发网络服务包括至少一个其他内容分发网络服务，所述至少一个第二比值分别是所述第一指标数据和每个其他内容分发网络服务的第二指标数据的比值；基于所述至少一个第二比值与第三预设值的比较，确定所述评估期中的第二类时间点；在存在大于或者等于第四预设值个连续的第二类时间点的情况下，将所述第四预设值个连续的第二类时间点均作为第二类异常时间点。

可选地，第二确定单元被配置为：针对所述评估期中的每个时间点，执行以下操作：确定当前时间点的所述至少一个第二比值中大于第三预设值的第二比值的个数；在大于第三预设值的第二比值的个数大于第五预设值的情况下，将所述当前时间点确定为第二类时间点。

可选地，结果确定单元被配置为：根据所述第一类异常时间点和所述第二类异常时间点的和值，确定异常时间点个数；根据所述异常时间点个数和所述评估期的总时间点个数，确定所述待评估内容分发网络服务在所述评估期的可用率，作为所述评估结果。

根据本公开实施例的第三方面，提供一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的内容分发网络服务评估方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中存储的指令被至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的内容分发网络服务评估方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被至少一个处理器执行时实现根据本公开的内容分发网络服务评估方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

根据本公开的内容分发网络服务评估方法及装置，通过将第一指标数据分别和预设异常阈值和第二指标数据比较，明确了服务不可用的逻辑，减少误判错判的情况，使得评估结果更加公平。

另外，根据本公开的内容分发网络服务评估方法及装置，预设了评估样本数量阈值，增加了评估指标的数据的可信度。

另外，根据本公开的内容分发网络服务评估方法及装置，基于历史指标数据，预测了评估期的预设异常阈值，相较于相关技术中采用的固定阈值，能够根据实际情况减少误判错判。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种内容分发网络服务评估方法的整体框架图。

图2是根据一示例性实施例示出的一种内容分发网络服务评估方法的流程图。

图3是根据一示例性实施例示出的历史指标数据和预设异常阈值的示意图。

图4是根据一示例性实施例示出的第一指标数据和预设异常阈值的示意图。

图5是根据一示例性实施例示出的一种内容分发网络服务评估装置的框图。

图6是根据一示例性实施例的电子设备600的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。

内容服务平台使用了内容分发网络(CDN，Content Delivery Network)服务来为其内容触达到消费用户提供通路，内容服务平台按照流量或使用带宽为CDN服务提供厂商付费，因此，对于内容分发网络服务的稳定性的评估很重要。CDN是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率，CDN的关键技术主要有内容存储和分发技术。

对于内容分发网络服务的稳定性的评估，相关技术中，一般采用服务等级协议(SLA，Service Level Agreement)，具体来说，就是计算可用时长占比。在相关技术的评估方法中，采用的是对于一评估指标设置一固定阈值，对于超过该固定阈值的时间段认为是其存在异常，判定为内容分发网络服务不可用。比如在评估期有20个时间点，超过该固定阈值的有9个时间点，那么可用率＝1–9/20，结果为55％。

但是，由于样本量的大小会使得评估指标的波动较大、同一评估指标在不同的时间段会有所变化，以及对于一内容分发网络的一评估指标可能存在短时波动且波动可能未超过固定阈值，所以该评估方法对于内容分发网络服务的评估可能存在误判错判的情况。

为了解决上述相关技术中存在的问题，本公开提出一种内容分发网络服务评估方法及装置，通过将第一指标数据分别和预设异常阈值和第二指标数据比较，明确了服务不可用的逻辑，减少误判错判的情况，使得评估结果更加公平。

下面，将参照图1至图6来详细描述根据本公开的内容分发网络服务评估方法及装置。

图1是根据一示例性实施例示出的一种内容分发网络服务评估方法的整体框架图。参考图1，首先可根据历史指标数据预测出评估期的预设异常阈值，然后可根据实时的样本通过评估样本数量阈值过滤出评估样本，其中，评估样本可根据使用的内容分发网络服务的不同而不同。接下来可对比预设异常阈值和待评估内容分发网络服务的指标，以及待评估内容分发网络服务和其他内容分发网络服务的指标，其中，其他内容分发网络服务可以包括其他内容分发网络服务1、其他内容分发网络服务2，…，其他内容分发网络服务n，综合得出异常时间点，从而得到评估结果。

接下来，基于图1所示的整体框架图，下面来对本公开的内容分发网络服务评估方法进行具体描述。图2是根据一示例性实施例示出的一种内容分发网络服务评估方法的流程图。参照图2，在步骤201，可获取评估期的第一指标数据和第二指标数据，其中，第一指标数据是第一评估样本在使用待评估内容分发网络服务的过程中产生的关于至少一个评估指标的数据，第二指标数据是第二评估样本在使用其他内容分发网络服务的过程中产生的关于至少一个评估指标的数据。

根据本公开的示例性实施例，评估指标可包括，但不限于，观看的卡顿频次、卡顿时长、开播失败率、启播时长。

根据本公开的示例性实施例，第一指标数据可包括第一评估样本在使用待评估内容分发网络服务的过程中产生的关于至少一个评估指标中的每一评估指标的(时序)数据。第一指标数据可包括第二评估样本在使用其他内容分发网络服务的过程中产生的关于至少一个评估指标中的每一评估指标的(时序)数据。

根据本公开的示例性实施例，根据评估指标等的不同，评估过程所使用的样本量需要进行适应性地调整，例如对于开播失败率，如果只有样本量为1那么数据的波动很大。基于此，需要预设评估样本数量阈值，第一评估样本和第二评估样本的数量均可大于或者等于针对所述至少一个评估指标而预设的评估样本数量阈值。

在步骤202，可根据第一指标数据和预设异常阈值，确定待评估内容分发网络服务的第一类异常时间点，其中，预设异常阈值是预设的用于确定待评估内容分发网络服务的至少一个评估指标在评估期是否异常的阈值。

根据本公开的示例性实施例，预设异常阈值可以是每一评估指标在评估期随时间的变化而不同的动态阈值。

根据本公开的示例性实施例，可基于历史指标数据，预测预设异常阈值，其中，历史指标数据是第三评估样本在使用待评估内容分发网络服务的过程中产生的关于至少一个评估指标的历史数据。

根据本公开的示例性实施例，可首先根据历史指标数据，建立差分整合移动平均自回归模型(ARIMA，Autoregressive Integrated Moving Average model)；然后可根据差分整合移动平均自回归模型，得到预设异常阈值。需要说明的是，ARIMA中包括p、d、q三个参数，其中，p为自回归项数，q为滑动平均项数，d为使之成为平稳序列所做的差分次数(阶数)。使用内容分发网络服务的过程中产生评估指标的数据，可能呈周期性的变化，基于此，本公开的示例性实施例可根据7天的(以一个星期为周期)历史指标数据，建立差分整合移动平均自回归模型，根据均方误差公式，确定各参数的值，进而可以预测得到预设异常阈值。其中，各参数的值分别是p＝1，d＝0，q＝0，均方误差被表示为下式(1)：

其中，x为均方误差，n为历史指标数据的数值个数，y为历史指标数据，为预测数据。

图3是根据一示例性实施例示出的历史指标数据和预设异常阈值的示意图。参考图3，横坐标是时间(以分钟为单位)，纵坐标为评估指标数据，左侧方框内为历史指标数据，右侧方框内为预设异常阈值。

根据本公开的示例性实施例，还可以基于历史指标数据，通过神经网络模型预测预设异常阈值。

图4是根据一示例性实施例示出的第一指标数据和预设异常阈值的示意图。参考图4，横坐标是时间(以分钟为单位)，纵坐标为评估指标数据，折线为第一指标数据，曲线为预设异常阈值。首先可基于第一指标数据和预设异常阈值，确定评估期的每一时间点的第一比值，其中，第一比值是第一指标数据和预设异常阈值的比值。然后可基于第一预设值与第一比值的比较，确定评估期中的第一类时间点，其中，第一类时间点的第一比值大于第一预设值。最后可在存在大于或者等于第二预设值个连续的第一类时间点的情况下，将第二预设值个连续的第一类时间点确定为第一类异常时间点。

根据本公开的示例性实施例，每一评估指标在评估期每一时间点都有一个第一比值。基于此，对于每一评估指标，均需确定第一类时间点，进而确定第一类异常时间点。最终将各个评估指标的第一类异常时间点求并集，得到待评估内容分发网络服务的第一类异常时间点。

例如，对于任一评估指标，第一预设值可为2，第二预设值可为10，通过第一指标数据和预设异常阈值确定第一比值可如表(1)：

表(1)

在步骤203，可根据第一指标数据和第二指标数据，确定待评估内容分发网络服务的第二类异常时间点。

根据本公开的示例性实施例，首先可基于第一指标数据和第二指标数据，确定评估期的每一时间点的至少一个第二比值，其中，其他内容分发网络服务包括至少一个其他内容分发网络服务，至少一个第二比值分别是第一指标数据和每个其他内容分发网络服务的第二指标数据的比值。然后可基于至少一个第二比值与第三预设值的比较，确定评估期中的第二类时间点。最后可在存在大于或者等于第四预设值个连续的第二类时间点的情况下，将第四预设值个连续的第二类时间点均作为第二类异常时间点。

根据本公开的示例性实施例，可针对评估期中的每个时间点，执行以下操作：确定当前时间点的至少一个第二比值中大于第三预设值的第二比值的个数；在大于第三预设值的第二比值的个数大于第五预设值的情况下，将当前时间点确定为第二类时间点。

根据本公开的示例性实施例，每一评估指标在评估期每一时间点都有至少一个第二比值。基于此，对于每一评估指标，均需确定第二类时间点，进而确定第二类异常时间点。最终将各个评估指标的第二类异常时间点求并集，得到待评估内容分发网络服务的第二类异常时间点。

例如，对于任一评估指标，第三预设值可为2，第四预设值可为2，第五预设值可为10，其他内容分发网络服务可为4个，通过第一指标数据和第二指标数据确定第二比值可如表(2)至表(5)：

表(2)

表(3)

表(4)

表(5)

在步骤204，可根据第一类异常时间点和第二类异常时间点，确定待评估内容分发网络服务在评估期的评估结果。

根据本公开的示例性实施例，首先可根据第一类异常时间点和第二类异常时间点的和值，确定异常时间点个数。然后可根据异常时间点个数和评估期的总时间点个数，确定待评估内容分发网络服务在评估期的可用率，作为评估结果。

例如，可用率被表示为下式(2)：

SLA＝1–A/B (2)

其中，SLA为可用率，A为异常时间点个数，B为评估期的总时间点个数。

图5是根据一示例性实施例示出的一种内容分发网络服务评估装置的框图。参考图5，内容分发网络服务评估装置500包括数据获取单元501、第一确定单元502、第二确定单元503和结果确定单元504。

数据获取单元501可获取评估期的第一指标数据和第二指标数据，其中，第一指标数据是第一评估样本在使用待评估内容分发网络服务的过程中产生的关于至少一个评估指标的数据，第二指标数据是第二评估样本在使用其他内容分发网络服务的过程中产生的关于至少一个评估指标的数据。

根据本公开的示例性实施例，评估指标可包括，但不限于，观看的卡顿频次、卡顿时长、开播失败率、启播时长。

根据本公开的示例性实施例，第一指标数据可包括第一评估样本在使用待评估内容分发网络服务的过程中产生的关于至少一个评估指标中的每一评估指标的(时序)数据。第一指标数据可包括第二评估样本在使用其他内容分发网络服务的过程中产生的关于至少一个评估指标中的每一评估指标的(时序)数据。

根据本公开的示例性实施例，根据评估指标等的不同，评估过程所使用的样本量需要进行适应性地调整，例如对于开播失败率，如果只有样本量为1那么数据的波动很大。基于此，需要预设评估样本数量阈值，第一评估样本和第二评估样本的数量均可大于或者等于针对所述至少一个评估指标而预设的评估样本数量阈值。

第一确定单元502可根据第一指标数据和预设异常阈值，确定待评估内容分发网络服务的第一类异常时间点，其中，预设异常阈值是预设的用于确定待评估内容分发网络服务的至少一个评估指标在评估期是否异常的阈值。

根据本公开的示例性实施例，预设异常阈值可以是每一评估指标在评估期随时间的变化而不同的动态阈值。

根据本公开的示例性实施例，第一确定单元502可基于历史指标数据，预测预设异常阈值，其中，历史指标数据是第三评估样本在使用待评估内容分发网络服务的过程中产生的关于至少一个评估指标的历史数据。

根据本公开的示例性实施例，第一确定单元502可首先根据历史指标数据，建立差分整合移动平均自回归模型(ARIMA，Autoregressive Integrated Moving Averagemodel)；然后第一确定单元502可根据差分整合移动平均自回归模型，得到预设异常阈值。需要说明的是，ARIMA中包括p、d、q三个参数，其中，p为自回归项数，q为滑动平均项数，d为使之成为平稳序列所做的差分次数(阶数)。使用内容分发网络服务的过程中产生评估指标的数据，可能呈周期性的变化，基于此，本公开的示例性实施例可根据7天的(以一个星期为周期)历史指标数据，建立差分整合移动平均自回归模型，根据均方误差公式，确定各参数的值，进而可以预测得到预设异常阈值。其中，各参数的值分别是p＝1，d＝0，q＝0，均方误差被表示为上式(1)。

根据本公开的示例性实施例，第一确定单元502还可以基于历史指标数据，通过神经网络模型预测预设异常阈值。

根据本公开的示例性实施例，第一确定单元502首先可基于第一指标数据和预设异常阈值，确定评估期的每一时间点的第一比值，其中，第一比值是第一指标数据和预设异常阈值的比值。然后第一确定单元502可基于第一预设值与第一比值的比较，确定评估期中的第一类时间点，其中，第一类时间点的第一比值大于第一预设值。最后第一确定单元502可在存在大于或者等于第二预设值个连续的第一类时间点的情况下，将第二预设值个连续的第一类时间点确定为第一类异常时间点。

根据本公开的示例性实施例，每一评估指标在评估期每一时间点都有一个第一比值。基于此，对于每一评估指标，均需确定第一类时间点，进而确定第一类异常时间点。最终将各个评估指标的第一类异常时间点求并集，得到待评估内容分发网络服务的第一类异常时间点。

例如，对于任一评估指标，第一预设值可为2，第二预设值可为10，通过第一指标数据和预设异常阈值确定第一比值可如上表(1)。

第二确定单元503可根据第一指标数据和第二指标数据，确定待评估内容分发网络服务的第二类异常时间点。

根据本公开的示例性实施例，第二确定单元503首先可基于第一指标数据和第二指标数据，确定评估期的每一时间点的至少一个第二比值，其中，其他内容分发网络服务包括至少一个其他内容分发网络服务，至少一个第二比值分别是第一指标数据和每个其他内容分发网络服务的第二指标数据的比值。第二确定单元503然后可基于至少一个第二比值与第三预设值的比较，确定评估期中的第二类时间点。最后可在存在大于或者等于第四预设值个连续的第二类时间点的情况下，将第四预设值个连续的第二类时间点均作为第二类异常时间点。

根据本公开的示例性实施例，第二确定单元503可针对评估期中的每个时间点，执行以下操作：确定当前时间点的至少一个第二比值中大于第三预设值的第二比值的个数；在大于第三预设值的第二比值的个数大于第五预设值的情况下，将当前时间点确定为第二类时间点。

根据本公开的示例性实施例，每一评估指标在评估期每一时间点都有至少一个第二比值。基于此，对于每一评估指标，均需确定第二类时间点，进而确定第二类异常时间点。最终将各个评估指标的第二类异常时间点求并集，得到待评估内容分发网络服务的第二类异常时间点。

例如，对于任一评估指标，第三预设值可为2，第四预设值可为2，第五预设值可为10，其他内容分发网络服务可为4个，通过第一指标数据和第二指标数据确定第二比值可如上表(2)至表(5)。

结果确定单元504可根据第一类异常时间点和第二类异常时间点，确定待评估内容分发网络服务在评估期的评估结果。

根据本公开的示例性实施例，结果确定单元504首先可根据第一类异常时间点和第二类异常时间点的和值，确定异常时间点个数。然后结果确定单元504可根据异常时间点个数和评估期的总时间点个数，确定待评估内容分发网络服务在评估期的可用率，作为评估结果。例如，可用率被表示为上式(2)。

图6是根据一示例性实施例的电子设备600的框图。

参照图6，电子设备600包括至少一个存储器601和至少一个处理器602，所述至少一个存储器601中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器602执行时，执行根据本公开的示例性实施例的内容分发网络服务评估方法。

作为示例，电子设备600可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备600并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备600还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。

在电子设备600中，处理器602可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

处理器602可运行存储在存储器601中的指令或代码，其中，存储器601还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。

存储器601可与处理器602集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器601可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器601和处理器602可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器602能够读取存储在存储器中的文件。

此外，电子设备600还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备600的所有组件可经由总线和/或网络而彼此连接。

根据本公开的示例性实施例，还可提供一种计算机可读存储介质，其中，当计算机可读存储介质中存储的指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的示例性实施例的内容分发网络服务评估方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成根据本公开的示例性实施例的内容分发网络服务评估方法。

根据本公开的内容分发网络服务评估方法及装置，通过将第一指标数据分别和预设异常阈值和第二指标数据比较，明确了服务不可用的逻辑，减少误判错判的情况，使得评估结果更加公平。

另外，根据本公开的内容分发网络服务评估方法及装置，预设了评估样本数量阈值，增加了评估指标的数据的可信度。

另外，根据本公开的内容分发网络服务评估方法及装置，基于历史指标数据，预测了评估期的预设异常阈值，相较于相关技术中采用的固定阈值，能够根据实际情况减少误判错判。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种内容分发网络服务评估方法，其特征在于，包括：

获取评估期的第一指标数据和第二指标数据，其中，所述第一指标数据是第一评估样本在使用待评估内容分发网络服务的过程中产生的关于至少一个评估指标的数据，所述第二指标数据是第二评估样本在使用其他内容分发网络服务的过程中产生的关于所述至少一个评估指标的数据；

根据所述第一指标数据和预设异常阈值，确定所述待评估内容分发网络服务的第一类异常时间点，其中，所述预设异常阈值是预设的用于确定所述待评估内容分发网络服务的所述至少一个评估指标在所述评估期是否异常的阈值；

根据所述第一指标数据和所述第二指标数据，确定所述待评估内容分发网络服务的第二类异常时间点；

根据所述第一类异常时间点和所述第二类异常时间点，确定所述待评估内容分发网络服务在所述评估期的评估结果；

其中，所述根据所述第一指标数据和预设异常阈值，确定所述待评估内容分发网络服务的第一类异常时间点，包括：基于所述第一指标数据和所述预设异常阈值，确定所述评估期的每一时间点的第一比值，其中，所述第一比值是所述第一指标数据和所述预设异常阈值的比值；基于第一预设值与所述第一比值的比较，确定所述评估期中的第一类时间点，其中，所述第一类时间点的第一比值大于所述第一预设值；在存在大于或者等于第二预设值个连续的第一类时间点的情况下，将所述第二预设值个连续的第一类时间点确定为第一类异常时间点；

所述根据所述第一指标数据和所述第二指标数据，确定所述待评估内容分发网络服务的第二类异常时间点，包括：基于所述第一指标数据和所述第二指标数据，确定所述评估期的每一时间点的至少一个第二比值，其中，所述其他内容分发网络服务包括至少一个其他内容分发网络服务，所述至少一个第二比值分别是所述第一指标数据和每个其他内容分发网络服务的第二指标数据的比值；基于所述至少一个第二比值与第三预设值的比较，确定所述评估期中的第二类时间点；在存在大于或者等于第四预设值个连续的第二类时间点的情况下，将所述第四预设值个连续的第二类时间点均作为第二类异常时间点。

2.如权利要求1所述的评估方法，其特征在于，还包括：

基于历史指标数据，预测所述预设异常阈值，其中，所述历史指标数据是第三评估样本在使用所述待评估内容分发网络服务的过程中产生的关于所述至少一个评估指标的历史数据。

3.如权利要求2所述的评估方法，其特征在于，所述基于历史指标数据，预测所述预设异常阈值，包括：

根据所述历史指标数据，建立差分整合移动平均自回归模型；

根据所述差分整合移动平均自回归模型，得到所述预设异常阈值。

4.如权利要求1所述的评估方法，其特征在于，第一评估样本和第二评估样本的数量均大于或者等于针对所述至少一个评估指标而预设的评估样本数量阈值。

5.如权利要求1所述的评估方法，其特征在于，所述基于所述至少一个第二比值与第三预设值的比较，确定所述评估期中的第二类时间点，包括：

针对所述评估期中的每个时间点，执行以下操作：

确定当前时间点的所述至少一个第二比值中大于第三预设值的第二比值的个数；

在大于第三预设值的第二比值的个数大于第五预设值的情况下，将所述当前时间点确定为第二类时间点。

6.如权利要求1所述的评估方法，其特征在于，所述根据所述第一类异常时间点和所述第二类异常时间点，确定所述待评估内容分发网络服务在所述评估期的评估结果，包括：

根据所述第一类异常时间点和所述第二类异常时间点的和值，确定异常时间点个数；

根据所述异常时间点个数和所述评估期的总时间点个数，确定所述待评估内容分发网络服务在所述评估期的可用率，作为所述评估结果。

7.一种内容分发网络服务评估装置，其特征在于，包括：

数据获取单元，被配置为：获取评估期的第一指标数据和第二指标数据，其中，所述第一指标数据是第一评估样本在使用待评估内容分发网络服务的过程中产生的关于至少一个评估指标的数据，所述第二指标数据是第二评估样本在使用其他内容分发网络服务的过程中产生的关于所述至少一个评估指标的数据；

第一确定单元，被配置为：根据所述第一指标数据和预设异常阈值，确定所述待评估内容分发网络服务的第一类异常时间点，其中，所述预设异常阈值是预设的用于确定所述待评估内容分发网络服务的所述至少一个评估指标在所述评估期是否异常的阈值；

第二确定单元，被配置为：根据所述第一指标数据和所述第二指标数据，确定所述待评估内容分发网络服务的第二类异常时间点；

结果确定单元，被配置为：根据所述第一类异常时间点和所述第二类异常时间点，确定所述待评估内容分发网络服务在所述评估期的评估结果；

其中，第一确定单元被配置为：基于所述第一指标数据和所述预设异常阈值，确定所述评估期的每一时间点的第一比值，其中，所述第一比值是所述第一指标数据和所述预设异常阈值的比值；基于第一预设值与所述第一比值的比较，确定所述评估期中的第一类时间点，其中，所述第一类时间点的第一比值大于所述第一预设值；在存在大于或者等于第二预设值个连续的第一类时间点的情况下，将所述第二预设值个连续的第一类时间点确定为第一类异常时间点；

第二确定单元被配置为：基于所述第一指标数据和所述第二指标数据，确定所述评估期的每一时间点的至少一个第二比值，其中，所述其他内容分发网络服务包括至少一个其他内容分发网络服务，所述至少一个第二比值分别是所述第一指标数据和每个其他内容分发网络服务的第二指标数据的比值；基于所述至少一个第二比值与第三预设值的比较，确定所述评估期中的第二类时间点；在存在大于或者等于第四预设值个连续的第二类时间点的情况下，将所述第四预设值个连续的第二类时间点均作为第二类异常时间点。

8.如权利要求7所述的评估装置，其特征在于，还包括阈值预测单元，被配置为：

基于历史指标数据，预测所述预设异常阈值，其中，所述历史指标数据是第三评估样本在使用所述待评估内容分发网络服务的过程中产生的关于所述至少一个评估指标的历史数据。

9.如权利要求8所述的评估装置，其特征在于，阈值预测单元被配置为：

根据所述历史指标数据，建立差分整合移动平均自回归模型；

根据所述差分整合移动平均自回归模型，得到所述预设异常阈值。

10.如权利要求7所述的评估装置，其特征在于，第一评估样本和第二评估样本的数量均大于或者等于针对所述至少一个评估指标而预设的评估样本数量阈值。

11.如权利要求7所述的评估装置，其特征在于，第二确定单元被配置为：

针对所述评估期中的每个时间点，执行以下操作：

确定当前时间点的所述至少一个第二比值中大于第三预设值的第二比值的个数；

在大于第三预设值的第二比值的个数大于第五预设值的情况下，将所述当前时间点确定为第二类时间点。

12.如权利要求7所述的评估装置，其特征在于，结果确定单元被配置为：

根据所述第一类异常时间点和所述第二类异常时间点的和值，确定异常时间点个数；

根据所述异常时间点个数和所述评估期的总时间点个数，确定所述待评估内容分发网络服务在所述评估期的可用率，作为所述评估结果。

13.一种电子设备，其特征在于，包括：

至少一个处理器；

至少一个存储计算机可执行指令的存储器，

其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到6中的任一权利要求所述的内容分发网络服务评估方法。

14.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中存储的指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到6中的任一权利要求所述的内容分发网络服务评估方法。