CN102647299B - 基于内容分发网络的层次化报警分析方法和系统 - Google Patents

Abstract

本发明公开了一种基于内容分发网络的层次化报警分析方法和系统，实现精确的实时报警，提高互联网CDN服务质量的目的。其技术方案为：方法包括：数据采集步骤；单节点分析步骤：对采集到的数据按照目标IP进行划分，相同节点数据放入同一分析容器中进行单节点分析；区域分析步骤：对单节点分析后上报的异常数据进行汇总，按区域放入对应分析容器内进行分析；源分析步骤：对区域分析后的异常数据进行汇总，对全部异常数据进行分析，根据异常在全部区域中所占的比例判断问题根源是否在于源；报警过滤步骤：经过单节点分析、区域分析和源分析后得到上层的异常报警信息，通过逆向匹配下层报警数据，过滤下层重复报警。

Description

基于内容分发网络的层次化报警分析方法和系统

技术领域

本发明涉及一种计算机网络服务质量的监控技术，尤其涉及一种在内容分发网络(CDN)上提供服务状况异常的报警分析方法和系统。

背景技术

服务质量是网络的一种安全机制，是用来解决网络延迟和阻塞等问题的一种技术,常用的方法包括分类、标注和优先级设置。但随着互联网业务的迅猛发展，对网络应用的服务质量要求已不再局限于底层的网络控制，内容分发网络(CDN)技术应运而生。它是为能在传统的IP网发布宽带丰富媒体而特别优化的网络覆盖层。从广义的角度，CDN代表了一种基于质量与秩序的网络服务模式。CDN以提高互联网业务的服务质量为目的，通过网络边缘节点向最终用户提供更好的网络应用体验。然而因为其交互过程和网络环境的复杂性，在应用过程中仍然不必可免地存在着许多影响服务质量问题。

传统网络应用的服务质量瓶颈主要存在于最终用户与应用服务器间的网络问题，然而应用CDN服务后已大大减少了路由过长、跨运营商等造成服务质量低下的主要原因。但是，采用CDN后也带来了具有其自身特性的新问题：加速节点回源异常、边缘节点流量跑高跑平、边缘节点服务异常、域名解析覆盖异常等。这些问题同样影响着网络应用的服务质量，关系着最终用户的业务体验，是不容忽视的问题。

随着互联网业务的发展，互联网企业已将监控的关注点从原来的底层硬件、网络状况逐步转移向具体的业务应用，如图片、视频、动态请求等内容的服务质量。相应的网站性能监测分析也随之而来，出现了一些通过模拟最终用户，以HTTP方式向目标资源发出请求获取测试数据，进而分析得到网站服务质量的网络应用和业务。然而目前该监控方式虽然能够有效获取到问题数据，却缺乏对问题本质的层次化结构认识，以及针对CDN特点的分析方法，随着CDN应用的普及，现有分析方式不能有效利用测试数据实现综合、有效分析来产生报警，大大增加人为分析处理的工作量。

发明内容

本发明的目的在于解决上述问题，提供了一种基于内容分发网络的层次化报警分析方法和系统，对CDN加速产品的服务情况进行探测、分析和报警，尤其突出层次化、多维度的问题结构模型和分析方法，通过精确的实时报警从而达到提高互联网CDN服务质量的目的。

本发明的技术方案为：本发明揭示了一种基于内容分发网络的层次化报警分析方法，包括：

数据采集步骤；

单节点分析步骤：对采集到的数据按照目标IP进行划分，相同节点数据放入同一分析容器中进行单节点分析；

区域分析步骤：对单节点分析后上报的异常数据进行汇总，按区域放入对应分析容器内进行分析；

源分析步骤：对区域分析后的异常数据进行汇总，对全部异常数据进行分析，根据异常在全部区域中所占的比例判断问题根源是否在于源；

报警过滤步骤：经过单节点分析、区域分析和源分析后得到上层的异常报警信息，通过逆向匹配下层报警数据，过滤下层重复报警。

根据本发明的基于内容分发网络的层次化报警分析方法的一实施例，数据采集步骤进一步包括：

采用HTTP请求目标URL获得数据。

根据本发明的基于内容分发网络的层次化报警分析方法的一实施例，在单节点分析步骤中，根据HTTP请求状态分析、HTTP状态码分析以及HTTP性能指标分析的顺序逐类进行分析。

根据本发明的基于内容分发网络的层次化报警分析方法的一实施例，区域分析步骤所针对的服务质量异常的分析包括区域性回源异常、区域骨干网、区域覆盖错误。

根据本发明的基于内容分发网络的层次化报警分析方法的一实施例，源分析步骤所针对的源问题包括原始域名别名异常、源服务器异常。

本发明还揭示了一种基于内容分发网络的层次化报警分析系统，包括：

数据采集装置；

单节点分析装置，连接数据采集装置，对采集到的数据按照目标IP进行划分，相同节点数据放入同一分析容器中进行单节点分析；

区域分析装置，连接单节点分析装置，对单节点分析后上报的异常数据进行汇总，按区域放入对应分析容器内进行分析；

源分析装置，连接区域分析装置，对区域分析后的异常数据进行汇总，对全部异常数据进行分析，根据异常在全部区域中所占的比例判断问题根源是否在于源；

报警过滤装置，连接单节点分析装置、区域分析装置和源分析装置，经过单节点分析、区域分析和源分析后得到上层的异常报警信息，通过逆向匹配下层报警数据，过滤下层重复报警。

根据本发明的基于内容分发网络的层次化报警分析系统的一实施例，数据采集装置是采用HTTP请求目标URL获得数据。

根据本发明的基于内容分发网络的层次化报警分析系统的一实施例，单节点分析装置中，根据HTTP请求状态分析、HTTP状态码分析以及HTTP性能指标分析的顺序逐类进行分析。

根据本发明的基于内容分发网络的层次化报警分析系统的一实施例，区域分析装置中针对的服务质量异常的分析包括区域性回源异常、区域骨干网、区域覆盖错误。

根据本发明的基于内容分发网络的层次化报警分析系统的一实施例，源分析装置中处理的源问题包括原始域名别名异常、源服务器异常。

本发明对比现有技术有如下的有益效果：本发明的方案是结合CDN的特点，总结现有问题并归类和划分，提供了层次化的问题分析模型，为报警识别提供判断依据，有效定位问题。此外，在单节点数据分析基础上，结合多节点数据进行关联分析，将问题上升到业务层次，实现传统分析方式所不能提供的问题定位。进而通过定位上层问题，直接上报问题根源，避免下层各个环节重复报警，实现对底层报警的过滤，减少处理开销。

附图说明

图1示出了本发明的基于内容分发网络的层次化报警分析方法的较佳实施例的流程示意图。

图2示出了本发明的异常问题层次划分模型的示意图。

图3示出了本发明的基于内容分发网络的层次化报警分析系统的较佳实施例的结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

基于内容分发网络的层次化报警分析方法的实施例

图1示出了本发明的基于内容分发网络的层次化报警分析方法的较佳实施例的流程。请参见图1，本实施例的层次化报警分析方法的各个步骤详述如下。

步骤S10：数据采集步骤。

采用HTTP请求目标URL获得测试数据，获取的原始测试数据包含测试IP、测试区域、目标IP、目标区域、DNS IP、测试结果状态、HTTP返回码、DNS解析时间、连接时间、响应时间、下载时间、重定向时间。可使用IDC机房或最终用户进行测试，常见的服务质量监控方法均包含该步骤，此处不再做进一步描述。

步骤S11：单节点分析步骤。

对采集到的数据按照目标IP进行划分，相同节点数据放入同一分析容器中进行单节点分析。

根据HTTP请求的数据的结果，有三种不同维度的判断类型，且如图1所示的描述顺序逐类进行分析。

首先进行HTTP请求状态分析，识别无法完成一次正常请求，即无HTTP状态码返回。通常进行一次HTTP的URL请求的过程包括DNS解析、建立连接、请求响应、下载，在请求响应时服务器可能进行重定向到另一目标URL，而在该过程各个环节都可能出现异常。该阶段分析的问题主要包括DNS解析失败、连接失败、响应失败、下载失败、重定向失败。DNS解析失败可能是由于单个测试点DNS问题，也可能是源域名别名问题导致；连接失败一般由单个节点异常造成；响应失败在单节点、区域、源上的异常都可能造成；下载失败主要也是由单节点异常引起；重定下失败比较特殊，可能出现上述环节的问题。这些问题中单节点原因的异常可直接记录，而像DNS解析失败、响应失败等可能由上层业务所导致的异常，则需上报做进一步分析。

之后进行HTTP状态码分析，正常HTTP请求得到响应一般为200，当出现403、404、500、502、503等状态码时，则为错误响应。大多数情况下状态码异常是由源异常导致，但也不排除区域或单节点问题，因为可能出现机房篡改、区域性回源失败等情况，因此单节点分析识别出异常情况下，需要将该类问题提交到上层分析以便准确定位。

最后进行HTTP性能指标分析，在得到200响应的数据中，该次请求过程中各个阶段的时间异常分析。某个时间持续性过长将严重影响服务质量。DNS时间过长主要可能是源问题，DNS缓存时间设置过短将导致大多数请求需要向授权服务器获取；连接和下载时间一般受制于单节点服务能力；而响应时间需要区分动、静态请求，若为动态请求，则涉及到CDN的回源，问题原因可能是上层，因此提交进行汇总分析是必要的。

步骤S12：区域分析步骤。

对单节点分析后上报的异常数据进行汇总，按区域放入对应分析容器内进行分析。区域分析步骤所针对的服务质量异常的分析包括区域性回源异常、区域骨干网、区域覆盖错误等。

步骤S13：源分析步骤。

对区域分析后的异常数据进行汇总，对全部异常数据进行分析，根据异常在全部区域中所占的比例判断问题根源是否在于源，即，当异常占到全部区域的一定比例时，可以认为问题根源在源。源分析步骤所针对的源问题包括原始域名别名异常、源服务器异常等。

步骤S14：报警过滤步骤。

经过单节点分析、区域分析和源分析后得到上层的异常报警信息，通过逆向匹配下层报警数据，过滤下层重复报警，仅发送经过三层分析过滤后的最终报警，大大减少数据冗余，直观有效地定位问题本质，减少人为分析的开销。

步骤S11－S13所描述的异常问题层次化划分模型如图2所示，该模型将常见问题划分为单节点、区域、源三个层次，直观定位了问题产生的位置。同时，将测试数据归纳为HTTP请求状态(DNS解析失败、连接失败、响应失败、下载失败)、HTTP状态码(200、403、404、500、502、503)、HTTP性能指标(DNS解析时间、连接时间、响应时间、下载时间、重定向时间)三种维度，从而判断产生问题的原因。经过该模型对内容分发网络中问题的划分，从而产生本发明中基于内容分发网络的层次化报警分析方法。

具体而言，单节点的问题包括单节点机房网络问题(时延大、丢包、带宽跑满跑平、路由环路等)、单节点服务器性能(负载、IO读写、CPU、网卡带宽)、单节点服务异常(服务软件异常、配置异常)。区域的问题包括区域回源异常(区域回源网络异常、区域性屏蔽)、区域骨干网异常(运营商网络异常)、区域效果差(区域性覆盖异常)。源的问题包括DNS别名异常(别名错误)、源服务异常(源宕机、源不稳定、状态码异常)。

基于内容分发网络的层次化报警分析系统的实施例

图3示出了本发明的基于内容分发网络的层次化报警分析系统的实施例的结构。请参见图3，本实施例的层次化报警分析系统包括：数据采集装置11、多个单节点分析装置12、多个区域分析装置13、源分析装置14以及报警过滤装置15。

在数据采集装置11是采用HTTP请求目标URL获得数据。

每个单节点分析装置12均连接数据采集装置11，对采集到的数据按照目标IP进行划分，相同节点数据放入同一分析容器中进行单节点分析。

单节点分析装置12根据HTTP请求的数据的结果，有三种不同维度的判断类型，根据这三种判断类型按照顺序逐类进行分析。

首先进行HTTP请求状态分析，识别无法完成一次正常请求，即无HTTP状态码返回。通常进行一次HTTP的URL请求的过程包括DNS解析、建立连接、请求响应、下载，在请求响应时服务器可能进行重定向到另一目标URL，而在该过程各个环节都可能出现异常。该阶段分析的问题主要包括DNS解析失败、连接失败、响应失败、下载失败、重定向失败。DNS解析失败可能是由于单个测试点DNS问题，也可能是源域名别名问题导致；连接失败一般由单个节点异常造成；响应失败在单节点、区域、源上的异常都可能造成；下载失败主要也是由单节点异常引起；重定下失败比较特殊，可能出现上述环节的问题。这些问题中单节点原因的异常可直接记录，而像DNS解析失败、响应失败等可能由上层业务所导致的异常，则需上报做进一步分析。

之后进行HTTP状态码分析，正常HTTP请求得到响应一般为200，当出现403、404、500、502、503等状态码时，则为错误响应。大多数情况下状态码异常是由源异常导致，但也不排除区域或单节点问题，因为可能出现机房篡改、区域性回源失败等情况，因此单节点分析识别出异常情况下，需要将该类问题提交到上层分析以便准确定位。

最后进行HTTP性能指标分析，在得到200响应的数据中，该次请求过程中各个阶段的时间异常分析。某个时间持续性过长将严重影响服务质量。DNS时间过长主要可能是源问题，DNS缓存时间设置过短将导致大多数请求需要向授权服务器获取；连接和下载时间一般受制于单节点服务能力；而响应时间需要区分动、静态请求，若为动态请求，则涉及到CDN的回源，问题原因可能是上层，因此提交进行汇总分析是必要的。

所有的单节点分析装置12连接区域分析装置13，区域分析装置13对单节点分析后上报的异常数据进行汇总，按区域放入对应分析容器内进行分析。区域分析装置13中针对的服务质量异常的分析包括区域性回源异常、区域骨干网、区域覆盖错误。

源分析装置14连接每一个区域分析装置13，对区域分析后的异常数据进行汇总，对全部异常数据进行分析，根据异常在全部区域中所占的比例判断问题根源是否在于源。源分析装置14中处理的源问题包括原始域名别名异常、源服务器异常。

报警过滤装置15连接单节点分析装置12、区域分析装置13和源分析装置14，经过单节点分析、区域分析和源分析后得到上层的异常报警信息，通过逆向匹配下层报警数据，过滤下层重复报警。

本实施例的异常问题层次化划分模型如图2所示，该模型将常见问题划分为单节点、区域、源三个层次，直观定位了问题产生的位置。同时，将测试数据归纳为HTTP请求状态(DNS解析失败、连接失败、响应失败、下载失败)、HTTP状态码(200、403、404、500、502、503)、HTTP性能指标(DNS解析时间、连接时间、响应时间、下载时间、重定向时间)三种维度，从而判断产生问题的原因。经过该模型对内容分发网络中问题的划分，从而产生本发明中基于内容分发网络的层次化报警分析方法。

具体而言，单节点的问题包括单节点机房网络问题(时延大、丢包、带宽跑满跑平、路由环路等)、单节点服务器性能(负载、IO读写、CPU、网卡带宽)、单节点服务异常(服务软件异常、配置异常)。区域的问题包括区域回源异常(区域回源网络异常、区域性屏蔽)、区域骨干网异常(运营商网络异常)、区域效果差(区域性覆盖异常)。源的问题包括DNS别名异常(别名错误)、源服务异常(源宕机、源不稳定、状态码异常)。

上述实施例是提供给本领域普通技术人员来实现和使用本发明的，本领域普通技术人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而本发明的发明范围并不被上述实施例所限，而应该是符合权利要求书所提到的创新性特征的最大范围。

Claims (10)

1.一种基于内容分发网络的层次化报警分析方法，包括：

数据采集步骤；

单节点分析步骤：对采集到的数据按照目标IP进行划分，相同节点数据放入同一分析容器中进行单节点分析；

区域分析步骤：对单节点分析后上报的异常数据进行汇总，按区域放入对应分析容器内进行分析；

源分析步骤：对区域分析后的异常数据进行汇总，对全部异常数据进行分析，根据异常在全部区域中所占的比例判断问题根源是否在于源；

报警过滤步骤：经过单节点分析、区域分析和源分析后得到上层的异常报警信息，通过逆向匹配下层报警数据，过滤下层重复报警。

2.根据权利要求1所述的基于内容分发网络的层次化报警分析方法，其特征在于，数据采集步骤进一步包括：

采用HTTP请求目标URL获得数据。

3.根据权利要求1所述的基于内容分发网络的层次化报警分析方法，其特征在于，在单节点分析步骤中，根据HTTP请求状态分析、HTTP状态码分析以及HTTP性能指标分析的顺序逐类进行分析。

4.根据权利要求1所述的基于内容分发网络的层次化报警分析方法，其特征在于，区域分析步骤所针对的服务质量异常的分析包括区域性回源异常、区域骨干网异常、区域覆盖错误。

5.根据权利要求1所述的基于内容分发网络的层次化报警分析方法，其特征在于，源分析步骤所针对的源问题包括原始域名别名异常、源服务器异常。

6.一种基于内容分发网络的层次化报警分析系统，包括：

数据采集装置；

单节点分析装置，连接数据采集装置，对采集到的数据按照目标IP进行划分，相同节点数据放入同一分析容器中进行单节点分析；

区域分析装置，连接单节点分析装置，对单节点分析后上报的异常数据进行汇总，按区域放入对应分析容器内进行分析；

源分析装置，连接区域分析装置，对区域分析后的异常数据进行汇总，对全部异常数据进行分析，根据异常在全部区域中所占的比例判断问题根源是否在于源；

报警过滤装置，连接单节点分析装置、区域分析装置和源分析装置，经过单节点分析、区域分析和源分析后得到上层的异常报警信息，通过逆向匹配下层报警数据，过滤下层重复报警。

7.根据权利要求6所述的基于内容分发网络的层次化报警分析系统，其特征在于，数据采集装置是采用HTTP请求目标URL获得数据。

8.根据权利要求6所述的基于内容分发网络的层次化报警分析系统，其特征在于，单节点分析装置中，根据HTTP请求状态分析、HTTP状态码分析以及HTTP性能指标分析的顺序逐类进行分析。

9.根据权利要求6所述的基于内容分发网络的层次化报警分析系统，其特征在于，区域分析装置中针对的服务质量异常的分析包括区域性回源异常、区域骨干网异常、区域覆盖错误。

10.根据权利要求6所述的基于内容分发网络的层次化报警分析系统，其特征在于，源分析装置中处理的源问题包括原始域名别名异常、源服务器异常。