CN101741643B

CN101741643B - 内容分发网络节点检测方法及系统

Info

Publication number: CN101741643B
Application number: CN2009102430893A
Authority: CN
Inventors: 姚福源; 张永森; 张家强; 井卫军; 蒋建平
Original assignee: BEIJING CLOUDEX SOFTWARE SERVICE Co Ltd
Current assignee: Beijing Century Broadband Internet Data Center Co., Ltd.
Priority date: 2009-12-24
Filing date: 2009-12-24
Publication date: 2011-09-28
Anticipated expiration: 2029-12-24
Also published as: CN101741643A

Abstract

本发明实施例公开了一种CDN节点检测方法及系统，包括：一种内容分发网络CDN节点检测方法，包括：接收用户提交的包含域名和被测文件信息的测试任务；根据所述测试任务中的域名生成CDN的测试报告；解析所述测试报告，得到所述域名的CDN节点列表；获取所述节点列表中的节点内的被测文件信息；将所述获得的被测文件信息与所述测试任务中的对应的被测文件信息进行比较，并保存比较结果；当所述比较结果不同时发送报警信息。本发明通过对用户提供的测试文件的信息和各节点中存储的测试文件信息进行比较，可以实现对各节点工作状态的检测的目的，对于出现故障的节点可以及时的发现和处理，保证了CND网络的正常工作。

Description

内容分发网络节点检测方法及系统

技术领域

本发明涉及网络技术领域，尤其涉及一种内容发布网络(CDN，ContentDelivery Network)节点检测方法及系统。

背景技术

随着互联网的发展，用户在使用网络时对网站的浏览速度和效果愈加重视，但由于网民数量激增，网络访问路径过长，从而使用户的访问质量受到严重影响。特别是当用户与网站之间的链路被突发的大流量数据拥塞时，对于异地互联网用户急速增加的地区来说，访问质量不良是一个急待解决的问题。为了保证让各地的用户都能够进行高质量的访问，并尽量减少由此而产生的费用和网站管理压力，CDN应运而生。

CDN通过在现有的Internet中增加一层新的网络架构，将网站的内容发布到最接近用户的网络“边缘”，使用户可以就近取得所需的内容，提高用户访问网站的响应速度。CDN有别于镜像，因为它比镜像更智能，或者可以做这样一个比喻：CDN＝更智能的镜像+缓存+流量导流。因而，CDN可以明显提高Internet网络中信息流动的效率。从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等问题，提高用户访问网站的响应速度。CDN工作原理为：当用户访问已经加入CDN服务的网站时，首先通过DNS(DomainName System，域名系统)重定向技术确定最接近用户的最佳CDN节点，同时将用户的请求指向该节点。当用户的请求到达指定节点时，CDN的服务器负责将用户请求的内容提供给用户。具体流程为：用户在自己的浏览器中输入要访问的网站的域名，浏览器向本地DNS请求对该域名的解析，本地DNS将请求发到网站的主DNS，主DNS根据一系列的策略确定当时最适当的CDN节点，并将解析的结果(节点IP地址)发给用户，用户向给定的CDN节点请求相应网站的内容。

但是在实施本发明创造过程中，发明人发现：由于现有技术中并没有对各个CDN节点进行实时的分析检测的技术，所以无法及时的发现各节点出现的问题，从而无法保证各节点的正常工作。

发明内容

有鉴于此，本发明提供一种内容分发网络CDN节点检测方法，以实现对CDN中各个节点进行分析检测。其具体方式为：

一种内容分发网络CDN节点检测方法，包括：

接收用户提交的包含域名和被测文件信息的测试任务；

根据所述测试任务中的域名生成CDN的测试报告；

解析所述测试报告，得到所述域名的CDN节点列表；

获取所述节点列表中的节点内的被测文件信息；

将所述获得的被测文件信息与所述测试任务中的对应的被测文件信息进行比较，并保存比较结果；

当所述比较结果不同时发送报警信息。

优选的，所述测试任务为用户在线实时提交，或根据用户预先设定的计划提交。

优选的，根据下述步骤生成CDN测试报告：

向互联网内的本地域名系统DNS发送所述测试任务中的域名解析请求；

接收所述本地DNS返回的所述域名下的所有CDN节点IP；

生成所述域名下所有的CDN节点IP的测试报告。

优选的，所述接收所述本地DNS返回的所述域名下的节点IP的过程之后，还包括：

过滤掉少于预设数量个DNS同时返回的节点IP。

优选的，所述测试文件信息包括：测试文件的地址URL、大小、修改时间和信息-摘要算法结果MD5码。

优选的，所述获取节点内的被测文件信息并与所述测试任务中的对应的被测文件信息进行比较的过程为：

依次从不同的节点中获取所有的被测文件信息并比较；

或者，通过多线程并行对所有节点中的所有被测文件进行获取并比较。

优选的，当被测文件信息中包含测试文件URL和被测文件大小和修改时间时，所述通过线程并行对所有节点内的所有被测文件信息进行获取并比较的过程中的每一线程的具体步骤为：

根据文件信息中被测文件的URL，向该线程所对应的被测文件所在的节点发送头文件HEAD请求；

接收返回的HEAD请求结果，解析获得被测文件的大小和修改时间；

将获得的被测文件的大小和修改时间的信息与所述测试任务中的相应的被测文件的大小和修改时间信息进行比较。

优选的，当所述文件信息中包含测试文件URL和被测文件MD5码时，所述通过线程并行对所有节点内的所有被测文件信息进行获取并比较的过程中的每一线程的具体步骤为：

根据文件信息中被测文件的URL，下载该线程对应的被测文件；

下载完成后，对下载文件利用MD5进行加密，得到加密结果MD5码；

将获得的被测文件的MD5码与所述测试任务中的相应的被测文件的MD5码分别进行比较。

优选的，所述报警的具体方式为：通过邮件或短信的方式通知用户。

一种CDN节点检测系统，包括：第一接收单元、CDN测试报告生成装置、解析单元、建表单元、获取装置、比较单元和报警单元；其中：

所述第一接收单元用于，接收用户体提交的包含域名和被测文件信息的测试任务；

所述CDN测试报告生成装置用于，根据所述第一接收单元接收的测试任务中的被测文件域名获得所有本地DNS内的所述域名下的节点IP，生成测试报告；

所述解析单元用于，解析所述CDN测试报告生成装置生成的测试报告；

所述建表单元用于，根据所述解析单元的分析结果建立CDN节点列表；

所述获取装置用于，获取所述建表单元建立的节点列表中的各节点内的被测文件信息；

所述比较单元用于，将所述获取装置获取的被测文件信息与所述测试任务中的被测文件信息进行比较，并保存；

所述报警单元用于，当所述比较单元的比较结果不相同时，发送报警信息通知用户。

优选的，所述CDN测试报告生成装置包括：第一发送单元、第二接收单元和生成单元；其中：

所述第一发送单元用于，根据所述测试任务中的测试域名向所有本地DNS发送请求；

所述第二接收单元用于，接收所述所有的DNS根据所述发送单元发送的请求返回的所述域名下的节点IP；

所述生成单元用于，生成所述域名下的所有CDN节点IP的测试报告。

优选的，所述获取装置包括：第二发送单元、第三接收单元、下载单元和加密单元，其中：

所述第二发送单元用于，根据文件信息中被测文件的URL，通过线程同时向节点列表内的所有节点发送HEAD请求和或下载请求；

所述第三接收单元用于，同时接收所述节点返回的HEAD请求结果，获得各个CDN节点上的被测文件的大小和修改时间；

所述下载单元用于，根据文件信息中的被测文件URL，通过多个线程同时从节点列表内的所有节点中下载被测文件；

所述加密单元用于，同时对下载单元下载的被测文件利用MD5算法进行加密，得到MD5码。

优选的，所述报警单元包括：邮件发送模块和短信发送模块；

所述邮件发送模块用于，当比较装置中的出现比较不同的情况时，向用户发送邮件通知此情况；

所述短信发送模块用于，当比较装置中的出现比较不同的情况时，向用户发送短信通知此情况。

从上述的技术方案可以看出，本发明实施例公开的CDN检测方法及系统，通过对用户提供的测试文件的信息和各节点中存储的测试文件信息进行比较，可以实现对各节点工作状态的检测的目的，通过分析比较结果就可以得到各个节点的工作是否正常，各节点上的文件内容是否及时的更新，是否完整和准确等信息，对于出现故障的节点可以及时的发现和处理，保证了CDN网络的正常工作。对于各使用CDN网络的服务商来说，本方法和系统能够使其直观的监督CDN网络的运行状态，从而保证了其自身提供的服务的准确性、完整性和及时性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种CDN检测方法的流程图；

图2为本发明公开的生成CDN测试报告的流程图；

图3为CDN测试报告示意图；

图4为本发明实施例1公开的CDN检测方法的流程图；

图5为本发明实施例1公开的提交测试任务的方法示意图；

图6为多线程并行获取被测文件信息的流程图；

图7为按照文件大小检测的结果示意图；

图8为按照文件修改时间检测的结果示意图；

图9为按照邮件形式发送报警信息的示意图；

图10为本发明实施例2公开的CDN检测方法的流程图；

图11为本发明实施例2公开的提交测试任务的方法示意图；

图12为本发明实施例2公开的提交任务列表示意图；

图13为多线程并行下载被测文件的流程图；

图14为按照MD5码进行检测的结果示意图；

图15为按照邮件形式发送报警信息的示意图；

图16为本发明公开的一种CDN检测系统的结构示意图；

图17为本发明公开的CDN测试报告生成装置的结构示意图；

图18为本发明公开的获取被测文件信息的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种CDN节点检测方法，以实现对CDN内的节点工作情况进行监控分析。其具体流程如图1所示，包括：

步骤S11、接收用户提交的包含域名和被测文件信息的测试任务；

步骤S12、根据所述测试任务中的域名，生成内容分发网络CDN的测试报告；

步骤S13、解析所述CDN的测试报告，生成该域名下的CDN节点列表；

步骤S14、获取所述节点列表中的节点内的被测文件信息；

步骤S15、将所述获得的测试文件信息与所述测试任务中的被测文件信息进行比较，保存比较结果；

步骤S16、判断结果中是否相同；

步骤S17、当所述比较的结果中存在不同时，报警。

本方法中生成CDN测试报告的流程如图2所示，包括：

步骤S21、向互联网内的本地域名系统DNS发送所述测试任务中的域名解析请求；

步骤S22、接收所述本地DNS返回的所述域名下的所有CDN节点IP；

步骤S23、生成所述域名下所有的CDN节点IP的测试报告。

这样就可以得到所述的域名下的所有CDN节点的IP。生成的CDN报告的形式如图3所示。所述步骤S22后还包括：过滤掉少于5个DNS同时返回的节点IP。因为本地DNS可能会返回错误的节点IP，所以增加过滤的步骤是为了使列表准确，当有较少的DNS指向同一个节点IP时，就将此IP舍弃。在此设定的阈值为5，是一个较好的实施例，其具体的值可以根据实际情况进行设定。

本方法中的测试任务是一个XML格式的字符串，包含测试域名、测试文件的信息，测试任务的形式如下所示：

<path>/images/logo.gif</path>

<last-modified>Thu，06Sep 2007 05:31:02GMT</last-modified>

</SyncFile>

</SyncList>

上述例子中的测试文件信息包括：被测试域名、被测文件的URL、大小、修改时间和MD5码。

根据不同的测试要求用户可以选择测试任务中的被测文件信息内容，可以只包括被测文件的大小和修改时间或者只包括被测文件的MD5码，或者两者都包括。下面根据测试文件中的文件信息类型不同来分别说明本方法的分析过程。

实施例一

本发明实施例中的被测文件信息包括：被测文件URL、大小和修改时间，为了保证测试结果的准确度，用户提交的测试任务中通常会包含多个被测文件的信息，假设被测域名下共有N个节点IP，而用户提交的测试任务中共有M个文件，本实施例的检测流程如图4所示，包括：

步骤S41、接收用户在线提交的包含域名和被测文件URL、大小和地址的测试任务；

本步骤中共有M个文件需要被检测，被测文件信息中分别包含这M个文件的文件信息。

步骤S42、根据测试任务中的域名，生成内容分发网络CDN的测试报告；

步骤S43、解析所述CDN的测试报告，生成该域名下的CDN节点列表；

步骤S44、通过N*M个线程同时向N个节点发HEAD请求；

步骤S45、接收HEAD请求结果，获得被测文件的大小和修改时间的信息；

步骤S46、将获得的各个测试文件的信息与提交的测试任务中的各个文件的信息进行比较，并将结果保存；

步骤S47、判断保存的结果中是否有不相同的情况，如果有，则执行步骤48；如果没有则结束；

步骤S48、向用户发送邮件，报告此情况。

本实施例中的测试任务是通过在线实时提交的方式进行提交并触发的。所述的在线提交是指，用户必须登录到网站，填写表单或者上传测试文件或者填写测试文件的信息，然后触发测试任务。本方式的示意图如图5所示。本方法可以随时的测试CDN节点的运行状况。

本实施例中获取所有节点的所有被测文件信息并比较的过程是通过线程来并行实现的，其流程如图6所示。

按照文件大小和修改时间进行检测的结果，分别如图7和8所示。从图中可以直观的看到被测域名下各个节点的运行状况。

本实施例中通过发送邮件的形式向用户报告出现错误的情况，本方法的示意图如图9所示。

本方法中通过比较被测文件的大小和修改时间可以确定CDN节点上是否存在所述被测文件，以及被测文件是否更新，将测试的结果保存，可以方便使用CDN的信息服务商获得CDN节点的运行状况，当出现运行异常时，可以以此为证据，维护其使用权利。

实施例二

本发明本发明实施例中的被测文件信息除包括：被测文件URL和被测文件的MD5码，假设被测域名下共有N个节点IP，而用户提交的测试任务中共有M个文件，其具体测试流程如图10所示，包括：

步骤S101、接收用户预先建立的，在计划时间发送的测试任务，本次测试任务中的被测文件信息包含被测文件的URL和MD5码；

步骤S102、根据测试任务中的域名，生成内容分发网络CDN的测试报告；

步骤S103、解析所述CDN的测试报告，生成该域名下的CDN节点列表；

步骤S104、通过N*M个线程同时向N个节点发送下载请求；

步骤S105、同时从各个节点下载被测文件；

步骤S106、对下载的文件利用MD5算法进行加密，得到MD5码；

步骤S107、将得到的各个被测文件的MD码与测试任务中的各个被测文件MD5码进行比较，并保存比较结果；

步骤S108、判断保存的结果中是否有不同的情况，如果有，则执行步骤S109，如果没有，则结束；

步骤S109、向用户发送短信通知此情况。

本实施例中所述的计划提交是指，用户登录到网站，填写被测文件的信息和提交测试任务的计划时间，然后提交后，每次到计划时间，就会自动触发测试任务。本方式的提交示意图如图11所示，提交后各个任务成列表形式显示在界面上，如图12所示。本方法可以预先设定测试的时间和被测文件的信息，可以使测试任务按照一定的周期进行，省去了重复提交测试任务的过程。

本实施例中下载所有节点的被测文件得到MD5码并比较的过程是通过线程来并行实现的，其流程如图13所示。

按照MD5码进行检测的结果如图14所示，可以直观的看到各个节点的运行状态。本实施例中的被测文件信息中加入了文件的MD5码，可以测试节点中文件的完整性和准确性，及时的发现文件被劫持或篡改的情况，保证节点的正常工作。

本实施例中通过发送短信的形式向用户报告出现错误的情况，本方法的示意图如图15所示。

被测文件信息也可以同时包括被测文件的大小、修改时间和MD5码，此时对文件大小和修改时间的获得，与从各个节点下载被测文件的过程是由不同的线程同时进行的，这种并行处理的方式能提高整个过程的检测速度，节省时间。

本发明还公开了一种CDN节点检测系统，其结构如图16所示，包括：第一接收单元161、CDN测试报告生成装置162、分析单元163、建表单元164、获取装置165、比较单元166和报警单元167；其中：

第一接收单元161用于，接收用户体提交的包含域名和被测文件信息的测试任务。

CDN测试报告生成装置162用于，根据所述第一接收单元161接收的测试任务中的被测文件域名获得所有本地DNS内的所述域名下的节点IP，生成测试报告。

解析单元163用于，解析所述CDN测试报告生成装置162生成的测试报告。

建表单元164用于，根据所述解析单元163的分析结果建立CDN节点列表。

获取装置165用于，获取所述建表单元164建立的节点列表中各节点内的被测文件信息。

比较单元166用于，将所述获取装置165获取的被测文件信息与所述测试任务中的被测文件信息进行比较，并保存。

报警单元167用于，当所述比较单元166的比较结果不相同时，报警通知用户，所述报警单元167中包括邮件模块和短信模块，分别用于将报警信息采用邮件或短信的方式通知用户。

本发明公开的CDN节点检测系统中的CDN测试报告生成装置结构如图17所示，包括：第一发送单元171、第二接收单元172和生成单元173，其中：

第一发送单元171用于，根据所述测试任务中的测试域名向所有本地DNS发送请求。

第二接收单元172用于，接收所述所有的DNS根据所述第一发送单元171发送的请求返回的所述域名下的节点IP。

生成单元173用于，生成所述域名下的所有CDN节点IP的测试报告。

本发明公开的获取装置的结构如图18所示，包括：第二发送单元181、第三接收单元182、下载单元183和加密单元184，其中：

第二发送单元181用于，根据文件信息中被测文件的URL，通过线程同时向节点列表内的所有节点发送HEAD请求和或下载请求。

第三接收单元182用于，同时接收所述节点返回的HEAD请求结果，获得各个CDN节点上的被测文件的大小和修改时间。

下载单元183用于，根据文件信息中的被测文件URL，通过多个线程同时从节点列表内的所有节点中下载被测文件。

加密单元184用于，同时对下载单元183下载的被测文件利用MD5算法进行加密，得到MD5码。

可以看出，本发明公开的CDN检测方法和系统，通过对用户提供的测试文件的信息和各节点中存储的测试文件信息进行比较，可以实现对各节点工作状态的检测的目的，通过分析比较结果就可以得到各个节点的工作是否正常，各节点上的文件内容是否及时的更新，是否完整和准确等信息，对于出现故障的节点可以及时的发现和处理，保证了CND网络的正常工作。对于各使用CDN网络的服务商来说，本方法和系统能够使其直观的监督CDN网络的运行状态，从而保证了其自身提供的服务的准确性、完整性和及时性。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本领域技术人员可以理解，以上所描述的装置或系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种内容分发网络CDN节点检测方法，其特征在于，包括：

接收用户提交的包含域名和被测文件信息的测试任务；

根据所述测试任务中的域名生成CDN的测试报告；

解析所述测试报告，得到所述域名的CDN节点列表；

获取所述节点列表中的节点内的被测文件信息；

当所述比较结果不同时发送报警信息。

2.根据权利要求1所述的方法，其特征在于，所述测试任务为用户在线实时提交，或根据用户预先设定的计划提交。

3.根据权利要求2所述的方法，其特征在于，根据下述步骤生成CDN测试报告：

接收所述本地DNS返回的所述域名下的所有CDN节点IP；

生成所述域名下所有的CDN节点IP的测试报告。

4.根据权利要求3所述的方法，其特征在于，所述接收所述本地DNS返回的所述域名下所有CDN的节点IP的过程之后，还包括：

过滤掉少于预设数量个DNS同时返回的节点IP。

5.根据权利要求4所述的方法，其特征在于，所述被测文件信息包括：测试文件的地址URL、大小、修改时间和信息-摘要算法结果MD5码。

6.根据权利要求5所述的方法，其特征在于，所述将所述获得的被测文件信息与所述测试任务中的对应的被测文件信息进行比较的过程为：

依次从不同的节点中获取所有的被测文件信息并比较；

或者，通过多线程并行对所有节点中的所有被测文件信息进行获取并比较。

7.根据权利要求6所述的方法，其特征在于，当被测文件信息中包含测试文件URL和被测文件大小和修改时间时，所述通过多线程并行对所有节点内的所有被测文件信息进行获取并比较的过程中的每一线程的具体步骤为：

8.根据权利要求6所述的方法，其特征在于，当所述被测文件信息中包含测试文件URL和被测文件MD5码时，所述通过多线程并行对所有节点内的所有被测文件信息进行获取并比较的过程中的每一线程的具体步骤为：

9.根据权利要求8所述的方法，其特征在于，所述报警的具体方式为：通过邮件或短信的方式通知用户。

10.一种CDN节点检测系统，其特征在于，包括：第一接收单元、CDN测试报告生成装置、解析单元、建表单元、获取装置、比较单元和报警单元；其中：

所述第一接收单元用于，接收用户提交的包含域名和被测文件信息的测试任务；

11.根据权利要求10所述的系统，其特征在于，所述CDN测试报告生成装置包括：第一发送单元、第二接收单元和生成单元；其中：

所述第二接收单元用于，接收所述所有的DNS根据所述第一发送单元发送的请求返回的所述域名下的节点IP；

12.根据权利要求11所述的系统，其特征在于，所述获取装置包括：第二发送单元、第三接收单元、下载单元和加密单元，其中：

所述第二发送单元用于，根据文件信息中被测文件的URL，通过线程同时向节点列表内的所有节点发送HEAD请求和/或下载请求；

13.根据权利要求12所述的系统，其特征在于，所述报警单元包括：邮件发送模块和短信发送模块；

所述邮件发送模块用于，当比较单元中出现比较不同的情况时，向用户发送邮件通知此情况；

所述短信发送模块用于，当比较单元中出现比较不同的情况时，向用户发送短信通知此情况。