CN106059856A - 文件回源的方法、文件回源装置和cdn系统 - Google Patents

Abstract

在本公开实施例中，提供一种文件回源的方法，包括：获取文件请求指令，所述文件请求指令中包含请求文件的标识；判断是否存储了所述标识对应的文件；如果没有存储所述标识对应的文件，将多个存储服务器分成多个探测组，分别向每个探测组中的一个存储服务器发送探测包，根据所述探测包的响应信息选择一个所述探测组作为第一探测组，从所述第一探测组中选择任意一个所述存储服务器作为所述第一服务器；以及从所述第一服务器上下载所述文件。按照分组探测减少了探测包的个数，根据探测包的响应信息实时获取存储服务器的网络状况，采用网络状况较好的存储服务器进行回源，提高了文件回源效率。本公开同时提供对应的文件回源装置和CDN系统。

Description

文件回源的方法、文件回源装置和CDN系统

技术领域

本公开涉及网络通信技术领域，尤其涉及一种文件回源的方法、文件回源装置和CDN系统。

背景技术

CDN(Content Delivery Network，内容分发网络)是一种在现有的互联网基础之上通过在网络各处放置节点服务器所构成的一层智能虚拟网络。当边缘节点(提供CDN访问服务器的服务器)在响应用户输入的指令时，如果服务器中没有用户输入的指令所指示的文件，通常需要去别的存储服务器上进行回源获取。在现有技术中，边缘节点可以根据服务器内部配置好的固定的回源地址，选择存储服务器上进行回源。

然而，当边缘节点通过固定的回源地址进行回源时，没有考虑到实时的网络状态和服务器负荷对回源的影响，结果是可能导致回源的速度较慢，从而影响了整个CDN系统的性能。

发明内容

有鉴于此，本公开提供文件回源的方法、文件回源装置和CDN系统，通过分组探测实时获取网络状态，提高了回源效率。

根据本公开的第一方面，本公开提供一种文件回源的方法，所述方法包括：获取文件请求指令，所述文件请求指令中包含请求文件的标识；判断是否存储了所述标识对应的文件；如果没有存储所述标识对应的文件，将多个存储服务器分成多个探测组，分别向每个探测组中的一个存储服务器发送探测包，根据所述探测包的响应信息选择一个所述探测组作为第一探测组，从所述第一探测组中选择任意一个所述存储服务器作为所述第一服务器；从第一服务器存储服务器上下载所述文件。

可选地，所述将多个存储服务器分成多个探测组包括：向多个存储服务器发送探测包，并跟踪所述探测包在到达每个所述存储服务器前经过的路由路径；以及根据路由路径将多个存储服务器分成所述多个探测组。

可选地，所述将多个存储服务器分成多个探测组包括：获取到达每个所述服务器的静态路由；以及根据所述静态路由将所述将存储服务器分成多个探测组。

可选地，根据所述探测包的响应信息选择一个所述探测组作为第一探测组包括：从响应信息中获取所述探测包到达存储服务器的时间；选择到达时间最小的存储服务器所属的探测组作为第一探测组。

可选地，通过网络工具tracerouter或tracert向存储服务器发送探测包。

根据本公开的第二方面，本公开提供一种文件回源装置，包括：指令获取单元，用于获取文件请求指令，所述文件请求指令中包含请求文件的标识；判断单元，用于判断是否存储了所述标识对应的文件；分组单元，用于如果没有存储所述标识对应的文件，将多个存储服务器分成多个探测组；探测选择单元，用于分别向每个探测组中的一个存储服务器发送探测包，根据所述探测包的响应信息选择一个所述探测组作为第一探测组，从所述第一探测组选择任意一个所述存储服务器作为所述第一服务器；下载单元，用于从第一服务器存储服务器上下载所述文件。

可选地，所述分组单元包括：向多个存储服务器发送探测包，并跟踪所述探测包在到达每个所述存储服务器前经过的路由路径；以及根据路由路径将多个存储服务器分成所述多个探测组。

可选地，所述分组单元包括：获取到达每个所述服务器的静态路由；以及根据所述静态路由将所述将存储服务器分成多个探测组。

可选地，根据所述探测包的响应信息选择一个所述探测组作为第一探测组包括：从响应信息中获取所述探测包到达存储服务器的时间；选择到达时间最小的存储服务器所属的探测组作为第一探测组。

可选地，通过网络工具tracerouter或tracert向存储服务器发送探测包。

根据本公开的第三方面，本公开提供一种CDN系统，包括上述文件回源装置和至少两个向所述回源装置提供回源服务的存储服务器。

本公开实施例中，提供一种文件回源的方法，包括：获取文件请求指令，文件请求指令中包含请求文件的标识；判断是否存储了所述标识对应的文件；如果没有存储所述标识对应的文件，将多个存储服务器分成多个探测组，分别向每个探测组中的一个存储服务器发送探测包，根据探测包的响应信息选择一个探测组，从该探测组中选择任意一个存储服务器获取回源服务。按照分组探测减少了探测包的个数。根据探测包的响应信息实时获取存储服务器的网络状况，采用网络状况较好的存储服务器进行回源，提高了文件回源效率。

附图说明

通过参照以下附图对本公开实施例的描述，本公开的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是CDN服务的场景示意图；

图2是根据本公开实施例的文件回源的方法的流程图；

图3a结合3b是根据本公开另一实施例的文件回源的方法的流程图；

图4是根据本公开实施例的文件回源装置的结构图；

具体实施方式

以下基于实施例对本公开进行描述，但是本公开并不仅仅限于这些实施例。在下文对本公开的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本公开。为了避免混淆本公开的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。

附图中的流程图、框图图示了本公开实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个、程序段或仅仅是一段代码，所述、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。

本公开实施例的CDN系统中，存储服务器是存储了系统里的所有文件，边缘节点则负责向用户提供CDN访问服务。这里的服务器和边缘节点可以为单机服务器或多个服务器组成的集群服务器。

图1是CDN服务的场景示意图。如图1所示，用户通过互联网或局域网向边缘节点提交文件请求，边缘节点接收到文件请求后，在本地服务器上检索，如果检索不到所指示的文件，则向存储服务器提交文件请求，并从存储服务器下载所指示的文件。在图1中只列出了CDN系统的边缘节点服务器和存储服务器，但实际上，CDN系统的网络拓扑图中，在边缘节点和存储服务器之间，包含有路由器，交换机，各类服务器，以及传输介质等物理设施。这些物理设施组成的网络可以为局域网或INTERNET网。

基于图1所示的CDN系统，图2示出了本公开实施例的文件回源的方法的流程图，包括步骤201-204。

在步骤201中，获取文件请求指令，所述文件请求指令中包含请求文件的标识。

文件请求指令是指用户输入的文件请求指令，该指令用于指示用户向CDN系统请求文件，文件请求指令中包含着请求的文件的标识。该文件可以是视频文件，也可以是图片文件等其他格式的文件；标识可以是请求的文件的名称，可以是请求的文件ID等任何可以标记请求的文件的标识，本公开实施例不做限制。例如，文件请求指令是一种视频播放指令，表示用户向第一服务器请求播放该指令对应的视频A，视频播放指令中包含请求的视频A的标识。

在步骤202中，判断是否存储了标识对应的文件。本步骤是判断步骤，如果判断本地服务器不存储有标识对应的文件，执行步骤203。一般地，通过文件标识检索文件存储服务系统，如果没有检索到对应项，则可以确定对应文件没有存储在本地服务器。

在步骤203中，将存储服务器分成多个探测组，分别向每个探测组中的一个存储服务器发送探测包，根据探测包的响应信息选择一个探测组，并选择该组内的任意一个存储服务器作为第一服务器。

如上所述，提供CDN服务的边缘节点和存储服务器之间包含各种网络设施，这些网络设施构成了边缘节点到存储服务器之间的网络路径，可以将具有相同的网络路径的存储服务器放在一组探测组中，分别从每个探测组中选出一个存储服务器，向该存储服务器发送探测包，根据每个探测包的返回的响应信息判断该探测包所经过的网络路径的当前状况，并选择一个当前状况较好的网络路径对应的探测组，从该探测组中选择一个存储服务器作为步骤204中提供下载服务的回源服务器。

在步骤204中，从第一服务器下载文件。

可以理解，由于网络状况是实时变化的，因此，为了把握实时的网络状况，应该对网络状况进行频繁探测，即在接收到文件请求指令前或后，定时向存服务器发送探测包，例如，每分钟或每秒钟发送一次探测包。此外，探测包的大小应该适当，过大可能造成网络拥堵，过小探测获得的网络状态不够准确。一般选择1K大小的探测包。目前已有的网络工具，如UNIX/LINUX系统的Traceroute和Windows的Tracert，均可用于本公开实施例中的探测包探测。

具体地，图3a结合图3b示出了本公开另一实施例的文件回源的方法的流程图，包括步骤301-310。

在步骤301中，向多个存储服务器发送探测包，并跟踪探测包在到达每个存储服务器前经过的路由路径。

如上所述的Traceroute，向目的地发送具有不同生存时间(TTL)的Internet控制信息协议(ICMP)回应报文，以确定至目的地的路由。路径上的每个路由器都要在转发该ICMP回应报文之前将其TTL值至少减1，因此TTL是有效的跳转计数。当报文的TTL值减少到0时，路由器向源系统发回ICMP超时信息。通过发送TTL为1的第一个回应报文并且在随后的发送中每次将TTL值加1，直到目标响应或达到最大TTL值。由此，通过Traceroute能够构建到达每个存储服务器经过的路由路径。可以理解，应该有其他类型的网络工具也能够完成上述功能，这里不做限制。

在步骤302中，根据路由路径将多个存储服务器分成若干探测组。

在步骤303中，分别向每个探测组内的一个存储服务器发送探测包。

确定每个存储服务器的路由路径之后，即可按照路由路径进行分组，在同一路由路径的组内选择任选一个存储服务器发送探测包。由于网络状态是随时变化的，所以应该频繁发送探测包进行探测，例如，可以每隔1分钟或一秒钟发送一次探测包。

在步骤304中，接收探测包返回的响应信息。

在步骤305中，从响应信息中获取探测包到达存储服务器的时间。

在步骤306中，将到达存储服务器的时间排序。

接收每个存储服务器返回的响应信息，并对响应信息进行解析，从中获得到达存储服务器的时间，将这些时间进行比较排序。

在步骤307中，选择到达时间最小的存储服务器所属的探测组，从该探测组中选择任意一个存储服务器作为回源服务器。

由此，选择到达时间最小的存储服务器所在的探测组，并从该探测组中选择任意一个服务器作为提供回源服务的服务器。

在步骤308中，获取文件请求指令，文件请求指令中包含请求的文件标识。

文件请求指令是指用户输入的文件请求指令，该指令用于指示用户向CDN系统请求文件，文件请求指令中包含着请求文件的标识。本公开

在步骤309中，判断本地是否存储了标识对应的文件。如果不存在，则执行步骤310。

在获取到文件请求指令后，需要判断本地服务器内是否存储了标识对应的文件，即判断是否需要从外部服务器进行回源获取文件。

在步骤310中，从回源服务器上下载文件。

本领域的技术人员可以理解，虽然上述步骤以递进的顺序进行编号，但在执行时，不一定按照上述编号的顺序执行。例如，301-303用于确定存储服务器的路由路径和根据路由路径分组，如果路由路径保持不变，可以只执行一次，再例如，303-307用于选择适合回源的服务器，考虑到网络状况的实时变化，为了选到的服务器切合当前的网络环境，需要高频次地执行，可以1分钟或1秒钟执行一次，而308-310是一个实时应答的过程，由用户端发起。

此外，在本实施例中，步骤301通过向存储服务器发送探测包，从而获得每个存储服务器的路由路径，这适合路由器的配置是动态路由配置和静态路由配置两种情况。但可选地，如果确定使用静态路由配置，则可以通过路由服务提供的接口获取静态路由路径，并根据静态路由路径对存储服务器进行分组划分。

在本实施例中，通过根据路由路径分组，按组发送探测包，减少了探测包的数量，从而节约了带宽，提高了文件回源的效率。进一步地，根据探测包的响应信息，确定每个探测包的到达时间，获取最小时间的存储服务器作为提供回源服务的服务器，从而提高了CDN系统的回源效率。本领域的技术人员可以理解，上述文件回源方法不仅限于CDN系统，也可以用于其他系统，本公开实施例中涉及的探测方法也不限于文件的获取，也可以专用于网络状况的探测。

图4是根据本公开实施例的文件回源装置的结构图。文件回源装置40包括指令获取单元401、判断单元402、分组单元403、探测选择单元404和下载单元405。

获取单元401获取文件请求指令，该指令中包含有请求文件的标识。该标识可以是文件名称、文件ID或其他任何能够指示文件的字符或字符串。

判断单元402判断本地是否存储有标识对应的文件。例如，可以检索本地的文件库进行判断。

分组单元403，用于将多个存储服务器分成多个探测组。在判断单元402确定没有本地没有存储对应的文件时，调用分组单元403。分组单元可以根据静态路由或动态路由将存储服务器分组。具体地，当采用静态路由时，获取到达每个服务器的静态路由，根据相同的静态路由的存储服务器分为一个探测组；当采用动态路由时，向多个存储服务器发送探测包，跟踪探测包在到达每个存储服务器前经过的路由路径，将路由路径相同的存储服务器分在一个探测组。

探测选择单元404分别向每个探测组中的一个存储服务器发送探测包，根据探测包的响应信息判断网络状况，根据网络状况选择一个探测组，并选择该探测组中的任意一个存储服务器作为回源服务器。具体地，从探测包的响应信息中获取探测包到达存储服务器的时间，选择到达时间最小的存储服务器所属的探测组。

下载单元405从探测选择单元选定的回源服务器下载文件。

本实施例中的文件回源装置，针对相同路径的探测组，只向其中的一个存储服务器发送探测包，减少了探测包的数量，从而节省网络带宽。进一步地，根据探测包的响应信息确定网络状态较好的探测组，从该探测组中选择存储服务器进行回源，从而提高了回源效率。

相应地，本公开实施例同时提供一种CDN系统，包括上述的回源装置和至少两个向回源装置提供回源服务的存储服务器，通过上述CDN系统的回源方法，从至少两个存储服务器中获得适合回源的一个服务器。

结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

当通过计算机软件实现本公开的方法和系统(或实现方法和系统的一部分时)，计算机软件表现为利用计算机语言编码的一个或多个程序，以计算机可读介质的形式存储。计算机可读存储介质包括计算机存储器、一个或多个软盘、压缩盘(CD)、光盘、数字射频盘(DVD)、磁带、闪存、现场可编程门阵列或其他半导体器件中的电路配置、或者技术领域内所公知的任意其它形式的存储介质中。

该一个或多个程序被处理器从可读介质中读取后执行以下的指令，所述方法包括：获取文件请求指令，所述文件请求指令中包含请求文件的标识；判断是否存储了所述标识对应的文件；如果没有存储所述标识对应的文件，将多个存储服务器分成多个探测组，分别向每个探测组中的一个存储服务器发送探测包，根据所述探测包的响应信息选择一个所述探测组作为第一探测组，从所述第一探测组中选择任意一个所述存储服务器作为所述第一服务器；以及从所述第一服务器上下载所述文件。计算机可读存储介质可以是可携带的，使得可以将其上存储的程序加载至一个或多个不同计算机或其他处理器上以实现上述的本公开的各个方面。

根据本公开的系统和方法可以部署在单个或多个服务器上。例如，可以将不同的分别部署在不同的服务器上，形成专用服务器。或者，可以在多个服务器上分布式部署相同的功能单元、或系统，以减轻负载压力。所述服务器包括但不限于在同一个局域网以及通过Internet连接的多个PC机、PC服务器、刀片机、超级计算机等。

以上所述仅为本公开的优选实施例，并不用于限制本公开，对于本领域技术人员而言，本公开可以有各种改动和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (11)

1.一种文件回源的方法，所述方法包括：

获取文件请求指令，所述文件请求指令中包含请求文件的标识；

判断是否存储了所述标识对应的文件；

如果没有存储所述标识对应的文件，将多个存储服务器分成多个探测组，分别向每个探测组中的一个存储服务器发送探测包，根据所述探测包的响应信息选择一个所述探测组作为第一探测组，从所述第一探测组中选择任意一个所述存储服务器作为所述第一服务器；以及

从所述第一服务器上下载所述文件。

2.根据权利要求1所述的方法，所述将多个存储服务器分成多个探测组包括：

向多个存储服务器发送探测包，并跟踪所述探测包在到达每个所述存储服务器前经过的路由路径；以及

根据路由路径将多个存储服务器分成多个探测组。

3.根据权利要求1所述的方法，其中，所述将多个存储服务器分成多个探测组包括：获取到达每个所述服务器的静态路由；以及根据所述静态路由将所述将存储服务器分成多个探测组。

4.根据权利要求1所述的方法，其中，根据所述探测包的响应信息选择一个所述探测组作为第一探测组包括：从响应信息中获取所述探测包到达存储服务器的时间；选择到达时间最小的存储服务器所属的探测组作为第一探测组。

5.根据权利要求1至4任一项所述的方法，其中，通过网络工具tracerouter或tracert向存储服务器发送探测包。

6.一种文件回源装置，包括：

指令获取单元，用于获取文件请求指令，所述文件请求指令中包含请求文件的标识；

判断单元，用于判断是否存储了所述标识对应的文件；

分组单元，用于将多个存储服务器分成多个探测组；

探测选择单元，用于分别向每个探测组中的一个存储服务器发送探测包，根据所述探测包的响应信息选择一个所述探测组作为第一探测组，从所述第一探测组选择任意一个所述存储服务器作为第一服务器；

下载单元，用于从所述第一服务器存储服务器上下载所述文件。

7.根据权利要求6所述的文件回源装置，所述分组单元包括：

向多个存储服务器发送探测包，并跟踪所述探测包在到达每个所述存储服务器前经过的路由路径；以及

根据路由路径将多个存储服务器分成所述多个探测组。

8.根据权利要求6所述的文件回源装置，其中，所述分组单元包括：获取到达每个所述服务器的静态路由；以及根据所述静态路由将所述将存储服务器分成多个探测组。

9.根据权利要求6所述的文件回源装置，其中，根据所述探测包的响应信息选择一个所述探测组作为第一探测组包括：从响应信息中获取所述探测包到达存储服务器的时间；选择到达时间最小的存储服务器所属的探测组作为第一探测组。

10.根据权利要求6至9任一项所述的文件回源装置，其中，通过网络工具tracerouter或tracert向存储服务器发送探测包。

11.一种CDN系统，包括具有权利要求6至10任一项所述的文件回源装置和至少两个向所述回源装置提供回源服务的存储服务器。