CN105847382A - Cdn文件分发方法及系统 - Google Patents

Abstract

本公开提供了一种CDN文件分发方法，包括：根据需要同时分发的多个文件生成文件分发任务；发送所述文件分发任务至目标CDN节点，以用于所述目标CDN节点根据所述文件分发任务从多个源节点下载所述多个文件；此外，还提供一种CDN文件分发系统；本公开将需要同时分发的多个文件的多次的分发任务合成一个文件分发任务，一次性下发至目标CDN节点，再由目标CDN节点根据接收到的文件分发任务从不同的源节点下载需要的多个文件，减少了分发中心与目标CDN节点间的通信次数，从而降低了因网络抖动导致的任务分发失败的概率，同时还提高了任务分发效率，能够保证需要同时分发的相关联的多个文件在目标CDN节点存在的同步性。

Description

CDN文件分发方法及系统

技术领域

本公开涉及CDN技术领域，特别涉及一种CDN文件分发方法及系统。

背景技术

CDN(Content Delivery Network，内容分发网络)是一种通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络。CDN能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上，其目的是能够选择离用户相对较近的节点向用户发送用户所需的内容，缓解网络拥挤的状况，提高网站的响应速度。

现有技术中全网的CDN服务器中缓存的内容是由CDN系统中的分发中心下发下载命令至CDN服务器，再由CDN服务器从相应的源节点下载相应内容的。

然而现有技术中的分发方法每一次分发中心下发至CDN服务器的下载命令都只是针对一个文件的一次下载命令，当遇到某一CDN节点需要下载多种文件时或者存在多个文件需要及时的被分发至同一个CDN节点时(例如，当需要同时展示多个视频的直播画面时，如果按照传统的方法进行文件的分发，就会存在个别的视频因为没能够来得及下发或者下发失败而出现个别视频不能同时直播的情况)就需要分发中心针对不同的文件下发多次的下载命令至CDN节点，这样做的内容分发方法不但效率低下，而且当存在网络抖动时，还会出现下发失败的情况。

发明内容

本公开提供一种CDN文件分发方法及系统，以至少解决上述技术问题之一。

根据本公开的一个方面，提供了一种CDN文件分发方法，包括：

根据需要同时分发的多个文件生成文件分发任务；

发送所述文件分发任务至目标CDN节点，以用于所述目标CDN节点根据所述文件分发任务从多个源节点下载所述多个文件。

另一方面，还提供了一种CDN文件分发系统，包括：

任务生成模块，用于根据需要同时分发的多个文件生成文件分发任务；

任务分发模块，用于发送所述文件分发任务至目标CDN节点，以用于所述目标CDN节点根据所述文件分发任务从多个源节点下载所述多个文件。

本公开的CDN文件分发方法及系统的有益效果在于，将需要同时分发的多个文件的多次的分发任务合成一个文件分发任务，一次性下发至目标CDN节点，再由目标CDN节点根据接收到的文件分发任务从不同的源节点下载需要的多个文件；通过将传统的多个分发任务合成一个分发任务减少了分发中心与目标CDN节点间的通信次数，从而降低了因网络抖动导致的任务分发失败的概率，同时还提高了任务分发效率，能够保证需要同时分发的相关联的多个文件在目标CDN节点存在的同步性。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开的CDN文件分发方法的一实施例的流程图；

图2为本公开的CDN文件分发方法的另一实施例的流程图；

图3为本公开的CDN文件分发方法的又一实施例的流程图；

图4为本公开的CDN文件分发系统的一实施例的示意图；

图5为本公开的CDN文件分发系统的另一实施例的示意图；

图6为本公开的CDN文件分发系统的又一实施例的示意图。

具体实施例

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

如图1所示，本公开的一实施例的CDN文件分发方法，包括：

根据需要同时分发的多个文件生成文件分发任务；

发送所述文件分发任务至目标CDN节点，以用于所述目标CDN节点根据所述文件分发任务从多个源节点下载所述多个文件。

本实施例的CDN文件分发方法的有益效果在于，将需要同时分发的多个文件的多次的分发任务合成一个文件分发任务，一次性下发至目标CDN节点，再由目标CDN节点根据接收到的文件分发任务从不同的源节点下载需要的多个文件；通过将传统的多个分发任务合成一个分发任务减少了分发中心与目标CDN节点间的通信次数，从而降低了因网络抖动导致的任务分发失败的概率，同时还提高了任务分发效率，能够保证需要同时分发的相关联的多个文件在目标CDN节点存在的同步性，从而当需要同时直播或者点播相互关联的多个视频文件时能够实时的同步展示给用户，以提供更加优质的服务体验。

本实施例中的需要同时分发的多个文件为相互关联的多个文件，这里的相互关联的多个文件可以是同一视频文件的不同的分段或者是同一电视剧的连续的几集或者是相同分类下的不同的电影视频或者是多种不同分类的多个视频文件。此外，本实施例中的文件分发任务至少为一个，当需要同时分发的多个文件可进一步细分为不同的组别时(例如，同一视频文件的不同的分段或者是同一电视剧的连续的几集、相同分类下的不同的电影视频或者多种不同分类的多个视频文件)，就可以首先对需要同时分发的多个文件进行分组后再针对每个分组进一步生成对应的文件分发任务。

本实施例中的需要同时分发的文件优选为9个直播视频流，并且以9个直播视频流为单位赋予一个唯一的一级ID，同时为9个直播视频流中的每一个直播视频流分别赋予一个唯一的二级ID，并且将该一级ID和二级ID同步至整个CDN系统，例如，全网CDN节点(缓存CDN节点和源节点)和调度中心。同理，当存在另外一组需要同时分发的9个直播视频流时，同样以9个直播视频流为单位赋予另一个唯一的一级ID，同时为9个直播视频流中的每一个直播视频流分别赋予一个唯一的二级ID，并且将该一级ID和二级ID同步至整个CDN系统，这里的方法步骤可以是分发中心服务器的部分功能模块执行的也可以是单独的旁路系统(例如，文件配置中心)执行的；本实施例中的9个直播视频流可以以9宫格的形式或者列表的形式或者任意的可配置的形式展现在视频网站的页面中或者视频客户端的页面中，并且，本实施例中的视频的个数并不限于9个视频，视频个数也是可以根据需求进行自动化配置的。

本实施例中的目标CDN节点优选为全网CDN节点，因为既然待分发的多个文件是需要被推送的直播文件或者点播文件，则待分发的多个文件必然是当前热度比较高的视频文件，为了满足所有用户对热度视频的访问需求并提供优质的用户体验必然就要将该热点文件分发至全网的CDN节点。

如图2所示，本公开的另一实施例的CDN文件分发方法，在前述任一实施例中，根据需要同时分发的多个文件生成文件分发任务包括：

接收用于确定需要同时分发的多个文件的配置文件，所述配置文件至少包括需要同时分发的多个文件的特征信息；

至少根据所述特征信息生成针对所述需要同时分发的多个文件的文件分发任务。

在本实施例中配置文件来自文件配置中心，通过文件配置中心可以将需要同时进行分发的文件配置在一个配置文件中，以生成针对需要同时分发的多个文件的文件分发任务，从而实现相互关联的多个文件的同步分发，配置文件中至少以列表的形式存储有待分发的文件名称或者配置文件具有一个唯一的一级ID在该一级ID的下级存储有相应于每一个文件的多个二级ID，这样通过ID的形式代替存储文件名称的形式，一方面节省了存储空间，另一方面也提升了查询计算的速度；本实施例中的特征信息体现为待分发文件的名称或者ID。

如图3所示，本公开的另一实施例的CDN文件分发方法，在前述任一实施例中，至少根据所述特征信息生成针对需要同时分发的多个文件的文件分发任务包括：

根据需要同时分发的多个文件确定目标节点；

根据所述多个文件的特征信息分别确定存储有所述多个文件的多个源节点；

根据所述目标节点和所述多个源节点生成所述文件分发任务。

在本实施例中，目标节点通常为全网的CDN节点，因为一般需要同时分发推送的文件必然是当前的高热度视频文件，因此，为了能够为用户提供更加优质的服务于高品质的体验，必然要将这些待推送的视频文件分发到全网的所有CDN节点中；本实施例中的特征信息为待分发文件的名称或者待分发文件的ID，通过查询调度中心存储的全网源节点存储的文件的情况确定存储有待分发文件的源节点(这种通过直接查询调度中心存储的信息的方法节省了本地进行存储源节点信息所需要的存储空间)，或者通过查询本地统计存储的全网源节点存储的文件的情况以确定存储有待分发文件的源节点(这种通过在本地存储全网信息以确定存储有待分发文件的源节点的方法无需再去调度中心查询，节省了查询时间)，或者通过查询调度中心的存储的全网源节点存储的文件的情况确定存储有待分发文件的源节点后再通过查询本地统计存储的全网源节点存储的文件的情况以确定存储有待分发文件的源节点以进行校验确定最终的存储有待分发文件的源节点(本方法通过双重校验的方法提升了确定的存储有待分发文件的源节点的准确性)。

本公开的另一实施例的CDN文件分发方法，在前述任一实施例中，文件分发任务至少包括目标节点IP地址、源节点URL和所述特征信息；所述目标节点IP地址用于确定接收所述文件分发任务的CDN节点；所述源节点URL用于所述CDN节点下载需要分发的文件。

本实施例中一个目标节点IP地址对应一个或者多个源节点URL，因为每一个目标CDN节点需要下载的文件至少为一个，而该至少一个文件可能存储于一个源节点也可能存储于多个源节点，通过这种构造文件分发任务的方法极大的压缩了文件分发任务的大小，因为传统的每一个文件都生成一个文件分发任务的方法需要不断的重复存储目标节点IP地址，而本实施例中则只需要一次存储目标IP地址即可(因为，内容分发中心是面向全网的，而全网实时分发的数据量是非常大的，需要生成的文件分发任务的数量是极大的，因此，本实施例节省了大量的存储空间的开销以及生成文件分发任务的空间开销)；待下载文件的特征信息为文件名称或者文件ID。

本公开的另一实施例的CDN文件分发方法，在前述任一实施例中，文件分发任务还包括用于校验所述文件分发任务是否分发成功的md5值；本实施例中当md5值验证表明文件分发任务不成功时就再次发送，通过md5值的校验确保了文件分发任务的发送的成功。

本公开实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作合并，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本公开所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

如图4所示，本公开的一实施例的CDN文件分发系统，包括：

任务生成模块，用于根据需要同时分发的多个文件生成文件分发任务；

任务分发模块，用于发送所述文件分发任务至目标CDN节点，以用于所述目标CDN节点根据所述文件分发任务从多个源节点下载所述多个文件。

本公开的CDN文件分发方法及系统的有益效果在于，将需要同时分发的多个文件的多次的分发任务合成一个文件分发任务，一次性下发至目标CDN节点，再由目标CDN节点根据接收到的文件分发任务从不同的源节点下载需要的多个文件；通过将传统的多个分发任务合成一个分发任务减少了分发中心与目标CDN节点间的通信次数，从而降低了因网络抖动导致的任务分发失败的概率，同时还提高了任务分发效率，能够保证需要同时分发的相关联的多个文件在目标CDN节点存在的同步性。

本实施例中的需要同时分发的多个文件为相互关联的多个文件，这里的相互关联的多个文件可以是同一视频文件的不同的分段或者是同一电视剧的连续的几集或者是相同分类下的不同的电影视频或者是多种不同分类的多个视频文件。此外，本实施例中的文件分发任务至少为一个，当需要同时分发的多个文件可进一步细分为不同的组别时(例如，同一视频文件的不同的分段或者是同一电视剧的连续的几集、相同分类下的不同的电影视频或者多种不同分类的多个视频文件)，就可以首先对需要同时分发的多个文件进行分组后再针对每个分组进一步生成对应的文件分发任务。

本实施例中的需要同时分发的文件优选为9个直播视频流，并且以9个直播视频流为单位赋予一个唯一的一级ID，同时为9个直播视频流中的每一个直播视频流分别赋予一个唯一的二级ID，并且将该一级ID和二级ID同步至整个CDN系统，例如，全网CDN节点(缓存CDN节点和源节点)和调度中心。同理，当存在另外一组需要同时分发的9个直播视频流时，同样以9个直播视频流为单位赋予另一个唯一的一级ID，同时为9个直播视频流中的每一个直播视频流分别赋予一个唯一的二级ID，并且将该一级ID和二级ID同步至整个CDN系统。

如图5所示，本公开的另一实施例的CDN文件分发系统，其中，任务生成模块包括：

配置文件接收单元，用于接收用于确定需要同时分发的多个文件的配置文件，所述配置文件至少包括需要同时分发的多个文件的特征信息；

任务生成单元，用于至少根据所述特征信息生成针对所述需要同时分发的多个文件的文件分发任务。

在本实施例中配置文件来自文件配置中心，通过文件配置中心可以将需要同时进行分发的文件配置在一个配置文件中，以生成针对需要同时分发的多个文件的文件分发任务，从而实现相互关联的多个文件的同步分发，配置文件中至少以列表的形式存储有待分发的文件名称或者配置文件具有一个唯一的一级ID在该一级ID的下级存储有相应于每一个文件的多个二级ID，这样通过ID的形式代替存储文件名称的形式，一方面节省了存储空间，另一方面也提升了查询计算的速度；本实施例中的特征信息体现为待分发文件的名称或者ID。

如图6所示，本公开的又一实施例的CDN文件分发系统，其中，任务生成单元包括：

目标节点确定组件，用于根据需要同时分发的多个文件确定目标节点；

源节点确定组件，用于根据所述多个文件的特征信息分别确定存储有所述多个文件的多个源节点；

文件分发任务生成组件，用于根据所述目标节点和所述多个源节点生成所述文件分发任务。

在本实施例中，目标节点通常为全网的CDN节点，因为一般需要同时分发推送的文件必然是当前的高热度视频文件，因此，为了能够为用户提供更加优质的服务于高品质的体验，必然要将这些待推送的视频文件分发到全网的所有CDN节点中；本实施例中的特征信息为待分发文件的名称或者待分发文件的ID，通过查询调度中心的存储的全网源节点存储的文件的情况确定存储有待分发文件的源节点(这种通过直接查询调度中心存储的信息的方法节省了本地进行存储空间)，或者通过查询本地统计存储的全网源节点存储的文件的情况以确定存储有待分发文件的源节点(这种通过在本地存储全网信息以确定存储有待分发文件的源节点的方法无需再去调度中心查询，节省了查询时间)，或者通过查询调度中心的存储的全网源节点存储的文件的情况确定存储有待分发文件的源节点后再通过查询本地统计存储的全网源节点存储的文件的情况以确定存储有待分发文件的源节点以进行校验确定最终的存储有待分发文件的源节点(本方法通过双重校验的方法提升了确定的存储有待分发文件的源节点的准确性)。

本公开的又一实施例的CDN文件分发系统，其中，文件分发任务至少包括目标节点IP地址、源节点URL和所述特征信息；所述目标节点IP地址用于确定接收所述文件分发任务的CDN节点；所述源节点URL用于所述CDN节点下载需要分发的文件。

本实施例中一个目标节点IP地址对应一个或者多个源节点URL，因为每一个目标CDN节点需要下载的文件至少为一个，而该至少一个文件可能存储于一个源节点也可能存储于多个源节点，通过这种构造文件分发任务的方法极大的压缩了文件分发任务的大小，因为传统的每一个文件都生成一个文件分发任务的方法需要不断的重复存储目标节点IP地址，而本实施例中则只需要一次存储目标IP地址即可(因为，内容分发中心是面向全网的，而全网实时分发的数据量是非常大的，需要生成的文件分发任务的数量是极大的，因此，本实施例节省了大量的存储空间的开销以及生成文件分发任务的空间开销)；待下载文件的特征信息为文件名称或者文件ID。

本公开的又一实施例的CDN文件分发系统，其中，文件分发任务还包括用于校验所述文件分发任务是否分发成功的md5值。

另一方面，本公开的实施例还提供一种服务器，所述服务器包括：

存储器，用于存储程序；

处理器，用于执行所述存储器存储的程序，所述程序使得所述处理器执行本公开的上述实施例中的任意一项CDN文件分发方法。

本实施例中的服务器可以为CDN系统中的分发中心服务器。

另一方面，本公开的实施例还提供一种服务器，所述服务器布设有本公开的上述实施例中的任意一种CDN文件分发系统。

本实施例中的服务器可以为CDN系统中的分发中心服务器。

以上所描述的方法实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

本领域内的技术人员应明白，本公开的实施方式可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施方式、完全软件实施方式、或结合软件和硬件方面的实施方式的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施方式的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims (10)

1.一种CDN文件分发方法，包括：

根据需要同时分发的多个文件生成文件分发任务；

发送所述文件分发任务至目标CDN节点，以用于所述目标CDN节点根据所述文件分发任务从多个源节点下载所述多个文件。

2.根据权利要求1所述的方法，其中，所述根据需要同时分发的多个文件生成文件分发任务包括：

接收用于确定需要同时分发的多个文件的配置文件，所述配置文件至少包括需要同时分发的多个文件的特征信息；

至少根据所述特征信息生成针对所述需要同时分发的多个文件的文件分发任务。

3.根据权利要求2所述的方法，其中，所述至少根据所述特征信息生成针对需要同时分发的多个文件的文件分发任务包括：

根据需要同时分发的多个文件确定目标节点；

根据所述多个文件的特征信息分别确定存储有所述多个文件的多个源节点；

根据所述目标节点和所述多个源节点生成所述文件分发任务。

4.根据权利要求1-3任一项所述的方法，其中，所述文件分发任务至少包括目标节点IP地址、源节点URL和所述特征信息；所述目标节点IP地址用于确定接收所述文件分发任务的CDN节点；所述源节点URL用于所述CDN节点下载需要分发的文件。

5.根据权利要求4所述的方法，其中，所述文件分发任务还包括用于校验所述文件分发任务是否分发成功的md5值。

6.一种CDN文件分发系统，包括：

任务生成模块，用于根据需要同时分发的多个文件生成文件分发任务；

任务分发模块，用于发送所述文件分发任务至目标CDN节点，以用于所述目标CDN节点根据所述文件分发任务从多个源节点下载所述多个文件。

7.根据权利要求6所述的系统，其中，所述任务生成模块包括：

配置文件接收单元，用于接收用于确定需要同时分发的多个文件的配置文件，所述配置文件至少包括需要同时分发的多个文件的特征信息；

任务生成单元，用于至少根据所述特征信息生成针对所述需要同时分发的多个文件的文件分发任务。

8.根据权利要求7所述的系统，其中，所述任务生成单元包括：

目标节点确定组件，用于根据需要同时分发的多个文件确定目标节点；

源节点确定组件，用于根据所述多个文件的特征信息分别确定存储有所述多个文件的多个源节点；

文件分发任务生成组件，用于根据所述目标节点和所述多个源节点生成所述文件分发任务。

9.根据权利要求6-8任一项所述的系统，其中，所述文件分发任务至少包括目标节点IP地址、源节点URL和所述特征信息；所述目标节点IP地址用于确定接收所述文件分发任务的CDN节点；所述源节点URL用于所述CDN节点下载需要分发的文件。

10.根据权利要求9所述的系统，其中，所述文件分发任务还包括用于校验所述文件分发任务是否分发成功的md5值。