CN102664892A - 一种自主下拉式内容调度的方法及服务节点 - Google Patents

Abstract

本发明公开了一种自主下拉式内容调度的方法及服务节点，服务节点从内容分发网络控制器获取目标下拉内容的信息，向所述内容分发网络控制器查询能够提供相应目标下拉内容的一个或多个存储节点，向所述存储节点中的一个查询能够提供所述待下拉内容的存储服务器的信息，从所述存储服务器下载所述目标下拉内容。本方案把任务的生成和执行完全由多个服务节点实现，减轻了CDN控制器的压力；任务执行时如果遇到存储节点内容异常或者FTP资源耗尽时，可实现任务的自修复，重新选择其他节点或者本节点其他的FTP服务器进行内容下拉，提高了任务的成功率和内容下推的及时性。

Description

一种自主下拉式内容调度的方法及服务节点

技术领域

本发明涉及通信领域，特别涉及一种自主下拉式内容调度的方法及服务节点。

背景技术

随着网络技术和多媒体技术的发展，交互式网络电视(IPTV)因其便捷性、智能性、可控性等优点被越来越多的用户所接受和使用。

如图1所示，IPTV系统中部署有多个具有媒体服务能力的节点构成的内容分发网络(Content Delivery Network，简称CDN)为终端用户提供服务。CDN网络中节点一般分为存储节点和服务节点，存储节点上内容较多，服务节点内容较少。服务节点需要定期从存储节点上同步热点内容。传统上这种同步采取推送的方式：由CDN网络中的控制器定期产生热度内容下推任务，下发给服务节点；任务信息包括本次视频点播(Video On Demand，简称VOD)下推的源节点(一般是存储节点)、目的节点(一般是服务节点)、VOD内容的标识、VOD内容在源节点的存储服务器(一般为File Transfer Protocol服务器即FTP服务器)；任务的目的节点根据相关信息，从具有热度内容的源节点，以FTP方式获取VOD内容。

传统的内容下推方式存在以下缺点：一是如果本次下推任务失败，需要在下一个周期重新产生任务，周期的时间可能较长，而且下次任务可能因为同样的原因失败，难以保证热点内容下推的及时性；二是所有下推任务的产生和下发都是由CDN控制器负责，随着CDN网络节点数量的增多，CDN控制器的处理能力容易成为性能的瓶颈。

发明内容

本发明要解决的技术问题是提供一种自主下拉式内容调度的方法及服务节点，解决推送式调度产生的调度问题。

为了解决上述技术问题，本方案提供了一种自主下拉式内容调度的方法，服务节点从内容分发网络控制器获取目标下拉内容的信息，向所述内容分发网络控制器查询能够提供相应目标下拉内容的一个或多个存储节点，向所述存储节点中的一个查询能够提供所述待下拉内容的存储服务器的信息，从所述存储服务器下载所述目标下拉内容。

进一步地，上述方法还可以具有以下特点：

所述服务节点从内容分发网络控制器获取目标下拉内容的信息包括以下类型：类型一：隔第一预设时长从内容分发网络控制器查询到的内容分发网络的全网热度内容信息中所述服务节点上不存在的内容的信息，类型二：隔第二预设时长从内容分发网络控制器查询到的内容分发网络中更新的内容的信息，类型三：隔第三预设时长统计所述服务节点上产生过点播请求但缺失的内容的信息。

进一步地，上述方法还可以具有以下特点：

所述第一预设时长大于所述第二预设时长，所述第二预设时长大于所述第三预设时长。

进一步地，上述方法还可以具有以下特点：

所述服务节点向所述内容分发网络控制器查询到能够提供目标下拉内容的存储节点后，构建针对此目标下拉内容的包括此目标下拉内容和相应存储节点信息的下拉任务，将此下拉任务加入到待执行任务队列；

所述服务节点从所述待执行任务队列中提取出一个或多个任务并行执行。

进一步地，上述方法还可以具有以下特点：

所述服务节点将下拉任务加入到待执行任务队列时，按类型三、类型二、类型一的优先次序将目标下拉内容相应的任务设置在待执行任务队列中。

进一步地，上述方法还可以具有以下特点：

所述服务节点向一存储节点查询能够提供相应待下拉内容的存储服务器的信息时，

所述存储节点返回的存储服务器信息不存在或无效时，将此存储节点从此任务的存储节点信息中删除，并选择另一存储节点查询存储服务器；

所述存储节点提供的存储服务器不可用或负载已满时，选择另一存储节点查询存储服务器；

所述存储节点提供的存储服务器可用但从此存储服务器下载所述目标下拉内容失败时，通知此存储节点此存储服务器不可用并重新向此存储节点查询存储服务器。

为了解决上述技术问题，本方案还提供了一种自主下拉式内容调度的服务节点，包括存储节点信息获取模块和内容下拉模块；

所述存储节点信息获取模块，用于从内容分发网络控制器获取目标下拉内容的信息，向所述内容分发网络控制器查询能够提供相应目标下拉内容的一个或多个存储节点；

所述内容下拉模块，用于向所述存储节点中的一个查询能够提供所述待下拉内容的存储服务器的信息，从所述存储服务器下载所述目标下拉内容。

进一步地，上述服务节点还可以具有以下特点：

从内容分发网络控制器获取目标下拉内容的信息包括以下类型：类型一：隔第一预设时长从内容分发网络控制器查询到的内容分发网络的全网热度内容信息中所述服务节点上不存在的内容的信息，类型二：隔第二预设时长从内容分发网络控制器查询到的内容分发网络中更新的内容的信息，类型三：隔第三预设时长统计所述服务节点上产生过点播请求但缺失的内容的信息。

进一步地，上述服务节点还可以具有以下特点：

所述内容下拉模块，还用于构建针对目标下拉内容的包括此目标下拉内容和相应存储节点信息的下拉任务，按类型三、类型二、类型一的优先次序将目标下拉内容相应的任务设置在待执行任务队列中；还用于从所述待执行任务队列中提取出一个或多个任务并行执行。

进一步地，上述服务节点还可以具有以下特点：

所述内容下拉模块，还用于向一存储节点查询能够提供相应待下拉内容的存储服务器的信息；

所述存储节点返回的存储服务器信息不存在或无效时，将此存储节点从此任务的存储节点信息中删除，并选择另一存储节点查询存储服务器；

所述存储节点提供的存储服务器不可用或负载已满时，选择另一存储节点查询存储服务器；

所述存储节点提供的存储服务器可用但从此存储服务器下载所述目标下拉内容失败时，通知此存储节点此存储服务器不可用并重新向此存储节点查询存储服务器。

与背景技术中服务节点被动接收方式不同，本方案采用下拉式内容调度方式，由服务节点主动自主生成内容下拉的任务，主动获取所需内容。主要包括以下优点：一，把任务的生成和执行完全由多个服务节点实现，减轻了CDN控制器的压力；二，任务执行时如果遇到存储节点内容异常或者FTP资源耗尽时，可实现任务的自修复，重新选择其他节点或者本节点其他的FTP服务器进行内容下拉，提高了任务的成功率和内容下推的及时性；三，存储节点的存储服务器(例如FTP服务器)信息是任务执行时，存储节点根据当前的性能状态分配给服务节点使用，这样就实现多个FTP服务器选择负载均衡，比原来使用固定FTP服务器的方式优化系统性能。

附图说明

图1是IPTV-CDN网络组网的示意图；

图2是实施例中自主下拉式内容调度的方法示意图。

具体实施方式

如图2所示，自主下拉式内容调度的方法包括：服务节点从CDN控制器获取目标下拉内容的信息，向所述CDN控制器查询能够提供相应目标下拉内容的一个或多个存储节点，向所述存储节点中的一个查询能够提供所述待下拉内容的存储服务器的信息，从所述存储服务器下载所述目标下拉内容。

服务节点从CDN控制器获取目标下拉内容的信息包括以下类型一、二三。

类型一：隔第一预设时长从CDN控制器查询到的内容分发网络的全网热度内容信息中所述服务节点上不存在的内容的信息，

类型二：隔第二预设时长从内容分发网络控制器查询到的内容分发网络中更新的内容的信息，

类型三：隔第三预设时长统计所述服务节点上产生过点播请求但缺失的内容的信息(例如在第三预设时长超过两次点播但服务节点上不存在的内容)。

其中第一预设时长大于第二预设时长，第二预设时长大于第三预设时长。例如：第一预设时长为一天，第二预设时长为一小时，第三预设时长为半小时。

服务节点可以将获取的目标下拉内容的信息组成下拉内容列表，在列表中分别记录各目标下拉内容的信息以及相应的类型，还可以记录获取时间等其它相关参数。

服务节点向CDN控制器查询到能够提供目标下拉内容的一个或多个存储节点(可以是一个存储节点也可以是存储节点列表)后，构建针对此目标下拉内容的包括此目标下拉内容和相应存储节点信息的下拉任务，将此下拉任务加入到待执行任务队列。

服务节点从待执行任务队列中提取出一个或多个任务加入执行任务队列对此队列中的任务进行并行执行。可根据每个服务节点自身的能力确定执行任务队列的大小；如果该节点能力不变，则队列的大小也不变。执行任务队列中某个任务完成后，再从待执行任务队列首部取一个任务放入到执行队列中。

服务节点将下拉任务加入到待执行任务队列时，下拉内容的类型不同，则相应任务在到待执行任务队列中的位置也不同，例如按类型三、类型二、类型一的优先次序将目标下拉内容相应的任务设置在待执行任务队列中。

服务节点获取到目标上拉内容的存储节点列表时，从此列表中选择一个存储节点查询存储服务器的信息，例如，可以在列表中选取第一个存储节点，或者选择其它位置的存储节点，或者根据一定策略选择。

存储节点收到请求后，在本节点多个存储服务器中选取一个负载最低的通知至服务节点。

服务节点执行任务过程中，如果遇到获取内容异常的情况，会根据失败的具体原因，对本次任务做出调整和修复，提高任务执行的成功率，保证该任务在后续处理中尽快成功完成，包括以下几种情况：

所述存储节点返回的存储服务器信息不存在或无效时，将此存储节点从此任务的存储节点信息中删除，并选择另一存储节点查询存储服务器(例如可以在存储节点列表中取下一个存储节点，或按照预设规则进行选择)；

所述存储节点提供的存储服务器不可用或负载已满时，选择另一存储节点查询存储服务器，并调整该任务的存储节点列表中存储节点的顺序，例如将该存储节点放到列表的尾部，然后从新列表中取出第一个节点重新执行该任务；

所述存储节点提供的存储服务器可用但从此存储服务器下载所述目标下拉内容失败时，通知此存储节点此存储服务器不可用并重新向此存储节点查询存储服务器，从而保证存储节点返回的存储服务器信息中不包含上述不可用的存储服务器信息，造成再次获取内容异常。

本方案中提供的服务节点包括存储节点信息获取模块和内容下拉模块。

存储节点信息获取模块，用于从内容分发网络控制器获取目标下拉内容的信息，向所述内容分发网络控制器查询能够提供相应目标下拉内容的一个或多个存储节点；

内容下拉模块，用于向所述存储节点中的一个查询能够提供所述待下拉内容的存储服务器的信息，从所述存储服务器下载所述目标下拉内容。

从内容分发网络控制器获取目标下拉内容的信息包括以下类型：类型一：隔第一预设时长从内容分发网络控制器查询到的内容分发网络的全网热度内容信息中所述服务节点上不存在的内容的信息，类型二：隔第二预设时长从内容分发网络控制器查询到的内容分发网络中更新的内容的信息，类型三：隔第三预设时长统计所述服务节点上产生过点播请求但缺失的内容的信息。

所述内容下拉模块，还用于构建针对目标下拉内容的包括此目标下拉内容和相应存储节点信息的下拉任务，按类型三、类型二、类型一的优先次序将目标下拉内容相应的任务设置在待执行任务队列中；还用于从所述待执行任务队列中提取出一个或多个任务并行执行。

所述内容下拉模块，还用于向一存储节点查询能够提供相应待下拉内容的存储服务器的信息；所述存储节点返回的存储服务器信息不存在或无效时，将此存储节点从此任务的存储节点信息中删除，并选择另一存储节点查询存储服务器；所述存储节点提供的存储服务器不可用或负载已满时，选择另一存储节点查询存储服务器；所述存储节点提供的存储服务器可用但从此存储服务器下载所述目标下拉内容失败时，通知此存储节点此存储服务器不可用并重新向此存储节点查询存储服务器。

本方案中提供的存储节点在收到服务节点发送的存储服务器信息请求消息后，选择负载最轻的存储服务器并将此存储服务器的信息提供至所述服务节点。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

Claims (10)

1.一种自主下拉式内容调度的方法，其特征在于，

服务节点从内容分发网络控制器获取目标下拉内容的信息，向所述内容分发网络控制器查询能够提供相应目标下拉内容的一个或多个存储节点，向所述存储节点中的一个查询能够提供所述待下拉内容的存储服务器的信息，从所述存储服务器下载所述目标下拉内容。

2.如权利要求1所述的方法，其特征在于，

所述服务节点从内容分发网络控制器获取目标下拉内容的信息包括以下类型：类型一：隔第一预设时长从内容分发网络控制器查询到的内容分发网络的全网热度内容信息中所述服务节点上不存在的内容的信息，类型二：隔第二预设时长从内容分发网络控制器查询到的内容分发网络中更新的内容的信息，类型三：隔第三预设时长统计所述服务节点上产生过点播请求但缺失的内容的信息。

3.如权利要求2所述的方法，其特征在于，

所述第一预设时长大于所述第二预设时长，所述第二预设时长大于所述第三预设时长。

4.如权利要求1、2或3所述的方法，其特征在于，

所述服务节点向所述内容分发网络控制器查询到能够提供目标下拉内容的存储节点后，构建针对此目标下拉内容的包括此目标下拉内容和相应存储节点信息的下拉任务，将此下拉任务加入到待执行任务队列；

所述服务节点从所述待执行任务队列中提取出一个或多个任务并行执行。

5.如权利要求4所述的方法，其特征在于，

所述服务节点将下拉任务加入到待执行任务队列时，按类型三、类型二、类型一的优先次序将目标下拉内容相应的任务设置在待执行任务队列中。

6.如权利要求1所述的方法，其特征在于，

所述服务节点向一存储节点查询能够提供相应待下拉内容的存储服务器的信息时，

所述存储节点返回的存储服务器信息不存在或无效时，将此存储节点从此任务的存储节点信息中删除，并选择另一存储节点查询存储服务器；

所述存储节点提供的存储服务器不可用或负载已满时，选择另一存储节点查询存储服务器；

所述存储节点提供的存储服务器可用但从此存储服务器下载所述目标下拉内容失败时，通知此存储节点此存储服务器不可用并重新向此存储节点查询存储服务器。

7.一种自主下拉式内容调度的服务节点，其特征在于，

包括存储节点信息获取模块和内容下拉模块；

所述存储节点信息获取模块，用于从内容分发网络控制器获取目标下拉内容的信息，向所述内容分发网络控制器查询能够提供相应目标下拉内容的一个或多个存储节点；

所述内容下拉模块，用于向所述存储节点中的一个查询能够提供所述待下拉内容的存储服务器的信息，从所述存储服务器下载所述目标下拉内容。

8.如权利要求7所述的服务节点，其特征在于，

从内容分发网络控制器获取目标下拉内容的信息包括以下类型：类型一：隔第一预设时长从内容分发网络控制器查询到的内容分发网络的全网热度内容信息中所述服务节点上不存在的内容的信息，类型二：隔第二预设时长从内容分发网络控制器查询到的内容分发网络中更新的内容的信息，类型三：隔第三预设时长统计所述服务节点上产生过点播请求但缺失的内容的信息。

9.如权利要求7或8所述的服务节点，其特征在于，

所述内容下拉模块，还用于构建针对目标下拉内容的包括此目标下拉内容和相应存储节点信息的下拉任务，按类型三、类型二、类型一的优先次序将目标下拉内容相应的任务设置在待执行任务队列中；还用于从所述待执行任务队列中提取出一个或多个任务并行执行。

10.如权利要求7所述的服务节点，其特征在于，

所述内容下拉模块，还用于向一存储节点查询能够提供相应待下拉内容的存储服务器的信息；

所述存储节点返回的存储服务器信息不存在或无效时，将此存储节点从此任务的存储节点信息中删除，并选择另一存储节点查询存储服务器；

所述存储节点提供的存储服务器不可用或负载已满时，选择另一存储节点查询存储服务器；

所述存储节点提供的存储服务器可用但从此存储服务器下载所述目标下拉内容失败时，通知此存储节点此存储服务器不可用并重新向此存储节点查询存储服务器。

Images