CN101980505A - 一种基于3Tnet的视频点播的负载均衡方法 - Google Patents

Abstract

本发明公开一种基于3Tnet的视频点播的负载均衡方法。该方法包括：中心分发器接收用户的点播请求；判断所述点播请求的类型，所述点播请求的类型包括对热播影片的点播请求和对冷播影片的点播请求；计算出所有存储有所述点播请求对应影片的视频点播流媒体服务器MS-VOD的当前负载数据；根据所述负载数据进行排序；根据排序结果，并按照设定概率分配其中至少一台MS-VOD提供服务。本发明提供的技术方案能够实现平衡数据流量、充分利用系统资源的目的。

Description

一种基于3Tnet的视频点播的负载均衡方法

技术领域

本发明涉及数字家庭和网络技术领域，具体涉及一种基于3Tnet的视频点播的负载均衡方法。

背景技术

随着通信网络技术的飞速发展，人们对通信业务的需求逐渐由语音变为对数据、图像和语音的综合需求，并力求有一个可信、安全、可靠的网络环境，传统的通信网络已经越来越难以满足日益增长的需求，需要新的网络来提供可信、安全、可靠的网络环境，并提供丰富的语音、数据、图像以及多媒体业务，未来网络将是一个提供低成本接入、普适的，语音、数据、图像以及多媒体等多业务融合的，可信、安全、可靠的新型网络，因此3Tnet(高性能宽带信息试验网)应运而生。它从根本上突破了传统网络体系的服务理念及技术极限，为我国新一代信息基础设施的建设提供了坚实的技术保障。

对于大规模视频点播系统来说，负载均衡策略的优劣直接影响着整个系统的资源利用效率和服务质量。最早的负载均衡技术是通过DNS来实现的，在DNS中为多个地址配置同一个域名，从而查询该域名的客户机将访问不同的服务器，达到负载均衡的目的，负载均衡虽然简单而有效，但它不能区分服务器的差异，也不能反映服务器的当前运行状态。还有一种方法是采用反向代理服务器进行请求转发的方法，该方法虽然能够应用优化的负载均衡策略，使每次服务均由最空闲的内部服务器来提供，以达到负载均衡的目的，但随着并发连接数量的增加，代理服务器本身的负载也变得非常大，反向代理服务器本身反而会成为服务的瓶颈。还有一种方法是采用支持负载均衡的地址转换网关的方法，可以将一个外部IP地址映射为多个内部IP地址，对每次请求动态使用其中一个内部地址，达到负载均衡的目的。很多硬件厂商将此技术集成在设备中，采用随机选择、根据服务器的连接数量或者响应时间进行选择的负载均衡策略来分配负载，然而硬件实现的负载控制器灵活性不强，不能支持更优化的负载均衡策略和更复杂的应用协议。还有一种负载均衡方法是在某些协议内部实现的，例如HTTP协议中的重定向功能等，但它依赖于特定协议，因此使用范围有限。

在对本发明方法的研究和实践过程中，本发明的发明人发现：

在大型视频点播系统中，视频节目巨大的数据量与系统有限的存储能力之间的矛盾一直非常突出。例如一部DVD影片就有4GB的数据量，系统若将所有可能被点播的影片都存储在本地服务器中，存储成本将相当昂贵，是不可行的，而且即使是存储在本地的影片，也需要根据热播热播程度的不同区别对待。因此存多少和怎么存，也是负载均衡机制需要解决的问题，然而这个问题一直没有很好的解决方案。

发明内容

本发明要解决的技术问题是提供一种基于3Tnet的视频点播的负载均衡方法，能够实现平衡数据流量、充分利用系统资源的目的。

本发明提供一种基于3Tnet的视频点播的负载均衡方法，包括：

中心分发器接收用户的点播请求；

判断所述点播请求的类型，所述点播请求的类型包括对热播影片的点播请求和对冷播影片的点播请求；

计算出所有存储有所述点播请求对应影片的视频点播流媒体服务器MS-VOD的当前负载数据；

根据所述负载数据进行排序；

根据排序结果，并按照设定概率分配其中至少一台MS-VOD提供服务。

所述点播请求的类型按照对CPU、缓存、网络和I/O的资源要求进行分类。

计算当前负载数据的公式是：

lode＝f(id，time，l_num，r_num，h_num，c_movie，memory，cpu，net，disk)

其中，id表示服务器编号，time表示刷新时间，l_num表示本地点播服务数，r_num表示远程点播服务数，h_num表示本机存储热播影片数量，c_num表示本机存储冷门影片数量，cpu表示CPU过载，memory表示内存不足，net表示网络拥塞，disk表示磁盘过载。

所述计算负载的公式中的各种参数根据它们对负载影响的大小而设定不同的权值。

所述远程点播服务数的权值大于本地点播服务数的权值，所述本机存储热播影片数量的权值大于本机存储冷门影片数量的权值。

所述方法包括突发事件处理策略，具体为：

由监控程序实时监控点播率，如果发现某部影片在短时间内点播率激增，认定为突发事件出现，立即进行节目复制操作，在已有此部影片的MS-VOD上预留部分系统资源和带宽，以保证在最短时间内将此影片复制到其他负载较轻的MS-VOD上，分散点播率激增造成的压力。

所述方法还包括设置影片冷/热播自动识别和存储调度管理策略，具体为：

采用分级存储策略，将影片按照点播频次的多少，分为热播和冷播两种类型；

热播影片被完整存储在本地服务器中，冷播影片在本地只存储片头数据；当用户点播冷播影片时，系统先传送片头数据给用户收看，然后利用这段时间向上级内容提供商请求后续数据。

上述技术方案可以看出：

本发明实施例采用一种优化的负载分配方案，实现了动态监视各个视频点播流媒体服务器MS-VOD的当前状态，在多个MS-VOD之间合理地分配用户请求，且与具体协议类型无关。同时还将节目的存储调度环节纳入负载均衡考虑的范畴，进行视频节目的冷/热播自动识别、存储调度管理及突发事件处理等，因此本发明技术方案能够对服务器负载进行动态监视，能够平衡数据流量、充分利用系统资源。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明方法概括流程示意图；

图2是本发明的负载均衡算法流程图；

图3是本发明的视频点播系统的示意图；

图4是本发明的负载分配策略原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例提供一种基于3Tnet的视频点播的负载均衡方法，能够应用优化的负载分配策略实现了对服务器负载的动态监视，同时还结合负载均衡考虑节目存储调度问题，提出了影片冷/热播自动识别和节目存储调度管理及突发事件处理策略。

本发明技术方案不仅采用了一种优化的负载分配方案，实现了动态监视各个视频点播流媒体服务器(MS-VOD，Streaming Media Server-Video OnDemand)的当前状态，在多个MS-VOD之间合理地分配用户请求，且与具体协议类型无关。同时，还将节目的存储调度环节纳入负载均衡考虑的范畴，进行视频节目的冷/热播自动识别、存储调度管理及突发事件处理等，以达到平衡数据流量、充分利用系统资源的目的。

图1是本发明方法概括流程示意图；

如图1所示，本发明方法主要包括：

101、中心分发器接收用户的点播请求；

102、判断所述点播请求的类型，所述点播请求的类型包括对热播影片的点播请求和对冷播影片的点播请求，其中，所述点播请求的类型按照对CPU、缓存、网络和I/O的资源要求进行分类；

103、计算出所有存储有所述点播请求对应影片的视频点播流媒体服务器MS-VOD的当前负载数据；

104、根据所述负载数据进行排序；

105、根据排序结果，并按照设定概率分配其中至少一台MS-VOD提供服务。

图2是本发明的负载均衡算法流程图。图3是本发明的视频点播系统的示意图。

本发明方法的具体流程如图2所示：

中心分发器收到用户的点播请求后，立即查询出所有存储有这部影片的MS-VOD的当前负载数据，并计算排名。以一定概率指派当前排名最佳的MS-VOD提供服务，这样可部分避免突发点播过度集中于某一台MS-VOD。

当中心分发器收到点播同一部影片的多个请求并且它们之间相距时间足够短时，可以指派同一台MS-VOD提供服务，因为这样有利于充分利用缓存数据，提高缓存cache命中率，同时提高MS-VOD对点播请求的响应速度，减少用户的等待时间，提高服务质量，但因为受到缓存大小的限制，如果两个请求相距时间较远，这种好处就比较有限。

本发明技术方案涉及的各种策略在下分别进行详细说明。

1、影片冷/热播自动识别和存储调度管理策略

为了解决海量数据与系统有限的存储能力之间的矛盾，本算法采用分级存储策略，将影片按照点播频次的多少，分为热播和冷播两种类型。

热播影片将被完整存储在本地服务器中，冷播影片在本地只存储片头数据。当用户点播了冷播影片时，系统先传送片头数据给用户收看，然后利用这段时间向上级内容提供商请求后续数据。具体参见如下分析：

视频点播系统中，各个节目的受欢迎程度是非常不同的。如果把一定时间中每部影片被点播的频次统计起来，按照高频在前，低频在后的递减顺序排列，并用自然数给这些影片编上等级序号，即频次最高的等级为1频次次之的等级为2，以此类推。一般来说，可以认为这种点播概率的分布满足参数θ＝0.271的Zipf分布。N个节目的Zipf分布的概率分布函数是：

$f_i=\frac{c}{i^{1-\mathrm{\θ}}}$ i＝1，2...，N

其中f_i表示频次，i表示等级序号，c是标准化常数，

根据Zipf函数的特点，可知用户点播具有局部高度集中的特性，一些热播影片有比其他影片高得多的点播率。经计算，可以认为热播影片的分布基本遵循普遍适用的。20/80规则，即80％的点播集中于20％的影片。因此可将20％的影片作为热播影片，其余的作为冷播影片。通常将新增影片缺省为热播影片，然后根据后续的点播情况再调整。

本策略定期统计点播率，及时找出冷/热播状态变化的影片，调整其存储状态，同时也根据点播率变化对各台MS-VOD上的影片分布情况作出调整。例如，将点播率增加较快的影片复制到多台MS-VOD上去，从部分MS-VOD上删除点播率变低的热播影片等。影片的点播率在阈值范围内有较小幅度的上升或下降是正常和允许的，不足以表明需要进行调整，避免因为频繁的复制或删除操作给系统带来不必要的负担。这里引入遗忘因子a_j，对点播率统计结果进行滤波处理，即所采用的影片i的第k次点播率统计结果ψ_i，k不仅决定于其当前的点播率μ_i，k，也要考虑前面k-1，k-2，...，k-m次的点播率统计结果的影响：

${\mathrm{\ψ}}_{i,k}=a_0{\mathrm{\μ}}_{i,k}+\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{a}_j{\mathrm{\ψ}}_{i,k-j}$

其中，遗忘因子a_j可根据历史数据对当前点播率的影响不同被赋予不同权值，且满足

可由这个经过滤波处理后的点播率计算出第i部影片的第k次统计权值η_i，k：

${\mathrm{\η}}_{i,k}=\frac{{\mathrm{\ψ}}_{i,k}}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ψ}}_{i,k}}$

其中N表示电影总数目。

系统根据η_i，k结合当前每台MS-VOD上已有的影片存储情况进行调整，尽力使各台MS-VOD上存储影片的η_i，k之和大致相等。通常使得排名较高的热播影片在各台服务器上分散开来存储，同时热播和冷播影片也尽量分散开来存储，从而更加有效地分散负载。

2、突发事件处理策略

在流媒体服务器管理MS-Manager端，由监控程序实时监控点播率，如果发现某部影片在短时间内点播率激增，可认定为突发事件出现，立即进行节目复制操作，负载均衡模块在已有此部影片的MS-VOD上预留部分系统资源和带宽，以保证在最短时间内将此影片复制到其他负载较轻的MS-VOD上，分散点播率激增造成的压力。

3、用户点播负载的分配策略

为了将负载合理地分配给内部的多台MS-VOD，系统需要应用一定的负载分配策略。

传统的负载分配策略并没有考虑到服务请求的不同类型、后台服务器的不同能力，以及随机选择造成的负载分配不均匀等问题。为了使负载分配合理，应该使用能正确反映各个服务器当前状态的负载均衡策略。因此，本发明算法采用了动态监视负载的方法，同时考虑到：客户发起的服务请求类型是不同的，按照对CPU、缓存、网络和I/O的资源要求，可以简单的将它们分为两类：对热播影片的点播请求和对冷播影片的点播请求，两类影片不同的存储方式使得这两种点播请求对系统资源的占用情况是很不相同的，需要对它们应用不同的处理策略，在后面的描述中分别称之为本地点播服务和远程点播服务。

图4是本发明的负载分配策略原理图。

如图4所示，在每台MS-VOD中添加一个代理Agent模块，此模块实时收集自身负载信息，并每隔周期T传送给MS-Manager中的监听模块。当负载均衡模块需要获取MS-VOD上的负载信息时，如果系统负载较轻，由采样模块实时地与Agent建立连接获得最新数据，否则直接从监听模块处获得数据。

MS-Manager中的负载均衡模块作为中心分发器，用户请求首先被送至此处。中心分发器根据一定的负载分配策略，决定将点播请求分配给哪一台MS-VOD，相应的MS-VOD在收到点播请求后，直接将视频数据发送给对应的客户收看。显然，这样分配负载时只进行了控制信令的处理，不涉及视频数据，避免了中心分发器成为系统瓶颈的可能性。同时，为了避免由于MS-Manager的单点故障造成整个系统瘫痪，系统备有一台冗余的MS-Manager，主MS-Manager定期将日志文件备份到冗余的MS-Manager上，且两者实时交换心跳信号，当主MS-Manager出现故障时，另一台可以及时监测到并立即替换主MS-Manager开始工作。这样保证了整个系统的高可用性。

本负载分配策略采用服务器排名+服务器异步反馈算法，即：中心分发器根据所获取的负载数据计算每台MS-VOD的负载值，得出排名；同时Agent执行异步反馈功能，在自身过载时及时向中心分发器反馈过载信息，此后点播请求将不再被指派到此台服务器上，直至负载恢复正常。计算负载的公式是：

lode＝f(id，time，l_num，r_num，h_num，c_movie，memory，cpu，net，disk)其中，id：服务器编号，time：刷新时间，l_num：本地点播服务数，r_num：远程点播服务数，h_num：本机存储热播影片数量，c_num：本机存储冷门影片数量，cpu：过载，memory：内存不足，net：网络拥塞，disk：磁盘过载。上述各种参数根据它们对负载影响的大小而被赋予不同的权值，例如远程点播服务数的权值明显大于本地点播服务数的权值，本机存储热播热播影片数量(h_movie)的权值明显大于本机存储冷门影片数量(c_movie)的权值。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

综上所述，本发明实施例采用一种优化的负载分配方案，实现了动态监视各个视频点播流媒体服务器MS-VOD的当前状态，在多个MS-VOD之间合理地分配用户请求，且与具体协议类型无关。同时还将节目的存储调度环节纳入负载均衡考虑的范畴，进行视频节目的冷/热播自动识别、存储调度管理及突发事件处理等，因此本发明技术方案能够对服务器负载进行动态监视，能够平衡数据流量、充分利用系统资源。

以上对本发明实施例所提供的一种基于3Tnet的视频点播的负载均衡方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于3Tnet的视频点播的负载均衡方法，其特征在于，包括：

中心分发器接收用户的点播请求；

判断所述点播请求的类型，所述点播请求的类型包括对热播影片的点播请求和对冷播影片的点播请求；

计算出所有存储有所述点播请求对应影片的视频点播流媒体服务器MS-VOD的当前负载数据；

根据所述负载数据进行排序；

根据排序结果，并按照设定概率分配其中至少一台MS-VOD提供服务。

2.根据权利要求1所述的基于3Tnet的视频点播的负载均衡方法，其特征在于：

所述点播请求的类型按照对CPU、缓存、网络和I/O的资源要求进行分类。

3.根据权利要求1所述的基于3Tnet的视频点播的负载均衡方法，其特征在于：

计算当前负载数据的公式是：

lode＝f(id，time，l_num，r_num，h_num，c_movie，memory，cpu，net，disk)

其中，id表示服务器编号，time表示刷新时间，l_num表示本地点播服务数，r_num表示远程点播服务数，h_num表示本机存储热播影片数量，c_num表示本机存储冷门影片数量，cpu表示CPU过载，memory表示内存不足，net表示网络拥塞，disk表示磁盘过载。

4.根据权利要求3所述的基于3Tnet的视频点播的负载均衡方法，其特征在于：

所述计算负载的公式中的各种参数根据它们对负载影响的大小而设定不同的权值。

5.根据权利要求4所述的基于3Tnet的视频点播的负载均衡方法，其特征在于：

所述远程点播服务数的权值大于本地点播服务数的权值，所述本机存储热播影片数量的权值大于本机存储冷门影片数量的权值。

6.根据权利要求1至5任一项所述的基于3Tnet的视频点播的负载均衡方法，其特征在于：

所述方法包括突发事件处理策略，具体为：

由监控程序实时监控点播率，如果发现某部影片在短时间内点播率激增，认定为突发事件出现，立即进行节目复制操作，在已有此部影片的MS-VOD上预留部分系统资源和带宽，以保证在最短时间内将此影片复制到其他负载较轻的MS-VOD上，分散点播率激增造成的压力。

7.根据权利要求1至5任一项所述的基于3Tnet的视频点播的负载均衡方法，其特征在于：

所述方法还包括设置影片冷/热播自动识别和存储调度管理策略，具体为：

采用分级存储策略，将影片按照点播频次的多少，分为热播和冷播两种类型；

热播影片被完整存储在本地服务器中，冷播影片在本地只存储片头数据；当用户点播冷播影片时，系统先传送片头数据给用户收看，然后利用这段时间向上级内容提供商请求后续数据。

Images