CN1610403A - 基于协作缓存实现视频点播系统的方法 - Google Patents

基于协作缓存实现视频点播系统的方法 Download PDF

Info

Publication number
CN1610403A
CN1610403A CN200410065741.4A CN200410065741A CN1610403A CN 1610403 A CN1610403 A CN 1610403A CN 200410065741 A CN200410065741 A CN 200410065741A CN 1610403 A CN1610403 A CN 1610403A
Authority
CN
China
Prior art keywords
data
user
buffer memory
global
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200410065741.4A
Other languages
English (en)
Other versions
CN100459700C (zh
Inventor
陆桑璐
陈力军
陈道蓄
谢立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CNB2004100657414A priority Critical patent/CN100459700C/zh
Publication of CN1610403A publication Critical patent/CN1610403A/zh
Application granted granted Critical
Publication of CN100459700C publication Critical patent/CN100459700C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

基于协作缓存实现视频点播(Video－On－Demand)系统的方法，包括以下步骤：(1)用户通过网络向系统请求数据；(2)由接入控制系统决定是否要接入该用户请求；(3)如果接入该用户请求，由缓存系统决定服务该用户请求的缓存；通过本地服务器群中其他服务器上的空闲内存的协作缓存实现视频点播：(4)如果在缓存中不存在用户请求的数据时，由缓存向后端文件系统请求数据；(5)如后端文件系统也不存在所请求数据，由远端服务器提供数据；(6)远端服务器通过协作缓存向用户提供流媒体数据服务，本发明的特点是：协作缓存间数据传输带宽能得到保证，索引信息传输不会成为系统网络瓶颈。

Description

基于协作缓存实现视频点播系统的方法
                        技术领域
本发明涉及视频点播(Video-On-Demand)系统的实现装置，特别涉及一种基于协作缓存实现视频点播(Video-On-Demand)系统的方法。
                        背景技术
从应用和技术现状来看，当前的VOD系统普遍存在着若干瓶颈，其原因主要是受到磁盘访问速率的限制。如果能尽量利用内存来缓冲数据，减少磁盘访问次数，则显然能提升系统整体I/O性能。然而，单台服务器的内存总是有限的。因此为了最大限度地提高VOD服务器群的性能，如何通过网络来充分利用本地服务器群中其他服务器上的空闲内存资源，则是现有技术中有待解决的问题。
                        发明内容
本发明的主要目的是针对现有技术中存在的问题，提供一种基于协作缓存实现视频点播(Video-On-Demand)系统的方法。
为实现本发明所述的目的，本发明提供一种基于协作缓存实现视频点播(Video-On-Demand)系统的方法。该方法包括以下步骤：(1)用户通过网络向系统请求数据；(2)由接入控制系统决定是否要接入该用户请求；(3)如果接入该用户请求，由缓存系统决定服务该用户请求的缓存；(4)如果在缓存中不存在用户请求的数据时，由缓存向后端文件系统请求数据；(5)如后端文件系统也不存在所请求数据，由远端服务器提供数据；(6)远端服务器通过协作缓存向用户提供流媒体数据服务，(7)缓存将这部分数据保存在本地缓存中。
本发明的特点是：协作缓存间数据传输带宽能得到保证，索引信息传输不会成为系统网络瓶颈。能最大限度地提高VOD服务器群的性能，通过网络来充分利用本地服务器群中其他服务器上的空闲内存资源，从而使得本发明具有很好的实用价值。以下结合实施例参照附图进行详细的说明，以便对本发明的目的，特征及优点进行更深入的理解。
                   附图说明
图1是协作缓存系统结构图。
图2是用户全局缓存索引管理模块流程图。
图3是缓存索引信息传输——GCM与LCM间通信。
                  具体实施方法
如图1所示，协作缓存采用三层结构，第一层是协作的缓存结构，由所有的前端代理缓存服务器的内存组成；第二层由所有前端代理缓存服务器的文件系统组成，它们之间是非协作的；第三层则是位于远端的中心服务器，协作的成员缓存间的信息流包含控制流与数据流，控制流负责控制信息如全局缓存索引表的传送，数据流则是流媒体数据的传送。
本发明主要由两部分模块负责缓存数据管理：全局缓存管理模块与本地缓存管理模块。全局缓存管理模块位于某一缓存主机中，而本地缓存管理模块存在于每一个成员缓存主机内。全局缓存管理(GCM)功能为维护缓存全局索引表(Global Index)，如图2所示。步骤10用户请求数据服务首先由接入控制系统决定为用户服务的主机地址，然后由步骤11查询该主机本地内存索引表(缓存)LI(Local Index)，如果该主机本地内存有用户所需数据，步骤12由该主机为该用户请求服务提供数据，否则步骤13，查询位于该主机上的GI(Global Index)，如果全局协作缓存的某一成员缓存中存在用户请求的数据时，步骤14将用户请求由该成员缓存提供服务，例如由主机向用户提供服务。在全局协作缓存中都不存在所请求数据时(由GI知)，进行下一步骤15，计算被替换的数据块所在的成员缓存，由缓存向后端发送用户数据请求，最后由缓存向用户提供数据，步骤16判断替换数据块的位置，如果数据来自本地主机磁盘，步骤17则由本地主机直接向用户服务，数据如果来自远地协作主机磁盘或来自远端服务器，则执行步骤18，通过内部网络向用户提供服务或发生数据替换后由缓存向用户提供服务。
图3是本地缓存管理(Local Cache Manager)，它的功能为维护本地缓存索引表(Local Index)，维护本地缓存数据，保证本地缓存数据的一致性；接收来自全局缓存管理(Global Cache Manager)GCM的全局缓存索引信息(GlobalIndex)GI，向全局缓存管理定时发送本地缓存数据索引LI。
它具体包含：步骤100，本地缓存管理器查询本地索引表TTL(Time to Live)，如果步骤110本地索引表TTL大于零，则回到步骤100，否则执行步骤120，发送本地索引表到全局缓存管理GCM，然后步骤130，将GCM合并各本地索引表，以得到本地缓存管理的全局索引表GI，步骤140，全局缓存管理GCM查询全局索引表TTL，步骤150如果GI TTL大于零，返回步骤140，否则由步骤160，广播全局索引表GI到本地缓存管理LCM。
如果假设LI大小为s，LI TTL大小为Tl秒，系统成员缓存数量为n，可以简单认为GI大小为ns，GI TTL大小为Tg，这样缓存索引信息传输占用系统协作缓存带宽为ns/Tg+ns/Tl。在实际的系统中，由于s小于10k字节，Tl与Tg的大小为1000毫秒，所以索引信息传输占用缓存间总带宽为160nkbps。在协作缓存间数据传输带宽为100Mbps的情况下，索引信息传输不会成为系统网络瓶颈。从而使得本发明具有很好的实用价值。

Claims (4)

1、基于协作缓存实现视频点播(Video-On-Demand)系统的方法，包括以下步骤：(1)用户通过网络向系统请求数据；(2)由接入控制系统决定是否要接入该用户请求；(3)如果接入该用户请求，由缓存系统决定服务该用户请求的缓存；其特征是通过本地服务器群中其他服务器上的空闲内存的协作缓存实现视频点播：(4)如果在缓存中不存在用户请求的数据时，由缓存向后端文件系统请求数据；(5)如后端文件系统也不存在所请求数据，由远端服务器提供数据；(6)远端服务器通过协作缓存向用户提供流媒体数据服务，(7)缓存将这部分数据保存在本地缓存中；协作缓存结构，由所有的前端代理缓存服务器的内存组成；协作的成员缓存间的信息流包含控制流与数据流，控制流负责控制信息如全局缓存索引表的传送，数据流则是流媒体数据的传送。
2、由权利要求1所述的基于协作缓存实现视频点播(Video-On-Demand)系统的方法，其特征是设有两部分模块负责缓存数据管理：全局缓存管理模块与本地缓存管理模块；全局缓存管理模块位于某一缓存主机中，而本地缓存管理模块存在于每一个成员缓存主机内；全局缓存管理(GCM)维护缓存全局索引表(Global Index)：用户请求数据服务首先由接入控制系统决定为用户服务的主机地址，然后查询该主机本地内存(缓存)LI(Global Index)，如果该主机本地内存有用户所需数据，由该主机为该用户请求服务提供数据，否则查询位于该主机上的GI(Global Index)，如果全局协作缓存的某一成员缓存中存在用户请求的数据时，将用户请求由该成员缓存提供服务。
3、由权利要求1所述的基于协作缓存实现视频点播(Video-On-Demand)系统的方法，其特征是在全局协作缓存中都不存在所请求数据时(由GI知)，计算被替换的数据块所在的成员缓存，由缓存向后端发送用户数据请求，最后由缓存向用户提供数据；判断替换数据块的位置，如果数据来自本地主机磁盘，则由本地主机直接向用户服务，数据如果来自远地协作主机磁盘或来自远端服务器，则通过内部网络向用户提供服务或发生数据替换后由缓存向用户提供服务。
4、由权利要求1所述的基于协作缓存实现视频点播(Video-On-Demand)系统的方法，其特征是本地缓存管理器查询本地索引表TTL，如果本地索引表TTL大于零，则继续查询，否则发送本地索引表到全局缓存管理GCM，然后将GCM合并各本地索引表，以得到本地缓存管理的全局索引表GI，全局缓存管理GCM查询全局索引表TTL，如果GI TTL大于零，返回全局缓存管理GCM查询全局索引表TTL，否则广播全局索引表GI到本地缓存管理LCM。
CNB2004100657414A 2004-11-16 2004-11-16 基于协作缓存实现视频点播系统的方法 Expired - Fee Related CN100459700C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2004100657414A CN100459700C (zh) 2004-11-16 2004-11-16 基于协作缓存实现视频点播系统的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2004100657414A CN100459700C (zh) 2004-11-16 2004-11-16 基于协作缓存实现视频点播系统的方法

Publications (2)

Publication Number Publication Date
CN1610403A true CN1610403A (zh) 2005-04-27
CN100459700C CN100459700C (zh) 2009-02-04

Family

ID=34764786

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100657414A Expired - Fee Related CN100459700C (zh) 2004-11-16 2004-11-16 基于协作缓存实现视频点播系统的方法

Country Status (1)

Country Link
CN (1) CN100459700C (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100388788C (zh) * 2005-12-27 2008-05-14 北京邮电大学 一种性能优化的移动视频点播业务系统及实现方法
CN100477622C (zh) * 2006-06-28 2009-04-08 华中科技大学 对等网络点播系统中的环状节点组织方法
WO2010048774A1 (zh) * 2008-10-27 2010-05-06 中国移动通信集团公司 一种流媒体分发系统、方法及装置
CN101848156A (zh) * 2010-05-19 2010-09-29 苏州迈科网络安全技术有限公司 Flv流量本地化的方法
CN101163172B (zh) * 2007-11-12 2010-11-10 东方通信股份有限公司 一种应用于移动电话或固定电话交换系统的大容量媒体播送系统及大容量媒体播送方法
CN101202692B (zh) * 2006-12-11 2012-02-15 中兴通讯股份有限公司 一种基于媒体服务器实现高速缓存的方法
CN103442039A (zh) * 2013-08-13 2013-12-11 南京师范大学 一种基于缓存角色划分的缓存协同系统
CN105897870A (zh) * 2016-03-30 2016-08-24 西安电子科技大学 一种面向网络视频缓存系统的拥塞控制与负载均衡的方法
CN107889160A (zh) * 2017-11-15 2018-04-06 北京邮电大学 一种考虑用户时延的小小区网络边缘部分缓存方法
CN111277666A (zh) * 2020-02-21 2020-06-12 南京邮电大学 一种基于新鲜度的在线协作缓存方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540886B (zh) * 2009-04-15 2012-09-05 中兴通讯股份有限公司 一种视频点播业务的实现方法、系统及归属流媒体服务器
CN102546593B (zh) * 2010-12-10 2014-09-10 中国科学院声学研究所 一种对等网络流媒体系统中的节点协作方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1138154A1 (en) * 1999-09-27 2001-10-04 Koninklijke Philips Electronics N.V. Scalable system for video-on-demand
CN1142660C (zh) * 2001-11-06 2004-03-17 四川大学 流式播放视频服务器系统
CN2593500Y (zh) * 2002-12-16 2003-12-17 浪潮电子信息产业股份有限公司 共享缓存式交互机顶盒

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100388788C (zh) * 2005-12-27 2008-05-14 北京邮电大学 一种性能优化的移动视频点播业务系统及实现方法
CN100477622C (zh) * 2006-06-28 2009-04-08 华中科技大学 对等网络点播系统中的环状节点组织方法
CN101202692B (zh) * 2006-12-11 2012-02-15 中兴通讯股份有限公司 一种基于媒体服务器实现高速缓存的方法
CN101163172B (zh) * 2007-11-12 2010-11-10 东方通信股份有限公司 一种应用于移动电话或固定电话交换系统的大容量媒体播送系统及大容量媒体播送方法
WO2010048774A1 (zh) * 2008-10-27 2010-05-06 中国移动通信集团公司 一种流媒体分发系统、方法及装置
CN101848156A (zh) * 2010-05-19 2010-09-29 苏州迈科网络安全技术有限公司 Flv流量本地化的方法
CN103442039A (zh) * 2013-08-13 2013-12-11 南京师范大学 一种基于缓存角色划分的缓存协同系统
CN103442039B (zh) * 2013-08-13 2016-12-28 南京师范大学 一种基于缓存角色划分的缓存协同系统
CN105897870A (zh) * 2016-03-30 2016-08-24 西安电子科技大学 一种面向网络视频缓存系统的拥塞控制与负载均衡的方法
CN105897870B (zh) * 2016-03-30 2019-04-23 西安电子科技大学 一种面向网络视频缓存系统的拥塞控制与负载均衡的方法
CN107889160A (zh) * 2017-11-15 2018-04-06 北京邮电大学 一种考虑用户时延的小小区网络边缘部分缓存方法
CN107889160B (zh) * 2017-11-15 2020-03-17 北京邮电大学 一种考虑用户时延的小小区网络边缘部分缓存方法
CN111277666A (zh) * 2020-02-21 2020-06-12 南京邮电大学 一种基于新鲜度的在线协作缓存方法
CN111277666B (zh) * 2020-02-21 2021-06-01 南京邮电大学 一种基于新鲜度的在线协作缓存方法

Also Published As

Publication number Publication date
CN100459700C (zh) 2009-02-04

Similar Documents

Publication Publication Date Title
US6708213B1 (en) Method for streaming multimedia information over public networks
US7860993B2 (en) Streaming media content delivery system and method for delivering streaming content
US8745262B2 (en) Adaptive network content delivery system
CN104935648B (zh) 一种高性价比的cdn系统及文件预推、分片缓存的方法
US8612668B2 (en) Storage optimization system based on object size
CN100459700C (zh) 基于协作缓存实现视频点播系统的方法
EP2359536B1 (en) Adaptive network content delivery system
US20050198238A1 (en) Method and apparatus for initializing a new node in a network
US20050160137A1 (en) Collapsed distrubuted cooperative memory for interactive and scalale media-on-demand systems
CN102137139A (zh) 缓存替换策略的选择方法、装置、代理服务器和系统
EP2288085A1 (en) P2p based method, device and system for playing media
WO2002039258A2 (en) Systems and methods for resource management in information storage environments
CN101005369A (zh) 一种分布式内容分发网及分布式内容分发和上传的方法
CN102118433A (zh) 多层次的分布式集群系统
Nair et al. A rank based replacement policy for multimedia server cache using zipf-like law
US20030069926A1 (en) System and method for managing an exchange between a gateway server and a client-side module
CN102244644A (zh) 多媒体文件发布方法和装置
CN1893429A (zh) 因特网服务系统
CN102497389B (zh) 一种iptv 中基于大雨伞缓存算法的流媒体协作缓存管理方法及系统
Guo et al. DISC: Dynamic interleaved segment caching for interactive streaming
KR100364401B1 (ko) 가상 서버를 이용한 멀티미디어 서비스 시스템
Sahu Design considerations for integrated proxy servers
US20030069925A1 (en) Performance enhancing proxy for high latency data links
WO2003032201A1 (en) Performance enhancing proxy for high latency data
Chang et al. Medic: A memory and disk cache for multimedia clients

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090204

Termination date: 20091216