CN1309232C - 分布式高速缓存的方法和设备 - Google Patents

分布式高速缓存的方法和设备 Download PDF

Info

Publication number
CN1309232C
CN1309232C CNB01810391XA CN01810391A CN1309232C CN 1309232 C CN1309232 C CN 1309232C CN B01810391X A CNB01810391X A CN B01810391XA CN 01810391 A CN01810391 A CN 01810391A CN 1309232 C CN1309232 C CN 1309232C
Authority
CN
China
Prior art keywords
pop
content
website
data center
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB01810391XA
Other languages
English (en)
Other versions
CN1432248A (zh
Inventor
R·J·西洛斯
R·R·梅农
P·贾伊斯瓦尔
B·J·弗尔维洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN1432248A publication Critical patent/CN1432248A/zh
Application granted granted Critical
Publication of CN1309232C publication Critical patent/CN1309232C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2854—Wide area networks, e.g. public data networks
    • H04L12/2856—Access arrangements, e.g. Internet access
    • H04L12/2869—Operational details of access network equipments
    • H04L12/287—Remote access server, e.g. BRAS
    • H04L12/2876—Handling of subscriber policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/288—Distributed intermediate devices, i.e. intermediate devices for interaction with other intermediate devices on the same level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/289—Intermediate processing functionally located close to the data consumer application, e.g. in same machine, in same home or in same sub-network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medicines That Contain Protein Lipid Enzymes And Other Medicines (AREA)
  • Computer And Data Communications (AREA)
  • Bakery Products And Manufacturing Methods Therefor (AREA)
  • Confectionery (AREA)
  • Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明描述了一种分布式边缘网络体系结构，其中数据中心作为内容提供商所上传内容的主要仓库。在地理上分散的所有“中间”存在点(POP)站点处，或者在该站点的选定组处从数据中心复制该内容。多个边缘POP站点与中间POP站点进行通信，并作为存储终端用户所请求内容的网络高速缓存。在一个实施方案中，各边缘POP站点由一个或多个互联网服务提供商放在一处。

Description

分布式高速缓存的方法和设备
技术领域
本发明通常涉及网络服务领域。具体而言，本发明涉及改进的网络数据分布体系结构。
背景技术
图1所示的传统网络高速缓存系统包括多个在局域网140和/或较大网络110(如互联网)上进行通信的客户机130～133。客户机130～133可以运行Netscape NavigatorTM或者Microsoft InternetExplorerTM等浏览器应用程序，它能通过超文本传输协议(HTTP)或其他联网协议(如文件传输协议、Gopher...等)来访问万维网(Web)上的信息。
在每个客户机130～133上都配置了浏览器，以便所有对信息(如网页)的请求能经过通常称作“代理高速缓存”的本地高速缓存服务器115而得到传送。当客户机130请求远程互联网服务器120上的信息时，本地代理高速缓存115检查此请求，并最初确定所请求的内容是否“可以高速缓存”(大量的互联网内容不可高速缓存)。如果本地代理高速缓存115检测到一个不可以高速缓存的请求，则直接向内容源(如互联网服务器120)转发此请求。然后，所请求的内容直接从源120向客户机130进行传送，而并不本地存储在代理高速缓存115上。
相比之下，当代理高速缓存115确定客户机130的内容请求可以高速缓存时，就在本地(如本地硬盘驱动器)查找该内容的拷贝。如果不存在本地拷贝，则代理高速缓存115确定此内容是否存储在“上级”高速缓存117上(相对于互联网服务器120位于网络更远的上游)或是“同级”高速缓存116上(相对于请求内容的互联网服务器120位于与该代理高速缓存基本上相同的层次位置)。
如果在相邻高速缓存116、117上检测到高速缓存“命中”，则所请求的内容从那个高速缓存中取回、发送到客户机130、并本地存储在该代理高速缓存115，从而可以用于其他本地客户机131～133另外的请求。但是，如果出现高速缓存“未中”，则此内容从源互联网服务器120中取回、发送到客户机130、并在代理高速缓存115上本地存储一个拷贝，甚至也在上级高速缓存117上存储，从而可以用于另外的客户机请求。
发明内容
本发明提供了分布式边缘网络系统、在计算机网络上分布多媒体流内容的方法来实现本发明的目的。
按照本发明的第一方面，提供了一种分布式边缘网络系统，包括：一个数据中心，含有：多个服务器以存储数字多媒体流内容且基于一个分布策略来自动地分布数字多媒体流内容，具有多个内容记录的数据库；用于监视该数字多媒体流内容的监视器；实现内容分布和管理策略的内容分布管理器，以及处理该数字多媒体流内容的物理传输的文件传输服务器器；多个与所述数据中心进行通信的中间存在点POP站点，其中每个所述中间POP站点都具有一个或多个服务器，以复制在所述数据中心上所存的所述数字多媒体流内容的多个部分；以及与各终端用户以及一个或多个所述中间POP站点进行通信的多个边缘POP站点，每个边缘POP站点具有一个或多个服务器，以高速缓存所述各终端用户请求的所述数字多媒体流内容的多个部分，其中每个数据库内容记录提供数字多媒体流内容和该内容在所述中间POP和所述边缘POP何处复制之间的关联。
按照本发明的第二方面，提供了一种一种系统，包括：一个主存储设施，用于从一个或多个内容提供商接收多媒体流内容，含有具有多个内容记录的数据库；与所述主存储设施通信地耦合的多个二级存储设施，其中所述每个二级存储设施都具有一个或多个服务器，其上镜像存储所述主存储设施上所存的所述多媒体流内容的多个部分；以及与所述二级存储设施通信地耦合的多个三级存储设施，它们具有一个或多个服务器，以高速缓存各终端用户所请求的所述多媒体流内容的多个部分，其中每个数据库内容记录提供在多媒体流内容和该内容在所述二级存储设施和所述三级存储设施何处复制之间的关联。
按照本发明的第三方面，提供了一种在计算机网络上分布多媒体流内容的方法，包括：在数据中心接收所述多媒体流内容；把所述多媒体流内容从所述数据中心向一个或多个中间POP站点拷贝；把该多媒体流内容从其中一个中间POP站点拷贝到一个或多个边缘POP站点；以及当在所述数据中心处收到所述多媒体流内容并且把所述多媒体流内容拷贝到所述中间POP站点和边缘POP站点时，更新在所述数据中心的内容数据库，其中所述数据库指示所述多媒体流内容被拷贝到的所述中间POP站点和边缘POP站点。
附图说明参考附图从下面的详细描述可以更好地理解本发明，其中：
图1说明了现有技术的数据网络上的高速缓存系统。
图2说明了含本发明各要素的示例网络体系结构。
图3说明了包括本发明各要素的示例计算机体系结构。
图4说明了包括本发明各要素的另一网络体系结构实施方案。
图5说明了一种用于分布网络内容的系统和方法的实施方案。
图6说明了依照本发明实施方案的文件请求消息。
图7说明了在边缘POP上高速缓存网络内容的本发明实施方案。
图8说明了一种用于高速缓存网络内容的方法的实施方案。
图9说明了一种包括容错特性的本发明实施方案。
图10和11说明了具有错误检测和恢复特性的本发明各实施方案。
图12说明了根据本发明一个实施方案的动态服务器分配。
图13说明了在边缘POP上高速缓存流媒体文件的本发明实施方案。
图14说明了被配置以处理实况和/或点播音频/视频信号的本发明的一个实施方案。
图15说明了一个音频/视频流经网络到达终端用户的实施方案。
图16说明了在一个或多个POP站点上高速缓存音频/视频流内容的实施方案。
具体实施方式
网络体系结构示例
在图2所示的多层网络体系结构200中可能包括本发明的各要素，其中有一个或多个数据中心220～222、多个“中间”存在点(POP)节点230～234(这里也称作“专有网络接入点”或“P-NAP”)、以及多个“边缘”POP节点240～245(这里也称作“互联网服务提供商协同定位”站点或“ISP Co-Lo”站点)。
根据图2所示的实施方案，每个数据中心220～222、中间POP230～234和/或边缘POP 240～245都包括多组网络服务器，在此可以存储并向终端用户250发送各种网络内容，如网页、网络新闻数据、电子邮件数据、文件传输协议(FTP)文件、以及实况&点播多媒体流文件。但是应当注意：本发明的基本原则可以用各种不同类型的网络内容来实践。
位于数据中心220～222和POP 230～234、240～245的服务器进行互相通信以及与终端用户150通信都可以使用各种通信信道，包括例如数字信号(DS)信道(如DS-3/T-3、DS-1/T-1)、同步光纤网络(SONET)信道(如OC-3/STS-3)、综合业务数字网(ISDN)信道、数字用户线(DSL)信道、电缆调制解调信道以及各种包括卫星广播和蜂窝的无线通信信道。
此外，本系统各个方面的实现可以使用各种组网协议，包括例如(数据链路层的)异步传输模式(ATM)、以太网、和令牌环网；以及(网络/传输层的)传输控制协议/互联网协议(TCP/IP)、网际分组交换(IPX)、AppleTalk以及DECnet。但是应当注意：本发明的原则并不局限于任何特定的通信信道或协议。
在一个实施方案中，数据中心220～222上(并且也可能在POP节点230～234、245～245上)的服务器维护了一个数据库来存储与分布式网络内容相关的信息。在一个实施方案中该数据库是一个分布式数据库(即分散在多个服务器上)，并可能运行MicrosoftTM SQL-Server、OracleTM等关系数据库管理系统(RDBMS)的实例。
计算机体系结构示例
前面简要描述了采用本发明各要素的示例网络体系结构，现在参考图3描述计算机系统300，其中表示了实现本发明各要素的示例客户机和服务器。
计算机系统300的一个实施方案包括一个用于传输信息的系统总线320、以及一个耦合到总线320用于处理信息的处理器310。计算机系统300还包括一个耦合到总线320的随机访问存储器(RAM)或者其他动态存储设备325(这里称作“主存”)，以存储信息和将由处理器310执行的指令。主存325也可以用于在处理器310执行指令期间存储临时变量或者其他中间信息。计算机系统300还包括一个耦合到总线320的只读存储器(ROM)和/或其他静态存储设备326，以存储静态信息和处理器310所使用的指令。
诸如磁盘或光盘的数据存储设备327及其相应的驱动也可能耦合到计算机系统300，以存储信息和指令。计算机系统300还可能通过一个I/O接口330耦合到第二I/O总线350。多个I/O设备可以耦合到I/O总线350，其中包括显示设备343和/或输入设备(如字符输入设备342和/或光标控制设备341)。
通信设备340用于经网络210来访问其他计算机(服务器或客户机)。通信设备340可能包括一个调制解调器、一个网络接口卡、或其他用于耦合到以太网、令牌环网或其他类型计算机网的熟知的接口设备。
本发明的实施方案
再次参考图2，正如这里所使用的，一个“内容提供商”260是指通过此处所述的系统和方法向终端用户250分发内容的个人或组织。“内容分发服务”是指由实现此处所述网络内容分布系统和方法的个人或组织向内容提供商260所提供的服务。
在本系统的一个实施方案中，数据中心220～222作为网络内容的主要初始仓库。于是，当内容提供商260生成一个要分发到终端用户250的文件，如新的流媒体表示时，内容提供商260会在一开始就把内容上载到一个位于数据中心220～222的流服务器。作为选择，这些内容可以由数据中心220～222操作人员中的一个成员来装载。然后基于一个自动内容分发策略和/或终端用户对此文件的需求，自动把此文件从数据中心220～222分布到一个或多个中间POP 230～234和/或边缘POP240～245(下面会作详细描述)。
由于数据中心220～222必须能够存储和传输内容提供商260的大量数据，故这些设施可以配备能够存储上百TB数据的磁盘阵列(这是基于当前性能；最终数据中心220～222可以基于存储技术的改进而具备显著更大的存储容量)。此外，数据中心具备到其他数据中心220～222、中间POP230-240、甚至边缘POP 240～245的高带宽连接性。此外，在一个实施方案中，数据中心220～222一直配备有一个操作人员(即一天24小时、一周7天)。
在本系统的一个实施方案中实现了比数据中心更多的中间POP230～234。但是，比起数据中心230～234，单个中间POP 230～234所配置的在线存储容量相对较少(数百GB到一或二TB的存储容量)。在一个实施方案中的中间POP 230～234地理上分布于整个世界，以提供更加有效的内容分布方案。利用数据中心220～234提供的大量的网络和系统管理支持，对这些站点可以进行远程管理(下面会做更为详细的描述)。
在一个实施方案中，边缘POP 240～245是在规模上比中间POP240～234更小的设施。但是，相对于中间POP 230～234和数据中心220～222的数量，实质上使用了更多的地理上分散开的边缘POP 240～245。该边缘POP可能包括多组与设施拥有者(如互联网服务提供商)同处一处的服务器和其他组网设备。某些边缘POP 240～245具备到网络210的直接、高带宽连接性(如通过T1信道或者更高的连接)，而其他边缘POP 240～245仅有低带宽“控制”连接性(如典型地是最小的拨号数据连接(调制解调器)；尽管这里也可能包括部分的T1连接)。即使某些边缘POP站点230～234通过互联网连到系统的其余部分，连接的实现也使得边缘POP 240～245成为数据中心220～222所管理的虚拟专用网(VPN)的一部分。就像中间POP 230～234一样，边缘POP 240～245可能由一个或多个数据中心220～222用网络和系统管理支持进行远程管理。
系统资源(如服务器、连接性)可以被部署为模块单元，它们可以基于对某些类型内容的需求而在数据中心220～222、中间POP 230～234以及边缘POP 240～245处添加。这种模块性提供了“本地”级别的可扩展性；而支持“全局”范围(系统宽)的可伸缩性是通过随着内容提供商260库的增长的需要而添加中间POP 230～234和边缘POP 240～245，并增加/修改该内容分发服务。在此环境下的“本地”级别意味着在数据中心、中间POP或边缘POP内部。例如，如果某个边缘POP配备了5个流服务器来在边缘提供比如说5000个流的总容量，则边缘POP容量可以(根据本发明的一个实施方案)依照规划要求通过去除/增加流服务器而伸缩为更高/更低的值(比如说3000个流或10,000个流)。在“全局”或系统范围，可伸缩性可以通过增加新的POP、数据中心、以及甚至为网络连接定购/分配更高的带宽来实现。
图2所示的三层体系结构提供最优地使用网络210的带宽和资源。通过主要从边缘POP 240～245向终端用户250传送数据，可减少长途连接(如直接从内容源来伺服用户250)，从而节省了网络带宽。这种特性特别有益于要求大量的带宽和存储容量的实时多媒体流等应用。结果，由于从边缘POP 240～245传递内容避免了目前网络的主要瓶颈，所以使用户感到服务质量的明显提高。
在图4所示的本系统的一个特定实施方案中，在数据中心420和中间POP 430、432和434之间提供专有、高速的通信信道422、424和426，它们可能都为同一组织所有。相比之下，此实施方案中的边缘POP440～448通过互联网(即公用通信信道)连到中间POP 430、432、434以及数据中心432。
下面会参考图14～16描述本系统被配置为流过实况和点播音频/视频内容的特定实施方案。如图14所示，此实施方案能够接收来自各种源的进入音频/视频内容，其中包括但不局限于：通过卫星链路1410所广播的实况或录制信号1401、通过视频会议系统1411所提供的实况信号1402、和/或通过专用互联网协议(IP)链路1412所传送的实况或录制信号1403。但是应当注意：在仍旧遵守本发明基本原则的情况下，除了IP外可以使用未加限制的各种网络协议。在一个实施方案中，图14所示的每个模块都位于一个数据中心220。
一个或多个系统获得和管理模块(SAM)1420按需要在各种源1401～1403之间打开和关闭通信会话。例如，当内容提供商想要建立一个新的实况流会话时，SAM 1402(在确定内容提供商有权建立该连接之后)将打开一个新的连接来处理该进入的音频/视频数据。
SAM模块1420将基于信号是否已被(如内容提供商)编码和/或信号是否包括“实况”或“点播”内容，对进入的信号进行不同处理。例如，如果一个信号尚未被内容提供商编码(例如信号可以用模拟格式或非流数字格式在数据中心220处被接收)，则SAM模块会把信号导向一个或多个流编码器模块1430，它们把此流编码成指定的数字流格式(如Windows MediaTM，Real G2TM...等)。
如果进入的信号是实况信号，则流编码器1430把所产生的编码信号直接发送到一个或多个流起始服务器1510(它会按下面的描述向各种POP节点分发此信号)和/或到一个或多个在数据中心220的内容存储设备531。但是，如果进入的信号是点播信号，则流编码器1430直接向内容存储设备531发送已编码的信号。与此类似，如果该进入的信号已被编码成流格式，则直接把它发送到内容存储设备531，从这里随后把它发送到流起始服务器1510。随着新的音频/视频流内容被加到内容存储设备531，SAM模块1420(例如通过下面描述的内容传递子系统)使存储数据库530得到相应的更新。
如图15所示，从流起始服务器1510向位于各种I-POP节点230～232和E-POP节点240～242上的流分路器1520～1522、1530～1532发送该编码信号。使用所示的流分路器保存了大量的网络带宽。例如，在所示实施方案中每个流分路器从上游服务器仅接收单个实况音频/视频内容流，然后流分路器将其划分为几个独立的流。于是，在上游服务器和流分路器之间的网络路径仅被加载单个音频/视频流。
此外，在所示多层体系中使用流分路器降低了体系中每级的带宽。例如，一个流起源服务器1510可能把来自实况流事件的单个流发送到I-POP流分路器1521。然后流分路器1521把单个流发送到每个E-POP流分路器1530～1532，而它们又把实况事件发送到多个终端用户1540～1548。因此，数据中心220和I-POP 231之间的网络路径只加载单个流并且I-POP 231和E-POP 240-242之间的三条网络路径分别只加载单个流。然后在每个E-POP 240～242对进入的流进行分路，来向多个终端用户1540～1548提供该实况事件。
自动内容传递
如图5所示，在数据中心505通过内容提供商260(如使用FTP)或数据中心操作人员515(如用磁带和CD)的直接上载、或是通过实况、实时多媒体信号，来把内容引入系统。无论在一个实施方案中如何引入新内容，目录/文件监视器模块(DF Mon)510总会更新内容数据库530，以识别已到达数据中心505的新文件。可能设置一个数据库字段或标记来指示该文件是新的或者还未向中间POP506发送。在一个实施方案中，DF Mon 510是一个在数据中心处在服务器上后台运行的服务(如一个Windows NT服务)，它使用操作系统原语(如Win32)来监视已编码的文件目录。当向这些目录增加或从这些目录去除文件时，操作系统会通知DF Mon 510。
然后一个自动内容分布子系统在整个系统中自动地分布(即复制或镜像)这些新引入的内容。在一个实施方案中，自动内容分布子系统包括一个内容分布管理器(CDM)模块520、和一个文件传输服务(FTS)模块525。CDM 520实现了内容分布和管理策略，而FTS 525处理文件的物理传输。应当注意的是，尽管图5表示的FTS 525和CDM 520完全位于数据中心505中，但这些模块的实例可以在网络中其他的节点(如中间POP 541～544)上实现。
在一个实施方案中，当内容在网络210中被分布/复制时，在数据中心220～221之一所维护的一个中心数据库530被用于跟踪这些内容。CDM 520周期性的查询数据库530来确定是否(存储在内容存储设备531上的)文件应在中间POP 506上复制。作为选择或者除此之外，当需要复制一个或一组文件时，就通知CDM 520(如由数据库应用编程接口、DF Mon 510或一些其他事件驱动模块进行异步通知)。
一旦CDM 520确定需要复制文件，就向FTS 525发送一条标识文件和文件传输目的地POP 506、507的命令，这里称为到FTS的“文件请求消息”(FRM)。然后FTS 525执行下层的文件传输过程(如通过调用Win32或FTP命令；后者用于通过互联网传输)，并提供数据库更新，以表明传输是否成功以及文件拷贝到哪里。
文件去除过程用相似的方式工作。CDM 520查询数据库530，查找标记为“将要删除”(TBD)的文件。作为选择或除此之外，当文件被标记为TBD时，可通知CDM 520(例如用文件传输)。把一个文件标记为TBD有多种方法。例如，当一个内容提供商260上载了文件时，提供商260就指明它仅仅想让此文件在特定时间周期(如10天)可用。作为选择，内容提供商260不能指定删除日期，但却可以在任意时间人工地把此文件标记为TBD(或者让数据中心操作人员515来标记此文件)。在另一实施方案中，内容提供商260指明此文件应当基于用户250请求它的频繁(或稀疏)程度来被标记TBD。
一旦向某个POP节点505、507拷贝了或从中删除了一个文件，则内容分布子系统在中心内容数据库530中创建或去除一个“文件位置”的数据库记录。此记录能把数据中心文件与在中间和/或边缘站点上存储服务器中它的拷贝关联起来。
在图6中表示了FRM数据结构600的一个实施方案。此结构600包括opcode 610，以向FTS表示需要对这些文件执行的操作，其中包括标识是否需要“文件删除”或“文件传输”并指示有关文件删除/传输的特定类型。例如，根据环境而相应采取FTP或者Win32(或其他类型)删除/传输(例如，如果通过互联网进行删除/传输，则FTP更适合，而Win32删除/传输通过专用信道会更有效率)。
此外，opcode 610可能指定正常或“懒惰”的删除/传输。从根本上说，“懒惰”FTS命令可以用于处理低优先级的传输/删除。在一个实施方案中，“懒惰”命令会仅使用单个线程(即在多线程系统中的单个事务或消息)来处理该删除和传输请求，而“正常”操作的执行是使用多个线程。单线程的“懒惰”操作对于某些类型的FTP命令而实现(如那些基于WS_FTP API的命令)。
源服务器字段620标识在数据中心中始发文件的服务器，“目标服务器数量”字段630表示将把文件向其传送/从中删除的POP数量；“文件数量”字段640表示事务所涉及的文件数量；“实际文件ID”字段650标识事务所涉及的每个文件；而一个或多个“实际目标服务器ID”指定将把文件向其拷贝/从中删除的实际目标服务器。在此实施方案中，“文件数量”字段640以及“目标服务器数量”字段630可能由系统用来确定请求消息分组长度(即这些字段标识了实际文件ID和目标服务器ID字段650、660需要有多大)。
应当注意的是，前面请求消息格式600的描述仅用于解释。在符合本发明的基本原则的前提下，在CDM 520和FTS 525之间可以传输其他各种类型的信息/数据格式。
在一个实施方案中，CDM 520可以根据像网络拥塞(也叫作“负载”)、对某些位置上特定文件的需求、和/或(各)内容提供商260所定购服务的等级等变量，而在指定的中间POP 541～544上(和某些情况下在边缘POP 551～553上)复制内容。例如，在高网络拥塞期间，CDM 520可能在数据库530的一个队列中存储文件请求消息。一旦网络拥塞降至预定义的阀值之下，则把该请求消息从队列传送到FTS 525，由它来完成文件传输/文件删除过程。
与此类似，如果提前知道在某特定时刻会极多地需要特定文件(如斯塔尔报告)，和/或其它要求大量的网络带宽的情况(如高质量流视频文件)，则CDM 520可能被事先编程来把这些文件传输到某些中间POP541～544(和/或边缘POP 551～553；参见下文)，以避免重大的服务质量问题(如网络崩溃)。
CDM 520也可能基于每个内容提供商260所定购的服务等级来把文件推动到POP 541～544。例如，某些内容提供商260可能愿意支付额外费用，来让某个文件很容易在网络上所有POP 541～544、551～553随时可用。而且内容提供商260可能想让特定类型的内容在某些POP 541～544上可用，而在其他POP不可用。例如，一个国际性内容提供商260可能想根据维护该中间POP 541～544的国家(这些POP向那个国家的用户提供内容)而在不同中间POP 541～544站点上使相同的基本网页以不同语言可用。于是，一个摩托车制造商可能想把法语版的网页推到法国的POP上，而把德语版推到德国的POP。在此实施方案中的CDM 520能够被配置成按照需要去传输内容，而满足每个内容提供商260的具体需求。在一个实施方案中，CDM 520基于指定的文件在数据库530中的标记方式(如这些文件可能指明一组有效POP，它们应当在这些POP上复制)而确定需要在何处拷贝这些文件。
文件高速缓存
在一个方案中，边缘POP 551～553作为用于存储最频繁请求的媒体内容的高速缓存文件服务器。在一个实施方案中的CDM使用强迫高速缓存和按需高速缓存两种方式在边缘POP 551～553上高速缓存内容。
在一个强迫高速缓存协议下，CDM标识在特定边缘POP站点551～553处将被大量要的文件(如通过查询数据库530)，并响应地把这些文件推到这些站点。作为选择或除此之外，内容提供商可以指定CDM应当高速缓存某组文件的边缘POP站点551～553。内容提供商的这种指定用于高速缓存文件的边缘POP站点551-553的能力可以基于内容提供商所定购的服务等级(正如有关中间POP站点的叙述)。
现在会参考图7描述本系统的、采用基于需要的高速缓存的实施方案。在一个实施方案中，当用户705请求在某个互联网站点上所存的内容(如网页、流多媒体文件...等)时，这个请求被一个负载均衡器模块(LBM)710所接收，它标识处理此请求的最合适的边缘POP站点507。在一个实施方案中的LBM 710是一个位于数据中心的模块(如运行在万维网服务器上)。LBM 710标识为“最合适”是取决于LBM 710所应用的特定负载均衡策略770。策略770可能包括高速缓存/网络变量，诸如网络负载、边缘POP 507服务器负载、请求该内容的用户位置、和/或边缘POP 507服务器的位置等等。
在一个实施方案中，LBM 710通过查询中心数据库530(即在一个实施方案中的数据库530跟踪内容在整个系统中分布的确切位置)，来发现最合适的边缘POP 507并确定内容在边缘POP 507是否可用。如果所请求的内容在边缘POP 507上可得，则把它传输到用户705。但是，如果内容在边缘POP 507并不可得，则LBM 710把此请求重导向到第二最合适的POP(如在所述实施方案中的中间POP 506)，由它再把此内容发送到用户705。
LBM 710向CDM 520通知所请求的内容在边缘POP站点507上并不可得(即出现了高速缓存“未中”)。CDM 520确定特定边缘POP站点507是否应当高速缓存所请求内容的拷贝，以备其他用户请求时可用。如果CDM确定在边缘POP 507上应当维护一个拷贝，则向FTS 525发送一个传输请求消息，来完成到边缘POP 507的底层文件传输。
CDM 520决定是否高速缓存拷贝是基于所应用的特定高速缓存策略760。在本系统的一个实施方案中，高速缓存策略将包括在一段时期内边缘POP 507请求某个文件的次数。一旦达到某阀值(如一小时10次请求)，则CDM 520会使FTS 525传输该文件的拷贝。
高速缓存策略760考虑在内的其他变量包括所请求文件是否不可高速缓存(如要求用户鉴权的文件或动态改变的内容)、边缘POP 507的存储容量、所请求文件的大小、网络和/或服务器的拥塞、以及某个内容提供商260所定购服务的等级等等。这些变量中的一些可以单独或一起由CDM 520用来做出高速缓存决定。
现在参考图8中的流程图描述一个采用基于需要的高速缓存方法的实施方案。在810用户请求内容。作为响应，LBM 710(通过如查询数据中心的一个中心数据库)标识最合适的边缘POP站点，由它来发送所请求的内容。如果在830确定了所请求的内容在边缘POP服务器可得，则在835 LBM 710(通过如向用户发送服务器的URL)把用户导向边缘POP服务器，由它向用户发送内容。
但是，如果该内容并不可用，则在840LBM(通过如查询各数据库)标识最合适的中间POP服务器，由它来传送内容。在850中间POP服务器向用户发送内容，而在860 LBM 710通知CDM 520。在870 CDM基于所使用的特定高速缓存策略，确定所请求内容的拷贝是否应当存储在边缘POP站点本地。如果决定在边缘POP站点高速缓存内容，则在880向边缘POP站点发送此内容，而数据库进行相应的更新。
如图16所示，一个实施方案提供一种对频繁请求的流内容在I-POP231和/或E-POP进行高速缓存的机制。某音频/视频流文件高速缓存与否可以基于预测和/实际的文件需求。例如，如果在某预定义的时间周期内某文件在一个E-POP 241已被请求了特定次数(如一小时10次)，则从数据中心220上的高速缓存服务器1610(它从内容存储设备531接收文件的子集)把此文件传送到E-POP 241上的本地高速缓存设备1640。在一个实施方案中，当从一个或多个POP站点高速缓存或删除文件时，数据库530进行更新来反映这些变动。
现在参考图13，描述本系统和方法的一个特定实施方案，用于分布和流过多媒体文件。在此例中一个通过边缘POP 507连到互联网的观看者1310发出一个流过某点播文件的请求。此文件在IES数据库1320中用“FileInfo”记录来引用，此记录的ID作为一个参数嵌入在URL中，观看者点击这个URL以访问数据中心505上的一个万维网服务器1325。在此实施方案中的万维网服务器1325调来一个流模块(如一个网页；Windows 98TM的“stream.asp”)1335来处理此请求。流模块1335构建一个包括到所需文件的流服务器路径的元文件(如Real G2 RAM或WMTASX元文件)。流模块1335调用流重导向器1340来确定这个路径。它接受此来自URL的FileInfo ID和观看者的IP地址。
在一个实施方案中的流重导向器1340是一个运行在万维网服务器1325上的out-of-proc COM服务器。当重导向器1340被流模块1335调用来创建到点播文件的流服务器路径时，它首先对照早先从数据库1320中收集的一组站点IP掩码，来检查观看者1310的IP地址。在所述实施方案中，重导向器1340发现匹配并正确地标识观看者1310所连的边缘POP站点507。它(使用如数据库API)检查数据库1320，来确定在观看者的边缘POP站点507上是否有所需的文件。如果它使用URL中的FileInfo ID，发现了一个与此站点507匹配的FileLacation记录，则它返回一个流路径，能把观看者重导向到一个同在边缘POP站点507上的媒体服务器1345。如果它没有在那里发现此文件(即导致“未中”)，则它就生成一个路径，来把观看者重导向到已知文件所在的中间POP站点506之一。
重导向器1340在将中间POP 506路径返回给该流模块1335之后，请求内容分布子系统1355向边缘POP站点507传送此文件的一个拷贝。作为选择，在一个实施方案中，重导向器1340简单的通知内容分布子系统1355：所请求的内容不在边缘POP站点507上，并允许内容分布子系统1355最终决定是否应在边缘站点507上存储拷贝(基于如内容分布策略)。然后CDM把这些请求转发到FTS，在此作业排队等候后来的处理。
重导向器1340将中间POP重导向路径返回给该流模块1335，在流模块1335把它插入到元文件中并返回到观看者1310浏览器。观看者1310浏览器接收元文件并把它转交到流播放器(如RealPlayer、Windows MediaPlayer...等)。这些播放器分析元文件以获得重导向路径、建立到指定中间POP 506上某媒体服务器的连接、并开始流过该点播文件。
FTS处理作业以便把文件传输到边缘POP站点507(例如，如果有到此站点的专有连接则经由Win32文件拷贝、而可替代地，如果互联网是唯一从数据中心到此站点的路径则用互联网上的FTP)。在一个实施方案中的FTS可以在网络中任何服务器上运行。于是，FTS的实例可能处于中间POP 506上，并开始从中间POP 506到边缘POP 507的拷贝，从而保存了从数据中心505出来的专有连接的带宽。当到边缘POP 507存储器的文件拷贝成功完成时，FTS创建一个联系FileInfo和边缘POP站点507记录的“FileLocation”数据库记录。
下次这个观看者1310或其他通过这个边缘POP 507进行连接的观看者试图流过同一文件时，会直接从边缘POP站点507上的媒体服务器1345(如附属于同一ISP局域网)流过它。所创建的FileLocation数据库记录允许重导向器1340选择更优的ISP站点来伺服观看者1310。应当注意：在各组件之间的定时可以根据系统需求而有不同，但依然使用总体概念。
存储空间管理
再次参考图5，在一个实施方案中，CDM 520实现了一种使用存储在中心数据库530的文件访问数据(如表明什么时间什么频率在一个边缘POP请求某个文件的数据)来管理在所有边缘文件服务器上高速缓存空间的策略。当与其他文件比较，请求相对稀疏的文件和/或在相对较长的时期内未被请求的文件可能从这个边缘POP被标记为TBD(即分别用“最少使用”和“最后访问时间”算法)。文件满期日期也可能含在数据库中(如“文件X在1/15/00后过期”)并用于CDM 520来执行高速缓存管理功能。
在一个实施方案中，每个边缘POP 551～553都关联着数据库530中所存的高阀值和低阀值。高阀值是一个表明对于CDM 520必须调用文件去除操作的边缘服务器存储设备充满程度的百分比。低阀值是一个表明CDM完成其文件去除功能时边缘服务器存储设备充满程度的百分比。
例如，如果某边缘POP 551的高阀值是80％，则当此站点的存储达到容量的80％时会在数据库530设置一个高阀值标志。作为响应，CDM520周期性的从数据库530查询阀值数据，将命令FTS 525使用一个或多个上述高速缓存管理策略从这个站点去除文件。如果此站点的低阀值设在60％，则CDM 520会命令FTS 525删除文件，直至站点的存储达到容量的60％。以此方式设置低阀值，防止了在文件服务器达到其高阀值时文件去除操作不停的运行。
容错
现在参考图9描述一个采用容错能力的本系统的一个实施方案。以前，如果在给定POP上有多个文件服务器，则从内容源把内容传输到POP站点上每个单独的文件服务器。用这种方式传输相同文件的多个拷贝导致了效率低下和费用较高，尤其是对于多媒体文件(它们通常非常巨大)。在每个站点维护单个文件服务器解决了网络和服务器流量增加的问题，但造成了不可靠性的问题(即如果文件服务器崩溃，则整个站点都不可用)。
本发明的一个实施方案解决了前述所有问题，这是通过提供后备文件服务器911～913、921～922和931，它们分别当主服务器910、920和930不在时被激活。一个称为文件传输代理(FTA)的模块运行在各站点的所有的文件服务器910～913、920～922和930～931上，并配置成主FTA或从FTA。主FTA文件服务器910、920和930从系统其余部分传输文件并接收文件(如通过网络210从数据中心221)，而该从FTA文件服务器911～913、921～922和931仅分别从该主文件服务器910、920和930接收文件。
每个文件服务器群集中的主/从FTA分配用人工配置或通过协议来协商。对在POP 900、901和数据中心221上每个主和从FTA的进行标识的信息被存储在数据库530。当要把一个文件(如通过FTS文件传输命令)传送到某个站点900时，数据中心221的主FTA 930(如通过数据库530查询)检查在此站点的主FTA文件服务器910。在数据中心221的源主FTA文件服务器930把此文件传送到在POP站点900的目标主FTA文件服务器910。然后目标主FTA 910负责把此内容传送到集群中的剩余文件服务器911～913。在一个实施方案中，FTA包括这里所述的内容传递子系统的一部分(即CDM/FTS)。
与此类似，当从主FTA文件服务器910中删除文件时，主FTA负责从该从文件服务器911～913上删除。用这种方式，任何对主FTA文件服务器910的改动都反映到集群中其他二级文件服务器911～912上。在一个实施方案中，实现这种同步使用了Daemon来检测对主FTA文件服务器的任何改动并自动更新其他文件服务器。
如果主FTA文件服务器910停机，则通过协议协商把在文件服务器集群中的一个从FTA文件服务器(如911)变为主FTA。在一个实施方案中实现了一种保持存活协议：一个或多个从FTA文件服务器911～913周期性的向主FTA文件服务器910发送状态请求，以确保主FTA的存活。如果在预定义的请求次数之后没有从主FTA收到响应(表明主FTA停机)，则一个从FTA文件服务器911～912变为新的主FTA。在一个实施方案中，自动主/从分配是随机的实现；每个FTA都生成一个随机数，而且具有最大随机数的FTA被指定为新的主FTA。
错误处理和恢复
CDM 520所处理的文件的数量每天大概上千。就此而言，一个健壮的自动错误处理和恢复设计会益于确保终端用户250得到高质量的服务。某网络故障可能有多种潜在原因，例如，源或宿站点的不可用性(如由于服务器停机)、极度网络拥塞、网络通信信道的不可用性、以及各种类型的软件错误。在本系统的一个实施方案中，现在参考图10和11描述CDM如何自动的检测、分析和试图纠正网络故障。
在1000(图10)，FTS 525对CDM 520的请求消息作出响应，试图执行文件操作(如文件传输和/或文件删除)。如果操作成功(在1010确定)，则FTS 525更新数据库530以反映这些改动，并移动到下一所要执行的操作。但是，如果FTS 525不能完成所请求的操作，则它把此错误登记到数据库530的一个的错误队列1100中(在1020)。错误队列1100中的每个条目都包括造成故障的请求消息操作(如图11中的文件传输1108～1111、1176～1177、1190；以及文件删除1125)以及一个表明故障原因的错误代码(如图11中的错误代码7、10、和3)。
CDM 1120中的错误分析部分周期性的向数据库530查询错误(在1030)，并基于恢复策略1110确定适当的错误恢复过程。恢复策略1110可能包括由数据中心操作人员515所提供的网络特定和一般的过程(参见图5)。例如，如果目标POP已经停机了已知的时间周期(如从8:00到10:00PM)，则操作人员515可能把这个网络特定的信息考虑进恢复策略1110中。当CDM 520在这段指定时间周期内收到指向这个POP的文件操作错误，则在1040它会认为这些错误是可以恢复的错误(即假设目标POP不再停机)，并会启动一个错误恢复过程1050(如它可能指令FTS 525来重新尝试文件传输操作)。
恢复策略1110可能还包括一般恢复过程。例如，如果失败的文件操作仅由FTS 525尝试一次，则CDM 520可能自动命令FTS 525再试一次(即假设此故障是临时网络干扰所造成)。如果这些故障在预定义的尝试次数之后依然存在，则CDM 525可能确定不可能恢复，并生成一个会由操作人员515检阅的报告(在1060)。
在一个实施方案中，CDM 520基于所出现的特定类型错误和/或先前所尝试的次数来确定是否尝试恢复1050。例如，如果此错误是由于此文件在数据中心221并不可用，则CDM 520可能立即认定不可能恢复，并会生成一个表示这种意思的报告1060。但是，如果此错误是由于网络拥塞，则在确定不可能恢复并生成报告1060之前，CDM 520可能尝试几次来纠正错误(即它可能指令FTS 525尝试几次进行文件操作)。
CDM 520还可能基于在某段时期内指向同一POP的连续某类错误的次数，来确认不可恢复的错误。例如，如果在五分钟内对某POP的连续文件传输操作(如文件传输1108～1111)失败，则CDM 520可能自动中断此操作，这意味着此POP在那段时期内停机(而在上述实施方案中操作人员515人工把这个信息包括到恢复策略中)。于是，如果POP现在在线并在接收文件传输，则CDM 520可能指令FTS 525重新尝试文件传输和/或删除。在遵循本发明基本原则的前提下可以使用其他的错误检测和纠正机制。
用虚拟IP地址进行负载均衡
单个服务器典型的不足以提供应用服务，尤其是对于实况或点播的多媒体内容流等高带宽的应用。参考图12，在这种环境中，满足应用服务器要求是通过利用资源池，如服务器1221～1223和1231～1232，它们分别支持给定的应用服务1220和1230。在所示实施方案中，执行负载均衡使得没有单个服务器过载，而且应用服务1220、1230的工作都不被中断。
一个第四层交换机1200支持这些要求，它基于与此服务相关的虚拟IP地址(VIP)来标识客户机1250～1252所请求的某类服务，并把这些请求转到分配给这个服务的服务器池中的某个服务器(例如1221)。例如，如果应用服务1220配置为处理所有的输入万维网网页(即超文本传输协议)请求，则连到VIP 1202来下载网页的各客户机会被第四层交换机1200重导向到VIP 1202之后的具体服务器。
在典型的负载均衡配置中，静态分组的服务器被分配到应用服务池。在本发明的一个实施方案中，部署多个应用服务，使用可以动态配置的服务器池1221～1223、1231～1232，以最优的分配资源和容错。具体而言，此实施方案允许基于对某个服务的需求和/或这个服务的当前负载，而把分配到一个应用服务1220的各服务器(如1221)动态的重新分配到第二应用服务1230上，如图12所示。
例如，如果预测到在给定时刻一个实况或点播流事件会要求大量的服务器资源，则根据对这个命令的预测，而可能把服务器1221从一个非流式服务器池中转移到一个流式服务器池1231～1232中。这可以自动实现，也可以由操作人员515人工实现，并且根据该配置请求重新启动所重新分配的服务器。
在一个实施方案中，服务器重分配机制对网络负载的变化动态的作出响应(而并非预测这种改变)。因此，如果一个为某个应用服务1230所预留的服务器池(如1231、1232)突然经受大量增长的服务请求，则分配到第二应用服务(如1220)的服务器1221可能被动态的重新分配到第一应用服务1230，以承担一些负载(假设第二服务1220还没有经受严重的网络负载)。在一个实施方案中，一个后台运行的监视模块跟踪各个不同应用服务的服务器负载。当支持一个服务的服务器变得过载时，监视模块会尝试从活动较少的应用服务来重新分配其中的一个或多个服务器。
在一个实施方案中，在活动较少的应用服务之间比较负载，从应用服务中选择具有最低平均服务器负载的服务器。在另一实施方案中，重分配的决定还考虑预测的服务器负载。于是，即使某个应用服务经历较低服务器负载，但是，如果预测到应用服务将来会具有较高负载(例如如果应用服务会被用于支持高度公开、调度的流事件)，则不会从这个应用服务中移出服务器。
在一个实施方案中，实现动态服务器重分配是通过负载检测和控制逻辑1250(如在第四层交换机1200上或另一网络设备中进行配置)，它监视各组应用服务1230、1220中每个服务器。在一个实施方案中，对于各服务器和/或各组应用服务1230、1220可能设置一高一低两个负载阀值。在一个实施方案中，当某个组中的服务器负载达到高阀值，则仅当另一个组(如应用服务1220)中的一个服务器(如服务器1221)(或其应用服务组)上的当前负载低于低阀值，负载检测和控制逻辑1250才会试图重新分配那个服务器。
本发明实施方案包括上述各步骤。这些步骤可能用机器可执行的指令来具体实现。这些指令可能用于使一个通用或专用的处理器执行某些步骤。作为选择，这些步骤可能由包含执行该步骤的硬连线逻辑的具体硬件部件来执行，或由程序控制的计算机部件和客户硬件部件组合起来执行。
本发明各要素可以用存储了机器可执行指令的机器可读介质来提供。机器可读介质可能包括但不局限于软盘、光盘、CD-ROM、以及磁光盘、ROM、RAM、EPROM、EEPROM、磁卡或光卡、传播介质或其他类型适于存储电子指令的介质/机器可读介质。例如，本发明可以作为计算机程序来下载，把它通过通信链路(如调制解调器或网络连接)用载波或其他传播介质中所含数据信号从一台远程计算机(如服务器)向一台请求计算机(如客户机)传输。
纵观前面的描述，为了解释，提出了无数具体的细节以提供对本发明的全面理解。但是对于本领域的技术人员，本发明的实现明显可以不需要这些具体细节。因此，本发明的范围和精髓在于下面的权利要求。

Claims (14)

1.一种分布式边缘网络系统，包括：
一个数据中心，含有：
多个服务器以存储数字多媒体流内容且基于一个分布策略来自动地分布数字多媒体流内容，
具有多个内容记录的数据库；
用于监视该数字多媒体流内容的监视器；
实现内容分布和管理策略的内容分布管理器，以及
处理该数字多媒体流内容的物理传输的文件传输服务器；
多个与所述数据中心进行通信的中间存在点站点，以下简称中间POP站点，其中每个所述中间POP站点都具有一个或多个服务器，以复制在所述数据中心上所存的所述数字多媒体流内容的多个部分；以及
与各终端用户以及一个或多个所述中间POP站点进行通信的多个边缘存在点站点，以下简称边缘POP站点，每个边缘POP站点具有一个或多个服务器，以高速缓存所述各终端用户请求的所述数字多媒体流内容的多个部分，
其中每个数据库内容记录提供数字多媒体流内容与该内容是在所述中间POP站点和所述边缘POP站点中哪一站点处复制之间的关联。
2.如权利要求1中要求的分布式边缘网络系统，还包括一个或多个其他数据中心，以存储数字多媒体流内容并与所述多个中间POP站点进行通信。
3.如权利要求2中要求的分布式边缘网络系统，包括比中间POP站点数量更多的边缘POP站点、以及比数据中心数量更多的中间POP站点。
4.如权利要求1中要求的分布式边缘网络系统，还包括支持所述中间POP站点和数据中心之间通信的专用的、私有通信信道。
5.如权利要求4中要求的分布式边缘网络系统，其中所述边缘POP站点与中间POP站点通过公共网络进行通信。
6.如权利要求4中要求的分布式边缘网络系统，其中所述私有通信信道是数字信号DS信道。
7.如权利要求6中要求的分布式边缘网络系统，其中所述私有通信信道是DS-3信道。
8.一种系统，包括：
一个主存储设施，用于从一个或多个内容提供商接收多媒体流内容，含有具有多个内容记录的数据库；
与所述主存储设施通信地耦合的多个二级存储设施，其中所述每个二级存储设施都具有一个或多个服务器，其上镜像存储所述主存储设施上所存的所述多媒体流内容的多个部分；以及
与所述二级存储设施通信地耦合的多个三级存储设施，它们具有一个或多个服务器，以高速缓存各终端用户所请求的所述多媒体流内容的多个部分，
其中每个数据库内容记录提供在多媒体流内容与该内容在所述二级存储设施和所述三级存储设施中哪一存储设施处复制之间的关联。
9.如权利要求8中要求的系统，其中所述三级存储设施与一个或多个互联网服务提供商共处一处。
10.如权利要求8中要求的系统，其中所述二级存储设施通过私有、专用通信信道与所述主存储设施耦合以便与其通信。
11.如权利要求10中要求的系统，其中所述二级存储设施通过互联网与所述三级存储设施耦合以便与其通信。
12.一种在计算机网络上分布多媒体流内容的方法，包括：
在数据中心接收所述多媒体流内容；
把所述多媒体流内容从所述数据中心向一个或多个中间POP站点拷贝；
把该多媒体流内容从其中一个中间POP站点拷贝到一个或多个边缘POP站点；以及
当在所述数据中心处收到所述多媒体流内容并且把所述多媒体流内容拷贝到所述中间POP站点和边缘POP站点时，更新在所述数据中心的内容数据库，其中所述数据库指示所述多媒体流内容被拷贝到的所述中间POP站点和边缘POP站点。
13.如权利要求12中要求的方法，其中在所述数据中心处接收的多媒体流内容从内容提供商传送。
14.如权利要求12中要求的方法，其中从所述数据中心到所述一个或多个中间POP站点的拷贝是响应于来自内容提供商的输入的。
CNB01810391XA 2000-03-30 2001-03-14 分布式高速缓存的方法和设备 Expired - Fee Related CN1309232C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US53946600A 2000-03-30 2000-03-30
US09/539,466 2000-03-30

Publications (2)

Publication Number Publication Date
CN1432248A CN1432248A (zh) 2003-07-23
CN1309232C true CN1309232C (zh) 2007-04-04

Family

ID=24151327

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB01810391XA Expired - Fee Related CN1309232C (zh) 2000-03-30 2001-03-14 分布式高速缓存的方法和设备

Country Status (10)

Country Link
EP (1) EP1269714B1 (zh)
JP (1) JP4845321B2 (zh)
CN (1) CN1309232C (zh)
AT (1) ATE338415T1 (zh)
AU (1) AU2001249211A1 (zh)
DE (1) DE60122691T2 (zh)
DK (1) DK1269714T3 (zh)
HK (1) HK1049417B (zh)
TW (1) TW580814B (zh)
WO (1) WO2001076192A2 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288309A (ja) * 2002-03-27 2003-10-10 Toshiba Corp メッセージ処理装置、メッセージ処理システム及びメッセージ処理方法
JP2003288291A (ja) * 2002-03-28 2003-10-10 Ntt Comware Corp コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
JP2004265397A (ja) * 2003-02-14 2004-09-24 Masuo Yoshimoto デジタルコンテンツ配送システム、デジタルコンテンツ配送方法、及びエッジサーバ
US20050210121A1 (en) * 2004-03-22 2005-09-22 Qualcomm Incorporated Satellite anticipatory bandwith acceleration
US7603131B2 (en) * 2005-08-12 2009-10-13 Sellerbid, Inc. System and method for providing locally applicable internet content with secure action requests and item condition alerts
US20070061282A1 (en) * 2005-09-14 2007-03-15 Nec Laboratories America, Inc. Data network information distribution
CN101064729B (zh) * 2006-04-27 2010-06-09 中国电信股份有限公司 通过cdn网络实现ftp下载服务的系统和方法
CN101202749B (zh) * 2007-11-16 2011-12-07 华为技术有限公司 一种sip网络中处理媒体流请求的方法、系统及装置
US8160063B2 (en) * 2008-06-09 2012-04-17 Microsoft Corporation Data center interconnect and traffic engineering
US8443370B2 (en) 2008-08-26 2013-05-14 Microsoft Corporation Method of assigning resources to fulfill a service request by a programming model abstraction layer at a data center based at least in part on a reference of the requested resource class indicative of an abstract amount of resources
CN101499095B (zh) * 2009-03-11 2011-04-27 南京联创科技集团股份有限公司 用于数据共享平台的构建缓冲的方法
US8874744B2 (en) * 2010-02-03 2014-10-28 Vmware, Inc. System and method for automatically optimizing capacity between server clusters
US8380931B2 (en) * 2010-03-12 2013-02-19 Microsoft Corporation Memory cache data center
CN101924785A (zh) * 2010-04-28 2010-12-22 华为技术有限公司 数据的上传方法、下载方法和系统
CN101841571B (zh) * 2010-05-24 2013-03-20 尤建兴 数据离散存储方法、数据离散存储装置及数据恢复方法
US8463788B2 (en) * 2010-09-03 2013-06-11 Marvell World Trade Ltd. Balancing caching load in a peer-to-peer based network file system
US8505057B2 (en) 2010-10-05 2013-08-06 Concurrent Computers Demand-based edge caching video content system and method
US20120089700A1 (en) * 2010-10-10 2012-04-12 Contendo, Inc. Proxy server configured for hierarchical caching and dynamic site acceleration and custom object and associated method
KR101175505B1 (ko) * 2011-10-06 2012-08-20 한화에스앤씨주식회사 Ｎ?스크린 환경에서 네트워크 기반 파일 시스템을 이용한 사용자 데이터 저장환경 제공 시스템
US8966643B2 (en) 2011-10-08 2015-02-24 Broadcom Corporation Content security in a social network
US20130091207A1 (en) * 2011-10-08 2013-04-11 Broadcom Corporation Advanced content hosting
CN104246737B (zh) 2011-12-01 2017-09-29 华为技术有限公司 在内容分发网络中使用视频流的连接池技术的系统和方法
CN102521406B (zh) * 2011-12-26 2014-06-25 中国科学院计算技术研究所 海量结构化数据复杂查询任务的分布式查询方法和系统
CN102521405B (zh) * 2011-12-26 2014-06-25 中国科学院计算技术研究所 支持高速加载的海量结构化数据存储、查询方法和系统
JP2013171337A (ja) * 2012-02-17 2013-09-02 Toshiba Corp メモリシステムとその試験方法
CN105162856B (zh) * 2012-10-16 2019-03-01 北京奇虎科技有限公司 网络应用集成系统和方法
CN103179037B (zh) * 2012-12-13 2015-12-09 清华大学 基于内容的数据中心网络的数据传输方法
JP5642817B2 (ja) * 2013-02-12 2014-12-17 日本電信電話株式会社 差分更新装置、差分更新システム、差分更新方法、差分更新プログラム及び差分更新サーバ
US9635580B2 (en) 2013-10-08 2017-04-25 Alef Mobitech Inc. Systems and methods for providing mobility aspects to applications in the cloud
US9037646B2 (en) * 2013-10-08 2015-05-19 Alef Mobitech Inc. System and method of delivering data that provides service differentiation and monetization in mobile data networks
CN104869139B (zh) * 2014-02-25 2019-04-16 上海帝联信息科技股份有限公司 缓存文件更新方法、装置及系统
EP2963871B1 (de) 2014-06-30 2018-10-10 Deutsche Telekom AG Effiziente Transportnetz Architektur für Content Delivery Network
CN109347925B (zh) 2014-12-31 2021-07-09 华为技术有限公司 缓存方法、缓存边缘服务器、缓存核心服务器和缓存系统
CN106230817B (zh) * 2016-07-29 2019-04-02 中国电子科技集团公司第二十八研究所 分布式海量数据传输方法及系统
CN109815049B (zh) 2017-11-21 2021-03-26 北京金山云网络技术有限公司 节点宕机恢复方法、装置、电子设备及存储介质
CN109889599B (zh) * 2019-03-07 2020-08-28 北京邮电大学 一种数据处理方法及系统
FR3099598B1 (fr) 2019-07-31 2021-08-27 Amadeus Apprentissage automatique distribué pour la validité des données antémé- morisées

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1121216A (zh) * 1994-03-07 1996-04-24 国际商业机器公司 在一个分布式文件系统中高效高速缓存的系统与方法
US6016512A (en) * 1997-11-20 2000-01-18 Telcordia Technologies, Inc. Enhanced domain name service using a most frequently used domain names table and a validity code table

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679429B2 (ja) * 1994-06-17 2005-08-03 キヤノン株式会社 ファイル資源管理システムおよびその方法
ES2208908T3 (es) * 1997-06-20 2004-06-16 Swisscom Fixnet Ag Sistema y procedimiento para la codificacion y la difusion de informaciones vocales.

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1121216A (zh) * 1994-03-07 1996-04-24 国际商业机器公司 在一个分布式文件系统中高效高速缓存的系统与方法
US6016512A (en) * 1997-11-20 2000-01-18 Telcordia Technologies, Inc. Enhanced domain name service using a most frequently used domain names table and a validity code table

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
2223-2243 RODRIGUEA P ET AL IMPROVING THE WWWW:CACHING OR MULTICAST? COMPUTER NETWORKS AND ISDN SYSTEMS 30 22.23 1998 *

Also Published As

Publication number Publication date
DE60122691D1 (de) 2006-10-12
WO2001076192A3 (en) 2002-02-21
DE60122691T2 (de) 2007-10-04
JP2003529866A (ja) 2003-10-07
HK1049417B (zh) 2007-04-13
WO2001076192A2 (en) 2001-10-11
EP1269714A2 (en) 2003-01-02
AU2001249211A1 (en) 2001-10-15
TW580814B (en) 2004-03-21
HK1049417A1 (en) 2003-05-09
CN1432248A (zh) 2003-07-23
ATE338415T1 (de) 2006-09-15
JP4845321B2 (ja) 2011-12-28
EP1269714B1 (en) 2006-08-30
DK1269714T3 (da) 2007-01-08

Similar Documents

Publication Publication Date Title
CN1309232C (zh) 分布式高速缓存的方法和设备
AU716842B2 (en) System and method for delivery of video data over a computer network
US6687846B1 (en) System and method for error handling and recovery
JP5264961B2 (ja) 組込型コンテンツ分散ゴースト・サーバを用いたグローバル文書ホスティング・システム
JP3627005B2 (ja) インターネット環境での負荷の分散とリソース管理を統合したシステム及び方法
CN1109298C (zh) 分布式计算机网络上服务器端优化数据传送的系统和方法
JP5068858B2 (ja) スーパーピアトゥピアネットワークのユーザによって発信されたコンテンツデータパッケージを配信する方法
US8533293B1 (en) Client side cache management
JP5974373B2 (ja) トランスペアレンシー機能を用いる適応ファイル送達のシステムおよび方法
CA2410860C (en) Reverse content harvester
CN1444816A (zh) 用于网络寻址的系统
AU2009240495B2 (en) System and method of managed content distrubution
CN1513144A (zh) 用于减少将信息从通信网络投递到用户的时间的系统及方法
US20130080581A1 (en) Cloud data persistence engine
CN1777880A (zh) 被管对象的复制和传送
CN102439579A (zh) 可变速率媒体传送系统
EP1368948A2 (en) Method and apparatus for large payload distribution in a network
JP2004509381A (ja) 自己発行ネットワークディレクトリ
CN101631143A (zh) 负载均衡环境中多服务器系统及其文件传输方法
US20030055910A1 (en) Method and apparatus to manage data on a satellite data server
WO2001022688A9 (en) Method and system for providing streaming media services
CA2410959A1 (en) Content tracking
CN1559037A (zh) 一种使数据单元流入终端的备份交换机
US8756272B1 (en) Processing encoded content
JP2001184252A (ja) コンピュータネットワーク上のクライアントロケーションにおける情報オブジェクトの送信および受信のための方法、装置ならびにシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070404

Termination date: 20100314