CN1939036B - 网格计算环境内的优化的并行数据下载 - Google Patents

网格计算环境内的优化的并行数据下载 Download PDF

Info

Publication number
CN1939036B
CN1939036B CN2005800097025A CN200580009702A CN1939036B CN 1939036 B CN1939036 B CN 1939036B CN 2005800097025 A CN2005800097025 A CN 2005800097025A CN 200580009702 A CN200580009702 A CN 200580009702A CN 1939036 B CN1939036 B CN 1939036B
Authority
CN
China
Prior art keywords
download
server
data
client
downloading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800097025A
Other languages
English (en)
Other versions
CN1939036A (zh
Inventor
欧文·布特布尔
戴维·马丁
迪兰·梅里克斯蒂安
周念军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34970262&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1939036(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN1939036A publication Critical patent/CN1939036A/zh
Application granted granted Critical
Publication of CN1939036B publication Critical patent/CN1939036B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Multi Processors (AREA)
  • Telephonic Communication Services (AREA)
  • Image Generation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stored Programmes (AREA)

Abstract

在具有与客户端计算机和下载管理系统进行网络通信的多个下载服务器的网格计算机系统中，客户端从下载管理系统中请求下载计划，以便将数据并行地从多个下载服务器下载到客户端。客户端从由下载计划标识的下载服务器请求数据块。客户端监视正在下载数据块的下载服务器的性能，并在下载服务器之间重新分配数据块的某些部分，以便改进完成数据块的下载的性能。下载数据块是多个文件、一个文件或数据文件的一部分中的任何一种。

Description

网格计算环境内的优化的并行数据下载
技术领域
本发明涉及计算机数据处理。特别涉及在网格计算环境中下载数据。
背景技术
网格计算是用于创建单个系统映像的诸如处理能力、网络带宽和存储容量之类的分布式计算资源的虚拟化，给用户和应用程序提供了对巨大的IT能力的无缝的访问。有关网格计算的更多信息的来源可以在由Foster、Kesselman、Nick和Tuecke所著的发布在万维网上的“The Physiology of the Grid-an open grid services architecture fordistributed systems integration”一文中找到，网址是“www.globus.org/research/papers/ogsa.pdf”，在此引用了该文作为参考。
Llevist和Bengsson(Chalmers University of Technology)所著的论文“Grid Computing Distribution Using Network Processors”讨论了网格计算。该论文专门讲述了一种新的计算模型，该模型向网络节点(网格)分发代码和数据，网络的路由器将基于由路由器所收集的知识来确定应该选择哪些节点来执行代码。
在专利“Mulli-Server File Download”-美国6,339,785 B1(Feigenbaum)中，当从一个服务器的下载速度低于预定义的预期的速率时，Feigenbaum删除该服务器。当某一个服务器完成它的那部分数据块时，如果不需要(如果所有其他服务器都大于预定义的预期的速率)，Feigenbaum就不再使用它。更重要的是，在Feigenbaum的专利中，有些情况下，有两台服务器达到10k/s。那么，以两个相同的数据块开始下载。第一服务器达10k/s，因此它符合预期的速度。第二服务器达1000k/s(因为网络是动态的)，并立刻完成其数据块的下载。Feigenbaum将保持第一数据块10k/s的下载速度，直到完成...(“万一服务器的性能低于预先定义的级别，链接就中断”)。没有办法向速率为1000k/s的服务器重新分配10k/s的数据块，对此我们将继续讨论。
在格型网络中需要智能地从服务器中下载数据。
发明内容
本发明提供了如权利要求1和14所述的方法以及对应的计算机程序和系统。
网格计算是用于创建单个系统映像的诸如处理能力、网络带宽和存储容量之类的分布式计算资源的虚拟化，给用户和应用程序提供了对巨大的IT能力的无缝的访问。在此发明中，我们描述了网格计算环境内的下载服务。
不是使用传统的客户端/服务器或对等模式，本发明使用服务提供商、消费者和代理的模式。代理负责提供服务的路线图、保护应用程序的安全和维护记录。消费者可以联络服务提供商，只有在从代理获得了必需的授权和凭据之后才可以从它们接收服务。此外，代理可以指示消费者同时从多个服务提供商接收服务。在下载网格的上下文中，代理是作为管理服务来实现的，服务生产商是作为下载服务器来实现的，消费者是作为客户端代理来实现的。代理代表最终用户启动和处理文件下载。此模式可以应用于各种网格应用。
本发明提供高吞吐量的下载服务，同时有效地管理网络资源和控制对分布式资产的访问。
优选情况下，本发明提供了多个并行的数据流，以支持基于优化的计划的从多个服务器进行的并行数据传送(下载)。优选情况下，优化是基于下列各项进行的：1)服务请求节点(或客户端)的网络访问点；2)服务器的拓扑，3)请求服务时的网络流量；以及4)客户端的服务级别合同。
优选情况下，本发明使用X.509代理来封装凭据和优化的计划两者。
优选情况下，知道对于客户端的最大允许的带宽；计算为客户端提供服务的服务器的初始数量。服务器的数量是可调整的，以达到复制过程的最大性能。
优选情况下，在对于客户端的最大允许的带宽预先是不知道的情况下，服务器的初始数量将从一个开始，系统将进行调整以找出达到最大复制速度的服务器的数量。
优选情况下，本发明提供了复制过程的反馈，以使优化计划的质量得到改善。
优选情况下，本发明使用反馈系统和网格计算基础架构，来从网格中去激活服务，并按需重新激活。
优选情况下，对于给定数据(或文件)，本发明基于服务请求访问点的分布，优化服务器在网络拓扑上的分布，以减少广泛范围内的流量或优化其他标准。
附图说明
在本说明书结尾处在权利要求书中特别指出并明确声明了被视为本发明的主题。通过下面的结合附图对本发明进行的详细说明，可以更好地理解本发明的前述和其他目的、特征和优点，其中：
图1是计算机系统的组件的描述；
图2是采用现有技术的客户端/服务器网络的描述；
图3是采用现有技术的格型网络的描述；
图4是高级别下载网格体系结构示例的图；
图5是示例控制并行下载会话的数量的进程的流程图；
图6A是示例下载重新调整的过程的流程图；
图6B是示例数据块重新分配过程的图形描述；
图7是根据本发明向网格下载系统提供内容的流程图；
图8是根据本发明向网格下载系统下载内容的流程图；以及
图9是根据本发明的启动网格下载的流程图。
详细的描述通过参考附图说明了本发明的优选实施例，以及优点和特征。
具体实施方式
优选情况下，本发明提供了网格计算环境内的下载服务。不是使用传统的客户端/服务器或对等模式。优选实施例使用服务提供商、消费者和代理的模式。代理负责提供服务的路线图、保护应用程序的安全和维护记录。消费者可以联络服务提供商，并且只有在从代理获得了必需的授权和凭据之后才从它们接收服务。此外，代理可以指示消费者同时从多个服务提供商接收服务。在下载网格的上下文中，代理是作为管理服务来实现的，服务生产商是作为下载服务器来实现的，消费者是作为客户端代理来实现的。代理代表最终用户启动和处理文件下载。此模式可以应用于各种网格应用。
下载网格必须是可缩放的、可靠的、安全、适应性强的并且有效的：
可缩放性：本发明应该利用任何属于网格的资源集合。下载网格使用下载服务器的动态集合。因此，本发明是可缩放的。
可靠性：下载网格不是依赖单个服务器，而是具有许多服务器。单个服务器的故障将不会中止下载服务。因此，本发明是可靠的。
安全性：本发明使用私钥基础架构(PKI)和X.509证书作为安全性基础架构。因此，它是安全的。
适应性：下载网格可以动态地分配一个文件要从多个服务器同时下载的那些部分。本发明具有适应性，因为分配是基于每一特定服务器的被感觉到的性能而进行的。
效率：管理服务控制对于特定下载，可以使用资源的哪一个子集。它进行此选择的目的是最小化网络资源的总的占用率(带宽占用率)。因此，本发明是有效率的。
优选情况下，本发明提供高吞吐量的下载服务，同时有效地管理网络资源和控制对分布式资产的访问。
图1显示了其中可以应用本发明的典型的工作站或服务器硬件系统。图1的系统100包括诸如个人计算机，工作站或服务器之类的包括可选外围设备的典型的计算机系统101。工作站101包括一个或多个处理器106，用于根据已知技术连接处理器106和系统101的其他组件并在它们之间进行通信的总线。该总线将处理器106连接到存储器105和可以例如包括硬盘驱动器、软盘驱动器或磁带驱动器等等的长期存储器107。系统101还可以包括通过总线将微处理器106连接到一个或多个接口设备(如键盘104、鼠标103、打印机/扫描仪110和/或其他接口设备)的用户界面适配器，该适配器可以是任何用户界面设备，如触敏屏幕、数字化输入垫等等。总线还可以通过显示适配器将诸如LCD屏幕或监视器之类的显示设备102连接到微处理器106。
系统101可以通过能够与网络109进行通信的网络适配器来与其他计算机或计算机网络进行通信。通信信道、令牌环、以太网或调制解调器是网络适配器的示例。或者，工作站101可以使用诸如CDPD(蜂窝数字数据包数据)卡之类的无线接口来进行通信。工作站101可以与局域网(LAN)或广域网(WAN)中的这样的其他计算机关联，或者，工作站101也可以是具有另一个计算机的客户端/服务器布局中的客户端，等等。所有这些配置，以及相应的通信硬件和软件，都是现有技术中已知的。
图2显示可以应用本发明的数据处理网络200。数据处理网络200可以包括多个单个网络，如无线网络和有线网络，其中每一个网络都包括多个单个工作站101。另外，如本领域普通技术人员所理解的，可以包括一个或多个LAN，其中，LAN可以包括多个连接到主机处理器的智能工作站。
仍请参看图2，网络还可以包括大型计算机或服务器，如网关计算机(客户端服务器206)或应用服务器(可以访问数据知识库的远程服务器208)。网关计算机206充当到每一个网络207的入口点。当将一个网络协议连接到另一个网络协议时，需要网关。优选情况下，网关206可以通过通信链路连接到另一个网络(例如，因特网207)。网关206还可以使用通信链路直接连接到一个或多个工作站101。可以利用IBM推出的IBM eServer、zServer 900 Server来实现网关计算机。
实现本发明的软件编程代码通常被系统101的处理器106从诸如CD-ROM驱动器或硬盘驱动器之类的长期存储介质107进行访问。软件编程代码可以包含在诸如磁盘、硬盘驱动器或CD-ROM之类的供数据处理系统使用的各种已知介质中的任何一种介质中。代码可以在这样的介质上分发，也可以从一个计算机系统的存储器通过网络分发给其他计算机系统的用户，供这样的其他系统的用户使用。
或者，编程代码111也可以包含在存储器105中，并由处理器106使用处理器总线进行访问。这样的编程代码包括控制不同的计算机组件和一个或多个应用程序的功能和交互的操作系统。程序代码通常从密的存储介质107被分页到提供给处理器106进行处理的高速存储器105。用于将软件编程代码放到存储器中、物理介质上和/或通过网络分发软件代码的技术和方法已为大家所熟知，这里就不再进行讨论。
在优选实施例中，本发明是作为一个或多个计算机软件程序111来实现的。本发明的软件的实现可以在用户的工作站上操作，作为应请求被调用的一个或多个模块或应用程序111(在面向对象的编程中也被称为代码子例程，或“对象”)。或者，软件可以在网络中的服务器上，或在能够执行实现本发明的程序代码的任何设备中操作。实现本发明的逻辑可以集成在应用程序的代码内，也可以作为被该应用程序调用的一个或多个单独的实用程序模块来实现，而不会偏离这里所说明的发明构思。应用程序111可以在Web环境中执行，其中，Web服务器响应通过因特网连接的客户端的请求来提供服务。在另一个实施例中，应用程序可以在公司的企业内部互联网或企业外部互联网中，或在任何其他网络环境中执行。该环境的配置包括客户端/服务器网络、对等网络(其中客户端通过执行客户端和服务器两种功能直接进行交互)以及多层环境。这些环境和配置在现有技术中已为大家所熟知。
图3表示通过网络结构313进行通信的服务器301-312的采用现有技术的网格结构的高级表示法。服务器309通过局域网与服务器310和311连接在一起。服务器308提供网格代理服务。TheGrid Broker is discussed in″在“Grid Service Broker A GridScheduler for Computational and Data Grids”(www.gridbus.org/broker)和“A Grid service for SchedulingDistributed Data-Oriented Appellations on local Grids”(www.gridbus.org/papers/g.PDF)中讨论了网格代理。
图4描述了下载网格系统的高级别的体系结构。优选情况下，管理服务402包含四个模块和知识库数据库406。网格系统中有许多由408和409表示的服务器，它们在管理服务中心402进行了注册。此外，允许下载的所有文件都要在管理中心进行注册。四个模块的功能是：
优化器405-确定优化的下载计划(包括服务器的优化列表)并将它提供给客户端；
注册系统407-提供服务器和文件的注册表；
反馈系统403-从客户端401收集有关服务器状态和性能的反馈；以及
统计信息系统404-对来自反馈系统的应用程序使用状况信息进行分析并提供报告。
图5显示了客户端用来确定它将用来从多个下载服务器中并行地下载数据块的会话数量的优选过程。客户端首先启动与优化列表中的某一个服务器的会话501。它将连续地监视来自相应的服务器的数据块的每一部分的下载速率。每隔LOOP_TIMOUT秒，它都将分析监视的速率。
在第一LOOP_TIMEOUT时段502结束时，如果没有满足QoS(服务质量)要求，则它将启动与列表中的某一个未使用的服务器的第二会话503。
在随后的迭代中，将按如下方式进行：
如果利用当前会话数量实现的最大下载速率(max_download_rate)优于预先定义的阈值(THRESHOLD_{N})，如果(N＝2505或N＝3506)，则它将试图与另一个服务器开始第(N+1)个会话。
否则，如果N＞3，则它将检查从最后一次添加获得的相对和绝对增益，并相应地进行操作。如果(507)：
MAX_RATE(N servers)0 MAX_RATE(N-1 servers)＞THRESHOLD_INC
或
(MAX_RATE(N servers)0 MAX_RATE(N-1 servers))/MAX_RATE(N-1 servers)＞INC_FACTOR
其中，MAX_RATE(N servers)是利用N个会话实现的最大下载速率，MAX_RATE(N-1 servers)是利用N-1个服务器实现的最大速率；THRESHOLD_INC和INC_FACTOR分别是预先定义的绝对阈值和相对阈值。
它将与另一个服务器开始第(N+1)个会话509。
初始THRESHOLD_N限制是为避免太多用低下载速率建立的会话而进行的调整。在示例实施例中，各种参数的值如下：
THRESHOLD_2＝40k字节/秒
THRESHOLD_3＝75k字节/秒
INC_FACTOR＝20％
THRESHOLD_INC＝30k字节/秒
LOOP_TIMEOUT＝0.150秒
此方案可以有许多变体。例如，将一个包括两个文件的包从服务器下载到客户端，每一个服务器都具有这两个文件。从第一组服务器开始下载一个文件的某些部分，从第二组开始下载第二个文件的某些部分。当第一组的一个服务器下载完它的那一部分时，客户端可以选择开始下载该服务器上一个文件或第二文件的一部分。
作为另一个示例，不是在每一个步骤中随机选择服务器，可以按照管理服务指定的顺序来选择它们。同样，不是从单个服务器开始，而可以从多个服务器开始。类似地，不是以不同的方式对待N＝2以及N＝3的情况，而是可以以不同的方式对待较多或较少的N。另一个变体将是使INC_FACTOR取决于N本身。这些是这些方案的可能的变化的示例，而不代表穷尽式列举。在本发明的范围内可以使用现有技术中已知的其他变体。
图6A详细描述了在下载过程中发生的调整。当启动新下载时，数据块被分配到不同的服务器。数据块是被分配要从特定服务器下载的文件的某一部分或全部。在下载请求是针对由多个文件构成的一个组的情况下，数据块可以对应于该组中的所有文件。每一数据块的大小都取决于优化计划中列出的属性服务器速度。由于网络是动态的，因此，某些数据块会比预期的完成得更早。图6A描述了数据块重新分配算法。
当服务器X完成其数据块601时，客户端将检查每一个活动的下载，并基于数据块的剩余大小以及它的当前下载速率，计算每一个数据块的预期剩余时间。然后，它从服务器Y选择潜在地需要最长的时间才能完成的数据块(602)。在图6B中，选定数据块被表示为653。如果选定数据块653的大小小于预先指定的阈值(603)，则将不采取进一步的操作。否则(604)，它将确定服务器X和服务器Y的实现的下载速率。它将通过考虑了服务器X和服务器Y的实际速度及其他参数的调节因数划分(步骤605)数据块的剩余大小，以便从服务器X和服务器Y两者的下载同时完成。在图6B中，对应的数据块通过654和655来表示。换句话说，服务器X将与服务器Y完成数据块654(end_y)同时完成新数据块655(begin_x-end_x)。然后，它将(606)从服务器X开始下载数据块655，而服务器Y完成数据块的下载直到657。
在确定数据块的相对大小时，也考虑速率之外的参数。这些参数可以包括诸如会话建立时间，以及剩余数据块大小之类的因素。优选情况下，算法将在重新分配太小数据块没有意义的情况下避免重新分配太小的数据块。
此算法有许多变体。这只是为了说明本发明的示例实现方式。
在优选实施例中(图7)，文件提供商利用适当的凭据701与管理服务进行联络，文件提供商利用某些属性704特征化702下载数据的数据块，文件提供商将某些属性704发送703到管理系统，并将数据块上传705到下载网格上的单个服务器。属性704包括优先级、所希望的文件的地理邻近程度或对客户端的授予下载文件的权限的限制中的任何一个。文件提供商生成解密密钥，对文件进行加密，并安全地向管理服务发送解密密钥。
管理服务从内容提供商接受下载数据(图9)901，将下载数据分发706到基础架构中，基础架构包括多个。下载服务器。当管理服务从客户端接收到对于将下载数据下载到客户端的下载计划的请求902时(该请求指定QoS要求，QoS要求包括指定下载速率或所希望的下载完成时间)，它创建903下载计划，所述下载计划包括具有下载数据的两个或更多下载服务器的列表，并进一步包括两个或更多下载服务器的性能信息，然后，将下载计划发送904到客户端。下载计划包括部署在网格基础架构中的多个下载服务器的优化列表。
客户端从应用程序接收(图8)801对下载数据的请求。然后，它从管理服务请求802下载计划，然后联络下载计划中指定的下载服务器，然后开始803从联络的两个或更多下载服务器中的每一个下载服务器下载所述下载数据的下载数据块。客户端监视805 806下载服务器的下载性能，基于两个或更多下载服务器的下载性能，调整804正在被下载的下载数据块的数量。然后，它将两个或更多下载服务器的下载性能报告807到管理服务。
当客户端完成下载808时，管理服务从客户端接收服务器的新下载性能信息907。它基于新的下载性能信息，更新906下载服务器的性能信息。
管理服务动态地执行下列活动，如，选择用于接收上传文件的单个服务器，激活两个或更多下载服务器中的一个服务器，使两个或更多下载服务器中的一个服务器无效或更新两个或更多下载服务器中的一个服务器。
管理服务基于下列事项创建下载计划：客户端的位置、下载服务器的状态和使用状况信息、QoS要求、选定的下载服务器与客户端的网络邻近程度、选定的下载服务器与客户端的地理邻近程度、服务器的网络的出站带宽、服务器支持的数据块下载的当前数量或允许的最大并行数据块下载(其中，客户端代理的位置是基于任何一个客户端代理的网络地址或通过由客户端代理所提供的信息自动地确定的)。
优选情况下，开始下载包括下列步骤：
a.开始从联络的两个或更多下载服务器中的第一服务器下载“下载数据”的下载数据块的第一部分；
b.保存下载数据块部分的下载性能的指示；
c.开始从联络的两个或更多下载服务器中的新服务器下载“下载数据”的下载数据块的新的部分；
d.监视下载数据块部分的下载性能；
e.如果被监视的下载性能大于保存的下载性能的指示，而下载性能小于预先确定的最大性能，联络的两个或更多下载服务器中的全部都还没有开始，则重复步骤b到e。
客户端监视来自开始的下载服务器中的每一个服务器的下载数据的下载数据块部分的下载性能，并将第一服务器的数据块部分的子部分重新分配到第二服务器，其中，重新分配的子部分的大小是下列几种情况中的任何一种：与开始的两个或更多下载服务器的已实现的下载性能成比例、与留待第一服务器下载的那部分数据块成比例或基本上为留待第一服务器下载的那部分数据块部分的一半。在下载结束时，客户端检查文件的完整性，并将完整性检查的指示发送到管理服务。
客户端记录从每一个服务器下载的数据块的大小、每一个服务器的下载性能或不对请求作出响应的服务器的身份的信息，并将记录的信息发送到管理服务。优选情况下，数据块具有关联的访问控制列表，只有访问控制列表上指定的最终用户才可以下载文件。数据块以加密形式存储和分发。由客户端代理使用它从管理服务安全地获取的密钥来对文件进行最后的解密。
优选情况下，当前下载网格系统是使用Web服务实现的。下载操作是利用客户端和服务器之间的专有协议实现的。管理服务是使用SUN MICROSYSTEMS公司的JAVA实现的。知识库是关系数据库。
优选情况下，下载网格服务器是以Java实现的。服务器使用标准TCP/IP协议，并具有动态地调整文件传输速率的算法。
优选情况下，客户端是作为独立Java应用程序以及基于Web浏览器的Java小程序实现的。
优选情况下，安全机制使用Globus2.2网格安全性基础架构(GSI)实现方式来控制访问。在“Grid Security Infrastructure”(www-unix.globusorg/security)和在“Overview of the Grid SecurityInfrastructure”(www-unix.globusorg/security/overviewhtml)中描述了GSI。管理服务具有由现有的网格的证书颁发中心(CA)颁发的证书，如“GSI Key Concepts”中所讨论的，网址是：
www-unix.globus.org/toolkit/docs/3.2/gsi/key/index.html。
每个下载服务器和客户端都信任此证书。X.509代理被用来委派管理服务的权限，以允许客户端身份验证和直接从下载服务器中进行下载。在ITU-T Recommendation X.509 version 3(1997)(ITU-T建议X.509版本3)″Information Technology-Open SystemsInterconnection-The Directory Authentication Framework″ISO/IEC 9594-8：1997中描述了X.509。
在优选实施例中，基于客户端和候选下载服务器之间的地理距离来计算优化计划的确定。客户端的IP地址和服务器的IP地址，连同将IP地址映射到地理位置的表，被用作此确定过程的基础。优化计划以XML格式被封装在X.509代理证书的内部。
本发明的功能可以以软件、固件、硬件或其某些组合来实现。
作为一个示例，本发明的一个或多个方面可以包括在具有计算机可使用的介质的产品中(例如，一个或多个计算机程序产品)。介质中包含了例如用于提供和促进本发明的功能的计算机可读取的程序代码装置。产品可以作为计算机系统的一部分包括在计算机系统中，也可以单独地销售。
另外，可以提供至少一个由机器可读取的程序存储设备，其中有形地包含了由机器可执行的至少一个指令程序以执行本发明的功能。
这里所描述的流程图只是示例。在不偏离本发明的精神的情况下，对这里所描述的这些图表或步骤(或操作)可以有许多更改。例如，可以以不同顺序执行各个步骤，也可以添加、删除或修改步骤。所有这些变化被视为要求保护的发明的一部分。

Claims (22)

1.一种网格计算基础架构中的用于优化的数据下载的方法，该方法包括下列步骤：(a)从管理服务中获取下载计划，所述下载计划包括多个具有所希望的下载数据的下载服务器的优化列表，多个下载服务器部署在网格基础架构中；(b)联络下载计划中指定的两个或更多下载服务器；(c)将下载数据的数据块指定到下载计划中指定的两个或更多下载服务器中的相应的下载服务器，以便并行下载相应的下载数据的数据块；(d)开始从联络的两个或更多下载服务器中的下载服务器并行下载所述下载数据的数据块，其中，数据块是同时从下载服务器下载的；(e)监视正在下载数据块的两个或更多下载服务器的下载性能；(f)在数据块的并行下载过程中，基于两个或更多下载服务器的被监视的下载性能，调整正在被下载服务器下载的数据块的数量；以及(g)将两个或更多下载服务器的被监视的下载性能报告到管理服务。
2.根据权利要求1所述的方法，其中，由客户端代理、管理服务代理或服务器代理中的任何一个执行步骤a到g。
3.根据权利要求1所述的方法，包括向管理服务发送对下载计划的请求的另一个步骤，该请求指定QoS要求。
4.根据权利要求3所述的方法，其中，QoS要求包括指定下载速率或所希望的下载完成时间中的任何一个。
5.根据权利要求1所述的方法，其中，开始下载步骤进一步包括下列步骤：(b1)开始从联络的两个或更多下载服务器中的第一服务器下载所述下载数据的第一数据块；(b2)保存当前正在下载的下载数据的数据块的下载性能的指示；(b3)然后，开始从联络的两个或更多下载服务器中的新服务器下载新下载数据的数据块；(b4)然后监视正在下载的下载数据块的下载性能；(b5)然后，如果被监视的下载性能大于保存的下载性能的指示，而被监视的下载性能小于预先确定的最大性能，联络的两个或更多下载服务器中的全部都还没有开始，则重复步骤b2到b5。
6.根据权利要求1所述的方法，包括下列步骤：确定当前正在下载的第一数据块的要下载的第一部分，所述第一数据块从开始的两个或更多下载服务器中的第一服务器下载；并开始从两个或更多下载服务器中的第二服务器并行下载当前正在下载的第一数据块的要下载的第一部分，并从下载服务器同时下载数据块。
7.根据权利要求6所述的方法，其中，当前正在下载的第一数据块的要下载的第一部分的大小是下列几种情况中的任何一种：与开始的两个或更多下载服务器的已实现的下载性能成比例、与第一部分成比例或基本上为第一部分的一半。
8.根据权利要求1所述的方法，进一步包括下列步骤：在下载结束时检查下载数据的完整性；并将完整性检查的指示发送到管理服务。
9.根据权利要求1所述的方法，进一步包括下列步骤：记录从每一个服务器下载的数据块的大小、每一个服务器的下载性能或不对请求作出响应的服务器的身份中的任何一个的信息；并将记录的信息发送到管理服务。
10.根据权利要求1所述的方法，其中，下载数据具有关联的访问控制列表，且只有访问控制列表上指定的最终用户可以下载所述下载数据。
11.根据权利要求1所述的方法，其中，下载数据以加密形式存储和分发，以便由客户端代理使用从管理服务安全地获取的密钥执行对文件的最终解密。
12.根据权利要求1所述的方法，其中，数据块是多个文件、一个文件或文件的一部分中的任何一种。
13.根据权利要求1所述的方法，进一步包括下列步骤：从内容提供商接受下载数据；将下载数据分发到基础架构中，基础架构包括多个下载服务器；接收来自客户端的对于将下载数据下载到客户端的下载计划的请求；创建下载计划，所述下载计划包括具有下载数据的两个或更多下载服务器的列表，并进一步包括两个或更多下载服务器的性能信息；将创建的下载计划发送到客户端；然后接收两个或更多下载服务器的新的下载性能信息；以及基于新的下载性能信息，更新两个或更多下载服务器的性能信息。
14.一种在下载网格基础架构中用于上传、分发、管理和控制下载数据的方法，该方法包括下列步骤：从内容提供商接受下载数据；将下载数据分发到基础架构中，基础架构包括多个下载服务器；接收来自客户端的对于将下载数据下载到客户端的下载计划的请求；创建下载计划，所述下载计划包括具有下载数据的两个或更多下载服务器的列表，并进一步包括两个或更多下载服务器的性能信息；将创建的下载计划发送到客户端；然后从客户端接收两个或更多下载服务器的新的下载性能信息，所述新的下载性能信息指出在根据下载计划执行下载时，由客户端实现的两个或更多下载服务器的下载服务器性能；然后，基于新的下载性能信息，更新两个或更多下载服务器的性能信息。
15.根据权利要求14所述的方法，其中，从内容提供商接受下载数据的步骤进一步包括下列步骤：内容提供商利用适当的凭据与管理服务进行联络；内容提供商利用某些属性特征化下载数据；内容提供商向管理系统发送某些属性；以及内容提供商将下载数据上传到下载网格上的单个服务器。
16.根据权利要求15所述的方法，其中，某些属性包括优先级、所希望的下载数据的地理邻近程度或对客户端的授予下载所述下载数据的权限的限制中的任何一个。
17.根据权利要求15所述的方法，其中，管理服务动态地执行下列几个操作中的任何一个操作：选择用于接收上传下载数据的单个服务器，激活两个或更多下载服务器中的一个服务器，使两个或更多下载服务器中的一个服务器无效或更新两个或更多下载服务器中的一个服务器。
18.根据权利要求15所述的方法，进一步包括下列步骤：内容提供商生成下载数据的解密密钥；内容提供商对下载数据进行加密；内容提供商安全地向管理服务发送解密密钥。
19.根据权利要求14所述的方法，其中，创建下载计划的步骤是基于下列中的任何一个：客户端的位置、两个或更多下载服务器的状态和使用状况信息、QoS要求、两个或更多下载服务器与客户端的网络邻近程度、两个或更多下载服务器与客户端的地理邻近程度、两个或更多下载服务器中的一个服务器的网络的出站带宽、两个或更多下载服务器中的一个服务器支持的数据块下载的当前数量或允许的最大并行数据块下载。
20.根据权利要求19所述的方法，其中，客户端的位置是基于任何一个客户端网络地址或通过由客户端所提供的信息自动地确定的。
21.一种网格计算基础架构中的用于优化的数据下载的设备，该设备包括：(a)用于从管理服务中获取下载计划的装置，所述下载计划包括多个具有所希望的下载数据的下载服务器的优化列表，多个下载服务器部署在网格基础架构中；(b)用于联络下载计划中指定的两个或更多下载服务器的装置；(c)用于将下载数据的数据块指定到下载计划中指定的两个或更多下载服务器中的相应的下载服务器，以便并行下载相应的下载数据的数据块的装置；(d)用于开始从联络的两个或更多下载服务器中的下载服务器并行下载所述下载数据的数据块的装置，其中，数据块是同时从下载服务器下载的；(e)用于监视正在下载数据块的两个或更多下载服务器的下载性能的装置；(f)用于在数据块的并行下载过程中，基于两个或更多下载服务器的被监视的下载性能，调整正在被下载服务器下载的数据块的数量的装置；以及(g)用于将两个或更多下载服务器的被监视的下载性能报告到管理服务的装置。
22.一种在下载网格基础架构中用于上传、分发、管理和控制下载数据的设备，该设备包括：用于从内容提供商接受下载数据的装置；用于将下载数据分发到基础架构中的装置，基础架构包括多个下载服务器；用于接收来自客户端的对于将下载数据下载到客户端的下载计划的请求的装置；用于创建下载计划的装置，其中所述下载计划包括具有下载数据的两个或更多下载服务器的列表，并进一步包括两个或更多下载服务器的性能信息；用于将创建的下载计划发送到客户端的装置；用于然后从客户端接收两个或更多下载服务器的新的下载性能信息的装置，其中所述新的下载性能信息指出在根据下载计划执行下载时，由客户端实现的两个或更多下载服务器的下载服务器性能；用于然后基于新的下载性能信息，更新两个或更多下载服务器的性能信息的装置。
CN2005800097025A 2004-06-08 2005-06-07 网格计算环境内的优化的并行数据下载 Expired - Fee Related CN1939036B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/862,977 2004-06-08
US10/862,977 US7631098B2 (en) 2004-06-08 2004-06-08 Method, system and program product for optimized concurrent data download within a grid computing environment
PCT/EP2005/052600 WO2005122532A1 (en) 2004-06-08 2005-06-07 Optimized concurrent data download within a grid computing environment

Publications (2)

Publication Number Publication Date
CN1939036A CN1939036A (zh) 2007-03-28
CN1939036B true CN1939036B (zh) 2011-08-31

Family

ID=34970262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800097025A Expired - Fee Related CN1939036B (zh) 2004-06-08 2005-06-07 网格计算环境内的优化的并行数据下载

Country Status (10)

Country Link
US (1) US7631098B2 (zh)
EP (1) EP1766936B1 (zh)
JP (1) JP4886690B2 (zh)
KR (1) KR101019982B1 (zh)
CN (1) CN1939036B (zh)
AT (1) ATE381844T1 (zh)
BR (1) BRPI0511882B1 (zh)
CA (1) CA2569925C (zh)
DE (1) DE602005003948T2 (zh)
WO (1) WO2005122532A1 (zh)

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003233206A1 (en) * 2003-04-30 2004-11-23 Telecom Italia S.P.A. Method, system and computer program product for evaluating download performance of web pages
US7277985B2 (en) * 2004-07-13 2007-10-02 International Business Machines Corporation Method, system and program product for storing downloadable content on a plurality of enterprise storage system (ESS) cells
JP2006126894A (ja) * 2004-10-26 2006-05-18 Sony Corp コンテンツ配信方法、プログラムおよび情報処理装置
US7603404B2 (en) * 2004-12-20 2009-10-13 Sap Ag Grid parallel execution
US9176955B2 (en) * 2005-03-09 2015-11-03 Vvond, Inc. Method and apparatus for sharing media files among network nodes
US20090025046A1 (en) * 2005-03-09 2009-01-22 Wond, Llc Hybrid architecture for media services
US20080022343A1 (en) * 2006-07-24 2008-01-24 Vvond, Inc. Multiple audio streams
US7191215B2 (en) * 2005-03-09 2007-03-13 Marquee, Inc. Method and system for providing instantaneous media-on-demand services by transmitting contents in pieces from client machines
US20090019489A1 (en) * 2005-03-09 2009-01-15 Vvond, Inc. Method and apparatus for displaying movie titles based on distributed objects
US8887224B2 (en) 2005-03-09 2014-11-11 Vudu, Inc. Updating content libraries by transmitting release data
US8904463B2 (en) 2005-03-09 2014-12-02 Vudu, Inc. Live video broadcasting on distributed networks
US7937379B2 (en) * 2005-03-09 2011-05-03 Vudu, Inc. Fragmentation of a file for instant access
US8219635B2 (en) * 2005-03-09 2012-07-10 Vudu, Inc. Continuous data feeding in a distributed environment
US8364792B2 (en) * 2005-03-09 2013-01-29 Vudu, Inc. Method and system for distributing restricted media to consumers
US7698451B2 (en) 2005-03-09 2010-04-13 Vudu, Inc. Method and apparatus for instant playback of a movie title
US20090019468A1 (en) * 2005-03-09 2009-01-15 Vvond, Llc Access control of media services over an open network
US20060265499A1 (en) * 2005-05-23 2006-11-23 Menasce Daniel A Service Allocation Mechanism
US8099511B1 (en) * 2005-06-11 2012-01-17 Vudu, Inc. Instantaneous media-on-demand
CN100411341C (zh) * 2005-08-10 2008-08-13 华为技术有限公司 一种并行下载方法和终端
CN100395978C (zh) * 2005-08-15 2008-06-18 华为技术有限公司 一种下载方法及一种终端
US8739231B2 (en) * 2005-08-23 2014-05-27 Vudu, Inc. System and method for distributed video-on-demand
US20070067488A1 (en) * 2005-09-16 2007-03-22 Ebay Inc. System and method for transferring data
US8285809B2 (en) * 2005-12-13 2012-10-09 Audio Pod Inc. Segmentation and transmission of audio streams
US7900060B2 (en) * 2006-02-17 2011-03-01 Vudu, Inc. Method and system for securing a disk key
WO2007101182A2 (en) * 2006-02-28 2007-09-07 Maven Networks, Inc. Systems and methods for delivering and managing media content downloaded to a network connected device
US8015491B2 (en) 2006-02-28 2011-09-06 Maven Networks, Inc. Systems and methods for a single development tool of unified online and offline content providing a similar viewing experience
US8001471B2 (en) 2006-02-28 2011-08-16 Maven Networks, Inc. Systems and methods for providing a similar offline viewing experience of online web-site content
US7970835B2 (en) * 2006-04-04 2011-06-28 Xerox Corporation Peer-to-peer file sharing system and method using downloadable data segments
US8239686B1 (en) 2006-04-27 2012-08-07 Vudu, Inc. Method and system for protecting against the execution of unauthorized software
GB2440774B (en) * 2006-08-11 2011-07-27 Cachelogic Ltd Content Delivery System For Digital Object
GB2440762B (en) * 2006-08-11 2011-11-02 Cachelogic Ltd Content distribution network
US7539762B2 (en) * 2006-08-15 2009-05-26 International Business Machines Corporation Method, system and program product for determining an initial number of connections for a multi-source file download
US8296812B1 (en) 2006-09-01 2012-10-23 Vudu, Inc. Streaming video using erasure encoding
US7826356B2 (en) * 2006-11-08 2010-11-02 International Business Machines Corporation Method and system for controlling flow in an asymmetric communication channel
US8055902B2 (en) * 2007-01-12 2011-11-08 International Business Machines Corporation Method, system, and computer program product for data upload in a computing system
US7734950B2 (en) * 2007-01-24 2010-06-08 Hewlett-Packard Development Company, L.P. Bandwidth sizing in replicated storage systems
CA2577030A1 (en) * 2007-01-31 2008-07-31 Unlimi-Tech Software Inc. Improved data transfer method, system and protocol
US8316123B2 (en) * 2007-02-19 2012-11-20 Toshiba Global Commerce Solutions Holdings Corporation Managing boot images in a retail store environment
US9350701B2 (en) 2007-03-29 2016-05-24 Bomgar Corporation Method and apparatus for extending remote network visibility of the push functionality
US20080270524A1 (en) * 2007-04-30 2008-10-30 Nikhil Gupta Distributing files over a computer network
US8429286B2 (en) * 2007-06-28 2013-04-23 Apple Inc. Methods and systems for rapid data acquisition over the internet
US8037135B2 (en) * 2007-06-29 2011-10-11 Microsoft Corporation Automatic distributed downloading
WO2009032712A2 (en) 2007-08-29 2009-03-12 Nirvanix, Inc. Method and system for moving requested files from one storage location to another
KR100929031B1 (ko) 2007-09-17 2009-11-26 (주)씨디네트웍스 파일 병렬 다운로드에서의 블록 선택 방법, 이를 이용한파일 병렬 다운로드 방법 및 이를 구현하기 위한프로그램을 기록한 기록매체
US8139074B2 (en) * 2007-11-27 2012-03-20 International Business Machines Corporation Memory optimized cache generation for image tiling in GIS/CAD browser applications
US7908362B2 (en) * 2007-12-03 2011-03-15 Velocix Ltd. Method and apparatus for the delivery of digital data
US8027671B2 (en) 2008-01-14 2011-09-27 Penthera Partners, Inc. Delivering files to a mobile device
US7912956B1 (en) * 2008-01-22 2011-03-22 Raytheon Company Service level agreement based control of a distributed computing system
CN101729510B (zh) * 2008-10-29 2013-03-06 Tcl集团股份有限公司 一种虚拟网络存储服务系统及其建立方法
KR101006539B1 (ko) * 2009-02-06 2011-01-07 (주)씨디네트웍스 파일 병렬 다운로드에서의 최대 빈도 블록 우선 선택 방법,이를 이용한 파일 병렬 다운로드 방법 및 이를 구현하기 위한 프로그램을 기록한 기록매체
GB2469034A (en) * 2009-03-30 2010-10-06 Sony Corp Distribution system and method of distributing content files
US8296402B2 (en) * 2009-04-07 2012-10-23 National Instruments Corporation Determining and downloading portions of a software application in a computer system
US11064023B2 (en) * 2009-05-27 2021-07-13 Verizon Media Inc. Method for actively sharing available bandwidth to consumer nodes in a peer-to-peer network for delivery of video streams
US9807468B2 (en) 2009-06-16 2017-10-31 Microsoft Technology Licensing, Llc Byte range caching
US8341620B2 (en) 2009-06-25 2012-12-25 Microsoft Corporation Streaming optimized virtual application images
EP2454675A4 (en) * 2009-07-14 2016-10-26 Penthera Partners Inc DISTRIBUTING FILES TO A MOBILE DEVICE
US9195504B2 (en) * 2009-09-21 2015-11-24 Siemens Product Lifecycle Management Software Inc. Transfer of data structures in sub-linear time for systems with transfer state awareness
EP2362651A1 (en) * 2010-02-19 2011-08-31 Thomson Licensing Multipath delivery for adaptive streaming
US8903906B2 (en) * 2010-03-16 2014-12-02 Brother Kogyo Kabushiki Kaisha Information communications system, node device, method of communicating contents, computer readable recording medium storing a program
US8219646B2 (en) 2010-03-31 2012-07-10 Oracle International Corporation Dynamic intelligent mirror host selection
US8745128B2 (en) * 2010-09-01 2014-06-03 Edgecast Networks, Inc. Optimized content distribution based on metrics derived from the end user
US8639748B2 (en) * 2010-09-01 2014-01-28 Edgecast Networks, Inc. Optimized content distribution based on metrics derived from the end user
CN102413514B (zh) * 2010-09-20 2014-12-03 株式会社日立制作所 数据配送装置以及数据配送方法
US20120072898A1 (en) * 2010-09-21 2012-03-22 Startforce, Inc. On-premise deployment of virtual desktop service servers
CN101969462A (zh) * 2010-09-30 2011-02-09 中国科学院国家天文台 数据发布系统和数据发布方法
US8886593B2 (en) 2011-02-01 2014-11-11 Siemens Product Lifecycle Management Software Inc. Controlled dispersion rates for transfer swarms
CN102164317A (zh) * 2011-02-14 2011-08-24 上海高智科技发展有限公司 一种面向ip机顶盒的多服务器分段下载系统
JP5690224B2 (ja) * 2011-06-10 2015-03-25 日本電信電話株式会社 コンテンツ優先転送方法、およびコンテンツ優先転送ゲートウェイ
KR101338689B1 (ko) * 2011-09-21 2013-12-09 명지대학교 산학협력단 병렬 다운로드를 위한 서버장치의 선택 방법
CN102307244B (zh) * 2011-10-13 2013-10-30 网宿科技股份有限公司 基于b/s架构的多连接的下载方法和系统
US8959504B2 (en) * 2011-10-18 2015-02-17 Microsoft Corporation Update scanning
US8745177B1 (en) 2011-11-01 2014-06-03 Edgecast Networks, Inc. End-to-end monitoring and optimization of a content delivery network using anycast routing
US8738766B1 (en) 2011-11-01 2014-05-27 Edgecast Networks, Inc. End-to-end monitoring and optimization of a content delivery network using anycast routing
CN103188161B (zh) * 2011-12-30 2017-11-21 中国移动通信集团公司 分布式数据加载调度方法与系统
TWI507891B (zh) * 2012-03-23 2015-11-11 Egis Technology Inc 具雲端儲存空間管理功能之電子裝置、雲端儲存系統、其方法及其電腦程式產品
EP2888674A4 (en) 2012-08-22 2016-05-18 Nokia Technologies Oy METHOD AND APPARATUS FOR EXCHANGING STATE UPDATES DURING COLLABORATION
US9432452B2 (en) 2012-09-10 2016-08-30 Joosy, Inc. Systems and methods for dynamic networked peer-to-peer content distribution
EP2910001A4 (en) * 2012-10-18 2016-04-20 Giraffic Technologies Ltd OVERLOAD CONTROL METHOD FOR DYNAMICALLY MAXIMIZING A COMMUNICATION CONNECTION THROUGHPUT
US9634955B2 (en) * 2013-10-17 2017-04-25 Microsoft Technology Licensing, Llc Optimizing data transfers in cloud computing platforms
CN103747364B (zh) * 2013-12-11 2017-03-01 湖南网数科技有限公司 一种网络内容下载的方法和装置
KR101525541B1 (ko) * 2013-12-18 2015-06-03 (주) 엔에프랩 콘텐츠 딜리버리 네트워크 서비스 시스템 및 방법
CN103686430A (zh) * 2013-12-24 2014-03-26 中国联合网络通信集团有限公司 视频文件获取方法及装置
CN105812840A (zh) * 2014-12-29 2016-07-27 乐视网信息技术（北京）股份有限公司 一种直播视频传输方法、装置，以及视频直播系统
US10397233B2 (en) 2015-04-20 2019-08-27 Bomgar Corporation Method and apparatus for credential handling
US10229262B2 (en) 2015-04-20 2019-03-12 Bomgar Corporation Systems, methods, and apparatuses for credential handling
US10187485B1 (en) * 2015-09-28 2019-01-22 Symantec Corporation Systems and methods for sending push notifications that include preferred data center routing information
US9813299B2 (en) * 2016-02-24 2017-11-07 Ciena Corporation Systems and methods for bandwidth management in software defined networking controlled multi-layer networks
CN107229485A (zh) * 2016-03-23 2017-10-03 福建福昕软件开发股份有限公司 一种解决采集数据类软件关闭速度慢的方法
US10348828B2 (en) * 2016-06-20 2019-07-09 Cisco Technology, Inc. Method and apparatus for optimizing data transfers utilizing machine learning
CN106790343B (zh) * 2016-11-03 2020-05-19 深圳市元征软件开发有限公司 一种资源下载方法、及服务器
CN106790356A (zh) * 2016-11-15 2017-05-31 广东欧珀移动通信有限公司 一种数据备份、下载方法及相关设备
CN106790489B (zh) * 2016-12-14 2020-12-22 成都华为技术有限公司 并行数据加载方法和系统
CN106992999B (zh) * 2017-05-26 2020-11-20 河南职业技术学院 一种跨服务器数据通讯处理方法
JP6471252B1 (ja) * 2018-03-20 2019-02-13 株式会社Ｊストリーム 再生装置及びプログラム
CN110830522A (zh) * 2018-08-07 2020-02-21 石悌君 一种共享存储系统
CN113454934B (zh) 2019-03-06 2024-04-05 杜比实验室特许公司 多服务器通信系统中的下载控制

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6003045A (en) * 1997-09-17 1999-12-14 International Business Machines Corporation Accessing stored files from multiple storage devices
US6339785B1 (en) * 1999-11-24 2002-01-15 Idan Feigenbaum Multi-server file download
CN2540714Y (zh) * 2002-05-21 2003-03-19 顾士平 嵌入式无线网络系统实现装置
CN1434646A (zh) * 2002-01-25 2003-08-06 深圳市中兴通讯股份有限公司 移动通讯系统软件并行下载方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6049892C1 (en) * 1997-02-24 2002-06-04 Ethos Software Corp Process and apparatus for downloading data from a server computer to a client computer
US6407752B1 (en) * 1997-04-29 2002-06-18 International Business Machines Corporation Method and system for a user interface for remote FTP hosts
JP3914317B2 (ja) * 1997-12-26 2007-05-16 インターナショナル・ビジネス・マシーンズ・コーポレーション データ通信装置およびその方法
US6061720A (en) * 1998-10-27 2000-05-09 Panasonic Technologies, Inc. Seamless scalable distributed media server
US6477522B1 (en) * 1999-06-10 2002-11-05 Gateway, Inc. Dynamic performance based server selection
US6678733B1 (en) * 1999-10-26 2004-01-13 At Home Corporation Method and system for authorizing and authenticating users
US6742023B1 (en) * 2000-04-28 2004-05-25 Roxio, Inc. Use-sensitive distribution of data files between users
US6377974B1 (en) * 2000-01-19 2002-04-23 Speedbit Ltd. Methods and apparatus for downloading a file from a server
US6920110B2 (en) * 2001-02-14 2005-07-19 Microsoft Corporation System and method for transferring data over a network
US7324228B2 (en) * 2000-02-25 2008-01-29 Hewlett-Packard Development Company, L.P. System and method for downloading and for printing data from an external content source
CA2303739C (en) * 2000-04-04 2009-06-30 Webhancer Corporation Method and system for managing performance of data transfers for a data access system
US6961858B2 (en) * 2000-06-16 2005-11-01 Entriq, Inc. Method and system to secure content for distribution via a network
US6801947B1 (en) * 2000-08-01 2004-10-05 Nortel Networks Ltd Method and apparatus for broadcasting media objects with guaranteed quality of service
US6772217B1 (en) * 2000-08-23 2004-08-03 International Business Machines Corporation Internet backbone bandwidth enhancement by initiating an additional data stream when individual bandwidth are approximately equal to the backbone limit
US7047309B2 (en) * 2000-08-23 2006-05-16 International Business Machines Corporation Load balancing and dynamic control of multiple data streams in a network
ATE381191T1 (de) * 2000-10-26 2007-12-15 Prismedia Networks Inc Verfahren und system zur verwaltung von verteilten inhalten und entsprechenden metadaten
US7240358B2 (en) * 2000-12-08 2007-07-03 Digital Fountain, Inc. Methods and apparatus for scheduling, serving, receiving media-on demand for clients, servers arranged according to constraints on resources
JP2002268979A (ja) 2001-03-07 2002-09-20 Nippon Telegr & Teleph Corp <Ntt> ダウンロード方法及び装置、ダウンロード用プログラム並びにそのプログラムを記録した記録媒体
US20030084123A1 (en) * 2001-08-24 2003-05-01 Kamel Ibrahim M. Scheme for implementing FTP protocol in a residential networking architecture
US7185286B2 (en) * 2001-08-28 2007-02-27 Nvidia International, Inc. Interface for mobilizing content and transactions on multiple classes of devices
JP2003067280A (ja) 2001-08-28 2003-03-07 Fujitsu Ltd マルチメディアデータのダウンロード予約制御方式及びプログラム
US20030074465A1 (en) * 2001-10-15 2003-04-17 Zhicheng Tang ADSL downloading with priority transmit queue
US7716659B2 (en) * 2001-10-23 2010-05-11 Pitney Bowes Inc. Remote monitoring and software distribution system for servicing inserter systems
US8261059B2 (en) * 2001-10-25 2012-09-04 Verizon Business Global Llc Secure file transfer and secure file transfer protocol
JP2003337803A (ja) 2002-05-21 2003-11-28 Ntt Me Corp コンテンツ不正入手防止方法、コンテンツ不正入手防止システムおよびコンテンツ不正入手防止プログラム
US7555559B2 (en) * 2003-02-28 2009-06-30 Onion Networks, KK Parallel data transfer over multiple channels with data order prioritization
US20050015511A1 (en) * 2003-07-02 2005-01-20 Nec Laboratories America, Inc. Accelerated large data distribution in overlay networks
US20060064386A1 (en) * 2004-09-20 2006-03-23 Aaron Marking Media on demand via peering
US7165050B2 (en) * 2004-09-20 2007-01-16 Aaron Marking Media on demand via peering
TWI301021B (en) * 2005-12-27 2008-09-11 Ind Tech Res Inst File distribution and access system and method for file management

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6003045A (en) * 1997-09-17 1999-12-14 International Business Machines Corporation Accessing stored files from multiple storage devices
US6339785B1 (en) * 1999-11-24 2002-01-15 Idan Feigenbaum Multi-server file download
CN1434646A (zh) * 2002-01-25 2003-08-06 深圳市中兴通讯股份有限公司 移动通讯系统软件并行下载方法
CN2540714Y (zh) * 2002-05-21 2003-03-19 顾士平 嵌入式无线网络系统实现装置

Also Published As

Publication number Publication date
WO2005122532A1 (en) 2005-12-22
CA2569925A1 (en) 2005-12-22
US7631098B2 (en) 2009-12-08
EP1766936A1 (en) 2007-03-28
ATE381844T1 (de) 2008-01-15
BRPI0511882B1 (pt) 2018-12-18
DE602005003948D1 (de) 2008-01-31
JP4886690B2 (ja) 2012-02-29
EP1766936B1 (en) 2007-12-19
KR101019982B1 (ko) 2011-03-09
US20060031537A1 (en) 2006-02-09
CA2569925C (en) 2010-08-03
CN1939036A (zh) 2007-03-28
DE602005003948T2 (de) 2008-12-04
BRPI0511882A (pt) 2008-10-14
KR20070029727A (ko) 2007-03-14
JP2008502061A (ja) 2008-01-24

Similar Documents

Publication Publication Date Title
CN1939036B (zh) 网格计算环境内的优化的并行数据下载
CN102947797B (zh) 使用横向扩展目录特征的在线服务访问控制
CN103262063B (zh) 用于在内容导向网络中创建和管理虚拟专用组的方法和设备
EP1751947B1 (en) A method and system of digital content sharing among users over communications networks, related communications network architecture and computer program product therefore
US8214474B2 (en) Autonomic computing system with model transfer
US10616139B1 (en) Reducing quota access
JP5970541B2 (ja) 情報処理システム、管理サーバ群、および、サーバ管理プログラム
CN107005582A (zh) 使用存储在不同目录中的凭证来访问公共端点
Kim et al. User-participatory fog computing architecture and its management schemes for improving feasibility
CN1953393A (zh) 用于联盟内软件安装的方法和设备
KR100799775B1 (ko) 무선 그리드 네트워크의 모바일 그리드 게이트웨이리플리케이션 시스템 및 그 방법
CN111950019A (zh) 一种基于区块链的物联网访问控制系统及方法
CN113114656A (zh) 基于边缘云计算的基础设施布局方法
CN100593779C (zh) 用于通过移动网络接口来共享信息的通信系统和方法
Körner et al. Open carrier interface: An open source edge computing framework
JP2016144186A (ja) 通信情報制御装置、中継システム、通信情報制御方法、および、通信情報制御プログラム
Kapsalis et al. Architecture for Web-based services integration
CN113840013B (zh) 一种分级管理的文档系统
Zheng et al. Game theoretic approaches to massive data processing in wireless networks
Shoaib et al. Fast Data Access through Nearest Location‐Based Replica Placement
TWI401574B (zh) 於一柵網計算環境中用在最佳化同作資料下載之方法、系統及程式產品
JP5377616B2 (ja) 情報流通システムとそのアクセス制御方法
KR101144208B1 (ko) 분산 서버 기반의 그리드 시스템 환경에서 전원관리 기능을 포함한 클라우드 컴퓨팅 시스템 및 그 동작 방법
CN114511362A (zh) 一种基于边缘计算电子发票开具城市节点处理方法
García et al. Web-based service for remote execution: NGI network design application

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110831

Termination date: 20210607