CN104348647B - 多源带宽调度方法、装置及系统 - Google Patents

多源带宽调度方法、装置及系统 Download PDF

Info

Publication number
CN104348647B
CN104348647B CN201310329167.8A CN201310329167A CN104348647B CN 104348647 B CN104348647 B CN 104348647B CN 201310329167 A CN201310329167 A CN 201310329167A CN 104348647 B CN104348647 B CN 104348647B
Authority
CN
China
Prior art keywords
data
downloading
source
quality
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310329167.8A
Other languages
English (en)
Other versions
CN104348647A (zh
Inventor
刘刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201310329167.8A priority Critical patent/CN104348647B/zh
Priority to PCT/CN2014/083396 priority patent/WO2015014295A1/en
Publication of CN104348647A publication Critical patent/CN104348647A/zh
Application granted granted Critical
Publication of CN104348647B publication Critical patent/CN104348647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1074Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078Resource delivery mechanisms
    • H04L67/1085Resource delivery mechanisms involving dynamic management of active down- or uploading connections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1044Group management mechanisms 
    • H04L67/1053Group management mechanisms  with pre-configuration of logical or physical connections with a determined number of other peers
    • H04L67/1057Group management mechanisms  with pre-configuration of logical or physical connections with a determined number of other peers involving pre-assessment of levels of reputation of peers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14Multichannel or multilink protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明适用于数据下载领域,提供了一种多源带宽调度方法、装置及系统,该方法包括:获取客户端下载的数据的相关信息,所述下载数据的相关信息包括客户端下载数据的质量、数据的来源;根据所述客户端下载数据的质量和数据来源,调整各数据的来源的下载比例和下载控制的速度。本发明实施例通过获取的客户端下载的数据的质量和数据的来源,根据所述客户端下载数据的质量,灵活调整各数据来源的比例,可以根据客户端下载数据的质量要求,相应的分配各数据来源的比例,这样就可以在保证下载数据的质量的同时,优先使用低成本的数据的来源,节约下载成本。

Description

多源带宽调度方法、装置及系统
技术领域
本发明属于数据下载领域,尤其涉及多源带宽调度方法、装置及系统。
背景技术
随着互联网的发展,在互联网进行下载的内容也越来越多,包括图片、音视频文件、软件或者游戏等。为了提高如大型软件、游戏或者视频文件的下载。为解决网络拥塞的问题,目前大型网络服务商一般采用以下策略缓解网络拥塞的压力:
1、使用CDN(英文全称为Content Delivery Network,中文全称为内容分发网络)服务,通过在网络各处放置节点服务器,构成在现有的互联网基础之上的一层智能虚拟网络,CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。使用户可就近取得所需内容,解决Internet网络拥挤的状况,提高用户访问网站的响应速度。
2、使用多源P2SP(英文全称为Peer to Server&Peer,中文全称为:点对服务器和点)下载技术,包括P2P(英文全称为Peer-to-Peer,中文全称为点对点)和P2S(英文全称为Peer to Server,中文全称为点对服务器),通过P2P技术对文件的扩散,使下载不聚集在较少的几台服务器上,有效地把原本孤立的服务器和其镜像资源以及P2P资源整合到了一起。它在下载的稳定性和下载的速度上,都比传统的P2P或P2S有了非常大的提高。用户下载一个文件的时候,会自动搜索其他资源,选择合适的资源进行加速,这使得p2sp(目前的主流下载软件迅雷,都使用该技术)在下载的稳定性和下载的速度上,比传统的P2P有了非常大的提高。
但是,目前使用P2SP的多源数据下载中,并没有对各个提供的数据的来源进行有效的调度配置,不能在有效的保证服务质量的同时,也能尽可能的有效节约下载成本;而且当系统中出现节点不可用、节点过载(如遭遇游戏、安全等重大补丁包发布、安全事件等突发情况)、或者特定区域访问对应的节点延迟过大等情况时,不能很好的保证服务质量。
发明内容
本发明实施例的目的在于提供一种多源带宽调度方法、装置及系统,以解决现有技术不能对多个提供的数据的来源进行有效的调度配置的问题,从而在更好的节省成本的同时,保证服务质量。
本发明的进一步目的在于,在对于节点不可用、节点过载或者特定访问区域的节点延迟过大情况下,仍然能够有效的保证服务质量。
本发明实施例是这样实现的,一种多源带宽调度方法,所述方法包括:
获取客户端下载的数据的相关信息,所述下载数据的相关信息包括客户端下载数据的质量、数据的来源;
根据所述客户端下载数据的质量和数据来源,调整各数据的来源的下载比例和下载控制的速度。
进一步的,所述方法还包括:
判断下载时间为预先设定的下载高峰时段或接收到突发的大量数据下载的指令;
根据所述设定的时段或接收的指令,调用辅助CDN服务提供数据下载。
本发明实施例的另一目的在于提供一种多源带宽调度装置,所述装置包括:
获取单元,用于获取客户端下载的数据的相关信息,所述下载数据的相关信息包括客户端下载数据的质量、数据的来源;
调整单元,用于根据所述客户端下载数据的质量和数据来源,调整各数据的来源的下载比例和下载控制的速度。
本发明实施例的另一目的在于提供一种多源带宽调度系统,所述系统包括下载客户端、资源索引服务器、资源索引数据库、多源调度策略中心和多个数据的来源,所述下载客户端包括带宽调度控制模块和多源带宽质量监控模块,其中:
所述多源带宽质量监控模块用于获取客户端下载的数据质量;
所述资源索引数据库用于保存下载链接与数据的特征值的应关系;
所述资源索引服务器用于向所述资源索引数据发出查询请求,查询数据的特征值对应的下载链接,根据下载链接得到多个不同的数据的来源;
所述多源高度策略中心用于根据所述客户端下载数据的质量和数据来源,发送调整各数据的来源的下载比例和下载控制的速度指令。
所述带宽调度控制模块用于接收多源调度策略中心的调整指令,调整各数据的来源的下载比例和下载控制的速度。
在本发明实施例中,通过获取的客户端下载的数据的质量和数据的来源,根据所述客户端下载数据的质量,灵活调整各数据来源的比例,可以根据客户端下载数据的质量要求,相应的分配各数据来源的比例,这样就可以在保证下载数据的质量的同时,优先使用低成本的数据的来源,节约下载成本。
进一步的,对于节点不可用、节点过载或者特定访问区域的节点延迟过大情况下,可以通过判断是否为预先设定的下载高峰时段或者接收突发的大师数据下载的指令,如果是则调用辅助CDN服务提供数据下载,进一步保证突发情况下的数据质量要求。
附图说明
图1是本发明第一实施例提供的多源带宽调度的实现流程图;
图2为本发明第二实施例提供的多源带宽调度的实现流程图;
图3是本发明第三实施例提供的多源带宽调度的系统结构示意图;
图4是本发明第四实施例提供的多源带宽调度装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
目前的客户端下载数据的来源,一般包括源CDN(英文全称为Content DeliveryNetwork,中文全称为内容分发网络)、辅助CDN、P2P网络源、ISP辅助缓存和第三方镜像数据源。下面对所述CDN技术及P2SP技术先进行简要介绍:
CDN内容分发网络包括分布式存储、负载均衡、网络请求的重定向和内容管理4个部分。通过用户就近性和服务器负载的判断,CDN确保内容以一种极为高效的方式为用户的请求提供服务。内容服务基于缓存服务器,也称作代理缓存,它位于网络的边缘,距用户仅有"一跳"之遥。同时,代理缓存是内容提供商源服务器(通常位于CDN服务提供商的数据中心)的一个透明镜像。这样的架构使得CDN服务提供商能够代表他们客户,即内容供应商,向最终用户提供尽可能好的体验,而这些用户是不能容忍请求响应时间有任何延迟的。
CDN的基本工作原理就是广泛采用各种Cache服务器,将这些Cache服务器分布到用户访问相对集中的地区或网络中,并利用全球负载均衡技术(英文简称为GSLB,英文全称为Global Server Load Balance)将用户的访问指向离用户最近的工作正常的Cache(缓存)服务器上,由它直接响应用户的请求。如果Cache服务器中没有用户要访问的内容,它会根据配置自动到原服务器去抓取相应的页面并提供给用户。目前CDN主要通过http标准协议对方提供服务。目前CDN的调度主要分为基于负载及流量和基于链路的调度和基于带宽成本3大类,具体如下:
对于负载考虑的是在一组节点服务特定区域的用户时,用户访问这些节点的链路状况接近、节点的带宽成本也接近的前提下,如何保证访问这些节点的流量在各个节点之间按照节点的实时负载能力来分配。基于负载的流量调度算法采用的是负反馈调度算法。负反馈是一种基于偏差的调度算法,当系统输出同期望值不相等时,控制系统根据系统输出和期望值之间的偏差来对系统施加控制作用。基于负载的调度算法是建立在能够获取节点的服务质量(QOS)的前提下,获取节点的实时服务质量QOS是首先必须解决的一个问题。可以通过部署在CDN节点内部的监控系统来获取节点的实时QOS数据。QOS数据中最重要的两项是节点的当前负载和节点的最大可用负载能力。节点的当前负载是通过统计交换机的出口流量得到的,而最大可用负载则是根据各缓存服务器的健康状况得出的。调度系统通过监控系统提供的接口实时查询各个CDN节点的当前性能状况。
基于链路的调度算法的最终目标是使得全网内各区域用户访问服务的延迟最小。尽量保证用户访问服务的延迟在给定的阈值之内,也就是说,调度的目标是对访问延迟提供一定的保证,但并不能做到最优。将链路延迟超过阈值的流量调度到链路延迟较好的链路上去,以确保所有区域的用户访问链路延迟都较好。基于链路的调度算法需要节点和网络的QOS数据,这里除了需要获取各个节点的当前负载、最大可用负载数据之外,还需要获得特定区域访问CDN节点的链路延迟。路探测的最主要数据有ping time和ping命令的丢包率,而区域和节点之间的链路信息则是通过综合部署在指定区域的所有探测客户端获取的访问指定节点的链路信息统计、综合得到的。链路的调度算法中,对每一个感兴趣的调度区域,根据其地理位置和系统运维经验为其指定一个默认的服务节点和一组备选的服务节点,并将这些节点组成一个池子,该池子专门为该区域的用户服务。
目前基于链路的调度算法中会有一个比较关键的阈值(最大延迟,超过该阈值会认为链路差,否则认为链路好),该阈值是通过经验设置的,但实际上这个值在不同的时间段,不同的网络状况下应该是不同的,并且应该随着时间的变化而变化,该阈值的设置仍有较大的改进空间。
CDN的带宽成本可以分成保底带宽和流量成本两部分。其中保底带宽指的是只要使用该节点就必须支付的费用,而流量成本指的是在保底带宽之上,按照实际使用的流量来支付费用。基于成本的调度算法的目标是使得系统的带宽成本最小。如果系统当前总的流量小于所有节点的保底带宽之和,则将流量按照各节点的保底带宽占所有保底带宽之和的比来分配流量;如果系统当前流量大于所有节点的保底带宽之和,则首先将所有节点的保底带宽使用满,然后依次选取各节点中带宽成本最低的节点,将该节点的负载能力用完为止。
而P2SP就是下载不再像传统方式那样只能依赖服务器,内容的传递可以在网络上的各个终端机器中进行。P2SP除了包含P2P以外,P2SP的“S”是指服务器。P2SP有效地把原本孤立的服务器和其镜像资源以及P2P资源整合到了一起。它在下载的稳定性和下载的速度上,都比传统的P2P或P2S有了非常大的提高。P2SP基于用户对服务器和用户机制,不同于P2P,也不同于P2S,P2SP下载方式实际上对P2P技术的进一步延伸,它不但支持P2P技术,同时还通过检索数据库把服务器资源和P2P资源整合到了一起,用户下载一个文件的时候,会自动搜索其他资源,选择合适的资源进行加速,这使得p2sp(目前的主流下载软件迅雷,都使用该技术)在下载的稳定性和下载的速度上,比传统的P2P有了非常大的提高。
正是由于多种下载技术的出现,没有对资源进行有效的整合利用,可在现有下载技术的基础上,对下载调度方法作有效的改进,节约下载成本和提高下载质量,下面对本发明实施例详细说明如下:
实施例一:
图1示出了本发明第一实施例提供的多源带宽调度方法的实现流程,详述如下:
在步骤S101中,获取客户端下载的数据的相关信息,所述下载数据的相关信息包括客户端下载数据的质量、数据的来源。
本发明实施例获取客户端下载的数据的相关信息,包括客户端下载数据的质量、数据的来源。当然并不局限于此,还可以包括下载任务的下载时间、下载速度、下载结果、文件大小、下载的原始链接和不同链接获取的下载速度和下载时间。
其中所述下载时间为下载速度监控的时间点;
所述下载速度为平均速度信息,可以为多个CDN或者其它源对应的域名的速度值,所述速度值还可以对应下载数据来源的服务器IP地址,客户端自己的IP地址和使用的DNS域名解析服务器的IP地址以及连接服务器需要的时间。
所述客户端下载数据的质量可以包括数据的平均下载速度和数据下载的成功率,还可以包括下载速度的稳定性,所述下载速度的稳定性可以通过下载速度波动的方差来衡量。
本发明实施例中所述获取客户端下载的数据的相关信息,可以包括如下步骤获取数据的来源:
计算所述客户端下载的数据的特征值信息;
根据所述特征值信息,在预设的特征值信息库中查询所述特征值信息所对应的数据的来源。
在预设的特征值信息库中存储有特征值与数据的来源信息的对应关系,某一特征值的数据可能与多个数据的来源对应,如源CDN、辅助CDN、第三方镜像资源、ISP辅助缓存和P2P网络等。
所述客户端下载的数据的特征值信息,一般用HASH算法得到下载的数据的HASH值,所述HASH值与下载的数据一一对应。
在步骤S102中,根据所述客户端下载数据的质量和数据来源,调整各数据的来源的下载比例和下载控制的速度。
具体的,所述客户端下载数据的质量可以包括数据的平均下载速度和数据下载的成功率,还可以包括下载速度的稳定性和下载的成本。
所述数据来源的下载比例,可以根据各种具体的数据来源而灵活设定,可以设定下载数据的质量的各个要求相应的设定各个数据源的下载优先级,并根据各个质量因素的比例,取相应的权重,这样既可以满足各个具体的质量要求,还可以根据要求相应的调整,从而在尽量可能保证质量的同时,也能够实现降低成本的要求。
实施例二:
图2示出了本发明第二实施例提供的多源带宽调度方法的实现流程,详述如下:
在步骤S201中,获取客户端下载的数据的相关信息,所述下载数据的相关信息包括客户端下载数据的质量、数据的来源。
本步骤与实施例一中步骤S101相同,在此不重复赘述。
在步骤S202中,判断所述客户端下载数据的质量是否满足预设的下载数据的质量要求。
所述预设的下载数据的质量要求,可以包括平均下载速度的要求和数据下载的成功率的要求,还可以包括下载速度的稳定性的要求,该值可以根据日期进行相应的调整,如工作日与休息日,另外也可以根据接收到发布大型软件或者补丁数据包的指令而相应的调整下载数据的质量要求。
在判断所述客户端下载数据的质量是否满足预设的下载数据的质量要求时,可对上述三项要求分别进行判断,得到平均下载速度、数据下载的成功率、下载速度的稳定性各项参数是否达到预定的要求。
另外,按照业务对带宽需求的高峰时段分布比如区分工作日和非工作日,平时和突发时段,为可靠的保证服务质量,需要分别统计每家CDN的服务质量包括CDN流量、CND利用率、CDN连通时间延时等,选择较优的CDN服务应对突发情况。本发明实施例还提供了一种可应对突发情况的下载数据的质量保障措施,在上述方法基础上:
判断下载时间为预先设定的下载高峰时段或接收到突发的大量数据下载的指令;
根据所述设定的时段或接收的指令,调用辅助CDN服务提供数据下载。通过新增加的辅助CDN服务器的是否启用,来响应突击需求。
在步骤S203中,若所述客户端下载数据的质量不满足预设的下载数据的质量要求,则查询所述数据的来源的最大下载速度及下载的优先级。
在所述客户端下载数据的质量不满足预设的下载数据的质量要求的情况下,查询所述数据的来源的最大下载速度及下载的优先级。
根据步骤S101中获取的数据的来源,如可能包括源CDN、辅助CDN、第三方镜像资源、ISP辅助缓存和P2P网络等,根据测试的各项数据,如下载速度、连通时间、下载结果等,对各项数据的来源进行排序,可以分别针对某一参数进行排序,如针对下载速度进行排序、针对连通时间进行排序,从而可以得到多个优先级的排序信息。
当所述客户端下载数据的质量是满足预设的下载数据的质量要求,所述辅助CDN的优先级低于第三方镜像数据源、源CDN和P2P网络源和ISP辅助缓存的优先级。
另外,对于从数据的来源的下载的最大速度,可以通过查询其设定的最大下载速度的数据值,也可以从多次经验下载的数据中取最大值。根据各个数据的来源的最大下载速度进行相应的排序,以供后续选择参考。
在步骤S204中,根据所述预设的下载数据的质量要求和所述数据的来源的最大下载速度及下载的优先级,调整各数据的来源的下载比例和下载控制的速度。
可以根据所述数据的来源的优先级,相应的分配各个数据的来源的下载比例;或者,根据所述数据的来源的优先级,相应的分配各个数据的来源的下载比例,根据成本要求,动态调整数据的来源的比例参数。
根据所述质量的要求,将其与当前下载的情况进行比较,得到具体的不符合要求的质量的参数,比如下载速度、速度的稳定性以及下载的成功率,根据各个数据的来源的相应参数的排序情况,进行相应比例的调度调节,如对于当前下载的数据的来源包括源CDN、辅助CDN、第三方镜像资源、ISP辅助缓存和P2P网络,总共有5个数据来源,在需要对资源要求进行调整时,那么可以按照其资源的排序,按照3:2.5:2:1.5:1进行相应的速度调节(此比例仅为示意说明),并且根据相应的成本排序,提供一个修正比例系数,如资源与成本按照7:3的修正比例,对其进行相应的修正,使其在满足速度要求的同时,节约成本,在调整动态过程中得到一组稳定的比例参数。此处修正比例系统以满足质量要求为前提,在运行过程中可以提供多组修正比例系统,以使其更好的满足质量要求。
本发明实施例可用如下方法调整各数据的来源的下载比例和下载控制的速度:
若检测所述客户端下载的数据出现丢包事件,设置数据的来源在一个往返时延内发送的数据包数减半;
若未检测到客户下载的数据出现丢包事件,设置数据的来源在一个往返时延内多发送一个最大报文段长度的数据。
通过这样的方式,使客户端下载过程中在确保质量的同时,进行有效的比例参数的调整。
本发明实施例通过下载的优先级,并结合各数据的来源的最大下载速度进行下载速度的调节,可以在保证下载数据的质量的同时,优先使用低成本的数据的来源,节约下载成本。
实施例三:
图3为本发明第三实施例提供的多源带宽调度系统的结构示意图,详述如下:
本发明实施例所述多源带宽调度系统,所述系统包括下载客户端、资源索引服务器、资源索引数据库、多源调度策略中心和多个数据的来源,所述下载客户端包括带宽调度控制模块和多源带宽质量监控模块,其中:
所述多源带宽质量监控模块用于获取客户端下载的数据质量;
所述资源索引数据库用于保存下载链接与数据的特征值的应关系;
所述资源索引服务器用于向所述资源索引数据发出查询请求,查询数据的特征值对应的下载链接,根据下载链接得到多个不同的数据的来源;
所述多源高度策略中心用于根据所述客户端下载数据的质量和数据来源,发送调整各数据的来源的下载比例和下载控制的速度指令。
所述带宽调度控制模块用于接收多源调度策略中心的调整指令,调整各数据的来源的下载比例和下载控制的速度。
所述装置还包括:
统计服务器服,用于接收多源带宽质量监控模块获取的客户端下载的数据质量及资源索引服务器查询的数据的来源,则查询所述数据的来源的最大下载速度及下载的优先级;
所述多源调度策略中心用于判断所述客户端下载数据的质量是否满足预设的下载数据的质量要求,若所述客户端下载数据的质量不满足预设的下载数据的质量要求,根据所述预设的下载数据的质量要求和所述数据的来源的最大下载速度及下载的优先级,发出调整各数据的来源的下载比例和下载控制的速度的指令。
作为本发明实施例的更具体的一种方式,所述多源带宽调度系统还可包括多源调度服务器,用于将需要发布的文件主动上传发布到不同的CDN源和渠道上,通过资源入库服务器将不同CDN渠道上文件的下载链接、文件校验信息写入资源索引数据库;
资源入库服务器,用于从所述多源调度服务器获取需要发布的文件的链接、大小、和文件本身,计算文件的特征值,将所述计算的特征值发送至资源索引数据库,并将文件本身上传到不同的CDN源服务器作为不同的数据的来源。
另外,还可以包括跟踪Tracker服务器,用于接收多个客户端汇报的资源信息及在线信息、接收多个客户端查询peer(点)资源信息和在线信息,作为P2P网络提供的数据的来源。
本发明实施例所述系统为与实施例一所述方法相对应,通过设置相应的服务器和在客户端采集数据并执行调度策略,实现对多个提供的数据的来源进行有效的调度配置。
实施例四:
图4为本发明第四实施例提供的多源带宽调度装置的结构示意图,详述如下:
本发明实施例所述多源带宽调度装置,包括:
获取单元401,用于获取客户端下载的数据的相关信息,所述下载数据的相关信息包括客户端下载数据的质量、数据的来源;
调整单元402,用于根据所述客户端下载数据的质量和数据来源,调整各数据的来源的下载比例和下载控制的速度。
其中,所述调整单元402包括:
判断子单元4021,用于判断所述客户端下载数据的质量是否满足预设的下载数据的质量要求;
查询子单元4022,用于若所述客户端下载数据的质量不满足预设的下载数据的质量要求,则查询所述数据的来源的最大下载速度及下载的优先级;
调整子单元4023,用于根据所述预设的下载数据的质量要求和所述数据的来源的最大下载速度及下载的优先级,调整各数据的来源的下载比例和下载控制的速度。
为进一步提高装置对于突发数据高峰的应对能力,所述装置还包括:
判断接收单元403,用于判断下载时间为预先设定的下载高峰时段或接收到突发的大量数据下载的指令;
调用单元404,用于根据所述设定的时段或接收的指令,调用辅助CDN服务提供数据下载。
所述获取单元401可包括:
计算子单元4011,用于计算所述客户端下载的数据的特征值信息;
查询子单元4012,用于根据所述特征值信息,在预设的特征值信息库中查询所述特征值信息所对应的数据的来源。
其中,所述客户端下载数据的质量可包括数据的平均下载速度和数据下载的成功率。
所述数据的来源包括第三方镜像数据源、源CDN、辅助CDN、P2P网络源和ISP辅助缓存,当所述客户端下载数据的质量是满足预设的下载数据的质量要求,所述辅助CDN的优先级低于第三方镜像数据源、源CDN和P2P网络源和ISP辅助缓存的优先级。
所述调整子单元4023可包括:
第一设置子单元40231,用于若检测所述客户端下载的数据出现丢包事件,设置数据的来源在一个往返时延内发送的数据包数减半;
第二设置子单元40232,用于若未检测到客户下载的数据出现丢包事件,设置数据的来源在一个往返时延内多发送一个最大报文段长度的数据。
或者所述调整子单元4023可包括:
分配子单元40233,用于根据所述数据的来源的优先级,相应的分配各个数据的来源的下载比例;
或者分配调整子单元40234,用于根据所述数据的来源的优先级,相应的分配各个数据的来源的下载比例,根据成本要求,动态调整数据的来源的比例参数。
本发明实施例所述装置与实施例一所述方法相对应,在此不作重复赘述。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (14)

1.一种多源带宽调度方法,其特征在于,所述方法包括:
获取客户端下载的下载数据的相关信息,所述下载数据的相关信息包括下载数据的质量、下载数据的数据来源;
根据所述下载数据的质量和下载数据的数据来源,调整各数据来源的下载比例和下载控制的速度;
其中,所述根据所述下载数据的质量和下载数据的数据来源,调整各数据来源的下载比例和下载控制的速度包括:
获取所述下载数据的质量中不满足预设的下载数据的质量要求的参数;
根据所述数据来源的所述参数的排序情况调整所述各数据来源的所述下载比例和下载控制的速度。
2.根据权利要求1所述方法,其特征在于,
在所述获取所述下载数据的质量中不满足预设的下载数据的质量要求的参数之前,所述方法还包括:判断所述下载数据的质量是否满足所述预设的下载数据的质量要求;
根据所述数据来源的所述参数的排序情况调整所述各数据来源的所述下载比例和下载控制的速度包括:若所述下载数据的质量不满足预设的下载数据的质量要求,则查询所述下载数据的数据来源的最大下载速度及下载的优先级;根据所述预设的下载数据的质量要求和所述下载数据的数据来源的最大下载速度及下载的优先级,调整各数据来源的下载比例和下载控制的速度。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
判断下载时间为预先设定的下载高峰时段或接收到突发的大量数据下载的指令;
根据所述设定的时段或接收的指令,调用辅助CDN服务提供数据下载。
4.根据权利要求1或2所述的方法,其特征在于,所述获取客户端下载的下载数据的相关信息步骤包括:
计算所述客户端下载的下载数据的特征值信息;
根据所述特征值信息,在预设的特征值信息库中查询所述特征值信息所对应的下载数据的数据来源。
5.根据权利要求1或2所述方法,其特征在于,所述下载数据的质量包括数据的平均下载速度和数据下载的成功率。
6.根据权利要求2所述的方法,其特征在于,所述下载数据的数据来源包括第三方镜像数据源、源CDN、辅助CDN、P2P网络源和ISP辅助缓存,当所述下载数据的质量是满足预设的下载数据的质量要求,所述辅助CDN的优先级低于第三方镜像数据源、源CDN和P2P网络源和ISP辅助缓存的优先级。
7.根据权利要求2所述的方法,其特征在于,所述根据所述预设的下载数据的质量要求和所述数据的来源的最大下载速度及下载的优先级,调整各数据来源的下载比例和下载控制的速度步骤包括:
若检测所述客户端下载的数据出现丢包事件,设置数据的来源在一个往返时延内发送的数据包数减半;
若未检测到客户端下载的数据出现丢包事件,设置数据的来源在一个往返时延内多发送一个最大报文段长度的数据。
8.根据权利要求2所述的方法,其特征在于,所述根据所述预设的下载数据的质量要求和所述数据的来源的最大下载速度及下载的优先级,调整各数据来源的下载比例和下载控制的速度步骤包括:
根据所述下载数据的数据来源的优先级,相应的分配各个数据来源的下载比例;
或者,根据所述下载数据的数据来源的优先级,相应的分配各个数据来源的下载比例,根据成本要求,动态调整数据的来源的比例参数。
9.一种多源带宽调度装置,其特征在于,所述装置包括:
获取单元,用于获取客户端下载的下载数据的相关信息,所述下载数据的相关信息包括下载数据的质量、下载数据的数据来源;
调整单元,用于根据所述下载数据的质量和下载数据的数据来源,调整各数据来源的下载比例和下载控制的速度;
其中,所述调整单元通过以下步骤实现根据所述客户端下载数据的质量和下载数据的数据来源,调整各数据来源的下载比例和下载控制的速度:获取所述下载数据的质量中不满足预设的下载数据的质量要求的参数;根据所述数据来源的所述参数的排序情况调整所述各数据来源的所述下载比例和下载控制的速度。
10.根据权利要求9所述装置,其特征在于,所述调整单元包括:
判断子单元,用于在所述获取所述下载数据的质量中不满足预设的下载数据的质量要求的参数之前,判断所述下载数据的质量是否满足所述预设的下载数据的质量要求;
查询子单元,用于若所述下载数据的质量不满足预设的下载数据的质量要求,则查询所述下载数据的数据来源的最大下载速度及下载的优先级;
调整子单元,用于根据所述预设的下载数据的质量要求和所述下载数据的数据来源的最大下载速度及下载的优先级,调整各数据来源的下载比例和下载控制的速度。
11.一种多源带宽调度系统,其特征在于,所述系统包括下载客户端、资源索引服务器、资源索引数据库、多源调度策略中心和多个数据的来源,所述下载客户端包括带宽调度控制模块和多源带宽质量监控模块,其中:
所述多源带宽质量监控模块用于获取客户端下载的下载数据的数据质量;
所述资源索引数据库用于保存下载链接与下载数据的特征值的对应关系;
所述资源索引服务器用于向所述资源索引数据库发出查询请求,查询下载数据的特征值对应的下载链接,根据下载链接得到下载数据的多个不同的数据来源;
所述多源调度策略中心用于根据所述下载数据的质量和数据来源,发送调整各数据来源的下载比例和下载控制的速度指令;
所述带宽调度控制模块用于接收多源调度策略中心的调整指令,调整各数据来源的下载比例和下载控制的速度。
12.根据权利要求11所述的系统,其特征在于,所述系统还包括:
统计服务器,用于接收多源带宽质量监控模块获取的下载数据的数据质量及资源索引服务器查询的下载数据的数据来源,则查询所述下载数据的数据来源的最大下载速度及下载的优先级;
所述多源调度策略中心用于判断所述下载数据的质量是否满足预设的下载数据的质量要求,若所述下载数据的质量不满足预设的下载数据的质量要求,根据所述预设的下载数据的质量要求和所述下载数据的数据来源的最大下载速度及下载的优先级,发出调整各数据来源的下载比例和下载控制的速度的指令。
13.根据权利要求11所述的系统,其特征在于,所述系统还包括:
多源调度服务器,用于将需要发布的文件主动上传发布到不同的CDN源和渠道上;
资源入库服务器,用于从所述多源调度服务器获取需要发布的文件的链接、大小、和文件本身,计算文件的特征值,将所述计算的特征值发送至资源索引数据库,并将文件本身上传到不同的CDN源服务器作为不同的数据的来源。
14.根据权利要求11所述系统,其特征在于,所述系统还包括:
跟踪服务器,用于接收多个客户端汇报的资源信息及在线信息、接收多个客户端查询资源信息和在线信息,作为P2P网络提供的数据的来源。
CN201310329167.8A 2013-07-31 2013-07-31 多源带宽调度方法、装置及系统 Active CN104348647B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310329167.8A CN104348647B (zh) 2013-07-31 2013-07-31 多源带宽调度方法、装置及系统
PCT/CN2014/083396 WO2015014295A1 (en) 2013-07-31 2014-07-31 Multi-source download scheduling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310329167.8A CN104348647B (zh) 2013-07-31 2013-07-31 多源带宽调度方法、装置及系统

Publications (2)

Publication Number Publication Date
CN104348647A CN104348647A (zh) 2015-02-11
CN104348647B true CN104348647B (zh) 2019-04-12

Family

ID=52431013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310329167.8A Active CN104348647B (zh) 2013-07-31 2013-07-31 多源带宽调度方法、装置及系统

Country Status (2)

Country Link
CN (1) CN104348647B (zh)
WO (1) WO2015014295A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105721889A (zh) * 2015-05-15 2016-06-29 乐视云计算有限公司 P2p数据下载的方法和装置
CN106202725B (zh) * 2016-07-12 2021-03-12 北京航空航天大学 基于多源数据的成败型产品可靠性试验设计和决策方法
CN109565586A (zh) * 2016-08-16 2019-04-02 华为技术有限公司 一种视频质量评估方法及装置
CN107979644B (zh) * 2017-11-30 2019-02-26 掌阅科技股份有限公司 防止高并发的信息包下载方法、电子设备、存储介质
CN108234247B (zh) 2018-01-25 2020-06-23 网宿科技股份有限公司 一种检测网络质量的方法和系统
CN110581801B (zh) * 2018-06-08 2022-06-28 阿里巴巴集团控股有限公司 内容分发网络的网络调整方法以及装置
CN109040190B (zh) * 2018-07-02 2022-03-22 咪咕文化科技有限公司 一种调度方法、装置及计算机可读存储介质
CN109787921B (zh) * 2019-03-19 2022-09-09 网宿科技股份有限公司 Cdn带宽调度方法、采集及调度服务器和存储介质
CN110198344A (zh) 2019-05-05 2019-09-03 网宿科技股份有限公司 一种资源调度方法及系统
US11102272B2 (en) 2019-12-19 2021-08-24 Wangsu Science and Technology Co., Ltd. Method and device for downloading resource file
CN111212114B (zh) * 2019-12-19 2021-08-27 网宿科技股份有限公司 一种下载资源文件的方法和装置
CN111245630B (zh) * 2020-02-27 2024-04-09 上海商米科技集团股份有限公司 一种局域网内多设备同时升级的方法
CN116320507B (zh) * 2023-05-26 2023-08-08 湖南快乐阳光互动娱乐传媒有限公司 一种视频数据下载方法及装置
CN116455983B (zh) * 2023-06-16 2023-09-05 湖南快乐阳光互动娱乐传媒有限公司 一种资源调度方法、系统及融合网络资源调度系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989986A (zh) * 2010-10-28 2011-03-23 北京瑞汛世纪科技有限公司 一种查询服务节点的方法、服务器和系统
CN102855238A (zh) * 2011-06-28 2013-01-02 腾讯科技(深圳)有限公司 资源数据下载方法及系统
CN102857470A (zh) * 2011-06-27 2013-01-02 腾讯科技(深圳)有限公司 一种网络传输系统、服务器和客户端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101275726B1 (ko) * 2005-08-12 2013-06-17 노키아 지멘스 네트웍스 게엠베하 운트 코. 카게 피어-투-피어 가입자 공동체를 위한 다중-소스 및 내성 주문형 비디오 스트리밍 시스템
KR101409991B1 (ko) * 2007-04-16 2014-06-20 삼성전자주식회사 P2p 통신 환경에서의 데이터 전송 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989986A (zh) * 2010-10-28 2011-03-23 北京瑞汛世纪科技有限公司 一种查询服务节点的方法、服务器和系统
CN102857470A (zh) * 2011-06-27 2013-01-02 腾讯科技(深圳)有限公司 一种网络传输系统、服务器和客户端
CN102855238A (zh) * 2011-06-28 2013-01-02 腾讯科技(深圳)有限公司 资源数据下载方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
无线P2P文件共享系统中若干关键技术研究;李曦;《中国博士学位论文全文数据库》;20101130;全文

Also Published As

Publication number Publication date
WO2015014295A1 (en) 2015-02-05
CN104348647A (zh) 2015-02-11

Similar Documents

Publication Publication Date Title
CN104348647B (zh) 多源带宽调度方法、装置及系统
CN107465708B (zh) 一种cdn带宽调度系统及方法
CN106888270B (zh) 回源选路调度的方法和系统
EP3304826B1 (en) Method and apparatus for data analytics management
US9002978B2 (en) Content delivery prediction and feedback systems
CN109547517B (zh) 一种带宽资源调度方法和装置
CN105450780A (zh) 一种cdn系统及其回源方法
WO2018133306A1 (zh) 内容分发网络中的调度方法和设备
JP5745169B2 (ja) コンテンツ処理方法、コンテンツ処理デバイス、およびコンテンツ処理システム
EP2704402B1 (en) Method and node for distributing electronic content in a content distribution network
US8775564B1 (en) Time based CDN traffic allocation
CN109150576A (zh) 一种内容数据传输方法及设备
CN103312629A (zh) 一种cdn流量分配方法、设备及系统
EP4007215A1 (en) Method for preheating resource file, and central management system
CN106657287A (zh) 一种数据访问方法及系统
CN102891804A (zh) 控制策略的调整方法及系统
CN106375471B (zh) 一种边缘节点确定方法及装置
CN105978936A (zh) Cdn服务器及其缓存数据的方法
US20140143427A1 (en) Providing Resources in a Cloud
US20220116328A1 (en) Policy determination apparatus, policy determining method and program
MX2012014329A (es) Sistema punto a punto mejorado.
CN102780710A (zh) 基于内容分发网络的节点调度方法
CN102404133B (zh) 一种ip网络数据交互的方法和装置
US20090089365A1 (en) Web services replica management
CN105577646B (zh) 用户侧带宽聚合的方法、设备和内容分发系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant