CN102413155B - 数据传输方法及系统 - Google Patents

数据传输方法及系统 Download PDF

Info

Publication number
CN102413155B
CN102413155B CN201010290671.8A CN201010290671A CN102413155B CN 102413155 B CN102413155 B CN 102413155B CN 201010290671 A CN201010290671 A CN 201010290671A CN 102413155 B CN102413155 B CN 102413155B
Authority
CN
China
Prior art keywords
resource
propelling movement
client
download
pushes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010290671.8A
Other languages
English (en)
Other versions
CN102413155A (zh
Inventor
曹杨
关镇安
高云翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201010290671.8A priority Critical patent/CN102413155B/zh
Publication of CN102413155A publication Critical patent/CN102413155A/zh
Application granted granted Critical
Publication of CN102413155B publication Critical patent/CN102413155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

一种数据传输方法,包括以下步骤:从客户端收集资源文件全网的下载和分布的副本资源数据信息,根据所述资源文件的下载和分布的副本资源数据信息生成推送资源列表和可丢弃推送资源列表,并发送;获取客户端运行时的基本信息,判断所述基本信息是否符合设定的推送初始条件,若符合,则发送推送请求,否则不发送推送请求;根据所述推送请求返回推送任务,根据返回的推送任务从网络中下载相应的推送资源。此外,还提供一种数据传输方法。上述数据传输方法及系统,根据客户端的基本信息合理的主动推送下载任务,使得客户端存储并上传资源,可平衡资源在网络的分布,提高了客户端网络带宽的利用率,提高P2P下载性能,节省服务器带宽。

Description

数据传输方法及系统
【技术领域】
本发明涉及互联网数据传输领域,特别涉及一种数据传输方法及系统。
【背景技术】
对等网络(如Peer-to-Peer网络,简称P2P网络)是一种网络拓扑结构,具有在任何环境下动态的完成配置而不需要其他基础设施。与传统的网络相比,它具有自组织、多跳路由和动态拓扑等特点。对等网络易于实现资源的充分利用和最大化的共享。
在传统的客户端/服务器(Client/Server)模式中,数据的分发采用专门的服务器,多个客户端都从该服务器获取数据,该种模式能够实现数据的一致性且容易控制及管理,但因服务器的个数有限,系统容易出现单一失效点,且单一服务器面对众多客户端,由于中央处理器(CPU)能力、内存大小、网络带宽的限制,可同时服务的客户端非常有限,可扩张性差。而对等网络则解决了这些问题。在对等网络(如P2P网络)中,每个节点既可以从其他节点得到服务,也可以向其他节点提供服务。这样庞大的终端资源被利用起来,解决了客户端/服务器模式的弊端。
而在目前的P2P网络中,由于用户兴趣分布的不平均性,造成资源在网络中的分布也极为不均匀,资源在网络中的扩散速度较用户兴趣转移速度相对滞后,资源在网络中的扩散规律造成网络中的资源分布与用户需求极为不平衡,不同资源下载速度差别很大。如部分新的热门资源发布初期,用户需求量大而P2P网络资源副本不足,导致服务器压力猛增同时用户下载速度较慢。
另外,在少量活跃的客户端用户拥有大量资源并承担了主要的上传任务,而另一部分空闲客户端由于没有资源或拥有少量冷门资源而使其上传带宽白白浪费。
【发明内容】
基于此,有必要提供一种能提高网络带宽利用率、平衡网络资源分布的数据传输方法。
此外,还有必要提供一种能提高网络带宽利用率、平衡网络资源分布的数据传输系统。
一种数据传输方法,包括以下步骤:
从客户端收集资源文件全网的下载和分布的副本资源数据信息,根据所述资源文件的下载和分布的副本资源数据信息生成推送资源列表和可丢弃推送资源列表,并发送;
获取所述客户端运行时的基本信息,判断所述基本信息是否符合设定的推送初始条件,若符合,则发送推送请求,否则不发送推送请求;
根据所述推送请求返回推送任务,根据返回的推送任务从网络中下载相应的推送资源。
优选地,所述方法还包括判断所述客户端是否空闲,若是,则继续下载推送的资源,若否,则暂停下载推送的资源。
优选地,所述方法还包括判断所述客户端已存储的推送资源是否符合设定的丢弃推送资源的条件,并查询所述推送资源是否在可丢弃推送资源列表中,若是,则从所述客户端上删除所述推送资源,否则保留所述推送资源。
优选地,所述方法还包括将推送资源切分成多个资源块任务的步骤;所述根据推送请求返回推送任务,再根据返回的推送任务从网络中下载相应的推送资源的步骤为:根据推送请求返回推送资源块任务,再根据推送资源块任务从网络中下载相应的推送资源的一个资源块。
优选地,所述收集资源文件全网的下载和分布副本资源数据信息后还包括:从收集的资源文件全网的下载和分布副本资源数据信息中选取被推送的资源和可丢弃推送资源,并计算出被推送资源的推送量及可丢弃推送资源的丢弃量。
优选地,所述客户端存储的多个推送资源符合设定的丢弃推送资源的条件且均在所述可丢弃推送资源列表中时,所述从所述客户端上删除推送资源的步骤为:比较所述多个推送资源在可丢弃推送资源列表中的丢弃量,得出丢弃量最多的推送资源,并所述从客户端上删除所述丢弃量最多的推送资源。
一种数据传输系统,包括:
信息服务器,用于从客户端收集资源文件全网的下载和分布的副本资源数据信息,再根据所述资源文件的下载和分布的副本资源数据信息生成推送列表和可丢弃推送资源列表,并发送;
客户端,用于提供资源文件下载和分布的副本资源数据信息,并获取客户端运行时的基本信息,判断所述基本信息是否符合设定的推送初始条件,若符合,则发送推送请求,否则不发送推送请求;
跟踪服务器,用于接收信息服务器发送的推送资源列表和可丢弃推送资源列表,并根据所述推送请求返回推送任务到客户端,所述客户端根据返回的推送任务从网络中下载相应的推送资源。
优选地,所述客户端判断该客户端是否空闲,若是,则该客户端继续下载推送的资源,若否,则该客户端暂停下载推送的资源。
优选地,所述客户端还判断该客户端已存储的推送资源是否符合设定的丢弃推送资源的条件,并向所述跟踪服务器发送查询所述推送资源是否在可丢弃推送资源列表中,若是,则从该客户端上删除所述推送资源,否则保留所述推送资源在该客户端上。
优选地,所述信息服务器还用于将推送资源切分成多个资源块任务,并将多个资源块任务发送到所述跟踪服务器,所述客户端根据返回的推送资源块任务从网络中下载相应的推送资源的一个资源块。
优选地,所述信息服务器收集资源文件下载和分布的副本资源数据信息后,从收集的资源文件下载和分布的副本资源数据信息中选取被推送资源和可丢弃推送资源,并计算出被推送资源的推送量及可丢弃推送资源的丢弃量。
优选地,所述客户端存储的多个推送资源符合设定的丢弃推送资源的条件且均在所述可丢弃推送资源列表中时,所述跟踪服务器比较所述多个推送资源在丢弃推送资源列表中丢弃量,得出丢弃量最多的推送资源并发送到客户端,所述客户端删除所述丢弃量最多的推送资源。
上述数据传输方法及系统,通过判断客户端运行的基本信息是否符合设定的推送初始条件,若符合则下载相应的推送资源,若不符合,则不下载,如此,根据客户端的基本信息合理的主动推送下载任务,使得客户端存储并上传资源,可平衡资源在网络的分布,提高了客户端网络带宽的利用率,提高P2P下载性能,节省服务器带宽。
【附图说明】
图1为一个实施例中数据传输方法的流程图;
图2为另一个实施例中数据传输方法的流程图;
图3为一个实施例中数据传输系统的结构示意图。
【具体实施方式】
下面结合具体的实施例及附图进行详细的描述。
如图1所示,一种数据传输方法,包括以下步骤:
步骤S10,从客户端获取资源文件全网的下载和分布的副本资源数据信息,根据该资源文件的下载和分布的副本资源数据信息生成推送资源列表和丢弃推送资源列表,并发送。在P2P网络中,每个客户端为一个下载或上传节点。一客户端下载到某一资源后,该资源将作为副本资源数据供其他客户端下载。信息服务器从P2P网络中的各客户端收集资源文件的下载和分布的副本数据信息,再从该资源文件的下载和分布的副本资源数据信息中选出需要被推送的资源和需要被丢弃的推送资源,并计算出推送量和丢弃量,将被推送的资源集合在一起生成推送资源列表,同时需要丢弃的推送资源生成可丢弃推送资源列表。另外,可将推送资源切分成多个资源块任务,以便多个客户端获取一个资源块任务,并在下载推送资源时,分别下载一个资源块,提高下载效率。
推送资源列表中推送资源保存的形式为:推送资源标识号及所需推送量,如表1所示;可丢弃推送资源列表中丢弃推送资源保存的形式为:可丢弃推送资源标识号及丢弃数量,如表2所示。该资源文件的下载和分布的副本资源数据信息可包括下载文件的基本信息(如下载文件名称、大小)、下载次数、下载时长、整体速度、P2P速度等。
表1推送资源列表
  推送资源标识号(ID)   所需推送量
  资源A   推送节点数量:10个
表2可丢弃推送资源列表
  可丢弃推送资源标识号(ID)   丢弃量
  资源A   需丢弃数量:10个
信息服务器根据获取的资源文件的下载和分布的副本资源信息按照设定的算法生成推送资源列表和丢弃推送资源列表。信息服务器生成的推送资源列表的过程包括选择推送资源和计算各推送资源的推送量。推送资源可根据以下条件选择:
(1)为了保证推送节点的利用率,需要选择各时刻基本都有下载的资源。故利用前一天的记录选出推送候选资源中日下载量大于设定次数的资源。
(2)定义“资源平均P2P速度”=∑各资源P2P速度/∑资源数。将该值作为系统各资源的平均P2P速度。如4个资源P2P速度为50、70、80、100,则资源平均P2P速度为(50+70+80+100)÷4=75。这种算法能反映系统中各资源的服务质量并避免了由于某些新增热门资源的高下载量和高P2P速度导致的按下载次数计算的系统平均P2P速度突然提升。
(3)将低于各资源平均P2P速度一定量(如30KB)以上的资源加入到推送资源列表,并将这些资源按“下载量/P2P速度”从高到低排序。下载量越大P2P速度越低则资源被推送的优先级越高。该平均P2P速度可由系统根据历次的下载速度计算得出,再根据由实际需求系统设定。
(4)为了防止推送过的资源推送后的效果尚未显现而再次被加入推送资源列表导致推送过量,在选择每天的推送资源时,将前一天已推送资源排除。
信息服务器计算推送资源的推送量,在任意时刻计算公式为:
推送节点在线人数×推送节点平均上传带宽=下载者人数×(目标P2P速度-当前P2P速度);
资源推送节点数=峰值下载者人数×(目标P2P速度-当前P2P速度)÷推送节点平均上传带宽÷推送节点峰值时刻返回比例;
资源推送副本数=全天下载者人数×峰值人数比例×(目标P2P速度-当前P2P速度)÷推送节点平均上传带宽÷推送节点峰值时刻返回比例÷(文件大小/推送资源块大小)。其中,资源推送到节点后即作为其他节点下载的源,形成资源推送副本。
本实施例中参数设定值为:推送节点平均上传带宽为3KB/s;推送节点峰值时刻返回比例为0.075;推送节点峰值时刻返回比例为0.5;目标P2P速度为资源平均P2P速度-10KB。
信息服务器生成可丢弃推送资源列表的步骤包括选择可丢弃推送资源和计算可丢弃推送资源的丢弃量。其中,可丢弃推送资源的选择条件为:
(1)生命周期处于衰减期,下载量跌出设定次数的资源。这些资源由于下载量下降,不能保证推送节点的利用率,因此需要把推送节点全部释放出来。
(2)P2P速度过高的资源,目前选择P2P速度高于资源平均P2P速度一定值的资源。该一定值可根据情况设定,本实施例中,设为15KB。
(3)规定预定时间内推送过的资源不加入丢弃推送资源列表。
丢弃量的计算公式为:资源丢弃节点数=峰值下载者人数×(当前P2P速度-目标P2P速度)÷推送节点平均上传带宽÷推送节点峰值时刻返回比例。
步骤S20,获取客户端运行时的基本信息,判断该基本信息是否符合设定的推送初始条件,如符合,执行步骤S30,否则执行步骤S50。
客户端监控该客户端运行时的基本信息,该基本信息包括客户端当前在线时长、客户端当前空闲时长、推送最大磁盘空间中剩余空间大小(MB)、磁盘系统分区空间大小(MB)、已共享的非推送资源文件的个数(或下载资源个数)、已推送的资源文件的个数(或推送资源个数)和客户端平均上传速度(KB/s)等等。推送初始条件是根据收集到的所有客户端的基本信息设定的标准条件,如客户端当前在线时长大于60分钟,已共享的非推送资源文件的个数小于2个,已推送的资源文件的个数小于2。用户在登陆客户端后从信息服务器拉取设置的推送条件配置标准,当客户端检测满足该标准后,向跟踪服务器发送推送请求。
步骤S30,发送推送请求。符合推送初始条件后,发送推送请求。
步骤S40,根据该推送请求返回推送任务,根据返回的推送任务从网络中下载相应的推送资源。当推送资源被切分为多个资源块任务时,步骤S40为:根据该推送请求返回推送资源块任务,根据返回的推送资源块任务从网络中下载相应的推送资源的一个资源块。如此提高下载效率,同时让多个客户端承担上传的任务,减轻每个客户端的负担。该客户端发送推送请求后获取返回的推送任务,再根据返回的推送任务从网络中(资源服务器或其他客户端)下载相应的推送资源。
步骤S50,不发送推送请求。当客户端的基本信息不符合推送初始条件时,不发送推送请求。
在一个实施例中,如图2所示,上述数据传输方法除了包括步骤S10至S50,还包括:
步骤S60,判断该客户端是否空闲,若是,执行步骤S70,若否,执行步骤S80。检测客户端的基本信息,客户端若按照用户的需求下载的文件超过一定的数量,则认为该客户端为非空闲客户端。若客户端按用户需求下载的文件少于该数量,则认为是空闲客户端,则继续下载推送的资源,否则,暂停下载推送的资源。
步骤S70,继续下载推送的资源。
步骤S80,暂停下载推送的资源。
在一个实施例中,上述数据传输方法还包括:
判断客户端已存储的推送资源是否符合设定的丢弃推送资源的条件,并查询该推送资源是否在可丢弃推送资源列表中,若是,则从客户端上删除该推送资源,否则保留该推送资源。推送资源在推送下载过程中已有部分资源下载存储在客户端上。丢弃推送资源的条件根据具体的情况设定,如可为推送资源在客户端存储空间达到设定的空间大小,也可为以一定时间为周期检测,若客户端上推送资源超过一定个数,则不断的发送丢弃请求。当客户端存储的推送资源符合设定的丢弃推送资源的条件后,需向跟踪服务器查询该推送资源是否在可丢弃推送资源列表中,若在,则将该推送资源从客户端上删除,若不在,则保留该推送资源。
另外,当客户端已存储的多个推送资源符合设定的丢弃推送资源的条件且均在可丢弃推送资源列表中时,从客户端上删除该推送资源的步骤具体为:比较该多个推送资源在可丢弃推送资源列表中丢弃量,得出丢弃量最多的推送资源,并从客户端上删除该丢弃量最多的推送资源。跟踪服务器确定需要删除的推送资源,判断的标准是,可丢弃推送资源列表中可丢弃的数量大优先删除。
另外,为了提高网络利用率,可向P2P网络中节点推送设定的资源副本做P2P加速。如在一个热门资源即将被对外公布前,可提前将该资源的资源块扩散到节点上,这样在该资源公布时,可形成较好的P2P下载环境,服务器带宽将会避免热点现象导致带宽突然高消耗的现象,节省热门资源发布时的带宽消耗。
如图3所示,一个实施例中,一种数据传输系统,包括客户端10、信息服务器20和跟踪服务器30。其中,信息服务器20用于从客户端10收集资源文件全网的下载和分布副本资源数据信息,根据该资源文件的下载和分布副本资源信息生成推送列表和可丢弃推送资源列表,并发送到跟踪服务器30。在P2P网络中,每个客户端10为一个下载或上传节点。客户端10下载资源后,该资源将作为其他客户端下载的副本资源数据。客户端10与跟踪服务器30通过P2P网络传输数据。信息服务器20从P2P网络中各客户端10收集资源文件的下载和分布副本资源数据信息,再从该资源文件的下载和分布副本资源数据信息中选出需要被推送的资源和需要被丢弃的推送资源,并计算出推送量和丢弃量,将被推送的资源集合在一起生成推送资源列表,同时需要丢弃的推送资源生成可丢弃推送资源列表,并将生成的推送资源列表和可丢弃推送资源列表发送给跟踪服务器30。另外,信息服务器20可将推送资源切分成多个资源块任务,以便多个客户端10分别获取一个资源块任务,在下载推送资源时,分别下载一个资源块,提高下载效率。推送资源列表中推送资源保存的形式为:推送资源标识号及所需推送量,如表1所示;可丢弃推送资源列表中丢弃推送资源保存的形式为:可丢弃推送资源标识号及丢弃量,如表2所示。该资源文件下载信息可包括下载文件的基本信息(如下载文件名称、大小)、下载次数、下载时长、整体速度、P2P速度等。信息服务器20根据获取的资源文件的下载和分布的副本资源数据信息按照设定的算法生成推送资源列表和丢弃推送资源列表,该具体算法如上述数据传输方法中描述,此处不再重述。
客户端10用于提供资源文件的下载和分布副本资源数据信息,获取客户端10运行时的基本信息,判断该基本信息是否符合设定的推送初始条件,若符合,则发送推送请求,否则不发送推送请求。客户端10监控该客户端10运行时的基本信息,该基本信息包括客户端10当前在线时长、客户端10当前空闲时长、推送最大磁盘空间中剩余空间大小(MB)、磁盘系统分区空间大小(MB)、已共享的非推送资源文件的个数(或下载资源个数)、已推送的资源文件的个数(或推送资源个数)和客户端平均上传速度(KB/s)等等。推送初始条件是根据收集到的所有客户端10的基本信息设定的标准条件,如客户端10当前在线时长大于60分钟,已共享的非推送资源文件的个数小于2个,已推送的资源文件的个数小于2。用户在登陆客户端10后从信息服务器20拉取设置的推送条件配置标准,当客户端10检测满足该标准后,向跟踪服务器30发送推送请求。
另外,客户端10根据用户需求下载完成下载任务,并在完成下载任务时将本次下载任务的下载时间、下载速度、下载结果、文件大小等信息上传给信息服务器20。
跟踪服务器30用于接收信息服务器20发送的推送资源列表和可丢弃推送资源列表,并根据推送请求返回推送任务到客户端10。客户端10根据返回的推送任务从网络中下载相应的推送资源。跟踪服务器30从信息服务器20中获取到推送资源列表和可丢弃推送资源列表,并接收客户端10发送的申请推送任务和丢弃任务请求,发放推送任务和丢弃指令。优选地,信息服务器20将推送资源切分成多个资源块任务,并将该资源块任务发送到跟踪服务器30,客户端10根据返回的推送任务从网络中下载相应的推送资源的一个资源块。如此提高下载效率,同时让多个客户端承担上传的任务,减轻每个客户端的负担。另外,跟踪服务器30为每个申请加入P2P网络的客户端10提供注册。客户端10有下载行为时,向跟踪服务器30查询资源镜像服务器和拥有该资源的客户端的IP地址列表,跟踪服务器30反馈相应的信息给客户端10,如此,客户端10可做多源和P2P下载。
上述数据传输系统还包括资源服务器40,用于响应客户端10发送的数据请求,提供相应的资源,作为P2P数据传输的补足服务器。客户端10从网络中的资源服务器40或其他客户端下载相应的推送资源。
在一个实施例中,客户端10还判断客户端10是否空闲,若是,则客户端10继续下载推送的资源,若否,则客户端10暂停下载推送的资源。检测客户端10的基本信息,客户端10若按照用户的需求下载的文件超过一定的数量,则认为客户端10为非空闲客户端。若客户端10按用户需求下载的文件少于该数量,则认为是空闲客户端,则继续下载推送的资源,否则,暂停下载推送的资源。
该实施例中,客户端10还进一步判断客户端10已存储的推送资源是否符合设定的丢弃推送资源的条件,并向跟踪服务器30发送查询该推送资源是否在可丢弃推送资源列表中,若是,则从客户端10上删除该推送资源,否则保留该推送资源在客户端10上。推送资源在推送下载过程中已有部分资源下载存储在客户端10上。丢弃推送资源的条件根据具体的情况设定,如可为推送资源在客户端10存储空间达到设定的空间大小,也可为以一定时间为周期检测,若客户端10上推送资源超过一定个数,则不断的发送丢弃请求。当客户端10已存储的推送资源符合设定的丢弃推送资源的条件后,需向跟踪服务器30查询该推送资源是否在可丢弃推送资源列表中,若在,则将该推送资源从客户端10上删除,若不在,则保留该推送资源。
当客户端10已存储的多个推送资源符合设定的丢弃推送资源的条件且均在可丢弃推送资源列表中时,跟踪服务器30比较该多个推送资源在可丢弃推送资源列表中丢弃量,得出丢弃量最多的推送资源,并从客户端10上删除该丢弃量最多的推送资源。跟踪服务器30确定需要删除的推送资源,判断的标准是,可丢弃推送资源列表中可丢弃的数量大优先删除。
上述数据传输方法及系统,通过判断客户端运行的基本信息是否符合设定的推送初始条件,若符合则下载相应的推送资源,若不符合,则不下载,如此,根据客户端的基本信息合理的主动推送下载任务,使得客户端存储并上传资源,可平衡资源在网络的分布,提高了客户端网络带宽的利用率,提高P2P下载性能,节省服务器带宽。
另外,通过判断已存储的推送资源是否符合可丢弃推送资源的条件,以及是否在可丢弃推送资源列表,若在则删除相应的推送资源,进一步提高客户端网络带宽利用率,提高下载性能。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种数据传输方法,包括以下步骤:
信息服务器从客户端收集资源文件全网的下载和分布的副本资源数据信息,根据所述资源文件的下载和分布的副本资源数据信息生成推送资源列表和可丢弃推送资源列表,并发送,其中,推送资源列表中的推送资源的选择条件包括:将低于各资源平均P2P速度一定量以上的资源加入推送资源列表,并将这些资源按“下载量/P2P速度”从高到低排序,下载量越大P2P速度越低则资源被推送的优先级越高,资源平均P2P速度等于各资源P2P速度之和与资源数之和的比值;
客户端获取所述客户端运行时的基本信息,判断所述基本信息是否符合设定的推送初始条件,若符合,则发送推送请求,否则不发送推送请求;
跟踪服务器接收信息服务器发送的推送资源列表和可丢弃推送资源列表,并根据所述推送请求返回推送任务到所述客户端,所述客户端根据返回的推送任务从网络中下载相应的推送资源。
2.根据权利要求1所述的数据传输方法,其特征在于,所述方法还包括判断所述客户端是否空闲,若是,则继续下载推送的资源,若否,则暂停下载推送的资源。
3.根据权利要求2所述的数据传输方法,其特征在于,所述方法还包括判断所述客户端已存储的推送资源是否符合设定的丢弃推送资源的条件,并查询所述推送资源是否在可丢弃推送资源列表中,若所述客户端已存储的推送资源符合设定的丢弃推送资源的条件且所述推送资源在可丢弃推送资源列表中,则从所述客户端上删除所述推送资源,若所述客户端已存储的推送资源符合设定的丢弃推送资源的条件且所述推送资源不在可丢弃推送资源列表中,保留所述推送资源。
4.根据权利要求3所述的数据传输方法,其特征在于,所述方法还包括将推送资源切分成多个资源块任务的步骤;所述根据推送请求返回推送任务,再根据返回的推送任务从网络中下载相应的推送资源的步骤为:根据推送请求返回推送资源块任务,再根据推送资源块任务从网络中下载相应的推送资源的一个资源块。
5.根据权利要求3所述的数据传输方法,其特征在于,所述收集资源文件全网的下载和分布副本资源数据信息后还包括:从收集的资源文件全网的下载和分布副本资源数据信息中选取被推送的资源和可丢弃推送资源,并计算出被推送资源的推送量及可丢弃推送资源的丢弃量。
6.根据权利要求5所述的数据传输方法,其特征在于,所述客户端存储的多个推送资源符合设定的丢弃推送资源的条件且均在所述可丢弃推送资源列表中时,所述从所述客户端上删除推送资源的步骤为:比较所述多个推送资源在可丢弃推送资源列表中的丢弃量,得出丢弃量最多的推送资源,并从所述客户端上删除所述丢弃量最多的推送资源。
7.一种数据传输系统,其特征在于,包括:
信息服务器,用于从客户端收集资源文件全网的下载和分布的副本资源数据信息,再根据所述资源文件的下载和分布的副本资源数据信息生成推送列表和可丢弃推送资源列表,并发送,其中,推送资源列表中的推送资源的选择条件包括:将低于各资源平均P2P速度一定量以上的资源加入推送资源列表,并将这些资源按“下载量/P2P速度”从高到低排序,下载量越大P2P速度越低则资源被推送的优先级越高,资源平均P2P速度等于各资源P2P速度之和与资源数之和的比值;
客户端,用于提供资源文件下载和分布的副本资源数据信息,并获取客户端运行时的基本信息,判断所述基本信息是否符合设定的推送初始条件,若符合,则发送推送请求,否则不发送推送请求;
跟踪服务器,用于接收信息服务器发送的推送资源列表和可丢弃推送资源列表,并根据所述推送请求返回推送任务到客户端,所述客户端根据返回的推送任务从网络中下载相应的推送资源。
8.根据权利要求7所述的数据传输系统,其特征在于,所述客户端判断该客户端是否空闲,若是,则该客户端继续下载推送的资源,若否,则该客户端暂停下载推送的资源。
9.根据权利要求8所述的数据传输系统,其特征在于,所述客户端还判断该客户端已存储的推送资源是否符合设定的丢弃推送资源的条件,并向所述跟踪服务器发送查询所述推送资源是否在可丢弃推送资源列表中,若所述客户端已存储的推送资源符合设定的丢弃推送资源的条件且所述推送资源在可丢弃推送资源列表中,则从该客户端上删除所述推送资源,若所述客户端已存储的推送资源符合设定的丢弃推送资源的条件且所述推送资源不在可丢弃推送资源列表中,保留所述推送资源在该客户端上。
10.根据权利要求9所述的数据传输系统,其特征在于,所述信息服务器还用于将推送资源切分成多个资源块任务,并将多个资源块任务发送到所述跟踪服务器,所述客户端根据返回的推送资源块任务从网络中下载相应的推送资源的一个资源块。
11.根据权利要求9所述的数据传输系统,其特征在于,所述信息服务器收集资源文件下载和分布的副本资源数据信息后,从收集的资源文件下载和分布的副本资源数据信息中选取被推送资源和可丢弃推送资源,并计算出被推送资源的推送量及可丢弃推送资源的丢弃量。
12.根据权利要求11所述的数据传输系统,其特征在于,所述客户端存储的多个推送资源符合设定的丢弃推送资源的条件且均在所述可丢弃推送资源列表中时,所述跟踪服务器比较所述多个推送资源在丢弃推送资源列表中丢弃量,得出丢弃量最多的推送资源并发送到客户端,所述客户端删除所述丢弃量最多的推送资源。
CN201010290671.8A 2010-09-21 2010-09-21 数据传输方法及系统 Active CN102413155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010290671.8A CN102413155B (zh) 2010-09-21 2010-09-21 数据传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010290671.8A CN102413155B (zh) 2010-09-21 2010-09-21 数据传输方法及系统

Publications (2)

Publication Number Publication Date
CN102413155A CN102413155A (zh) 2012-04-11
CN102413155B true CN102413155B (zh) 2014-06-18

Family

ID=45915003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010290671.8A Active CN102413155B (zh) 2010-09-21 2010-09-21 数据传输方法及系统

Country Status (1)

Country Link
CN (1) CN102413155B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686664A (zh) * 2012-09-06 2014-03-26 南京大学 一种分布式环境中基于随机游走消息包的资源预发布方法
CN103036898B (zh) * 2012-12-21 2016-03-02 上海现代先进超精密制造中心有限公司 一种可控的文件推送的方法
CN104038908B (zh) * 2014-05-27 2017-05-10 小米科技有限责任公司 发送推送消息的方法和装置
CN105208084B (zh) * 2015-08-14 2019-07-09 北京音之邦文化科技有限公司 一种用于确定待部署资源的方法和装置
CN106910275A (zh) * 2015-12-22 2017-06-30 山东新北洋信息技术股份有限公司 票据图像下载方法、票据处理装置、系统及票据服务器
CN105553671B (zh) * 2015-12-23 2019-05-14 北京奇虎科技有限公司 一种数字证书的管理方法、装置及系统
CN107770262A (zh) * 2017-10-13 2018-03-06 中国人民解放军海军工程大学 一种专用数据传输方法
CN108495336B (zh) * 2018-02-06 2021-09-17 珠海市杰理科技股份有限公司 基于无线通讯的数据收发方法、装置和计算机设备
CN110287146B (zh) * 2019-06-19 2021-07-20 上海连尚网络科技有限公司 应用下载的方法、设备和计算机存储介质
CN110691143B (zh) * 2019-10-21 2022-03-04 北京奇艺世纪科技有限公司 一种文件推送方法、装置、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101068173A (zh) * 2006-06-08 2007-11-07 腾讯科技(深圳)有限公司 一种资源共享的方法及系统
CN101426019A (zh) * 2007-10-30 2009-05-06 广州商机网络科技有限公司 手机系统的数据文件传输方法
CN101631141A (zh) * 2009-08-19 2010-01-20 腾讯科技(深圳)有限公司 一种p2p系统及p2p系统中的网络资源管理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7797722B2 (en) * 2006-05-26 2010-09-14 Sony Corporation System and method for content delivery

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101068173A (zh) * 2006-06-08 2007-11-07 腾讯科技(深圳)有限公司 一种资源共享的方法及系统
CN101426019A (zh) * 2007-10-30 2009-05-06 广州商机网络科技有限公司 手机系统的数据文件传输方法
CN101631141A (zh) * 2009-08-19 2010-01-20 腾讯科技(深圳)有限公司 一种p2p系统及p2p系统中的网络资源管理方法

Also Published As

Publication number Publication date
CN102413155A (zh) 2012-04-11

Similar Documents

Publication Publication Date Title
CN102413155B (zh) 数据传输方法及系统
JP4652435B2 (ja) 階層的ピアツーピア・ネットワークの最適運用
US11102290B2 (en) Peer-to-peer network prioritizing propagation of objects through the network
CN101331739B (zh) 对等网络内容传输方法及装置
CN101136911B (zh) 一种采用p2p技术下载文件的方法和p2p下载系统
Thampi Survey of search and replication schemes in unstructured p2p networks
CN103095727B (zh) P2p资源定位方法
CN111046065B (zh) 可扩展的高性能分布式查询处理方法及装置
JP2009501456A (ja) ピア・データ転送の統合
WO2010127618A1 (zh) 一种实现流媒体内容服务的系统和方法
CN109194718A (zh) 一种区块链网络及其任务调度方法
Roussopoulos et al. Practical load balancing for content requests in peer-to-peer networks
KR20100060304A (ko) 네트워크 구조를 고려한 분산형 컨텐트 전달 시스템 및 그 방법
EP1719325B1 (en) Method for optimally utilizing a peer to peer network
Shen et al. A proximity-aware interest-clustered P2P file sharing system
Wette et al. Adding capacity-aware storage indirection to homogeneous distributed hash tables
Kwan et al. Bag-of-tasks applications scheduling on volunteer desktop grids with adaptive information dissemination
Jiang et al. A replica placement algorithm for hybrid CDN-P2P architecture
Ayyasamy et al. A qos-aware intelligent replica management architecture for content distribution in peer-to-peer overlay networks
Hanamakkanavar et al. Load balancing in distributed systems: a survey
Ardaiz et al. Multicast injection for application network deployment
Zhang et al. Exploiting proximity in cooperative download of large files in peer-to-peer networks
Huang et al. Load balancing strategy for P2P VoD systems
Kwan et al. Resource discovery and scheduling in unstructured peer-to-peer desktop grids
Xue et al. Churn resilience of distributed content service system on smart terminals network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant