CN102855238A - 资源数据下载方法及系统 - Google Patents

资源数据下载方法及系统 Download PDF

Info

Publication number
CN102855238A
CN102855238A CN2011101774701A CN201110177470A CN102855238A CN 102855238 A CN102855238 A CN 102855238A CN 2011101774701 A CN2011101774701 A CN 2011101774701A CN 201110177470 A CN201110177470 A CN 201110177470A CN 102855238 A CN102855238 A CN 102855238A
Authority
CN
China
Prior art keywords
download
download address
resource data
data
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101774701A
Other languages
English (en)
Inventor
刘刚
黄琰
庄庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN2011101774701A priority Critical patent/CN102855238A/zh
Publication of CN102855238A publication Critical patent/CN102855238A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

一种资源数据下载方法,包括以下步骤:查询资源数据得到所述资源数据的下载地址集合;根据日志数据得到下载地址集合中每一下载地址的下载评级,并按照所述下载评级对所述下载地址进行排列;从排列后的下载地址中提取待下载的下载地址集合,并根据提取的下载地址集合下载资源数据。上述资源数据下载方法及系统中,在查询到资源数据的下载地址集合后,根据日志数据得到下载地址集合中每一下载地址的下载评级,并按照下载评级对下载地址进行了排列,需要下载资源数据的用户可以从排列后的下载地址集合选择以进行资源数据的下载,使用户可以通过服务质量较高的下载地址进行下载,大大地提高了下载效率,也提高了下载的稳定性和有效性。

Description

资源数据下载方法及系统
【技术领域】
本发明涉及互联网技术,特别是涉及一种资源数据下载方法及系统。
【背景技术】
随着的互联网的迅猛发展,越来越多的用户通过互联网下载各种各样的资源数据,例如,用户可通过资源网站进行电影、软件的下载。
在进行资源数据的下载过程中,下载方式分为P2P(Peer-to-peer,对等网络)下载、P2S(Peer to Server,点对服务器)下载以及P2SP(Peer to Server&Peer,点对服务器和点)下载,其中,对于P2P下载,一端的下载速度和另一端的上传速度是密切相关的,由于用户大多数是使用ADSL的方式实现互联网的连接,但是ADSL的上传速度却不尽如人意,导致P2P的下载速度较为缓慢;P2S下载中,用户直接到某一大型下载网站进行资源数据的下载,但是,通过P2S下载的资源数据存在着资源分散、不易于搜索的缺陷,从而使得下载效率较低;P2SP下载可通过检索数据库把所有的资源整合在一起,用户需要下载资源数据时会自动搜索其他资源数据,为用户提供多个下载地址进行选择,然而,对于一些较为热门的资源数据,同一个资源数据对应了多个下载地址,甚至多达几十万个下载地址,用户只能随机选择其中有限地址进行下载,若下载到的资源数据是无用的,则需要再次进行选择,以重新下载新的资源数据,大大地降低了下载效率。
【发明内容】
基于此,有必要提供一种可提高下载效率的资源数据下载方法。
此外,还有必要提供一种可提高下载效率的资源数据下载系统。
一种资源数据下载方法,包括以下步骤:
查询资源数据得到所述资源数据的下载地址集合;
根据日志数据得到下载地址集合中每一下载地址的下载评级,并按照所述下载评级对所述下载地址进行排列;
从排列后的下载地址中提取待下载的下载地址集合,并根据提取的下载地址集合下载资源数据。
优选地,所述查询资源数据得到所述资源数据的下载地址集合的步骤之前还包括:
从资源数据中提取信息摘要值,并以资源数据的下载地址为索引建立下载地址与信息摘要值的映射关系;
以所述资源数据的信息摘要值为索引建立所述信息摘要值与下载地址的映射关系。
优选地,所述查询资源数据得到所述资源数据的下载地址集合的步骤为:
对资源数据进行搜索得到下载地址,并根据所述下载地址与信息摘要值的映射关系查询到所述资源数据的信息摘要值;
根据所述资源数据的信息摘要值以及所述信息摘要值与下载地址的映射关系得到所述资源数据的下载地址集合。
优选地,所述根据日志数据得到下载地址集合中每一下载地址的下载评级的步骤为:
从日志数据中提取下载地址的质量因素;
对所述质量因素进行加权计算得到所述下载地址的下载评级。
优选地,所述根据日志数据得到下载地址集合中每一下载地址的下载评级的步骤还包括:
获取所述下载地址的并发连接数;
判断所述并发连接数是否达到过载阈值,若是,则降低所述下载地址的下载评级。
优选地,还包括:
检查所述下载地址是否能够下载到资源数据,若否,则删除所述下载地址。
一种资源数据下载系统,包括:
数据库,用于查询资源数据得到所述资源数据的下载地址集合;
评级服务器,用于根据日志数据得到下载地址集合中每一下载地址的下载评级,并按照所述下载评级对所述下载地址进行排列;
下载装置,用于从排列后的下载地址中提取待下载的下载地址集合,并根据提取的下载地址集合下载资源数据。
优选地,所述数据库包括:
从资源数据中提取信息摘要值,并以资源数据的下载地址为索引建立下载地址与信息摘要值的映射关系的查询数据库;
以所述资源数据的信息摘要值为索引建立所述信息摘要值与下载地址的映射关系的资源数据库。
优选地,所述查询数据库用于对资源数据进行搜索得到下载地址,并根据所述下载地址与信息摘要值的映射关系查询到所述资源数据的信息摘要值;
所述资源数据库用于根据所述资源数据的信息摘要值以及所述信息摘要值与下载地址的映射关系得到所述资源数据的下载地址集合。
优选地,所述评级服务器包括:
获取模块,用于从日志数据中提取下载地址的质量因素;
处理模块,用于对所述质量因素进行加权计算得到所述下载地址的下载评级;
排列模块,用于按照所述下载评级对所述下载地址进行排列。
优选地,所述获取模块还用于获取所述下载地址的并发连接数;
所述评级服务器还包括:
过载判断模块,用于判断所述并发连接数是否达到过载阈值,若是,则降低所述下载地址的下载评级。
优选地,所述数据库还用于检查所述下载地址是否能够下载到资源数据,若是,则删除所述下载地址。
上述资源数据下载方法及系统中,在查询到资源数据的下载地址集合后,根据日志数据得到下载地址集合中每一下载地址的下载评级,并按照下载评级对下载地址进行了排列,需要下载资源数据的用户可以从排列后的下载地址集合选择以进行资源数据的下载,使用户可以通过服务质量较高的下载地址进行下载,大大地提高了下载效率,也提高了下载的稳定性和有效性。
上述资源数据下载方法及系统,由日志数据得到反映下载地址服务质量的质量因素,进而对质量因素进行加权计算得到该下载地址的下载评级,便于用户获取到下载质量较好的下载地址,保证了下载过程中的质量,避免了用户对大量下载地址所进行的筛选,极大地方便了资源数据的下载。
上述资源数据下载方法及系统,对下载地址的并发连接数进行判断,并降低过载的下载地址的下载评级,以保证用户所获取到的下载地址是服务质量较高的下载地址。
上述资源数据下载方法及系统还需要对下载地址进行检查,并删除不能正常下载到资源数据的下载地址,既降低了存储压力,也提高了下载的效率。
【附图说明】
图1为一个实施例的资源数据下载方法的流程图;
图2为另一个实施例的资源数据下载方法的流程图;
图3为图1中查询资源数据得到资源数据的下载地址集合的方法流程图;
图4为一个实施例的图1中根据日志数据得到下载地址集合中每一下载地址的下载评级的方法流程图;
图5为另一个实施例的图1中根据日志数据得到下载地址集合中每一下载地址的下载评级的方法流程图;
图6为一个实施例的资源数据下载系统的结构示意图;
图7为图6中数据库的结构示意图;
图8为图6中评级服务器的结构示意图。
【具体实施方式】
图1示出了一个实施例中的资源数据下载方法,包括以下步骤:
步骤S101,查询资源数据得到资源数据的下载地址集合。
本实施例中,用户可通过对资源数据的关键字搜索等方式得到资源数据的下载地址。在网络中,资源数据是存储于各个独立的网络服务器、数据库等终端机器中,用户在查询资源数据时也会自动搜索该资源数据的其他下载地址,因此,可将孤立的网络服务器中的下载地址和其他下载地址整合在一起形成下载地址集合,每一资源数据对应了多个下载地址集合,资源数据的下载将由下载地址集合中的多个下载地址完成,用户通过查看返回的下载地址集合即可了解通过哪些下载地址可以进行资源数据的下载。
另一实施例中,如图2所示,上述查询资源数据得到资源数据的下载地址集合的步骤之前还包括了以下步骤:
步骤S201,从资源数据中提取信息摘要值,并以资源数据的下载地址为索引建立下载地址与信息摘要值的映射关系。
本实施例中,通过哈希值(Hash值)、MD5值以及SHA值等信息摘要值可对资源数据进行唯一标识。为便于用户操作,从每一资源数据中提取出对应的信息摘要值,并以下载地址为索引将每一资源数据的信息摘要值与下载地址关联存储,形成下载地址与信息摘要值的映射关系。
步骤S203,以资源数据的信息摘要值为索引建立信息摘要值与下载地址的映射关系。
本实施例中,在网络中,信息摘要值相同的资源数据常常拥有非常多的下载地址,即在用户搜索某一资源数据的过程中可以得到多个下载地址,通过任意一个下载地址都可进行资源数据的下载,为了使得用户在查询资源数据的过程中能够便捷地查找多个下载地址,以资源数据的信息摘要值为索引将信息摘要值与下载地址关联,形成信息摘要值与下载地址的映射关系。
在一个具体的实施例中,如图3所示,上述查询资源数据得到资源数据的下载地址集合的步骤为:
步骤S111,对资源数据进行搜索得到下载地址,并根据下载地址与信息摘要值的映射关系查询到资源数据的信息摘要值。
本实施例中,用户在通过网络对需要下载的资源数据进行搜索得到该资源数据的下载地址,由于存储于数据库中的下载地址是与信息摘要值关联存储的,因此,根据搜索到的下载地址可以由数据库中下载地址与信息摘要值的映射关系得到需要下载的资源数据所对应的信息摘要值。
步骤S131,根据资源数据的信息摘要值以及信息摘要值与下载地址的映射关系得到资源数据的下载地址集合。
本实施例中,在查询到了需要下载的资源数据所对应的信息摘要值后,根据信息摘要值进一步查询得到该资源数据的下载地址集合,下载地址集合中记载了多个该资源数据的下载地址。在优选的实施例中,下载地址集合以下载地址列表的形式返回并向用户展示。
步骤S103,根据日志数据得到下载地址集合中每一下载地址的下载评级,并按照下载评级对下载地址进行排列。
本实施例中,任意一下载地址在用于下载资源数据的过程中均会产生日志数据,以记录下载速度、下载时间、连通情况、数据大小以及并发连接数等质量因素。例如,下载速度可以是在某一个ISP(互联网服务提供商)内部的平均下载速度,连通情况可以是建立连接的平均时间。
用户在下载资源数据的过程中可同步上报该下载地址的下载速度、下载时间、连通情况、数据大小以及并发连接数等质量因素,以便于写成流水日志数据的方式供后续统计分析。
日志数据中的信息反映了对应的下载地址所能提供的服务质量情况,因此根据日志数据对下载地址的服务质量进行评价以得到该下载地址的下载评级,下载评级高,则说明对应的下载地址服务质量较高,下载评级较低,则说明对应的下载地址服务质量不高,不利于快速地下载到资源数据。在优选的实施例中,将下载地址按照下载评级的从高到低进行排列,以便于用户能够选择服务质量较高的下载地址进行资源数据的下载。
在一个具体的实施例中,如图4所示,上述根据日志数据得到下载地址集合中每一下载地址的下载评级的步骤为:
步骤S113,从日志数据中提取下载地址的质量因素。
步骤S133,对质量因素进行加权计算得到下载地址的下载评级。
本实施例中,由于每一质量因素对下载地址的服务质量产生的影响各不相同,每一质量因素在下载过程中的重要性也是各不相同的,因此,需要根据不同的权重对质量因素进行加权计算,以得到下载地址的下载评级,并根据上报的日志数据不断调整各质量因素的权重,如,增加某个质量因素的权重或者降低另外一个质量因素的权重。
具体的,质量因素的加权计算可以如以下公式所示:
UrlRank=F(a,b,c)=a×ISPVspeed+b×ConnTime+c×ConnNum+...
其中,UrlRank为下载评级,ISPVspeed为在某一个ISP内部的平均下载速度,ConnTime为建立连接的平均时间,ConnNum为并发连接数。
在另一个具体的实施例中,如图5所示,上述根据日志数据得到下载地址集合中每一下载地址的下载评级的步骤还包括:
步骤S153,获取下载地址的并发连接数。
步骤S173,判断并发连接数是否达到过载阈值,若是,则进入步骤S193,若否,则结束。
本实施例中,可从日志数据中获取到下载地址的并发连接数,为了防止下载地址过载,判断下载地址的并发连接数是否达到了设定的过载阈值,若是,降低该下载地址的下载评级,以使用户选择下载评级更高的下载地址进行资源数据的下载,降低了过载了的下载地址的压力。
步骤S193,降低下载地址的下载评级。
本实施例中,可通过调整质量因素的加权计算过程中与并发连接数相对应的权重来适当降低该下载地址的下载评级。
步骤S105,从排列后的下载地址中提取待下载的下载地址集合,并根据提取的下载地址集合下载资源数据。
本实施例中,可随机或者按照下载评级由高到低的顺序从排列后的多个下载地址中选择出用于下载资源数据的下载地址,形成待下载的下载地址集合,这一待下载的下载地址集合是查询资源数据所得到的多个下载地址集合中的某一个下载地址集合,可通过这一下载地址集合进行本次资源数据的下载。
其他实施例中,上述资源数据下载方法还包括了检查下载地址是否能够下载到资源数据,若否,则删除下载地址,若是,则结束。
本实施例中,一个资源数据通常有多个下载地址,在实际互联网环境中,任一下载地址的生命周期都是不一样的,一些下载地址开始可以下载,但是过了一段时间后,由于对应的服务器被撤销或者迁移了位置不能进行资源数据的下载变成了死链。
对于资源数据,信息摘要值所对应的下载地址集合中下载地址是非常多的,甚至可多达几十万个,无用的下载地址会导致系统输入输出操作繁忙,降低资源查询的效率,周期性或者不定期地检查下载地址是否能够正常下载到资源数据,如果该下载地址已经不能够下载到资源数据,或者无法成功连通,则说明该下载地址是死链,应当删除。对服务器中的死链所进行的删除大大地提高了对下载地址集合的筛选效率,例如,若下载地址集合中下载地址有几十万个,其中的几万个下载地址是死链,不能进行正常的下载,因此,在对下载地址集合进行筛选提取出可供用户进行下载的下载地址集合这一过程中,由于删除了几万个死链,导致处理量大大减少,提高筛选效率。
此外,在资源数据的下载完成后,用户的客户端还会上报IP地址、端口以及资源数据的信息摘要值,以告之服务器本地所拥有的资源数据,以便于通过上传资源数据为其他用户提供下载服务。
图6示出了一个实施例中的资源数据下载系统,包括数据库10、评级服务器30以及下载装置50。
数据库10,用于查询资源数据得到资源数据的下载地址集合。
本实施例中,用户可通过对资源数据的关键字搜索等方式得到资源数据的下载地址。在网络中,资源数据是存储于各个独立的数据库10中的,用户对数据库10中的资源数据进行查询时也会自动搜索该资源的其他下载地址,因此,可将孤立的数据库10中的下载地址和其他下载地址整合在一起形成下载地址集合,每一资源数据对应了多个下载地址集合,资源数据的下载将由下载地址集合中的多个下载地址完成,用户通过查看由数据库10返回的下载地址集合即可了解通过哪些下载地址可以进行资源数据的下载。
在一个具体的实施例中,如图7所示,数据库10包括:
从资源数据中提取信息摘要值,并以资源数据的下载地址为索引建立下载地址与信息摘要值的映射关系的查询数据库101。
本实施例中,通过哈希值(Hash值)、MD5值以及SHA值等信息摘要值可对资源数据进行唯一标识。为便于用户操作,从每一资源数据中提取出对应的信息摘要值,查询数据库101以下载地址为索引将每一资源数据的信息摘要值与下载地址关联存储,形成下载地址与信息摘要值的映射关系。
以资源数据的信息摘要值为索引建立信息摘要值与下载地址的映射关系的资源数据库103。
本实施例中,在网络中,信息摘要值相同的资源数据常常拥有非常多的下载地址,即在用户搜索某一资源数据的过程中可以得到多个下载地址,通过任意一个下载地址都可进行资源数据的下载,为了使得用户在查询资源数据的过程中能够便捷地查找多个下载地址,资源数据库103以资源数据的信息摘要值为索引将信息摘要值与下载地址关联,形成信息摘要值与下载地址的映射关系。
具体地,查询数据库101用于对资源数据进行搜索得到下载地址,并根据下载地址与信息摘要值的映射关系查询到资源数据的信息摘要值。
用户通过查询数据库101对需要下载的资源数据进行搜索得到该资源数据的下载地址,由于存储于查询数据库101中的下载地址是与信息摘要值关联存储的,因此,查询数据库101根据搜索到的下载地址由下载地址与信息摘要值的映射关系得到需要下载的资源数据所对应的信息摘要值。
资源数据库103用于根据资源数据的信息摘要值以及信息摘要值与下载地址的映射关系得到资源数据的下载地址集合。
在查询到了需要下载的资源数据所对应的信息摘要值后,通过资源数据库103根据信息摘要值进一步查询得到该资源数据的下载地址集合,下载地址集合中记载了多个该资源数据的下载地址。在优选的实施例中,下载地址集合是以下载地址列表的形式返回并向用户展示的。
评级服务器30,用于根据日志数据得到下载地址集合中每一下载地址的下载评级,并按照下载评级对下载地址进行排列。
本实施例中,任意一下载地址在用于下载资源数据的过程中均会产生日志数据,以记录下载速度、下载时间、连通情况、数据大小以及并发连接数等质量因素。例如,下载速度可以是在某一个ISP(互联网服务提供商)内部的平均下载速度,连通情况可以是建立连接的平均时间。
在用户下载资源数据的过程中,用于进行统计的服务器接收用户客户端上报的下载地址的下载速度、下载时间、连通情况、数据大小以及并发连接数等质量因素,并将接收到的质量因素写成流水日志数据,以同步到评级服务器30中供后续统计分析。
日志数据中的信息反映了对应的下载地址所能提供的服务质量情况,因此评级服务器30根据日志数据对下载地址的服务质量进行评价以得到该下载地址的下载评级,下载评级高,则说明对应的下载地址服务质量较高,下载评级较低,则说明对应的下载地址服务质量不高,不利于快速地下载到资源数据。在优选的实施例中,评级服务器30将下载地址按照下载评级的从高到低进行排列,以便于用户能够选择服务质量较高的下载地址进行资源数据的下载。
在一个具体的实施例中,如图8所示,评级服务器30包括获取模块301、处理模块303以及排列模块305。
获取模块301,用于从日志数据中提取下载地址的质量因素。
处理模块303,用于对质量因素进行加权计算得到下载地址的下载评级。
本实施例中,由于每一质量因素对下载地址的服务质量产生的影响各不相同,每一质量因素在下载过程中的重要性也是各不相同的,因此,处理模块303根据不同的权重对质量因素进行加权计算,以得到下载地址的下载评级,并根据上报的日志数据不断调整各质量因素的权重,如,增加某个质量因素的权重或者降低另外一个质量因素的权重。
具体的,质量因素的加权计算可以如以下公式所示:
UrlRank=F(a,b,c)=a×ISPVspeed+b×ConnTime+c×ConnNum+...
其中,UrlRank为下载评级,ISPVspeed为在某一个ISP内部的平均下载速度,ConnTime为建立连接的平均时间,ConnNum为并发连接数。
排列模块305,用于按照下载评级对下载地址进行排列。
在另一个具体的实施例中,获取模块301还用于获取下载地址的并发连接数。
本实施例中,获取模块301可从日志数据中获取到每一下载地址的并发连接数。
评级服务器30还包括了过载判断模块,该过载判断模块用于判断并发连接数是否达到过载阈值,若是,则降低下载地址的下载评级。
本实施例中,为了防止下载地址过载,过载判断模块判断下载地址的并发连接数是否达到了设定的过载阈值,若是,降低该下载地址的下载评级,以使用户选择下载评级更高的下载地址进行资源数据的下载,降低了过载了的下载地址的压力。在优选的实施例中,过载判断模块可通过调整质量因素的加权计算过程中与并发连接数相对应的权重来适当降低该下载地址的下载评级。
下载装置50,用于从排列后的下载地址中提取待下载的下载地址集合,并根据提取的下载地址集合下载资源数据。
本实施例中,下载装置50可随机或者按照下载评级由高到低的顺序从排列后的多个下载地址中选择出用于下载资源数据的下载地址,形成待下载的下载地址集合,这一待下载的下载地址集合是查询资源数据所得到的多个下载地址集合中的某一个下载地址集合,可通过这一随机形成的下载地址集合进行本次资源数据的下载。
其它实施例中,上述资源数据下载系统的数据库10还用于检查下载地址是否能够下载到资源数据,若是,则删除下载地址。
本实施例中,一个资源数据通常有多个下载地址,在实际互联网环境中,任一下载地址的生命周期都是不一样的,一些下载地址开始可以下载,但是过了一段时间后,由于对应的服务器被撤销或者迁移了位置不能进行资源数据的下载变成了死链。
对于资源数据,信息摘要值所对应的下载地址集合中下载地址是非常多的,甚至可多达几十万个,无用的下载地址会导致系统输入输出操作繁忙,降低资源查询的效率,数据库10周期性或者不定期地检查下载地址是否能够正常下载到资源数据,如果该下载地址已经不能够下载到资源数据,或者无法成功连通,则说明该下载地址是死链,应当删除。对服务器中的死链所进行的删除大大地提高了对下载地址集合的筛选效率,例如,若下载地址集合中下载地址有几十万个,其中的几万个下载地址是死链,不能进行正常的下载,因此,在对下载地址集合进行筛选提取出可供用户进行下载的下载地址集合这一过程中,由于删除了几万个死链,导致处理量大大减少,提高筛选效率。
此外,在资源数据的下载完成后,用户的客户端还会上报IP地址、端口以及资源数据的信息摘要值,以告之服务器本地所拥有的资源数据,以便于通过上传资源数据为其他用户提供下载服务。
上述资源数据下载方法及系统中,在查询到资源数据的下载地址集合后,根据日志数据得到下载地址集合中每一下载地址的下载评级,并按照下载评级对下载地址进行了排列,需要下载资源数据的用户可以从排列后的下载地址集合选择以进行资源数据的下载,使用户可以通过服务质量较高的下载地址进行下载,大大地提高了下载效率,也提高了下载的稳定性和有效性。
上述资源数据下载方法及系统,由日志数据得到反映下载地址服务质量的质量因素,进而对质量因素进行加权计算得到该下载地址的下载评级,便于用户获取到下载质量较好的下载地址,保证了下载过程中的质量,避免了用户对大量下载地址所进行的筛选,极大地方便了资源数据的下载。
上述资源数据下载方法及系统,对下载地址的并发连接数进行判断,并降低过载的下载地址的下载评级,以保证用户所获取到的下载地址是服务质量较高的下载地址。
上述资源数据下载方法及系统还需要对下载地址进行检查,并删除不能正常下载到资源数据的下载地址,既降低了存储压力,也提高了下载的效率。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种资源数据下载方法,包括以下步骤:
查询资源数据得到所述资源数据的下载地址集合;
根据日志数据得到下载地址集合中每一下载地址的下载评级,并按照所述下载评级对所述下载地址进行排列;
从排列后的下载地址中提取待下载的下载地址集合,并根据提取的下载地址集合下载资源数据。
2.根据权利要求1所述的资源数据下载方法,其特征在于,所述查询资源数据得到所述资源数据的下载地址集合的步骤之前还包括:
从资源数据中提取信息摘要值,并以资源数据的下载地址为索引建立下载地址与信息摘要值的映射关系;
以所述资源数据的信息摘要值为索引建立所述信息摘要值与下载地址的映射关系。
3.根据权利要求2所述的资源数据下载方法,其特征在于,所述查询资源数据得到所述资源数据的下载地址集合的步骤为:
对资源数据进行搜索得到下载地址,并根据所述下载地址与信息摘要值的映射关系查询到所述资源数据的信息摘要值;
根据所述资源数据的信息摘要值以及所述信息摘要值与下载地址的映射关系得到所述资源数据的下载地址集合。
4.根据权利要求1所述的资源数据下载方法,其特征在于,所述根据日志数据得到下载地址集合中每一下载地址的下载评级的步骤为:
从日志数据中提取下载地址的质量因素;
对所述质量因素进行加权计算得到所述下载地址的下载评级。
5.根据权利要求1所述的资源数据下载方法,其特征在于,所述根据日志数据得到下载地址集合中每一下载地址的下载评级的步骤还包括:
获取所述下载地址的并发连接数;
判断所述并发连接数是否达到过载阈值,若是,则降低所述下载地址的下载评级。
6.根据权利要求1所述的资源数据下载方法,其特征在于,还包括:
检查所述下载地址是否能够下载到资源数据,若否,则删除所述下载地址。
7.一种资源数据下载系统,其特征在于,包括:
数据库,用于查询资源数据得到所述资源数据的下载地址集合;
评级服务器,用于根据日志数据得到下载地址集合中每一下载地址的下载评级,并按照所述下载评级对所述下载地址进行排列;
下载装置,用于从排列后的下载地址中提取待下载的下载地址集合,并根据提取的下载地址集合下载资源数据。
8.根据权利要求7所述的资源数据下载系统,其特征在于,所述数据库包括:
从资源数据中提取信息摘要值,并以资源数据的下载地址为索引建立下载地址与信息摘要值的映射关系的查询数据库;
以所述资源数据的信息摘要值为索引建立所述信息摘要值与下载地址的映射关系的资源数据库。
9.根据权利要求8所述的资源数据下载系统,其特征在于,所述查询数据库用于对资源数据进行搜索得到下载地址,并根据所述下载地址与信息摘要值的映射关系查询到所述资源数据的信息摘要值;
所述资源数据库用于根据所述资源数据的信息摘要值以及所述信息摘要值与下载地址的映射关系得到所述资源数据的下载地址集合。
10.根据权利要求7所述的资源数据下载系统,其特征在于,所述评级服务器包括:
获取模块,用于从日志数据中提取下载地址的质量因素;
处理模块,用于对所述质量因素进行加权计算得到所述下载地址的下载评级;
排列模块,用于按照所述下载评级对所述下载地址进行排列。
11.根据权利要求7所述的资源数据下载系统,其特征在于,所述获取模块还用于获取所述下载地址的并发连接数;
所述评级服务器还包括:
过载判断模块,用于判断所述并发连接数是否达到过载阈值,若是,则降低所述下载地址的下载评级。
12.根据权利要求7所述的资源下载系统,其特征在于,所述数据库还用于检查所述下载地址是否能够下载到资源数据,若是,则删除所述下载地址。
CN2011101774701A 2011-06-28 2011-06-28 资源数据下载方法及系统 Pending CN102855238A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011101774701A CN102855238A (zh) 2011-06-28 2011-06-28 资源数据下载方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011101774701A CN102855238A (zh) 2011-06-28 2011-06-28 资源数据下载方法及系统

Publications (1)

Publication Number Publication Date
CN102855238A true CN102855238A (zh) 2013-01-02

Family

ID=47401831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101774701A Pending CN102855238A (zh) 2011-06-28 2011-06-28 资源数据下载方法及系统

Country Status (1)

Country Link
CN (1) CN102855238A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414770A (zh) * 2013-08-05 2013-11-27 贝壳网际(北京)安全技术有限公司 文件下载方法及装置、文件下载建议方法及装置
CN104092722A (zh) * 2014-03-26 2014-10-08 腾讯科技(深圳)有限公司 网络文件的下载方法及装置
WO2015014295A1 (en) * 2013-07-31 2015-02-05 Tencent Technology (Shenzhen) Company Limited Multi-source download scheduling
CN104660721A (zh) * 2013-11-19 2015-05-27 腾讯科技(深圳)有限公司 资源数据下载中的下载地址处理方法、系统和装置
CN105025068A (zh) * 2014-04-30 2015-11-04 腾讯科技(深圳)有限公司 网络数据下载方法和装置
CN105160009A (zh) * 2015-09-22 2015-12-16 小米科技有限责任公司 资源下载方法和装置
CN105577830A (zh) * 2016-02-02 2016-05-11 明博教育科技股份有限公司 一种基于统计的下载列表优选方法和系统
CN105574106A (zh) * 2015-12-14 2016-05-11 四川九成信息技术有限公司 一种大数据平台的网络信息分析处理方法
CN106161542A (zh) * 2015-04-10 2016-11-23 广州市动景计算机科技有限公司 一种数据下载方法及装置
CN106528218A (zh) * 2016-10-26 2017-03-22 中国水利水电科学研究院 一种全球预报系统数据下载方法
CN106850778A (zh) * 2017-01-17 2017-06-13 无锡清华信息科学与技术国家实验室物联网技术中心 一种多源下载性能优化方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183946A (zh) * 2006-12-26 2008-05-21 腾讯科技(深圳)有限公司 一种获取下载文件资源列表的方法及系统
CN101442558A (zh) * 2008-12-26 2009-05-27 中国科学院计算技术研究所 一种为p2sp网络提供索引服务的方法和系统
CN101741750A (zh) * 2010-01-15 2010-06-16 中国科学院计算技术研究所 P2p中资源下载方法及其系统
CN101854387A (zh) * 2010-05-14 2010-10-06 中国科学院计算技术研究所 分布式索引服务器架构下的p2p流量优化方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183946A (zh) * 2006-12-26 2008-05-21 腾讯科技(深圳)有限公司 一种获取下载文件资源列表的方法及系统
CN101442558A (zh) * 2008-12-26 2009-05-27 中国科学院计算技术研究所 一种为p2sp网络提供索引服务的方法和系统
CN101741750A (zh) * 2010-01-15 2010-06-16 中国科学院计算技术研究所 P2p中资源下载方法及其系统
CN101854387A (zh) * 2010-05-14 2010-10-06 中国科学院计算技术研究所 分布式索引服务器架构下的p2p流量优化方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢欣等: "天网千帆——一种新型文件搜索引擎", 《华南理工大学学报》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015014295A1 (en) * 2013-07-31 2015-02-05 Tencent Technology (Shenzhen) Company Limited Multi-source download scheduling
CN104348647A (zh) * 2013-07-31 2015-02-11 腾讯科技(深圳)有限公司 多源带宽调度方法、装置及系统
CN104348647B (zh) * 2013-07-31 2019-04-12 腾讯科技(深圳)有限公司 多源带宽调度方法、装置及系统
CN103414770A (zh) * 2013-08-05 2013-11-27 贝壳网际(北京)安全技术有限公司 文件下载方法及装置、文件下载建议方法及装置
CN103414770B (zh) * 2013-08-05 2016-12-28 贝壳网际(北京)安全技术有限公司 文件下载方法及装置、文件下载建议方法及装置
CN104660721A (zh) * 2013-11-19 2015-05-27 腾讯科技(深圳)有限公司 资源数据下载中的下载地址处理方法、系统和装置
CN104092722A (zh) * 2014-03-26 2014-10-08 腾讯科技(深圳)有限公司 网络文件的下载方法及装置
CN105025068A (zh) * 2014-04-30 2015-11-04 腾讯科技(深圳)有限公司 网络数据下载方法和装置
CN105025068B (zh) * 2014-04-30 2019-04-12 腾讯科技(深圳)有限公司 网络数据下载方法和装置
CN106161542A (zh) * 2015-04-10 2016-11-23 广州市动景计算机科技有限公司 一种数据下载方法及装置
CN105160009B (zh) * 2015-09-22 2019-03-15 小米科技有限责任公司 资源下载方法和装置
CN105160009A (zh) * 2015-09-22 2015-12-16 小米科技有限责任公司 资源下载方法和装置
CN105574106A (zh) * 2015-12-14 2016-05-11 四川九成信息技术有限公司 一种大数据平台的网络信息分析处理方法
CN105574106B (zh) * 2015-12-14 2018-10-12 元力云网络有限公司 一种大数据平台的网络信息分析处理方法
CN105577830A (zh) * 2016-02-02 2016-05-11 明博教育科技股份有限公司 一种基于统计的下载列表优选方法和系统
CN106528218B (zh) * 2016-10-26 2018-12-21 中国水利水电科学研究院 一种全球预报系统数据下载方法
CN106528218A (zh) * 2016-10-26 2017-03-22 中国水利水电科学研究院 一种全球预报系统数据下载方法
CN106850778A (zh) * 2017-01-17 2017-06-13 无锡清华信息科学与技术国家实验室物联网技术中心 一种多源下载性能优化方法及装置

Similar Documents

Publication Publication Date Title
CN102855238A (zh) 资源数据下载方法及系统
CN102761627B (zh) 基于终端访问统计的云网址推荐方法及系统及相关设备
CN105630823B (zh) 基于分布式系统的缓存数据的监控方法、装置和系统
CN102024045B (zh) 信息分类处理方法、装置和终端
CN102724219B (zh) 网络数据的计算机处理方法及系统
CN105701216A (zh) 一种信息推送方法及装置
CN104462293A (zh) 搜索处理方法、生成搜索结果排序模型的方法和装置
CN104601438A (zh) 一种好友推荐方法和装置
CN102663617A (zh) 一种广告的点击率预测方法及系统
CN103200262A (zh) 一种基于移动网络的广告调度方法、装置及系统
CN105138541A (zh) 音频指纹匹配查询的方法和装置
CN104185840A (zh) 持续部署流水线测试的优先化
CN107046586B (zh) 一种基于类自然语言特征的算法生成域名检测方法
CN103530347A (zh) 一种基于大数据挖掘的互联网资源质量评估方法及系统
SG173868A1 (en) Method and system for transmitting information based on social network
WO2017211157A1 (zh) 关联账户的监控方法及装置
CN109905479B (zh) 文件传输方法和装置
US10284664B2 (en) Application testing
CN104768079A (zh) 多媒体资源分发方法、装置及系统
CN103440199A (zh) 测试引导方法和装置
CN113987002A (zh) 基于海量数据分析平台的数据交换方法
CN102982048A (zh) 一种用于评估垃圾信息挖掘规则的方法与设备
CN102710447B (zh) 终端设备云修复方法和系统
CN104348628A (zh) 获取本机Root权限的方法和装置
CN110019152A (zh) 一种大数据清洗方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20130102

RJ01 Rejection of invention patent application after publication