CN103248695A - 文件下载方法、系统及cdn中的服务器节点 - Google Patents

文件下载方法、系统及cdn中的服务器节点 Download PDF

Info

Publication number
CN103248695A
CN103248695A CN2013101650977A CN201310165097A CN103248695A CN 103248695 A CN103248695 A CN 103248695A CN 2013101650977 A CN2013101650977 A CN 2013101650977A CN 201310165097 A CN201310165097 A CN 201310165097A CN 103248695 A CN103248695 A CN 103248695A
Authority
CN
China
Prior art keywords
file
document
server
index information
server node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013101650977A
Other languages
English (en)
Inventor
冯顾
刘浩
胡振勇
王力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN2013101650977A priority Critical patent/CN103248695A/zh
Publication of CN103248695A publication Critical patent/CN103248695A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种文件下载方法、系统及CDN中的服务器节点。服务器节点包括:文件存储器,配置为存储一个或者多个文件;文件下载器,配置为接收文件信息,从文件索引信息服务器中获取该文件的索引信息;并且从索引信息指示的服务器节点下载该文件;以及文件请求处理器,配置为接收客户端发送的文件请求,从文件存储器中查找与该文件请求相对应的文件,当查找到相应文件时,将该文件返回到客户端;当未查找到相应文件时,将该文件信息发送给文件下载器,以便经由文件下载器来下载相应文件以便返回所下载的文件到客户端。采用本发明能够解决缺失文件下载资源不明确的问题。

Description

文件下载方法、系统及CDN中的服务器节点
技术领域
本发明涉及互联网应用领域,具体涉及一种CDN(Content DeliveryNetwork,内容分发网络)中的服务器节点、一种文件下载系统以及文件下载方法。
背景技术
由于种种原因,下载服务器中往往会缺少一些文件。当用户访问这些不存在的文件时,文件下载器会返回相应文件缺失的响应消息,例如,若文件下载服务器是HTTP(Hypertext transfer protocol,超文本传输协议)服务器,则HTTP服务器会返回状态码为404的响应。
为了防止缺失文件这种状况发生,提高用户访问质量,下载服务器会在其他服务器上抓取缺失文件。目前架构中,缺失文件存在于哪些服务器上对于下载服务器而言是未知的。
目前,应用较为广泛的技术,是建立一个离线源服务器集群,在集群中存储有大量文件。集群本身不在线提供下载服务,由下载服务器回源服务器集群抓取其所缺失的文件。
由于源服务器集群不对外提供下载服务,为了避免过多的资源浪费,因而集群规模往往较小。但是,较小的集群规模会造成回源下载速度较慢,同时,由于回源下载速度无法保证,回源次数会更多,因而源服务器的压力会更大。另外,若源服务器集群发生故障时,下载服务器回源失败,用户访问质量无法保证。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的CDN中的服务器节点、文件下载系统以及相应的文件下载方法。
依据本发明的一个方面,提供了一种CDN中的服务器节点,该服务器节点包括:文件存储器,配置为存储一个或者多个文件;文件下载器,配置为接收文件信息,从文件索引信息服务器中获取该文件的索引信息;并且从索引信息指示的服务器节点下载该文件;以及文件请求处理器,配置为接收客户端发送的文件请求,从文件存储器中查找与该文件请求相对应的文件,当查找到相应文件时,将该文件返回到客户端;当未查找到相应文件时,将该文件信息发送给文件下载器,以便经由文件下载器来下载相应文件并返回所下载的文件到客户端。
可选地,该服务器节点还可以包括:文件监控器,配置为监控文件存储器中的各文件;若文件发生了变化,则将相应的文件信息发送到文件索引信息服务器。
可选地,相应的文件信息包括下列至少之一:本地主机名、IP地址、文件大小、文件的摘要信息、修改时间。
可选地,文件索引信息服务器中存储的索引信息包括下列至少之一:文件大小、内容、md5值、文件所在服务器名称、文件所在服务器地址。
可选地,索引信息的存储格式为关键字-值key-value格式。
可选地,文件下载器还配置为向文件索引信息服务器发出查询请求,其中,查询请求包括该服务器节点的主机名以及该文件的文件路径的md5值;以及接收文件索引信息服务器返回的响应消息,其中,响应消息的内容包括具有该文件的服务器节点信息以及文件大小信息。
可选地,文件下载器还配置为:若多个服务器节点中都存储有相应文件,则将该文件分割为多份,分别从每个服务器节点下载分割生成的部分文件;以及在下载结束后,对从各个服务节点中下载的部分文件进行组合,生成完整文件。
可选地,文件下载器还配置为:若从文件索引信息服务器中未获取到下载文件的索引信息,从源服务器集群中下载相应的文件。
依据本发明的另一个方面,还提供了一种文件下载系统,包括上述任一项的CDN中的服务器节点,还包括多个客户端以及文件索引信息服务器,其中客户端,配置为发送文件请求至服务器节点;文件索引信息服务器,配置为当服务器节点在本地未能查找到客户端请求访问的文件时,根据服务器节点的查询请求提供相应文件的索引信息,以便服务器节点从索引信息指示的服务器节点下载该文件。
可选地,该系统还包括源服务器集群,该源服务器集群中存储有客户端请求访问的文件,服务器节点还配置为当从文件索引信息服务器未获取到相应文件的索引信息时,从源服务器集群下载客户端请求访问的文件。
依据本发明的另一个方面,还提供了一种文件下载方法,包括:接收客户端发送的文件请求并解析,查找与该文件请求相对应的文件;当查找到相应文件时,将该文件返回到客户端;当未查找到相应文件时,从文件索引信息服务器中获取该文件的索引信息;从索引信息指示的服务器节点下载该文件以便返回所下载的文件到客户端。
可选地,上述方法还包括:监控各服务器节点本地存储的各文件状态;若文件状态发生了变化,则将相应的文件信息通知发送到文件索引信息服务器。
可选地,在根据本发明的方法中,从文件索引信息服务器中获取该文件的索引信息的步骤包括:向文件索引信息服务器发出查询请求,其中,查询请求包括该服务器节点的主机名以及该文件的文件路径的md5值;以及接收文件索引信息服务器返回的响应消息,其中,响应消息的内容包括具有该文件的服务器节点信息、以及文件大小信息。
可选地,在根据本发明的方法中,从索引信息指示的服务器节点下载该文件的步骤包括:若多个服务器节点中都存储有客户端请求访问的相应文件,则将该文件分割为多份,分别从每个服务器节点下载分割生成的部分文件,并且在多个服务器节点中同时进行多路下载;以及在下载结束后,对从各个服务节点中下载的部分文件进行组合,生成完整文件。
可选地,根据本发明的方法还包括:若从文件索引信息服务器中未获取到下载文件的索引信息,从源服务器集群中下载相应的文件。
采用本发明实施例提供的方案,服务器节点能够从文件索引信息服务器中获知下载文件具体位于哪些服务器节点中,不需要每次均回源到源服务器集群中抓取或下载相应文件,提高了服务器节点下载文件的速度以及效率,同时缓解了对源服务器集群的压力,节省了下载资源。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的CDN网络中文件下载系统的结构框图;
图2示出了根据本发明一个实施例的文件下载系统的网络环境示意图;
图3示出了根据本发明一个实施例的文件下载方法的处理流程图;以及
图4示出了根据本发明一个实施例的从文件索引信息服务器中获取该文件的索引信息的处理流程图。
具体实施方式
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
为解决上述技术问题,本发明实施例提供了CDN网络中的文件下载系统,利用该系统,可以方便在文件下载系统中的服务器节点进行文件下载。
图1示出了根据本发明一个实施例的CDN网络中文件下载系统的结构框图。参见图1,该系统中至少包括多个服务器节点以及多个客户端,将服务器节点分别标号为11-1N,客户端分别标号为21-2N。此处的标号仅仅是用于区别不同的主体,对于主体本身并不会起到限定作用。
在本发明实施例中,客户端2i(1≦i≦N)发送文件请求至服务器节点1j(1≦j≦N),请求下载文件请求相应的文件。若服务器节点1j上存在相应文件,则直接将相应文件输出给客户端2i。若服务器节点1j上不存在相应文件,此时,服务器节点1j就需要到其他的服务器节点上下载相应文件。多个客户端可以在同一个服务器节点上下载文件,因此,如图1所示,客户端21-2N均与服务器节点11相耦合。
由于服务器节点较多,但各服务器节点的功能以及构架均相同,因此本发明实施例仅以服务器节点11为例进行详细说明。在本例中,假设客户端21向服务器节点11发起文件请求。
参见图1,服务器节点11中设置有文件请求处理器111,用于实现服务器节点11与客户端21间的信息交互。文件请求处理器111接收到客户端21发送的文件请求,在服务器节点11内部,即文件存储器112中查找是否存储有相应的文件。
若服务器节点11中存储有客户端21请求下载的文件,则由文件请求处理器111从文件存储器112中获取相应的文件并将其传输给客户端21即可。参见图1,服务器节点11中设置有文件存储器112,用于存储一个或者多个文件。由此可见,文件存储器112用于存储文件。例如,图1中文件存储器112中存储有文件1、文件2以及文件3。若服务器节点11接收或下载或抓取到其他相应文件,可以将其放置在文件存储器112中进行存储。相应的,若其他服务器节点到本服务器节点11中下载或抓取相应文件,则服务器节点11会在文件存储器112中查询是否存在相应文件,进而进行文件获取。在本发明实施例,文件请求处理器111与文件存储器112相耦接,从文件存储器112中获取相应文件传输给客户端21。
考虑到文件存储器112的功能,可以利用硬盘、闪存、记忆棒等存储介质实现该器件功能。文件存储器112中可存储的文件的数量取决于存储介质的性质以及容量。本发明不受限于文件存储器112的具体实现方式,任何可以存储文件的文件存储器都在本发明的保护范围之内。
若服务器节点11中不存在客户端21请求下载的文件,则服务器节点11需要到其他服务器节点上下载或抓取相应文件。相关技术中提及,服务器节点11并不知晓哪个服务器节点上会存储有它需要的相应文件。因此,为解决该技术问题,本发明实施例在文件下载系统中增加了文件索引信息服务器31。参见图1,文件索引信息服务器31与服务器节点11相耦接,例如经由网络互联。文件索引信息服务器31中存储了文件信息列表。文件信息列表中存储有文件标识以及该文件的文件信息。文件标识可以是该文件的文件名(例如可以包括文件目录)。此处的文件信息包括相应文件的各种信息(包括索引信息),可选的,相应的文件信息还包括下列至少之一:主机名、IP(Internet Protocol,因特网协议)地址、文件大小、文件的摘要信息、修改时间。而其中的索引信息则可以包括下列至少之一:文件大小、内容、md5(Message-Digest Algorithm5,信息-摘要算法5)值、文件所在服务器名称、文件所在服务器地址。为保证索引信息的可辨认性,本发明实施例中的索引信息采用固定的存储格式,可选的,该存储格式为关键字-值(key-value)格式。
现提供一个文件的存储格式的具体实例,本例中,key为文件路径(包括文件名)的md5值,value为一个集合。其中每一个元素为该文件在各个主机上的相关信息。
示例:
md5(“softdl.360.cn/dummy”)=>[
“tmp1.qihoo.net|32768|127.0.0.1|7a14cea55933883d8ecf4bde927bd8d5”,
“tmp2.qihoo.net|32768|192.168.0.1|05ed3a142661ec09657aeb32d1c02e64”,
];
在这个示例中,文件softdl.360.cn/dummy存在于两台服务器tmp1.qihoo.net和tmp2.qihoo.net中,这两台服务器的IP地址分别为127.0.0.1和192.168.0.1,文件大小为32768,并且在这两台服务器上的文件的MD5值分别为7a14cea55933883d8ecf4bde927bd8d5和05ed3a142661ec09657aeb32d1c02e64。
与存储格式相应,文件索引信息服务器31可以使用REDIS(一种高性能的key-value内存数据库)存储文件信息,保证数据传输的高并发性和低延时性。
当服务器节点11在本地未能查找到客户端21请求访问的文件时,服务器节点11向文件索引信息服务器31发出该文件的查询请求,查询该文件存储在哪些服务器节点上。相应地,文件索引信息服务器31根据服务器节点11的查询请求提供相应文件的索引信息,以便服务器节点11从索引信息指示的服务器节点下载该文件。文件索引信息服务器31提供的索引信息的内容以及具体格式参见上文所述。
在服务器节点11内部,文件请求处理器111在本地未能查找到客户端21请求访问的文件时,文件请求处理器111将该文件信息发送给服务器节点11内设置的文件下载器113,以便由文件下载器113来下载相应文件。
文件下载器113与文件索引信息服务器31相耦接,接收来自文件请求处理器111的文件信息后,向文件索引信息服务器31发出查询请求,其中,查询请求可以包括该服务器节点的主机名以及该文件的文件路径及名称的md5值。文件下载器113接收文件索引信息服务器31返回的响应消息,其中,响应消息的内容包括具有该文件的服务器节点信息以及文件大小信息。文件下载器113从文件索引信息服务器31返回的响应消息中获取该文件的索引信息,并且从索引信息指示的服务器节点下载该文件。
现提供一个查询请求以及响应消息的内容的实例,具体如下。
查询请求内容:主机名及要下载文件路径的md5值
如:
hostname=demo1.qihoo.net&md5=7e5ec14a85f545991758a4ecb680ab4f
响应消息内容:拥有该文件的主机名及文件大小信息。
如:
tmp1.qihoo.net:32768|tmp2.qihoo.net:32768
单一地从一个服务器节点中下载相应文件,费时费力,且安全性较低。在网络时代,同一个文件通常可以存储在多个服务器节点中,为了加速下载,若多个服务器节点中都存储有相应文件的情况下,下载服务器113可以将该文件分割为多份,分别从每个服务器节点下载分割生成的部分文件。在各部分的下载文件下载结束后,下载服务器113再对从各个服务节点中下载的部分文件进行组合,生成完整文件。例如,本发明实施例中的多路并行下载可以采用开源的下载工具ARIA2,该程序会完成文件分割及组合、检查等功能。
可选地,待文件下载结束后,文件下载器113可以将相应文件传递给文件请求处理器111,经由文件请求处理器111将所下载的文件返回至客户端21。
当然,为了加快给客户端的响应速度,可以直接向客户端返回文件不存在的指示,而同时由文件下载器113下载客户端请求的文件,这样可以方便为各种客户端的后续请求服务。
进一步,若文件索引信息服务器31中并没有存储该下载文件的索引信息,则参见图1,文件下载器113可以直接到源服务器集群41中下载或抓取相应的文件,当然,该源服务器集群中存储有客户端21请求访问的文件。
在本发明实施例中,由于各服务器节点均到文件索引信息服务器31获取文件信息,因此,文件索引信息服务器31需保证其存储的文件信息的时效性。为达到保证时效性的目的,文件索引信息服务器31可以定期访问各服务器节点,获取各服务器节点中的文件信息。优选的,服务器节点可以自行将文件信息(尤其是文件发生变化)实时上报至文件索引信息服务器端。例如,参见图1,可以在服务器节点11中设置文件监控器114,利用文件监控器114监控文件存储器112中的各文件。若文件发生了变化,则文件监控器114实时将相应的文件信息发送到文件索引信息服务器31,达到保证文件索引信息服务器31中的文件信息的时效性的目的。
图1是文件下载系统的结构框图,为方便用户理解,图2示出了根据本发明一个实施例的文件下载系统的网络环境示意图。在该网络环境中存在多个下载服务器(即前文的服务器节点)。每一台下载服务服务器上运行一个文件监控进程(用于实现前文提及的文件监控器)。该进程可以通过linux内核文件系统变化通知(inotify)机制监控文件变化。
当文件发生变化时,下载服务器通过网络将变化的文件信息(包括本地主机名,IP地址,文件名称和路径、文件大小,md5信息,修改时间等相关信息)汇报给文件索引信息服务器,保证文件索引信息服务器处的文件信息的时效性。
当用户访问一台下载服务器上的缺失文件时,下载服务器上的下载程序(用于实现前文提及的文件下载器)通过访问文件索引信息服务器,从而得到该文件的索引信息,包括文件本身信息,如大小,内容md5值,位于哪些服务器上。然后到索引信息指示的其他下载服务器进行文件下载,为加快下载速率,下载程序可以从拥有该文件的服务器中同时进行多路并行下载。若其他下载服务器中同样不存在该下载文件,则直接到源服务器集群中进行该文件的下载或抓取。
采用本发明实施例提供的文件下载系统,服务器节点能够从文件索引信息服务器中获知下载文件具体位于哪些服务器节点中,不需要每次均回源到源服务器集群中抓取或下载相应文件,提高了服务器节点下载文件的速度以及效率,同时缓解了对源服务器集群的压力,节省了下载资源。
进一步,若下载文件同时存在多个服务器节点中,服务器节点会从多个服务器节点上并行下载,进一步提高下载文件的速度,并且,多个服务器中的就近访问会大大提高下载速度。
另外,添加了文件索引信息服务器的文件下载系统的健壮性大大提高。若源服务器集群故障,服务器节点能够从其他服务器节点下载相应文件,而若文件索引信息服务器单方面故障,服务器节点能够到源服务器集群上进行文件抓取或下载,因此,源服务器集群或文件索引信息服务器的抓取都不会对回源机制造成影响。因此,本发明实施例提供的文件下载系统保证了用户的文件访问质量。
本发明实施例还提供了一种文件下载方法,该方法可以基于上述任意一个优选实施例或其组合所提供的服务器节点,以及该服务器节点所位于的文件下载系统。
图3示出了根据本发明一个实施例的文件下载方法的处理流程图。参见图3,该文件下载方法始于步骤S302,在本步骤中,接收客户端发送的文件请求并解析,查找与该文件请求相对应的文件。查找结果不同,则后续操作也不同。因此,在步骤S304中需判断是否查找到与步骤S302中的文件请求相对应的文件,根据判断结果选择后续操作。
当查找到相应文件时,执行步骤S306,将查找到的文件返回到客户端,本次文件下载结束。当未查找到相应文件时,执行步骤S308,从文件索引信息服务器中获取该文件的索引信息,并继续执行后续步骤步骤。其中,文件索引信息服务器中存储的索引信息是指可以指示文件在各个服务器上的位置的信息,例如索引信息可以包括可以包括下列内容中的一个或者多个:文件大小、标识、文件的唯一md5值、文件所在服务器名称、文件所在服务器的IP地址等。本发明实施例中的索引信息采用固定的存储格式,可选的,该存储格式为关键字-值(key-value)格式。
文件索引信息服务器中除上述索引信息外,还可以存储有文件的其他文件信息,以保证所提供的信息的准确性。相应的文件信息至少包括下列至少之一:本地主机名、IP地址、文件大小、文件的摘要信息、修改时间。
为保证文件索引信息服务器中的文件信息的时效性,需要随时监控各服务器节点本地存储的各文件状态,若文件状态发生了变化,则将相应的文件信息通知发送到文件索引信息服务器。
图4示出了根据本发明一个实施例的从文件索引信息服务器中获取该文件的索引信息的处理流程图。参见图2,索引信息的获取方法包括步骤S402至步骤S404。
首先,在步骤S402中,从服务器节点向文件索引信息服务器发出查询请求。查询请求中需要说明发起请求的主体以及其请求的具体文件,因此,查询请求可以包括该服务器节点的主机名以及该文件的文件路径(含文件名)的md5值。
文件索引信息服务器接收到步骤S402中提及的查询请求后,会从文件索引信息服务器所存储的索引信息中查找与查询请求相对应的文件信息,并返回所查找到的文件信息作为响应。在步骤S404中,服务器节点接收文件索引信息服务器返回的响应消息,与查询消息相对应,响应消息需说明所请求的文件在哪些服务器节点中存在以及该文件的相关信息。因此,响应消息的内容可以包括具有该文件的服务器节点信息、以及文件大小信息。
但是由于文件索引信息服务器存储容量有限以及文件时效性的原因,并不能保证每个文件均在其中有记载。因此,根据本发明实施例的方法中提供了步骤S310,在步骤S310中,判断文件索引信息服务器中是否存储有相应文件的索引信息,能否在文件索引信息服务器中获取到上述索引信息。若从文件索引信息服务器中能够获取到相应文件的索引信息,则执行步骤S312,从索引信息指示的服务器节点下载该文件,并返回所下载的文件到客户端,本次文件下载结束。
在步骤S312的下载过程中,若多个服务器节点中都存储有客户端请求访问的相应文件,则可以将该文件分割为多份,分别从每个服务器节点下载分割生成的部分文件,并且在多个服务器节点中同时进行多路下载。由于从各服务器节点下载的文件并不是一个完整的文件,而是一个文件的一部分,因此,在下载结束后,对从各个服务节点中下载的部分文件进行组合,生成完整文件。随后,可以将完整的文件返回到客户端,本次文件下载结束。
若步骤S310的判断结果为在文件索引信息服务器中并未获取到相应文件的索引信息,则执行步骤S314,直接从源服务器集群中下载相应的文件,并返回所下载的文件到客户端,本次文件下载结束。
需要说明的是,除CDN网络外,本发明实施例提供的方法及系统也可以适用于其他存在文件下载的网络。
本发明实施例能够达到如下有益效果:
采用本发明实施例提供的文件下载系统以及相应的方法,服务器节点能够从文件索引信息服务器中获知下载文件具体位于哪些服务器节点中,不需要每次均回源到源服务器集群中抓取或下载相应文件,提高了服务器节点下载文件的速度以及效率,同时缓解了对源服务器集群的压力,节省了下载资源。
进一步,若下载文件同时存在多个服务器节点中,服务器节点会从多个服务器节点上并行下载,进一步提高下载文件的速度,并且,多个服务器中的就近访问会大大提高下载速度。
另外,添加了文件索引信息服务器的文件下载系统的健壮性大大提高。若源服务器集群故障,服务器节点能够从其他服务器节点下载相应文件,而若文件索引信息服务器单方面故障,服务器节点能够到源服务器集群上进行文件抓取或下载,因此,源服务器集群或文件索引信息服务器的抓取都不会对回源机制造成影响。因此,本发明实施例提供的文件下载系统保证了用户的文件访问质量。
根据本发明的服务器节点,其中所述文件索引信息服务器中存储的索引信息包括下列至少之一:
文件大小、内容、md5值、文件所在服务器名称、文件所在服务器地址。
根据本发明的服务器节点,所述索引信息的存储格式为关键字-值key-value格式。
根据本发明的服务器节点,所述文件下载器还配置为:
向所述文件索引信息服务器发出查询请求,其中,所述查询请求包括该服务器节点的主机名以及该文件的文件路径的md5值;以及
接收所述文件索引信息服务器返回的响应消息,其中,所述响应消息的内容包括具有该文件的服务器节点信息以及文件大小信息。
根据本发明的系统,其特征在于,该系统还包括源服务器集群,该源服务器集群中存储有所述客户端请求访问的文件,则
所述服务器节点还配置为当从所述文件索引信息服务器未获取到相应文件的索引信息时,从所述源服务器集群下载所述客户端请求访问的文件。
根据本发明的方法,所述文件索引信息服务器中存储的索引信息包括下列至少之一:
文件大小、内容、md5值、文件所在服务器名称、文件所在服务器地址。
根据本发明的方法,所述索引信息的存储格式为关键字-值key-value格式。
根据本发明的方法,所述从文件索引信息服务器中获取该文件的索引信息,包括:
向所述文件索引信息服务器发出查询请求,其中,所述查询请求包括该服务器节点的主机名以及该文件的文件路径的md5值;以及
接收所述文件索引信息服务器返回的响应消息,其中,所述响应消息的内容包括具有该文件的服务器节点信息、以及文件大小信息。
根据本发明的方法,还包括:
若从所述文件索引信息服务器中未获取到下载文件的索引信息,从源服务器集群中下载相应的文件。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的服务器节点中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种内容分发网络CDN中的服务器节点,包括:
文件存储器,配置为存储一个或者多个文件;
文件下载器,配置为接收文件信息,从文件索引信息服务器中获取该文件的索引信息;并且从所述索引信息指示的服务器节点下载该文件;以及
文件请求处理器,配置为接收客户端发送的文件请求,从所述文件存储器中查找与该文件请求相对应的文件,当查找到相应文件时,将该文件返回到所述客户端;当未查找到相应文件时,将该文件信息发送给所述文件下载器,以便经由所述文件下载器来下载相应文件并返回所下载的文件到所述客户端。
2.根据权利要求1所述的服务器节点,还包括:
文件监控器,配置为监控所述文件存储器中的各文件;若文件发生了变化,则将相应的文件信息发送到所述文件索引信息服务器。
3.根据权利要求2所述的服务器节点,所述相应的文件信息包括下列至少之一:
本地主机名、IP地址、文件大小、文件的摘要信息、修改时间。
4.根据权利要求1至3任一项所述的服务器节点,所述文件下载器还配置为:
若多个服务器节点中都存储有相应文件,则将该文件分割为多份,分别从每个服务器节点下载分割生成的部分文件;以及
在下载结束后,对从各个服务节点中下载的部分文件进行组合,生成完整文件。
5.根据权利要求1至4任一项所述的服务器节点,所述文件下载器还配置为:
若从所述文件索引信息服务器中未获取到下载文件的索引信息,从源服务器集群中下载相应的文件。
6.一种文件下载系统,包括多个权利要求1至5任一项所述的CDN中的服务器节点,还包括多个客户端以及文件索引信息服务器,其中,
所述客户端,配置为发送文件请求至所述服务器节点;
所述文件索引信息服务器,配置为当所述服务器节点在本地未能查找到所述客户端请求访问的文件时,根据所述服务器节点的查询请求提供相应文件的索引信息,以便所述服务器节点从所述索引信息指示的服务器节点下载该文件。
7.一种文件下载方法,包括:
接收客户端发送的文件请求并解析,查找与该文件请求相对应的文件;
当查找到相应文件时,将该文件返回到所述客户端;
当未查找到相应文件时,从文件索引信息服务器中获取该文件的索引信息;
从所述索引信息指示的服务器节点下载该文件,并返回所下载的文件到所述客户端。
8.根据权利要求7所述的方法,还包括:
监控各服务器节点本地存储的各文件状态;
若所述文件状态发生了变化,则将相应的文件信息通知发送到所述文件索引信息服务器。
9.根据权利要求8所述的方法,所述相应的文件信息包括下列至少之一:
本地主机名、IP地址、文件大小、文件的摘要信息、修改时间。
10.根据权利要求7至9任一项所述的方法,从所述索引信息指示的服务器节点下载该文件,包括:
若多个服务器节点中都存储有所述客户端请求访问的相应文件,则将该文件分割为多份,分别从每个服务器节点下载分割生成的部分文件,并且在多个服务器节点中同时进行多路下载;以及
在下载结束后,对从各个服务节点中下载的部分文件进行组合,生成完整文件。
CN2013101650977A 2013-05-07 2013-05-07 文件下载方法、系统及cdn中的服务器节点 Pending CN103248695A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013101650977A CN103248695A (zh) 2013-05-07 2013-05-07 文件下载方法、系统及cdn中的服务器节点

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013101650977A CN103248695A (zh) 2013-05-07 2013-05-07 文件下载方法、系统及cdn中的服务器节点

Publications (1)

Publication Number Publication Date
CN103248695A true CN103248695A (zh) 2013-08-14

Family

ID=48927916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013101650977A Pending CN103248695A (zh) 2013-05-07 2013-05-07 文件下载方法、系统及cdn中的服务器节点

Country Status (1)

Country Link
CN (1) CN103248695A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997518A (zh) * 2014-05-06 2014-08-20 广州金山网络科技有限公司 一种cdn节点文件同步方法和装置
CN104768079A (zh) * 2014-01-03 2015-07-08 腾讯科技(深圳)有限公司 多媒体资源分发方法、装置及系统
CN104836822A (zh) * 2014-02-10 2015-08-12 腾讯科技(深圳)有限公司 获取下载数据方法及装置、下载数据的方法及系统
CN106993054A (zh) * 2017-05-05 2017-07-28 腾讯科技(深圳)有限公司 文件分发方法、节点及系统
US10212166B2 (en) 2014-03-24 2019-02-19 Huawei Technologies Co., Ltd. File downloading method, apparatus, and system
CN109688204A (zh) * 2018-12-05 2019-04-26 量子云未来(北京)信息科技有限公司 基于ndn网络的文件下载方法、装置、节点、终端
CN109995866A (zh) * 2019-04-03 2019-07-09 深圳市网心科技有限公司 分布式文件校验方法、装置、计算机装置及存储介质
CN110022329A (zh) * 2018-01-08 2019-07-16 腾讯科技(深圳)有限公司 文件传输方法、装置、计算机可读存储介质及计算机设备
CN110362535A (zh) * 2019-07-12 2019-10-22 中国农业银行股份有限公司 一种文件管理方法、装置及系统
CN110381107A (zh) * 2019-05-24 2019-10-25 平安普惠企业管理有限公司 文件下载方法、装置、计算机设备及存储介质
CN111371585A (zh) * 2018-12-26 2020-07-03 北京奇虎科技有限公司 用于cdn节点的配置方法及装置
CN112398884A (zh) * 2019-08-14 2021-02-23 上海哔哩哔哩科技有限公司 镜像回源场景下流量调度控制方法、可读存储介质及计算机设备
CN113840000A (zh) * 2021-06-30 2021-12-24 山东易华录信息技术有限公司 一种海量大文件分布式网络下载方法及装置
WO2022021357A1 (zh) * 2020-07-31 2022-02-03 华为技术有限公司 一种文件块下载方法及装置
CN114385192A (zh) * 2022-01-18 2022-04-22 北京字节跳动网络技术有限公司 一种应用部署方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1852105A (zh) * 2005-09-15 2006-10-25 华为技术有限公司 一种实现端到端文件共享的系统及方法
CN101005369A (zh) * 2006-01-19 2007-07-25 深圳市瑞福特信息技术有限公司 一种分布式内容分发网及分布式内容分发和上传的方法
CN101394415A (zh) * 2007-09-19 2009-03-25 北京邮电大学 用于结构化覆盖网络的资源广播交互机制的方法及装置
CN101567796A (zh) * 2009-05-19 2009-10-28 中兴通讯股份有限公司 一种内容分片的多媒体网络及其业务方法
CN102143150A (zh) * 2010-12-10 2011-08-03 华为技术有限公司 一种获取媒体内容的方法、设备及系统
CN102810138A (zh) * 2012-06-19 2012-12-05 北京奇虎科技有限公司 一种用户端文件的修复方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1852105A (zh) * 2005-09-15 2006-10-25 华为技术有限公司 一种实现端到端文件共享的系统及方法
CN101005369A (zh) * 2006-01-19 2007-07-25 深圳市瑞福特信息技术有限公司 一种分布式内容分发网及分布式内容分发和上传的方法
CN101394415A (zh) * 2007-09-19 2009-03-25 北京邮电大学 用于结构化覆盖网络的资源广播交互机制的方法及装置
CN101567796A (zh) * 2009-05-19 2009-10-28 中兴通讯股份有限公司 一种内容分片的多媒体网络及其业务方法
CN102143150A (zh) * 2010-12-10 2011-08-03 华为技术有限公司 一种获取媒体内容的方法、设备及系统
CN102810138A (zh) * 2012-06-19 2012-12-05 北京奇虎科技有限公司 一种用户端文件的修复方法和系统

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104768079A (zh) * 2014-01-03 2015-07-08 腾讯科技(深圳)有限公司 多媒体资源分发方法、装置及系统
WO2015101236A1 (en) * 2014-01-03 2015-07-09 Tencent Technology (Shenzhen) Company Limited Multimedia resource distribution method, apparatus and system
US10567240B2 (en) * 2014-01-03 2020-02-18 Tencent Technology (Shenzhen) Company Limited Multimedia resource distribution method, apparatus and system
CN104836822A (zh) * 2014-02-10 2015-08-12 腾讯科技(深圳)有限公司 获取下载数据方法及装置、下载数据的方法及系统
CN104836822B (zh) * 2014-02-10 2019-04-26 腾讯科技(深圳)有限公司 获取下载数据方法及装置、下载数据的方法及系统
US10212166B2 (en) 2014-03-24 2019-02-19 Huawei Technologies Co., Ltd. File downloading method, apparatus, and system
CN103997518A (zh) * 2014-05-06 2014-08-20 广州金山网络科技有限公司 一种cdn节点文件同步方法和装置
CN103997518B (zh) * 2014-05-06 2017-12-19 广州金山网络科技有限公司 一种cdn节点文件同步方法和装置
CN106993054A (zh) * 2017-05-05 2017-07-28 腾讯科技(深圳)有限公司 文件分发方法、节点及系统
CN106993054B (zh) * 2017-05-05 2022-06-03 腾讯科技(深圳)有限公司 文件分发方法、节点及系统
CN110022329A (zh) * 2018-01-08 2019-07-16 腾讯科技(深圳)有限公司 文件传输方法、装置、计算机可读存储介质及计算机设备
CN110022329B (zh) * 2018-01-08 2022-03-11 腾讯科技(深圳)有限公司 文件传输方法、装置、计算机可读存储介质及计算机设备
CN109688204A (zh) * 2018-12-05 2019-04-26 量子云未来(北京)信息科技有限公司 基于ndn网络的文件下载方法、装置、节点、终端
CN109688204B (zh) * 2018-12-05 2022-01-04 量子云未来(北京)信息科技有限公司 基于ndn网络的文件下载方法、节点、终端
CN111371585A (zh) * 2018-12-26 2020-07-03 北京奇虎科技有限公司 用于cdn节点的配置方法及装置
CN109995866A (zh) * 2019-04-03 2019-07-09 深圳市网心科技有限公司 分布式文件校验方法、装置、计算机装置及存储介质
CN109995866B (zh) * 2019-04-03 2022-04-29 深圳市网心科技有限公司 分布式文件校验方法、装置、计算机装置及存储介质
CN110381107A (zh) * 2019-05-24 2019-10-25 平安普惠企业管理有限公司 文件下载方法、装置、计算机设备及存储介质
CN110381107B (zh) * 2019-05-24 2023-04-07 平安普惠企业管理有限公司 文件下载方法、装置、计算机设备及存储介质
CN110362535A (zh) * 2019-07-12 2019-10-22 中国农业银行股份有限公司 一种文件管理方法、装置及系统
CN112398884A (zh) * 2019-08-14 2021-02-23 上海哔哩哔哩科技有限公司 镜像回源场景下流量调度控制方法、可读存储介质及计算机设备
CN112398884B (zh) * 2019-08-14 2023-08-25 上海哔哩哔哩科技有限公司 镜像回源场景下流量调度控制方法、可读存储介质及计算机设备
WO2022021357A1 (zh) * 2020-07-31 2022-02-03 华为技术有限公司 一种文件块下载方法及装置
CN113840000A (zh) * 2021-06-30 2021-12-24 山东易华录信息技术有限公司 一种海量大文件分布式网络下载方法及装置
CN114385192A (zh) * 2022-01-18 2022-04-22 北京字节跳动网络技术有限公司 一种应用部署方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN103248695A (zh) 文件下载方法、系统及cdn中的服务器节点
CN102882991B (zh) 一种浏览器及其进行域名解析的方法
CN102843445B (zh) 一种浏览器及其进行域名解析的方法
CN102075570B (zh) 一种基于关键字的http报文缓存机制的实现方法
CN109787951B (zh) 一种网络数据访问方法、装置及电子设备
CN103036967A (zh) 一种下载管理设备、方法及数据下载系统
CN103019879A (zh) 浏览器崩溃信息的处理方法及系统
CN103647803A (zh) 一种移动终端订阅内容的方法及装置
CN102855334B (zh) 一种浏览器及其获取dns解析数据的方法
US20120022851A1 (en) On-demand translation of application text
CN103078945B (zh) 对浏览器崩溃数据进行处理的方法与系统
CN104077391A (zh) 提供专题新闻搜索的方法、服务器、客户端和系统
CN109787952B (zh) 一种网络数据访问方法、装置及电子设备
CN103248707A (zh) 文件访问方法、系统以及设备
CN102480397A (zh) 访问互联网页面的方法及设备
CN103036969A (zh) 用于提供文件下载地址的管理设备及方法
US7376650B1 (en) Method and system for redirecting a request using redirection patterns
CN103139279A (zh) 文件访问方法和系统
CN102955717A (zh) 在分布式消息处理系统中的消息管理设备和方法
CN104506643A (zh) 分布式存储系统的服务器及服务器之间的数据同步方法
CN102981911A (zh) 一种分布式消息处理系统及其中的设备和方法
CN103164542A (zh) 数据搜索的方法及客户端
US20130167118A1 (en) Managing symbolic links in documentation
CN105162879A (zh) 实现多机房数据一致性的方法、装置及系统
CN103269302A (zh) 用于即时通信的共享文件管理方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20130814

RJ01 Rejection of invention patent application after publication