CN103248707A - 文件访问方法、系统以及设备 - Google Patents

文件访问方法、系统以及设备 Download PDF

Info

Publication number
CN103248707A
CN103248707A CN2013101915338A CN201310191533A CN103248707A CN 103248707 A CN103248707 A CN 103248707A CN 2013101915338 A CN2013101915338 A CN 2013101915338A CN 201310191533 A CN201310191533 A CN 201310191533A CN 103248707 A CN103248707 A CN 103248707A
Authority
CN
China
Prior art keywords
file
record
download
server
daily record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013101915338A
Other languages
English (en)
Other versions
CN103248707B (zh
Inventor
胡振勇
刘浩
王鹏程
王力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201310191533.8A priority Critical patent/CN103248707B/zh
Publication of CN103248707A publication Critical patent/CN103248707A/zh
Application granted granted Critical
Publication of CN103248707B publication Critical patent/CN103248707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种文件访问方法、系统以及设备,设备包括一种下载服务器。该下载服务器包括:文件存储器,配置为存储本地文件;下载请求处理器,配置为接收来自客户端的文件下载请求;在所述文件存储器中查找与该文件下载请求相对应的文件,将查找到的文件返回给所述客户端;日志存储器,配置为存储所述下载请求处理器处理文件下载请求的日志;日志处理器,配置为从所述日志存储器中提取指示所请求的文件未存储在文件存储器中的文件缺失日志记录;以及,根据提取的文件缺失日志记录确定该下载服务器缺失的文件,以及下载所缺失的文件到文件存储器中。采用本发明能够提高访问失败方法的故障处理及时性以及用户访问体验。

Description

文件访问方法、系统以及设备
技术领域
本发明涉及互联网应用领域,具体涉及一种下载服务器、一种日志处理器、一种文件访问方法及系统以及在一种在服务器处处理文件下载请求的方法。
背景技术
在CDN(Content Delivery Network,内容分发网络)的分发过程中,由于各种原因,下载服务器(DLServer)上可能会缺少部分文件。用户访问某个下载链接时,若刚好该下载链接对应的是缺少的文件,则会得到访问失败的提示,例如(http状态码404,表示本次访问失败)从而影响了用户体验。
目前绝大多数网站对访问失败(例如404状态码)的处理,主要是设置重定向页面。将404状态码重定向到一个显示文件无法访问的状态页。当发现某下载服务器大量输出404状态码时,该下载服务器可能缺失大量文件,进而导致该下载服务器下线。
由此可以看出,目前对于访问失败的处理方法故障处理及时性差,待确认某一下载服务器中缺失大量文件时才会将其下线。在该下载服务器下线之前,仍有大量用户对其进行访问,大量的访问失败会造成网络资源的浪费以及用户较差的访问体验。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的下载服务器、日志处理器、文件下载系统和相应的方法。
依据本发明的一个方面,提供了一种下载服务器,包括:文件存储器,配置为存储本地文件;
下载请求处理器,配置为接收来自客户端的文件下载请求;在所述文件存储器中查找与该文件下载请求相对应的文件,将查找到的文件返回给所述客户端;
日志存储器,配置为存储所述下载请求处理器处理文件下载请求的日志;
日志处理器,配置为从所述日志存储器中提取指示所请求的文件未存储在文件存储器中的文件缺失日志记录;以及,根据提取的文件缺失日志记录确定该下载服务器缺失的文件,以及下载所缺失的文件到文件存储器中。
可选地,在本发明的下载服务器中,日志处理器还包括:
日志记录提取器,配置为从所述日志存储器中提取文件缺失日志记录;以及
下载器,配置根据所述文件缺失日志记录来获取所缺失文件的存储位置,并根据所述存储位置下载所缺失的文件。
可选地,在本发明的下载服务器中,下载器还配置为:
从文件列表服务器中获取所缺失文件的存储位置,其中,文件列表服务器中存储有各下载服务器中存储的文件的信息。
可选地,在本发明的下载服务器中,日志记录提取器还配置为:
从所述日志存储器提取文件缺失日志记录后,记录所处理日志的最后位置;以及
下一次提取新的文件缺失日志记录时,从上一次记录的最后位置开始日志记录处理。
可选地,在本发明的下载服务器中,日志处理器还包括:
缺失文件信息存储器,配置为存储根据所述文件缺失日志记录而确定的缺失文件信息。
可选地,在本发明的下载服务器中,下载器还配置为:
当缺失文件具有多个存储位置时,将所述缺失文件分为多个部分,并且从各个存储位置下载相应部分;以及
当各部分的缺失文件下载完成后,将各部分合并成完整的缺失文件。
可选地,本发明的下载服务器还包括:
监控器,配置为监控所述文件缺失日志记录所反映的缺失文件的数量,若该数量超过预设阈值,则进行报警。
依据本发明的另一个方面,提供了一种日志处理器,包括:
日志记录提取器,配置为从下载服务器的日志存储器中提取文件缺失日志记录;以及
下载器,配置为根据所述文件缺失日志记录来获取所缺失文件的存储位置,并根据所述存储位置下载所缺失的文件。
依据本发明的另一个方面,提供了一种文件访问系统,包括至少一个客户端,还包括多个上述任一项所述的下载服务器。
可选地,本发明的文件访问系统还包括:
文件列表服务器,配置为存储有各下载服务器中存储的文件的信息;以及当接收到下载服务器的文件存储位置查询请求时,根据所存储文件的信息将查询到的存储位置返回至该下载服务器。
依据本发明的另一个方面,提供了一种在服务器处处理文件下载请求的方法,包括:
接收来自客户端的文件下载请求,查找与该文件下载请求相对应的文件;
存储处理文件下载请求的日志,提取其中指示所请求的文件未存储在该服务器中的文件缺失日志记录;
根据提取的文件缺失日志记录确定该服务器缺失的文件,以及下载所缺失的文件到该服务器中。
可选地,在本发明的在服务器处处理文件下载请求的方法中,根据提取的文件缺失日志记录确定该服务器缺失的文件,以及下载所缺失的文件到该服务器中包括:
根据所述文件缺失日志记录获取所缺失文件的存储位置,并根据所述存储位置下载所缺失文件。
可选地,在本发明的在服务器处处理文件下载请求的方法中,获取所缺失文件的存储位置,包括:
从文件列表服务器中获取所缺失文件的存储位置,其中,文件列表服务器中存储有各服务器中存储的文件的信息。
可选地,提取文件缺失日志记录之后,本发明的在服务器处处理文件下载请求的方法还包括:
记录所处理日志的最后位置;以及
下一次提取新的文件缺失日志记录时,从上一次记录的最后位置开始日志记录处理。
可选地,在本发明的在服务器处处理文件下载请求的方法中,根据所述存储位置下载所缺失文件,包括:
当缺失文件具有多个存储位置时,将所述缺失文件分为多个部分,并且从各个存储位置下载相应部分;以及
当各部分的缺失文件下载完成后,将各部分合并成完整的缺失文件。
可选地,本发明的在服务器处处理文件下载请求的方法还包括:
监控所述文件缺失日志记录所反映的缺失文件的数量,若该数量超过预设阈值,则进行报警。
依据本发明的另一个方面,提供了一种文件访问方法,包括:
客户端发起文件下载请求;
下载服务器接收所述文件下载请求,查找与该文件下载请求相对应的文件,将查找到的文件返回给所述客户端;以及
存储处理文件下载请求的日志,提取指示所请求的文件未存储在文件存储器中的文件缺失日志记录,根据提取的文件缺失日志记录确定缺失的文件,以及下载所缺失的文件。
可选地,在本发明的文件访问方法中,所述下载服务器下载所缺失的文件,包括:
所述下载服务器从文件列表服务器中获取所缺失文件的存储位置,其中,文件列表服务器中存储有各下载服务器中存储的文件的信息。
在本发明实施例中,下载服务器确定客户端所请求下载的文件为缺失文件时,生成文件缺失日志记录,进而根据文件缺失日志记录确定并下载相应文件。采用本发明实施例提供的方法,能够使得下载服务器及时获取缺失文件,并能够使得缺失文件及时回源,避免因下载服务器上的缺失文件过多导致服务器下线,故障处理较为及时,能够节省网络资源,进而改善用户的访问体验。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的文件访问系统的结构框图;
图2示出了根据本发明一个实施例的在服务器处处理文件下载请求的方法的处理流程图;
图3示出了根据本发明一个实施例的文件访问方法的处理流程图;以及
图4示出了根据本发明一个实施例的处理404记录的环境示意图。
具体实施方式
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
为解决上述技术问题,在文件访问失败时,本发明实施例提供了不同的处理机制。具体的,在本发明实施例中,对于缺失的文件,服务器需要去进行下载,以增加自身存储的文件或数据,避免因较多文件缺失导致下线,提高用户访问的体验。
图1示出了根据本发明一个实施例的文件访问系统的结构框图。参见图1,文件访问系统至少包括多个客户端111和112,以及多个下载服务器121、122以及12N。图1仅为文件访问系统的示意图,为方便阐述本发明实施例提供的处理机制。图1提供了客户端111以及客户端112,作为客户端的代表,对客户端的数量并不造成限定。同理,图1还提供了下载服务器121、122以及12N,作为下载服务器的代表,此处的N为正整数。
由于各客户端以及各下载服务器的访问功能以及处理机制是相类似的,现以客户端111向下载服务器121发起文件下载请求为例进行说明,其他客户端以及下载服务器采用相同的操作。
首先,客户端111向其选择的下载服务器121发起文件下载请求。下载服务器121接收到该文件下载请求后,对其进行处理。参见图1,下载服务器121中设置有下载请求处理器1211,专用于处理来自客户端的文件下载请求。随后,下载服务器1211到下载服务器121中的文件存储器1212中查找与该文件下载请求相对应的文件,若查找到,则将查找到的文件返回给客户端111。
此时需要说明的是,下载服务器121中设置了文件存储器1212,用于存储本地文件。参见图1,文件存储器1212中存储有文件1-文件3,当然,此处的文件仅仅是示例,在实际应用中,文件存储器1212需要存储大量的本地文件,其具体的存储容量取决于所使用的存储介质的容量。
对于每条文件下载请求,下载请求处理器1211处理结束后会生成处理日志,为保证数据存储的完整性,下载服务器121还设置有日志存储器1213,存储下载请求处理器1211处理所有文件下载请求的日志。
相关技术中提及,下载服务器中可能会出现文件缺失的情况,因此,下载请求处理服务器1211的处理日志有可能是文件缺失日志记录,即,下载请求处理器1211的处理结果为该文件缺失,导致用户访问失败的处理日志。为处理该情况,下载服务器121中设置了日志处理器1214,处理文件缺失日志记录。
具体的,日志处理器1214利用自身中的日志记录提取器12141从日志存储器1213中提取提示所请求的文件未存储在文件存储器1212中的文件缺失日志记录。经分析后,日志处理器1214能够根据提取的文件缺失日志记录确定该下载服务器121所缺失的文件,相应的,利用下载器12142到其他服务器(例如图1中的下载服务器122)中下载该缺失的文件。
日志记录提取器12141从日志存储器1213提取文件缺失日志记录后,记录所处理日志的最后位置。当下一次再需要提取新的文件缺失日志记录时,从上一次记录的最后位置开始日志记录处理即可,不需要多次从头开始记录浏览,能够节省缺失文件日志记录的提取时间。
值得说明的是,在下载服务器121中,文件存储器1212用于存储本地文件,因此,日志处理器1214下载所缺失的文件结束后,将下载的文件存储到文件存储器1212中。
下载器12142在下载缺失文件时,会去获取所缺失文件的存储位置,之后根据存储位置进行相应文件的下载。参见图1,本发明实施例提供了文件列表服务器130,用于存储各下载服务器中存储的文件的信息。当接收到下载服务器121发送的文件存储位置查询请求时,文件列表服务器130根据所存储文件的信息将查询到的存储位置返回至下载服务器121。具体的,由下载器12142从文件列表服务器130中获取所缺失文件的存储位置,进而进行相应下载。
进一步,为方便获取缺失文件的信息,在日志处理器1214中还设置有缺失文件信息存储器12143,存储根据文件缺失日志记录而确定的缺失文件信息。参见图1,缺失文件信息存储器12143存储有记录1-3,每个记录对应一个文件,并且,缺失文件信息存储器12143还存储有文件的其他信息。参见图1,缺失文件信息存储器12143耦接到日志记录提取器12141,存储日志记录提取器12141提取的缺失文件日志记录以及其他信息。同时,缺失文件信息存储器还耦接到下载器12142,以便下载器12142获取将待下载文件的文件信息,以进行下载操作。
在下载过程中,当缺失文件具有多个存储位置时,下载器12142可以将缺失文件分为多个部分,并且从各个存储位置下载相应部分。当各部分的缺失文件下载完成后,下载器12142将各部分合并成完整的缺失文件。
另外,相关技术中提及的处理机制除对故障处理不及时外,还存在没有通知机制,不能及时报警的问题,为解决该问题,本发明实施例在下载服务器121中还设置有监控器1215。监控器1215能够监控文件缺失日志记录所反映的缺失文件的数量,一旦数量越过预设阈值,则进行报警。此处的阈值可以根据实际情况设置,例如50、60、100甚至更多。
在本发明实施例中,下载服务器确定客户端所请求下载的文件为缺失文件时,生成文件缺失日志记录,进而根据文件缺失日志记录确定并下载相应文件。采用本发明实施例,能够使得下载服务器及时获取缺失文件,并能够使得缺失文件及时回源,避免因下载服务器上的缺失文件过多导致服务器下线,故障处理较为及时,能够节省网络资源,进而改善用户的访问体验。
进一步,本发明实施例提供的方法可扩展性强,能够适用于任何服务器上,不需要对服务器进行大量的改动,适用性强且能够节省大量的资源。
并且,采用本发明实施例能够提供及时的通知报警机制,在缺失文件数量达到一定阈值就进行报警,保证下载服务器不会因为没有相应的通知报警机制造成下线。
基于同一发明构思,本发明实施例还提供了一种日志处理器,其结构示意图请参见图1,日志处理器的具体功能上文已有详述,在此不做赘述。
基于同一发明构思,并在上述设备以及系统实现支撑的基础上,本发明实施例还提供了一种在服务器处处理文件下载请求的方法。图2示出了根据本发明一个实施例的在服务器处处理文件下载请求的方法的处理流程图。参见图2,该流程图至少包括步骤S202至步骤S206。
图2所示的流程开始于步骤S202。在步骤S202处,接收来自客户端的文件下载请求,查找与该文件下载请求相对应的文件。对于客户端而言,在发起请求的时候并不知晓请求下载的文件是否存在。
随后,在步骤S204中,存储处理文件下载请求的日志,并提取其中指示所请求的文件未存储在该服务器中的文件缺失日志记录。值得说明的是,在当前一条文件缺失日志记录提取结束后,可以记录所处理日志的最后位置,如此,若下一次需要提取新的文件缺失日志记录时,直接从上一次记录的最后位置开始日志记录处理。采用该日志位置的标识方法,可以避免每次提取缺失文件日志记录时,均将所有的日志记录从头进行浏览,节省时间和资源。
当文件缺失日志记录被提取成功之后,执行步骤S206,根据提取的文件缺失日志记录确定该服务器缺失的文件,并下载所缺失的文件到该服务器中。步骤S206在执行下载操作时,首先根据提取的文件缺失日志记录获取所缺失文件在CDN中的存储位置,进一步根据获取的存储位置来下载所缺失文件。参见图1可知,下载服务器在系统中存在多个,因此,同一个文件可能在多个下载服务器中均有存储,即,缺失文件可能具有多个存储位置。此时,可以将缺失文件分为多个部分,并且从各个存储位置下载相应部分。当各部分的缺失文件下载完成后,将各部分合并成完整的缺失文件。
关于缺失文件的存储位置的获取,可以有多种获取方式。根据本发明的一个实施例,存在存储有各服务器中存储的文件的信息的文件列表服务器。根据本发明的方法可以从文件列表服务器来获取相应的缺失文件的存储位置。考虑到文件列表服务器中存储的文件信息较多较全,能够较快地获取到缺失文件的存储信息。
在本发明实施例中,确定客户端所请求下载的文件为服务器中的缺失文件时,生成文件缺失日志记录,进而根据文件缺失日志记录确定并下载相应文件到相应服务器中。采用本发明实施例提供的方法,能够使得服务器及时获取缺失文件,并能够使得缺失文件及时回源,避免因服务器上的缺失文件过多导致服务器下线,故障处理较为及时,能够节省网络资源,进而改善用户的访问体验。
进一步,本发明实施例还能够监控文件缺失日志记录所反映的缺失文件的数量,若该数量超过预设阈值,则进行报警,保证下载服务器不会因为没有相应的通知报警机制造成下线。
基于同一发明构思,本发明实施例还提供了一种文件访问方法。图3示出了根据本发明一个实施例的文件访问方法的处理流程图。参见图3,该处理流程图至少包括步骤S302至步骤S306。
步骤S302、客户端发起文件下载请求。
步骤S304、下载服务器接收文件下载请求,查找与该文件下载请求相对应的文件,将查找到的文件返回给所述客户端。
步骤S306、下载服务器存储处理文件下载请求的日志,提取指示所请求的文件未存储在文件存储器中的文件缺失日志记录,根据提取的文件缺失日志记录确定缺失的文件,以及下载所缺失的文件。
值得说明的是,下载服务器会从文件列表服务器中获取所缺失文件的存储位置,其中,文件列表服务器中存储有各下载服务器中存储的文件的信息。
现以404记录的处理为例进行具体说明。图4示出了根据本发明一个实施例的处理404记录的环境示意图。参见图4,客户端发起文件下载请求,下载服务器(DLServer)利用logwatch(404异步回源程序)检测本机的nginx日志(nginx log,其中nginx为一种HTTP(HyperTextTransfer Protocol,超文本传输协议)服务器软件)。其中,本机的nginx日志包括两类,一类是404记录,即访问失败,另一类是访问成功的日志。
下载服务器在nginx log获取404记录后,确定该404记录对应的缺失文件。随后,logwatch记录本次扫描nginx log的最后位置,下次再查找日志时,直接从记录的最后位置开始查找,避免下次重复获取以前的日志。
进一步,由于相同的404记录对应的是同一个缺失文件,因此,logwatch可以对404记录进行归一化处理,同样的404记录只保留一条,进而生成最后要处理的404文件列表。
下载服务器从文件列表服务器(FileListServer)得到缺失文件的存储地址,从其他下载服务器(other dl server)中进行相应缺失文件的下载。
若同一个缺失文件,其可下载地址为多个,那么可以根据得到的url(UniformResourceLocator,统一资源定位符)进行分割下载。具体的,例如,文件A缺失,从FileListServer得到的可下载地址为B、C、D。则可以将文件划分为A1、A2、A3三部分,分别从B、C、D中进行下载。待下载结果后,将A1、A2、A3三部分进行合并,生成完整的A。具体的划分比例可以根据实际情况而定。在文件A的划分过程中,可以将文件A平均划分,也可以按照一定的比例进行划分。例如,若其中某个服务器下载速度较快,可将其划分的文件比例大一些,而下载速度较慢的,则可以分配较小的文件下载。
采用本发明实施例提供的方法、设备以及系统能够达到如下有益效果:
在本发明实施例中,下载服务器确定客户端所请求下载的文件为缺失文件时,生成文件缺失日志记录,进而根据文件缺失日志记录确定并下载相应文件。采用本发明实施例提供的方法,能够使得下载服务器及时获取缺失文件,并能够使得缺失文件及时回源,避免因下载服务器上的缺失文件过多导致服务器下线,故障处理较为及时,能够节省网络资源,进而改善用户的访问体验。
进一步,本发明实施例提供的方法可扩展性强,能够适用于任何服务器上,不需要对服务器进行大量的改动,适用性强且能够节省大量的资源。
并且,采用本发明实施例能够提供及时的通知报警机制,在缺失文件数量达到一定阈值就进行报警,保证下载服务器不会因为没有相应的通知报警机制造成下线。
A3、根据A2所述的下载服务器,其特征在于,所述下载器还配置为:从文件列表服务器中获取所缺失文件的存储位置,其中,文件列表服务器中存储有各下载服务器中存储的文件的信息。A4、根据A2或3所述的下载服务器,其特征在于,所述日志记录提取器还配置为:从所述日志存储器提取文件缺失日志记录后,记录所处理日志的最后位置;以及下一次提取新的文件缺失日志记录时,从上一次记录的最后位置开始日志记录处理。A5、根据A2至4任一项所述的下载服务器,其中所述日志处理器还包括:缺失文件信息存储器,配置为存储根据所述文件缺失日志记录而确定的缺失文件信息。A10、根据A9所述的系统,其特征在于,所述系统还包括:文件列表服务器,配置为存储有各下载服务器中存储的文件的信息;以及当接收到下载服务器的文件存储位置查询请求时,根据所存储文件的信息将查询到的存储位置返回至该下载服务器。A12、根据A11所述的方法,其特征在于,所述根据提取的文件缺失日志记录确定该服务器缺失的文件,以及下载所缺失的文件到该服务器中包括:根据所述文件缺失日志记录获取所缺失文件的存储位置,并根据所述存储位置下载所缺失文件。A13、根据A12所述的方法,其特征在于,所述获取所缺失文件的存储位置,包括:从文件列表服务器中获取所缺失文件的存储位置,其中,文件列表服务器中存储有各服务器中存储的文件的信息。A14、根据A12或13所述的方法,所述提取文件缺失日志记录之后,还包括:记录所处理日志的最后位置;以及下一次提取新的文件缺失日志记录时,从上一次记录的最后位置开始日志记录处理。A18、根据A17所述的方法,其特征在于,所述下载服务器下载所缺失的文件,包括:所述下载服务器从文件列表服务器中获取所缺失文件的存储位置,其中,文件列表服务器中存储有各下载服务器中存储的文件的信息。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的各设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种下载服务器,包括:
文件存储器,配置为存储本地文件;
下载请求处理器,配置为接收来自客户端的文件下载请求;在所述文件存储器中查找与该文件下载请求相对应的文件,将查找到的文件返回给所述客户端;
日志存储器,配置为存储所述下载请求处理器处理文件下载请求的日志;
日志处理器,配置为从所述日志存储器中提取指示所请求的文件未存储在文件存储器中的文件缺失日志记录;以及,根据提取的文件缺失日志记录确定该下载服务器缺失的文件,以及下载所缺失的文件到文件存储器中。
2.根据权利要求1所述的下载服务器,其特征在于,所述日志处理器包括:
日志记录提取器,配置为从所述日志存储器中提取文件缺失日志记录;以及
下载器,配置根据所述文件缺失日志记录来获取所缺失文件的存储位置,并根据所述存储位置下载所缺失的文件。
3.根据权利要求1或者2所述的下载服务器,其特征在于,所述下载器还配置为:
当缺失文件具有多个存储位置时,将所述缺失文件分为多个部分,并且从各个存储位置下载相应部分;以及
当各部分的缺失文件下载完成后,将各部分合并成完整的缺失文件。
4.根据权利要求1至3任一项所述的下载服务器,其特征在于,还包括:
监控器,配置为监控所述文件缺失日志记录所反映的缺失文件的数量,若该数量超过预设阈值,则进行报警。
5.一种日志处理器,包括:
日志记录提取器,配置为从下载服务器的日志存储器中提取文件缺失日志记录;以及
下载器,配置为根据所述文件缺失日志记录来获取所缺失文件的存储位置,并根据所述存储位置下载所缺失的文件。
6.一种文件访问系统,包括至少一个客户端,还包括多个权利要求1至5任一项所述的下载服务器。
7.一种在服务器处处理文件下载请求的方法,包括:
接收来自客户端的文件下载请求,查找与该文件下载请求相对应的文件;
存储处理文件下载请求的日志,提取其中指示所请求的文件未存储在该服务器中的文件缺失日志记录;
根据提取的文件缺失日志记录确定该服务器缺失的文件,以及下载所缺失的文件到该服务器中。
8.根据权利要求7所述的方法,其中根据所述存储位置下载所缺失文件,包括:
当缺失文件具有多个存储位置时,将所述缺失文件分为多个部分,并且从各个存储位置下载相应部分;以及
当各部分的缺失文件下载完成后,将各部分合并成完整的缺失文件。
9.根据权利要求7至8任一项所述的方法,还包括:
监控所述文件缺失日志记录所反映的缺失文件的数量,若该数量超过预设阈值,则进行报警。
10.一种文件访问方法,包括:
客户端发起文件下载请求;
下载服务器接收所述文件下载请求,查找与该文件下载请求相对应的文件,将查找到的文件返回给所述客户端;以及
存储处理文件下载请求的日志,提取指示所请求的文件未存储在文件存储器中的文件缺失日志记录,根据提取的文件缺失日志记录确定缺失的文件,以及下载所缺失的文件。
CN201310191533.8A 2013-05-22 2013-05-22 文件访问方法、系统以及设备 Active CN103248707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310191533.8A CN103248707B (zh) 2013-05-22 2013-05-22 文件访问方法、系统以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310191533.8A CN103248707B (zh) 2013-05-22 2013-05-22 文件访问方法、系统以及设备

Publications (2)

Publication Number Publication Date
CN103248707A true CN103248707A (zh) 2013-08-14
CN103248707B CN103248707B (zh) 2016-12-28

Family

ID=48927928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310191533.8A Active CN103248707B (zh) 2013-05-22 2013-05-22 文件访问方法、系统以及设备

Country Status (1)

Country Link
CN (1) CN103248707B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182321A (zh) * 2014-02-24 2014-12-03 无锡天脉聚源传媒科技有限公司 一种访问错误的监控方法及装置
CN104426925A (zh) * 2013-08-21 2015-03-18 腾讯科技(深圳)有限公司 网页资源获取方法及装置
CN104618948A (zh) * 2015-02-12 2015-05-13 中国联合网络通信集团有限公司 一种监控上传文件的方法和系统
CN105141666A (zh) * 2015-07-29 2015-12-09 江苏天联信息科技发展有限公司 信息数据存储方法及装置
CN108121711A (zh) * 2016-11-28 2018-06-05 北京国双科技有限公司 一种数据处理方法和客户端设备
CN109756581A (zh) * 2019-03-06 2019-05-14 珠海金山网络游戏科技有限公司 一种文件传输系统及方法、一种计算设备及存储介质
CN111190868A (zh) * 2020-01-02 2020-05-22 中国建设银行股份有限公司 一种文件处理方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146022A (zh) * 2006-09-11 2008-03-19 思华科技(上海)有限公司 节点重叠内容分发网络
CN101242307A (zh) * 2008-02-01 2008-08-13 刘峰 用嵌入代码代理日志实现网站访问分析系统与方法
CN101567796A (zh) * 2009-05-19 2009-10-28 中兴通讯股份有限公司 一种内容分片的多媒体网络及其业务方法
CN101877709A (zh) * 2010-06-30 2010-11-03 北京世纪互联宽带数据中心有限公司 多媒体安全信令系统
CN102045679A (zh) * 2009-10-20 2011-05-04 中国移动(深圳)有限公司 一种漫游计费中漫游数据报告发送和接收方法及服务器
CN102289524A (zh) * 2011-09-26 2011-12-21 深圳市万兴软件有限公司 一种数据恢复方法及系统
CN102810138A (zh) * 2012-06-19 2012-12-05 北京奇虎科技有限公司 一种用户端文件的修复方法和系统
US20130046883A1 (en) * 2011-08-16 2013-02-21 Edgecast Networks, Inc. End-to-End Content Delivery Network Incorporating Independently Operated Transparent Caches and Proxy Caches
CN102984161A (zh) * 2012-12-05 2013-03-20 北京奇虎科技有限公司 一种可信网站的识别方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146022A (zh) * 2006-09-11 2008-03-19 思华科技(上海)有限公司 节点重叠内容分发网络
CN101242307A (zh) * 2008-02-01 2008-08-13 刘峰 用嵌入代码代理日志实现网站访问分析系统与方法
CN101567796A (zh) * 2009-05-19 2009-10-28 中兴通讯股份有限公司 一种内容分片的多媒体网络及其业务方法
CN102045679A (zh) * 2009-10-20 2011-05-04 中国移动(深圳)有限公司 一种漫游计费中漫游数据报告发送和接收方法及服务器
CN101877709A (zh) * 2010-06-30 2010-11-03 北京世纪互联宽带数据中心有限公司 多媒体安全信令系统
US20130046883A1 (en) * 2011-08-16 2013-02-21 Edgecast Networks, Inc. End-to-End Content Delivery Network Incorporating Independently Operated Transparent Caches and Proxy Caches
CN102289524A (zh) * 2011-09-26 2011-12-21 深圳市万兴软件有限公司 一种数据恢复方法及系统
CN102810138A (zh) * 2012-06-19 2012-12-05 北京奇虎科技有限公司 一种用户端文件的修复方法和系统
CN102984161A (zh) * 2012-12-05 2013-03-20 北京奇虎科技有限公司 一种可信网站的识别方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104426925A (zh) * 2013-08-21 2015-03-18 腾讯科技(深圳)有限公司 网页资源获取方法及装置
CN104426925B (zh) * 2013-08-21 2019-11-08 腾讯科技(深圳)有限公司 网页资源获取方法及装置
CN104182321A (zh) * 2014-02-24 2014-12-03 无锡天脉聚源传媒科技有限公司 一种访问错误的监控方法及装置
CN104618948A (zh) * 2015-02-12 2015-05-13 中国联合网络通信集团有限公司 一种监控上传文件的方法和系统
CN105141666A (zh) * 2015-07-29 2015-12-09 江苏天联信息科技发展有限公司 信息数据存储方法及装置
CN105141666B (zh) * 2015-07-29 2018-12-14 江苏天联信息科技发展有限公司 信息数据存储方法及装置
CN108121711A (zh) * 2016-11-28 2018-06-05 北京国双科技有限公司 一种数据处理方法和客户端设备
CN109756581A (zh) * 2019-03-06 2019-05-14 珠海金山网络游戏科技有限公司 一种文件传输系统及方法、一种计算设备及存储介质
CN109756581B (zh) * 2019-03-06 2021-11-09 珠海金山网络游戏科技有限公司 一种文件传输系统及方法、一种计算设备及存储介质
CN111190868A (zh) * 2020-01-02 2020-05-22 中国建设银行股份有限公司 一种文件处理方法和装置

Also Published As

Publication number Publication date
CN103248707B (zh) 2016-12-28

Similar Documents

Publication Publication Date Title
CN103248707A (zh) 文件访问方法、系统以及设备
CN107943951B (zh) 一种区块链业务信息的检索方法及系统
CN103248695A (zh) 文件下载方法、系统及cdn中的服务器节点
CN102200980B (zh) 一种提供网络资源的方法及系统
CN103078945B (zh) 对浏览器崩溃数据进行处理的方法与系统
US20140129624A1 (en) Bt offline data download system and method, and computer storage medium
CN107590275B (zh) 一种数据查询方法和装置
CN102882991A (zh) 一种浏览器及其进行域名解析的方法
CN101369280A (zh) 一种数字电视终端网页浏览的方法和装置
US10979532B2 (en) Resource download method, electronic device, and apparatus
CN103019879A (zh) 浏览器崩溃信息的处理方法及系统
CN103281394A (zh) 文件获取方法、节点服务器和系统
CN107239701B (zh) 识别恶意网站的方法及装置
CN102855334A (zh) 一种浏览器及其获取dns解析数据的方法
CN107580052B (zh) 自演进的网络自适应爬虫方法及系统
CN102982162A (zh) 网页信息的获取系统
CN104239353B (zh) 一种web分类控制和日志审计的方法
CN103034540A (zh) 分布式消息系统及其设备和协调方法
CN110851681A (zh) 爬虫处理方法、装置、服务器及计算机可读存储介质
CN108132948B (zh) 处理爬取网页的方法和装置
CN102902784A (zh) 网页分类存储系统及方法
CN108664493B (zh) 统计url是否有效的方法、装置、电子设备和存储介质
CN102929943A (zh) 数据输出方法及装置
CN111381812B (zh) 程序发布方法、调用方法、装置、存储介质和计算机设备
CN103152381A (zh) 一种对浏览器崩溃数据进行处理的方法和服务器系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Hu Zhenyong

Inventor after: Liu Hao

Inventor after: Wang Pengcheng

Inventor after: Wang Li

Inventor after: Cao Shu

Inventor before: Hu Zhenyong

Inventor before: Liu Hao

Inventor before: Wang Pengcheng

Inventor before: Wang Li

COR Change of bibliographic data
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220727

Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015

Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee before: Qizhi software (Beijing) Co.,Ltd.

TR01 Transfer of patent right