CN114124939A - 一种预缓存文件处理方法、装置及文件预缓存系统 - Google Patents

Abstract

本发明公开了一种文件预缓存处理方法、装置及文件预缓存系统，属于文件预缓存领域；预缓存时，在获取需要预缓存的文件后，根据预缓存信息将文件大小不大于预设值的目标文件进行打包得到打包文件；然后将打包文件分别发送到P2P和CDN，以供客户端优先从P2P下载后解包缓存，如果无法从P2P下载，则从CDN下载。本申请方案中通过将预缓存文件打包后发送给P2P，客户端能够从P2P下载打包文件后解包并缓存；使得可以通过P2P实现下载，减少使用HTTP方式下载的次数，有效降低下载文件所需要的CDN带宽，降低了带宽成本；同时由于将文件大小不大于预设值的目标文件打包为打包文件，使得文件的数量变少，更加适用于P2P传输方式，占用空间小，消息交互少，传输速率高。

Description

一种预缓存文件处理方法、装置及文件预缓存系统

技术领域

本发明涉及文件预缓存领域，特别地，涉及一种预缓存文件处理方法、装置及文件预缓存系统。

背景技术

现有客户端在更新时，待更新的文件较大时如果从服务器直接下载，更新速度非常慢。因此现有客户端一般会将待更新的文件预缓存在本地，以便更新时直接从本地获取更新文件，而不用从服务器直接下载。

而在预缓存时，由于预缓存的文件并不需要立即使用，而是下载后等待更新时才使用。因此客户端从服务器下载预缓存文件时，都是在不影响客户端与服务器的正常数据交互的情况下进行。

客户端从服务器下载预缓存文件时一般采用HTTP的下载方式，即服务器将文件发送到内容分发网络(Content Delivery Network,CDN)；用户通过发起HTTP请求从CDN下载文件使用。

然而，若预缓存文件较多，客户端下载文件时，会向CDN发起多个并行的HTTP请求，会占用服务器的传输控制协议(TCP，Transmission Control Protocol)连接文件，消耗大量CDN带宽，增加带宽成本，影响客户端与服务器正常交互。

发明内容

为了克服现有技术的不足，本发明提供一种预缓存文件处理方法、装置及文件预缓存系统，以解决在预缓存文件较多时，客户端通过HTTP的下载方式下载预缓存文件，会占用服务器的TCP连接文件，消耗大量CDN带宽，影响客户端与服务器正常交互的问题。

本发明解决其技术问题所采用的技术方案是：

第一方面，提供一种预缓存文件处理方法，包括以下步骤：

当接收到预缓存的指令时，获取需要预缓存的文件；

根据所述文件的预缓存信息，将文件大小不大于预设值的目标文件进行打包得到打包文件；

将所述打包文件发送到点对点网络，并生成所述打包文件的任务清单后，将所述任务清单发送给客户端，以便所述客户端根据所述任务清单，从所述点对点网络下载所述打包文件；所述任务清单包括下载所述打包文件的下载任务以及完成所述下载任务的下载路径。

进一步地，所述方法还包括：

在得到所述打包文件之后，将所述打包文件发送到内容分发网络，以便所述客户端在无法从所述点对点网络下载所述打包文件时，根据所述任务清单从所述内容分发网络下载并解包后进行缓存。

进一步地，所述根据所述文件的预缓存信息将文件大小不大于预设值的目标文件进行打包得到打包文件，包括：

获取所述目标文件的预缓存信息，所述预缓存信息包括所述目标文件的预估更新频率；

将所述预估更新频率在同一预设范围内的目标文件进行打包，得到所述打包文件。

进一步地，所述根据所述文件的预缓存信息将文件大小不大于预设值的目标文件进行打包得到打包文件，包括：

获取所述目标文件的预缓存信息，所述预缓存信息包括所述目标文件的预估更新频率；

将所述预估更新频率在同一预设范围内的目标文件进行打包，得到所述打包文件。

进一步地，所述根据所述文件的预缓存信息将文件大小不大于预设值的目标文件进行打包得到打包文件，包括：

获取所述目标文件的预缓存信息，所述预缓存信息包括所述目标文件的预估更新频率；

将所述预估更新频率在同一预设范围内的目标文件进行打包，得到所述打包文件。

进一步地，所述方法还包括：

当接收到文件改动请求时，确定待改动文件所属的目标打包文件；

判断所述待改动文件的文件大小与所述目标打包文件的文件大小的比值是否大于预设比值；

若大于，则利用所述待改动文件更新所述目标打包文件并重新分发到点对点网络和内容分发网络；若不大于，则将所述待改动文件发送到内容分发网络，并向所述客户端发送通知以便客户端从所述内容分发网络单独下载所述待改动文件。

进一步地，所述打包文件为无压缩的打包文件。

第二方面，提供一种预缓存文件处理装置，包括：

文件获取模块，用于当接收到预缓存的指令时，获取需要预缓存的文件；

文件打包模块，用于根据所述文件的预缓存信息，将文件大小不大于预设值的目标文件进行打包得到打包文件；

文件发送模块，用于将所述打包文件发送到点对点网络，并生成所述打包文件的任务清单后，将所述任务清单发送给客户端，以便所述客户端根据所述任务清单，从所述点对点网络下载所述打包文件；所述任务清单包括下载所述打包文件的下载任务以及完成所述下载任务的下载路径。

第三方面，提供一种预缓存文件处理方法，包括以下步骤：

接收服务器发送的所述打包文件的任务清单，所述任务清单包括下载所述打包文件的下载任务和完成所述下载任务的下载路径；

根据所述下载任务和下载路径从点对点网络下载所述下载任务对应的打包文件，所述打包文件为：所述服务器根据需要预缓存的文件的预缓存信息，将文件大小不大于预设值的目标文件进行打包后得到，并发送给所述点对点网络；

对已下载的打包文件进行解包，得到预缓存文件并保存所述预缓存文件。

进一步地，所述方法还包括：

获取所述点对点网络的传输端口的通讯情况；

当所述传输端口可通讯时，根据所述校验码从点对点网络下载所述校验码对应的打包文件；当所述传输端口无法通讯时，从内容分发网络下载需要下载的打包文件，所述内容分发网络包含所述服务器发送的所述打包文件。

进一步地，所述方法还包括：

接收所述服务器发送的待改动文件的更新清单，所述待改动文件的文件大小与待改动文件所属的目标打包文件的文件大小的比值不大于预设比值；

根据所述更新清单从所述内容分发网络下载所述待改动文件并保存。

进一步地，所述方法还包括：

当接收到文件查找指令后，在已保存的预缓存文件中查找待查找的文件并发送给所述文件查找指令的发送方；若未查找到，则从内容分发网络下载所述待查找的文件，并保存后发送给所述发送方。

进一步地，所述方法还包括：

获取已保存的预缓存文件的保存时长；

删除保存时长大于预设时长的已保存的预缓存文件。

第四方面，提供一种预缓存文件处理装置，包括：

清单接收模块，用于接收服务器发送的所述打包文件的任务清单，所述任务清单包括下载所述打包文件的下载任务和完成所述下载任务的下载路径；

文件下载模块，用于根据所述校验码从点对点网络下载所述校验码对应的打包文件，所述打包文件为：所述服务器根据需要预缓存的文件的预缓存信息，将文件大小不大于预设值的目标文件进行打包后得到，并发送给所述点对点网络；

解包保存模块，用于对已下载的打包文件进行解包，得到预缓存文件并保存所述预缓存文件。

第五方面，提供一种文件预缓存系统，包括：

用于执行上述第一方面提供的技术方案中任一项所述方法的服务器；

用于执行上述第三方面提供的技术方案中任一项所述方法的客户端。

有益效果：

本申请技术方案采用一种文件预缓存处理方法、装置及文件预缓存系统，其中文件预缓存处理方法包括：当接收到预缓存的指令时，首先获取需要预缓存的文件，然后根据文件的预缓存信息将文件大小不大于预设值的目标文件进行打包得到打包文件；最后将打包文件分别发送到点对点网络，并生成任务清单后将任务清单发送给客户端，以供客户端根据任务清单内的下载任务和下载路径从点对点网络下载打包文件后解包缓存。本申请方案中在预缓存时，根据预缓存信息将需要预缓存的文件打包后发送给点对点网络，客户端能够从点对点网络下载打包文件后解包并缓存；使得可以通过点对点网络实现下载预缓存文件，减少使用HTTP方式下载的次数，有效降低下载文件所需要的CDN带宽，降低了带宽成本；同时由于将文件大小不大于预设值的目标文件打包为打包文件，使得文件的数量变少，更加适用于点对点网络传输方式，具有占用空间小，消息交互少，传输速率高等优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种预缓存文件处理方法流程图；

图2是本发明实施例提供的图1所述方法的具体处理方法流程图；

图3是本发明实施例提供的一种预缓存文件处理装置结构示意图；

图4是本发明实施例提供的另一种预缓存文件处理方法流程图；

图5是本发明实施例提供的另一种预缓存文件处理装置结构示意图；

图6是本发明实施例提供的一种文件预缓存系统工作流程示意图；

图7是本发明实施例提供的图6所述系统中预分发文件发送的时序图；

图8是本发明实施例提供的图6所述系统中预分发文件下载的时序图；

图9是本发明实施例提供的图6所述系统中文件查找的时序图；

图10是本发明实施例提供的图6所述系统中文件更新的时序图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明的技术方案进行详细的描述说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。

点对点网络(P2P)最初的含义是Peer-to-peer，之后的含义是Point to point(点对点)。P2P已经被更广泛的理解为Pointer-to-Pointer，PC-to-PC等等。简单来说，P2P就是指数据的传输不再通过服务器，而是网络用户之间直接传递数据。

现有预缓存方式中，由于P2P系统里，对每个文件都需要进行管理，如果发送的文件数量多，会占据更多的存储空间，且降低P2P文件的查询速度。另外，P2P传输时需要额外的消息交互(比如种子节点查询等)。而需要预缓存的文件中存在一些文件小且不经常更新的文件；而且这些文件数量非常多，如采用P2P传输，占据存储空间较多，P2P查询速度较慢，传输速率较低；因此现有技术都是将这些数量较多的小文件发送到CDN中，通过超文本传输协议(Hyper Text Transfer Protocol，HTTP)进行下载；但是此时消耗大量CDN带宽，增加带宽成本。

为解决上述问题，第一实施例中，本发明提供一种预缓存文件处理方法，参照图1，包括以下步骤：

S1：当接收到预缓存的指令时，获取需要预缓存的文件；

S2：根据文件的预缓存信息，将文件大小不大于预设值的目标文件进行打包得到打包文件；

S3：将打包文件发送到点对点网络，并生成打包文件的任务清单后，将任务清单发送给客户端，以便客户端根据任务清单，从点对点网络下载打包文件；任务清单包括下载打包文件的下载任务以及完成下载任务的下载路径。

本发明实施例提供的一种预缓存文件处理方法，当接收到预缓存的指令时，首先获取需要预缓存的文件，然后根据文件的预缓存信息将文件大小不大于预设值的目标文件进行打包得到打包文件；最后将打包文件分别发送到点对点网络，并生成任务清单后将任务清单发送给客户端，以供客户端根据任务清单内的下载任务和下载路径从点对点网络下载打包文件后解包缓存。本申请方案中在预缓存时，根据预缓存信息将需要预缓存的文件打包后发送给点对点网络，客户端能够从点对点网络下载打包文件后解包并缓存；使得可以通过点对点网络实现下载预缓存文件。

为了对第一实施例的方案进行补充说明，第二实施例中，本发明还提供一种具体的预缓存文件处理方法，应用于服务器端，如图2所示，包括以下步骤：

S1：当接收到预缓存的指令时，获取需要预缓存的文件；

S2：根据文件的预缓存信息，将文件大小不大于预设值的目标文件进行打包得到打包文件；得到打包文件后进行步骤S3和S4。

可以理解的是，预设值根据实际需求可以设定。示例性的，预设值采用8Mb，即将小于等于8Mb的文件进行打包得到打包文件。此外，对于大于预设值的文件，按照本领域常规手段进行处理，本申请不做限定。

在实际使用过程中，打包后的文件是需要确定大小的，太大也不适合P2P传输，太小也会造成节点登记内容浪费，因此本发明实施例还包括判断打包后得到的打包文件的文件大小，当打包后得到打包文件的文件大小在预设范围内时，将此时的打包文件作为最终的打包文件。预设范围根据实际情况设置，本申请不做限定。

由于压缩打包时，需要耗费一定时间；因此，优选地，本发明实施例在打包时采用无压缩打包的方式，无压缩打包，打包速度快，客户端下载后解包速度也快，能够大大加快文件缓存速率。

由于采用无压缩打包，判断打包后得到的打包文件的文件大小可以根据打包前所有目标文件的大小进行判断。可以理解的是，即使采用压缩打包的方式，也可以在进行压缩操作前提前获取压缩后得到压缩文件的大小，该方式为压缩时常用方式，在此不再详述。

一些实施例中，当打包前，文件大小不大于预设值的所有目标文件的文件大小小于预设范围的最小值时，获取目标文件的预估更新时刻和当前时刻，当当前时刻与预估更新时刻的差值不大于预设差值时，将所有目标打包文件进行打包。当当前时刻与预估更新时刻的差值大于预设差值时，等待其他预缓存任务，将其他预缓存任务的目标文件进行打包。其中，预估更新时刻为客户端使用预缓存文件的时刻，根据实际情况设置。同样的，预设差值可以根据实际需求设置。

另一些实施例中，当打包前，文件大小大于预设值的所有目标文件的文件大小小于预设范围的最大值时，根据预缓存信息进行分类打包，以使每类打包后得到的打包文件的文件大小都在预设范围内。当其中一类或几类得到的打包文件大小小于预设范围的最小值时，根据上述实施例中当前时刻与预估更新时刻的差值判断。

可以理解的，当打包前，文件大小大于预设值的所有目标文件的文件大小小于预设范围的最大值时，也可以不进行分类无压缩打包，直接采用整体压缩打包，使打包文件的文件大小在预设范围内。

其中，预缓存信息包括但不限于以下任意一种或几种：预估更新频率、所属业务和所属业务间的耦合度以及文件类型。

一个实施例中，当预缓存信息为预估更新频率时，根据预缓存信息进行分类打包包括：获取目标文件的预估更新频率；将预估更新频率在同一预设范围内的目标文件进行打包，得到打包文件。本实施例中仅根据预估更新频率进行打包，更新频率相同的预缓存文件在更新时一般需要同时使用，因此为了在某些文件需要更新时，仅更新对应的打包文件，避免对整体文件产生影响，根据预估更新频率进行打包。

当一次预缓存时目标文件过多，且预估更新频率基本相同时，仅根据预估更新频率可能得到的打包文件仍不在预设范围内，因此另一个实施例中，预缓存信息为预估更新频率和所属业务，根据预缓存信息进行分类打包包括：根据文件信息中的所属业务及预估更新频率，对目标文件进行打包得到打包文件。具体地，将目标文件按照所属业务进行分类得到每类业务的目标文件集合；将每类业务的目标文件集合中，预估更新频率在同一预设范围内的目标文件进行打包，得到打包文件。预估更新频率可以由后台人员定义；也可以由服务器根据其在所属业务中的功能或者分类进行划分，示例性的，根据文件在所属业务中的功能或者分类对应的更新频率构建神经网络模型，训练模型，最后得到一个只要输入文件的所属业务以及在所属业务的功能或者分类即可得到该文件的预估更新频率。示例性的预设范围分为更新频率高、更新频率中、更新频率低三种范围，每种预设范围的具体频率值根据实际需求设定。本实施例中先根据所属业务进行分类，然后根据单业务中预估更新频率再次分类后打包，这样得到的打包文件归属于一个业务，更新时相同业务同时下载缓存。

另一个实施例中，预缓存信息为预估更新频率和所属业务以及所属业务的耦合度，根据预缓存信息进行分类打包包括：

判断目标文件的所属业务间的耦合度，当业务间耦合度高时，将业务间耦合度高的目标文件放入一个文件集合中；获取每个文件集合中目标文件的预估更新频率，将每个文件集合中预估更新频率在同一预设范围的目标文件进行打包得到打包文件，当业务间耦合度高时，目标文件所属业务间的依赖性较强，经常会被同时下载缓存，因此可将这些耦合度高的分属不同业务的目标文件一起打包，再结合预估更新频率，打包成不同的文件；当业务间耦合度低时，不同所属业务对应的目标文件分别打入不同的业务文件集合中，每个业务文件集合中仅包含同一个业务的目标文件，每个业务文件集合中的目标文件再按目标文件的预估更新频度进行打包得到打包文件。

需要说明的是，判断目标文件的所属业务间的耦合度，可以由人定义任意两个业务间耦合度；也可以根据预缓存的历史记录进行判断。一些实施例中，根据预缓存的历史记录进行判断为：在预缓存时，获取预设周期内，两个业务的文件被同时下载的次数，根据次数判断两个业务间耦合度的高低。其中，根据次数判断两个业务间耦合度的高低，可以将次数与预设次数比较，大于预设次数则为耦合度高，低于预设次数则为耦合度低；或者，获取预设周期内两个业务被下载的总次数，若同时下载使用次数占总次数的比值大于预设比值，则耦合度高；若同时下载使用次数占总次数的比值不大于预设比值则耦合度低。

本实施例中先根据业务间的耦合度对归属不同业务的目标文件进行分类，然后再根据预估更新频率进行打包，可以将业务依赖性较强的、分数不同业务的目标文件一起打包，更新时同时下载缓存，方便使用。

另一个实施例中，在采用压缩打包的方式时，预缓存信息还包括文件类型，文件类型包括但不限于图片类型和文本类型，如果通过上述任一实施例进行打包后得到的打包文件仍然过大，可以根据目标文件的文件类型进行进一步分类，因为图片类型的目标文件压缩效率较低，但是文本类型的目标文件压缩效率高，根据文件类型进一步划分，可以有效提高压缩打包的效率。

需要说明的是，本发明实施例中打包文件的格式包括但不限于：ZIP，RAR和RARS。

S21：在进行打包得到打包文件之后，生成打包文件的任务清单并发送给客户端。其中，任务清单内包括下载打包文件的下载任务以及完成下载任务的下载路径，其中下载任务包括需要下载的打包文件的名称、文件大小，下载路径包括从P2P下载和从CDN下载的路径；其中从CDN下载时使用统一资源定位符(uniform resource locator；URL)以及从P2P下载时使用校验码，优选地，本发明实施例中校验码为哈希值。

S3：将打包文件发送到点对点网络，以便客户端从点对点网络下载打包文件并解包后进行缓存。其中，客户端从P2P下载打包文件为根据任务清单中的哈希值从P2P中下载打包文件。

S4：在得到打包文件之后，将打包文件发送到内容分发网络，以便客户端在无法从点对点网络下载打包文件时根据任务清单从内容分发网络下载并解包后进行缓存。客户端根据任务清单中打包文件的URL对打包文件进行下载。在实际使用过程中，有的路由器会限制P2P的UDP端口。因此需要将打包文件发送到CDN中，以免P2P被限制后，客户端无法下载打包文件。

S5：经过S3和S4后，接收到文件改动请求；

S51：确定待改动文件所属的目标打包文件；

S52：判断待改动文件的文件大小与目标打包文件的文件大小的比值是否大于预设比值；若大于则执行S53，若不大于则执行S54；示例性的，预设比值为30％。根据改动文件的大小的不同采用不同的更新方式，节约文件更新时的冗余流量消耗；

S53：利用待改动文件更新目标打包文件并重新分发到点对点网络和内容分发网络；

S54：将待改动文件发送到内容分发网络，并向客户端发送通知以便客户端从内容分发网络单独下载待改动文件。

其中，向客户端发送通知为：将需要下载的待改动文件的信息发送给客户端，客户端接到信息后，下载待改动文件并替换已缓存的文件。

本发明实施例提供的具体的预缓存文件处理方法，在对文件大小不大于预设值的预缓存文件进行打包时，根据预缓存信息进行打包，以便需要使用预缓存文件时减少需要下载打包文件的数量；生成任务清单并发送到客户端，然后将打包文件分别发送到P2P和CDN中，以使客户端能够根据任务清单预先从P2P下载打包文件；如果客户端无法从P2P下载打包文件，则从CND通过HTTP方式下载打包文件，保证在P2P受限时，仍可以下载打包文件。在预缓存文件需要改动时，根据待改动文件的多少采用不同的更新方式；如果待改动文件较多(即待改动文件的文件大小与目标打包文件的文件大小的比值大于预设比值)，则更新目标打包文件，并重新分发到P2P和CDN；如果待改动文件较少(即待改动文件的文件大小与目标打包文件的文件大小的比值不大于预设比值)，则只将待改动文件发送到CDN，然后向客户端发送通知，以便客户端从CDN单独下载该待改动文件。此外，打包时采用无压缩打包方式，客户端解包快，效率高。

第三实施例，本发明提供一种预缓存文件处理装置，如图3所示，包括：

文件获取模块31，用于当接收到预缓存的指令时，获取需要预缓存的文件。

文件打包模块32，用于根据文件的预缓存信息将文件大小不大于预设值的目标文件进行打包得到打包文件；

具体地，文件打包模块32获取目标文件的预缓存信息，预缓存信息包括目标文件的预估更新频率；将预估更新频率在同一预设范围内的目标文件进行打包，得到打包文件。其中，预缓存信息还包括目标文件的所属业务；根据文件的预缓存信息将文件大小不大于预设值的目标文件进行打包得到打包文件，包括：将目标文件按照所属业务进行分类得到每类业务的目标文件集合；将每类业务的目标文件集合中，预估更新频率在同一预设范围内的目标文件进行打包，得到打包文件。

优选地，文件打包模块32得到的打包文件为无压缩的打包文件。

文件发送模块33，用于将打包文件发送到点对点网络，以便客户端从点对点网络下载打包文件并解包后进行缓存。

文件发送模块33还用于在得到打包文件之后，将打包文件发送到内容分发网络。

还包括，清单生成模块34，用于在进行打包得到打包文件之后，生成打包文件的任务清单并通过文件发送模块33发送给客户端；以便客户端根据任务清单从点对点网络或内容分发网络下载打包文件。

作为本发明实施例一种可选的实施例，还包括文件改动模块35，用于当接收到文件改动请求时，确定待改动文件所属的目标打包文件；判断待改动文件的文件大小与目标打包文件的文件大小的比值是否大于预设比值；若大于，则利用待改动文件更新目标打包文件并通过文件发送模块33重新分发到点对点网络和内容分发网络；若不大于，则将文件发送模块33待改动文件发送到内容分发网络，并向客户端发送通知以便客户端从内容分发网络单独下载待改动文件。

本发明实施例提供的预缓存文件处理装置，文件获取模块获取需要预缓存的文件；文件打包模块根据文件的预缓存信息将文件大小不大于预设值的目标文件进行打包得到打包文件；文件发送模块将打包文件发送到P2P和CDN，以便客户端从P2P下载打包文件并解包后进行缓存，以及在P2P受限时从CDN下载打包文件并解包后进行缓存。在进行打包得到打包文件之后，清单生成模块生成打包文件的任务清单并发送给客户端；以便客户端根据任务清单从P2P或CDN下载打包文件。当接收到文件改动请求时，文件改动模块确定待改动文件所属的目标打包文件；判断待改动文件的文件大小与目标打包文件的文件大小的比值是否大于预设比值；若大于，则利用待改动文件更新目标打包文件并重新分发到P2P和CDN；若不大于，则将待改动文件发送到CDN，并向客户端发送通知以便客户端从CDN单独下载待改动文件。本发明实施例提供的预缓存文件处理装置，使得客户端能够从P2P下载打包文件后解包并缓存；使得可以通过P2P实现下载，减少使用HTTP方式下载的次数，有效降低下载文件所需要的CDN带宽，降低了带宽成本；同时由于将文件大小不大于预设值的目标文件打包为打包文件，使得文件的数量变少，更加适用于P2P传输方式，占用空间小，消息交互少，传输速率高。并在P2P不能使用时，从CDN下载打包文件，有效保证打包文件的下载。更新时也可以根据待改动文件的多少进行不同方式更新，使用更加方便。

第四实施例中，本发明提供另一种预缓存文件处理方法，如图4所示，应用于客户端，包括以下步骤：

S6：接收服务器发送的打包文件的任务清单，任务清单包括下载打包文件的下载任务和完成下载任务的下载路径；

S7：获取点对点网络的传输端口的通讯情况；当传输端口可通讯时，执行S71；当传输端口无法通讯时，执行S72；

S71：根据下载任务和下载路径从点对点网络下载校验码对应的打包文件，打包文件为：服务器根据需要预缓存的文件的预缓存信息，将文件大小不大于预设值的目标文件进行打包后得到，并发送给点对点网络；

S72：从内容分发网络下载需要下载的打包文件，内容分发网络包含服务器发送的打包文件；具体地，根据下载任务和下载路径，从内容分发网络下载该下载任务对应的打包文件；

S8：对已下载的打包文件进行解包，得到预缓存文件并保存预缓存文件；

S81：接收服务器发送的待改动文件的更新清单，待改动文件的文件大小与待改动文件所属的目标打包文件的文件大小的比值不大于预设比值；根据更新清单从内容分发网络下载待改动文件并保存。

S82：当接收到文件查找指令后，在已保存的预缓存文件中查找待查找的文件并发送给文件查找指令的发送方；若未查找到，则从内容分发网络下载待查找的文件，并保存后发送给发送方；

S83：获取已保存的预缓存文件的保存时长；删除保存时长大于预设时长的已保存的预缓存文件。

本发明实施例中提供的另一种预缓存文件处理方法，当接收到服务器发送的打包文件的任务清单时，优先根据任务清单从P2P下载打包文件；如无法从P2P下载，则根据任务清单从CDN进行下载，保证能够下载到打包文件。当接收到服务器发送的更新清单后，说明待改动文件较少，因此从CDN下载待改动文件，待改动文件少时，仅从CDN下载，避免冗余下载。当接收到文件查找指令后，邮箱在已保存的预缓存文件中查找并发送给发送方；若未查找到，则从CDN下载后保存并发送给发送方，若已保存则无需去下载，减少CDN带宽使用；而且还获取预缓存文件的保存时长，删除保存时长大于预设时长的预缓存文件，降低存储压力，节省存储空间。

第五实施例中，本发还提供另一种预缓存文件处理装置，如图5所示，包括：

清单接收模块51，用于接收服务器发送的打包文件的任务清单，任务清单包括下载打包文件的下载任务和完成下载任务的下载路径；

文件下载模块52，用于获取点对点网络的传输端口的通讯情况；

当传输端口可通讯时，文件下载模块52根据下载任务和下载路径从点对点网络下载任务对应的打包文件，打包文件为：服务器根据需要预缓存的文件的预缓存信息，将文件大小不大于预设值的目标文件进行打包后得到，并发送给点对点网络；

当传输端口无法通讯时，文件下载模块52从内容分发网络下载需要下载的打包文件，内容分发网络包含服务器发送的打包文件。具体地，文件下载模块52根据任务清单中的下载任务和下载路径，从内容分发网络下载该下载任务对应的打包文件。

解包保存模块53，用于对已下载的打包文件进行解包，得到预缓存文件并保存预缓存文件。

作为本发明实施例一种可选的实现方式，还包括文件更新模块54，用于接收服务器发送的待改动文件的更新清单，待改动文件的文件大小与待改动文件所属的目标打包文件的文件大小的比值不大于预设比值；根据更新清单从内容分发网络下载待改动文件并保存。

可选地，还包括文件查找模块55，用于当接收到文件查找指令后，在已保存的预缓存文件中查找待查找的文件并发送给文件查找指令的发送方；若未查找到，则从内容分发网络下载待查找的文件，并保存后发送给发送方。

可选地，还包括文件删除模块56，用于获取已保存的预缓存文件的保存时长；删除保存时长大于预设时长的已保存的预缓存文件。

本发明实施例提供的另一种预缓存文件处理装置，清单接收模块接收服务器发送的打包文件的任务清单；文件下载模块根据任务清单从P2P或CDN下载下载任务对应的打包文件，打包文件为：服务器将需要预缓存的文件中的文件大小不大于预设值的目标文件进行打包后得到；解包保存模块对已下载的打包文件进行解包，得到预缓存文件并保存预缓存文件。文件更新模块接收服务器发送的待改动文件的更新清单；根据更新清单从内容分发网络下载待改动文件并保存。当接收到文件查找指令后，文件查找模块在已保存的预缓存文件中查找待查找的文件并发送给文件查找指令的发送方；若未查找到，则CDN下载待查找的文件，并保存后发送给发送方。文件删除模块获取已保存的预缓存文件的保存时长；删除保存时长大于预设时长的已保存的预缓存文件。本发明实施例提供的另一种预缓存文件处理装置，优先根据任务清单从P2P下载打包文件；如无法从P2P下载，则根据任务清单从CDN进行下载，保证能够下载到打包文件。当接收到服务器发送的更新清单后，说明待改动文件较少，因此从CDN下载待改动文件，待改动文件少时，仅从CDN下载，避免冗余下载。当接收到文件查找指令后，邮箱在已保存的预缓存文件中查找并发送给发送方；若未查找到，则从CDN下载后保存并发送给发送方，若已保存则无需去下载，减少CDN带宽使用；而且还获取预缓存文件的保存时长，删除保存时长大于预设时长的预缓存文件，降低存储压力，节省存储空间。

第六实施例中，本发明提供一种文件预缓存系统，包括：用于执行第一实施例或第二实施例提供的预缓存文件处理方法的服务器；以及用于执行第四实施例提供的预缓存文件处理方法的APP客户端。

其中，本发明实施例提供的系统的工作流程如图6所示，包括以下步骤：

1)预处理

服务器将APP客户端要缓存的小资源文件(即预缓存文件)按照所属业务及预估更新频率进行分类打包。比如某次预分发任务会分发N张图片，那么对这N张图片按更新频率和关联度进行分类，极少更新的打包为A.ZIP，更新频率一般的打包为B.ZIP，频繁更新的打包为C.ZIP。需要说明的是：打包时不对文件进行压缩，以便客户端后续下载到文件后可以更快解包)；

打包结束后，生成任务清单，包括文件原始下载URL。

按预估更新频率打包，是为了在某些文件需要更新时，仅更新对应的ZIP包，避免对整体文件产生影响。

2)分发与推送

将预处理后的ZIP包文件分发到CDN，计算文件哈希值并推送到P2P节点。

步骤1)和步骤2)的时序图如图7所示。

3)下发预缓存任务给客户端

服务器将哈希值添加到任务清单中，将任务清单发送给APP客户端。

4)APP客户端获取任务清单，优先通过P2P下载各ZIP包，如果P2P通道受限，则通过HTTP方式从CDN下载。ZIP包下载完成后，将包内文件解压到缓存目录。

步骤3)和步骤4)的时序图如图8所示。

5)参考图9提供的时序图，在需要使用文件时，先从缓存目录中查找本地缓存文件，如果查找到，则从缓存目录中直接返回文件；如果未查找到，则通过HTTP方式直接从CDN下载。

6)参考图10提供的时序图，在预分发资源后，如果需要修改或添加某些文件，视更新文件多少做不同的处理。

若改动文件较多，如占比30％以上，则服务器直接更新对应的ZIP包，重新分发到CDN并推送到P2P系统，改动的文件也需要分发到CDN；

若改动文件较少，为避免已下载对应ZIP包的APP客户端重新下载新的ZIP包带来数据冗余下载的问题，将改动后的文件分发到CDN，再通过差量下发方式通知APP客户端以CDN方式下载更新后的文件。

改动后的更新清单重新推送到APP客户端，APP客户端收到清单后，下载更新后的资源再更新本地缓存。

本发明实施例提供的文件预缓存系统，服务器将文件大小不大于预设值的预缓存文件进行打包，然后发送给P2P和CDN，这样APP客户端优先从P2P下载打包文件，无需使用CDN，降低了CDN带宽的消耗。如果P2P受限，则APP客户端从CDN下载打包文件，保证打包文件能够下载。如果需要改动时，服务器根据改动文件的多少进行不同方式处理，便于保证改动文件传输的同时，尽量减少数据冗余下载。在使用APP客户端缓存的文件时，优先在APP客户端已缓存的文件内查找，如果查找不到，则再从CDN下载，避免直接从CDN下载，降低CDN带宽的使用。APP客户端内已缓存的文件如果缓存时间较长，则删除该缓存文件，及时清理缓存，降低存储压力。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，但是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种预缓存文件处理方法，其特征在于，包括以下步骤：

当接收到预缓存的指令时，获取需要预缓存的文件；

根据所述文件的预缓存信息，将文件大小不大于预设值的目标文件进行打包得到打包文件；

将所述打包文件发送到点对点网络，并生成所述打包文件的任务清单后，将所述任务清单发送给客户端，以便所述客户端根据所述任务清单，从所述点对点网络下载所述打包文件；所述任务清单包括下载所述打包文件的下载任务以及完成所述下载任务的下载路径。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在得到所述打包文件之后，将所述打包文件发送到内容分发网络，以便所述客户端在无法从所述点对点网络下载所述打包文件时，根据所述任务清单从所述内容分发网络下载并解包后进行缓存。

3.根据权利要求1所述的方法，其特征在于：所述根据所述文件的预缓存信息将文件大小不大于预设值的目标文件进行打包得到打包文件，包括：

获取所述目标文件的预缓存信息，所述预缓存信息包括所述目标文件的预估更新频率；

将所述预估更新频率在同一预设范围内的目标文件进行打包，得到所述打包文件。

4.根据权利要求3所述的方法，其特征在于：所述预缓存信息还包括所述目标文件的所属业务；所述根据所述文件的预缓存信息将文件大小不大于预设值的目标文件进行打包得到打包文件，包括：

将所述目标文件按照所述所属业务进行分类得到每类业务的目标文件集合；

将所述每类业务的目标文件集合中，预估更新频率在同一预设范围内的目标文件进行打包，得到打包文件。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当接收到文件改动请求时，确定待改动文件所属的目标打包文件；

判断所述待改动文件的文件大小与所述目标打包文件的文件大小的比值是否大于预设比值；

若大于，则利用所述待改动文件更新所述目标打包文件并重新分发到点对点网络和内容分发网络；若不大于，则将所述待改动文件发送到内容分发网络，并向所述客户端发送通知以便客户端从所述内容分发网络单独下载所述待改动文件。

6.一种预缓存文件处理装置，其特征在于，包括：

文件获取模块，用于当接收到预缓存的指令时，获取需要预缓存的文件；

文件打包模块，用于根据所述文件的预缓存信息将文件大小不大于所述预设值的目标文件进行打包得到打包文件；

文件发送模块，用于将所述打包文件发送到点对点网络，并生成所述打包文件的任务清单后将所述任务清单发送给客户端，所述任务清单包括下载所述打包文件的下载任务以及完成所述下载任务的下载路径。

7.一种预缓存文件处理方法，其特征在于，包括以下步骤：

接收服务器发送的所述打包文件的任务清单，所述任务清单包括下载所述打包文件的下载任务和完成所述下载任务的下载路径；

根据所述下载任务和下载路径从点对点网络下载所述下载任务对应的打包文件，所述打包文件为：所述服务器根据需要预缓存的文件的预缓存信息，将文件大小不大于预设值的目标文件进行打包后得到，并发送给所述点对点网络；

对已下载的打包文件进行解包，得到预缓存文件并保存所述预缓存文件。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

获取所述点对点网络的传输端口的通讯情况；

当所述传输端口可通讯时，根据所述下载任务和下载路径从点对点网络下载所述下载任务对应的打包文件；当所述传输端口无法通讯时，根据所述下载任务和下载路径从内容分发网络下载所述下载任务对应的的打包文件，所述内容分发网络包含所述服务器发送的所述打包文件。

9.一种预缓存文件处理装置，其特征在于，包括：

清单接收模块，用于接收服务器发送的所述打包文件的任务清单，所述任务清单包括下载所述打包文件的下载任务和完成所述下载任务的下载路径；

文件下载模块，用于根据所述下载任务和下载路径从点对点网络下载所述下载任务对应的打包文件，所述打包文件为：所述服务器根据需要预缓存的文件的预缓存信息，将文件大小不大于预设值的目标文件进行打包后得到，并发送给所述点对点网络；

解包保存模块，用于对已下载的打包文件进行解包，得到预缓存文件并保存所述预缓存文件。

10.一种文件预缓存系统，其特征在于，包括：

用于执行权利要求1-5任一项所述方法的服务器；

用于执行权利要求7-8任一项所述方法的客户端。

Images