CN107908730B

CN107908730B - 一种下载数据的方法和装置

Info

Publication number: CN107908730B
Application number: CN201711122753.XA
Authority: CN
Inventors: 陈丽娟; 陈国鹏
Original assignee: Wangsu Science and Technology Co Ltd
Current assignee: Wangsu Science and Technology Co Ltd
Priority date: 2017-11-14
Filing date: 2017-11-14
Publication date: 2021-02-02
Anticipated expiration: 2037-11-14
Also published as: CN107908730A

Abstract

本发明公开了一种下载数据的方法和装置，属于数据存储技术领域。所述方法包括：缓存服务器确定本地已存储的待补充的至少一个不完整资源，当满足预设的下载触发条件时，缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据，当检测到预设的停止下载事件时，缓存服务器停止下载所述剩余数据。采用本发明，可以提高数据资源的获取效率。

Description

一种下载数据的方法和装置

技术领域

本发明涉及数据存储技术领域，特别涉及一种下载数据的方法和装置。

背景技术

随着互联网技术的不断进步，CDN(内容分发网络，Content Delivery Network)服务也随之快速发展。CDN服务集群中包括大量用于存储数据资源的缓存服务器，用户可以以较短的时间，就近获取其中存储的数据资源。

当用户想要通过终端获取某个数据资源时，如想要观看视频或者下载文件，用户可以通过终端发送资源获取请求。CDN服务集群在接收到资源获取请求后，可以将其分发至一台缓存服务器，该缓存服务器中如果未存储有上述数据资源，则可以从相应的资源服务器中获取该数据资源，再将该数据资源反馈给终端，同时可以将数据资源存储在本地。这样，后续如果再接收到该数据资源的资源获取请求，缓存服务器则可以直接反馈本次存储的数据资源。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

如果用户仅想获取某一数据资源的部分内容，如只想看某一视频最后5分钟的内容，缓存服务器则只从资源服务器处获取相应部分的数据资源，而如果再有用户想要获取相同数据资源的全部或者其他未下载部分的内容，缓存服务器则需要与资源服务器再次建立连接，从资源服务器中重新下载该数据资源，这样，不仅容易造成缓存服务器中的资源存储冗余，并且数据资源的获取效率较低。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种下载数据的方法和装置。所述技术方案如下：

第一方面，提供了一种下载数据的方法，所述方法包括：

缓存服务器确定本地已存储的待补充的至少一个不完整资源；

当满足预设的下载触发条件时，缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据；

当检测到预设的停止下载事件时，缓存服务器停止下载所述剩余数据。

可选的，所述缓存服务器确定本地已存储的待补充的至少一个不完整资源，包括：

缓存服务器统计本地已存储的所有不完整资源的访问热度；

缓存服务器将访问热度大于预设阈值的至少一个不完整资源确定为待补充的不完整资源；

所述当满足预设的下载触发条件时，缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据，包括：

当满足预设的下载触发条件时，缓存服务器按照所述访问热度从高到低的顺序，自动下载并存储所述至少一个不完整资源的剩余数据。

可选的，所述当满足预设的下载触发条件时，缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据，包括：

如果当前时刻处于预设的流量低峰时段，缓存服务器则自动下载并存储所述至少一个不完整资源的剩余数据；或者，

如果检测到当前流量低于预设的第一流量阈值，缓存服务器则自动下载并存储所述至少一个不完整资源的剩余数据。

可选的，所述当检测到预设的停止下载事件时，缓存服务器停止下载所述剩余数据，包括：

如果当前时刻不属于预设的流量低峰时段，缓存服务器则停止下载所述剩余数据；或者，

如果检测到当前流量不低于预设的第二流量阈值，缓存服务器则停止下载所述剩余数据；或者，

如果所述不完整资源的剩余数据均下载完毕，缓存服务器则停止下载所述剩余数据。

可选的，所述缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据，包括：

缓存服务器根据历史时段内流量最高值、预设下载时长和待补充的不完整资源的剩余数据总量，确定下载任务的并发数量和每个下载任务的限速值；

缓存服务器基于所述并发数量和所述限速值，自动下载并存储所述至少一个不完整资源的剩余数据。

第二方面，提供了一种下载数据的装置，所述装置包括：

确定模块，用于确定本地已存储的待补充的至少一个不完整资源；

下载模块，用于当满足预设的下载触发条件时，自动下载并存储所述至少一个不完整资源的剩余数据；

停止模块，用于当检测到预设的停止下载事件时，停止下载所述剩余数据。

可选的，所述确定模块，具体用于：

统计本地已存储的所有不完整资源的访问热度；

将访问热度大于预设阈值的至少一个不完整资源确定为待补充的不完整资源；

所述下载模块，具体用于：

当满足预设的下载触发条件时，按照所述访问热度从高到低的顺序，自动下载并存储所述至少一个不完整资源的剩余数据。

可选的，所述下载模块，具体用于：

如果当前时刻处于预设的流量低峰时段，则自动下载并存储所述至少一个不完整资源的剩余数据；或者，

如果检测到当前流量低于预设的第一流量阈值，则自动下载并存储所述至少一个不完整资源的剩余数据。

可选的，所述停止模块，具体用于：

如果当前时刻不属于预设的流量低峰时段，则停止下载所述剩余数据；或者，

如果检测到当前流量不低于预设的第二流量阈值，则停止下载所述剩余数据；或者，

如果所述不完整资源的剩余数据均下载完毕，则停止下载所述剩余数据。

可选的，所述下载模块，具体用于：

根据历史时段内流量最高值、预设下载时长和待补充的不完整资源的剩余数据总量，确定下载任务的并发数量和每个下载任务的限速值；

基于所述并发数量和所述限速值，自动下载并存储所述至少一个不完整资源的剩余数据。

第三方面，提供了一种缓存服务器，所述缓存服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的下载数据的方法。

第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的下载数据的方法。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例中，缓存服务器确定本地已存储的待补充的至少一个不完整资源，当满足预设的下载触发条件时，缓存服务器自动下载并存储至少一个不完整资源的剩余数据，当检测到预设的停止下载事件时，缓存服务器停止下载剩余数据。这样，缓存服务器可以提前下载并存储本地不完整资源的剩余数据，当用户想要获取该数据资源的任何部分内容时，缓存服务器都可以直接将已缓存的相关数据反馈给用户，无需再次访问资源服务器，从而可以提高数据资源的获取效率。

更进一步的，通过设置下载触发条件，选择在流量低峰时段或者流量低峰期进行资源下载，不仅不会对用户访问速率等其他正常业务产生影响，而且可以充分利用该些剩余流量资源。通过对资源热度访问的统计来确定待补充的不完整资源，以更及时的对该些热度较高的待补充资源进行下载，也可以更快速的响应多数用户的访问需求，并且通过阈值的设定，避免缓存服务器的性能资源能耗费在不必要冷门资源上。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种下载数据的场景框架示意图；

图2是本发明实施例提供的一种下载数据的方法流程图；

图3是本发明实施例提供的一种下载数据的装置结构示意图；

图4是本发明实施例提供的一种缓存服务器的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种下载数据的方法，该方法的执行主体可以是缓存服务器，其中，缓存服务器可以是CDN服务集群中用于存储数据资源的服务器，在整个网络场景中，同一地理区域内可以部署有多个缓存服务器，每个缓存服务器分别用于存储不同的数据资源，多个缓存服务器可以与CDN服务集群中的分发器相连。分发器可以用于接收用户终端发送的资源获取请求，并根据资源唯一性策略将资源获取请求分发到相应的缓存服务器处，如此一来，针对相同资源的请求将被分发给同一台缓存服务器。缓存服务器还可以与资源服务器连接，当需要获取某个数据资源时，可以从相应的资源服务器处下载该数据资源，并将数据资源存储在本地。

CDN服务集群的场景框架可以如图1所示。上述缓存服务器中可以包括处理器、存储器、收发器，处理器可以用于进行下述流程中的下载数据的处理，存储器可以用于存储下述处理过程中需要的数据以及产生的数据，收发器可以用于接收和发送下述处理过程中的相关数据。

下面将结合具体实施方式，对图2所示的处理流程进行详细的说明，内容可以如下：

步骤201，缓存服务器确定本地已存储的待补充的至少一个不完整资源。

在实施中，当用户想要通过终端获取某个数据资源时，如想要观看视频或者下载文件，用户可以通过终端发送资源获取请求。CDN服务集群的分发器可以接收到该资源获取请求，然后可以确定该资源获取请求指向的数据资源。之后，分发器可以查找是否存在已存储有该数据资源的缓存服务器，如果没有，分发器则可以根据终端和数据资源的属性信息选择出一台缓存服务器，并将上述资源获取请求发送给该缓存服务器，缓存服务器则可以从相应的资源服务器中获取该数据资源，再将该数据资源通过分发器反馈给终端，同时可以将数据资源存储在本地。这样，后续如果再接收到该数据资源的资源获取请求，缓存服务器则可以直接反馈本次存储的数据资源。而如果存在已存储有该数据资源的缓存服务器，则分发器可以将资源获取请求直接发送至该缓存服务器，从而，可以将本地已存储的数据资源通过分发器反馈给终端。

目前的数据资源大多支持断点续传的下载方式，即一个资源获取请求可以指向某一数据资源的部分内容或全部内容，这样，将导致缓存服务器中存储的一些数据资源不完整，可以将这些数据资源称为不完整资源。而对于同一数据资源，不同的用户可能会请求不同部分的内容，这样，缓存服务器可以对本地存储的数据资源及时进行补充，以降低流量高峰时段内从资源服务器中下载数据资源的频率，同时还可以加快数据资源的反馈速度，提高用户体验。

具体的，缓存服务器可以先在本地已存储的所有数据资源中，确定出待补充的至少一个不完整资源。该确定处理可以由缓存服务器周期性进行，即每隔预设时长确定一次，也可以由缓存服务器实时进行，即每出现一个不完整资源，则进行一次记录。需要说明的是，缓存服务器中对应每个数据资源均维护有一个索引目录，索引目录中记录有数据资源的完整性，以及已存储的部分数据的标识。这样，缓存服务器可以根据索引目录判断本地存储的数据资源是否完整，以及每个不完整资源所缺少的数据(也可以称为不完整资源的剩余数据)。

可选的，缓存服务器可以只对热点资源的数据进行补充，相应的，步骤201,的处理可以如下：缓存服务器统计本地已存储的所有不完整资源的访问热度，并将访问热度大于预设阈值的至少一个不完整资源确定为待补充的不完整资源。

在实施中，缓存服务器处可以对其存储的每个数据资源的访问热度进行统计，即每次接收到一个资源获取请求，缓存服务器可以将该资源获取请求指向的数据资源的访问热度加1。当然，如果访问热度仅用于本实施例中对不完整资源的补充下载，缓存服务器则可以仅统计本地存储的所有不完整资源的访问热度。

同时，技术人员可以预先对数据资源的访问热度设置一个标准值(即预设阈值)，仅当不完整资源的访问热度大于该预设阈值时，缓存服务器才对其剩余数据进行补充下载。这样，缓存服务器可以在本地已存储的所有不完整资源中，将访问热度大于预设阈值的至少一个不完整资源确定为待补充的不完整资源。值得一提的是，对于数据资源的访问热度，可以设定一个有效时长，即只记录该有效时长内的资源获取请求，如有效时长为一天，那么在统计某个数据资源的访问热度时，仅统计在过去的一天时间内，对于该数据资源的资源获取请求的数目，而不考虑一天之前的资源获取请求。

步骤202，当满足预设的下载触发条件时，缓存服务器自动下载并存储至少一个不完整资源的剩余数据。

在实施中，技术人员可以预先设定缓存服务器开始自动下载数据资源的触发条件(即下载触发条件)，并将该下载触发条件配置在缓存服务器中。这样，当满足预设的下载触发条件时，缓存服务器则可以自动下载并存储至少一个不完整资源的剩余数据，以将未保存完整的数据资源下载完整。此处，如果存在多个下载触发条件，依据具体配置多个下载触发条件可以同时生效，也可以单独生效。

可选的，缓存服务器可以优先下载热点资源的数据，相应的，步骤202的处理可以如下：当满足预设的下载触发条件时，缓存服务器按照访问热度从高到低的顺序，自动下载并存储至少一个不完整资源的剩余数据。

在实施中，缓存服务器在确定了访问热度大于预设阈值的待补充的不完整资源后，可以基于访问热度从高到低的顺序，对待补充的不完整资源进行排序。这样，当满足预设的下载触发条件时，缓存服务器则可以按照上述排序，优先下载并存储访问热度较高的至少一个不完整资源的剩余数据。

可选的，预设的下载触发条件可以多种多样，如下给出了几种步骤202可行的情况：

情况一，如果当前时刻处于预设的流量低峰时段，缓存服务器则自动下载并存储至少一个不完整资源的剩余数据。

在实施中，缓存服务器或者技术人员可以根据用户访问习惯和业务流量的大小，归纳总结出流量高峰时段和流量低峰时段，并将其配置在缓存服务器中。

例如，检测到每天的17:00至24:00的用户访问次数较多，业务流量较大，而每天2:00至6:00的用户访问次数较少，业务流量较小，故而可以设定流量高峰时段为“每天的17:00至24:00”，流量低峰时段为“每天的2:00至6:00”。这样，如果当前时刻处于预设的流量低峰时段，缓存服务器则可以自动下载并存储至少一个不完整资源的剩余数据。结合上述例子，即一到每天的2:00，缓存服务器则可以开始剩余数据的下载。

情况二，如果检测到当前流量低于预设的第一流量阈值，缓存服务器则自动下载并存储至少一个不完整资源的剩余数据。

在实施中，技术人员可以基于缓存服务器的性能参数，预先在缓存服务器处设置一个流量阈值(即第一流量阈值)，当缓存服务器处的业务流量低于该第一流量阈值时，缓存服务器的其它业务的服务质量将不会受到数据下载业务的影响。这样，缓存服务器可以实时检测当前流量，如果检测到当前流量低于预设的第一流量阈值，缓存服务器则可以自动下载并存储至少一个不完整资源的剩余数据。

当然，除上述情况，技术人员还可以通过向缓存服务器输入下载开始指令的形式，人工控制缓存服务器开始下载不完整资源的剩余数据。

可选的，缓存服务器可以预先设定下载数据时的并发数量和限速值，相应的处理可以如下：缓存服务器根据历史时段内流量最高值、预设下载时长和待补充的不完整资源的剩余数据总量，确定下载任务的并发数量和每个下载任务的限速值，缓存服务器基于并发数量和限速值，自动下载并存储至少一个不完整资源的剩余数据。

在实施中，考虑到目前CDN服务集群的网络计费方式是以最高流量计算的，如一天最高的流量达到10G/s，那么网络计费时将按照一天均是10G/s的档位计算，故而，需要保证在下载不完整资源的剩余数据时，流量不超过已有的流量最高值。同时，缓存服务器中还可以记录有专用于下载剩余数据的下载时长(即预设下载时长)。在下载不完整资源的剩余数据前，缓存服务器可以先统计待补充的不完整资源的剩余数据总量，然后基于上述预设下载时长和历史时段内流量最高值，确定下载任务的并发数量和每个下载任务的限速值。进而，缓存服务器可以基于并发数量和限速值，自动下载并存储至少一个不完整资源的剩余数据。

步骤203，当检测到预设的停止下载事件时，缓存服务器停止下载剩余数据。

在实施中，技术人员可以预先设定缓存服务器停止自动下载数据资源的触发事件(即停止下载事件)，并将停止下载事件配置在缓存服务器中。这样，缓存服务器在自动下载不完整资源的剩余数据时，可以实时检测预设的停止下载事件是否发生，如果检测到预设的停止下载事件，缓存服务器则可以停止下载不完整资源的剩余数据。

可选的，预设的停止下载事件可以多种多样，如下给出了几种步骤202可行的情况：

情况一：如果当前时刻不属于预设的流量低峰时段，缓存服务器则停止下载剩余数据。

在实施中，缓存服务器或者技术人员可以根据用户访问习惯和业务流量的大小，归纳总结出流量高峰时段和流量低峰时段，并将其配置在缓存服务器中。这样，缓存服务器在开始下载不完整资源的剩余数据后，如果检测到当前时刻不属于预设的流量低峰时段，则可以停止下载剩余数据。

情况二，如果检测到当前流量不低于预设的第二流量阈值，缓存服务器则停止下载剩余数据。

在实施中，技术人员可以基于缓存服务器的性能分析预先在缓存服务器处设置一个流量阈值(即第二流量阈值)，当缓存服务器处的业务流量低于第二流量阈值时，缓存服务器的其它业务的服务质量受到下载业务的影响较小。这样，缓存服务器在开始下载不完整资源的剩余数据后，如果检测到当前流量不低于预设的第二流量阈值，缓存服务器则停止下载剩余数据。

情况三，如果不完整资源的剩余数据均下载完毕，缓存服务器则停止下载剩余数据。

在实施中，如果确定出的待补充的不完整资源的剩余数据全部下载完毕，缓存服务器则可以停止相应的下载处理。需要注意的是，此处是指确定出的待补充的不完整资源，而不是所有不完整资源，当然，在一定情形下，在下载完待补充的不完整资源后，可以继续下载其余不完整资源的剩余数据。

当然，除上述情况，技术人员还可以通过向缓存服务器输入下载停止指令的形式，人工控制缓存服务器停止下载不完整资源的剩余数据。

基于相同的技术构思，本发明实施例还提供了一种下载数据的装置，如图3所示，所述装置包括

确定模块301，用于确定本地已存储的待补充的至少一个不完整资源；

下载模块302，用于当满足预设的下载触发条件时，自动下载并存储所述至少一个不完整资源的剩余数据；

停止模块303，用于当检测到预设的停止下载事件时，停止下载所述剩余数据。

可选的，所述确定模块301，具体用于：

统计本地已存储的所有不完整资源的访问热度；

所述下载模块302，具体用于：

可选的，所述下载模块302，具体用于：

可选的，所述停止模块303，具体用于：

可选的，所述下载模块302，具体用于：

需要说明的是：上述实施例提供的下载数据的装置在下载数据时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的下载数据的装置与下载数据的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图4是本发明实施例提供的缓存服务器的结构示意图。该缓存服务器400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器422(例如，一个或一个以上处理器)和存储器432，一个或一个以上存储应用程序442或数据444的存储介质430(例如一个或一个以上海量存储设备)。其中，存储器432和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对缓存服务器中的一系列指令操作。更进一步地，中央处理器422可以设置为与存储介质430通信，在缓存服务器400上执行存储介质430中的一系列指令操作。

缓存服务器400还可以包括一个或一个以上电源426，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口458，一个或一个以上键盘456，和/或，一个或一个以上操作系统441，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。

缓存服务器400可以包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行上述下载数据的指令。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种下载数据的方法，其特征在于，所述方法包括：

缓存服务器确定本地已存储的待补充的至少一个不完整资源，其中所述不完整资源是由缓存服务器基于分发器分发的用户终端的资源获取请求，从资源服务器下载得到的，所述分发器根据资源唯一性策略对所述资源获取请求进行分发，所述资源获取请求指向数据资源的部分内容；

当满足预设的下载触发条件时，缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据，其中，所述剩余数据用于所述缓存服务器对资源获取请求进行响应；

2.根据权利要求1所述的方法，其特征在于，所述缓存服务器确定本地已存储的待补充的至少一个不完整资源，包括：

缓存服务器统计本地已存储的所有不完整资源的访问热度；

3.根据权利要求1所述的方法，其特征在于，所述当满足预设的下载触发条件时，缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据，包括：

4.根据权利要求1所述的方法，其特征在于，所述当检测到预设的停止下载事件时，缓存服务器停止下载所述剩余数据，包括：

5.根据权利要求1所述的方法，其特征在于，所述缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据，包括：

6.一种下载数据的装置，其特征在于，所述装置包括：

确定模块，用于确定本地已存储的待补充的至少一个不完整资源，其中，所述不完整资源是由缓存服务器基于分发器分发的用户终端的资源获取请求，从资源服务器下载得到的，所述分发器根据资源唯一性策略对所述资源获取请求进行分发，所述资源获取请求指向数据资源的部分内容；

下载模块，用于当满足预设的下载触发条件时，自动下载并存储所述至少一个不完整资源的剩余数据，其中，所述剩余数据用于所述缓存服务器对资源获取请求进行响应；

7.根据权利要求6所述的装置，其特征在于，所述确定模块，具体用于：

统计本地已存储的所有不完整资源的访问热度；

所述下载模块，具体用于：

8.根据权利要求6所述的装置，其特征在于，所述下载模块，具体用于：

9.根据权利要求6所述的装置，其特征在于，所述停止模块，具体用于：

10.根据权利要求6所述的装置，其特征在于，所述下载模块，具体用于：

11.一种缓存服务器，其特征在于，所述缓存服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一所述的下载数据的方法。

12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5任一所述的下载数据的方法。