CN103227826A - 一种文件传输方法及装置 - Google Patents

Abstract

本发明公开了一种文件传输方法及装置，该方法包括：接收客户端发送的文件请求，所述文件请求至少携带待获取文件的数据总量；将所述待获取文件的数据总量划分成若干子数据量；依次根据划分出的每一个子数据量，获取并存储所述待获取文件中相应数据量大小的数据片段，并将其转发至客户端，其中，在获取任意一个数据片段时，若链路中断，则丢弃所述任意一个数据片段中的已获取数据，并在所述链路恢复时，重新获取并存储所述任意一个数据片段，并将所述任意一个数据片段转发至客户端，用以解决现有技术在链路不稳定的情况下传输大文件时，回源量和回源压力过度增加问题。

Description

一种文件传输方法及装置

技术领域

本发明涉及CDN（Content Delivery Network，内容分发网络）技术领域，特别涉及一种文件传输方法及装置。

背景技术

在CDN领域中，现有技术一般通过将客户端的访问引导到Cache（高速缓冲存储器）服务器上，使得客户端能够通过Cache服务器就近获取到需要的完整文件内容，避免客户端穿透各种路由到源站服务器获取完整文件内容，并且，现有技术将完整文件内容以单个文件形式保存到Cache服务器上，从而达到加速访问的效果。

参阅图1所示，Cache服务器上没有客户端请求的数据（即用户数据）时的数据分发流程（即MISS回源流程）如下：

步骤101：客户端向Cache服务器A发送数据请求。

步骤102：Cache服务器A向源站服务器转发数据请求。

步骤103：源站服务器根据接收到的数据请求向Cache服务器A返回数据。

步骤104：Cache服务器A将源站服务器返回的数据转发给客户端，同时将源站返回的数据以单个文件的形式保存到Cache服务器A中。

参阅图2所示，Cache服务器中储存有客户端请求的数据时的数据分发流程（即HIT流程）如下：

步骤201：客户端向Cache服务器A发送数据请求。

步骤202：Cache服务器A根据接收到的数据请求，向客户端返回数据。

上述Cache服务器A一般为边缘Cache服务器。

在内容分发技术领域中，分片存储技术主要应用于文件系统层面，例如NFS（Network File System，网络文件系统）。由NFS对多台存储服务器进行组织，形成NFS存储服务器集群，然后，通过NFS存储器集群对文件进行分片存储和管理。对于Cache软件而言，NFS存储服务器集群是一个大的磁盘，Cache软件直接通过NFS存储服务器集群存储文件，不管NFS存储服务器集群具体是如何对文件的分片存储和管理的。

传统的CDN技术中，由于MISS回源流程首选存储文件的Cache服务器是边缘Cache服务器，所以，体积较大文件的集中存储很容易导致边缘Cache服务器的单盘存储压力过大，从而导致设备整体服务能力的下降。虽然使用NFS存储服务器集群可以解决单盘存储压力过大的问题，但是NFS存储服务器集群中的存储服务器不能再作为边缘Cache服务器使用，因此，将NFS存储服务器集群应用于上述MISS回源流程会增加系统的复杂性，不利于问题的排查与定位，并且还增加了服务的成本。

再者，传统CDN技术中，在链路不稳的情况下，如果在MISS回源流程中较大文件正在传输时，出现链路断开的情况，那么边缘Cache服务器将丢弃已接收到的部分文件，这样，在下次接收到针对相同文件的请求时，源站服务器仍然需要再次回源抓取完整的文件，这就导致了回源量和回源压力的过大增加，浪费了系统资源。

发明内容

本发明实施例提供一种文件传输方法及装置，用以解决现有技术在链路不稳定的情况下传输大文件时，回源量和回源压力过度增加问题。

本发明实施例提供了一种文件传输方法，包括：

接收客户端发送的文件请求，所述文件请求至少携带待获取文件的数据总量；

将所述待获取文件的数据总量划分成若干子数据量；

依次根据划分出的每一个子数据量，获取并存储所述待获取文件中相应数据量大小的数据片段，并将其转发至客户端；

其中，在获取任意一个数据片段时，若链路中断，则丢弃所述任意一个数据片段中的已获取数据，并在所述链路恢复时，重新获取并存储所述任意一个数据片段，并将所述任意一个数据片段转发至客户端。

本发明实施例提供了一种文件传输装置，包括：

接收模块，用于接收客户端发送的文件请求，所述文件请求至少携带待获取文件的数据总量；

规划模块，用于将所述待获取文件的数据总量划分成若干子数据量；

执行模块，用于依次根据划分出的每一个子数据量，获取并存储所述待获取文件中相应数据量大小的数据片段，并将其转发至客户端；其中，在获取任意一个数据片段时，若链路中断，则丢弃所述任意一个数据片段中的已获取数据，并在所述链路恢复时，重新获取并存储所述任意一个数据片段，并将所述任意一个数据片段转发至客户端。

本发明实施例中，将客户端请求的待获取文件的数据总量划分成若干子数据量，依次根据划分出的每一个子数据量，获取并存储该待获取文件中相应数据量大小的数据片段，并将其转发给该客户端，在获取任意一个数据片段时，若链路中断，则丢弃该任意一个数据片段中的已获取数据，并在所述链路恢复时，重新获取并存储该任意一个数据片段，并将该任意一个数据片段转发至客户端，这样，就不会因为链路中断而影响到其它预设部分的已获取数据，避免了在链路中断后，重新获取整个文件的情况，从而在最大限度上减少了回源量。

附图说明

图1为现有技术中的MISS回源流程图；

图2为现有技术中的HIT流程图；

图3为本发明实施例设计的一种文件传输方法流程图；

图4为本发明实施例中边缘Cache服务器针对不携带Range的文件请求传输文件的方法流程图；

图5为本发明实施例中边缘Cache服务器针对携带Range的文件请求传输文件的方法流程图；

图6为本发明实施例设计的文件传输装置示意图。

具体实施方式

本发明实施例设计了一种文件传输方法及装置，将客户端请求的待获取文件的数据总量划分成若干子数据量，依次根据划分出的每一个子数据量，获取并存储该待获取文件中相应数据量大小的数据片段，并将其转发给该客户端，在获取任意一个数据片段时，若链路中断，则丢弃该任意一个数据片段中的已获取数据，并在所述链路恢复时，重新获取并存储该任意一个数据片段，并将该任意一个数据片段转发至客户端，用以解决现有技术在链路不稳定的情况下传输大文件时，回源量和回源压力过度增加问题。

下面结合附图说明本发明的优选实施例。

参阅图3所示，本发明实施例设计了一种文件传输方法，包括如下步骤：

步骤301：接收客户端发送的文件请求，该文件请求至少携带待获取文件的数据总量。

实际应用时，接收客户端发送的文件请求后，可以判断该文件请求中是否携带了片段（Range），若是，该文件请求的Range请求头中就包含了待获取文件的数据总量，否则，需要根据相应的待获取文件的大小在该文件请求前添加Range请求头，将上述文件请求转化成携带Range的文件请求。

步骤302：将上述待获取文件的数据总量划分成若干子数据量。

较佳地，可以将上述待获取文件的数据总量划分成大小相同的若干个子数据量；

或者，按照预设大小划分上述待获取文件的数据总量，例如，假设待获取文件的数据总量为1010MB，按照100MB的预设大小对该数据总量进行划分，将该数据总量的前1000MB平均划分成10个100MB大小的子数据量，将该数据总量中的最后10MB作为最后一个子数据量。

步骤303：依次根据划分出的每一个子数据量，获取并存储上述待获取文件中相应数据量大小的数据片段，并将其转发至客户端，其中，在获取任意一个数据片段时，若链路中断，则丢弃上述任意一个数据片段中的已获取数据，并在上述链路恢复时，重新获取并存储上述任意一个数据片段，并将上述任意一个数据片段转发至客户端。

较佳地，可以在将上述待获取文件的数据总量划分成若干子数据量之后，依次根据划分出的每一个子数据量，获取并存储上述待获取文件中相应数据量大小的数据片段之前，还包括：

根据针对每一个子数据量分别设置的本地存储地址建立索引。

这样，在实际应用中，就可以通过下述较佳的方式实现依次根据划分出的每一个子数据量，获取并存储上述待获取文件中相应数据量大小的数据片段：

针对任意一个子数据量，在根据已建立的索引查找并确定相应的本地存储地址空闲时，通过源站服务器获取上述任意一个子数据量对应的数据片段，并对应存储到相应的本地存储地址中。

通过源站服务器获取并存储上述任意一个子数据量对应的数据片段的较佳实现方式为：

向该源站服务器发送上述任意一个子数据量对应的Range请求，接收并存储该源站服务器返回的上述任意一个子数据量对应的数据片段。

在实际应用中，可以在确定上述待获取文件的数据总量达到阈值时，依次根据划分出的每一个子数据量，获取上述待获取文件中相应数据量大小的数据片段，并分别存储在不同的存储器中，以解决边缘Cache服务器中单个存储器存储压力过大的问题。

上述存储器可以是硬盘、磁盘等存储硬件。

本发明实施例的上述文件传输方法适用于基于Http（Hypertext transferprotocol，超文本传输协议）协议下的内容分发过程，在这一过程中，执行上述操作的主体可以是边缘Cache服务器。边缘Cache服务器可以将获取到的上述待获取文件中的每一个数据片段当作一个单独的object（文件），分别存储在不同的物理地址中，以缓解边缘Cache服务器中单个存储器的存储压力。

下面以图4和图5中的基于Http协议的分片存储内容分发过程为例，说明在CDN领域中本发明实施例设计的文件传输方法的较佳实现方式。

参阅图4所示，在接收到客户端发送的不携带Range的文件请求时，边缘Cache服务器执行下述步骤：

步骤401：接收客户端发送的不携带Range的文件请求，该不携带Range的文件请求至少携带待获取文件的数据总量。

步骤402：在不携带Range的文件请求前添加Range请求头，将其转化成携带Range的文件请求。

步骤403：将上述待获取文件的数据总量划分成若干子数据量，根据每一个划分出的子数据量，将上述携带Range的文件请求转化成上述若干子数据量分别对应的Range请求，针对第一个子数据量对应的Range请求执行步骤404。

实际应用中，边缘Cache服务器也可以不采用上述步骤402和步骤403，而直接将步骤401中待获取文件的数据总量划分成若干子数据量，根据每一个划分出的子数据量，将步骤401中不携带Range的文件请求转化成上述若干子数据量分别对应的Range请求。

例如，在第一个子数据量的大小为100万字节时，对应第一个子数据量的Range请求头的格式为Range：bytes=0-999999，其Range offset（开始字节）为0，存储地址长度为100万字节，其中，存储地址长度即为Range区间的长度。

步骤404：判断本地是否存储有当前Range请求对应的数据片段，若是，执行步骤407，否则，执行步骤405。

边缘Cache服务器在判断出当前Range请求对应的数据片段没有被缓存时，进入分片MISS回源流程（即进入步骤405），当前Range请求对应的子数据量的大小即为相应数据片段的大小，当前Range请求的Range offset其即为相应数据片段的offset。

步骤405：向源站服务器发送当前Range请求，进入步骤406。

步骤406：接收源站服务器返回的数据片段，并将该数据片段存储到相应的本地存储地址中，同时将该数据片段发送给客户端，进入步骤408。

上述步骤406的具体实现过程为：接收源站服务器针对当前Range请求返回的数据片段，并将该数据片段作为单独的Object（对象）存储到相应的本地存储地址中，同时将该数据片段发送给客户端。

步骤407：将本地存储的当前Range请求对应的数据片段发送给客户端。

步骤408：判断是否已经将相应待获取文件的所有数据片段都发送给了客户端，若是，则结束当前流程，否则，进入步骤409。

步骤409：获取下一个Range请求，返回步骤404。

边缘Cache服务器可以通过下述两种较佳的实现方式实现步骤404：

方式一、边缘Cache服务器可以将当前Range请求中的Range offset和存储地址长度（或子数据量大小）作为相应的索引因子，存储到索引中，以便检索。这样，针对每一个Range请求，边缘Cache服务器先根据当前Range请求中的Range offset和存储地址长度（或子数据量大小），查找索引：

若在索引中找到对应的记录，则判定相应数据片段已经被缓存在本地了，直接进入HIT流程；若没有在索引中找到对应的记录，则判定相应数据片段没有被缓存在本地，进入分片MISS回源流程。

方式二、边缘Cache服务器直接规划每一个子数据量对应的本地存储地址，并将每一个子数据量自对应的Range请求的Range offset和存储地址长度（或子数据量大小）作为索引因子，其中，每一个子数据量的索引因子和相应的本地存储地址是一一对应关系。这样，针对每一个Range请求，边缘Cache服务器先根据该Range请求的Range offset和存储地址长度（或子数据量大小），查找索引，找出对应的本地存储地址：

若确定对应的本地存储地址中已存储有数据，则判定相应的数据片段已经被缓存在本地了，直接进入HIT流程；若确定对应的本地存储地址空闲，则判定相应的数据片段没有被缓存在本地，进入分片MISS回源流程。

上述方式一和方式二中，HIT流程是指：边缘Cache服务器直接从本地缓存中读取当前Range请求对应的数据片段，并发送给客户端。

分片MISS回源流程是指：边缘Cache服务器通过源站服务器获取当前Range请求对应的数据片段，存储到本地，并发送给客户端。

在图4的步骤406中，边缘Cache服务器在接收源站服务器针对当前Range请求返回的数据片段时，如果链路中断，就丢弃已获取的当前Range请求对应的数据片段中的已获取数据，返回步骤405，重新建立链路（该链路即为分片MISS回源链路），在链路恢复时，重新获取并存储该数据片段，并将该数据片段转发至客户端。

图4中文件传输方法，将客户端的请求转换成多个Range请求，并根据Range请求中的Range offset和存储地址长度，确定相应数据片段是否已经被缓存在本地，若是，则直接读取相应数据片段并转发给客户端，否则，采用Range请求进入分片MISS回源流程，并将每一个Range请求对应的数据片段作为一个单独的Object，分别进行物理存储，从而实现将较大文件分散存储到多块存储器（例如，磁盘等）的目的，同时在分片MISS回源流程中，如果链路不稳定，在链路断开时，丢弃当前数据片段中已获取的数据，在链路恢复时重新获取并存储该数据片段，并不会影响已经获取到的其它数据片段，进而最大限度的减少了回源量。

参阅图5所示，在接收到客户端发送的携带有Range的文件请求时，边缘Cache服务器执行下述步骤：

步骤501：接收客户端发送的携带有Range的文件请求，该携带Range的文件请求至少携带待获取文件的数据总量。

步骤502：将上述待获取文件的数据总量划分成若干子数据量，根据每一个划分出的子数据量，将上述携带Range的文件请求转化成上述若干子数据量分别对应的Range请求，并针对第一个子数据量对应的Range请求执行步骤503。

每一个Range请求中包含了Range的起始位置（即Range offset）和结束位置。

步骤503：判断本地是否存储有当前Range请求对应的数据片段，若是，执行步骤506，否则，执行步骤504。

步骤504：向源站服务器发送当前Range请求，进入步骤505。

步骤505：接收源站服务器返回的数据片段，并将该数据片段存储到相应的本地存储地址中，同时将该数据片段发送给客户端，进入步骤507。

上述步骤505的具体实现过程为：接收源站服务器针对当前Range请求返回的数据片段，并将该数据片段作为单独的Object存储到相应的本地存储地址中，同时将该数据片段发送给客户端。

步骤506：将本地存储的当前Range请求对应的数据片段发送给客户端。

步骤507：判断是否已经将相应待获取文件的所有数据片段都发送给了客户端，若是，则结束当前流程，否则，进入步骤508。

步骤508：获取下一个Range请求，返回步骤503。

图5对应的流程包含的步骤503-508和图4对应的流程包含的步骤404-409类似。

基于同一设计思路，本发明实施例设计了一种文件传输装置，参阅图6所示，该装置包括：

接收模块601，用于接收客户端发送的文件请求，该文件请求至少携带待获取文件的数据总量；

规划模块602，用于将上述待获取文件的数据总量划分成若干子数据量；

执行模块603，用于依次根据划分出的每一个子数据量，获取并存储上述待获取文件中相应数据量大小的数据片段，并将其转发至客户端；其中，在获取任意一个数据片段时，若链路中断，则丢弃上述任意一个数据片段中的已获取数据，并在上述链路恢复时，重新获取并存储上述任意一个数据片段，并将上述任意一个数据片段转发至客户端。

较佳地，上述执行模块603，还用于：在上述规划模块602将上述待获取文件的数据总量划分成若干子数据量之后，上述执行模块603依次根据划分出的每一个子数据量，获取并存储上述待获取文件中相应数据量大小的数据片段之前，根据针对每一个子数据量分别设置的本地存储地址建立索引。

上述执行模块603，具体用于：针对任意一个子数据量，在根据已建立的索引查找并确定相应的本地存储地址空闲时，通过源站服务器获取上述任意一个子数据量对应的数据片段，并对应存储到相应的本地存储地址中。

上述执行模块603，具体用于：

向上述源站服务器发送上述任意一个子数据量对应的片段Range请求，接收并存储上述源站服务器返回的上述任意一个子数据量对应的数据片段。

实际应用中，较佳地，上述执行模块603可以在确定上述待获取文件的数据总量达到阈值时，依次根据划分出的每一个子数据量，获取上述待获取文件中相应数据量大小的数据片段，并分别存储在不同的存储器中。

上述装置是与方法流程一一对应的，在此不再赘述。

本发明实施例中，将客户端请求的待获取文件的数据总量划分成若干子数据量，依次根据划分出的每一个子数据量，获取并存储该待获取文件中相应数据量大小的数据片段，并将其转发给该客户端，在获取任意一个数据片段时，若链路中断，则丢弃该任意一个数据片段中的已获取数据，并在所述链路恢复时，重新获取并存储该任意一个数据片段，并将该任意一个数据片段转发至客户端，避免了在链路中断后，重新获取整个文件的情况，从而在最大限度上减少了回源量，减小了系统资源的浪费，再者，本发明实施例采取将存储客户端请求的待获取文件的数据总量划分成若干子数据量，分别存储每一个子数据量对应的数据片段的方式，解决了单个存储器存储压力过大的问题，并且不会造成的系统复杂性的增加，可以降低服务成本。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种文件传输方法，其特征在于，包括：

接收客户端发送的文件请求，所述文件请求至少携带待获取文件的数据总量；

将所述待获取文件的数据总量划分成若干子数据量；

依次根据划分出的每一个子数据量，获取并存储所述待获取文件中相应数据量大小的数据片段，并将其转发至客户端，其中，在获取任意一个数据片段时，若链路中断，则丢弃所述任意一个数据片段中的已获取数据，并在所述链路恢复时，重新获取并存储所述任意一个数据片段，并将所述任意一个数据片段转发至客户端。

2.如权利要求1所述的方法，其特征在于，在将所述待获取文件的数据总量划分成若干子数据量之后，依次根据划分出的每一个子数据量，获取并存储所述待获取文件中相应数据量大小的数据片段之前，还包括：

根据针对每一个子数据量分别设置的本地存储地址建立索引。

3.如权利要求2所述的方法，其特征在于，依次根据划分出的每一个子数据量，获取并存储所述待获取文件中相应数据量大小的数据片段，具体包括：

针对任意一个子数据量，在根据已建立的索引查找并确定相应的本地存储地址空闲时，通过源站服务器获取所述任意一个子数据量对应的数据片段，并对应存储到相应的本地存储地址中。

4.如权利要求3所述的方法，其特征在于，通过源站服务器获取所述任意一个子数据量对应的数据片段，具体包括：

向所述源站服务器发送所述任意一个子数据量对应的片段Range请求，接收并存储所述源站服务器返回的所述任意一个子数据量对应的数据片段。

5.如权利要求1-4中任一项所述的方法，其特征在于，依次根据划分出的每一个子数据量，获取并存储所述待获取文件中相应数据量大小的数据片段，具体包括：

在确定所述待获取文件的数据总量达到阈值时，依次根据划分出的每一个子数据量，获取所述待获取文件中相应数据量大小的数据片段，并分别存储在不同的存储器中。

6.一种文件传输装置，其特征在于，包括：

接收模块，用于接收客户端发送的文件请求，所述文件请求至少携带待获取文件的数据总量；

规划模块，用于将所述待获取文件的数据总量划分成若干子数据量；

执行模块，用于依次根据划分出的每一个子数据量，获取并存储所述待获取文件中相应数据量大小的数据片段，并将其转发至客户端；其中，在获取任意一个数据片段时，若链路中断，则丢弃所述任意一个数据片段中的已获取数据，并在所述链路恢复时，重新获取并存储所述任意一个数据片段，并将所述任意一个数据片段转发至客户端。

7.如权利要求6所述的装置，其特征在于，所述执行模块，还用于：

在所述规划模块将所述待获取文件的数据总量划分成若干子数据量之后，所述执行模块依次根据划分出的每一个子数据量，获取并存储所述待获取文件中相应数据量大小的数据片段之前，根据针对每一个子数据量分别设置的本地存储地址建立索引。

8.如权利要求7所述的装置，其特征在于，所述执行模块，具体用于：

针对任意一个子数据量，在根据已建立的索引查找并确定相应的本地存储地址空闲时，通过源站服务器获取所述任意一个子数据量对应的数据片段，并对应存储到相应的本地存储地址中。

9.如权利要求8所述的装置，其特征在于，所述执行模块，具体用于：

向所述源站服务器发送所述任意一个子数据量对应的片段Range请求，接收并存储所述源站服务器返回的所述任意一个子数据量对应的数据片段。

10.如权利要求6-9中任一项所述的装置，其特征在于，所述执行模块，具体用于：

在确定所述待获取文件的数据总量达到阈值时，依次根据划分出的每一个子数据量，获取所述待获取文件中相应数据量大小的数据片段，并分别存储在不同的存储器中。

Images