CN113301162A - 一种可在高延迟场景下快速下载大量小文件的传输方法 - Google Patents

Abstract

本发明公开一种可在高延迟场景下快速下载大量小文件的传输方法，包括以下步骤：客户端向服务器发送登陆信息，服务器检查登陆信息是否有误，若无误则登陆成功；客户端登陆成功后，查看服务器上显示的文件目录，并向服务器发送获取指定目录下所有文件的获取指令，服务器依次遍历指定目录下的所有文件，将指定目录下的所有文件各自对应的文件信息逐条发送给客户端；当客户端接收到任一条指定目录中文件所对应的文件信息时，向服务器发送下载文件指令；服务器根据所述下载文件指令，查找相应文件，并发送给客户端。本发明建立一个TCP连接，保证所有的控制消息和文件数据都在该TCP连接上进行传输，可有效加快客户端的下载操作进程。

Description

一种可在高延迟场景下快速下载大量小文件的传输方法

技术领域

本发明涉及文件传输领域，尤其涉及一种可在高延迟场景下快速下载大量小文件的传输方法。

背景技术

使用FTP协议传输文件时，每个文件都需要客户端与服务端建立两个TCP连接，一个用于传输指令，另一个用于传输实际的数据。其中传输指令的通道在建立连接后需要进行登录操作，且账号和密码分开发送，鉴权操作需要2个RTT(Round-Trip Time)才能完成。

登录操作完成后还需要发送切换工作目录指令，等待服务器响应成功后才能开始文件下载操作。FTP下载文件前遍历目录时只能遍历一层目录，当目录中包含子目录时需要再次发送一条指令继续遍历子目录，直到所有目录遍历完成。

基于上述原因，完成文件下载需要客户端与服务器进行多次交互才能开始传输，当网络延迟较大时(>100ms)，传输文件前需要至少3个RTT，严重影响小文件的下载速度，降低文件下载效率。

因此，现有技术存在缺陷，需要改进。

发明内容

本发明的目的是克服现有技术的不足，提供一种可在高延迟场景下快速下载大量小文件的传输方法，解决文件下载速度慢、下载效率低的问题。

本发明的技术方案如下：一种可在高延迟场景下快速下载大量小文件的传输方法，包括以下步骤：

S1：客户端与服务器建立TCP连接，并向服务器发送登陆信息，服务器检查所述登陆信息是否有误，若无误，则登陆成功。

S2：客户端登陆成功后，查看服务器上显示的文件目录，并向服务器发送获取指定目录下所有文件的获取指令，服务器根据所述获取指令查找该指定目录在服务器上的位置，并依次遍历所述指定目录下的所有文件，将所述指定目录下的所有文件各自对应的文件信息逐条发送给客户端。

所述文件信息至少包括：文件夹或文件的路径、是否为文件夹、文件或文件夹修改时间、文件或文件夹大小。

S3：当客户端接收到任一条所述指定目录中文件所对应的文件信息时，若客户端需要下载该文件，则向服务器发送下载文件指令。

所述下载文件指令至少包括：该下载文件的文件ID、服务器返回的文件路径、文件开始下载位置。

S4：服务器根据所述下载文件指令，查找相应文件，并将其拆分为若干文件块，并将所述文件块放入至数据包内，将所述数据包发送给客户端。

在客户端与服务器建立TCP连接后，在服务器的登陆页面，客户端将所有的登陆信息以一个整体发送给服务器，若登陆信息无误，则登陆成功，此过程在1个RTT内完成，完成登陆后，客户端便可进入服务器，查看服务器上显示的文件目录，以查看有哪些文件，若需要进一步查看文件目录中的某一目录下(文件夹内)的文件，即指定目录下的所有文件，则需进一步向服务器发送获取指定目录下所有文件的获取指令，此时服务器会根据该获取指令查找该指定目录在服务器上的位置，并且在查找到该指定目录后，查看该指定目录下的所有文件，并将所有文件所对应的文件信息依次发送给客户端，客户端一接收到该指定目录下的文件所对应的文件信息时，即可进行下载操作，无需等待接收到所有文件所对应的文件信息之后再进行下载操作，此过程中可节省大量等待时间，客户端下载该文件时，直接向服务器发送下载文件指令，服务器会根据该下载指令中包含的文件ID、服务器返回的文件路径查找该文件，并根据下载指令中包含的文件开始下载位置，将查找到的文件拆分为若干文件块，并将所有文件块放入数据包内，此过程中，拆分为文件块的目的是方便传输，客户端在接收到该数据包后即完成该文件的下载，客户端在接收到一个文件对应的文件信息即可进行下载操作，使得客户端可同时进行多个文件的下载，无需等待服务器响应后再发送下一个下载文件指令，可充分利用宽带，加快下载过程；此外，本发明中客户端与服务器只需要建立一个TCP连接，在客户端登陆成功后，可直接向服务器发送相关操作指令，客户端和服务器即可进行数据交互，保证所有的控制消息和文件数据都在该TCP连接上进行传输，可有效减少操作过程，加快客户端的下载操作进程，提高下载效率。

进一步地，所述步骤S2中的获取指令中包含所述指定目录的路径，所述步骤S2进一步包括以下步骤：

S20：客户端登陆成功后，查看服务器上显示的文件目录，并向服务器发送获取指定目录下所有文件的获取指令。

所述指定目录为所述服务器上显示的文件目录中的任一文件夹。

S21：服务器将所述获取指令中的指定目录的路径转换为该指定目录在服务器上的路径，并查找该指定目录。

S22：服务器依次遍历所述指定目录及所述指定目录下的子目录中的所有文件，将所述指定目录下的所有文件各自对应的文件信息逐条发送给客户端。在该过程中，服务器会自动遍历指定目录下的所有子目录，客户端在收到服务器发送的文件信息后，即可查看子目录中的文件，当需要下载该子目录中的文件时，重复步骤S3～S4即可，无需再次向服务器发送查看子目录中所有文件的操作，可减少服务器与客户端之间的交互过程，进一步减少等待时间。

进一步地，所述步骤S3进一步包括以下步骤：

S30：当客户端接收到任一条所述指定目录中文件所对应的文件信息时，若客户端需要下载该文件，则向服务器发送下载文件指令。

S31：当客户端接收到任一条所述指定目录中文件夹所对应的文件信息时，则在本地存储中创建与该文件夹名称相同的文件夹。

S32：若客户端需下载所述步骤S31文件夹目录下的文件，则向服务器发送下载文件指令。

进一步地，所述步骤S4中所述的若干文件块的大小不超过64KB。具体可根据需下载文件的大小决定文件块的大小。

进一步地，所述步骤S4进一步包括以下步骤：

S40：服务器接收到所述下载文件指令后，响应客户端是否允许下载。

S41：当客户端发送的所述下载文件指令存在错误时，服务器向客户端发送报错信息。

S42：当客户端发送的所述下载文件指令不存在错误时，服务器响应客户端允许下载，并根据所述下载文件指令，查找相应文件，并将其拆分为大小不超过64KB的若干文件块。

S43：将步骤S42中的若干文件块放入至数据包内，并将所述数据包发送给所述客户端。

S44：当所述步骤S43中的数据包发送完成后，服务器响应客户端文件数据传输完成，客户端关闭该文件下载，并在本地存储中标识该文件已下载完成。

进一步地，所述登陆信息包括：用户名、密码。

采用上述方案，本发明提供一种可在高延迟场景下快速下载大量小文件的传输方法，具有以下有益效果：

1、建立一个TCP连接，保证所有的控制消息和文件数据都在该TCP连接上进行传输，可有效减少操作过程，加快客户端的下载操作进程、提高下载效率；

2、客户端一接收到该指定目录下的文件所对应的文件信息时，即可进行下载操作，无需等待接收到所有文件所对应的文件信息之后再进行下载，可节省大量等待时间，即使在网络存在高延迟状态下，也可进行大量小文件的快速下载；

3、服务器可自动遍历指定目录下的子目录，客户端在收到服务器发送的文件信息后，即可查看子目录中的文件，无需重复多次向服务器发送查看子目录中所有文件的操作，可减少服务器与客户端之间的交互过程，进一步减少等待时间。

附图说明

图1为本发明的流程框图。

具体实施方式

以下结合附图和具体实施例，对本发明进行详细说明。

请参照图1，本发明提供一种可在高延迟场景下快速下载大量小文件的传输方法，包括以下步骤：

S1：客户端与服务器建立TCP连接，并向服务器发送登陆信息，服务器检查所述登陆信息是否有误，若无误，则登陆成功。具体地，在本实施例中，所述登陆信息包括：用户名、密码。

客户端发送给服务器的消息结构如下：

其中user_name为用户名，pass_word为密码。

S2：客户端登陆成功后，查看服务器上显示的文件目录，并向服务器发送获取指定目录下所有文件的获取指令，服务器根据所述获取指令查找该指定目录在服务器上的位置，并依次遍历所述指定目录下的所有文件，将所述指定目录下的所有文件各自对应的文件信息逐条发送给客户端。

所述文件信息包括：文件夹或文件的路径、是否为文件夹、文件或文件夹修改时间、文件或文件夹大小；所述步骤S2中的获取指令中包含所述指定目录的路径，所述步骤S2进一步包括以下步骤：

S20：客户端登陆成功后，查看服务器上显示的文件目录，并向服务器发送获取指定目录下所有文件的获取指令。

所述获取指令的消息结构如下：

message ListFolder{

string path＝1；

}

其中path为指定目录的路径。

所述指定目录为所述服务器上显示的文件目录中的任一文件夹。

S21：服务器将所述获取指令中的指定目录的路径转换为该指定目录在服务器上的路径，并查找该指定目录。

S22：服务器依次遍历所述指定目录及所述指定目录下的子目录中的所有文件，将所述指定目录下的所有文件各自对应的文件信息逐条发送给客户端。在该过程中，服务器会自动遍历指定目录下的所有子目录，客户端在收到服务器发送的文件信息后，即可查看子目录中的文件。

服务器将所述指定目录下的所有文件夹各自对应的文件信息发给客户端时的消息结构如下：

其中path为文件夹或文件的路径，is_folder标识是否为文件夹，write_time为文件或文件夹的修改时间，file_size为文件或文件夹大小，is_end用于标识是否为最后一条消息，当is_end为真时，表示所有文件都已遍历完成。

S3：当客户端接收到任一条所述指定目录中文件所对应的文件信息时，若客户端需要下载该文件，则向服务器发送下载文件指令。客户端在接收到第一条指定目录中的文件所对应的文件信息时，即可进行下载操作，无需进行等待。

所述下载文件指令包括：该下载文件的文件ID、服务器返回的文件路径、文件开始下载位置。

所述步骤S3进一步包括以下步骤：

S30：当客户端接收到任一条所述指定目录中文件所对应的文件信息时，若客户端需要下载该文件，则向服务器发送下载文件指令。

客户端向服务器发送的下载文件指令的消息结构如下：

其中：file_id为客户端发送下载请求时携带的下载文件的文件ID，path为服务器返回的文件路径，seek是标识文件开始下载位置，下载位置为指定位置。每一个需要下载的文件均对应有一个文件ID，通过该相应的文件ID区分每一个文件。

S31：当客户端接收到任一条所述指定目录中文件夹所对应的文件信息时，则在本地存储中创建与该文件夹名称相同的文件夹。

S32：若客户端需下载所述步骤S31文件夹目录下的文件，则向服务器发送下载文件指令。该步骤中的下载文件指令与步骤S30的消息结构一致。

S4：服务器根据所述下载文件指令，查找相应文件，并将其拆分为若干文件块，并将所述文件块放入至数据包内，将所述数据包发送给所述客户端。

所述步骤S4中所述的若干文件块的大小不超过64KB。

所述步骤S4进一步包括以下步骤：

S40：服务器接收到所述下载文件指令后，响应客户端是否允许下载。

服务器响应客户端是否允许下载的消息结构如下：

其中file_id是客户端发送下载请求时携带的下载文件的文件ID，error_code是下载开始的错误码。

S41：当客户端发送的所述下载文件指令存在错误时，服务器响应客户端是否允许下载的消息中会出现错误码，服务器向客户端发送报错信息；具体地，报错信息主要包括：无访问权限、路径错误等。

S42：当客户端发送的所述下载文件指令不存在错误时，服务器响应客户端允许下载，并根据所述下载文件指令，查找相应文件，并将其拆分为大小不超过64KB的若干文件块。

S43：将步骤S42中的若干文件块放入至数据包内，并将所述数据包发送给所述客户端。

服务器将数据包发送(传输)给客户端的消息结构如下：

其中file_id是客户端发送下载请求时携带的下载文件的文件ID，data为文件的数据。

S44：当所述步骤S43中的数据包发送完成后，服务器响应客户端文件数据传输完成，客户端关闭该文件下载，并在本地存储中标识该文件已下载完成。

服务器响应客户端文件数据传输完成的消息结构如下：

message DownloadEndResponse{

int64 file_id＝1；

}

其中file_id是客户端发送下载请求时携带的下载文件的文件ID。

具体地，在本实施例中，客户端与服务器建立TCP连接后，在服务器的登陆页面，客户端将所有的登陆信息以一个整体发送给服务器，若登陆信息无误，则登陆成功，此过程在1个RTT内完成，完成登陆后，客户端便可进入服务器，查看服务器上显示的文件目录，以查看有哪些文件，若需要进一步查看文件目录中的某一目录下的文件，即指定目录下的所有文件，则需进一步向服务器发送获取指定目录下所有文件的获取指令，此时服务器会根据该获取指令查找该指定目录在服务器上的位置，并且在查找到该指定目录后，查看该指定目录下的所有文件，并将所有文件所对应的文件信息依次发送给客户端，客户端一接收到该指定目录下的文件所对应的文件信息时，即可进行下载操作，无需等待接收到所有文件所对应的文件信息之后再进行下载操作，此过程中可节省大量等待时间，客户端下载该文件时，直接向服务器发送下载文件指令，服务器会根据该下载指令中包含的文件ID、服务器返回的文件路径查找该文件，并根据下载指令中包含的文件开始下载位置，将查找到的文件拆分为若干文件块，并将所有文件块放入数据包内，此过程中，拆分为文件块的目的是方便传输，客户端在接收到该数据包后即完成该文件的下载，客户端在接收到一个文件对应的文件信息即可进行下载操作，使得客户端可同时进行多个文件的下载，无需等待服务器响应后再发送下一个下载文件指令，可充分利用宽带，加快下载过程。

综上所述，本发明提供一种可在高延迟场景下快速下载大量小文件的传输方法，具有以下有益效果：

1、建立一个TCP连接，保证所有的控制消息和文件数据都在该TCP连接上进行传输，可有效减少操作过程，加快客户端的下载操作进程、提高下载效率；

2、客户端一接收到该指定目录下的文件所对应的文件信息时，即可进行下载操作，无需等待接收到所有文件所对应的文件信息之后，可节省大量等待时间，即使在网络存在高延迟状态下，也可进行大量小文件的快速下载；

3、服务器可自动遍历指定目录下的子目录，客户端在收到服务器发送的文件信息后，即可查看子目录中的文件，无需重复多次向服务器发送查看子目录中所有文件的操作，可减少服务器与客户端之间的交互过程，进一步减少等待时间。

以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种可在高延迟场景下快速下载大量小文件的传输方法，其特征在于，包括以下步骤：

S1：客户端与服务器建立TCP连接，并向服务器发送登陆信息，服务器检查所述登陆信息是否有误，若无误，则登陆成功；

S2：客户端登陆成功后，查看服务器上显示的文件目录，并向服务器发送获取指定目录下所有文件的获取指令，服务器根据所述获取指令查找该指定目录在服务器上的位置，并依次遍历所述指定目录下的所有文件，将所述指定目录下的所有文件各自对应的文件信息逐条发送给客户端；

所述文件信息至少包括：文件夹或文件的路径、是否为文件夹、文件或文件夹修改时间、文件或文件夹大小；

S3：当客户端接收到任一条所述指定目录中文件所对应的文件信息时，若客户端需要下载该文件，则向服务器发送下载文件指令；

所述下载文件指令至少包括：该下载文件的文件ID、服务器返回的文件路径、文件开始下载位置；

S4：服务器根据所述下载文件指令，查找相应文件，并将其拆分为若干文件块，并将所述文件块放入至数据包内，将所述数据包发送给客户端。

2.根据所述权利要求1所述的一种可在高延迟场景下快速下载大量小文件的传输方法，其特征在于，所述步骤S2中的获取指令中包含所述指定目录的路径，所述步骤S2进一步包括以下步骤：

S20：客户端登陆成功后，查看服务器上显示的文件目录，并向服务器发送获取指定目录下所有文件的获取指令；

所述指定目录为所述服务器上显示的文件目录中的任一文件夹；

S21：服务器将所述获取指令中的指定目录的路径转换为该指定目录在服务器上的路径，并查找该指定目录；

S22：服务器依次遍历所述指定目录及所述指定目录下的子目录中的所有文件，将所述指定目录下的所有文件各自对应的文件信息逐条发送给客户端。

3.根据权利要求1所述的一种可在高延迟场景下快速下载大量小文件的传输方法，其特征在于，所述步骤S3进一步包括以下步骤：

S30：当客户端接收到任一条所述指定目录中文件所对应的文件信息时，若客户端需要下载该文件，则向服务器发送下载文件指令；

S31：当客户端接收到任一条所述指定目录中文件夹所对应的文件信息时，则在本地存储中创建与该文件夹名称相同的文件夹；

S32：若客户端需下载所述步骤S31文件夹目录下的文件，则向服务器发送下载文件指令。

4.根据权利要求1所述的一种可在高延迟场景下快速下载大量小文件的传输方法，其特征在于，所述步骤S4中所述的若干文件块的大小不超过64KB。

5.根据权利要求4所述的一种可在高延迟场景下快速下载大量小文件的传输方法，其特征在于，所述步骤S4进一步包括以下步骤：

S40：服务器接收到所述下载文件指令后，响应客户端是否允许下载；

S41：当客户端发送的所述下载文件指令存在错误时，服务器向客户端发送报错信息；

S42：当客户端发送的所述下载文件指令不存在错误时，服务器响应客户端允许下载，并根据所述下载文件指令，查找相应文件，并将其拆分为大小不超过64KB的若干文件块；

S43：将步骤S42中的若干文件块放入至数据包内，并将所述数据包发送给所述客户端；

S44：当所述步骤S43中的数据包发送完成后，服务器响应客户端文件数据传输完成，客户端关闭该文件下载，并在本地存储中标识该文件已下载完成。

6.根据权利要求1所述的一种可在高延迟场景下快速下载大量小文件的传输方法，其特征在于，所述登陆信息包括：用户名、密码。

Images