CN110784528A

CN110784528A - 一种文件下载方法、装置和存储介质

Info

Publication number: CN110784528A
Application number: CN201911004004.6A
Authority: CN
Inventors: 赵书呈; 于瀚翔; 尹健楠
Original assignee: Beijing Topsec Technology Co Ltd; Beijing Topsec Network Security Technology Co Ltd; Beijing Topsec Software Co Ltd
Current assignee: Beijing Topsec Technology Co Ltd; Beijing Topsec Network Security Technology Co Ltd; Beijing Topsec Software Co Ltd
Priority date: 2019-10-22
Filing date: 2019-10-22
Publication date: 2020-02-11
Anticipated expiration: 2039-10-22
Also published as: CN110784528B

Abstract

本发明提出了一种文件下载方法、装置和存储介质，用以提高基于FTP协议的文件下载速度和下载效率。文件下载方法，包括：启动多个文件下载线程；通过所述多个文件下载线程，从文件下载服务器逐级获取文件存储子目录信息添加到目录队列中，以及获取待下载文件信息加入到文件队列中，直至到达最后一级子目录；以及根据所述文件队列中的待下载文件信息，从所述文件下载服务器下载待下载文件，直至所述文件队列为空。

Description

一种文件下载方法、装置和存储介质

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种文件下载方法、装置和存储介质。

背景技术

随着计算机网络技术的发展，网络文件交换成为了信息交换的一种常用方式。其中FTP(File Transfer Protocol，文件传输协议)是一种常用的文件传输协议。现有的基于FTP协议进行文件下载的方式，往往采用单一线程，利用FTP协议指令，先列出文件目录，再切换到文件所在目录，读取并下载文件。

但是，实际应用中，存在大量小文件的下载以及文件目录较多的应用场景，通常需要将一个文下载完成后再下载另一个文件，在需要高速文件同步传输时，这种方式往往不能满足性能的要求，而且在文件同步传输的过程中性能瓶颈往往发生在大量目录存在的情况下。

发明内容

本发明实施例提供一种文件下载方法、装置和存储介质，用以提高基于FTP协议的文件下载速度和下载效率。

第一方面，提供一种文件下载方法，包括：

启动多个文件下载线程；

通过所述多个文件下载线程，从文件下载服务器逐级获取文件存储子目录信息添加到目录队列中，以及获取待下载文件信息加入到文件队列中，直至到达最后一级子目录；以及

根据所述文件队列中的待下载文件信息，从所述文件下载服务器下载待下载文件，直至所述文件队列为空。

在一种实施方式中，通过所述多个文件下载线程，从文件下载服务器逐级获取文件存储子目录信息添加到目录队列中，以及获取待下载文件信息加入到文件队列中，具体包括：

通过任一文件下载线程，从文件下载服务器获取根目录下的所有子目录信息和待下载文件信息；

将所述根目录下的子目录信息存储到目录队列中，将根目录下的待下载文件信息存储到文件队列中；

通过所述多个文件下载线程，从所述目录队列中获取子目录的下一级子目录信息和待下载文件信息，分别加入到目录队列和文件队列中，直至目录队列为空。

在一种实施方式中，所述文件下载服务器包括文件传输协议FTP文件下载服务器、简单文件传输协议TFTP文件下载服务器和服务信息块SMB文件下载服务器。

在一种实施方式中，所述文件下载服务器为FTP文件下载服务器；以及

从文件下载服务器逐级获取文件存储子目录信息添加到目录队列中，具体包括：

利用LIST指令从文件下载服务器逐级获取文件存储子目录信息添加到目录队列中。

第二方面，还提供一种文件下载装置，包括：

启动单元，用于启动多个文件下载线程；

获取单元，用于通过所述多个文件下载线程，从文件下载服务器逐级获取文件存储子目录信息添加到目录队列中，以及获取待下载文件信息加入到文件队列中，直至到达最后一级子目录；

下载单元，用于根据所述文件队列中的待下载文件信息，从所述文件下载服务器下载待下载文件，直至所述文件队列为空。

在一种实施方式中，所述获取单元，具体用于通过任一文件下载线程，从文件下载服务器获取根目录下的所有子目录信息和待下载文件信息；将所述根目录下的子目录信息存储到目录队列中，将根目录下的待下载文件信息存储到文件队列中；通过所述多个文件下载线程，从所述目录队列中获取子目录的下一级子目录信息和待下载文件信息，分别加入到目录队列和文件队列中，直至目录队列为空。

所述获取单元，具体用于利用LIST指令从文件下载服务器逐级获取文件存储子目录信息添加到目录队列中。

第三方面，提供一种计算装置，所述计算装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一权利要求所述的步骤。

第四方面，提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一权利要求所述的步骤。

采用上述技术方案，本发明至少具有下列优点：

本发明实施例所述的文件下载方法、装置和存储介质，通过同时启动多个线程从文件下载服务器快速获取文件存储子目录信息和待下载文件信息，从而提高了文件存储目录遍历速度和文件下载传输性能，解决了大量目录存在的场景下文件同步传输耗时较长造成的性能低下问题，提高了文件下载速度和下载效率。

附图说明

图1为根据本发明实施例的文件下载方法流程图；

图2为根据本发明实施例的逐级获取文件存储子目录信息的流程示意图；

图3为根据本发明实施例的文件下载装置结构示意图；

图4为根据本发明实施例的计算装置的结构示意图。

具体实施方式

为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。

首先对本发明实施例中涉及的术语进行说明：

LIST：是一个目录列表工具，能够列出FTP、本地磁盘上的目录内容，输出格式可以是树型图，也可以是URL、HTML、带格式文本文件等形式。

需要说明的是，本发明实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。

在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

如图1所示，其为本发明实施例提供的文件下载方法的实施流程示意图，包括以下步骤：

S11、启动多个文件下载线程。

具体实施时，可以在计算机本地启动多个文件下载线程，通过多线程技术同时下载多个小文件，下载文件时，可以使用多个用户登录文件下载服务器。

需要说明的是，该多个用户可以使用同一用户名登录文件下载服务器，也可以使用不同的用户名登录文件下载服务器，本发明实施例对此不进行限定。但是，各用户通过不同线程获取的文件存储子目录信息和文件信息应当分别加入同一目录队列和文件队列中，即本发明实施例中，目录队列和文件队列只存在一个。

本发明实施例中，目录队列用于缓存各个线程每次获取的目录的子目录信息，其决定了下一次目录遍历线程获取的资源，当一个目录被遍历时会从目录队列中移除相应的目录信息，并将该目录的子目录信息添加到目录队列中。文件队列用于存放个线程每次获取到的待下载文件信息，各线程从文件队列中取出相关文件信息进行传输。

具体实施时，为了更好的利用多核CPU的优势，避免线程集中运行在一个CPU核上，登录用户数量与CPU(中央处理单元)的核数相关。例如，可以根据CPU核数，通过相同数量的用户登录文件下载服务器。

S12、通过启动的多个文件下载线程，从文件下载服务器逐级获取文件存储子目录信息添加到目录队列中，以及获取待下载文件信息加入到文件队列中，直至到达最后一级子目录。

本发明实施例提供的文件下载方法适用于FTP(文件传输协议)协议、TFTP(简单文件传输协议)协议以及SMB(Server Message Block，服务信息块)协议等。相应地，文件下载服务器可以为FTP文件下载服务器、TFTP文件下载服务器和SMB文件下载服务器。

如果采用FTP传输协议，则步骤S12中，可以通过LIST指令从文件下载服务器逐级获取文件存储子目录信息添加到目录队列中。

S13、根据所述文件队列中的待下载文件信息，从所述文件下载服务器下载待下载文件，直至所述文件队列为空。

其中，步骤12中可以按照图2所示的流程逐级获取文件存储子目录信息：

S121、通过任一文件下载线程，从文件下载服务器获取根目录下的所有子目录信息和待下载文件信息。

本步骤中，通过任一线程从文件下载服务器获取根目录下的所有一级子目录信息和根目录下的待下载文件信息。

S122、将根目录下的子目录信息存储到目录队列中，将根目录下的待下载文件信息存储到文件队列中。

S123、通过多个文件下载线程，分别从目录队列中获取子目录的下一级子目录信息和待下载文件信息，分别加入到目录队列和文件队列中。

具体实施时，在获取了一级目录信息之后，还可以继续从目录队列中读取目录信息，以获取二级目录信息，以此类推，逐级获取子目录信息。

S124、判断目录队列是否为空，如果是，则流程结束，否则，返回执行步骤S123。

如图3所示，其为根据本发明实施例提供的文件下载方法遍历目录和下载文件的示意图。

基于相同的技术构思，本发明实施例还提供了一种文件下载装置，如图3所示，包括：

启动单元31，用于启动多个文件下载线程；

获取单元32，用于通过所述多个文件下载线程，从文件下载服务器逐级获取文件存储子目录信息添加到目录队列中，以及获取待下载文件信息加入到文件队列中，直至到达最后一级子目录；

下载单元33，用于根据所述文件队列中的待下载文件信息，从所述文件下载服务器下载待下载文件，直至所述文件队列为空。

在介绍了本发明示例性实施方式的文件下载方法和装置之后，接下来，介绍根据本发明的另一示例性实施方式的计算装置。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本发明的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行本说明书上述描述的根据本发明各种示例性实施方式的文件下载方法中的步骤。例如，所述处理器可以执行如图1中所示的步骤S11、启动多个文件下载线程，和步骤S12、通过启动的多个文件下载线程，从文件下载服务器逐级获取文件存储子目录信息添加到目录队列中，以及获取待下载文件信息加入到文件队列中，直至到达最后一级子目录；以及步骤S13、根据所述文件队列中的待下载文件信息，从所述文件下载服务器下载待下载文件，直至所述文件队列为空。

下面参照图4来描述根据本发明的这种实施方式的计算装置40。图4显示的计算装置40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，计算装置40以通用计算设备的形式表现。计算装置40的组件可以包括但不限于：上述至少一个处理器41、上述至少一个存储器42、连接不同系统组件(包括存储器42和处理器41)的总线43。

总线43表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储器42可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)421和/或高速缓存存储器422，还可以进一步包括只读存储器(ROM)423。

存储器42还可以包括具有一组(至少一个)程序模块424的程序/实用工具425，这样的程序模块424包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算装置40也可以与一个或多个外部设备44(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置40交互的设备通信，和/或与使得该计算装置40能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口45进行。并且，计算装置40还可以通过网络适配器46与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器46通过总线43与用于计算装置40的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置40使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

在一些可能的实施方式中，本发明提供的文件下载方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的文件下载方法中的步骤，例如，所述计算机设备可以执行如图1中所示的步骤S11、启动多个文件下载线程，和步骤S12、通过启动的多个文件下载线程，从文件下载服务器逐级获取文件存储子目录信息添加到目录队列中，以及获取待下载文件信息加入到文件队列中，直至到达最后一级子目录；以及步骤S13、根据所述文件队列中的待下载文件信息，从所述文件下载服务器下载待下载文件，直至所述文件队列为空。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本发明的实施方式的用于文件下载的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。

Claims

1.一种文件下载方法，其特征在于，包括：

启动多个文件下载线程；

通过所述多个文件下载线程，从文件下载服务器逐级获取文件存储子目录信息添加到目录队列中，直至到达最后一级子目录，以及获取待下载文件信息加入到文件队列中，直至到达最后一级子目录；以及

2.根据权利要求1所述的方法，其特征在于，通过所述多个文件下载线程，从文件下载服务器逐级获取文件存储子目录信息添加到目录队列中，以及获取待下载文件信息加入到文件队列中，具体包括：

3.根据权利要求1所述的方法，其特征在于，所述文件下载服务器包括文件传输协议FTP文件下载服务器、简单文件传输协议TFTP文件下载服务器和服务信息块SMB文件下载服务器。

4.根据权利要求3所述的方法，其特征在于，所述文件下载服务器为FTP文件下载服务器；以及

5.一种文件下载装置，其特征在于，包括：

启动单元，用于启动多个文件下载线程；

6.根据权利要求5所述的装置，其特征在于，

所述获取单元，具体用于通过任一文件下载线程，从文件下载服务器获取根目录下的所有子目录信息和待下载文件信息；将所述根目录下的子目录信息存储到目录队列中，将根目录下的待下载文件信息存储到文件队列中；通过所述多个文件下载线程，从所述目录队列中获取子目录的下一级子目录信息和待下载文件信息，分别加入到目录队列和文件队列中，直至目录队列为空。

7.根据权利要求5所述的装置，其特征在于，所述文件下载服务器包括文件传输协议FTP文件下载服务器、简单文件传输协议TFTP文件下载服务器和服务信息块SMB文件下载服务器。

8.根据权利要求7所述的装置，其特征在于，所述文件下载服务器为FTP文件下载服务器；以及

9.一种计算装置，其特征在于，所述计算装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的方法的步骤。

10.一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述方法的步骤。