CN110493342B - 文件传输方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请实施例提供了一种文件传输方法、装置、电子设备及可读存储介质，所述方法应用于文件传输系统，所述文件传输系统包括发送端和接收端，所述方法包括：在所述发送端获取待传输文件，确定传输所述待传输文件所需的多个第一线程；所述发送端根据所述多个第一线程，将所述待传输文件分割成多个文件块；所述发送端将所述多个文件块异步传输至kafka中；所述接收端采用预置的线程池中的多个第二线程，异步读取对应的文件块；其中，所述多个第二线程与所述多个第一线程的数量相同；所述接收端根据读取的每个文件块中的文件位置指针，将所述每个文件块写入对应的文件位置，完成文件的传输；以提高文件传输的速度和稳定性。

Description

文件传输方法、装置、电子设备及可读存储介质

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种文件传输方法、装置、电子设备及可读存储介质。

背景技术

在项目开发中，经常会涉及到文件相关的读写操作，例如从网页中上传或下载文件，此时，涉及到文件传输过程。由相关技术可知，在进行文件传输的过程中，通常会使用netty等框架作为工具进行通信，将整个文件由发送端传输至接收端。

由于相关技术中，将整个文件由发送端传输至接收端，因此，在文件的传输时就是一个同步的操作，当文件很大或者文件传输操作的并发量很高时，这种同步传输的方式就会遇到瓶颈，导致文件传输的速度下降，以及文件传输系统的性能降低，因此，有必要对相关技术进行研究改进。

发明内容

本申请实施例提供一种文件传输方法、装置、电子设备及可读存储介质，以提高文件传输的速度和稳定性。

本申请实施例第一方面提供了一种文件传输方法，所述方法应用于文件传输系统，所述文件传输系统包括发送端和接收端，所述方法包括：

在所述发送端获取待传输文件，确定传输所述待传输文件所需的多个第一线程；

所述发送端根据所述多个第一线程，将所述待传输文件分割成多个文件块；

所述发送端将所述多个文件块异步传输至kafka中，其中，所述文件块中包含：所述待传输文件的文件名称、文件块的文件内容以及文件位置指针；

所述接收端采用预置的线程池中的多个第二线程，异步读取对应的文件块；其中，所述多个第二线程与所述多个第一线程的数量相同；

所述接收端根据读取的每个文件块中的文件位置指针，将所述每个文件块写入对应的文件位置，完成文件的传输。

可选地，在所述发送端获取待传输文件，确定传输所述待传输文件所需的多个第一线程，包括：

在所述发送端获取所述待传输文件，读取所述待传输文件的大小；

所述发送端根据所述多个第一线程中的每个第一线程的预设传输阈值和所述待传输文件的大小，确定传输所述待传输文件所需的多个第一线程。

可选地，所述发送端根据所述多个第一线程，将所述待传输文件分割成多个文件块，包括：

所述发送端根据所述多个第一线程中的每个第一线程的预设传输阈值，在该线程内使用随机访问类读取所述待传输文件对应的文件位置，得到对应的文件块；其中，每个第一线程对应的文件块组成多个文件块。

可选地，在所述发送端将所述多个文件块异步传输至kafka中之后，所述方法还包括：

所述接收端校验所述待传输文件的文件名称是否唯一；

在所述接收端校验所述待传输文件的文件名称不唯一的情况下，将文件名称重复的文件进行覆盖。

本申请实施例第二方面提供一种文件传输装置，所述装置应用于文件传输系统，所述文件传输系统包括发送端和接收端，所述装置包括：

确定模块，用于在所述发送端获取待传输文件，确定传输所述待传输文件所需的多个第一线程；

分割模块，用于所述发送端根据所述多个第一线程，将所述待传输文件分割成多个文件块；

传输模块，用于所述发送端将所述多个文件块异步传输至kafka中，其中，所述文件块中包含：所述待传输文件的文件名称、文件块的文件内容以及文件位置指针；

读取模块，用于所述接收端采用预置的线程池中的多个第二线程，异步读取对应的文件块；其中，所述多个第二线程与所述多个第一线程的数量相同；

写入模块，用于所述接收端根据读取的每个文件块中的文件位置指针，将所述每个文件块写入对应的文件位置，完成文件的传输。

可选地，确定模块包括：

获取子模块，用于在所述发送端获取所述待传输文件，读取所述待传输文件的大小；

确定子模块，用于所述发送端根据所述多个第一线程中的每个第一线程的预设传输阈值和所述待传输文件的大小，确定传输所述待传输文件所需的多个第一线程。

可选地，分割模块包括：

读取子模块，用于所述发送端根据所述多个第一线程中的每个第一线程的预设传输阈值，在该线程内使用随机访问类读取所述待传输文件对应的文件位置，得到对应的文件块；其中，每个第一线程对应的文件块组成多个文件块。

可选地，所述装置还包括：

校验模块，用于所述接收端校验所述待传输文件的文件名称是否唯一；

覆盖模块，用于在所述接收端校验所述待传输文件的文件名称不唯一的情况下，将文件名称重复的文件进行覆盖。

本申请实施例第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面所述的方法中的步骤。

本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请第一方面所述的方法的步骤。

采用本申请实施例提供的一种文件传输方法，在文件传输过程中，使用随机访问类按待传输文件的大小启用相应的多个第一线程，对待传输文件进行分割传输，同时，搭配高吞吐量的分布式订阅消息系统kafka作为传输文件时的通信方式，以异步的方式并行的传输大文件，使得文件传输的更加稳定、高效。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提出的一种文件传输方法的流程图；

图2是本申请一实施例提出的一种文件传输方法中步骤S11的流程；

图3是本申请一实施例提出的一种文件传输方法的流程图；

图4是本申请一实施例提出的一种文件传输装置的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考图1，图1是本申请一实施例提出的一种文件传输方法的流程图。如图1所示，所述方法应用于文件传输系统，所述文件传输系统包括发送端和接收端，该方法包括以下步骤：

步骤S11：在所述发送端获取待传输文件，确定传输所述待传输文件所需的多个第一线程。

在本申请的各个实施例中，所述发送端和接收端可以是终端设备或者服务器。例如，在项目开发过程中，安装有客户端的终端设备从网页中上传或者下载文件，其中，从网页中上传文件时，发送端为终端设备，接收端为服务器；从网页中下载文件时，发送端为服务器，接收端为终端设备。

除此之外，所述发送端和接收端均可以是终端设备，例如，终端设备A向终端设备B发送文件时，终端设备A为发送端，终端设备B为接收端。其中，终端设备包括但不限于以下至少之一：手机、平板电脑、笔记本电脑以及PC机。本申请并不对终端设备进行限制。

参考图2，图2是本申请一实施例提出的一种文件传输方法中步骤S11的流程图，如图2所示，步骤S11包括：

步骤S111：在所述发送端获取所述待传输文件，读取所述待传输文件的大小；

步骤S112：所述发送端根据所述多个第一线程中的每个第一线程的预设传输阈值和所述待传输文件的大小，确定传输所述待传输文件所需的多个第一线程。

在本实施例中，首先，在所述发送端获取所述待传输文件，读取所述待传输文件的大小；然后，所述发送端根据所述多个第一线程中的每个第一线程的预设传输阈值和所述待传输文件的大小，确定传输所述待传输文件所需的多个第一线程。其中，确定传输所述待传输文件所需的多个第一线程是指：确定传输所述待传输文件需要启动的第一线程数量，具体地，将所述待传输文件的大小值与所述单个第一线程的预设传输阈值的比值作为第一线程的数量；其中，若比值有余数，则将所述第一线程的数量进行加一处理；示例地，以每个第一线程的预设传输阈值为1024字节，所述待传输文件的大小为10240字节为例，则确定传输所述待传输文件所需的多个第一线程为：10240/1024＝10，即，所需的多个第一线程为10个。

在本实施例中，若待传输文件的大小小于所述预设传输阈值，则不启用新的第一线程，采用单个的第一线程进行同步传输；示例地，仍以每个第一线程的预设传输阈值为1024字节为例，若所述待传输文件的大小值为1024字节，则采用当前的第一线程进行传输，无需再启用新的第一线程。

步骤S12：所述发送端根据所述多个第一线程，将所述待传输文件分割成多个文件块。

在本实施例中，所述发送端根据所述多个第一线程，将所述待传输文件分割成多个文件块的具体实施步骤为：

所述发送端根据所述多个第一线程中的每个第一线程的预设传输阈值，在该线程内使用随机访问类读取所述待传输文件对应的文件位置，得到对应的文件块；其中，每个第一线程对应的文件块组成多个文件块。

在本实施例中，随机访问类是java中读取和输出文件数据的文件内容访问类，其包含一个指针，用于标识当前文件读写的位置，该指针随着文件的读写而移动，并且可以自由移动指针的位置。

随机访问类的工作方式是把Data Input Stream(数据输入流)和Data OutputStream(数据输出流)粘起来，再加上它自己的一些方法，比如定位用的get File Pointer(文件指针)，在文件里移动用的seek，以及判断文件大小的length。此外，它的构造函数还要一个表示以只读方式("r")，还是以读写方式("rw")打开文件的参数。

在本实施例中，在每个第一线程中使用随机访问类中的seek方法，定位到每个第一线程中各自传输的文件块位置，得到该第一线程对应的文件块；示例地，仍以上述每个第一线程的预设传输阈值为1024字节，所述待传输文件的大小为10240字节为例，确定的多个第一线程为10个为例，则每个第一线程中传输1024字节大小的文件块，采用随机访问类中的seek方法定位之后，获取的每个文件块分别为：1-1024字节的文件块1、1024-2048字节的文件块2、2048-3072字节的文件块3……9216-10240字节的文件块10。

步骤S13：所述发送端将所述多个文件块异步传输至kafka中，其中，所述文件块中包含：所述待传输文件的文件名称、文件块的文件内容以及文件位置指针。

在本实施例中，kafka是一种高吞吐量的分布式发布订阅消息系统，kafka为一个中间件，kafka通过集群提供实时的消息，具有高性能、持久化、多副本备份以及横向扩展能力。

在本实施例中，文件位置指针是指随机访问类中包含的指针，其可以指该文件块中的起始位置或者终点位置，示例地，以上述1-1024字节的文件块1为例，若该文件块以起始位置为文件位置指针，则文件位置指针为1；若该文件块以终点位置为文件位置指针，则文件位置指针为1024。

步骤S14：所述接收端采用预置的线程池中的多个第二线程，异步读取对应的文件块；其中，所述多个第二线程与所述多个第一线程的数量相同。

在本实施例中，由于接收端不能预知kafka中的多个文件块的数量，因此预置线程池，在读取kafka中的多个文件块时采用所述线程池中的对应数量的多个第二线程进行对应读取。通过采用线程池，可以对线程进行管理，提供定时、定期、单线程、并发数控制等功能，且线程池具备重用功能，减少了线程的创建和销毁等不必要的开销，线程执行速度快。

步骤S15：所述接收端根据读取的每个文件块中的文件位置指针，将所述每个文件块写入对应的文件位置，完成文件的传输。

在本实施例中，所述接收端根据读取的每个文件块中的文件位置指针，采用随机访问类中的seek方法，将每个文件块携带的文件内容写入对应的文件位置，完成文件的传输，示例地，仍以上述每个第一线程的预设传输阈值为1024字节，所述待传输文件的大小为10240字节为例，确定的多个第一线程为10个为例，获取的每个文件块分别为：1-1024字节的文件块1、1024-2048字节的文件块2、2048-3072字节的文件块3……9216-10240字节的文件块10为例，则将文件块1、文件块2、文件块3……文件块10依次写入，形成最终的完整文件，完成文件的传输。

通过上述的技术方案，在文件传输过程中，使用随机访问类按待传输文件的大小启用相应的多个第一线程，对待传输文件进行分割传输；同时，搭配高吞吐量的分布式订阅消息系统kafka作为传输文件时的通信方式，以异步的方式并行的传输大文件，使得文件传输的更加稳定、高效；避免了相关技术中的文件传输方式，带来的传输文件过大时传输速度下降的问题，同时，避免相关技术中传输文件时使用netty作为传输时的通信方式，导致只能采用同步传输文件。

参考图3，图3是本申请一实施例提出的一种文件传输方法的流程图，如图3所示，所述方法除步骤S11-步骤S15，还包括以下步骤：

步骤S31：所述接收端校验所述待传输文件的文件名称是否唯一。

步骤S32：在所述接收端校验所述待传输文件的文件名称不唯一的情况下，将文件名称重复的文件进行覆盖。

在本实施例中，在所述接收端校验所述待传输文件的文件名称不唯一的情况下，除了将文件名称重复的文件进行覆盖，还可以停止所述待传输文件的传输过程，避免文件进行重复传输。

基于同一发明构思，本申请一实施例提供一种文件传输装置。参考图4，图4是本申请一实施例提供的一种文件传输装置的示意图。如图4所示，所述装置应用于文件传输系统，所述文件传输系统包括发送端和接收端，该装置包括：

确定模块401，用于在所述发送端获取待传输文件，确定传输所述待传输文件所需的多个第一线程；

分割模块402，用于所述发送端根据所述多个第一线程，将所述待传输文件分割成多个文件块；

传输模块403，用于所述发送端将所述多个文件块异步传输至kafka中，其中，所述文件块中包含：所述待传输文件的文件名称、文件块的文件内容以及文件位置指针；

读取模块404，用于所述接收端采用预置的线程池中的多个第二线程，异步读取对应的文件块；其中，所述多个第二线程与所述多个第一线程的数量相同；

写入模块405，用于所述接收端根据读取的每个文件块中的文件位置指针，将所述每个文件块写入对应的文件位置，完成文件的传输。

确定模块包括：

获取子模块，用于在所述发送端获取所述待传输文件，读取所述待传输文件的大小；

确定子模块，用于所述发送端根据所述多个第一线程中的每个第一线程的预设传输阈值和所述待传输文件的大小，确定传输所述待传输文件所需的多个第一线程。

分割模块包括：

读取子模块，用于所述发送端根据所述多个第一线程中的每个第一线程的预设传输阈值，在该线程内使用随机访问类读取所述待传输文件对应的文件位置，得到对应的文件块；其中，每个第一线程对应的文件块组成多个文件块。

所述装置还包括：

校验模块，用于所述接收端校验所述待传输文件的文件名称是否唯一；

覆盖模块，用于在所述接收端校验所述待传输文件的文件名称不唯一的情况下，将文件名称重复的文件进行覆盖。

基于同一发明构思，本申请另一实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的方法中的步骤。

基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的方法中的步骤。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种文件传输方法、装置、存储介质和电子设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种文件传输方法，其特征在于，所述方法应用于文件传输系统，所述文件传输系统包括发送端和接收端，所述方法包括：

在所述发送端获取待传输文件，确定传输所述待传输文件所需的多个第一线程；

所述发送端根据所述多个第一线程，将所述待传输文件分割成多个文件块；

所述发送端将所述多个文件块异步传输至kafka中，其中，所述文件块中包含：所述待传输文件的文件名称、文件块的文件内容以及文件位置指针；

所述接收端采用预置的线程池中的多个第二线程，异步读取对应的文件块；其中，所述多个第二线程与所述多个第一线程的数量相同；

所述接收端根据读取的每个文件块中的文件位置指针，将所述每个文件块写入对应的文件位置，完成文件的传输；

其中，所述发送端根据所述多个第一线程，将所述待传输文件分割成多个文件块，包括：

所述发送端根据所述多个第一线程中的每个第一线程的预设传输阈值，在该线程内使用随机访问类读取所述待传输文件对应的文件位置，得到对应的文件块；其中，每个第一线程对应的文件块组成多个文件块。

2.根据权利要求1所述的方法，其特征在于，在所述发送端获取待传输文件，确定传输所述待传输文件所需的多个第一线程，包括：

在所述发送端获取所述待传输文件，读取所述待传输文件的大小；

所述发送端根据所述多个第一线程中的每个第一线程的预设传输阈值和所述待传输文件的大小，确定传输所述待传输文件所需的多个第一线程。

3.根据权利要求1所述的方法，其特征在于，在所述发送端将所述多个文件块异步传输至kafka中之后，所述方法还包括：

所述接收端校验所述待传输文件的文件名称是否唯一；

在所述接收端校验所述待传输文件的文件名称不唯一的情况下，将文件名称重复的文件进行覆盖。

4.一种文件传输装置，其特征在于，所述装置应用于文件传输系统，所述文件传输系统包括发送端和接收端，所述装置包括：

确定模块，用于在所述发送端获取待传输文件，确定传输所述待传输文件所需的多个第一线程；

分割模块，用于所述发送端根据所述多个第一线程，将所述待传输文件分割成多个文件块；

传输模块，用于所述发送端将所述多个文件块异步传输至kafka中，其中，所述文件块中包含：所述待传输文件的文件名称、文件块的文件内容以及文件位置指针；

读取模块，用于所述接收端采用预置的线程池中的多个第二线程，异步读取对应的文件块；其中，所述多个第二线程与所述多个第一线程的数量相同；

写入模块，用于所述接收端根据读取的每个文件块中的文件位置指针，将所述每个文件块写入对应的文件位置，完成文件的传输。

5.根据权利要求4所述的装置，其特征在于，确定模块包括：

获取子模块，用于在所述发送端获取所述待传输文件，读取所述待传输文件的大小；

确定子模块，用于所述发送端根据所述多个第一线程中的每个第一线程的预设传输阈值和所述待传输文件的大小，确定传输所述待传输文件所需的多个第一线程。

6.根据权利要求4所述的装置，其特征在于，所述装置还包括：

校验模块，用于所述接收端校验所述待传输文件的文件名称是否唯一；

覆盖模块，用于在所述接收端校验所述待传输文件的文件名称不唯一的情况下，将文件名称重复的文件进行覆盖。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3任一所述的方法中的步骤。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行时实现如权利要求1-3任一所述的方法的步骤。

Images