CN107689976A - 一种文件传输方法及装置 - Google Patents

一种文件传输方法及装置 Download PDF

Info

Publication number
CN107689976A
CN107689976A CN201610637985.8A CN201610637985A CN107689976A CN 107689976 A CN107689976 A CN 107689976A CN 201610637985 A CN201610637985 A CN 201610637985A CN 107689976 A CN107689976 A CN 107689976A
Authority
CN
China
Prior art keywords
file
task
resolved
folder
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610637985.8A
Other languages
English (en)
Other versions
CN107689976B (zh
Inventor
赵海彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201610637985.8A priority Critical patent/CN107689976B/zh
Publication of CN107689976A publication Critical patent/CN107689976A/zh
Application granted granted Critical
Publication of CN107689976B publication Critical patent/CN107689976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例公开了一种文件传输方法及装置,该方法为:接收针对目标文件夹的文件传输请求,并将目标文件夹确定为待解析文件夹;解析待解析文件夹得到解析结果,其中,解析结果包含待解析文件夹下第一层中的待传输文件和/或待解析子文件夹;在解析结果中包含待传输文件的情况下,生成每一待传输文件对应的目标任务;将目标任务添加到传输任务执行队列,并根据传输任务执行队列中目标任务的顺序传输每一待传输文件;在解析结果中包含待解析子文件夹的情况下,依次将待解析子文件夹确定为待解析文件夹,并返回执行解析待解析文件夹得到解析结果的步骤。应用本发明实施例,可以减少传输文件夹包含的文件的时间,提高用户体验。

Description

一种文件传输方法及装置
技术领域
本发明涉及网络传输技术领域,特别涉及一种文件传输方法及装置。
背景技术
目前,用户可以将自己的文件或文件夹上传到网盘,在需要的时候,将网盘中的文件或文件夹下载到本地。具体的,需要传输的每一个文件称为一个任务,使用网盘传输文件时,需要将每个文件对应的任务加载到内存中的传输任务执行队列中,通过传输任务执行队列对应的线程最终将每一任务对应的文件从本地上传到网盘或者从网盘下载到本地。
众所周知,文件夹下包括文件和/或子文件夹,而子文件夹同样如此。当使用网盘传输文件夹时,需要解析出文件夹中包含的文件,才能生成每个文件所对应的任务。通常情况下,在生成文件夹中的每个文件所对应的任务时为了防止出错,会将文件夹所包含的文件一次性解析完。而对于文件夹下包含大量文件和子文件夹的情况,一次性解析出整个文件夹所包含的文件,会占用相当长的时间,待生成所有文件对应的任务后,才开始真正进行文件传输,导致传输整个文件夹包含文件所用的时间较长,对于用户来说,需要等待很长时间才看到真正的传输任务开始,用户体验差。
发明内容
本发明实施例的目的在于提供一种文件传输方法及装置,以减少传输文件夹包含的文件的时间,提高用户体验。
为达到上述目的,本发明实施例公开了一种文件传输方法,所述方法包括:
接收针对目标文件夹的文件传输请求,并将所述目标文件夹确定为待解析文件夹;
解析所述待解析文件夹得到解析结果,其中,所述解析结果包含:所述待解析文件夹下第一层中的待传输文件和/或待解析子文件夹;
在所述解析结果中包含所述待传输文件的情况下,生成每一待传输文件对应的目标任务;
将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件;
在所述解析结果中包含所述待解析子文件夹的情况下,依次将所述待解析子文件夹确定为所述待解析文件夹,并返回执行解析所述待解析文件夹得到解析结果的步骤。
可选的,在所述将所述目标文件夹确定为待解析文件夹后,还包括:
将所述待解析文件夹的信息写入数据库;
在所述解析结果中包含所述待解析子文件夹的情况下,还包括:
将所述待解析子文件夹的信息写入所述数据库。
可选的,在所述解析所述待解析文件夹得到解析结果后,还包括:
将所述待解析文件夹的信息从所述数据库中删除。
可选的,在所述生成每一待传输文件对应的目标任务后,还包括:
将所述每一待传输文件对应的目标任务写入所述数据库。
可选的,在所述将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件后,还包括:
从所述数据库中删除已完成传输的文件对应的目标任务。
可选的,所述将所述目标任务添加到传输任务执行队列,包括:
判断所述传输任务执行队列是否有空闲空间,如果是,将所述目标任务添加到所述传输任务执行队列。
可选的,在所述生成每一待传输文件对应的目标任务后,还包括:
将所述目标任务加载到任务缓存区;
所述将所述目标任务添加到传输任务执行队列,包括:
将所述任务缓存区内的目标任务添加到所述传输任务执行队列。
可选的,所述将所述目标任务加载到任务缓存区,包括:
获得所述任务缓存区内的当前任务数量;
判断所述当前任务数量是否小于预设阈值;
如果是,确定待加载到所述任务缓存区的任务的目标数量;
从所述目标任务中选择所述目标数量个任务,并将所选择的任务加载到所述任务缓存区。
可选的,所述确定待加载到所述任务缓存区的任务的目标数量,包括:
根据所述当前任务数量和预设的所述任务缓存区的任务数量的最大值,确定待加载到所述任务缓存区的任务的目标数量。
为达到上述目的,本发明实施例还提供了一种文件传输装置,所述装置包括:
请求接收模块,用于接收针对目标文件夹的文件传输请求,并将所述目标文件夹确定为待解析文件夹;
文件夹解析模块,用于解析所述待解析文件夹得到解析结果,其中,所述解析结果包含:所述待解析文件夹下第一层中的待传输文件和/或待解析子文件夹;
任务生成模块,用于在所述解析结果中包含所述待传输文件的情况下,生成每一待传输文件对应的目标任务;
文件传输模块,用于将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件;
文件夹确定模块,用于在所述解析结果中包含所述待解析子文件夹的情况下,依次将所述待解析子文件夹确定为所述待解析文件夹,并触发所述文件夹解析模块。
可选的,在所述请求接收模块将所述目标文件夹确定为待解析文件夹后,还包括:
第一写入模块,用于将所述待解析文件夹的信息写入数据库;
在所述解析结果中包含所述待解析子文件夹的情况下,还包括:
第二写入模块,用于将所述待解析子文件夹的信息写入所述数据库。
可选的,在所述文件夹解析模块解析所述待解析文件夹得到解析结果后,还包括:
第一删除模块,用于将所述待解析文件夹的信息从所述数据库中删除。
可选的,在所述任务生成模块生成每一待传输文件对应的目标任务后,还包括:
第三写入模块,用于将所述每一待传输文件对应的目标任务写入所述数据库。
可选的,在所述文件传输模块将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件后,还包括:
第二删除模块,用于从所述数据库中删除已完成传输的文件对应的目标任务。
可选的,其特征在于,所述文件传输模块,用于:
判断所述传输任务执行队列是否有空闲空间,如果是,将所述目标任务添加到所述传输任务执行队列。
可选的,在所述任务生成模块生成每一待传输文件对应的目标任务后,还包括:
任务加载模块,用于将所述目标任务加载到任务缓存区;
所述将所述目标任务添加到传输任务执行队列,用于:
将所述任务缓存区内的目标任务添加到所述传输任务执行队列。
可选的,所述任务加载模块,包括:
数量获得子模块,用于获得所述任务缓存区内的当前任务数量;
数量判断子模块,用于判断所述当前任务数量是否小于预设阈值;
目标数量确定子模块,用于当判定所述当前任务数量小于预设阈值时,确定待加载到所述任务缓存区的任务的目标数量;
任务加载子模块,用于从所述目标任务中选择所述目标数量个任务,并将所选择的任务加载到所述任务缓存区。
可选的,所述目标数量确定子模块,用于:
根据所述当前任务数量和预设的所述任务缓存区的任务数量的最大值,确定待加载到所述任务缓存区的任务的目标数量。
为达到上述目的,本发明实施例还公开了一种文件传输方法,应用于第一电子设备,所述方法包括:
接收针对目标文件夹的文件传输请求,并将所述目标文件夹确定为待解析文件夹;
解析所述待解析文件夹得到解析结果,其中,所述解析结果包含:所述待解析文件夹下第一层中的待传输文件和/或待解析子文件夹;
在所述解析结果中包含所述待传输文件的情况下,生成每一待传输文件对应的目标任务,将所述目标任务发送给第二电子设备,以使得第二电子设备:接收所述第一电子设备发送的目标任务,将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件;
在所述解析结果中包含所述待解析子文件夹的情况下,依次将所述待解析子文件夹确定为所述待解析文件夹,并返回执行解析所述待解析文件夹得到解析结果的步骤。
为达到上述目的,本发明实施例还公开了一种文件传输方法,应用于第二电子设备,所述方法包括:
接收第一电子设备发送的待传输文件对应的目标任务,其中,所述目标任务为:所述第一电子设备解析所述待解析文件夹得到所述待解析文件夹下第一层中的待传输文件之后,生成的每一待传输文件对应的任务;
将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件。
为达到上述目的,本发明实施例还公开了一种文件传输装置,应用于第一电子设备,所述装置包括:
请求接收模块,用于接收针对目标文件夹的文件传输请求,并将所述目标文件夹确定为待解析文件夹;
文件夹解析模块,用于解析所述待解析文件夹得到解析结果,其中,所述解析结果包含:所述待解析文件夹下第一层中的待传输文件和/或待解析子文件夹;
任务发送模块,用于在所述解析结果中包含所述待传输文件的情况下,生成每一待传输文件对应的目标任务,将所述目标任务发送给第二电子设备,以使得所述第二电子设备:接收第一电子设备发送的目标任务,将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件;
文件夹确定模块,用于在所述解析结果中包含所述待解析子文件夹的情况下,依次将所述待解析子文件夹确定为所述待解析文件夹,并触发所述文件夹解析模块。
为达到上述目的,本发明实施例还公开了一种文件传输装置,应用于第二电子设备,所述装置包括:
任务接收模块,用于接收第一电子设备发送的待传输文件对应的目标任务,其中,所述目标任务为:所述第一电子设备解析所述待解析文件夹得到所述待解析文件夹下第一层中的待传输文件之后,生成的每一待传输文件对应的任务;
文件传输模块,用于将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件。
综上可知,本发明实施例所提供的一种文件传输方法及装置,在接收到针对目标文件夹的文件传输请求后,将目标文件夹确定为待解析文件夹,解析待解析文件夹得到解析结果;在解析结果中包含待传输文件的情况下,生成每一待传输文件对应的目标任务,将目标任务添加到传输任务执行队列,并根据传输任务执行队列中目标任务的顺序传输所述每一待传输文件;在解析结果中包含待解析子文件夹的情况下,依次将待解析子文件夹确定为待解析文件夹,并返回执行解析所述待解析文件夹得到解析结果的步骤。与现有技术相比,本发明实施例所提供的方案,分层解析目标文件夹中所包含的待传输文件,解析完第一层中包含的待传输文件后即可以进行文件传输,在文件传输的过程中继续解析每一层中包含的待解析子文件夹,不同于现有技术中的必须一次性解析完目标文件夹中所包含的所有文件后才进行文件传输,能够减少传输文件夹包含的文件的时间,提高用户体验。
当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的文件传输方法的第一种流程示意图;
图2为本发明实施例提供的文件传输方法的第二种流程示意图;
图3为本发明实施例提供的一个具体实例的主框架图;
图4为本发明实施例提供的文件传输方法的第三种流程示意图;
图5为本发明实施例提供的文件传输方法的第四种流程示意图;
图6为本发明实施例提供的文件传输装置的第一种结构示意图;
图7为本发明实施例提供的文件传输装置的第二种结构示意图;
图8为本发明实施例提供的文件传输装置的第三种结构示意图;
图9为本发明实施例提供的文件传输装置的第四种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
先对本申请文件中涉及到的技术术语进行简单介绍。
解析文件夹:当传输文件夹中的文件时,需要通过特定方式解析文件夹,得到该文件夹下的每一层文件和/或子文件夹,当解析出子文件夹时,继续对该子文件夹进行解析,直到获得该子文件夹中的所有文件。例如:文件夹A中包含文件1、文件2和子文件夹3,其中子文件夹下包含文件4、文件5,则对该文件夹A进行解析时,首先解析出第一层的文件1、文件2和子文件夹3,继续对子文件夹3进行解析,得到文件4、文件5。实际应用中,文件夹下通常包括文件和/或子文件夹,而子文件夹也同样如此,即可以理解为文件夹中含有较多的文件,因此文件夹中文件的传输也称为大规模文件传输。下文中为了便于描述,文件夹下的子文件夹也可以简称为文件夹。
传输任务执行队列为一个线程池,用于传输每一任务对应的待传输文件,预先设置线程池中并行任务的最大值,当线程池中的任务数量小于最大值时表示线程池有空闲空间,此时如果有待传输文件对应的任务即可以向线程池中添加该任务。
在电子设备的内存中设置任务缓存区(以下简称缓存区),为该缓存区设置能够缓存的任务数量的最大值和用于再次加载任务到该缓存区的阈值,一旦该缓存区中的任务数量减少到上述阈值以下,则加载任务到缓存区,每次加载的任务数量最多只将该缓存区加满。这样不将全部任务加载到内存,可以避免内存占用过大,在缓存区中的任务数量减少到阈值以下才加载任务到缓存区,减少了加载任务的次数,当任务保存在数据库中时,降低了数据库的访问频率,提高系统性能。
为解决现有技术问题,本发明实施例提供了一种文件传输方法及装置。下面通过具体实施例,首先对本发明实施例所提供的一种文件传输方法进行详细说明。
需要说明的是,本发明实施例所提供的文件传输方法的执行主体可以理解为:电子设备,其中,上述电子设备可以是用户终端,也可以是服务器。由于用户终端中可以安装各种各样的客户端供用户使用,进一步的,在上述电子设备为用户终端的情况下,上述文件传输方法的执行主体也可以理解为:用户终端中安装的客户端,需要说明的是,本申请并不对上述文件传输方法执行主体的具体形式进行限定。
图1为本发明实施例提供的文件传输方法的第一种流程示意图,该方法包括:
S101,接收针对目标文件夹的文件传输请求,并将目标文件夹确定为待解析文件夹。
实际应用中,该文件传输请求可以是从网盘下载目标文件夹的文件下载请求,也可以是将目标文件夹上传到网盘的文件上传请求,或者其他针对目标文件夹的传输请求。文件传输请求中可以包含目标文件夹的信息。具体的,上述目标文件夹的信息可以为目标文件夹的名称、存储位置、该目标文件夹所包含文件和子文件夹的数量等,本申请并不限定文件传输请求中包含的信息。
可以理解的是,当需要将一个文件夹中的所有文件进行上传或下载时,为减少用户的重复操作,可以以文件夹的形式传输该文件夹中的所有文件。与以文件的形式传输不同的是,以文件夹的形式传输之前还需要对文件夹进行解析,得到该文件夹下的所有文件。因此在接收到针对目标文件夹的文件传输请求后,将目标文件夹确定为待解析文件夹。
本发明实施例所提供的文件传输方法可以将网盘中的文件夹下载到本地,也可以将本地的文件夹上传到网盘。本领域技术人员可以理解的是,在将网盘中的文件夹下载到本地时,虽然待下载的文件夹存储在网盘所在的服务器中,用户终端或者客户端可以通过调用网盘所在服务器的操作系统提供的相应接口来获取文件夹信息,即获得了待解析文件夹的信息,以便于后续对待解析文件夹进行解析;同样的,在将本地的文件夹上传到网盘时,用户终端或者客户端可以通过调用本地操作系统提供的相应接口来获取文件夹信息,即获得了待解析文件夹的信息,以便于后续对待解析文件夹进行解析。可见上述两种情况下是由用户终端或者客户端获得待解析文件的信息,并完成文件夹解析的。
另外,将网盘中的文件夹下载到本地时,由于待下载的文件夹存储在网盘所在的服务器中,用户终端或者客户端还可以向上述服务器发送文件下载请求,服务器接收到该下载请求后,从服务器本地操作系统提供的相应接口来获取文件夹信息,即获得待解析文件夹的信息,可见这种情况下是由服务器获得待解析文件夹的信息,并完成文件夹解析的。
S102,解析待解析文件夹得到解析结果,其中,解析结果包含:待解析文件夹下第一层中的待传输文件和/或待解析子文件夹。
可以理解的是,文件夹下可以同时包含文件和子文件夹,也可以只包含文件或子文件夹,并且,文件夹下还可以包含多个子文件夹,而每个子文件夹下还可以包含多个子文件夹。因此,为避免一次性解析出目标文件夹中的所有文件而占用较长时间,可以先解析出目标文件夹下第一层中的文件和子文件夹,解析出的第一层中的文件作为待传输文件进行传输,第一层中的子文件夹作为待解析文件夹继续解析出子文件夹中的所有文件。因此,待解析文件夹的解析结果中不是包含该待解析文件夹下的所有待传输文件,而是仅包含待解析文件夹下第一层中的待传输文件和/或待解析子文件夹。
S103,在解析结果中包含待传输文件的情况下,生成每一待传输文件对应的目标任务。
由以上描述可知,当目标文件夹下第一层中包含有文件时,目标文件夹的解析结果中包含有待传输文件,特别的,当解析结果中包含的待传输文件较多时,对每一待传输文件需要生成对应的目标任务,根据目标任务传输每一待传输文件,可以避免传输文件时发生疏漏。
具体的,可以根据每一待传输文件的信息,生成每一待传输文件对应的目标任务,例如根据待传输文件的名称、类型、位置、大小等标识信息,或者根据待传输文件的其他信息,生成每一待传输文件对应的目标任务,本申请并不对生成待传输文件对应的目标任务的具体实现方式进行限定。
S104,将目标任务添加到传输任务执行队列,并根据传输任务执行队列中目标任务的顺序传输每一待传输文件。
具体的,按照预设的添加顺序,将目标任务添加到传输任务执行队列,可以按照以下几种中的至少一种进行:
根据目标任务的生成顺序,依次将目标任务添加到传输任务执行队列;
根据目标任务对应的待传输文件的大小,按照从大到小或从小到大的顺序将目标任务添加到传输任务执行队列;
根据目标任务对应的待传输文件的类型,将目标任务添加到传输任务执行队列;
根据目标任务对应的待传输文件的存储位置,将目标任务添加到传输任务执行队列。
本申请只是以上述为例进行说明,实际应用中,将目标任务添加到传输任务执行队列的顺序并不仅限于上述几种。
在本发明的一个优选实施例中,将目标任务添加到传输任务执行队列,包括:
判断传输任务执行队列是否有空闲空间,如果是,将目标任务添加到传输任务执行队列。
由上述描述可知,传输任务执行队列为传输文件的线程池,根据传输任务执行队列中目标任务的顺序由线程传输每一待传输文件。可以理解,在同一时刻,每个线程传输一个目标任务对应的待传输文件,当该目标任务对应的待传输文件传输完毕时,表示该线程有空闲,即传输任务执行队列有空闲空间,此时可以将一个目标任务添加到传输任务执行队列,由空闲的线程传输该目标任务对应的待传输文件。
S105,在解析结果中包含待解析子文件夹的情况下,依次将待解析子文件夹确定为待解析文件夹,并返回执行S102。
由以上描述可知,当目标文件夹中包含有子文件夹时,目标文件夹的解析结果中包含有待解析子文件夹,并且当待解析子文件夹有多个时,按照预设顺序,依次将待解析子文件夹确定为待解析文件夹,可以按照以下几种中的至少一种进行:
根据解析结果中待解析子文件夹的顺序,依次将待解析子文件夹确定为待解析文件夹;
根据待解析子文件夹的大小,按照从大到小或者从小到大的顺序依次将待解析子文件夹确定为待解析文件夹。
需要说明的是,对于目标文件夹有多层,且每层中有多个文件夹的情况,可以有如下方式进行解析:
第一种方式为广度遍历,依次解析一层中的所有文件夹后,再解析下一层中的所有文件夹;
第二种方式为深度遍历,首先解析目标文件夹下第一层中的第一个文件夹a,并将其标记为已解析过;然后依次从该文件夹a出发解析a的每个子文件夹。若文件夹a的子文件夹b未曾解析过,则以该子文件夹b为新的出发点继续进行深度遍历,直至文件夹a下所有子文件夹均被解析为止,若此时目标文件夹下第一层中还有其它未解析过的子文件夹,则另选一个未解析的子文件夹进行解析,重复上述过程直至目标文件夹下所有子文件夹都被解析。
例如,目标文件夹A下有文件夹B1、B2,文件夹B1下还有文件夹C1、C2,文件夹B2下还有文件夹C3、C4,根据广度遍历方式解析该目标文件夹A的解析顺序可以为:A-B1-B2-C1-C2-C3-C4,根据深度遍历方式解析该目标文件夹A的解析顺序可以为:A-B1-C1-C2-B2-C3-C4。
当然,本申请只是以上述为例进行说明,实际应用中,解析顺序并不仅限于上述几种。
需要说明的是,本申请所提供的方案中,步骤S105并不是在步骤S103和步骤S104完成之后才执行,而是在步骤S102后与步骤S104同时执行,在传输待传输文件的同时继续解析子文件夹,这种传输文件与解析文件夹并行处理的方式,可以快速生成任务,减少传输文件夹包含的文件的时间,对于用户来说,不需要等待很长时间就看到真正的传输任务开始,提高了用户体验。可以理解的是,本申请所说的传输文件夹包含的文件的时间,并不是指任务传输执行队列传输文件的时间,而是指从接收到针对目标文件夹的文件传输请求到传输完毕该目标文件夹中全部文件的整个过程的时间。
需要强调的是,现有技术中一次性解析出整个目标文件夹下包含的所有文件,解析完成后,又一次性对所有待传输文件生成每一待传输文件对应的任务。对于电子设备而言,在解析目标文件夹时,由于磁盘IO的瓶颈限制,对CPU的使用率较低,而此时又没有其他任务处理会造成系统资源浪费;然而,在解析完成后,一次性对所有待传输文件生成每一待传输文件对应的任务,此时处理了大量数据会造成CPU使用率过高,也就是说,使用现有的文件传输方法会造成CPU使用率不均衡。而本发明实施例所提供的方法,不是一次性解析出目标文件夹中的全部文件,再一次性对全部文件生成对应的传输任务,而是在解析出目标文件夹下第一层中的文件后即生成每一文件对应的传输任务开始传输文件,在传输文件的同时继续解析子文件夹,可以均衡CPU的使用率,减少系统资源浪费;同时,也不至于使大量数据缓存在内存中,减小了内存的占用。
在本发明的一个具体实施例中,还可以在电子设备中配置数据库,以记录待解析文件夹和待传输文件的信息,其中待传输文件的信息也就是待传输文件对应的目标任务。
在电子设备包括数据库的情况下,在将目标文件夹确定为待解析文件夹后,还可以包括:将待解析文件夹的信息写入数据库;其中,待解析文件夹的信息可以为待解析文件夹的名称、存储位置、该待解析文件夹所包含文件和子文件夹的数量等。
在解析结果中包含待解析子文件夹的情况下,还可以包括:将待解析子文件夹的信息写入数据库;其中,待解析子文件夹的信息可以为待解析子文件夹的名称、存储位置、该待解析子文件夹所包含文件和子文件夹的数量等。
在解析待解析文件夹得到解析结果后,可以根据预设方式对数据库中的该待解析文件夹进行标记,以表示该文件夹已经解析过,避免重复解析。在一种优选的实施方式中,为减小数据库存储的待解析文件夹的数据量,在解析待解析文件夹得到解析结果后,还可以将待解析文件夹的信息从数据库中删除。
另外,在生成每一待传输文件对应的目标任务后,还可以将每一待传输文件对应的目标任务写入数据库,以保存全部待传输文件的信息。
在将目标任务添加到传输任务执行队列,并根据传输任务执行队列中目标任务的顺序传输完毕某一待传输文件后,可以根据预设方式对数据库中该文件的信息进行标记,以表示该文件已经传输完毕,避免重复传输。在另一种优选的实施方式中,为减小数据库存储的目标任务的数据量,在将目标任务添加到传输任务执行队列,并根据传输任务执行队列中目标任务的顺序传输每一待传输文件后,还可以从数据库中删除已完成传输的文件对应的目标任务。
由以上可知,应用本发明实施例,在接收到针对目标文件夹的文件传输请求后,将目标文件夹确定为待解析文件夹,解析待解析文件夹得到解析结果;在解析结果中包含待传输文件的情况下,生成每一待传输文件对应的目标任务,将目标任务添加到传输任务执行队列,并根据传输任务执行队列中目标任务的顺序传输所述每一待传输文件;在解析结果中包含待解析子文件夹的情况下,依次将待解析子文件夹确定为待解析文件夹,并返回执行解析所述待解析文件夹得到解析结果的步骤。与现有技术相比,本发明实施例所提供的方案,分层解析目标文件夹中所包含的待传输文件,解析完第一层中包含的待传输文件后即可以进行文件传输,在文件传输的过程中继续解析每一层中包含的待解析子文件夹,不同于现有技术中的必须一次性解析完目标文件夹中所包含的所有文件后才进行文件传输,能够减少传输文件夹包含的文件的时间,提高用户体验。
在本发明的一个具体实施例中,在电子设备的内存中设置任务缓存区,将目标任务部分加载到内存中,可以减少内存占用,同时还可以降低客户端的启动或响应时间,以及目标任务加载并开始传输的时间。
具体的,参见图2,提供了文件传输方法的第二种流程示意图,基于图1所提供的实施例,本实施例中,电子设备还包括任务缓存区,在生成每一待传输文件对应的目标任务(S103)后,还可以包括:
S106,将目标任务加载到任务缓存区。
由前述描述可知,任务缓存区预先设置了能够缓存的任务数量的最大值和用于再次加载任务到该缓存区的阈值,例如,设定任务缓存区能够缓存的任务数量的最大值为500,用于再次加载任务到该缓存区的阈值为400,表示:任务缓存区的可用任务数量最大不超过500条,当可用任务数量少于400条时需要加载任务到任务缓存区。
一种具体实现方式中,将目标任务加载到任务缓存区,可以按照以下步骤进行:
获得任务缓存区内的当前任务数量;
判断当前任务数量是否小于预设阈值;
如果是,确定待加载到任务缓存区的任务的目标数量;
从目标任务中选择目标数量个任务,并将所选择的任务加载到任务缓存区。
具体的,可以根据当前任务数量和预设的任务缓存区的任务数量的最大值,确定待加载到任务缓存区的任务的目标数量。
将目标任务添加到传输任务执行队列,并根据传输任务执行队列中目标任务的顺序传输每一待传输文件(S104),具体可以为:
S104A,将任务缓存区内的目标任务添加到传输任务执行队列,并根据传输任务执行队列中目标任务的顺序传输每一待传输文件。
实际应用中,可以判断传输任务执行队列是否有空闲空间,如果是,将任务缓存区内的目标任务添加到传输任务执行队列。
由以上可知,应用本发明实施例,在接收到针对目标文件夹的文件传输请求后,将目标文件夹确定为待解析文件夹,解析待解析文件夹得到解析结果;在解析结果中包含待传输文件的情况下,生成每一待传输文件对应的目标任务后,将目标任务加载到任务缓存区,再将任务缓存区的目标任务添加到传输任务执行队列,并根据传输任务执行队列中目标任务的顺序传输所述每一待传输文件;在解析结果中包含待解析子文件夹的情况下,依次将待解析子文件夹确定为待解析文件夹,并返回执行解析所述待解析文件夹得到解析结果的步骤。与现有技术相比,本发明实施例所提供的方案,分层解析目标文件夹中所包含的待传输文件,解析完第一层中包含的待传输文件后即可以进行文件传输,在文件传输的过程中继续解析每一层中包含的待解析子文件夹,不同于现有技术中的必须一次性解析完目标文件夹中所包含的所有文件后才进行文件传输,能够减少传输文件夹包含的文件的时间,提高用户体验;在电子设备的内存中设置任务缓存区,每次加载部分目标任务到任务缓存区,减少了加载任务时访问数据库的次数,另外,设置了任务缓存区阈值,避免了内存占用过大,提高了系统整体性能。
下面通过一个具体的实例对本发明实施例提供的一种文件传输方法进行说明。
参见图3,图3为本发明实施例提供的一个具体实例的主框架图,包括数据分发器、数据库操作执行器、文件夹解析器、传输任务投递控制器、传输任务执行队列5大功能组件,数据库操作执行器、文件夹解析器、传输任务投递控制器之间的通信全部通过数据分发器完成,数据库操作执行器用于操作数据库。
其中,数据分发器是其它各个注册的功能组件之间通信的桥梁,数据分发器向各个注册的功能组件分发数据,注册的功能组件接收到数据后判断是否为关心的数据,如果是,对数据进行处理;
文件夹解析器,通过预设方式解析文件夹中的内容并将解析结果通过数据分发器发送给数据库操作执行器写入到数据库,具体为:当接收到针对文件夹的文件传输请求后,将该文件夹确定为待解析文件夹,并将该待解析文件夹的信息写入数据库中的待解析文件夹表,写入完成后将该待解析文件夹的信息添加到文件夹解析器的文件夹队列中,从文件夹队列中取出该待解析文件夹进行解析;解析结果中包含文件的,将文件信息发送给数据库操作执行器写入到文件任务数据表,解析结果中包含文件夹的,将文件夹信息添加到文件夹队列中,并发送给数据库操作执行器写入到数据库中的待解析文件夹表,然后还需要从数据库中删除该待解析文件夹的信息;
数据库操作执行器的任务是完成系统中功能组件对数据库的请求,并将执行结果通过数据分发器发送给相应的功能组件,具体为:接收到数据库操作指令,对数据库进行该操作指令对应的操作,完成后将操作结果发送给对应的功能组件,例如,数据库操作执行器写入完成待传输文件对应的任务后,通过数据分发器发送新任务通知消息给传输任务投递控制器;
传输任务投递控制器,用于根据内存中的任务缓存区的状态控制从数据库加载任务,和根据传输任务执行队列的状态控制向传输任务执行队列添加任务。具体为:传输任务投递控制器判断是否需要从数据库加载任务,当任务缓存区的当前任务数量小于预设阈值时,确定待加载到任务缓存区的任务的目标数量,向数据库操作执行器发出读取目标数量个任务的请求,读取任务完成后将任务添加到任务缓存区,同时判断传输任务执行队列是否有空闲和任务缓存区是否有任务,如果传输任务执行队列有空闲且任务缓存区有任务,则向传输任务执行队列添加任务;当任务缓存区的当前任务数量大于预设阈值时,直接判断传输任务执行队列是否有空闲,如果有空闲则向传输任务执行队列添加任务;当有新的任务写入数据库时,或者客户端启动时数据库中有任务的情况下,数据库操作执行器通过数据分发器发送通知消息给传输任务执行控制器,以使传输任务执行控制器根据任务缓存区的状态控制从数据库加载任务;
传输任务执行队列为一个线程池,预先设置了线程池中并行任务的最大值,当线程池中的任务数量小于最大值时表示线程池有空闲,传输任务执行队列通过数据分发器发送任务完成通知消息给传输任务投递控制器,如果任务缓存区有任务,传输任务投递控制器即可向线程池中添加任务;在一种较佳的实施方式中,传输任务执行队列也可以直接发送任务完成通知消息给传输任务投递控制器,以使传输任务投递控制器向线程池中添加任务,这样可以减少传输任务执行队列与传输任务投递控制器两个功能组件之间的通信时间,提高文件传输效率;当有任务在传输任务执行队列中执行完成后,通过数据分发器发送通知消息给数据库操作执行器,以使数据库操作执行器从数据库中将对应的任务删除。
由以上可见,本具体实施例中,各个功能组件之间通过数据分发器进行异步通信,当其中一个功能组件压力过大时不会对整个系统产生过大的影响,提高系统性能和硬件利用率;使用数据分发器,降低了各个功能组件间的耦合性,便于系统扩展或组件替换;在任务管理中本方案采用了异步部分加载的方式,在内存中设置任务缓冲区,设置缓冲区的最大值和一个用于再次加载任务到缓冲区中的阈值,每次系统从数据库中加载任务最多只将缓冲区加满,一旦缓冲区中的任务减少到阈值以下,则进行异步加载任务到缓存区,这样不将全部任务加载到内存可以大大降低内存使用,降低数据库访问频率,提高系统性能。
图4为本发明实施例提供的文件传输方法的第三种流程示意图,应用于第一电子设备,该方法包括:
S401、接收针对目标文件夹的文件传输请求,并将目标文件夹确定为待解析文件夹;
S402、解析待解析文件夹得到解析结果,其中,解析结果包含:待解析文件夹下第一层中的待传输文件和/或待解析子文件夹;
S403、在解析结果中包含待传输文件的情况下,生成每一待传输文件对应的目标任务,将目标任务发送给第二电子设备,以使得第二电子设备:接收第一电子设备发送的目标任务,将目标任务添加到传输任务执行队列,并根据传输任务执行队列中目标任务的顺序传输每一待传输文件;
S404、在解析结果中包含待解析子文件夹的情况下,依次将待解析子文件夹确定为待解析文件夹,并返回执行S402。
实际应用中,在第一电子设备包括数据库的情况下,在将目标文件夹确定为待解析文件夹后,该方法还可以包括:将待解析文件夹的信息写入数据库。
在解析结果中包含待解析子文件夹的情况下,该方法还可以包括:将待解析子文件夹的信息写入数据库。
在解析待解析文件夹得到解析结果后,可以根据预设方式对数据库中的该待解析文件夹进行标记,以表示该文件夹已经解析过,避免重复解析。在一种优选的实施方式中,为减小数据库存储的待解析文件夹的数据量,在解析待解析文件夹得到解析结果后,还可以将待解析文件夹的信息从数据库中删除。
需要说明的是,在实际应用中,电子设备可以是用户终端,也可以是服务器,进一步的,在上述电子设备为用户终端的情况下,上述文件传输方法的执行主体也可以理解为:用户终端中安装的客户端。本发明实施例中,所提及的“第一电子设备”中的“第一”和“第二电子设备”中的“第二”,仅仅为了从命名上区分电子设备,并不具有任何限定意义,并且,第一电子设备和第二电子设备为不同的电子设备。可以理解的是,当第一电子设备为用户终端时,第二电子设备为服务器,同样的,当第一电子设备为服务器时,第二电子设备为用户终端。
由以上可知,应用本发明实施例,第一电子设备在接收到针对目标文件夹的文件传输请求后,将目标文件夹确定为待解析文件夹,解析待解析文件夹得到解析结果;在解析结果中包含待传输文件的情况下,生成每一待传输文件对应的目标任务,将所述目标任务发送给第二电子设备,以使得所述第二电子设备接收第一电子设备发送的目标任务,将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件;在解析结果中包含待解析子文件夹的情况下,依次将待解析子文件夹确定为待解析文件夹,并返回执行解析所述待解析文件夹得到解析结果的步骤。与现有技术相比,本发明实施例所提供的方案,第一电子设备分层解析目标文件夹中所包含的待传输文件,解析完第一层中包含的待传输文件后即可以通过第二电子设备进行文件传输,在文件传输的过程中继续解析每一层中包含的待解析子文件夹,不同于现有技术中的必须一次性解析完目标文件夹中所包含的所有文件后才进行文件传输,能够减少传输文件夹包含的文件的时间,提高用户体验。
图5为本发明实施例提供的文件传输方法的第四种流程示意图,应用于第二电子设备,该方法包括:
S501、接收第一设备发送的待传输文件对应的目标任务,其中,所述目标任务为:所述第一电子设备解析所述待解析文件夹得到所述待解析文件夹下第一层中的待传输文件之后,生成的每一待传输文件对应的任务。
在实际应用中,第二电子设备还可以包括数据库,在接收第一电子设备发送的每一待传输文件对应的目标任务后,还可以包括:将每一待传输文件对应的目标任务写入数据库。
在实际应用中,第二电子设备还包括任务缓存区,在接收到第一设备发送的每一待传输文件对应的目标任务后,该方法还可以包括:将目标任务加载到任务缓存区。
一种具体实现方式中,将目标任务加载到任务缓存区,可以按照以下步骤进行:
获得任务缓存区内的当前任务数量;
判断当前任务数量是否小于预设阈值;
如果是,确定待加载到任务缓存区的任务的目标数量;
从目标任务中选择目标数量个任务,并将所选择的任务加载到任务缓存区。
具体的,可以根据当前任务数量和预设的任务缓存区的任务数量的最大值,确定待加载到任务缓存区的任务的目标数量。
S502、将目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中目标任务的顺序传输每一待传输文件。
在实际应用中,在第二电子设备还可以包括数据库的情况下,在将目标任务添加到传输任务执行队列,并根据传输任务执行队列中所述目标任务的顺序传输每一待传输文件后,该方法还可以包括:从数据库中删除已完成传输的文件对应的目标任务。
将目标任务添加到传输任务执行队列,在一种具体实现方式中,可以判断传输任务执行队列是否有空闲空间,如果是,将目标任务添加到传输任务执行队列。在第二电子设备包括任务缓存区的情况下,可以判断传输任务执行队列是否有空闲空间,如果是,将任务缓存区内的目标任务添加到传输任务执行队列。
由以上可知,应用本发明实施例,第二电子设备在接收到第一电子设备发送的每一待传输文件对应的目标任务后,即可将目标任务添加到传输任务执行队列,并根据传输任务执行队列中目标任务的顺序传输每一待传输文件,与现有技术相比,由于目标任务是第一电子设备分层解析目标文件夹中所包含的待传输文件,解析完每一层中包含的待传输文件后生成的,解析完第一层中包含的待传输文件后即可以发送给第二电子设备进行文件传输,在文件传输的过程中第一电子设备继续解析每一层中包含的待解析子文件夹,不同于现有技术中的必须一次性解析完目标文件夹中所包含的所有文件后才进行文件传输,能够减少传输文件夹包含的文件的时间,提高用户体验。
与上述的文件传输方法相对应,本发明实施例还提供了一种文件传输装置。
与图1所示的方法实施例相对应,图6为本发明实施例提供的文件传输装置的第一种结构示意图,该装置可以包括:请求接收模块601、文件夹解析模块602、任务生成模块603、文件传输模块604、文件夹确定模块605。
其中,请求接收模块601,用于接收针对目标文件夹的文件传输请求,并将所述目标文件夹确定为待解析文件夹;
文件夹解析模块602,用于解析所述待解析文件夹得到解析结果,其中,所述解析结果包含:所述待解析文件夹下第一层中的待传输文件和/或待解析子文件夹;
任务生成模块603,用于在所述解析结果中包含所述待传输文件的情况下,生成每一待传输文件对应的目标任务;
文件传输模块604,用于将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件;
文件夹确定模块605,用于在所述解析结果中包含所述待解析子文件夹的情况下,依次将所述待解析子文件夹确定为所述待解析文件夹,并触发所述文件夹解析模块602。
在实际应用中,所述文件传输模块604,用于:
判断所述传输任务执行队列是否有空闲空间,如果是,将所述目标任务添加到所述传输任务执行队列。
在实际应用中,所述电子设备还可以包括数据库,在所述请求接收模块601将所述目标文件夹确定为待解析文件夹后,该文件传输装置还可以包括:第一写入模块(图中未示出),用于将所述待解析文件夹的信息写入数据库;
在所述解析结果中包含所述待解析子文件夹的情况下,该文件传输装置还可以包括:第二写入模块(图中未示出),用于将所述待解析子文件夹的信息写入所述数据库。
在实际应用中,在所述文件夹解析模块602解析所述待解析文件夹得到解析结果后,该文件传输装置还可以包括:第一删除模块(图中未示出),用于将所述待解析文件夹的信息从所述数据库中删除。
在实际应用中,在所述任务生成模块603生成每一待传输文件对应的目标任务后,该文件传输装置还可以包括:第三写入模块(图中未示出),用于将所述每一待传输文件对应的目标任务写入所述数据库。
在实际应用中,在所述文件传输模块604将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件后,该文件传输装置还可以包括:第二删除模块(图中未示出),用于从所述数据库中删除已完成传输的文件对应的目标任务。
由以上可知,应用本发明实施例,在接收到针对目标文件夹的文件传输请求后,将目标文件夹确定为待解析文件夹,解析待解析文件夹得到解析结果;在解析结果中包含待传输文件的情况下,生成每一待传输文件对应的目标任务,将目标任务添加到传输任务执行队列,并根据传输任务执行队列中目标任务的顺序传输所述每一待传输文件;在解析结果中包含待解析子文件夹的情况下,依次将待解析子文件夹确定为待解析文件夹,并返回执行解析所述待解析文件夹得到解析结果的步骤。与现有技术相比,本发明实施例所提供的方案,分层解析目标文件夹中所包含的待传输文件,解析完第一层中包含的待传输文件后即可以进行文件传输,在文件传输的过程中继续解析每一层中包含的待解析子文件夹,不同于现有技术中的必须一次性解析完目标文件夹中所包含的所有文件后才进行文件传输,能够减少传输文件夹包含的文件的时间,提高用户体验。
与图2所示的方法实施例相对应,图7为本发明实施例提供的文件传输装置的第二种结构示意图,本实施例中,电子设备还可以包括任务缓存区,与图6所示实施例相比,该文件传输装置还可以包括:
任务加载模块606,用于将所述目标任务加载到任务缓存区;
文件传输模块604A,用于将所述任务缓存区内的目标任务添加到所述传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件。
在实际应用中,所述任务加载模块606,可以包括:
数量获得子模块(图中未示出),用于获得所述任务缓存区内的当前任务数量;
数量判断子模块(图中未示出),用于判断所述当前任务数量是否小于预设阈值;
目标数量确定子模块(图中未示出),用于当判定所述当前任务数量小于预设阈值时,确定待加载到所述任务缓存区的任务的目标数量;
任务加载子模块(图中未示出),用于从所述目标任务中选择所述目标数量个任务,并将所选择的任务加载到所述任务缓存区。
在实际应用中,所述目标数量确定子模块,具体用于:
根据所述当前任务数量和预设的所述任务缓存区的任务数量的最大值,确定待加载到所述任务缓存区的任务的目标数量。
由以上可知,应用本发明实施例,在接收到针对目标文件夹的文件传输请求后,将目标文件夹确定为待解析文件夹,解析待解析文件夹得到解析结果;在解析结果中包含待传输文件的情况下,生成每一待传输文件对应的目标任务后,将目标任务加载到任务缓存区,再将任务缓存区的目标任务添加到传输任务执行队列,并根据传输任务执行队列中目标任务的顺序传输所述每一待传输文件;在解析结果中包含待解析子文件夹的情况下,依次将待解析子文件夹确定为待解析文件夹,并返回执行解析所述待解析文件夹得到解析结果的步骤。与现有技术相比,本发明实施例所提供的方案,分层解析目标文件夹中所包含的待传输文件,解析完第一层中包含的待传输文件后即可以进行文件传输,在文件传输的过程中继续解析每一层中包含的待解析子文件夹,不同于现有技术中的必须一次性解析完目标文件夹中所包含的所有文件后才进行文件传输,能够减少传输文件夹包含的文件的时间,提高用户体验;在电子设备的内存中设置任务缓存区,每次加载部分目标任务到任务缓存区,减少了加载任务时访问数据库的次数,另外,设置了任务缓存区阈值,避免了内存占用过大,提高了系统整体性能。
与图4所示的方法实施例相对应,图8为本发明实施例提供的文件传输装置的第三种结构示意图,本实施例中,该装置应用于第一电子设备,可以包括:
请求接收模块801,用于接收针对目标文件夹的文件传输请求,并将所述目标文件夹确定为待解析文件夹;
文件夹解析模块802,用于解析所述待解析文件夹得到解析结果,其中,所述解析结果包含:所述待解析文件夹下第一层中的待传输文件和/或待解析子文件夹;
任务发送模块803,用于在所述解析结果中包含所述待传输文件的情况下,生成每一待传输文件对应的目标任务,将所述目标任务发送给第二电子设备,以使得所述第二电子设备:接收第一电子设备发送的目标任务,将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件;
文件夹确定模块804,用于在所述解析结果中包含所述待解析子文件夹的情况下,依次将所述待解析子文件夹确定为所述待解析文件夹,并触发所述文件夹解析模块802。
在实际应用中,所述第一电子设备还可以包括数据库,在所述请求接收模块801将所述目标文件夹确定为待解析文件夹后,该文件传输装置还可以包括:第一写入模块(图中未示出),用于将所述待解析文件夹的信息写入数据库;
在所述解析结果中包含所述待解析子文件夹的情况下,该文件传输装置还可以包括:第二写入模块(图中未示出),用于将所述待解析子文件夹的信息写入所述数据库。
在实际应用中,在所述文件夹解析模块802解析所述待解析文件夹得到解析结果后,该文件传输装置还可以包括:第一删除模块(图中未示出),用于将所述待解析文件夹的信息从所述数据库中删除。
由以上可知,应用本发明实施例,第一电子设备在接收到针对目标文件夹的文件传输请求后,将目标文件夹确定为待解析文件夹,解析待解析文件夹得到解析结果;在解析结果中包含待传输文件的情况下,生成每一待传输文件对应的目标任务,将所述目标任务发送给第二电子设备,以使得所述第二电子设备接收第一电子设备发送的目标任务,将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件;在解析结果中包含待解析子文件夹的情况下,依次将待解析子文件夹确定为待解析文件夹,并返回执行解析所述待解析文件夹得到解析结果的步骤。与现有技术相比,本发明实施例所提供的方案,第一电子设备分层解析目标文件夹中所包含的待传输文件,解析完第一层中包含的待传输文件后即可以通过第二电子设备进行文件传输,在文件传输的过程中继续解析每一层中包含的待解析子文件夹,不同于现有技术中的必须一次性解析完目标文件夹中所包含的所有文件后才进行文件传输,能够减少传输文件夹包含的文件的时间,提高用户体验。
与图5所示的方法实施例相对应,图9为本发明实施例提供的文件传输装置的第三种结构示意图,该装置应用于第二电子设备,可以包括:
任务接收模块901,用于接收第一电子设备发送的待传输文件对应的目标任务,其中,所述目标任务为:所述第一电子设备解析所述待解析文件夹得到所述待解析文件夹下第一层中的待传输文件之后,生成的每一待传输文件对应的任务;
文件传输模块902,用于将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件。
在实际应用中,所述第二电子设备还可以包括数据库,在所述任务接收模块901接收第一电子设备发送的每一待传输文件对应的目标任务后,该文件传输装置还可以包括:第三写入模块(图中未示出),用于将所述每一待传输文件对应的目标任务写入所述数据库。
在实际应用中,所述文件传输模块902具体用于判断所述传输任务执行队列是否有空闲空间,如果是,将所述目标任务添加到所述传输任务执行队列。
在实际应用中,在所述文件传输模块902将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件后,该文件传输装置还可以包括:第二删除模块(图中未示出),用于从所述数据库中删除已完成传输的文件对应的目标任务。
在实际应用中,所述第二电子设备还可以包括任务缓存区,在所述任务接收模块接收第一电子设备发送的目标任务后,该装置还可以包括:任务加载模块(图中未示出),用于将所述目标任务加载到任务缓存区。
此时,文件传输模块902,具体用于将所述任务缓存区内的目标任务添加到所述传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件。
在实际应用中,所述任务加载模块,可以包括:
数量获得子模块(图中未示出),用于获得所述任务缓存区内的当前任务数量;
数量判断子模块(图中未示出),用于判断所述当前任务数量是否小于预设阈值;
目标数量确定子模块(图中未示出),用于当判定所述当前任务数量小于预设阈值时,确定待加载到所述任务缓存区的任务的目标数量;
任务加载子模块(图中未示出),用于从所述目标任务中选择所述目标数量个任务,并将所选择的任务加载到所述任务缓存区。
在实际应用中,所述目标数量确定子模块,具体用于:
根据所述当前任务数量和预设的所述任务缓存区的任务数量的最大值,确定待加载到所述任务缓存区的任务的目标数量。
由以上可知,应用本发明实施例,第二电子设备在接收到第一电子设备发送的每一待传输文件对应的目标任务后,即可将目标任务添加到传输任务执行队列,并根据传输任务执行队列中目标任务的顺序传输每一待传输文件,与现有技术相比,由于目标任务是第一电子设备分层解析目标文件夹中所包含的待传输文件,解析完每一层中包含的待传输文件后生成的,解析完第一层中包含的待传输文件后即可以发送给第二电子设备进行文件传输,在文件传输的过程中第一电子设备继续解析每一层中包含的待解析子文件夹,不同于现有技术中的必须一次性解析完目标文件夹中所包含的所有文件后才进行文件传输,能够减少传输文件夹包含的文件的时间,提高用户体验。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (22)

1.一种文件传输方法,其特征在于,所述方法包括:
接收针对目标文件夹的文件传输请求,并将所述目标文件夹确定为待解析文件夹;
解析所述待解析文件夹得到解析结果,其中,所述解析结果包含:所述待解析文件夹下第一层中的待传输文件和/或待解析子文件夹;
在所述解析结果中包含所述待传输文件的情况下,生成每一待传输文件对应的目标任务;
将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件;
在所述解析结果中包含所述待解析子文件夹的情况下,依次将所述待解析子文件夹确定为所述待解析文件夹,并返回执行解析所述待解析文件夹得到解析结果的步骤。
2.根据权利要求1所述的方法,其特征在于,在所述将所述目标文件夹确定为待解析文件夹后,还包括:
将所述待解析文件夹的信息写入数据库;
在所述解析结果中包含所述待解析子文件夹的情况下,还包括:
将所述待解析子文件夹的信息写入所述数据库。
3.根据权利要求2所述的方法,其特征在于,在所述解析所述待解析文件夹得到解析结果后,还包括:
将所述待解析文件夹的信息从所述数据库中删除。
4.根据权利要求2所述的方法,其特征在于,在所述生成每一待传输文件对应的目标任务后,还包括:
将所述每一待传输文件对应的目标任务写入所述数据库。
5.根据权利要求4所述的方法,其特征在于,在所述将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件后,还包括:
从所述数据库中删除已完成传输的文件对应的目标任务。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述将所述目标任务添加到传输任务执行队列,包括:
判断所述传输任务执行队列是否有空闲空间,如果是,将所述目标任务添加到所述传输任务执行队列。
7.根据权利要求1-5中任一项所述的方法,其特征在于,在所述生成每一待传输文件对应的目标任务后,还包括:
将所述目标任务加载到任务缓存区;
所述将所述目标任务添加到传输任务执行队列,包括:
将所述任务缓存区内的目标任务添加到所述传输任务执行队列。
8.根据权利要求7所述的方法,其特征在于,所述将所述目标任务加载到任务缓存区,包括:
获得所述任务缓存区内的当前任务数量;
判断所述当前任务数量是否小于预设阈值;
如果是,确定待加载到所述任务缓存区的任务的目标数量;
从所述目标任务中选择所述目标数量个任务,并将所选择的任务加载到所述任务缓存区。
9.根据权利要求8所述的方法,其特征在于,所述确定待加载到所述任务缓存区的任务的目标数量,包括:
根据所述当前任务数量和预设的所述任务缓存区的任务数量的最大值,确定待加载到所述任务缓存区的任务的目标数量。
10.一种文件传输装置,其特征在于,所述装置包括:
请求接收模块,用于接收针对目标文件夹的文件传输请求,并将所述目标文件夹确定为待解析文件夹;
文件夹解析模块,用于解析所述待解析文件夹得到解析结果,其中,所述解析结果包含:所述待解析文件夹下第一层中的待传输文件和/或待解析子文件夹;
任务生成模块,用于在所述解析结果中包含所述待传输文件的情况下,生成每一待传输文件对应的目标任务;
文件传输模块,用于将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件;
文件夹确定模块,用于在所述解析结果中包含所述待解析子文件夹的情况下,依次将所述待解析子文件夹确定为所述待解析文件夹,并触发所述文件夹解析模块。
11.根据权利要求10所述的装置,其特征在于,在所述请求接收模块将所述目标文件夹确定为待解析文件夹后,还包括:
第一写入模块,用于将所述待解析文件夹的信息写入数据库;
在所述解析结果中包含所述待解析子文件夹的情况下,还包括:
第二写入模块,用于将所述待解析子文件夹的信息写入所述数据库。
12.根据权利要求11所述的装置,其特征在于,在所述文件夹解析模块解析所述待解析文件夹得到解析结果后,还包括:
第一删除模块,用于将所述待解析文件夹的信息从所述数据库中删除。
13.根据权利要求11所述的装置,其特征在于,在所述任务生成模块生成每一待传输文件对应的目标任务后,还包括:
第三写入模块,用于将所述每一待传输文件对应的目标任务写入所述数据库。
14.根据权利要求13所述的装置,其特征在于,在所述文件传输模块将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件后,还包括:
第二删除模块,用于从所述数据库中删除已完成传输的文件对应的目标任务。
15.根据权利要求10-14中任一项所述的装置,其特征在于,所述文件传输模块,用于:
判断所述传输任务执行队列是否有空闲空间,如果是,将所述目标任务添加到所述传输任务执行队列。
16.根据权利要求10-14中任一项所述的装置,其特征在于,在所述任务生成模块生成每一待传输文件对应的目标任务后,还包括:
任务加载模块,用于将所述目标任务加载到任务缓存区;
所述将所述目标任务添加到传输任务执行队列,用于:
将所述任务缓存区内的目标任务添加到所述传输任务执行队列。
17.根据权利要求16所述的装置,其特征在于,所述任务加载模块,包括:
数量获得子模块,用于获得所述任务缓存区内的当前任务数量;
数量判断子模块,用于判断所述当前任务数量是否小于预设阈值;
目标数量确定子模块,用于当判定所述当前任务数量小于预设阈值时,确定待加载到所述任务缓存区的任务的目标数量;
任务加载子模块,用于从所述目标任务中选择所述目标数量个任务,并将所选择的任务加载到所述任务缓存区。
18.根据权利要求17所述的装置,其特征在于,所述目标数量确定子模块,用于:
根据所述当前任务数量和预设的所述任务缓存区的任务数量的最大值,确定待加载到所述任务缓存区的任务的目标数量。
19.一种文件传输方法,其特征在于,应用于第一电子设备,所述方法包括:
接收针对目标文件夹的文件传输请求,并将所述目标文件夹确定为待解析文件夹;
解析所述待解析文件夹得到解析结果,其中,所述解析结果包含:所述待解析文件夹下第一层中的待传输文件和/或待解析子文件夹;
在所述解析结果中包含所述待传输文件的情况下,生成每一待传输文件对应的目标任务,将所述目标任务发送给第二电子设备,以使得第二电子设备:接收所述第一电子设备发送的目标任务,将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件;
在所述解析结果中包含所述待解析子文件夹的情况下,依次将所述待解析子文件夹确定为所述待解析文件夹,并返回执行解析所述待解析文件夹得到解析结果的步骤。
20.一种文件传输方法,其特征在于,应用于第二电子设备,所述方法包括:
接收第一电子设备发送的待传输文件对应的目标任务,其中,所述目标任务为:所述第一电子设备解析所述待解析文件夹得到所述待解析文件夹下第一层中的待传输文件之后,生成的每一待传输文件对应的任务;
将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件。
21.一种文件传输装置,其特征在于,应用于第一电子设备,所述装置包括:
请求接收模块,用于接收针对目标文件夹的文件传输请求,并将所述目标文件夹确定为待解析文件夹;
文件夹解析模块,用于解析所述待解析文件夹得到解析结果,其中,所述解析结果包含:所述待解析文件夹下第一层中的待传输文件和/或待解析子文件夹;
任务发送模块,用于在所述解析结果中包含所述待传输文件的情况下,生成每一待传输文件对应的目标任务,将所述目标任务发送给第二电子设备,以使得所述第二电子设备:接收第一电子设备发送的目标任务,将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件;
文件夹确定模块,用于在所述解析结果中包含所述待解析子文件夹的情况下,依次将所述待解析子文件夹确定为所述待解析文件夹,并触发所述文件夹解析模块。
22.一种文件传输装置,其特征在于,应用于第二电子设备,所述装置包括:
任务接收模块,用于接收第一电子设备发送的待传输文件对应的目标任务,其中,所述目标任务为:所述第一电子设备解析所述待解析文件夹得到所述待解析文件夹下第一层中的待传输文件之后,生成的每一待传输文件对应的任务;
文件传输模块,用于将所述目标任务添加到传输任务执行队列,并根据所述传输任务执行队列中所述目标任务的顺序传输所述每一待传输文件。
CN201610637985.8A 2016-08-05 2016-08-05 一种文件传输方法及装置 Active CN107689976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610637985.8A CN107689976B (zh) 2016-08-05 2016-08-05 一种文件传输方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610637985.8A CN107689976B (zh) 2016-08-05 2016-08-05 一种文件传输方法及装置

Publications (2)

Publication Number Publication Date
CN107689976A true CN107689976A (zh) 2018-02-13
CN107689976B CN107689976B (zh) 2020-08-28

Family

ID=61151228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610637985.8A Active CN107689976B (zh) 2016-08-05 2016-08-05 一种文件传输方法及装置

Country Status (1)

Country Link
CN (1) CN107689976B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776710A (zh) * 2018-06-28 2018-11-09 农信银资金清算中心有限责任公司 一种数据库数据的并发装载方法及装置
CN108965373A (zh) * 2018-05-04 2018-12-07 天津猎鹰网络技术有限公司 多媒体文件上传方法和装置
CN109981732A (zh) * 2019-02-18 2019-07-05 百度在线网络技术(北京)有限公司 海量文件传输控制方法及装置
CN111314478A (zh) * 2020-02-24 2020-06-19 腾讯科技(深圳)有限公司 文件传输方法、装置和计算机设备
CN111694766A (zh) * 2020-06-16 2020-09-22 北京经纬恒润科技有限公司 一种can数据采集方法及装置
CN112559461A (zh) * 2020-12-26 2021-03-26 中国建设银行股份有限公司 文件传输方法及装置、存储介质及电子设备
CN113672307A (zh) * 2021-07-06 2021-11-19 浙江大华技术股份有限公司 数据处理方法、电子设备和计算机可读存储介质
CN115102946A (zh) * 2022-06-16 2022-09-23 平安银行股份有限公司 一种基于文件传输的配置方法及系统
CN115242677A (zh) * 2021-04-23 2022-10-25 中国移动通信集团四川有限公司 一种家宽用户状态监听系统、方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040044746A1 (en) * 2002-09-04 2004-03-04 Minolta Co., Ltd. Data management system storing file in designated folder
CN102651716A (zh) * 2011-02-24 2012-08-29 阿里巴巴集团控股有限公司 即时通讯中的文件夹传输方法及系统、即时接收客户端
CN104184753A (zh) * 2013-05-20 2014-12-03 腾讯科技(深圳)有限公司 一种文件传输方法及装置
CN105227649A (zh) * 2015-09-21 2016-01-06 北京金山安全软件有限公司 一种文件传输方法及装置
CN105335186A (zh) * 2014-08-11 2016-02-17 腾讯科技(深圳)有限公司 数据下载管理方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040044746A1 (en) * 2002-09-04 2004-03-04 Minolta Co., Ltd. Data management system storing file in designated folder
CN102651716A (zh) * 2011-02-24 2012-08-29 阿里巴巴集团控股有限公司 即时通讯中的文件夹传输方法及系统、即时接收客户端
CN104184753A (zh) * 2013-05-20 2014-12-03 腾讯科技(深圳)有限公司 一种文件传输方法及装置
CN105335186A (zh) * 2014-08-11 2016-02-17 腾讯科技(深圳)有限公司 数据下载管理方法及系统
CN105227649A (zh) * 2015-09-21 2016-01-06 北京金山安全软件有限公司 一种文件传输方法及装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965373A (zh) * 2018-05-04 2018-12-07 天津猎鹰网络技术有限公司 多媒体文件上传方法和装置
CN108776710B (zh) * 2018-06-28 2020-06-30 农信银资金清算中心有限责任公司 一种数据库数据的并发装载方法及装置
CN108776710A (zh) * 2018-06-28 2018-11-09 农信银资金清算中心有限责任公司 一种数据库数据的并发装载方法及装置
CN109981732A (zh) * 2019-02-18 2019-07-05 百度在线网络技术(北京)有限公司 海量文件传输控制方法及装置
CN111314478A (zh) * 2020-02-24 2020-06-19 腾讯科技(深圳)有限公司 文件传输方法、装置和计算机设备
CN111314478B (zh) * 2020-02-24 2021-08-31 腾讯科技(深圳)有限公司 文件传输方法、装置和计算机设备
CN111694766B (zh) * 2020-06-16 2024-03-08 北京经纬恒润科技股份有限公司 一种can数据采集方法及装置
CN111694766A (zh) * 2020-06-16 2020-09-22 北京经纬恒润科技有限公司 一种can数据采集方法及装置
CN112559461A (zh) * 2020-12-26 2021-03-26 中国建设银行股份有限公司 文件传输方法及装置、存储介质及电子设备
CN115242677A (zh) * 2021-04-23 2022-10-25 中国移动通信集团四川有限公司 一种家宽用户状态监听系统、方法和装置
CN115242677B (zh) * 2021-04-23 2023-09-01 中国移动通信集团四川有限公司 一种家宽用户状态监听系统、方法和装置
CN113672307A (zh) * 2021-07-06 2021-11-19 浙江大华技术股份有限公司 数据处理方法、电子设备和计算机可读存储介质
CN115102946A (zh) * 2022-06-16 2022-09-23 平安银行股份有限公司 一种基于文件传输的配置方法及系统
CN115102946B (zh) * 2022-06-16 2023-10-24 平安银行股份有限公司 一种基于文件传输的配置方法及系统

Also Published As

Publication number Publication date
CN107689976B (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN107689976A (zh) 一种文件传输方法及装置
CN110351342A (zh) 业务指令处理方法、装置、计算机设备和存储介质
CN106506587A (zh) 一种基于分布式存储的Docker镜像下载方法
CN108958927A (zh) 容器应用的部署方法、装置、计算机设备和存储介质
CN102902805B (zh) 一种页面访问方法和装置
CN106933872A (zh) 一种通过传统文件系统接口访问云存储服务的方法及装置
CN108933805A (zh) 一种文件传输方法及系统
CN101202761B (zh) 一种分布式资源调度系统及其方法
CN103457960B (zh) 网页游戏中加载文件的方法及系统
CN103885426B (zh) 设备的控制方法、客户端、服务器、中间设备和被控设备
CN110401724A (zh) 文件管理方法、文件传输协议服务器及存储介质
CN103338249B (zh) 缓存方法及装置
US20090083632A1 (en) Representing user interactions as a synchronous action in a business process flow
CN107967143A (zh) 获取客户端应用程序源代码的更新指示信息的方法、装置和系统
TWI354475B (en) Dispatching client requests to appropriate server-
US9912747B2 (en) Browser and system for download and download method
CN101848245A (zh) 基于ssl/xml的数据库访问代理方法及系统
CN108959385A (zh) 数据库部署方法、装置、计算机设备和存储介质
CN100512158C (zh) 网络测量体系结构及其实现测量的方法
US20030037107A1 (en) Application distribution system, and distribution server and distribution method thereof
CN102307219A (zh) 一种文件存取系统及文件上传方法和文件下载方法
CN109753418A (zh) 性能测试方法、装置、计算机设备和存储介质
CN106202083A (zh) 用于web页面的资源打包系统、方法及装置
CN110147201A (zh) 在线压缩方法、装置、计算机设备及存储介质
CN112100146A (zh) 一种高效的纠删分布式存储写入方法、系统、介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant