CN116915765B - 一种文件下载管理方法及系统 - Google Patents
一种文件下载管理方法及系统 Download PDFInfo
- Publication number
- CN116915765B CN116915765B CN202311167533.4A CN202311167533A CN116915765B CN 116915765 B CN116915765 B CN 116915765B CN 202311167533 A CN202311167533 A CN 202311167533A CN 116915765 B CN116915765 B CN 116915765B
- Authority
- CN
- China
- Prior art keywords
- file
- exclusive
- result
- downloading
- master node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 239000012634 fragment Substances 0.000 claims description 15
- 239000003999 initiator Substances 0.000 claims description 10
- 238000004891 communication Methods 0.000 abstract description 3
- 238000012790 confirmation Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种文件下载管理方法及系统,主节点接收文件下载请求,根据文件下载请求获取目标分片文件的文件标识,并根据文件标识将文件下载任务发送到工作节点;根据每一目标分片文件对应的文件标识进行异或计算得到第一异或结果,判断所述第一异或结果与第二异或结果的异或值是否为0,若是则返回下载的目标分片文件;工作节点根据文件标识下载对应的目标分片文件,将下载的目标分片文件的文件标识进行异或计算得到第二异或结果,并将下载的目标分片文件以及第二异或结果返回主节点;本发明只需要记录文件标识的异或结果就能够实现对多个目标分片文件的下载情况的判断,无需主节点和工作节点之间多次通信进行下载情况的确认。
Description
技术领域
本发明涉及文件传输领域,尤其涉及一种文件下载管理方法及系统。
背景技术
在分布式文件系统的下载系统中,其角色包含主节点以及工作节点;文件下载包括三个阶段:第一阶段:主节点收到下载请求,获取到文件信息列表;第二阶段:主节点向工作节点分发对应文件下载任务;第三阶段:工作节点下载完成后,向主节点发送确认信息,主节点从文件信息列表中修改对应的文件状态。
综上所述,总结总流程为:收到文件下载请求的主节点需要获取到所有的文件信息(如文件ID),并分配到对应的工作节点中进行下载,下载成功后需要向工作节点反馈某文件已下载完成;待到所有的文件都在对应的工作节点进行下载至对应目录下并向主节点进行确认后结束文件下载请求对应的下载过程,并反馈下载结果;此过程中还需要协调节点对应的文件信息存放位置为内存或持久化。
以上方式存在的缺点为:第一,需要进行多次IO,一次获取文件信息,一次确认下载完成后需要修改状态,最后确认所有文件是否下载完成,主节点的文件信息使用数据库持久化的方式进行会浪费多次的磁盘IO及性能;第二,因要确认文件的下载情况,如果主节点中的所有文件信息以列表的方式存在内存中,导致占用的内存容量过大。
发明内容
本发明所要解决的技术问题是:提供一种文件下载管理方法及系统,实现高效的文件下载结果确认。
为了解决上述技术问题,本发明采用的一种技术方案为:
一种文件下载管理方法,包括步骤:
主节点接收文件下载请求,根据所述文件下载请求获取目标分片文件的文件标识,并根据所述文件标识将文件下载任务发送到工作节点;
所述主节点根据每一所述目标分片文件对应的所述文件标识进行异或计算得到第一异或结果;
工作节点根据所述文件标识下载对应的目标分片文件,将下载的所述目标分片文件的文件标识进行异或计算得到第二异或结果,并将下载的所述目标分片文件以及所述第二异或结果返回主节点;
所述主节点判断所述第一异或结果与第二异或结果的异或值是否为0,若是则返回下载的所述目标分片文件至所述文件下载请求的发起方。
为了解决上述技术问题,本发明采用的另一种技术方案为:
一种文件下载管理系统,包括主节点以及工作节点,所述主节点包括第一存储器、第一处理器及存储在所述第一存储器上并可在所述第一处理器上运行的第一计算机程序,所述工作节点包括第二存储器、第二处理器及存储在所述第二存储器上并可在所述第二处理器上运行的第二计算机程序;
所述第一处理器执行所述第一计算机程序时实现以下步骤:
接收文件下载请求,根据所述文件下载请求获取目标分片文件的文件标识,并根据所述文件标识将文件下载任务发送到工作节点;
根据每一所述目标分片文件对应的所述文件标识进行异或计算得到第一异或结果;
判断所述第一异或结果与第二异或结果的异或值是否为0,若是则返回下载的所述目标分片文件至所述文件下载请求的发起方;
所述第二处理器执行所述第二计算机程序时实现以下步骤:
根据所述文件标识下载对应的目标分片文件,将下载的所述目标分片文件的文件标识进行异或计算得到第二异或结果,并将下载的所述目标分片文件以及所述第二异或结果返回主节点。
本发明的有益效果在于:主节点接收下载请求之后,获取到需要下载的文件对应的目标分片文件的文件标识,将文件标识发送到工作节点进行下载;并且主节点根据目标分片文件的文件标识计算出第一异或结果;工作节点下载完目标分片文件之后,根据下载的目标分片文件的文件标识计算出第二异或结果,利用了异或的特性,若第一异或结果与第二异或结果的异或值为0,则说明第一异或结果与第二异或结果相同,文件下载完毕;只需要存储文件标识并记录一个文件标识的异或结果就能够实现对多个目标分片文件的下载情况的判断,从而无需主节点和工作节点之间多次通信进行下载情况的确认,主节点下发下载任务之后,只需要通过工作节点返回的第二异或结果就能够得知是否下载完毕,从而实现了高效的文件下载结果确认。
附图说明
图1为本发明实施例的一种文件下载管理方法的步骤流程图;
图2为本发明实施例的一种文件下载管理系统的结构示意图;
标号说明:
1、主节点;11、第一处理器;12、第一存储器;2、工作节点;21、第二处理器;22、第二存储器;3、一种文件下载管理系统。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图予以说明。
请参照图1,一种文件下载管理方法,其特征在于,包括步骤:
主节点接收文件下载请求,根据所述文件下载请求获取目标分片文件的文件标识,并根据所述文件标识将文件下载任务发送到工作节点;
所述主节点根据每一所述目标分片文件对应的所述文件标识进行异或计算得到第一异或结果;
工作节点根据所述文件标识下载对应的目标分片文件,将下载的所述目标分片文件的文件标识进行异或计算得到第二异或结果,并将下载的所述目标分片文件以及所述第二异或结果返回主节点;
所述主节点判断所述第一异或结果与第二异或结果的异或值是否为0,若是则返回下载的所述目标分片文件至所述文件下载请求的发起方。
从上述描述可知,本发明的有益效果在于:主节点接收下载请求之后,获取到需要下载的文件对应的目标分片文件的文件标识,将文件标识发送到工作节点进行下载;并且主节点根据目标分片文件的文件标识计算出第一异或结果;工作节点下载完目标分片文件之后,根据下载的目标分片文件的文件标识计算出第二异或结果,利用了异或的特性,若第一异或结果与第二异或结果的异或值为0,则说明第一异或结果与第二异或结果相同,文件下载完毕;只需要存储文件标识并记录一个文件标识的异或结果就能够实现对多个目标分片文件的下载情况的判断,从而无需主节点和工作节点之间多次通信进行下载情况的确认,主节点下发下载任务之后,只需要通过工作节点返回的第二异或结果就能够得知是否下载完毕,从而实现了高效的文件下载结果确认。
进一步地,所述根据所述文件下载请求获取目标分片文件的文件标识,并根据所述文件标识将文件下载任务发送到工作节点包括:
所述主节点根据所述文件下载请求从文件服务器中查询目标文件的信息以及所述目标文件对应的目标分片文件的文件标识;
所述主节点判断所述信息中所述目标文件的大小是否大于第一阈值或所述目标分片文件的数量是否大于第二阈值,若满足一项则将所述文件标识按照预设数量分别组成多个文件下载任务,并分批将所述文件下载任务发送到工作节点。
由上述描述可知,主节点从文件服务器中查询出目标文件的信息,包括目标文件的大小,以及目标文件对应的目标分片文件的文件标识;目标文件即为文件下载请求所请求获取的文件,在分布式文件系统中会以分片文件的形式切分存储,若目标文件的大小超过第一阈值,则一次性获取其对应的所有目标分片文件会占用较大的内存空间,文件信息过多的情况下,一次性查询所有的文件信息可能导致内存溢出,此处分批可以通过分页等方式进行分批,减少主节点上的内存使用情况以及后续工作节点上下载文件时的内存占用,并且,由于校验的结果即对下载状态的确定只依赖于异或的结果,分批处理能够避免异或的数据太多从而易被网络波动等意外情况影响而导致误判的情况。
进一步地,所述分批将所述文件下载任务发送到工作节点包括:
所述主节点将多个所述文件下载任务分别发送到不同的工作节点或将多个所述文件下载任务间隔发送至同一工作节点。
由上述描述可知,完成多个文件下载任务的构建之后,可将其分别发送到不同的工作节点进行处理完成分批,或者是将多个文件下载任务间隔发送到同一工作节点完成分批;由多个工作节点分别进行可以加快文件的处理过程,同步处理多个文件下载任务减少处理时间,由一个工作节点完成在下载出现问题后可以更加快速地追溯。
进一步地,还包括:所述主节点接收到文件下载请求后,生成与所述文件下载请求对应的任务标识;
所述主节点根据每一所述目标分片文件对应的所述文件标识进行异或计算得到第一异或结果包括:
所述主节点每下发一个所述文件下载任务则计算所述文件下载任务中文件标识的初始异或结果;
所述主节点判断是否存在历史异或结果,若是则将所述初始异或结果与所述历史异或结果进行异或运算作为新的历史异或结果,否则将所述初始异或结果作为历史异或结果;直至所有所述文件下载任务发送完毕后获取历史异或结果作为第一异或结果,并将所述第一异或结果与所述任务标识关联存储。
由上述描述可知,主节点每下发一个文件下载任务,就计算文件下载任务中文件标识的初始异或结果;若存在历史异或结果,则再计算初始异或结果与历史异或结果的异或值对历史异或结果进行更新,若不存在历史异或结果则将初始异或结果作为历史异或结果,因异或运算自身的交换律以及结合律的特性,只要是同一批的文件标识,异或得到的结果就是相同的,不受顺序的影响,从而能够准确标识文件的下载情况;并且每下发一个任务才进行计算,避免了任务下发出现问题影响异或结果的比对。
进一步地,所述文件下载任务还包括与所述文件下载请求对应的任务标识;
所述工作节点根据所述文件标识下载对应的目标分片文件,将下载的所述目标分片文件的文件标识进行异或计算得到第二异或结果,并将下载的所述目标分片文件以及所述第二异或结果返回主节点包括:
所述工作节点接收文件下载任务后,根据所述文件下载任务中的文件标识下载对应的目标分片文件;
所述工作节点将下载的所述目标分片文件的文件标识进行异或计算得到第二异或结果;
所述工作节点将下载的所述目标分片文件、所述任务标识以及所述第二异或结果返回主节点;
所述主节点判断所述第一异或结果与第二异或结果的异或值是否为0,若是则返回下载的所述目标分片文件至所述文件下载请求的发起方包括:
所述主节点接收到第二异或结果时,根据所述第二异或结果对应的所述任务标识获取第一异或结果;
所述主节点判断所述第一异或结果与最终第二异或结果的异或值是否为0,若是则返回下载的所述目标分片文件至所述文件下载请求的发起方。
由上述描述可知,工作节点在根据文件下载任务进行下载时,将其中的目标分片文件的文件标识进行异或得到第二异或结果,在发送第二异或结果给主节点时,带上了任务标识以及下载完成的目标分片文件,因主节点可能会同时处理多个文件下载请求,工作节点在发送信息时带上任务标识能够让主节点获知具体是哪一个文件下载请求所对应的下载结果,提高主节点对文件下载请求的并行处理能力。
进一步地,所述主节点判断所述第一异或结果与第二异或结果的异或值是否为0还包括:
若不为0则等待接收所述任务标识对应的下一所述第二异或结果。
由上述描述可知,若不为0则说明此时第一异或结果和第二异或结果还不相等,那就说明二者进行异或的文件标识的数量或者值不同,而主节点是将文件标识在文件下载任务中一一发放的,工作节点也是根据文件下载任务进行下载的,故理论上二者的文件标识是完全一致的,则若第一异或结果与第二异或结果不同说明主节点下发的问价下载任务还没有全部完成,还存在待下载完成的文件标识所对应的目标分片文件,故继续等待接收,保证下载的文件的完整性。
进一步地,还包括状态码,所述状态码的初始值标识未完成状态;
所述根据所述文件标识将文件下载任务发送到工作节点之后还包括:
所述主节点将所述状态码的值修改为已完成状态,并挂起所述文件下载请求对应的处理任务,直至接收到所述工作节点返回的下载的所述目标分片文件以及所述第二异或结果。
由上述描述可知,通过状态码标识主节点中文件下载请求对应的处理任务的状态,因整个处理过程不完全是主节点独立完成,还涉及到工作节点,在工作节点进行下载的过程中,主节点相应的处理任务需要等待工作节点的返回值,故通过状态码来标识主节点的处理状态,能够在等待的过程中挂起相应任务,减少对主节点的资源消耗。
进一步地,所述根据所述文件下载请求获取目标分片文件的文件标识包括:
根据所述文件下载请求获取目标分片文件的文件标识以及文件地址;
所述工作节点根据所述文件标识下载对应的目标分片文件包括:
所述工作节点根据所述文件地址下载对应的目标分片文件,并将下载的所述目标分片文件的文件标识与所述文件下载请求中的文件标识对比,若一致则保存下载的所述目标分片文件。
在获取目标分片文件的文件标识的同时,还可获取对应的文件地址,根据文件地址下载目标分片文件后比对下载的目标分片文件的文件标识和接收到的文件标识是否相同,若相同则说明下载正确,无需工作节点在下载阶段再另外获取文件地址,而只需要核对文件标识,进一步提高了处理效率,并且避免了在单个任务中多次访问文件服务器。
进一步地,所述文件标识为二进制数。
由上述描述可知,通过二进制数的方式记录文件标识,二进制数的位数更多,在进行异或计算时能够极大概率排除位数过少导致计算文件标识的异或值时不同文件标识之间得到相同结果的问题,并且配合文件标识的数量可以进一步排除这个问题,保证所确定出的下载结果的准确性。
参照图2,一种文件下载管理系统,包括主节点以及工作节点,所述主节点包括第一存储器、第一处理器及存储在所述第一存储器上并可在所述第一处理器上运行的第一计算机程序,所述工作节点包括第二存储器、第二处理器及存储在所述第二存储器上并可在所述第二处理器上运行的第二计算机程序;所述第一处理器执行所述第一计算机程序时实现上述一种文件下载管理方法中主节点执行的步骤;所述第二处理器执行所述第二计算机程序时实现上述一种文件下载管理方法中工作节点执行的步骤。
本发明上述一种文件下载管理方法及系统能够适用于文件下载过程中文件下载状态的确认,尤其是在分布式文件系统中一个主节点对应多个工作节点情况下文件下载状态的确认。以下通过具体实施方式进行说明。
请参照图1,本发明的实施例一为:
一种文件下载管理方法,具体包括:
S1、主节点接收文件下载请求,根据所述文件下载请求获取目标分片文件的文件标识,并根据所述文件标识将文件下载任务发送到工作节点,包括:
S11、所述主节点根据所述文件下载请求从文件服务器中查询目标文件的信息以及所述目标文件对应的目标分片文件的文件标识;
在一种可选的实施方式中,主节点接收到文件下载请求后,生成与所述文件下载请求对应的任务标识(TXn);
在一种可选的实施方式中,根据所述文件下载请求获取目标分片文件的文件标识以及文件地址;
在一种可选的实施方式中,文件标识为二进制数;
S12、所述主节点判断所述信息中所述目标文件的大小是否大于第一阈值或所述目标分片文件的数量是否大于第二阈值,若满足一项则将所述文件标识按照预设数量分别组成多个文件下载任务,并分批将所述文件下载任务发送到工作节点;
其中,分批将所述文件下载任务发送到工作节点包括:所述主节点将多个所述文件下载任务分别发送到不同的工作节点或将多个所述文件下载任务间隔发送至同一工作节点;
S13、根据所述文件标识将文件下载任务发送到工作节点之后,所述主节点将状态码的值修改为已完成状态,并挂起所述文件下载请求对应的处理任务,直至接收到所述工作节点返回的下载的所述目标分片文件以及所述第二异或结果;
在一种可选的实施方式中,步骤S12-S13也可不进行分批,可在内存容量较大和处理资源富余时加快处理效率;
在一种可选的实施方式中,还包括下载状态标识码,所述下载状态标识码(Rn)包括任务标识(TXn)、状态码(F)以及第一异或结果(BRn);其中状态码可根据需要设置位数,例如在本实施例中,状态码只需要标识文件下载任务的下发情况,故可将状态码设置为一位,通过0和1分别标识未全部下发和已全部下发即已完成的状态;
S2、所述主节点根据每一所述目标分片文件对应的所述文件标识进行异或计算得到第一异或结果(BRn),包括:
S21、所述主节点每下发一个所述文件下载任务则计算所述文件下载任务中文件标识的初始异或结果;
在一种可选的实施方式中,主节点每发送一个文件下载任务,则获取文件下载任务中所有的文件标识并进行逐个异或得到初始异或结果;
S22、所述主节点判断是否存在历史异或结果,若是则将所述初始异或结果与所述历史异或结果进行异或运算作为新的历史异或结果,否则将所述初始异或结果作为历史异或结果;直至所有所述文件下载任务发送完毕后获取历史异或结果作为第一异或结果,并将所述第一异或结果与所述任务标识关联存储;
例如,共下发文件下载任务B1以及B2,下发完成B2时计算得到其对应的初始异或结果BR2,并且发现已经存储有历史异或结果即B1对应的异或结果BR1,就再将BR1以及BR2进行异或得到第一异或结果;
S3、工作节点根据所述文件标识下载对应的目标分片文件,将下载的所述目标分片文件的文件标识进行异或计算得到第二异或结果(SRn),并将下载的所述目标分片文件以及所述第二异或结果返回主节点,包括:
S31、所述工作节点接收文件下载任务后,根据所述文件下载任务中的文件标识下载对应的目标分片文件;
在一种可选的实施方式中,所述工作节点根据所述文件地址下载对应的目标分片文件,并将下载的所述目标分片文件的文件标识与文件下载请求中的文件标识对比,若一致则保存下载的所述目标分片文件;
S32、所述工作节点将下载的所述目标分片文件的文件标识进行异或计算得到第二异或结果;
在一种可选的实施方式中,工作节点每下载一个目标分片文件,则将该目标分片文件的文件标识与前一目标分片文件的文件标识进行异或计算;若不存在前一目标分片文件,则与0进行异或计算;直至文件下载任务中所有文件标识对应的目标分片文件均下载完毕;
S33、所述工作节点将下载的所述目标分片文件、所述任务标识以及所述第二异或结果返回主节点
S4、所述主节点判断所述第一异或结果与第二异或结果的异或值是否为0,若是则返回下载的所述目标分片文件至所述文件下载请求的发起方,包括:
S41、所述主节点接收到第二异或结果时,根据所述第二异或结果对应的所述任务标识获取第一异或结果;
S42、所述主节点判断所述第一异或结果(BRn)与最终第二异或结果(SRn)的异或值是否为0,若是则返回下载的所述目标分片文件至所述文件下载请求的发起方,否则等待接收所述任务标识对应的下一所述第二异或结果。
请参照图2,本发明的实施例二为:
一种文件下载管理系统3,包括主节点1以及工作节点2,所述主节点1包括第一存储器12、第一处理器11及存储在所述第一存储器12上并可在所述第一处理器11上运行的第一计算机程序,所述工作节点2包括第二存储器22、第二处理器21及存储在所述第二存储器22上并可在所述第二处理器21上运行的第二计算机程序;所述第一处理器11执行所述第一计算机程序时实现实施例一种一种文件下载管理方法中主节点1执行的步骤;所述第二处理器21执行所述第二计算机程序时实现实施例一中一种文件下载管理方法中工作节点2执行的步骤。
综上所述,本发明提供了一种文件下载管理方法及终端,利用异或计算的特性,在主节点下发文件下载任务时计算其中文件标识的第一异或结果,工作节点介绍到文件下载任务并根据其中的文件标识下载对应的目标分片文件时,也计算下载好的目标分片文件的文件标识的第二异或结果,当下载任务中所有文件标识对应的目标分片文件均下载完成,则返回下载的目标分片文件以及第二异或值至主节点,主节点计算第一异或结果和第二异或结果的异或值,若为0则说明文件下载完成,若不为0则说明与文件下载请求对应的目标分片文件还没有全部下载完成,继续等待工作节点上传的第二异或结果;并且考虑主节点的处理能力能够同时处理多个文件下载请求,故在接收文件下载请求后创建对应的任务标识,第一异或结果和第二异或结果都带上对应的任务标识,则主节点可以清楚知道每个文件下载请求对应的文件下载任务的执行情况;并且无需工作节点每下载一个目标分片文件就向主节点确认下载情况,而是能够通过第一异或结果和第二异或结果的对比直接获取到下载情况,减少主节点上文件的信息存储量,并且主节点上无需对单个目标分片文件进行是否下载完成的装填更新。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种文件下载管理方法,其特征在于,包括步骤:
主节点接收文件下载请求,根据所述文件下载请求获取目标分片文件的文件标识,并根据所述文件标识将文件下载任务发送到工作节点;
所述主节点根据每一所述目标分片文件对应的所述文件标识进行异或计算得到第一异或结果;
工作节点根据所述文件标识下载对应的目标分片文件,将下载的所述目标分片文件的文件标识进行异或计算得到第二异或结果,并将下载的所述目标分片文件以及所述第二异或结果返回主节点;
所述主节点判断所述第一异或结果与第二异或结果的异或值是否为0,若是则返回下载的所述目标分片文件至所述文件下载请求的发起方。
2.根据权利要求1所述的一种文件下载管理方法,其特征在于,所述根据所述文件下载请求获取目标分片文件的文件标识,并根据所述文件标识将文件下载任务发送到工作节点包括:
所述主节点根据所述文件下载请求从文件服务器中查询目标文件的信息以及所述目标文件对应的目标分片文件的文件标识;
所述主节点判断所述信息中所述目标文件的大小是否大于第一阈值或所述目标分片文件的数量是否大于第二阈值,若满足一项则将所述文件标识按照预设数量分别组成多个文件下载任务,并分批将所述文件下载任务发送到工作节点。
3.根据权利要求2所述的一种文件下载管理方法,其特征在于,所述分批将所述文件下载任务发送到工作节点包括:
所述主节点将多个所述文件下载任务分别发送到不同的工作节点或将多个所述文件下载任务间隔发送至同一工作节点。
4.根据权利要求2所述的一种文件下载管理方法,其特征在于,还包括:所述主节点接收到文件下载请求后,生成与所述文件下载请求对应的任务标识;
所述主节点根据每一所述目标分片文件对应的所述文件标识进行异或计算得到第一异或结果包括:
所述主节点每下发一个所述文件下载任务则计算所述文件下载任务中文件标识的初始异或结果;
所述主节点判断是否存在历史异或结果,若是则将所述初始异或结果与所述历史异或结果进行异或运算作为新的历史异或结果,否则将所述初始异或结果作为历史异或结果;直至所有所述文件下载任务发送完毕后获取历史异或结果作为第一异或结果,并将所述第一异或结果与所述任务标识关联存储。
5.根据权利要求2所述的一种文件下载管理方法,其特征在于,所述文件下载任务还包括与所述文件下载请求对应的任务标识;
所述工作节点根据所述文件标识下载对应的目标分片文件,将下载的所述目标分片文件的文件标识进行异或计算得到第二异或结果,并将下载的所述目标分片文件以及所述第二异或结果返回主节点包括:
所述工作节点接收文件下载任务后,根据所述文件下载任务中的文件标识下载对应的目标分片文件;
所述工作节点将下载的所述目标分片文件的文件标识进行异或计算得到第二异或结果;
所述工作节点将下载的所述目标分片文件、所述任务标识以及所述第二异或结果返回主节点;
所述主节点判断所述第一异或结果与第二异或结果的异或值是否为0,若是则返回下载的所述目标分片文件至所述文件下载请求的发起方包括:
所述主节点接收到第二异或结果时,根据所述第二异或结果对应的所述任务标识获取第一异或结果;
所述主节点判断所述第一异或结果与最终第二异或结果的异或值是否为0,若是则返回下载的所述目标分片文件至所述文件下载请求的发起方。
6.根据权利要求5所述的一种文件下载管理方法,其特征在于,所述主节点判断所述第一异或结果与第二异或结果的异或值是否为0还包括:
若不为0则等待接收所述任务标识对应的下一所述第二异或结果。
7.根据权利要求1或2所述的一种文件下载管理方法,其特征在于,还包括状态码,所述状态码的初始值标识未完成状态;
所述根据所述文件标识将文件下载任务发送到工作节点之后还包括:
所述主节点将所述状态码的值修改为已完成状态,并挂起所述文件下载请求对应的处理任务,直至接收到所述工作节点返回的下载的所述目标分片文件以及所述第二异或结果。
8.根据权利要求1所述的一种文件下载管理方法,其特征在于,所述根据所述文件下载请求获取目标分片文件的文件标识包括:
根据所述文件下载请求获取目标分片文件的文件标识以及文件地址;
所述工作节点根据所述文件标识下载对应的目标分片文件包括:
所述工作节点根据所述文件地址下载对应的目标分片文件,并将下载的所述目标分片文件的文件标识与所述文件下载请求中的文件标识对比,若一致则保存下载的所述目标分片文件。
9.根据权利要求7所述的一种文件下载管理方法,其特征在于,所述文件标识为二进制数。
10.一种文件下载管理系统,包括主节点以及工作节点,所述主节点包括第一存储器、第一处理器及存储在所述第一存储器上并可在所述第一处理器上运行的第一计算机程序,所述工作节点包括第二存储器、第二处理器及存储在所述第二存储器上并可在所述第二处理器上运行的第二计算机程序;其特征在于:
所述第一处理器执行所述第一计算机程序时实现权利要求1-9任一所述的一种文件下载管理方法中主节点执行的步骤;所述第二处理器执行所述第二计算机程序时实现权利要求1-9任一所述的一种文件下载管理方法中工作节点执行的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311167533.4A CN116915765B (zh) | 2023-09-12 | 2023-09-12 | 一种文件下载管理方法及系统 |
CN202311638659.5A CN117527789A (zh) | 2023-09-12 | 2023-09-12 | 一种分布式系统中文件下载管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311167533.4A CN116915765B (zh) | 2023-09-12 | 2023-09-12 | 一种文件下载管理方法及系统 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311638659.5A Division CN117527789A (zh) | 2023-09-12 | 2023-09-12 | 一种分布式系统中文件下载管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116915765A CN116915765A (zh) | 2023-10-20 |
CN116915765B true CN116915765B (zh) | 2023-12-05 |
Family
ID=88368091
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311167533.4A Active CN116915765B (zh) | 2023-09-12 | 2023-09-12 | 一种文件下载管理方法及系统 |
CN202311638659.5A Pending CN117527789A (zh) | 2023-09-12 | 2023-09-12 | 一种分布式系统中文件下载管理方法及系统 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311638659.5A Pending CN117527789A (zh) | 2023-09-12 | 2023-09-12 | 一种分布式系统中文件下载管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN116915765B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007014642A (ja) * | 2005-07-08 | 2007-01-25 | Sankyo Kk | 遊技機 |
CN101330524A (zh) * | 2008-07-30 | 2008-12-24 | 华为技术有限公司 | 下载、下发文件的处理方法、装置以及传输文件的系统 |
JP2011019118A (ja) * | 2009-07-09 | 2011-01-27 | Mitsubishi Electric Corp | 無線通信システム、無線通信装置、受信装置および無線通信方法 |
CN105207817A (zh) * | 2015-09-21 | 2015-12-30 | 中国南方电网有限责任公司 | 一种过程层设备抵御网络风暴的方法 |
CN106231644A (zh) * | 2016-09-22 | 2016-12-14 | 国家电网公司 | 配电线路区域视频监测的无线传感器网络数据传输方法 |
CN110392038A (zh) * | 2019-06-03 | 2019-10-29 | 西安电子科技大学 | 一种多用户场景下可验证的多密钥可搜索加密方法 |
CN111092909A (zh) * | 2019-12-30 | 2020-05-01 | 深圳市优权天成科技有限公司 | 一种去中心化的远程操控下载算法和设备 |
CN115878041A (zh) * | 2022-12-20 | 2023-03-31 | 苏州忆联信息系统有限公司 | 固态硬盘raid写性能提升的实现方法、装置和计算机设备 |
CN115913725A (zh) * | 2022-11-21 | 2023-04-04 | 长沙学院 | 基于异或加密链的前向安全动态可搜索加密方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10664439B2 (en) * | 2015-05-19 | 2020-05-26 | Cryptomove, Inc. | Security via dynamic data movement in a cloud-based environment |
-
2023
- 2023-09-12 CN CN202311167533.4A patent/CN116915765B/zh active Active
- 2023-09-12 CN CN202311638659.5A patent/CN117527789A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007014642A (ja) * | 2005-07-08 | 2007-01-25 | Sankyo Kk | 遊技機 |
CN101330524A (zh) * | 2008-07-30 | 2008-12-24 | 华为技术有限公司 | 下载、下发文件的处理方法、装置以及传输文件的系统 |
JP2011019118A (ja) * | 2009-07-09 | 2011-01-27 | Mitsubishi Electric Corp | 無線通信システム、無線通信装置、受信装置および無線通信方法 |
CN105207817A (zh) * | 2015-09-21 | 2015-12-30 | 中国南方电网有限责任公司 | 一种过程层设备抵御网络风暴的方法 |
CN106231644A (zh) * | 2016-09-22 | 2016-12-14 | 国家电网公司 | 配电线路区域视频监测的无线传感器网络数据传输方法 |
CN110392038A (zh) * | 2019-06-03 | 2019-10-29 | 西安电子科技大学 | 一种多用户场景下可验证的多密钥可搜索加密方法 |
CN111092909A (zh) * | 2019-12-30 | 2020-05-01 | 深圳市优权天成科技有限公司 | 一种去中心化的远程操控下载算法和设备 |
CN115913725A (zh) * | 2022-11-21 | 2023-04-04 | 长沙学院 | 基于异或加密链的前向安全动态可搜索加密方法及系统 |
CN115878041A (zh) * | 2022-12-20 | 2023-03-31 | 苏州忆联信息系统有限公司 | 固态硬盘raid写性能提升的实现方法、装置和计算机设备 |
Non-Patent Citations (1)
Title |
---|
基于有限域代数签名分治表的大数据云存储远程审计;钱政;夏红霞;;计算机工程与科学(第11期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117527789A (zh) | 2024-02-06 |
CN116915765A (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112765262B (zh) | 一种数据重分布方法、电子设备及存储介质 | |
CN111447248A (zh) | 一种文件传输的方法及装置 | |
CN111460504B (zh) | 业务处理方法、装置、节点设备及存储介质 | |
CN111897638A (zh) | 分布式任务调度方法及系统 | |
CN105871568B (zh) | 软件升级方法和系统 | |
CN113742135B (zh) | 数据备份方法、装置及计算机可读存储介质 | |
US12033028B2 (en) | Qubit reservation service | |
CN110795171A (zh) | 业务数据处理方法、装置、计算机设备及存储介质 | |
CN106331160A (zh) | 一种数据迁移方法及系统 | |
CN111258726A (zh) | 任务调度方法和装置 | |
CN115277671A (zh) | 车辆的ota升级方法、装置、车辆及存储介质 | |
CN110659272A (zh) | 数据清洗方法和系统 | |
CN115004666A (zh) | 物联网设备的注册方法、装置、设备及存储介质 | |
CN113535262B (zh) | 一种代理节点的启动控制方法、装置、设备及存储介质 | |
CN116915765B (zh) | 一种文件下载管理方法及系统 | |
CN110417876A (zh) | 会话方法、分布式系统中的节点服务器及主控设备 | |
CN114493602B (zh) | 区块链交易的执行方法、装置、电子设备和存储介质 | |
CN112764897B (zh) | 任务请求的处理方法、装置、系统及计算机可读存储介质 | |
CN110474954B (zh) | 基于区块链的文件分享方法、装置、计算机设备及可读存储介质 | |
CN111343101A (zh) | 服务器限流方法、装置、电子设备及可读存储介质 | |
CN112395316A (zh) | 一种数据查询方法及装置 | |
CN116720818B (zh) | 基于区块链的仓储处理方法、装置、计算机设备 | |
CN111639089B (zh) | 事务处理方法、装置、电子设备和计算机可读存储介质 | |
US11947539B2 (en) | Concurrency and cancellation in distributed asynchronous graph processing | |
CN114780267B (zh) | 一种接口调用方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |