CN114422509B - 文件自动备份方法、装置、网盘及存储介质 - Google Patents
文件自动备份方法、装置、网盘及存储介质 Download PDFInfo
- Publication number
- CN114422509B CN114422509B CN202210335918.6A CN202210335918A CN114422509B CN 114422509 B CN114422509 B CN 114422509B CN 202210335918 A CN202210335918 A CN 202210335918A CN 114422509 B CN114422509 B CN 114422509B
- Authority
- CN
- China
- Prior art keywords
- backup
- file
- priority
- concurrent
- queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种文件自动备份方法、装置、网盘及存储介质。方法包括:接收客户端发送的文件备份请求,文件备份请求包括文件备份信息;根据当前时间确定最大并发备份连接数量;根据所有客户端发送的文件备份信息计算文件优先级;根据优先级生成备份文件队列,在为每个客户端分配至少一个并发份连接后,并根据备份文件队列为所有客户端分配其余并发备份连接;在存在备份连接关闭时,选取备份文件队列中排序下降超过预设下降阈值的调整备份文件,并对所述调整备份文件的优先级进行调整,生成更新备份文件队列;返回为每个客户端分配至少一个并发备份连接后,并根据备份文件队列为所有客户端分配其余并发备份连接,直至备份任务完成。
Description
技术领域
本发明实施例涉及电子信息技术领域,尤其涉及一种文件自动备份方法、装置、网盘及存储介质。
背景技术
网盘,是由互联网公司推出的在线存储服务。网盘系统机房为用户划分一定的磁盘空间,为用户免费或收费提供文件的存储、访问、备份、共享等文件管理等功能,并且拥有高级的世界各地的容灾备份。用户通过网盘可以实现文件的远程储存,读取和分享,因此可以大幅提升数据资料的使用便利性和存取灵活性。网盘可支持用户自由下载或者上传重要文件。在对本地文件编辑后,网盘可以提供自动备份功能,防止文件意外损坏、丢失、染毒等等导致重要办公文件不可用,从而造成公司业务中断或损失。由于网盘系统面临多个用户的终端设备,因此,需要对备份文件进行安排,保证重要文件能够及时备份到网盘系统中,现有技术中通常采用对需要备份的文件进行优先级排序,然后根据排序结果进行备份上传。
发明人在实现本发明中发现如下技术问题:文件重要程度需要用户需要自行评价并进行标注,但该种方式需要用户消耗一定的精力进行处理,利用标注时间用户完全可以手动进行上传。在用户不进行标注的情况下,无法区分文件的重要程度。并且,由于按照排序上传,则对同一客户端来说,需要反复建立连接,降低了备份文件的效率,并且可能存在部分用户由于级别较低,始终在队列中排队,一直无法上传备份,也影响了文件自动备份的效率。
发明内容
本发明实施例提供一种文件自动备份方法、装置、网盘及存储介质,以解决现有技术中存在的文件自动备份效率较低的技术问题。
第一方面,本发明实施例提供了一种文件自动备份方法,包括:
接收客户端发送的文件备份请求,所述文件备份请求包括文件备份信息,所述文件备份信息包括:备份文件的数量、大小和备份用户信息;
根据当前时间确定最大并发备份连接数量;
根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级;
根据所述优先级生成备份文件队列,在为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接;
在存在备份连接关闭时,选取备份文件队列中排序下降超过预设下降阈值的调整备份文件,并对所述调整备份文件的优先级进行调整,生成更新备份文件队列;
返回为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接,直至备份任务完成。
第二方面,本发明实施例还提供了一种文件自动备份装置,包括:
接收模块,用于接收客户端发送的文件备份请求,所述文件备份请求包括文件备份信息,所述文件备份信息包括:备份文件的数量、大小和备份用户信息;
确定模块,用于根据当前时间确定最大并发备份连接数量;
计算模块,用于根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级;
分配模块,用于根据所述优先级生成备份文件队列,在为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接;
调整模块,用于在存在备份连接关闭时,选取备份文件队列中排序下降超过预设下降阈值的调整备份文件,并对所述调整备份文件的优先级进行调整,生成更新备份文件队列;
重新分配模块,用于返回为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接,直至备份任务完成。
第三方面,本发明实施例还提供了一种网盘,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述实施例提供的文件自动备份方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的文件自动备份方法。
本发明实施例提供的文件自动备份方法、装置、网盘及存储介质,通过接收客户端发送的文件备份请求,所述文件备份请求包括文件备份信息,所述文件备份信息包括:备份文件的数量、大小和备份用户信息;根据当前时间确定最大并发备份连接数量;根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级;根据所述优先级生成备份文件队列,在为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接;在存在备份连接关闭时,选取备份文件队列中排序下降超过预设下降阈值的调整备份文件,并对所述调整备份文件的优先级进行调整,生成更新备份文件队列;返回为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接,直至备份任务完成。无需用户对文件的重要程度进行标记,即可确定备份文件的优先级,并且为每个需要备份文件的客户端分配一个连接,保证每个客户端都在备份文件,并根据客户端对应的重要文件的数量分配其余的备份连接。有效避免对同一客户端多次建立连接,对于备份文件队列进行动态优先级管理。能够有效提高自动文件备份的效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例一提供的文件自动备份方法的流程图;
图2是本发明实施例二提供的文件自动备份方法的流程图;
图3是本发明实施例三提供的文件自动备份方法的流程图;
图4是本发明实施例四提供的文件自动备份方法的流程图
图5是本发明实施例五提供的文件自动备份装置的结构图;
图6是本发明实施例六提供的网盘的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的文件自动备份方法的流程图,本实施例可适用于对于多个用户的文件进行网盘备份的情况,该方法可以由文件自动备份装置来执行,具体包括如下步骤:
步骤110、接收客户端发送的文件备份请求,所述文件备份请求包括文件备份信息。
在本实施例中,网盘系统可面向多个用户,用户可以通过客户端安装程序实现将本地文件自动上传至网盘系统,实现对文件的自动备份。
在本实施例中,客户端可以通过定期扫描的方式确定哪些文件为新增文件,哪些为修改文件,并将确定的新增文件和修改文件作为备份文件,示例性的,所述客户端可以在本地设置一个数据库,用于存储文件信息,其中可以包括:存储文件名称、文件的唯一标号、存储路径和采用哈希算法转换的文件内容。并可在扫描时根据存储文件名称、文件的唯一标号、存储路径和采用哈希算法转换的文件内容,确定文件是否存在变化。进一步的,客户端还可判断文件的大小,在超过预设的大小阈值时,为保证文件能够备份成功,可以将超过该大小阈值的文件不纳入本次备份文件中,等待专门的大文件上传备份时间段进行上传处理。
客户端可以向网盘发送相应的文件备份请求,所述文件备份信息包括:备份文件的数量、大小和备份用户信息。以便网盘根据文件备份信息安排多用户多终端进行文件备份。
步骤120、根据当前时间确定最大并发备份连接数量。
网盘在进行文件备份时,不可避免会产生占用带宽的情况,会对正常工作网络产生冲击。因此,在本实施例中,需要针对当前网络的使用情况对备份文件连接进行限制。
示例性的,所述根据当前时间确定最大并发备份连接数量,可以包括:根据当前时间确定是否为工作时间;在为工作时间时,确定是否为网络繁忙时间段或网络空闲时段;根据网络繁忙时间段或者网络空闲时段确定并发连接数。
可选的,可以将9:00-11:00设为工作繁忙段,8:00-9:00为工作闲时,相应的,根据上述方式对下午工作时段进行分别设置,并可将非工作时间段设为闲时,并分别对应时间确定对应的工作带宽,并根据工作带宽和总带宽,确定网盘备份文件所能具备的带宽,并据此确定对应的并发连接数。
步骤130、根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级。
示例性的,可以根据文件备份信息对多个用户的备份文件进行综合排序。排序的依据为备份文件的优先级。例如:可以根据用户的重要程度排定备份文件的优先级。或者根据文件大小,小文件可以快速上传备份,因此,其可以设定较高的优先级,而文件数量过多则会长时间占用带宽,其优先级相对较低。可以根据上述三种综合因素进行加权求和,计算得到文件的优先级。
步骤140、根据所述优先级生成备份文件队列,在为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接。
可以根据优先级大小对备份文件进行排序,得到备份文件队列。为避免某些用户的文件优先级过低,长时间无法进行文件备份的情况。因此,可以为每个客户端分配一个并发备份连接。同时还可根据备份文件队列中每个客户端在该队列前端文件数量的多少分配其余并发备份连接。可以实现备份文件快速上传至网盘备份,且减少连接次数。
步骤150、在存在备份连接关闭时,选取备份文件队列中排序下降超过预设下降阈值的调整备份文件,并对所述调整备份文件的优先级进行调整,生成更新备份文件队列。
一方面备份文件队列中的部分文件已经上传备份成功,另一方面可能有新的客户端本地扫描完成,上传了新的文件备份请求,因此备份文件处于动态变化过程中。需要对备份文件队列进行动态管理。相应的,网盘可以在监测到之前与某个客户端建立的备份连接由于备份文件已经上传完成,连接已经关闭时,对备份文件队列进行调整。该时机由于备份连接发生变化,需要重新进行备份连接分配。避免新加入文件后重新计算备份文件的优先级方式需要多次重复运算,且连接建立次数频繁的问题。在此时,计算发出请求的备份文件的优先级,并根据优先级重新调整备份文件队列。为了防止某些文件在新加入备份文件后在队列中的次序下降,长时间无法得到备份连接。示例性的,可以选取备份文件队列中排序下降超过预设下降阈值的调整备份文件,并适当的增加其优先级。并生成更新备份文件队列。
步骤160、返回为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接,直至备份任务完成。
返回为每个客户端分配至少一个并发备份连接步骤,利用之前空余的备份连接为新加入的客户端进行分配。并根据更新备份文件队列分配并发备份连接,由于优先级较高的文件对应的客户端存在相应备份连接,如果其备份文件在队列前端较少,则可以减少其连接数量,供新加入的客户端使用。利用该种方式,可以在保证优先级较高的文件能够快速上传备份,同时也减少了重复连接的可能。所述备份任务可以是备份文件队列为空,或者到达备份任务预设的结束时间。
本实施例通过接收客户端发送的文件备份请求,所述文件备份请求包括文件备份信息,所述文件备份信息包括:备份文件的数量、大小和备份用户信息;根据当前时间确定最大并发备份连接数量;根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级;根据所述优先级生成备份文件队列,在为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接;在存在备份连接关闭时,选取备份文件队列中排序下降超过预设下降阈值的调整备份文件,并对所述调整备份文件的优先级进行调整,生成更新备份文件队列;返回为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接,直至备份任务完成。无需用户对文件的重要程度进行标记,即可确定备份文件的优先级,并且为每个需要备份文件的客户端分配一个连接,保证每个客户端都在备份文件,并根据客户端对应的重要文件的数量分配其余的备份连接。有效避免对同一客户端多次建立连接,对于备份文件队列进行动态优先级管理。能够有效提高自动文件备份的效率。
实施例二
图2为本发明实施例二提供的文件自动备份方法的流程图。本实施例以上述实施例为基础进行优化,在本实施例中,可增加如下步骤:获取文件备份地址,根据所述文件备份地址确定是否为协同编辑文件。相应的,将所述根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级,具体优化为:下调协同编辑文件的优先级。
相应的,本实施例所提供的文件自动备份方法,具体包括:
步骤210、接收客户端发送的文件备份请求,所述文件备份请求包括文件备份信息。
步骤220、根据当前时间确定最大并发备份连接数量。
步骤230、获取文件备份地址,根据所述文件备份地址确定是否为协同编辑文件。
协同编辑文件是一种特殊的文档,允许多个有权限的用户针对同一文件进行编辑。由于协同编辑文档经常处于变化之中。因此,需要对其进行特殊处理。通常,协同编辑文件会被上传到特定的文件存储路径中,通常为公用文件夹。因此,可以根据其文件备份在网盘的路径,判断其是否为协同编辑文件。
步骤240、根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级,并下调协同编辑文件的优先级。
由于协同编辑文件时效性较强,且变化频率较快。因此,协同编辑文件通常由用户手动上传,因此,其备份需求较低,因此,可以降低其优先级。
示例性的,可确定当前协同编辑文件对应的客户端是否存在并发备份连接,在存在并发备份连接时,将所述协同编辑文件的优先级调整为备份文件队列中对应的客户端最后一个文件之后。如果不存在并发备份连接,则可调整至队尾。
步骤250、根据所述优先级生成备份文件队列,在为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接。
步骤260、在存在备份连接关闭时,选取备份文件队列中排序下降超过预设下降阈值的调整备份文件,并对所述调整备份文件的优先级进行调整,生成更新备份文件队列。
步骤270,返回为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接,直至备份任务完成。
本实施例通过将增加如下步骤:获取文件备份地址,根据所述文件备份地址确定是否为协同编辑文件。相应的,将所述根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级,具体优化为:下调协同编辑文件的优先级。可以针对协同编辑文件的特性针对其优先级进行调整,避免反复连接和多次无意义上传备份。
实施例三
图3为本发明实施例三提供的文件自动备份方法的流程图。本实施例以上述实施例为基础进行优化,在本实施例中,将所述根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级,具体优化为:对所述备份文件按照大小由大到小进行排序,根据排序结果由高至低设定文件大小优先级参数;根据客户端对应的账号在网盘中对应的组织架构层级设定用户优先级参数;将备份文件数量与预设的文件数量阈值进行求差计算,根据求差结果的绝对值确定文件数量优先级参数;将文件数量优先级参数和用户优先级参数之和与所述文件大小优先级参数的比值作为文件优先级。
相应的,本实施例所提供的文件自动备份方法,具体包括:
步骤310、接收客户端发送的文件备份请求,所述文件备份请求包括文件备份信息。
步骤320、根据当前时间确定最大并发备份连接数量。
步骤330、对所述备份文件按照大小由大到小进行排序,根据排序结果由高至低设定文件大小优先级参数。
文件越小,且上传备份所占用的时间越短,能够尽快释放备份连接,因此,可按照文件大小确定对应的优先级参数。
步骤340、根据客户端对应的账号在网盘中对应的组织架构层级设定用户优先级参数。
在网盘中,账号可对应在整个公司网盘中的组织架构,在组织架构中级别越高的人,用户的权限更高,其文件的重要性越高,因此,可以根据对应组织架构层级设定对应的文件用户优先级参数。示例性的,可以为每一个层级设定对应的优先级参数,并将该优先级参数作为用户优先级参数。
步骤350、将备份文件数量与预设的文件数量阈值进行求差计算,根据求差结果的绝对值确定文件数量优先级参数。
文件数量过多则会长期占用备份连接,而文件数量过少则会频繁对备份连接进行切换,二者都会影响文件备份效率。因此,在本实施例中,可以将备份文件数量与预设的文件数量阈值进行求差计算。所述预设的文件数量阈值可以根据经验设定,以使得备份连接处于一段时间稳定状态。
步骤360、将文件数量优先级参数和用户优先级参数之和与所述文件大小优先级参数的比值作为文件优先级。
将文件数量优先级参数和用户优先级参数相加,并除以文件大小优先级参数,得到文件优先级。
步骤370、根据所述优先级生成备份文件队列,在为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接。
步骤380、在存在备份连接关闭时,选取备份文件队列中排序下降超过预设下降阈值的调整备份文件,并对所述调整备份文件的优先级进行调整,生成更新备份文件队列。
步骤390、返回为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接,直至备份任务完成。
本实施例通过将所述根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级,具体优化为:对所述备份文件按照大小由大到小进行排序,根据排序结果由高至低设定文件大小优先级参数;根据客户端对应的账号在网盘中对应的组织架构层级设定用户优先级参数;将备份文件数量与预设的文件数量阈值进行求差计算,根据求差结果的绝对值确定文件数量优先级参数;将文件数量优先级参数和用户优先级参数之和与所述文件大小优先级参数的比值作为文件优先级。可以针对备份文件的文件备份信息综合进行研判,准确的计算每个备份文件的优先级,能够进一步提升文件备份到网盘的效率。
在本实施例的一个优选实施方式中,将所述根据所述备份文件队列为所有客户端分配其余并发备份连接具体优化为:确定其余并发备份连接的数量,根据所述并发备份连接数量确定所述备份文件队列中的文件数量;根据所述文件数量对应的客户端分配其余并发备份连接。可以根据工作时间确定的并发连接数,减去客户端数量,得到其余并发备份连接的数量,由于优先级考虑到文件大小,因此,在队列前端的通常为小文件。可以根据小文件的平均大小和备份连接数量,确定可以对应的文件数量。并根据备份文件队列中排序后优先级由大到小的文件数量对应的客户端,为该客户端分配并发备份连接的数量。能够进一步提升文件备份的上传效率。
实施例四
图4为本发明实施例四提供的文件自动备份方法的流程图。本实施例以上述实施例为基础进行优化,在本实施例中,将所述对所述调整备份文件的优先级进行调整具体优化为:确定与调整备份文件对应的客户端是否存在并发备份连接,在存在时,确定所述文件大小是否小于预设的大小阈值,在小于时,将所述调整备份文件的优先级乘以预设的修改权重值,并将乘积作为调整参数调整备份文件的优先级。
相应的,本实施例所提供的文件自动备份方法,具体包括:
步骤410、接收客户端发送的文件备份请求,所述文件备份请求包括文件备份信息。
步骤420、根据当前时间确定最大并发备份连接数量。
步骤430、根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级。
步骤440、根据所述优先级生成备份文件队列,在为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接。
步骤450、在存在备份连接关闭时,选取备份文件队列中排序下降超过预设下降阈值的调整备份文件。
步骤460、确定与调整备份文件对应的客户端是否存在并发备份连接,在存在时,确定所述文件大小是否小于预设的大小阈值,在小于时,将所述调整备份文件的优先级乘以预设的修改权重值,并将乘积作为调整参数调整备份文件的优先级,生成更新备份文件队列。
如果调整备份文件对应的客户端存在并发备份连接,则可采用原有的并发备份连接将调整备份文件尽快上传备份。否则,则会出现重复连接的情况。同时,还需考虑到调整备份文件的大小,如果该文件较大,必然长时间占用备份连接。因此,在本实施例中,将合适大小的备份文件的优先级向高优先级调整。否则,不对其进行调整。
步骤470、返回为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接,直至备份任务完成。
本实施例通过将所述对所述调整备份文件的优先级进行调整具体优化为:确定与调整备份文件对应的客户端是否存在并发备份连接,在存在时,确定所述文件大小是否小于预设的大小阈值,在小于时,将所述调整备份文件的优先级乘以预设的修改权重值,并将乘积作为调整参数调整备份文件的优先级。可以对调整备份文件的优先级进行调整,生成更新备份文件队列。避免由于新的文件加入备份文件队列导致长时间不能上传备份,同时,还考虑到连接建立更改的问题,进一步提升了文件备份的效率。
实施例五
图5是本发明实施例五提供的文件自动备份装置的结构图,如图5所示,所述装置包括:
接收模块510,用于接收客户端发送的文件备份请求,所述文件备份请求包括文件备份信息,所述文件备份信息包括:备份文件的数量、大小和备份用户信息;
确定模块520,用于根据当前时间确定最大并发备份连接数量;
计算模块530,用于根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级;
分配模块540,用于根据所述优先级生成备份文件队列,在为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接;
调整模块550,用于在存在备份连接关闭时,选取备份文件队列中排序下降超过预设下降阈值的调整备份文件,并对所述调整备份文件的优先级进行调整,生成更新备份文件队列;
重新分配模块560,用于返回为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接,直至备份任务完成。
本实施例提供的文件自动备份装置,通过接收客户端发送的文件备份请求,所述文件备份请求包括文件备份信息,所述文件备份信息包括:备份文件的数量、大小和备份用户信息;根据当前时间确定最大并发备份连接数量;根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级;根据所述优先级生成备份文件队列,在为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接;在存在备份连接关闭时,选取备份文件队列中排序下降超过预设下降阈值的调整备份文件,并对所述调整备份文件的优先级进行调整,生成更新备份文件队列;返回为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接,直至备份任务完成。无需用户对文件的重要程度进行标记,即可确定备份文件的优先级,并且为每个需要备份文件的客户端分配一个连接,保证每个客户端都在备份文件,并根据客户端对应的重要文件的数量分配其余的备份连接。有效避免对同一客户端多次建立连接,对于备份文件队列进行动态优先级管理。能够有效提高自动文件备份的效率。
在上述各实施例的基础上,所述装置还包括:
获取模块,用于获取文件备份地址,根据所述文件备份地址确定是否为协同编辑文件;
相应的,所述计算模块包括:
下调单元,用于下调协同编辑文件的优先级。
在上述各实施例的基础上,所述确定模块,包括:
工作时间确定单元,用于根据当前时间确定是否为工作时间;
时段确定单元,用于在为工作时间时,确定是否为网络繁忙时间段或网络空闲时段;
连接数确定单元,用于根据网络繁忙时间段或者网络空闲时段确定并发连接数。
在上述各实施例的基础上,所述计算模块还包括:
第一设定单元,用于对所述备份文件按照大小由大到小进行排序,根据排序结果由高至低设定文件大小优先级参数;
第二设定单元,用于根据客户端对应的账号在网盘中对应的组织架构层级设定用户优先级参数;
确定单元,用于将备份文件数量与预设的文件数量阈值进行求差计算,根据求差结果的绝对值确定文件数量优先级参数;
作为单元,用于将文件数量优先级参数和用户优先级参数之和与所述文件大小优先级参数的比值作为文件优先级。
在上述各实施例的基础上,所述分配模块,包括:
文件数量确定单元,用于确定其余并发备份连接的数量,根据所述并发备份连接数量确定所述备份文件队列中的文件数量;
分配单元,用于根据所述文件数量对应的客户端分配其余并发备份连接。
在上述各实施例的基础上,所述调整模块包括:
调整单元,用于确定与调整备份文件对应的客户端是否存在并发备份连接,在存在时,确定所述文件大小是否小于预设的大小阈值,在小于时,将所述调整备份文件的优先级乘以预设的修改权重值,并将乘积作为调整参数调整备份文件的优先级。
在上述各实施例的基础上,所述调整单元用于:
确定当前协同编辑文件对应的客户端是否存在并发备份连接,在存在并发备份连接时,将所述协同编辑文件的优先级调整为备份文件队列中对应的客户端最后一个文件之后。
本发明实施例所提供的文件自动备份装置可执行本发明任意实施例所提供的文件自动备份方法,具备执行方法相应的功能模块和有益效果。
实施例六
图6为本发明实施例六提供的网盘的结构图。图6示出了适于用来实现本发明实施方式的示例性网盘12的框图。图6显示的网盘12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,网盘12以通用计算设备的形式表现。网盘12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
网盘12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被网盘12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存32。网盘12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM, DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如系统存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
网盘12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该网盘12交互的设备通信,和/或与使得该网盘12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,网盘12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与网盘12的其它模块通信。应当明白,尽管图中未示出,可以结合网盘12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的文件自动备份方法。
实施例七
本发明实施例七还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的任一所述的文件自动备份方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种文件自动备份方法,其特征在于,包括:
接收客户端发送的文件备份请求,所述文件备份请求包括文件备份信息,所述文件备份信息包括:备份文件的数量、大小和备份用户信息;
根据当前时间确定最大并发备份连接数量;
根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级;
根据所述优先级生成备份文件队列,在为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接;
在存在备份连接关闭时,选取备份文件队列中由于新加入的文件的优先级致使排序下降超过预设下降阈值的调整备份文件,并对所述调整备份文件的优先级进行调整,生成更新备份文件队列;
返回为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接,直至备份任务完成。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取文件备份地址,根据所述文件备份地址确定是否为协同编辑文件;
相应的,所述根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级,包括:
下调协同编辑文件的优先级。
3.根据权利要求1所述的方法,其特征在于,所述根据当前时间确定最大并发备份连接数量,包括:
根据当前时间确定是否为工作时间;
在为工作时间时,确定是否为网络繁忙时间段或网络空闲时段;
根据网络繁忙时间段或者网络空闲时段确定并发连接数。
4.根据权利要求1所述的方法,其特征在于,所述根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级,包括:
对所述备份文件按照大小由大到小进行排序,根据排序结果由高至低设定文件大小优先级参数;
根据客户端对应的账号在网盘中对应的组织架构层级设定用户优先级参数;
将备份文件数量与预设的文件数量阈值进行求差计算,根据求差结果的绝对值确定文件数量优先级参数;
将文件数量优先级参数和用户优先级参数之和与所述文件大小优先级参数的比值作为文件优先级。
5.根据权利要求4所述的方法,其特征在于,所述根据所述备份文件队列为所有客户端分配其余并发备份连接包括:
确定其余并发备份连接的数量,根据所述并发备份连接数量确定所述备份文件队列中的文件数量;
根据所述文件数量对应的客户端分配其余并发备份连接。
6.根据权利要求1所述的方法,其特征在于,所述对所述调整备份文件的优先级进行调整包括:
确定与调整备份文件对应的客户端是否存在并发备份连接,在存在时,确定所述文件大小是否小于预设的大小阈值,在小于时,将所述调整备份文件的优先级乘以预设的修改权重值,并将乘积作为调整参数调整备份文件的优先级。
7.根据权利要求2所述的方法,其特征在于,所述下调协同编辑文件的优先级,包括:
确定当前协同编辑文件对应的客户端是否存在并发备份连接,在存在并发备份连接时,将所述协同编辑文件的优先级调整为备份文件队列中对应的客户端最后一个文件之后。
8.一种文件自动备份装置,其特征在于,包括:
接收模块,用于接收客户端发送的文件备份请求,所述文件备份请求包括文件备份信息,所述文件备份信息包括:备份文件的数量、大小和备份用户信息;
确定模块,用于根据当前时间确定最大并发备份连接数量;
计算模块,用于根据所有客户端发送的所述文件备份请求中的文件备份信息计算文件优先级;
分配模块,用于根据所述优先级生成备份文件队列,在为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接;
调整模块,用于在存在备份连接关闭时,选取备份文件队列中由于新加入的文件的优先级致使排序下降超过预设下降阈值的调整备份文件,并对所述调整备份文件的优先级进行调整,生成更新备份文件队列;
重新分配模块,用于返回为每个客户端分配至少一个并发备份连接后,并根据所述备份文件队列为所有客户端分配其余并发备份连接,直至备份任务完成。
9.一种网盘,其特征在于,所述网盘包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的文件自动备份方法。
10.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的文件自动备份方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210335918.6A CN114422509B (zh) | 2022-04-01 | 2022-04-01 | 文件自动备份方法、装置、网盘及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210335918.6A CN114422509B (zh) | 2022-04-01 | 2022-04-01 | 文件自动备份方法、装置、网盘及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114422509A CN114422509A (zh) | 2022-04-29 |
CN114422509B true CN114422509B (zh) | 2022-07-26 |
Family
ID=81262653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210335918.6A Active CN114422509B (zh) | 2022-04-01 | 2022-04-01 | 文件自动备份方法、装置、网盘及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114422509B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114666641B (zh) * | 2022-05-25 | 2022-08-26 | 舟谱数据技术南京有限公司 | 一种经销商多场景电视大屏投射系统及方法 |
CN115086299B (zh) * | 2022-05-31 | 2024-04-09 | 中银金融科技有限公司 | 文件下载方法、装置、设备、介质和程序产品 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092718A (zh) * | 2011-10-27 | 2013-05-08 | 鸿富锦精密工业(深圳)有限公司 | 测试数据备份系统及方法 |
CN103548000A (zh) * | 2011-03-21 | 2014-01-29 | 惠普发展公司,有限责任合伙企业 | 数据备份优先化 |
CN104580306A (zh) * | 2013-10-21 | 2015-04-29 | 北京计算机技术及应用研究所 | 一种多终端备份服务系统及其任务调度方法 |
CN106681860A (zh) * | 2016-12-01 | 2017-05-17 | 广东欧珀移动通信有限公司 | 一种数据备份方法及数据备份装置 |
CN109756581A (zh) * | 2019-03-06 | 2019-05-14 | 珠海金山网络游戏科技有限公司 | 一种文件传输系统及方法、一种计算设备及存储介质 |
CN111880967A (zh) * | 2020-07-28 | 2020-11-03 | 平安科技(深圳)有限公司 | 云场景下的文件备份方法、装置、介质和电子设备 |
CN112667527A (zh) * | 2021-01-15 | 2021-04-16 | 北京云上曲率科技有限公司 | 一种确保客户端数据采集准确性的方法及客户端 |
CN113934575A (zh) * | 2021-10-21 | 2022-01-14 | 上海英方软件股份有限公司 | 一种基于分布式拷贝的大数据备份系统及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6026414A (en) * | 1998-03-05 | 2000-02-15 | International Business Machines Corporation | System including a proxy client to backup files in a distributed computing environment |
US20050223277A1 (en) * | 2004-03-23 | 2005-10-06 | Eacceleration Corporation | Online storage system |
JP2006309289A (ja) * | 2005-04-26 | 2006-11-09 | Hitachi Information Systems Ltd | バックアップ方法およびバックアップシステム、ならびにそのためのプログラム |
CN107506265A (zh) * | 2017-08-30 | 2017-12-22 | 安徽天达网络科技有限公司 | 一种基于互联网的差异性远程文件备份与恢复系统 |
US11442816B2 (en) * | 2018-12-03 | 2022-09-13 | International Business Machines Corporation | Performance of backup operations in an order determined using service-metadata associated with backup requests |
CN110109778B (zh) * | 2019-07-02 | 2022-01-07 | 南京云信达科技有限公司 | 一种大量小数据文件备份方法及恢复方法 |
CN113590385A (zh) * | 2021-07-28 | 2021-11-02 | 南京极域信息科技有限公司 | 一种文件上传自动备份系统及其备份方法 |
-
2022
- 2022-04-01 CN CN202210335918.6A patent/CN114422509B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103548000A (zh) * | 2011-03-21 | 2014-01-29 | 惠普发展公司,有限责任合伙企业 | 数据备份优先化 |
CN103092718A (zh) * | 2011-10-27 | 2013-05-08 | 鸿富锦精密工业(深圳)有限公司 | 测试数据备份系统及方法 |
CN104580306A (zh) * | 2013-10-21 | 2015-04-29 | 北京计算机技术及应用研究所 | 一种多终端备份服务系统及其任务调度方法 |
CN106681860A (zh) * | 2016-12-01 | 2017-05-17 | 广东欧珀移动通信有限公司 | 一种数据备份方法及数据备份装置 |
CN109756581A (zh) * | 2019-03-06 | 2019-05-14 | 珠海金山网络游戏科技有限公司 | 一种文件传输系统及方法、一种计算设备及存储介质 |
CN111880967A (zh) * | 2020-07-28 | 2020-11-03 | 平安科技(深圳)有限公司 | 云场景下的文件备份方法、装置、介质和电子设备 |
CN112667527A (zh) * | 2021-01-15 | 2021-04-16 | 北京云上曲率科技有限公司 | 一种确保客户端数据采集准确性的方法及客户端 |
CN113934575A (zh) * | 2021-10-21 | 2022-01-14 | 上海英方软件股份有限公司 | 一种基于分布式拷贝的大数据备份系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114422509A (zh) | 2022-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114422509B (zh) | 文件自动备份方法、装置、网盘及存储介质 | |
CN109005056B (zh) | 基于cdn应用的存储容量评估方法和装置 | |
US8726290B2 (en) | System and/or method for balancing allocation of data among reduce processes by reallocation | |
EP2288975B1 (en) | Method for optimizing cleaning of maps in flashcopy cascades containing incremental maps | |
CN111818112B (zh) | 一种基于Kafka系统的发送消息的方法和装置 | |
US20090178042A1 (en) | Managing A Workload In A Database | |
CN109726007B (zh) | 一种容器编排配额管理方法和装置、及容器编排系统 | |
CN109981702B (zh) | 一种文件存储方法及系统 | |
CN110244901B (zh) | 任务分配方法及装置、分布式存储系统 | |
CN115408100A (zh) | 容器集群调度的方法、装置、设备及存储介质 | |
US20080201474A1 (en) | Computer system | |
CN111373372A (zh) | 在分布式计算环境中对应用分配优先级以进行对角缩放 | |
CN103491024A (zh) | 一种面向流式数据的作业调度方法及装置 | |
CN113760549B (zh) | 一种pod部署方法及装置 | |
CN111062634A (zh) | 审批任务分配方法、装置、计算机设备及存储介质 | |
CN114844791A (zh) | 基于大数据的云服务自动管理分配方法、系统及存储介质 | |
CN114116173A (zh) | 动态调整任务分配的方法、装置和系统 | |
CN114217977A (zh) | 资源分配方法、装置、设备以及存储介质 | |
CN107342929B (zh) | 一种新消息通知的发送方法、装置及系统 | |
CN112650449A (zh) | 缓存空间的释放方法、释放系统、电子设备及存储介质 | |
US9110823B2 (en) | Adaptive and prioritized replication scheduling in storage clusters | |
US12028269B2 (en) | Method for optimal resource selection based on available GPU resource analysis in large-scale container platform | |
US11321205B2 (en) | Enterprise-scale time series graphite backend infrastructure | |
CN113590043B (zh) | 一种数据存储方法、装置、设备及存储介质 | |
CN114785793B (zh) | 弹性伸缩负载均衡的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |