CN116016496A - 实时文件同步方法、装置、设备和介质 - Google Patents
实时文件同步方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN116016496A CN116016496A CN202310103204.7A CN202310103204A CN116016496A CN 116016496 A CN116016496 A CN 116016496A CN 202310103204 A CN202310103204 A CN 202310103204A CN 116016496 A CN116016496 A CN 116016496A
- Authority
- CN
- China
- Prior art keywords
- file
- uploading
- queue
- downloading
- downloaded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 132
- 230000001360 synchronised effect Effects 0.000 claims abstract description 89
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims description 71
- 230000003252 repetitive effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000004140 cleaning Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013468 resource allocation Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种实时文件同步方法、装置、设备和介质。该方法包括：实时获取源服务器上的源文件目录，并将所述源文件目录中的待下载文件下载至下载队列，得到所述下载队列中的新下载文件；将所述新下载文件上传至所述上传队列，并确认所述上传队列中的新下载文件与目标服务器中的同步文件路径中存储的同步文件是否为同一文件；若是，则将所述新下载文件上传部署服务器的重复路径下；若否，则将所述新下载文件上传所述目标服务器的同步文件路径下。本申请的方法可以避免文件重复处理，避免消耗不必要的计算和网络传输资源，以及提升文件同步效率。
Description
技术领域
本申请涉及通信技术领域，尤其涉及一种实时文件同步方法、装置、设备和介质。
背景技术
随着计算机技术和互联网技术的不断发展，个人用户或者企业用户需要管理的文件数据越来越多，为了管理文件数据的步调更加协调，将文件数据同步到服务器中也是越来越多个人用户或者企业用户的选择。
现有的文件同步方法主要包括需求侧和响应侧，需求侧即用户端所对应的电子设备，响应侧则包括响应于需求侧指令，并做出对应服务的服务器端。响应侧负责接收需求侧的文件同步请求，并根据文件同步请求查找所请求的文件是否存在于对应的文件平台中，若是则提供下载渠道，若是存在多个电子设备请求同步同一个文件，则分析电子设备的下载队列，选择下载队列最少的电子设备进行文件同步。
然而，现有的文件同步方法存在以下缺点：因为无法分辨电子设备请求的文件是否已经被同步过，无法及时对已经被同步过的文件做出处理，所以存在重复处理同步文件的现象，这样的处理过程会过度占用网络传输资源。
发明内容
本申请提供一种实时文件同步方法、装置、设备和介质，用以解决现有技术中同步文件过程出现已同步文件重复处理的问题。
第一方面，本申请提供一种实时文件同步方法，包括：
实时获取源服务器上的源文件目录，并将所述源文件目录中的待下载文件下载至下载队列，得到所述下载队列中的新下载文件；
将所述新下载文件上传至所述上传队列，并确认所述上传队列中的新下载文件与目标服务器中的同步文件路径中存储的同步文件是否为同一文件；
若是，则将所述新下载文件上传部署服务器的重复路径下；
若否，则将所述新下载文件上传所述目标服务器的同步文件路径下。
在一种可能的实现方式中，所述将所述新下载文件上传部署服务器的重复路径下之后，所述方法还包括：
将所述源文件目录下的已同步文件或与所述重复路径下相同的文件移动到所述源服务器的历史路径下；其中所述已同步文件为刚完成同步的所述新下载文件。
在一种可能的实现方式中，所述将所述源文件目录中的待下载文件下载至下载队列，包括：
通过下载进程将所述源文件目录中的待下载文件下载至所述下载队列中，其中，所述下载队列对应多个下载进程；
所述将所述新下载文件上传至所述上传队列，包括：
通过上传进程将所述新下载文件上传至所述上传队列，所述上传队列对应多个上传进程。
在一种可能的实现方式中，所述方法还包括：
根据预设时间周期，清除所述源服务器的历史路径下的文件。
在一种可能的实现方式中，若所述新下载文件与所述同步文件非同一文件，所述方法还包括：
获取备份指示，所述备份指示用于指示是否对所述新下载文件进行备份；
若所述备份指示用于指示对所述新下载文件进行备份，则将所述新下载文件存储至所述部署服务器的备份路径下。
在一种可能的实现方式中，所述获取备份指示之前，所述方法还包括：
根据预先存储的用户的备份请求，获取所述部署服务器的磁盘的存储空间，所述备份请求用于指示对所述新下载文件进行备份；
根据所述存储空间的大小和所述新下载文件的大小，生成所述备份指示。
在一种可能的实现方式中，所述方法还包括：
若所述下载队列的下载速率大于所述上传队列的上传速率、且所述下载速率与所述上传速率的差值大于预设值，则增加所述上传队列的队列空间；
若所述下载队列的下载速率小于所述上传队列的上传速率、且所述上传速率与所述下载速率的差值大于预设值，则增加所述下载队列的队列空间。
第二方面，本申请提供一种防止重复处理的实时文件同步装置，包括：
获取模块，用于实时获取源服务器上的源文件目录，并将所述源文件目录中的待下载文件下载至下载队列，得到所述下载队列中的新下载文件；
处理模块，用于将所述新下载文件上传至所述上传队列，并确认所述上传队列中的新下载文件与目标服务器中的同步文件路径中存储的同步文件是否为同一文件；
若是，则将所述新下载文件上传部署服务器的重复路径下；
若否，则将所述新下载文件上传所述目标服务器的同步文件路径下。
第三方面，本申请提供一种防止重复处理的实时文件同步设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上所述的防止重复处理的实时文件同步方法。
第四方面，本申请提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上所述的防止重复处理的实时文件同步方法的步骤。
本申请提供的一种实时文件同步方法、装置、设备和介质，实时获取源服务器上的源文件目录，并将所述源文件目录中的待下载文件下载至下载队列，得到所述下载队列中的新下载文件；将所述新下载文件上传至所述上传队列，并确认所述上传队列中的新下载文件与目标服务器中的同步文件路径中存储的同步文件是否为同一文件；若是，则将所述新下载文件上传部署服务器的重复路径下；若否，则将所述新下载文件上传所述目标服务器的同步文件路径下。
上述方法中，通过实时不断获取源服务器上的源文件目录方式查询是否需要进行备份，方便实时更新同步文件，具有实时性；在获取到有待下载文件时，又开始将待下载文件添加到下载队列中，在下载队列中完成下载得到新下载文件，并依次将新下载文件上传给上传队列，再从上传队列中依次同步到目标服务器中；而在上传的过程中，如果识别出目标服务器没有与新下载文件相同的同步文件，可以将该不同的新下载文件放入目标服务器的同步文件路径下，以完成文件同步；如果识别出目标服务器已经有与新下载文件相同的同步文件，可以将该相同的新下载文件放入目标服务器的重复路径下，以便于及时清理掉重复的同步文件，防止文件重复处理到目标服务器，避免过多占用目标服务器的空间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种实时文件同步的系统示意图；
图2为本申请实施例提供的一种实时文件同步方法的流程图一；
图3为本申请实施例提供的一种实时文件同步方法的流程图二；
图4为本申请实施例提供的一种实时文件同步方法的流程图三；
图5为本申请实施例提供的一种实时文件同步方法的流程图四；
图6为本发明实施例提供的一种实时文件同步装置图；
图7为本发明实施例提供的实时文件同步设备的硬件示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
文件同步一般是将相同的文件同步到不同的服务器上，对于个人用户而言，日常生活中可能需要保留或者备份一些资料，如上课的课件、工作文件等，存储备份这些资料的方式可以是云端存储，在云端存储备份这些资料的过程是文件同步的过程。
对于企业而言，众多企业为了发展和宣传，会选择专业的第三方机构合作运营企业网站，在企业和机构之间需要进行文件同步，以同步工作进程等信息。对于个人和企业而言，企业后台的核心系统为用户提供服务，需要关联和同步用户的业务信息。
因此，好的文件同步方式，可以给个人用户和企业都带来更大的便利。现有的文件同步方式包括需求侧和响应侧，需求侧即用户端所对应的电子设备或平台，响应侧则包括响应于需求侧指令，并做出对应服务的服务器端。该服务器端包括消息监听组件，该消息监听组件可以在收到需求侧指令时，汇报给服务组件，让服务组件在文件平台查找需求侧需要同步的文件是否存在，如果存在则建立起文件同步通道，进行文件同步，在同步过程中，服务器端的控制组件会选择下载任务最少的需求侧最先进行下载，以避免建立的多个下载任务时因都不能及时完成下载，发生堵塞。
但是现有的文件同步方式依旧存在问题，例如，因为无法分辨电子设备请求的文件是否已经被同步过，无法及时对已经被同步过的文件做出处理，所以存在重复处理同步文件的现象，这样的处理过程会过度占用网络传输资源。
于是本申请提出一种可以避免重复处理的文件同步方法，避免过度占用网络传输资源，提高文件同步效率。
下面结合附图和具体的实施例说明本申请提出的实时文件同步方法的实现过程。
图1为本申请实施例提供的一种实时文件同步的系统示意图。如图1所示，该系统包括：源服务器、文件下载模块、文件上传模块、目标服务器、源文件移动和清理模块、管理模块、部署服务器；其中，部署服务器包括文件下载模块、文件上传模块、管理模块、源文件移动和清理模块；
文件同步过程包括从源服务器同步文件到目标服务器；从源服务器同步的文件来自于源文件目录，最终同步好的文件存储在目标服务器的同步文件路径中；在需要备份的情况下，同时存储在部署服务器的备份路径下；而重复的文件可以暂时存储在部署服务器的重复路径下，至于是否进行删除可以根据实际需求而定。
在源服务器和目标服务器之间的文件同步过程包括下载、上传、确认是否重复并进行对应的文件放置、重复文件删除；其中下载过程由文件下载模块实现，该文件下载模块可以实时获取源服务器的源文件目录的文件情况；上传过程由文件上传模块实现；确认是否重复并进行对应的文件放置由传递文件上传模块的传递进程实现；重复文件删除在源服务器的历史路径下进行。
由此，本申请可以实时完成文件同步，及时清理掉重复的同步文件或已经同步的文件，防止文件重复处理到目标服务器，避免过多占用目标服务器和源服务器的空间。
包括上述同步过程涉及的系统结构，对于整个系统中的每个结构：
源服务器包括源文件目录和历史路径；其中源文件目录用于放置待同步的文件；历史路径用于放置已同步的文件或重复的文件；
文件下载模块包括下载进程和下载队列；其中下载进程用于实时获取源服务器上的源文件目录，将待下载文件添至下载队列中，并在下载队列进行下载；
文件上传模块包括上传进程、上传队列和传递进程；其中上传进程用于从下载队列中拉取新下载文件，并放置到上传队列中；传递进程用于从上传队列中拉取待上传文件，并根据实际情况将新下载文件放置到同步文件路径、备份路径、重复路径和历史路径下；
目标服务器包括同步文件路径；该同步文件路径用于放置同步文件；
部署服务器包括备份路径和重复路径；其中备份路径用于放置同步文件的备份；重复路径用于放置与同步文件路径重复的同步文件，并可根据实际需求选择是否设定定时进行文件清除；
源文件移动和清理模块用于清理源服务器的历史路径下的文件；
管理模块用于协调下载和上传过程中出现的计算或者队列分配等问题。
下面结合图1、图2和具体的实施例进一步说明本申请提出的实时文件同步方法的实现过程。
图2为本申请实施例提供的一种实时文件同步方法的流程图一。如图2所示，该方法包括：
S201、实时获取源服务器上的源文件目录，并将所述源文件目录中的待下载文件下载至下载队列，得到所述下载队列中的新下载文件。
源服务器上的源文件目录下存放有待同步的文件，在将这些待同步文件同步到目标服务器的过程中，先被传输到下载队列，待下载文件从未下载状态变为已下载状态，处于已下载状态的文件为新下载文件。
待下载的文件被传输至下载队列后依次进行下载，下载好的新下载文件依次进行上传，故下载队列中包括待下载文件和新下载文件。
为了保证获取数据的实时性，可以将获取文件的过程设置成实时拉取过程，可以通过文件传输协议(FileTransferProtocol，FTP协议)实时扫描源服务器下的源文件目录是否有需要同步的文件。
S202、将所述新下载文件上传至所述上传队列，并确认所述上传队列中的新下载文件与目标服务器中的同步文件路径中存储的同步文件是否为同一文件。
下载队列中的待下载文件完成下载后，排队上传到上传队列，即将新下载文件上传至上传队列。新下载文件在上传队列中等待被上传到目标服务器中，在此之前，先确认上传队列中的新下载文件与目标服务器中的同步文件路径中存储的同步文件是否为同一文件；其中目标服务器中的同步文件路径中存储的同步文件为先前已经同步好的文件，可以不用重复进行同步。
确认是否为同一文件的方式包括：获取目标服务器中的同步文件路径中的同步文件，并对比同步文件和新下载文件的文件信息以确认是否为同一文件，文件信息包括文件的名称、大小、编码和哈希值等。
S203、若是，则将所述新下载文件上传部署服务器的重复路径下。
确认为同一文件后，说明该新下载文件可以不用再次被同步到同步文件路径中，避免浪费同步文件路径的空间。
对于该重复的新下载文件，可以在部署服务器中设置一个用于放置重复文件的重复路径，并将该重复的新下载文件上传到部署服务器的重复路径下，该重复路径下的文件也可以根据实际需求设定是否定时被清除，可以不用让重复文件一直占用重复路径的空间，进而节约资源。
S204、若否，则将所述新下载文件上传所述目标服务器的同步文件路径下。
确认为非同一文件后，说明该新下载文件是需要进行同步的新文件，可以将其上传目标服务器的同步文件路径下，该同步文件路径又同步到新的文件。
在实际的同步过程中，下载和上传都可以通过相应的进程实现：
示例的，通过下载进程将所述源文件目录中的待下载文件下载至所述下载队列中，其中，所述下载队列对应多个下载进程；
所述将所述新下载文件上传至所述上传队列，包括：
通过上传进程将所述新下载文件上传至所述上传队列，所述上传队列对应多个上传进程。
对于下载过程，可以通过下载进程将源文件目录中的待下载文件下载至下载队列中，该下载进程包括实现对应获取文件和传输文件的程序执行过程；同理，对于上传过程，可以通过上传进程将新下载文件上传至所述上传队列中，该上传进程包括实现对应获取文件和传输文件的程序执行过程。
源服务器可以有多个源文件目录，同样，对应获取源文件目录下的待下载文件的进程也可以对应有多个。
本申请实施例中，通过实时不断获取源服务器上的源文件目录方式查询是否需要进行同步，方便实时更新同步文件，具有实时性；在获取到有待下载文件时，又开始将待下载文件添加到下载队列中，在下载队列中完成下载得到新下载文件，并依次将新下载文件上传给上传队列，再从上传队列中依次同步到目标服务器中；而在上传的过程中，如果识别出目标服务器没有与新下载文件相同的同步文件，可以将该不同的新下载文件放入目标服务器的同步文件路径下，以完成文件同步；如果识别出目标服务器已经有与新下载文件相同的同步文件，可以将该相同的新下载文件放入部署服务器的重复路径下，以便于及时清理掉重复的同步文件，防止文件重复处理到目标服务器，避免过多占用目标服务器的空间。
下面结合图1、图3和具体的实施例进一步说明本申请提出的实时文件同步方法中清除源服务器中重复文件的实现过程。
图3为本申请实施例提供的一种实时文件同步方法的流程图二。如图3所示，该清除源服务器中重复文件的方法包括：
S301、将所述源文件目录下的已同步文件或与所述重复路径下相同的文件移动到所述源服务器的历史路径下；其中所述已同步文件为刚完成同步的所述新下载文件。
上述实施例中确认是否为同一文件的确认结果无论为是还是否，都可以通过传递进程确认和安排新下载文件的去处，包括通过传递进程将新下载文件传输至同步文件路径和重复路径，以便于后续将源文件目录下与重复路径下相同的文件移动到源服务器的历史路径下；
其中，将源文件目录下与重复路径下相同的文件移动到源服务器的历史路径下，由源文件移动和清理模块中的移动进程进行处理，已经存在于重复路径下的文件，说明是已经同步好的文件，那么对应的可以将源服务器的源文件目录下相同的文件、或者将源服务器的源文件目录下刚被同步过的文件转移到源服务器的历史路径下，以便于后面作定时清除，不让同步过的文件占用源服务器的存储空间。
S302、根据预设时间周期，清除所述源服务器的历史路径下的文件。
新下载文件与同步文件路径下的文件相同，则说明目标服务器中已有该文件无需重复同步，可以对应删除源服务器的历史路径下与所述同步文件为同一文件的新下载文件，或者将刚刚完成同步的文件删除，释放部分存储空间，以更加合理地利用空间资源。
源服务器的历史路径，存的都是已经同步好的文件，无需一直保留文件，可以进行定时清理；其中清除源服务器的历史路径的文件可以由源文件移动和清理模块中的清理进程进行处理；
除了源服务器的历史路径，其实部署服务器的重复路径下的文件也可以定时清理，该清理过程可根据实际需求设定；源服务器的历史路径下的文件的定时清理周期可以设置为预设时间周期，目标服务器的重复路径下的文件定时清理周期可以设置为另一个预设时间周期，该两个预设时间周期可以设置为相同或不同的时间周期(例如为每日或每周清理一次)，而待清除的文件可以到期一次性全部清除，也可以按文件传输至历史路径和重复路径下的时间早晚排序下来的文件数量定量进行清除。
本申请实施例中，通过将已经完成同步的文件或者重复文件复制到源服务器的历史路径下，避免文件同步出错导致无法顺利完成所有待同步文件的同步的问题，同时，存储在源服务器的历史路径下和存储在目标服务器的重复路径下的重复文件，都可以定时进行删除，避免过度占用空间资源。
下面结合图1、图4和具体的实施例进一步说明本申请提出的实时文件同步方法中备份同步文件的实现过程。
图4为本申请实施例提供的一种实时文件同步方法的流程图三。如图4所示，该方法包括：
S401、根据预先存储的用户的备份请求，获取所述部署服务器的磁盘的存储空间，所述备份请求用于指示对所述新下载文件进行备份。
本申请的文件同步过程可以不是用户主动发起同步请求而进行的，而是实时同步，而在确认实时同步时，还可以预留给用户一个是否进行备份的选择，部署服务器可以据预先存储该用户的备份请求，以得知用户是否需要对新下载文件进行备份；
根据预先存储的用户的备份请求，进一步确认是否有足够的空间进行备份，包括获取部署服务器的磁盘的存储空间。
S402、根据所述存储空间的大小和所述新下载文件的大小，生成所述备份指示。
在获取部署服务器的磁盘的存储空间后，结合存储空间的大小和新下载文件的大小，确认是否指示部署服务器进行备份，并生成对应的备份指示，若剩余的存储空间已不足以进行备份，还可以停止文件同步并给用户发出提示信息，提示用户备份空间不足，已停止同步。
S403、获取备份指示，所述备份指示用于指示是否对所述新下载文件进行备份。
在同步过程中，获取到备份指示后，传递进程可以获取到备份指示是否指示对新下载文件进行备份。
S404、若所述备份指示用于指示对所述新下载文件进行备份，则将所述新下载文件存储至所述部署服务器的备份路径下。
如果传递进程获取的备份指示为指示述新下载文件进行备份，则进行相应的备份，让部署服务器多留一份同步文件，多一分保障，避免发生文件丢失等问题，备份文件(新下载文件)存储在部署服务器的备份路径下。
本申请实施例中，通过参考存储空间和待存储文件(新下载文件)的大小合理分配备份资源，给文件存储带来了保障。
下面结合图1、图5和具体的实施例进一步说明本申请提出的实时文件同步方法中管理资源分配的实现过程。
图5为本申请实施例提供的一种实时文件同步方法的流程图四。如图5所示，该方法包括：
S501、若所述下载队列的下载速率大于所述上传队列的上传速率、且所述下载速率与所述上传速率的差值大于预设值，则增加所述上传队列的队列空间。
管理模块负责文件下载模块和文件上传模块的资源调配问题，当资源分配不均匀，或者队列空间不足时，可以适当调整分配关系。下载速率与上传速率的差值大于预设值时，说明下载的速率和上传的速率不够均等，可能有发生队列堵塞的问题，若同时下载队列的下载速率大于上传队列的上传速率，则说明下载队列可能发生新下载文件的积压，为此可以增加所述上传队列的队列空间，避免给文件上传模块造成计算和存储压力。
S502、若所述下载队列的下载速率小于所述上传队列的上传速率、且所述上传速率与所述下载速率的差值大于预设值，则增加所述下载队列的队列空间。
下载速率与上传速率的差值大于预设值时，说明下载的速率和上传的速率不够均等，可能有发生队列堵塞的问题，若同时下载队列的下载速率小于上传队列的上传速率，则说明上传队列可能发生新下载文件的积压，为此可以增加所述下载队列的队列空间，避免给文件下载模块造成计算和存储压力。
本实施例中，通过管理模块监管计算资源和存储资源，可以及时发现短时间内，是否有发生队列空间不足的问题以及时调整进程数和队列大小，同时该管理模块还可以支持服务器修改源文件和目标文件的存放地址和路径，使同步路径更加灵活。
图6为本发明实施例提供的一种实时文件同步装置图，如图6所示，该装置包括：获取模块601和处理模块602；
获取模块601，用于实时获取源服务器上的源文件目录，并将所述源文件目录中的待下载文件下载至下载队列，得到所述下载队列中的新下载文件。
处理模块602，用于将所述新下载文件上传至所述上传队列，并确认所述上传队列中的新下载文件与目标服务器中的同步文件路径中存储的同步文件是否为同一文件；
若是，则将所述新下载文件上传部署服务器的重复路径下；
若否，则将所述新下载文件上传所述目标服务器的同步文件路径下。
处理模块602，还用于将所述源文件目录下的已同步文件或与所述重复路径下相同的文件移动到所述源服务器的历史路径下；其中所述已同步文件为刚完成同步的所述新下载文件。
处理模块602，还用于通过下载进程将所述源文件目录中的待下载文件下载至所述下载队列中，其中，所述下载队列对应多个下载进程；
所述将所述新下载文件上传至所述上传队列，包括：
通过上传进程将所述新下载文件上传至所述上传队列，所述上传队列对应多个上传进程。
处理模块602，还用于根据预设时间周期，清除所述源服务器的历史路径下的文件。
处理模块602，还用于获取备份指示，所述备份指示用于指示是否对所述新下载文件进行备份；
若所述备份指示用于指示对所述新下载文件进行备份，则将所述新下载文件存储至所述部署服务器的备份路径下。
处理模块602，还用于根据预先存储的用户的备份请求，获取所述部署服务器的磁盘的存储空间，所述备份请求用于指示对所述新下载文件进行备份；
根据所述存储空间的大小和所述新下载文件的大小，生成所述备份指示。
处理模块602，还用于若所述下载队列的下载速率大于所述上传队列的上传速率、且所述下载速率与所述上传速率的差值大于预设值，则增加所述上传队列的队列空间；
若所述下载队列的下载速率小于所述上传队列的上传速率、且所述上传速率与所述下载速率的差值大于预设值，则增加所述下载队列的队列空间。
本申请还提供一种实时文件同步设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行实时文件同步方法。
图7为本发明实施例提供的实时文件同步设备的硬件示意图。如图7所示，本实施例提供的实时文件同步设备70包括：至少一个处理器701和存储器702。该设备70还包括通信部件703。其中，处理器701、存储器702以及通信部件703通过总线704连接。
在具体实现过程中，至少一个处理器701执行所述存储器702存储的计算机执行指令，使得至少一个处理器701执行如上所述的实时文件同步方法。
处理器701的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图7所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-volatile Memory，NVM)，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的实时文件同步方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段，并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种实时文件同步方法，其特征在于，包括：
实时获取源服务器上的源文件目录，并将所述源文件目录中的待下载文件下载至下载队列，得到所述下载队列中的新下载文件；
将所述新下载文件上传至所述上传队列，并确认所述上传队列中的新下载文件与目标服务器中的同步文件路径中存储的同步文件是否为同一文件；
若是，则将所述新下载文件上传部署服务器的重复路径下；
若否，则将所述新下载文件上传所述目标服务器的同步文件路径下。
2.根据权利要求1所述的方法，其特征在于，所述将所述新下载文件上传部署服务器的重复路径下之后，所述方法还包括：
将所述源文件目录下的已同步文件或与所述重复路径下相同的文件移动到所述源服务器的历史路径下；其中所述已同步文件为刚完成同步的所述新下载文件。
3.根据权利要求1所述的方法，其特征在于，所述将所述源文件目录中的待下载文件下载至下载队列，包括：
通过下载进程将所述源文件目录中的待下载文件下载至所述下载队列中，其中，所述下载队列对应多个下载进程；
所述将所述新下载文件上传至所述上传队列，包括：
通过上传进程将所述新下载文件上传至所述上传队列，所述上传队列对应多个上传进程。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据预设时间周期，清除所述源服务器的历史路径下的文件。
5.根据权利要求1所述的方法，其特征在于，若所述新下载文件与所述同步文件非同一文件，所述方法还包括：
获取备份指示，所述备份指示用于指示是否对所述新下载文件进行备份；
若所述备份指示用于指示对所述新下载文件进行备份，则将所述新下载文件存储至所述部署服务器的备份路径下。
6.根据权利要求4所述的方法，其特征在于，所述获取备份指示之前，所述方法还包括：
根据预先存储的用户的备份请求，获取所述部署服务器的磁盘的存储空间，所述备份请求用于指示对所述新下载文件进行备份；
根据所述存储空间的大小和所述新下载文件的大小，生成所述备份指示。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述下载队列的下载速率大于所述上传队列的上传速率、且所述下载速率与所述上传速率的差值大于预设值，则增加所述上传队列的队列空间；
若所述下载队列的下载速率小于所述上传队列的上传速率、且所述上传速率与所述下载速率的差值大于预设值，则增加所述下载队列的队列空间。
8.一种防止重复处理的实时文件同步装置，其特征在于，包括：
获取模块，用于实时获取源服务器上的源文件目录，并将所述源文件目录中的待下载文件下载至下载队列，得到所述下载队列中的新下载文件；
处理模块，用于将所述新下载文件上传至所述上传队列，并确认所述上传队列中的新下载文件与目标服务器中的同步文件路径中存储的同步文件是否为同一文件；
若是，则将所述新下载文件上传部署服务器的重复路径下；
若否，则将所述新下载文件上传所述目标服务器的同步文件路径下。
9.一种防止重复处理的实时文件同步设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-7任一项所述的防止重复处理的实时文件同步方法。
10.一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任意一项所述的防止重复处理的实时文件同步方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310103204.7A CN116016496B (zh) | 2023-01-30 | 2023-01-30 | 实时文件同步方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310103204.7A CN116016496B (zh) | 2023-01-30 | 2023-01-30 | 实时文件同步方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116016496A true CN116016496A (zh) | 2023-04-25 |
| CN116016496B CN116016496B (zh) | 2024-07-30 |
Family
ID=86037390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310103204.7A Active CN116016496B (zh) | 2023-01-30 | 2023-01-30 | 实时文件同步方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116016496B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201369044Y (zh) * | 2008-12-02 | 2009-12-23 | 十速科技股份有限公司 | Usb接口传输装置以及usb接口传输系统 |
| US20140082079A1 (en) * | 2012-09-14 | 2014-03-20 | UmiCam Incorporated | System and method for the collaborative recording, uploading and sharing of multimedia content over a computer network |
| CN103916423A (zh) * | 2012-12-31 | 2014-07-09 | 华为技术有限公司 | 数据同步方法及设备 |
| CN104243132A (zh) * | 2014-10-08 | 2014-12-24 | 深圳市大疆创新科技有限公司 | 一种数据同步方法及相关设备 |
| CN104883404A (zh) * | 2015-06-04 | 2015-09-02 | 上海斐讯数据通信技术有限公司 | 基于网络的文件云同步方法 |
| CN104917819A (zh) * | 2015-04-29 | 2015-09-16 | 努比亚技术有限公司 | 一种实现数据同步的方法及系统 |
| CN105262842A (zh) * | 2015-11-09 | 2016-01-20 | 赞奇科技发展有限公司 | 基于渲染特性的云渲染文件高速传输方法 |
| CN113726690A (zh) * | 2021-07-31 | 2021-11-30 | 苏州浪潮智能科技有限公司 | 一种协议报文的上传方法、系统、电子设备及存储介质 |
| CN114153660A (zh) * | 2021-11-29 | 2022-03-08 | 平安壹账通云科技(深圳)有限公司 | 一种数据库备份方法、装置、服务器及介质 |
| CN114372032A (zh) * | 2022-01-11 | 2022-04-19 | 平安科技（深圳）有限公司 | 资源文件同步方法、装置、设备、存储介质 |
| WO2023202721A1 (zh) * | 2022-04-21 | 2023-10-26 | 广州视臻信息科技有限公司 | 文件传输方法、装置、电子设备和存储介质 |
-
2023
- 2023-01-30 CN CN202310103204.7A patent/CN116016496B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201369044Y (zh) * | 2008-12-02 | 2009-12-23 | 十速科技股份有限公司 | Usb接口传输装置以及usb接口传输系统 |
| US20140082079A1 (en) * | 2012-09-14 | 2014-03-20 | UmiCam Incorporated | System and method for the collaborative recording, uploading and sharing of multimedia content over a computer network |
| CN103916423A (zh) * | 2012-12-31 | 2014-07-09 | 华为技术有限公司 | 数据同步方法及设备 |
| CN104243132A (zh) * | 2014-10-08 | 2014-12-24 | 深圳市大疆创新科技有限公司 | 一种数据同步方法及相关设备 |
| CN104917819A (zh) * | 2015-04-29 | 2015-09-16 | 努比亚技术有限公司 | 一种实现数据同步的方法及系统 |
| CN104883404A (zh) * | 2015-06-04 | 2015-09-02 | 上海斐讯数据通信技术有限公司 | 基于网络的文件云同步方法 |
| US20180159928A1 (en) * | 2015-06-04 | 2018-06-07 | Phicomm (Shanghai) Co., Ltd. | Network-Based File Cloud Synchronization Method |
| CN105262842A (zh) * | 2015-11-09 | 2016-01-20 | 赞奇科技发展有限公司 | 基于渲染特性的云渲染文件高速传输方法 |
| CN113726690A (zh) * | 2021-07-31 | 2021-11-30 | 苏州浪潮智能科技有限公司 | 一种协议报文的上传方法、系统、电子设备及存储介质 |
| CN114153660A (zh) * | 2021-11-29 | 2022-03-08 | 平安壹账通云科技(深圳)有限公司 | 一种数据库备份方法、装置、服务器及介质 |
| CN114372032A (zh) * | 2022-01-11 | 2022-04-19 | 平安科技（深圳）有限公司 | 资源文件同步方法、装置、设备、存储介质 |
| WO2023202721A1 (zh) * | 2022-04-21 | 2023-10-26 | 广州视臻信息科技有限公司 | 文件传输方法、装置、电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 赵昊汉;胡晓勤;邓洪敏;马晓旭;: "基于Internet的高效文件备份方法", 计算机工程, no. 02, 20 January 2010 (2010-01-20) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116016496B (zh) | 2024-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6669682B2 (ja) | クラウドサーバスケジューリング方法及び装置 | |
| EP3304310B1 (en) | System and method for automatic cloud-based full-data backup and restore on mobile devices | |
| US11520669B2 (en) | System and method for efficient backup system aware direct data migration between cloud storages | |
| US6748403B1 (en) | Method and apparatus for preserving changes to data | |
| US7240104B2 (en) | Method and apparatus for managing resources stored on a communication device | |
| CN106161523B (zh) | 一种数据处理方法和设备 | |
| CN108023953B (zh) | Ftp服务的高可用实现方法和装置 | |
| EP0910019A2 (en) | Remote backup system | |
| CN110324406B (zh) | 一种获取业务数据的方法和云服务系统 | |
| KR102133840B1 (ko) | 라이브 서비스를 위한 분산 파일 시스템 및 데이터 처리 방법 | |
| CN116055481B (zh) | 一种共享文件的方法、系统、装置及存储介质 | |
| CN110602165A (zh) | 政务数据同步方法、装置、系统、计算机设备和存储介质 | |
| CN110958293B (zh) | 基于云服务器的文件传输方法、系统、服务器及存储介质 | |
| CN116560904A (zh) | Nas数据备份容灾方法、系统、终端及存储介质 | |
| US20120166592A1 (en) | Content Delivery and Caching System | |
| CN116016496B (zh) | 实时文件同步方法、装置、设备和介质 | |
| CN110008187B (zh) | 文件传输调度方法、装置、设备及计算机可读存储介质 | |
| CN111404978B (zh) | 一种数据存储方法及云存储系统 | |
| CN111147226B (zh) | 数据存储方法、装置及存储介质 | |
| Da Silva et al. | Performance of a parallel network backup manager | |
| CN112769954B (zh) | 一种web程序自动存储和自动路由的方法和系统 | |
| US9860347B2 (en) | Data transfer method and apparatus | |
| EP2650795A1 (en) | Content delivery and caching system | |
| CN108733822A (zh) | 一种文件存储方法、装置、电子设备及存储介质 | |
| CN114258532A (zh) | 用于合并备份策略的设备和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |