CN117009310A - 文件同步方法、装置、分布式全局内容库系统及电子设备 - Google Patents

文件同步方法、装置、分布式全局内容库系统及电子设备 Download PDF

Info

Publication number
CN117009310A
CN117009310A CN202311259575.0A CN202311259575A CN117009310A CN 117009310 A CN117009310 A CN 117009310A CN 202311259575 A CN202311259575 A CN 202311259575A CN 117009310 A CN117009310 A CN 117009310A
Authority
CN
China
Prior art keywords
target
file
node
disk
content library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311259575.0A
Other languages
English (en)
Other versions
CN117009310B (zh
Inventor
刘元松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Metabrain Intelligent Technology Co Ltd
Original Assignee
Suzhou Metabrain Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Metabrain Intelligent Technology Co Ltd filed Critical Suzhou Metabrain Intelligent Technology Co Ltd
Priority to CN202311259575.0A priority Critical patent/CN117009310B/zh
Publication of CN117009310A publication Critical patent/CN117009310A/zh
Application granted granted Critical
Publication of CN117009310B publication Critical patent/CN117009310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/178Techniques for file synchronisation in file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供一种文件同步方法、装置、分布式全局内容库系统及电子设备,涉及计算机技术领域,该方法包括:接收目标对象发送的针对目标文件的文件同步请求;目标对象包括以下任一项:接入分布式全局内容库系统的用户设备,接入分布式全局内容库系统的云平台;响应于文件同步请求,基于目标参考信息确定N个节点中与目标对象之间传输效率最高的目标节点,并通过最优传输路径在目标节点的目标磁盘与目标对象之间同步目标文件。本申请提供的文件同步方法、装置、分布式全局内容库系统及电子设备,用于通过分布式的全局内容库系统,来提高文件的传输效率和文件系统的功能稳定性。

Description

文件同步方法、装置、分布式全局内容库系统及电子设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种文件同步方法、装置、分布式全局内容库系统及电子设备。
背景技术
随着企业用户对内部数据安全的重视程度不断提高,越来越多的企业创建了专门用于存放企业重要文件的文件系统,例如,网络文件系统(network file system,NFS)以及通用网络文件系统(common internet file system)等文件系统。
在相关技术中,企业内部人员可以通过上述文件系统实现重要文件的集中管理。然而,这样的文件系统将所有重要文件都存储在一台服务器上,受服务器网络带宽的影响,当访问量较大时,会影响所有用户的文件传输效率,且当该服务器出现网络故障时,会导致所有用户均无法访问。
基于此,急需一种文件系统,以提高文件的传输效率和系统功能稳定性。
发明内容
本申请的目的是提供一种文件同步方法、装置、分布式全局内容库系统及电子设备,用于通过分布式的全局内容库系统,来提高文件的传输效率和文件系统的功能稳定性。
第一方面,本申请提供一种文件同步方法,包括:
接收目标对象发送的针对目标文件的文件同步请求;所述目标对象包括以下任一项:接入所述分布式全局内容库系统的用户设备,接入所述分布式全局内容库系统的云平台;响应于所述文件同步请求,基于目标参考信息确定所述N个节点中与所述目标对象之间传输效率最高的目标节点,并通过最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件;其中,所述分布式全局内容库系统中存储的内容包括:用于与所述用户设备之间同步的第一类型文件,用于与所述云平台之间同步的第二类型文件;所述目标参考信息包括以下至少一项 :与各节点之间的网络传输速度,各节点的磁盘设备类型;所述最优传输路径为所述目标对象与所述目标节点之间的传输路径。
可选地,所述接收目标对象发送的文件同步请求之前,所述方法还包括:显示所述分布式全局内容库系统的管理页面;所述管理页面包括:所述分布式全局内容库系统所包含的M个节点,以及所述M个节点上挂载的M个磁盘设备;M为大于或者等于N的正整数;一个节点挂载一个磁盘设备;基于用户从所述M个磁盘设备中选择的多个磁盘设备的第一设备信息,创建分布式全局内容库;其中,所述第一设备信息包括以下至少一项:磁盘容量信息,磁盘设备类型;所述分布式全局内容库的容量与所述M个磁盘设备中任一磁盘设备的容量相同。
可选地,所述基于用户从所述M个磁盘设备中选择的多个磁盘设备的第一设备信息,创建分布式全局内容库,包括:基于所述多个磁盘设备的第一设备信息,将所述多个磁盘设备映射到指定本地目录;一个磁盘设备映射一个本地目录;对所述多个磁盘设备执行格式化操作,并在所述多个磁盘设备中的每个磁盘设备上创建文件系统。
可选地,所述对所述多个磁盘设备执行格式化操作,并在所述多个磁盘设备中的每个磁盘设备上创建文件系统,包括:获取所述每个磁盘设备所属节点的节点信息,并基于所述每个磁盘设备所属节点的节点信息,确定所述每个磁盘设备所属节点的服务器系统信息;基于所述每个磁盘设备所属节点的服务器系统信息确定与所述每个磁盘设备所属节点的服务器系统相匹配的文件系统;基于所述每个磁盘设备所属节点的服务器系统相匹配的文件系统,将所述每个磁盘设备格式化为对应的文件系统。
可选地,所述响应于所述文件同步请求,基于目标参考信息确定与所述目标对象之间传输效率最高的目标节点,并将所述目标节点与所述目标对象之间的传输路径确定为最优传输路径,包括:获取所述目标参考信息,并基于所述目标参考信息计算所述目标对象与所述N个节点中各节点之间的传输路径优先级,得到多个传输路径的优先级数值;将所述多个传输路径中优先级数值最小的传输路径确定为所述最优传输路径,并将所述最优传输路径所对应的节点确定为所述目标节点。
可选地,所述基于所述目标参考信息计算所述目标对象与所述N个节点中各节点之间的传输路径优先级,得到多个传输路径的优先级数值,包括:基于以下公式一循环迭代计算出所述目标对象与所述N个节点中任一节点之间的传输路径优先级:
(公式一)
其中,S为传输路径优先级数值,为所述目标对象与节点之间的网络传输速度,为节点的磁盘设备类型,/>为上一次迭代计算出的最优传输路径的优先级数值的加权值,/>;/>为第i次迭代网络请求的网络传输速度,L为节点性能影响因子,节点性能与节点性能影响因子负相关,n为迭代次数。
可选地,所述文件同步请求包括:文件上传请求和文件获取请求;所接收目标对象发送的文件同步请求,包括:接收所述目标对象发送的针对所述目标文件的所述文件上传请求;或者,接收所述目标对象发送的针对所述目标文件的所述文件获取请求。
可选地,所述通过所述最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件,包括:响应于所述文件上传请求,通过所述最优传输路径将所述目标文件传输至所述目标节点所挂载的目标磁盘设备中,并向所述目标对象反馈上传成功信息;将所述目标磁盘设备中的所述目标文件同步至所述N个节点中除所述目标节点之外的其他节点所挂载的磁盘设备中。
可选地,所述通过所述最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件,包括:响应于所述文件获取请求,通过所述最优传输路径将所述目标文件从所述目标节点所挂载的目标磁盘设备传输至所述目标对象的存储空间中,并向所述目标对象反馈下载成功信息。
可选地,所述通过所述最优传输路径将所述目标文件传输至所述目标节点所挂载的目标磁盘设备中,包括:计算所述目标文件的第一特征码,并将所述第一特征码与所述分布式全局内容库系统中存储的各个文件所对应的特征码进行匹配,生成匹配结果;在所述匹配结果指示所述分布式全局内容库系统中不存在与所述第一特征码相匹配的特征码的情况下,通过所述最优传输路径将所述目标文件传输至所述目标节点所挂载的目标磁盘设备中,并向所述目标对象反馈上传成功信息。
可选地,所述将所述第一特征码与所述分布式全局内容库系统中存储的各个文件所对应的特征码进行匹配,生成匹配结果之后,所述方法还包括:在所述匹配结果指示所述分布式全局内容库系统中存在与所述第一特征码相匹配的第二特征码的情况下,向所述目标对象反馈所述上传成功信息。
可选地,所述通过所述最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件,包括:在传输所述目标文件的过程中,实时显示所述目标文件的传输进度信息;其中,所述传输进度信息包括以下至少一项:文件总大小,已传输大小,传输速率。
可选地,所述通过所述最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件之后,所述方法还包括:在接收到针对所述目标文件的文件删除请求的情况下,将所述目标文件从所述N个节点中每个节点所挂载的磁盘设备中删除,并向所述目标对象反馈删除成功信息。
可选地,所述通过所述最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件之后,所述方法还包括:获取需要从所述分布式全局内容库系统中删除的待删除磁盘设备;在所述待删除磁盘设备不为所述分布式全局内容库系统所包含的唯一磁盘设备的情况下,将所述待删除磁盘从所述分布式全局内容库系统中删除。
可选地,所述获取需要从所述分布式全局内容库系统中删除的待删除磁盘设备之后,所述方法还包括:在所述待删除磁盘设备为所述分布式全局内容库系统所包含的唯一磁盘设备的情况下,终止针对所述待删除磁盘设备的删除操作。
可选地,所述通过所述最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件之后,所述方法还包括:在接收到针对任一待添加磁盘设备的添加指令的情况下,对所述待添加磁盘设备执行格式化操作,并在所述待添加磁盘设备上创建文件系统;将所述待添加磁盘设备添加至所述分布式全局内容库系统,并将待同步节点所挂载的磁盘设备中的文件同步至所述待添加磁盘设备中;其中,所述待同步节点为所述N个节点中带宽利用率最低的一个或者N个节点。
第二方面,本申请还提供一种文件同步装置,包括:
指令接收模块,用于接收目标对象发送的针对目标文件的文件同步请求;所述目标对象包括以下任一项:接入所述分布式全局内容库系统的用户设备,接入所述分布式全局内容库系统的云平台;路径计算模块,用于响应于所述文件同步请求,基于目标参考信息确定所述N个节点中与所述目标对象之间传输效率最高的目标节点;数据传输模块,用于通过最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件;其中,所述分布式全局内容库系统中存储的内容包括:用于与所述用户设备之间同步的第一类型文件,用于与所述云平台之间同步的第二类型文件;所述目标参考信息包括以下至少一项:与各节点之间的网络传输速度,各节点的磁盘设备类型;所述最优传输路径为所述目标对象与所述目标节点之间的传输路径。
可选地,所述装置还包括:显示模块和创建模块;所述显示模块,用于显示所述分布式全局内容库系统的管理页面;所述管理页面包括:所述分布式全局内容库系统所包含的M个节点,以及所述M个节点上挂载的M个磁盘设备;M为大于或者等于N的正整数;一个节点挂载一个磁盘设备;所述创建模块,用于基于用户从所述M个磁盘设备中选择的多个磁盘设备的第一设备信息,创建分布式全局内容库;其中,所述第一设备信息包括以下至少一项:磁盘容量信息,磁盘设备类型;所述分布式全局内容库的容量与所述M个磁盘设备中任一磁盘设备的容量相同。
可选地,所述创建模块,具体用于基于所述多个磁盘设备的第一设备信息,将所述多个磁盘设备映射到指定本地目录;一个磁盘设备映射一个本地目录;所述创建模块,具体还用于对所述多个磁盘设备执行格式化操作,并在所述多个磁盘设备中的每个磁盘设备上创建文件系统。
可选地,所述装置还包括:获取模块和确定模块;所述获取模块,用于获取所述每个磁盘设备所属节点的节点信息;所述确定模块,用于基于所述每个磁盘设备所属节点的节点信息,确定所述每个磁盘设备所属节点的服务器系统信息;所述确定模块,还用于基于所述每个磁盘设备所属节点的服务器系统信息确定与所述每个磁盘设备所属节点的服务器系统相匹配的文件系统;所述创建模块,具体用于基于所述每个磁盘设备所属节点的服务器系统相匹配的文件系统,将所述每个磁盘设备格式化为对应的文件系统。
可选地,所述获取模块,还用于获取所述目标参考信息;所述路径计算模块,具体用于基于所述目标参考信息计算所述目标对象与所述N个节点中各节点之间的传输路径优先级,得到多个传输路径的优先级数值;所述确定模块,还用于将所述多个传输路径中优先级数值最小的传输路径确定为所述最优传输路径,并将所述最优传输路径所对应的节点确定为所述目标节点。
可选地,所述路径计算模块,具体用于基于以下公式一循环迭代计算出所述目标对象与所述N个节点中任一节点之间的传输路径优先级:
(公式一)
其中,S为传输路径优先级数值,为所述目标对象与节点之间的网络传输速度,为节点的磁盘设备类型,/>为上一次迭代计算出的最优传输路径的优先级数值的加权值,/>;/>为第i次迭代网络请求的网络传输速度,L为节点性能影响因子,节点性能与节点性能影响因子负相关,n为迭代次数。
可选地,所述指令接收模块,具体用于接收所述目标对象发送的针对所述目标文件的所述文件上传请求;所述指令接收模块,具体还用于接收所述目标对象发送的针对所述目标文件的所述文件获取请求。
可选地,所述数据传输模块,具体用于响应于所述文件上传请求,通过所述最优传输路径将所述目标文件传输至所述目标节点所挂载的目标磁盘设备中,并向所述目标对象反馈上传成功信息;所述数据传输模块,具体还用于将所述目标磁盘设备中的所述目标文件同步至所述N个节点中除所述目标节点之外的其他节点所挂载的磁盘设备中。
可选地,所述数据传输模块,具体用于响应于所述文件获取请求,通过所述最优传输路径将所述目标文件从所述目标节点所挂载的目标磁盘设备传输至所述目标对象的存储空间中,并向所述目标对象反馈下载成功信息。
可选地,所述装置还包括:特征匹配模块;所述特征匹配模块,用于计算所述目标文件的第一特征码,并将所述第一特征码与所述分布式全局内容库系统中存储的各个文件所对应的特征码进行匹配,生成匹配结果;所述数据传输模块,具体用于在所述匹配结果指示所述分布式全局内容库系统中不存在与所述第一特征码相匹配的特征码的情况下,通过所述最优传输路径将所述目标文件传输至所述目标节点所挂载的目标磁盘设备中,并向所述目标对象反馈上传成功信息。
可选地,所述数据传输模块,具体用于在所述匹配结果指示所述分布式全局内容库系统中存在与所述第一特征码相匹配的第二特征码的情况下,向所述目标对象反馈所述上传成功信息。
可选地,所述显示模块,还用于在传输所述目标文件的过程中,实时显示所述目标文件的传输进度信息;其中,所述传输进度信息包括以下至少一项:文件总大小,已传输大小,传输速率。
可选地,所述装置还包括:处理模块;所述处理模块,用于在接收到针对所述目标文件的文件删除请求的情况下,将所述目标文件从所述N个节点中每个节点所挂载的磁盘设备中删除,并向所述目标对象反馈删除成功信息。
可选地,所述获取模块,还用于获取需要从所述分布式全局内容库系统中删除的待删除磁盘设备;所述处理模块,还用于在所述待删除磁盘设备不为所述分布式全局内容库系统所包含的唯一磁盘设备的情况下,将所述待删除磁盘从所述分布式全局内容库系统中删除。
可选地,所述处理模块,还用于在所述待删除磁盘设备为所述分布式全局内容库系统所包含的唯一磁盘设备的情况下,终止针对所述待删除磁盘设备的删除操作。
可选地,所述创建模块,还用于在接收到针对任一待添加磁盘设备的添加指令的情况下,对所述待添加磁盘设备执行格式化操作,并在所述待添加磁盘设备上创建文件系统;所述数据传输模块,还用于将所述待添加磁盘设备添加至所述分布式全局内容库系统,并将待同步节点所挂载的磁盘设备中的文件同步至所述待添加磁盘设备中;其中,所述待同步节点为所述N个节点中带宽利用率最低的一个或者N个节点。
第三方面,本申请还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述文件同步方法的步骤。
第四方面,本申请还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述文件同步方法的步骤。
第五方面,本申请还提供一种分布式全局内容库系统,该系统包括:N个节点、且每个节点上均挂载有容量相同的磁盘设备, N个节点上挂载的磁盘设备之间存储有相同的数据备份,N为大于等于2的正整数,以及控制单元;该控制单元用于执行如上述第一方面中任一项所述文件同步方法的步骤。
本申请提供的文件同步方法、装置、分布式全局内容库系统及电子设备,在接收到目标对象发送的针对目标文件的文件同步请求的情况下,响应于该文件同步请求,基于目标参考信息确定与目标对象之间传输效率最高的目标节点,以及将目标节点与目标对象之间的传输路径确定为最优传输路径,并通过最优传输路径在目标节点的目标磁盘与目标对象之间同步目标文件。如此,使得用户设备在传输文件时,能够选择传输效率最高的节点进行文件的传输,极大地提高了文件传输效率,且多节点的设计方式能够避免单个服务器出现故障时,所有用户均无法正常访问的情况发生,极大地提高了系统功能的稳定性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的分布式全局内容库系统的结构示意图;
图2是本申请提供的文件同步方法的流程示意图;
图3是本申请提供的分布式全局内容库系统文件共享示意图之一;
图4是本申请提供的分布式全局内容库系统文件共享示意图之二;
图5是本申请提供的文件同步装置的结构示意图;
图6是本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
以下针对本申请实施例所涉及的专业术语进行说明解释:
异构服务器集群:是指由不同类型或不同架构的服务器组成的集群。这些服务器可以具有不同的处理器类型、操作系统、存储设备或其他硬件配置。通过将不同类型的服务器组合在一起,异构服务器集群可以提供更高的性能、更高的灵活性和更高的可靠性。例如,可以将高性能计算服务器与高存储容量服务器组合在一起,以满足不同类型的计算和存储需求。异构服务器集群可以用于各种应用场景,包括大规模数据处理、机器学习、虚拟化和云计算等。
云平台镜像库:云平台镜像库的作用主要是存储和管理各种虚拟机镜像。镜像是一个预先配置好的虚拟机模板,包括操作系统、应用程序和配置设置等,它可以用来快速创建新的虚拟机实例。通过使用云平台镜像库,用户可以方便地上传、存储、备份和共享镜像,提高虚拟机的创建和部署效率。此外,镜像库还提供了版本管理和权限控制等功能,方便用户管理和控制镜像的使用。
分布式系统:是由多台计算机(或节点)通过网络互相连接并协作工作的系统。这些计算机可以是物理上分散的,分布在不同的地理位置,也可以是虚拟上分散的,位于同一机房内。分布式系统的设计目标是提高系统的可扩展性、可靠性和性能。
分布式系统具有以下特点:1、分布性:系统中的数据分布在N个节点上,可以灵活地添加或删除节点来适应需求变化。2、并行性:不同的任务可以在不同的节点上并行执行,提高系统的处理能力和吞吐量。3、失败容忍性:即使其中一个节点出现故障,系统仍然可以继续运行,不会导致整个系统的崩溃。4、数据一致性:各个节点上存储的数据保持一致,确保各个节点上存储数据的一致性。5、透明性:对用户来说,分布式系统应该表现为一个统一的整体,屏蔽了底层节点的细节。
文件系统:文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构;即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统,简称文件系统。文件系统由三部分组成:文件系统的接口,对对象操纵和管理的软件集合,对象及属性。从系统角度来看,文件系统是对文件存储设备的空间进行组织和分配,负责文件存储并对存入的文件进行保护和检索的系统。具体地说,它负责为用户建立文件,存入、读出、修改、转储文件,控制文件的存取,当用户不再使用时撤销文件等。
在相关技术中,企业文件的统一管理可以带来许多益处,例如:
1、提高工作效率:通过统一管理文件,员工可以更快地找到需要的信息,避免了浪费时间在不同系统或存储设备中搜索文件的情况。2、提升团队协作:统一管理文件意味着所有团队成员都可以轻松分享和访问所需的文件,从而加强团队之间的合作和沟通。3、提高信息安全性:通过统一管理文件,企业可以实施更强大的安全策略和访问控制,确保敏感信息不会被未授权的人员访问。4、降低风险:统一管理文件可以帮助企业遵守法规和合规要求,并降低因信息丢失或泄露而带来的法律和财务风险。5、便于备份和恢复:统一管理文件使得备份和恢复变得更加简便,企业可以定期备份数据,以防止文件丢失或损坏。
总的来说,企业文件的统一管理可以提高工作效率、促进团队协作、提升信息安全性,并在降低风险的同时,便于文件数据的备份和恢复。
随着云计算的发展,使用云平台来开展各种各样的企业业务,已经成为越来越多企业的选择。针对云平台所使用的镜像文件也需要进行统一管理,因此,针对企业用户的文件系统不仅能够实现企业内部用户之间的文件共享,还必须具有与各个云平台之间镜像文件的共享功能。
并且,随着越来越多的企业开始进行服务器的国产化替代,文件系统还需要能够兼容异构服务器集群,使得文件系统能够在各种不同的服务器架构上正常运行。
针对相关技术中存在的上述需求,本申请实施例提供了一种分布式全局内容库系统,如图1所示,该分布式全局内容库系统包括:N个节点,且每个节点上均挂载有容量相同的磁盘设备,N个节点上挂载的磁盘设备之间存储有相同的数据备份,N为大于等于2的正整数。即在完成数据同步的情况下,各个节点上挂载的磁盘设备之间存储的数据内容完全相同。
需要说明的是,与传统的分布式系统将一个文件拆分成多个部分,并分别存储到不同的节点中不同,本申请实施例中的分布式全局内容库系统,每个节点中存储的均为完整的文件备份。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的文件同步方法进行详细地说明。
如图2所示,本申请实施例提供的一种文件同步方法,该方法可以包括下述步骤201和步骤202:
步骤201、接收目标对象发送的针对目标文件的文件同步请求。
其中,所述目标对象包括以下任一项:接入所述分布式全局内容库系统的用户设备,接入所述分布式全局内容库系统的云平台。所述分布式全局内容库系统中存储的内容包括:用于与所述用户设备之间同步的第一类型文件,用于与所述云平台之间同步的第二类型文件。
需要说明的是,本申请实施例中的分布式全局内容库系统可以运行在任一台服务器上,即该分布式全局内容库系统可以运行在任一节点服务器上,也可以运行在任一非节点服务器上。
示例性地,上述文件同步请求可以包括:文件上传请求和文件获取请求,即用户可以将文件上传到分布式全局内容库系统中,以便与其他用户进行分享;用户也可以从该分布式全局内容库系统中下载其他用户分享的文件。
示例性地,当上述目标对象为用户设备时,可以访问第一类型的文件;当上述目标对象为用户设备时,可以访问第二类型的文件。上述第一类型的文件与第二类型的文件可以单独存储,即第一类型的文件与第二类型的文件可以存储在不同的目录中。
需要说明的是,上述用户设备可以为企业内部用户使用的设备,即该用户设备可以通过内网接入到该分布式全局内容库系统,也可以通过虚拟专用网络(Virtual PrivateNetwork,VPN)接入到该分布式全局内容库系统,以提高分布式全局内容库系统的安全性。上述云平台可以通过外网接入到分布式全局内容库系统中,为了提高分布式全局内容库系统的安全性,云平台能够访问的文件可以与用户设备访问的文件进行隔离,即云平台无法访问用户设备能够访问的文件。
示例性地,上述第一类型的文件可以包括所有类型的文件,如:图像文件(文件格式为:jpg、png、bmp等)、文档文件(文件格式为:xls、ppt、doc等)等类型的文件;上述第二类型的文件可以包括云平台所需的文件,如:镜像文件(文件格式为:iso、ova等)以及云平台运行所需的其他文件等。
示例性地,上述分布式全局内容库系统可以提供有用户页面,用户可以在该用户页面上查看分布式全局内容库系统上其他用户分享的文件的相关信息,如:文件大小、文件名称、文件类型、分享的用户信息等。
在一种可能的实现方式中,上述用户页面可以通过浏览器/服务器架构(Browser/Server,B/S)的方式向用户展示。即用户可以在用户设备上通过运行由该分布式全局内容库系统的服务器的网络地址来访问该用户页面。当上述目标对象为云平台时,可以通过分布式全局内容库系统提供的应用程序接口(Application Program Interface,API)来查询分布式全局内容库系统中存储的文件列表。
步骤202、响应于所述文件同步请求,基于目标参考信息确定所述N个节点中与所述目标对象之间传输效率最高的目标节点,并通过所述最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件。
其中,所述目标参考信息包括以下至少一项:与各节点之间的网络传输速度,各节点的磁盘设备类型。所述最优传输路径为所述目标对象与所述目标节点之间的传输路径。
示例性地,在接收到目标对象针对目标文件的文件同步请求之后,分布式全局内容库系统需要确定与目标对象之间传输效率最高的目标节点。即从N个节点中筛选出与目标对象之间传输目标文件效率最高(例如,传输时间耗时最短、传输速度最快等)的目标节点,并将该目标节点与目标对象之间的传输路径确定为最优传输路径。
示例性地,上述磁盘设备类型可以包括以下任一项:固态硬盘(Solid StateDrive,SSD),硬盘(Hard Disk Drive,HDD)等。不同类型的磁盘设备其读写速度不同,因此,在一定程度上也会影响节点与目标对象之间的数据传输效率。
可以理解的是,由于不同的节点与目标对象之间的网络质量不同,且不同的磁盘类型的读写速度不同,这些因素都会影响节点与目标对象之间的数据传输效率,因此,可以基于上述目标参考信息来进行最优传输路径的计算。
示例性地,在计算出最优传输路径之后,便可以通过该最优传输路径进行目标对象与目标节点所挂载的目标磁盘之间的数据传输。
如此,可以在用户分享文件时,选择与用户设备之间传输效率最高的节点进行文件的传输,并将用户分享的文件分别存储到每个节点的磁盘设备中。当其他用户设备获取该分享文件时,也可以选择传输效率最高的节点进行文件的下载,不仅提高了文件的传输效率,还提高了系统功能的可靠性。
可选地,在本申请实施例中,为了实现上述功能,首先需要创建分布式全局内容库系统,该分布式全局内容库系统提供有管理页面,管理人员可以在该管理页面中进行分布式全局内容库的创建。
示例性地,上述步骤201之前,本申请实施例提供的文件同步方法,还可以包括以下步骤203和步骤204:
步骤203、显示所述分布式全局内容库系统的管理页面。
其中,所述管理页面包括:所述分布式全局内容库系统所包含的M个节点,以及所述M个节点上挂载的M个磁盘设备;M为大于或者等于N的正整数;一个节点挂载一个磁盘设备。
示例性地,在分布式全局内容库系统提供的管理页面中,可以显示有该分布式全局内容库系统所有的节点以及每个节点所挂载的磁盘设备,即上述M个节点和M个磁盘设备。管理人员可以从M个磁盘设备中选择多个磁盘设备来创建分布式全局内容库。
步骤204、基于用户从所述M个磁盘设备中选择的多个磁盘设备的第一设备信息,创建分布式全局内容库。
其中,所述第一设备信息包括以下至少一项:磁盘容量信息,磁盘设备类型;所述分布式全局内容库的容量与所述M个磁盘设备中任一磁盘设备的容量相同。
示例性地,该管理页面中的内容还包括各个磁盘设备的第一设备信息,例如,设备名称,磁盘容量信息,磁盘设备类型,所属节点等相关信息。在用户选择用于创建分布式全局内容库的M个磁盘设备之后,便可以基于M个磁盘设备的第一设备信息,创建分布式全局内容库。
示例性地,在分布式全局内容库创建完成后,在管理页面中可以显示各个磁盘设备的第二设备信息,该第二设备信息包括:第一设备信息,以及磁盘设备在本地的映射路径。在用户页面中仅显示一个容量大小与任一磁盘设备容量相同的逻辑磁盘,以及该逻辑磁盘的可用空间大小、已用空间大小、总空间大小等相关信息,以便用户及时了解分布式全局内容库的剩余存储空间。
具体地,上述步骤204中创建分布式全局内容库的步骤,可以包括以下步骤204a和步骤204b:
步骤204a、基于所述多个磁盘设备的第一设备信息,将所述多个磁盘设备映射到指定本地目录。
其中,一个磁盘设备映射一个本地目录。
步骤204b、对所述多个磁盘设备执行格式化操作,并在所述多个磁盘设备中的每个磁盘设备上创建文件系统。
示例性地,为了方便分布式全局内容库系统能够直接对各个节点所挂载的磁盘设备中存储的文件进行操作,需要将上述多个磁盘设备映射到运行分布式全局内容库系统的服务器的本地目录下。
示例性地,分布式全局内容库系统可以通过磁盘设备的网络地址,将上述多个磁盘设备中的每个磁盘设备映射到本地目录,以便能够像操作本地磁盘设备中的文件一样操作上述多个磁盘设备中的文件。
示例性地,为了能够使上述多个磁盘设备正常存储文件数据,需要为每个磁盘设备创建文件系统。
具体地,上述步骤204b,还可以包括以下步骤204b1至步骤204b3:
步骤204b1、获取所述每个磁盘设备所属节点的节点信息,并基于所述每个磁盘设备所属节点的节点信息,确定所述每个磁盘设备所属节点的服务器系统信息。
步骤204b2、基于所述每个磁盘设备所属节点的服务器系统信息确定与所述每个磁盘设备所属节点的服务器系统相匹配的文件系统。
步骤204b3、基于所述每个磁盘设备所属节点的服务器系统相匹配的文件系统,将所述每个磁盘设备格式化为对应的文件系统。
示例性地,上述节点信息可以包括:节点设备上运行的操作系统的相关信息。基于该节点信息,可以确定节点设备上运行的操作系统的类型。服务器操作系统主要分为四大流派:Windows、Linux、Netware、Unix。
可以理解的是,不同的服务器操作系统所兼容的文件系统不同,例如,Windows服务器操作系统常用的文件系统有:32位文件分配表(File Allocation table,FAT32)、新技术文件系统(New Technology File System,NTFS)。Linux服务器操作系统常用的文件系统有:第二代扩展文件系统(second extended filesystem,ext2)、第三代扩展文件系统(second extended filesystem,ext3)、第四代扩展文件系统(second extendedfilesystem,ext4)、Btrfs文件系统等。
基于此,需要根据磁盘设备所属节点的服务器操作类型,在磁盘设备上创建不同的文件系统,否则,文件系统与服务器操作系统不兼容,节点服务器操作系统无法识别磁盘设备,从而导致分布式全局内容库系统无法正常访问磁盘设备。
需要说明的是,为了避免磁盘设备中原有的文件全部同步到其他磁盘设备中,在创建分布式全局内容库时,需要将所有的磁盘设备格式化,删除其中存储的文件数据。
如此,在按照上述步骤创建分布式全局内容库之后,便可以方便用户设备或者云平台通过该分布式全局内容库实现各种文件的共享,极大地提高了文件共享的效率。
可选地,在本申请实施例中,可以根据目标对象与各节点之间的网络传输速度,以及各节点的磁盘设备类型来筛选出最优传输路径。
具体地,上述步骤202中确定最优传输路径的步骤,可以包括以下步骤202a和步骤202b:
步骤202a、获取所述目标参考信息,并基于所述目标参考信息计算所述目标对象与所述N个节点中各节点之间的传输路径优先级,得到多个传输路径的优先级数值。
步骤202b、将所述多个传输路径中优先级数值最小的传输路径确定为所述最优传输路径,并将所述最优传输路径所对应的节点确定为所述目标节点。
示例性地,基于上述目标参考信息,可以计算出目标对象与每个节点之间的传输路径的优先级,之后,再从中筛选出优先级数值最小的传输路径作为最优传输路径。
具体地,上述步骤202a,可以包括以下步骤202a1:
步骤202a1、基于以下公式一循环迭代计算出所述目标对象与所述N个节点中任一节点之间的传输路径优先级:
(公式一)
其中,S为传输路径优先级数值,为所述目标对象与节点之间的网络传输速度,为节点的磁盘设备类型,/>为上一次迭代计算出的最优传输路径的优先级数值的加权值,/>;/>为第i次迭代网络请求的网络传输速度,L为节点性能影响因子,节点性能与节点性能影响因子负相关,n为迭代次数。
示例性地,通过上述公式一可以计算出每次迭代时得到的传输路径的优先级数值,之后,在根据每次迭代时得到的传输路径的优先级数值进行下一次传输路径的优先级数值的计算,直至迭代预设次数后,得到目标对象与任一节点之间传输路径的优先级数值。
示例性地,在得到目标对象与每个节点之间传输路径的优先级数值后,便可以将传输路径的优先级数值最小的节点确定为目标节点,并将目标对象与目标节点之间的传输路径确定为最优传输路径。
示例性地,在确定出最优传输路径之后,便可以基于该最优传输路径在目标对象与目标节点之间进行目标文件的传输。
如此,可以在共享文件时,选择传输效率最高传输路径传输文件,极大地提高了传输效率,避免同时挤占单一传输路径的网络带宽资源。
可选地,在本申请实施例中,上述文件同步请求可以包括文件上传请求和文件获取请求,针对不同的请求,分布式全局内容库系统需要执行不同的操作。
具体地,上述步骤201,可以包括以下步骤201a或者步骤201b:
步骤201a、接收所述目标对象发送的针对所述目标文件的所述文件上传请求。
示例性地,上述目标对象可以为用户设备,也可以为云平台。当目标对象为用户设备时,该文件上传请求可以为用户手动触发的,也可以为自动触发的,即用户选择需要上传的目标文件上传到分布式全局内容库中,或者,用户设备自动将用户指定目录下的新增文件上传到分布式全局内容库中。
示例性地,当目标对象为云平台时,该文件上传请求可以为手动触发的,也可以为自动触发的,即云平台管理员可以通过手动操作将云平台的镜像库中的镜像文件上传到分布式全局内容库中,也可以在云平台的镜像库中新增镜像文件的情况下,自动将新增的镜像文件上传到分布式全局内容库中。
示例性地,在上传目标文件时,可以按照上述步骤中确定的最优传输路径,通过最优传输路径将目标文件从目标对象的存储空间中上传到对应的节点挂载的磁盘设备中。
步骤201b、接收所述目标对象发送的针对所述目标文件的所述文件获取请求。
示例性地,上述目标对象可以为用户设备,也可以为云平台。当目标对象为用户设备时,用户通过分布式全局内容库提供的文件列表,选择需要获取的目标文件,之后分布式全局内容库系统便会按照最优传输路径将该目标文件传输到用户设备中。
示例性地,当目标对象为云平台时,若需要在该云平台创建云主机,则可以首先判断云平台的镜像库中是否存在所需的镜像文件,若不存在,则可以从分布式全局内容库中获取所需的镜像文件。
示例性地,在获取目标文件时,可以按照上述步骤中确定的最优传输路径,通过最优传输路径将目标文件从目标节点挂载的磁盘设备中传输到目标对象的存储空间中。
具体地,在上述文件同步请求为文件上传请求的情况下,上述步骤202中通过所述最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件的步骤,可以包括以下步骤202c1和步骤202c2:
步骤202c1、响应于所述文件上传请求,通过所述最优传输路径将所述目标文件传输至所述目标节点所挂载的目标磁盘设备中,并向所述目标对象反馈上传成功信息。
步骤202c2、将所述目标磁盘设备中的所述目标文件同步至所述N个节点中除所述目标节点之外的其他节点所挂载的磁盘设备中。
示例性地,当目标对象将目标文件通过最优传输路径传输到目标节点所挂载的目标磁盘设备后,为了能够使其他用户设备或者云平台通过与节点之间的最优传输路径获取到该目标文件,分布式全局内容库系统需要将目标磁盘设备中存储的目标文件,分发到其他节点所挂载的磁盘设备中。
示例性地,在将目标文件上传到目标磁盘设备中之后,分布式全局内容库系统会执行数据同步操作,将该目标文件的备份拷贝到除目标节点之外的其他节点所挂载的磁盘设备中。
进一步地,在将目标文件上传到分布式全局内容库时,为了避免分布式全局内容库中出现重复文件,造成存储空间的浪费,同时也避免网络资源的浪费,需要判断该目标文件是否为分布式全局内容库中已经存在的文件。
具体地,上述步骤202c1中通过所述最优传输路径将所述目标文件传输至所述目标节点所挂载的目标磁盘设备的步骤,还可以包括以下步骤202c11和步骤202c12:
步骤202c11、计算所述目标文件的第一特征码,并将所述第一特征码与所述分布式全局内容库系统中存储的各个文件所对应的特征码进行匹配,生成匹配结果。
示例性地,上述特征码可以为通过信息摘要算法(Message-Digest Algorithm,MD5)得到的MD5值,也可以为通过哈希Hash算法得到的Hash值。可以通过两个文件的特征码来判断两个文件是否相同。
步骤202c12、在所述匹配结果指示所述分布式全局内容库系统中不存在与所述第一特征码相匹配的特征码的情况下,通过所述最优传输路径将所述目标文件传输至所述目标节点所挂载的目标磁盘设备中,并向所述目标对象反馈上传成功信息。
示例性地,当判断出目标文件与分布式全局内容库中存储的任何文件都不相同时,便可以将该目标文件上传到分布式全局内容库中,并由分布式全局内容库系统将该目标文件分发到其他节点所挂载的磁盘设备中。
具体地,上述步骤202c11之后,上述步骤202,还可以包括以下步骤202c13:
步骤202c13、在所述匹配结果指示所述分布式全局内容库系统中存在与所述第一特征码相匹配的第二特征码的情况下,向所述目标对象反馈所述上传成功信息。
示例性地,当判断出目标文件与分布式全局内容库中存储的某个文件相同时,则执行该目标文件的上传操作,并直接反馈上传成功信息。将分布式全局内容库中已存在的文件作为该目标文件。
具体地,在上述文件同步请求为文件获取请求的情况下,上述步骤202中通过所述最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件的步骤,可以包括以下步骤202d:
步骤202d、响应于所述文件获取请求,通过所述最优传输路径将所述目标文件从所述目标节点所挂载的目标磁盘设备传输至所述目标对象的存储空间中,并向所述目标对象反馈下载成功信息。
示例性地,当目标对象需要从分布式全局内容库中获取目标文件时,只需要计算出最优传输路径,并通过该最优传输路径下载该目标文件即可,分布式全局内容库系统不需要执行其他操作。
举例说明,基于图1,如图3所示,为本申请实施例提供的针对用户设备进行文件同步方法的文件共享流程。S1、用户设备3通过与节点3之间的最优传输路径将文件1传输到节点3所挂载的磁盘设备中;S2、分布式全局内容库系统将节点3所挂载的磁盘设备中存储的文件1的完整备份分发到其他节点所挂载的磁盘设备中;S3、当用户设备1需要获取该文件1时,可以通过与节点2之间的最优传输路径从节点2所挂载的磁盘设备中将文件1下载到用户设备1中。
举例说明,基于图1,如图4所示,为本申请实施例提供的针对云平台进行文件同步方法的文件共享流程。S1、云平台1通过与节点1之间的最优传输路径将镜像文件1传输到节点1所挂载的磁盘设备中;S2、分布式全局内容库系统将节点1所挂载的磁盘设备中存储的镜像文件1的完整备份分发到其他节点所挂载的磁盘设备中;S3、当云平台3需要获取该镜像文件1时,可以通过与节点3之间的最优传输路径从节点3所挂载的磁盘设备中将镜像文件1下载到云平台3中。
在一种可能的实现方式中,分布式全局内容库系统还可以按照预设周期对上述M个磁盘设备中存储的文件进行比较,若某个磁盘设备中存储的文件与其他磁盘设备中存储的文件存在差异(例如,由于系统故障导致某个磁盘设备中存储的某个文件丢失),则可以从其他磁盘设备中同步该磁盘设备中丢失的文件。
在一种可能的实现方式中,为了能够方便用户实时了解上传或者下载数据的进度,在分布式全局内容库系统传输数据时,还可以实时显示文件的传输进度。
具体地,上述步骤202,还可以包括以下步骤202e:
步骤202e、在传输所述目标文件的过程中,实时显示所述目标文件的传输进度信息。
其中,所述传输进度信息包括以下至少一项:文件总大小,已传输大小,传输速率。
示例性地,当分布式全局内容库系统同时传输多个文件时,可以单独显示每个文件的传输进度信息。
可选地,在本申请实施例中,不仅可以向分布式全局内容库中上传以及从分布式全局内容库中下载文件,还可以删除分布式全局内容库中的文件。
示例性地,上述步骤202之后,本申请实施例提供的文件同步方法,还可以包括以下步骤205:
步骤205、在接收到针对所述目标文件的文件删除请求的情况下,将所述目标文件从所述N个节点中每个节点所挂载的磁盘设备中删除,并向所述目标对象反馈删除成功信息。
示例性地,当分布式全局内容库系统按照文件删除请求的指示阐述分布式全局内容库中存储的目标文件时,需要删除分布式全局内容库系统所包含的N个节点中每个节点所挂载的磁盘设备(即上述M个磁盘设备)中存储的目标文件的备份。
可选地,在本申请实施例中,分布式全局内容库系统还系统磁盘设备的热编辑功能,即可以在分布式全局内容库系统的运行过程中,添加磁盘设备、或者移除某个磁盘设备。
示例性地,针对从分布式全局内容库系统中移除某个磁盘设备的操作,上述步骤202之后,本申请实施例提供的文件同步方法,还可以包括以下步骤206和步骤207:
步骤206、获取需要从所述分布式全局内容库系统中删除的待删除磁盘设备。
步骤207、在所述待删除磁盘设备不为所述分布式全局内容库系统所包含的唯一磁盘设备的情况下,将所述待删除磁盘从所述分布式全局内容库系统中删除。
可以理解的是,若待删除磁盘设备为分布式全局内容库系统中唯一的磁盘设备,则删除该磁盘设备之后,该分布式全局内容库系统将不复存在,因此,分布式全局内容库系统应当至少保留一个磁盘设备。
示例性地,当上述待删除磁盘设备不为分布式全局内容库系统中的唯一磁盘设备时,可以直接将该待删除磁盘设备从分布式全局内容库系统中移除。
示例性地,在将待删除磁盘设备从分布式全局内容库系统中移除时候,该待删除磁盘设备上存储的文件可以删除也可以保留。
示例性地,上述步骤206之后,本申请实施例提供的文件同步方法,还可以包括以下步骤208:
步骤208、在所述待删除磁盘设备为所述分布式全局内容库系统所包含的唯一磁盘设备的情况下,终止针对所述待删除磁盘设备的删除操作。
示例性地,当上述待删除磁盘设备为分布式全局内容库系统中的唯一磁盘设备时,需要终止针对待删除磁盘的删除操作,并对用户进行提醒。
示例性地,针对向分布式全局内容库系统中增加磁盘设备的操作,上述步骤202之后,本申请实施例提供的文件同步方法,还可以包括以下步骤209和步骤210:
步骤209、在接收到针对任一待添加磁盘设备的添加指令的情况下,对所述待添加磁盘设备执行格式化操作,并在所述待添加磁盘设备上创建文件系统。
示例性地,在该待添加磁盘设备上创建文件系统的步骤,可以参照上述步骤204b1至步骤204b3所示的方法。即按照该待添加磁盘设备所属的节点服务器的操作系统的类型,对所述待添加磁盘设备执行格式化操作,并在所述待添加磁盘设备上创建与操作系统类型对应的文件系统。
步骤210、将所述待添加磁盘设备添加至所述分布式全局内容库系统,并将待同步节点所挂载的磁盘设备中的文件同步至所述待添加磁盘设备中。
其中,所述待同步节点为所述N个节点中带宽利用率最低的一个或者N个节点。
示例性地,由于新添加的磁盘设备中并未存储任何文件,需要将分布式全局内容库中存储的所有文件均拷贝的该磁盘设备中,需要占用大量的网络带宽资源,因此,可以利用当前带宽利用率最低的一个或者多个节点进行数据的拷贝。
具体地,针对任一节点可以设置带宽占用限值,当向待添加磁盘设备中同步文件时,若某个节点的网络带宽利用率超过了该带宽占用限值,为了避免影响用户正常的文件同步速度,可以将同步任务进行拆分为多个部分,并分发到其他带宽利用率低于该带宽占用限值的节点中。
如此,在添加新的磁盘设备到分布式全局文件库系统中时,可以有效地利用闲置带宽,同时,在一定程度上避免影响其他用户的正常访问。
本申请实施例提供的文件同步方法,在接收到目标对象发送的针对目标文件的文件同步请求的情况下,响应于该文件同步请求,基于目标参考信息确定与目标对象之间传输效率最高的目标节点,以及将目标节点与目标对象之间的传输路径确定为最优传输路径,并通过最优传输路径在目标节点的目标磁盘与目标对象之间同步目标文件。如此,使得用户设备在传输文件时,能够选择传输效率最高的节点进行文件的传输,极大地提高了文件传输效率,且多节点的设计方式能够避免单个服务器出现故障时,所有用户均无法正常访问的情况发生,极大地提高了系统功能的稳定性。
需要说明的是,本申请实施例提供的文件同步方法,执行主体可以为文件同步装置,或者该文件同步装置中的用于执行文件同步方法的控制模块。本申请实施例中以文件同步装置执行文件同步方法为例,说明本申请实施例提供的文件同步装置。
需要说明的是,本申请实施例中,上述各个方法附图所示的。文件同步方法均是以结合本申请实施例中的一个附图为例示例性的说明的。具体实现时,上述各个方法附图所示的文件同步方法还可以结合上述实施例中示意的其它可以结合的任意附图实现,此处不再赘述。
下面对本申请提供的文件同步装置进行描述,下文描述的与上文描述的文件同步方法可相互对应参照。
图5为本申请实施例提供的文件同步装置的结构示意图,如图5所示,具体包括:
指令接收模块501,用于接收目标对象发送的针对目标文件的文件同步请求;所述目标对象包括以下任一项:接入所述分布式全局内容库系统的用户设备,接入所述分布式全局内容库系统的云平台;路径计算模块502,用于响应于所述文件同步请求,基于目标参考信息确定所述N个节点中与所述目标对象之间传输效率最高的目标节点;数据传输模块503,用于通过最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件;其中,所述分布式全局内容库系统中存储的内容包括:用于与所述用户设备之间同步的第一类型文件,用于与所述云平台之间同步的第二类型文件;所述目标参考信息包括以下至少一项:与各节点之间的网络传输速度,各节点的磁盘设备类型;所述最优传输路径为所述目标对象与所述目标节点之间的传输路径。
可选地,所述装置还包括:显示模块和创建模块;所述显示模块,用于显示所述分布式全局内容库系统的管理页面;所述管理页面包括:所述分布式全局内容库系统所包含的M个节点,以及所述M个节点上挂载的M个磁盘设备;M为大于或者等于N的正整数;一个节点挂载一个磁盘设备;所述创建模块,用于基于用户从所述M个磁盘设备中选择的多个磁盘设备的第一设备信息,创建分布式全局内容库;其中,所述第一设备信息包括以下至少一项:磁盘容量信息,磁盘设备类型;所述分布式全局内容库的容量与所述M个磁盘设备中任一磁盘设备的容量相同。
可选地,所述创建模块,具体用于基于所述多个磁盘设备的第一设备信息,将所述多个磁盘设备映射到指定本地目录;一个磁盘设备映射一个本地目录;所述创建模块,具体还用于对所述多个磁盘设备执行格式化操作,并在所述多个磁盘设备中的每个磁盘设备上创建文件系统。
可选地,所述装置还包括:获取模块和确定模块;所述获取模块,用于获取所述每个磁盘设备所属节点的节点信息;所述确定模块,用于基于所述每个磁盘设备所属节点的节点信息,确定所述每个磁盘设备所属节点的服务器系统信息;所述确定模块,还用于基于所述每个磁盘设备所属节点的服务器系统信息确定与所述每个磁盘设备所属节点的服务器系统相匹配的文件系统;所述创建模块,具体用于基于所述每个磁盘设备所属节点的服务器系统相匹配的文件系统,将所述每个磁盘设备格式化为对应的文件系统。
可选地,所述获取模块,还用于获取所述目标参考信息;所述路径计算模块502,具体用于基于所述目标参考信息计算所述目标对象与所述N个节点中各节点之间的传输路径优先级,得到多个传输路径的优先级数值;所述确定模块,还用于将所述多个传输路径中优先级数值最小的传输路径确定为所述最优传输路径,并将所述最优传输路径所对应的节点确定为所述目标节点。
可选地,所述路径计算模块502,具体用于基于以下公式一循环迭代计算出所述目标对象与所述N个节点中任一节点之间的传输路径优先级:
(公式一)
其中,S为传输路径优先级数值,为所述目标对象与节点之间的网络传输速度,为节点的磁盘设备类型,/>为上一次迭代计算出的最优传输路径的优先级数值的加权值,/>;/>为第i次迭代网络请求的网络传输速度,L为节点性能影响因子,节点性能与节点性能影响因子负相关,n为迭代次数。
可选地,所述指令接收模块501,具体用于接收所述目标对象发送的针对所述目标文件的所述文件上传请求;所述指令接收模块501,具体还用于接收所述目标对象发送的针对所述目标文件的所述文件获取请求。
可选地,所述数据传输模块503,具体用于响应于所述文件上传请求,通过所述最优传输路径将所述目标文件传输至所述目标节点所挂载的目标磁盘设备中,并向所述目标对象反馈上传成功信息;所述数据传输模块503,具体还用于将所述目标磁盘设备中的所述目标文件同步至所述N个节点中除所述目标节点之外的其他节点所挂载的磁盘设备中。
可选地,所述数据传输模块503,具体用于响应于所述文件获取请求,通过所述最优传输路径将所述目标文件从所述目标节点所挂载的目标磁盘设备传输至所述目标对象的存储空间中,并向所述目标对象反馈下载成功信息。
可选地,所述装置还包括:特征匹配模块;所述特征匹配模块,用于计算所述目标文件的第一特征码,并将所述第一特征码与所述分布式全局内容库系统中存储的各个文件所对应的特征码进行匹配,生成匹配结果;所述数据传输模块503,具体用于在所述匹配结果指示所述分布式全局内容库系统中不存在与所述第一特征码相匹配的特征码的情况下,通过所述最优传输路径将所述目标文件传输至所述目标节点所挂载的目标磁盘设备中,并向所述目标对象反馈上传成功信息。
可选地,所述数据传输模块503,具体用于在所述匹配结果指示所述分布式全局内容库系统中存在与所述第一特征码相匹配的第二特征码的情况下,向所述目标对象反馈所述上传成功信息。
可选地,所述显示模块,还用于在传输所述目标文件的过程中,实时显示所述目标文件的传输进度信息;其中,所述传输进度信息包括以下至少一项:文件总大小,已传输大小,传输速率。
可选地,所述装置还包括:处理模块;所述处理模块,用于在接收到针对所述目标文件的文件删除请求的情况下,将所述目标文件从所述N个节点中每个节点所挂载的磁盘设备中删除,并向所述目标对象反馈删除成功信息。
可选地,所述获取模块,还用于获取需要从所述分布式全局内容库系统中删除的待删除磁盘设备;所述处理模块,还用于在所述待删除磁盘设备不为所述分布式全局内容库系统所包含的唯一磁盘设备的情况下,将所述待删除磁盘从所述分布式全局内容库系统中删除。
可选地,所述处理模块,还用于在所述待删除磁盘设备为所述分布式全局内容库系统所包含的唯一磁盘设备的情况下,终止针对所述待删除磁盘设备的删除操作。
可选地,所述创建模块,还用于在接收到针对任一待添加磁盘设备的添加指令的情况下,对所述待添加磁盘设备执行格式化操作,并在所述待添加磁盘设备上创建文件系统;所述数据传输模块503,还用于将所述待添加磁盘设备添加至所述分布式全局内容库系统,并将待同步节点所挂载的磁盘设备中的文件同步至所述待添加磁盘设备中;其中,所述待同步节点为所述N个节点中带宽利用率最低的一个或者N个节点。
本申请提供的文件同步装置,在接收到目标对象发送的针对目标文件的文件同步请求的情况下,响应于该文件同步请求,基于目标参考信息确定与目标对象之间传输效率最高的目标节点,以及将目标节点与目标对象之间的传输路径确定为最优传输路径,并通过最优传输路径在目标节点的目标磁盘与目标对象之间同步目标文件。如此,使得用户设备在传输文件时,能够选择传输效率最高的节点进行文件的传输,极大地提高了文件传输效率,且多节点的设计方式能够避免单个服务器出现故障时,所有用户均无法正常访问的情况发生,极大地提高了系统功能的稳定性。
图6示例了一种电子设备的实体结构示意图,如图6所示,该电子设备可以包括:处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640,其中,处理器610,通信接口620,存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令,以执行文件同步方法,该方法包括:接收目标对象发送的针对目标文件的文件同步请求;所述目标对象包括以下任一项:接入所述分布式全局内容库系统的用户设备,接入所述分布式全局内容库系统的云平台;响应于所述文件同步请求,基于目标参考信息确定所述N个节点中与所述目标对象之间传输效率最高的目标节点,并通过最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件;其中,所述分布式全局内容库系统中存储的内容包括:用于与所述用户设备之间同步的第一类型文件,用于与所述云平台之间同步的第二类型文件;所述目标参考信息包括以下至少一项 :与各节点之间的网络传输速度,各节点的磁盘设备类型;所述最优传输路径为所述目标对象与所述目标节点之间的传输路径。
此外,上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本申请还提供一种计算机程序产品,所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的文件同步方法,该方法包括:接收目标对象发送的针对目标文件的文件同步请求;所述目标对象包括以下任一项:接入所述分布式全局内容库系统的用户设备,接入所述分布式全局内容库系统的云平台;响应于所述文件同步请求,基于目标参考信息确定所述N个节点中与所述目标对象之间传输效率最高的目标节点,并通过最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件;其中,所述分布式全局内容库系统中存储的内容包括:用于与所述用户设备之间同步的第一类型文件,用于与所述云平台之间同步的第二类型文件;所述目标参考信息包括以下至少一项 :与各节点之间的网络传输速度,各节点的磁盘设备类型;所述最优传输路径为所述目标对象与所述目标节点之间的传输路径。
又一方面,本申请还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的文件同步方法,该方法包括:接收目标对象发送的针对目标文件的文件同步请求;所述目标对象包括以下任一项:接入所述分布式全局内容库系统的用户设备,接入所述分布式全局内容库系统的云平台;响应于所述文件同步请求,基于目标参考信息确定所述N个节点中与所述目标对象之间传输效率最高的目标节点,并通过最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件;其中,所述分布式全局内容库系统中存储的内容包括:用于与所述用户设备之间同步的第一类型文件,用于与所述云平台之间同步的第二类型文件;所述目标参考信息包括以下至少一项 :与各节点之间的网络传输速度,各节点的磁盘设备类型;所述最优传输路径为所述目标对象与所述目标节点之间的传输路径。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (20)

1.一种文件同步方法,其特征在于,应用于分布式全局内容库系统,所述分布式全局内容库系统包括:N个节点、且每个节点上均挂载有容量相同的磁盘设备,所述N个节点上挂载的磁盘设备之间存储有相同的数据备份,N为大于等于2的正整数,所述方法包括:
接收目标对象发送的针对目标文件的文件同步请求;所述目标对象包括以下任一项:接入所述分布式全局内容库系统的用户设备,接入所述分布式全局内容库系统的云平台;
响应于所述文件同步请求,基于目标参考信息确定所述N个节点中与所述目标对象之间传输效率最高的目标节点,并通过最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件;
其中,所述分布式全局内容库系统中存储的内容包括:用于与所述用户设备之间同步的第一类型文件,用于与所述云平台之间同步的第二类型文件;所述目标参考信息包括以下至少一项:与各节点之间的网络传输速度,各节点的磁盘设备类型;所述最优传输路径为所述目标对象与所述目标节点之间的传输路径。
2.根据权利要求1所述的方法,其特征在于,所述接收目标对象发送的文件同步请求之前,所述方法还包括:
显示所述分布式全局内容库系统的管理页面;所述管理页面包括:所述分布式全局内容库系统所包含的M个节点,以及所述M个节点上挂载的M个磁盘设备;M为大于或者等于N的正整数;一个节点挂载一个磁盘设备;
基于用户从所述M个磁盘设备中选择的多个磁盘设备的第一设备信息,创建分布式全局内容库;
其中,所述第一设备信息包括以下至少一项:磁盘容量信息,磁盘设备类型;所述分布式全局内容库的容量与所述M个磁盘设备中任一磁盘设备的容量相同。
3.根据权利要求2所述的方法,其特征在于,所述基于用户从所述M个磁盘设备中选择的多个磁盘设备的第一设备信息,创建分布式全局内容库,包括:
基于所述多个磁盘设备的第一设备信息,将所述多个磁盘设备映射到指定本地目录;一个磁盘设备映射一个本地目录;
对所述多个磁盘设备执行格式化操作,并在所述多个磁盘设备中的每个磁盘设备上创建文件系统。
4.根据权利要求3所述的方法,其特征在于,所述对所述多个磁盘设备执行格式化操作,并在所述多个磁盘设备中的每个磁盘设备上创建文件系统,包括:
获取所述每个磁盘设备所属节点的节点信息,并基于所述每个磁盘设备所属节点的节点信息,确定所述每个磁盘设备所属节点的服务器系统信息;
基于所述每个磁盘设备所属节点的服务器系统信息确定与所述每个磁盘设备所属节点的服务器系统相匹配的文件系统;
基于所述每个磁盘设备所属节点的服务器系统相匹配的文件系统,将所述每个磁盘设备格式化为对应的文件系统。
5.根据权利要求1所述的方法,其特征在于,所述响应于所述文件同步请求,基于目标参考信息确定与所述目标对象之间传输效率最高的目标节点,并将所述目标节点与所述目标对象之间的传输路径确定为最优传输路径,包括:
获取所述目标参考信息,并基于所述目标参考信息计算所述目标对象与所述N个节点中各节点之间的传输路径优先级,得到多个传输路径的优先级数值;
将所述多个传输路径中优先级数值最小的传输路径确定为所述最优传输路径,并将所述最优传输路径所对应的节点确定为所述目标节点。
6.根据权利要求5所述的方法,其特征在于,所述基于所述目标参考信息计算所述目标对象与所述N个节点中各节点之间的传输路径优先级,得到多个传输路径的优先级数值,包括:
基于以下公式一循环迭代计算出所述目标对象与所述N个节点中任一节点之间的传输路径优先级:
(公式一)
其中,S为传输路径优先级数值,为所述目标对象与节点之间的网络传输速度,/>为节点的磁盘设备类型,/>为上一次迭代计算出的最优传输路径的优先级数值的加权值,;/>为第i次迭代网络请求的网络传输速度,L为节点性能影响因子,节点性能与节点性能影响因子负相关,n为迭代次数。
7.根据权利要求1或5或6中任一项所述的方法,其特征在于,所述文件同步请求包括:文件上传请求和文件获取请求;所接收目标对象发送的文件同步请求,包括:
接收所述目标对象发送的针对所述目标文件的所述文件上传请求;
或者,
接收所述目标对象发送的针对所述目标文件的所述文件获取请求。
8.根据权利要求7所述的方法,其特征在于,所述通过最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件,包括:
响应于所述文件上传请求,通过所述最优传输路径将所述目标文件传输至所述目标节点所挂载的目标磁盘设备中,并向所述目标对象反馈上传成功信息;
将所述目标磁盘设备中的所述目标文件同步至所述N个节点中除所述目标节点之外的其他节点所挂载的磁盘设备中。
9.根据权利要求7所述的方法,其特征在于,所述通过最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件,包括:
响应于所述文件获取请求,通过所述最优传输路径将所述目标文件从所述目标节点所挂载的目标磁盘设备传输至所述目标对象的存储空间中,并向所述目标对象反馈下载成功信息。
10.根据权利要求8所述的方法,其特征在于,所述通过最优传输路径将所述目标文件传输至所述目标节点所挂载的目标磁盘设备中,包括:
计算所述目标文件的第一特征码,并将所述第一特征码与所述分布式全局内容库系统中存储的各个文件所对应的特征码进行匹配,生成匹配结果;
在所述匹配结果指示所述分布式全局内容库系统中不存在与所述第一特征码相匹配的特征码的情况下,通过所述最优传输路径将所述目标文件传输至所述目标节点所挂载的目标磁盘设备中,并向所述目标对象反馈上传成功信息。
11.根据权利要求10所述的方法,其特征在于,所述将所述第一特征码与所述分布式全局内容库系统中存储的各个文件所对应的特征码进行匹配,生成匹配结果之后,所述方法还包括:
在所述匹配结果指示所述分布式全局内容库系统中存在与所述第一特征码相匹配的第二特征码的情况下,向所述目标对象反馈所述上传成功信息。
12.根据权利要求8至11中任一项所述的方法,其特征在于,所述通过最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件,包括:
在传输所述目标文件的过程中,实时显示所述目标文件的传输进度信息;
其中,所述传输进度信息包括以下至少一项:文件总大小,已传输大小,传输速率。
13.根据权利要求1所述的方法,其特征在于,所述通过最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件之后,所述方法还包括:
在接收到针对所述目标文件的文件删除请求的情况下,将所述目标文件从所述N个节点中每个节点所挂载的磁盘设备中删除,并向所述目标对象反馈删除成功信息。
14.根据权利要求1所述的方法,其特征在于,所述通过最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件之后,所述方法还包括:
获取需要从所述分布式全局内容库系统中删除的待删除磁盘设备;
在所述待删除磁盘设备不为所述分布式全局内容库系统所包含的唯一磁盘设备的情况下,将所述待删除磁盘从所述分布式全局内容库系统中删除。
15.根据权利要求14所述的方法,其特征在于,所述获取需要从所述分布式全局内容库系统中删除的待删除磁盘设备之后,所述方法还包括:
在所述待删除磁盘设备为所述分布式全局内容库系统所包含的唯一磁盘设备的情况下,终止针对所述待删除磁盘设备的删除操作。
16.根据权利要求1所述的方法,其特征在于,所述通过最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件之后,所述方法还包括:
在接收到针对任一待添加磁盘设备的添加指令的情况下,对所述待添加磁盘设备执行格式化操作,并在所述待添加磁盘设备上创建文件系统;
将所述待添加磁盘设备添加至所述分布式全局内容库系统,并将待同步节点所挂载的磁盘设备中的文件同步至所述待添加磁盘设备中;
其中,所述待同步节点为所述N个节点中带宽利用率最低的一个或者N个节点。
17.一种文件同步装置,其特征在于,应用于分布式全局内容库系统,所述分布式全局内容库系统包括:N个节点、且每个节点上均挂载有容量相同的磁盘设备,所述N个节点上挂载的磁盘设备之间存储有相同的数据备份,N为大于等于2的正整数,所述装置包括:
指令接收模块,用于接收目标对象发送的针对目标文件的文件同步请求;所述目标对象包括以下任一项:接入所述分布式全局内容库系统的用户设备,接入所述分布式全局内容库系统的云平台;
路径计算模块,用于响应于所述文件同步请求,基于目标参考信息确定所述N个节点中与所述目标对象之间传输效率最高的目标节点;
数据传输模块,用于通过最优传输路径在所述目标节点的目标磁盘与所述目标对象之间同步所述目标文件;
其中,所述分布式全局内容库系统中存储的内容包括:用于与所述用户设备之间同步的第一类型文件,用于与所述云平台之间同步的第二类型文件;所述目标参考信息包括以下至少一项:与各节点之间的网络传输速度,各节点的磁盘设备类型;所述最优传输路径为所述目标对象与所述目标节点之间的传输路径。
18.一种分布式全局内容库系统,其特征在于,所述系统包括:N个节点、且每个节点上均挂载有容量相同的磁盘设备,所述N个节点上挂载的磁盘设备之间存储有相同的数据备份,N为大于等于2的正整数,以及控制单元;所述控制单元用于执行如权利要求1至16任一项所述文件同步方法的步骤。
19.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至16任一项所述文件同步方法的步骤。
20.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至16中任一项所述文件同步方法的步骤。
CN202311259575.0A 2023-09-27 2023-09-27 文件同步方法、装置、分布式全局内容库系统及电子设备 Active CN117009310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311259575.0A CN117009310B (zh) 2023-09-27 2023-09-27 文件同步方法、装置、分布式全局内容库系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311259575.0A CN117009310B (zh) 2023-09-27 2023-09-27 文件同步方法、装置、分布式全局内容库系统及电子设备

Publications (2)

Publication Number Publication Date
CN117009310A true CN117009310A (zh) 2023-11-07
CN117009310B CN117009310B (zh) 2024-01-23

Family

ID=88569370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311259575.0A Active CN117009310B (zh) 2023-09-27 2023-09-27 文件同步方法、装置、分布式全局内容库系统及电子设备

Country Status (1)

Country Link
CN (1) CN117009310B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855284A (zh) * 2012-08-03 2013-01-02 北京联创信安科技有限公司 一种集群存储系统的数据管理方法及系统
WO2021259094A1 (zh) * 2020-06-23 2021-12-30 中兴通讯股份有限公司 跨云平台虚拟机迁移方法、装置、存储介质及电子装置
WO2022002209A1 (zh) * 2020-07-01 2022-01-06 中兴通讯股份有限公司 数据传输方法和代理服务器、存储介质及电子装置
CN116233107A (zh) * 2022-12-16 2023-06-06 中电金信软件有限公司 一种文件传输方法、装置、电子设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855284A (zh) * 2012-08-03 2013-01-02 北京联创信安科技有限公司 一种集群存储系统的数据管理方法及系统
WO2021259094A1 (zh) * 2020-06-23 2021-12-30 中兴通讯股份有限公司 跨云平台虚拟机迁移方法、装置、存储介质及电子装置
WO2022002209A1 (zh) * 2020-07-01 2022-01-06 中兴通讯股份有限公司 数据传输方法和代理服务器、存储介质及电子装置
CN116233107A (zh) * 2022-12-16 2023-06-06 中电金信软件有限公司 一种文件传输方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN117009310B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
US10664493B2 (en) Replication of data objects from a source server to a target server
JP6774499B2 (ja) オフラインでのハイブリッドアプリケーションへのアクセスの提供
US11741046B2 (en) Method and apparatus for creating system disk snapshot of virtual machine
US8499191B2 (en) Failure recovery method for information processing service and virtual machine image generation apparatus
US10425480B2 (en) Service plan tiering, protection, and rehydration strategies
US20120191675A1 (en) Device and method for eliminating file duplication in a distributed storage system
JP5501280B2 (ja) 情報処理システム、バックアップ管理方法、及びプログラム
US8904137B1 (en) Deduplication system space recycling through inode manipulation
CN106062742B (zh) 用于改进快照性能的系统和方法
US20080243878A1 (en) Removal
US20160350326A1 (en) Concurrency control in virtual file system
KR20140057577A (ko) 효율적인 애플리케이션-인식 재난 복구
US11032156B1 (en) Crash-consistent multi-volume backup generation
US20190188309A1 (en) Tracking changes in mirrored databases
US20160088080A1 (en) Data migration preserving storage efficiency
US9749193B1 (en) Rule-based systems for outcome-based data protection
CN106790403B (zh) 实现移动云计算中间平台的方法及实现分布式的方法
US20210303594A1 (en) Recovering from a failure of an asynchronous replication node
US20210182253A1 (en) System and method for policy based migration using mtree replication with data protection applications
US11500813B2 (en) Instant replay of a file to a cloud tier on a deduplication file system
US11086557B2 (en) Continuous asynchronous replication from on-premises storage to cloud object stores
CN110958293B (zh) 基于云服务器的文件传输方法、系统、服务器及存储介质
CN117009310B (zh) 文件同步方法、装置、分布式全局内容库系统及电子设备
US9830471B1 (en) Outcome-based data protection using multiple data protection systems
US10587685B2 (en) Cross-platform replication of logical units

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant