CN104881411A - 存储系统间文件的处理方法及装置 - Google Patents

存储系统间文件的处理方法及装置 Download PDF

Info

Publication number
CN104881411A
CN104881411A CN201410069682.1A CN201410069682A CN104881411A CN 104881411 A CN104881411 A CN 104881411A CN 201410069682 A CN201410069682 A CN 201410069682A CN 104881411 A CN104881411 A CN 104881411A
Authority
CN
China
Prior art keywords
file
storage system
identification information
described file
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410069682.1A
Other languages
English (en)
Other versions
CN104881411B (zh
Inventor
余俊
雷继斌
陈立兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Chengdu Software and Technology Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201410069682.1A priority Critical patent/CN104881411B/zh
Publication of CN104881411A publication Critical patent/CN104881411A/zh
Application granted granted Critical
Publication of CN104881411B publication Critical patent/CN104881411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种存储系统间文件的处理方法及装置。本申请实施例在目标存储系统中,读取文件失败之后,通过获取所述文件的文件标识信息,所述文件的文件标识信息中包含所述文件所在的源存储系统的存储系统标识信息,使得能够根据所述文件的文件标识信息,在所述源存储系统中读取所述文件,能够避免现有技术中由于存储系统之间的文件同步具有一定的时间延迟而导致的在一个存储系统中无法读取另一个存储系统中所写入的文件的问题,从而提高了文件读取的可靠性。

Description

存储系统间文件的处理方法及装置
【技术领域】
本申请涉及存储系统的文件处理技术,尤其涉及一种存储系统间文件的处理方法及装置。
【背景技术】
随着全球化、国际化进程的加速,对于不同地域的用户,同一个服务,例如,网站等,可以提供不同的存储系统,以实现文件的安全备份、文件读取速度的提高等目的。这些存储系统之间要求保持文件同步,以使得其中所存储的文件的内容相一致。现有技术中,可以利用文件同步技术,实现存储系统之间的文件同步。
然而,由于存储系统之间的文件同步具有一定的时间延迟,在一些情况下,例如,存储系统之间的物理距离较长,文件在一个存储系统中写入与文件在另一个存储系统中读取之间的间隔时间非常短,等,会使得在一个存储系统中无法读取另一个存储系统中所写入的文件,从而导致了文件读取的可靠性的降低。
【发明内容】
本申请的多个方面提供一种存储系统间文件的处理方法及装置,用以提高文件读取的可靠性。
本申请的一方面,提供一种存储系统间文件的处理方法,包括:
在目标存储系统中,读取文件失败;
获取所述文件的文件标识信息,所述文件的文件标识信息中包含所述文件所在的源存储系统的存储系统标识信息;
根据所述文件的文件标识信息,在所述源存储系统中读取所述文件。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述获取所述文件的文件标识信息,所述文件的文件标识信息中包含所述文件所在的源存储系统的存储系统标识信息,包括:
从所接收的文件读取请求,获取所述文件的文件标识信息,所述文件读取请求中包含所述文件的文件标识信息;或者
从所接收的文件读取请求,获取所述文件的访问标识信息,所述文件读取请求中包含所述文件的访问标识信息;根据所述文件的访问标识信息,获取所述文件的文件标识信息。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述获取所述文件的文件标识信息,所述文件的文件标识信息中包含所述文件所在的源存储系统的存储系统标识信息之前,还包括:
在所述源存储系统中,写入所述文件;
生成所述文件的文件标识信息。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述在所述源存储系统中,写入所述文件之后,还包括:
利用文件同步技术,将所述文件写入所述目标存储系统中。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述在所述源存储系统中,写入所述文件之后,还包括:
生成所述文件的生成记录。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述生成所述文件的生成记录之后,还包括:
根据所述文件的生成记录,将所述文件写入所述目标存储系统中。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述根据所述文件的文件标识信息,在所述源存储系统中读取所述文件之后,还包括:
将所述读取的所述文件写入到所述目标存储系统中。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述获取所述文件的文件标识信息,所述文件的文件标识信息中包含所述文件所在的源存储系统的存储系统标识信息之后,还包括
根据所述文件的文件标识信息,在所述源存储系统中读取所述文件失败;
在所述目标存储系统中,写入空白文件;
将所述文件的文件标识信息,作为所述空白文件的文件标识信息。
本申请的另一方面,提供一种存储系统间文件的处理装置,包括:
本地读取单元,用于在目标存储系统中,读取文件失败;
获取单元,用于获取所述文件的文件标识信息,所述文件的文件标识信息中包含所述文件所在的源存储系统的存储系统标识信息;
远程读取单元,用于根据所述文件的文件标识信息,在所述源存储系统中读取所述文件。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述获取单元,具体用于
接收文件读取请求,所述文件读取请求中包含所述文件的文件标识信息;或者
接收文件读取请求,所述文件读取请求中包含所述文件的访问标识信息,根据所述文件的访问标识信息,获取所述文件的文件标识信息。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述装置还包括写入单元,用于
在所述源存储系统中,写入所述文件;以及
生成所述文件的文件标识信息。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述写入单元,还用于
利用文件同步技术,将所述文件写入所述目标存储系统中。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述写入单元,还用于
生成所述文件的生成记录。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述写入单元,还用于
根据所述文件的生成记录,将所述文件写入所述目标存储系统中。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述写入单元,还用于
将所述读取单元所读取的所述文件写入到所述目标存储系统中。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,
所述远程读取单元,还用于
根据所述文件的文件标识信息,在所述源存储系统中读取所述文件失败;
所述装置还包括处理单元,用于
在所述目标存储系统中,写入空白文件;以及
将所述文件的文件标识信息,作为所述空白文件的文件标识信息。
由上述技术方案可知,本申请实施例在目标存储系统中,读取文件失败之后,通过获取所述文件的文件标识信息,所述文件的文件标识信息中包含所述文件所在的源存储系统的存储系统标识信息,使得能够根据所述文件的文件标识信息,在所述源存储系统中读取所述文件,能够避免现有技术中由于存储系统之间的文件同步具有一定的时间延迟而导致的在一个存储系统中无法读取另一个存储系统中所写入的文件的问题,从而提高了文件读取的可靠性。
另外,采用本申请提供的技术方案,由于在源存储系统中,写入文件之后,还进一步生成了所述文件的生成记录,使得能够根据所述文件的生成记录,主动将所述文件写入所述目标存储系统中,能够有效提高文件同步的实时性。
另外,采用本申请提供的技术方案,由于在读取文件的过程中,还进一步将所读取的所述文件写入到所述目标存储系统中,能够实现源存储系统与目标存储系统之间的文件同步。
另外,采用本申请提供的技术方案,由于在根据文件的文件标识信息,在源存储系统中读取文件失败之后,还进一步在所述目标存储系统中,写入空白文件,并将所述文件的文件标识信息,作为所述空白文件的文件标识信息,能够避免下一次再读取该文件时反复返回源存储系统中读取,能够有效降低处理负荷,节省网络资源。
【附图说明】
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的存储系统间文件的处理方法的流程示意图;
图2为本申请另一实施例提供的存储系统间文件的处理装置的结构示意图;
图3为本申请另一实施例提供的存储系统间文件的处理装置的结构示意图;
图4为本申请另一实施例提供的存储系统间文件的处理装置的结构示意图。
【具体实施方式】
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例中所涉及的存储系统,包括目标存储系统或源存储系统,可以为分布式文件系统(Distributed File System,DFS),或者还可以为集中式文件系统,本申请对此不进行特别限定。
需要说明的是,本申请实施例中所涉及的终端可以包括但不限于手机、个人数字助理(Personal Digital Assistant,PDA)、无线手持设备、平板电脑(Tablet Computer)、个人电脑(Personal Computer,PC)、MP3播放器、MP4播放器等。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
图1为本申请一实施例提供的存储系统间文件的处理方法的流程示意图,如图1所示。
101、在目标存储系统中,读取文件失败。
可选地,在本实施例的一个可能的实现方式中,具体可以接收文件读取请求,所述文件读取请求中包含所述文件的文件标识信息,进而根据所述文件的文件标识信息,在目标存储系统中,读取所述文件。其中,文件读取请求为访问者的客户端所发送的。
可选地,在本实施例的一个可能的实现方式中,具体可以接收文件读取请求,所述文件读取请求中包含所述文件的访问标识信息,进而根据所述文件的访问标识信息,在目标存储系统中,读取所述文件。其中,文件读取请求为访问者的客户端所发送的。
可以理解的是,所述客户端可以是安装在终端上的应用程序,或者还可以是浏览器的一个网页,只要能够实现文件读取的客观存在形式都可以,本申请对此不进行特别限定。
由于目标存储系统与源存储系统之间的文件同步具有一定的时间延迟,在一些情况下,例如,存储系统之间的物理距离较长,文件在一个存储系统中写入与文件在另一个存储系统中读取之间的间隔时间非常短,等,会使得在一个存储系统即目标存储系统中无法读取另一个存储系统即源存储系统中所写入的文件,即在目标存储系统中,读取文件失败。
102、获取所述文件的文件标识信息,所述文件的文件标识信息中包含所述文件所在的源存储系统的存储系统标识信息。
其中,所述文件的文件标识信息可以为一个全局唯一的标识,例如,文件名等,用以在全局标识一个文件。
可选地,在本实施例的一个可能的实现方式中,在102中,具体可以从所接收的文件读取请求,获取所述文件的文件标识信息,所述文件读取请求中包含所述文件的文件标识信息。
可选地,在本实施例的一个可能的实现方式中,在102中,具体还可以从所接收的文件读取请求,获取所述文件的访问标识信息,所述文件读取请求中包含所述文件的访问标识信息;根据所述文件的访问标识信息,获取所述文件的文件标识信息。
其中,所述访问标识信息,可以为一个目标存储系统中唯一的标识,例如,文件名,用以在目标存储系统中标识一个文件。
103、根据所述文件的文件标识信息,在所述源存储系统中读取所述文件。
需要说明的是,101~103的执行主体可以为文件同步系统,该文件同步系统可以包括源存储系统的文件同步系统和目标存储系统的文件同步系统。具体地,101与102的执行主体可以为目标存储系统的文件同步系统,103的执行主体可以为源存储系统的文件同步系统和目标存储系统的文件同步系统。
可选地,在本实施例的一个可能的实现方式中,在103中,目标存储系统的文件同步系统具体可以将所述文件的文件标识信息,发送给源存储系统的文件同步系统,由源存储系统的文件同步系统根据所述文件的文件标识信息,在源存储系统中,读取所述文件。源存储系统的文件同步系统将所读取的所述文件,发送给所述目标存储系统的文件同步系统。
这样,目标存储系统的文件同步系统就可以将所述文件,提供给访问者的客户端了。
可选地,在本实施例的一个可能的实现方式中,在102之前,还可以进一步在所述源存储系统中,写入所述文件,并生成所述文件的文件标识信息。
进一步可选地,在所述源存储系统中,写入所述文件之后,还可以进一步利用文件同步技术,将所述文件写入所述目标存储系统中。例如,rsync与inotify-tools、Openduckbill与inotify-tools、rsync与sersync或otter等文件同步工具,详细描述可以参见现有技术中的相关内容,此处不再赘述。
进一步可选地,在所述源存储系统中,写入所述文件之后,还可以进一步生成所述文件的生成记录。相应地,则可以根据所述文件的生成记录,将所述文件写入所述目标存储系统中。具体地,源存储系统的文件同步系统具体可以监听所述文件的生成记录。源存储系统的文件同步系统将所生成的所述文件的生成记录发送给目标存储系统的文件同步系统,由目标存储系统的文件同步系统下载所述文件,即根据所述文件的文件标识信息,在所述源存储系统中读取所述文件。然后,目标存储系统的文件同步系统将所读取的所述文件写入所述目标存储系统中。
需要说明的是,在源存储系统中,对文件所进行的任何操作,例如,写入、修改或删除等操作,都可以进一步生成所述文件的操作记录。其中,所述操作记录可以包括但不限于生成记录、修改记录和删除记录中的至少一个。具体地,源存储系统的文件同步系统具体可以监听所述文件的操作记录,其中,所述操作记录可以包括但不限于生成记录、修改记录和删除记录中的至少一个。源存储系统的文件同步系统将所生成的所述文件的操作记录发送给目标存储系统的文件同步系统,由目标存储系统的文件同步系统根据所述文件的操作记录,进行相应的操作,例如,写入、修改或删除等操作。
这样,由于在源存储系统中,写入文件之后,还进一步生成了所述文件的生成记录,使得能够根据所述文件的生成记录,主动将所述文件写入所述目标存储系统中,能够有效提高文件同步的实时性。
可选地,在本实施例的一个可能的实现方式中,在103之后,还可以进一步将通过执行103所读取的所述文件写入到所述目标存储系统中。
这样,由于在读取文件的过程中,还进一步将所读取的所述文件写入到所述目标存储系统中,能够实现源存储系统与目标存储系统之间的文件同步。
由于文件读取的随意性,可能会出现源存储系统中根本不存在所要读取的文件,因此,可选地,在本实施例的一个可能的实现方式中,在102之后,根据所述文件的文件标识信息,在所述源存储系统中读取所述文件失败。此时,具体可以在所述目标存储系统中,写入空白文件,并将所述文件的文件标识信息,作为所述空白文件的文件标识信息。
这样,由于在根据文件的文件标识信息,在源存储系统中读取文件失败之后,还进一步在所述目标存储系统中,写入空白文件,并将所述文件的文件标识信息,作为所述空白文件的文件标识信息,能够避免下一次再读取该文件时反复返回源存储系统中读取,能够有效降低处理负荷,节省网络资源。
可以理解的是,本申请中,还可以进一步对源存储系统中所写入的文件进行修改或删除等操作。在操作的过程中,还可以进一步生成文件的修改记录或文件的删除记录等操作记录。相应地,则可以根据所述文件的操作记录,对目标存储系统中所写入的所述文件进行重新写入或删除等相关操作。
一般来说,目标存储系统与源存储系统,分别位于不同的物理位置,例如,一个存储系统位于中国的互联网数据中心(Internet Data Center,IDC)机房内部,另一个存储系统位于美国的IDC机房内部,等。IDC机房,就是电信部门利用已有的互联网通信线路、带宽资源,建立标准化的电信专业级机房环境,为企业、政府提供服务器托管、租用以及相关增值等方面的全方位服务。现有技术中,可以利用文件同步技术,实现存储系统之间的文件同步。两个物理位置之间的距离越长,两个存储系统之间的文件同步所具有的时间延迟可能会越长,例如,大于或等于100毫秒(ms)。
可以理解的是,目标存储系统可以为一个,或者还可以为两个或两个以上,本申请对此不进行特别限定。每个目标存储系统都可以对应各自的目标存储系统的文件同步系统。
这样,采用本申请提供的技术方案,使得在全球多个IDC机房之间,任意一个IDC机房的存储系统中,写入一个文件之后,在其他IDC机房的存储系统中,能够实时读取该文件,从而实现了在跨地域、高延时下的数据同步。
本实施例中,在目标存储系统中,读取文件失败之后,通过获取所述文件的文件标识信息,所述文件的文件标识信息中包含所述文件所在的源存储系统的存储系统标识信息,使得能够根据所述文件的文件标识信息,在所述源存储系统中读取所述文件,能够避免现有技术中由于存储系统之间的文件同步具有一定的时间延迟而导致的在一个存储系统中无法读取另一个存储系统中所写入的文件的问题,从而提高了文件读取的可靠性。
另外,采用本申请提供的技术方案,由于在源存储系统中,写入文件之后,还进一步生成了所述文件的生成记录,使得能够根据所述文件的生成记录,主动将所述文件写入所述目标存储系统中,能够有效提高文件同步的实时性。
另外,采用本申请提供的技术方案,由于在读取文件的过程中,还进一步将所读取的所述文件写入到所述目标存储系统中,能够实现源存储系统与目标存储系统之间的文件同步。
另外,采用本申请提供的技术方案,由于在根据文件的文件标识信息,在源存储系统中读取文件失败之后,还进一步在所述目标存储系统中,写入空白文件,并将所述文件的文件标识信息,作为所述空白文件的文件标识信息,能够避免下一次再读取该文件时反复返回源存储系统中读取,能够有效降低处理负荷,节省网络资源。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
图2为本申请另一实施例提供的存储系统间文件的处理装置的结构示意图,如图2所示。本实施例的存储系统间文件的处理装置可以包括本地读取单元21、获取单元22和远程读取单元23。其中,本地读取单元21,用于在目标存储系统中,读取文件失败;获取单元22,用于获取所述文件的文件标识信息,所述文件的文件标识信息中包含所述文件所在的源存储系统的存储系统标识信息;远程读取单元23,用于根据所述文件的文件标识信息,在所述源存储系统中读取所述文件。
其中,所述文件的文件标识信息可以为一个全局唯一的标识,例如,文件名等,用以在全局标识一个文件。
可选地,在本实施例的一个可能的实现方式中,本地读取单元21具体可以接收文件读取请求,所述文件读取请求中包含所述文件的文件标识信息,进而根据所述文件的文件标识信息,在目标存储系统中,读取所述文件。其中,文件读取请求为访问者的客户端所发送的。
可选地,在本实施例的一个可能的实现方式中,本地读取单元21具体可以接收文件读取请求,所述文件读取请求中包含所述文件的访问标识信息,进而根据所述文件的访问标识信息,在目标存储系统中,读取所述文件。其中,文件读取请求为访问者的客户端所发送的。
可以理解的是,所述客户端可以是安装在终端上的应用程序,或者还可以是浏览器的一个网页,只要能够实现文件读取的客观存在形式都可以,本申请对此不进行特别限定。
由于目标存储系统与源存储系统之间的文件同步具有一定的时间延迟,在一些情况下,例如,存储系统之间的物理距离较长,文件在一个存储系统中写入与文件在另一个存储系统中读取之间的间隔时间非常短,等,会使得本地读取单元21在一个存储系统即目标存储系统中无法读取另一个存储系统即源存储系统中所写入的文件,即本地读取单元21在目标存储系统中,读取文件失败。
可选地,在本实施例的一个可能的实现方式中,所述获取单元22,具体可以用于从所接收的文件读取请求,获取所述文件的文件标识信息,所述文件读取请求中包含所述文件的文件标识信息。
可选地,在本实施例的一个可能的实现方式中,所述获取单元22,具体可以用于从所接收的文件读取请求,获取所述文件的访问标识信息,所述文件读取请求中包含所述文件的访问标识信息;根据所述文件的访问标识信息,获取所述文件的文件标识信息。
其中,所述访问标识信息,可以为一个目标存储系统中唯一的标识,例如,文件名,用以在目标存储系统中标识一个文件。
需要说明的是,本实施例提供的存储系统间文件的处理装置可以为文件同步系统,该文件同步系统可以包括源存储系统的文件同步系统和目标存储系统的文件同步系统。具体地,本地读取单元21与获取单元22可以为目标存储系统的文件同步系统,远程读取单元23可以包括源存储系统的文件同步系统和目标存储系统的文件同步系统。
可选地,在本实施例的一个可能的实现方式中,远程读取单元23所包括的目标存储系统的文件同步系统具体可以将所述文件的文件标识信息,发送给远程读取单元23所包括的源存储系统的文件同步系统,由源存储系统的文件同步系统根据所述文件的文件标识信息,在源存储系统中,读取所述文件。源存储系统的文件同步系统将所读取的所述文件,发送给所述目标存储系统的文件同步系统。
这样,目标存储系统的文件同步系统就可以将所述文件,提供给访问者的客户端了。
可选地,在本实施例的一个可能的实现方式中,如图3所示,本实施例提供的存储系统间文件的处理装置还可以进一步包括写入单元31,用于在所述源存储系统中,写入所述文件;以及生成所述文件的文件标识信息。
进一步可选地,所述写入单元31,还可以进一步用于利用文件同步技术,将所述文件写入所述目标存储系统中。例如,rsync与inotify-tools、Openduckbill与inotify-tools、rsync与sersync或otter等文件同步工具,详细描述可以参见现有技术中的相关内容,此处不再赘述。
进一步可选地,所述写入单元31,还可以进一步用于生成所述文件的生成记录。相应地,所述写入单元31,则可以用于根据所述文件的生成记录,将所述文件写入所述目标存储系统中。其中,所述写入单元31可以包括源存储系统的文件同步系统和目标存储系统的文件同步系统。具体地,所述写入单元31所包括的源存储系统的文件同步系统具体可以监听所述文件的生成记录。源存储系统的文件同步系统将所生成的所述文件的生成记录发送给所述写入单元31所包括的目标存储系统的文件同步系统,由目标存储系统的文件同步系统下载所述文件,即根据所述文件的文件标识信息,在所述源存储系统中读取所述文件。然后,目标存储系统的文件同步系统将所读取的所述文件写入所述目标存储系统中。
需要说明的是,在源存储系统中,所述写入单元31对文件所进行的任何操作,例如,写入、修改或删除等操作,都可以进一步生成所述文件的操作记录。其中,所述操作记录可以包括但不限于生成记录、修改记录和删除记录中的至少一个。具体地,所述写入单元31所包括的源存储系统的文件同步系统具体可以监听所述文件的操作记录,其中,所述操作记录可以包括但不限于生成记录、修改记录和删除记录中的至少一个。源存储系统的文件同步系统将所生成的所述文件的操作记录发送给所述写入单元31所包括的目标存储系统的文件同步系统,由目标存储系统的文件同步系统根据所述文件的操作记录,进行相应的操作,例如,写入、修改或删除等操作。
这样,由于写入单元在源存储系统中,写入文件之后,还进一步生成了所述文件的生成记录,使得能够根据所述文件的生成记录,主动将所述文件写入所述目标存储系统中,能够有效提高文件同步的实时性。
可选地,在本实施例的一个可能的实现方式中,所述写入单元31,还可以进一步用于将所述读取单元21所读取的所述文件写入到所述目标存储系统中。
这样,由于在读取文件的过程中,写入单元还进一步将所读取的所述文件写入到所述目标存储系统中,能够实现源存储系统与目标存储系统之间的文件同步。
由于文件读取的随意性,可能会出现源存储系统中根本不存在所要读取的文件,因此,可选地,在本实施例的一个可能的实现方式中,所述远程读取单元23,还可以进一步用于根据所述文件的文件标识信息,在所述源存储系统中读取所述文件失败;如图4所示,本实施例提供的存储系统间文件的处理装置还可以进一步包括处理单元41,用于在所述目标存储系统中,写入空白文件;以及将所述文件的文件标识信息,作为所述空白文件的文件标识信息。其中,处理单元41可以为目标存储系统的文件同步系统。
这样,由于在远程读取单元23根据文件的文件标识信息,在源存储系统中读取文件失败之后,处理单元41还进一步在所述目标存储系统中,写入空白文件,并将所述文件的文件标识信息,作为所述空白文件的文件标识信息,能够避免下一次再读取该文件时反复返回源存储系统中读取,能够有效降低处理负荷,节省网络资源。
可以理解的是,本申请中,所述存储系统间文件的处理装置还可以进一步对源存储系统中所写入的文件进行修改或删除等操作。在操作的过程中,还可以进一步生成文件的修改记录或文件的删除记录等操作记录。相应地,所述存储系统间文件的处理装置则可以根据所述文件的操作记录,对目标存储系统中所写入的所述文件进行重新写入或删除等相关操作。
一般来说,目标存储系统与源存储系统,分别位于不同的物理位置,例如,一个存储系统位于中国的IDC机房内部,另一个存储系统位于美国的IDC机房内部,等。IDC机房,就是电信部门利用已有的互联网通信线路、带宽资源,建立标准化的电信专业级机房环境,为企业、政府提供服务器托管、租用以及相关增值等方面的全方位服务。现有技术中,可以利用文件同步技术,实现存储系统之间的文件同步。两个物理位置之间的距离越长,两个存储系统之间的文件同步所具有的时间延迟可能会越长,例如,大于或等于100毫秒(ms)。
可以理解的是,目标存储系统可以为一个,或者还可以为两个或两个以上,本申请对此不进行特别限定。每个目标存储系统都可以对应各自的目标存储系统的文件同步系统。
这样,采用本申请提供的技术方案,使得在全球多个IDC机房之间,任意一个IDC机房的存储系统中,写入一个文件之后,在其他IDC机房的存储系统中,能够实时读取该文件,从而实现了在跨地域、高延时下的数据同步。
本实施例中,在本地读取单元在目标存储系统中,读取文件失败之后,通过获取单元获取所述文件的文件标识信息,所述文件的文件标识信息中包含所述文件所在的源存储系统的存储系统标识信息,使得远程读取单元能够根据所述文件的文件标识信息,在所述源存储系统中读取所述文件,能够避免现有技术中由于存储系统之间的文件同步具有一定的时间延迟而导致的在一个存储系统中无法读取另一个存储系统中所写入的文件的问题,从而提高了文件读取的可靠性。
另外,采用本申请提供的技术方案,由于在源存储系统中,写入文件之后,还进一步生成了所述文件的生成记录,使得能够根据所述文件的生成记录,主动将所述文件写入所述目标存储系统中,能够有效提高文件同步的实时性。
另外,采用本申请提供的技术方案,由于在读取文件的过程中,还进一步将所读取的所述文件写入到所述目标存储系统中,能够实现源存储系统与目标存储系统之间的文件同步。
另外,采用本申请提供的技术方案,由于在根据文件的文件标识信息,在源存储系统中读取文件失败之后,还进一步在所述目标存储系统中,写入空白文件,并将所述文件的文件标识信息,作为所述空白文件的文件标识信息,能够避免下一次再读取该文件时反复返回源存储系统中读取,能够有效降低处理负荷,节省网络资源。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (16)

1.一种存储系统间文件的处理方法,其特征在于,包括:
在目标存储系统中,读取文件失败;
获取所述文件的文件标识信息,所述文件的文件标识信息中包含所述文件所在的源存储系统的存储系统标识信息;
根据所述文件的文件标识信息,在所述源存储系统中读取所述文件。
2.根据权利要求1所述的方法,其特征在于,所述获取所述文件的文件标识信息,所述文件的文件标识信息中包含所述文件所在的源存储系统的存储系统标识信息,包括:
从所接收的文件读取请求,获取所述文件的文件标识信息,所述文件读取请求中包含所述文件的文件标识信息;或者
从所接收的文件读取请求,获取所述文件的访问标识信息,所述文件读取请求中包含所述文件的访问标识信息;根据所述文件的访问标识信息,获取所述文件的文件标识信息。
3.根据权利要求1所述的方法,其特征在于,所述获取所述文件的文件标识信息,所述文件的文件标识信息中包含所述文件所在的源存储系统的存储系统标识信息之前,还包括:
在所述源存储系统中,写入所述文件;
生成所述文件的文件标识信息。
4.根据权利要求3所述的方法,其特征在于,所述在所述源存储系统中,写入所述文件之后,还包括:
利用文件同步技术,将所述文件写入所述目标存储系统中。
5.根据权利要求3所述的方法,其特征在于,所述在所述源存储系统中,写入所述文件之后,还包括:
生成所述文件的生成记录。
6.根据权利要求5所述的方法,其特征在于,所述生成所述文件的生成记录之后,还包括:
根据所述文件的生成记录,将所述文件写入所述目标存储系统中。
7.根据权利要求1~6任一权利要求所述的方法,其特征在于,所述根据所述文件的文件标识信息,在所述源存储系统中读取所述文件之后,还包括:
将所述读取的所述文件写入到所述目标存储系统中。
8.根据权利要求1~6任一权利要求所述的方法,其特征在于,所述获取所述文件的文件标识信息,所述文件的文件标识信息中包含所述文件所在的源存储系统的存储系统标识信息之后,还包括
根据所述文件的文件标识信息,在所述源存储系统中读取所述文件失败;
在所述目标存储系统中,写入空白文件;
将所述文件的文件标识信息,作为所述空白文件的文件标识信息。
9.一种存储系统间文件的处理装置,其特征在于,包括:
本地读取单元,用于在目标存储系统中,读取文件失败;
获取单元,用于获取所述文件的文件标识信息,所述文件的文件标识信息中包含所述文件所在的源存储系统的存储系统标识信息;
远程读取单元,用于根据所述文件的文件标识信息,在所述源存储系统中读取所述文件。
10.根据权利要求9所述的装置,其特征在于,所述获取单元,具体用于
从所接收的文件读取请求,获取所述文件的文件标识信息,所述文件读取请求中包含所述文件的文件标识信息;或者
从所接收的文件读取请求,获取所述文件的访问标识信息,所述文件读取请求中包含所述文件的访问标识信息;根据所述文件的访问标识信息,获取所述文件的文件标识信息。
11.根据权利要求9所述的装置,其特征在于,所述装置还包括写入单元,用于
在所述源存储系统中,写入所述文件;以及
生成所述文件的文件标识信息。
12.根据权利要求11所述的装置,其特征在于,所述写入单元,还用于
利用文件同步技术,将所述文件写入所述目标存储系统中。
13.根据权利要求11所述的装置,其特征在于,所述写入单元,还用于
生成所述文件的生成记录。
14.根据权利要求13所述的装置,其特征在于,所述写入单元,还用于
根据所述文件的生成记录,将所述文件写入所述目标存储系统中。
15.根据权利要求9~14任一权利要求所述的装置,其特征在于,所述写入单元,还用于
将所述读取单元所读取的所述文件写入到所述目标存储系统中。
16.根据权利要求9~14任一权利要求所述的装置,其特征在于,
所述远程读取单元,还用于
根据所述文件的文件标识信息,在所述源存储系统中读取所述文件失败;
所述装置还包括处理单元,用于
在所述目标存储系统中,写入空白文件;以及
将所述文件的文件标识信息,作为所述空白文件的文件标识信息。
CN201410069682.1A 2014-02-27 2014-02-27 存储系统间文件的处理方法及装置 Active CN104881411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410069682.1A CN104881411B (zh) 2014-02-27 2014-02-27 存储系统间文件的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410069682.1A CN104881411B (zh) 2014-02-27 2014-02-27 存储系统间文件的处理方法及装置

Publications (2)

Publication Number Publication Date
CN104881411A true CN104881411A (zh) 2015-09-02
CN104881411B CN104881411B (zh) 2019-08-27

Family

ID=53948906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410069682.1A Active CN104881411B (zh) 2014-02-27 2014-02-27 存储系统间文件的处理方法及装置

Country Status (1)

Country Link
CN (1) CN104881411B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108984107A (zh) * 2017-06-02 2018-12-11 伊姆西Ip控股有限责任公司 提高存储系统的可用性
CN112416878A (zh) * 2020-11-09 2021-02-26 山西云时代技术有限公司 一种基于云平台的文件同步管理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436151A (zh) * 2008-12-01 2009-05-20 成都索贝数码科技股份有限公司 基于文件系统的数据实时备份方法及其系统
EP2120159A1 (en) * 2008-05-12 2009-11-18 Research In Motion Limited Auto-selection of media files
CN102591964A (zh) * 2011-12-30 2012-07-18 北京新媒传信科技有限公司 数据读写分离机制的实现方法和装置
CN102624537A (zh) * 2011-01-27 2012-08-01 北京东方广视科技股份有限公司 一种数据恢复系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2120159A1 (en) * 2008-05-12 2009-11-18 Research In Motion Limited Auto-selection of media files
CN101436151A (zh) * 2008-12-01 2009-05-20 成都索贝数码科技股份有限公司 基于文件系统的数据实时备份方法及其系统
CN102624537A (zh) * 2011-01-27 2012-08-01 北京东方广视科技股份有限公司 一种数据恢复系统及方法
CN102591964A (zh) * 2011-12-30 2012-07-18 北京新媒传信科技有限公司 数据读写分离机制的实现方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108984107A (zh) * 2017-06-02 2018-12-11 伊姆西Ip控股有限责任公司 提高存储系统的可用性
CN108984107B (zh) * 2017-06-02 2021-06-29 伊姆西Ip控股有限责任公司 提高存储系统的可用性
US11341003B2 (en) 2017-06-02 2022-05-24 EMC IP Holding Company LLC Availability of a storage system
CN112416878A (zh) * 2020-11-09 2021-02-26 山西云时代技术有限公司 一种基于云平台的文件同步管理方法

Also Published As

Publication number Publication date
CN104881411B (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN105787077A (zh) 数据同步方法和装置
CN112560078B (zh) 区块链数据处理方法、装置、设备及介质
CN112491602B (zh) 行为数据的监控方法、装置、计算机设备及介质
CN104866542A (zh) 一种poi数据验证方法和装置
CN104144419A (zh) 一种身份验证的方法、装置及系统
CN105389177A (zh) 一种软件版本确认方法、装置及系统
CN104199654A (zh) 开放平台的调用方法及装置
CN104866509A (zh) 页面元素的定位方法及装置
CN103177096B (zh) 基于文本属性的页面元素定位方法及设备
CN108259533A (zh) 一种数据传输方法和装置
CN104881454A (zh) 参数的更新方法及系统
CN103955495A (zh) 页面子资源的下载方法及装置
CN104580378A (zh) 安装包的处理方法及装置
CN104820794A (zh) 登录数据的处理方法及装置
JP7369229B2 (ja) ミニプログラムページのスキン切り替え方法、装置及び電子機器
CN105224418A (zh) 一种数据备份方法和装置
CN104809063A (zh) 分布式系统的测试方法及装置
CN111046010A (zh) 日志储存方法、装置、系统、电子设备和计算机可读介质
CN103473035A (zh) 截屏方法和装置
CN112436943B (zh) 基于大数据的请求去重方法、装置、设备及存储介质
CN104881411A (zh) 存储系统间文件的处理方法及装置
CN105677730A (zh) 一种读取网页资源的方法、装置及电子设备
CN104750824A (zh) 应用功能数据的处理方法及装置
CN112069137A (zh) 生成信息的方法、装置、电子设备及计算机可读存储介质
CN114338527B (zh) IPv6主动标识符处理方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221122

Address after: Unit 602-604, No. 601, Floor 6, Building 15, No. 1999, Yizhou Avenue, Chengdu Hi tech Zone, Chengdu Pilot Free Trade Zone, Sichuan Province (self numbered)

Patentee after: Alibaba (Chengdu) Software Technology Co.,Ltd.

Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK

Patentee before: ALIBABA GROUP HOLDING Ltd.