CN110914808A - 将文件复制和迁移到辅助存储站点 - Google Patents
将文件复制和迁移到辅助存储站点 Download PDFInfo
- Publication number
- CN110914808A CN110914808A CN201880046814.5A CN201880046814A CN110914808A CN 110914808 A CN110914808 A CN 110914808A CN 201880046814 A CN201880046814 A CN 201880046814A CN 110914808 A CN110914808 A CN 110914808A
- Authority
- CN
- China
- Prior art keywords
- file
- files
- secondary storage
- metadata
- migrated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000004590 computer program Methods 0.000 claims abstract description 23
- 239000012634 fragment Substances 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 15
- 230000005012 migration Effects 0.000 claims description 10
- 238000013508 migration Methods 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims 2
- 230000037430 deletion Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000007726 management method Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000010076 replication Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/184—Distributed file systems implemented as replicated file system
- G06F16/1844—Management specifically adapted to replicated file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/119—Details of migration of file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
Abstract
本发明提供了一种用于将文件复制和迁移至辅助存储站点的计算机程序产品、系统和方法。在主存储站点处的文件集中的文件被迁移至文件容器，其中迁移至文件容器的文件的数据在辅助存储站点之间分发。更新每个迁移文件的文件元数据以包括关于文件容器中的迁移文件的访问信息。在本地存储装置中删除迁移文件的数据。通过网络将迁移文件的文件元数据复制到辅助存储站点以在辅助存储站点处的文件集中存储，而不复制迁移文件的文件数据以在辅助存储站点处的文件集中存储。
Description
技术领域
本发明涉及一种用于将文件复制和迁移到辅助存储站点的计算机程序产品、系统和方法。
背景技术
灾难恢复系统将数据的文件集从主站点镜像到一个或多个辅助站点。在主要站点处故障的情况下，来自连接的主机的读取和写入请求可被重定向到辅助站点。进一步，网络中的系统可实现云分层(tiering)，其中文件被传送到云对象存储以在本地存储上腾出空间，诸如国际商业机器公司(IBM)云对象存储系统TM、
服务、
(云对象存储(CLOUD OBJECT STORAGE)是IBM的商标，AWS是AmazonWebServices的商标，OpenStack是OpenStackFoundation的商标)。在云分层之后，在文件系统上将仅存在存根(stub)。当存根被访问时，由访问的存根表示的文件被透明调用。
所描述的实施例提供用于出于灾难恢复目的而在辅助站点处维护数据的冗余副本的改进技术。
发明内容
本发明提供了一种用于将文件复制和迁移至辅助存储站点的计算机程序产品、系统和方法。主存储站点处的文件集中的文件被迁移至文件容器，其中迁移至文件容器的文件的数据在辅助存储站点之间分发。更新每个迁移文件的文件元数据以包括关于文件容器中的迁移文件的访问信息。在本地存储装置中删除迁移文件的数据。通过网络将迁移文件的文件元数据复制到辅助存储站点以存储在辅助存储站点处的文件集中，而不复制迁移文件的文件数据以存储在辅助存储站点处的文件集中。
根据一个方面，提供了一种用于通过网络管理在主存储站点和辅助存储站点处的文件集中的文件的计算机程序产品，其中所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有体现在其上的程序指令，所述程序指令可由处理器执行以引起操作，该操作包括：将所述主存储站点处的文件集中的文件迁移到文件容器，其中迁移到所述文件容器的所述文件的数据在所述辅助存储站点之间分发；更新每个迁移文件的文件元数据以包括关于所述文件容器中的所述迁移文件的访问信息；删除本地存储装置中的所述迁移文件的数据；以及，通过所述网络将所述迁移文件的所述文件元数据复制到所述辅助存储站点以存储在所述辅助存储站点处的文件集中，而不复制所述迁移文件的文件数据以存储在所述辅助存储站点处的所述文件集中。
根据另一个方面，提供了一种用于管理在通过网络与多个辅助存储站点通信的主存储站点处的文件集中的文件的系统，包括：具有文件集的本地存储装置；具有文件容器的对象存储装置；服务器，所述服务器与所述本地存储装置和所述对象存储装置通信，以执行包括以下各项的操作：将所述文件集的一个文件集中的文件迁移到所述文件容器，其中，迁移到所述文件容器的所述文件的数据在所述辅助存储站点之间分发；更新每个迁移文件的文件元数据以包括关于所述文件容器中的所述迁移文件的访问信息；删除本地存储装置中的所述迁移文件的数据；以及，通过所述网络将所述迁移文件的所述文件元数据复制到所述辅助存储站点以存储在所述辅助存储站点处的文件集中，而不复制所述迁移文件的文件数据以存储在所述辅助存储站点处的所述文件集中。
根据另一个方面，提供了一种用于管理文件的系统，包括：主存储站点；通过网络与所述主存储站点通信的多个辅助存储站点；其中，所述主存储站点包括：具有文件集的本地存储装置；具有文件容器的对象存储装置；服务器，所述服务器与所述本地存储装置和所述对象存储装置通信，以执行包括以下各项的操作：将所述文件集的一个文件集中的文件迁移到所述文件容器，其中，迁移到所述文件容器的所述文件的数据在所述辅助存储站点之间分发；更新每个迁移文件的文件元数据以包括关于所述文件容器中的所述迁移文件的访问信息；删除本地存储装置中的所述迁移文件的数据；以及，通过所述网络将所述迁移文件的所述文件元数据复制到所述辅助存储站点以存储在所述辅助存储站点处的文件集中，而不复制所述迁移文件的文件数据以存储在所述辅助存储站点处的所述文件集中。
根据另一个方面，提供了一种用于通过网络管理在主存储站点和辅助存储站点处的文件集中的文件的方法，包括：将所述主存储站点处的文件集中的文件迁移到文件容器，其中迁移到所述文件容器的所述文件的数据在所述辅助存储站点之间分发；更新每个迁移文件的文件元数据以包括关于所述文件容器中的所述迁移文件的访问信息；删除本地存储装置中的所述迁移文件的数据；以及通过所述网络将所述迁移文件的所述文件元数据复制到所述辅助存储站点以存储在所述辅助存储站点处的文件集中，而不复制所述迁移文件的文件数据以存储在所述辅助存储站点处的所述文件集中。
通过上述实施例，在将文件迁移至其内容分发在主、辅助存储站点中的对象文件容器时，仅将文件元数据迁移至辅助存储站点的文件集，而不是将实际文件作为对象迁移至文件容器。这节省了网络带宽，因为非常大的文件的多个实例没有与作为对象迁移到要分发到辅助存储站点的文件容器上的文件一起被完全复制到辅助存储站点。将文件双重复制到辅助存储站点文件集以及迁移到要跨存储站点分发的文件容器将使用大量的网络带宽。通过避免将完整的非常大的文件复制到辅助存储站点中的每一个，限制将文件复制到辅助存储站点以将文件的每个片段的一个实例分发给辅助存储站点，节省了大量的网络带宽。然而，小得多的文件元数据被复制到辅助存储站点处的文件集，并且如果需要的话，该文件元数据在辅助存储站点处可以用于访问文件，其中可以从包括作为分布式对象的文件的文件容器调用文件。
在进一步的实施例中，迁移至文件容器的文件的文件元数据也被迁移至跨主和辅助存储站点分发的元数据容器。响应于将文件元数据迁移至元数据容器，将文件元数据的完整副本迁移至每个辅助存储站点处的元数据容器。
利用该进一步的实施例，因为文件元数据是相对小的对象，所以将完整副本迁移到每个辅助存储站点消耗非常小的网络带宽。进一步，具有该文件的对象的元数据格式可能不足以存储完整的文件元数据。由此，将文件元数据迁移至元数据容器，然后从该元数据容器将文件元数据对象复制到所有辅助存储站点，提供用于存储在文件容器中的文件对象的文件元数据对象，以便在主和辅助存储站点(如果需要的话)完整可用。
在另一实施例中，确定文件集中的文件是否在阈值时间内未被访问，使得迁移的文件包括在阈值时间内未被访问的第一组文件。将在阈值时间内已被访问的文件集中的第二组文件预迁移至文件容器，同时将文件集中的第二组中的文件的副本留在文件集中。
利用进一步的预迁移实施例，可以在请求迁移文件的时间之前迁移文件，以在需要时减少完成迁移操作中的等待时间。进一步地，对于不满足归档策略的文件的预迁移，将所述文件保持在文件集中进行访问。
在另一实施例中，接收包括更新的文件的对文件集中的文件之一的更新。更新的文件的文件元数据被更新以包括关于更新的文件的信息。更新的文件的文件元数据通过网络被复制到辅助存储站点。
利用进一步的实施例，更新的文件的文件元数据被复制到辅助存储站点以与它们的文件集一起存储，以提供辅助存储站点对文件的最当前版本的访问，这反映在文件元数据中，即使辅助存储站点还没有更新的文件的所有更新数据。
在另一实施例中，通过网络将更新的文件的更新数据复制到辅助存储站点，其中更新数据包括对更新的文件的改变，其小于更新的文件的完整内容。
利用此进一步实施例，仅针对辅助存储站点处的文件集复制更新的文件的更新数据，而不复制可能非常大的整个更新的文件。这节省了当仅文件的一小部分被更新时不得不将非常大的文件复制到多个辅助存储站点的网络带宽。该实施例为辅助存储站点提供了小得多的更新数据，以便在辅助存储站点处可用于访问更新的文件。辅助存储站点可能已经在它们的文件集中具有文件的先前版本，更新数据可被添加到该先前版本，并且如果没有，则从文件容器重新调用文件的先前版本，然后与更新数据组合以提供完整的更新的文件。
附图说明
下面将仅以例示方式参考如下附图描述本发明的优选实施例：
图1示出了网络存储环境的实施例。
图2示出了文件元数据的实施例。
图3示出了迁移和预迁移文件的操作的实施例。
图4示出了使文件集与辅助存储站点同步的操作的实施例。
图5示出了在主存储站点处处理对文件的更新的操作的实施例。
图6示出在辅助存储站点处理接收的更新数据的操作的实施例。
图7示出了处理删除文件的请求的操作的实施例。
图8示出了可以实现图1的组件的计算环境。
具体实施方式
灾难恢复系统、例如国际商业机器(IBM)活动文件管理(AFM)异步灾难恢复(AFMDR)，出于灾难恢复的目的，对辅助站点执行异步文件集级别的复制。主站点是读-写文件集，其中应用当前正在运行并且具有对数据的读-写访问。辅助位点是只读的。来自主站点的所有数据与辅助站点异步地同步。主站点和辅助站点可以在存储和网络配置中独立地创建。在创建站点之后，可以在两个文件集之间建立复制关系。
除了AFM-DR异步同步之外，灾难恢复系统可以将较不频繁使用的或“冷”的文件迁移到云对象存储器。在诸如IBM透明云分层(Transparent Cloud Tiering)的云分层之后，在文件系统上仅存在存根，并且当访问存根时，文件被透明地重新调用。
在同时采用使用异步文件管理将修改的文件拷贝到辅助站点的复制以及迁移较不频繁使用的文件以释放主站点处的空间的云分层的系统中，存在双倍网络流量(即，双倍广域网(WAN)流量)的可能性，因为异步复制和云分层迁移两者都通过网络将相同的文件数据从主站点转移到辅助站点和云存储站点。
所描述的实施例提供一种针对来自异步复制和较不频繁使用的文件的分层的双倍WAN流量的网络问题的技术解决方案，其对于也迁移到对象存储装置的文件，通过网络将文件集中的文件的文件元数据复制到辅助存储站点，诸如将迁移的文件的片段流式传输到分布在辅助存储站点处的对象存储装置，而不将文件复制到辅助存储站点处的文件集。以此方式，不会将尚未被作为对象迁移的文件的文件数据额外地复制到辅助存储站点文件集，从而减少网络流量。辅助存储站点可以重新调用由作为片段存储在辅助存储站点中的复制的文件元数据表示的迁移文件的副本。
图1示出了具有通过网络106(诸如广域网(WAN))通信的主存储站点100和辅助存储站点1021…102n的数据存储环境的实施例。主站点100和辅助站点1021…102n可以在不同地理位置处，使得如果在一个站点处出现灾难，则站点中的任何一个都可以用作替代站点。进一步，主机(未示出)可将读取和写入定向到主存储站点100，且仅将读取定向到辅助存储站点1021…102n。在主存储站点100处故障的情况下，故障转移(failover)可发生到辅助站点之一，所述辅助站点随后作为故障转移主站点来操作。主存储站点100包括存储服务器108和存储装置110，存储装置110包括文件集112，文件集112包括包括文件的文件系统或文件系统的分区。存储服务器108包括活动文件管理器114，用于管理从连接的主机或本地进程到文件集112的读和写请求并且将文件复制到辅助存储站点1021…102n处的文件系统中的文件集。活动文件管理器114维护为文件集112中的每个文件提供元数据的文件元数据200。存储服务器108进一步包括远程存储分层116程序，用于根据归档策略(诸如信息生命周期管理(ILM)策略)将文件作为对象迁移到对象存储装置，以移动满足某些文件大小和其他标准的文件。
辅助存储站点1021…102n可进一步包括如关于主存储站点100所描述的存储服务器108及组件114、116、200和存储装置110，以维护在主存储站点100处的文件集112的副本。
主存储站点100可以通过局域网119与对象服务器118通信。对象服务器118包括对象服务120以处理对于对象存储器124中的容器的PUT和GET请求。对象存储装置124可以包括：文件容器126，该文件容器用于存储具有整个文件或文件对象片段130的文件对象128，该文件对象片段包括当该文件被存储为分布在这些存储站点100、1021……102n上的片段时整个文件的一个片段；以及元数据容器132，该元数据容器用于存储具有作为对象存储的文件的文件元数据的元数据对象134。
在某些分布式对象实施例中，容器126和132可以跨越网络106中的多个站点。容器可以由在每个站点处存储数据的完整副本的策略定义，或者可以被定义为例如使用纠删编码技术跨所有站点对数据进行分段，使得在每个站点处只具有部分数据。
在一个实施例中，文件容器126可以用一个将文件的数据编码成片段、然后流式传输到辅助存储站点1021…102n以存储为分布式片段的文件策略定义。以这种方式，站点100、1021…102n处的每个文件容器126仅存储文件数据的片段130。元数据容器132可以用一个将文件元数据对象134完整拷贝到辅助存储站点1021…102n的策略来定义。在一个实施例中，跨越这些存储站点的文件容器126可以不存储迁移到文件容器126上的文件对象的完整副本，而仅存储分布在这些存储站点之间的一个或多个文件对象片段130。可替代地，跨越这些站点的文件容器126可以存储文件对象128的完整副本。
辅助存储站点1021…102n中的每一个还可以包括它们自己的局域网119、对象服务器118、对象服务120、对象存储装置124、跨站点分布的文件容器126和元数据容器132的实例，其中文件的文件对象片段130可以跨辅助存储站点1021…102n存储。如果在站点100、1021…102n中的一个处接收到对文件集112中的文件的请求，如果文件元数据200i指示该文件未被存储在本地存储装置110中，而是作为文件容器126中的对象，则辅助存储站点102i中的远程存储分层116从文件容器126重新调用该文件对象。文件元数据200可以包括索引节点或其他类型的文件元数据。
在一个实施例中，对象服务120可基于本领域中已知的对象存储技术(诸如环位置)使用纠删编码来将文件编码成片段以流式传输至辅助存储站点1021…102n。文件对象片段130可以包括数据和奇偶校验片段以允许恢复数据片段。在备选实施例中，可以使用其他技术来在整个网络中在辅助存储站点处分发对象数据。对象数据可以跨站点分发，使得甚至在站点100、1021…102n中的一个或多个站点完全丢失的情况下也维持数据访问和完整性。
对象122可以包括适合于存储大量数据的非结构化数据格式。进一步，可使用统一资源定位符(URL)超文本传输协议(HTTP)命令和应用编程接口(API)通过网络106来访问对象。对象可以存储在用于账户的容器中。例如，对象服务120可实现具有纠删编码支持的OpenStack对象存储(swift)系统，该纠删编码支持将对象数据编码为在广域网119上的存储节点上分发的片段。远程存储分层116包括访问(GET)并传送(PUT)文件和文件元数据200i到容器126和132的对象接口。
存储装置110和124可包括不同类型或类别的存储装置，诸如磁性硬盘驱动器、包括固态电子器件的固态存储装置(SSD)、EEPROM(电可擦除可编程只读存储器)、闪存、闪盘、随机存取存储器(RAM)驱动器、存储级存储器(SCM)等、相变存储器(PCM)、电阻式随机存取存储器(RRAM)、自旋转移矩存储器(STT-RAM)、导电桥接RAM(CBRAM)、磁性硬盘驱动器、光盘、磁带等。存储装置110和124中的数据可以进一步由设备阵列来配置，所述设备阵列诸如磁盘簇(JBOD)、直接存取存储设备(DASD)、独立盘冗余阵列(RAID)阵列、虚拟化设备等。进一步，存储装置110、124可以包括来自不同供应商的异构存储装置以及不同类型的存储装置，诸如第一类型的存储装置(例如，硬盘驱动器)，其具有比第二类型的存储装置(例如，SSD)慢的数据传输速率。
网络106和119可包括一个或多个网络，包括局域网(LAN)、存储区域网(SAN)、广域网(WAN)、对等网络、无线网络、互联网等。
图2示出了文件的文件元数据200i的实例，包括唯一文件标识符202、如文件名；包括文件202的文件集204；如果文件的副本驻留在本地存储装置110中，则本地存储位置206；如果文件已经迁移到文件容器126，则对象访问信息208，例如对象URL、容器、账户信息等；上次修改时间210；创建时间212；以及文件大小214。对象访问信息208可进一步包括用于访问文件202的元数据对象134的URL。
如果文件202已经被迁移到文件容器126并且副本未被保持在本地文件集204中，则文件202的文件元数据200i被与文件集112一起维持以允许从文件容器126重新调用文件对象128。如果文件的副本被维护在本地存储装置110中的文件集112中，如在本地存储位置206中所指示的，则可以在本地检索文件202。
图3示出了由远程存储分层116执行以将文件集112中的文件迁移和预迁移至跨站点100、1021…102n分布的文件容器126的操作的实施例。在发起(在块300)迁移和预迁移之后，远程存储分层116向文件应用(在块302)管理策略以确定是否应当迁移文件集112中的每个文件。例如，管理策略可以包括信息生命周期管理(ILM)策略，其决定归档在阈值时间内未被访问的文件。对于根据管理策略要迁移的每个文件，该文件被发送到对象存储装置124中的文件容器126，例如，将该文件PUT到文件容器126，这使得对象服务120应用纠删编码以将文件数据编码为片段并将文件对象片段130流式传输到主存储站点100和辅助存储站点1021...102n。文件数据可以是相当大的，诸如大的对象。
每个迁移的文件的文件元数据200i被迁移(在块306)到对象存储装置124中的元数据容器132，例如，将文件元数据200iPUT到元数据容器132，这使得对象服务120将文件元数据作为元数据对象134拷贝到在主存储站点和辅助存储站点1021...102n处的元数据容器132。针对每个迁移文件更新(在块308)文件元数据200i以在对象访问信息208中指示针对文件容器126中的对象的访问信息。当远程存储分层116将文件的数据和文件元数据200i迁移到对象容器126和132时，对象服务120可以为每一个对象返回包括该对象的对象存储装置124中的URL和容器126、132，并且远程存储分层116可以在对象访问信息208中包括(在块308)该对象访问信息。在迁移对象中的文件之后，可以在本地存储装置110中的文件集112中删除(在块310)每个迁移的文件的文件数据，并且更新文件元数据200i以指示该文件没有存储在本地存储装置110中，诸如指示在本地存储位置206中没有位置。
在根据迁移策略迁移了有资格被归档的文件之后，作为预策略迁移过程的一部分，远程存储分层116可以预迁移不满足管理策略并且将保留在本地存储装置110中的文件。远程存储分层116的预迁移过程向文件容器126发送(在块312)根据归档策略未被选择用于迁移的文件中的每一个，例如向文件容器126的PUT命令，以使对象服务120将文件数据编码成片段130，然后流式传输到主存储站点100和辅助存储站点1021…102n。每个预迁移文件的文件元数据200i也被预迁移(在块314)到文件元数据容器132，这随后导致对象服务120根据元数据容器132的策略将文件元数据对象134的完整副本制作到在主存储站点100和辅助存储站点1021…102n处的元数据容器132。如相对于块308所描述的，针对每个迁移的文件更新(在块316)文件元数据200i，以在对象访问信息208中指示该文件所在的对象。根据块312-316的过程预迁移的文件保留在本地文件集112和存储装置110中用于快速访问，因为它们没有资格进行基于策略的迁移，并且会被频繁访问以便保留在本地存储装置110中。
在某些实现方式中，文件元数据200i格式可能不与文件容器126中的文件对象片段130的元数据格式兼容，诸如文件元数据200i可能太大。在这种情况下，文件元数据200i被存储在单独的元数据对象134中。在备选实施例中，其中对象元数据采用与文件元数据200i兼容的格式，那么迁移的文件元数据200i可以存储在文件对象128和片段130元数据中，而不需要在单独的对象122中存储文件元数据200i。
图4示出了由主存储站点100中的活动文件管理器114执行以将文件集112中的文件同步到辅助存储站点1021…102n的操作的实施例，诸如初始同步的一部分以复制文件。在发起(在块400)同步之后，活动文件管理器114在块402至414为文件集112中的每个文件i执行循环操作。在块404处，确定文件i是否是在从文件创建时间212起的复制时间阈值内尚未迁移到文件容器126的新文件。复制时间阈值可以进一步包括传输时间大小因子，从而使得确定考虑文件创建时间212以及当前时间和传输时间大小因子。如果(在块404)新文件i在复制时间阈值内尚未被复制并且文件i满足(在块406)最小和最大文件大小要求，即在最小值和最大值之间，则活动文件管理器114执行(在块410)图3中的块304-310处的操作，以将文件i和文件i的文件元数据200i分别迁移到文件容器126和元数据容器132。
如果(在块406处)文件大小要求未被满足或如果(在块404处)文件i不是新的或者是新的并且已经在复制时间阈值内被迁移，则控制继续到块408，其中文件i被拷贝到辅助存储站点1021…102n。在拷贝文件i(在块408处)或迁移(在块410处)之后，文件i的文件元数据200i被复制(在块412处)到辅助存储站点1021...102n以存储在其文件集112中。从块412，控制继续(在块414)回到块402以处理下一文件，直到所有文件被同步。
通过图4的操作，只有文件元数据200被迁移，除非该文件是在从创建时间212起的复制时间阈值内尚未被迁移的新文件。在这种情况下，如果文件没有及时迁移，则将文件迁移至文件容器126，文件从文件容器126被分成片段并分发至站点100、1021…102n。如果文件满足大小要求，则文件不会大到对网络106性能具有显著负面影响。这确保文件在复制时间阈值内可用于辅助存储站点1021…102n，使得如果存在需要故障转移到辅助存储站点1021…102n之一的灾难，那么它们将是可用的。
图5示出了由活动文件管理器114执行以处理对文件集112中的文件的更新的操作的实施例。当接收到对文件集112中的文件的更新时，该更新被应用(在框502)到该文件并且文件元数据200i被更新，诸如更新上次修改时间210、文件大小214等。活动文件管理器114将更新的文件元数据200i和更新数据复制(在块504)到辅助存储站点1021…102n以存储在文件集112中，其中更新数据可以主要包括或仅包括改变的数据，包括比文件的所有数据少的数据，除非整个文件被改变。以此方式，所传输的数据可以包括非常大的文件的一小部分或一部分。在某些实施例中，在图5的操作之后，更新的文件可以驻留在主站点100和辅助站点1021…102n处。在图5的实施例中，更新的文件不作为对象迁移到分布在主存储站点100和辅助存储站点1021...102n处的文件容器126，以避免由于整个更新的对象具有大尺寸而只有对象的一小部分可能已经被更新而对网络106的性能具有负面影响。在备选实施例中，可以将整个更新的对象迁移到文件容器126，然后作为片段分发在网络106中。
图6示出了在辅助存储站点1021...102n处的活动文件管理器114处执行的用于处理从主存储站点100接收到的更新后的数据和文件元数据200i的操作的实施例。当接收到(在块600)文件集112中更新的文件的更新数据和更新的文件元数据时，为该文件存储(在块602)更新的文件元数据。如果(在块604)更新的文件被本地存储在文件集112中，则该更新被应用(在块606)到本地文件集112中的文件。如果(在块604)更新的文件未被本地存储在文件集112中，则更新数据被高速缓存(在块608)。重新调用(GET)请求被发送(在块610)到对象服务120，这使得对象服务120从远程辅助存储站点1021…102n请求文件的片段130、解码数据并且将解码的文件数据流式传输到远程存储分层116，以作为文件集112可用。然后(在块610)利用高速缓存的更新数据来更新所重新调用的文件。
图7示出了由主存储站点100处的活动文件管理器114执行以处理删除文件的请求的操作的实施例。在接收到(在块700)从文件集112删除文件的请求时，如果文件和文件元数据被存储在本地文件集112中，则删除该文件和文件元数据(在块702)。将删除请求发送(在块704)到对象服务120以从文件容器126中删除文件对象128，并且从元数据容器132中删除元数据对象134，这使得对象服务120将命令发送到主站点100和辅助站点1021...102n处的具有文件对象片段130和文件的元数据对象134的容器126、132，以从其文件容器126和元数据容器132中删除文件的片段130和元数据对象134。删除请求被发送(在块706)到辅助存储站点1021…102n，以便如果驻留的话则从辅助存储站点1021…102n处的其本地文件集112中删除文件元数据和文件。
利用图7的操作，从主存储站点100处的文件集112中删除文件，删除主存储站点100和诸如辅助存储站点1021...102n的其他位置处的文件，以及站点100、1021...102n处的文件126和元数据容器132。
在此使用的参考字符(诸如i，n)用于表示元素的可变数量的实例，其可以表示相同或不同的值，并且当与不同或相同的元素在不同描述的实例中一起使用时可以表示相同或不同的值。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
图1的在主站点100和辅助站点1021...102n处的计算组件、包括服务器108可以在一个或多个计算机系统、如图8中所示的计算机系统802中实施。计算机系统/服务器802可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般上下文中描述。一般而言，程序模块可包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。计算机系统/服务器802可以在分布式云计算环境中实践，其中任务由通过通信网络链接的远程处理设备执行。在分布式云计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机系统存储介质中。
如图8所示，计算机系统/服务器802以通用计算设备的形式示出。计算机系统/服务器802的组件可以包括但不限于一个或多个处理器或处理单元804、系统存储器806、以及将包括系统存储器806的不同系统组件耦合到处理器804的总线808。总线808表示若干类型的总线结构中的任何总线结构中的一种或多种，包括存储器总线或存储器控制器、外围总线、加速图形端口、以及使用各种总线架构中的任何总线架构的处理器或本地总线。作为示例而非限制，此类体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线和外围部件互连(PCI)总线。
计算机系统/服务器802通常包括各种计算机系统可读介质。这样的介质可以是可由计算机系统/服务器802访问的任何可用介质，并且它包括易失性和非易失性介质、可移动和不可移动介质。
系统存储器806可包括易失性存储器形式的计算机系统可读介质，诸如随机存取存储器(RAM)810和/或高速缓存存储器812。计算机系统/服务器802还可以包括其他可移除/不可移除、易失性/非易失性计算机系统存储介质。仅通过示例，存储系统813可以被提供用于从不可移除、非易失性磁介质(未示出，并且通常称为“硬盘驱动器”)读出。虽然未示出，但是可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光学介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线808相连。如以下将进一步描绘和描述的，存储器806可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块816的程序/实用工具814，可以存储在例如存储器806中，这样的程序模块816包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据。操作系统、一个或者多个应用程序、其它程序模块以及程序数据中的每一个或某种组合中可能包括网络环境的实现。计算机802的组件可以被实现为程序模块816，这些程序模块816通常执行在此描述的本发明的实施例的功能和/或方法。图1的系统可以在一个或多个计算机系统802中实施，其中如果它们在多个计算机系统802中实施，那么计算机系统可以通过网络进行通信。
计算机系统/服务器802还可以与诸如键盘、指向设备、显示器820等的一个或多个外部设备818通信；与使用户能与计算机系统/服务器802交互的一个或多个设备通信；和/或与使得计算机系统/服务器802能够与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)通信。这种通信可经由输入/输出(I/O)接口822发生。此外，计算机系统/服务器802可以经由网络适配器824与诸如局域网(LAN)、通用广域网(WAN)和/或公共网络(例如，互联网)之类的一个或多个网络通信。如图所示，网络适配器824通过总线808与计算机系统/服务器802的其他组件通信。应当理解，尽管未示出，但是其他硬件和/或软件组件可以与计算机系统/服务器802结合使用。示例包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动器阵列、RAID系统、磁带驱动器和数据档案存储系统等。
除非另有明确说明，术语“一个实施例”、“实施例”、“多个实施例”、“所述实施例”、“所述多个实施例”、“一个或多个实施例”、“一些实施例”以及“一实施例”意指“本发明的一个或多个(但不是全部)实施例”。
除非另有明确说明，术语“包括”、“包含”、“具有”及其变体意指“包括但不限于”。
除非另外明确规定，所列举的项目列表不暗示任何或所有项目是相互排斥的。
除非另有明确说明，术语“一”、“一个”、“该”意指“一个或多个”。
除非另有明确说明，彼此通信的装置不需要彼此连续通信。此外，彼此通信的设备可以直接地或者通过一个或多个中介间接地通信。
具有彼此通信的若干组件的实施例的描述不意味着需要所有此类组件。相反，描述了各种可选的部件以说明本发明的各种可能的实施例。
当在本文中描述单个设备或制品时，将容易显而易见的是，可使用多于一个设备/制品(无论它们是否协作)来代替单个设备/制品。类似地，当在此描述了多于一个设备或制品(无论它们是否协作)时，将容易显而易见的是，可以使用单个设备/制品来代替多于一个设备或制品，或者可以使用不同数量的设备/制品来代替所示数量的设备或程序。设备的功能和/或特征可以可替代地由不被明确描述为具有这样的功能/特征的一个或多个其他设备体现。由此，本发明的其他实施例不需要包括该设备本身。
为了说明和描述的目的，已经呈现了本发明的不同实施例的以上描述。其并非旨在是穷尽的或者将本发明限制为所公开的精确形式。根据上述教导，许多修改和变化是可能的。本发明的范围旨在不受该详细描述限制，而是由所附权利要求限制。以上说明、实例和数据提供了本发明的组合物的制造和使用的完整描述。因为在不背离本发明的精神和范围的情况下能够做出本发明的许多实施例，所以本发明存在于所附权利要求中。
Claims (25)
1.一种用于通过网络管理在主存储站点和辅助存储站点处的文件集中的文件的计算机程序产品，其中所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有体现在其上的程序指令，所述程序指令可由处理器执行以引起操作，该操作包括：
将所述主存储站点处的文件集中的文件迁移到文件容器，其中迁移到所述文件容器的所述文件的数据在所述辅助存储站点之间分发；
更新每个迁移文件的文件元数据以包括关于所述文件容器中的所述迁移文件的访问信息；
删除本地存储装置中的所述迁移文件的数据；以及
通过所述网络将所述迁移文件的所述文件元数据复制到所述辅助存储站点以存储在所述辅助存储站点处的文件集中，而不复制所述迁移文件的文件数据以存储在所述辅助存储站点处的所述文件集中。
2.权利要求1的计算机程序产品，其中所述文件容器跨所述主存储站点和所述辅助存储站点分发，并且其中分发迁移到所述文件容器的所述文件的所述数据使得迁移文件中的每个迁移文件被编码为片段并且在所述辅助存储站点之间分发。
3.权利要求2的计算机程序产品，其中该操作进一步包括：
将迁移到所述文件容器的所述文件的所述文件元数据迁移到跨所述主存储站点和所述辅助存储站点分发的元数据容器；以及
响应于将所述文件元数据迁移到所述元数据容器，将所述文件元数据的完整副本拷贝到所述辅助存储站点处的所述元数据容器。
4.如权利要求2所述的计算程序产品，其中，通过检索分发在所述辅助存储站点处的所述文件容器中的所述片段，然后对所检索的片段进行解码以重构所述迁移文件，重新调用所述迁移文件中的一个迁移文件。
5.权利要求1的计算机程序产品，其中该操作进一步包括：
确定所述文件集中的文件是否包括在阈值时间内未被访问的文件，其中所述迁移文件包括在所述阈值时间内未被访问的第一组文件；以及
将在所述阈值时间内已被访问的所述文件集中的第二组文件预迁移至所述文件容器，同时将所述第二组中的文件的副本留在所述文件集中。
6.权利要求1的计算机程序产品，其中该操作进一步包括：
确定是否满足关于正被迁移的所述文件的条件；以及
通过网络将满足所述条件的任何文件的至少一部分复制到所述辅助存储站点。
7.权利要求1的计算机程序产品，其中该操作进一步包括：
接收包括更新的文件的对所述文件集中的文件之一的更新；
更新所述更新的文件的所述文件元数据以包括关于所述更新的文件的信息；以及
通过所述网络将所述更新的文件的所述文件元数据复制到所述辅助存储站点。
8.权利要求7的计算机程序产品，其中该操作进一步包括：
通过所述网络将所述更新的文件的更新数据复制到所述辅助存储站点，其中所述更新数据包括对所述更新的文件的改变，其小于所述更新的文件的完整内容。
9.权利要求8的计算机程序产品，其中将所述更新数据复制到所述辅助存储站点使得所述辅助存储站点中的一个辅助存储站点执行：
当所述辅助存储站点包括所述更新的文件的副本时，用所述更新数据更新所述辅助存储站点处的所述更新的文件的先前版本；
当所述辅助存储站点不包括所述更新的文件的副本时，从所述文件容器重新调用所述更新的文件；以及
用所述更新数据更新所述重新调用的更新的文件。
10.权利要求1的计算机程序产品，其中该操作进一步包括：
确定在复制时间阈值内所述文件集中的其文件元数据被复制到所述辅助存储站点的新文件是否已经被迁移到所述文件容器；以及
响应于确定在所述复制时间阈值内所述新文件尚未被迁移到所述文件容器，通过所述网络将所述新文件复制到所述辅助存储站点。
11.权利要求1的计算机程序产品，其中该操作进一步包括：
接收删除所述文件集中的文件的删除请求；
删除所述文件以及所述文件的文件元数据以在文件集中删除；
发送从所述文件容器删除所述文件的删除请求，所述删除请求致使发出用以删除分发在所述辅助存储站点处的所述文件的数据的命令；以及
发送从元数据容器删除所述文件元数据的删除请求，所述删除请求致使发出用以删除所述辅助存储站点处的所述文件元数据的命令。
12.权利要求1的计算机程序产品，其中在所述主存储站点处的所述文件集包括读和写文件集，并且其中所述辅助存储站点具有只读文件集，并且其中所述辅助存储站点包括如果所述主存储站点在所述网络上不可用则用于文件集操作的灾难恢复站点。
13.一种用于管理在通过网络与多个辅助存储站点通信的主存储站点处的文件集中的文件的系统，包括：
具有文件集的本地存储装置；
具有文件容器的对象存储装置；
服务器，所述服务器与所述本地存储装置和所述对象存储装置通信，以执行包括以下各项的操作：
将所述文件集的一个文件集中的文件迁移到所述文件容器，其中，迁移到所述文件容器的所述文件的数据在所述辅助存储站点之间分发；
更新每个迁移文件的文件元数据以包括关于所述文件容器中的所述迁移文件的访问信息；
删除本地存储装置中的所述迁移文件的数据；以及
通过所述网络将所述迁移文件的所述文件元数据复制到所述辅助存储站点以存储在所述辅助存储站点处的文件集中，而不复制所述迁移文件的文件数据以存储在所述辅助存储站点处的所述文件集中。
14.权利要求13的系统，其中该操作进一步包括：
将迁移至所述文件容器的所述文件的所述文件元数据迁移至跨所述主存储站点和所述辅助存储站点分发的所述对象存储装置处的元数据容器；以及
响应于将所述文件元数据迁移到所述元数据容器，将所述文件元数据的完整副本拷贝到所述辅助存储站点处的所述元数据容器。
15.权利要求13的系统，其中该操作进一步包括：
确定所述文件集中的文件是否包括在阈值时间内未被访问的文件，其中所述迁移文件包括在所述阈值时间内未被访问的第一组文件；以及
将在所述阈值时间内已被访问的所述文件集中的第二组文件预迁移至所述文件容器，同时将所述第二组中的文件的副本留在所述文件集中。
16.权利要求13的系统，其中该操作进一步包括：
接收包括更新的文件的对所述文件集中的文件之一的更新；
更新所述更新的文件的所述文件元数据以包括关于所述更新的文件的信息；以及
通过所述网络将所述更新的文件的所述文件元数据复制到所述辅助存储站点。
17.权利要求16的系统，其中该操作进一步包括：
通过所述网络将所述更新的文件的更新数据复制到所述辅助存储站点，其中所述更新数据包括对所述更新的文件的改变，其小于所述更新的文件的完整内容。
18.一种用于管理文件的系统，包括：
主存储站点；
通过网络与所述主存储站点通信的多个辅助存储站点；
其中，所述主存储站点包括：
具有文件集的本地存储装置；
具有文件容器的对象存储装置；
服务器，所述服务器与所述本地存储装置和所述对象存储装置通信，以执行包括以下各项的操作：
将所述文件集的一个文件集中的文件迁移到所述文件容器，其中，迁移到所述文件容器的所述文件的数据在所述辅助存储站点之间分发；
更新每个迁移文件的文件元数据以包括关于所述文件容器中的所述迁移文件的访问信息；
删除本地存储装置中的所述迁移文件的数据；以及
通过所述网络将所述迁移文件的所述文件元数据复制到所述辅助存储站点以存储在所述辅助存储站点处的文件集中，而不复制所述迁移文件的文件数据以存储在所述辅助存储站点处的所述文件集中。
19.权利要求18的系统，进一步包括：
将迁移到所述文件容器的所述文件的所述文件元数据迁移至跨所述主存储站点和所述辅助存储站点分发的元数据容器；以及
响应于将所述文件元数据迁移到所述元数据容器，将所述文件元数据的完整副本拷贝到所述辅助存储站点处的所述元数据容器。
20.权利要求18的系统，其中，该操作进一步包括：
确定所述文件集中的文件是否在阈值时间内未被访问，其中所述迁移文件包括在所述阈值时间内未被访问的第一组文件；以及
将在所述阈值时间内已被访问的所述文件集中的第二组文件预迁移至所述文件容器，同时将所述第二组中的文件的副本留在所述文件集中。
21.一种用于通过网络管理在主存储站点和辅助存储站点处的文件集中的文件的方法，包括：
将所述主存储站点处的文件集中的文件迁移到文件容器，其中迁移到所述文件容器的所述文件的数据在所述辅助存储站点之间分发；
更新每个迁移文件的文件元数据以包括关于所述文件容器中的所述迁移文件的访问信息；
删除本地存储装置中的所述迁移文件的数据；以及
通过所述网络将所述迁移文件的所述文件元数据复制到所述辅助存储站点以存储在所述辅助存储站点处的文件集中，而不复制所述迁移文件的文件数据以存储在所述辅助存储站点处的所述文件集中。
22.如权利要求21所述的方法，进一步包括：
将迁移到所述文件容器的所述文件的所述文件元数据迁移到跨所述主存储站点和所述辅助存储站点分发的元数据容器；以及
响应于将所述文件元数据迁移到所述元数据容器，将所述文件元数据的完整副本拷贝到所述辅助存储站点处的所述元数据容器。
23.如权利要求21所述的方法，进一步包括：
确定所述文件集中的文件是否包括在阈值时间内未被访问的文件，其中所述迁移文件包括在所述阈值时间内未被访问的第一组文件；以及
将在所述阈值时间内已被访问的所述文件集中的第二组文件预迁移至所述文件容器，同时将所述第二组中的文件的副本留在所述文件集中。
24.如权利要求21所述的方法，进一步包括：
接收包括更新的文件的对所述文件集中的文件之一的更新；
更新所述更新的文件的所述文件元数据以包括关于所述更新的文件的信息；以及
通过所述网络将所述更新的文件的所述文件元数据复制到所述辅助存储站点。
25.权利要求24的方法，进一步包括：
通过所述网络将所述更新的文件的更新数据复制到所述辅助存储站点，其中所述更新数据包括对所述更新的文件的改变，其小于所述更新的文件的完整内容。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/669,319 US11341103B2 (en) | 2017-08-04 | 2017-08-04 | Replicating and migrating files to secondary storage sites |
| US15/669,319 | 2017-08-04 | ||
| PCT/IB2018/055714 WO2019025960A1 (en) | 2017-08-04 | 2018-07-31 | FILE REPLICATION AND MIGRATION TO SECONDARY STORAGE SITES |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110914808A true CN110914808A (zh) | 2020-03-24 |
| CN110914808B CN110914808B (zh) | 2023-11-24 |
Family
ID=65229717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880046814.5A Active CN110914808B (zh) | 2017-08-04 | 2018-07-31 | 将文件复制和迁移到辅助存储站点 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US11341103B2 (zh) |
| CN (1) | CN110914808B (zh) |
| WO (1) | WO2019025960A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111770152A (zh) * | 2020-06-24 | 2020-10-13 | 中国科学院计算技术研究所 | 一种边缘数据管理方法、介质、边缘服务器和系统 |
| CN115422165A (zh) * | 2022-09-22 | 2022-12-02 | 北京奥星贝斯科技有限公司 | 数据库数据迁移方法和数据库 |
| CN117155759A (zh) * | 2023-10-27 | 2023-12-01 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11245607B2 (en) * | 2017-12-07 | 2022-02-08 | Vmware, Inc. | Dynamic data movement between cloud and on-premise storages |
| US11436189B2 (en) * | 2019-02-19 | 2022-09-06 | International Business Machines Corporation | Performance- and cost-efficient archiving of small objects |
| US11314732B2 (en) * | 2019-10-11 | 2022-04-26 | International Business Machines Corporation | Database migration technique |
| US11023332B2 (en) * | 2019-10-15 | 2021-06-01 | EMC IP Holding Company LLC | System and method for efficient backup system aware direct data migration between cloud storages |
| US11520664B2 (en) | 2020-07-06 | 2022-12-06 | International Business Machines Corporation | Metadata based data replication |
| US11816076B2 (en) * | 2021-01-14 | 2023-11-14 | Salesforce, Inc. | Declarative data evacuation for distributed systems |
| CN115114077A (zh) * | 2021-03-17 | 2022-09-27 | 伊姆西Ip控股有限责任公司 | 管理备份数据的方法、电子设备和计算机程序产品 |
| CN117591495B (zh) * | 2024-01-18 | 2024-05-03 | 中核武汉核电运行技术股份有限公司 | 一种用于核电历史数据迁移的数据存储方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040236798A1 (en) * | 2001-09-11 | 2004-11-25 | Sudhir Srinivasan | Migration of control in a distributed segmented file system |
| US8918478B2 (en) * | 2009-07-31 | 2014-12-23 | Microsoft Corporation | Erasure coded storage aggregation in data centers |
| CN105530273A (zh) * | 2014-09-29 | 2016-04-27 | 国际商业机器公司 | 用于数据迁移的方法和装置 |
| CN106250320A (zh) * | 2016-07-19 | 2016-12-21 | 诸葛晴凤 | 一种数据一致性及磨损均衡的内存文件系统管理方法 |
| CN106570093A (zh) * | 2016-10-24 | 2017-04-19 | 南京中新赛克科技有限责任公司 | 一种基于独立元数据组织结构的海量数据迁移方法和装置 |
| CN106855834A (zh) * | 2015-12-08 | 2017-06-16 | 华为技术有限公司 | 一种数据备份方法、装置和系统 |
| CN106953893A (zh) * | 2017-02-15 | 2017-07-14 | 北京百度网讯科技有限公司 | 云存储系统间的数据迁移 |
Family Cites Families (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7685126B2 (en) * | 2001-08-03 | 2010-03-23 | Isilon Systems, Inc. | System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system |
| CA2461025A1 (en) * | 2001-09-26 | 2003-04-03 | Mark Saake | Efficient mangement of large files |
| US7346664B2 (en) * | 2003-04-24 | 2008-03-18 | Neopath Networks, Inc. | Transparent file migration using namespace replication |
| US7720796B2 (en) * | 2004-04-23 | 2010-05-18 | Neopath Networks, Inc. | Directory and file mirroring for migration, snapshot, and replication |
| US7657581B2 (en) * | 2004-07-29 | 2010-02-02 | Archivas, Inc. | Metadata management for fixed content distributed data storage |
| US8078813B2 (en) | 2004-09-30 | 2011-12-13 | Emc Corporation | Triangular asynchronous replication |
| US8131689B2 (en) * | 2005-09-30 | 2012-03-06 | Panagiotis Tsirigotis | Accumulating access frequency and file attributes for supporting policy based storage management |
| US8661216B2 (en) * | 2005-12-19 | 2014-02-25 | Commvault Systems, Inc. | Systems and methods for migrating components in a hierarchical storage network |
| US7870128B2 (en) * | 2006-07-28 | 2011-01-11 | Diskeeper Corporation | Assigning data for storage based on speed with which data may be retrieved |
| US8364639B1 (en) * | 2007-10-11 | 2013-01-29 | Parallels IP Holdings GmbH | Method and system for creation, analysis and navigation of virtual snapshots |
| US20100070474A1 (en) * | 2008-09-12 | 2010-03-18 | Lad Kamleshkumar K | Transferring or migrating portions of data objects, such as block-level data migration or chunk-based data migration |
| US9098519B2 (en) * | 2008-09-16 | 2015-08-04 | File System Labs Llc | Methods and apparatus for distributed data storage |
| US8825894B2 (en) * | 2008-10-15 | 2014-09-02 | Aster Risk Management Llc | Receiving streaming content from servers located around the globe |
| US8166038B2 (en) * | 2009-06-11 | 2012-04-24 | Kaufman Mark A | Intelligent retrieval of digital assets |
| US20100332401A1 (en) * | 2009-06-30 | 2010-12-30 | Anand Prahlad | Performing data storage operations with a cloud storage environment, including automatically selecting among multiple cloud storage sites |
| US9323758B1 (en) * | 2009-12-22 | 2016-04-26 | Emc Corporation | Efficient migration of replicated files from a file server having a file de-duplication facility |
| US20110231477A1 (en) | 2010-03-22 | 2011-09-22 | Ido Safruti | System and method to service requests from a plurality of sources |
| US8504517B2 (en) * | 2010-03-29 | 2013-08-06 | Commvault Systems, Inc. | Systems and methods for selective data replication |
| US9852149B1 (en) * | 2010-05-03 | 2017-12-26 | Panzura, Inc. | Transferring and caching a cloud file in a distributed filesystem |
| US8799413B2 (en) * | 2010-05-03 | 2014-08-05 | Panzura, Inc. | Distributing data for a distributed filesystem across multiple cloud storage systems |
| EP2579157B1 (en) * | 2010-05-27 | 2016-12-07 | Hitachi, Ltd. | Local file server operative to transfer file to remote file server via communication network, and storage system including those file servers |
| US8935492B2 (en) * | 2010-09-30 | 2015-01-13 | Commvault Systems, Inc. | Archiving data objects using secondary copies |
| WO2012053040A1 (en) * | 2010-10-22 | 2012-04-26 | Hitachi, Ltd. | File server for migration of file and method for migrating file based on file's attributes and storage apparatuses ' attributes |
| US8856073B2 (en) * | 2010-12-14 | 2014-10-07 | Hitachi, Ltd. | Data synchronization among file storages using stub files |
| US8682955B1 (en) | 2010-12-31 | 2014-03-25 | Emc Corporation | Fully automated cloud tiering controlled by an orchestration layer based on dynamic information |
| US8639899B2 (en) * | 2011-04-26 | 2014-01-28 | Hitachi, Ltd. | Storage apparatus and control method for redundant data management within tiers |
| US20120284317A1 (en) * | 2011-04-26 | 2012-11-08 | Dalton Michael W | Scalable Distributed Metadata File System using Key-Value Stores |
| WO2013014695A1 (en) * | 2011-07-22 | 2013-01-31 | Hitachi, Ltd. | File storage system for transferring file to remote archive system |
| US8954381B1 (en) | 2012-09-27 | 2015-02-10 | Emc Corporation | Determining data movements in a multi-tiered storage environment |
| US20140181443A1 (en) * | 2012-12-21 | 2014-06-26 | Commvault Systems, Inc. | Archiving using data obtained during backup of primary storage |
| US8909605B1 (en) * | 2013-02-28 | 2014-12-09 | Emc Corporation | Method and system for accelerating data movement using change information concerning difference between current and previous data movements |
| US9081842B1 (en) | 2013-03-15 | 2015-07-14 | Emc Corporation | Synchronous and asymmetric asynchronous active-active-active data access |
| US9996562B2 (en) * | 2013-07-09 | 2018-06-12 | Oracle International Corporation | Automated database migration architecture |
| US9405628B2 (en) | 2013-09-23 | 2016-08-02 | International Business Machines Corporation | Data migration using multi-storage volume swap |
| US20160253398A1 (en) * | 2013-12-06 | 2016-09-01 | Hewlett Packard Enterprise Development Lp | Replicating metadata associated with a file |
| US9823978B2 (en) * | 2014-04-16 | 2017-11-21 | Commvault Systems, Inc. | User-level quota management of data objects stored in information management systems |
| JP6234557B2 (ja) * | 2014-04-21 | 2017-11-22 | 株式会社日立製作所 | ストレージシステム |
| US9626212B2 (en) | 2014-06-28 | 2017-04-18 | Vmware, Inc. | Live migration of virtual machines with memory state sharing |
| US9430387B2 (en) | 2014-07-16 | 2016-08-30 | ClearSky Data | Decoupling data and metadata in hierarchical cache system |
| US9313270B2 (en) * | 2014-07-29 | 2016-04-12 | Datadirect Networks, Inc. | Adaptive asynchronous data replication in a data storage system |
| US9665428B2 (en) * | 2015-02-05 | 2017-05-30 | Netapp, Inc. | Distributing erasure-coded fragments in a geo-distributed storage system |
| WO2017092017A1 (zh) * | 2015-12-03 | 2017-06-08 | 华为技术有限公司 | 一种虚拟机备份信息迁移方法、装置和系统 |
| US10331362B1 (en) * | 2016-09-30 | 2019-06-25 | EMC IP Holding Company LLC | Adaptive replication for segmentation anchoring type |
-
2017
- 2017-08-04 US US15/669,319 patent/US11341103B2/en active Active
-
2018
- 2018-07-31 WO PCT/IB2018/055714 patent/WO2019025960A1/en active Application Filing
- 2018-07-31 CN CN201880046814.5A patent/CN110914808B/zh active Active
-
2022
- 2022-05-17 US US17/746,948 patent/US20220276988A1/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040236798A1 (en) * | 2001-09-11 | 2004-11-25 | Sudhir Srinivasan | Migration of control in a distributed segmented file system |
| US8918478B2 (en) * | 2009-07-31 | 2014-12-23 | Microsoft Corporation | Erasure coded storage aggregation in data centers |
| CN105530273A (zh) * | 2014-09-29 | 2016-04-27 | 国际商业机器公司 | 用于数据迁移的方法和装置 |
| CN106855834A (zh) * | 2015-12-08 | 2017-06-16 | 华为技术有限公司 | 一种数据备份方法、装置和系统 |
| CN106250320A (zh) * | 2016-07-19 | 2016-12-21 | 诸葛晴凤 | 一种数据一致性及磨损均衡的内存文件系统管理方法 |
| CN106570093A (zh) * | 2016-10-24 | 2017-04-19 | 南京中新赛克科技有限责任公司 | 一种基于独立元数据组织结构的海量数据迁移方法和装置 |
| CN106953893A (zh) * | 2017-02-15 | 2017-07-14 | 北京百度网讯科技有限公司 | 云存储系统间的数据迁移 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111770152A (zh) * | 2020-06-24 | 2020-10-13 | 中国科学院计算技术研究所 | 一种边缘数据管理方法、介质、边缘服务器和系统 |
| CN111770152B (zh) * | 2020-06-24 | 2021-07-20 | 中国科学院计算技术研究所 | 一种边缘数据管理方法、介质、边缘服务器和系统 |
| CN115422165A (zh) * | 2022-09-22 | 2022-12-02 | 北京奥星贝斯科技有限公司 | 数据库数据迁移方法和数据库 |
| CN117155759A (zh) * | 2023-10-27 | 2023-12-01 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
| CN117155759B (zh) * | 2023-10-27 | 2024-01-05 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190042595A1 (en) | 2019-02-07 |
| WO2019025960A1 (en) | 2019-02-07 |
| US11341103B2 (en) | 2022-05-24 |
| CN110914808B (zh) | 2023-11-24 |
| US20220276988A1 (en) | 2022-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110914808B (zh) | 将文件复制和迁移到辅助存储站点 | |
| US10114706B1 (en) | Backup and recovery of raw disks [RDM] in virtual environment using snapshot technology | |
| US10002048B2 (en) | Point-in-time snap copy management in a deduplication environment | |
| US11921594B2 (en) | Enhanced file indexing, live browsing, and restoring of backup copies of virtual machines and/or file systems by populating and tracking a cache storage area and a backup index | |
| US9087011B2 (en) | Data selection for movement from a source to a target | |
| US10997127B2 (en) | Preventing inefficient recalls in a hierarchical storage management (HSM) system | |
| US11645237B2 (en) | Replicating data utilizing a virtual file system and cloud storage | |
| US20210064486A1 (en) | Access arbitration to a shared cache storage area in a data storage management system for live browse, file indexing, backup and/or restore operations | |
| US11327924B2 (en) | Archiving data sets in a volume in a primary storage in a volume image copy of the volume in a secondary storage | |
| US10678661B2 (en) | Processing a recall request for data migrated from a primary storage system having data mirrored to a secondary storage system | |
| US10587686B2 (en) | Sustaining backup service level objectives using dynamic resource allocation | |
| US20170039119A1 (en) | System, Method and Computer Program Product for Recovering Stub Files | |
| US10747458B2 (en) | Methods and systems for improving efficiency in cloud-as-backup tier | |
| US11188479B2 (en) | Determining space to release in a target volume to which tracks from a source volume are mirrored | |
| US10705992B2 (en) | Non-disruptive encoding of source data in a source data set migrated to a target data set | |
| US20200081792A1 (en) | Copying point-in-time data in a storage to a point-in-time copy data location in advance of destaging data to the storage | |
| US11099751B2 (en) | Determining tracks to release in a source volume being copied to a target volume | |
| US11175827B2 (en) | Determining tracks to release in a target volume mirrored from a source volume | |
| US11256716B2 (en) | Verifying mirroring of source data units to target data units | |
| US10713121B1 (en) | Dynamic migration of a cloud based distributed file system metadata server |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |