CN101276366A - 防止文件重复存储的计算机系统 - Google Patents

防止文件重复存储的计算机系统 Download PDF

Info

Publication number
CN101276366A
CN101276366A CNA2007101693549A CN200710169354A CN101276366A CN 101276366 A CN101276366 A CN 101276366A CN A2007101693549 A CNA2007101693549 A CN A2007101693549A CN 200710169354 A CN200710169354 A CN 200710169354A CN 101276366 A CN101276366 A CN 101276366A
Authority
CN
China
Prior art keywords
file
content
memory device
logical memory
eigenvalue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101693549A
Other languages
English (en)
Other versions
CN101276366B (zh
Inventor
中村泰明
田渕英夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN101276366A publication Critical patent/CN101276366A/zh
Application granted granted Critical
Publication of CN101276366B publication Critical patent/CN101276366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1748De-duplication implemented within the file system, e.g. based on file segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • G06F16/1824Distributed file systems implemented using Network-attached Storage [NAS] architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及防止文件重复存储的计算机系统。本发明的目的是,即使上位装置不需要专用的API,也能防止文件的重复存储。计算对于在一个以上的第一逻辑存储设备中存储的多个文件的内容分别是固有的值的多个内容固有值。判定在多个内容固有值中是否包含两个以上相同的内容固有值。在有两个以上相同的内容固有值的场合,与这两个以上的内容固有值中的第一内容固有值对应的第一文件的访问目的地,被切换为存储与这两个以上的内容固有值中的第二内容固有值对应的第二文件的位置。

Description

防止文件重复存储的计算机系统
技术领域
本发明涉及电子文件的存储控制技术。
背景技术
例如,NAS(Network Attached Storage)节点(例如文件服务器)管理文件,该文件的实体在NAS节点内或者NAS节点外的存储装置中存储。
一般,文件的内容即使相同,如果文件名不同,就可在存储装置中存储。在该场合,因为在存储装置中存储内容完全相同的文件(亦即完全),重复文件的部分,白白浪费存储容量。因此,作为防止文件重复存储的存储控制技术,例如有在专利文献1以及2中公开的技术。在专利文献1以及2中,例如有以下的公开。
有主机和存储装置,在主机中,有应用程序和专用的API(ApplicationProgram Interface)。存储装置和该专用的API进行交互。主机的API,在从应用程序接受文件的存储请求的场合,如果不管理该文件的文件名和后述的内容地址的对应关系,则将该文件向存储装置发送,另一方面,如果管理其对应关系,则将其内容地址向存储装置发送。存储装置,在从主机的API接收地址的场合,从文件的内容生成散列值。该散列值是内容地址。存储装置存储接收的文件,将生成的内容地址和该文件的物理的存储位置对应起来进行管理,把该内容地址返送给主机的API。主机的API将从存储装置接收的内容地址和上述发送的文件的文件名对应起来进行管理。另一方面,在从主机的API接收内容地址的场合,存储装置从与该内容地址对应的物理存储位置取得文件,把取得的文件向主机的API回送。
【专利文献1】特开2005-235171号公报
【专利文献2】特开2005-174339号公报
发明内容
根据专利文献1以及2公开的技术,在存储装置中生成的散列值作为内容地址使用。因此,因为对于存储装置用内容地址指定文件,所以对于主机等上位装置必须专用的API。
本发明的一个目的是,即使上位装置不需要专用的API,也能防止文件的重复存储。
本发明的进一步的目的从后面的记载中会更清晰。
计算对于在一个以上的第一逻辑存储设备中存储的多个文件的内容分别是固有的值的多个内容固有值。判定在多个内容固有值中是否包含两个以上相同的内容固有值。在有两个以上的相同的内容固有值的场合,把与该两个以上的内容固有值中的第一内容固有值对应的第一文件的地址目的地,切换为存储与该两个以上的内容固有值中的第二内容固有值对应的第二文件的位置。
附图说明
图1是表示本发明的第一实施形态的计算机系统的结构例的框图。
图2A表示主存储系统的控制器部内的CPU执行的计算机程序的一例。图2B表示地址管理表的结构例。图2C表示LDEV管理表的结构例。
图3表示管理终端的结构例。
图4表示来自NAS节点以及的主存储系统的信息收集。
图5表示管理NAS节点的文件系统程序的、目录文件信息的表的一例。
图6表示记录关于存储文件或者目录的逻辑卷的信息的表、和在主存储系统中管理的LDEV管理表的一部分。
图7表示内容识别符管理表的结构例。
图8表示在第一实施形态的计算机系统中执行的处理的流程的概要。
图9是表示在图8的S101中在归档对象的内部LDEV中设定访问属性“只读”的图。
图10是表示在图8的S102中生成内容识别符管理表向主存储系统发送的图。
图11表示扩展管理表的结构例。
图12是表示在图8的S102中进行有无重复文件的判定的图。
图13表示在图8的S102中执行的地址控制处理的流程的一例。
图14A表示在一个扩展管理表中有选择散列值和一致散列值。图14B表示在图14A的情况下的其一个扩展管理表的更新结果的一例。
图15A表示在不同的扩展管理表中有选择散列值和一致散列值。图15B表示在图15A的情况下的有选择散列值的扩展管理表的更新结果的一例。
图16A表示在图8的S103中的LDEV之间的迁移。图16B表示迁移前的LDEV管理表的一例。图16C表示迁移中的LDEV管理表的一例。图16D表示迁移前以及迁移中的地址映射管理表的一例。
图17表示迁移后的访问路径。
图18A表示通过UI控制程序表示的、迁移前的GUI的一例。图18B表示迁移后的GUI的一例。
图19A表示第一实施形态中的排除判定基准和遵照它的地址切换的结果。图19B表示第二实施形态中的排除判定基准和遵照它的地址切换的结果。
图20表示第二实施形态中的地址映射管理表的结构例。
图21表示第二实施形态中的地址控制处理的流程的一例。
图22A表示第一实施形态中的迁移后的LDEV管理表的一例。图22B表示迁移后的地址映射管理表的一例。
符号说明
10NAS节点,20控制器部,21通道适配器(CHA),22盘适配器(DKA),23SVP(Service Processor),24超高速缓冲存储器,25共有存储器,30盘部,31实际内部LDEV,132虚拟内部LU,40辅助存储系统,42外部LDEV,32内部LDEV,600主存储系统
具体实施方式
在本发明的一个实施形态中,具有计算机和具有存储多个文件的一个以上的第一逻辑存储设备的第一存储系统。计算机可以具有计算对于多个文件的内容分别是固有的值的多个内容固有值的固有值计算部、和把分别与多个文件对应的多个内容固有值向所述第一存储系统发送的固有值发送部。第一存储系统可以具有判定在多个内容固有值中是否包含两个以上相同的内容固有值的重复判定部、和在有两个以上相同的内容固有值的场合,把与该两个以上的内容固有值中的第一内容固有值对应的第一文件的访问目的地切换为存储与该两个以上的内容固有值中的第二内容固有值对应的第二文件的位置的切换控制部。
在一个实施形态中,固有值计算部能够以把所述多个文件作为归档对象为契机计算多个内容固有值。具体说,固有值计算部,以把多个文件作为归档对象为契机,能够根据表示对于第一存储系统发送访问请求的NAS节点利用的文件系统管理的文件的存储位置的信息(例如i-node信息)对于文件的内容使用散列函数计算内容固有值。
在一个实施形态中,固有值计算部能够以把多个文件作为归档对象为契机让第一存储系统禁止更新一个以上的第一逻辑存储设备。作为归档对象的多个文件可以用文件单位、目录单位、文件系统单位、第一逻辑存储设备单位等各种单位进行指定。另外,所谓“归档对象”在这里可以假定指不可更新的对象。存储作为不可更新的对象的多个文件的一个以上的各个第一逻辑存储设备被禁止更新。
在一个实施形态中,具有与多个内容固有值分别对应的多个保持期限。切换控制部,能够把与第一期限对应的第一文件的访问目的地切换为存储与分别对应两个以上相同的内容固有值的两个以上的保持期限中、比第一保持期限晚的第二保持期限对应的第二文件的位置。
在一个实施形态中,在第一存储系统上连接具有一个以上的第二逻辑存储设备的第二存储系统。第一存储系统进而可以具有与一个以上的第二逻辑存储设备分别对应的一个以上的虚拟逻辑存储设备、和通过迁移目的地的一个以上的虚拟逻辑存储设备向一个以上的第二逻辑存储设备写入在一个以上的第一逻辑存储设备中存储的各文件的实体的迁移执行部。迁移执行部,不在一个以上的第二逻辑存储设备的任何一个中写入与两个以上相同的内容固有值分别对应的两个以上的文件中的第一文件的实体,而在所述一个以上的第二逻辑存储设备的任何一个中写入其中的第二文件的实体。切换控制部能够把第一文件的访问目的地切换为写入第二文件的实体的位置。
在一个实施形态中,在迁移开始前,可以假定存储所述多个文件的所述一个以上的第一逻辑存储设备的各个不可更新。另外,在迁移结束后,一个以上的虚拟的逻辑存储设备的各个虽然可以更新,但是已成为迁移对象的多个文件的各个可以做成为不可更新。
在一个实施形态中,切换控制部进而可以根据所述一个以上的第二逻辑存储设备的设备特性控制访问目的地的切换。
在一个实施形态中,假定在与两个以上相同的内容固有值分别对应的两个以上的文件中、与最晚保持期限对应的第一文件和作为其他文件的第二文件的迁移目的地是与具有第一种设备特性(例如低速特性)的第一个第二逻辑存储设备对应的第一虚拟逻辑存储设备。假定与第二文件的保持期限相比保持期限晚的第三文件的迁移目的地是与具有比第一种设备特性优的第二种设备特性(例如高速特性)的第二个第二逻辑存储设备对应的第二虚拟逻辑存储设备。在这时,切换控制部能够把第二文件的访问目的地切换为存储第三文件的实体的位置。另外,迁移执行部能够通过第一虚拟逻辑存储设备向第一个第二逻辑存储设备写入第一文件的实体,不向第一个第二逻辑存储设备写第二文件的实体,而通过第二虚拟逻辑存储设备向第二个第二逻辑存储设备写入第三文件的实体。
在一个实施形态中,切换控制部例如在由于第一个第二逻辑存储设备发生故障等理由不能读出第一个第二逻辑存储设备中的第一文件的实体的场合,能够把第一文件的访问目的地切换为存储第三文件的实体的位置。另外,切换控制部例如在由于第二个第二逻辑存储设备发生故障等理由不能读出第二个第二逻辑存储设备中的第三文件的实体的场合,能够把第三文件的访问目的地切换为存储第一文件的实体的位置。
在一个实施形态中,计算机进而可以具有存储区域和完全性检查部。另外,第一存储系统进而可以具有存储从计算机接收的多个内容固有值的存储区域。固有值计算部可以在计算机的存储区域中存储多个内容固有值。完全性检查部可以比较与从多个文件中选择的文件对应的、在计算机的存储区域中存储的多个文件固有值中的内容固有值和在第一存储系统的存储区域中存储的、与上述选择的文件对应的内容固有值。
在一个实施形态中,第一存储系统进而可以具有节约容量通知部。节约容量通知部可以计算通过切换第一文件的访问目的地而节约的存储容量,向计算机通知表示该存储容量的信息。
在一个实施形态中,切换控制部,通过更新有与多个文件分别对应的多个记录的切换管理表能够进行访问目的地的切换。在与一个文件对应的一个所述记录中,有记录记录ID、该文件的位置记录、和参照目的地的记录ID的字段。切换控制部,在与所述第一文件对应的第一记录中,能够把参照目的地的记录ID更新为与第二文件对应的第二记录上的记录ID。在记录中进而可以准备表示是否切换的标志。切换控制部,例如能够把与切换访问目的地的第一文件对应的标志置为On。
在一个实施形态中,在切换管理表的一个记录中,进而也可以记录文件的保持期限和文件的访问属性。切换控制部,在与两个以上相同的内容固有值分别对应的两个以上的保持期限中,能够把与比第一保持期限晚的第二保持期限对应的所述第二文件的所述第二记录上的参照目的地记录ID更新为与所述第一保持期限对应的所述第一文件的所述第一记录上的ID,而且,把所述第一以及第二记录上的访问属性设定为只读。在该场合,第一存储系统,即使接收指定第一以及第二记录上的位置信息的位置的写访问,也可以不执行对于该位置的写入。
也可以组合所述多个实施形态中的任意两个以上的实施形态。所述计算机可以是用于管理第一存储系统的管理计算机,也可以是向第一存储系统发送访问请求的NAS节点。另外,所述计算机具有的各部分,也可以装备在第一存储系统中。
所述各部(例如固有值计算部、重复判定部、切换控制部等)也可以通过硬件(例如电路)、计算机程序、或者它们的组合(例如读入并执行计算机程序的一个或者多个CPU)实现。各计算机程序可以从计算机具有的存储资源(例如存储器)读入。在该存储资源中可以通过CD-ROM或者DVD(DigitalVersatile Disk)等存储介质安装,也可以通过因特网或者LAN等通信网络下载。
下面,参照附图详细说明本发明的几个实施形态。此外,在以下的说明中,把第一存储系统称为“主存储系统”,把第二存储系统称为“辅助存储系统”。有时把主存储系统内的部件(例如存储器)称为“内部部件”,把在主存储系统之外存在的辅助存储系统内的部件称为“外部部件”。另外,关于同种部件,使用相同的父号码说明,在区别说明同种部件的场合,使用父号码和子号码来说明。
<第一实施形态>
图1是表示本发明的第一实施形态的计算机系统的结构例的框图。
在第一通信网络(例如SAN(Storage Area Network))105上,连接NAS节点10和主存储系统600。在第二通信网络104(例如SAN)上,连接主存储系统600和辅助存储系统40。在第三通信网络(例如LAN(Local AreaNetwork))107上,连接NAS节点(例如文件服务器)10、客户机301、主存储系统600、和管理终端106。多个通信网络105、104以及107中的至少两个也可以是一个通信网络。各通信网络105、104以及107可以采用各种通信网络。也可以将多个通信网络105、104以及107中的至少一个做成专用线。
客户机301、NAS节点10、以及管理终端106中的至少一个例如是具有CPU(Central Processing Unit)或存储器等信息处理资源的计算机装置,例如作为个人计算机、工作站、大型主机等构成。
客户机301,对于NAS节点10,能够用一般的协议(例如NFS(NetworkFile System)或者CIFS(Common Internet File System)向NAS节点10发送文件访问请求(文件的读请求或者文件的写请求)。
NAS节点10从客户机301接收文件访问请求,生成遵照接收到的文件访问请求把文件的实体(例如多个数据块)写入主存储系统600内的逻辑存储装置(以下有时简称Logical Device为“LDEV”)或者从LDEV读出该文件实体的块访问请求,发送生成的块访问请求。也可以代替NAS节点10采用其他的文件管理装置。
主存储系统600,例如可以采用具有以阵列状排列的多个盘400的RAID(Redundant Array of Independent(or Inexpensive)Disks)系统。但是不限于此,也可以把主存储系统600作为他种存储虚拟化装置,例如作为构成通信网络的开关(作为具体例,高功能化的智能型的光纤通道开关)构成。主存储系统600,如后述,因为把辅助存储系统40具有的存储资源作为自己的LDEV向NAS节点10提供,所以也可以没有自己直接支配的本地存储设备。
主存储系统600,大体可以分为控制器部20和盘部30。控制器部20,例如连接通道适配器(以下称CHA)21、盘适配器(以下称DKA)22、SVP(ServiceProcessor)23、超高速缓冲存储器24、共有存储器和连接部26。
CHA21通过通信端口207进行和外部的装置(例如NAS节点10或者辅助存储系统)之间的数据通信。CHA21例如作为具有CPU或存储器等的微型计算机系统构成。在CHA21中,分配用于识别该CHA21的网络地址(例如WWN(World Wide Name))。在CHA21中,有在NAS节点10上连接的CHA21A、和在辅助存储系统40上连接的CHA21B。CHA21A和21B也可以成为一体。
DKA22,具有用于连接在盘部30中装备的盘(以下称内部盘)400的通信端口220,通过该通信端口220,能够和内部盘400通信。DKA22,作为具有CPU或存储器等的微型计算机系统构成。DKA22,能够把从CHA21写入超高速缓冲存储器24的数据写入内部盘400中,或者把从内部盘400读出的数据写入超高速缓冲存储器24中。另外,DKA22,在和内部盘400之间进行数据输入输出的场合,能够把逻辑地址变换为物理地址。
超高速缓冲存储器24例如是易失或者非易失的存储器,能够临时存储从NAS节点10接收向内部LDEV31或者外部LDEV42转发的数据、或者从内部LDEV31或者外部LDEV42读出的数据。
共有存储器25,例如是非易失的存储器,存储关于主存储系统600中的控制的信息(以下称控制信息)。作为控制信息,例如有后述的内容识别符管理表、地址映射管理表、以及扩展管理表。
连接部26相互连接CHA21、DKA22、超高速缓冲存储器24以及共有存储器25。连接部26例如可以作为通过高速开关动作进行数据传送的超高速纵横开关等那样的高速总线构成。
在盘部30中,包含以阵列状排列的多个内部盘400。作为内部盘400,例如可以采用硬盘、软盘、光盘等盘形存储装置。代替内部盘400,也可以使用他种存储装置,例如磁带、半导体存储器(例如闪光存储器)。在内部盘400的存储区域上,设置逻辑存储装置(内部LDEV)31。内部LDEV31,是作为使用物理内部盘400具有的存储资源设定的实体的LDEV,与此相对,LDEV132不是使用内部盘400设定的LDEV,是虚拟的LDEV。以下把内部LDEV31称为实际内部LDEV31,把LDEV32称为虚拟内部LDEV132。在对于实际内部LDEV31发生访问的场合,对于内部盘400进行访问,但是在对于虚拟内部LDEV132发生访问的场合,对外部LDEV42进行访问。此外,该种技术有时称为外部连接技术,例如,可以以一对一地将虚拟内部LDEV132和外部LDEV42的各个的LUN(Logical Unit Number)对应起来,也可以例如援引特开2005-107645号公报(US申请号10/769805号、US申请号11/471556号)中公开的技术。
SVP23是用于进行主存储系统600的维护或者管理的信息处理终端(例如节点型的个人计算机)。SVP23,例如通过内部LAN410连接CHA21内的处理器(例如CPU)、或者DKA22内的处理器。SVP23,监视在主存储系统600内的故障发生并在显示器画面上显示,或者指示内部盘400的堵塞处理。SVP23可以从远程的管理终端106进行操作。
辅助存储系统40可以是像主存储系统600那样的结构,也可以是比主存储系统600简单的结构。辅助存储系统40例如装备具有通信端口41的CHA217和一个或者多个盘(以下称外部盘)500。在外部盘500的存储区域上,装备外部LDEV42。外部LDEV42可以作为主存储系统600的内部LDEV132对待。
以上是本实施形态的计算机系统的结构例。此外,上述的说明是一个例子,也可以采用其他结构。例如,共有存储器25和超高速缓冲存储器24,不是各自独立的存储器,而也可以是在一个存储器上设置共有存储器区域和超高速缓冲存储器区域。另外,例如控制器部20也可以是具有CPU、存储器以及通信端口的电路基板。在这一场合,CPU可以执行由多个CHA或DKA进行的处理。另外,代替CHA21A,也可以在主存储系统600上装载具有NAS节点10的功能的CHA,换言之就是装载能够作为NAS工作的CHA(以下为方便起见把Embedded NAS简称为“E—NAS”)。在该场合,E—NAS也可以从客户机301接收文件请求,从该文件访问请求生成块访问请求。
下面更详细说明本实施形态。
图2A表示主存储系统600的控制器部20内的CPU执行的计算机程序的一例。以下,在计算机程序成为主语的场合,假定实际上通过执行该计算机程序的CPU进行处理。
例如,有执行LDEV间的迁移的迁移执行程序701、判定文件是否重复来进行扩展管理表的更新的判定控制程序705、控制来自NAS节点10的块访问请求的处理的访问控制程序707、以及提供LDEV管理表的表提供程序709。这些计算机程序701、705、707以及709,也可以在SVP23内的存储资源、CHA21A内的存储资源、CHA21B内的存储资源、DKA22内的存储资源、内部盘400、共有存储器25以及超高速缓冲存储器24中的一个或者多个中存在。另外,这些计算机程序701、705、707以及709,也可以用SVP23内的CPU、CHA21A内的CPU、CHA21B内的CPU、以及DKA22内的CPU中一个或者多个执行。
图2B表示地址管理表的结构例。
地址管理表801,是用于管理虚拟内部LDEV132和外部LDEV42的对应的表,在主存储系统600内的存储资源(例如共有存储器25)内存储。在该表801内,例如记录虚拟内部LDEV132的识别符(LDEV号码(VDEV号码))8011、与与其对应的外部LDEV42对应的WWN(World Wide Name)(也可以是端口号码等他种信息)8012、与该外部LDEV42对应的LUN(Logical UnitName)8013。
图2C表示LDEV管理表的结构例。
LDEV管理表803,例如在主存储系统600内的存储资源(例如共有存储器25)内存储。LDEV管理表803是记录关于内部LDEV31、132的信息的表。在该表803的一个记录中,例如对于一个内部LDEV(以下在图2C的说明中称“对象内部LDEV”),记录端口号码8031、LUN8032、LDEV号码8033、访问属性8034、LDEV类别8035以及使用状态8036。端口号码8031是与对象内部LDEV对应的端口的识别符(例如WWN)。LUN8032是与对象内部LDEV对应的LUN。LDEV号码8033是对象内部LDEV的号码。如果用块访问命令指定了端口号码8031以及LUN8032,则执行对于与它们对应的对象内部LDEV的访问。访问属性8034是用于限制对于对象内部LDEV的访问的种类的信息,例如,作为该信息,有读/写(许可读出以及写入两者)、只读(许可读出禁止写入)等。访问控制程序707,对于访问属性8034“只读”对应的内部LDEV即使接收到块写命令,也不执行对于该内部LDEV的更新。LDEV类别8035是表示对象内部LDEV的类别的信息,例如是实际内部LDEV(“R”)还是虚拟内部LDEV(“V”)。使用状态8036是表示对象内部LDEV的使用状态的信息,例如有“使用中”和“未使用”。
图3表示管理终端106的结构例。
在管理终端106的存储资源(例如存储器以及盘装置中的至少一个)713中,存储管理终端106的CPU711执行的实用程序715。在该实施形态中,实用程序715在管理终端106中执行,但是取代之,也可以在NAS节点10等其他计算机中执行。
实用程序715例如包含信息收集程序717、散列生成程序719、用户接口(UI)控制程序721。
信息收集程序717,如图4所示,从NAS节点10或者主存储系统600收集规定种类的信息。图5以及图6表示收集的信息的一例。图5例示的信息,是NAS节点10的文件系统程序721管理的、目录文件信息的表(以下称目录文件管理表)811以及813。文件系统程序721是利用一个或者多个内部LDEV的文件系统的计算机程序。通过参照表811的i节点信息表示的、在表813的地址中记载的内容,可以取得文件。图6中例示的信息是记录NAS节点10的卷管理器723管理的信息(关于存储文件或者目录的逻辑卷的信息)的表831、和作为用主存储系统600管理的LDEV管理表803(参照图2C)的一部分的LDEV部分管理表833。在表831的各记录中,记录文件系统的目录点名8313、设备文件名8312、盘组名8311。另外,在部分表833中,关于各内部LDEV31、132,记录端口号码8331、LUN8332以及LDEV号码8333(例如分别是和图2C的8031、8032以及8033相同的值)。文件系统的目录点名8313、设备文件名8312、和盘组名8311的组合对应一个内部LDEV。哪个组合和哪个内部LDEV对应,例如可以从设备文件名8312中的数值确定(例如,c0指主存储系统600,t1指端口号码“1”,d1指是LUN“1”)。具体说,例如根据图4、图5以及图6的例子,可知与把“/usr”作为根目录的文件系统对应的内部LDEV是与端口号码“1”、LUN“1”以及LDEV号码“1”(00:01)对应的内部LDEV。所谓上述的逻辑卷,是卷管理器723识别的逻辑存储设备的卷,与主存储系统600内的内部LDEV31、132对应。
散列生成程序719,关于一个内部LDEV生成图7中例示的内容识别符管理表835。该表835的一个记录与一个文件对应。在一个记录中,记录与该记录对应的文件自身的散列值(换言之,文件的内容的识别符)8351、表示存储构成该文件的块数据的位置(内部LDEV内的位置)的地址(例如块号码)8352、该文件的文件名8353、该文件的文件地址(例如i节点管理的该文件的地址(例如到存储该文件的目录的路径名))8354、该文件的保持期限8355。散列生成程序719,通过从从NAS节点10收集的i节点信息(在目录文件管理表811以及813中记录的信息)确定文件的内容,将该内容散列化(通过使用散列函数),计算该文件的散列值。以下有时把该散列值称为“内容识别符”。保持期限8355,例如是通过后述的图18A中例示的GUI从用户输入的信息。另外,保持期限8355,代替从用户的输入,也可以是在文件中预先设定后,复制该预先设定的值的值。另外,代替保持期限8355,也可以采用表示保持期限的信息。保持期限也好保持期间也好,结果都是表示文件应该保存到何时的信息。
UI控制程序721,根据图5以及图6例示的信息,能够在显示装置(例如管理终端160具有的显示装置)上显示图18A例示的GUI(Graphical UserInterface)。UI控制程序721,例如能够在GUI上显示关于多个LDEV的信息,接收多个LDEV中的用户希望的选择,显示关于在给用户选择的LDEV中存储的一个以上的目录和/或一个以上的文件的信息。另外,UI控制程序721,对于一个以上的各个文件,在接收表示保持期限的信息的输入、或者对于文件输入表示保持期限的信息的场合,把输入的信息作为在与存储该文件的LDEV对应的内容识别符管理表835中的保持期限8355登记。
下面说明用本实施形态的计算机系统执行的处理的流程。此外,在以下的说明中,假定已经完成了图6例示的表831和部分表833的对应,其后的收集对象的信息是图5中例示的信息。另外,在图9或者图10中,LDEV内的四角形以及FSP(文件系统程序)内的四角形表示文件。然后假定涂绘图形相同的四角形是内容相同的文件,所以文件的内容的散列值也相同。
<图8的S101:归档指示>
实用程序715的信息收集程序717向NAS节点10或者主存储系统600发行信息的询问。NAS节点10响应该询问的接收,规定的计算机程序(例如代理程序)向实用程序715发送图5中例示的表811、813、或者图6中例示的表831。在主存储系统600中,响应该信息询问的接收,表提供程序709向实用程序715发送LDEV部分管理表833。信息收集程序717,如图6中例示的那样,把表831与LDEV部分管理表833进行对应。文件、目录以及内部LDEV31、132的对应关系从图5或者图6中例示的信息了解哪个文件或者哪个目录在哪个内部LDEV中存储。
响应信息收集的结束,UI控制程序721显示图18A中例示的GUI,通过该GUI,以内部LDEV单位、目录单位、以及文件单位中的至少一种单位从用户接收归档指示。如果接收到指定用户希望的内部LDEV、目录以及文件中至少一种的归档指示,则如图9中例示的那样,UI控制程序721把关于存储该指定的内部LDEV、或者该指定的目录或者文件的内部LDEV(以下有时把这些内部LDEV总称为“归档指示对象的内部LDEV”)的、LDEV管理表803中的访问属性8034设定为“只读”。在图9的例子中,假定内部LDEV#1和内部LDEV#2是归档指示对象的内部LDEV,对于各内部LDEV,访问属性8034设定为“只读”。此外,“内部LDEV#1”这样的记载,指LDEV号码8033是“1”(00:11)的内部LDEV。
代替把访问属性8034设定为“只读”,用其他的方法,可以对归档指示对象的内部LDEV不进行写入。例如,主存储系统600,在接收归档指示对象的内部LDEV的指定后,在接收指定该内部LDEV的块访问命令的场合,也可以通过返回不可写入或者忙等规定的应答,抑制写入。
另外,例如UI控制程序721,对于用户希望的文件,也能够通过在图18A中例示的GUI接收保持期限。在接收到的场合,UI控制程序721,在存储资源713中存储文件名8353和保持期限8355的对应关系,在生成了内容识别符管理表835时,能够在该表835内登记该保持期限8355。
另外,例如UI控制程序721也可以通过图18A中例示的GUI接收作为迁移源的内部LDEV的指定。代替它,UI控制程序721,没有来自用户的特别的指示,也可以把作为归档指示的对象指定的内部LDEV(或者存储作为该对象指定的文件或者目录的内部LDEV)作为迁移源的内部LDEV。
另外,例如,如果以内部LDEV单位指定归档对象,而且完成了图6中例示的表831以及部分表833的对应,则也可以在S101中不进行信息收集,而在接着的S102中从NAS节点10取得图5中例示的表811以及813。
<图8的S102:文件重复判定/地址切换控制>
例如,响应在S101中访问属性8034“只读”的设定完成的事实,散列生成程序719对于归档指示对象的每一个内部LDEV生成内容识别符管理表835。现对于一个内部LDEV进行说明,例如,散列生成程序719,参照图5中例示的表311以及313,对于在该内部LDE中存储的全部文件的各个,计算文件的内容的散列值,而且,确定文件的实体的存储位置(例如用于识别内部LDEV内的块的块号码)等,在内容识别符管理表835中记录算出的散列值8351、和确定的地址(物理存储位置)8352、文件名8353、以及文件地址8354。另外,散列生成程序719,在内容识别符管理表835中记录在存储资源713中存储的保持期限(在S101中由用户通过GUI输入的保持期限)8355。
如在图10中例示的那样,散列生成程序719,向主存储系统600发送归档指示对象的每一个内部LDEV的内容识别符管理表835,主存储系统600接收该表。判定控制程序705在主存储系统600内的存储资源(例如共有存储器25)内存储接收到的内容识别符管理表835。
判定控制程序705根据归档指示对象的每一个内部LDEV的内容识别符管理表835生成归档指示对象的每一个内部LDEV的扩展管理表。图11表示扩展管理表的一例。扩展管理表861的一个记录(以下称扩展记录)与内容识别符管理表835的一个记录(以下称散列记录)对应,因此与一个文件对应。在一个扩展记录中,记录ID8611、地址8612、访问属性8613、保持期限8614、切换标志8615、扩展ID8616、以及VDEV号码8617。ID8611例如是对应的散列记录的连续号码。地址8612是对应的散列记录中记录的地址8352的复制。访问属性8613是表示关于对应的文件的访问属性的信息(例如写/读、只读)。在刚生成好扩展管理表861后,在全部扩展记录中,例如记录关于与该表861对应的内部LDEV的访问属性8034的复制。保持期限8614例如是在对应的散列记录中存储的保持期限8355的复制。切换标志8615是表示地址切换是(On)还是(Off)。扩展ID8616是在切换标志“On”的场合设定的值,表示应该参照的ID8611。VDEV号码8617是在切换标志8615“On”的场合设定的值,表示应该参照的LDEV号码(VDEV号码)8011(在地址管理表801中记录的LDEV号码(VDEV号码)8011)。在刚生成好扩展管理表861后在全部扩展记录中,切换标志8615成为“Off”,扩展ID8616以及VDEV号码8617的存储区域成为空白或者设定无效值。
判定控制程序705,如图12所示,或者判定有无重复的文件,或者进行地址切换控制。具体说,执行图13中例示的地址控制处理。
亦即,判定控制程序705,参照从存储的全部内容识别符管理表835中选择的内容识别符管理表835(S1),从该内容识别符管理表835中检索和从该表835中选择的散列值(以下称选择散列值)8351一致的散列值(以下称一致散列值)8351(S2)。如果从该表835中未发现一致散列值8351(S3:NO,S4:YES),而且存在尚未参照的其他的内容识别符管理表835(S5:NO),则判定控制程序705参照其他的内容识别符管理表835(S6),从该表835检索一致散列值8351。
在发现了一致散列值8351的场合(S3:YES),判定控制程序705参照一方的保持期限8355(与选择散列值8351对应的保持期限8355)和另一方的保持期限8355(与一致散列值8351对应的保持期限8355)进行比较(S7)。如果一方的保持期限8355表示的期间长,则前进到S11。如果一方的保持期限8355表示的期间短,则判定控制程序705把一方的切换标志8615(与选择散列值8351对应的切换标志8615)设定为“On”(S9)。另外,判定控制程序705,如果从其他的内容识别符管理表835发现了一致散列值8351,则把与该表835对应的内部LDEV的LDEV号码作为一方的VDEV号码8617(与选择散列值8351对应的切换标志8615)记录(S10)。
在S11,判定控制程序705判断是否参照了现在的参照对象的表835的全部散列记录,如果未参照(S11:NO),则返回S2,如果参照过(S11:YES),则前进到S12。在S12,判定控制程序705判定有无未参照的内容识别符管理表835,如果有(S12:YES),则参照未参照的表835(S13),如果没有(S12:NO),则结束。
在参照图13的说明中,如图14A中例示的那样,在从有选择散列值8351的内容识别符管理表835中发现一致散列值8351的场合,与该表835对应的扩展管理表861,例如如图14B那样更新。亦即当假定与选择散列值8351对应的ID8611是“1”,与一致散列值8351对应的ID8611是“0”时,因为与ID8611“1”对应的保持期限8614“2010.01.01”的一方比与ID8611“0”对应的保持期限8614“2020.01.01”早,所以使与ID8611“1”对应的切换标志8615成为“On”,把与其对应的扩展ID8616作为“0”。由此,在从客户机301发送了指定与ID“1”对应的文件的文件访问请求的场合,向客户机301提供与ID“0”对应的文件。
另一方面,在参照图13的说明中,如在图15A中例示的那样,在从与有选择散列值8351的内容识别符管理表835不同的第二内容识别符管理表835发现一致散列值8351的场合,与第一内容识别符管理表835对应的第一扩展管理表861和与第二内容识别符管理表835对应的第二扩展管理表861例如如图15B那样更新。亦即,假定与选择散列值8351对应的ID8611是“10”(位于第二扩展管理表861内),与一致散列值8351对应的ID8611是“0”(位于第一扩展管理表861内)时,因为与ID8611“10”对应的保持期限8614“2010.01.01”的一方比与ID8611“0”对应的保持期限8614“2020.01.01”早,所以使与ID8611“1”对应的切换标志8615成为“On”,把与其对应的扩展ID8616作为“0”。进而,使与ID“10”对应的VDEV号码8617成为与第一扩展管理表861对应的内部VDEV的LDEV号码“01”。
以上是关于图8的S102的说明。此外,也可以根据生成好的内容识别符管理表835,在该S102中,在后述的图8的S103中执行对于辅助存储系统40的迁移前,实用程序715或者判定控制程序705删除重复的多个文件中的一个文件以外的一个以上的文件实体。另外,也可以不删除,而置换为指向文件的实体的链接(例如符号链接或者快捷方式)。在该场合,先前把访问属性8613作为“只读”设定的访问属性,为删除或者链接置换,实用程序715或者判定控制程序705临时解除访问属性8613的设定,在删除或者链接置换处理结束后,也可以再次把访问属性8613作为“只读”设定。在该S102中,在先进行了删除或者链接置换的场合,图8的S103中的迁移,只要单纯进行LDEV之间(逻辑卷之间)的迁移即可。在不是这样的场合,如后述,只要根据迁移源的扩展管理表861的切换标志8615,进行迁移即可。
<图8的S103:LDEV之间的迁移>
例如响应参照图13说明的处理的流程的结束,主存储系统600内的迁移执行程序701,如图16A所示,能够把归档对象的实际内部LDEV#1、#2内的数据的迁移目的地决定为虚拟内部LDEV#3、#4。
在本实施形态中,在归档指示前,在实际内部LDEV中存储文件,对于实际内部LDEV执行文件的读或写。因此,归档指示对象的内部LDEV是实际内部LDEV,因此,迁移源的内部LDEV也是实际内部LDEV。对此,迁移目的地,如图16A例示,被设为虚拟内部LDEV。具体说,例如在迁移前,如图16B例示,在LDEV管理表803中,分别与LDEV号码8033“3”以及“4”对应的LDEV类别8035都是“V”而且使用状态8036都是“未使用”,因此,如图16C例示,在地址映射管理表801中,设LDEV号码(VDEV号码)8011是“03”以及“04”。在该场合,迁移执行程序701,参照LDEV管理表803,把在实际内部LDEV#1、#2的各个中存储的数据的迁移目的地决定为虚拟内部LDEV#3、#4。另外,此时迁移执行程序701能够把分别与LDEV号码8033“3”以及“4”对应的使用状态8036更新为“使用中”。此外,迁移目的地,可以如上述自动决定,也可以通过UI控制程序721显示的GUI手动决定。
迁移执行程序701开始把实际内部LDEV#1、#2内的数据向虚拟内部LDEV#3、#4迁移。在迁移中,如果,在NAS节点10从客户机301接收到指定在实际内部LDEV#1中存储的文件的文件读请求的场合,则NAS节点10向主存储系统600发送指定内部LDEV#1的块读请求。LDEV管理表803,例如如图16C例示,访问控制程序707遵照该块读请求从实际内部LDEV#1读出数据的NAS节点10发送。亦即,即使在迁移中,客户机301也可以通过NAS节点10读出归档对象的文件。
迁移执行程序701,例如在把从某地址8612确定的、位于实际内部LDEV#1内的位置的数据向虚拟内部LDEV#3迁移的场合,参照与该地址8612对应的切换标志8615,在该切换标志8615是“Off”的场合,把该数据向虚拟内部LDEV#3迁移,在该切换标志8615是“On”的场合,不把该数据向虚拟内部LDEV#3迁移(例如可以把该数据删除)。亦即,不将重复的文件中的一个文件以外的一个以上的文件的数据向迁移目的地的虚拟内部LDEV迁移。换言之,能够使写入迁移目的地的虚拟内部LDEV的数据量比在迁移源的实际内部LDEV中存储的数据量减少。此外,例如被迁移到虚拟内部LDEV#3的数据,通过迁移执行程序701,从地址映射管理表801,确定与该虚拟内部LDEV#3对应的外部LDEV,将指定了确定的外部LDEV的WWN8012或者LUN8013的块写命令,向辅助存储系统40发送。
在迁移结束的场合,迁移执行程序701,如图17所示,交换迁移源和迁移目的地的LDEV号码。具体说,例如,迁移执行程序701,在LDEV管理表803中,如图22A所示,交换迁移源的端口号码8031、LUN8032以及LDEV号码8033和迁移目的地的端口号码8031、LUN8032以及LDEV号码8033(再者,如图22A所示,也可以把内部LDEV#3、#4的使用状态变更为“未使用”)。另外,迁移执行程序701,如图22B所示,在地址管理表801中,在迁移目的地的内部LDEV的LDEV号码(VDEV号码)8011上,把迁移源的LDEV号码8033作为新的LDEV号码(VDEV号码)8011进行重写。
此后,例如如图17所示,在NAS节点10从客户机301接收指定在虚拟内部LDEV#2中存储的文件的文件读请求的场合,NAS节点10向主存储系统600发送指定虚拟内部LDEV#2及其访问目的地地址的块读请求。LDEV管理表803以及地址映射管理表801分别如图22A以及图22B例示的那样。另外,在与虚拟内部LDEV#2对应的扩展管理表861中,与该访问目的地地址对应的切换标志8615成为“On”,VDEV号码8617成为虚拟内部LDEV#1的VDEV号码,而有与该访问目的地地址对应的扩展ID8616。从与虚拟内部LDEV#1扩展管理表的、作为ID8611记录了上述对应的扩展ID8616的记录确定地址8612。因此,访问控制程序707,能够遵照从NAS节点10接收的块读请求,从与虚拟内部LDEV#1对应的外部LDEV的、与上述确定的地址8612对应的位置读出数据,向NAS节点10发送。亦即,作为内部LDEV#2内的文件、且文件实体存在在与内部LDEV#1对应的外部LDEV中的文件,在作为访问目的地被指定的场合,不是访问与内部LDEV#2对应的外部LDEV,而是通过与内部LDEV#2、#1对应的扩展管理表861或者地址映射管理表801,访问与内部LDEV#1对应的外部LDEV(亦即访问路径被切换)。
另外,与虚拟内部LDEV#1、#2对应的扩展管理表861内记载的地址8612,对应访问属性8613“只读”。因此,被迁移后的数据不可写入,但是因为虚拟内部LDEV#1、#2的访问属性8034成为“读/写”,所以在存储迁移后的数据的位置以外的位置,可以写入数据。亦即在迁移前,以内部LDEV单位设定访问属性“只读”,但是在迁移后,成为以文件单位设定访问属性“只读”。例如,在通过实用程序715显示的、图18A中例示的GUI中,仅把文件名“file1.txt”的文件作为归档对象指定而输出归档指示后,在对于该文件进行迁移的场合,如图18B的GUI中所示,该文件的访问属性在迁移目的地就成为“只读”。
以上是关于第一实施形态的说明。
此外,在内容识别符管理表835中记录的散列值,在以文件单位指定归档对象的场合,记录被指定的文件的散列值,在以目录单位指定归档对象的场合,记录被指定的目录内的各文件的散列值。也可以把被迁移的数据作为作为归档对象指定的文件(或者作为归档对象指定的目录内的文件)。
另外,迁移执行程序701,如图17所示,能够在与内部LDEV#1、#2对应的扩展管理表861中,把从迁移对象数据量中减去从与切换标志8615“On”对应的地址8612中确定的块数量的容量(例如块长512字节和块的数量的积)的值作为实际的迁移对象数据量报告。更具体说,例如,在把第一文件的访问目的地切换为第二文件的场合,如果第一文件已被删除,则也可以根据存储该第一文件的实体的块数,计算节约的存储容量。另外,例如,如果第一文件是被进行链接置换处理过的文件,则也可以根据从存储第一文件的实体的块数中减去存储被置换的链接的信息的块数的值,计算节约的存储容量。
另外,例如,实用程序715也可以在NAS节点10中执行。实用程序715也可以在NAS节点10的存储资源内保存归档指示对象的每一内部LDEV的内容识别符管理表835。在执行某文件的读访问的场合,实用程序715或者判定控制程序705,也可以对与该读对象的文件对应的散列记录上的、实用程序715保存的内容识别符管理表835中的散列值8351,和在主存储系统600的存储资源内存储的内容识别符管理表835中的、与该读对象的文件对应的散列记录上的散列值8351进行比较,如果是相同的值,则判断为读对象的文件的内容正确,进行该文件的读出,如果是不同的值,则判断读对象的文件的内容不正确,将该判断结果向读访问源回答。另外,代替进行读的场合,例如在文件的保持期限比规定的保持期间晚的场合,也可以在规定的定时执行上述的比较判断。
根据上述的第一实施形态,判定成为归档对象的多个文件中有无重复的文件,在发现了重复的文件的场合,保留重复的文件中的至少一个,排除重复的文件中的至少一个。但是,在NAS节点10中,看上去似乎重复的文件原样不变存在。通过更新扩展管理表861和地址映射管理表801内记录的信息,将被排除的文件的访问目的地与被保留的文件的实体的访问目的地对应。由此,不需要将散列值本身用作文件的地址,因此就可以无需在NAS节点10中装备专用的API。
另外,根据第一实施形态,关于在辅助存储系统40中存储的文件的访问属性等,关于文件的知识库(repository)的信息,被汇集在主存储系统600中。因此,在归档对象的文件增加而希望增加存储容量的场合,作为归档用的存储系统也可以增设辅助存储系统40。亦即,在增加用于归档的存储容量的场合,不需要导入具有特殊功能的设备,能够有效地活用已有产品的存储系统。
另外,根据第一实施形态,在发行归档指示的场合,进行从实际内部LDEV31向虚拟内部LDEV132的迁移,其后,交换迁移源的端口号码8031、LUN8032以及LDEV号码8033和迁移目的地的端口号码8031、LUN8032以及LDEV号码8033。因此,即使在归档对象的文件迁移后,NAS节点10如果不意识到迁移目的地,而指定和迁移前同样的场所,则也能够取得和迁移前同样的数据。
<第二实施形态>
下面说明本发明的第二实施形态。其时,主要说明和第一实施形态的不同点,对于和第一实施形态的共同点,省略或者简略说明。
例如,假定在一个或者多个辅助存储系统40中存在多个外部LDEV,而这些多个外部LDEV的特性(以下称外部LDEV特性)不同。外部LDEV特性,根据使用何种外部存储装置(例如外部盘500)准备了外部LDEV而不同。作为外部LDEV特性,例如可以采用性能(例如转送速度)、可靠性、价格以及存储装置种类(例如硬盘、闪光存储器)中的至少一种。具体说,例如如果外部存储装置是高速而且高可靠性,则使用该外部存储装置准备的外部LDEV的外部LDEV特性成为高速/高可靠性。另外例如外部存储装置是低速而且低价格,则使用该外部存储装置准备的外部LDEV的外部LDEV特性成为低速/低价格。在以下的说明中,假定有与第一~第三虚拟内部LDEV分别对应的第一~第三外部LDEV,第一外部LDEV的外部LDEV特性是高速/高可靠性,第二以及第三外部LDEV的外部LDEV特性是低速/低价格。另外,假定向第一~第三虚拟内部LDEV分别迁移3个重复的文件(第一~第三文件)。但是,实际是否进行迁移(亦即向外部LDEV写文件的数据(实体)),通过后述的排除判定基准来控制。另外,在以下的说明中,所谓保持期限8614晚/早,指保持期限8614表示的期限晚(亦即更在将来)/早。
如图19A所示,在第一实施形态中,保留重复的文件中的哪个文件的实体,排除(例如删除或者链接的置换)哪个文件的实体的基准(以下称排除判定基准),仅是文件的保持期限8614。因此,例如如情况1,如果第一文件的保持期限8614在三个重复的文件中最晚,则把第一文件写入第一外部LDEV,而不把第二以及第三文件写入第二以及第三外部LDEV。因此,三个重复的文件的实体,至少在到达第一文件的保持期限8614前,在第一外部LDEV(高速/高可靠性的外部LDEV)中保存。但是,如情况2,假设第三文件的保持期限8614在三个重复的文件中最晚时,三个重复的文件的实体,在第三外部LDEV(低速/低价格的外部LDEV)中保存。因此,必须保存到最晚期限的文件的实体继续保存在低速/低价格的外部LDEV中。
因此,如图19B所示,在第二实施形态中,作为上述判处判定基准,除保持期限以外,还采用外部LDEV特性。具体说,例如如图20所示,在地址映射管理表801’的各记录中记录外部LDEV特性8014,参照该表801’,这样就能够确定将哪个虚拟内部LDEV与何种外部LDEV特性的外部LDEV对应。如图19B所示,如果是情况1,则第一文件的保持期限8614最晚,而且因为第一文件向第一虚拟内部LDEV迁移,所以结果3个重复的文件实体,和图19A同样,仅在第一外部LDEV内写入。但是,例如,在情况2中,第三文件的保持期限8614最晚,,第三文件,因为其保持期限8614最晚,所以第三文件的实体在第三外部LDEV内写入,而且关于第一文件,考虑到其迁移目的地与高速/高可靠性的外部LDEV对应,所以第一文件的实体在第一外部LDEV内写入。另外,关于第二文件,因为它的保持期限8614最短,所以实体被排除,进行地址切换控制,使访问第一文件的实体和第三文件的实体中任何一个。决定访问哪一个,可以是保持期限8614最晚的第三文件的实体,但是考虑到访问竞争,也可以如图19B那样,取第一文件的实体。另外,例如,在由于第一外部LDEV由于发生故障等理由不能取得第一文件的实体的场合,也可以为把第一以及第二文件的访问目的地切换到第三文件而更新扩展管理表861。由此,就能够避免不能参照文件的情况。
图21表示第二实施形态的地址控制处理的流程的一例。
判定控制程序705,参照与归档对象的全部内部LDEV对应的全部内容识别符管理表835,检索两个以上相同的散列值8351(S51)。如果未发现那样的散列值8351,则可以结束。
判定控制程序705,对于作为与两个以上相同的散列值8351对应的多个文件的迁移目的地的一个以上的虚拟内部LDEV的至少一个或者全部,如果不对应外部LDEV属性8014(S52:NO),则前进到S61,对于一个以上的那些虚拟内部LDEV,如果对应外部LDEV属性8014(S52:YES),则前进到S54或者S56。
在S61,判定控制程序705从与两个以上的相同的散列值8351对应的多个文件的保持期限8614中选择最晚的保持期限8614。具体说,例如在两个以上的相同的散列值8351中的选择散列值8351和一致散列值中,把与保持期限8614早的散列值8351对应的切换标志8615置为“On”,更新扩展ID8616,根据需要,更新VDEV号码8617。这点由判定控制程序705把两个以上相同的散列值8351的各个作为选择散列值8351来执行。其结果,在与两个以上的相同的散列值8351对应的多个文件中,如果最晚的保持期限8614仅有一个,则选择该保持期限8614,前进到S62。如果,最晚的保持期限8614(即相同的保持期限8614)有多个,则如图21的S70所示,判定控制程序705把切换标志8615“On”多的保持期限8614(亦即与地址切换源存在很多的文件对应的保持期限8614)作为最晚的保持期限8614来选择。如果切换标志8615“On”的数目相同,则判定控制程序705把任意选择的一个保持期限8614(例如比较源的保持期限8614)作为最晚的保持期限8614选择。
在S62,判定控制程序705更新各扩展管理表861,以使将与在S61未选择的保持期限8614对应的一个以上的文件定址为S61选择的保持期限8614对应的文件的地址。具体说,例如,判定控制程序705,保持与选择的保持期限8614对应的切换标志8615为“Off”不变,把与未选择的其他保持期限8614对应的切换标志8615变为“On”。另外,判定控制程序705把与切换标志8615“On”对应的扩展ID8616变更为与选择的保持期限8614对应的记录上的ID8611。另外,判定控制程序705根据需要更新与切换标志8615“On”对应的VDEV号码8167。
在S52的YES后,作为前进到S54的情况,是与一个以上的内部LDEV对应关联的一个以上的外部LDEV特性8014全部是“高速/高可靠性”的情况。作为前进到S56的情况,是在那些一个以上的外部LDEV特性8014中混存“高速/高可靠性”和“低速/低价格”的情况。如果一个以上的外部LDEV特性8014全部是“低速/低价格”,则也可以对于“低速/低价格”执行和S54同样的处理。
在S54,判定控制程序705从与两个以上相同的散列值8351对应的多个文件(与“高速/高可靠性”对应的多个文件)的保持期限8614中选择最晚的保持期限8614。如果最晚的保持期限8614(即相同的保持期限8614)有多个,则执行图21的S70。
在S55,判定控制程序705更新各扩展管理表861,以使将与在S54未选择的保持期限8614对应的一个以上的文件定址为在与在S54选择的保持期限8614对应的文件的地址。
在S56,判定控制程序705,从与两个以上相同的散列值8351对应的多个文件的保持期限8614中的与外部LDEV特性8014“低速/低价格”对应的一个以上的保持期限8614中选择最晚的保持期限8614。如果最晚的保持期限8614(即相同的保持期限8614)有多个,则执行图21的S70。另外,在该S56,也可以从与“高速/高可靠性”对应的一个以上的保持期限8614选择最晚的保持期限8614。
在S57,判定控制程序705,比较对于“高速/高可靠性”选择的最晚的保持期限8614(以下称高速侧期间8614)、和对于“低速/低价格”选择的最晚的保持期限8614(以下称低速侧期间8614)。
S57的比较的结果,如果低速侧期间8614比高速侧期间8614长(S58:YES),则判定控制程序705保持与低速侧期间8614对应的切换标志8615的“Off”不变,把与对于“低速/低价格”的其他的保持期限8614对应的切换标志8615变为“On”,而且,更新与该其他的保持期限8614对应的扩展ID8616等(S59),使得把与该其他的保持期限8614对应的文件的访问目的地作为与高速侧期间8614对应的文件。
S57的比较的结果,如果低速侧期间8614在高速侧期间8614以下(S58:NO),则判定控制程序705把与低速侧期间8614对应的切换标志8615、和与对于“低速/低价格”的其他的保持期限8614对应的切换标志8615全部变为“On”,而且,更新与全部这些文件对应的扩展ID8616等(S60),使得把对于“低速/低价格”的全部文件的访问目的地作为与高速侧期间8614对应的文件。
以上说明了本发明的几个实施形态,但是这些是为了说明本发明的例示,其宗旨不是把本发明的范围限定在这些实施形态上。本发明也可以用其他各种形态实施。例如,实用程序715可以在NAS节点10上,也可以在主存储系统600上。另外,NAS节点10利用的文件系统管理信息(图5中例示的信息)也可以在主存储系统600内的存储资源(例如内部LDEV)内存储。另外,例如NAS节点10和/或管理终端106也可以被包含在主存储系统600内。另外,例如在由于在虚拟LDEV中重复多个文件,所以这些多个文件中的一个以上的某些文件被存储在外部LDEV内,这些多个文件中的一个以上的某些文件以外的文件(以下称其他文件)不存储在外部LDEV内的场合,在虚拟LDEV中与其他文件存在的存储区域对应的、外部LDEV中的存储区域就成为未占用的存储区域,但是该未占用的存储区域也可以使用(例如在未占用的存储区域内也可以存储某些信息)。

Claims (18)

1.一种计算机系统,
具有:
计算机;和
具有存储多个文件的一个以上的第一逻辑存储设备的第一存储系统,
所述计算机具有:
计算对于多个文件的内容分别是固有的值的多个内容固有值的固有值计算部;和
向所述第一存储系统存储系统发送与所述多个文件分别对应的多个内容固有值的固有值发送部,
所述第一存储系统具有:
判定在所述多个内容固有值中是否包含有两个以上相同的内容固有值的重复判定部;和
在有两个以上相同的内容固有值的场合,把与这些两个以上的内容固有值中的第一内容固有值对应的第一文件的访问目的地切换为存储有与这些两个以上的内容固有值中的第二内容固有值对应的第二文件的位置的切换控制部。
2.根据权利要求1所述的计算机系统,其中,
所述固有值计算部以把所述多个文件作为归档对象为契机,计算所述多个内容固有值。
3.根据权利要求2所述的计算机系统,其中,
所述固有值计算部以把所述多个文件作为归档对象为契机,使所述第一存储系统禁止更新存储有所述多个文件的所述一个以上的第一逻辑存储设备。
4.根据权利要求1所述的计算机系统,其中,
有与所述多个内容固有值分别对应的多个保持期限,
所述切换控制部,把与所述第一保持期限对应的所述第一文件的访问目的地切换为存储有与分别对应所述两个以上相同的内容固有值的两个以上的保持期限中的、比第一保持期限晚的第二保持期限对应的所述第二文件的位置。
5.根据权利要求1到3中任何一项所述的计算机系统,其中,
在所述第一存储系统上连接具有一个以上的第二逻辑存储设备的第二存储系统,
所述第一存储系统进而具有:
与所述一个以上的第二逻辑存储设备分别对应的一个以上的虚拟逻辑存储设备;和
把在所述一个以上的第一逻辑存储设备中存储的各文件的实体通过迁移目的地的所述一个以上的虚拟逻辑存储设备向所述一个以上的第二逻辑存储设备写入的迁移执行部,
所述迁移执行部,不把与所述两个以上相同的内容固有值分别对应的两个以上的文件中的所述第一文件的实体写入所述一个以上的第二逻辑存储设备的任何一个中,而把其中的所述第二文件的实体写入所述一个以上的第二逻辑存储设备的某一个中,
所述切换控制部把所述第一文件的访问目的地作为写入所述第二文件的实体的位置。
6.根据权利要求5所述的计算机系统,其中,
在所述迁移开始前,存储所述多个文件的所述一个以上的第一逻辑存储设备的各个不可更新,而在所述迁移结束后,所述一个以上的虚拟逻辑存储设备的各个可更新,但是已成为所述迁移的对象的所述多个文件的各个不可更新。
7.根据权利要求5所述的计算机系统,其中,
有与所述多个内容固有值分别对应的多个保持期限,
所述切换控制部,把与所述第一保持期限对应的所述第一文件的访问目的地切换为存储有与分别对应所述两个以上相同的内容固有值的两个以上的保持期限中的、比第一保持期限晚的第二保持期限对应的所述第二文件的位置。
8.根据权利要求7所述的计算机系统,其中,
所述切换控制部,进而根据所述一个以上的第二逻辑存储设备的设备特性控制访问目的地的切换。
9.根据权利要求7所述的计算机系统,其中,
有与所述多个内容固有值分别对应关联的多个保持期限,
所述切换控制部,与分别对应所述两个以上相同的内容固有值的两个以上的文件中的、最晚的保持期限对应的第一文件和作为其他文件的第二文件的迁移目的地,是与具有第一种设备特性的第一的第二逻辑存储设备对应的第一虚拟逻辑存储设备,而保持期限比所述第二文件的保持期限晚的第三文件的迁移目的地,是与具有比所述第一种设备特性优良的第二种设备特性的第二的第二逻辑存储设备对应的第二虚拟逻辑存储设备的场合,把所述第二文件的访问目的地切换为存储所述第三文件的实体的位置,
所述迁移执行部,把所述第一文件的实体通过所述第一虚拟逻辑存储设备写入所述第一的第二逻辑存储设备内,不将所述第二文件的实体写入所述第一的第二逻辑存储设备内,而将所述第三文件的实体通过所述第二虚拟逻辑存储设备写入所述第二的第二逻辑存储设备内。
10.根据权利要求9所述的计算机系统,其中,
所述切换控制部执行以下的(1)以及(2)的至少一方,
(1)在不能从所述第一的第二逻辑存储设备读出所述第一文件的实体的场合,把所述第一文件的访问目的地切换为存储有所述第三文件的实体的位置,
(2)在不能从所述第二的第二逻辑存储设备读出所述第三文件的实体的场合,把所述第三文件的访问目的地切换为存储有所述第一文件的实体的位置。
11.根据权利要求1到3中任何一项所述的计算机系统,其中,
所述计算机进而具有存储区域和完全性检查部,
所述第一存储系统进而具有存储从所述计算机接收到的所述多个内容固有值的存储区域,
所述固有值计算部,在所述计算机的存储区域存储所述多个内容固有值,
所述完全性检查部,对与从所述多个文件中选择的文件对应的、在所述计算机的存储区域中存储的所述多个内容固有值中的内容固有值,和在所述第一存储系统的所述存储区域中存储的、与所述选择的文件对应的内容固有值进行比较。
12.根据权利要求1到3中任何一项所述的计算机系统,其中,
所述第一存储系统进而具有节约容量通知部,
所述节约容量通知部,计算通过切换了所述第一文件的访问目的地所节约的存储容量,并向所述计算机通知表示该存储容量的信息。
13.根据权利要求1到3中任何一项所述的计算机系统,其中,
所述切换控制部,通过更新与所述多个文件分别对应的具有多个记录的切换管理表,进行访问目的地的切换,
在与一个文件对应的一个所述记录中,有记录记录ID、该文件的位置信息、和参照目的地的记录ID的字段,
所述切换控制部在与所述第一文件对应的第一记录中,把与所述参照目的地的记录ID更新为与所述第二文件对应的第二记录上的记录ID。
14.根据权利要求13所述的计算机系统,其中,
在所述第一存储系统上连接具有一个以上的第二逻辑存储设备的第二存储系统,
所述第一存储系统进而具有:
与所述一个以上的第二逻辑存储设备分别对应关联的一个以上的虚拟逻辑存储设备;
把在所述一个以上的第一逻辑存储设备中存储的各文件的实体通过迁移目的地的所述一个以上的虚拟逻辑存储设备写入到所述一个以上的第二逻辑存储设备内的迁移执行部;和
访问控制部,
在所述切换管理表的一个记录中,记录文件的保持期限、和文件的访问属性,
所述固有值计算部,以把所述多个文件作为归档对象为契机,使所述第一存储系统禁止更新存储有所述多个文件的所述一个以上的第一逻辑存储设备,
所述迁移执行部,不把与所述两个以上相同的内容固有值分别对应的两个以上的文件中的所述第一文件的实体写入所述一个以上的第二逻辑存储设备中的任何一个,而把其中的所述第二文件的实体写入所述一个以上的第二逻辑存储设备中的某一个,
所述切换控制部,把与分别对应所述两个以上相同的内容固有值的两个以上的保持期限中、比第一保持期限晚的第二保持期限对应的所述第二文件的所述第二记录上的参照目的地记录ID,更新为与所述第一保持期限对应的所述第一文件的所述第一记录上的ID,而且,把所述第一以及第二记录上的访问属性设定为只读,
所述访问控制部,即使接收指定了所述第一以及第二记录上的位置信息所表示的位置的写访问,也不执行对于该位置的写入。
15.一种存储系统,
具有:
存储多个文件的一个以上的第一逻辑存储设备;
判定在对于所述多个文件的内容分别是固有的值的多个内容固有值中是否包含有两个以上相同的内容固有值的重复判定部;和
在有两个以上相同的内容固有值的场合,把与这些两个以上的内容固有值中的第一内容固有值对应的第一文件的访问目的地,切换为存储有与这些两个以上的内容固有值中的第二内容固有值对应的第二文件的位置的切换控制部。
16.根据权利要求15所述的存储系统,其中,
连接具有一个以上的第二逻辑存储设备的外部的存储系统,
进而具有:
与所述一个以上的第二逻辑存储设备分别对应关联的一个以上的虚拟逻辑存储设备;和
把在所述一个以上的第一逻辑存储设备内存储的各文件的实体,通过迁移目的地的所述一个以上的虚拟逻辑存储设备,写入所述一个以上的第二逻辑存储设备的迁移执行部,
所述迁移执行部,不把与所述两个以上相同的内容固有值分别对应的两个以上的文件中的所述第一文件的实体写入所述一个以上的第二逻辑存储设备中的任何一个,而把其中的所述第二文件的实体写入所述一个以上的第二逻辑存储设备中的某一个,
所述切换控制部,把所述第一文件的访问目的地作为写入所述第二文件的实体的位置。
17.根据权利要求16所述的存储系统,其中,
有与所述多个内容固有值分别对应关联的多个保持期限,
所述切换控制部,把与所述第一保持期限对应的所述第一文件的访问目的地,切换为存储有与分别对应所述两个以上相同的内容固有值的两个以上的保持期限中、比第一保持期限晚的第二保持期限对应的所述第二文件的位置。
18.一种存储控制方法,
计算对于在一个以上的第一逻辑存储设备中存储的多个文件的内容分别是固有的值的多个内容固有值,
判定在多个内容固有值中是否包含两个以上相同的内容固有值,
在有两个以上相同的内容固有值的场合,把与这些两个以上的内容固有值中的第一内容固有值对应的第一文件的访问目的地,切换为存储有与这些两个以上的内容固有值中的第二内容固有值对应的第二文件的位置。
CN200710169354.9A 2007-03-27 2007-11-26 防止文件重复存储的计算机系统 Active CN101276366B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007-082052 2007-03-27
JP2007082052A JP5020673B2 (ja) 2007-03-27 2007-03-27 重複したファイルの記憶を防ぐコンピュータシステム

Publications (2)

Publication Number Publication Date
CN101276366A true CN101276366A (zh) 2008-10-01
CN101276366B CN101276366B (zh) 2015-07-22

Family

ID=39643408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710169354.9A Active CN101276366B (zh) 2007-03-27 2007-11-26 防止文件重复存储的计算机系统

Country Status (4)

Country Link
US (3) US7900000B2 (zh)
EP (1) EP1975823A3 (zh)
JP (1) JP5020673B2 (zh)
CN (1) CN101276366B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294794A (zh) * 2013-05-23 2013-09-11 上海爱数软件有限公司 一种在线归档和访问文件的系统
CN103365954A (zh) * 2012-04-05 2013-10-23 国际商业机器公司 提高线上重复删除效率的方法和系统
CN105493080A (zh) * 2013-12-23 2016-04-13 华为技术有限公司 基于上下文感知的重复数据删除的方法和装置
CN106663052A (zh) * 2014-09-11 2017-05-10 株式会社东芝 文件系统、数据重复排除方法以及用于文件系统的程序
CN107391761A (zh) * 2017-08-28 2017-11-24 郑州云海信息技术有限公司 一种基于重复数据删除技术的数据管理方法及装置
CN110334065A (zh) * 2019-07-11 2019-10-15 中国联合网络通信集团有限公司 一种文件处理方法和系统

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8407448B1 (en) * 2008-05-06 2013-03-26 Emc Corporation Shared storage I/O elimination through mapping client integration into a hypervisor
US8484162B2 (en) 2008-06-24 2013-07-09 Commvault Systems, Inc. De-duplication systems and methods for application-specific data
US20110307457A1 (en) * 2009-03-05 2011-12-15 Hitachi Solutions, Ltd. Integrated duplicate elimination system, data storage device, and server device
US8832235B1 (en) * 2009-03-10 2014-09-09 Hewlett-Packard Development Company, L.P. Deploying and releasing logical servers
US8676946B1 (en) 2009-03-10 2014-03-18 Hewlett-Packard Development Company, L.P. Warnings for logical-server target hosts
US9547455B1 (en) 2009-03-10 2017-01-17 Hewlett Packard Enterprise Development Lp Allocating mass storage to a logical server
US9154385B1 (en) 2009-03-10 2015-10-06 Hewlett-Packard Development Company, L.P. Logical server management interface displaying real-server technologies
US8549123B1 (en) 2009-03-10 2013-10-01 Hewlett-Packard Development Company, L.P. Logical server management
US20100332401A1 (en) * 2009-06-30 2010-12-30 Anand Prahlad Performing data storage operations with a cloud storage environment, including automatically selecting among multiple cloud storage sites
US8930306B1 (en) 2009-07-08 2015-01-06 Commvault Systems, Inc. Synchronized data deduplication
JP5303038B2 (ja) * 2009-09-18 2013-10-02 株式会社日立製作所 重複したデータを排除するストレージシステム
JP5427533B2 (ja) * 2009-09-30 2014-02-26 株式会社日立製作所 階層ストレージ管理システムにおける重複ファイルの転送方法及びシステム
WO2011119167A2 (en) * 2010-03-26 2011-09-29 Hewlett-Packard Development Company, L.P. Associated file
WO2011155551A1 (ja) * 2010-06-10 2011-12-15 日本電気株式会社 ファイル記憶装置、ファイル記憶方法およびプログラム
US8572340B2 (en) 2010-09-30 2013-10-29 Commvault Systems, Inc. Systems and methods for retaining and using data block signatures in data protection operations
US8364652B2 (en) 2010-09-30 2013-01-29 Commvault Systems, Inc. Content aligned block-based deduplication
US8954446B2 (en) 2010-12-14 2015-02-10 Comm Vault Systems, Inc. Client-side repository in a networked deduplicated storage system
US9020900B2 (en) 2010-12-14 2015-04-28 Commvault Systems, Inc. Distributed deduplicated storage system
JP5708107B2 (ja) * 2011-03-23 2015-04-30 日本電気株式会社 重複ファイル検出装置
US10073656B2 (en) * 2012-01-27 2018-09-11 Sandisk Technologies Llc Systems and methods for storage virtualization
US10359972B2 (en) 2012-08-31 2019-07-23 Sandisk Technologies Llc Systems, methods, and interfaces for adaptive persistence
US20130254501A1 (en) * 2012-03-23 2013-09-26 Hitachi Computer Peripherals Co., Ltd. Storage apparatus and data storage method
US9628438B2 (en) * 2012-04-06 2017-04-18 Exablox Consistent ring namespaces facilitating data storage and organization in network infrastructures
US9218374B2 (en) 2012-06-13 2015-12-22 Commvault Systems, Inc. Collaborative restore in a networked storage system
US9633033B2 (en) 2013-01-11 2017-04-25 Commvault Systems, Inc. High availability distributed deduplicated storage system
US9552382B2 (en) 2013-04-23 2017-01-24 Exablox Corporation Reference counter integrity checking
US9514137B2 (en) 2013-06-12 2016-12-06 Exablox Corporation Hybrid garbage collection
WO2014205286A1 (en) 2013-06-19 2014-12-24 Exablox Corporation Data scrubbing in cluster-based storage systems
US9934242B2 (en) 2013-07-10 2018-04-03 Exablox Corporation Replication of data between mirrored data sites
KR20150043650A (ko) * 2013-10-14 2015-04-23 삼성전자주식회사 기부 서비스를 제공하는 서버 장치와 디스플레이 장치 및 그 서비스 제공 방법
US10248556B2 (en) 2013-10-16 2019-04-02 Exablox Corporation Forward-only paged data storage management where virtual cursor moves in only one direction from header of a session to data field of the session
US9985829B2 (en) 2013-12-12 2018-05-29 Exablox Corporation Management and provisioning of cloud connected devices
US9774582B2 (en) 2014-02-03 2017-09-26 Exablox Corporation Private cloud connected device cluster architecture
US9830324B2 (en) 2014-02-04 2017-11-28 Exablox Corporation Content based organization of file systems
WO2015130799A1 (en) * 2014-02-28 2015-09-03 Intelligent Intellectual Property Holdings 2 Llc System and method for storage virtualization
US9633056B2 (en) 2014-03-17 2017-04-25 Commvault Systems, Inc. Maintaining a deduplication database
US10380072B2 (en) 2014-03-17 2019-08-13 Commvault Systems, Inc. Managing deletions from a deduplication database
US11249858B2 (en) 2014-08-06 2022-02-15 Commvault Systems, Inc. Point-in-time backups of a production application made accessible over fibre channel and/or ISCSI as data sources to a remote application by representing the backups as pseudo-disks operating apart from the production application and its host
US9852026B2 (en) 2014-08-06 2017-12-26 Commvault Systems, Inc. Efficient application recovery in an information management system based on a pseudo-storage-device driver
US9575673B2 (en) 2014-10-29 2017-02-21 Commvault Systems, Inc. Accessing a file system using tiered deduplication
US10176098B2 (en) * 2014-11-17 2019-01-08 Hitachi, Ltd. Method and apparatus for data cache in converged system
US10339106B2 (en) 2015-04-09 2019-07-02 Commvault Systems, Inc. Highly reusable deduplication database after disaster recovery
US20160350391A1 (en) 2015-05-26 2016-12-01 Commvault Systems, Inc. Replication using deduplicated secondary copy data
US9766825B2 (en) 2015-07-22 2017-09-19 Commvault Systems, Inc. Browse and restore for block-level backups
US10474654B2 (en) 2015-08-26 2019-11-12 Storagecraft Technology Corporation Structural data transfer over a network
US20170192868A1 (en) 2015-12-30 2017-07-06 Commvault Systems, Inc. User interface for identifying a location of a failed secondary storage device
JP6651915B2 (ja) * 2016-03-09 2020-02-19 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US10296368B2 (en) 2016-03-09 2019-05-21 Commvault Systems, Inc. Hypervisor-independent block-level live browse for access to backed up virtual machine (VM) data and hypervisor-free file-level recovery (block-level pseudo-mount)
US9846553B2 (en) 2016-05-04 2017-12-19 Exablox Corporation Organization and management of key-value stores
US10740193B2 (en) 2017-02-27 2020-08-11 Commvault Systems, Inc. Hypervisor-independent reference copies of virtual machine payload data based on block-level pseudo-mount
US10664352B2 (en) 2017-06-14 2020-05-26 Commvault Systems, Inc. Live browsing of backed up data residing on cloned disks
FR3082029B1 (fr) * 2018-06-05 2020-07-10 Thales Controleur de partage de ressources d'une plate-forme informatique et procede associe de partage des ressources
US11010258B2 (en) 2018-11-27 2021-05-18 Commvault Systems, Inc. Generating backup copies through interoperability between components of a data storage management system and appliances for data storage and deduplication
US11698727B2 (en) 2018-12-14 2023-07-11 Commvault Systems, Inc. Performing secondary copy operations based on deduplication performance
US20200327017A1 (en) 2019-04-10 2020-10-15 Commvault Systems, Inc. Restore using deduplicated secondary copy data
US11463264B2 (en) 2019-05-08 2022-10-04 Commvault Systems, Inc. Use of data block signatures for monitoring in an information management system
US20210173811A1 (en) 2019-12-04 2021-06-10 Commvault Systems, Inc. Optimizing the restoration of deduplicated data stored in multi-node replicated file systems
US11687424B2 (en) 2020-05-28 2023-06-27 Commvault Systems, Inc. Automated media agent state management

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5202982A (en) * 1990-03-27 1993-04-13 Sun Microsystems, Inc. Method and apparatus for the naming of database component files to avoid duplication of files
AU8457698A (en) * 1997-07-29 1999-03-08 Telebackup Systems, Inc. Method and system for nonredundant backup of identical files stored on remote computers
US6389433B1 (en) * 1999-07-16 2002-05-14 Microsoft Corporation Method and system for automatically merging files into a single instance store
US6477544B1 (en) * 1999-07-16 2002-11-05 Microsoft Corporation Single instance store for file systems
AU3826901A (en) * 2000-02-18 2001-08-27 Undoo Inc Hash file system and method for use in a commonality factoring system
US7496604B2 (en) * 2001-12-03 2009-02-24 Aol Llc Reducing duplication of files on a network
JP4307202B2 (ja) 2003-09-29 2009-08-05 株式会社日立製作所 記憶システム及び記憶制御装置
US7444389B2 (en) * 2003-12-09 2008-10-28 Emc Corporation Methods and apparatus for generating a content address to indicate data units written to a storage system proximate in time
US9075851B2 (en) 2003-12-09 2015-07-07 Emc Corporation Method and apparatus for data retention in a storage system
JP2006092124A (ja) * 2004-09-22 2006-04-06 Fujitsu Ltd 記憶装置、記憶制御方法および記憶制御プログラム
US7401080B2 (en) * 2005-08-17 2008-07-15 Microsoft Corporation Storage reports duplicate file detection
US20070050423A1 (en) * 2005-08-30 2007-03-01 Scentric, Inc. Intelligent general duplicate management system
JP2007082052A (ja) 2005-09-16 2007-03-29 Seiko Epson Corp 静電型超音波トランスデューサ及びその製造方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103365954A (zh) * 2012-04-05 2013-10-23 国际商业机器公司 提高线上重复删除效率的方法和系统
US9268497B2 (en) 2012-04-05 2016-02-23 International Business Machines Corporation Increased in-line deduplication efficiency
CN103365954B (zh) * 2012-04-05 2018-01-12 国际商业机器公司 提高线上重复删除效率的方法和系统
CN103294794A (zh) * 2013-05-23 2013-09-11 上海爱数软件有限公司 一种在线归档和访问文件的系统
CN103294794B (zh) * 2013-05-23 2017-07-28 上海爱数信息技术股份有限公司 一种在线归档和访问文件的系统
CN105493080A (zh) * 2013-12-23 2016-04-13 华为技术有限公司 基于上下文感知的重复数据删除的方法和装置
CN105493080B (zh) * 2013-12-23 2019-08-16 华为技术有限公司 基于上下文感知的重复数据删除的方法和装置
CN106663052A (zh) * 2014-09-11 2017-05-10 株式会社东芝 文件系统、数据重复排除方法以及用于文件系统的程序
CN107391761A (zh) * 2017-08-28 2017-11-24 郑州云海信息技术有限公司 一种基于重复数据删除技术的数据管理方法及装置
CN107391761B (zh) * 2017-08-28 2020-03-06 苏州浪潮智能科技有限公司 一种基于重复数据删除技术的数据管理方法及装置
CN110334065A (zh) * 2019-07-11 2019-10-15 中国联合网络通信集团有限公司 一种文件处理方法和系统
CN110334065B (zh) * 2019-07-11 2022-02-11 中国联合网络通信集团有限公司 一种文件处理方法和系统

Also Published As

Publication number Publication date
US7900000B2 (en) 2011-03-01
EP1975823A3 (en) 2009-08-19
US8407431B2 (en) 2013-03-26
JP5020673B2 (ja) 2012-09-05
US20110153692A1 (en) 2011-06-23
JP2008242788A (ja) 2008-10-09
CN101276366B (zh) 2015-07-22
EP1975823A2 (en) 2008-10-01
US8151066B2 (en) 2012-04-03
US20080244199A1 (en) 2008-10-02
US20120191928A1 (en) 2012-07-26

Similar Documents

Publication Publication Date Title
CN101276366A (zh) 防止文件重复存储的计算机系统
US11256665B2 (en) Systems and methods for using metadata to enhance data identification operations
US7590671B2 (en) Storage system, file migration method and computer program product
US7107323B2 (en) System and method of file distribution for a computer system in which partial files are arranged according to various allocation rules
US20180278689A1 (en) Systems and methods for granular resource management in a storage network
EP3002672B1 (en) Apparatus for increasing data storage capacity
US7606844B2 (en) System and method for performing replication copy storage operations
CN102667772B (zh) 文件级分级存储管理系统、方法和设备
US7320060B2 (en) Method, apparatus, and computer readable medium for managing back-up
US7152146B2 (en) Control of multiple groups of network-connected storage devices
US20070118710A1 (en) Storage system and data migration method
EP1826662A2 (en) Storage control device, and data migration method using storage control device
US20110271072A1 (en) Data migration method and information processing system
US9417757B1 (en) Scalable hierarchical user interface display
US20070079098A1 (en) Automatic allocation of volumes in storage area networks
JPWO2008136075A1 (ja) ストレージ管理プログラム、ストレージ管理装置およびストレージ管理方法
US20050015475A1 (en) Managing method for optimizing capacity of storage
JP2008040645A (ja) Nasマイグレーションによる負荷分散方法、並びに、その方法を用いた計算機システム及びnasサーバ
CN103037004A (zh) 云存储系统操作的实现方法和装置
JP2006309483A (ja) ストレージ装置及びストレージシステム
US7689787B2 (en) Device and method for controlling number of logical paths
JP2018197933A (ja) ストレージ制御装置、情報処理システムおよびプログラム
US20080154777A1 (en) Storage control device for protecting an electronic protection object with protection capability required by the protection object
US20070124366A1 (en) Storage control method for managing access environment enabling host to access data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant