CN101201724B - 数据存储装置以及重布置数据的方法 - Google Patents
数据存储装置以及重布置数据的方法 Download PDFInfo
- Publication number
- CN101201724B CN101201724B CN2007101819369A CN200710181936A CN101201724B CN 101201724 B CN101201724 B CN 101201724B CN 2007101819369 A CN2007101819369 A CN 2007101819369A CN 200710181936 A CN200710181936 A CN 200710181936A CN 101201724 B CN101201724 B CN 101201724B
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- storage medium
- sequential
- process object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99951—File or database maintenance
- Y10S707/99952—Coherency, e.g. same view to multiple users
- Y10S707/99953—Recoverability
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
本发明提供数据存储装置以及重布置数据的方法。当存在不同于处理对象磁带的构成带时(步骤S15为“是”),将处理对象磁带上的有效数据复制到该构成带(步骤S22)。对于这一处理,将存储了最大量的相对于存储在处理对象磁带上的无效数据的有效数据的磁带确定为复制目的地。
Description
技术领域
本发明涉及信息管理系统中的使用存储介质(顺序存取存储介质)(例如通过顺序存取来存储数据的磁带等)的库装置的分层数据存储装置,特别是涉及从顺序存取存储介质中的数据中只提取有效数据以在另一顺序存取存储介质中重布置所提取的有效数据的方法。
背景技术
主要使用硬盘装置作为常规信息管理系统,因为硬盘允许高速大容量存取。为了应对硬盘装置中存储的数据丢失的情况,将数据存储在磁带等中以用于备份。已经定义了对于这种磁带的一些标准。例如,在名为LTO(线性磁带开放)的标准中,将覆盖一个特定磁带的盒(cartridge)设计为小于覆盖其他磁带的盒,使用8个磁头来读取和写入数据,由此实现高速数据存取。
随着基于信息生命周期管理的分层存储系统开始登场,开始开发使用虚拟磁带库装置作为其硬盘装置的一部分的装置。因此,发明了这样的方法:其中磁带介质不是用于常规的备份目的,而是按包括多个磁带介质的单位而用作逻辑卷。
磁带是其中通过顺序存取而存储数据的存储介质。由此,当写入经更新的数据时,没有更新的数据变得无效,出现未必要使用的区域。当在一组磁带中无效数据的量增加时,可用于新存储数据的区域减小,由此需要更大数量的磁带,这在成本方面是有问题的。
在本文献中,将诸如上述磁带等的通过顺序存取进行数据写入/读取的大容量存储介质称为“顺序存储介质”。与此对照,将诸如上述硬盘装置的通过随机存取进行数据写入/读取的存储介质称为“随机存储介质”。
作为解决该问题的方法,提出了一种称为“垃圾收集”的方法,其中,基于来自记录在磁带上的数据的该数据的历史信息来检测无效数据,并且将从其去除了无效数据的数据(有效数据)记录在新的磁带上(专利文献1)。
专利文献1日本特开2006-31446号公报
当实施上述专利文献1中的方法时,尽管可以将比所使用磁带(称为构成带)多一的磁带用作新制备磁带的事实,但是,除非作为处理对象的磁带上存储的所有有效数据条变得无效,否则就不能将该新磁带作为空白存储带来处理(换句话说,即使只有一条数据保持有效,就不能处理该磁带);由此,这使得难以减小使用的磁带的数量,这是有问题的。此外,由于垃圾收集处理,将顺序存储在一个磁带上的数据条离散地存储在多个磁带上(将多条有效数据条离散地存储)。当在逻辑卷上执行顺序读取时,这种离散性有时导致性能劣化。
因此,对于通过顺序存取来存储数据的存储介质,必须实现一种用于在垃圾收集处理中执行的数据重布置的优化机制。
发明内容
本发明的一个目的是提供一种数据存储装置、存储介质等,由此实现分层存储系统中使用的磁带中的数据重布置的优化。
根据本发明的数据存储装置是用于在通过顺序存取来存储数据的顺序存储介质中存储在通过随机存取来存储数据的随机存储介质中存储的数据的数据存储装置,该数据存储装置包括:
历史存储装置,当在顺序存储介质中存储数据时,其存储关于所存储数据的历史信息;以及
数据重存储装置,在作为任意处理对象的顺序存储介质中存储的有效数据和无效数据之间进行区分,并且,在任意定时并基于区分结果以及所述历史存储装置存储的存储历史,将所述有效数据存储在不同于所述处理对象顺序存储介质的使用中的顺序存储介质中。
例如,当存在使用中的且不同于所述处理对象顺序存储介质的多个存储介质时,数据重存储装置将有效数据存储在正存储着最大量的与所 述处理对象顺序存储介质中存储的无效数据对应的有效数据的顺序存储介质中。
此外,例如,当没有使用中的且不同于所述处理对象顺序存储介质的顺序存储介质时,或者当使用中的且不同于所述处理对象顺序存储介质的顺序存储介质全都没有空闲区域时,所述数据重存储装置将有效数据存储在新的顺序存储介质中。
此外,无效数据是在存储在随机存取存储介质中的数据发生了更新并且经更新数据存储在该顺序存储介质中的情况下的在更新之前存在的数据,并且,将所述处理对象顺序存储介质的存储在使用中的并且不同于所述处理对象顺序存储介质的顺序存储介质中的有效数据也处理为无效数据;并且
当所述处理对象顺序存储介质没有更多的有效数据时,所述数据重存储装置将所述处理对象顺序存储介质作为空白介质来处理。
附图说明
图1示出了根据本发明的数据存储装置的基本数据备份处理;
图2示出了根据本实施方式的数据存储装置的功能结构;
图3示出了存储历史数据表的实施例;
图4是本实施方式中进行的垃圾收集处理的流程图;
图5A是示出了基于本实施方式中进行的垃圾收集处理的数据重布置的实施例的一个图;
图5B是示出了基于本实施方式中进行的垃圾收集处理的数据重布置的实施例的另一图;
图5C是示出了基于本实施方式中进行的垃圾收集处理的数据重布置的实施例的另一图;
图5D是示出了基于本实施方式中进行的垃圾收集处理的数据重布置的实施例的另一图;
图6示出了本实施方式中使用的计算机硬件的结构实施例;以及
图7示出了存储程序等的存储介质以及程序等的下载的实施例。
具体实施方式
此后,将参照附图说明本发明的实施方式。
首先,将说明根据本发明的数据存储控制处理的概念。
图1示出了根据本发明的数据存储装置20的基本数据备份处理。
在本方法中,在分层存储系统中,包括存储历史信息的磁带库信息存储在数据库中。此外,假设通过使用专用软件而在上级存储装置(硬盘装置)和下级存储装置(磁带库装置)之间传递数据,并且用户的所有信息条都存储在磁带库装置中。
此外,图1和2中所示的结构与以上现有专利申请(专利文献1)中公开的结构基本相同,不同之处在于有效数据存储单元54的处理功能。
如图1所示,数据管理服务器装置10访问数据存储装置20以按块单位来读取和写入数据。数据管理服务器装置10是用于管理文件、图像、通过在研究期间进行的实验而获得的数据等的服务器装置。数据存储装置20从数据管理服务器装置10接收读取/写入请求,并执行数据的读取处理或写入处理。
该数据存储装置20使用一组硬盘存储装置作为一次存储部30,并使用一组磁带存储装置作为二次存储部40。一次存储部30基于RAID(独立磁盘冗余阵列)技术而工作,在该技术中,统一地管理多个硬盘装置,好像它们是一个硬盘装置一样。如现有技术部分中的描述所述,在本文献中,将诸如磁带的允许通过顺序存取来进行数据读取和写入的大容量存储介质(二次存储部)称为“顺序存储介质”,将诸如上述硬盘存储装置等之类的允许通过随机存取来进行数据读取和写入的存储介质(一次存储部)称为“随机存储介质。”
将各个硬盘装置作为虚拟逻辑单元(VLU)来管理。此外,将每个虚拟逻辑单元分割成多个块(移动/调用块(Migration/Recall Block):MRB),这些块是从二次存储部40读取数据和向二次存储部40写入数据的单元。通常,该MRB的尺寸从几十兆字节到几百兆字节。
将数据管理服务器装置10接收到对其的写入请求的数据存储到一 次存储部30(写入),然后,在一定的定时将存储在一次存储部30中的数据存储在二次存储部40中的磁带上,以用于备份(移动;Mig)。
此外,在存储在二次存储部40中作为备份数据的数据中,在需要时,将数据管理服务器装置10必须引用的数据读出到一次存储部30(调用),将所述数据进一步读出到数据管理服务器装置10(读取)。
一次存储部30存取数据比二次存储部40快,二次存储部40具有比一次存储部30大的容量。因此,通过如上所述地组合一次存储部30和二次存储部40,可以获得组合了一次存储部30的优点和二次存储部40的优点的数据存储结构。
通过数据存储管理服务器50(将在以后描述)来进行一次存储部30和二次存储部40之间的数据读取和写入的控制,数据管理服务器装置10仅在一次存储部30和数据管理服务器装置10本身之间进行数据的读取和写入。因为这一点,数据管理服务器装置10可以就好像一次存储部30是大容量存储装置那样使用一次存储部30。
接着,将说明根据本实施方式的数据存储装置20的功能结构。
图2示出了根据本实施方式的数据存储装置20的功能结构。
如图2所示,数据存储装置20经由网络与数据管理服务器装置10a至10c相连接。数据管理服务器装置10a至10c对应于图1中所示的数据管理服务器装置10。
数据存储装置20采用其中一次存储部30、数据存储管理服务器50a和50b、以及二次存储部40a至40c彼此相连接的结构。一次存储部30对应于图1所示的硬盘装置组,二次存储部40a至40c对应于构成图1所示的二次存储部40的磁带存储装置。
数据存储管理服务器50a和50b将存储在一次存储部30中的数据备份到磁带,并且在需要时将备份到二次存储部40a至40c中的磁带的数据返回到一次存储部30。
数据存储管理服务器50a和50b还执行与上述现有专利申请(文献1)中公开的垃圾收集处理所执行的处理相同的处理。然而,尽管在现有专利申请的技术中添加新磁带(作为空白带的带,即,不是构成带的带) 作为用作垃圾收集目的地(复制有效数据的目的地)的构成带,但是在本发明中,有效地使用现有的构成带(使用中的带)。稍后详细描述这种结构。此外,图2中的结构包括两个数据存储管理服务器50a和50b,以用于应付故障的冗余。
如图2所示,数据存储管理服务器50a包括备份处理单元51、设置管理单元52、存储单元53、有效数据存储单元54、控制单元55以及数据发送/接收单元56。此外,数据存储管理服务器50b包括与数据存储管理服务器50a中的单元相同的单元,在图2中将其省略。
数据发送/接收单元56在一次存储部30和二次存储部40a至40c之间发送并接收数据。备份处理单元51进行通过顺序存取将存储在一次存储部30中的数据备份到二次存储部40a至40c中的磁带的处理。此外,备份处理单元51附加地进行将存储在二次存储部40a至40c中的磁带中的数据读出到一次存储部30的处理。
当备份一次存储部30中存储的数据时,备份处理单元51在存储单元53中存储关于存储在二次存储部40a至40c中的磁带上的数据的存储历史数据53b。
设置管理单元52接收关于设置的信息(例如应当执行备份处理或垃圾处理的时间和日期),并将所述信息存储在存储单元53中作为设置数据53a。可以通过各个数据管理服务器装置10a至10c进行该设置。一次存储部30向设置管理单元52发送关于从数据管理服务器装置10a至10c发送的设置的信息。
存储单元53是诸如硬盘装置、存储单元等的存储装置。如上所述,该存储单元53存储设置数据53a和存储历史数据53b。如上所述,设置数据53a是关于诸如应当执行备份处理或垃圾处理的时间和日期的设置的数据。存储历史数据53b是关于将存储在一次存储部30中的数据备份到二次存储部40a至40c中的磁带的处理的历史的数据。
控制单元55控制整个数据存储管理服务器50a,例如各个功能单元之间的数据发送/接收。
图3示出了用于存储各条存储历史数据53b的存储历史数据表60的 实施例。在存储历史数据表60上,针对每一个记录存储一条存储历史数据53b。如图3所示,一个记录包括卷号61、MRB号62、磁带ID 63、数据位置号64以及存储时间和日期65的数据项目。
此外,在存储历史数据表60上,不仅存储关于有效数据(最新数据)的存储历史,而且存储关于无效数据(旧数据)的存储历史。
卷号61是分配给一次存储部30中的各个虚拟逻辑单元的号码(数字标签),用作指定其中存储备份数据的虚拟逻辑单元的标识号。
MRB号62是分配给各个虚拟逻辑单元中的各个MRB的号码(数字标签),用作指定其中存储备份数据的MRB的标识号。磁带ID 63是分配给将数据备份到其的磁带的标识号。存储时间和日期65是关于将数据备份到磁带的时间和日期的数据。
数据位置号64是指定数据存储在基于磁带ID 63而识别的磁带上的位置的号码(数字标签)。该数据位置号64是在磁带上按从第一块开始的顺序分配给各块的号码,在磁带上存储区域分割成作为数据读取/写入的单位的多个块(MRB)。
再次说明图2。当接收到执行垃圾收集处理的请求时,有效数据存储单元54检测存储在作为处理对象的磁带上的有效数据,并对二次存储部40a至40c进行控制以使得将检测到的有效数据存储在另一磁带上。另选的是,还可以采用这样的结构:其中,检测存储在磁带上的无效数据,并且控制二次存储部40a至40c以使得将不同于检测到的无效数据的数据存储在另一磁带上作为有效数据。
本发明的重要特征在于该有效数据存储单元54。具体而言,在本方法中,当可以使用构成带之一时将所使用的磁带之一(即构成带之一)用作上述“另一磁带”,而在专利文献1公开的方法中,使用新制备的磁带作为上述“另一磁带”。此外,在本发明中,通过使用无效数据来确定作为复制目的地的构成带,减小了有效数据的离散性。下面将详细说明这一点。
在根据本方法的上述有效数据存储单元54中,不将有效数据复制到新的磁带,而是将其复制到当前使用的另一磁带(即,构成带)上(在 该磁带具有空闲区域的情况下),这不同于专利文献1的方法。通过采用这种结构,可以防止构成带的数量轻易增加的情况。“当前使用的另一磁带”是包括处理对象的磁带的逻辑卷(虚拟逻辑单元)中使用的磁带。此外,在本实施方式中,为了获得“可以减小当以卷为单位进行顺序读取时安装和卸载磁带的处理次数,从而改善读取性能”的效果,选择存储着最大量的与作为处理对象的磁带中的无效数据相对的有效数据的磁带作为复制目的地。然而,当该磁带不具有空闲区域时,选择另一构成带作为复制目的地,尽管用作复制目的地的磁带可以任意选择,但是或者例如可以选择具有最大空闲区域的磁带作为复制目的地。此外,当构成带全都没有空闲区域时,使用新的磁带。该处理的实施例在图4中示出。
图4是本实施方式中进行的垃圾收集处理的流程图。
图4中示出的处理通过上述数据存储单元54来执行。
在图4所示的处理中,首先,读取预先存储在存储单元等中的执行垃圾收集处理的条件(例如上述设置数据53a)(步骤S11),并且确定是否满足这些执行条件(步骤S12)。所述执行条件可以包括任意内容。例如,执行的时间和日期可以是所述条件,在当前日期和时间对应于在执行条件中指定的时间和日期时,步骤S12中的确定结果为“是”。在本实施方式中,所有的构成带都是处理对象,按一个接一个的方式顺序且重复地对作为处理对象的各个磁带执行步骤S13之中和之后的处理。
还可以执行这样的处理:其中,针对各个磁带确定是否满足条件,当存在满足条件的至少一个构成带(对象带)时,步骤S12中的确定结果为“是”。这些条件的实施例是“对应磁带没有空闲区域”、“对应磁带存储了大于一定量的无效数据”、“对应磁带中的垃圾率等于或大于百分之五十”等。在这种情况下,将满足条件的构成带作为处理对象带来处理,并且执行步骤S13之中和之后的处理。垃圾率是一个磁带上存储的有效数据对全部数据的比率。此外,当条件是“对应磁带存储了大于一定量的无效数据”、“对应磁带中的垃圾率等于或大于百分之五十”等时,必须参照存储历史数据表60来按与步骤14(将在后面描述)的方式类似的方式在有效数据和无效数据之间进行区分。
如上所述,执行垃圾收集处理的条件可以变化。然而,垃圾收集处理的目的是改善无效数据的增加导致损失的情况。由此,希望采用与无效数据量(或无效数据率)有关的条件。由此,可以在更加合适的定时执行垃圾收集处理。
当步骤S12的确定结果为“是”时,从存储历史数据表60获取与对象磁带相关联的逻辑卷的所有构成带的历史信息(步骤S13)。例如,如图3所示,当ID为“123”的磁带是处理对象带时,因为逻辑卷号是“3”,所以提取卷号61为“3”的所有记录(在图3所示的实施例中,提取磁带ID为“123”和磁带ID为“124”的三条记录)。
此后,根据获取的历史信息将在上述步骤S13中获取的所有记录中的多条数据分类成有效数据和无效数据(S14)。具体而言,确定存储在处理对象带上的各条数据和存储在与和处理对象带相关联的逻辑卷相关联的其他构成带上的各条数据是有效数据还是无效数据。也可以在执行步骤S14的处理之前执行步骤S15的处理,当步骤S15中的确定结果为“是”时执行步骤S14中的处理,当该确定结果为“否”时,仅确定存储在对象带上的数据是有效还是无效。
步骤S14中的在有效数据和无效数据之间的上述确定的方式的实施例可以如下执行。
首先,有效数据存储单元54从步骤S13中获取的所有记录中顺序地选择作为处理对象的记录,获取MRB号(由标号62表示)与所选择记录的MRB号62相同的记录。可以认为该处理是如下的处理:其中,通过搜索存储历史数据表60来检索卷号61和MRB号62与对象记录的卷号61和MRB号62相同的记录,因为已经提取了卷号61与对象记录的卷号61相同的记录。
在图3所示的实施例中,存在卷号61为“3”且MRB号62为“1”的两个记录。因此,当上述两个记录之一是对象记录时,作为搜索结果,检索出另一记录。
然后,将上述对象记录的存储时间和日期65与当前时间和日期进行比较,还将通过搜索获得的记录的存储时间和日期65与当前时间和日期 进行比较。然后,将与存储时间和日期65最接近当前时间和日期的记录(历史)对应的数据确定为有效数据,将所有其他数据确定为无效数据。也可以提取与存储时间和日期65最接近当前时间和日期的记录不同的记录,将与提取的存储历史数据对应的数据确定为无效数据,并且将不同于该无效数据的数据确定为有效数据。如果这种情况发生,则将在有效数据和无效数据之间的确定结果暂时存储在存储单元等中。然后,对下一记录进行相同的处理。然而,以上检索到的记录不是对象记录,因为有效数据和无效数据之间的确定已经完成。以这种方式,确定与步骤S13中获得的所有记录(历史)中的每一个对应的数据是有效数据还是无效数据,暂时存储确定结果。在步骤S16之中和之后的处理中,或者步骤S20之中和之后的处理中,在需要时引用这些暂时存储的数据。
然后,在步骤S15的处理中,确定在与处理对象带相关联的逻辑卷中是否存在至少一个构成带。在图3所示的实施例中,仅存在一个与卷号61为“20”的逻辑卷相关的磁带(构成带)。该单个磁带具有磁带ID“159”,当该磁带是处理对象时,步骤S15中的确定结果为“否”。如上所述,当仅存在一个构成带时(步骤S15为“否”),没有可以用作复制目的地的其他构成带,因此,执行与专利文献1中公开的处理相同的处理。具体而言,分配新磁带为垃圾收集处理(应付)的目的地,将存储在处理对象带上的有效数据复制到该新带上,并且更新存储历史数据表60(步骤S16)。
对存储历史数据表60的上述更新是向存储历史数据表60添加已经记录在复制目的地带上的数据的记录历史的处理。由此,将处理对象带上记录的数据(复制源中的数据)处理为无效数据,当在下面的步骤之一中执行与步骤S14中相同的确定处理时,始终将该数据将处理为无效数据。
当完全复制了存储在处理对象磁带上的所有有效数据条时,将新磁带设置为对应逻辑卷的构成带之一(步骤S17)。此外,在步骤S17的处理中,将该新磁带的磁带ID添加到存储在存储单元等中的用于对各个逻辑卷的数据进行备份的磁带的磁带ID(图中没有示出)。
当完全复制了处理对象带上的所有有效数据条时,将处理对象带设置为空白带,从对应逻辑卷的构成带的列表中去除该磁带(删除存储在存储单元等中的处理对象带的磁带ID)(步骤S18)。
此外,即使存在至少一个其他构成带(步骤S15为“是”),如果其他构成带都不具有空闲区域(步骤S21为“否”),也不将处理对象带上的有效数据复制到其他现有构成带。因此,执行上述步骤S16和S17中的处理。
当对于与处理对象带相关联的逻辑卷存在至少一个并非处理对象带的构成带时(步骤S15为“是”),将其上存储着最大量的相对于处理对象带中的无效数据的有效数据并且其中存在空闲区域的构成带确定为垃圾收集目的地带(步骤S20)。然而,当没有构成带满足该条件时,即,当没有其他构成带具有空闲区域时(步骤S21为“否”),处理进行到步骤S16。
当存在至少一个其他构成带(步骤S21为“是”)时,开始将处理对象带上的有效数据复制到被确定为垃圾收集处理目的地的磁带上(步骤S22)。对于这个处理,对处理对象带进行了倒带,从该磁带的前端起顺序地复制有效数据。已经基于上述处理将有效数据从无效数据中区分出来。此外,可以基于数据位置号64来找出有效数据存储在处理对象带上的位置。然后,按数据条的复制完成顺序更新存储历史数据表60(步骤S23)。该处理与步骤S16中的处理相同,在完成复制之后,将垃圾收集源带(处理对象带)中的有效数据处理为无效数据。
此外,当如上所述地执行基于存储时间和日期65的确定时,可以确定各条数据有效或无效。然而,不仅在该实施例中,而且在其他实施例中,可以避免确定各条数据有效或无效的必要性。例如,向图3所示的存储历史数据表60添加指示对应数据有效或无效的标志项,标志值为“1”表示有效且标志值为“0”表示无效,并且,新添加的记录的标志的值总是设置为“1”,对应的旧记录的标志的值设置为“0”。上述垃圾收集处理中的“对应的旧记录”是关于其复制已完成的上述复制源带中的有效数据的记录。
当在重复步骤S20至S23中的处理之后完全复制了处理对象带上的 所有有效数据条时(步骤S24为“是”),处理进行到上面的步骤S18。然而,在由于在步骤S23中确定为复制目的地带的复制目的地带没有足够的空闲区域的事实而使得不能将处理对象带上的所有有效数据条都复制到复制目的地带上的情况下,将相对于处理对象带上的无效数据的有效数据量是在上述复制目的地带之后的第二大的构成带新确定为垃圾收集目的地带,并且继续复制处理。此外,当在处理对象带上的所有有效数据条得到完全复制之前没有构成带还剩有任何空闲区域时,在步骤S21中的确定结果为“否”,由此,处理进行到步骤S16,通过使用新的磁带而继续复制处理。
在上述步骤S18之后,处理等待规定的时间段(步骤S19),然后返回到步骤S11。
如上所述,在本方法中,优先将不同于处理对象带的构成带上的空闲区域用于磁带的垃圾收集处理中的重布置,由此可以减小构成各个逻辑卷的磁带(构成带)的数量(或抑制其增长)。此外,通过在确定有效数据复制目的地带时使用关于与处理对象带上的无效数据对应的有效数据的记录目的地的信息,有助于在一个同一带上记录连续数据。
图5A至5D示出了基于垃圾收集处理的数据重布置的实施例。
图5A和5B分别示出了当与处理对象带相关联的逻辑卷是逻辑卷“a”时在垃圾收集处理之前和之后的数据布置。图5C和5D分别示出了当与处理对象带相关联的逻辑卷是逻辑卷“b”时在垃圾收集处理之前和之后的数据布置。在图5A和5B中,处理对象带是磁带A,在图5C和5D中,处理对象带是磁带F。
在图5A至5C中,示出了数据条1、2、3...,以阴影方式示出的数据条是无效数据而其他条是有效数据。例如,在图5A中,在存储在磁带A上的数据条中,数据条1、2和4为无效数据,数据条3和5为有效数据。
首先,说明图5A和5B。
在图5A所示的实施例中,在垃圾收集处理之前,存储在逻辑卷“a”中的数据处于由备份处理单元51执行的备份处理导致的在5个磁带A至 E的备份状态。换句话说,与逻辑卷“a”相关联的磁带的数量是5。在数据以该状态存在之前,仅使用的磁带是磁带A,备份处理单元51按“1、2、3、4、5”的顺序将逻辑卷“a”中的数据条以MRB为单位复制到磁带A,此后再次存储数据1。所述再次存储的该数据1是与最初存储数据1的块相同的虚拟逻辑单元块中的更新数据(在图3中,该虚拟逻辑单元块具有相同卷号61和MRB号62)。然后,将最初存储的数据1处理为无效数据。此后,当备份数据6(下一条数据)时,制备新的磁带B作为用于该备份的构成带。在该方法中,按顺序添加构成带,获得图5A所示的状态。
在图5A所示的状态中,假设将磁带A确定为处理对象带。在这种情况下,数据条1、2和4是磁带A上的无效数据,对应于这些无效数据条的有效数据条存储在磁带C(数据2和4的有效数据)和磁带D(数据1的有效数据)上,并且,因为磁带C具有空闲区域,所以确定磁带C为复制目的地带。由此,将存储在磁带A上的有效数据条3和5复制到磁带C,并且,因为存储在磁带A上的所有数据条都是无效数据,所以将磁带A从构成带的组中去除(将其处理为空白磁带)。
由此,如图5B所示,构成带的数量是4,包括磁带B、C、D和E,即,减少了构成带的数量。与此对照,在专利文献1描述的常规方法中,制备新的磁带,构成带的数量至少暂时地变成6,即使在处理之后去除磁带A,构成带的数量仍然是5。
同样,在图5C和5D所示的实施例中,假设将磁带F确定为处理对象带。在该实施例中,磁带H是复制目的地,因为磁带H是构成带G、H和I中的唯一具有空闲区域的带。然后,因为当已将存储在磁带F上的有效数据条3、5、1中的数据条3和5复制到带H时磁带H不再具有空闲区域,所以在该实施例中,添加新的磁带J作为构成带,将数据1存储在带J上。在该实施例中,构成带的数量没有减少,然而,最大限度地使用了现有构成带,即,有效地使用了现有构成带。
如上所述,通过使用根据本方法的垃圾收集处理,可以防止常规垃圾收集处理可能导致的构成逻辑卷的磁带的数量的增加,或者可能减少 构成逻辑卷的磁带的数量,这导致成本的降低。此外,通过减小有效数据的离散性,当一次一卷地按卷执行顺序读取处理时,可以减小安装和卸载磁带的处理次数,这导致读取性能的改善。
通过使用根据本发明的上述数据存储装置等,实现了在分层存储系统中使用的磁带的垃圾收集处理的优化,由此可以减小构成逻辑卷的磁带的数量,这导致成本的降低。此外,通过减小有效数据的离散性,当一次一卷地按卷执行顺序读取处理时,可以减小安装和卸载磁带的处理次数,这导致读取性能的改善。
图6示出了实现上述数据存储处理的计算机(数据存储管理服务器等)的硬件的结构实施例。
图6所示的计算机100包括经由总线108而处于连接状态的CPU101、存储单元102、输入装置103、输出装置104、外部存储装置105、介质驱动装置106等。此外,计算机100可以包括网络连接装置107。图6中所示的结构是实施例,本发明的范围不限于该实施例。
CPU 101是控制整个计算机100的中央处理单元。
存储单元102是诸如RAM装置等的存储单元,用于在执行程序或更新数据时暂时存储在外部存储装置105(或便携式存储介质109)中存储的程序或数据。CPU 101通过使用读取到存储单元102的程序/数据来执行上述各种处理(尤其是图4的流程图中示出的处理)。
外部存储装置105例如可以是存储用于实现上述各种功能的程序/数据等的磁盘装置、光盘装置、磁光盘装置等。换句话说,外部存储装置105存储CPU 101借以执行图4所示的处理的应用程序、图3中所示的数据等。此外,这些程序/数据可以存储在便携式存储介质109中。
介质驱动装置106读取存储在便携式存储介质109中的程序/数据等。便携式存储介质109的实施例是FD(软盘)、CD-ROM盘、DVD、磁光盘等。
网络连接装置107连接到网络,以实现程序/数据等向外部信息处理装置的发送以及从外部信息处理装置的接收。输入装置103的实施例包括键盘、鼠标等,输出装置104的实施例包括显示装置等。然而,输入 装置103和输出装置104的这些实施例对于实现本发明并不是关键。
图7示出了存储上述程序等的存储介质以及程序等的下载的实施例。
如图7所示,可以从便携式存储介质109将用于实现上述各功能的程序/数据读出到信息处理装置(计算机)100,并在存储单元102中存储读取的程序/数据,以执行该程序/数据,并且,可以通过经由网络连接装置107相连接的网络210(因特网等)而下载存储在外部服务器220的存储单元221中的程序/数据。
此外,本发明的范围不限于装置或方法,本发明可以实施为存储上述程序/数据的存储介质(便携式存储介质109等)本身的形式,也可以实施为上述程序本身的形式。
Claims (9)
1.一种数据存储装置,该数据存储装置用于在通过顺序存取来存储数据的顺序存储介质中存储在通过随机存取来存储数据的随机存储介质中存储的数据,所述数据存储装置包括:
历史存储装置,当在所述顺序存储介质中存储数据时,该历史存储装置存储关于所存储数据的存储历史信息;以及
数据重存储装置,该数据重存储装置对作为任意处理对象的所述顺序存储介质中存储的数据进行区分,以区分这些数据是无效数据还是有效数据,其中所述无效数据是在所述顺序存储介质中存储更新后的数据的情况下的在更新之前的旧数据,所述有效数据是被最新更新的数据,并且,在任意定时并基于区分结果以及由所述历史存储装置存储的存储历史信息,将所述有效数据存储在使用中的且不同于所述作为处理对象的顺序存储介质的顺序存储介质中。
2.根据权利要求1所述的数据存储装置,其中:
当存在使用中的且不同于所述作为处理对象的顺序存储介质的多个存储介质时,所述数据重存储装置将所述有效数据存储在如下的顺序存储介质中:该顺序存储介质存储着最大量的与所述作为处理对象的顺序存储介质中存储的无效数据对应的有效数据。
3.根据权利要求1所述的数据存储装置,其中:
当不存在使用中的且不同于所述作为处理对象的顺序存储介质的顺序存储介质时,或者不存在使用中的且不同于所述作为处理对象的顺序存储介质的且具有空闲区域的顺序存储介质时,所述数据重存储装置将所述有效数据存储在新的顺序存储介质中。
4.根据权利要求1所述的数据存储装置,其中:
所述无效数据是在存储在所述随机存取存储介质中的数据发生了更新并且将经更新数据存储在所述顺序存储介质中的情况下的在更新之前存在的数据,并且,将所述作为处理对象的顺序存储介质的存储在所述使用中的并且不同于所述作为处理对象的顺序存储介质的顺序存储介质中的有效数据也处理为无效数据;并且
当所述作为处理对象的顺序存储介质没有更多的有效数据时,所述数据重存储装置将所述作为处理对象的顺序存储介质处理为空白介质。
5.根据权利要求1所述的数据存储装置,其中:
所述存储历史信息包括存储在所述顺序存储介质中的数据的卷号、移动/调用块号、顺序存储介质ID、数据位置号以及存储时间和日期;并且
所述数据重存储装置提取具有所述作为处理对象的顺序存储介质的顺序存储介质ID的所有存储历史信息条,并且,在所提取的存储历史信息条包括卷号和移动/调用块号分别彼此相同的多条存储历史信息的情况下,将与所述存储时间和日期最接近当前时间和日期的存储历史信息对应的数据处理为有效数据。
6.根据权利要求1所述的数据存储装置,其中:
所述随机存储介质是硬盘,所述顺序存储介质是磁带。
7.根据权利要求1所述的数据存储装置,其中:
所述数据重存储装置将其中无效数据量超过一定量或一定比率的顺序存储介质处理为所述作为处理对象的顺序存储介质。
8.根据权利要求1所述的数据存储装置,其中:
与所述随机存储介质相关联的各个逻辑卷被分配有一个或多个顺序存储介质,所述使用中的且不同于所述作为处理对象的顺序存储介质的顺序存储介质是被分配给与所述作为处理对象的顺序存储介质相关联的逻辑卷的顺序存储介质。
9.一种重布置存储在用于数据存储装置的顺序存储介质中的数据的方法,所述数据存储装置用于在通过顺序存取来存储数据的所述顺序存储介质中存储在通过随机存取来存储数据的随机存储介质中存储的数据,所述方法包括以下步骤:
历史存储步骤,将数据存储在所述顺序存储介质中,并记录关于所存储数据的存储历史信息;以及
数据重存储步骤,基于在所述历史存储步骤中存储的存储历史信息,检测存储在作为任意处理对象的所述顺序存储介质中的数据是无效数据还是有效数据,其中所述无效数据是在所述顺序存储介质中存储更新后的数据的情况下的在更新之前的旧数据,所述有效数据是被最新更新的数据,并基于检测结果,将所述有效数据存储在使用中的且不同于所述作为处理对象的顺序存储介质的顺序存储介质中。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006333735A JP4402103B2 (ja) | 2006-12-11 | 2006-12-11 | データ記憶装置、そのデータ再配置方法、プログラム |
JP2006333735 | 2006-12-11 | ||
JP2006-333735 | 2006-12-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101201724A CN101201724A (zh) | 2008-06-18 |
CN101201724B true CN101201724B (zh) | 2011-04-06 |
Family
ID=39499548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007101819369A Expired - Fee Related CN101201724B (zh) | 2006-12-11 | 2007-10-17 | 数据存储装置以及重布置数据的方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7668875B2 (zh) |
JP (1) | JP4402103B2 (zh) |
KR (1) | KR100926865B1 (zh) |
CN (1) | CN101201724B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4636153B2 (ja) * | 2008-09-26 | 2011-02-23 | ブラザー工業株式会社 | 画像処理装置、およびネットワークシステム |
US8788751B2 (en) * | 2009-05-01 | 2014-07-22 | Ca, Inc. | Restoring spanned volumes of data |
US9170740B2 (en) * | 2010-08-06 | 2015-10-27 | Netapp, Inc. | System and method for providing implicit unmaps in thinly provisioned virtual tape library systems |
JP6191209B2 (ja) * | 2013-04-12 | 2017-09-06 | 富士通株式会社 | ストレージ装置、制御プログラムおよび制御方法 |
JP2015005229A (ja) * | 2013-06-21 | 2015-01-08 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | テープカートリッジのファイルを複製する方法、プログラム及びテープドライブ |
JP6464606B2 (ja) | 2014-08-18 | 2019-02-06 | 富士通株式会社 | ストレージ装置、ストレージ装置制御プログラム及びストレージ装置制御方法 |
JP6531574B2 (ja) | 2015-09-03 | 2019-06-19 | 富士通株式会社 | ストレージ装置、ストレージ装置制御プログラム及びストレージ装置制御方法 |
CN107479824B (zh) * | 2016-06-08 | 2020-03-06 | 宜鼎国际股份有限公司 | 冗余磁盘阵列系统及其数据储存方法 |
US10778326B1 (en) * | 2019-09-13 | 2020-09-15 | Fujitsu Limited | Management and control plane redundancy in a disaggregated network element |
US11900158B2 (en) * | 2021-02-04 | 2024-02-13 | Red Hat, Inc. | Setting task permissions for software services in distributed computing environments |
JPWO2022185650A1 (zh) * | 2021-03-01 | 2022-09-09 | ||
JP2023035662A (ja) * | 2021-09-01 | 2023-03-13 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1698035A (zh) * | 2003-03-19 | 2005-11-16 | 索尼株式会社 | 数据存储装置、更新数据存储装置中的管理信息的方法和计算机程序 |
CN1797370A (zh) * | 2004-12-28 | 2006-07-05 | 富士通株式会社 | 存储设备、其数据处理方法和程序,以及数据处理系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2682811B2 (ja) | 1994-03-22 | 1997-11-26 | インターナショナル・ビジネス・マシーンズ・コーポレイション | データ記憶管理システム及び方法 |
JPH0832922A (ja) * | 1994-07-14 | 1996-02-02 | Hitachi Ltd | 磁気記録再生装置 |
US6289425B1 (en) | 1998-07-01 | 2001-09-11 | Storage Technology Corporation | Method for verifying availability of data space in virtual tape system |
US6778346B2 (en) * | 2000-03-30 | 2004-08-17 | Sony Corporation | Recording and reproducing apparatus and file managing method using the same |
JP2005050104A (ja) | 2003-07-28 | 2005-02-24 | Nec Corp | データバックアップ方法および仮想磁気テープ装置 |
JP2006031446A (ja) | 2004-07-16 | 2006-02-02 | Fujitsu Ltd | データ記憶装置、データ記憶方法およびデータ記憶プログラム |
US8607016B2 (en) | 2004-07-21 | 2013-12-10 | Sandisk Technologies Inc. | FAT analysis for optimized sequential cluster management |
KR100664933B1 (ko) * | 2004-12-15 | 2007-01-04 | 삼성전자주식회사 | 비휘발성 저장장치에 멀티미디어 데이터를 블록 단위로저장하는 방법 및 장치 |
-
2006
- 2006-12-11 JP JP2006333735A patent/JP4402103B2/ja not_active Expired - Fee Related
-
2007
- 2007-09-28 US US11/864,402 patent/US7668875B2/en active Active
- 2007-10-17 KR KR1020070104503A patent/KR100926865B1/ko active IP Right Grant
- 2007-10-17 CN CN2007101819369A patent/CN101201724B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1698035A (zh) * | 2003-03-19 | 2005-11-16 | 索尼株式会社 | 数据存储装置、更新数据存储装置中的管理信息的方法和计算机程序 |
CN1797370A (zh) * | 2004-12-28 | 2006-07-05 | 富士通株式会社 | 存储设备、其数据处理方法和程序,以及数据处理系统 |
Also Published As
Publication number | Publication date |
---|---|
US20080140730A1 (en) | 2008-06-12 |
KR100926865B1 (ko) | 2009-11-17 |
KR20080053878A (ko) | 2008-06-16 |
CN101201724A (zh) | 2008-06-18 |
JP4402103B2 (ja) | 2010-01-20 |
US7668875B2 (en) | 2010-02-23 |
JP2008146408A (ja) | 2008-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101201724B (zh) | 数据存储装置以及重布置数据的方法 | |
US6983351B2 (en) | System and method to guarantee overwrite of expired data in a virtual tape server | |
US8738588B2 (en) | Sequential media reclamation and replication | |
JP6304406B2 (ja) | ストレージ装置、プログラム、情報処理方法 | |
CN1307580C (zh) | 大文件的有效管理 | |
CN100476710C (zh) | 在数据存储器中保持临时数据的系统和方法 | |
US8505010B2 (en) | Storage of application specific profiles correlating to document versions | |
US8150851B2 (en) | Data processing apparatus and method of processing data | |
AU710755B2 (en) | Storage of computer data | |
JP3808007B2 (ja) | 記憶装置のキャッシング方法およびシステム | |
US20070239806A1 (en) | Methods and apparatus for a fine grained file data storage system | |
US20070208780A1 (en) | Apparatus, system, and method for maintaining metadata for offline repositories in online databases for efficient access | |
US8396833B2 (en) | Inode management in redirect-on-write file system | |
CN1776676A (zh) | 管理存储子系统中元数据的方法、系统和计算机程序产品 | |
JPH09160725A (ja) | 大容量記憶装置の構成管理のための方法およびシステム | |
CN110019130A (zh) | 一种数据库更新的方法及装置 | |
US6704753B1 (en) | Method of storage management in document databases | |
US8401995B2 (en) | File removal with no available disk blocks in redirect-on-write file systems | |
KR100775141B1 (ko) | 저널링이 적용된 fat 파일 시스템의 구현 방법 | |
KR101170969B1 (ko) | 공유 데이터 베이스상에서의 데이터 맵핑 방법 및 시스템 | |
US7925680B1 (en) | System and method for processing data management files in a virtual storage environment | |
JP2007094938A (ja) | データ管理プログラム、データ管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110406 Termination date: 20191017 |