CN1118035C - 分层存储管理方法 - Google Patents

分层存储管理方法 Download PDF

Info

Publication number
CN1118035C
CN1118035C CN95197368A CN95197368A CN1118035C CN 1118035 C CN1118035 C CN 1118035C CN 95197368 A CN95197368 A CN 95197368A CN 95197368 A CN95197368 A CN 95197368A CN 1118035 C CN1118035 C CN 1118035C
Authority
CN
China
Prior art keywords
file
storage device
visit
document
mass storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN95197368A
Other languages
English (en)
Other versions
CN1173231A (zh
Inventor
皮特·布里安·马尔库姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligence Quotient International Ltd
Original Assignee
Intelligence Quotient International Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligence Quotient International Ltd filed Critical Intelligence Quotient International Ltd
Publication of CN1173231A publication Critical patent/CN1173231A/zh
Application granted granted Critical
Publication of CN1118035C publication Critical patent/CN1118035C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99951—File or database maintenance
    • Y10S707/99952—Coherency, e.g. same view to multiple users
    • Y10S707/99955—Archiving or backup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Photoreceptors In Electrophotography (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

在分层存储管理系统中，当在特定时间内文件未曾被访问过时，文件自动地归档。对于大的数据库文件，即使只用过少量记录，文件也不能归档。本发明维持一个辅助数据库，用于标示访问过哪些数据块和访问日期。未曾访问过的块接着被归档和自盘文件中删除以减小存储需求量。

Description

分层存储管理方法
技术领域
本发明涉及计算机数据文件的分层存储管理。
技术背景
在过去的十年内，在用作大容量存储设备的个人计算机硬盘上存储的数据数量很快地增长。对于普遍采用1GB(千兆字节)或更大的包含成千上万文件的硬盘子系统的网络文件服务器上所存储的数据而言更是如此。
通常在网络文件服务器上的许多文件不常受到访问。这可能有不同原因：该文件可能是一个老版本，是一个后备复制文件，或者被存储起来只是以备有朝一日需要时调用。该文件可能完全是冗余的；但只有文件拥有者才能鉴别它为冗余，因此该文件就由于后备/安全理由被保存下来。良好的计算实践认为不一定将无把握的文件无限期地保留下来。其自然后果是硬盘上塞满了旧文件。在每一个从最小到最大的基于微处理器的个人计算系统中差不多都如此。
分层存储管理(HSM)是一个已知的用于解决此问题的技术。大部操作系统维持一个有关文件被更新(即被写过)的最近日期和时刻的记录。许多操作系统还维持一个有关文件被访问(即被读过)的最近日期和时刻的记录。HSM系统周期地扫描硬盘上的文件表，检查每个文件的最近访问日期/时刻。如果一个文件已有一个预定时期(通常为1至6个月)未曾用过，则该文件被归档，也即它被转送至例如磁带的辅助存储器上并从硬盘上删除。
HSM通常与后备系统组合在一起。考虑一个具备HSM功能的磁带后备系统，其中非活动阈值设为3个月。后备过程周期地(通常至少每一周一次)运行一次并为给定文件检查超过3个月的最近访问日期。例如，后备系统保证在不同磁带上有3个后备复制文件(或等待随后具有3个复制文件的机会)并删除该文件。一旦需用该文件时，用户简单地将它自3个后备带中的一个带上复原即可。后备系统必须保证包含文件的归档复制文件的磁带不被重写。由于磁带是可卸下的，很容易替换和费用不贵，因此该方法对这问题提供了一个长期解决方法。
一旦HSM系统将文件删除后，在初始盘上即找不到该文件。由于在搜索盘时找不到该文件的任何痕迹，因此以后当用户或应用程序决定需要访问该文件时，此方法显得不足。用户或应用程序就无法知道是否可自后备带上恢复该文件，因此应用程序可能随后会给出类似误导信息甚至致命错误那样的信息。
理想情况是，该文件不是不留任何痕迹地被移走而应继续列在盘目录中(最好有一些手段用于标明它已移至后备的或辅助存储器中)，但实际文件数据又不存在和占用盘空间。事实上，很多HSM系统具备此功能并称之为迁移。HSM系统通常在目录中留下文件标记，以及或者用一个包含可找到该迁移的文件位置的标记的小“存根”以代替文件数据，或者将数据完全删除而只留下一个长度为零的文件。
HSM系统的一个增强功能称为反迁移，当用户或应用程序试图访问迁移的文件时，HSM系统能自动地将迁移的文件复原至初始盘上。显然，只当包含迁移的文件的辅助存储介质一直接在系统上时，这才可能。例如在投币式光盘自动电唱机这类“近线”设备中存放着迁移的数据，当用户请求访问文件时在文件被恢复之前此请求甚至可能会被暂时挂起，随后犹如该文件从未被迁移过那样允许继续执行该申请。上面描述的HSM技术应用于大量的同时只由一个用户使用的较小文件时是有效的。然而，考虑一个数据库系统，其中众多用户访问一个包含客户名称和地址记录或类似历史数据的单个大数据库文件。由于经常增加新客户记录和修改现有客户记录，因此该文件必须随时可供使用而绝对不是迁移对象。但是，这类文件通常具有许多其细节必须保存以供将来可能参考用的旧而不活动客户记录，而这些记录可能在相当长时间内不被访问。这类非活动记录所占用盘空间通常代表由整个文件所占空间的大部分。
早已知道有一种随机访问文件，可供随机地向或自文件的任何部分写入或读出少量数据。当建立一个新的随机访问文件时，在写入数据之前该文件的长度为零。由于文件具有随机访问功能，第一批写入的数据不必一定放在偏移为0处(也即文件起始处)，它可写入任何位置。例如，10字节数据可写入至自偏移1000开始的位置。该文件的逻辑长度为1010字节，但实际上只写入了10字节。有些操作系统处理这种情况时自动地用零或随意字节“填入”这1000个“不存在的”字节位置中，因而即使实际上只写入了10个字节也分配占用了1010个字节。
先进操作系统，例如在网络文件服务器中使用的操作系统支持稀疏文件的概念，其中只为已实际地写入数据的文件分配磁盘空间。这通常用下述方法完成：将文件分配表(其内容为盘上如何存储文件的映象)扩展以使每个用于标示特定文件数据的下一个位置的入口伴有一个数值，该数值用于标示数据的起始逻辑偏移。因此在上例中第一个入口标示数据起始位置在盘上X处及第一个字节是在文件中逻辑偏移1000处(在“正常”文件中逻辑偏移为0)。稀疏文件中从未写入数据的区域称为空洞。
发明内容
在下面结合附图描述的本发明最佳实施例中，有一个辅助数据库用于标示哪数据块已访问过及何日访问过。未曾访问过的块即可归档并自盘文件中删除以减小存储需求量。可调整FAT(文件分配表)以将该文件作为稀疏文件处理从而完成删除操作。
一种访问存放于计算机系统内的数据的方法，用于对数据进行分层存储管理，该计算机系统包含一个随机存取存储器，一个中央处理单元，大容量存储装置，辅助存储装置，及用于将存储在计算机系统内的数据进行归档的归档装置，该方法包括步骤：(a)在正常使用时将存放于随机存取存储器中的指令提供给中央处理单元以使该中央处理单元生成至少一个读请求以准备访问存放于大容量存储装置中的数据；标识需要访问的文件，该文件由多个文件部分组成；标识文件中需要访问的文件部分；以及访问该文件部分，该访问步骤包含检查文件分配表以确定该文件部分是否在大容量存储设备中，并且如果在，进一步确定其位置的步骤，该文件分配表用于决定大容量存储装置中文件部分的位置，(b)当归档时将存放于随机存取存储器中的指令提供给中央处理单元以使中央处理单元将所选的存放于大容量存储装置中的数据归档至辅助存储装置中以便释放出大容量存储装置的空间；从大容量存储装置向辅助存储装置归档至少一些未被访问的文件部分；自大容量存储装置中释放未曾访问过但已被归档装置归档过的文件部分，同时在大容量存储装置中保留已访问过的文件部分；(c)检索时将存放于随机访问存储器中的指令提供给中央处理单元，以使中央处理单元检索归档在辅助存储装置中的选择的数据到大容量存储装置以进行存取；及当判断出需要访问的文件部分不在大容量存储装置中时，从该辅助存储装置检索需要访问的文件部分到大容量存储装置以进行存取，其特征在于：(aa)在正常使用的步骤中还包括：建立一个用于标识准备访问的文件部分位置的辅助数据库，该辅助数据库不包含该文件部分本身；及(bb)归档时的步骤还包括：从该辅助数据库识别已经被访问过的文件部分位置。
如对文件中已归档或迁移的部分提出读取请求，则系统在满足读取请求前先将所需文件部分返迁移。
然而，新近访问过的记录早已存在于硬盘上，因此下次可以立即访问。因此不必将整个文件都保留在硬盘上而仍能使经常需要的记录随时准备提供使用。
事实上，增加辅助数据库生命周期的非活动阈值可以扩展本方法。如果一个大的数据库文件中只访问少量记录，则不论访问的最新日期如何所有被访问的记录都可保持在硬盘上。而未曾访问过的记录则被删除以腾出盘空间。在此情况下，辅助数据库不必包含最近一次访问的日期或日期/时间。每隔一段长时期例如每隔一个月可将所有访问过的区域迁移及将辅助数据库清库。
本方法可与前述应用中的部分文件存储法一起使用。于是要求辅助数据库附加地记录下来对文件的访问是写访问还是仅为读访问，而在写访问中数据可能被修改。前述应用中的部分文件后备法并不腾出硬盘空间而只使可能被重新访问的记录随时供使用。
附图说明
下面将参照附图通过例子更详细地描述本发明，附图中有：
图1是一个带有磁带驱动器的个人计算机系统的框图；
图2是用于阐述对文件的访问的图；
图3是用于阐述根据本发明的文件访问操作的流程图；
图4是类似于图2的图，用于阐述留在硬盘上的文件部分；
图5是用于阐述根据本发明如由分层存储管理系统所实现那样的后备操作的流程图；
图6是用于阐述对于已部分地归档的文件的读访问操作的流程图；
图7是用于阐述在常规个人计算机的操作系统级别上的存储器映象一部分的图；以及
图8是用于阐述本发明的方法中存储器映象的相应部分的图。
具体实施方式
图1显示一个包括一个中央处理单元(CPU)12，一个随机存取存储器(RAM)14和一个具有硬盘形式的大容量存储设备16的个人计算机(PC)10。个人计算机还具有一个磁带单元18，用于提供辅助存储器以供后备和归档之用。
使用中随机存取存储器14中存放着送至中央处理单元12以控制其操作的指令。这些指令中的一部分直接来自操作系统，而有些指令则由计算机上运行的应用程序所启动。
操作系统通常维持一个用于记录硬盘上每块数据的物理位置的文件分配表(FAT)。此外，操作系统还记录一个与每个文件有关的归档标志，当文件被修改时将该标志设置，而当该文件被后备时将该标志清零。现有后备系统使用该归档标志确定文件是否已被修改过并确定该文件是否需要后备。
可以采用分层存储管理系统将一段特定时期内未曾访问过的文件自动地后备至磁带上。
在本发明最佳实施例中维持着一个辅助数据库，用于标示每个文件中哪些数据库曾被访问过及在何日访问过，以使分层存储管理系统能周期地将未曾访问过的数据块归档或迁移。接着可删除这些块因而减小存储需求量。
考虑一个在1995年1月1日建立的，包含五个其长度各为25字节的记录，初始总长度为125字节的文件，与此同时开辟了一个辅助数据库以截取对文件中任何已有记录进行访问或在文件中增加新记录的请求。在一定时期内，例如在1月1日至4月10日间的请求可能为：
1995年1月21日-增加新记录，位于偏距125处，长度25字节。
1995年2月3日-访问旧记录(读取)，位于偏距25处，长度25字节。
1995年2月15日-访问旧记录(读取)，位于偏距75处，长度25字节。
1995年4月3日-增加新记录，位于偏距150处，长度25字节。
当截取到一个请求时，辅助数据库以下列方式记下日期、记录在文件中的位置和记录长度：
        表1
日期数 偏距 长度
34720347333474534792 1252575150 25252525
当然应该可能标示所需的具体文件。这里假定为每个文件维持单独的辅助数据库。实际中可能最好为每个子目录维持一个单独的辅助数据库，在此种情况下文件也需在数据库中加以标识。而这减小辅助数据库的数量，因而也减小所建立附加文件的数量。原理上讲可为整个盘建立一个单个辅助数据库。
未包括在表1中阐述的辅助数据库中的任何文件区域完全未曾被访问过。日期数只是一个简单的记数，代表从一个任意给定起始日期以来所度过的天数，此例中起始日期是1900年1月1日。在更完善的系统中可以将日期和时刻(日期/时刻)两者都包括。图2用图解方式阐述该文件，其中阴影区代表读过或写过的文件数据，而空白区代表未曾访问过的数据。
在完成访问中所采取的步骤示于图3中。步20标示要求进行访问。这可以是读访问也可以是写访问。在步22处首先标记该文件及在步24处标识起始偏距和访问长度。在步26处这些数据连同以上表1中所示的日期一起存入辅助数据库。步26最好包括一个整理操作以保证辅助数据库中不包含冗余信息。例如，随后的访问可能会与以前的访问重复或重叠。当这些步骤完成时，在步28处执行对最初需要文件的访问，从而在步30处完成此例行操作。
对于每个访问都执行这些步骤，因此在4月10日文件长度为175字节并包含7个记录，而辅助数据库看上去尤如上面的表1。在监视时期(79天)内完全未曾访问过的记录显然为归档对象。然而，假定决定将最近60天内未访问过的记录全部归档。按照下法将记录分类：首先假定整个文件准备迁移至辅助存储器上，然后在辅助数据库中扫描所有其日期数为34739或更大的记录(34739为4月10日前60天的日期数，从4月10日为34799)。任何记录的日期数在此范围内者都被标识，并且包含这些记录的文件部分被相应地标记而不会被迁移。任何未被标记的文件部分即被清除而迁移。
在1995年1月1日至4月10日访问过的四个记录中，只有分别于1995年2月15日和4月3日访问过的后两个记录的日期数大于34739。因此只有两个最近访问过的记录将予以保留，而文件的其余部分即由字节0至74和字节100至149所定义的文件部分将被迁移。这在图4中图解地得到阐释，其中要保留的记录以阴影区表示而要迁移的记录以空白区表示。决定要迁移的文件数据区现在用正常HSM过程复制至辅助存储设备上。HSM系统保存每个记录的位置和长度细节以便随后复原。此外，可将辅助数据库编辑以清除其日期数小于34739的记录的任何痕迹，从而防止辅助数据库尺寸未经检验地扩大。
为获得将不用的记录迁移到辅助存储设备中的优点，必须将这些相同记录在盘上占用的空间腾出来。有效的办法是将文件做成稀疏文件。换言之，被迁移过的文件由空洞替代。由于空洞并不占用盘空间，因此先前由冗余记录占用的盘空间得以恢复。假定具有最高偏距值的记录未被归档，文件的逻辑长度不因此操作而改变，但实际数据字节数减少了，因此为新文件数据腾出空间。
可用下法做出稀疏文件。假定在系统所具有的文件分配表(FAT)中盘空间方便地按每块25个字节分配。因此，1995年4月10日的175字节文件就需要7块。文件可用下法分配：
                 表2
  入口     下一块链结   逻辑偏距
  目录     1     0
    1     2     25
    2     3     50
    3     4     75
    4     5     100
    5     6     125
    6     7     150
    7     -1     -1
注意到第一入口存储于目录结构中。盘上每块在表中有一个入口，它标示文件下一部分所在的块。例如，第二块的入口链结至块3，在那里可找到偏距为50字节的文件部分。长七块只有一个负入口值(-1)以标示它是文件中最后一块包含数据的块。此例中，文件方便地顺序地存放于块1至7中，但实际中这些块同样地可能随机分配而在其间插入空隙。
必须调整分配表以腾出迁移的记录所用盘空间，换言之应删除文件中字节0至74和字节100至149。第一区包含块1、2和3及第二区包含块5和6。当这些块中的数据被删除后，文件中剩下的入口重新调整以保留一个入口链，修改过的文件分配表因此如下所示：
              表3
    入口   下一块指针   逻辑偏距
    目录     4     75
    1     0     0
    2     0     0
    3     0     0
    4     7     150
    5     0     0
    6     0     0
    7     -1     -1
块1、2、3、5和6的每一块的入口值为零(0)以标示它们没有数据。操作系统可根据修改的文件分配表容易地确定文件中第一分配块是块4，它包含的数据起始点在逻辑偏距75处，而下一块(最后一块)文件数据存放于块7处，它包含的数据起始点在逻辑偏距150处。应该注意某些操作系统并不存放第一分配块的逻辑偏距，因此在这类系统中它不能被腾空。
进行删除的确切步骤并不重要。重要的是必须将硬盘上由迁移块占用的空间腾出来，也即腾出以供使用。
在上面例子中，为便于解释，块尺寸和读/写请求都假定为25字节，此外还假定所有请求都在块边界上提出的。实际上分配块尺寸通常为512字节的倍数，以及读/写请求的位置和长度都变化很大。由于只有整个块才能被腾出(删除)，系统必须如此实现以只使代表整个块的数据区被迁移和腾空。由于大文件通常占用成千上万块，因此效率的减低并不显著。
上述步骤在图5的流程图中得到阐述。步40标示后备操作的开始。首先在步42处标识所需文件。接着在步44处查询辅助数据库以便将自特定日期以来访问过的块与未曾访问过的块区别开。在步46处将自特定日期来未曾访问过的块加以标识。现在，事实上作为正常例行后备操作的一部分，这些未曾访问过的块早已作了后备。通常它们已不止一次地作了后备。因此不必再一次迁移它们或将它们后备。然而必须将未曾充分地后备过的块迁移至辅助存储器。可以将它们打上标记以标识它们。只要它们能适当地区别开，至于它们是打上标记准备迁移的块还是不准备迁移的块，这并不重要，因为在判断步48处判断是否已有足够的后备(例如三次)。如果不是这样，则在步50处将打标记的块作后备或迁移。在步52处更改系统的文件分配表(FAT)以将文件转换为稀疏文件，从而腾出所有由未曾访问过的块占有的空间。如文件早已是一个稀疏文件，则可增加更多空洞。在步54处完成例行操作。
最后的改善是截取随后对文件的读取请求以确定该请求是否企图读取迁移的数据。如果没有截取读取请求的措施，则操作系统可以在试图读取稀疏文件空洞时或者送回零数据或者报告出错。在截取到一个读取迁移数据的请求后，可生成一个恰当的信号以自动地将所请求的信息反迁移。如个别读请求是小的，则与整个文件反迁移的时间相比较将数据反迁移所需时间是短的，因为只需将实际需要的数据复原即可。
此操作在图6中得到阐述。步60标示一个文件读访问的开始。如图3中一样，在步62处将文件标识及在步64处提取起始偏距和读取长度。现操作进行至判断步66对文件分配表(FAT)进行检查以使用图5的例行程序确定读请求是否为读取任何已迁移块中的数据的请求。如对问题的答案是否定的，则操作进行至分别对应于图3中步26、28和30步70、72和74。然而如对问题的答案是肯定的，则在步68处首先将所需数据反迁移，然后如前所述地进至步70、72和74。不必将整块都反迁移，而通常只将所需的一块或多块记录反迁移。这些记录可能位于一块内，也可能跨越两块或更多块。
图3和6的例行程序要求截取盘访问。现参照图7和8描述如何完成这些步骤。任何时候当程序希望访问文件时，它调用一个将数据写到盘上的标准子程序。在DOS操作系统下此子程序称为16进制21中断功能(INT21h)，它是操作系统的一个整体组成部分。读盘是INT21h的3Fh功能，而写盘是INT21h的40h功能。该子程序完成的操作决定于进入时传递给子程序的参数。在图7中所示系统存储映象中此子程序显示为组成操作系统一部分的INT21h，其中INT21h入口点由箭头所示。为执行根据本发明的最佳方法，如图8中所示在操作系统接口级别上增加附加程序码。实际上在DOS环境下可使用CONFIG·SYS文件将这作为设备驱动程序装入计算机。
增加软件的作用是将另一套指令替代或补充写数据的指令。
对于其它操作系统同样地需要以相似方式将写文件功能中断。有经验的程序员有能力按照以上有关DOS操作系统的描述写出必要的子程序。
更普遍地，本发明可在许多修改过的方法中及以上描述和阐述的方法和系统以外的方法和系统中得到实现。
具体说，该方法和系统可与我以前提到的申请08/165,382的部分文件后备系统结合起来。当做到这点后，同一个辅助数据库能如根据本发明记录对数据的访问一样地记录对数据的修改。唯一的差别是不论访问为读访问或写访问都必须在辅助数据库中记录。我先前申请中的部分文件后备系统响应于涉及写访问的辅助数据库入口，而本申请的部分件HSM系统对读和写访问都加以考虑。
另一个修改是增加辅助数据库生命周期的非活动阈值从而事实上扩展该系统。也即，在图5中的步44修改为它区别访问过和从未访问过的块，也即区别自辅助数据库首次建立或填充以来是否访问过的块而不是区别自特定日期以来已访问过和未访问过的块。在此情况下辅助数据库不必再记录每次访问的日期或日期/时刻。
可能在有些情况下即使一定文件部分未被访问过也不希望将它们迁移。例如，对于每个文件中第一块如此，对于最后一块也可能如此。
最后，如将本发明体现在全新的操作系统中，则原理上辅助数据库可与文件分配表(FAT)结合在一起。然而正常情况下最好使它们两个分开。

Claims (8)

1.一种访问存放于计算机系统内的数据的方法，用于对数据进行分层存储管理，该计算机系统包含一个随机存取存储器，一个中央处理单元，大容量存储装置，辅助存储装置，及用于将存储在计算机系统内的数据进行归档的归档装置，该方法包括步骤：
(a)在正常使用时
将存放于随机存取存储器中的指令提供给中央处理单元以使该中央处理单元生成至少一个读请求以准备访问存放于大容量存储装置中的数据；
标识需要访问的文件，该文件由多个文件部分组成；
标识文件中需要访问的文件部分；以及
访问该文件部分，该访问步骤包含
检查文件分配表以确定该文件部分是否在大容量存储设备中，并且如果在，进一步确定其位置的步骤，该文件分配表用于决定大容量存储装置中文件部分的位置，
(b)当归档时
将存放于随机存取存储器中的指令提供给中央处理单元以使中央处理单元将所选的存放于大容量存储装置中的数据归档至辅助存储装置中以便释放出大容量存储装置的空间；
从大容量存储装置向辅助存储装置归档至少一些未被访问的文件部分；
自大容量存储装置中释放未曾访问过但已被归档装置归档过的文件部分，同时在大容量存储装置中保留已访问过的文件部分；
(c)检索时
将存放于随机访问存储器中的指令提供给中央处理单元，以使中央处理单元检索归档在辅助存储装置中的选择的数据到大容量存储装置以进行存取；及
当判断出需要访问的文件部分不在大容量存储装置中时，从该辅助存储装置检索需要访问的文件部分到大容量存储装置以进行存取，
其特征在于：
(aa)在正常使用的步骤中还包括：
建立一个用于标识准备访问的文件部分位置的辅助数据库，该辅助数据库不包含该文件部分本身；及
(bb)归档时的步骤还包括：
从该辅助数据库识别已经被访问过的文件部分位置。
2.权利要求1的方法，其中该文件部分是对应于文件分配表中标识的基本块的块。
3.权利要求1的方法，其中该辅助数据库还定义该访问是写访问还是读访问。
4.权利要求1的方法，其中建立辅助数据库的步骤标识准备访问的文件部分和标识访问日期或日期/时刻。
5.权利要求4的方法，其中在归档时识别哪些文件部分已经被访问过的步骤包括从辅助数据库标识自特定日期以来已访问过的文件部分，标识自特定日期以来未曾被访问过的文件部分；归档步骤包括将至少某些自特定日期以来未曾访问过的文件部分归档至辅助存储装置的步骤；以及释放步骤包括自大容量存储装置中释放自特定日期以来未曾访问过但已被该归档装置归档过的文件部分，同时在大容量存储装置中保留自特定日期以来已访问过的文件部分的步骤。
6.根据权利要求5的方法，其中归档和释放步骤包括将自特定日期以来未曾访问过而又早已备份过预定次数的文件部分归档和释放。
7.根据权利要求1的方法，其中释放步骤包括修改文件分配表。
8.权利要求1的方法，其中建立辅助数据库的步骤包括整理该辅助数据库以移去冗余信息。
CN95197368A 1994-12-15 1995-12-01 分层存储管理方法 Expired - Fee Related CN1118035C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/356,478 1994-12-15
US08/356,478 US5617566A (en) 1993-12-10 1994-12-15 File portion logging and arching by means of an auxilary database

Publications (2)

Publication Number Publication Date
CN1173231A CN1173231A (zh) 1998-02-11
CN1118035C true CN1118035C (zh) 2003-08-13

Family

ID=23401599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN95197368A Expired - Fee Related CN1118035C (zh) 1994-12-15 1995-12-01 分层存储管理方法

Country Status (24)

Country Link
US (1) US5617566A (zh)
EP (1) EP0797805B1 (zh)
JP (1) JPH10510642A (zh)
KR (1) KR100437199B1 (zh)
CN (1) CN1118035C (zh)
AT (1) ATE192249T1 (zh)
AU (1) AU710755B2 (zh)
BG (1) BG63096B1 (zh)
BR (1) BR9510506A (zh)
CA (1) CA2207735C (zh)
CZ (1) CZ294346B6 (zh)
DE (1) DE69516538T2 (zh)
DK (1) DK0797805T3 (zh)
ES (1) ES2145308T3 (zh)
FI (1) FI972544A (zh)
GR (1) GR3033775T3 (zh)
HU (1) HU221081B1 (zh)
IS (1) IS1890B (zh)
MX (1) MX9704419A (zh)
NO (1) NO312529B1 (zh)
NZ (1) NZ296165A (zh)
PL (1) PL182609B1 (zh)
RU (1) RU2182360C2 (zh)
WO (1) WO1996018960A1 (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619656A (en) * 1994-05-05 1997-04-08 Openservice, Inc. System for uninterruptively displaying only relevant and non-redundant alert message of the highest severity for specific condition associated with group of computers being managed
US5819298A (en) * 1996-06-24 1998-10-06 Sun Microsystems, Inc. File allocation tables with holes
US5832525A (en) * 1996-06-24 1998-11-03 Sun Microsystems, Inc. Disk fragmentation reduction using file allocation tables
CA2221216A1 (en) * 1996-11-15 1998-05-15 Mark Squibb System and apparatus for merging a write event journal and an original storage to produce an updated storage using an event map
US6366988B1 (en) * 1997-07-18 2002-04-02 Storactive, Inc. Systems and methods for electronic data storage management
US5983368A (en) * 1997-08-26 1999-11-09 International Business Machines Corporation Method and system for facilitating hierarchical storage management (HSM) testing
US6173359B1 (en) 1997-08-27 2001-01-09 International Business Machines Corp. Storage and access to scratch mounts in VTS system
US6067541A (en) * 1997-09-17 2000-05-23 Microsoft Corporation Monitoring document changes in a file system of documents with the document change information stored in a persistent log
US5953729A (en) * 1997-12-23 1999-09-14 Microsoft Corporation Using sparse file technology to stage data that will then be stored in remote storage
US6378128B1 (en) * 1998-10-08 2002-04-23 Microsoft Corporation System and method for dynamically modifying an install-set
US6240427B1 (en) * 1999-01-05 2001-05-29 Advanced Micro Devices, Inc. Method and apparatus for archiving and deleting large data sets
US6415300B1 (en) 1999-07-06 2002-07-02 Syncsort Incorporated Method of performing a high-performance backup which gains efficiency by reading input file blocks sequentially
US6408314B1 (en) 1999-07-06 2002-06-18 Synscort Incorporated Method of performing a high-performance sort which gains efficiency by reading input file blocks sequentially
US6981005B1 (en) * 2000-08-24 2005-12-27 Microsoft Corporation Partial migration of an object to another storage location in a computer system
KR20020031509A (ko) * 2000-10-20 2002-05-02 김영돈, 정춘보 프로그램 제작툴에서 데이터 관리방법
WO2003038673A2 (en) * 2001-10-31 2003-05-08 Gen-I Limited Information archiving software
US20030084071A1 (en) * 2001-11-01 2003-05-01 International Business Machines Corporation Method and system for managing computer performance
KR100468276B1 (ko) * 2001-12-13 2005-01-27 (주)아이디스 멀티미디어 데이터 저장 및 검색 방법
GB0207969D0 (en) * 2002-04-08 2002-05-15 Ibm Data processing arrangement and method
US20040015524A1 (en) * 2002-07-19 2004-01-22 Chalstrom Robert Eugene Method and apparatus for managing digitally-stored media files
US6889302B2 (en) * 2002-08-29 2005-05-03 International Business Machines Corporation Apparatus and method to maintain information in one or more virtual volume aggregates comprising a plurality of virtual volumes
US20040143609A1 (en) * 2003-01-17 2004-07-22 Gardner Daniel John System and method for data extraction in a non-native environment
US8375008B1 (en) 2003-01-17 2013-02-12 Robert Gomes Method and system for enterprise-wide retention of digital or electronic data
US8943024B1 (en) 2003-01-17 2015-01-27 Daniel John Gardner System and method for data de-duplication
US8630984B1 (en) 2003-01-17 2014-01-14 Renew Data Corp. System and method for data extraction from email files
US8065277B1 (en) 2003-01-17 2011-11-22 Daniel John Gardner System and method for a data extraction and backup database
US8856163B2 (en) * 2003-07-28 2014-10-07 Google Inc. System and method for providing a user interface with search query broadening
US7107416B2 (en) 2003-09-08 2006-09-12 International Business Machines Corporation Method, system, and program for implementing retention policies to archive records
JP4189595B2 (ja) * 2004-08-25 2008-12-03 コニカミノルタビジネステクノロジーズ株式会社 ファイル管理装置
US8069151B1 (en) 2004-12-08 2011-11-29 Chris Crafford System and method for detecting incongruous or incorrect media in a data recovery process
US20060136525A1 (en) * 2004-12-21 2006-06-22 Jens-Peter Akelbein Method, computer program product and mass storage device for dynamically managing a mass storage device
US7831639B1 (en) * 2004-12-22 2010-11-09 Symantec Operating Corporation System and method for providing data protection by using sparse files to represent images of data stored in block devices
US8527468B1 (en) 2005-02-08 2013-09-03 Renew Data Corp. System and method for management of retention periods for content in a computing system
US8108579B2 (en) * 2005-03-31 2012-01-31 Qualcomm Incorporated Mechanism and method for managing data storage
JP2006338461A (ja) * 2005-06-03 2006-12-14 Hitachi Ltd 電子的なファイルの記憶を制御するシステム及び方法
US7853667B1 (en) * 2005-08-05 2010-12-14 Network Appliance, Inc. Emulation of transparent recall in a hierarchical storage management system
JP4563314B2 (ja) * 2005-12-14 2010-10-13 富士通株式会社 ストレージシステム制御装置、ストレージシステム制御プログラム、ストレージシステム制御方法
US8150827B2 (en) * 2006-06-07 2012-04-03 Renew Data Corp. Methods for enhancing efficiency and cost effectiveness of first pass review of documents
RU2457622C2 (ru) * 2007-11-29 2012-07-27 Эйрбас Оперейшнс Гмбх Система и способ архивирования данных
US8429312B2 (en) 2007-11-29 2013-04-23 Airbus Operations Gmbh System and method for archiving of data
US8117234B2 (en) * 2008-01-24 2012-02-14 International Business Machines Corporation Method and apparatus for reducing storage requirements of electronic records
US8615490B1 (en) 2008-01-31 2013-12-24 Renew Data Corp. Method and system for restoring information from backup storage media
JP5248912B2 (ja) 2008-05-12 2013-07-31 株式会社日立製作所 サーバ計算機、計算機システムおよびファイル管理方法
WO2011072172A1 (en) * 2009-12-09 2011-06-16 Renew Data Corp. System and method for quickly determining a subset of irrelevant data from large data content
US8738668B2 (en) 2009-12-16 2014-05-27 Renew Data Corp. System and method for creating a de-duplicated data set
US8423727B2 (en) * 2010-03-16 2013-04-16 Hitachi, Ltd. I/O conversion method and apparatus for storage system
US8386421B2 (en) 2010-06-28 2013-02-26 Microsoft Corporation Concurrency control for confluent trees
US8412689B2 (en) * 2010-07-07 2013-04-02 Microsoft Corporation Shared log-structured multi-version transactional datastore with metadata to enable melding trees
US9848106B2 (en) 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
US10114844B2 (en) * 2015-11-30 2018-10-30 International Business Machines Corporation Readiness checker for content object movement
CN106227795A (zh) * 2016-07-20 2016-12-14 曙光信息产业(北京)有限公司 分级存储的检测方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0426189A2 (en) * 1989-11-01 1991-05-08 E-Systems Inc. Mass data storage library
JPH05250244A (ja) * 1992-03-04 1993-09-28 Nec Corp データベースシステム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4507751A (en) * 1982-06-21 1985-03-26 International Business Machines Corporation Method and apparatus for logging journal data using a log write ahead data set
US4588991A (en) * 1983-03-07 1986-05-13 Atalla Corporation File access security method and means
US4686620A (en) * 1984-07-26 1987-08-11 American Telephone And Telegraph Company, At&T Bell Laboratories Database backup method
US5043871A (en) * 1986-03-26 1991-08-27 Hitachi, Ltd. Method and apparatus for database update/recovery
DE69023770T2 (de) * 1989-07-11 1996-05-23 Intelligence Quotient Int Verfahren zum betrieb eines datenverarbeitungssystems.
GB8915875D0 (en) * 1989-07-11 1989-08-31 Intelligence Quotient United K A method of operating a data processing system
US5454099A (en) * 1989-07-25 1995-09-26 International Business Machines Corporation CPU implemented method for backing up modified data sets in non-volatile store for recovery in the event of CPU failure
US5163148A (en) * 1989-08-11 1992-11-10 Digital Equipment Corporation File backup system for producing a backup copy of a file which may be updated during backup
US5276860A (en) * 1989-12-19 1994-01-04 Epoch Systems, Inc. Digital data processor with improved backup storage
US5363473A (en) * 1991-05-28 1994-11-08 The Trustees Of Columbia University In The City Of New York Incremental update process and apparatus for an inference system
US5263154A (en) * 1992-04-20 1993-11-16 International Business Machines Corporation Method and system for incremental time zero backup copying of data
US5455946A (en) * 1993-05-21 1995-10-03 International Business Machines Corporation Method and means for archiving modifiable pages in a log based transaction management system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0426189A2 (en) * 1989-11-01 1991-05-08 E-Systems Inc. Mass data storage library
JPH05250244A (ja) * 1992-03-04 1993-09-28 Nec Corp データベースシステム

Also Published As

Publication number Publication date
EP0797805A1 (en) 1997-10-01
FI972544A (fi) 1997-08-14
CA2207735A1 (en) 1996-06-20
KR980700613A (ko) 1998-03-30
US5617566A (en) 1997-04-01
NZ296165A (en) 1997-11-24
JPH10510642A (ja) 1998-10-13
WO1996018960A1 (en) 1996-06-20
HU221081B1 (hu) 2002-07-29
CA2207735C (en) 2004-08-31
FI972544A0 (fi) 1997-06-16
DK0797805T3 (da) 2000-09-25
CZ294346B6 (cs) 2004-12-15
BG101622A (en) 1998-02-27
ATE192249T1 (de) 2000-05-15
NO972784L (no) 1997-08-15
PL321160A1 (en) 1997-11-24
ES2145308T3 (es) 2000-07-01
CN1173231A (zh) 1998-02-11
HUT77154A (hu) 1998-03-02
GR3033775T3 (en) 2000-10-31
AU3988995A (en) 1996-07-03
NO972784D0 (no) 1997-06-16
EP0797805B1 (en) 2000-04-26
CZ9701859A3 (cs) 2002-06-12
DE69516538D1 (de) 2000-05-31
KR100437199B1 (ko) 2004-11-03
MX9704419A (es) 1998-07-31
RU2182360C2 (ru) 2002-05-10
BR9510506A (pt) 1999-06-01
BG63096B1 (bg) 2001-03-30
NO312529B1 (no) 2002-05-21
DE69516538T2 (de) 2000-11-23
IS4507A (is) 1997-06-13
IS1890B (is) 2003-09-19
AU710755B2 (en) 1999-09-30
PL182609B1 (pl) 2002-02-28

Similar Documents

Publication Publication Date Title
CN1118035C (zh) 分层存储管理方法
EP1311940B1 (en) Improved space allocation in a write anywhere file system
US6571261B1 (en) Defragmentation utility for a shared disk parallel file system across a storage area network
US8127095B1 (en) Restore mechanism for a multi-class file system
US7293133B1 (en) Performing operations without requiring split mirrors in a multi-class file system
US7103740B1 (en) Backup mechanism for a multi-class file system
EP0351387B1 (en) Minimizing locking and reading in a segmented storage space
KR100962055B1 (ko) 컴퓨터 시스템들간의 객체 공유
CN108733306B (zh) 一种文件合并方法及装置
US6691136B2 (en) Fast data retrieval based upon contiguous consolidation of records according to frequency of access
US7200628B2 (en) Method for reserving pages of database
US8640136B2 (en) Sharing objects between computer systems
KR100907477B1 (ko) 플래시 메모리에 저장된 데이터의 인덱스 정보 관리 장치및 방법
US6684308B2 (en) Method and system for providing direct access recovery using seekable tape device
EP1215590B1 (en) Method and system for scalable, high performance hierarchical storage management
CN116414304B (zh) 基于日志结构化合并树的数据存储装置和存储控制方法
US6851021B2 (en) Methods and systems for efficiently managing persistent storage
Gwatking DEPARTMENT OF DEFENCE DEFENCE SCIENCE AND TECHNOLOGY ORGANISATION ELECTRONICS RESEARCH LABORATORY

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee