JP2016091245A - 階層型ストレージ・システムでのファイルの移動方法 - Google Patents
階層型ストレージ・システムでのファイルの移動方法 Download PDFInfo
- Publication number
- JP2016091245A JP2016091245A JP2014223801A JP2014223801A JP2016091245A JP 2016091245 A JP2016091245 A JP 2016091245A JP 2014223801 A JP2014223801 A JP 2014223801A JP 2014223801 A JP2014223801 A JP 2014223801A JP 2016091245 A JP2016091245 A JP 2016091245A
- Authority
- JP
- Japan
- Prior art keywords
- file
- secondary storage
- storage
- tape
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
- G06F3/0649—Lifecycle management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】本発明の方法は、(a)2次ストレージに書き込み可能な所定のファイルサイズを取得するステップS1と、(b)1次ストレージ中の複数のファイルの中から、2次ストレージに保管されておらず、かつ最新のアクセスが最も古いファイルを抽出するステップS2と、(c)最新のアクセスが最も古いファイルを2次ストレージに書き込む場合の2次ストレージ上でのファイルサイズを推定するステップS3と、(d)推定されるファイルサイズが2次ストレージに書き込み可能な所定のファイルサイズを越えない範囲において、最新のアクセスが最も古いファイルを2次ストレージへ移すファイルとして選択するステップS4〜S6と、を含む。
【選択図】 図3
Description
(a)2次ストレージに書き込み可能な所定のファイルサイズを取得するステップと、
(b)1次ストレージ中の複数のファイルの中から、2次ストレージに保管されておらず、かつ最新のアクセスが最も古いファイルを抽出するステップと、
(c)最新のアクセスが最も古いファイルを2次ストレージに書き込む場合の2次ストレージ上でのファイルサイズを推定するステップと、
(d)推定されるファイルサイズが2次ストレージに書き込み可能な所定のファイルサイズを越えない範囲において、最新のアクセスが最も古いファイルを2次ストレージへ移すファイルとして選択するステップと、を含む。
(a)テープドライブからテープの1つのラップに書き込めるデータサイズを取得するステップと、
(b)1次ストレージ中の複数のファイルの中から、2次ストレージに保管されておらず、かつ最新のアクセスが最も古いファイルを抽出するステップと、
(c)最新のアクセスが最も古いファイルをテープドライブのテープに書き込む場合の1つのラップ上でのファイルサイズを推定するステップと、
(d)推定されるファイルサイズが1つのラップに書き込めるデータサイズを越えない範囲において、最新のアクセスが最も古いファイルをテープドライブへ移すファイルとして選択するステップと、を含む。
12 テープ
30 サーバー(ホスト)
32、34 PC
36 ネットワーク
50 階層型ストレージ(HSM)
52 1次ストレージ
54 2次ストレージ
100 ファイルシステム(LTFS)
Claims (16)
- 1次ストレージと、シーケンシャル・ストレージ・デバイスを含む2次ストレージを含む階層型ストレージ・システムにおいて、ファイルを1次ストレージから2次ストレージへ移すための方法であって、
(a)2次ストレージに書き込み可能な所定のファイルサイズを取得するステップと、
(b)1次ストレージ中の複数のファイルの中から、2次ストレージに保管されておらず、かつ最新のアクセスが最も古いファイルを抽出するステップと、
(c)前記最新のアクセスが最も古いファイルを2次ストレージに書き込む場合の2次ストレージ上でのファイルサイズを推定するステップと、
(d)推定される前記ファイルサイズが前記2次ストレージに書き込み可能な所定のファイルサイズを越えない範囲において、前記最新のアクセスが最も古いファイルを2次ストレージへ移すファイルとして選択するステップと、を含む方法。 - 前記抽出するステップ(b)〜前記選択するステップ(d)までを前記所定のファイルサイズを超えるまで繰り返すステップをさらに含む、請求項1に記載の方法。
- 前記2次ストレージへ移すファイルとして選択したファイルを前記2次ストレージへ移すステップと、
前記2次ストレージへ移したファイルを指示するための情報を1つのファイルとして前記1次ストレージに保管するステップとをさらに含む、請求項2に記載の方法。 - 前記2次ストレージへ移したファイルを、前記2次ストレージ中の前記書き込み可能な所定のファイルサイズとして特定される領域に、ファイルサイズが小さい順または大きい順に書き込むステップをさらに含む、請求項3に記載の方法。
- 前記2次ストレージに書き込み可能な所定のファイルサイズを取得するステップは、前記シーケンシャル・ストレージ・デバイスにおける一方向で連続して書き込み可能な所定のファイルサイズを取得するステップを含む、請求項1に記載の方法。
- 前記2次ストレージへ移したファイルを前記一方向で連続して書き込み可能な所定のファイルサイズとして特定される領域にファイルサイズが小さい順に書き込むステップを含む、請求項5に記載の方法。
- 前記2次ストレージへ移したファイルを前記一方向とは逆の方向で連続して書き込み可能な所定のファイルサイズとして特定される領域にファイルサイズが大きい順に書き込むステップを含む、請求項6に記載の方法。
- 前記シーケンシャル・ストレージ・デバイスはテープドライブであり、前記2次ストレージに書き込み可能な所定のファイルサイズは、前記テープドライブでR/W可能なテープの1つのラップに書き込めるデータサイズである、請求項1〜7のいずれか1項に記載の方法。
- 請求項1〜8のいずれか1項の各ステップを前記階層型ストレージ・システムにおいて実行するためのコンピュータ・プログラム。
- 少なくとも1つのHDDを含む1次ストレージと、少なくとも1つのテープドライブを含む2次ストレージを含む階層型ストレージ・システムにおいて、ファイルを1次ストレージから2次ストレージへ移すための方法であって、
(a)前記テープドライブからテープの1つのラップに書き込めるデータサイズを取得するステップと、
(b)1次ストレージ中の複数のファイルの中から、2次ストレージに保管されておらず、かつ最新のアクセスが最も古いファイルを抽出するステップと、
(c)前記最新のアクセスが最も古いファイルを前記テープドライブのテープに書き込む場合の前記1つのラップ上でのファイルサイズを推定するステップと、
(d)推定される前記ファイルサイズが前記1つのラップに書き込めるデータサイズを越えない範囲において、前記最新のアクセスが最も古いファイルを前記テープドライブへ移すファイルとして選択するステップと、を含む方法。 - 前記抽出するステップ(b)〜前記選択するステップ(d)までを前記所定のファイルサイズを超えるまで繰り返すステップをさらに含む、請求項10に記載の方法。
- 前記テープドライブへ移すファイルとして選択したファイルを前記テープドライブへ移すステップと、
前記テープドライブへ移したファイルを指示するための情報を1つのファイルとして前記1次ストレージに保管するステップとをさらに含む、請求項11に記載の方法。 - 前記テープドライブへ移したファイルを、前記テープの1つのラップにファイルサイズが小さい順または大きい順に書き込むステップをさらに含む、請求項12に記載の方法。
- 前記テープドライブへ移したファイルを前記テープの1つのラップの一方向においてファイルサイズが小さい順に書き込むステップを含む、請求項12に記載の方法。
- 前記テープドライブへ移したファイルを前記一方向とは逆の方向において前記テープの1つのラップにファイルサイズが大きい順に書き込むステップを含む、請求項14に記載の方法。
- 請求項10〜の15いずれか1項の各ステップを前記階層型ストレージ・システムにおいて実行するためのコンピュータ・プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014223801A JP6075571B2 (ja) | 2014-10-31 | 2014-10-31 | 階層型ストレージ・システムでのファイルの移動方法 |
US14/821,834 US9940061B2 (en) | 2014-10-31 | 2015-08-10 | Method of moving files in hierarchical storage system |
US15/708,251 US9946487B2 (en) | 2014-10-31 | 2017-09-19 | Method of moving files in hierarchical storage system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014223801A JP6075571B2 (ja) | 2014-10-31 | 2014-10-31 | 階層型ストレージ・システムでのファイルの移動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016091245A true JP2016091245A (ja) | 2016-05-23 |
JP6075571B2 JP6075571B2 (ja) | 2017-02-08 |
Family
ID=55852703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014223801A Active JP6075571B2 (ja) | 2014-10-31 | 2014-10-31 | 階層型ストレージ・システムでのファイルの移動方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US9940061B2 (ja) |
JP (1) | JP6075571B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9946487B2 (en) | 2014-10-31 | 2018-04-17 | International Business Machines Corporation | Method of moving files in hierarchical storage system |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10198447B2 (en) * | 2015-09-14 | 2019-02-05 | Komprise Inc. | Electronic file migration system and various methods of transparent data migration management |
US10552059B2 (en) | 2017-01-27 | 2020-02-04 | International Business Machines Corporation | Data migration with placement based on access patterns |
JP6642495B2 (ja) | 2017-03-13 | 2020-02-05 | 日本電気株式会社 | ストレージ管理システム |
JP6751281B2 (ja) | 2018-03-16 | 2020-09-02 | Necプラットフォームズ株式会社 | 情報処理装置 |
US10620865B2 (en) * | 2018-05-24 | 2020-04-14 | International Business Machines Corporation | Writing files to multiple tapes |
US11681525B2 (en) * | 2019-11-25 | 2023-06-20 | EMC IP Holding Company LLC | Moving files between storage devices based on analysis of file operations |
CN111190538A (zh) * | 2019-12-20 | 2020-05-22 | 北京淇瑀信息科技有限公司 | 文件存储方法、系统、设备和计算机可读介质 |
US11308986B2 (en) * | 2020-08-11 | 2022-04-19 | International Business Machines Corporation | Event based reconcile operation for hierarchical storage management |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000339867A (ja) * | 1999-05-25 | 2000-12-08 | Nippon Columbia Co Ltd | データ記録再生装置 |
JP2009053897A (ja) * | 2007-08-27 | 2009-03-12 | Hitachi Computer Peripherals Co Ltd | 磁気テープ記録システム及び磁気テープ記録方法 |
JP2010097646A (ja) * | 2008-10-15 | 2010-04-30 | Fujitsu Ltd | テープ駆動制御装置およびテープ駆動制御方法 |
JP2010152603A (ja) * | 2008-12-25 | 2010-07-08 | Internatl Business Mach Corp <Ibm> | 記録媒体に記録されたデータの移行のための装置及び方法 |
JP2011034525A (ja) * | 2009-08-06 | 2011-02-17 | Hitachi Ltd | 階層化ストレージシステム及び階層化ストレージシステムにおけるファイルのコピー制御方法 |
JP2012516479A (ja) * | 2009-05-13 | 2012-07-19 | 株式会社日立製作所 | ストレージシステム及びストレージシステムにおける使用容量管理方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06103003A (ja) | 1992-09-24 | 1994-04-15 | Fujitsu Ltd | 資源を最適配置する装置および方法 |
JP3064880B2 (ja) | 1995-08-01 | 2000-07-12 | 松下電器産業株式会社 | データ蓄積装置及びそれを用いたデータ処理システム |
JP3324572B2 (ja) | 1999-03-30 | 2002-09-17 | 三菱電機株式会社 | 情報処理装置並びにコンピュータに実行させるためのプログラムを記録した記録媒体 |
JP2003150413A (ja) | 2001-11-09 | 2003-05-23 | Sony Corp | データファイル管理装置及びデータファイル管理方法 |
US20040003151A1 (en) * | 2002-07-01 | 2004-01-01 | Logitech Europe S.A. | Method and system for streaming transfer of data between a digital camera and a host |
JP2010518469A (ja) | 2007-02-05 | 2010-05-27 | ムーンウォーク ユニバーサル ピー ティ ワイ エル ティ ディ | データ管理システム |
JP2008197779A (ja) | 2007-02-09 | 2008-08-28 | Fujitsu Ltd | 階層型ストレージ管理システム、階層制御装置、階層間ファイル移動方法、及びプログラム |
US8762667B2 (en) | 2010-02-01 | 2014-06-24 | International Business Machines Corporation | Optimization of data migration between storage mediums |
JP2012243339A (ja) | 2011-05-17 | 2012-12-10 | Nec Corp | 磁気テープ装置、磁気テープ用データ再配置方法、及びそのプログラム |
US8775759B2 (en) | 2011-12-07 | 2014-07-08 | Jeffrey Tofano | Frequency and migration based re-parsing |
JP2015133164A (ja) * | 2014-01-15 | 2015-07-23 | 富士通株式会社 | テープ装置、書込処理方法、及び書込制御プログラム |
JP6075571B2 (ja) | 2014-10-31 | 2017-02-08 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 階層型ストレージ・システムでのファイルの移動方法 |
-
2014
- 2014-10-31 JP JP2014223801A patent/JP6075571B2/ja active Active
-
2015
- 2015-08-10 US US14/821,834 patent/US9940061B2/en not_active Expired - Fee Related
-
2017
- 2017-09-19 US US15/708,251 patent/US9946487B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000339867A (ja) * | 1999-05-25 | 2000-12-08 | Nippon Columbia Co Ltd | データ記録再生装置 |
JP2009053897A (ja) * | 2007-08-27 | 2009-03-12 | Hitachi Computer Peripherals Co Ltd | 磁気テープ記録システム及び磁気テープ記録方法 |
JP2010097646A (ja) * | 2008-10-15 | 2010-04-30 | Fujitsu Ltd | テープ駆動制御装置およびテープ駆動制御方法 |
JP2010152603A (ja) * | 2008-12-25 | 2010-07-08 | Internatl Business Mach Corp <Ibm> | 記録媒体に記録されたデータの移行のための装置及び方法 |
JP2012516479A (ja) * | 2009-05-13 | 2012-07-19 | 株式会社日立製作所 | ストレージシステム及びストレージシステムにおける使用容量管理方法 |
JP2011034525A (ja) * | 2009-08-06 | 2011-02-17 | Hitachi Ltd | 階層化ストレージシステム及び階層化ストレージシステムにおけるファイルのコピー制御方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9946487B2 (en) | 2014-10-31 | 2018-04-17 | International Business Machines Corporation | Method of moving files in hierarchical storage system |
Also Published As
Publication number | Publication date |
---|---|
US20160124678A1 (en) | 2016-05-05 |
JP6075571B2 (ja) | 2017-02-08 |
US20180004450A1 (en) | 2018-01-04 |
US9946487B2 (en) | 2018-04-17 |
US9940061B2 (en) | 2018-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6075571B2 (ja) | 階層型ストレージ・システムでのファイルの移動方法 | |
JP7130032B2 (ja) | 記録装置、読取装置、記録方法、記録プログラム、読取方法、読取プログラム、及び磁気テープ | |
US9632949B2 (en) | Storage management method, storage management system, computer system, and program | |
JP6391061B2 (ja) | テープ上へのファイル書き込み方法 | |
US10083085B2 (en) | Indirection data structures to manage file system metadata | |
CN103917962A (zh) | 读取存储在存储系统上的文件 | |
US9547452B2 (en) | Saving log data using a disk system as primary cache and a tape library as secondary cache | |
JP2008146408A (ja) | データ記憶装置、そのデータ再配置方法、プログラム | |
JP5956971B2 (ja) | LTFS(LinearTapeFileSystem)によって実現するWORMカートリッジのサポート | |
JP6052812B2 (ja) | テープ上のファイルの管理、書き込み、及び読み出し方法 | |
US9430168B2 (en) | Recording medium storing a program for data relocation, data storage system and data relocating method | |
US20160011792A1 (en) | Media control device and control method | |
US9952770B2 (en) | Responding to recall operations based on file migration time | |
US8880794B2 (en) | Populating a sparsely allocated memory in a storage array | |
JP5729479B2 (ja) | 仮想テープ装置及び仮想テープ装置の制御方法 | |
JP6642495B2 (ja) | ストレージ管理システム | |
US9910617B2 (en) | Data updating in a file system | |
WO2016001959A1 (ja) | ストレージシステム | |
GB2548818A (en) | Indirection data strucures to manage file system metadata | |
CN110196785A (zh) | 数据备份管理方法、装置及电子设备 | |
US20240004571A1 (en) | Data migration management based on data location | |
JP4624702B2 (ja) | 仮想テープ装置の制御システムおよび制御プログラム | |
US20070162691A1 (en) | Apparatus and method to store information | |
JP2019204164A (ja) | ストレージシステム、制御装置、及び制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20160406 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160812 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161013 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20161019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161208 |
|
RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20161208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6075571 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |