JP2018005446A - 情報処理装置、ストレージ制御プログラム、及びストレージ制御方法 - Google Patents
情報処理装置、ストレージ制御プログラム、及びストレージ制御方法 Download PDFInfo
- Publication number
- JP2018005446A JP2018005446A JP2016129707A JP2016129707A JP2018005446A JP 2018005446 A JP2018005446 A JP 2018005446A JP 2016129707 A JP2016129707 A JP 2016129707A JP 2016129707 A JP2016129707 A JP 2016129707A JP 2018005446 A JP2018005446 A JP 2018005446A
- Authority
- JP
- Japan
- Prior art keywords
- file
- access
- storage medium
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
- G06F3/0649—Lifecycle management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/065—Replication mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】ストレージ装置30A,30Bにおけるファイル及び同ファイルに対するアクセスを管理するファイル管理部40と、ストレージ装置30A,30Bにおける第1記憶媒体31と同第1記憶媒体31とは異なる性能の第2記憶装媒体32との間でファイルの移動を制御するストレージ制御部50と、を有する。ファイル管理部40は、前記ファイルに対する前記アクセスの履歴に基づいて、前記ファイルの中から、第2記憶媒体32から第1記憶媒体31への移動対象ファイルを決定し、ストレージ制御部50は、決定した移動対象ファイルを第2記憶媒体32から第1記憶媒体31へ移動させる。
【選択図】図1
Description
まず、図1を参照しながら、本実施形態の情報処理装置100のハードウエア構成について説明する。図1は、本実施形態の情報処理装置100のハードウエア構成例を示すブロック図である。
次に、図1及び図2を参照しながら、本実施形態の情報処理装置100の機能構成について説明する。図2は、本実施形態の情報処理装置100の機能構成例を示すブロック図である。
〔3−1〕本実施形態の情報処理装置の概要
本実施形態では、現時刻から所定時間t1経過後の未来のファイルのアクセス状況(使用状況;予測状況に相当)について、以下の入力データ[b1]及び[b2]に基づく予測が行なわれる。そして、当該予測の結果に基づいて、性能(例えばアクセス速度や容量)の異なる複数種類の記憶媒体ヘのファイル配置が、システム全体のファイルアクセスのスループットについて最適化される。
次に、図3に示すフローチャート(ステップS11,S12)に従って、本実施形態の情報処理装置100におけるアクセス履歴421の収集蓄積動作について説明する。
次に、図4に示すフローチャート(ステップS21〜S27)に従って、本実施形態の情報処理装置100におけるファイル管理動作及びストレージ制御動作について説明する。なお、図4において、ステップS21〜S26は、メタデータサーバ40(ファイル管理側)での処理であり、ステップS27は、データサーバ50(ストレージ制御側)での処理である。
次に、図5〜図9を参照しながら、本実施形態の詳細な動作例について説明する。
ファイルおよび利用者の属性に基づいて分類されたファイルアクセス履歴ログファイル(図5参照)に基づき、ファイルと関連のある属性に基づいたファイルアクセス状況による所定時間t1内のファイルアクセス状況を保存するデータベース422が作成される。
M: 使用するログファイルの総数(例えば2)
m: 使用するログファイルのカウンタ変数
Prob[file1, file2] = R[file1, file2] / S[file1]
・ユーザ(同一ユーザ、同一グループ)
・プログラム関係(拡張子が共通のファイル)
・ノード(アクセスされたノード)
〔4−1〕第1動作例
本実施形態の情報処理装置100についての具体的な第1動作例を説明する。
A(d,f,t): あるディレクトリd配下のファイルfが、時刻tにアクセスされる現象
S(A): 「同一ディレクトリ内のファイル」や、「親ディレクトリを共有するディレクトリ内にある、ファイルの拡張子が同じファイル」
本実施形態の情報処理装置100についての具体的な第2動作例を説明する。
「ファイルアクセス予兆現象」として、以下の現象A〜Dを採る。
A(d,f,t): あるディレクトリd配下のファイルfが、時刻tにアクセスされる現象
B(u,f,t): あるユーザuのファイルfが、時刻tにアクセスされる現象
C(p,f,t): あるプログラムpのファイルfが、時刻tにアクセスされる現象
D(n,u,f,t): あるノードn上でユーザuによってファイルfが、時刻ttにアクセスされる現象
上記ファイルアクセス予兆現象A〜Dの「評価対象ファイル群」を、それぞれ、以下のようなS(A),S(B),S(C),S(D)とする。ここでは、ファイルアクセス予兆現象A〜Dのそれぞれについて、アクセス履歴から、所定時間t1以内に所定値(第1閾値)以上の確率でアクセスされたことがあり且つ各「評価対象ファイル群」に対して次の条件を満たすファイルが、事前に定められているものとする。
S(B): 「ユーザuが所有するファイル」や、「ユーザuと同じグループに所属するユーザのファイルで、ユーザuにアクセス権限のあるファイル」
S(C): 「プログラムpがアクセス対象とするファイルの拡張子が共通のファイル」
S(D): 「ノードnでユーザuからアクセスされたファイル」
あるファイルに対する評価対象ファイル群S(A)〜S(D)に属するファイルに対し「所定時間内アクセス確率」が記録されている。当該「所定時間内アクセス確率」は、あるファイルへのアクセス回数に対する、当該ファイルにアクセスがあってから所定時間t1以内にアクセスがあったファイルへのアクセス回数の割合として求められる。「所定時間内アクセス確率」は、ファイル毎に記憶されてもよい。また、「所定時間内アクセス確率」は、参照するデータ量の削減のために、群全体について記憶されてもよいし、群の部分集合毎に記憶されてもよい。ここで、群の部分集合は、例えば、ファイル名長さがX未満のファイルの部分集合もしくはファイル名長さがX以上のファイルの部分集合でもよいし、ファイルサイズがY未満のファイルの部分集合もしくはファイルサイズがY以上のファイルの部分集合でもよい。なお、「所定時間内アクセス確率」は、アクセス要求がある毎に更新されてもよいし、随時更新ではなく、ある一定期間の学習後は更新しない方式を採ってもよい。
[e2] ファイルサイズによる転送時間(転送待ち時間)の予測値
[e3] 実測による処理時間差。つまり、ファイルの先読みを行なわずに二次記憶媒体32からのファイルアクセスとなった場合と、ファイルの先読みを行ない一次記憶媒体31からのファイルアクセスとなった場合との処理時間差の実測値を、ファイルeについての関数として事前に設定しておく。
本実施形態の情報処理装置100についての具体的な第3動作例を説明する。
以上の実施形態に関し、さらに以下の付記を開示する。
ストレージ装置におけるファイル及び前記ファイルに対するアクセスを管理するファイル管理部と、
前記ストレージ装置における第1記憶媒体と前記第1記憶媒体とは異なる性能の第2記憶装媒体との間で前記ファイルの移動を制御するストレージ制御部と、を有し、
前記ファイル管理部は、前記ファイルに対する前記アクセスの履歴に基づいて、前記ファイルの中から、前記第2記憶媒体から前記第1記憶媒体への移動対象ファイルを決定し、
前記ストレージ制御部は、前記移動対象ファイルを前記第2記憶媒体から前記第1記憶媒体へ移動させる、情報処理装置。
前記ファイル管理部は、
前記ファイルに対する前記アクセスの状況を前記履歴として収集する収集部と、
前記履歴に基づいて、一アクセス状況と前記一アクセス状況が所定時間内に到達する他アクセス状況とを対応付けるアクセス状況データベースを作成する作成部と、
前記ファイルに対する最新アクセスを受けると、前記最新アクセスの状況によって前記アクセス状況データベースを検索して得られる前記他アクセス状況を、前記最新アクセスの状況が前記所定時間内に到達しうる予測状況として取得する予測部と、
前記予測状況に基づいて前記移動対象ファイルを決定する決定部と、を有し、
前記ストレージ制御部は、
前記決定部によって決定される前記移動対象ファイルを、前記第2記憶媒体から前記第1記憶媒体へ移動させるファイル移動制御部、を有する、付記1に記載の情報処理装置。
前記一アクセス状況は、前記一アクセス状況においてアクセス対象の一ファイルを特定する第1ファイル情報を含み、
前記他アクセス状況は、前記他アクセス状況においてアクセス対象の他ファイルを特定する第2ファイル情報と、前記一ファイルにアクセスした後に前記所定時間内に前記他ファイルにアクセスする確率と、を含み、
前記予測部は、
前記最新アクセスのアクセス対象ファイルを特定する最新ファイル情報によって前記アクセス状況データベースの前記第1ファイル情報を検索することで、前記最新ファイル情報と一致する前記第1ファイル情報に対応付けられた前記第2ファイル情報及び前記確率を前記予測状況として取得し、
取得した前記第2ファイル情報及び前記確率について、前記確率が第1閾値以上である場合、前記第2ファイル情報によって特定されるファイルを、前記移動対象ファイルの候補として予測し、
前記決定部は、前記予測部によって予測される前記候補の中から前記移動対象ファイルを決定する、付記2に記載の情報処理装置。
前記決定部は、
前記候補を前記第2記憶媒体から前記第1記憶媒体へ移動しない場合に対する、前記候補を前記第2記憶媒体から前記第1記憶媒体へ移動した場合の、前記ストレージ装置におけるファイルアクセス性能の改善度合いに基づいて、前記候補の中から前記移動対象ファイルを決定する、付記3に記載の情報処理装置。
前記決定部は、
前記候補についての前記改善度合いを定量的に評価する効用関数によって算出し、
前記効用関数によって算出される前記改善度合いが第2閾値以上である前記候補を、前記移動対象ファイルとして決定する、付記4に記載の情報処理装置。
前記ファイル管理部は、
前記第1記憶媒体における各ファイルについて、前記アクセス状況データベースに蓄積される情報に基づいて、前記各ファイルがアクセスされない確率を算出し、
算出した前記アクセスされない確率が第3閾値以上であるファイルを、書戻し対象ファイルとして決定し、
前記ストレージ制御部は、
前記書戻し対象ファイルを、前記第1記憶媒体から前記第2記憶媒体へ書き戻す、付記2〜付記5のいずれか一項に記載の情報処理装置。
ストレージ装置におけるファイル及び前記ファイルに対するアクセスを管理する第1処理部と、
前記ストレージ装置における第1記憶媒体と前記第1記憶媒体とは異なる性能の第2記憶装媒体との間で前記ファイルの移動を制御する第2処理部と、において実行されるプログラムであって、
前記ファイルに対する前記アクセスの履歴に基づいて、前記ファイルの中から、前記第2記憶媒体から前記第1記憶媒体への移動対象ファイルを決定する、
処理を、前記第1処理部に実行させるとともに、
前記移動対象ファイルを前記第2記憶媒体から前記第1記憶媒体へ移動する、
処理を、前記第2処理部に実行させる、ストレージ制御プログラム。
前記ファイルに対する前記アクセスの状況を前記履歴として収集し、
前記履歴に基づいて、一アクセス状況と前記一アクセス状況が所定時間内に到達する他アクセス状況とを対応付けるアクセス状況データベースを作成し、
前記ファイルに対する最新アクセスを受けると、前記最新アクセスの状況によって前記アクセス状況データベースを検索して得られる前記他アクセス状況を、前記最新アクセスの状況が前記所定時間内に到達しうる予測状況として取得し、
前記予測状況に基づいて前記移動対象ファイルを決定する、
処理を、前記第1処理部に実行させるとともに、
前記第1処理部によって決定される前記移動対象ファイルを、前記第2記憶媒体から前記第1記憶媒体へ移動する、
処理を、前記第2処理部に実行させる、付記7に記載のストレージ制御プログラム。
前記一アクセス状況は、前記一アクセス状況においてアクセス対象の一ファイルを特定する第1ファイル情報を含み、
前記他アクセス状況は、前記他アクセス状況においてアクセス対象の他ファイルを特定する第2ファイル情報と、前記一ファイルにアクセスした後に前記所定時間内に前記他ファイルにアクセスする確率と、を含み、
前記最新アクセスのアクセス対象ファイルを特定する最新ファイル情報によって前記アクセス状況データベースの前記第1ファイル情報を検索することで、前記最新ファイル情報と一致する前記第1ファイル情報に対応付けられた前記第2ファイル情報及び前記確率を前記予測状況として取得し、
取得した前記第2ファイル情報及び前記確率について、前記確率が第1閾値以上である場合、前記第2ファイル情報によって特定されるファイルを、前記移動対象ファイルの候補として予測し、
予測される前記候補の中から前記移動対象ファイルを決定する、
処理を、前記第1処理部に実行させる、付記8に記載のストレージ制御プログラム。
前記候補を前記第2記憶媒体から前記第1記憶媒体へ移動しない場合に対する、前記候補を前記第2記憶媒体から前記第1記憶媒体へ移動した場合の、前記ストレージ装置におけるファイルアクセス性能の改善度合いに基づいて、前記候補の中から前記移動対象ファイルを決定する、
処理を、前記第1処理部に実行させる、付記9に記載のストレージ制御プログラム。
前記候補についての前記改善度合いを定量的に評価する効用関数によって算出し、
前記効用関数によって算出される前記改善度合いが第2閾値以上である前記候補を、前記移動対象ファイルとして決定する、
処理を、前記第1処理部に実行させる、付記10に記載のストレージ制御プログラム。
前記第1記憶媒体における各ファイルについて、前記アクセス状況データベースに蓄積される情報に基づいて、前記各ファイルがアクセスされない確率を算出し、
算出した前記アクセスされない確率が第3閾値以上であるファイルを、書戻し対象ファイルとして決定する、
処理を、前記第1処理部に実行させるとともに、
前記書戻し対象ファイルを、前記第1記憶媒体から前記第2記憶媒体へ書き戻す、
処理を、前記第2処理部に実行させる、付記8〜付記11のいずれか一項に記載のストレージ制御プログラム。
ストレージ装置におけるファイル及び前記ファイルに対するアクセスを管理する第1処理部と、
前記ストレージ装置における第1記憶媒体と前記第1記憶媒体とは異なる性能の第2記憶装媒体との間で前記ファイルの移動を制御する第2処理部と、を有する情報処理装置において、
前記第1処理部が、前記ファイルに対する前記アクセスの履歴に基づいて、前記ファイルの中から、前記第2記憶媒体から前記第1記憶媒体への移動対象ファイルを決定し、
前記第2処理部が、前記移動対象ファイルを前記第2記憶媒体から前記第1記憶媒体へ移動させる、ストレージ制御方法。
前記第1処理部が、
前記ファイルに対する前記アクセスの状況を前記履歴として収集し、
前記履歴に基づいて、一アクセス状況と前記一アクセス状況が所定時間内に到達する他アクセス状況とを対応付けるアクセス状況データベースを作成し、
前記ファイルに対する最新アクセスを受けると、前記最新アクセスの状況によって前記アクセス状況データベースを検索して得られる前記他アクセス状況を、前記最新アクセスの状況が前記所定時間内に到達しうる予測状況として取得し、
前記予測状況に基づいて前記移動対象ファイルを決定するとともに、
前記第2処理部が、
前記第1処理部によって決定される前記移動対象ファイルを、前記第2記憶媒体から前記第1記憶媒体へ移動させる、付記13に記載のストレージ制御方法。
前記一アクセス状況は、前記一アクセス状況においてアクセス対象の一ファイルを特定する第1ファイル情報を含み、
前記他アクセス状況は、前記他アクセス状況においてアクセス対象の他ファイルを特定する第2ファイル情報と、前記一ファイルにアクセスした後に前記所定時間内に前記他ファイルにアクセスする確率と、を含み、
前記第1処理部が、
前記最新アクセスのアクセス対象ファイルを特定する最新ファイル情報によって前記アクセス状況データベースの前記第1ファイル情報を検索することで、前記最新ファイル情報と一致する前記第1ファイル情報に対応付けられた前記第2ファイル情報及び前記確率を前記予測状況として取得し、
取得した前記第2ファイル情報及び前記確率について、前記確率が第1閾値以上である場合、前記第2ファイル情報によって特定されるファイルを、前記移動対象ファイルの候補として予測し、
予測される前記候補の中から前記移動対象ファイルを決定する、付記14に記載のストレージ制御方法。
前記第1処理部が、
前記候補を前記第2記憶媒体から前記第1記憶媒体へ移動しない場合に対する、前記候補を前記第2記憶媒体から前記第1記憶媒体へ移動した場合の、前記ストレージ装置におけるファイルアクセス性能の改善度合いに基づいて、前記候補の中から前記移動対象ファイルを決定する、付記15に記載のストレージ制御方法。
前記第1処理部が、
前記候補についての前記改善度合いを定量的に評価する効用関数によって算出し、
前記効用関数によって算出される前記改善度合いが第2閾値以上である前記候補を、前記移動対象ファイルとして決定する、付記16に記載のストレージ制御方法。
前記第1処理部が、
前記第1記憶媒体における各ファイルについて、前記アクセス状況データベースに蓄積される情報に基づいて、前記各ファイルがアクセスされない確率を算出し、
算出した前記アクセスされない確率が第3閾値以上であるファイルを、書戻し対象ファイルとして決定するとともに、
前記第2処理部が、
前記書戻し対象ファイルを、前記第1記憶媒体から前記第2記憶媒体へ書き戻す、付記14〜付記17のいずれか一項に記載のストレージ制御方法。
20 ネットワーク
30A,30B ストレージ装置(階層化ストレージ)
31 一次記憶媒体(第1記憶媒体,SSD)
32 二次記憶媒体(第2記憶媒体,HDD)
40 メタデータサーバ(ファイル管理部,PC,コンピュータ)
41 処理部(第1処理部)
411 メタデータ制御部(収集部)
412 アクセス状況データベース作成部(作成部)
413 アクセス予測部(予測部)
414 移動対象ファイル決定部(決定部)
42 記憶部
421 アクセス履歴(ファイルアクセス履歴ログファイル)
422 アクセス状況データベース
50 データサーバ(ストレージ制御部,PC,コンピュータ)
51 処理部(第2処理部)
511 ファイル移動制御部
100 情報処理装置(PC,コンピュータ)
Claims (8)
- ストレージ装置におけるファイル及び前記ファイルに対するアクセスを管理するファイル管理部と、
前記ストレージ装置における第1記憶媒体と前記第1記憶媒体とは異なる性能の第2記憶装媒体との間での前記ファイルの移動を制御するストレージ制御部と、を有し、
前記ファイル管理部は、前記ファイルに対する前記アクセスの履歴に基づいて、前記ファイルの中から、前記第2記憶媒体から前記第1記憶媒体への移動対象ファイルを決定し、
前記ストレージ制御部は、前記移動対象ファイルを前記第2記憶媒体から前記第1記憶媒体へ移動させる、情報処理装置。 - 前記ファイル管理部は、
前記ファイルに対する前記アクセスの状況を前記履歴として収集する収集部と、
前記履歴に基づいて、一アクセス状況と前記一アクセス状況が所定時間内に到達する他アクセス状況とを対応付けるアクセス状況データベースを作成する作成部と、
前記ファイルに対する最新アクセスを受けると、前記最新アクセスの状況によって前記アクセス状況データベースを検索して得られる前記他アクセス状況を、前記最新アクセスの状況が前記所定時間内に到達しうる予測状況として取得する予測部と、
前記予測状況に基づいて前記移動対象ファイルを決定する決定部と、を有し、
前記ストレージ制御部は、
前記決定部によって決定される前記移動対象ファイルを、前記第2記憶媒体から前記第1記憶媒体へ移動させるファイル移動制御部、を有する、請求項1に記載の情報処理装置。 - 前記一アクセス状況は、前記一アクセス状況においてアクセス対象の一ファイルを特定する第1ファイル情報を含み、
前記他アクセス状況は、前記他アクセス状況においてアクセス対象の他ファイルを特定する第2ファイル情報と、前記一ファイルにアクセスした後に前記所定時間内に前記他ファイルにアクセスする確率と、を含み、
前記予測部は、
前記最新アクセスのアクセス対象ファイルを特定する最新ファイル情報によって前記アクセス状況データベースの前記第1ファイル情報を検索することで、前記最新ファイル情報と一致する前記第1ファイル情報に対応付けられた前記第2ファイル情報及び前記確率を前記予測状況として取得し、
取得した前記第2ファイル情報及び前記確率について、前記確率が第1閾値以上である場合、前記第2ファイル情報によって特定されるファイルを、前記移動対象ファイルの候補として予測し、
前記決定部は、前記予測部によって予測される前記候補の中から前記移動対象ファイルを決定する、請求項2に記載の情報処理装置。 - 前記決定部は、
前記候補を前記第2記憶媒体から前記第1記憶媒体へ移動しない場合に対する、前記候補を前記第2記憶媒体から前記第1記憶媒体へ移動した場合の、前記ストレージ装置におけるファイルアクセス性能の改善度合いに基づいて、前記候補の中から前記移動対象ファイルを決定する、請求項3に記載の情報処理装置。 - 前記決定部は、
前記候補についての前記改善度合いを定量的に評価する効用関数によって算出し、
前記効用関数によって算出される前記改善度合いが第2閾値以上である前記候補を、前記移動対象ファイルとして決定する、請求項4に記載の情報処理装置。 - 前記ファイル管理部は、
前記第1記憶媒体における各ファイルについて、前記アクセス状況データベースに蓄積される情報に基づいて、前記各ファイルがアクセスされない確率を算出し、
算出した前記アクセスされない確率が第3閾値以上であるファイルを、書戻し対象ファイルとして決定し、
前記ストレージ制御部は、
前記書戻し対象ファイルを、前記第1記憶媒体から前記第2記憶媒体へ書き戻す、請求項2〜請求項5のいずれか一項に記載の情報処理装置。 - ストレージ装置におけるファイル及び前記ファイルに対するアクセスを管理する第1処理部と、
前記ストレージ装置における第1記憶媒体と前記第1記憶媒体とは異なる性能の第2記憶装媒体との間で前記ファイルの移動を制御する第2処理部と、において実行されるプログラムであって、
前記ファイルに対する前記アクセスの履歴に基づいて、前記ファイルの中から、前記第2記憶媒体から前記第1記憶媒体への移動対象ファイルを決定する、
処理を、前記第1処理部に実行させるとともに、
前記移動対象ファイルを前記第2記憶媒体から前記第1記憶媒体へ移動する、
処理を、前記第2処理部に実行させる、ストレージ制御プログラム。 - ストレージ装置におけるファイル及び前記ファイルに対するアクセスを管理する第1処理部と、
前記ストレージ装置における第1記憶媒体と前記第1記憶媒体とは異なる性能の第2記憶装媒体との間で前記ファイルの移動を制御する第2処理部と、を有する情報処理装置において、
前記第1処理部が、前記ファイルに対する前記アクセスの履歴に基づいて、前記ファイルの中から、前記第2記憶媒体から前記第1記憶媒体への移動対象ファイルを決定し、
前記第2処理部が、前記移動対象ファイルを前記第2記憶媒体から前記第1記憶媒体へ移動させる、ストレージ制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016129707A JP2018005446A (ja) | 2016-06-30 | 2016-06-30 | 情報処理装置、ストレージ制御プログラム、及びストレージ制御方法 |
US15/496,669 US20180004441A1 (en) | 2016-06-30 | 2017-04-25 | Information processing apparatus, computer-readable recording medium having storage control program stored therein, and method of controlling storage |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016129707A JP2018005446A (ja) | 2016-06-30 | 2016-06-30 | 情報処理装置、ストレージ制御プログラム、及びストレージ制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018005446A true JP2018005446A (ja) | 2018-01-11 |
Family
ID=60807542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016129707A Ceased JP2018005446A (ja) | 2016-06-30 | 2016-06-30 | 情報処理装置、ストレージ制御プログラム、及びストレージ制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180004441A1 (ja) |
JP (1) | JP2018005446A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018169774A (ja) * | 2017-03-29 | 2018-11-01 | 日本電気株式会社 | ストレージ装置、管理装置、情報処理システム、制御方法及びプログラム |
CN111684434A (zh) * | 2018-02-05 | 2020-09-18 | 美光科技公司 | 多层存储器系统中的预测数据协作 |
JP2021119438A (ja) * | 2020-01-30 | 2021-08-12 | 日本電信電話株式会社 | データ管理システム、データ管理装置、強制移動対象データ選択装置、強制移動先選択装置、および、データ管理方法、並びに、プログラム |
JP2021119437A (ja) * | 2020-01-30 | 2021-08-12 | 日本電信電話株式会社 | データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、アーカイブ指示装置、および、データ管理方法、並びに、プログラム |
JP2021157259A (ja) * | 2020-03-25 | 2021-10-07 | 株式会社日立製作所 | オブジェクト最適配置装置及び方法 |
WO2022097469A1 (ja) * | 2020-11-09 | 2022-05-12 | 日本電気株式会社 | 移行装置、移行方法及び記憶媒体 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12135876B2 (en) | 2018-02-05 | 2024-11-05 | Micron Technology, Inc. | Memory systems having controllers embedded in packages of integrated circuit memory |
US11416395B2 (en) | 2018-02-05 | 2022-08-16 | Micron Technology, Inc. | Memory virtualization for accessing heterogeneous memory components |
US11099789B2 (en) | 2018-02-05 | 2021-08-24 | Micron Technology, Inc. | Remote direct memory access in multi-tier memory systems |
US20210209098A1 (en) * | 2018-06-15 | 2021-07-08 | Micro Focus Llc | Converting database language statements between dialects |
US11010314B2 (en) * | 2018-10-30 | 2021-05-18 | Marvell Asia Pte. Ltd. | Artificial intelligence-enabled management of storage media access |
CN110032339B (zh) * | 2019-04-12 | 2022-11-04 | 北京旷视科技有限公司 | 数据迁移方法、装置、系统、设备和存储介质 |
US10852949B2 (en) | 2019-04-15 | 2020-12-01 | Micron Technology, Inc. | Predictive data pre-fetching in a data storage device |
CN111736778B (zh) * | 2020-07-21 | 2020-11-17 | 北京金山云网络技术有限公司 | 数据更新方法、装置、系统和电子设备 |
CN115022342B (zh) * | 2022-05-31 | 2023-12-05 | Oppo广东移动通信有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
US11928038B2 (en) | 2022-06-21 | 2024-03-12 | International Business Machines Corporation | Managing data sets based on user activity |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003005920A (ja) * | 2001-06-22 | 2003-01-10 | Nec Corp | ストレージシステム、データ再配置方法及びデータ再配置プログラム |
JP2008059438A (ja) * | 2006-09-01 | 2008-03-13 | Hitachi Ltd | 記憶システム、そのデータ再配置方法、データ再配置プログラム |
US20150032967A1 (en) * | 2013-07-26 | 2015-01-29 | Netapp, Inc. | Systems and methods for adaptive prefetching |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9052830B1 (en) * | 2011-06-30 | 2015-06-09 | Emc Corporation | Techniques for automated evaluation and movement of data between storage tiers for thin devices |
CN104077296B (zh) * | 2013-03-27 | 2017-12-29 | 联想(北京)有限公司 | 处理信息的方法和服务器 |
-
2016
- 2016-06-30 JP JP2016129707A patent/JP2018005446A/ja not_active Ceased
-
2017
- 2017-04-25 US US15/496,669 patent/US20180004441A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003005920A (ja) * | 2001-06-22 | 2003-01-10 | Nec Corp | ストレージシステム、データ再配置方法及びデータ再配置プログラム |
JP2008059438A (ja) * | 2006-09-01 | 2008-03-13 | Hitachi Ltd | 記憶システム、そのデータ再配置方法、データ再配置プログラム |
US20150032967A1 (en) * | 2013-07-26 | 2015-01-29 | Netapp, Inc. | Systems and methods for adaptive prefetching |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018169774A (ja) * | 2017-03-29 | 2018-11-01 | 日本電気株式会社 | ストレージ装置、管理装置、情報処理システム、制御方法及びプログラム |
CN111684434A (zh) * | 2018-02-05 | 2020-09-18 | 美光科技公司 | 多层存储器系统中的预测数据协作 |
CN111684434B (zh) * | 2018-02-05 | 2023-09-29 | 美光科技公司 | 多层存储器系统中的预测数据协作 |
JP2021119438A (ja) * | 2020-01-30 | 2021-08-12 | 日本電信電話株式会社 | データ管理システム、データ管理装置、強制移動対象データ選択装置、強制移動先選択装置、および、データ管理方法、並びに、プログラム |
JP2021119437A (ja) * | 2020-01-30 | 2021-08-12 | 日本電信電話株式会社 | データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、アーカイブ指示装置、および、データ管理方法、並びに、プログラム |
JP7376894B2 (ja) | 2020-01-30 | 2023-11-09 | 日本電信電話株式会社 | データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、および、データ管理方法、並びに、プログラム |
JP7385214B2 (ja) | 2020-01-30 | 2023-11-22 | 日本電信電話株式会社 | データ管理システムおよびデータ管理方法 |
JP2021157259A (ja) * | 2020-03-25 | 2021-10-07 | 株式会社日立製作所 | オブジェクト最適配置装置及び方法 |
WO2022097469A1 (ja) * | 2020-11-09 | 2022-05-12 | 日本電気株式会社 | 移行装置、移行方法及び記憶媒体 |
JPWO2022097469A1 (ja) * | 2020-11-09 | 2022-05-12 | ||
JP7517463B2 (ja) | 2020-11-09 | 2024-07-17 | 日本電気株式会社 | 移行装置、移行方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20180004441A1 (en) | 2018-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018005446A (ja) | 情報処理装置、ストレージ制御プログラム、及びストレージ制御方法 | |
US11593037B2 (en) | File system block-level tiering and co-allocation | |
US9632707B2 (en) | Enhancing tiering storage performance | |
US20180373722A1 (en) | System and method for data classification using machine learning during archiving | |
JP6336096B2 (ja) | 指定された数量の結果についてメモリ内の複数のストレージ領域をスキャンするための方法、システム及びコンピュータ・プログラム | |
US20150309923A1 (en) | Storage control apparatus and storage system | |
US20080270706A1 (en) | Block Reallocation Planning During Read-Ahead Processing | |
JP6020448B2 (ja) | データベース性能予測装置及びデータベース予測方法 | |
WO2016115957A1 (zh) | 一种面向用户与应用的计算机与智能设备加速方法和装置 | |
Vogel et al. | Mosaic: a budget-conscious storage engine for relational database systems | |
Herodotou | AutoCache: Employing machine learning to automate caching in distributed file systems | |
US20170322747A1 (en) | Information processing apparatus and method for deduplication | |
Liu et al. | A survey on AI for storage | |
US20180341423A1 (en) | Storage control device and information processing system | |
Wong et al. | Baleen:{ML} Admission & Prefetching for Flash Caches | |
Wan et al. | SSD-optimized workload placement with adaptive learning and classification in HPC environments | |
Yan et al. | Hmfs: efficient support of small files processing over HDFS | |
CN105892938A (zh) | 一种磁盘缓存系统的优化方法及系统 | |
JP6615420B1 (ja) | エッジシステム、情報処理方法及び情報処理プログラム | |
Zhang et al. | Time-tired compaction: An elastic compaction scheme for LSM-tree based time-series database | |
Zhu et al. | An access prefetching strategy for accessing small files based on swift | |
US11200281B2 (en) | Managing data in a cache memory of a question answering system | |
Menon et al. | Logstore: A workload-aware, adaptable key-value store on hybrid storage systems | |
US20220092049A1 (en) | Workload-driven database reorganization | |
Gu et al. | Adaptive cache policy scheduling for big data applications on distributed tiered storage system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190311 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200312 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20200923 |