JP2018005446A - 情報処理装置、ストレージ制御プログラム、及びストレージ制御方法 - Google Patents

情報処理装置、ストレージ制御プログラム、及びストレージ制御方法 Download PDF

Info

Publication number
JP2018005446A
JP2018005446A JP2016129707A JP2016129707A JP2018005446A JP 2018005446 A JP2018005446 A JP 2018005446A JP 2016129707 A JP2016129707 A JP 2016129707A JP 2016129707 A JP2016129707 A JP 2016129707A JP 2018005446 A JP2018005446 A JP 2018005446A
Authority
JP
Japan
Prior art keywords
file
access
storage medium
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2016129707A
Other languages
English (en)
Inventor
達史 高村
Tatsushi Takamura
達史 高村
剛 橋本
Takeshi Hashimoto
剛 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016129707A priority Critical patent/JP2018005446A/ja
Priority to US15/496,669 priority patent/US20180004441A1/en
Publication of JP2018005446A publication Critical patent/JP2018005446A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0605Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0643Management of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • G06F3/0649Lifecycle management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0685Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】ファイルへのアクセスを簡易に予測可能にする。
【解決手段】ストレージ装置30A,30Bにおけるファイル及び同ファイルに対するアクセスを管理するファイル管理部40と、ストレージ装置30A,30Bにおける第1記憶媒体31と同第1記憶媒体31とは異なる性能の第2記憶装媒体32との間でファイルの移動を制御するストレージ制御部50と、を有する。ファイル管理部40は、前記ファイルに対する前記アクセスの履歴に基づいて、前記ファイルの中から、第2記憶媒体32から第1記憶媒体31への移動対象ファイルを決定し、ストレージ制御部50は、決定した移動対象ファイルを第2記憶媒体32から第1記憶媒体31へ移動させる。
【選択図】図1

Description

本発明は、情報処理装置、ストレージ制御プログラム、及びストレージ制御方法に関する。
階層的記憶管理(Hierarchical Storage Management;以下、HSMという)は、ファイルを、その使用頻度に応じ、相対的に低速/大容量/安価な二次記憶媒体の集合と相対的に高速/小容量/高価な一次記憶媒体の集合とのうちのどちらかに配置する技術である。このようにファイルを配置する媒体を使用頻度(アクセス頻度)に応じて変更することで、記憶媒体維持費用あたりのシステム性能を最大化することが可能である。
典型的なHSMの実装では、例えば、以下の契機[a1]及び[a2]で、性能の異なる二種類の記憶媒体間におけるデータブロック(ファイル)の移動が行なわれる。ここで、二種類の記憶媒体の一方は、上記一次記憶媒体で、例えばSCM(Storage Class Memory),SSD(Solid State Drive)である。また、二種類の記憶媒体の他方は、上記二次記憶媒体で、例えばHDD(Hard Disk Drive)である。
[a1] 二次記憶媒体上のデータブロックに対するアクセス要求があれば、以後のアクセスを高速化すべく、当該データが二次記憶媒体から一次記憶媒体に移される。
[a2] 一次記憶媒体上のデータブロックであってアクセス要求が所定時間以上ないデータブロックが、一次記憶媒体から二次記憶媒体に移される。もしくは、一次記憶媒体の空き容量が所定閾値以下になった時にアクセス要求のない時間の長いデータブロックから順に、当該データブロックが一次記憶媒体から二次記憶媒体に移される。なお、上記二つのタイミングの両方で一次記憶媒体から二次記憶媒体へのデータブロックの移動が行なわれてもよい。
特開2005−157711号公報 特開2006−260067号公報 特開2015−141545号公報 特開2008−41020号公報
ところで、典型的なHSM技術では、所定時間幅の過去から現在までの間におけるファイルへのアクセス状況に基づいて、媒体間のファイル移動が制御される。このため、「しばらくアクセスされていないファイル」の先読みを実現することは困難であり、「しばらくアクセスされていないファイル」に対するアクセスを行なう際には、低速の二次記憶媒体から高速の一次記憶媒体へのデータ移動に伴う遅延の発生は避け難い。
すなわち、図10に示すように、二次記憶媒体上のファイルに対するアクセス要求を受けたことを契機として対象ファイルを一次記憶媒体に移す転送処理を開始するオンデマンド制御では、その転送処理が完了するまで、計算処理について比較的長い待ち時間が発生する。よって、オンデマンド制御の性能限界を超えるには、所定期間以上アクセスのないファイルへのアクセスを予測して記憶媒体間でファイル移動を行なう必要がある。
しかし、ファイルへのアクセスを予測してファイルの先読みを行なう既存技術(特許文献1〜4参照)では、ファイル毎の明確なスケジュールや、ファイルアクセス特性に関する精密な情報や、プログラムの動作タイミングなどの詳細情報が予め取得されていることが前提である。このため、特に詳細情報の取得に、ひいてはファイルへのアクセスの予測に手間がかかる。したがって、HSM技術において、上述のような詳細情報を所与とすることなく、ファイルへのアクセスを簡易に予測可能にすることが課題になっている。
一つの側面では、本件明細書に開示の発明は、ファイルへのアクセスを簡易に予測可能にすることを目的とする。
本件の情報処理装置は、ファイル管理部及びストレージ制御部を有する。前記ファイル管理部は、ストレージ装置におけるファイル及び前記ファイルに対するアクセスを管理する。前記ストレージ制御部は、前記ストレージ装置における第1記憶媒体と前記第1記憶媒体とは異なる性能の第2記憶装媒体との間で前記ファイルの移動を制御する。そして、前記ファイル管理部は、前記ファイルに対する前記アクセスの履歴に基づいて、前記ファイルの中から、前記第2記憶媒体から前記第1記憶媒体への移動対象ファイルを決定する。また、前記ストレージ制御部は、前記移動対象ファイルを前記第2記憶媒体から前記第1記憶媒体へ移動させる。
ファイルへのアクセスを簡易に予測することができる。
本実施形態の情報処理装置のハードウエア構成例を示すブロック図である。 本実施形態の情報処理装置の機能構成例を示すブロック図である。 本実施形態の情報処理装置におけるアクセス履歴の収集蓄積動作を説明するフローチャートである。 本実施形態の情報処理装置におけるファイル管理動作及びストレージ制御動作を説明するフローチャートである。 アクセス履歴として蓄積される本実施形態のファイルアクセス履歴ログファイルのレコードの定義例を示す図である。 本実施形態のアクセス状況データベースの作成手法を説明する図である。 本実施形態のアクセス状況データベースの作成動作を説明するフローチャートである。 本実施形態のアクセス確率算出の際に想定される制御文の一例を示す図である。 本実施形態のアクセス確率算出の際に想定される制御文の他例を示す図である。 既存技術において生じる、計算処理の待ち時間を説明する図である。 本実施形態において生じる、計算処理の待ち時間を説明する図である。
以下に、図面を参照し、本願の開示する情報処理装置、ストレージ制御プログラム、及びストレージ制御方法の実施形態について、詳細に説明する。ただし、以下に示す実施形態は、あくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能を含むことができる。そして、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
なお、以下の説明で用いる図面において、同一符号を付した部分は、特に断らない限り、同一もしくは同様の部分を表わす。
〔1〕本実施形態の情報処理装置のハードウエア構成
まず、図1を参照しながら、本実施形態の情報処理装置100のハードウエア構成について説明する。図1は、本実施形態の情報処理装置100のハードウエア構成例を示すブロック図である。
図1に示すように、本実施形態の情報処理装置100は、LAN(Local Area Network)等のネットワーク20を介して端末(クライアント)10からアクセス要求を受け、当該アクセス要求に応じたストレージ装置30A,30Bに対するアクセス制御を行なう。アクセス要求は、ストレージ装置30A,30Bへの書込み要求やストレージ装置30A,30Bからの読出し要求などの入出力(I/O)要求である。端末10は、ストレージ装置30A,30Bを利用するPC(Personal Computer)等のコンピュータである。
ストレージ装置30Aおよび30Bは、HSM技術を適用され、端末10のアクセス対象であるファイルを保存する階層化ストレージであり、それぞれ、性能の異なる二種類の記憶媒体31及び32を含む。記憶媒体31は、相対的に高速/小容量/高価な一次記憶媒体であり、例えばSSDである。記憶媒体32は、相対的に低速/大容量/安価な二次記憶媒体であり、例えばHDDである。一次記憶媒体は、第1記憶媒体に相当し、二次記憶媒体は、第2記憶媒体に相当する。
なお、図1に示す例では、二つのストレージ装置30Aおよび30Bが備えられているが、三以上のストレージ装置が備えられてもよい。また、ストレージ装置30Aには、一つの一次記憶媒体31が備えられているが、二以上の一次記憶媒体31が備えられてもよい。同様に、ストレージ装置30Bには、一つの二次記憶媒体32が備えられているが、二以上の二次記憶媒体32が備えられてもよい。
情報処理装置100は、メタデータサーバ40及びデータサーバ50を含む。メタデータサーバ40及びデータサーバ50は、それぞれ、PC等のコンピュータである。
メタデータサーバ40は、ストレージ装置30A,30Bにおけるファイル及び当該ファイルに対するアクセスを管理するファイル管理部(ファイル管理側)に相当し、ファイルの属性やアクセス情報などの管理を行なう。メタデータサーバ40は、少なくとも処理部41及び記憶部42を含み、記憶部42に保存されるプログラムを処理部41が実行することで、前記ファイル管理部としての機能を果たす。処理部41は第1処理部に相当する。
データサーバ50は、一次記憶媒体31と二次記憶装媒体32との間で前記ファイルの移動を制御するストレージ制御部(ストレージ制御側)に相当し、ファイルの実データの制御を行なう。データサーバ50は、少なくとも処理部51及び記憶部52を含み、記憶部52に保存されるプログラムを処理部51が実行することで、データサーバ50は、前記ファイル管理部としての機能を果たす。処理部51は、第2処理部に相当する。
なお、本実施形態では、ファイル管理部としての機能とストレージ制御部としての機能とは、それぞれ別個のサーバ40,50における処理部41,51によって実現される。しかし、ファイル管理部としての機能とストレージ制御部としての機能とは、一のサーバにおける一の処理部によって実現することも可能である。
処理部41,51は、それぞれ、サーバ40,50の全体を制御する。処理部41,51は、単一のプロセッサであってもよいし、マルチプロセッサであってもよい。また、処理部41,51は、例えば、CPU(Central Processing Unit),MPU(Micro Processing Unit),DSP(Digital Signal Processor),ASIC(Application Specific Integrated Circuit),PLD(Programmable Logic Device),FPGA(Field Programmable Gate Array)のいずれか一つであってもよい。また、処理部41,51は、CPU,MPU,DSP,ASIC,PLD,FPGAのうちの2種類以上の要素の組み合わせであってもよい。
記憶部42は、処理部41によるファイル管理処理に必要な各種データを格納する。当該各種データとしては、例えば、図2を参照しながら後述するアクセス履歴421やアクセス状況データベース422が含まれるほか、プログラムなどが含まれる。プログラムとしては、処理部41に実行させるOS(Operating System)プログラムやアプリケーションプログラムが含まれてもよい。アプリケーションプログラムには、ファイル管理プログラムを含むストレージ制御プログラム(図示略)が含まれてもよい。記憶部42としては、RAM(Random Access Memory)やHDDが用いられてもよいし、フラッシュメモリ等の半導体記憶装置(SSD)が用いられてもよい。
同様に、記憶部52は、処理部51によるストレージ制御処理に必要な各種データを格納する。当該各種データとしては、例えば、処理部51に実行させるOSプログラムやアプリケーションプログラムが含まれる。アプリケーションプログラムには、ストレージ制御プログラム(図示略)が含まれてもよい。記憶部52としては、RAMやHDDが用いられてもよいし、フラッシュメモリ等の半導体記憶装置(SSD)が用いられてもよい。
処理部41,51に実行させるプログラムは、光ディスク,メモリ装置,メモリカード等の非一時的な可搬型記録媒体に記録されてもよい。非一時的な可搬型記録媒体に格納されたプログラムは、例えば処理部41,51からの制御により、記憶部42,52にインストールされた後、実行可能になる。また、処理部41,51が、非一時的な可搬型記録媒体から直接プログラムを読み出して実行することもできる。
ここで、光ディスクは、光の反射によって読み取り可能にデータを記録された可搬型の非一時的な記録媒体である。光ディスクとしては、Blu−ray(登録商標),DVD(Digital Versatile Disc),DVD−RAM,CD−ROM(Compact Disc Read Only Memory),CD−R(Recordable)/RW(ReWritable)等が挙げられる。メモリ装置は、機器接続インタフェース(図示略)との通信機能を搭載した非一時的な記録媒体、例えばUSB(Universal Serial Bus)メモリである。メモリカードは、メモリリーダライタ(図示略)を介し処理部41,51に接続されてデータの書込/読出対象になる、カード型の非一時的な記録媒体である。
〔2〕本実施形態の情報処理装置の機能構成
次に、図1及び図2を参照しながら、本実施形態の情報処理装置100の機能構成について説明する。図2は、本実施形態の情報処理装置100の機能構成例を示すブロック図である。
メタデータサーバ40の処理部41は、ファイルに対するアクセスの履歴421に基づいて、ファイルの中から、二次記憶媒体32から一次記憶媒体31への移動対象ファイルを決定する機能を果たす。このため、処理部41は、記憶部42におけるストレージ制御プログラムを実行することにより、以下に説明する、メタデータ制御部411、アクセス状況データベース作成部412、アクセス予測部413、及び移動対象ファイル決定部414としての機能を果たす。
データサーバ50の処理部51は、移動対象ファイルを二次記憶媒体32から一次記憶媒体31へ移動させる機能を果たす。このため、処理部51は、記憶部52におけるストレージ制御プログラムを実行することにより、以下に説明するファイル移動制御部511としての機能を果たす。
メタデータ制御部411は、各ファイルに対するアクセスの状況をアクセス履歴421として収集する収集部に相当する。つまり、メタデータ制御部411は、クライアント10からのファイル操作(アクセス要求)を受け付け、ファイル属性等に関する情報をアクセス履歴421として記憶部42に保存する。アクセス履歴421は、例えば図5を参照しながら後述するファイルアクセス履歴ログファイルを蓄積したものである。
アクセス状況データベース作成部412は、アクセス履歴421に基づいて、一アクセス状況と当該一アクセス状況が所定時間t1内に到達する他アクセス状況とを対応付けるアクセス状況データベース422を作成する作成部に相当する。
アクセス予測部413は、ファイルに対する最新アクセスを受けると、当該最新アクセスの状況によってアクセス状況データベース422を検索して得られる他アクセス状況を、当該最新アクセスの状況が所定時間t1内に到達しうる予測状況として取得する予測部に相当する。つまり、アクセス予測部413は、メタデータサーバ40が最新アクセスを受け付けると、後述するごとく、アクセス状況データベース422を基に、最新アクセスの受付後、所定時間t1以内にアクセスされる可能性が高いファイル群(移動対象ファイルの候補)を抽出する。
移動対象ファイル決定部414は、アクセス予測部413によって取得された予測状況に基づいて移動対象ファイルを決定する決定部に相当する。つまり、移動対象ファイル決定部414は、アクセス予測部413で抽出されたファイル群(移動対象ファイルの候補)の中から、移動対象ファイルを決定する。
ファイル移動制御部511は、移動対象ファイル決定部414によって決定された移動対象ファイルを、二次記憶媒体32から一次記憶媒体31へ移動させる。
ここで、アクセス状況データベース422における上述した一アクセス状況は、当該一アクセス状況においてアクセス対象の一ファイルを特定する第1ファイル情報を含んでいてもよい。また、アクセス状況データベース422における上述した他アクセス状況は、当該他アクセス状況においてアクセス対象の他ファイルを特定する第2ファイル情報と、当該一ファイルにアクセスした後に所定時間t1内に当該他ファイルにアクセスする確率と、を含んでいてもよい。また、第1ファイル情報や第2ファイル情報は、ファイル名,ファイル属性,利用者属性,拡張子情報,ディレクトリ情報,ノード情報等を含んでいてもよい。
このとき、アクセス予測部413は、最新アクセスのアクセス対象ファイルを特定する最新ファイル情報によってアクセス状況データベース422の第1ファイル情報を検索する。これにより、アクセス予測部413は、最新ファイル情報と一致する第1ファイル情報に対応付けられた第2ファイル情報及び確率を前記予測状況として取得する。そして、アクセス予測部413は、取得した第2ファイル情報及び確率について、当該確率が第1閾値以上である場合、当該第2ファイル情報によって特定されるファイルを、移動対象ファイルの候補として予測する。
移動対象ファイル決定部414は、アクセス予測部413によって予測された候補の中から移動対象ファイルを決定する。このとき、移動対象ファイル決定部414は、ストレージ装置30A,30B(階層化ストレージ)におけるファイルアクセス性能の改善度合いに基づいて、前記候補の中から前記移動対象ファイルを決定する。ここで、ストレージ装置30A,30Bにおけるファイルアクセス性能の改善度合いは、移動対象ファイルの候補を二次記憶媒体32から一次記憶媒体31へ移動しない場合に対する、前記候補を二次記憶媒体32から一次記憶媒体31へ移動した場合の、改善度合いである。改善度合いの具体例については後述するが、移動対象ファイル決定部414は、前記候補についての改善度合いを定量的に評価する効用関数によって算出してよい。そして、移動対象ファイル決定部414は、前記効用関数によって算出される改善度合いが第2閾値以上である候補を、移動対象ファイルとして決定してもよい。
なお、本実施形態においても、ファイル移動制御部511は、上述した契機[a2]で、ファイルを一次記憶媒体31から二次記憶媒体32に移動させてもよいが、本実施形態においては、以下のような契機で、ファイルを一次記憶媒体31から二次記憶媒体32に移動させてもよい。
つまり、ファイル管理部40(処理部41)は、一次記憶媒体31における各ファイルについて、アクセス状況データベース422に蓄積される情報に基づいて、各ファイルがアクセスされない確率を算出する。そして、ファイル管理部40(処理部41)は、算出したアクセスされない確率が第3閾値以上であるファイルを、書戻し対象ファイルとして決定する。ストレージ制御部50(処理部51のファイル移動制御部511)は、ファイル管理部40によって決定された書戻し対象ファイルを、一次記憶媒体31から二次記憶媒体32へ書き戻す。
〔3〕本実施形態の情報処理装置の動作
〔3−1〕本実施形態の情報処理装置の概要
本実施形態では、現時刻から所定時間t1経過後の未来のファイルのアクセス状況(使用状況;予測状況に相当)について、以下の入力データ[b1]及び[b2]に基づく予測が行なわれる。そして、当該予測の結果に基づいて、性能(例えばアクセス速度や容量)の異なる複数種類の記憶媒体ヘのファイル配置が、システム全体のファイルアクセスのスループットについて最適化される。
[b1] 現時刻よりも所定時間t2以前の過去から現時刻までの、「個々の利用者、プログラム、及びファイル属性」ないし「複数の利用者、プログラム、及びファイル属性のまとまり」毎に分類された「直近のファイルアクセス状況履歴」。「直近のファイルアクセス状況履歴」は、図5を参照しながら後述するファイルアクセス履歴ログファイルに相当し、メタデータ制御部411によって収集される。
[b2] 上記[b1]の「直近のファイルアクセス状況履歴」を蓄積して得られるアクセス履歴421を基に作成された「データベース化されたファイルアクセス状況履歴」。「データベース化されたファイルアクセス状況履歴」は、アクセス状況データベース作成部412によって作成されるアクセス状況データベース422に相当する。「データベース化されたファイルアクセス状況履歴」は、「所定時間t2に亘る期間内における各ファイルアクセス状況と、各ファイルアクセス状況から所定時間t1経過後のファイルアクセス状況との対」からなる。「所定時間t2に亘る期間内における各ファイルアクセス状況」は、上述した一アクセス状況に相当する。また、「各アクセス状況から所定時間t1経過後のファイルアクセス状況」は、上述した他アクセス状況に相当する。
ここで、所定時間t1は、例えば、数分程度のオーダの時間である。また、所定時間t2は、所定時間t1よりも十分に大きい、学習期間に相当する時間であり、例えば、数時間程度のオーダの時間である。
本実施形態では、5つのコンポーネント、即ち上述したメタデータ制御部411、アクセス状況データベース作成部412、アクセス予測部413、移動対象ファイル決定部414、及びファイル移動制御部511を含む階層化ファイルシステムが構築される。
メタデータ制御部(収集部)411は、最新アクセスを受ける都度、最新アクセスの状況を、上記[b1]の「直近のファイルアクセス状況履歴」として収集して蓄積し、アクセス履歴421を取得する。
アクセス状況データベース作成部(作成部)412は、メタデータ制御部411によって取得されたアクセス履歴421を基に、「データベース化されたファイルアクセス状況履歴」(上記[b2]参照)を、アクセス状況データベース422として作成する。
アクセス予測部(予測部)413は、作成部412によって作成された「データベース化されたファイルアクセス状況履歴」と、メタデータ制御部411によって収集される「直近のファイルアクセス状況履歴」つまり最新アクセスの状況とを入力として、「現時刻から所定時間t1経過後(または所定時間t1内)のファイルアクセス状況」を予測する。つまり、アクセス予測部413は、アクセス状況データベース422に基づいて、最新アクセスの受付後、所定時間t1以内にアクセスされる可能性が高いファイル群(移動対象ファイルの候補)を抽出する。
移動対象ファイル決定部(決定部)414は、アクセス予測部413による予測結果(移動対象ファイルの候補)に基づき、あるファイルを記憶媒体間で移動する場合と移動しない場合との各々についての「効用」(得失)を、効用関数によって数値化する。「効用」(得失)は、上述した改善度合いに相当する。そして、移動対象ファイル決定部414は、前記効用関数によって算出される改善度合いが第2閾値以上である候補を、移動対象ファイルとして決定する。
つまり、本実施形態では、アクセス対象のファイルないし、属性により分類されたファイルの集合に対し、先読みを行なうことで得られる効用が、効用関数(先読み効用関数)によって計算される。そして、事前に定められる「効用関数値による記憶媒体間ファイル移動の判定基準」(上記第2閾値)に従って、先読みするか否かが判定される。
ファイル移動制御部511は、決定部414によって決定された移動対象ファイルを、二次記憶媒体32から一次記憶媒体31へ移動させる。これにより、ストレージ装置30A,30Bにおける各ファイルの各記憶媒体への配置は、システム全体として効用が大きくなる方向に変更され最適化される。
本実施形態によれば、事前に定められた明確なスケジュールなどの詳細情報がなくても、一般的なアクセス履歴を用いてファイルへのアクセスを簡易に予測することができる。これにより、図11に示すように、予測したファイルを、事前に二次記憶媒体32から一次記憶媒体31に先読みすることができ、図10に示す例に比較して、計算処理の待ち時間を減らすことができる。つまり、階層化ストレージ上で待ち時間を最小限に抑えてファイルアクセスを行なうことが可能になる。
したがって、システム内の個々のファイルアクセスやプログラムの実行について、事前に定められた明確なスケジュールがない場合にも、オンデマンド方式でファイル移動を行った場合(図10参照)に比べ、ファイルアクセスのスループットを改善することができる。
なお、図10は、既存技術において生じる、計算処理の待ち時間を説明する図である。図11は、本実施形態において生じる、計算処理の待ち時間を説明する図である。
〔3−2〕アクセス履歴の収集動作
次に、図3に示すフローチャート(ステップS11,S12)に従って、本実施形態の情報処理装置100におけるアクセス履歴421の収集蓄積動作について説明する。
メタデータ制御部411は、ファイルアクセスを受ける都度(ステップS11)、当該ファイルアクセスの状況を収集して蓄積し、アクセス履歴421を取得する(ステップS12)。
ここで、取得されるアクセス履歴421は、ファイルアクセス履歴ログファイル(図5参照)に相当する「直近のファイルアクセス状況履歴」を、上記[b1]で説明した通り、現時刻よりも所定時間t2以前の過去から現時刻までの期間に亘って蓄積したものである。
〔3−3〕ファイル管理動作及びストレージ制御動作
次に、図4に示すフローチャート(ステップS21〜S27)に従って、本実施形態の情報処理装置100におけるファイル管理動作及びストレージ制御動作について説明する。なお、図4において、ステップS21〜S26は、メタデータサーバ40(ファイル管理側)での処理であり、ステップS27は、データサーバ50(ストレージ制御側)での処理である。
アクセス状況データベース作成部412は、ファイルアクセスを受ける都度(ステップS21)、蓄積されたアクセス履歴421に基づき、「データベース化されたファイルアクセス状況履歴」(上記[b2]参照)をアクセス状況データベース422として作成する(ステップS22)。
そして、アクセス予測部413は、作成部412によって作成されたアクセス状況データベース422と、メタデータ制御部411によって収集される最新アクセスの状況とを入力として、「現時刻から所定時間t1経過後のファイルアクセス状況」を予測する。つまり、アクセス予測部413は、アクセス状況データベース422から情報を取得し(ステップS23)、当該情報に基づき、最新アクセスの受付後、所定時間t1以内にアクセスされる可能性が高いファイル群、つまり移動対象ファイルの候補を選出する(ステップS24)。
この後、移動対象ファイル決定部414は、選出された移動対象ファイルの候補に基づき、ある候補を記憶媒体間で移動する場合と移動しない場合との各々についての効用(改善度合い)を、効用関数によって算出する(ステップS25)。算出された改善度合いが第2閾値以上の候補がない場合(ステップS26のNOルート)、移動対象ファイル決定部414は、ファイル移動を行なうことなく処理を終了する。
一方、算出された改善度合いが第2閾値以上の候補がある場合、移動対象ファイル決定部414は、改善度合いが第2閾値以上の候補を移動対象ファイルとして決定する(ステップS26のYESルート)。そして、移動対象ファイル決定部414は、ファイル移動制御部511によって、決定された移動対象ファイルを、二次記憶媒体32から一次記憶媒体31へ移動させる(ステップS27)。
〔3−4〕本実施形態の詳細な動作例
次に、図5〜図9を参照しながら、本実施形態の詳細な動作例について説明する。
以下に説明する詳細な動作例においては、ファイルアクセス状況の予測および記憶媒体間のファイル移動の効用の計算を、以下の項目[c1]及び[c2]の通り、「条件付確率」に基づいて行なう。
[c1] 「直近のファイルアクセス状況履歴」を基に、例えば、現時刻よりも所定時間t2以前の過去から現時刻までのファイルアクセス状況(例えば回数)と、現時刻から所定時間t1経過後のファイルアクセス状況(例えば回数)との組合せを保存するデータベース422が作成される。ここで、「直近のファイルアクセス状況履歴」(図5のファイルアクセス履歴ログファイル参照)は、各利用者ないし利用者グループによる各ファイルないしファイル集合ヘのアクセスタイミングと、所属フォルダや拡張子を含めた複数のファイル属性の組み合わせと、を含む。上記アクセスタイミングは、例えば、ファイルをオープンしてからクローズするまでの時刻ないし時間帯である。本実施形態では、各ファイルのファイルオープン情報(アクセス時刻)がデータベース422に蓄積され、当該データベース422に基づき、「現時刻から所定時間t1経過後のファイルアクセス状況」の様々な場合に対し、各々の場合が生じる「条件付確率」が求められる。
[c2] 「現時刻のファイルアクセス状況」と上記[c1]で推定された「現時刻から所定時間t1経過後のファイルアクセス状況」との差分に基づいて、ファイル移動の「効用」(改善度合い)が効用関数によって算出される。そして、システム全体について「効用」(総和や全ての積)が大きくなる場合に限り、記憶媒体間のファイル移動(二次記憶媒体32から一次記憶媒体31へのファイル移動)が行なわれる。
以下、本実施形態の詳細な動作例について、より具体的に説明する。
ファイルおよび利用者の属性に基づいて分類されたファイルアクセス履歴ログファイル(図5参照)に基づき、ファイルと関連のある属性に基づいたファイルアクセス状況による所定時間t1内のファイルアクセス状況を保存するデータベース422が作成される。
ここで、図5は、アクセス履歴421として蓄積される、本実施形態のファイルアクセス履歴ログファイルのレコードの定義例を示す図である。図5に示すファイルアクセス履歴ログファイルには、「ファイル名」、「ファイル属性」、「利用者属性」、「最初のアクセス時刻」、及び「最後のアクセス時刻」が含まれる。
「ファイル名」は、アクセスされたファイル(アクセス対象ファイル)の名前(rec.file)であり、例えば、/mnt/aである。
「ファイル属性」は、該当ファイル(アクセス対象ファイル)に関する属性であり、パーミッション,uid/gid,サイズ,更新時間などを含み、例えば、-rw-r--r--, root:root, 09:00 2016である。
「利用者属性」は、該当ファイル(アクセス対象ファイル)にアクセスした利用者の属性であり、ユーザ名や、アクセスしたノードなどに関する情報を含み、例えば、root, rx200-004である。
「最初のアクセス時刻」は、ログファイル内のレコード中の最初(早い方)のアクセス時刻(rec.mintime)である。
「最後のアクセス時刻」は、ログファイル内のレコード中の最後(遅い方)のアクセス時刻(rec.maxtime)である。あるログファイルに対し最初にアクセスする際、「最初のアクセス時刻」(rec.mintime)と「最後のアクセス時刻」(rec.maxtime)とには、同じアクセス時刻(rec.mintime)が記録される。そして、以後のアクセスに際しては、「最後のアクセス時刻」(rec.maxtime)のみが更新される。
このとき、アクセス状況データベース422の作成手法は、以下のようになる。ここでは、図6〜図9を参照しながら、アクセス状況データベース422の作成手法について説明する。なお、図6は、本実施形態のアクセス状況データベース422の作成手法を説明する図である。図7は、本実施形態のアクセス状況データベース422の作成動作を説明するフローチャートである。図8及び図9は、それぞれ、本実施形態のアクセス確率算出の際に想定される制御文の一例及び他例を示す図である。
以下では、処理時間t1は、所定時間t2よりも十分に短いとする。また、ファイルアクセス状況履歴のログファイルは、所定時間t1よりも短い時間(例えばt1/2)毎に新たに作成され、順次、切り替えられるものとする。各ログファイルは、図5に示す形式のレコードからなり、一つのファイルに対応するエントリは、各ログファイル内に一つだけとする。各ログファイルにおける「アクセス時刻」は、例えば、ファイルがオープンされた時刻、ファイルへのread/write があった時刻、ないしそれらのいずれかがあった時刻として定義される。
例えば、図7に示すフローチャートに従って説明するデータベース422の作成動作では、所定時間t1の半分の時間t1/2毎にログファイル(レコード)が切り替えられるものとする。このため、ここで説明する詳細な動作例では、図6に示すように、複数(図6中、L個)のレコードacclog(1), acclog(2), acclog(3), …, acclog(L)が、時間帯毎に生成されるものとする。
即ち、本実施形態では、一ファイルにつき、図5に示すごとく定義される一つのレコードが作成される。そして、図6に示すように、acclog(1), acclog(2), acclog(3), …, acclog(L)という複数のログファイルに分けて所定時間t2に亘る過去の期間のファイルアクセス状況履歴が保持される。このような記録形式には、ログファイルの大きさを抑えやすいという利点がある。
なお、図7に示すフローチャートや、図8及び図9に示す制御文の説明で使用される、上述したログレコード以外の変数等の意味は、以下の通りである。
lfnarr[]: 使用するログファイルの識別子を格納する配列
M: 使用するログファイルの総数(例えば2)
m: 使用するログファイルのカウンタ変数
S[file]: 指定したファイルに対応する総アクセス数の連想配列。データが格納されていない(ファイルに対応する)要素は「アクセスなし」の意味になる。
R[file1, file2]: file1(一ファイル)にアクセスしてから所定時間t1以内にfile2(他ファイル)がアクセスされた回数の連想配列。データが格納されていない(ファイルの組に対応する)要素は「アクセスなし」の意味になる。
Prob[file1, file2]: file1(一ファイル)にアクセスしてから所定時間t1以内にfile2(他ファイル)がアクセスされた確率の連想配列。データが格納されていない(ファイルの組に対応する)要素は、確率0として扱う。
なお、「連想配列」は、「全ての格納済要素を順次取得する」操作が可能なデータ型であり、awk, perl, pythonなどの多くのプログラム言語で使用可能である。システム内の全てのファイルの組の中で、「あるファイルへのアクセスから所定時間t1以内に、別のファイルにアクセスがある」という組は非常に少ないため、記憶領域の使用効率の観点から「ログに出現する組だけを記録する」目的で「連想配列」が使用される。
ここで、logfileは、図5に示すごとく定義される、ファイルアクセス履歴ログファイルであり、exclude_fileはファイル名であり、rec1及びrec2は、それぞれファイルアクセス履歴ログファイルのレコードである。また、file*は、プログラムの関数の説明のために一般化した変数(ファイル名)で、rec*.fileはレコードの要素のファイル名である。
以下の関数については、多くのプログラム言語の標準的な機能で容易に実現可能なことが明白であるので、その実現方法の説明は省略し、ここでは機能のみについて説明する。
getlogrec(logfile): ログファイルから「次のアクセスレコード」を取得する。ただし、ファイルの最後に到達すると終了コードを返す。
getlogrecex(logfile, exclude_file): ログファイルから、exclude_file 以外のファイルへの次のアクセスレコードを取得する。ただし、ファイルの最後に到達すると終了コードを返す。
calcprob(R, S): 連想配列R内の全ての格納済要素に対し、確率を次式で計算する。
Prob[file1, file2] = R[file1, file2] / S[file1]
ここで、calcprob(R, S)への入力となる連想配列R,Sを用意するまでの処理がポイントになる。疑似コードでは、例えば、図8に示すような処理をしていると考えてよい。ここでは、集合をデータとして扱える仮想的な言語を想定していて、∪は和集合を意味する。なお、next;は、同じレコードrec2を重複して計数しないようにするという意味の制御文を想定している。
ここで、図7に示すフローチャート(ステップS31〜S42)に従って、図8に示す制御文に対応付けながら、アクセス状況データベース422の作成動作について、簡単に説明する。
まず、lfnarrに使用するログファイル全ての識別子が格納され(ステップS31)、カウンタ変数mが配列の最初の番号0に設定される(ステップS32)。この後、mが1増やされ(ステップS33)、m≦Mであるか否かが判定される(ステップS34)。m≦Mでない場合つまりm>Mである場合(ステップS34のNOルート)、処理はステップS42へ移行する。ステップS42では、calcprob(R, S)により、連想配列R内の全ての格納済要素に対し、確率Prob[file1, file2] = R[file1, file2] / S[file1]が算出される。当該確率は、一ファイルfile1にアクセスした後に所定時間t1以内に他ファイルfile2にアクセスする確率に相当する。
一方、m≦Mである場合(ステップS34のYESルート)、acclog(m)のレコードが取得される(ステップS35)。図8に示す“forall(rec1 in acclog(m)){”は、図7のステップS35の処理rec1 = getlogrec(lfnarr[m])に対応する。
有効なレコードrec1を取得できない場合(ステップS36のNOルート)、処理はステップS33に移行する。一方、有効なレコードrec1を取得できる場合(ステップS36のYESルート)、連想配列S[rec1.file]が1増やされる(ステップS37)。図8に示す“S[rec1.file]++”は、図7のステップS37の処理に対応する。つまり、rec1.fileという名前のファイルがアクセスされた回数を増加させる。
この後、図8に示す“rec2 in (acclog(m) ∪ acclog(m+1) ∪acclog(m+2))”は、図7のステップS38の処理rec2=(getlogrecex(lfnarr[m],rec1)∪getlogrecex(lfnarr[m+1],rec1)∪getlogrecex(lfnarr[m+2],rec1))に対応する。この例では、所定時間t1の半分の時間t1/2毎にログファイルを切り替えているので、ステップS35で取得されたレコードrec1のファイルがアクセスされてから所定時間t1以内にアクセスされた可能性のあるファイルのレコード群が取得される。
そして、終了コードではない有効なレコードrec2を取得できない場合(ステップS39のNOルート)、処理はステップS35に移行する。一方、終了コードではない有効なレコードrec2を取得できる場合(ステップS39のYESルート)、rec2.mintime < rec1.maxtime + t1の判定が行なわれる(ステップS40)。図8に示す“if(rec2.mintime < rec1.maxtime + t1)”は、図7のステップS39における上記判定に対応する。rec2.mintime < rec1.maxtime + t1でない場合(ステップS40のNOルート)、処理はステップS38に移行する。
一方、rec2.mintime < rec1.maxtime + t1である場合(ステップS40のYESルート)、連想配列R[rec1.file,rec2.file]を1増やすことで(ステップS41)、実際に所定時間t1以内にアクセスされたファイルのアクセス回数を1増加させた後、処理はステップS38に移行する。図8に示す“R[rec1.file,rec2.file]++”は、図7のステップS41の処理に対応する。
さて、本実施形態において、t1という時間は、いわば「あるファイルへのアクセスがあった後に『それほど長く経過することなく』別のファイルへのアクセスが発生する」という判定での「目安」を意味している。このため、制御上、「所定時間t1以内である」ことを厳密に判定する必要はないことに留意すると、上述した「時間帯毎に生成されるログファイル」のレコードから時刻をなくして記録データ量を削減することも可能である。以下、この点について補足的に説明する。
図7に示すフローチャートでは、配列lfnarr[m], lfnarr[m+1], lfnarr[m+2]にそれぞれacclog(m), acclog(m+1),acclog(m+2) の識別子が格納されている。しかし、配列lfnarr[m]内のファイルと配列lfnarr[m+2]内のファイルとの対についての関係を調べるとき以外では、rec.mintimeやrec.maxtimeは使用されない。配列lfnarr[m]内のファイルと配列lfnarr[m+2]内のファイルとの対の時にrec.mintimeやrec.maxtime を使用する理由は、厳密に所定時間t1以内であることを判定するためだけである。このため、所定時間t1について1.5倍までの誤差を許容できる場合には、rec.mintimeやrec.maxtimeを使用する必要はなく、これらを記録する必要もない。従って、図9に示すように、図8に示す制御文からif文を削除することができ、処理時間を短縮することができる。
なお、上述した例では、所定時間t1の半分の時間t1/2毎にログファイルを切り替える場合について説明したが、本発明はこれに限定されるものでない。例えば、所定時間t1のk(kは3以上の整数)分の一の時間t1/k毎にログファイルを切り替えるようにすれば、アクセス予測の誤差等をより小さくすることができる。
上述した例では、ファイル識別子が同じファイルについてのデータベース作成手順について説明しているが、その他にも、ファイルと関連のある属性として、以下の属性を想定することができる。
・ディレクトリ(同一ディレクトリあるいは親ディレクトリを共有するディレクトリ)
・ユーザ(同一ユーザ、同一グループ)
・プログラム関係(拡張子が共通のファイル)
・ノード(アクセスされたノード)
また、上述した例では、一ファイルにアクセスした後に所定時間t1以内に他ファイルにアクセスする確率が、条件付き確率に基づいて推定される。複数の条件を組み合わせた場合の確率については、ベイズの定理により条件付確率の定義通りに計算するか、もしくは、計算を簡略化するため組合せ条件に関わる事象がすべて独立とみなすナイーブベイズ法による推定が用いられる。ナイーブベイズ法については、具体的な第2動作例において説明する。
〔4〕具体的な動作例
〔4−1〕第1動作例
本実施形態の情報処理装置100についての具体的な第1動作例を説明する。
第1動作例では、ファイルアクセス予兆現象として、アクセス履歴241から、以下の現象A(d,f,t)が想定される。
A(d,f,t): あるディレクトリd配下のファイルfが、時刻tにアクセスされる現象
また、第1動作例では、評価対象ファイル群として、以下のファイルS(A)が想定される。
S(A): 「同一ディレクトリ内のファイル」や、「親ディレクトリを共有するディレクトリ内にある、ファイルの拡張子が同じファイル」
このとき、アクセス状況データベース422から、評価対象ファイル群S(A)に属するファイルのアクセス確率が取得(算出)される。
取得されたアクセス確率がある閾値以上ならば二次記憶媒体32から一次記憶媒体31へデータを移動させる。ここでいう閾値は、上述した第1閾値(もしくは第2閾値)として捉えることができる。
〔4−2〕第2動作例
本実施形態の情報処理装置100についての具体的な第2動作例を説明する。
第2動作例では、アクセス予測の精度をより高めるために、アクセス予測に使用するアクセス履歴を増やす。ここで使用するアクセス履歴を以下に示す。
[d1] ファイルアクセス予兆現象
「ファイルアクセス予兆現象」として、以下の現象A〜Dを採る。
A(d,f,t): あるディレクトリd配下のファイルfが、時刻tにアクセスされる現象
B(u,f,t): あるユーザuのファイルfが、時刻tにアクセスされる現象
C(p,f,t): あるプログラムpのファイルfが、時刻tにアクセスされる現象
D(n,u,f,t): あるノードn上でユーザuによってファイルfが、時刻ttにアクセスされる現象
[d2] 評価対象ファイル群
上記ファイルアクセス予兆現象A〜Dの「評価対象ファイル群」を、それぞれ、以下のようなS(A),S(B),S(C),S(D)とする。ここでは、ファイルアクセス予兆現象A〜Dのそれぞれについて、アクセス履歴から、所定時間t1以内に所定値(第1閾値)以上の確率でアクセスされたことがあり且つ各「評価対象ファイル群」に対して次の条件を満たすファイルが、事前に定められているものとする。
S(A): 「同一ディレクトリ内のファイル」や、「親ディレクトリを共有するディレクトリ内にある、ファイルの拡張子が同じファイル」
S(B): 「ユーザuが所有するファイル」や、「ユーザuと同じグループに所属するユーザのファイルで、ユーザuにアクセス権限のあるファイル」
S(C): 「プログラムpがアクセス対象とするファイルの拡張子が共通のファイル」
S(D): 「ノードnでユーザuからアクセスされたファイル」
[d3] 所定時間内アクセス確率
あるファイルに対する評価対象ファイル群S(A)〜S(D)に属するファイルに対し「所定時間内アクセス確率」が記録されている。当該「所定時間内アクセス確率」は、あるファイルへのアクセス回数に対する、当該ファイルにアクセスがあってから所定時間t1以内にアクセスがあったファイルへのアクセス回数の割合として求められる。「所定時間内アクセス確率」は、ファイル毎に記憶されてもよい。また、「所定時間内アクセス確率」は、参照するデータ量の削減のために、群全体について記憶されてもよいし、群の部分集合毎に記憶されてもよい。ここで、群の部分集合は、例えば、ファイル名長さがX未満のファイルの部分集合もしくはファイル名長さがX以上のファイルの部分集合でもよいし、ファイルサイズがY未満のファイルの部分集合もしくはファイルサイズがY以上のファイルの部分集合でもよい。なお、「所定時間内アクセス確率」は、アクセス要求がある毎に更新されてもよいし、随時更新ではなく、ある一定期間の学習後は更新しない方式を採ってもよい。
本実施形態では、S(A)∩S(B)のような複数の予兆事象に対応する確率の計算には、余事象を独立とみなすナイーブベイズ法が使用される。即ち、x∈S(A)が所定時間t1内にアクセスされる確率をp、y∈S(B)が所定時間t1内にアクセスされる確率をqとするとき、z∈S(A)∩S(B)が所定時間t1内にアクセスされる確率は、1-(1-p)(1-q)と見積られる。
このとき、全てのe∈S(A)∪S(B)∪S(C)∪S(D)に対し、以下のようにアクセス確率P(e)を求めることができる。なお、以下において、x′∈S(C)が所定時間t1内にアクセスされる確率をr、y′∈S(D)が所定時間t1内にアクセスされる確率をsとする。
case1: eがS(A),S(B),S(C),S(D)のどれか一つだけに属す場合、所属する「評価対象ファイル群」での確率(確率p,q,r,sのうちの一つ)を、eに対応させる。
case2: eがS(A),S(B),S(C),S(D)のうちの二つに属す場合、所属する二つの「評価対象ファイル群」での確率をp,qとすると、確率1-(1-p)(1-q)をeに対応させる。
case3: eがS(A),S(B),S(C),S(D)のうちの三つに属す場合、所属する三つの「評価対象ファイル群」での確率をp,q,rとすると、確率1-(1-p)(1-q)(1-r)をeに対応させる。
case4: eがS(A),S(B),S(C),S(D)の全てに属す場合、確率1-(1-p)(1-q)(1-r)(1-s)をeに対応させる。
また、本実施形態では、ファイルを先読みする効用を定量的に評価するため、「先読み効用関数」が、上記ファイルeに対し、例えば以下の[e1]〜[e3]のうちのいずれか一つとして、事前に定められる。
[e1] 所定時間t1内にアクセスされる確率自体
[e2] ファイルサイズによる転送時間(転送待ち時間)の予測値
[e3] 実測による処理時間差。つまり、ファイルの先読みを行なわずに二次記憶媒体32からのファイルアクセスとなった場合と、ファイルの先読みを行ない一次記憶媒体31からのファイルアクセスとなった場合との処理時間差の実測値を、ファイルeについての関数として事前に設定しておく。
先読み(二次記憶媒体32から一次記憶媒体31へのファイル移動)を行なうか否かの判定基準としては、例えば以下の[f1]及び[f2]が考えられる。
[f1] 上記ファイルeに対して「先読み効用関数」を適用した値が所定閾値(第2閾値)以上である場合は対象のファイルを一次記憶媒体31に先読みする。当該所定閾値は、一次記憶媒体31の空き容量によって動的に変更することもできる。
[f2] 上記ファイルeに対して「先読み効用関数」を適用した値が大きいファイル順に所定個数のファイルを一次記憶媒体31に先読みする。当該所定個数は、一次記憶媒体31の空き容量によって動的に変更することも想定する。
〔4−3〕第3動作例
本実施形態の情報処理装置100についての具体的な第3動作例を説明する。
一次記憶媒体31においては、空き容量が所定閾値(第4閾値)よりも小さい場合や、フラグメンテーションの進行度が所定閾値(第5閾値)以上である場合がある。このとき、一次記憶媒体31上の一部のファイルを、一旦、二次記憶媒体32に退避させた後、再度、一次記憶媒体31に読み出すことで、フラグメンテーションを解消することが望ましい場合がある。
このような場合に、第3動作例では、上述した第1動作例に加え、一次記憶媒体31における各ファイルについて、アクセス状況データベース422に蓄積される情報に基づき、各ファイルがアクセスされない確率が算出される。そして、算出されたアクセスされない確率が第3閾値以上であるファイルが、書戻し対象ファイルとして決定され、当該書戻し対象ファイルが、一次記憶媒体31から二次記憶媒体32へ書き戻される。
これにより、一次記憶媒体31の空き領域を拡大し、より積極的な先読み処理が実行されるようになるほか、再度、ファイルを一次記憶媒体31に読み出し直すことで、フラグメンテーションが確実に解消される。
〔5〕付記
以上の実施形態に関し、さらに以下の付記を開示する。
(付記1)
ストレージ装置におけるファイル及び前記ファイルに対するアクセスを管理するファイル管理部と、
前記ストレージ装置における第1記憶媒体と前記第1記憶媒体とは異なる性能の第2記憶装媒体との間で前記ファイルの移動を制御するストレージ制御部と、を有し、
前記ファイル管理部は、前記ファイルに対する前記アクセスの履歴に基づいて、前記ファイルの中から、前記第2記憶媒体から前記第1記憶媒体への移動対象ファイルを決定し、
前記ストレージ制御部は、前記移動対象ファイルを前記第2記憶媒体から前記第1記憶媒体へ移動させる、情報処理装置。
(付記2)
前記ファイル管理部は、
前記ファイルに対する前記アクセスの状況を前記履歴として収集する収集部と、
前記履歴に基づいて、一アクセス状況と前記一アクセス状況が所定時間内に到達する他アクセス状況とを対応付けるアクセス状況データベースを作成する作成部と、
前記ファイルに対する最新アクセスを受けると、前記最新アクセスの状況によって前記アクセス状況データベースを検索して得られる前記他アクセス状況を、前記最新アクセスの状況が前記所定時間内に到達しうる予測状況として取得する予測部と、
前記予測状況に基づいて前記移動対象ファイルを決定する決定部と、を有し、
前記ストレージ制御部は、
前記決定部によって決定される前記移動対象ファイルを、前記第2記憶媒体から前記第1記憶媒体へ移動させるファイル移動制御部、を有する、付記1に記載の情報処理装置。
(付記3)
前記一アクセス状況は、前記一アクセス状況においてアクセス対象の一ファイルを特定する第1ファイル情報を含み、
前記他アクセス状況は、前記他アクセス状況においてアクセス対象の他ファイルを特定する第2ファイル情報と、前記一ファイルにアクセスした後に前記所定時間内に前記他ファイルにアクセスする確率と、を含み、
前記予測部は、
前記最新アクセスのアクセス対象ファイルを特定する最新ファイル情報によって前記アクセス状況データベースの前記第1ファイル情報を検索することで、前記最新ファイル情報と一致する前記第1ファイル情報に対応付けられた前記第2ファイル情報及び前記確率を前記予測状況として取得し、
取得した前記第2ファイル情報及び前記確率について、前記確率が第1閾値以上である場合、前記第2ファイル情報によって特定されるファイルを、前記移動対象ファイルの候補として予測し、
前記決定部は、前記予測部によって予測される前記候補の中から前記移動対象ファイルを決定する、付記2に記載の情報処理装置。
(付記4)
前記決定部は、
前記候補を前記第2記憶媒体から前記第1記憶媒体へ移動しない場合に対する、前記候補を前記第2記憶媒体から前記第1記憶媒体へ移動した場合の、前記ストレージ装置におけるファイルアクセス性能の改善度合いに基づいて、前記候補の中から前記移動対象ファイルを決定する、付記3に記載の情報処理装置。
(付記5)
前記決定部は、
前記候補についての前記改善度合いを定量的に評価する効用関数によって算出し、
前記効用関数によって算出される前記改善度合いが第2閾値以上である前記候補を、前記移動対象ファイルとして決定する、付記4に記載の情報処理装置。
(付記6)
前記ファイル管理部は、
前記第1記憶媒体における各ファイルについて、前記アクセス状況データベースに蓄積される情報に基づいて、前記各ファイルがアクセスされない確率を算出し、
算出した前記アクセスされない確率が第3閾値以上であるファイルを、書戻し対象ファイルとして決定し、
前記ストレージ制御部は、
前記書戻し対象ファイルを、前記第1記憶媒体から前記第2記憶媒体へ書き戻す、付記2〜付記5のいずれか一項に記載の情報処理装置。
(付記7)
ストレージ装置におけるファイル及び前記ファイルに対するアクセスを管理する第1処理部と、
前記ストレージ装置における第1記憶媒体と前記第1記憶媒体とは異なる性能の第2記憶装媒体との間で前記ファイルの移動を制御する第2処理部と、において実行されるプログラムであって、
前記ファイルに対する前記アクセスの履歴に基づいて、前記ファイルの中から、前記第2記憶媒体から前記第1記憶媒体への移動対象ファイルを決定する、
処理を、前記第1処理部に実行させるとともに、
前記移動対象ファイルを前記第2記憶媒体から前記第1記憶媒体へ移動する、
処理を、前記第2処理部に実行させる、ストレージ制御プログラム。
(付記8)
前記ファイルに対する前記アクセスの状況を前記履歴として収集し、
前記履歴に基づいて、一アクセス状況と前記一アクセス状況が所定時間内に到達する他アクセス状況とを対応付けるアクセス状況データベースを作成し、
前記ファイルに対する最新アクセスを受けると、前記最新アクセスの状況によって前記アクセス状況データベースを検索して得られる前記他アクセス状況を、前記最新アクセスの状況が前記所定時間内に到達しうる予測状況として取得し、
前記予測状況に基づいて前記移動対象ファイルを決定する、
処理を、前記第1処理部に実行させるとともに、
前記第1処理部によって決定される前記移動対象ファイルを、前記第2記憶媒体から前記第1記憶媒体へ移動する、
処理を、前記第2処理部に実行させる、付記7に記載のストレージ制御プログラム。
(付記9)
前記一アクセス状況は、前記一アクセス状況においてアクセス対象の一ファイルを特定する第1ファイル情報を含み、
前記他アクセス状況は、前記他アクセス状況においてアクセス対象の他ファイルを特定する第2ファイル情報と、前記一ファイルにアクセスした後に前記所定時間内に前記他ファイルにアクセスする確率と、を含み、
前記最新アクセスのアクセス対象ファイルを特定する最新ファイル情報によって前記アクセス状況データベースの前記第1ファイル情報を検索することで、前記最新ファイル情報と一致する前記第1ファイル情報に対応付けられた前記第2ファイル情報及び前記確率を前記予測状況として取得し、
取得した前記第2ファイル情報及び前記確率について、前記確率が第1閾値以上である場合、前記第2ファイル情報によって特定されるファイルを、前記移動対象ファイルの候補として予測し、
予測される前記候補の中から前記移動対象ファイルを決定する、
処理を、前記第1処理部に実行させる、付記8に記載のストレージ制御プログラム。
(付記10)
前記候補を前記第2記憶媒体から前記第1記憶媒体へ移動しない場合に対する、前記候補を前記第2記憶媒体から前記第1記憶媒体へ移動した場合の、前記ストレージ装置におけるファイルアクセス性能の改善度合いに基づいて、前記候補の中から前記移動対象ファイルを決定する、
処理を、前記第1処理部に実行させる、付記9に記載のストレージ制御プログラム。
(付記11)
前記候補についての前記改善度合いを定量的に評価する効用関数によって算出し、
前記効用関数によって算出される前記改善度合いが第2閾値以上である前記候補を、前記移動対象ファイルとして決定する、
処理を、前記第1処理部に実行させる、付記10に記載のストレージ制御プログラム。
(付記12)
前記第1記憶媒体における各ファイルについて、前記アクセス状況データベースに蓄積される情報に基づいて、前記各ファイルがアクセスされない確率を算出し、
算出した前記アクセスされない確率が第3閾値以上であるファイルを、書戻し対象ファイルとして決定する、
処理を、前記第1処理部に実行させるとともに、
前記書戻し対象ファイルを、前記第1記憶媒体から前記第2記憶媒体へ書き戻す、
処理を、前記第2処理部に実行させる、付記8〜付記11のいずれか一項に記載のストレージ制御プログラム。
(付記13)
ストレージ装置におけるファイル及び前記ファイルに対するアクセスを管理する第1処理部と、
前記ストレージ装置における第1記憶媒体と前記第1記憶媒体とは異なる性能の第2記憶装媒体との間で前記ファイルの移動を制御する第2処理部と、を有する情報処理装置において、
前記第1処理部が、前記ファイルに対する前記アクセスの履歴に基づいて、前記ファイルの中から、前記第2記憶媒体から前記第1記憶媒体への移動対象ファイルを決定し、
前記第2処理部が、前記移動対象ファイルを前記第2記憶媒体から前記第1記憶媒体へ移動させる、ストレージ制御方法。
(付記14)
前記第1処理部が、
前記ファイルに対する前記アクセスの状況を前記履歴として収集し、
前記履歴に基づいて、一アクセス状況と前記一アクセス状況が所定時間内に到達する他アクセス状況とを対応付けるアクセス状況データベースを作成し、
前記ファイルに対する最新アクセスを受けると、前記最新アクセスの状況によって前記アクセス状況データベースを検索して得られる前記他アクセス状況を、前記最新アクセスの状況が前記所定時間内に到達しうる予測状況として取得し、
前記予測状況に基づいて前記移動対象ファイルを決定するとともに、
前記第2処理部が、
前記第1処理部によって決定される前記移動対象ファイルを、前記第2記憶媒体から前記第1記憶媒体へ移動させる、付記13に記載のストレージ制御方法。
(付記15)
前記一アクセス状況は、前記一アクセス状況においてアクセス対象の一ファイルを特定する第1ファイル情報を含み、
前記他アクセス状況は、前記他アクセス状況においてアクセス対象の他ファイルを特定する第2ファイル情報と、前記一ファイルにアクセスした後に前記所定時間内に前記他ファイルにアクセスする確率と、を含み、
前記第1処理部が、
前記最新アクセスのアクセス対象ファイルを特定する最新ファイル情報によって前記アクセス状況データベースの前記第1ファイル情報を検索することで、前記最新ファイル情報と一致する前記第1ファイル情報に対応付けられた前記第2ファイル情報及び前記確率を前記予測状況として取得し、
取得した前記第2ファイル情報及び前記確率について、前記確率が第1閾値以上である場合、前記第2ファイル情報によって特定されるファイルを、前記移動対象ファイルの候補として予測し、
予測される前記候補の中から前記移動対象ファイルを決定する、付記14に記載のストレージ制御方法。
(付記16)
前記第1処理部が、
前記候補を前記第2記憶媒体から前記第1記憶媒体へ移動しない場合に対する、前記候補を前記第2記憶媒体から前記第1記憶媒体へ移動した場合の、前記ストレージ装置におけるファイルアクセス性能の改善度合いに基づいて、前記候補の中から前記移動対象ファイルを決定する、付記15に記載のストレージ制御方法。
(付記17)
前記第1処理部が、
前記候補についての前記改善度合いを定量的に評価する効用関数によって算出し、
前記効用関数によって算出される前記改善度合いが第2閾値以上である前記候補を、前記移動対象ファイルとして決定する、付記16に記載のストレージ制御方法。
(付記18)
前記第1処理部が、
前記第1記憶媒体における各ファイルについて、前記アクセス状況データベースに蓄積される情報に基づいて、前記各ファイルがアクセスされない確率を算出し、
算出した前記アクセスされない確率が第3閾値以上であるファイルを、書戻し対象ファイルとして決定するとともに、
前記第2処理部が、
前記書戻し対象ファイルを、前記第1記憶媒体から前記第2記憶媒体へ書き戻す、付記14〜付記17のいずれか一項に記載のストレージ制御方法。
10 端末(クライアント)
20 ネットワーク
30A,30B ストレージ装置(階層化ストレージ)
31 一次記憶媒体(第1記憶媒体,SSD)
32 二次記憶媒体(第2記憶媒体,HDD)
40 メタデータサーバ(ファイル管理部,PC,コンピュータ)
41 処理部(第1処理部)
411 メタデータ制御部(収集部)
412 アクセス状況データベース作成部(作成部)
413 アクセス予測部(予測部)
414 移動対象ファイル決定部(決定部)
42 記憶部
421 アクセス履歴(ファイルアクセス履歴ログファイル)
422 アクセス状況データベース
50 データサーバ(ストレージ制御部,PC,コンピュータ)
51 処理部(第2処理部)
511 ファイル移動制御部
100 情報処理装置(PC,コンピュータ)

Claims (8)

  1. ストレージ装置におけるファイル及び前記ファイルに対するアクセスを管理するファイル管理部と、
    前記ストレージ装置における第1記憶媒体と前記第1記憶媒体とは異なる性能の第2記憶装媒体との間での前記ファイルの移動を制御するストレージ制御部と、を有し、
    前記ファイル管理部は、前記ファイルに対する前記アクセスの履歴に基づいて、前記ファイルの中から、前記第2記憶媒体から前記第1記憶媒体への移動対象ファイルを決定し、
    前記ストレージ制御部は、前記移動対象ファイルを前記第2記憶媒体から前記第1記憶媒体へ移動させる、情報処理装置。
  2. 前記ファイル管理部は、
    前記ファイルに対する前記アクセスの状況を前記履歴として収集する収集部と、
    前記履歴に基づいて、一アクセス状況と前記一アクセス状況が所定時間内に到達する他アクセス状況とを対応付けるアクセス状況データベースを作成する作成部と、
    前記ファイルに対する最新アクセスを受けると、前記最新アクセスの状況によって前記アクセス状況データベースを検索して得られる前記他アクセス状況を、前記最新アクセスの状況が前記所定時間内に到達しうる予測状況として取得する予測部と、
    前記予測状況に基づいて前記移動対象ファイルを決定する決定部と、を有し、
    前記ストレージ制御部は、
    前記決定部によって決定される前記移動対象ファイルを、前記第2記憶媒体から前記第1記憶媒体へ移動させるファイル移動制御部、を有する、請求項1に記載の情報処理装置。
  3. 前記一アクセス状況は、前記一アクセス状況においてアクセス対象の一ファイルを特定する第1ファイル情報を含み、
    前記他アクセス状況は、前記他アクセス状況においてアクセス対象の他ファイルを特定する第2ファイル情報と、前記一ファイルにアクセスした後に前記所定時間内に前記他ファイルにアクセスする確率と、を含み、
    前記予測部は、
    前記最新アクセスのアクセス対象ファイルを特定する最新ファイル情報によって前記アクセス状況データベースの前記第1ファイル情報を検索することで、前記最新ファイル情報と一致する前記第1ファイル情報に対応付けられた前記第2ファイル情報及び前記確率を前記予測状況として取得し、
    取得した前記第2ファイル情報及び前記確率について、前記確率が第1閾値以上である場合、前記第2ファイル情報によって特定されるファイルを、前記移動対象ファイルの候補として予測し、
    前記決定部は、前記予測部によって予測される前記候補の中から前記移動対象ファイルを決定する、請求項2に記載の情報処理装置。
  4. 前記決定部は、
    前記候補を前記第2記憶媒体から前記第1記憶媒体へ移動しない場合に対する、前記候補を前記第2記憶媒体から前記第1記憶媒体へ移動した場合の、前記ストレージ装置におけるファイルアクセス性能の改善度合いに基づいて、前記候補の中から前記移動対象ファイルを決定する、請求項3に記載の情報処理装置。
  5. 前記決定部は、
    前記候補についての前記改善度合いを定量的に評価する効用関数によって算出し、
    前記効用関数によって算出される前記改善度合いが第2閾値以上である前記候補を、前記移動対象ファイルとして決定する、請求項4に記載の情報処理装置。
  6. 前記ファイル管理部は、
    前記第1記憶媒体における各ファイルについて、前記アクセス状況データベースに蓄積される情報に基づいて、前記各ファイルがアクセスされない確率を算出し、
    算出した前記アクセスされない確率が第3閾値以上であるファイルを、書戻し対象ファイルとして決定し、
    前記ストレージ制御部は、
    前記書戻し対象ファイルを、前記第1記憶媒体から前記第2記憶媒体へ書き戻す、請求項2〜請求項5のいずれか一項に記載の情報処理装置。
  7. ストレージ装置におけるファイル及び前記ファイルに対するアクセスを管理する第1処理部と、
    前記ストレージ装置における第1記憶媒体と前記第1記憶媒体とは異なる性能の第2記憶装媒体との間で前記ファイルの移動を制御する第2処理部と、において実行されるプログラムであって、
    前記ファイルに対する前記アクセスの履歴に基づいて、前記ファイルの中から、前記第2記憶媒体から前記第1記憶媒体への移動対象ファイルを決定する、
    処理を、前記第1処理部に実行させるとともに、
    前記移動対象ファイルを前記第2記憶媒体から前記第1記憶媒体へ移動する、
    処理を、前記第2処理部に実行させる、ストレージ制御プログラム。
  8. ストレージ装置におけるファイル及び前記ファイルに対するアクセスを管理する第1処理部と、
    前記ストレージ装置における第1記憶媒体と前記第1記憶媒体とは異なる性能の第2記憶装媒体との間で前記ファイルの移動を制御する第2処理部と、を有する情報処理装置において、
    前記第1処理部が、前記ファイルに対する前記アクセスの履歴に基づいて、前記ファイルの中から、前記第2記憶媒体から前記第1記憶媒体への移動対象ファイルを決定し、
    前記第2処理部が、前記移動対象ファイルを前記第2記憶媒体から前記第1記憶媒体へ移動させる、ストレージ制御方法。
JP2016129707A 2016-06-30 2016-06-30 情報処理装置、ストレージ制御プログラム、及びストレージ制御方法 Ceased JP2018005446A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016129707A JP2018005446A (ja) 2016-06-30 2016-06-30 情報処理装置、ストレージ制御プログラム、及びストレージ制御方法
US15/496,669 US20180004441A1 (en) 2016-06-30 2017-04-25 Information processing apparatus, computer-readable recording medium having storage control program stored therein, and method of controlling storage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016129707A JP2018005446A (ja) 2016-06-30 2016-06-30 情報処理装置、ストレージ制御プログラム、及びストレージ制御方法

Publications (1)

Publication Number Publication Date
JP2018005446A true JP2018005446A (ja) 2018-01-11

Family

ID=60807542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016129707A Ceased JP2018005446A (ja) 2016-06-30 2016-06-30 情報処理装置、ストレージ制御プログラム、及びストレージ制御方法

Country Status (2)

Country Link
US (1) US20180004441A1 (ja)
JP (1) JP2018005446A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018169774A (ja) * 2017-03-29 2018-11-01 日本電気株式会社 ストレージ装置、管理装置、情報処理システム、制御方法及びプログラム
CN111684434A (zh) * 2018-02-05 2020-09-18 美光科技公司 多层存储器系统中的预测数据协作
JP2021119438A (ja) * 2020-01-30 2021-08-12 日本電信電話株式会社 データ管理システム、データ管理装置、強制移動対象データ選択装置、強制移動先選択装置、および、データ管理方法、並びに、プログラム
JP2021119437A (ja) * 2020-01-30 2021-08-12 日本電信電話株式会社 データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、アーカイブ指示装置、および、データ管理方法、並びに、プログラム
JP2021157259A (ja) * 2020-03-25 2021-10-07 株式会社日立製作所 オブジェクト最適配置装置及び方法
WO2022097469A1 (ja) * 2020-11-09 2022-05-12 日本電気株式会社 移行装置、移行方法及び記憶媒体

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12135876B2 (en) 2018-02-05 2024-11-05 Micron Technology, Inc. Memory systems having controllers embedded in packages of integrated circuit memory
US11416395B2 (en) 2018-02-05 2022-08-16 Micron Technology, Inc. Memory virtualization for accessing heterogeneous memory components
US11099789B2 (en) 2018-02-05 2021-08-24 Micron Technology, Inc. Remote direct memory access in multi-tier memory systems
US20210209098A1 (en) * 2018-06-15 2021-07-08 Micro Focus Llc Converting database language statements between dialects
US11010314B2 (en) * 2018-10-30 2021-05-18 Marvell Asia Pte. Ltd. Artificial intelligence-enabled management of storage media access
CN110032339B (zh) * 2019-04-12 2022-11-04 北京旷视科技有限公司 数据迁移方法、装置、系统、设备和存储介质
US10852949B2 (en) 2019-04-15 2020-12-01 Micron Technology, Inc. Predictive data pre-fetching in a data storage device
CN111736778B (zh) * 2020-07-21 2020-11-17 北京金山云网络技术有限公司 数据更新方法、装置、系统和电子设备
CN115022342B (zh) * 2022-05-31 2023-12-05 Oppo广东移动通信有限公司 数据处理方法、装置、电子设备和计算机可读存储介质
US11928038B2 (en) 2022-06-21 2024-03-12 International Business Machines Corporation Managing data sets based on user activity

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003005920A (ja) * 2001-06-22 2003-01-10 Nec Corp ストレージシステム、データ再配置方法及びデータ再配置プログラム
JP2008059438A (ja) * 2006-09-01 2008-03-13 Hitachi Ltd 記憶システム、そのデータ再配置方法、データ再配置プログラム
US20150032967A1 (en) * 2013-07-26 2015-01-29 Netapp, Inc. Systems and methods for adaptive prefetching

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9052830B1 (en) * 2011-06-30 2015-06-09 Emc Corporation Techniques for automated evaluation and movement of data between storage tiers for thin devices
CN104077296B (zh) * 2013-03-27 2017-12-29 联想(北京)有限公司 处理信息的方法和服务器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003005920A (ja) * 2001-06-22 2003-01-10 Nec Corp ストレージシステム、データ再配置方法及びデータ再配置プログラム
JP2008059438A (ja) * 2006-09-01 2008-03-13 Hitachi Ltd 記憶システム、そのデータ再配置方法、データ再配置プログラム
US20150032967A1 (en) * 2013-07-26 2015-01-29 Netapp, Inc. Systems and methods for adaptive prefetching

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018169774A (ja) * 2017-03-29 2018-11-01 日本電気株式会社 ストレージ装置、管理装置、情報処理システム、制御方法及びプログラム
CN111684434A (zh) * 2018-02-05 2020-09-18 美光科技公司 多层存储器系统中的预测数据协作
CN111684434B (zh) * 2018-02-05 2023-09-29 美光科技公司 多层存储器系统中的预测数据协作
JP2021119438A (ja) * 2020-01-30 2021-08-12 日本電信電話株式会社 データ管理システム、データ管理装置、強制移動対象データ選択装置、強制移動先選択装置、および、データ管理方法、並びに、プログラム
JP2021119437A (ja) * 2020-01-30 2021-08-12 日本電信電話株式会社 データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、アーカイブ指示装置、および、データ管理方法、並びに、プログラム
JP7376894B2 (ja) 2020-01-30 2023-11-09 日本電信電話株式会社 データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、および、データ管理方法、並びに、プログラム
JP7385214B2 (ja) 2020-01-30 2023-11-22 日本電信電話株式会社 データ管理システムおよびデータ管理方法
JP2021157259A (ja) * 2020-03-25 2021-10-07 株式会社日立製作所 オブジェクト最適配置装置及び方法
WO2022097469A1 (ja) * 2020-11-09 2022-05-12 日本電気株式会社 移行装置、移行方法及び記憶媒体
JPWO2022097469A1 (ja) * 2020-11-09 2022-05-12
JP7517463B2 (ja) 2020-11-09 2024-07-17 日本電気株式会社 移行装置、移行方法及びプログラム

Also Published As

Publication number Publication date
US20180004441A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
JP2018005446A (ja) 情報処理装置、ストレージ制御プログラム、及びストレージ制御方法
US11593037B2 (en) File system block-level tiering and co-allocation
US9632707B2 (en) Enhancing tiering storage performance
US20180373722A1 (en) System and method for data classification using machine learning during archiving
JP6336096B2 (ja) 指定された数量の結果についてメモリ内の複数のストレージ領域をスキャンするための方法、システム及びコンピュータ・プログラム
US20150309923A1 (en) Storage control apparatus and storage system
US20080270706A1 (en) Block Reallocation Planning During Read-Ahead Processing
JP6020448B2 (ja) データベース性能予測装置及びデータベース予測方法
WO2016115957A1 (zh) 一种面向用户与应用的计算机与智能设备加速方法和装置
Vogel et al. Mosaic: a budget-conscious storage engine for relational database systems
Herodotou AutoCache: Employing machine learning to automate caching in distributed file systems
US20170322747A1 (en) Information processing apparatus and method for deduplication
Liu et al. A survey on AI for storage
US20180341423A1 (en) Storage control device and information processing system
Wong et al. Baleen:{ML} Admission & Prefetching for Flash Caches
Wan et al. SSD-optimized workload placement with adaptive learning and classification in HPC environments
Yan et al. Hmfs: efficient support of small files processing over HDFS
CN105892938A (zh) 一种磁盘缓存系统的优化方法及系统
JP6615420B1 (ja) エッジシステム、情報処理方法及び情報処理プログラム
Zhang et al. Time-tired compaction: An elastic compaction scheme for LSM-tree based time-series database
Zhu et al. An access prefetching strategy for accessing small files based on swift
US11200281B2 (en) Managing data in a cache memory of a question answering system
Menon et al. Logstore: A workload-aware, adaptable key-value store on hybrid storage systems
US20220092049A1 (en) Workload-driven database reorganization
Gu et al. Adaptive cache policy scheduling for big data applications on distributed tiered storage system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190311

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200312

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20200923