JP2022142992A - 階層型ストレージ装置、ファイル制御方法及びファイル制御プログラム - Google Patents

階層型ストレージ装置、ファイル制御方法及びファイル制御プログラム Download PDF

Info

Publication number
JP2022142992A
JP2022142992A JP2021043301A JP2021043301A JP2022142992A JP 2022142992 A JP2022142992 A JP 2022142992A JP 2021043301 A JP2021043301 A JP 2021043301A JP 2021043301 A JP2021043301 A JP 2021043301A JP 2022142992 A JP2022142992 A JP 2022142992A
Authority
JP
Japan
Prior art keywords
file
segment
files
investigation
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021043301A
Other languages
English (en)
Other versions
JP7222491B2 (ja
Inventor
邦尚 根岸
Kuninao Negishi
顕 田子
Akira Tago
真 中島
Makoto Nakajima
裕貴 早川
Hiroki Hayakawa
康尚 松井
Yasunao Matsui
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Priority to JP2021043301A priority Critical patent/JP7222491B2/ja
Publication of JP2022142992A publication Critical patent/JP2022142992A/ja
Application granted granted Critical
Publication of JP7222491B2 publication Critical patent/JP7222491B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Figure 2022142992000001
【課題】セグメントにおけるファイルの参照数、ファイルの重要度及び参照ファイルの調査回数の関係に基づき、短時間で移動対象セグメントを判定することが可能な階層型ストレージ装置、ファイル制御方法及びファイル制御プログラムを提供する。
【解決手段】ファイル調査手段の調査結果に基づき、ファイル参照数14と調査済ファイル数15とが一致したか否かをセグメントA~E毎に判定し、一致している場合に、参照ファイル(File1,2,3・・)の調査回数とファイルの得点合計13との比較により、上位Tierから下位Tierへ移動させるファイルを決定する。
【選択図】図2

Description

本発明は、重複排除技術を用いた階層型ストレージ装置、ファイル制御方法及びファイル制御プログラムに関する。
階層型ストレージ装置においては、高速だが高価・小容量である上位Tierの実質的な容量単価を改善するために、重複排除技術を用いたファイルデータの重複排除処理が行われる。
しかしながら、一般的な重複排除処理では、容量確保のため利用頻度の低いファイルを上位Tierから下位Tierへ移動させる際、単純に最終アクセス日時の古い順にファイルを選択する方式が用いられることで、希望通りの容量を確保できないという問題がある。
図12は重複排除技術の概念を示す図である。なお、図中のセグメントA~Eは、「ファイル1~3」を構成するデータ単位として示される。
具体的には、「ファイル1」はストレージST内のセグメントA,B及びCから構成され、「ファイル2」はストレージST内のセグメントD及びEから構成され、「ファイル3」はストレージST内のセグメントA及びCから構成される例が示されている。
ここで、一般的な重複排除技術にて、例えば「ファイル3」が最もアクセス日時の古いファイルであった場合に、当該「ファイル3」を別ストレージへ移動させるためにストレージSTから削除する処理を行ったとする。
このとき、上記重複排除技術では、当該「ファイル3」が参照するセグメントA及びCが、「ファイル1」からも参照されているためストレージST上から削除されず、その結果、ストレージSTにて空き容量が増加しない。
このような問題に対応して特許文献1の技術が提供されている。
特許文献1に示されるストレージ装置では、上位Tierに格納されているファイルの重要度とセグメントの重複排除率との両面から重み付けを行い、重要度が低いセグメントを割り出している。
そして、このストレージ装置では、重要度が低いセグメントを参照しているファイルを、下位Tierへの移動対象ファイルとして選択することで、アクセス日時の新しいファイルを残し、ファイルへのアクセス性低下を抑制しつつ、上記問題も解決している。
その結果、このストレージ装置では、この方式で選択されたファイルを上位Tierから下位Tierに移動すれば、上位Tierのストレージ空き容量を増加させることができる。
特許文献1のストレージ装置におけるファイル削除処理について、図13を参照して具体的に説明する。
このストレージ装置では、例えば、セグメントCの重み合計が3で一番低く、セグメントDの重み合計が5で二番目に低い場合に、これら2個のセグメントC,Dを参照しているFile1,File4及びFile2を、上位Tierから下位Tierへ移動させることで、重要度の高いセグメントを残しつつ、2セグメント分の空き容量を確保する。
特開2020-106985号公報 特表2015-503780号公報 特開2019-53477号公報
しかしながら、特許文献1のストレージ装置では、全ファイルリストの調査を実施することで重み付けを完了させ、移動ファイルリストを選択しているために、記録されているファイル数が増加するとそれに比例して調査回数が増える。
このため、上記ストレージ装置では、調査時間が増えてしまい、上位Tierの空き容量を減らすまでに時間が掛かるという問題がある。
一方、ストレージ装置において、ファイルが削除される毎に減少する、セグメントにけるファイル参照数を利用してファイル管理をする技術が、特許文献2及び3に示されている。
しかしながら、特許文献2及び3に示される技術では、セグメントにおけるファイルの重要度がファイルの移動判定に十分に反映されているとは言えず、この点について新たな技術提供が期待されていた。
この発明は、上述した事情に鑑みてなされたものであって、セグメントにおけるファイルの参照数、ファイルの重要度及び参照ファイルの調査回数の関係に基づき、短時間で効率良く移動対象セグメントを判定することが可能な階層型ストレージ装置、ファイル制御方法及びファイル制御プログラムを提供する。
上記課題を解決するために、この発明は以下の手段を提案している。
本発明の第1態様は、セグメントに関連付けられた参照ファイルを、ストレージの上位Tierから下位Tierへ移動させる階層型ストレージ装置であって、セグメント毎に、参照ファイルの重要度により重み付けされたファイル得点の合計、ファイル参照数、及び調査済ファイル数を取得するデータ管理手段と、セグメント毎に、前記データ管理手段で取得した参照ファイルの調査を、重要度の低いファイルから順番に行うとともに、調査する毎に、前記データ管理手段で取得したデータを更新するファイル調査手段と、前記ファイル調査手段の調査結果に基づき、前記調査済ファイル数とファイル参照数とが一致したか否かをセグメント毎に判定し、一致している場合に、前記参照ファイルの調査回数とファイルの得点合計との比較により、上位Tierから下位Tierへ移動させるファイルを決定する移動ファイル判断手段と、からなるファイル選択手段を具備することを特徴とする。
本発明の第2態様に示すファイル制御方法では、セグメントに関連付けられた参照ファイルを、ストレージの上位Tierから下位Tierへ移動させる階層型ストレージ装置において、セグメント毎に、参照ファイルの重要度により重み付けされたファイル得点の合計、ファイル参照数、及び調査済ファイル数を取得するデータ管理段階と、セグメント毎に、前記データ管理段階で取得した参照ファイルの調査を、重要度の低いファイルから順番に行うとともに、調査する毎に、前記データ管理段階で取得したデータを更新するファイル調査段階と、前記ファイル調査段階の調査結果に基づき、前記調査済ファイル数とファイル参照数とが一致したか否かをセグメント毎に判定し、一致している場合に、前記参照ファイルの調査回数とファイルの得点合計との比較により、上位Tierから下位Tierへ移動させるファイルを決定する移動ファイル判断段階と、を有する。
本発明の第3態様に示すファイル制御プログラムでは、セグメントに関連付けられた参照ファイルを、ストレージの上位Tierから下位Tierへ移動させる階層型ストレージ装置において、セグメント毎に、参照ファイルの重要度により重み付けされたファイル得点の合計、ファイル参照数、及び調査済ファイル数を取得するデータ管理段階と、セグメント毎に、前記データ管理段階で取得した参照ファイルの調査を、重要度の低いファイルから順番に行うとともに、調査する毎に、前記データ管理段階で取得したデータを更新するファイル調査段階と、前記ファイル調査段階の調査結果に基づき、前記調査済ファイル数とファイル参照数とが一致したか否かをセグメント毎に判定し、一致している場合に、前記参照ファイルの調査回数とファイルの得点合計との比較により、上位Tierから下位Tierへ移動させるファイルを決定する移動ファイル判断段階と、を有する。
本発明では、ファイルの得点合計の小さい重要度の低い参照ファイルを移動対象とする決定を速やかに行うことができ、移動するファイルの選択を少ない調査回数で短時間に終わらせることができる。
本発明に係る階層型のストレージ装置の最小構成を示す概略図である。 本発明に係るセグメント管理表を示す図である。 本発明の実施形態に係るストレージ装置の概略構成を示すブロック図である。 移動対象セグメント数を判定するためのフローチャートである。 移動対象セグメントを検出するためのフローチャートである。 セグメント管理表を更新処理するためのフローチャートである。 ファイルリストを具体的に示す図である。 第1回目の調査を実施した後のセグメント管理表を示す図である。 第4回目の調査を実施した後のセグメント管理表を示す図である。 第5回目の調査を実施した後のセグメント管理表を示す図である。 移動処理後のファイルリストを具体的に示す図である。 重複排除技術の概念を示す図である。 背景技術に係るストレージ装置におけるセグメント管理表を示す図である。
本発明に係る階層型のストレージ装置100の最小構成について図1及び図2を参照して説明する。
このストレージ装置100は、セグメントSE(A~E)に関連付けられた参照ファイル(File1,2,3・・)を、ストレージの上位Tierから下位Tierへ移動させるものであって、図1に示すようにデータ管理手段10、ファイル調査手段11及び移動ファイル判断手段12を有する。
データ管理手段10は、図2に示すようにセグメントSE(A~E)毎に、参照ファイル(File1,2,3・・)の重要度により重み付けされたファイル得点合計(符号13で示す)、ファイル参照数(符号14で示す)、調査済ファイル数(符号15で示す)及び調査済ファイルの一覧(符号16で示す)を取得する。
なお、このデータ管理手段10では、参照ファイル(File1,2,3・・)の重要度に基づくファイル得点合計13、ファイル参照数14、調査済ファイル数15及び調査済ファイルの一覧16を、セグメントSE(A~E)毎のセグメント管理表(符号20で示す)にして記憶する。
ファイル調査手段11は、セグメントSE(A~E)毎に、データ管理手段10で取得した参照ファイル(File1,2,3・・)の調査を、重要度の低いファイル(例えば、古いファイル)から順番に行うとともに、調査する毎に、データ管理手段10で記憶したセグメント管理表20のデータを更新する。
なお、一例として本例では、番号の小さいFile1が最も古くて重要度が低く、番号の大きいFile5が新しくて重要度が高いと定義し、これに応じてFile1~5に「1」~「5」の得点がそれぞれ付されている。
移動ファイル判断手段12は、ファイル調査手段11の調査結果に基づき、ファイル参照数14と調査済ファイル数15とが一致したか否かをセグメントSE(A~E)毎に判定し、一致している場合に、参照ファイル(File1,2,3・・)の調査回数とファイルの得点合計13との比較により、上位Tierから下位Tierへ移動させるファイルを決定する。
そして、以上のような階層型ストレージ装置100では、ファイル調査手段11にて、セグメントSE(A~E)毎に、データ管理手段10で取得した参照ファイル(File1,2,3・・)の調査を、重要度の低いファイルから順番に行うとともに、調査する毎に、データ管理手段10で記憶したセグメント管理表20のデータを更新する。
その後、移動ファイル判断手段12にて、ファイル調査手段11の調査結果に基づき、ファイル参照数14と調査済ファイル数15とが一致したか否かをセグメントSE(A~E)毎に判定し、一致している場合に、参照ファイル(File1,2,3・・)の調査回数とファイルの得点合計13とを比較することで、上位Tierから下位Tierへ移動させるファイルを決定する。
なお、本例のセグメント管理表20では、File1から順に5回の調査(すなわち、File1,2,3,4,5の順に調査)を実施した後の結果を示している。
そして、移動ファイル判断手段12では、この結果に基づき、ファイル参照数14と調査済ファイル数15とが一致したセグメントの中で、ファイルの得点合計13が調査回数(本例では5回)より小さい又は等しいセグメントEの参照ファイル(File5)を、上位Tierから下位Tierへ移動させると判定する。
なお、移動ファイル判断手段12での移動対象となるセグメント選択は、作業者により適宜定めることができる。
これにより、本発明の移動ファイル判断手段12では、ファイルの得点合計13の小さい重要度の低い参照ファイル(File1,2,3・・)を移動対象とする決定を速やかにでき、移動するファイルの選択を少ない調査回数で短時間に終わらせることができ、ストレージ内の上位Tierから下位Tierへのファイル移動の効率を高めることができる。
(実施形態)
本発明の実施形態に係るストレージ装置101について図3~図12を参照して説明する。
図3は実施形態に係るストレージ装置101の概略構成を示すブロック図であって、ストレージ管理手段31、階層管理手段32、重複解除管理手段33、及び上位Tierストレージ34と下位Tierストレージ35とからなる階層型ストレージSTを有する。
また、ストレージ装置101内のストレージ管理手段31は外部に位置する管理端末1及びサーバ2に接続される。
管理端末1は、ストレージ装置101を管理する情報処理装置である。また、管理端末1は、ストレージ装置101に対して運用開始指示や運用停止指示を送信するなど、ストレージ装置101の全体的な管理を行う。
サーバ2は、ストレージ装置101内のデータへアクセスする情報処理装置である。また、サーバ2は、ストレージ装置101に対して、ファイルの書き込みを要求するライト要求やファイルの読み込みを要求するリード要求など様々な要求を送信する。
ストレージ装置101は、例えば、サーバ2などからの要求に応じて、ファイルを上位Tierストレージ34に格納する。また、ストレージ装置101は、上位Tierストレージ34に設定された使用上限容量を超過したなど、予め定められた条件を満たす場合、上位Tierストレージ34が記憶するファイルを下位Tierストレージ35に移動させる。
ストレージ管理手段31の配下には複数のストレージを階層管理するための階層管理手段32が接続される。
ストレージ管理手段31は、ストレージ装置101を総合的に管理する。ストレージ管理手段31は、例えば管理端末1から運用開始指示や運用停止指示、ファイル移動指示など各種指示を受信する。
また、ストレージ管理手段31は、サーバ2からリード要求やライト要求など各種要求を受信する。すると、ストレージ管理手段31は、受信した指示や要求に応じた処理を実行するよう、階層管理手段32に必要な指示を行う。
階層管理手段32はファイル選択手段321や、図示しないが階層管理に必要な種々の構成要素からなる。階層管理手段32の配下には、重複排除管理手段33を介して上位Tierストレージ34と、下位Tierストレージ35が接続される。
また、この階層管理手段32は、上位Tierストレージ34と下位Tierストレージ35とを階層管理、例えば、予め上位Tierストレージ34に設定された条件を満たした場合に、上位Tierストレージ34が記憶するファイルを下位Tierストレージ35に移動させる。このとき、ファイル移動のタイミングは一般的な階層管理ストレージと同等であるため、説明は省略する。
階層管理手段32は、ファイル選択手段321から入手する移動ファイルリストを元に、移動させるファイルを決定する。このとき、階層管理手段32では、フローチャート(後述する)による手順ではなく管理端末1からの指示でファイルを移動させても構わない。
また、階層管理手段32は、ストレージ管理手段31からの指示に応じてファイルの書き込みを行う場合に、書き込み対象のファイルを上位Tierストレージ34に書き込むよう処理する。つまり、階層管理手段32は、重複排除管理手段33を経由して、書き込み対象のファイルを重複排除した状態で上位Tierストレージ34に書き込む。
重複排除管理手段33は、階層管理手段32から書込みを依頼されたファイルを重複排除した状態で上位Tierストレージ34に格納する。
つまり、重複排除管理手段33は、書込み対象のファイルのうち、上位Tierストレージ34に格納されていないセグメントのみを上位Tierストレージ34に書き込み、既に上位Tierストレージ34に格納されているセグメントは新たに書き込まない。
また、重複排除管理手段33は、上位Tierストレージ34に含まれていても構わない。その場合、重複排除は上位Tierストレージ34内で実施されるため、書き込み時に書込み対象ファイルが予め重複排除されている必要はない。
上位Tierストレージ34は、SSD(Solid State Drive)に代表されるような高速だが容量単価の高いストレージである。
また、上位Tierストレージ34は、重複排除管理手段33経由で階層管理手段32に接続され、ファイルリスト341、セグメント参照数情報342を保有している。
なお、上位Tierストレージ34は、重複排除制御に必要な種々の管理情報を有していても構わない。
ファイルリスト341は、図7に示すように上位Tierストレージ34が記憶しているファイル一覧(S701)であり、各ファイルのファイル名(S702)と参照セグメント情報とアクセス日時(S704)を含む。
また、ファイルリスト341は、例えば、上位Tierストレージ34にファイルを記憶する際や上位Tierストレージ34からファイルを削除する際に、重複排除管理手段33などにより更新される。
また、セグメント参照数情報342は、上位Tierストレージ34が記憶しているセグメントが全てのファイルから参照されている数情報を有する。
下位Tierストレージ35は、図3に示すように、テープストレージなど容量単価の安いストレージであり、階層管理手段32により上位Tierストレージ34から移動されるファイルが記憶される。
下位Tierストレージ35は、ファイルリスト351を保有している。
なお、ファイルリスト351は下位Tierストレージ35のファイル一覧であり、各ファイルの参照先セグメント情報は含まない。
また、このファイルリスト351は、例えば、下位Tierストレージ35にファイルを記憶する際や下位Tierストレージ35からファイルを削除する際に、階層管理手段32などにより更新される。
ファイル選択手段321は、図3に示すようにセグメントA~Fに関連付けられた参照ファイル(File1,2,3・・)を、ストレージの上位Tier34から下位Tier32へ移動させるものであって、図1に示すようにデータ管理手段3211、ファイル調査手段3212、移動ファイル判断手段3213及び移動完了判断手段3214を有する。
データ管理手段3211は、例えば、図8~図10に示すようにセグメントA~F(符号S801,S901,S1001で示す)毎に、参照ファイル(File1,2,3・・)の重要度により重み付けされたファイル得点合計(符号S802,S902,S1002で示す)、ファイル参照数(符号S803,S903,S1003で示す)、調査済ファイル数(符号S804,S904,S1004で示す)及び調査済ファイルの一覧(符号S805,S905,S1005で示す)を上位Tier34から取得する。
なお、このデータ管理手段3211では、図8~図10に示すように、セグメントA~F毎の参照ファイル(File1,2,3・・)の重要度に基づくファイル得点合計、ファイル参照数、調査済ファイル数及び調査済ファイルの一覧を、セグメント管理表Lにして記憶する。
ファイル調査手段3212は、セグメントA~F毎に、データ管理手段3211で取得した参照ファイル(File1,2,3・・)の調査を、重要度の低いファイル(例えば、アクセス日時が古いファイル)から順番に行うとともに、調査する毎に、データ管理手段3211で記憶したセグメント管理表Lのデータを更新する(詳細は以下の図5のフローチャートで説明する)。
なお、本例では、番号の小さいFile1が最もアクセス日時が古くて重要度が低く、番号の大きいFileが新しくて重要度が高いと定義し、これに応じてFile1,2,3・・に、「1」「2」「3」・・の得点がそれぞれ付されている。また、本例では、File8に近づくほどアクセス日時が新しくなる(図7の符号S703参照)ことを示している。
また、図7では、ファイル(S701)と、その参照ファイル(S702)とともに、ファイルの日時に関する情報が備考(S704)として示されている。
移動ファイル判断手段3213は、ファイル調査手段3212の調査結果に基づき、調査済ファイル数とファイル参照数とが一致したか否かをセグメントA~F毎に判定し、一致している場合に、ファイル(File1,2,3・・)の調査回数とファイルの得点合計との比較により、上位Tierから下位Tierへ移動させるファイルを決定する(詳細は以下の図5のフローチャートで説明する)。
移動完了判断手段3214は、移動対象のセグメント数が予め定めた設定数に達した場合にファイル移動処理を中止する(詳細は以下の図4のフローチャートで説明する)。
(実施形態の動作説明)
次に、ファイル選択手段321で実行される処理フローを図4~図6のフローチャートを参照して説明する。
なお、ここでの処理では、移動対象セグメントの目的数を「2セグメント」とする。また、ここでの処理で使用されるファイルリスト341は図7に示され、セグメント管理表Lは図8、9、10にデータ更新例として示される。
〔移動対象セグメント数の判定フロー〕
まず、図4を参照してセグメント管理表Lの移動対象となるセグメントが目標数に達したか否かの処理フローについて、ステップS毎に説明する。
(ステップS401~S402)
フロー開始後(ステップS401)、階層管理手段32から移動対象セグメントの目的数を受け付ける(ステップS402)。
(ステップS403)
セグメントを参照しているファイルの調査を実施することで、移動対象となるセグメントを決定する。なお、ファイル調査の処理フローについては図5を参照して後述する。
(ステップS404~S405)
移動対象となるセグメントが予め設定した目標数に達したか否かを判定し、NOの場合に先のステップS403に戻り(ステップS404)、YESの場合に本処理フローを終了する(ステップS405)。
〔ファイル調査の処理フロー〕
次に、図5を参照して移動対象セグメントを検出するための処理フローについて、ステップS毎に説明する。なお、図5は図4のファイル調査(ステップS403)を具体的に示す処理フローである。
(ステップS501~S502)
ファイル調査が開始されると(ステップS501)、まず、ファイルリスト341とセグメント参照数情報342とを、上位Tierストレージ34から取得して、アクセス日時が古い順にファイルを1つ選択する(ステップS502)。このとき選択されるファイルは一番古いFile1であり、その参照セグメントを図7に示す。
選択ファイルした1ファイルの参照セグメント情報を上位Tierストレージ34から取得することを1回の調査として、調査回数をカウントしていく。調査回数の初期値は1である。
なお、本実施形態では、番号の小さいFile1が最も古くて重要度が低く、番号の大きいFileが新しくて重要度が高いと定義し、これに応じてFile1,2,3・・の順にファイル調査を実施する。
(ステップS503)
調査回数が1アップする毎に(古い順から)ファイル調査を実施していき、実施する毎にセグメント管理表Lを更新する。
なお、図8は1回目のファイル調査が実施された後のセグメント管理表Lを示している。また、図8において、ステップS802で示される得点合計はセグメントが持つ得点であって、初期値0であり、その得点合計が低ければ、そのセグメントの重要度が低いことを意味する。
また、図9はFile1からFile4までの4回のファイル調査が実施された後に更新されたセグメント管理表Lを示している。また、図10はFile1からFile6までの5回のファイル調査が実施された後に更新されたセグメント管理表Lを示している。
また、セグメント管理表Lの更新処理フローについては図6を参照して後述する。
(ステップS504)
セグメント管理表Lの更新後、セグメント管理表Lを参照して、セグメントの中に、「参照数=調査済みファイル数」となるセグメントが存在するかどうかを確認し、YESの場合にステップS505に進み、また、NOの場合にステップS506に進む。
なお、セグメント管理表Lから1回目の調査では、「参照数=調査済みファイル数」となるセグメントは存在しないので、ステップS504のNОに進む。
(ステップS505)
ファイル得点合計(符号S802,S902,S1002で示す)と、調査回数とを比較し、「ファイル得点合計<=調査回数」の関係にあるか否かを判断し、YESの場合にステップS507に進み、また、NOの場合にステップS506に進む。
ここで、ステップS505のYESとなるのは、「参照数=調査済みファイル数」(ステップS504のYES)となっていることでこれ以上、ファイル得点合計の増加が見込めないケースであり、「ファイル得点合計<=調査回数」との関係を見ることで「調査終了」との判定を出す。
(ステップS506)
次のファイルの調査を行うため「調査回数=調査回数+1」で加算する。
(ステップS507~S509)
当該セグメントを参照するファイルを移動対象ファイルとして確定した後(ステップS507)、セグメント管理表Lから当該セグメントを削除するとともに、移動対象ファイルの関連情報も全て削除し(ステップS508)、本処理フローを終了する(ステップS509)。
そして、以上説明した図5に示すファイル調査の処理フローでは、セグメント管理表Lの更新後(ステップS503)、セグメント管理表Lを参照して、セグメントの中に、「参照数=調査済みファイル数」となるセグメントが存在するかどうかを確認する(ステップS504)。
このとき、セグメント管理表Lから1回目の調査では、「参照数=調査済みファイル数」となるセグメントは存在しない(ステップS504-NО)。
その後、次のファイルの調査を行うため、「調査回数=調査回数+1」で加算する(ステップS506)。
次に選択されるファイルは2番目古い「File2」である。(ステップS502:2回目)。ここで、図5の処理フローは「参照数=調査済みファイル数」となるセグメントが存在するまで、処理を繰り返す(ステップS502~ステップS504,ステップS506)。
その後、4回目の調査のときには、図9に示すようにセグメントBが「参照数=調査済みファイル数」となる(ステップS504-YES)。
この図9には、4回目の調査で「参照数=調査済みファイル数」となるセグメントBの存在が確認できた(ステップS504-YES)セグメント管理表Lを示している。
そして、ステップS504では、「参照数=調査済みファイル数」となったため、セグメントBが今後の調査で対象となることはないので、セグメント(S901)のセグメントB欄に「調査終了」を記載する。ここでの得点合計(S902)がセグメントBの最高得点となり、これ以上増えることはない。
次のステップS505では、「参照数=調査済みファイル数」となったセグメントBの得点合計が調査回数以下であるか否かを確認する。
セグメントBは「得点合計=8」であり、「調査回数=4」以下ではない。その後、調査を続けた場合には、得点合計が8以下となる新たなセグメントが出現する可能性があり、セグメントBの得点合計(=8)が最低得点とは限らないので、ステップS507,S508に進まず調査を続行する(ステップS505-NО)。
その後、本例では、図10のセグメント管理表Lに示すように、5回目の調査のときに「参照数=調査済みファイル数」となるセグメントD、Eを確認する例が示されている(ステップS504-YES:2回目)。
ここで、図10のセグメント管理表Lでは、「セグメントDの得点合計=6」、「セグメントEの得点合計=5」(S1002)が示されている。
このとき、参照数=調査済みファイル数となったセグメントD、Eの得点合計が調査回数以下であるかを確認する(ステップS505)。
すなわち、ステップS505では、「セグメントDの得点合計=6」、「セグメントEの得点合計=5」で、かつ「調査回数=6以下」の状況下において、今後の調査で得点合計が6よりも小さくなるセグメントが出現する可能性は無いため、セグメントD,E いずれも最低得点であることが確定し、かつ移動対象セグメントであることも確定する(ステップS505-YES)。
そして、次のステップS507では、移動対象セグメントDと移動対象セグメントEを参照しているファイルFile1とFile5を移動対象ファイルとして確定する。
次のステップS508では、移動が確定したファイルの情報は参照する必要がないため、セグメント管理表Lから移動対象ファイルの情報と参照セグメントを全て削除して(ステップS508)、処理フローを終了する(ステップS509)。
続いて、図4の処理フローでは、移動対象セグメント(セグメントD,E)が目的数である2セグメントに達していると判断する(ステップS404-YES)。このため、ファイル選択手段321では、ステップS404-YESの後、移動対象セグメントD、セグメントEを含むファイルFile1、File5を移動ファイルリストとして出力して、処理を完了させる(ステップS405)。
図4の処理フローにて、移動対象セグメントの目的数に達しない場合は、ファイル調査(ステップS403)を繰り返す(ステップS404-NO)。
〔セグメント管理表の更新処理フロー〕
次に、図6を参照してセグメント管理表を更新するための処理フローについて、ステップS毎に説明する。なお、図6は図5のセグメント管理表の更新(ステップS503)を具体的に示す処理フローである。
(ステップS601~S602)
ファイル調査が開始されると(ステップS601)、まず、選択ファイルFile1が参照しているセグメントにフラグを付ける(ステップS602)。
(ステップS603)
次に、セグメント管理表Lにおいて、フラグ付けされたセグメントについて以下の処理を行う。このとき、セグメント管理表Lにフラグ付けされたセグメントが存在しない場合は、特別な処理は行わない。
(ステップS604)
続いて、セグメント管理表Lの参照数(S803,S903,S1003)は、上位Tierストレージ34に記憶されているファイルが移動したり増えたりしない限りは不変であるため、更新はしない。
(ステップS605~S606)
続いて、セグメント管理表Lのフラグ付けされた「ファイルFile1」を有するセグメントA及びB、Dの得点合計に、調査回数を加算する(ステップS605)。さらに、調査済みファイル数が一つ増えたので、調査済みファイル数に1を加算する(ステップS606)。
(ステップS607~S609)
調査済ファイルの一覧(符号S805,S905,S1005で示す)に調査済みファイル数にFile1(得点1)を追加する(ステップS607)。ここでの得点「1」はアクセス日時が古い順から1,2,3…と設定しているため、調査回数と同一となる。
処理を行ったフラグ付けされたセグメントについて、フラグ付けを削除し(ステップS608)、更新の処理を終了する(ステップS609)。
なお、図6のセグメント管理表の更新処理フローは、File1から順にファイル調査を行う毎に実施する。
そして、ファイル選択手段321では、図9及び図10のセグメント管理表Lに示すように、調査が終了したファイルについて「調査終了」と追記することで、今後の重複した無駄な調査を省略することが可能となる。
また、ファイル選択手段321では、上位Tier34から下位Tier35へファイルを移動させる際、アクセス日時の古いファイル順に各ファイルへ得点を設定し、ファイル調査毎に各セグメントにおいて、参照数と調査済みファイル数が一致した際に、得点の合計が最小のセグメントを参照しているファイルを移動対象とする。
これにより、本実施形態のストレージ装置101では、これまでの方式では実現できなかった、希望容量を確保しつつストレージシステム全体でファイルへのアクセス性低下抑制となる移動ファイル選択を、少ない調査回数で実現することができる。
以上詳細に説明したように本実施形態のストレージ装置101では、セグメントA~F毎に、データ管理手段3211で取得した参照ファイル(File1,2,3・・)の調査を、重要度の低いファイルから順番に行うとともに、調査する毎に、データ管理手段3211で記憶したセグメント管理表Lのデータを更新する。
その後、移動ファイル判断手段3213にて、ファイル調査手段3212の調査結果に基づき、ファイル参照数と調査済ファイル数とが一致したか否かをセグメントA~F毎に判定し、一致している場合に、参照ファイル(File1,2,3・・)の調査回数とファイルの得点合計とを比較することで、上位Tier34から下位Tier35へ移動させるファイルを決定する。
そして、移動ファイル判断手段3213では、図10に示すようにファイル参照数(S1003)と調査済ファイル数(S1004)とが一致したセグメントの中で、ファイルの得点合計(S1002)が調査回数よりも小さいセグメントD,Eの参照ファイル(File1,File5)を、上位Tier34から下位Tier35へ優先して移動させる移動ファイルと決定することができる。
これにより、本実施形態の移動ファイル判断手段3213では、重要度の低い参照ファイルを移動対象とする決定を速やかにでき、移動するファイルの選択を少ない調査回数で短時間に終わらせ、ストレージ内の上位Tier34から下位Tier35へのファイル移動の効率を高めることができる。
なお、図11には、本実施形態の処理に基づき調査が完了したファイルについて、ファイルの記載欄(S1101)に「調査済み」の記載がなされていることが示されている。また、この図11において、S1102はファイルの参照セグメント、S1103は備考欄を示している。この備考(S1103)では、調査結果に基づき移動したセグメントについて、「下位Tierに移動済」との記載がなされる。
(変形例)
移動ファイル判断手段3213では、図10に示すようにファイル参照数(S1003)と調査済ファイル数(S1004)とが一致したセグメントの中で、ファイルの得点合計(S1002)が調査回数よりも小さいセグメントD,Eの参照ファイル(File1,File5)を、上位Tierから下位Tierへ優先的に移動させる移動ファイルと決定した。
しかし、移動ファイル判断手段3213では、ファイルの得点合計と調査回数との比較から得られる移動対象ファイルの選択条件を、操作者の設定により適宜定めるようにしても良い。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
本発明は、重複排除技術を使用した階層型ストレージに利用される。
1 管理端末
2 サーバ
10 データ管理手段
11 ファイル調査手段
12 移動ファイル判断手段
20 セグメント管理表
31 ストレージ管理手段
32 階層管理手段
33 重複解除管理手段33
34 上位Tierストレージ
35 下位Tierストレージ
100 ストレージ装置
101 ストレージ装置
321 ファイル選択手段
341 ファイルリスト
342 セグメント参照数情報
3211 データ管理手段
3212 ファイル調査手段
3213 移動ファイル判断手段
3214 移動完了判断手段
A~F,ST セグメント

Claims (9)

  1. セグメントに関連付けられた参照ファイルを、ストレージの上位Tierから下位Tierへ移動させる階層型ストレージ装置であって、
    セグメント毎に、参照ファイルの重要度により重み付けされたファイル得点の合計、ファイル参照数、及び調査済ファイル数を取得するデータ管理手段と、
    セグメント毎に、前記データ管理手段で取得した参照ファイルの調査を、重要度の低いファイルから順番に行うとともに、調査する毎に、前記データ管理手段で取得したデータを更新するファイル調査手段と、
    前記ファイル調査手段の調査結果に基づき、前記調査済ファイル数とファイル参照数とが一致したか否かをセグメント毎に判定し、一致している場合に、前記参照ファイルの調査回数とファイルの得点合計との比較により、上位Tierから下位Tierへ移動させるファイルを決定する移動ファイル判断手段と、からなるファイル選択手段を具備することを特徴とする階層型ストレージ装置。
  2. 前記移動ファイル判断手段では、前記参照ファイルの調査回数とファイルの得点合計との比較をした結果、前記ファイルの得点合計が、前記参照ファイルの調査回数以下のセグメントの参照ファイルを移動対象に決定することを特徴とする請求項1に記載の階層型ストレージ装置。
  3. 前記データ管理手段では、前記参照ファイルの重要度に基づくファイル得点の合計、ファイル参照数、及び調査済ファイル数を、セグメント毎の管理表にして記憶することを特徴とする請求項1又は2のいずれか1項に記載の階層型ストレージ装置。
  4. 前記データ管理手段では、前記調査済ファイル数とファイル参照数とが一致したセグメントについて管理表内に調査終了との追記することを特徴とする請求項3に記載の階層型ストレージ装置。
  5. 前記データ管理手段は、古いファイルの重要度を低い値としてセグメント毎にファイル得点を記憶することを特徴とする請求項1~4のいずれか1項に記載の階層型ストレージ装置。
  6. 前記移動ファイル判断手段では、前記調査済ファイル数とファイル参照数とが一致していると判断した場合に、当該セグメントにおける得点合計の小さい低重要度の参照ファイルを移動対象に決定することを特徴とする請求項1~5のいずれか1項に記載の階層型ストレージ装置。
  7. 前記ファイル選択手段は、前記移動対象のセグメント数が予め定めた設定数に達した場合にファイル移動処理を完了する移動完了判断手段をさらに具備することを特徴とする請求項1~6のいずれか1項に記載の階層型ストレージ装置。
  8. セグメントに関連付けられた参照ファイルを、ストレージの上位Tierから下位Tierへ移動させる階層型ストレージ装置において、
    セグメント毎に、参照ファイルの重要度により重み付けされたファイル得点の合計、ファイル参照数、及び調査済ファイル数を取得するデータ管理段階と、
    セグメント毎に、前記データ管理段階で取得した参照ファイルの調査を、重要度の低いファイルから順番に行うとともに、調査する毎に、前記データ管理段階で取得したデータを更新するファイル調査段階と、
    前記ファイル調査段階の調査結果に基づき、前記調査済ファイル数とファイル参照数とが一致したか否かをセグメント毎に判定し、一致している場合に、前記参照ファイルの調査回数とファイルの得点合計との比較により、上位Tierから下位Tierへ移動させるファイルを決定する移動ファイル判断段階と、を有することを特徴とするファイル制御方法。
  9. セグメントに関連付けられた参照ファイルを、ストレージの上位Tierから下位Tierへ移動させる階層型ストレージ装置において、
    セグメント毎に、参照ファイルの重要度により重み付けされたファイル得点の合計、ファイル参照数、及び調査済ファイル数を取得するデータ管理段階と、
    セグメント毎に、前記データ管理段階で取得した参照ファイルの調査を、重要度の低いファイルから順番に行うとともに、調査する毎に、前記データ管理段階で取得したデータを更新するファイル調査段階と、
    前記ファイル調査段階の調査結果に基づき、前記調査済ファイル数とファイル参照数とが一致したか否かをセグメント毎に判定し、一致している場合に、前記参照ファイルの調査回数とファイルの得点合計との比較により、上位Tierから下位Tierへ移動させるファイルを決定する移動ファイル判断段階と、を有することを特徴とするファイル制御プログラム。
JP2021043301A 2021-03-17 2021-03-17 階層型ストレージ装置、ファイル制御方法及びファイル制御プログラム Active JP7222491B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021043301A JP7222491B2 (ja) 2021-03-17 2021-03-17 階層型ストレージ装置、ファイル制御方法及びファイル制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021043301A JP7222491B2 (ja) 2021-03-17 2021-03-17 階層型ストレージ装置、ファイル制御方法及びファイル制御プログラム

Publications (2)

Publication Number Publication Date
JP2022142992A true JP2022142992A (ja) 2022-10-03
JP7222491B2 JP7222491B2 (ja) 2023-02-15

Family

ID=83453864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021043301A Active JP7222491B2 (ja) 2021-03-17 2021-03-17 階層型ストレージ装置、ファイル制御方法及びファイル制御プログラム

Country Status (1)

Country Link
JP (1) JP7222491B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013088931A (ja) * 2011-10-14 2013-05-13 Hitachi Solutions Ltd 検索装置、文書管理方法、及び文書検索システム
JP2013117763A (ja) * 2011-12-01 2013-06-13 Nec Corp データ再配置装置、データ再配置方法、および、コンピュータ・プログラム
JP2016066220A (ja) * 2014-09-24 2016-04-28 富士通株式会社 ストレージ装置、ストレージ装置制御方法及びストレージ装置制御プログラム
JP2020106985A (ja) * 2018-12-26 2020-07-09 Necプラットフォームズ株式会社 ストレージ装置、ファイル特定方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013088931A (ja) * 2011-10-14 2013-05-13 Hitachi Solutions Ltd 検索装置、文書管理方法、及び文書検索システム
JP2013117763A (ja) * 2011-12-01 2013-06-13 Nec Corp データ再配置装置、データ再配置方法、および、コンピュータ・プログラム
JP2016066220A (ja) * 2014-09-24 2016-04-28 富士通株式会社 ストレージ装置、ストレージ装置制御方法及びストレージ装置制御プログラム
JP2020106985A (ja) * 2018-12-26 2020-07-09 Necプラットフォームズ株式会社 ストレージ装置、ファイル特定方法及びプログラム

Also Published As

Publication number Publication date
JP7222491B2 (ja) 2023-02-15

Similar Documents

Publication Publication Date Title
US10621142B2 (en) Deduplicating input backup data with data of a synthetic backup previously constructed by a deduplication storage system
US10620862B2 (en) Efficient recovery of deduplication data for high capacity systems
US11010300B2 (en) Optimized record lookups
CN104978151B (zh) 基于应用感知的重复数据删除存储系统中的数据重构方法
CN107766374B (zh) 一种海量小文件存储读取的优化方法和系统
US11580061B2 (en) System and method for file archiving using machine learning
JP2012523023A (ja) 重複したデータを排除するストレージシステム
CN109086388A (zh) 区块链数据存储方法、装置、设备及介质
KR20160100216A (ko) 대량 오디오 지문 데이터베이스의 온라인 실시간 업데이트를 구축하는 방법과 장치
CN111522502B (zh) 数据去重方法、装置、电子设备及计算机可读存储介质
US8904128B2 (en) Processing a request to restore deduplicated data
US20190042134A1 (en) Storage control apparatus and deduplication method
US20170351608A1 (en) Host device
US10078467B2 (en) Storage device, computer readable recording medium, and storage device control method
JP7295422B2 (ja) 情報処理装置および情報処理プログラム
JP7222491B2 (ja) 階層型ストレージ装置、ファイル制御方法及びファイル制御プログラム
US10185660B2 (en) System and method for automated data organization in a storage system
JP2010191903A (ja) 分散ファイルシステムのストライピング種別選択方法及びその分散ファイルシステム
JP6881847B2 (ja) ストレージ装置、ファイル特定方法及びプログラム
CN115509437A (zh) 存储系统、网卡、处理器、数据访问方法、装置及系统
JP7215804B2 (ja) ストレージ装置、情報処理システム、情報処理方法、およびプログラム
US11847334B2 (en) Method or apparatus to integrate physical file verification and garbage collection (GC) by tracking special segments
TWI475419B (zh) 用於在儲存系統上存取檔案的方法和系統
CN114356232A (zh) 数据读写方法和装置
WO2024032898A1 (en) Choosing a set of sequential storage media in deduplication storage systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230126

R151 Written notification of patent or utility model registration

Ref document number: 7222491

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151