JP2017174041A - 情報処理装置、ストレージシステム、記憶制御方法およびコンピュータプログラム - Google Patents

Abstract

【課題】 記憶装置の容量効率と書き込み処理時間（ＩＯ応答性）を悪化させることなく、データの重複排除処理に掛かる負荷の軽減を図る。【解決手段】 情報処理装置１は、書き込み部２を備える。書き込み部２は、ファイルを分類する分類区分であるフォルダに設定されている重複排除処理の種類を表すデータと、記憶部４への書き込み対象のファイルが分類されるフォルダとに基づいて、書き込み対象のファイルに適用する重複排除処理の種類を決定する。また、書き込み部２は、その決定した種類の重複排除処理を書き込み対象のファイルに実行する。【選択図】 図２

Description

本発明は、記憶装置にデータを効率良く格納する技術に関する。

記憶装置の記憶容量を効率良く利用するために、データの重複排除（つまり、同じデータが重複して記憶装置に格納されている状態を防止する処理）とデータの圧縮とが一般的に行われている。データの重複排除を行う方式には様々な方式があるが、よく採用される方式として、インライン方式とポストプロセス方式との２つの方式がある。これら方式には、それぞれ、次のような長所と短所がある。

すなわち、インライン方式においては、データが記憶装置に書き込まれる前にデータの重複排除処理が行われ、当該処理により書き込みが確定したデータが記憶装置に書き込まれる。このため、インライン方式では、記憶装置に、重複排除処理前のデータを一時的に格納する一時格納領域が不要である。これにより、インライン方式は、記憶装置の容量効率（つまり、記憶領域のうち、データ格納に実際に利用できる領域の割合）を高めることができる。また、インライン方式では、重複排除処理後のデータが記憶装置に書き込まれるので、書き込まれたデータに対するレプリケーション処理をすぐに実行することができる。しかしながら、インライン方式での重複排除処理は時間が掛かる。このために、記憶装置が書き込み対象のデータを受け取ってから、重複排除処理を実行し、その後にデータを書き込み当該書き込み終了の報告を記憶装置が出力するまでのＩＯ（input/output）応答性が悪くなるという問題が生じる。

ポストプロセス方式においては、データが記憶装置に一旦書き込まれ、その後にデータの重複排除処理が行われる。このように、記憶装置に書き込まれた後にデータの重複排除処理が行われることにより、データのＩＯ応答性が悪くなることを防止できる。ただ、書き込み対象のデータが、記憶装置に既に格納されているデータと同じデータ（重複データ）であっても、ポストプロセス方式では、そのデータは、記憶装置に一旦書きこまれるため、記憶容量が使用される。また、ポストプロセス方式では、記憶装置に書き込まれたデータに重複排除処理が行われる際に、データを読み出す処理が行われるため、非効率である。

特許文献１，２には、それぞれ、インライン方式とポストプロセス方式のそれぞれの長所を活かして、書き込み処理時間と記憶装置の容量効率とをバランス良くしようとする技術が開示されている。

なお、特許文献３には、書き込み対象のデータを記憶装置が受け取る度に、そのデータに行う重複排除処理をインライン方式とポストプロセス方式の何れの方式で行うかを判断する技術が開示されている。

国際公開第２０１５／０９７７５７号 国際公開第２０１５／０９７７５６号 公表特許第２０１５−５２８９２８号公報

特許文献１，２に記載されている技術では、記憶装置に書き込む書き込み対象のファイルを構成するチャンク毎に、予め設定された判別条件を満たすか否かが判断され、その判断結果に基づいて、ファイル（データ）の重複排除手法が決定される。しかしながら、このような技術では、チャンク毎に判別条件を満たすか否かが判断されるので、記憶装置における重複排除処理に掛かる負荷が大きいという問題がある。

本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、記憶装置の容量効率と書き込み処理時間（ＩＯ応答性）を悪化させることなく、データの重複排除処理に掛かる負荷の軽減を図る技術を提供することにある。

上記目的を達成するために、本発明の情報処理装置は、
ファイルを分類する分類区分であるフォルダに設定されている重複排除処理の種類を表すデータと、記憶部への書き込み対象のファイルが分類されるフォルダとに基づいて、前記書き込み対象のファイルに適用する重複排除処理の種類を決定し、当該決定した種類の重複排除処理を前記書き込み対象のファイルに実行する書き込み部を備える。

また、本発明のストレージシステムは、
ファイルを格納する記憶部と、
記憶部にファイルを書き込む機能を備えた情報処理装置と
を備え、
その情報処理装置は、本発明の情報処理装置である。

さらに、本発明の記憶制御方法は、
ファイルを分類する分類区分であるフォルダに設定されている重複排除処理の種類を表すデータと、記憶部への書き込み対象のファイルが分類されるフォルダとに基づいて、前記書き込み対象のファイルに適用する重複排除処理の種類を決定し、
決定した種類の重複排除処理を前記書き込み対象のファイルに実行する。

さらにまた、本発明のコンピュータプログラムは、
ファイルを分類する分類区分であるフォルダに設定されている重複排除処理の種類を表すデータと、記憶部への書き込み対象のファイルが分類されるフォルダとに基づいて、前記書き込み対象のファイルに適用する重複排除処理の種類を決定する処理と、
決定した種類の重複排除処理を前記書き込み対象のファイルに実行する処理と
をコンピュータに実行させる処理手順を示す。

なお、本発明の主な上記目的は、本発明の情報処理装置に対応する本発明の記憶制御方法によっても達成される。また、本発明の主な上記目的は、本発明の情報処理装置と本発明の記憶制御方法に対応する本発明のコンピュータプログラムおよびそれを格納する記憶媒体によっても達成される。

本発明によれば、記憶領域の容量効率と書き込み処理時間を悪化させることなく、データの重複排除処理に掛かる負荷の軽減を図ることができる。

本発明に係る第１実施形態の情報処理装置の構成を簡略化して表すブロック図である。 本発明に係る第１実施形態の情報処理装置を備えるストレージシステムの構成を簡略化して表すブロック図である。 本発明に係る第２実施形態の情報処理装置を備えるストレージシステムの構成を簡略化して表すブロック図である。 ファイルの格納形態の一例を表す図である。 第２実施形態の情報処理装置が持つデータの一例を表す図である。 第２実施形態の情報処理装置が持つ別のデータの一例を表す図である。 第２実施形態の情報処理装置が持つさらに別のデータの一例を表す図である。 第２実施形態の情報処理装置が実行する動作の一例を表すフローチャートである。

以下に、本発明に係る実施形態を図面を参照しつつ説明する。

＜第１実施形態＞
図１は、本発明に係る第１実施形態の情報処理装置の構成を簡略化して表すブロック図である。図２は、第１実施形態の情報処理装置を備えるストレージシステムの構成を簡略化して表すブロック図である。

第１実施形態の情報処理装置１は、記憶部４に接続し、記憶部４にファイルを格納する機能を備えている。すなわち、情報処理装置１は、書き込み部２を備える。この書き込み部２は、次のような特有な機能を備えている。つまり、書き込み部２は、ファイルを分類する分類区分であるフォルダに設定されている重複排除処理の種類を表すデータと、記憶部４への書き込み対象のファイルが分類されるフォルダとに基づいて、書き込み対象のファイルに適用する重複排除処理の種類を決定する機能を備えている。この書き込み部２は、その決定した種類の重複排除処理を書き込み対象のファイルに実行する。

この第１実施形態の情報処理装置１およびストレージシステム３は、書き込み対象のファイルに適用する重複排除処理の種類を、そのファイルが分類されるフォルダに設定されている重複排除処理の種類に決定する。このため、情報処理装置１は、ファイルに適用する重複排除処理の種類を決定する処理の負荷を軽くできる。また、フォルダに適宜な重複排除処理の種類を設定しておけば、情報処理装置１は、記憶領域の容量効率と書き込み処理時間の向上を図ることができる。

＜第２実施形態＞
以下に、本発明に係る第２実施形態を説明する。

図３は、本発明に係る第２実施形態の情報処理装置を備えたストレージシステムの構成を簡略化して表すブロック図である。第２実施形態では、ストレージシステム２０は、複数の記憶部Ａ，Ｂ，Ｃと、これら記憶部Ａ，Ｂ，Ｃに接続する情報処理装置２１とを備えている。記憶部Ａ，Ｂ，Ｃは、それぞれ、別個独立の記憶媒体（例えば、ハードディスク）により構成されている。ストレージシステム２０には、記憶部（実ディスク）Ａ，Ｂ，Ｃにより実現される一つの仮想記憶部（仮想ディスク）２３が設定されている。

仮想記憶部２３（記憶部Ａ，Ｂ，Ｃ）には、様々な種類のファイル（情報（データ））が仮想的に格納される（つまり、実質的には、ファイルは記憶部（実ディスク）に格納される）。これら格納されるファイルは、一般的に、種類毎に分類され、同じ種類のファイルは、同じフォルダにまとめられて管理される。図４には、ファイルの階層タイプの格納状態が表されている。図４の例では、最も大きな分類として、メールフォルダ２５とビデオフォルダ２６が設定されている。また、それらフォルダ２５，２６に分類できない未分類のファイル２４はフォルダ２５，２６と同じ階層に配置されている。

さらに、メールフォルダ２５には、受信フォルダ２７と送信フォルダ２８が設定されており、これらフォルダ２７，２８には、それぞれ、ファイル３０，３２，・・・が分類されて格納されている。

また、ビデオフォルダ２６には、フォルダは設定されておらず、当該ビデオフォルダ２６の直下にファイル３４，３５，・・・が分類されて格納されている。

情報処理装置２１は、制御装置４０と、情報格納部４１とを備えている。この情報処理装置２１は、仮想記憶部２３（記憶部Ａ，Ｂ，Ｃ）にファイルを書き込む機能を備えている。また、情報処理装置２１は、ファイルを仮想記憶部２３に書き込む際に、当該ファイルに重複排除処理を行う機能を備えている。第２実施形態では、書き込み対象のファイルに実行される重複排除処理は、複数の重複排除処理手法（ここでは、インライン方式とポストプロセス方式）の中から、ファイルの書き込み先のフォルダ等に基づいて選択（決定）される。

すなわち、情報処理装置２１の情報格納部４１は、様々なデータを格納する機能を備えている。この第２実施形態では、情報格納部４１には、図５に表されるようなファイルの種類と重複排除処理の種類との関係データ（以下、ファイル−処理データとも記す）が格納されている。つまり、システムユーザ等によりファイルの種類毎に重複排除処理手法が決定され、この決定内容を表すデータが、図５のようなファイル−処理データとして情報格納部４１に格納される。

また、情報格納部４１には、図６に表されるような記憶部の識別情報と重複排除処理の種類との関係データ（以下、記憶部−処理データとも記す）が格納されている。つまり、システムユーザ等により、記憶部Ａ，Ｂ，Ｃ毎に、格納されるファイルに実行される重複排除処理手法が決定され、この決定内容を表すデータが、図６のような記憶部−処理データとして情報格納部４１に格納される。

さらに、情報格納部４１は、図７に表されるようなファイルの分類情報と格納先との関係データ（以下、格納先データとも記す）が格納される。このデータは、制御装置４０の機能により生成されるデータである。

制御装置４０は、例えばＣＰＵ（Central Processing Unit）を有し、当該ＣＰＵが予め与えられたコンピュータプログラムを実行することにより、様々な機能を持つことができる。この第２実施形態では、制御装置４０は、機能部として、書き込み部４３と、生成部４４とを備えている。

生成部４４は、書き込み対象のファイルに実行される重複排除処理の種類を決定する際に利用されるデータを次のように生成する機能を備えている。

すなわち、生成部４４は、仮想記憶部２３（記憶部Ａ，Ｂ，Ｃ）に格納されている各ファイルに関し、ファイルのメタデータと、情報格納部４１に格納されているファイル−処理データ（図５参照）とに基づいて、対応する重複排除処理の種類を検知する。

また、生成部４４は、その検知結果を利用して、フォルダ毎に、分類されているファイルの全数に対する、カウント対象の重複排除処理の種類（例えば、インライン方式）に対応するファイルの数の割合（以下、判断用割合Ｑとも記す）を算出する。さらに、生成部４４は、算出した判断用割合Ｑを、予め定めた第１閾値Ｐ１（例えば８０％）と比較する。そして、生成部４４は、判断用割合Ｑが第１閾値Ｐ１を超えている場合には、その判断用割合Ｑを持つフォルダに適用される重複排除処理の種類を、カウント対象の重複排除処理の種類（インライン方式）に決定する。さらに、生成部４４は、判断用割合Ｑが第１閾値Ｐ１以下である場合には、判断用割合Ｑを予め定めた第２閾値Ｐ２（例えば２０％）と比較する。そして、生成部４４は、判断用割合Ｑが第２閾値Ｐ２未満である場合には、その判断用割合Ｑを持つフォルダに適用される重複排除処理の種類を、カウント対象の重複排除処理の種類以外の種類（ポストプロセス方式）に決定する。さらに、生成部４４は、判断用割合Ｑが第２閾値Ｐ２以上、かつ、第１閾値Ｐ１以下である場合には、その判断用割合Ｑを持つフォルダに適用される重複排除処理の種類を決定しない。つまり、この場合には、生成部４４は、そのフォルダに分類されるファイルは、ファイル毎に重複排除処理の種類を設定することを決定する。

なお、上記のようにフォルダ毎に適用される重複排除処理の種類を決定する場合に、フォルダに分類されているファイルの数が、統計処理結果の信頼性を得られると想定される数に達しないと、決定事項に対する信頼性が低いものとなってしまう。このことを考慮し、生成部４４は、分類されているファイルの数が予め定めた下限値に達していないフォルダについては、重複排除処理の種類を決定する処理を実行しなくともよい。この場合には、生成部４４は、例えば、その処理が実行されなかったフォルダには、予め定められた仮の重複排除処理の種類をデフォルト処理として設定しておくか、あるいは、未処理の情報を設定しておく。

この第２実施形態では、図６における記憶部−処理データに表されるように、記憶部Ａ，Ｂ，Ｃ毎に、重複排除処理の種類が設定されている。生成部４４は、その記憶部−処理データと、上述のように決定された各フォルダに適用される重複排除処理の種類とに基づいて、各フォルダに分類されているファイルの格納先を決定し、この決定内容を表すデータを格納先データ（図７参照）として生成する。

ところで、フォルダに分類されるファイルの状況は、ファイルの追加や削除によって変化することから、生成部４４は、予め設定されたタイミング毎に、上述したようなデータ生成動作を行う見直しの機能を備えている。

書き込み部４３は、書き込み対象のファイルを受け取った場合に、当該ファイルが分類されるフォルダに基づいて、当該ファイルに対する重複排除処理の種類および格納先の記憶部を決定する機能を備えている。つまり、書き込み部４３は、書き込み対象のファイルが分類されるフォルダの情報と、情報格納部４１に格納されている記憶部−処理データ（図６参照）および格納先データ（図７参照）とに基づき、フォルダにおける重複排除処理の種類および格納先の記憶部を検知する。フォルダに対して重複排除処理の種類が設定されている場合には、そのフォルダに分類される全てのファイルには、ファイルの種類によらずに、書き込み部４３は、そのフォルダの重複排除処理の種類をファイルに適用する重複排除処理の種類として設定する。

なお、ファイルが分類されているフォルダに重複排除処理の種類が未処理により設定されておらず、かつ、そのフォルダが当該フォルダよりも格納階層が上のフォルダに分類され当該格納階層上のフォルダには重複排除処理の種類が設定されている場合がある。この場合には、書き込み部４３は、その格納階層上のフォルダに設定されている重複排除処理の種類を、ファイルに適用する重複排除処理の種類として設定してもよい。

また、フォルダに対して重複排除処理の種類が設定されておらず、ファイル毎に重複排除処理の種類を決定することが設定されている場合には、書き込み部４３は、さらに、情報格納部４１におけるファイル−処理データ（図５参照）を取得する。そして、書き込み部４３は、書き込み対象のファイルと、ファイル−処理データとに基づいて、書き込み対象のファイルに適用する重複排除処理の種類を設定する。また、この場合には、書き込み部４３は、格納先データにおける未分類に対応する記憶部Ｃを格納先として設定する。さらに、書き込み部４３は、書き込み対象のファイルが何れのフォルダにも分類されていない場合にも、上記同様に、ファイル−処理データとに基づいて、書き込み対象のファイルに適用する重複排除処理の種類を設定する。

書き込み部４３は、上述したように設定した情報に基づいて、書き込み対象のファイルに対する重複排除処理を実行し、記憶部へのファイルの書き込みが確定した場合には、当該ファイルを上述のように決定した格納先に書き込む機能を備えている。

第２実施形態の情報処理装置２１（ストレージシステム２０）は上記のように構成されている。次に、情報処理装置２１における生成部４４の動作例を図８を利用して説明する。

例えば、生成部４４は、予め設定されたタイミングで（例えば、設定された時間間隔毎に）、仮想記憶部２３（記憶部Ａ，Ｂ，Ｃ）に格納されている各ファイルに対応する重複排除処理の種類をファイル−処理データに基づいて検知する（ステップＳ１）。そして、生成部４４は、その検知結果に基づいて、各フォルダにおける判断用割合Ｑを算出する（ステップＳ２）。具体例を挙げると、例えば、生成部４４は、各ファイルについて、ファイル−処理データに基づき、対応する重複排除処理の種類がカウント対象の種類（例えばインライン方式）であるか否かを判断する。そして、生成部４４は、ファイルに対応する重複排除処理の種類がカウント対象の種類であると判断した場合には、そのファイルが分類されているフォルダにおけるファイルのカウント数をカウントアップする。その後、生成部４４は、上記のような種類検知処理が終了した後に、各フォルダにおけるファイルの全数に対する上述したようなカウント数の割合を判断用割合Ｑとして算出する。

その後、生成部４４は、各フォルダに関し、算出した判断用割合Ｑが第１閾値Ｐ１（例えば８０％）を超えているか否かを判断する（ステップＳ３）。この判断により、生成部４４は、判断用割合Ｑが第１閾値Ｐ１を超えていると判断した場合には、そのフォルダに適用される重複排除処理の種類としてカウンタ対象の種類（つまり、インライン方式）を決定する（ステップＳ５）。

一方、生成部４４は、判断用割合Ｑが第１閾値Ｐ１以下であると判断した場合には、判断用割合Ｑが第２閾値Ｐ２未満であるか否かを判断する（ステップＳ４）。この判断により、生成部４４は、判断用割合Ｑが第２閾値Ｐ２未満であると判断した場合には、そのフォルダに適用される重複排除処理の種類としてカウンタ対象の種類以外の種類（つまり、ポストプロセス方式）を決定する（ステップＳ７）。また、生成部４４は、判断用割合Ｑが第２閾値Ｐ２以上であると判断した場合には、そのフォルダには重複排除処理の種類は設定せずにファイル毎に重複排除処理の種類を設定することを決定する（ステップＳ６）。

このように決定された内容と、記憶部−処理データとに基づいて、生成部４４は、格納先データを生成し、動作を終了し、次の動作に備える。

この第２実施形態の情報処理装置２１およびそれを備えるストレージシステム２０は、システムユーザがデータを記憶部に格納する際に、同じフォルダには同様な種類のデータを格納する傾向にあることを利用した構成を備えている。つまり、情報処理装置２１（ストレージシステム２０）は、ファイルに対する重複排除処理の種類を、当該ファイルが分類されるフォルダに基づいて決定する構成を備えている。このため、情報処理装置２１（ストレージシステム２０）は、重複排除処理の種類の決定が容易となり、当該重複排除処理の種類を決定する処理の負荷を軽減することができる。

また、フォルダに分類されているファイルの特徴や傾向が考慮された重複排除処理の種類が設定されることにより、情報処理装置２１（ストレージシステム２０）は、ＩＯ応答性と記憶領域の容量効率との良好なバランスを実現できる。

＜その他の実施形態＞
なお、本発明は第１と第２の実施形態に限定されずに、様々な実施の形態を採り得る。例えば、第２実施形態では、記憶部Ａ，Ｂ，Ｃは、ハードディスクである例を示しているが、記憶部はフラッシュメモリ等の半導体メモリや、光ディスク等の他の記憶媒体により構成されてもよい。

また、第２実施形態では、フォルダに分類されているファイルであっても、フォルダによっては、ファイル毎に重複排除処理の種類が決定される場合がある。これに代えて、全てのフォルダには、適用される重複排除処理の種類が設定されており、全てのファイルは、フォルダに設定される重複排除処理の種類によって設定されてもよい。

さらに、第２実施形態では、ファイルに適用される重複排除処理の種類は、インライン方式とポストプロセス方式の２種類である。これに代えて、採用される重複排除処理の種類とその数は、第２実施形態に示した種類と数に限定されない。さらに、第２実施形態では、記憶部（実ディスク）の数は、２つであるが、記憶部の数も限定されない。

１，２１ 情報処理装置
２，４３ 書き込み部
３，２０ ストレージシステム
４ 記憶部
４４ 生成部

Claims (8)

1. ファイルを分類する分類区分であるフォルダに設定されている重複排除処理の種類を表すデータと、記憶部への書き込み対象のファイルが分類されるフォルダとに基づいて、前記書き込み対象のファイルに適用する重複排除処理の種類を決定し、当該決定した種類の重複排除処理を前記書き込み対象のファイルに実行する書き込み部を備える情報処理装置。
2. 前記フォルダに分類されているファイルの種類に基づいて、前記フォルダに設定される重複排除処理の種類を決定する生成部をさらに備える情報処理装置。
3. 前記生成部は、前記フォルダに分類されているファイルの全数に対する、予め設定されたカウント対象の重複排除処理の種類に対応するファイルの数の割合を算出し、当該割合に基づいて前記フォルダに設定される重複排除処理の種類を決定する請求項２に記載の情報処理装置。
4. 前記生成部は、予め設定されたタイミング毎に、前記フォルダに設定されている重複排除処理の種類を見直す機能を備えている請求項２又は請求項３に記載の情報処理装置。
5. 前記書き込み部は、前記書き込み対象のファイルが分類される前記フォルダに重複排除処理の種類が設定されていない場合には、ファイルの種類に設定されている重複排除処理の種類を表すデータに基づいて、前記書き込み対象のファイルに適用する重複排除処理の種類を決定する請求項１乃至請求項４の何れか一つに記載の情報処理装置。
6. ファイルを格納する記憶部と、
   前記記憶部にファイルを書き込む機能を備えた情報処理装置と
   を備え、
   前記情報処理装置は、請求項１乃至請求項５の何れか一つに記載の情報処理装置であるストレージシステム。
7. ファイルを分類する分類区分であるフォルダに設定されている重複排除処理の種類を表すデータと、記憶部への書き込み対象のファイルが分類されるフォルダとに基づいて、前記書き込み対象のファイルに適用する重複排除処理の種類を決定し、
   決定した種類の重複排除処理を前記書き込み対象のファイルに実行する記憶制御方法。
8. ファイルを分類する分類区分であるフォルダに設定されている重複排除処理の種類を表すデータと、記憶部への書き込み対象のファイルが分類されるフォルダとに基づいて、前記書き込み対象のファイルに適用する重複排除処理の種類を決定する処理と、
   決定した種類の重複排除処理を前記書き込み対象のファイルに実行する処理と
   をコンピュータに実行させる処理手順を示すコンピュータプログラム。

Images