JP2016189058A - 情報処理装置、情報処理システム、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法、及び、プログラム Download PDF

Info

Publication number
JP2016189058A
JP2016189058A JP2015068077A JP2015068077A JP2016189058A JP 2016189058 A JP2016189058 A JP 2016189058A JP 2015068077 A JP2015068077 A JP 2015068077A JP 2015068077 A JP2015068077 A JP 2015068077A JP 2016189058 A JP2016189058 A JP 2016189058A
Authority
JP
Japan
Prior art keywords
file
data store
path name
hash calculation
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015068077A
Other languages
English (en)
Other versions
JP6515635B2 (ja
Inventor
政典 澤
Masanori Sawa
政典 澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2015068077A priority Critical patent/JP6515635B2/ja
Publication of JP2016189058A publication Critical patent/JP2016189058A/ja
Application granted granted Critical
Publication of JP6515635B2 publication Critical patent/JP6515635B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】
分散ファイルシステムにおいて、ストア間の空き容量の不均衡により性能が不安定になる。
【解決手段】
本発明の情報処理装置は、複数のデータストアから構成される分散ファイルシステムにファイルをアーカイブ保存する、クライアント端末から構成される。また、情報処理装置は、ファイルパス名のハッシュ計算を行うハッシュ計算手段と、ハッシュ計算手段に、ファイルパス名のハッシュ計算を指示し、ハッシュ計算で算出したファイルパス名のデータストアの空き容量に基づいて、データストアにファイルをアーカイブ保存する分散配置エージェント手段と、を包含する。
【選択図】 図1

Description

本発明は、情報処理装置、情報処理システム、情報処理方法、及び、そのためのプログラムに関する。
分散ファイルシステムの効率的な運用のため、GlusterFS(登録商標)に代表される、集中管理サーバ(メタデータサーバ、プロキシサーバ等)を設けず、また、ファイルパス名をハッシュ計算して格納ストアを決定するファイル単位の分散ファイルシステムがある。
一方、データの長期保管等の用途で用いられるアーカイブストレージのように、ファイルのアーカイブ保存・取り出し・削除のみに対応した単純な構造のストレージに対するニーズが存在する。特に容量・性能のスケールアウト性に強い分散ファイルシステムでは、アーカイブストレージを使用することが主流となっている。
特許文献1は、ハッシュアルゴリズムを用いて、重要なファイルの位置を不明瞭にして、セキュアなデータ記憶を実現するデータ記憶技術について開示している。
特許文献2は、集中管理型の分散ファイルシステムで起きていたボトルネックを解消し、効率化を図る技術を開示している。
特許文献3は、アーカイブストレージの基本的な動作に関する技術を開示している。
特開2014−516448号公報 特開2010−271797号公報 特開2005−115048号公報
ファイル数が多く、ファイルサイズも均一である場合、分散ファイルシステムを構成する各ストレージノード内の各ストアの空き容量は、均一となりやすい。
しかし、ファイル数が少なく、ファイルサイズも大小様々にバラついている場合、各ストアへの空き容量は、バラつく傾向にある。各ストアの分散配置がバラついていると、特定ストアだけが先に容量超過となる。その場合、関連技術では、ストア間の格納容量の不均衡により性能が不安定になる可能性がある。
なお、ファイルパス名のハッシュ計算から格納先のストアを決定する関連技術では、空き容量に余裕のあるストアにファイルを格納できるかは運任せである、とも言える。
このような問題に対して、集中管理サーバを追加することで、空き容量に余裕のあるストアに確実に格納することは容易に考えられる。しかし、集中管理サーバが、性能のボトルネックになる場合や、管理対象が増えることで、分散ファイルシステムの管理が複雑になってしまう場合がある。
また、大きなファイルを細かくブロック分割することで各ストアに分散配置され易くする手法があるが、ファイル取り出し時にブロックの再結合などの処理が複雑になる上に、ストア障害時のファイル消失率が高くなってしまう。
特許文献1は、ハッシュアルゴリズムの出力を用いて、システムファイルの置かれる位置を決定しているが、データのセキュリティ向上が目的であり、また、ストア間の格納容量の不均衡については言及していない。
特許文献2は、集中管理型分散ファイルシステムで起きていたデータ位置情報管理サーバのボトルネックを解消するが、ストア間の格納容量の不均衡への対応については言及していない。
特許文献3は、アーカイブストレージの基本的な動作について述べたものであり、ファイルの格納における効率化等に関しては記載されていない。
以上のように、上記の特許文献の技術では、分散ファイルシステムにおいて、ストア間の空き容量の不均衡による性能の不安定が生じてしまう、という問題がある。
このため、本発明の目的は、上述した課題である、分散ファイルシステムにおいて、ストア間の空き容量の不均衡により性能が不安定になる、という問題を解決することにある。
本発明の情報処理装置は、複数のデータストアから構成される分散ファイルシステムにファイルをアーカイブ保存する、クライアント端末から構成される情報処理装置であって、
ファイルパス名のハッシュ計算を行うハッシュ計算手段と、前記ハッシュ計算手段に、前記ファイルパス名のハッシュ計算を指示し、前記ハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量に基づいて、前記データストアに前記ファイルをアーカイブ保存する分散配置エージェント手段と、を包含する。
本発明の情報処理方法は、複数のデータストアから構成される分散ファイルシステムにファイルをアーカイブ保存する、クライアント端末から構成される情報処理方法であって、ファイルパス名のハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量に基づいて、前記データストアに前記ファイルをアーカイブ保存する。
本発明のコンピュータプログラムは、ファイルパス名のハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量に基づいて、前記データストアに前記ファイルをアーカイブ保存する処理をコンピュータに実行させる。
本発明によれば、分散ファイルシステムにおいて、ストア間の空き容量の不均衡が解消され、性能の安定性を確保できる効果を奏する。
図1は、情報処理システムの構成の一例を示すブロック図である。 図2は、分散配置テーブルの構成の一例を示す図である。 図3は、情報処理システムの動作(アーカイブ領域をマウントし、各データストアの空き容量を確認する動作)を示すシーケンス図である。 図4は、クライアント内分散ファイルIO部の動作(ファイルのアーカイブ保存)を示すフローチャートである。 図5は、クライアント内分散ファイルIO部の動作(アーカイブファイルの取出し)を示すフローチャートである。 図6は、クライアント内分散ファイルIO部の動作(アーカイブファイルの削除)を示すフローチャートである。 図7は、第二の実施形態に係る、情報処理装置の構成の一例を示すブロック図である。
<第一の実施形態>
本発明の第一の実施の形態について、図面を参照して詳細に説明する。
図1は、情報処理システム10の構成の一例を示すブロック図である。
情報処理システム10は、情報処理装置11と、分散ファイルシステム001を構成するストレージノード200A、200Bと、それらを接続するネットワーク300とを含んで構成される。
情報処理装置11は、クライアント端末100A、及び、100Bから構成される。
なお、図1では、情報処理装置11は、クライアント端末100A、100Bのように、2つの端末構成要素を有する場合を例示するが、3個以上の端末構成要素を含んでもよい。
また、下記では、クライアント端末100Aまたはクライアント端末100Bを示す場合、説明の都合上、クライアント端末100(100A、100B)またはクライアント端末100のようにも記載する。同様の記載は、他の各部にも適用されるものとする。
クライアント端末100(100A、100B)は、ローカルディスク101(101A、101B)、通信部102(102A、102B)、及び、クライアント内分散ファイルIO(Input Output)部103(103A、103B)から構成される。
ローカルディスク101(101A、101B)は、ファイルを格納する。
通信部102(102A、102B)は、ネットワーク300を介して、クライアント端末100(100A、100B)と分散ファイルシステム001を構成するストレージノード200(200A、200B)との通信を行う。
クライアント内分散ファイルIO部103(103A、103B)は、分散配置エージェント部104(104A、104B)、分散配置テーブル105(105A、105B)、ソルト値106(106A、106B)、及び、ハッシュ計算部107(107A、107B)から構成される。
分散配置エージェント部104(104A、104B)は、ハッシュ計算部107(107A、107B)がファイルパス名に対しハッシュ計算を行って得られたファイルパス名を有するデータストア201(201A、201B)の空き容量を検出する。そして、分散配置エージェント部104(104A、104B)は、その空き容量が分散配置テーブル105(105A、105B)で空き容量が多いデータストアのものか確認し、ローカルディスク101(101A、101B)に格納されているファイルをそこに保存する。なお、上記のハッシュ計算は、ソルト値106(106A、106B)を加えて行うことも可能である。
分散配置テーブル105(105A、105B)は、データストア201(201A、201B)の空き容量の情報を格納する。
ソルト値106(106A、106B)は、固定された有限数の値で、例えば、CA、K0等である。
ハッシュ計算部107(107A、107B)は、ファイルパス名のハッシュ計算を行う。なお、ハッシュ計算は、ハッシュ関数等を用いて行うが、一般に広く用いられているため、ハッシュ関数に関する詳細な説明は省略する。また、ハッシュ関数については、例えば、単一のハッシュ関数に限定せず複数のハッシュ関数を用いる、等としてもよい。
ストレージノード200(200A、200B)は、データストア201(201A、201B)、通信部202(202A、202B)、及び、ノード内分散ファイルIO部203(203A、203B)から構成される。
データストア201(201A、201B)は、ファイルを格納する。
通信部202(202A、202B)は、ネットワーク300を介して、クライアント端末100(100A、100B)との通信を行う。
ノード内分散ファイルIO部203(203A、203B)は、分散配置マネージャ部204(204A、204B)を有する。
分散配置マネージャ部204(204A、204B)は、複数のストレージノード200(200A、200B)から構成される分散ファイルシステム001におけるファイルの配置を管理する。
分散ファイルシステム001は、複数の各ストレージノード200(200A、200B)を束ねて一つのストレージシステムとして動作する。
ネットワーク300は、情報処理装置11を構成するクライアント端末100と分散ファイルシステム001を構成するストレージノード200を接続する。なお、ネットワーク300は、有線ネットワーク、無線ネットワーク、または、それらの混在のいずれで構成されてもよい。
ここで、通信部102、分散配置エージェント部104、ハッシュ計算部107、通信部202、及び、分散配置マネージャ部204は、例えば、論理回路等のハードウェア回路で構成される。
ローカルディスク101、及び、データストア201は、例えば、ディスク装置、半導体メモリ等の記憶装置で構成される。
分散配置テーブル105、及び、ソルト値106は、例えば、クライアント内分散ファイルIO部103内の図示されないメモリに格納される。
また、クライアント端末100(100A、100B)と、ストレージノード200(200A、200B)は、それぞれ、コンピュータ装置によって実現されてもよい。この場合、通信部102、分散配置エージェント部104、及び、ハッシュ計算部107と、通信部202及び分散配置マネージャ部204は、それぞれコンピュータであるクライアント端末100またはストレージノード200のそれぞれのプロセッサが、図示されないメモリ上のプログラムを実行することで実現される制御回路であってもよい。プログラムは、不揮発性メモリに格納されてもよい。
ところで、本実施形態の情報処理システム10におけるファイルのアーカイブ処理は、以下に示す、アーカイブ保存、アーカイブ取り出し、及び、アーカイブ削除の3機能を有していればよいものとする。
アーカイブ保存について説明する。情報処理システム10は、ローカルディスク101のオリジナルファイルのファイルパス名のハッシュ計算により求められる格納先のストアでは、各格納先のストア(データストア201)の空き容量に偏りが発生する場合がある。この場合、アーカイブ保存では、空き容量の多いデータストア201にファイルを格納するまで、ファイルパス名にソルト値106を加えた上でハッシュ計算を繰り返し、ファイルを保存する。
アーカイブ取り出し時には、情報処理システム10は、オリジナルファイルパス名でのハッシュ計算による格納先のストアにファイルが存在しない場合は、ファイルパス名にソルト値106を加えた上でハッシュ計算を繰り返し、データストア201からファイルを取り出す。全てのソルト値でもファイルが存在しなければ、情報処理システム10は、最初から存在しないファイルとして応答をユーザ端末に返す。
アーカイブ削除時には、情報処理システム10は、アーカイブ取出時と同様の手順で、データストア201内のファイルを削除する。
以下、アーカイブ領域をマウントし、各データストアの空き容量を確認する動作については、図3にて説明する。
また、クライアント端末100側のローカルファイルをアーカイブに保存する動作については、図4にて説明する。
そして、アーカイブファイルを取得する動作については図5にて、アーカイブファイルを削除する動作については図6にて説明する。
図2は、分散配置テーブル105の構成の一例を示す図である。図2に示すように、分散配置テーブル105は、各データストア201(データストア名)の空き容量の値を格納する。たとえば、データストアAはデータストア201A、データストアBはデータストア201Bに対応する。
分散配置テーブル105は、例えば、各データストア201を空き容量の大きい順にソートする。さらに、分散配置テーブル105は、例えば、空き容量の大きい順にソートされたデータにおいて、所定の空き容量、もしくは、所定の順位の箇所に所定の閾値を設けている。これにより、分散配置エージェント部104は、閾値より空き容量が多いデータストア201を空き容量の大きいストア(上位の空きストア)として指定する。
なお、図2に示したデータストア名(データストアA〜D)は、図1のデータストア201(201A、201B)の各要素(データストア201A、データストア201B)の単位で割り当てられたものでもよいし、データストア201(201A、201B)をさらに分割した要素に割り当てられてもよい。データストア名の単位は、データの格納の用途、目的等に応じて、適宜、設定または変更できるものとする。
ところで、上記の説明では、空き容量を評価関数とし分散配置テーブル105を作成しているが、ストア間の格納容量の均衡を保つことができる指標であれば、空き容量に限定せず、他のパラメータに置き換えてもよい。
図3は、情報処理システム10の動作(アーカイブ領域をマウントし、各データストア201の空き容量を確認する動作)を示すシーケンス図である。
まず、ユーザは、クライアント端末100とネットワーク300を介して接続する図示しないユーザ端末等から、クライアント内分散ファイルIO部103に対して、分散ファイルシステム001をファイルシステムとして利用可能にするために、分散ファイルシステム001をマウント実行する命令を出す(ステップA1)。そして、クライアント内分散ファイルIO部103(分散配置エージェント部104の動作とも記載できるが、以下、本図では、このように記載)は、ノード内分散ファイルIO部203(分散配置マネージャ部204の動作とも記載できるが、以下、本図では、このように記載)に対して、分散ファイルシステム001のマウント要求を行う(ステップA2)。
次に、ノード内分散ファイルIO部203は、通信部202を介して各データストア201の「データストア名、空き容量」情報をネットワーク300にブロードキャストする(ステップA3)。
クライアント内分散ファイルIO部103は、通信部202を介してノード内分散ファイルIO部203からのブロードキャストを受け取り、「データストア名、空き容量」からなる分散配置テーブル105(図2)を作成または更新する。例えば、空き容量順にソートして空き容量がより多い方のデータストア201を分散配置テーブル105に残す(ステップA4)。
一方、ノード内分散ファイルIO部203は、マウント実施とマウント完了通知を返送する(ステップA5)。
そして、ユーザは、ユーザ端末を介して、マウント完了通知を受け取る(ステップA6)。
なお、ノード内分散ファイルIO部203は、一定時間(例えば、300秒等)ごとに、各データストア201の「データストア名、空き容量」情報を、通信部202を介してブロードキャストする(ステップA7)。
そして、クライアント内分散ファイルIO部103は、ステップA4と同様に、ブロードキャストを受け取り、分散配置テーブル105を作成または更新し、例えば、空き容量順にソートして空き容量のより多い方のデータストア201を分散配置テーブル105に残す(ステップA8)。
図4は、クライアント内分散ファイルIO部103の動作(ファイルのアーカイブ保存)を示すフローチャートである。
まず、ユーザが、ユーザ端末を介して、例えば、ファイル名「fileA」のファイルのアーカイブ保存のための指示をクライアント端末100に対して実行する。そして、クライアント内分散ファイルIO部103は、ファイル名「fileA」のアーカイブ保存命令を受ける(ステップB1)。
次に、クライアント内分散ファイルIO部103(以下、分散配置エージェント部104の動作は分散配置エージェント部104と記載)は、「fileA」のファイルパス名から、ハッシュ計算部107にハッシュ計算を指示し、格納先のストア(実際は、そのファイルパス名)を算出する(ステップB2)。
そして、ステップB2の算出結果に基づいて、分散配置エージェント部104は、ステップB2で算出した格納先のデータストア201(以下、格納ストア、または、ストアとも記載)が、分散配置テーブル105において十分な空き容量を有する上位の空きストアに属するか(空き容量が所定の閾値より大きいか)判定する(ステップB3)。
空き容量が十分にある上位の空きストアに格納される場合(ステップB3でYesの場合)、分散配置エージェント部104は、ステップB2で算出した格納ストアに、ファイル名「fileA」でアーカイブ保存を実行する(ステップB4)。
そして、分散配置エージェント部104は、ファイル名「fileA」のアーカイブ保存完了を、ノード内分散ファイルIO部203(以下、ノード内分散ファイルIO部203の動作は分散配置マネージャ部204と記載)から受け取る(ステップB5)。
一方、ステップB3でNoの場合、分散配置エージェント部104は、ファイルパス名は元のままで、ファイルパス名にソルト値106を付け、格納ストアをハッシュ計算部107に命令して算出する(ステップB6)。
そして、分散配置エージェント部104は、ステップB6で算出した格納ストアが、分散配置テーブル105の上位の空きストアに属するか(所定の閾値より大きいか)繰り返し判定する(ステップB7)。なお、ステップB7で、分散配置エージェント部104は、上記の動作を、判定Yesまたは準備していたソルト値を使い果たすまで繰り返す。
その後(ステップB7でYes)、分散配置エージェント部104は、ステップB7で算出された格納ストアに、ファイル名「fileA」でアーカイブ保存を実行し(ステップB8)、ステップB5の動作を行う。
以上により、ファイル名「fileA」のアーカイブ保存は、完了する。
図5は、クライアント内分散ファイルIO部103の動作(アーカイブファイルの取出し)を示すフローチャートである。
まず、ユーザが、ユーザ端末を介して、ファイル名「fileA」のアーカイブ取出のための指示をクライアント端末100に対して実行する。そして、分散配置エージェント部104は、ファイル名「fileA」のアーカイブ取出命令を受ける(ステップC1)。
次に、分散配置エージェント部104は、「fileA」のファイルパス名から、ハッシュ計算部107にハッシュ計算を指示して、格納ストアを算出し、アーカイブ取出実行できるか判定する(ステップC2)。
ステップC2でYesの場合、分散配置エージェント部104は、直前手段による格納ストアから、ファイル名「fileA」をアーカイブ取出実行する(ステップC3)。
そして、分散配置エージェント部104は、ファイル名「fileA」のアーカイブ取出完了を、分散配置マネージャ部204から受け取り(ステップC4)、正常終了((ファイル名「fileA」のアーカイブ取出完了)する。
一方、ステップC2でNoの場合、分散配置エージェント部104は、ファイルパス名は元のままで、ファイルパス名にソルト値106を付けた場合のハッシュ計算をハッシュ計算部107に命令して格納ストアを算出し、「fileA」が存在するか繰り返し判定する(ステップC5)。
ステップC5でYesの場合、分散配置エージェント部104は、直前手段による格納ストアから、ファイル名「fileA」をアーカイブ取出実行する(ステップC6)。
一方、ステップC5でNoの場合、分散配置エージェント部104は、エラー(file not found)を、分散配置マネージャ部204から受け取り(ステップC7)、異常終了する。この場合、ファイル名「fileA」は存在しない。
図6は、クライアント内分散ファイルIO部103の動作(アーカイブファイルの削除)を示すフローチャートである。
なお、図6におけるクライアント内分散ファイルIO部103の各動作は、図5における「取得」を「削除」の動作に置き換えたものである。
まず、ユーザが、ユーザ端末を介して、ファイル名「fileA」のアーカイブ削除のための指示をクライアント端末100に対して実行する。そして、分散配置エージェント部104は、ファイル名「fileA」のアーカイブ削除命令を受ける(ステップD1)。
次に、分散配置エージェント部104は、「fileA」のファイルパス名から、ハッシュ計算部107にハッシュ計算を指示して、格納ストアを算出し、アーカイブ削除実行できるか判定する(ステップD2)。
ステップD2でYesの場合、分散配置エージェント部104は、直前手段による格納ストアから、ファイル名「fileA」をアーカイブ削除実行する(ステップD3)。
そして、分散配置エージェント部104は、ファイル名「fileA」のアーカイブ削除完了を、分散配置マネージャ部204から受け取り(ステップD4)、正常終了((ファイル名「fileA」のアーカイブ削除完了)する。
一方、ステップD2でNoの場合、分散配置エージェント部104は、ファイルパス名は元のままで、ファイルパス名にソルト値106を付けた場合のハッシュ計算をハッシュ計算部107に命令して格納ファイルを算出し、「fileA」が存在するか繰り返し判定する(ステップD5)。
ステップD5でYesの場合、分散配置エージェント部104は、直前手段による格納ストアから、ファイル名「fileA」をアーカイブ削除実行する(ステップD6)。
一方、ステップD5でNoの場合、分散配置エージェント部104は、エラー(file not found)を、分散配置マネージャ部204から受け取り(ステップD7)、異常終了する(ファイル名「fileA」は存在しない)。
以上、述べてきたように、本実施形態の情報処理システム10は、集中管理サーバのない分散ファイルシステムのメリット(ボトルネック排除、管理の簡素化)、及び、ファイル単位管理のメリット(ブロック単位のようにブロック再結合などで処理が複雑かつオーバーヘッドにならず、ストア障害時のファイル消失リスクも軽減できる)を維持しつつ、空き容量に余裕のあるストアにデータを格納することができる。
また、上記の結果、特定のストアの容量が超過する以前に容量の最適化が実行されることで、特定ストアにIOが集中することなく、ストア全体にIOも均一化されやすくなる。その結果、情報処理システム10は、分散ファイルストレージとしての性能も向上する。
本実施形態に係る情報処理システム10は、以下に記載するような効果を奏する。
分散ファイルシステムにおいて、ストア間の空き容量の不均衡が解消され性能の安定性を確保できる、という効果を奏する。
その理由は、ハッシュ計算で算出したファイルパス名のデータストア201の空き容量に基づいて、データストア201にファイルをアーカイブ保存するからである。
<第二の実施形態>
次に、本発明の第二の実施の形態について図面を参照して詳細に説明する。
図7は、第二の実施形態に係る、情報処理装置40の構成の一例を示すブロック図である。
情報処理装置40は、分散配置エージェント部41、及び、ハッシュ計算部42から構成される。
情報処理装置40は、複数のデータストアから構成される分散ファイルシステムにファイルをアーカイブ保存する、クライアント端末から構成される。
情報処理装置40は、ファイルパス名のハッシュ計算を行うハッシュ計算部42と、ハッシュ計算部42に、ファイルパス名のハッシュ計算を指示し、ハッシュ計算で算出したファイルパス名のデータストアの空き容量に基づいて、データストアにファイルをアーカイブ保存する分散配置エージェント部41と、を包含する。
本実施形態に係る情報処理装置40は、以下に記載するような効果を奏する。
分散ファイルシステムにおいて、ストア間の空き容量の不均衡が解消され性能の安定性を確保できる、という効果を奏する。
その理由は、ハッシュ計算で算出したファイルパス名のデータストアの空き容量に基づいて、データストア201にファイルをアーカイブ保存するからである。
以上、図面を参照して本発明の実施形態を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
001 分散ファイルシステム
10 情報処理システム
100(100A、100B) クライアント端末
101(101A、101B) ローカルディスク
102(102A、102B) 通信部
103(103A、103B) クライアント内分散ファイルIO部
104(104A、104B) 分散配置エージェント部
105(105A、105B) 分散配置テーブル
106(106A、106B) ソルト値
107(107A、107B) ハッシュ計算部
11 情報処理装置
200(200A、200B) ストレージノード
201(201A、201B) データストア
202(202A、202B) 通信部
203(203A、203B) ノード内分散ファイルIO部
204(204A、204B) 分散配置マネージャ部
300 ネットワーク
40 情報処理装置
41 分散配置エージェント部
42 ハッシュ計算部

Claims (10)

  1. 複数のデータストアから構成される分散ファイルシステムにファイルをアーカイブ保存する、クライアント端末から構成される情報処理装置であって、
    ファイルパス名のハッシュ計算を行うハッシュ計算手段と、
    前記ハッシュ計算手段に、前記ファイルパス名のハッシュ計算を指示し、前記ハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量に基づいて、前記データストアに前記ファイルをアーカイブ保存する分散配置エージェント手段と、を包含する情報処理装置。
  2. 前記分散配置エージェント手段が、前記ハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量が所定の閾値より大きい場合に、前記データストアに前記ファイルをアーカイブ保存する、請求項1に記載の情報処理装置。
  3. 前記分散配置エージェント手段が、前記ハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量が所定の閾値より大きくない場合に、前記ファイルパス名にソルト値を加えて前記ハッシュ計算で算出したファイルパス名のデータストアの空き容量が所定の閾値より大きい場合に、前記ファイルパス名にソルト値を加えて前記ハッシュ計算で算出したファイルパス名のデータストアに前記ファイルをアーカイブ保存する、請求項1に記載の情報処理装置。
  4. 請求項1乃至3のいずれか1項に記載の情報処理装置と、
    前記分散ファイルシステムと、を包含する、情報処理システム。
  5. 複数のデータストアから構成される分散ファイルシステムにファイルをアーカイブ保存する、クライアント端末から構成される情報処理方法であって、
    ファイルパス名のハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量に基づいて、前記データストアに前記ファイルをアーカイブ保存する、情報処理方法。
  6. 前記ハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量が所定の閾値より大きい場合に、前記データストアに前記ファイルをアーカイブ保存する、請求項5に記載の情報処理方法。
  7. 前記ハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量が所定の閾値より大きくない場合に、前記ファイルパス名にソルト値を加えて前記ハッシュ計算で算出したファイルパス名のデータストアの空き容量が所定の閾値より大きい場合に、前記ファイルパス名にソルト値を加えて前記ハッシュ計算で算出したファイルパス名のデータストアに前記ファイルをアーカイブ保存する、請求項5に記載の情報処理方法。
  8. ファイルパス名のハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量に基づいて、前記データストアに前記ファイルをアーカイブ保存する処理をコンピュータに実行させるプログラム。
  9. 前記ハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量が所定の閾値より大きい場合に、前記データストアに前記ファイルをアーカイブ保存する処理を前記コンピュータに実行させる請求項8に記載のプログラム。
  10. 前記ハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量が所定の閾値より大きくない場合に、前記ファイルパス名にソルト値を加えて前記ハッシュ計算で算出したファイルパス名のデータストアの空き容量が所定の閾値より大きい場合に、前記ファイルパス名にソルト値を加えて前記ハッシュ計算で算出したファイルパス名のデータストア前記ファイルをアーカイブ保存する処理を前記コンピュータに実行させる請求項9に記載のプログラム。
JP2015068077A 2015-03-30 2015-03-30 情報処理装置、情報処理システム、情報処理方法、及び、プログラム Active JP6515635B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015068077A JP6515635B2 (ja) 2015-03-30 2015-03-30 情報処理装置、情報処理システム、情報処理方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015068077A JP6515635B2 (ja) 2015-03-30 2015-03-30 情報処理装置、情報処理システム、情報処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2016189058A true JP2016189058A (ja) 2016-11-04
JP6515635B2 JP6515635B2 (ja) 2019-05-22

Family

ID=57240561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015068077A Active JP6515635B2 (ja) 2015-03-30 2015-03-30 情報処理装置、情報処理システム、情報処理方法、及び、プログラム

Country Status (1)

Country Link
JP (1) JP6515635B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006058965A (ja) * 2004-08-17 2006-03-02 Fujitsu Ltd ファイル管理プログラム、ファイル管理方法、及びファイル管理装置
JP2007073004A (ja) * 2005-09-09 2007-03-22 Canon Inc データ保全情報装置、分散ストレージシステム及びその方法
JP2008059398A (ja) * 2006-08-31 2008-03-13 Brother Ind Ltd 識別情報割当装置及びその情報処理方法並びにそのプログラム
JP2010231576A (ja) * 2009-03-27 2010-10-14 Brother Ind Ltd ノード装置、ノード処理プログラム及びコンテンツ保存方法
US20130055371A1 (en) * 2011-08-26 2013-02-28 Fujitsu Limited Storage control method and information processing apparatus
JP2013186825A (ja) * 2012-03-09 2013-09-19 Toshiba Corp 映像収録再生装置及びリビルド処理方法
JP2014516448A (ja) * 2011-04-28 2014-07-10 アブシオ コーポレイション セキュアなデータ記憶

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006058965A (ja) * 2004-08-17 2006-03-02 Fujitsu Ltd ファイル管理プログラム、ファイル管理方法、及びファイル管理装置
JP2007073004A (ja) * 2005-09-09 2007-03-22 Canon Inc データ保全情報装置、分散ストレージシステム及びその方法
JP2008059398A (ja) * 2006-08-31 2008-03-13 Brother Ind Ltd 識別情報割当装置及びその情報処理方法並びにそのプログラム
JP2010231576A (ja) * 2009-03-27 2010-10-14 Brother Ind Ltd ノード装置、ノード処理プログラム及びコンテンツ保存方法
JP2014516448A (ja) * 2011-04-28 2014-07-10 アブシオ コーポレイション セキュアなデータ記憶
US20130055371A1 (en) * 2011-08-26 2013-02-28 Fujitsu Limited Storage control method and information processing apparatus
JP2013045379A (ja) * 2011-08-26 2013-03-04 Fujitsu Ltd ストレージ制御方法、情報処理装置およびプログラム
JP2013186825A (ja) * 2012-03-09 2013-09-19 Toshiba Corp 映像収録再生装置及びリビルド処理方法

Also Published As

Publication number Publication date
JP6515635B2 (ja) 2019-05-22

Similar Documents

Publication Publication Date Title
US11422853B2 (en) Dynamic tree determination for data processing
US10853242B2 (en) Deduplication and garbage collection across logical databases
US10908834B2 (en) Load balancing for scalable storage system
US9594801B2 (en) Systems and methods for allocating work for various types of services among nodes in a distributed computing system
US11188423B2 (en) Data processing apparatus and method
US20170093721A1 (en) Setting method, server device and service chain system
TWI746511B (zh) 資料表連接方法及裝置
US10929100B2 (en) Mitigating causality discrepancies caused by stale versioning
US9754032B2 (en) Distributed multi-system management
WO2021139431A1 (zh) 微服务的数据同步方法、装置、电子设备及存储介质
US10503737B1 (en) Bloom filter partitioning
WO2017107984A1 (zh) 一种数据恢复方法及装置
CN105320577B (zh) 一种数据备份和恢复方法、系统及装置
WO2019001021A1 (zh) 数据处理方法、装置、系统、服务器及计算机存储介质
US9684668B1 (en) Systems and methods for performing lookups on distributed deduplicated data systems
US20220391411A1 (en) Dynamic adaptive partition splitting
US10083121B2 (en) Storage system and storage method
JP2010170475A (ja) ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム
JP6515635B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
US10511656B1 (en) Log information transmission integrity
Ying et al. Consistent hashing algorithm based on slice in improving Scrapy-Redis distributed crawler efficiency
CN113111119B (zh) 一种操作数据的方法和装置
JP6568232B2 (ja) 計算機システム、及び、装置の管理方法
JP2013134522A (ja) データ管理システム、データ管理方法及びデータ管理プログラム
US20170105056A1 (en) Bulk telephony control system subscriber data manipulation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190401

R150 Certificate of patent or registration of utility model

Ref document number: 6515635

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150