JP2006185413A - 自律ストレージ装置、自律ストレージシステム、分散ストレージシステム、負荷分散プログラム及び負荷分散方法 - Google Patents

自律ストレージ装置、自律ストレージシステム、分散ストレージシステム、負荷分散プログラム及び負荷分散方法 Download PDF

Info

Publication number
JP2006185413A
JP2006185413A JP2005203524A JP2005203524A JP2006185413A JP 2006185413 A JP2006185413 A JP 2006185413A JP 2005203524 A JP2005203524 A JP 2005203524A JP 2005203524 A JP2005203524 A JP 2005203524A JP 2006185413 A JP2006185413 A JP 2006185413A
Authority
JP
Japan
Prior art keywords
content
autonomous storage
storage device
access
autonomous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005203524A
Other languages
English (en)
Other versions
JP4728717B2 (ja
Inventor
Haruo Yokota
治夫 横田
Masaru Kobayashi
大 小林
Akitsugu Watanabe
明嗣 渡邊
Muneyoshi Yamaguchi
宗慶 山口
Akira Taguchi
亮 田口
Toshihiro Uehara
年博 上原
Naoto Hayashi
直人 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Tokyo Institute of Technology NUC
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Tokyo Institute of Technology NUC, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2005203524A priority Critical patent/JP4728717B2/ja
Publication of JP2006185413A publication Critical patent/JP2006185413A/ja
Application granted granted Critical
Publication of JP4728717B2 publication Critical patent/JP4728717B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】 自律ストレージシステムにおいて、アクセス負荷が集中した自律ストレージ装置から、他の自律ストレージ装置にコンテンツを移動する際に、システム全体のスループットの低下を防止することが可能な自律ストレージ装置を提供する。
【解決手段】 自律ストレージ装置2は、負荷状態を検出する負荷状態検出手段261aと、その負荷状態に基づいて、複数の原コンテンツ30aの中から、他の自律ストレージ装置に移動させる原コンテンツ30aを設定する移動コンテンツ設定手段261bと、原コンテンツ30aに対するアクセスを、当該原コンテンツ30aに対応する複製コンテンツを記憶している他の自律ストレージ装置に分配するアクセス分配手段27とを備え、アクセスを分配している間に、原コンテンツ30aを他の自律ストレージ装置に移動させることを特徴とする。
【選択図】 図2

Description

本発明は、ネットワーク上でコンテンツ(データ)を分散して記憶する際に、アクセス負荷を分散させることが可能な自律ストレージ装置、自律ストレージシステム、分散ストレージシステム、負荷分散プログラム及び負荷分散方法に関する。
近年、コンピュータで利用するコンテンツのデータ量は増加し続けており、それに伴いコンテンツを記憶するハードディスク等の記憶装置(ストレージ)の容量も増大している。しかし、記憶装置は故障する可能性があるため、記憶装置の故障によるコンテンツの損失は、記憶装置の容量の増大に伴い大きくなっている。そこで、最近では、記憶装置の信頼性、安全性、可用性及び拡張性を向上させる技術として、自律ストレージシステムが提案されている(例えば、非特許文献1参照)。
この自律ストレージシステムは、ネットワークに接続された複数の自律ストレージ装置が、ネットワークを介して、当該装置の負荷情報、故障情報等を交換し、予め定めた自律分散管理ルールに基づいて、他の自律ストレージ装置と協働しながら、コンテンツの複製や移動を行うものである。これによって、自律ストレージシステムでは、コンテンツを記憶する際の負荷分散や故障回復のほか、自律ストレージ装置の拡張や除去を行うことができる。なお、一般に、負荷分散等を実現するためにコンテンツ(データ)を移動させることを、マイグレーション(migration)と呼んでいる。
ここで、図11及び図12を参照して、従来の自律ストレージシステムにおけるマイグレーションによる負荷分散方法について説明する。図11は、従来の自律ストレージシステムにおける負荷分散動作を示すフローチャートである。図12は、図11におけるマイグレーションプロセスの詳細な動作を示すフローチャートである。
また、ここで、プロセスとは、関連する複数の処理を一つの処理単位としてまとめたものをいう。このプロセス同士は一つの自律ストレージ装置の中で共存して、並行動作することができる。また、プロセスは、システムの中で一意の識別子を持ち、その識別子により他のプロセスと判別される。また、プロセスは、複数の自律ストレージ装置にまたがって動作することができる。
図11に示すように、従来の自律ストレージシステムでは、各自律ストレージ装置が負荷状態を検出し、ネットワークに接続された複数の自律ストレージ装置間で、設定した閾値を超えて過負荷となっている自律ストレージ装置を判定する(ステップS50)。そして、自律ストレージシステムは、マイグレーションを行う際の、転送元のコンテンツ、その転送先等のマイグレーションの内容(戦略)を決定する(ステップS51)。
そして、自律ストレージシステムは、決定されたマイグレーションの内容に基づいて、一つのコンテンツに対して、マイグレーション処理を実行する(ステップS52)。さらに、自律ストレージシステムは、まだ、マイグレーションの対象となるコンテンツが、存在する場合(ステップS53で「有り」)、ステップS52のマイグレーション処理を継続して実行し、対象となるコンテンツが存在しない場合(ステップS53で「無し」)、処理を終了する。これによって、マイグレーション元の自律ストレージ装置は過負荷状態を脱し、自律ストレージシステムを構成する各自律ストレージ装置に対するアクセス負荷の均衡化が行われたことになる。
ここで、図12を参照して、ステップS52における「マイグレーション処理」の動作について詳細に説明する。
図12に示すように、ここでは、ある自律ストレージ装置2BSから、自律ストレージ装置2BTに、コンテンツを移動するマイグレーションの内容が、ステップS51(図11参照)で決定されたものとする。
まず、自律ストレージ装置2BSにおいて、マイグレーションの対象となるコンテンツ(対象コンテンツ)をファイル名等によって特定していくとともに、対象のコンテンツを特定するための部分情報(インデックス情報)に順次共有ロックをかけていく(ステップS60)。さらに、自律ストレージ装置2BSは、対象コンテンツを共有ロックする(ステップS61)。ここで、共有ロックとは、インデックス情報、コンテンツ等の情報に対してロック処理を実行しているプロセス(ここでは、マイグレーションのプロセス)以外からの、当該情報に対する参照(読み出し処理)は許可するが、挿入、更新、削除等(書き込み処理)の操作は禁止するロックのことをいう。なお、ここでは、共有ロックの状態は、コンテンツの移動先や複製先まで引き継がれることとしている。
そして、自律ストレージ装置2BSは、転送先の自律ストレージ装置2BTに、対象コンテンツの複製を転送する(ステップS62)。そして、自律ストレージ装置2BTは、その転送された対象コンテンツの複製を受信し記憶する(ステップS63)。
その後、自律ストレージ装置2BSは、対象コンテンツ及びインデックス情報を排他ロックする(ステップS64)。ここで、排他ロックとは、当該プロセス以外からの、その情報(インデックス情報、対象コンテンツ)に対する全ての参照、挿入、更新、削除の操作を禁止するロックのことをいう。なお、ここでは、排他ロックの状態は、コンテンツの移動先や複製先まで、引き継がれることとしている。
そして、自律ストレージ装置2BSは、インデックス情報から対象コンテンツの情報(識別情報等)を削除する(ステップS65)。一方、自律ストレージ装置2BTは、インデックス情報に対象コンテンツの情報を挿入する(ステップS66)。このように、対象コンテンツの情報がインデックス情報に挿入されると、当該プロセス以外からもインデックス情報をたどることで対象コンテンツへのアクセスが可能となる。
このインデックス情報の更新が終了した段階で、自律ストレージ装置2BSは、対象コンテンツ及びインデックス情報にかけられている全ての共有ロック及び排他ロックを解除し(ステップS67)、対象コンテンツを削除する(ステップS68)。
以上の動作によって、自律ストレージシステムが動作しているときであっても、自律ストレージ装置間でコンテンツを移動することができる。
次に、図13を参照して、従来の自律ストレージシステムにおけるマイグレーション動作について、具体例を示して説明する。図13は、従来の自律ストレージシステムにおけるマイグレーション動作を示した模式図である。ここでは、自律ストレージシステムを構成する自律ストレージ装置2B(2B1〜2B4)に、コンテンツ(C1〜C16、C´1〜C´16)が記憶された状態を示している。なお、コンテンツC´1〜C´16は、コンテンツC1〜C16の複製(複製コンテンツ)を示している。
ここで、図13(a)に示すように、自律ストレージ装置2B2にアクセスが集中し、自律ストレージシステムが、自律ストレージ装置2B2から自律ストレージ装置2B4に対して、コンテンツC7及びC8を移動させることを決定したとする。
すると、自律ストレージシステムは、図13(b)に示すように、図11及び図12で説明した手順に従って、ロック制御を行いながら、自律ストレージ装置2B2から自律ストレージ装置2B4にコンテンツC8を移動させる。
さらに、自律ストレージシステムは、図13(c)に示すように、ロック制御を行いながら、自律ストレージ装置2B2から自律ストレージ装置2B4にコンテンツC7を移動させる。なお、このコンテンツC7の移動中は、すでに移動させたコンテンツC8へのアクセスは、自律ストレージ装置2B4に対して行われる。
そして、コンテンツC7の移動後、自律ストレージシステムは、図13(d)に示すように、コンテンツC7及びC8へのアクセスが、自律ストレージ装置2B4に対して行われることになり、図13(a)において、自律ストレージ装置2B2に集中していたアクセスが、自律ストレージ装置2B4に分散され、アクセス負荷の均衡化が実現される。
「Haruo Yokota,"Autonomous Disks for Advanced Database Applications",In Proc. of International Symposium on Database Applications in Non-Traditional Environments(DANTE'99),pages 441-448,Nov,1999.」
前記した従来の技術では、自律ストレージシステムにおいて、自律ストレージ装置に対するアクセス負荷を均衡化するために、アクセス負荷が集中している自律ストレージ装置から、コンテンツを移動する必要がある。このコンテンツの移動は、自律ストレージ装置(あるいは、その構成要素であるハードディスク等の記憶装置)のアクセス能力や、自律ストレージ装置が接続されているネットワークの帯域を利用して行われる。
このため、急激なアクセスの集中等によって、自律ストレージ装置(記憶装置)のアクセス能力や、ネットワークの帯域が飽和した状態になった場合には、コンテンツの移動が行えないという問題があった。さらに、この状態において、利用者からのコンテンツの要求に対する応答の遅延や、応答そのものができなくなってしまう等の問題もある。
この問題を解決するために、アクセス負荷の集中が少ないうちに、コンテンツの移動を行うことが考えられる。しかし、この場合、コンテンツを移動する頻度が増えることになり、自律ストレージ装置(記憶装置)へのアクセスや、ネットワーク転送が増加してしまい、自律ストレージシステム全体としてのスループットが低下してしまうという問題がある。
本発明は、以上のような問題点に鑑みてなされたものであり、自律ストレージシステムにおいて、ある自律ストレージ装置へのアクセス負荷が集中し、このアクセス負荷を分散するために、コンテンツを他の自律ストレージ装置に移動(マイグレーション)する際に、そのコンテンツの移動に伴うリソース(ネットワークの帯域等)を確保し、システム全体のスループットの低下を防止することが可能な自律ストレージ装置、自律ストレージシステム、分散ストレージシステム、負荷分散プログラム及び負荷分散方法を提供することを目的とする。
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載の自律ストレージ装置は、ネットワークに複数接続されて、コンテンツを原コンテンツ及び当該原コンテンツの複製である複製コンテンツとして分散して記憶する自律ストレージ装置において、コンテンツ記憶手段と、負荷状態検出手段と、移動コンテンツ設定手段と、分配率設定手段と、アクセス分配手段と、コンテンツ移動手段とを備える構成とした。
かかる構成によれば、自律ストレージ装置は、コンテンツ記憶手段に原コンテンツと、ネットワークに接続された他の自律ストレージ装置に記憶されるコンテンツ(原コンテンツ)に対応する複製コンテンツとを記憶する。
なお、ここで用いているコンテンツは、自律ストレージ装置に記憶されるデータを番組、文書ファイル等意味的にまとめたものであってもよいし、番組、文書ファイル等のデータの一部分のみを取り出したものであってもよい。
そして、自律ストレージ装置は、負荷状態検出手段によって、当該自律ストレージ装置及び前記原コンテンツへのアクセス状況に基づいて、負荷状態を検出する。このとき、負荷状態検出手段は、ネットワークに接続されている全ての自律ストレージ装置の負荷状態検出手段と協働することで、どの自律ストレージ装置にアクセス負荷が集中しているかを認識することができる。
また、自律ストレージ装置は、移動コンテンツ設定手段によって、負荷状態検出手段で検出された負荷状態に基づいて、複数の原コンテンツの中から、他の自律ストレージ装置に移動させる原コンテンツ(マイグレーション対象コンテンツ)を設定する。
そして、自律ストレージ装置は、分配率設定手段によって、当該自律ストレージ装置、又は、当該自律ストレージ装置及び他の自律ストレージ装置に記憶されたコンテンツへのアクセス状況に基づいて、アクセスの分配率を設定する。
そして、自律ストレージ装置は、アクセス分配手段によって、マイグレーション対象コンテンツが記憶されている自律ストレージ装置へのアクセスのうち、分配率設定手段で設定された分配率に応じたアクセスを、原コンテンツに対応する複製コンテンツを記憶している他の自律ストレージ装置に分配する。これによって、移動用のコンテンツへのアクセス負荷は、複製コンテンツに対してなされることになり、当該自律ストレージ装置へのアクセス負荷が低減されることになる。
さらに、自律ストレージ装置は、アクセス分配手段において分配率設定手段で設定された分配率でアクセスの分配が開始された後に、コンテンツ移動手段によって、移動コンテンツ設定手段で設定された原コンテンツ(マイグレーション対象コンテンツ)を、他の自律ストレージ装置に移動する。これによって、自律ストレージ装置に対するアクセスが分散されることになる。
また、請求項2に記載の自律ストレージ装置は、請求項1に記載の自律ストレージ装置において、キャッシュメモリと、キャッシュ判定手段とを備え、前記アクセス分配手段が、前記分配率に基づいて前記キャッシュメモリに存在しなかったコンテンツから優先的に他の自律ストレージ装置に分配する構成とした。
かかる構成によれば、自律ストレージ装置は、キャッシュメモリに、次にアクセスされる可能性の高いコンテンツを予め予想して一時的に記憶し、キャッシュ判定手段によって、そのキャッシュメモリ内に、コンテンツのデータが存在するか否かを判定する。そして、自律ストレージ装置は、アクセス分配手段によって、分配率によりキャッシュメモリに存在しなかったコンテンツから優先的に他の自律ストレージ装置にアクセスを分配する。
これによって、自律ストレージ装置は、キャッシュメモリにコンテンツのデータが存在する(ヒットする)コンテンツについては、そのまま当該自律ストレージ装置によりアクセスされることになる。
さらに、請求項3に記載の自律ストレージ装置は、請求項1又は請求項2に記載の自律ストレージ装置において、前記移動コンテンツ設定手段が、前記負荷状態を示す値が予め定めた閾値を超過した場合に、他の自律ストレージ装置に移動させる原コンテンツを設定する構成とした。
かかる構成によれば、自律ストレージ装置は、負荷状態を検出する際に、負荷状態を示す値が、ある一定量(閾値)となるまで、アクセスの分配のみを行い、その一定量を超過した場合に、コンテンツの移動を行うことが可能になる。
また、請求項4に記載の自律ストレージシステムは、コンテンツを原コンテンツ及び当該原コンテンツの複製である複製コンテンツとして分散して記憶する自律ストレージ装置を、ネットワークを介して複数接続した自律ストレージシステムであって、前記自律ストレージ装置は、コンテンツ記憶手段と、負荷状態検出手段と、移動コンテンツ設定手段と、分配率設定手段と、アクセス分配手段と、コンテンツ移動手段とを備える構成とした。
かかる構成によれば、自律ストレージシステムは、ネットワークを介して接続された各自律ストレージ装置において、コンテンツ記憶手段に原コンテンツと、他の自律ストレージ装置に記憶されるコンテンツ(原コンテンツ)に対応する複製コンテンツとを記憶する。そして、自律ストレージシステムは、自律ストレージ装置の負荷状態検出手段によって、どの自律ストレージ装置にアクセス負荷が集中しているかを検出する。
さらに、自律ストレージシステムは、アクセス負荷が集中している自律ストレージ装置において、移動コンテンツ設定手段によって、負荷状態検出手段で検出された負荷状態により、複数の原コンテンツの中から、他の自律ストレージ装置に移動させる原コンテンツを設定する。そして、当該自律ストレージ装置において、分配率設定手段によって、原コンテンツへのアクセス状況によりアクセスの分配率を設定し、アクセス分配手段によって、その設定された分配率に応じて、当該自律ストレージ装置に記憶された原コンテンツに対するアクセスの一部を、当該原コンテンツに対応する複製コンテンツを記憶している他の自律ストレージ装置に分配する。
そして、自律ストレージシステムは、アクセス負荷が集中している自律ストレージ装置のアクセス分配手段によって、分配率設定手段で設定された分配率に応じたアクセスの分配が開始された後に、コンテンツ移動手段によって、マイグレーション対象コンテンツを他の自律ストレージ装置に移動する。これによって、自律ストレージシステムを構成している各自律ストレージ装置のアクセス負荷が分散されることになる。
さらに、請求項5に記載の負荷分散プログラムは、コンテンツを記憶するコンテンツ記憶手段を備え、ネットワークに複数接続されることで前記コンテンツを原コンテンツ及び複製コンテンツとして分散して記憶する自律ストレージ装置の負荷を分散させるために、コンピュータを、負荷状態検出手段、移動コンテンツ設定手段、分配率設定手段、アクセス分配手段、コンテンツ移動手段として機能させる構成とした。
かかる構成によれば、負荷分散プログラムは、負荷状態検出手段によって、当該自律ストレージ装置及び前記原コンテンツへのアクセス状況に基づいて、負荷状態を検出する。
また、負荷分散プログラムは、移動コンテンツ設定手段によって、負荷状態検出手段で検出された負荷状態に基づいて、複数の原コンテンツの中から、他の自律ストレージ装置に移動させる原コンテンツ(マイグレーション対象コンテンツ)を設定する。
そして、負荷分散プログラムは、分配率設定手段によって、当該自律ストレージ装置、又は、当該自律ストレージ装置及び他の自律ストレージ装置に記憶されたコンテンツへのアクセス状況に基づいて、アクセスの分配率を設定する。
そして、負荷分散プログラムは、アクセス分配手段によって、マイグレーション対象コンテンツが記憶されている自律ストレージ装置へのアクセスのうち、分配率設定手段で設定された分配率に応じたアクセスを、原コンテンツに対応する複製コンテンツを記憶している他の自律ストレージ装置に分配する。
さらに、負荷分散プログラムは、コンテンツ移動手段によって、アクセス分配手段でアクセスの分配が開始された後に、移動コンテンツ設定手段で設定された原コンテンツ(マイグレーション対象コンテンツ)を、他の自律ストレージ装置に移動する。これによって、自律ストレージ装置に対するアクセスが分散されることになる。
また、請求項6に記載の負荷分散方法は、コンテンツを記憶するコンテンツ記憶手段を備えた自律ストレージ装置を、ネットワークに複数接続することで、前記コンテンツを原コンテンツ及び複製コンテンツとして分散して記憶する自律ストレージシステムにおいて、前記自律ストレージ装置間の負荷分散を行う負荷分散方法であって、負荷状態検出ステップと、移動コンテンツ設定ステップと、分配率設定ステップと、アクセス分配ステップと、コンテンツ移動ステップとを含む手順とした。
この手順によれば、負荷分散方法は、負荷状態検出ステップで、前記自律ストレージ装置及び前記原コンテンツへのアクセス状況に基づいて、負荷状態を検出する。そして、移動コンテンツ設定ステップで、負荷状態に基づいて、複数の原コンテンツの中から、他の自律ストレージ装置に移動させる原コンテンツ(マイグレーション対象コンテンツ)を設定する。
そして、負荷分散方法は、分配率設定ステップで、当該自律ストレージ装置、又は、当該自律ストレージ装置及び他の自律ストレージ装置に記憶されたコンテンツへのアクセス状況に基づいて、アクセスの分配率を設定する。
そして、負荷分散方法は、アクセス分配ステップで、マイグレーション対象コンテンツが記憶されている自律ストレージ装置へのアクセスのうち、分配率設定ステップで設定された分配率に応じたアクセスを、当該原コンテンツに対応する複製コンテンツを記憶している他の自律ストレージ装置に分配する。
続けて、負荷分散方法は、コンテンツ移動ステップで、移動コンテンツ設定ステップで設定された原コンテンツを、他の自律ストレージ装置に移動する。
さらに、請求項7に記載の分散ストレージシステムは、コンテンツを原コンテンツ及び当該原コンテンツの複製である複製コンテンツとして分散して記憶する複数のストレージ装置と、当該複数のストレージ装置を制御するコントローラとを、ネットワークを介して接続した分散ストレージシステムであって、前記コントローラが、負荷状態検出手段と、移動コンテンツ設定手段と、分配率設定手段と、アクセス分配手段と、コンテンツ移動手段とを備える構成とした。
かかる構成によれば、分散ストレージシステムは、コントローラにおける負荷状態検出手段によって、ストレージ装置のアクセス状況及び前記ストレージ装置に記憶される原コンテンツへのアクセス状況に基づいて、ストレージ装置における負荷状態を検出する。あるいは、ストレージ装置において検出された負荷状態を取得する。
そして、分散ストレージシステムは、移動コンテンツ設定手段によって、負荷状態検出手段で検出された負荷状態に基づいて、複数の原コンテンツの中から、他のストレージ装置に移動させる原コンテンツ(マイグレーション対象コンテンツ)を設定する。
さらに、分散ストレージシステムは、分配率設定手段によって、ストレージ装置に記憶された原コンテンツへのアクセス状況に基づいて、当該ストレージ装置から、原コンテンツを移動させる他のストレージ装置にアクセスを分配する分配率を設定する。
そして、分散ストレージシステムは、アクセス分配手段によって、分配率設定手段で設定された分配率に基づいて、ストレージ装置へのアクセスの一部を、当該ストレージ装置に記憶されている原コンテンツに対応する複製コンテンツを記憶している他のストレージ装置に分配する。これによって、原コンテンツへのアクセス負荷は、複製コンテンツに対してなされることになり、原コンテンツを記憶しているストレージ装置へのアクセス負荷が低減されることになる。
そして、分散ストレージシステムは、コンテンツ移動手段によって、アクセスの分配が開始された後に、移動コンテンツ設定手段で設定された原コンテンツを、他のストレージ装置に移動する。
なお、分散ストレージシステムは、移動コンテンツ設定手段において、負荷状態が予め定めた閾値(負荷閾値)を超過した場合にのみ、マイグレーション対象コンテンツを設定することとしてもよい。
また、請求項8に記載の分散ストレージシステムは、請求項7に記載の分散ストレージシステムは、コントローラが、前記原コンテンツと、前記ネットワークに接続された他のストレージ装置に記憶される原コンテンツに対応する複製コンテンツとを記憶するコンテンツ記憶手段を備える構成とした。
かかる構成によれば、分散ストレージシステムは、コントローラにおいても、他のストレージ装置と同様に、コンテンツ記憶手段を備えることで、システム全体のコンテンツの記憶容量を増やしたり、より高い分散性能を実現したりすることが可能になる。
本発明によれば、ある自律ストレージ装置にアクセス負荷が集中した場合に、そのアクセス負荷を他の自律ストレージ装置に分散させることができる。このとき、本発明は、一旦アクセスを原コンテンツに対応する複製コンテンツを記憶している自律ストレージ装置に分配し、コンテンツの移動を行うため、アクセス負荷が集中していた自律ストレージ装置のアクセス能力に余裕が生じる。そのため、アクセス負荷の集中が発生した場合であっても、利用者からのコンテンツの要求に対する応答の遅延や、応答そのものができなくなってしまうということがない。
また、本発明によれば、キャッシュメモリに存在しないコンテンツを優先的に他の自律ストレージ装置に分散させるため、当該自律ストレージ装置におけるキャッシュメモリのヒット率の低下を抑えることができる。
さらに、本発明によれば、負荷状態を示す値が予め定めた閾値を超過した場合にコンテンツの移動を行うため、ネットワーク転送を伴うコンテンツの移動の頻度が下がり、スループットが向上することになる。
以下、本発明の実施の形態について図面を参照して説明する。
[自律ストレージシステムの構成]
まず、図1を参照して、本発明に係る自律ストレージシステムの構成について説明する。図1は、自律ストレージシステムの構成を示す概略ブロック図である。
図1に示すように、自律ストレージシステム1は、ネットワークNに接続された複数(ここでは一例として4台)の自律ストレージ装置2(21〜24)を備えている。この自律ストレージシステム1は、各々の自律ストレージ装置2(21〜24)でコンテンツを分散して記憶し、同一のネットワークNに接続されたクライアントコンピュータ5等からコンテンツに対するアクセスである書き込み、読み出し等の要求に応答するものである。
ここで、自律ストレージ装置2は、システム管理手段20と、コンテンツ記憶手段30とを備え(詳細な構成については後記する)、システム管理手段20によって、他の自律ストレージ装置との間で協働することで、アクセス負荷を均衡化するようにコンテンツをコンテンツ記憶手段30に記憶するものである。
この自律ストレージ装置2は、自身のコンテンツ記憶手段30に原コンテンツと、他の自律ストレージ装置に記憶される原コンテンツの複製である複製コンテンツとを記憶している。
ここでは、自律ストレージ装置2は、アクセス負荷が集中する前の状態として、図1の例に示すように、原コンテンツCn及び複製コンテンツC´nが記憶されているものとする。
なお、原コンテンツと複製コンテンツとが関連付けられていれば、複製コンテンツを、原コンテンツを記憶している自律ストレージ装置以外のどの自律ストレージ装置に記憶してもよい。
(自律ストレージ装置の構成)
次に、図2を参照して、本発明に係る自律ストレージ装置の構成について説明する。図2は、自律ストレージ装置の構成を示すブロック図である。
図2に示すように、自律ストレージ装置2は、通信送受信手段10と、システム管理手段20と、コンテンツ記憶手段30と、インデックス情報記憶手段40とを備えている。
通信送受信手段10は、ネットワークNを介して、クライアントコンピュータや他の自律ストレージ装置(図1参照)と、データの送受信を行うものである。例えば、通信送受信手段10は、TCP/IP(Transmission Control Protocol/Internet Protocol)の通信プロトコルによってデータの送受信を行う通信ボードである。
システム管理手段20は、自律ストレージ装置2全体の制御を行うものである。例えば、システム管理手段20は、CPU(Central Processing Unit)やメモリ等を備えたコンピュータであって、プログラムを、以下に示す各手段として機能させることで、他の自律ストレージ装置と協働して、アクセス負荷の分散を行うものである。ここでは、システム管理手段20は、コンテンツ格納手段21と、コンテンツ配信手段22と、コンテンツ削除手段23と、制御情報受信手段24と、制御情報送信手段25と、コンテンツ管理手段26と、アクセス分配手段27とを備えている。
コンテンツ格納手段21は、通信送受信手段10を介して、コンテンツ(原コンテンツ又は複製コンテンツ)を取得し、コンテンツ記憶手段30に記憶するもので、コンテンツ受信手段21aと、コンテンツ書き込み手段21bとを備えている。
コンテンツ受信手段21aは、通信送受信手段10を介して取得したコンテンツを受信するものである。このコンテンツ受信手段21aは、後記するコンテンツ管理手段26のコンテンツ操作制御手段263から通知されるコンテンツの送信元(例えば、クライアントコンピュータ、他の自律ストレージ装置等)から、通信送受信手段10を介してコンテンツを受信する。ここで受信したコンテンツは、コンテンツ書き込み手段21bに出力される。
コンテンツ書き込み手段21bは、コンテンツ受信手段21aで受信したコンテンツを、コンテンツ記憶手段30の原コンテンツ30a又は複製コンテンツ30bとして、コンテンツ記憶手段30に書き込むものである。このコンテンツ書き込み手段21bは、コンテンツ管理手段26のコンテンツ操作制御手段263から通知される位置情報(アドレス)に基づいて、コンテンツをコンテンツ記憶手段30に書き込む。なお、コンテンツ記憶手段30に書き込まれるコンテンツが、原コンテンツ30aであるか、複製コンテンツ30bであるかは、コンテンツ管理手段26において管理されている。
コンテンツ配信手段22は、コンテンツ記憶手段30に記憶されているコンテンツ(原コンテンツ30a又は複製コンテンツ30b)を、通信送受信手段10を介して配信するもので、コンテンツ読み出し手段22aと、コンテンツ送信手段22bとを備えている。
コンテンツ読み出し手段22aは、コンテンツ記憶手段30に記憶されているコンテンツ(原コンテンツ30a又は複製コンテンツ30b)を読み出すものである。このコンテンツ読み出し手段22aは、コンテンツ管理手段26のコンテンツ操作制御手段263から通知される位置情報(アドレス)に基づいて、コンテンツをコンテンツ記憶手段30から読み出す。ここで読み出されたコンテンツは、コンテンツ送信手段22bに出力される。
コンテンツ送信手段22bは、コンテンツ読み出し手段22aで読み出されたコンテンツを、通信送受信手段10を介して送信するものである。このコンテンツ送信手段22bは、コンテンツ管理手段26のコンテンツ操作制御手段263から通知されるコンテンツの送信先(例えば、クライアントコンピュータ、他の自律ストレージ装置等)に、通信送受信手段10を介してコンテンツを送信する。
コンテンツ削除手段23は、コンテンツ記憶手段30に記憶されているコンテンツ(原コンテンツ30a又は複製コンテンツ30b)を削除するものである。このコンテンツ削除手段23は、コンテンツ管理手段26のコンテンツ操作制御手段263から通知される位置情報(アドレス)に基づいて、指示されたコンテンツをコンテンツ記憶手段30から削除する。
制御情報受信手段24は、通信送受信手段10を介して、クライアントコンピュータ、他の自律ストレージ装置(図1参照)等から、コンテンツ以外のデータである制御情報を受信するものである。ここで受信した制御情報は、アクセス分配手段27に出力される。
ここで、制御情報とは、自律ストレージ装置2が、他の自律ストレージ装置と協働して動作するための情報である。例えば、コンテンツを格納する(書き込む)旨を示すコンテンツ格納指示、コンテンツを配信する(読み出す)旨を示すコンテンツ配信指示、コンテンツを削除する旨を示すコンテンツ削除指示、負荷状態の通知を指示する負荷状態通知指示、コンテンツに対するロック処理やその解除を示すアクセス制御指示等、あるいはこれらの指示に対する応答等である。
制御情報送信手段25は、アクセス分配手段27から出力される制御情報を、通信送受信手段10を介して、クライアントコンピュータ、他の自律ストレージ装置(図1参照)等に送信するものである。
コンテンツ管理手段26は、制御情報受信手段24で受信した制御情報に基づいて、コンテンツの管理を行うものである。なお、コンテンツ管理手段26は、当該自律ストレージ装置2が過負荷になった場合に、当該自律ストレージ装置2に対するアクセスを他の自律ストレージ装置に分配する。ここでは、コンテンツ管理手段26は、制御情報解析手段261と、コンテンツ移動手段262と、コンテンツ操作制御手段263とを備えている。
制御情報解析手段261は、制御情報受信手段24で受信した制御情報を解析して、その制御情報に対応する処理を実行するものである。例えば、制御情報として、コンテンツ格納指示、コンテンツ配信指示、コンテンツ削除指示が指示された場合は、制御情報解析手段261は、その旨をコンテンツ操作制御手段263に出力する。
さらに、ここでは、制御情報解析手段261は、負荷状態検出手段261aと、移動コンテンツ設定手段261bと、分配率設定手段261cと、アクセス制御手段261dと、キャッシュ判定手段261eとを備えている。
負荷状態検出手段261aは、当該自律ストレージ装置2の負荷状態を検出するとともに他の自律ストレージ装置の負荷状態を認識するものである。例えば、負荷状態検出手段261aは、単位時間あたりの原コンテンツ30aへのアクセス数、転送バイト数等のアクセス状況に基づいて、自身の負荷状態を検出する。また、負荷状態検出手段261aは、制御情報として他の自律ストレージ装置から、他の自律ストレージ装置の負荷状態を取得する。これによって、負荷状態検出手段261aは、ネットワークNに接続されている全ての自律ストレージ装置2の負荷状態を把握することができる。
移動コンテンツ設定手段261bは、負荷状態検出手段261aで検出された負荷状態に基づいて、複数の原コンテンツ30aの中から、他の自律ストレージ装置に移動させるコンテンツ(マイグレーション対象コンテンツ)を設定するものである。そして、移動コンテンツ設定手段261bは、マイグレーション対象コンテンツとして設定された、原コンテンツ30aの識別情報40aと、その原コンテンツ30aに対応する複製コンテンツが記憶されている他の自律ストレージ装置の位置(関連付け情報40b)とを、アクセス制御手段261cに通知するとともに、アクセス分配手段27に出力する。
さらに、移動コンテンツ設定手段261bは、マイグレーション対象コンテンツの移動先を決定する。この移動先は、複製コンテンツが記憶されている自律ストレージ装置以外とすることが望ましい。これは、原コンテンツとその原コンテンツに対応する複製コンテンツとを分散させることで、故障時における障害復旧を可能にするためである。そして、移動コンテンツ設定手段261bは、マイグレーション対象コンテンツの識別情報40aと、この移動先の自律ストレージ装置の位置とを、コンテンツ移動手段262に出力する。
なお、移動コンテンツ設定手段261bは、負荷状態が予め定めた閾値(負荷閾値)を超過した場合にのみ、マイグレーション対象コンテンツを設定することとしてもよい。この場合、例えば、負荷閾値を、自律ストレージシステム1(図1)全体の負荷平均の2倍とする。
ここで、ある自律ストレージ装置のノード番号をiとし、時刻tにおける原コンテンツ30aへの負荷をLPi(t)、複製コンテンツ30bへの負荷をLBi(t)としたとき、ノード番号iの負荷は、LPi(t)+LBi+1(t)+LBi(t)となる。
そこで、自律ストレージシステム1(図1)全体の負荷平均をLavg(t)としたとき、移動コンテンツ設定手段261bは、以下の(1)式のときに、時刻t+1において、マイグレーションが必要であると判断する。
LPi(t)+LBi+1(t)+LBi(t)>2×Lavg(t) …(1)式
なお、個々の自律ストレージ装置の性能が異なり、平均負荷が、ある自律ストレージ装置の性能を大きく上回る場合には、前記(1)式の右辺におけるLavg(t)の値を予め低く設定しておく。また、個々の自律ストレージ装置の負荷の偏りは大きいが、平均負荷が低くなる場合は、前記(1)式の左辺の最大値をマイグレーション判定の基準とする。
分配率設定手段261cは、移動コンテンツ設定手段261bで設定された原コンテンツへのアクセス状況に基づいて、アクセスの分配率を設定するものである。この分配率設定手段261cで設定された分配率は、アクセス分配手段27に出力される。
例えば、分配率設定手段261cは、当該自律ストレージ装置2に対するアクセス負荷をW[Byte]、移動コンテンツ設定手段261bで設定されたマイグレーション対象コンテンツの移動のために要するアクセス負荷をd[Byte]としたとき、以下の(2)式に示す分配率rを他の自律ストレージ装置に分配する。
r=d/W …(2)式
ここで、図3を参照(適宜図2参照)して、移動コンテンツ設定手段261bにおけるマイグレーション対象コンテンツの設定方法、及び、分配率設定手段261cにおける分配率の設定方法について説明する。図3は、マイグレーション対象コンテンツの設定方法、及び、分配率の設定方法を説明するための説明図であって、図3(a)は、自律ストレージシステムにおいて、アクセス負荷が集中した状態、図3(b)は、マイグレーション対象コンテンツの移動後の状態を示している。
図3では、値域分割によって、各自律ストレージ装置21〜24にコンテンツ(原コンテンツ)を記憶した状態を示しており、各自律ストレージ装置21〜24毎に図中左から、コンテンツ番号C、コンテンツサイズS、単位時間当たりのアクセス数A及びアクセス負荷(コンテンツサイズS×アクセス数A)を示している。
図3(a)では、各自律ストレージ装置21〜24毎のアクセス負荷Lは、それぞれ「9」、「3」、「5」、「3」となっており、自律ストレージ装置21にアクセス負荷が集中している。そこで、移動コンテンツ設定手段261bは、各自律ストレージ装置21〜24のアクセス負荷Lを平均化するように、移動するコンテンツ(マイグレーション対象コンテンツ)を設定する。
具体的には、移動コンテンツ設定手段261bは、まず、各自律ストレージ装置21〜24毎のアクセス負荷Lを加算した値(「9」+「3」+「5」+「3」=「20」)を、自律ストレージ装置の台数(ここでは、「4」)で除算することでアクセス負荷Lの平均値(「5」)を算出する。そして、移動コンテンツ設定手段261bは、コンテンツC2及びC3を、自律ストレージ装置21から自律ストレージ装置22に移動させ、コンテンツC5を、自律ストレージ装置22から自律ストレージ装置23に移動させ、さらに、コンテンツC8を、自律ストレージ装置23から自律ストレージ装置24に移動させる設定を行う。このように、移動コンテンツ設定手段261bで設定されたマイグレーション対象コンテンツを移動させることで、図3(b)に示すように、各自律ストレージ装置21〜24毎のアクセス負荷Lは、それぞれ「5」となり、アクセス負荷の集中を均衡化することができる。
なお、マイグレーション対象コンテンツを移動させる場合、この移動のためにさらにアクセス負荷が発生することになる。例えば、自律ストレージ装置21から、コンテンツC2及びC3を移動させる場合、移動に2単位の時間を必要とすると、コンテンツサイズSが「2」であるコンテンツC2と、コンテンツサイズSが「1」であるコンテンツC3を移動させるには、移動のために(2+1)/2=1.5の負荷が発生する。これによって、自律ストレージ装置21のアクセス負荷Lは、「9」+「1.5」=「10.5」となる。
ここで、自律ストレージ装置21が、クライアントコンピュータ(図1参照)からのリクエストに遅延なくサービスが続けられるアクセス負荷が「10」であった場合、自律ストレージ装置21は、マイグレーション対象コンテンツの移動によって、サービスを継続することが困難になってしまう。
そこで、分配率設定手段261cは、自律ストレージ装置21へのアクセスの一部を、複製コンテンツを記憶している自律ストレージ装置に分配するための分配率を設定する。
具体的には、分配率設定手段261cは、当該自律ストレージ装置21に対するアクセス負荷Wが「9」、マイグレーション対象コンテンツを移動させるアクセス負荷dが「4」であるため、「d/W」である「4/9」をアクセスの分配率として設定する。これによって、自律ストレージ装置21に対するアクセス負荷が9×(1−4/9)+1.5=6.5に減り、マイグレーション対象コンテンツを移動するためのアクセス能力が確保されることになる。
なお、ここでは、分配率を「d/W」と設定したが、移動コンテンツ設定手段261bにおいて、隣接する自律ストレージ装置からマイグレーションしてくるコンテンツをさらに他の自律ストレージ装置に移動するように決定される場合もあるため、分配率rは、以下の(3)式に示すように、最大でも「1」とすることが望ましい。
r=min(1.0,d/W) …(3)式
また、分配率設定手段261cは、他の分配率の設定方法として、当該自律ストレージ装置21に対するアクセス負荷をLt[Byte/s]、移動コンテンツ設定手段261bで設定されたマイグレーション対象コンテンツの移動のために要するアクセス負荷をLm[Byte/s]、当該自律ストレージ装置21のアクセス負荷の許容値をP[Byte/s]としたとき、以下の(4)式により、分配率rを設定することとしてもよい。
r=(Lt+Lm)−P)/Lt …(4)式
なお、移動コンテンツ設定手段261bにおいて、隣接する自律ストレージ装置からマイグレーションしてくるコンテンツをさらに他の自律ストレージ装置に移動するように決定される場合もあるため、以下の(5)式により算出することが望ましい。
r=min(1.0,max(0,((Lt+Lm)−P)/Lt)) …(5)式
また、分配率設定手段261cにおいて設定した分配率で分配先の自律ストレージ装置にアクセス負荷を分配した結果、分配先の自律ストレージ装置におけるアクセス負荷が許容値を超える場合には、分配先の自律ストレージ装置の原コンテンツに対するアクセスを、分配先の自律ストレージ装置の原コンテンツの複製を記憶している他の自律ストレージ装置に分配しても構わない。
なお、分配率設定手段261cは、分配率に応じてアクセス頻度の高いものから順に分配対象のコンテンツとして設定しても構わないし、分配率のみを設定しても構わない。
また、分配率設定手段261cは、後記するキャッシュ判定手段261eによって、分配率に応じてキャッシュメモリ(図示せず)にヒットしなかったコンテンツから優先的に分配対象のコンテンツとして設定しても構わない。
具体的には、分配率設定手段261cは、当該自律ストレージ装置2のコンテンツ記憶手段30に記憶されている原コンテンツ30aに対するキャッシュメモリへのヒット率をh、分配率をrとしたとき、ミス率(1−h)が分配率rを下回る場合において、以下の(6)式を満たす場合は、当該コンテンツを分配対象とし、満たさない場合は、分配対象としない。
rand()<r/(1−h) …(6)式
一方、ミス率(1−h)が分配率rを上回る場合において、以下の(7)式を満たす場合は、当該コンテンツを分配対象とし、満たさない場合は、分配対象としない。
rand()>(r+h−1)/h …(7)式
なお、前記(6)式及び(7)式において、rand()は、擬似乱数の発生関数を示している。
これによって、分配対象のコンテンツを設定する場合に、当該自律ストレージ装置2におけるキャッシュの効果を高めることができるとともに、移動先の自律ストレージ装置におけるキャッシュヒット率の低下を防ぐことができる。また、分配率のみを設定する場合には、移動元の自律ストレージ装置において、アクセス対象のコンテンツを特定する必要がなくなる。
図2に戻って、自律ストレージ装置2の構成について説明を続ける。
アクセス制御手段261dは、コンテンツ記憶手段30に記憶されているコンテンツ(原コンテンツ30a、複製コンテンツ30b)、及び、インデックス情報記憶手段40に記憶されているインデックス情報(識別情報40a、関連付け情報40b、位置情報40c)へのアクセス(読み出し、書き込み)を禁止(ロック)、又はその解除を行うものである。なお、アクセス制御手段261dは、他の自律ストレージ装置から通知される制御情報によって、コンテンツやインデックス情報をロックしたり、逆に、他の自律ストレージ装置に対して制御情報を通知することで、他の自律ストレージ装置のコンテンツやインデックス情報をロックしたりする。
キャッシュ判定手段261eは、図示を省略したキャッシュメモリに、コンテンツのデータが存在するか否かを判定するものであって、データがキャッシュにヒットする(存在する)、ヒットしない(存在しない:ミス)かの判定を行う。
コンテンツ移動手段262は、移動コンテンツ設定手段261bで設定されたマイグレーション対象コンテンツ(原コンテンツ30a)を、他の自律ストレージ装置に移動させるものである。このコンテンツの移動は、コンテンツ移動手段262が、コンテンツ操作制御手段263に対して、コンテンツ配信指示を通知し、さらに、コンテンツ削除指示を通知することで行う。なお、アクセス分配手段27において、アクセスが分配されている間は、当該コンテンツ記憶手段30へのアクセスが減少し、当該コンテンツ記憶手段30のアクセス能力や当該自律ストレージ装置2のネットワーク帯域が十分確保されるため、コンテンツ移動手段262は、この間にコンテンツの移動を行う。そして、コンテンツの移動後、アクセス分配手段27に対して、アクセスの分配を停止する旨を通知する。
コンテンツ操作制御手段263は、制御情報解析手段261又はコンテンツ移動手段262から出力される各種指示に基づいて、コンテンツの操作を行うものである。このコンテンツ操作制御手段263は、コンテンツ格納指示に基づいて、コンテンツ格納手段21に対して、コンテンツの送信元と、コンテンツ記憶手段30に記憶する位置情報(アドレス)とを通知することで、コンテンツの格納(記憶)を行う。また、コンテンツ操作制御手段263は、コンテンツ配信指示に基づいて、コンテンツ配信手段22に対して、コンテンツの送信先と、コンテンツ記憶手段30の位置情報(アドレス)とを通知することで、コンテンツの配信を行う。さらに、コンテンツ操作制御手段263は、コンテンツ削除指示に基づいて、コンテンツ削除手段23に対して、コンテンツ記憶手段30の位置情報(アドレス)を通知することでコンテンツの削除を行う。
アクセス分配手段27は、分配率設定手段261cで設定された分配率に基づいて、当該自律ストレージ装置が記憶する原コンテンツ30aに対する制御情報(アクセス)を、若しくは、当該自律ストレージ装置が記憶する原コンテンツ30aに対する制御情報(アクセス)のうち、分配率設定手段261cにおいて設定された分配対象のコンテンツに対する制御情報を原コンテンツ30aに対応する複製コンテンツを記憶している他の自律ストレージ装置に分配するものである。このアクセス分配手段27は、コンテンツ移動手段262から、アクセスの分配を停止する旨の通知を受けた段階で、アクセスの分配を停止する。
なお、アクセス分配手段27は、原コンテンツと複製コンテンツとの整合性を保つため、分配する制御情報は、読み出しアクセスに限定するものとする。
これによって、アクセス分配手段27は、分配対象となった原コンテンツ30aに対する動作を、他の自律ストレージ装置において、複製コンテンツに対する動作として処理することが可能になる。
なお、分配率設定手段261cにおいて、キャッシュ判定手段261eの判定結果によって分配率を設定した場合、アクセス分配手段27は、その分配率に基づいてキャッシュメモリに存在しなかったコンテンツから優先的に他の自律ストレージ装置に分配することになる。
コンテンツ記憶手段30は、原コンテンツ30aと、他の自律ストレージ装置に記憶される原コンテンツの複製である複製コンテンツ30bとを記憶するもので、ハードディスク等の一般的な記憶装置である。
インデックス情報記憶手段40は、コンテンツ記憶手段30に記憶されているコンテンツ(原コンテンツ30a又は複製コンテンツ30b)を特定するための情報であるインデックス情報を記憶するもので、ハードディスク等の一般的な記憶装置である。このインデックス情報記憶手段40には、インデックス情報として、識別情報40a、関連付け情報40b及び位置情報40cを記憶する。
ここで、識別情報40aは、コンテンツを一意に特定するための情報であって、例えば、ファイル名、番号等である。また、関連付け情報40bは、当該自律ストレージ装置2に記憶されるコンテンツと、他の自律ストレージ装置に記憶されるコンテンツとを関連付ける情報であって、当該自律ストレージ装置2に記憶されているコンテンツが原コンテンツである場合は、複製コンテンツが記憶されている自律ストレージ装置の位置、当該自律ストレージ装置2に記憶されているコンテンツが複製コンテンツである場合は、原コンテンツが記憶されている自律ストレージ装置の位置を示す情報である。また、位置情報40cは、コンテンツ(原コンテンツ30a又は複製コンテンツ30b)のコンテンツ記憶手段30上のアドレスを示す。
このように自律ストレージ装置2を構成することで、当該自律ストレージ装置2にアクセス負荷が集中したときは、他の自律ストレージ装置と協働することで、当該自律ストレージ装置2に記憶されているコンテンツを、他の自律ストレージ装置に移動させ、アクセス負荷の均衡化を実現することができる。
このとき、自律ストレージ装置2は、当該自律ストレージ装置2に記憶されている原コンテンツに対するアクセスの一部を、他の自律ストレージ装置に記憶されている複製コンテンツに分散をするため、コンテンツを移動するための、当該自律ストレージ装置のアクセス能力及びネットワークNの帯域が確保されることになる。これによって、システム全体のスループットの低下を防止することができる。
なお、自律ストレージ装置2のシステム管理手段20は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。ここで実現されるネットワークを介してアクセスを分散するプログラム(負荷分散プログラム)は、通信回線を介して配布することも可能であるし、CD−ROM等の記録媒体に書き込んで配布することも可能である。
また、ここでは、図1に示すように、複数の自律ストレージ装置2によって、自律ストレージシステムを構成することとしたが、本発明は、図13に示すように、自律ストレージ装置2と同様の構成となる1台のコントローラ3と、複数の一般的なストレージ装置4とをネットワークNに接続した分散ストレージシステム1Bとして構成してもよい。
なお、コントローラ3は、コンテンツ記憶手段301を省略した構成としてもよい。
[自律ストレージシステムの動作]
次に、図4を参照(適宜図1及び図2参照)して、自律ストレージシステムの動作について説明する。ここでは、本発明に係る自律ストレージシステムにおいて、自律ストレージ装置が、他の自律ストレージ装置と協働して、アクセス負荷を分散する動作について説明する。図4は、本発明に係る自律ストレージシステムにおける負荷分散動作を示すフローチャートである。
(全体動作)
〔負荷状態検出ステップ〕
まず、自律ストレージシステム1は、各自律ストレージ装置2(21〜24)におけるコンテンツ管理手段26の負荷状態検出手段261aによって、例えば、単位時間あたりのコンテンツへのアクセス数から、自律ストレージ装置2における負荷状態を検出し、予め定めた閾値に基づいて、自律ストレージ装置2の負荷状態が過負荷であるかどうかを判定する(ステップS1)。
ここで、負荷状態が過負荷でない場合(ステップS1で「負荷≦閾値」)は、ステップS1を継続して動作する。一方、負荷状態が過負荷である場合(ステップS1で「負荷>閾値」)は、ステップS2に進む。
そして、過負荷であると判定した自律ストレージ装置2は、移動コンテンツ設定手段によって、さらに、負荷状態が予め定めた閾値を超過しているかどうかを判定することで、マイグレーションが必要であるか否かを判定する(ステップS2)。ここで、マイグレーションが必要でないと判定された場合(ステップS2で「No」)は、分配率設定手段261cによって、アクセスの分配率を設定し(ステップS3)、ステップS1に戻る。
〔移動コンテンツ設定ステップ〕
一方、マイグレーションが必要であると判定された場合(ステップS2で「Yes」)、自律ストレージ装置2は、移動コンテンツ設定手段261bによって、ステップS1で検出された負荷状態に基づいて、複数の原コンテンツ30aの中から、他の自律ストレージ装置に移動させるコンテンツ(マイグレーション対象コンテンツ)を設定(決定)する(ステップS4)。
〔分配率設定ステップ〕
そして、自律ストレージ装置2は、分配率設定手段261cによって、当該自律ストレージ装置、又は、当該自律ストレージ装置及び他の自律ストレージ装置に記憶されたコンテンツへのアクセス状況に基づいて、アクセスの分配率を設定する(ステップS5)。
〔アクセス分配ステップ〕
そして、自律ストレージ装置2は、アクセス分配手段27によって、ステップS3で設定した分配率に基づいて、マイグレーション対象コンテンツ(原コンテンツ30a)に対する制御情報を、原コンテンツ30aに対応する複製コンテンツを記憶している他の自律ストレージ装置へ分配する動作(アクセス分配)を開始する(ステップS6)。
〔コンテンツ移動ステップ〕
続けて、自律ストレージ装置2は、コンテンツ移動手段262によって、マイグレーション対象コンテンツ(原コンテンツ30a)を他の自律ストレージ装置に移動するマイグレーション処理を実行する(ステップS7)。なお、このマイグレーション処理の動作については、後で詳細に説明を行うことにする。
〔継続判定ステップ〕
そして、自律ストレージ装置2は、コンテンツ移動手段262によって、さらに、マイグレーション対象コンテンツが存在するかどうかを判定し(ステップS8)、存在する場合(ステップS8で「有り」)、ステップS7に戻って動作を続ける。
なお、一つのマイグレーション動作が終了した時点で、分配率の見直しを行うこととしてもよい。
〔アクセス分配停止ステップ〕
一方、マイグレーション対象コンテンツが存在しない場合(ステップS8で「無し」)、自律ストレージ装置2は、アクセス分配手段27による、他の自律ストレージ装置へのアクセス分配を終了する(ステップS9)。
以上の動作によって、自律ストレージシステム1は、アクセスが集中している自律ストレージ装置へのアクセス負荷を、他の自律ストレージ装置に分散させることができる。
(マイグレーション処理の詳細動作:その1)
次に、図5を参照(適宜図1及び図2参照)して、図4のステップS7の動作であるマイグレーション処理の動作について、詳細に説明する。図5は、図4におけるマイグレーション処理の詳細な動作を示すフローチャートである。なお、ここでは、図1において、自律ストレージ装置22にアクセス負荷が集中し、マイグレーション対象コンテンツを自律ストレージ装置24に移動させる決定(設定)がなされているものとする。
〔書き込み禁止ステップ〕
まず、自律ストレージ装置22は、移動コンテンツ設定手段261bによって、マイグレーション対象の原コンテンツ30aをファイル名等で特定していくとともに、アクセス制御手段261dによって、対象のコンテンツを特定するための部分情報(インデックス情報)に順次共有ロックをかけていく(ステップS10)。ここで、共有ロックとは、インデックス情報、コンテンツ等の情報に対してロック処理を実行しているプロセス(ここでは、マイグレーションのプロセス)以外からの、当該情報に対する参照(読み出し処理)は許可するが、挿入、更新、削除等(書き込み処理)の操作は禁止するロックのことをいう。なお、ここでは、共有ロックの状態は、コンテンツの移動先や複製先まで引き継がれることとしている。また、ここで、プロセスとは、関連する複数の処理を一つの処理単位としてまとめたものをいう。このプロセス同士は一つの自律ストレージ装置の中で共存して、並行動作することができる。また、プロセスは、システムの中で一意の識別子を持ち、その識別子により他のプロセスと判別される。また、プロセスは、複数の自律ストレージ装置にまたがって動作することができる。
さらに、自律ストレージ装置22は、アクセス制御手段261dによって、マイグレーション対象の原コンテンツ30aを共有ロックする(ステップS11)。
〔コンテンツ転送ステップ〕
そして、自律ストレージ装置22は、コンテンツ移動手段262によって、マイグレーション対象の原コンテンツ30aの複製を自律ストレージ装置24に転送する(ステップS12)。このマイグレーション対象の原コンテンツ30aを受信した自律ストレージ装置24は、原コンテンツ30aの複製を自身のコンテンツ記憶手段304に、原コンテンツとして記憶する(ステップS13)。
〔読み出し禁止ステップ〕
続けて、自律ストレージ装置22は、アクセス制御手段261dによって、マイグレーション対象の原コンテンツ30a及びインデックス情報を排他ロックする(ステップS14)。ここで、排他ロックとは、当該プロセス以外からの、その情報(インデックス情報、コンテンツ)に対する全ての操作(書き込み処理及び読み出し処理)を禁止するロックのことをいう。なお、ここでは、排他ロックの状態は、コンテンツの移動先や複製先まで、引き継がれることとしている。
〔インデックス情報更新ステップ〕
そして、自律ストレージ装置22は、コンテンツ管理手段26によって、インデックス情報記憶手段40に記憶されているインデックス情報(識別情報40a等)から、マイグレーション対象の原コンテンツ30aの情報を削除する(ステップS15)。一方、自律ストレージ装置24では、インデックス情報にマイグレーション対象の原コンテンツの情報を挿入する(ステップS16)。
〔禁止解除ステップ〕
そして、自律ストレージ装置22は、アクセス制御手段261dによって、マイグレーション対象の原コンテンツ30a及びインデックス情報に対して行った全ての共有ロック及び排他ロックを解除する(ステップS17)。
〔コンテンツ削除ステップ〕
最後に、自律ストレージ装置22は、コンテンツ削除手段23によって、マイグレーション対象の原コンテンツ30aを、コンテンツ記憶手段30から削除する(ステップS18)。
以上の動作によって、マイグレーション対象の原コンテンツ30aが、自律ストレージ装置24に移動されたことになる。
<マイグレーション動作の具体例>
次に、図6を参照して、図5で説明した自律ストレージシステムにおけるマイグレーション動作について、具体例を示して説明する。図6は、図5のマイグレーション動作を示した模式図である。ここでは、自律ストレージシステムを構成する自律ストレージ装置(21〜24)に、原コンテンツ(C1〜C16)と複製コンテンツ(C´1〜C´16)が記憶された状態を示している。
ここで、図6(a)に示すように、自律ストレージ装置22にアクセス負荷が集中し、自律ストレージシステムが、自律ストレージ装置22から自律ストレージ装置24に対して、マイグレーション対象として、原コンテンツC7及びC8を移動させることを決定したとする。
すると、自律ストレージシステムは、図6(b)に示すように、当該自律ストレージ装置、又は、当該自律ストレージ装置及び他の自律ストレージ装置に記憶されたコンテンツへのアクセス状況に基づいて、アクセスの分配率を設定し(ここでは、50%であったとする)、アクセスを、原コンテンツC7及びC8に対応する複製コンテンツC´7及びC´8を記憶している自律ストレージ装置23に分配する。これによって、自律ストレージ装置22に対するアクセスの50%が、自律ストレージ装置23に分散されることになる。
この後、自律ストレージシステムは、図6(c)に示すように、自律ストレージ装置22に記憶されているマイグレーション対象の原コンテンツC8を、自律ストレージ装置24に移動させる。
続けて、自律ストレージシステムは、図6(d)に示すように、自律ストレージ装置22に記憶されているマイグレーション対象の原コンテンツC7を、自律ストレージ装置24に移動させる。なお、原コンテンツC7の移動前には、すでに、原コンテンツC8が、自律ストレージ装置24に記憶されているため、原コンテンツC8に対するアクセスは、自律ストレージ装置24になされることになる。
そして、原コンテンツC7が、自律ストレージ装置24に記憶された段階で、図6(e)に示すように、自律ストレージシステムは、自律ストレージ装置22に集中していたアクセスを、自律ストレージ装置24に分散し、アクセス負荷の均衡化がなされたことになる。
(マイグレーション処理の詳細動作:その2)
次に、図7を参照(適宜図1及び図2参照)して、図4のステップS7の動作であるマイグレーション処理の他の動作について、詳細に説明する。図7は、図4におけるマイグレーション処理の他の動作を示すフローチャートである。なお、ここでは、図1において、自律ストレージ装置22にアクセス負荷が集中し、マイグレーション対象コンテンツを自律ストレージ装置23に移動させる決定(設定)がなされているものとする。
〔書き込み禁止ステップ〕
まず、自律ストレージ装置22は、移動コンテンツ設定手段261bによって、マイグレーション対象の原コンテンツ30aをファイル名等で特定するとともに、アクセス制御手段261dによって、自律ストレージ装置22におけるコンテンツの管理情報であるインデックス情報を共有ロックする(ステップS20)。
そして、自律ストレージ装置22は、アクセス制御手段261dによって、マイグレーション対象の原コンテンツ30aに対応する複製コンテンツが記憶されている自律ストレージ装置23に、複製コンテンツに関連するインデックス情報を共有ロックする旨の制御情報を通知する。この制御情報を取得することで、自律ストレージ装置23は、マイグレーション対象の複製コンテンツをファイル名等で特定するとともに、インデックス情報を共有ロックする(ステップS21)。
さらに、自律ストレージ装置22は、アクセス制御手段261dによって、マイグレーション対象の原コンテンツ30aを共有ロックし(ステップS22)、自律ストレージ装置23に、複製コンテンツを共有ロックする旨の制御情報を通知する。この制御情報を取得することで、自律ストレージ装置23は、マイグレーション対象の複製コンテンツを共有ロックする(ステップS23)。
〔コンテンツ転送ステップ〕
そして、自律ストレージ装置22は、コンテンツ移動手段262によって、マイグレーション対象の原コンテンツ30aの複製を自律ストレージ装置23に転送する(ステップS24)。このマイグレーション対象の原コンテンツ30aを受信した自律ストレージ装置23は、原コンテンツ30aの複製を自身のコンテンツ記憶手段304に、原コンテンツとして記憶する(ステップS25)。
さらに、自律ストレージ装置23は、コンテンツ移動手段262によって、マイグレーション対象の複製コンテンツの複製を自律ストレージ装置24に転送する(ステップS26)。このマイグレーション対象の複製コンテンツを受信した自律ストレージ装置24は、その複製コンテンツの複製を自身のコンテンツ記憶手段304に、複製コンテンツとして記憶する(ステップS27)。
〔読み出し禁止ステップ〕
続けて、自律ストレージ装置22は、アクセス制御手段261dによって、マイグレーション対象の原コンテンツ30a及びインデックス情報を排他ロックする(ステップS28)。
そして、自律ストレージ装置22は、アクセス制御手段261dによって、自律ストレージ装置23に、複製コンテンツ及びインデックス情報を排他ロックする旨の制御情報を通知する。この制御情報を取得することで、自律ストレージ装置23は、複製コンテンツ及びインデックス情報を排他ロックする(ステップS29)。
〔インデックス情報更新ステップ〕
そして、自律ストレージ装置22は、コンテンツ管理手段271によって、インデックス情報記憶手段40に記憶されているインデックス情報(識別情報40a等)から、原コンテンツ30aの情報を削除する(ステップS30)。
さらに、自律ストレージ装置23では、インデックス情報にマイグレーション対象の原コンテンツの情報を挿入し(ステップS31)、インデックス情報からマイグレーション対象の複製コンテンツの情報を削除する(ステップS32)。また、自律ストレージ装置24では、インデックス情報にマイグレーション対象の複製コンテンツの情報を挿入する(ステップS33)。
〔禁止解除ステップ〕
そして、自律ストレージ装置22は、アクセス制御手段261dによって、マイグレーション対象の原コンテンツ30a及びインデックス情報に対して行った全ての共有ロック及び排他ロックを解除する(ステップS34)。また、自律ストレージ装置23においても、全ての共有ロック及び排他ロックを解除する(ステップS35)。
〔コンテンツ削除ステップ〕
最後に、自律ストレージ装置22は、コンテンツ削除手段23によって、マイグレーション対象の原コンテンツ30aを、コンテンツ記憶手段30から削除し(ステップS36)、自律ストレージ装置23においては、マイグレーション対象の複製コンテンツを削除する(ステップS37)。
以上の動作によって、マイグレーション対象の原コンテンツ30aが、自律ストレージ装置23に移動したことになる。
<マイグレーション動作の具体例>
次に、図8を参照して、図7で説明した自律ストレージシステムにおけるマイグレーション動作について、具体例を示して説明する。図8は、図7のマイグレーション動作を示した模式図である。ここでは、自律ストレージシステムを構成する自律ストレージ装置(21〜24)に、原コンテンツ(C1〜C16)と複製コンテンツ(C´1〜C´16)が記憶された状態を示している。
ここで、図8(a)に示すように、自律ストレージ装置22にアクセス負荷が集中し、自律ストレージシステムが、自律ストレージ装置22から自律ストレージ装置23に対して、コンテンツC7及びC8を移動させることを決定したとする。
すると、自律ストレージシステムは、図8(b)に示すように、コンテンツC7及びC8に対するアクセス状況に基づいて、アクセスの分配率を設定し(ここでは、50%であったとする)、アクセスを、原コンテンツC7及びC8に対応する複製コンテンツC´7及びC´8を記憶している自律ストレージ装置23に分配する。これによって、自律ストレージ装置22に対するアクセスの50%が、自律ストレージ装置23に分散されることになる。
この後、自律ストレージシステムは、図8(c)に示すように、自律ストレージ装置22に記憶されているマイグレーション対象の原コンテンツC8を、自律ストレージ装置23に原コンテンツC8として移動させる。また、自律ストレージ装置23に記憶されているマイグレーション対象の原コンテンツC8に対応する複製コンテンツC´8を、自律ストレージ装置24に複製コンテンツC´8として移動させる。
続けて、自律ストレージシステムは、図8(d)に示すように、自律ストレージ装置22に記憶されているマイグレーション対象の原コンテンツC7を、自律ストレージ装置23に原コンテンツC7として移動させる。また、自律ストレージ装置23に記憶されているマイグレーション対象の原コンテンツC7に対応する複製コンテンツC´7を、自律ストレージ装置24に複製コンテンツC´7として移動させる。なお、図8(d)において、自律ストレージ装置23には、図8(b)で説明したアクセスを分配したことによるアクセスA1と、移動済みのコンテンツ(原コンテンツC8)へのアクセスA2とがなされることなる。
そして、マイグレーション対象の原コンテンツC7及び複製コンテンツC´7が移動された段階で、図8(e)に示すように、自律ストレージシステムは、自律ストレージ装置22に集中していたアクセスを、自律ストレージ装置23に分散し、アクセス負荷の均衡化がなされたことになる。
なお、本動作によれば、アクセス負荷を均衡化した後であっても、論理的に隣接した自律ストレージ装置に原コンテンツに対応する複製コンテンツが記憶された、いわゆるチェインドクラスタリングの構造が崩れないため、耐故障性が維持される。
(マイグレーション処理の詳細動作:その3)
次に、図9を参照(適宜図1及び図2参照)して、図4のステップS5の動作であるマイグレーション処理の他の動作について、詳細に説明する。図9は、図4におけるマイグレーション処理の他の動作を示すフローチャートである。なお、ここでは、図1において、自律ストレージ装置22にアクセスが集中し、マイグレーション対象コンテンツを自律ストレージ装置23に移動させる決定(設定)がなされているものとする。
図9において、ステップS20からステップS23までの動作〔書き込み禁止ステップ〕は、図7で説明した動作と同一であるので説明を省略する。
〔コンテンツ転送ステップ〕
そして、ステップS23の後、自律ストレージ装置22は、コンテンツ移動手段262によって、マイグレーション対象の原コンテンツ30aの複製を自律ストレージ装置24に転送する(ステップS24B)。このマイグレーション対象の原コンテンツ30aを受信した自律ストレージ装置24は、原コンテンツ30aの複製を自身のコンテンツ記憶手段304に、複製コンテンツとして記憶する(ステップS27B)。
〔読み出し禁止ステップ〕
続けて、自律ストレージ装置22は、アクセス制御手段261dによって、マイグレーション対象の原コンテンツ30a及びインデックス情報を排他ロックする(ステップS28)。
そして、自律ストレージ装置22は、アクセス制御手段261dによって、自律ストレージ装置23に、複製コンテンツ及びインデックス情報を排他ロックする旨の制御情報を通知する。この制御情報を取得することで、自律ストレージ装置23は、複製コンテンツ及びインデックス情報を排他ロックする(ステップS29)。
〔コンテンツ移動ステップ〕
そして、自律ストレージ装置23は、複製コンテンツを原コンテンツの領域に移動させる(ステップS29B)。
これ以降の動作〔禁止解除ステップ、コンテンツ削除ステップ〕については、図7で説明したステップS30からステップS36までの動作と同一であるので説明を省略する。
以上の動作によって、マイグレーション対象の原コンテンツ30aが、自律ストレージ装置23に移動したことになる。
<マイグレーション動作の具体例>
次に、図10を参照して、図9で説明した自律ストレージシステムにおけるマイグレーション動作について、具体例を示して説明する。図10は、図9のマイグレーション動作を示した模式図である。ここでは、自律ストレージシステムを構成する自律ストレージ装置(21〜24)に、原コンテンツ(C1〜C16)と複製コンテンツ(C´1〜C´16)が記憶された状態を示している。
なお、図10(a)及び(b)は、図8(a)及び(b)と同一の動作を示しているため、説明を省略する。
図10(b)において、アクセスが自律ストレージ装置23に分配された後、自律ストレージシステムは、図10(c)に示すように、自律ストレージ装置22に記憶されているマイグレーション対象の原コンテンツC8を、自律ストレージ装置24に複製コンテンツC´8として移動させる。また、自律ストレージ装置23に記憶されているマイグレーション対象の原コンテンツC8に対応する複製コンテンツC´8を、自律ストレージ装置23の原コンテンツC8として移動させる。
続けて、自律ストレージシステムは、図10(d)に示すように、自律ストレージ装置22に記憶されているマイグレーション対象の原コンテンツC7を、自律ストレージ装置24に複製コンテンツC´7として移動させる。また、自律ストレージ装置23に記憶されているマイグレーション対象の原コンテンツC7に対応する複製コンテンツC´7を、原コンテンツ領域に原コンテンツC7として移動させる。なお、図10(d)において、自律ストレージ装置23には、図10(b)でアクセスを分配したことによるアクセスA1と、移動済みのコンテンツ(原コンテンツC8)へのアクセスA2とがなされることなる。
そして、マイグレーション対象の原コンテンツC7及び複製コンテンツC´7が移動された段階で、図10(e)に示すように、自律ストレージシステムは、自律ストレージ装置22に集中していたアクセスを、自律ストレージ装置23に分散し、アクセス負荷の均衡化がなされたことになる。
なお、本動作によれば、アクセス負荷を均衡化した後であっても、論理的に隣接した自律ストレージ装置に原コンテンツに対応する複製コンテンツが記憶された、いわゆるチェインドクラスタリングの構造が崩れないため、耐故障性が維持される。さらに、本動作によれば、マイグレーション対象のコンテンツの移動を行う際に、図8で説明した動作に比べて、ネットワークを経由してコンテンツの移動を行う回数が減ることになり、システム全体としてのスループットを向上させることができる。
本発明に係る自律ストレージシステムの構成を示す概略ブロック図である。 本発明に係る自律ストレージ装置の構成を示すブロック図である。 マイグレーション対象コンテンツの設定方法、及び、分配率の設定方法を説明するための説明図である。 本発明に係る自律ストレージシステムにおける負荷分散動作を示すフローチャートである。 図4におけるマイグレーション処理の詳細な動作を示すフローチャートである。 図5のマイグレーション動作を示した模式図である。 図4におけるマイグレーション処理の他の動作を示すフローチャートである。 図7のマイグレーション動作を示した模式図である。 図4におけるマイグレーション処理の他の動作を示すフローチャートである。 図9のマイグレーション動作を示した模式図である。 従来の自律ストレージシステムにおける負荷分散動作を示すフローチャートである。 図11におけるマイグレーションプロセスの詳細な動作を示すフローチャートである。 従来の自律ストレージシステムにおけるマイグレーション動作を示した模式図である。 本発明に係る分散ストレージシステムの構成を示す概略ブロック図である。
符号の説明
1 自律ストレージシステム
1B 分散ストレージシステム
2 自律ストレージ装置
3 コントローラ
4 ストレージ装置
10 通信送受信手段
20 システム管理手段
21 コンテンツ格納手段
22 コンテンツ配信手段
23 コンテンツ削除手段
24 制御情報受信手段
25 制御情報送信手段
26 コンテンツ管理手段
261 制御情報解析手段
261a 負荷状態検出手段
261b 移動コンテンツ設定手段
261c 分配率設定手段
261d アクセス制御手段
261e キャッシュ判定手段
262 コンテンツ移動手段
263 コンテンツ操作制御手段
27 アクセス分配手段
30 コンテンツ記憶手段
40 インデックス情報記憶手段

Claims (8)

  1. ネットワークに複数接続されて、コンテンツを原コンテンツ及び当該原コンテンツの複製である複製コンテンツとして分散して記憶する自律ストレージ装置において、
    当該自律ストレージ装置に記憶される複数の原コンテンツと、前記ネットワークに接続された他の自律ストレージ装置に記憶されるコンテンツに対応する複製コンテンツとを記憶するコンテンツ記憶手段と、
    当該自律ストレージ装置及び前記原コンテンツへのアクセス状況に基づいて、負荷状態を検出する負荷状態検出手段と、
    この負荷状態検出手段で検出された負荷状態に基づいて、前記複数の原コンテンツの中から、他の自律ストレージ装置に移動させる原コンテンツを設定する移動コンテンツ設定手段と、
    当該自律ストレージ装置、又は、当該自律ストレージ装置及び他の自律ストレージ装置に記憶されたコンテンツへのアクセス状況に基づいて、アクセスの分配率を設定する分配率設定手段と、
    この分配率設定手段で設定された分配率に基づいて、当該自律ストレージ装置へのアクセスの一部を、当該自律ストレージ装置に記憶されている原コンテンツに対応する複製コンテンツを記憶している他の自律ストレージ装置に分配するアクセス分配手段と、
    このアクセス分配手段において前記分配率でアクセスの分配が開始された後に、前記移動コンテンツ設定手段で設定された原コンテンツを、他の自律ストレージ装置に移動するコンテンツ移動手段と、
    を備えていることを特徴とする自律ストレージ装置。
  2. 次にアクセスされる可能性の高いコンテンツを予め予想して一時的に記憶するキャッシュメモリと、
    このキャッシュメモリに前記コンテンツのデータが存在するか否かを判定するキャッシュ判定手段とを備え、
    前記アクセス分配手段が、前記分配率に基づいて前記キャッシュメモリに存在しなかったコンテンツから優先的に他の自律ストレージ装置にアクセスを分配することを特徴とする請求項1に記載の自律ストレージ装置。
  3. 前記移動コンテンツ設定手段は、前記負荷状態を示す値が予め定めた閾値を超過した場合に、他の自律ストレージ装置に移動させる原コンテンツを設定することを特徴とする請求項1又は請求項2に記載の自律ストレージ装置。
  4. コンテンツを原コンテンツ及び当該原コンテンツの複製である複製コンテンツとして分散して記憶する自律ストレージ装置を、ネットワークを介して複数接続した自律ストレージシステムであって、
    前記自律ストレージ装置は、
    当該自律ストレージ装置に記憶される複数の原コンテンツと、前記ネットワークに接続された他の自律ストレージ装置に記憶されるコンテンツに対応する複製コンテンツとを記憶するコンテンツ記憶手段と、
    当該自律ストレージ装置及び前記原コンテンツへのアクセス状況に基づいて、負荷状態を検出する負荷状態検出手段と、
    この負荷状態検出手段で検出された負荷状態に基づいて、前記複数の原コンテンツの中から、他の自律ストレージ装置に移動させる原コンテンツを設定する移動コンテンツ設定手段と、
    当該自律ストレージ装置、又は、当該自律ストレージ装置及び他の自律ストレージ装置に記憶されたコンテンツへのアクセス状況に基づいて、アクセスの分配率を設定する分配率設定手段と、
    この分配率設定手段で設定された分配率に基づいて、当該自律ストレージ装置へのアクセスの一部を、当該自律ストレージ装置に記憶されている原コンテンツに対応する複製コンテンツを記憶している他の自律ストレージ装置に分配するアクセス分配手段と、
    このアクセス分配手段において前記分配率でアクセスの分配が開始された後に、前記移動コンテンツ設定手段で設定された原コンテンツを、他の自律ストレージ装置に移動するコンテンツ移動手段と、
    を備えていることを特徴とする自律ストレージシステム。
  5. コンテンツを記憶するコンテンツ記憶手段を備え、ネットワークに複数接続されることで前記コンテンツを原コンテンツ及び複製コンテンツとして分散して記憶する自律ストレージ装置の負荷を分散させるために、コンピュータを、
    当該自律ストレージ装置及び前記原コンテンツへのアクセス状況に基づいて、負荷状態を検出する負荷状態検出手段、
    この負荷状態検出手段で検出された負荷状態に基づいて、前記複数の原コンテンツの中から、他の自律ストレージ装置に移動させる原コンテンツを設定する移動コンテンツ設定手段、
    当該自律ストレージ装置、又は、当該自律ストレージ装置及び他の自律ストレージ装置に記憶されたコンテンツへのアクセス状況に基づいて、アクセスの分配率を設定する分配率設定手段、
    この分配率設定手段で設定された分配率に基づいて、当該自律ストレージ装置へのアクセスの一部を、当該自律ストレージ装置に記憶されている原コンテンツに対応する複製コンテンツを記憶している他の自律ストレージ装置に分配するアクセス分配手段、
    このアクセス分配手段において前記分配率でアクセスの分配が開始された後に、前記移動コンテンツ設定手段で設定された原コンテンツを、他の自律ストレージ装置に移動するコンテンツ移動手段、
    として機能させることを特徴とする負荷分散プログラム。
  6. コンテンツを記憶するコンテンツ記憶手段を備えた自律ストレージ装置を、ネットワークに複数接続することで、前記コンテンツを原コンテンツ及び複製コンテンツとして分散して記憶する自律ストレージシステムにおいて、前記自律ストレージ装置間の負荷分散を行う負荷分散方法であって、
    前記自律ストレージ装置及び前記原コンテンツへのアクセス状況に基づいて、負荷状態を検出する負荷状態検出ステップと、
    この負荷状態検出ステップで検出された負荷状態に基づいて、前記複数の原コンテンツの中から、他の自律ストレージ装置に移動させる原コンテンツを設定する移動コンテンツ設定ステップと、
    当該自律ストレージ装置、又は、当該自律ストレージ装置及び他の自律ストレージ装置に記憶されたコンテンツへのアクセス状況に基づいて、アクセスの分配率を設定する分配率設定ステップと、
    この分配率設定ステップで設定された分配率に基づいて、前記自律ストレージ装置へのアクセスの一部を、当該自律ストレージ装置に記憶されている原コンテンツに対応する複製コンテンツを記憶している他の自律ストレージ装置に分配するアクセス分配ステップと、
    このアクセス分配ステップにおいて前記分配率でアクセスの分配が開始された後に、前記移動コンテンツ設定ステップで設定された原コンテンツを、他の自律ストレージ装置に移動するコンテンツ移動ステップと、
    を含んでいることを特徴とする負荷分散方法。
  7. コンテンツを原コンテンツ及び当該原コンテンツの複製である複製コンテンツとして分散して記憶する複数のストレージ装置と、当該複数のストレージ装置を制御するコントローラとを、ネットワークを介して接続した分散ストレージシステムであって、
    前記コントローラは、
    前記ストレージ装置のアクセス状況及び前記ストレージ装置に記憶される原コンテンツへのアクセス状況に基づいて、前記ストレージ装置における負荷状態を検出する、又は、前記ストレージ装置において検出された負荷状態を取得する負荷状態検出手段と、
    この負荷状態検出手段で検出された負荷状態に基づいて、複数の前記原コンテンツの中から、他のストレージ装置に移動させる原コンテンツを設定する移動コンテンツ設定手段と、
    前記ストレージ装置に記憶された原コンテンツへのアクセス状況に基づいて、当該ストレージ装置から、前記原コンテンツを移動させる他のストレージ装置にアクセスを分配する分配率を設定する分配率設定手段と、
    この分配率設定手段で設定された分配率に基づいて、前記ストレージ装置へのアクセスの一部を、当該ストレージ装置に記憶されている原コンテンツに対応する複製コンテンツを記憶している他のストレージ装置に分配するアクセス分配手段と、
    このアクセス分配手段において前記分配率でアクセスの分配が開始された後に、前記移動コンテンツ設定手段で設定された原コンテンツを、他のストレージ装置に移動するコンテンツ移動手段と、
    を備えていることを特徴とする分散ストレージシステム。
  8. 前記コントローラは、前記原コンテンツと、前記ネットワークに接続された他のストレージ装置に記憶される原コンテンツに対応する複製コンテンツとを記憶するコンテンツ記憶手段を備えていることを特徴とする請求項7に記載の分散ストレージシステム。
JP2005203524A 2004-12-03 2005-07-12 自律ストレージ装置、自律ストレージシステム、分散ストレージシステム、負荷分散プログラム及び負荷分散方法 Active JP4728717B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005203524A JP4728717B2 (ja) 2004-12-03 2005-07-12 自律ストレージ装置、自律ストレージシステム、分散ストレージシステム、負荷分散プログラム及び負荷分散方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004351458 2004-12-03
JP2004351458 2004-12-03
JP2005203524A JP4728717B2 (ja) 2004-12-03 2005-07-12 自律ストレージ装置、自律ストレージシステム、分散ストレージシステム、負荷分散プログラム及び負荷分散方法

Publications (2)

Publication Number Publication Date
JP2006185413A true JP2006185413A (ja) 2006-07-13
JP4728717B2 JP4728717B2 (ja) 2011-07-20

Family

ID=36738451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005203524A Active JP4728717B2 (ja) 2004-12-03 2005-07-12 自律ストレージ装置、自律ストレージシステム、分散ストレージシステム、負荷分散プログラム及び負荷分散方法

Country Status (1)

Country Link
JP (1) JP4728717B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097318A (ja) * 2006-10-12 2008-04-24 Hitachi Ltd ストレージ装置
EP2157506A2 (en) 2008-08-22 2010-02-24 Hitachi Ltd. A storage management apparatus, a storage management method and a storage management program
JPWO2008136075A1 (ja) * 2007-04-20 2010-07-29 富士通株式会社 ストレージ管理プログラム、ストレージ管理装置およびストレージ管理方法
WO2012033110A1 (ja) * 2010-09-06 2012-03-15 日本電気株式会社 アプリケーション構成システム、方法、及び、プログラム
WO2013005684A1 (ja) * 2011-07-01 2013-01-10 日本電気株式会社 オブジェクト配置装置、オブジェクト配置方法及びプログラム
JP2013114671A (ja) * 2011-11-30 2013-06-10 Hitachi Ltd 負荷分散システム
WO2014141355A1 (ja) * 2013-03-11 2014-09-18 株式会社日立ソリューションズ 計算機システム、データ管理方法及びプログラムを格納する記録媒体
JP2014229235A (ja) * 2013-05-27 2014-12-08 富士通株式会社 ストレージ制御装置、ストレージ制御方法およびストレージ制御プログラム
JP2015177540A (ja) * 2014-03-13 2015-10-05 韓國電子通信研究院Electronics and Telecommunications Research Institute データ伝達装置およびその方法
JP2016503550A (ja) * 2012-11-26 2016-02-04 アマゾン・テクノロジーズ・インコーポレーテッド 分散計算システムにおける計算クラスタのスケーリング
WO2016132524A1 (ja) * 2015-02-20 2016-08-25 株式会社日立製作所 ストレージ管理システム、ストレージ管理方法及びストレージ装置
WO2019188695A1 (ja) * 2018-03-28 2019-10-03 日本電信電話株式会社 性能影響評価装置及び性能影響評価方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06332782A (ja) * 1993-03-22 1994-12-02 Hitachi Ltd ファイルサーバシステム及びそのファイルアクセス制御方法
JP2003296167A (ja) * 2002-03-29 2003-10-17 Fujitsu Social Science Laboratory Ltd ファイル管理システムおよびファイル管理方法
WO2004104839A2 (en) * 2003-05-16 2004-12-02 Hewlett-Packard Development Company L.L.P Redundant data assigment in a data storage system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06332782A (ja) * 1993-03-22 1994-12-02 Hitachi Ltd ファイルサーバシステム及びそのファイルアクセス制御方法
JP2003296167A (ja) * 2002-03-29 2003-10-17 Fujitsu Social Science Laboratory Ltd ファイル管理システムおよびファイル管理方法
WO2004104839A2 (en) * 2003-05-16 2004-12-02 Hewlett-Packard Development Company L.L.P Redundant data assigment in a data storage system

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097318A (ja) * 2006-10-12 2008-04-24 Hitachi Ltd ストレージ装置
US8521983B2 (en) 2007-04-20 2013-08-27 Fujitsu Limited Program, apparatus and method for managing data allocation of distributed storage system including storage nodes
JPWO2008136075A1 (ja) * 2007-04-20 2010-07-29 富士通株式会社 ストレージ管理プログラム、ストレージ管理装置およびストレージ管理方法
JP5099128B2 (ja) * 2007-04-20 2012-12-12 富士通株式会社 ストレージ管理プログラム、ストレージ管理装置およびストレージ管理方法
EP2157506A2 (en) 2008-08-22 2010-02-24 Hitachi Ltd. A storage management apparatus, a storage management method and a storage management program
EP2157506A3 (en) * 2008-08-22 2010-12-08 Hitachi Ltd. A storage management apparatus, a storage management method and a storage management program
US8209511B2 (en) 2008-08-22 2012-06-26 Hitachi, Ltd. Storage management apparatus, a storage management method and a storage management program
WO2012033110A1 (ja) * 2010-09-06 2012-03-15 日本電気株式会社 アプリケーション構成システム、方法、及び、プログラム
JP5729390B2 (ja) * 2010-09-06 2015-06-03 日本電気株式会社 アプリケーション構成システム、方法、及び、プログラム
JPWO2013005684A1 (ja) * 2011-07-01 2015-02-23 日本電気株式会社 オブジェクト配置装置、オブジェクト配置方法及びプログラム
US9703843B2 (en) 2011-07-01 2017-07-11 Nec Corporation Object placement apparatus, object placement method and program
WO2013005684A1 (ja) * 2011-07-01 2013-01-10 日本電気株式会社 オブジェクト配置装置、オブジェクト配置方法及びプログラム
JP2013114671A (ja) * 2011-11-30 2013-06-10 Hitachi Ltd 負荷分散システム
AU2013347807B2 (en) * 2012-11-26 2017-06-15 Amazon Technologies, Inc. Scaling computing clusters
JP2016503550A (ja) * 2012-11-26 2016-02-04 アマゾン・テクノロジーズ・インコーポレーテッド 分散計算システムにおける計算クラスタのスケーリング
JP2017188165A (ja) * 2012-11-26 2017-10-12 アマゾン・テクノロジーズ・インコーポレーテッド 分散計算システムにおける計算クラスタのスケーリング
US10394611B2 (en) 2012-11-26 2019-08-27 Amazon Technologies, Inc. Scaling computing clusters in a distributed computing system
JP6002832B2 (ja) * 2013-03-11 2016-10-05 株式会社日立ソリューションズ 計算機システム、データ管理方法及びプログラムを格納する記録媒体
WO2014141355A1 (ja) * 2013-03-11 2014-09-18 株式会社日立ソリューションズ 計算機システム、データ管理方法及びプログラムを格納する記録媒体
JP2014229235A (ja) * 2013-05-27 2014-12-08 富士通株式会社 ストレージ制御装置、ストレージ制御方法およびストレージ制御プログラム
JP2015177540A (ja) * 2014-03-13 2015-10-05 韓國電子通信研究院Electronics and Telecommunications Research Institute データ伝達装置およびその方法
WO2016132524A1 (ja) * 2015-02-20 2016-08-25 株式会社日立製作所 ストレージ管理システム、ストレージ管理方法及びストレージ装置
WO2019188695A1 (ja) * 2018-03-28 2019-10-03 日本電信電話株式会社 性能影響評価装置及び性能影響評価方法
JP2019175067A (ja) * 2018-03-28 2019-10-10 日本電信電話株式会社 性能影響評価装置及び性能影響評価方法
US11526416B2 (en) 2018-03-28 2022-12-13 Nippon Telegraph And Telephone Corporation Performance impact evaluation device and performance impact evaluation method

Also Published As

Publication number Publication date
JP4728717B2 (ja) 2011-07-20

Similar Documents

Publication Publication Date Title
JP4728717B2 (ja) 自律ストレージ装置、自律ストレージシステム、分散ストレージシステム、負荷分散プログラム及び負荷分散方法
US6249879B1 (en) Root filesystem failover in a single system image environment
US7107323B2 (en) System and method of file distribution for a computer system in which partial files are arranged according to various allocation rules
JP4744171B2 (ja) 計算機システム及び記憶制御方法
CN100476742C (zh) 基于对象存储设备的负载平衡方法
US6247139B1 (en) Filesystem failover in a single system image environment
US8429444B2 (en) Multipurpose storage system based upon a distributed hashing mechanism with transactional support and failover capability
US20080271130A1 (en) Minimizing client-side inconsistencies in a distributed virtual file system
JP2565658B2 (ja) リソースの制御方法及び装置
TWI782487B (zh) 利用索引物件來進行簡易儲存服務無縫遷移的方法、主裝置以及儲存伺服器
US20070027916A1 (en) Hybrid object placement in a distributed storage system
US8429129B2 (en) Database restructuring apparatus, and computer-readable recording medium recording database restructuring program
US7849264B2 (en) Storage area management method for a storage system
JP4550648B2 (ja) 計算機システム
KR20200102293A (ko) Sql 쿼리에 해당하는 동작을 수행할 수 있는 블록체인 소프트웨어, 블록체인 시스템, 및 이의 동작 방법
JP4528039B2 (ja) 自律ストレージ装置、自律ストレージシステム、ネットワーク負荷分散プログラム及びネットワーク負荷分散方法
JP2005352833A (ja) 共有排他制御方法
JP2005209055A (ja) ストレージの負荷分散方法
CN116561217A (zh) 元数据管理系统及方法
JP2008186141A (ja) データ管理方法、データ管理プログラム、データ管理システム、および、構成管理装置
JP2005141672A (ja) 共有リソースの使用の排他制御方式及び方法
JP5031538B2 (ja) データ分配方法、データ分配プログラム、及び並列データベースシステム
JP2007264770A (ja) データベースアクセス方法及び装置
CN114579514B (zh) 一种基于多计算节点的文件处理方法、装置及设备
CN117119058B (zh) Ceph分布式存储集群中存储节点优化方法及相关设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110415

R150 Certificate of patent or registration of utility model

Ref document number: 4728717

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533