JP2014153753A - 情報管理装置、情報管理方法、情報管理プログラム - Google Patents
情報管理装置、情報管理方法、情報管理プログラム Download PDFInfo
- Publication number
- JP2014153753A JP2014153753A JP2013020436A JP2013020436A JP2014153753A JP 2014153753 A JP2014153753 A JP 2014153753A JP 2013020436 A JP2013020436 A JP 2013020436A JP 2013020436 A JP2013020436 A JP 2013020436A JP 2014153753 A JP2014153753 A JP 2014153753A
- Authority
- JP
- Japan
- Prior art keywords
- information
- storage
- stored
- file
- site
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims description 24
- 238000004891 communication Methods 0.000 claims abstract description 61
- 230000005540 biological transmission Effects 0.000 claims abstract description 27
- 230000004044 response Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 abstract description 22
- 238000012217 deletion Methods 0.000 description 54
- 230000037430 deletion Effects 0.000 description 54
- 238000000034 method Methods 0.000 description 34
- 230000010076 replication Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 238000013523 data management Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】複数の記憶媒体を備える複数のストレージ装置にネットワークを介して接続された情報管理装置が、情報の登録要求に応じて、複数のストレージ装置のうち、ネットワークを介した通信遅延が相対的に小さいストレージ装置が備える複数の記憶媒体に、情報を記憶させる第1の情報登録部と、第1の情報登録部によってストレージ装置が備える複数の記憶媒体に情報が記憶されると、登録要求の送信元に、登録完了通知を送信する登録完了通知送信部と、ストレージ装置に記憶された情報を、複数のストレージ装置のうち、他のストレージ装置に記憶させる第2の情報登録部と、を備える。
【選択図】図1
Description
図1は、本実施形態による分散ストレージシステム1の構成を示すブロック図である。分散ストレージシステム1は、プロキシ装置30が、ユーザ端末20から送信される同一の情報を、地理的に分散した複数の場所(以下、サイトという)にそれぞれ設置された記憶媒体に分散して記憶させることにより、データ可用性を高めるコンピュータシステムである。記憶媒体は、例えばメモリであってもよいし、ディスクであってもよい。以降、ストレージ装置10(ストレージ装置10A、ストレージ装置10B、ストレージ装置10C、・・・)が備えるディスク11(ディスク11A−1、ディスク11A−2、ディスク11A−3、・・・、ディスク11B−1、・・・、ディスク11C−1、・・・)に分散して記憶させることにより、情報の可用性を高めるコンピュータシステムの例を示す。プロキシ装置30と複数のサイトとは、ネットワーク5を介して接続されている。ここでは、3つのサイトを明示して説明するが、4つ以上のサイトがネットワーク5を介して接続されていてもよい。システム構築の際に、システムで達成すべきデータ可用性の目標値に応じて、サイトの個数を定めてもよい(例えば、99.9999%の可用性を確保する為の条件として、サイトの個数を3と定めてもよい)。なお、冗長度(サイトの個数)をNとすると、各サイトで必要となるキャッシュディスクの個数はN−1個となる。
サイトAに設置されるストレージ装置10Aは、ディスク11A−1、ディスク11A−2、ディスク11A−3等を備えるコンピュータ装置である。ストレージ装置10Aは、例えばそのサイトにおけるデータ管理センター等に設置される。ディスク11A−1、ディスク11A−2、ディスク11A−3は、記憶媒体であり、例えばHDD(ハードディスクドライブ:Hard disk drive)である。ここでは、サイトAに設置された1台のストレージ装置10Aを明示して説明するが、サイトAには複数台のストレージ装置10Aが設置されていてもよい。同様に、ここではストレージ装置10Aが備える3個のディスク11を明示しているが、ストレージ装置10Aは、4個以上のディスク11を備えていてもよい。1つ目のサイトが備え持つ記憶媒体の個数も、サイトの個数と同様、データ可用性の目標値に応じて定めてもよい。同じ目標値を用いる場合、1つ目のサイトが備え持つ記憶媒体の最小個数は、サイトの最小個数と同じ個数となる。(例えば、サイトの個数がN個の場合、各サイトは1つのデータディスクとN−1個のキャッシュディスクを備える。)
プロキシ装置30は、ユーザ端末20からの要求に応じて、ネットワーク5を介して接続されたディスク11に対するファイルの読み書き行う情報管理装置である。例えば、プロキシ装置30は、ユーザ端末20から送信されるファイルの登録要求に応じて、ネットワーク5を介して接続されたサイトに設置された複数のディスク11に情報を記憶させる。プロキシ装置30は、サイト情報記憶部31と、状態情報記憶部32と、通信部33と、第1の情報登録部34と、登録完了通知送信部35と、第2の情報登録部36と、情報読出部37と、情報削除部38とを備えている。
第1の情報登録部34は、ユーザ端末20から送信されるファイルの登録要求に応じて、複数のサイトのそれぞれに設置されたストレージ装置10が備えるディスク11のうち、相対的に通信遅延が小さいサイトの複数のディスク11に、そのファイルを記憶させる。本実施形態では、第1の情報登録部34がファイルを記憶させる複数のディスク11は、地理的に分散した複数のサイトにおいて、同一のサイトに設置されているものであるとする。本実施形態では、第1の情報登録部34は、通信遅延の最も小さいサイトAのストレージ装置10Aが備えるディスク11A−1、ディスク11A−2、ディスク11A−3に、ファイルを記憶させる。第1の情報登録部34は、ディスク11にファイルを記憶させると、そのファイルの状態を示す状態情報を生成し、状態情報記憶部32に記憶させる。
第2の情報登録部36は、第1の情報登録部34によって複数のディスク11に記憶されたファイルを、他の複数のディスク11のうち、相対的に通信遅延の大きい他のサイトに設置されたストレージ装置10が備えるディスク11に記憶させる。ここで、第2の情報登録部36は、第1の情報登録部34によってファイルを記憶させたディスク11の個数よりも1小さい個数の、他のサイトに設置されたストレージ装置10が備えるディスク11に記憶させる。本実施形態では、第1の情報登録部34によって、サイトAのディスク11A−1、ディスク11A−2、ディスク11A−3の3つのディスク11にファイルが記憶されるため、他のサイトであるサイトBのディスク11B−1と、サイトCのディスク11C−1との2つのディスク11に、ファイルを記憶させる。
情報削除部38は、ユーザ端末20から送信されるファイルの削除要求に応じて、複数のディスク11に記憶されているファイルを削除する。
プロキシ装置30の通信部33が、ユーザ端末20から送信されるファイルの登録要求を受信すると(ステップS1)、第1の情報登録部34は、サイト情報記憶部31に記憶されているサイト情報を読出し、最も通信遅延の小さいサイトを判定する(ステップS2)。ここでは、第1の情報登録部34は、サイトAを最も通信遅延の小さいサイトとして判定する。
ユーザ端末20の通信部33が、ユーザ端末20から送信されるファイルの読出要求を受信すると(ステップS10)、情報読出部37は、そのファイルのファイルIDに対応付けられて状態情報記憶部32に記憶されている状態情報を読出す(ステップS11)。情報読出部37は、そのファイルのファイルIDに対応付けられた状態情報が状態情報記憶部32に記憶されていなければ、レプリケート済みであると判定し(ステップS12:YES)、読出先のサイトを、サイトA、サイトB、サイトCからランダムに判定する(ステップS13)。
ステップS12において、情報読出部37は、そのファイルのファイルIDに対応付けられた状態情報が状態情報記憶部32に記憶されており、いずれかのファイルの状態が「cache」であれば、レプリケート済みでないと判定する(ステップS12:NO)。情報読出部37は、読出先のサイトをランダムに判定し(ステップS16)、第1の情報登録部34がステップS2で最も通信遅延の小さいサイトとして判定した中の、ステップS16で判定されたサイトに対応するストレージ装置10Aのディスク11からファイルを読出し(ステップS17)、ステップS15に進む。例えば、状態情報が図4に示したようなものであるとき、ステップS16においてサイトBが判定された場合、サイトAの中のサイトBに対応するディスク(例えば、ディスク11A−2)からファイルを読出す。
ユーザ端末20の通信部33が、ユーザ端末20から送信されるファイルの削除要求を受信すると(ステップS20)、情報削除部38は、そのファイルのファイルIDに対応付けられて状態情報記憶部32に記憶されている状態情報を読出す(ステップS21)。情報削除部38は、そのファイルのファイルIDに対応付けられた状態情報が状態情報記憶部32に記憶されていなければ、レプリケート済みであると判定する(ステップS22:YES)。情報削除部38は、サイトAにおけるストレージ装置10が備えるディスク11に記憶されているファイルを削除する(ステップS23)。情報削除部38は、削除要求が送信されたファイルを識別するファイルIDに対応付けて、サイトAが「deleted」であり、サイトBが「delete」であり、サイトCが「delete」である状態情報を、状態情報記憶部32に記憶させる(ステップS24)。サイトAのファイルを削除する前に全サイトをdeleteとして状態情報記憶部32に記憶させ、サイトAの情報を削除した後、サイトAの情報をdeletedに変更してもよい。
ここでは、サイトAにはアプリケーション装置21が設置されている。アプリケーション装置21は、例えば複数のユーザ端末20から送信されるテキストを共有するウェブサービスを提供するコンピュータ装置である。ユーザ端末20は、予め登録されたユーザ名が「usera」であるユーザにより認証されているものとする。ユーザ端末20は、ユーザからの操作に応じて、ファイル名が「a.txt」であるファイルの登録要求をアプリケーション装置21に送信する(ステップS101)。アプリケーション装置21は、ユーザ端末20から送信されたファイルの登録要求(PUTリクエスト)を、アプリケーション装置21に送信する(ステップS102)。ここで、登録要求には、例えばユーザ名とファイルパスとを連結した文字列をハッシュ化した文字列を、ファイルIDとして含ませる。ここでは、ファイルIDは「XXYYZZ」であるとする。
ユーザ端末20は、ユーザからの操作に応じて、ファイルIDが「XXYYZZ」であるファイルの読出要求をアプリケーション装置21に送信する(ステップS201)。アプリケーション装置21は、ユーザ端末20から送信されたファイルの読出要求(GETリクエスト)を、アプリケーション装置21に送信する(ステップS202)。読出要求には、ファイルIDが含まれる。
ユーザ端末20は、ユーザからの操作に応じて、ファイルIDが「XXYYZZ」であるファイルの読出要求をアプリケーション装置21に送信する(ステップS301)。アプリケーション装置21は、ユーザ端末20から送信されたファイルの読出要求(GETリクエスト)を、アプリケーション装置21に送信する(ステップS302)。
ユーザ端末20は、ユーザからの操作に応じて、ファイルIDが「XXYYZZ」であるファイルの削除要求をアプリケーション装置21に送信する(ステップS401)。アプリケーション装置21は、ユーザ端末20から送信されたファイルの削除要求(DELETEリクエスト)を、アプリケーション装置21に送信する(ステップS402)。削除要求には、ファイルIDが含まれる。
ユーザ端末20は、ユーザからの操作に応じて、ファイルIDが「XXYYZZ」であるファイルの削除要求をアプリケーション装置21に送信する(ステップS501)。アプリケーション装置21は、ユーザ端末20から送信されたファイルの削除要求(DELETEリクエスト)を、アプリケーション装置21に送信する(ステップS502)。削除要求には、ファイルIDが含まれる。
また、本実施形態では、サイトAのみにプロキシ装置30が設置されている例を示したが、各サイトにそれぞれプロキシ装置30が設置されているようにしてもよい。例えば、サイトBにもプロキシ装置30を設置しておき、サイトBの近くのユーザ端末20から送信される登録要求や読出要求については、サイトBに設置されたプロキシ装置30が処理を行うようにしてもよい。
5 ネットワーク
10A ストレージ装置
11A−1 ディスク
11A−2 ディスク
11A−3 ディスク
10B ストレージ装置
11B−1 ディスク
10C ストレージ装置
11C−1 ディスク
12A レプリケートプロセス
20 ユーザ端末
21 アプリケーション装置
30 プロキシ装置
31 サイト情報記憶部
32 状態情報記憶部
33 通信部
34 第1の情報登録部
35 登録完了通知送信部
36 第2の情報登録部
37 情報読出部
38 情報削除部
Claims (7)
- 複数の記憶媒体を備える複数のストレージ装置にネットワークを介して接続された情報管理装置であって、
情報の登録要求に応じて、前記複数のストレージ装置のうち、前記ネットワークを介した通信遅延が相対的に小さいストレージ装置が備える複数の記憶媒体に、前記情報を記憶させる第1の情報登録部と、
前記第1の情報登録部によって前記ストレージ装置が備える前記複数の記憶媒体に前記情報が記憶されると、前記登録要求の送信元に、登録完了通知を送信する登録完了通知送信部と、
前記ストレージ装置に記憶された前記情報を、前記複数のストレージ装置のうち、他のストレージ装置に記憶させる第2の情報登録部と、
を備えることを特徴とする情報管理装置。 - 前記情報の読出要求に応じて、前記情報が記憶された複数の前記ストレージ装置のうちいずれかひとつのストレージ装置から前記情報を読出し、前記読出要求の送信元に送信する情報読出部
を備えることを特徴とする請求項1に記載の情報管理装置。 - 複数の前記ストレージ装置毎に、当該ストレージ装置に前記情報が記憶されたか否かを示す状態情報が記憶される状態情報記憶部を備え、
前記情報読出部は、前記状態情報記憶部に記憶されている前記状態情報に基づいて、前記複数のストレージ装置のうち、前記情報を読出すストレージ装置を判定する
ことを特徴とする請求項2に記載の情報管理装置。 - 前記複数のストレージ装置は、地理的に分散した複数の場所に設置され、
前記第2の情報登録部は、前記第1の情報登録部によって前記ストレージ装置に記憶された情報を、地理的に分散した他のストレージ装置に記憶させる
ことを特徴とする請求項1から請求項3までのいずれか1項に記載の情報管理装置。 - 前記第2の情報登録部は、前記情報の種別または前記登録要求の送信元のアプリケーションの種別に応じて予め定められた時間間隔ごとに、前記第1の情報登録部によって前記ストレージ装置に前記情報が記憶されたか否かを監視し、前記ストレージ装置に前記情報が記憶されると、当該ストレージ装置に記憶された前記情報を、前記他のストレージ装置に記憶させる
ことを特徴とする請求項1から請求項4までのいずれか1項に記載の情報管理装置。 - 複数の記憶媒体を備える複数のストレージ装置にネットワークを介して接続された情報管理装置の情報管理方法であって、
情報の登録要求に応じて、前記複数のストレージ装置のうち、前記ネットワークを介した通信遅延が相対的に小さいストレージ装置が備える複数の記憶媒体に、前記情報を記憶させるステップと、
前記ストレージ装置が備える前記複数の記憶媒体に前記情報を記憶させると、前記登録要求の送信元に、登録完了通知を送信するステップと、
前記ストレージ装置に記憶された前記情報を、前記複数のストレージ装置のうち、他のストレージ装置に記憶させるステップと、
を備えることを特徴とする情報管理方法。 - 複数の記憶媒体を備える複数のストレージ装置にネットワークを介して接続された情報管理装置のコンピュータに、
情報の登録要求に応じて、前記複数のストレージ装置のうち、前記ネットワークを介した通信遅延が相対的に小さいストレージ装置が備える複数の記憶媒体に、前記情報を記憶させるステップと、
前記ストレージ装置が備える前記複数の記憶媒体に前記情報を記憶させると、前記登録要求の送信元に、登録完了通知を送信するステップと、
前記ストレージ装置に記憶された前記情報を、前記複数のストレージ装置のうち、他のストレージ装置に記憶させるステップと、
を実行させる情報管理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013020436A JP6101500B2 (ja) | 2013-02-05 | 2013-02-05 | 情報管理装置、情報管理方法、情報管理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013020436A JP6101500B2 (ja) | 2013-02-05 | 2013-02-05 | 情報管理装置、情報管理方法、情報管理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014153753A true JP2014153753A (ja) | 2014-08-25 |
JP6101500B2 JP6101500B2 (ja) | 2017-03-22 |
Family
ID=51575611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013020436A Active JP6101500B2 (ja) | 2013-02-05 | 2013-02-05 | 情報管理装置、情報管理方法、情報管理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6101500B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022176497A1 (ja) * | 2021-02-22 | 2022-08-25 | 富士フイルム株式会社 | ストレージシステム、データ処理方法、及びデータ処理プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1185594A (ja) * | 1997-09-01 | 1999-03-30 | Hitachi Ltd | リモートコピー用情報処理システム |
JP2003099208A (ja) * | 2001-09-25 | 2003-04-04 | Toshiba Corp | ディスクアレイ間データ転送方法及びディスクアレイシステム |
JP2005196490A (ja) * | 2004-01-07 | 2005-07-21 | Hitachi Ltd | データ多重化のためのシステム及び方法 |
JP2010074604A (ja) * | 2008-09-19 | 2010-04-02 | Nec Corp | データアクセスシステム、データアクセス方法およびデータアクセス用プログラム |
-
2013
- 2013-02-05 JP JP2013020436A patent/JP6101500B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1185594A (ja) * | 1997-09-01 | 1999-03-30 | Hitachi Ltd | リモートコピー用情報処理システム |
JP2003099208A (ja) * | 2001-09-25 | 2003-04-04 | Toshiba Corp | ディスクアレイ間データ転送方法及びディスクアレイシステム |
JP2005196490A (ja) * | 2004-01-07 | 2005-07-21 | Hitachi Ltd | データ多重化のためのシステム及び方法 |
JP2010074604A (ja) * | 2008-09-19 | 2010-04-02 | Nec Corp | データアクセスシステム、データアクセス方法およびデータアクセス用プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022176497A1 (ja) * | 2021-02-22 | 2022-08-25 | 富士フイルム株式会社 | ストレージシステム、データ処理方法、及びデータ処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6101500B2 (ja) | 2017-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10204114B2 (en) | Replicating data across data centers | |
JP6328432B2 (ja) | ゲートウェイ装置、ファイルサーバシステム及びファイル分散方法 | |
CN110737668B (zh) | 数据存储方法、数据读取方法、相关设备及介质 | |
JP2016053951A (ja) | 情報中心ネットワークにわたって分布及びフォールトトレラント状態を維持するシステム及び方法 | |
JP5686034B2 (ja) | クラスタシステム、同期制御方法、サーバ装置および同期制御プログラム | |
CN103858124A (zh) | 用于数据维护的方法 | |
US20100332532A1 (en) | Distributed directory environment using clustered ldap servers | |
CN112866406B (zh) | 一种数据存储方法、系统、装置、设备及存储介质 | |
CN106897288B (zh) | 数据库的服务提供方法和系统 | |
JP6779307B2 (ja) | ページ表示のための方法及び装置 | |
CN113411363A (zh) | 一种镜像文件的上传方法、相关设备及计算机存储介质 | |
WO2015088505A1 (en) | Cache and non-cache usage in a distributed storage system | |
US9684668B1 (en) | Systems and methods for performing lookups on distributed deduplicated data systems | |
US11226951B2 (en) | Storage-optimized data-atomic systems and techniques for handling erasures and errors in distributed storage systems | |
JP6101500B2 (ja) | 情報管理装置、情報管理方法、情報管理プログラム | |
US20180113651A1 (en) | Transferring data encoding functions in a distributed storage network | |
US11838207B2 (en) | Systems for session-based routing | |
US20210392075A1 (en) | Multilayer decentralized server network | |
US11082484B2 (en) | Load balancing system | |
JP6151365B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
US20210144217A1 (en) | Service communication proxy apparatus and method | |
JP2017535847A (ja) | コンテンツ・キャッシングおよび伝送の方法およびシステム | |
JP6227055B1 (ja) | ストレージシステム、およびファイル書き込み方法 | |
JP6083210B2 (ja) | 認証情報管理システム、認証情報管理方法、認証情報管理プログラム、及び、検索システム | |
JP6572574B2 (ja) | ストレージ制御システム、ストレージ制御システムのノード、およびストレージ制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150710 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6101500 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |