JP2004280485A - 計算機システム - Google Patents
計算機システム Download PDFInfo
- Publication number
- JP2004280485A JP2004280485A JP2003071189A JP2003071189A JP2004280485A JP 2004280485 A JP2004280485 A JP 2004280485A JP 2003071189 A JP2003071189 A JP 2003071189A JP 2003071189 A JP2003071189 A JP 2003071189A JP 2004280485 A JP2004280485 A JP 2004280485A
- Authority
- JP
- Japan
- Prior art keywords
- computer
- file
- information
- partial
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】ユーザから計算機2へ分散ファイルの作成要求があった場合、管理用計算機4へ、性能、セキュリティレベル、信頼性レベル、使用料金を考慮した配置規則からユーザの選択した配置規則を満たす計算機1のリストを取得する。ユーザから計算機2へ分散ファイルの参照要求があった場合、各計算機1から部分ファイルを収集するとともに、各計算機1からサーバ情報を収集する。各計算機2は、ユーザの選択した配置規則及び各計算機1からのサーバ情報を元に、部分ファイルの配置を評価し、必要があれば移動先の計算機1を選定し、部分ファイルの移動を指示する。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、複数の計算機がネットワークを介して接続された計算機システムにおいて、ファイルを分散して管理する分散ファイルシステムに関する。
【0002】
【従来の技術】
計算機システムにおける従来の分散ファイルシステム、具体的には、計算機等が使用するプログラム等が使用する一かたまりのデータ(以下「ファイル」と称する)を複数に分割し、その分割された部分(以下「部分ファイル」と称する)の各々を、複数の計算機に分散して配置する技術の例が、特許文献1に開示されている。
【0003】
また、ファイル分散の方法として、あらかじめ計算機間で各計算機の負荷、例えば、計算機が有するデータの最大転送レートの使用率や計算機が有するストレージ装置の使用率についての情報を共有し、この負荷情報に基づいて部分ファイルを各計算機に配置する方法が特許文献2に記載されている。また、特許文献2には、ある計算機に高い負荷が掛かった場合、負荷の集中している計算機に格納されている部分ファイルを他の計算機へ移動することも記載されている。
【0004】
一方、非特許文献1には、数千数万を超える計算機が接続されることを前提とした広域ネットワークにおける分散ファイルシステムが提案されている。本文献では、広域ネットワークに接続される各計算機のセキュリティレベルや信頼性レベルなどには差異があることから、分散ファイルシステムにおいて、ある一つの部分ファイルから他の部分ファイルの位置が特定できないようにすることが開示されている。これにより、分散ファイルシステムのセキュリティを確保することができる。
【0005】
【特許文献1】
特開平8−77054号公報
【特許文献2】
特開2000−207370号公報
【非特許文献1】
“Maintenance−Free Global Data Storage”(IEEE Internet Computing,Vol 5,No 5,September/October 2001,pp40−49)
【0006】
【発明が解決しようとする課題】
特許文献2に開示された分散ファイルシステムでは、負荷情報のみに基づいて部分ファイルの移動が行われる。したがって、他の計算機と比較して高性能な計算機がシステム内に存在する場合、一つのファイルを構成する全ての部分ファイルが同一の計算機へ移動される可能性がある。これでは、一つのファイルを構成する部分ファイルを分散した意味が無くなる。この弊害を解消するためには、部分ファイルの移動先に同一のファイルを構成する他の部分ファイルがあるかどうかを確認するようにすればよい。具体的には、ある部分ファイルの情報から、同一のファイルを構成する他の部分ファイルの位置を特定できるようにすればよい。しかし、この方法では、非特許文献1に開示されているように、分散ファイルシステムにおけるセキュリティが確保されない。
【0007】
また、従来の分散ファイルシステムにおいては、部分ファイルの配置を決定する規則又は部分ファイルを移動する規則(以下、「配置規則」という)の作成には、各計算機の負荷情報しか考慮されていない。したがって、従来技術の分散ファイルシステムでは、各計算機において性能やセキュリティレベル、信頼性レベル、使用料金等に差異がある場合に、これらを考慮した配置規則を規定して部分ファイルの配置や移動を行うことはできない。
【0008】
更に、特許文献1、2及び非特許文献1に開示された分散ファイルシステムにおいては、複数の情報に基づく複数の配置規則を規定し、それを使い分けることは考慮されていない。
【0009】
本発明の目的は、ファイルの部分ファイルを移動する場合において、セキュリティを確保しつつ、同一ファイルの全ての部分ファイルが一つの計算機に集まってしまう問題を解決する分散ファイル管理方法、及びこの方法を用いた分散ファイルシステムを提供することにある。
【0010】
また、本発明の他の目的は、多様な配置規則に基づいて部分ファイルの配置を行う計算機システムにおけるファイル管理方法、及びこの方法を用いた分散ファイルシステムを提供することにある。
【0011】
【課題を解決するための手段】
上記課題を解決するため、本発明の計算機システムは、以下の構成を有する。即ち、データを記憶するストレージ装置を備える複数の計算機(以下「計算機1」)、ユーザが使用する計算機(以下「計算機2」)及びこれら計算機を管理する計算機(以下「管理用計算機」)とがネットワークで接続された計算機システムである。本システムにおいて、計算機1は、自己の性能、セキュリティレベル、信頼性レベル、使用料金、及び負荷情報等を管理し、管理している情報を管理用計算機に送信する。管理用計算機は、送信されたこれらの情報をまとめて管理する。一方、計算機2は、ファイルを構成する部分ファイルの分散を規定する、複数の項目からなる情報(配置規則)を有する。
【0012】
ここで、ユーザの指示等により分散されるファイルの作成が計算機2に指示された場合、計算機2は、配置規則を満足する計算機1についての情報を得るために、管理用計算機に配置規則についての情報を送信する。配置規則を受信した管理用計算機は、自己が管理する各計算機1の情報を参照して、受信した配置規則に適合する計算機1を特定し、特定された計算機1の情報を計算機2に送信する。
【0013】
配置規則に適合する計算機1の情報を受信した計算機2は、その情報に基づいて、ファイルの部分ファイルを配置規則を満たす各計算機1に送信する。
【0014】
また、本発明の計算機システムは、ある特定の契機において部分ファイルの再配置を行う態様を有しても良い。
【0015】
この場合、ある特定の契機において、計算機2は、再配置の対象となるファイルを構成する部分ファイルを有する計算機1から、その計算機1に関する情報を受信する。計算機1に関する情報を受信した計算機2は、自己が有する配置規則と受信した計算機1に関する情報とを比較して、その時点で配置規則を満たさない計算機1の有無を確認する。
【0016】
配置規則を満たさない計算機1が存在する場合、計算機2は、配置規則を満たす計算機1を確認するために、管理用計算機に配置規則に関する情報を送信する。配置規則を受信した管理用計算機は、自己が管理する計算機1に関する情報を参照して、受信した配置規則を満たす計算機1を特定し、その計算機1についての情報を計算機2に送信する。
【0017】
配置規則を満たす計算機1の情報を受信した計算機2は、受信した計算機1の情報から、特定の計算機1を選択する。その後、計算機2は、配置規則を満たさない計算機1に対して、配置規則を満たす特定の計算機1へ部分ファイルを転送するよう指示を送信する。
【0018】
尚、計算機1や計算機2が管理用計算機を兼ねていてもよく、計算機1が計算機2を兼ねていても良い。
【0019】
また、計算機2が有する配置規則には、配置規則を構成する項目の優先度が設定される態様も考えられる。この場合、計算機2は、配置規則を満足する計算機1が存在しない場合、優先度の低い項目を配置規則から除外することによって、配置規則を緩和し、ファイルの分散先(再配置先)となる計算機1を確保する。尚、優先度が0の場合には、その項目は配置規則の内容としては考慮されない態様としても良い。
【0020】
更に、計算機2は、複数の配置規則を有し、分散されるファイルの種類ごとに異なる配置規則を適用してファイルを分散する態様としても良い。また、ファイルの分散時にユーザ等に配置規則の各項目の選択又は優先度を設定させ、その選択又は設定に応じたファイル分散を行う態様でも良い。
【0021】
また、配置規則を満たす計算機1が不足する場合、計算機2は、複数の部分ファイルを1つの計算機1に格納するようにしても良い。
【0022】
また、部分ファイルの移動を指示された計算機1で、一定の条件を満たすまで部分ファイルの移動を保留する態様でも良い。この場合、計算機1は、一つの部分ファイルに対して複数の移動指示を受けることになるが、計算機1は、これら複数の移動指示に含まれる移動先の計算機1に重複する計算機1があるかどうかを確認し、重複している計算機1がある場合にのみ、部分ファイルの転送を実行する。ここで一定の条件とは、一定時間、または一定数指示を受け取るまでとするとよい。
【0023】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【0024】
図1は、本発明を適用した計算機システムの構成の一実施形態を示すブロック図である。図1の計算機システムは、計算機1A、1B、1C、2A、2B、及び管理用計算機4を有し、これらはすべてネットワーク3で相互に接続されている。
【0025】
図11は、計算機1の構成例を示す図である。計算機1は、ファイルや部分ファイルといったデータを記憶するハードディスクやディスクアレイ等のストレージ装置14及び制御部15を有する。制御部15は、プロセッサ16、メモリ17、インタフェース18、及びネットワークインタフェース19を有する。プロセッサ16は、ストレージ装置14に格納された部分ファイルやファイルを管理するためのオペレーティングシステム等のプログラムを実行する。これらのプログラムは、メモリ17に格納される。また、これらのプログラムは、フロッピー(登録商標)ディスク等の可搬記憶媒体又はネットワーク3を介して計算機1にインストールされる。
【0026】
尚、ストレージ装置14は、制御部15と別筐体でも、同一筐体に組み込まれていても良い。制御部15とストレージ装置14は、SCSIやファイバチャネル等のインタフェース18を介して相互に接続される。また、制御部15とストレージ装置14が別筐体である場合には、制御部15とストレージ装置14が、ファイバチャネル等で構築されたストレージエリアネットワークで接続されていてもよい。更に、制御部15とストレージ装置14が別筐体の場合、ストレージ装置14は更にストレージ装置14全体の制御を行う制御部を有していても良い。
【0027】
メモリ17には、自サーバ状態管理プログラム11、部分ファイル管理プログラム12、及び部分ファイル再配置プログラム13が格納される。
【0028】
自サーバ状態管理プログラム11は、計算機1の性能、セキュリティレベル、信頼性レベル、使用料金、又は負荷の情報等(以下、「サーバ情報」)を制御部15が管理する際に実行される。サーバ情報に変更があった場合、制御部15は、同プログラム11を実行して、ネットワーク3を介して、管理用計算機4にその変更内容を通知する。尚、本実施形態においては、制御部15は、サーバ情報のうち、頻繁に更新されることの少ない情報(ここでは、性能、セキュリティレベル、信頼性レベル、使用料金)の変更のみ、管理用計算機4に通知するようにする。
【0029】
また、制御部15は、部分ファイル管理プログラム12の実行結果に基づいて、計算機2へ計算機1自身のサーバ情報を送信する。
【0030】
部分ファイル管理プログラム12は、計算機1のストレージ装置14に格納されている部分ファイルを制御部15が管理する際に実行される。又、同プログラム12は、計算機2からの要求に基づいて、制御部15が、部分ファイルの書き込み、読み出し、及び要求元となる計算機2への部分ファイルの送信を行う際にも実行される。
【0031】
部分ファイル再配置プログラム13は、計算機2からの部分ファイルの移動の指示に基づいて、制御部15が部分ファイルの移動先を決定したり、制御部15が部分ファイルの他の計算機1への転送を制御する際に実行される。また、同プログラム13は、他の計算機1の制御部15から部分ファイルの移動の受け入れ要求を受信した制御部15が、移動を要求された部分ファイルを受信してストレージ装置14へ保存する際にも実行される。
【0032】
管理用計算機4は、計算機1と同様の構成であり、プロセッサ、メモリ、入出力部及びストレージ装置を有する。メモリには、分散ファイル情報管理テーブル43、サーバ情報管理テーブル44、分散ファイル管理プログラム41及びサーバ情報管理プログラム42が格納されている。
【0033】
分散ファイル管理プログラム41は、分散されて管理されるファイル(以下「分散ファイル」)を構成する各部分ファイルの位置を管理用計算機4が管理する際に実行される。管理用計算機4は、計算機2からの分散ファイル作成の通知に基づいて、通知された分散ファイルを構成する各部分ファイルにそれぞれ一意のID(以下「部分ファイルID」)を決定し、分散ファイル名、部分ファイルID、及び各部分ファイルを格納する計算機名を関連付けて管理する。この管理に使用されるテーブルが分散ファイル情報管理テーブル43である。本テーブル43の内容については後述する。
【0034】
また、同プログラム41は、管理用計算機4が、計算機2からの、分散ファイルを構成する部分ファイルのID及び位置に関する問い合わせに応じて、部分ファイルID及び部分ファイルの位置のリストを、問い合わせ元の計算機2に送信する際にも実行される。
【0035】
サーバ情報管理プログラム42は、管理用計算機4が、各計算機1の制御部15から送信されるサーバ情報を管理する際に実行される。サーバ情報の管理に使用されるテーブルがサーバ情報管理テーブル44である。本テーブル44の内容例については後述する。また、同プログラム42は、管理用計算機4が、計算機2からの問い合わせに対し、計算機2からの問い合わせに含まれる配置規則を満足する計算機1をサーバ情報管理テーブル44に基づいて検索し、その結果を計算機2へ返信する際にも実行される。
【0036】
尚、計算機1が分散ファイル管理プログラム41等を有することで、管理用計算機4を兼ねても良い。
【0037】
計算機2は、計算機1と同様の構成であり、プロセッサ、メモリ、入出力部、及びストレージ装置を有する。計算機2は、入出力部を介してユーザの指示を受け付ける。尚、計算機1又は管理用計算機4がユーザの指示を受け付ける入出力部を有することで計算機2を兼ねても良い。メモリには、配置規則23、分散ファイル操作プログラム22及び部分ファイル配置評価プログラム21とが格納されている。
【0038】
分散ファイル操作プログラム22は、計算機2が、ユーザからの分散ファイルの作成要求に対し、分散ファイルの部分ファイルへの分割、配置先となる計算機1の確認、及び各計算機1への部分ファイルの作成要求を発信する際に実行される。
【0039】
部分ファイル配置評価プログラム21は、計算機2が部分ファイルの配置先となる計算機1を確認する際に、予め計算機2に設定されている性能、セキュリティレベル、信頼性レベル、使用料金、負荷情報等の項目に基づく配置規則を満足する計算機1の有無を計算機2が管理用計算機4へ問い合わせる際に実行される。又、問い合わせの結果得られる配置規則を満たす計算機1の数が、配置すべき部分ファイル数未満である場合、計算機2は、同プログラム21を実行して配置規則から優先度の最も低い項目を除外し、再度管理用計算機4へ項目を除いた配置規則に合致する計算機1の有無を問い合わせる。
【0040】
また、計算機2は、各計算機1から受け取ったサーバ情報に基づき、各計算機1が予め設定されている配置規則を満足しているかどうかをチェックする。チェックした結果、配置規則を満たさない計算機1が存在する場合、計算機2は、配置規則を満たさない計算機1が保存している部分ファイルの移動先となる計算機1を決定する。
【0041】
具体的には、計算機2は、配置規則を満足する計算機1の有無を管理用計算機4へ問い合わせる。管理用計算機4は、計算機2からの要求に従って、要求に合致する計算機1を検索し、その結果を計算機2に送信する。その結果を受信した計算機2は、要求に合致する計算機1のうち、移動すべき部分ファイルが属する分散ファイルに属する他の部分ファイルを保存している計算機1を除外して、移動先となる計算機1を決定する。
【0042】
図1は、分散ファイルA、B、Cが作成された後の状態を例示している。計算機1Aのストレージ装置14には分散ファイルAの部分ファイルA1(141)、計算機1Bのストレージ装置14には分散ファイルAの部分ファイルA2(51)及び分散ファイルBの部分ファイルB1(52)、計算機1Cのストレージ装置14には分散ファイルBの部分ファイルB2(61)及び分散ファイルCの部分ファイルC1(62)が保存されている。
【0043】
図2は、図1の状態における、管理用計算機4が有する分散ファイル情報管理テーブル43の例を示したものである。管理用計算機4は、各分散ファイルの各部分ファイルに付された一意の部分ファイルIDと部分ファイルが格納される位置との対応関係を本テーブル43で管理する。ここで、各分散ファイルに属性情報がある場合には、この属性情報を各部分ファイルに対応付けて管理する。図2では、分散ファイルの属性情報の例として、分散ファイルの種類を管理している。分散ファイルの属性情報としては、他にファイルの所有者、ファイル作成時刻、ファイル更新時刻などが考えられる。これらの情報は、各計算機2が分散ファイル作成要求をユーザから受取った際に、管理用計算機4に送信される。
【0044】
図3は、管理用計算機4において管理されているサーバ情報管理テーブル44の例を示したものである。ここで、本実施形態の各計算機1では、性能としてストレージ装置14のデータ転送レート(Mバイト/秒)、セキュリティレベルとして各計算機1の管理者が設定した使用者等のレベル、信頼性レベルとして各計算機1の管理者が設定したレベル、使用料金として、各計算機1のストレージ装置14の使用容量に応じた料金(円/Mバイト)、負荷情報として、各計算機1のストレージ装置14の記憶領域の使用率(%)がサーバ情報として管理されているが、各計算機1から管理用計算機4へは、値の更新の頻度が少ない性能、セキュリティレベル、信頼性レベル、及び使用料金の情報のみが送信されると仮定する。これは、管理用計算機4と各計算機1との間の通信頻度を抑えるためである。したがって、管理用計算機4は、図3のように、各計算機1から送信された情報のみをサーバ情報管理テーブル44で管理する。
【0045】
尚、管理用計算機4へのサーバ情報の登録は、分散ファイルシステムの初期設定時に、ネットワーク3で接続された各計算機1から管理用計算機4へ自動的にサーバ情報が送信される構成としても良いし、ユーザ又は管理者が手動で設定する構成としても良い。また、サーバ情報に変更があった場合には、その都度、計算機1から管理用計算機4へ情報が転送されるか、ユーザ等が手動で登録を行う。
【0046】
図4は、計算機2Aにおいて予め規定されている配置規則のテーブル23の例である。本図においては、配置規則の項目として、性能、セキュリティ、信頼性、使用料金及び負荷が採用されているが、他の組み合わせでも構わない。
【0047】
また、本配置規則のテーブル23では、各項目に優先度が設定される。計算機2は、配置規則を満足する計算機1の数が不足する場合、各項目に設定された優先度に応じて、配置規則のテーブル23から項目を除外し、配置規則の条件を緩和する。これにより、次善の配置規則で部分ファイルを分散することが可能となる。
【0048】
本図においては、性能の項目を優先度3とし、性能値が40(Mバイト/秒)以上である計算機1に部分ファイルを配置することを規定している。また、セキュリティの項目を優先度1とし、セキュリティレベルの値が4以上である計算機1に部分ファイルを配置すること、また、信頼性の項目を優先度2とし、信頼性レベルの値が2以上である計算機1に部分ファイルを配置することを規定している。さらに、使用料金及び負荷の規則は優先度0とし、配置規則の項目としては適用しないことを示している。以下の説明では、優先度1が、優先度3よりも優先されるとして説明する。
【0049】
尚、本実施形態では、配置規則の項目の組み合わせが一つの場合について説明する。しかし、他の実施形態として、分散ファイルの配置時に、ユーザに項目の優先度を決定させることで、個々の分散ファイルの配置ごとに、ユーザが望む項目から構成される配置規則を使用する態様が考えられる。
【0050】
この場合、計算機2は、分散ファイル作成時に、入出力部に配置規則の項目を表示し、ユーザに項目の優先度を入力させる。ここで、ユーザは、優先したい項目について高い優先度を設定する。逆にユーザは優先度0を入力することで、その項目を配置規則から除外することも出来る。更に、新たな項目がユーザによって追加されても良い。
【0051】
このようにして設定された項目及びその優先度を、計算機2はその分散ファイルの配置規則のテーブル23としてメモリに記録すると共に、設定された配置規則の情報を管理用計算機4に送信する。管理用計算機4は、図2の分散ファイル情報管理テーブル43を図10のように拡張し、各分散ファイルごとの配置規則についても分散ファイルの属性情報として管理する。
【0052】
また、本実施形態では、分散ファイルの種類を問わず同じ配置規則を適用しているが、他の実施態様として、分散ファイルの種類によって適用する規則の選択/優先度の設定を自動で行う態様も考えられる。この場合、計算機2は、あらかじめ、図9に示すように、図4に示す配置規則のテーブル23をファイルの種類ごとに有する。そして、計算機2は、ユーザから分散ファイル作成が要求された場合に、要求されたファイルの種類に応じて図9の配置規則のテーブルから適用する配置規則を自動で選択し、必要があれば優先度を設定する。
【0053】
尚、計算機2に設定されるファイルの種類ごとの配置規則の情報は、計算機1の使用者等が手動で入力したり、新たに計算機2がネットワーク3に接続された際に、管理用計算機4から配置規則の情報が自動的に転送されても良い。さらに、新たに追加される配置規則の項目の情報は、各計算機1及び管理用計算機4に転送され、各計算機1及び管理用計算機4は、追加された配置規則の項目に対応するサーバ情報の収集等を開始する。
【0054】
次に、図1の計算機システムにおいて、ユーザから計算機2Aに対し分散ファイルAの作成要求があり、部分ファイルA1(141)及び部分ファイルA2(51)が作成される場合の処理手順を説明する。
【0055】
ユーザから入出力部を介して計算機2Aに分散ファイルAの作成要求があると、計算機2Aは、ユーザから指定されたファイルを分散ファイルAとし、分散ファイルAを予め規定されたサイズに分割して部分ファイル(ここでは、2つの部分ファイルA1(141)及び部分ファイルA2(51))を作成する。その後、計算機2Aは、管理用計算機4に、作成する部分ファイル数(本例では2)を通知する。
【0056】
管理用計算機4は、管理用計算機4が管理する計算機システム内で一意の部分ファイルIDを、計算機2Aから通知された部分ファイル数と同じ数だけ作成し、作成した部分ファイルIDを計算機2Aに通知する。管理用計算機4より部分ファイルIDを受け取った計算機2Aは、受取った部分ファイルIDを各部分ファイルに付与する。さらに、計算機2Aは、部分ファイルを配置すべき計算機1を決定する。以下、決定処理の手順を説明する。
【0057】
図5は、計算機2Aが、部分ファイルを配置すべき計算機1のリストを確定するまでの手順を示すフローチャートである。
【0058】
まず、計算機2Aは、自身が有する配置規則のテーブル23の項目の中から、1以上の優先度が設定されている項目全てを選択する。この際、ファイルごとに特定の配置規則のテーブル23が決まっている場合には、計算機2は、項目を選択する前に、その特定の配置規則のテーブル23を選択する(ステップ500)。その後、計算機2Aは、管理用計算機4に対し、選択された項目で規定される配置規則を満足する計算機1を問い合わせるためのコマンドを送信する(ステップ501)。ただし、管理用計算機4に登録されていない項目の情報は管理用計算機4の返答では考慮されない。
【0059】
問い合わせコマンドの結果を受信した計算機2A(ステップ509)は、次に、配置規則の項目として負荷が選択されているかどうかを判定する。これは、本実施形態においては、負荷の情報は管理用計算機4では管理されていないため、管理用計算機4から送信された計算機1のリストについて、改めて負荷の条件を満たすかどうかを判断する必要があるからである。尚、本例では負荷の項目を例示するが、管理用計算機4で管理されない項目が他の項目である場合もある。このような項目がある場合、計算機2は、その項目についても、ここで説明した処理と同様の処理を行う(ステップ502)。
【0060】
負荷の項目が選択されている場合には、計算機2Aは、ステップ501で得られた計算機1のリストに含まれる全ての計算機1に対して、現在の負荷情報を問い合わせるコマンドを発行する。そして、その応答に基づいて、計算機2Aは、配置規則の負荷の項目に設定された条件を満足していない計算機1をリストから除外する(ステップ503)。
【0061】
次に、計算機2Aは、ステップ503で修正された計算機1のリストに、作成した部分ファイル数(ここでは2)以上の計算機1が含まれているかどうかを判定する(ステップ504)。部分ファイル数以上の計算機1がリストに含まれていれば、計算機2は、適用した配置規則及び計算機1のリストを確定する(ステップ507)。
【0062】
また、ステップ504において、計算機1のリストに部分ファイル数以上の数の計算機1が含まれない場合、計算機2Aは、ステップ501で配置規則として選択された項目のうち、優先度が最も低い項目を除外する(ステップ505)。その後、計算機2Aは、除外の結果、優先度が1、即ち最も優先度の高い項目が配置規則のテーブル23に残っているかどうかを判定する(ステップ506)。優先度が1の項目が残っていない(すべての項目を除外してしまった)場合、計算機2Aは、ユーザに対して警告を表示するとともに、直前に得られた計算機1のリスト(優先度1の項目を除外する前の計算機1のリスト)を表示する(ステップ508)。また、ステップ506において優先度1の項目が配置規則のテーブル23に残っている場合、計算機2Aは、ステップ501以降の処理を繰り返し、残っている項目で構成される配置規則を満たす計算機1のリストを確定する。
【0063】
その後、計算機2Aは、確定した計算機1のリストから、ランダムに部分ファイルと同じ数の計算機1を選択する。そして、計算機2Aは、選択された各計算機1(この場合、計算機1A及び1B)へそれぞれ部分ファイルA1及びA2の作成を指示する。この指示には、部分ファイルのデータ及び部分ファイルID等が含まれる。さらに、計算機2Aは、管理用計算機4に対し、作成された分散ファイルに関する情報、具体的には、分散ファイル名、各部分ファイルID、及び各部分ファイルの配置場所(計算機1を特定する情報)を通知する。
【0064】
尚、上述したように、計算機2Aは、図5のステップ508の処理に基づいて、ユーザに配置規則を満足する計算機1が足りない旨の警告を出す。このとき、作成された計算機1のリストに計算機1が1つでも存在する場合、計算機2Aが、部分ファイルのうち複数または全てを同一の計算機1に配置してもよいかどうかをユーザに選択させても良い。そして、ユーザがよいと選択した場合は、計算機2は、複数の部分ファイルを同一の計算機1に配置する。
【0065】
また、計算機2Aは、図5のステップ508の処理に基づいて優先度の低い項目を除外した配置規則を満たす計算機1のリストが得られた場合、除外された項目を入出力部を介してユーザへ示し、警告を発するようにしても良い。
【0066】
次に、部分ファイル作成の指示を受けた計算機1の動作手順を説明する。
【0067】
部分ファイル作成の指示を受けた各計算機1(ここでは1A及び1B)は、指示と共に転送されたデータに基づいて自計算機1内のストレージ装置14内に部分ファイルを作成する。また、計算機1は、計算機2Aから受信した部分ファイルIDと部分ファイルのストレージ装置14内の記憶位置を対応付けるテーブルを作成する。
【0068】
図5のステップ501で計算機2Aから問い合わせコマンドを受けた管理用計算機4は、以下のように動作する。管理用計算機4は、計算機2Aから送信された配置規則の項目(図4)に基づいて、図3に示したサーバ情報管理テーブル44の中から図4の配置規則を満足する計算機1(本例の場合計算機1A及び1B)を抽出する。そして、抽出した計算機1の情報を、配置規則を満足する計算機1のリストとして計算機2Aに送信する。
【0069】
次に、図1の計算機システムにおいて、ユーザから計算機2Bに対する分散ファイルBの参照要求があった場合の処理手順及びこの参照要求を契機として、部分ファイルの移動(再配置)を行う場合の処理動作について説明する。尚、部分ファイルの移動(再配置)を行う契機としては、参照要求の他に、部分ファイルの内容を書き換える要求を計算機2が受け付けた場合や、ある一定周期、若しくはユーザが指定した時刻等が考えられる。また、本例では、計算機2Bには、図6のような配置規則の項目及び優先度が設定されていると仮定する。
【0070】
まず、入出力部を介してユーザから計算機2Bに分散ファイルBの参照要求があると、計算機2Bは、分散ファイルBを構成する各部分ファイルがどの計算機1に配置されているかを問い合わせるコマンドを管理用計算機4に送信する。
【0071】
問い合わせのコマンドを受信した管理用計算機4は、分散ファイル情報管理テーブル43を参照し、分散ファイルBの各部分ファイルの部分ファイルID及び部分ファイルを保存している計算機1の計算機名を計算機2Bに送信する。本例では、管理用計算機4は、部分ファイルB1(52)及び部分ファイルB2(61)が各々計算機1B及び計算機1Cに保存されていることを示す情報を送信する。
【0072】
管理用計算機4から分散ファイルBの部分ファイルについての情報を受信した計算機2Bは、計算機1Bへ部分ファイルB1(52)の読み出し要求を、計算機1Cへ部分ファイルB2(61)の読み出し要求を送信する。各計算機1は、計算機2Bの要求に応じて該当する部分ファイルをストレージ装置14から読み出して、計算機2Bへ送信する。この際、各計算機1は、各計算機1のサーバ情報も併せて計算機2Bに送信する。本例においては、図8に示されるようなサーバ情報が計算機2Bに送信されるものとする。尚、ファイルの再配置が他の契機で行われる場合には、計算機2は、その契機において、分散ファイルを構成する部分ファイルを有する計算機1に対して、各計算機1が有するサーバ情報を要求するコマンドを発行しても良い。
【0073】
計算機2Bは、受信した部分ファイルB1(52)及び部分ファイルB2(61)から分散ファイルBを復元する。また、各計算機1から受信したサーバ情報に基づいて、分散ファイルを構成する全ての部分ファイルの配置の評価を行う。
【0074】
部分ファイルの配置の評価は、具体的には次のように行われる。即ち、計算機2Bは、部分ファイルを保存している各計算機1から送信されたサーバ情報と計算機2Bに登録されている配置規則とを比較して、分散ファイルBの部分ファイルを格納する計算機1が、分散ファイルBに対応する配置規則を満足しているかをチェックする。本例においては、計算機2Bは、図6の配置規則及び図8に示されるサーバ情報を比較する。尚、分散ファイルごとに配置規則が決まっている場合には、計算機2Bは、自計算機2Bが有する配置規則のテーブル23の中から、分散ファイルBに対応する配置規則を決定した上で比較を行う。
【0075】
評価の結果、計算機2Bが有する配置規則を満足していない計算機1が存在する場合、計算機2Bは、部分ファイルの移動処理を行う。本例においては、計算機1Cが負荷の項目で配置規則を満たしていないので、計算機1Cに格納された部分ファイルB2(61)が移動の対象となる。以下、部分ファイルの移動処理について説明する。
【0076】
部分ファイルの移動を行う場合、計算機2Bは、まず配置規則を満足していない計算機1の数及び配置規則を満足していない計算機1に格納されている部分ファイルの数を確認する。通常、各計算機1には1つの部分ファイルしか格納されていないので、計算機1の数と部分ファイルの数は一致する。しかし、1つの分散ファイルの部分ファイルを重複して格納している計算機1が存在する場合には、配置規則を満足しない計算機1の数に比べて、それら計算機1に含まれる部分ファイルの数は多くなる。ここで確認された部分ファイルが、移動対象の部分ファイルとなる。
【0077】
その後、計算機2Bは、移動先の計算機1の候補として、配置規則を満足する計算機1のリストを管理用計算機4から取得する。そして、計算機2Bは、計算機1のリストから移動先となる計算機1を決定し、移動対象となる部分ファイルを有する計算機1に対して、移動先となる計算機1へのデータの移動を指示する。
【0078】
図7は、計算機2Bが、移動先となる計算機1の候補となる計算機1のリストを確定する手順を示すフローチャートである。
【0079】
まず、計算機2Bは、配置規則のテーブル23で、1以上の優先度が設定されている全ての項目を選択する(ステップ700)。その後、計算機2Bは、管理用計算機4に対し、選択された項目で構成される配置規則を満足する計算機1の有無を問い合わせるコマンドを発行する(ステップ701)。
【0080】
コマンドを受信した管理用計算機4は、受信した項目で構成される配置規則を満たす計算機1をサーバ情報管理テーブル44から検索し、その結果得られる計算機1のリストを計算機2Bに送信する。本例の場合、管理用計算機4は、図6の配置規則を満足する計算機1として計算機1Aを選択し、計算機2Bに通知する(ステップ710)。
【0081】
配置規則を満たす計算機1のリストを受信した計算機2Bは、計算機2Bが有する配置規則の項目で負荷の項目が選択されているかどうかを判定する(ステップ702)。負荷の項目が選択されている場合には、計算機2Bは、受信した計算機1のリストに含まれる全ての計算機1に、現在の負荷情報を問い合わせるコマンドを発行する。コマンドの送信先である計算機1全てから応答が帰ってきたら、計算機2Bは、その応答に基づいて、負荷の項目を満足していない計算機1を、取得された計算機1のリストから除外する(ステップ703)。
【0082】
次に、計算機2Bは、移動対象となっている部分ファイルが属する分散ファイル(この場合分散ファイルB)に含まれる他の部分ファイルを格納している計算機1がリストに含まれているかを判断する。具体的には、分散ファイル参照の際に管理用計算機4から受信した、他の部分ファイルを格納している計算機1の計算機名と、リストに含まれる計算機1の計算機名とを逐一比較する。そして、計算機2Bは、該当する計算機1がリストに含まれていれば、その計算機1をリストから除外する(ステップ704)。
【0083】
次に、計算機2Bは、ステップ704までに得られた計算機1のリストに、移動すべき部分ファイルの数以上の計算機1が含まれているかどうかを判定する(ステップ705)。部分ファイル数以上の計算機1がリストに含まれていれば、計算機2Bは、適用した配置規則及び計算機1のリストを確定する(ステップ708)。本例においては、管理計算機4から通知された計算機1Aについてステップ702〜705までの条件の確認が行われ、最終的に、計算機1Aが移動先の計算機1のリストとして確定される。
【0084】
一方、ステップ705において、計算機1のリストに移動すべき部分ファイルの数以上の計算機1が含まれていない場合、計算機2Bは、配置規則のテーブル23から、優先度が最も低い項目を除外する(ステップ706)。その後、計算機2Bは、除外の結果、優先度が1の項目が配置規則のテーブル23に残っているかどうかを判定する(ステップ707)。優先度が1の項目が残っていない(すべての項目を除外してしまった)場合、計算機2Bは、ユーザに警告を発し、最後に得られた計算機1のリスト(最後に優先度1の項目を除外する前の計算機1のリスト)を、移動先となる計算機1のリストとする(ステップ709)。
【0085】
また、ステップ707において優先度1の項目が配置規則のテーブル23に残っている場合、計算機2Bは、ステップ701の処理に戻り、管理用計算機4に対し、残っている項目で構成された配置規則を満たす計算機1を問い合わせるコマンドを送信し、以下、同様のステップを実行して所望の計算機1のリストを確定する。
【0086】
その後、計算機2Bは、確定した移動先となる計算機1のリストから、移動すべき部分ファイル数分の計算機1を移動先の計算機1としてランダムに選択する。そして、計算機2Bは、配置規則を満たしていないと判断された計算機1に対し、移動すべき部分ファイルの部分ファイルID及び移動先となる計算機1の情報を送信する。
【0087】
計算機2Bから移動すべき部分ファイルの部分ファイルID及び移動先となる計算機1の情報を受信した計算機1は、受信した部分ファイルIDを用いて部分ファイルの格納位置を特定し、指定された部分ファイルを指定された計算機1に送信する。
【0088】
本実施形態においては、計算機2Bは、計算機1Aを移動先の計算機1として選択し、部分ファイルB2(61)の部分ファイルID及び計算機1Aを示す情報を計算機1Cに送信する。指示を受けた計算機1Cは、計算機2Bの指示に従い、計算機1Aへ部分ファイルB2(61)を転送する。
【0089】
ここで、移動先となる計算機1のリストに移動すべき部分ファイル数より多い計算機1が含まれる場合、計算機2Bは、移動すべき部分ファイルそれぞれに、重複しないよう全ての計算機1を割り振り振っても良い。この場合、ある部分ファイルには、複数の計算機1が移動先として割り振られることになる。その後計算機2Bは、部分ファイルの移動指示を部分ファイルを格納している計算機1に送信する際に、複数の計算機1を移動先の候補として指定する情報を送信する。移動先として複数の計算機1の情報を受取った計算機1は、受信した複数の計算機1に関する情報を用いて、転送先となる計算機1を自由に選択して部分ファイルを転送する。
【0090】
またこの場合、移動すべき部分ファイルを保持している計算機1で、計算機2からの移動指示の実行をある一定の条件を満たすまで保留しておく構成とすることが出来る。さらに、部分ファイルの移動を保留している計算機1が、移動を保留している部分ファイルへの移動指示を重ねて受け取った場合、本計算機1は、各々の移動指示で指定される移動先となる計算機1のうち、全ての移動指示で移動先として指定されている計算機1を移動先として選択する。
【0091】
尚、計算機2Bは、図7のステップ709の処理に基づき、ユーザに対し、部分ファイルが配置規則を満たさない計算機1に配置されているが、配置規則を満たす移動先の計算機1が見つからない旨の警告を入出力部に表示しても良い。また、移動先となる計算機1のリストに部分ファイル数未満の計算機1しか含まれていない場合、計算機2Bは、ユーザに対し、部分ファイルが配置規則を満たさない計算機1に配置されているが、配置規則を満たす移動先の計算機1の数が足りない旨の警告を入出力部に表示しても良い。
【0092】
更にこの場合、計算機2Bは、配置規則を満たさない部分ファイルのうちの一部または全てを同一の計算機1に移動してもよいかどうかをユーザに選択させるようにしても良い。ここで、ユーザが部分ファイルの重複を許した場合、計算機2Bは、移動先の計算機1のリストから計算機1を無作為に抽出し、抽出された計算機1に部分ファイルを移動するよう、移動対象である部分ファイルを有する複数の計算機1に指示する。
【0093】
又、上述したように、計算機1は、一定時間、または一定数の移動指示を計算機2Bから受信するまで、部分ファイルの移動処理の実行を保留しても良い。これにより、短時間の間に複数の計算機2から同一の部分ファイルの参照があった場合、計算機2毎の配置規則の違いによって、参照ごとに毎回部分ファイルが移動してしまう現象を避け、頻繁に部分ファイルが移動することによる計算機システムへ与える負荷を低減することができる。
【0094】
尚、部分ファイルの移動処理を保留している計算機1は、その保留された移動処理を以下のパターンで実行する。
【0095】
まず、保留している移動処理が1つしかなく、かつその移動処理の対象となる移動先の計算機1が一つしか指定されていない場合、移動処理を保留している計算機1は、移動先として指定された計算機1に部分ファイルを転送する。
【0096】
次に、保留している移動処理が一つしかないが、移動処理の対象となる移動先の計算機1が複数指定されている場合、移動処理を保留している計算機1は、複数指定された計算機1からランダムに計算機1を選択し、選択した計算機1に部分ファイルを転送する。
【0097】
また、保留している移動処理が複数あり、かつその各々の移動処理において移動先の計算機1が一つ又は複数指定されている場合、移動処理を保留している計算機1は、保留している各々の処理で指定される移動先の計算機1の中で、共通して存在する計算機1に部分ファイルを転送する。共通に存在する計算機1がない場合、移動処理を保留している計算機1は移動処理を行わない。
【0098】
計算機2Bは、部分ファイル移動の完了を移動先となった計算機1から通知された後、管理用計算機4に対し、部分ファイルID及び部分ファイルの移動先である計算機1についての情報(ネットワークアドレス等)を通知する。
【0099】
本例においては、計算機2Bは、部分ファイルB2(61)の部分ファイルIDと移動先となる計算機1Aの情報を、管理計算機4に通知する。
【0100】
尚、上述した実施形態における部分ファイル転送の方法とは別の方法として、以下が考えられる。
【0101】
すなわち、移動処理における移動先となる計算機1が複数指定されている場合、移動処理を実行する計算機1が、その全ての移動先となる計算機1に部分ファイルを転送する形態である。尚、この場合、移動処理を実行する計算機1のストレージ装置に格納されている部分ファイルは削除される。
【0102】
また、移動先となる計算機1全てに部分ファイルを転送するのではなく、移動処理を行う計算機1が、移動先の候補となる複数の計算機1から複数の計算機1を選択し、その選択された計算機1に対して部分ファイルを転送することも考えられる。
【0103】
更に、保留している移動処理が複数あり、かつその各々の移動処理において移動先の計算機1が一つ又は複数指定されている場合で共通する計算機1がない場合、移動処理を保留している計算機1は、各々の移動処理の移動先として指定されている計算機1全て(又は一部)に部分ファイルを転送する。
【0104】
尚、本方法の場合、移動処理を行う計算機1は、複数の計算機1に同じ部分ファイルを転送したことを管理用計算機4に通知しなければならない。
【0105】
図12は、本方法における管理用計算機4で保持されている分散ファイル情報管理テーブル43の例を示す図である。本図においては、図2で説明した分散ファイル情報管理テーブル43において、部分ファイルの保存先となる計算機1の情報を登録するエントリが複数用意される。
【0106】
また、本方法において、部分ファイルを複数の計算機1に配置(以下「部分ファイルのコピー」)してよいかどうかを、以下のように設定することが考えられる。
【0107】
一つは、ユーザが指定する場合である。この場合、分散ファイル情報管理テーブル43には、図13に示すようなエントリが、ファイルの属性情報として設定される。そして、ユーザは、分散ファイル作成時に、計算機2を介して図13に示すエントリに値を設定することで、ある分散ファイルの部分ファイルのコピーの可否を設定する。計算機1は、この設定された情報を参照して部分ファイルのコピーを行う。
【0108】
もう一つは、あらかじめファイルの種類によって部分ファイルのコピーの可否を設定しておき、分散ファイルの再配置時に、部分ファイルの転送を行う計算機1がその情報に基づいて自動的に部分ファイルのコピーを行う場合である。この場合、管理用計算機4又は計算機1は、図14に示すようなテーブルをあらかじめ有する。
【0109】
このようにして設定された情報に基づいて、計算機1は、部分ファイルのコピーを行う。尚、設定された情報が管理用計算機4にしか存在しない場合、移動処理を行う計算機1は、管理用計算機4に部分ファイルのコピー処理の可否を問い合わせ、その結果に応じて部分ファイルのコピーを行う。
【0110】
更に、本方法においては、同じ部分ファイルが複数の計算機1に存在するので、計算機2が分散ファイルを参照する場合、部分ファイルをどの計算機1から参照するかを決定する必要がある。決定方法としては以下の例が考えられる。
【0111】
第一の例は、管理用計算機4で参照先を決定する場合である。この場合、計算機2から部分ファイルの配置場所の問い合わせを受信したら、管理用計算機4は、部分ファイル情報管理テーブル43に登録された複数の配置先からランダムに一つの計算機1を選択し、その情報を計算機2に通知する。
【0112】
第二の例は、分散ファイルを参照する計算機2が決定する場合である。この場合、部分ファイルの配置場所の問い合わせを受けた管理用計算機4は、同じ部分ファイルを格納する複数の計算機1に関する情報を全て計算機2へ送信する。複数の計算機1についての情報を受取った計算機2は、その複数の計算機1から任意に計算機1を選択して部分ファイルの送信要求を発行する。計算機2における計算機1の選択の仕方には、以下のような例が考えられる。
【0113】
一つ目は、計算機2が、管理用計算機4から受信した情報に含まれる計算機1全てに部分ファイルの送信要求を出し、最初に応答が返ってきたものを採用する。この場合、計算機2は、その他の計算機1に対しては部分ファイル送信の中止命令を送信する。
【0114】
二つ目は、計算機2が、管理用計算機4から受信した情報に含まれる全計算機1から並列して部分ファイルを取得する。具体的には、計算機2は、各々の計算機1に対して、それぞれの部分ファイルのオフセットを指定した取得要求を出す(「部分ファイルの最初の何バイト目から何バイトを送信」という要求を各計算機1に分割して出す)。
【0115】
本方法によれば、部分ファイルをより柔軟に計算機システム内の計算機に再配置することができる。
【0116】
上述した実施形態によれば、計算機システムは、部分ファイル自体が他の部分ファイルに関する情報を有していなくても、配置規則を満足する計算機1の情報を管理用計算機4から取得するだけで、部分ファイルを重複せずに配置することができる。これにより、計算機システムのセキュリティを確保しつつ、ファイルの分散を行うことが出来る。
【0117】
【発明の効果】
本発明によれば、分散ファイルの全ての部分ファイルが特定のサーバへ集まってしまうことを回避し、かつ計算機システムのセキュリティを確保しながら分散ファイルを配置することができる。
【0118】
また、複数かつ多様な配置規則を規定し、それらに従って部分ファイルを柔軟に配置することができる。
【図面の簡単な説明】
【図1】本発明の実施形態による計算機システムを示すブロック図である。
【図2】分散ファイル情報管理テーブルの一例を示す図である。
【図3】サーバ情報管理テーブルの一例を示す図である。
【図4】配置規則及び優先度設定情報の一例を示す図である。
【図5】部分ファイルの配置先計算機を選定する処理動作の一例を示すフローチャートである。
【図6】配置規則及び優先度設定情報の一例である。
【図7】部分ファイルの移動先計算機を選定する処理動作の一例を示すフローチャートである。
【図8】配置規則及び優先度設定情報の一例である。
【図9】分散ファイル種類適用規則対応表の例である。
【図10】分散ファイル情報管理テーブルの一例を示す図である。
【図11】計算機の構成例を示す図である。
【図12】部分ファイル情報管理テーブルの例を示す図である。
【図13】部分ファイル情報管理テーブルのファイル属性情報の例を示す図である。
【図14】部分ファイルのコピーの可否を示す情報が登録されたテーブルの例を示す図である。
【符号の説明】
1、2…計算機、3…ネットワーク、4…管理用計算機、14…ストレージ装置。
Claims (14)
- 第一の計算機、第二の計算機及び第三の計算機を有し、
前記第三の計算機は、前記第一の計算機に関する情報を有し、 前記第二の計算機は、ファイルの分散を規定する、複数の評価項目からなる情報(配置規則)を有し、
前記第二の計算機に、分散されるファイルの作成が指示された場合、前記第二の計算機は、前記第三の計算機に前記配置規則を送信し、
前記配置規則を受信した前記第三の計算機は、前記第一の計算機の情報を参照して、前記配置規則に適合する前記第一の計算機を特定し、前記特定された前記第一の計算機の情報を前記第二の計算機に送信し、
前記第二の計算機は、受信した前記第一の計算機の情報に基づいて、作成が指示されたファイルの部分ファイルを前記第一の計算機に送信することを特徴とする計算機システム。 - 前記配置規則には、前記第一の計算機の性能についての評価項目が含まれることを特徴とする請求項1記載の計算機システム。
- 前記配置規則には、前記第一の計算機のセキュリティ能力についての評価項目が含まれることを特徴とする請求項1及び請求項2のうちいずれか一つに記載の計算機システム。
- 前記配置規則に含まれる評価項目には、各々の評価項目の優先度が設定されていることを特徴とする請求項1、2及び3のうちいずれか一つに記載の計算機システム。
- 更に前記第二の計算機は、
前記部分ファイルを有する前記第一の計算機から前記第一の計算機に関する情報を取得し、
前記配置規則と取得した前記第一の計算機に関する情報を比較して前記配置規則を充足しない第一の計算機を決定し、
前記配置規則を充足しない第一の計算機から前記配置規則を充足する他の第一の計算機へ前記部分ファイルを転送する指示を、前記配置規則を充足しない第一の計算機へ送信することを特徴とする請求項1記載の計算機システム。 - 前記第二の計算機は、前記配置規則を充足する他の第一の計算機に関する情報を、前記第三の計算機から取得することを特徴とする請求項5記載の計算機システム。
- 前記第一の計算機と前記第三の計算機は同一の計算機であることを特徴とする請求項1から6のうちいずれか一つに記載された計算機システム。
- 前記第二の計算機は入出力部を有し、
前記配置規則は、前記入出力部を介して入力される情報によって、ファイルごとに決定されることを特徴とする請求項1から7のうちいずれか一つに記載された計算機システム。 - 前記第二の計算機は、ファイルの種類に応じて前記配置規則を複数有し、前記作成が指示されたファイルの種類に対応する配置規則を使用することを特徴とする請求項1から8のうちいずれか一つに記載された計算機システム。
- 第一の計算機及び第二の計算機に接続される計算機であって、
制御部及びストレージ装置を有し、
前記制御部は、
ファイルの分散を規定する、複数の評価項目からなる情報(配置規則)を有し、
前記制御部は、
分散されるファイルの作成が指示された場合、前記第二の計算機に前記配置規則を送信し、
前記第二の計算機から受信した前記第一の計算機の情報に基づいて、作成が指示されたファイルの部分ファイルを前記第一の計算機に送信することを特徴とする計算機。 - 前記制御部は、
前記部分ファイルを有する前記第一の計算機から前記第一の計算機に関する情報を取得し、
前記配置規則と取得した前記第一の計算機に関する情報を比較して前記配置規則を充足しない第一の計算機を決定し、
前記配置規則を充足しない第一の計算機から、前記配置規則を充足する他の第一の計算機へ前記部分ファイルを転送する指示を前記配置規則を充足しない第一の計算機へ送信することを特徴とする請求項10記載の計算機。 - 前記配置規則を充足する他の第一の計算機を決定する際に、前記部分ファイルと関連する他の部分ファイルを有する第一の計算機を除外することを特徴とする請求項11記載の計算機。
- 第一の計算機、第二の計算機及び第三の計算機を有する計算機システムにおいてファイルを分散する方法であって、
前記第二の計算機でファイルの分散を規定する、複数の評価項目からなる情報(配置規則)を有し、
前記第二の計算機に分散されるファイルの作成が指示された場合、前記第二の計算機で、前記第三の計算機に前記配置規則を送信し、
前記配置規則を受信した前記第三の計算機で、前記第一の計算機の情報を参照して、前記配置規則に適合する前記第一の計算機を特定し、前記特定された前記第一の計算機の情報を前記第二の計算機に送信し、
前記第二の計算機で、受信した前記第一の計算機の情報に基づいて、作成が指示されたファイルの部分ファイルを前記第一の計算機に送信することを特徴とするファイル分散方法。 - 更に前記第二の計算機で、
前記部分ファイルを有する前記第一の計算機から前記第一の計算機に関する情報を取得し、
前記配置規則と取得した前記第一の計算機に関する情報を比較して前記配置規則を充足しない第一の計算機を決定し、
前記配置規則を充足しない第一の計算機から、前記配置規則を充足する他の第一の計算機へ前記部分ファイルを転送する指示を前記配置規則を充足しない第一の計算機へ送信することを特徴とする請求項13記載のファイル分散方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003071189A JP4265245B2 (ja) | 2003-03-17 | 2003-03-17 | 計算機システム |
US10/637,910 US7107323B2 (en) | 2003-03-17 | 2003-08-08 | System and method of file distribution for a computer system in which partial files are arranged according to various allocation rules |
EP04005127A EP1465072B1 (en) | 2003-03-17 | 2004-03-04 | Computer system with distributed file system for managing distributed files |
US11/501,553 US7325041B2 (en) | 2003-03-17 | 2006-08-08 | File distribution system in which partial files are arranged according to various allocation rules associated with a plurality of file types |
US11/951,897 US7620698B2 (en) | 2003-03-17 | 2007-12-06 | File distribution system in which partial files are arranged according to various allocation rules associated with a plurality of file types |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003071189A JP4265245B2 (ja) | 2003-03-17 | 2003-03-17 | 計算機システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004280485A true JP2004280485A (ja) | 2004-10-07 |
JP4265245B2 JP4265245B2 (ja) | 2009-05-20 |
Family
ID=32844565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003071189A Expired - Fee Related JP4265245B2 (ja) | 2003-03-17 | 2003-03-17 | 計算機システム |
Country Status (3)
Country | Link |
---|---|
US (3) | US7107323B2 (ja) |
EP (1) | EP1465072B1 (ja) |
JP (1) | JP4265245B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006302077A (ja) * | 2005-04-22 | 2006-11-02 | Hitachi Ltd | ボリュームマイグレーションシステム、ボリューム再配置方法及びプログラム |
JP2009537918A (ja) * | 2006-05-23 | 2009-10-29 | ノーリャン・ホールディング・コーポレイション | 分散ストレージ |
JP2010113509A (ja) * | 2008-11-06 | 2010-05-20 | Hitachi Ltd | 記憶領域の割当方法および管理サーバ |
JP2016511862A (ja) * | 2013-01-08 | 2016-04-21 | リブ マインズ インコーポレーテッド | 記憶ネットワークデータ割り当て |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8065277B1 (en) | 2003-01-17 | 2011-11-22 | Daniel John Gardner | System and method for a data extraction and backup database |
US8630984B1 (en) | 2003-01-17 | 2014-01-14 | Renew Data Corp. | System and method for data extraction from email files |
US8375008B1 (en) | 2003-01-17 | 2013-02-12 | Robert Gomes | Method and system for enterprise-wide retention of digital or electronic data |
US8943024B1 (en) | 2003-01-17 | 2015-01-27 | Daniel John Gardner | System and method for data de-duplication |
JP4068473B2 (ja) * | 2003-02-19 | 2008-03-26 | 株式会社東芝 | ストレージ装置、分担範囲決定方法及びプログラム |
US9678967B2 (en) * | 2003-05-22 | 2017-06-13 | Callahan Cellular L.L.C. | Information source agent systems and methods for distributed data storage and management using content signatures |
US8069151B1 (en) | 2004-12-08 | 2011-11-29 | Chris Crafford | System and method for detecting incongruous or incorrect media in a data recovery process |
FR2880441B1 (fr) | 2004-12-31 | 2010-06-18 | Trusted Logic | Chargement dynamique securise |
US8527468B1 (en) | 2005-02-08 | 2013-09-03 | Renew Data Corp. | System and method for management of retention periods for content in a computing system |
US8799293B2 (en) * | 2005-10-13 | 2014-08-05 | Sap Aktiengeselleschaft | System and method for efficient storage destination determination in a storage facility |
WO2007062258A2 (en) * | 2005-11-28 | 2007-05-31 | Storagedna, Inc. | Distributed file system with file fragmentation |
US8996586B2 (en) * | 2006-02-16 | 2015-03-31 | Callplex, Inc. | Virtual storage of portable media files |
US10303783B2 (en) | 2006-02-16 | 2019-05-28 | Callplex, Inc. | Distributed virtual storage of portable media files |
US8150827B2 (en) * | 2006-06-07 | 2012-04-03 | Renew Data Corp. | Methods for enhancing efficiency and cost effectiveness of first pass review of documents |
US8615490B1 (en) * | 2008-01-31 | 2013-12-24 | Renew Data Corp. | Method and system for restoring information from backup storage media |
US20090328153A1 (en) * | 2008-06-25 | 2009-12-31 | International Business Machines Corporation | Using exclusion based security rules for establishing uri security |
WO2010087858A1 (en) * | 2009-01-31 | 2010-08-05 | Hewlett-Packard Development Company, L.P. | File-name extension characters for file distribution |
US9251149B2 (en) * | 2009-02-03 | 2016-02-02 | Bmc Software, Inc. | Data set size tracking and management |
US8418181B1 (en) | 2009-06-02 | 2013-04-09 | Amazon Technologies, Inc. | Managing program execution based on data storage location |
WO2011072172A1 (en) * | 2009-12-09 | 2011-06-16 | Renew Data Corp. | System and method for quickly determining a subset of irrelevant data from large data content |
WO2011075610A1 (en) | 2009-12-16 | 2011-06-23 | Renew Data Corp. | System and method for creating a de-duplicated data set |
US9317572B2 (en) * | 2010-03-31 | 2016-04-19 | Cloudera, Inc. | Configuring a system to collect and aggregate datasets |
US8874526B2 (en) | 2010-03-31 | 2014-10-28 | Cloudera, Inc. | Dynamically processing an event using an extensible data model |
US9081888B2 (en) | 2010-03-31 | 2015-07-14 | Cloudera, Inc. | Collecting and aggregating log data with fault tolerance |
US9082127B2 (en) | 2010-03-31 | 2015-07-14 | Cloudera, Inc. | Collecting and aggregating datasets for analysis |
US8880592B2 (en) | 2011-03-31 | 2014-11-04 | Cloudera, Inc. | User interface implementation for partial display update |
US8627104B2 (en) | 2011-04-28 | 2014-01-07 | Absio Corporation | Secure data storage |
US9128949B2 (en) | 2012-01-18 | 2015-09-08 | Cloudera, Inc. | Memory allocation buffer for reduction of heap fragmentation |
US9172608B2 (en) | 2012-02-07 | 2015-10-27 | Cloudera, Inc. | Centralized configuration and monitoring of a distributed computing cluster |
US9405692B2 (en) | 2012-03-21 | 2016-08-02 | Cloudera, Inc. | Data processing performance enhancement in a distributed file system |
US9338008B1 (en) | 2012-04-02 | 2016-05-10 | Cloudera, Inc. | System and method for secure release of secret information over a network |
US9842126B2 (en) | 2012-04-20 | 2017-12-12 | Cloudera, Inc. | Automatic repair of corrupt HBases |
US9753954B2 (en) | 2012-09-14 | 2017-09-05 | Cloudera, Inc. | Data node fencing in a distributed file system |
KR101480293B1 (ko) * | 2012-11-30 | 2015-01-12 | 주식회사 엘지씨엔에스 | 분산 파일시스템 처리 장치와 방법 및 이를 저장한 기록 매체 |
US9342557B2 (en) | 2013-03-13 | 2016-05-17 | Cloudera, Inc. | Low latency query engine for Apache Hadoop |
JP5911448B2 (ja) * | 2013-05-10 | 2016-04-27 | 株式会社日立製作所 | 移行支援装置、移行支援方法およびプログラム |
JP6303300B2 (ja) * | 2013-06-25 | 2018-04-04 | 富士通株式会社 | 制御依頼方法、情報処理装置、システム、およびプログラム |
US9477731B2 (en) | 2013-10-01 | 2016-10-25 | Cloudera, Inc. | Background format optimization for enhanced SQL-like queries in Hadoop |
US9934382B2 (en) | 2013-10-28 | 2018-04-03 | Cloudera, Inc. | Virtual machine image encryption |
US9690671B2 (en) | 2013-11-01 | 2017-06-27 | Cloudera, Inc. | Manifest-based snapshots in distributed computing environments |
US9747333B2 (en) | 2014-10-08 | 2017-08-29 | Cloudera, Inc. | Querying operating system state on multiple machines declaratively |
JP6718607B2 (ja) * | 2015-07-29 | 2020-07-08 | 京セラ株式会社 | 管理サーバ及び管理方法 |
US9733834B1 (en) * | 2016-01-28 | 2017-08-15 | Weka.IO Ltd. | Congestion mitigation in a distributed storage system |
CN111095233B (zh) * | 2017-09-28 | 2023-09-26 | 深圳清华大学研究院 | 混合文件系统架构、文件存储、动态迁移及其应用 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0877054A (ja) | 1994-09-06 | 1996-03-22 | Toshiba Corp | 分散ファイルシステム |
US5950198A (en) * | 1997-03-24 | 1999-09-07 | Novell, Inc. | Processes and apparatuses for generating file correspondency through replication and synchronization between target and source computers |
US6415373B1 (en) * | 1997-12-24 | 2002-07-02 | Avid Technology, Inc. | Computer system and process for transferring multiple high bandwidth streams of data between multiple storage units and multiple applications in a scalable and reliable manner |
US6374336B1 (en) * | 1997-12-24 | 2002-04-16 | Avid Technology, Inc. | Computer system and process for transferring multiple high bandwidth streams of data between multiple storage units and multiple applications in a scalable and reliable manner |
EP0952709A1 (en) | 1998-04-20 | 1999-10-27 | BRITISH TELECOMMUNICATIONS public limited company | Data storage and supply |
JP2000207370A (ja) | 1999-01-20 | 2000-07-28 | Matsushita Electric Ind Co Ltd | 分散ファイル管理装置及び分散ファイル管理システム |
AU723578B3 (en) * | 1999-11-23 | 2000-08-31 | Rodier Advertising (1986) Limited | Display frame |
US6970939B2 (en) * | 2000-10-26 | 2005-11-29 | Intel Corporation | Method and apparatus for large payload distribution in a network |
EP1364510B1 (en) * | 2000-10-26 | 2007-12-12 | Prismedia Networks, Inc. | Method and system for managing distributed content and related metadata |
AU2002236435A1 (en) * | 2000-10-26 | 2002-05-21 | Prismedia Networks, Inc. | Method and apparatus for real-time parallel delivery of segments of a large payload file |
US7069295B2 (en) * | 2001-02-14 | 2006-06-27 | The Escher Group, Ltd. | Peer-to-peer enterprise storage |
US7092977B2 (en) | 2001-08-31 | 2006-08-15 | Arkivio, Inc. | Techniques for storing data based upon storage policies |
US7213065B2 (en) * | 2001-11-08 | 2007-05-01 | Racemi, Inc. | System and method for dynamic server allocation and provisioning |
IL147073A0 (en) * | 2001-12-10 | 2002-08-14 | Monosphere Ltd | Method for managing the storage resources attached to a data network |
US20030145086A1 (en) * | 2002-01-29 | 2003-07-31 | O'reilly James | Scalable network-attached storage system |
US7979547B2 (en) * | 2002-01-31 | 2011-07-12 | International Business Machines Corporation | Method and system for splitting a bandwidth among a plurality of network transactions |
JP2003323329A (ja) * | 2002-05-07 | 2003-11-14 | Fujitsu Ltd | 分散ファイル管理方法及びプログラム |
JP4237515B2 (ja) * | 2003-02-07 | 2009-03-11 | 株式会社日立グローバルストレージテクノロジーズ | ネットワークストレージ仮想化方法およびネットワークストレージシステム |
-
2003
- 2003-03-17 JP JP2003071189A patent/JP4265245B2/ja not_active Expired - Fee Related
- 2003-08-08 US US10/637,910 patent/US7107323B2/en not_active Expired - Fee Related
-
2004
- 2004-03-04 EP EP04005127A patent/EP1465072B1/en not_active Expired - Lifetime
-
2006
- 2006-08-08 US US11/501,553 patent/US7325041B2/en not_active Expired - Fee Related
-
2007
- 2007-12-06 US US11/951,897 patent/US7620698B2/en not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006302077A (ja) * | 2005-04-22 | 2006-11-02 | Hitachi Ltd | ボリュームマイグレーションシステム、ボリューム再配置方法及びプログラム |
JP4688556B2 (ja) * | 2005-04-22 | 2011-05-25 | 株式会社日立製作所 | ボリュームマイグレーションシステム、ボリューム再配置方法及びプログラム |
JP2009537918A (ja) * | 2006-05-23 | 2009-10-29 | ノーリャン・ホールディング・コーポレイション | 分散ストレージ |
JP2010113509A (ja) * | 2008-11-06 | 2010-05-20 | Hitachi Ltd | 記憶領域の割当方法および管理サーバ |
JP2016511862A (ja) * | 2013-01-08 | 2016-04-21 | リブ マインズ インコーポレーテッド | 記憶ネットワークデータ割り当て |
Also Published As
Publication number | Publication date |
---|---|
EP1465072B1 (en) | 2012-05-23 |
US20080098086A1 (en) | 2008-04-24 |
US20040205109A1 (en) | 2004-10-14 |
EP1465072A3 (en) | 2004-12-29 |
EP1465072A2 (en) | 2004-10-06 |
JP4265245B2 (ja) | 2009-05-20 |
US7325041B2 (en) | 2008-01-29 |
US7107323B2 (en) | 2006-09-12 |
US7620698B2 (en) | 2009-11-17 |
US20060271653A1 (en) | 2006-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4265245B2 (ja) | 計算機システム | |
US10831387B1 (en) | Snapshot reservations in a distributed storage system | |
US7765189B2 (en) | Data migration apparatus, method, and program for data stored in a distributed manner | |
US7783737B2 (en) | System and method for managing supply of digital content | |
US20070233837A1 (en) | Job assigning device, job assigning method, and computer product | |
US10162527B2 (en) | Scalable and efficient access to and management of data and resources in a tiered data storage system | |
JPWO2015049789A1 (ja) | リソース管理システムおよびリソース管理方法 | |
JP2005275829A (ja) | ストレージシステム | |
CN101258497A (zh) | 分布式文件系统中基于集中策略的磁盘空间预分配的方法 | |
JPWO2011135629A1 (ja) | 計算機システムにおけるソフトウェアの配布管理方法、及び、ソフトウェアの配布管理のための計算機システム | |
JP2005228278A (ja) | 記憶領域の管理方法、管理装置及び管理プログラム | |
JP2004302937A (ja) | プログラム配置方法及びその実施システム並びにその処理プログラム | |
JPH1074159A (ja) | 計算機システムの制御方法 | |
US20120246206A1 (en) | File server system and storage control method | |
US10503693B1 (en) | Method and system for parallel file operation in distributed data storage system with mixed types of storage media | |
JP2005338985A (ja) | 記憶領域管理方法及びシステム | |
KR20090062106A (ko) | 파일 입출력과 복제의 균형적 수행을 위한 지연복제 시스템및 방법 | |
US12026391B2 (en) | Copy control device and copy control method | |
CN109302448A (zh) | 一种数据处理方法及装置 | |
JP7347007B2 (ja) | 情報処理装置、情報処理システム、及び情報処理プログラム | |
KR101386161B1 (ko) | 클라우드 컴퓨팅 시스템의 압축 이미지 파일 관리 장치 및 방법 | |
KR20200072128A (ko) | 라이브 서비스를 위한 분산 파일 시스템 및 파일 관리 방법 | |
WO2006043322A1 (ja) | サーバ管理プログラム、サーバ管理方法、およびサーバ管理装置 | |
JP4343056B2 (ja) | ストレージ装置割当て方法ならびにそのための管理サーバおよびプログラム | |
JP6568232B2 (ja) | 計算機システム、及び、装置の管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051219 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081104 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090127 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090209 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |