JP2017224253A - 並列処理装置及びメモリキャッシュ制御方法 - Google Patents

並列処理装置及びメモリキャッシュ制御方法 Download PDF

Info

Publication number
JP2017224253A
JP2017224253A JP2016121212A JP2016121212A JP2017224253A JP 2017224253 A JP2017224253 A JP 2017224253A JP 2016121212 A JP2016121212 A JP 2016121212A JP 2016121212 A JP2016121212 A JP 2016121212A JP 2017224253 A JP2017224253 A JP 2017224253A
Authority
JP
Japan
Prior art keywords
cache
server
node
data
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016121212A
Other languages
English (en)
Other versions
JP6696315B2 (ja
Inventor
山田　雅彦
Masahiko Yamada
雅彦 山田
剛 橋本
Takeshi Hashimoto
剛 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016121212A priority Critical patent/JP6696315B2/ja
Priority to US15/597,550 priority patent/US20170366612A1/en
Publication of JP2017224253A publication Critical patent/JP2017224253A/ja
Application granted granted Critical
Publication of JP6696315B2 publication Critical patent/JP6696315B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0813—Multiuser, multiprocessor or multiprocessing cache systems with a network or matrix configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/133—Protocols for remote procedure calls [RPC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/2885—Hierarchically arranged intermediate devices, e.g. for hierarchical caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/15—Use in a specific computing environment
    • G06F2212/154—Networked environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60—Details of cache memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/62—Details of cache specific to multiprocessor cache arrangements

Abstract

【課題】ディスク装置に対する無駄な書き込みと読み出しをなくすこと。【解決手段】スレーブメモリキャッシュサーバが、クライアントキャッシュをメインメモリに記憶し、クライアントキャッシュが使用済になると、クライアントキャッシュの内容をファイルサーバ２のファイルキャッシュにコピーする。また、ファイルサーバ２は、スレーブ管理表３０ａ及びリモートキャッシュ管理表２１ｅを記憶部２１ｃに記憶する。そして、ファイルサーバ２は、サーバキャッシュに変更されたデータの送信要求をクライアント１から受信すると、リモートキャッシュ管理表１１ｅを参照し、スレーブメモリキャッシュサーバにデータがあるか否かを判定する。そして、スレーブメモリキャッシュサーバにデータがあると判定すると、ファイルサーバ２は、スレーブメモリキャッシュサーバにサーバキャッシュに変更されたデータをクライアント１に送信するように指示する。【選択図】図５

Description

本発明は、並列処理装置及びメモリキャッシュ制御方法に関する。
ファイルサーバが記憶するファイルをネットワークを介してクライアントがアクセスする場合、クライアントのメインメモリにファイルキャッシュが記憶される。図２２は、ファイルキャッシュがクライアントのメインメモリに記憶される場合を示す図である。
図２２では、ファイルサーバ８のファイル管理部８１が、ネットワーク８ｃを介したクライアント９からのファイルアクセスを処理する。クライアント９で動作するクライアントアプリケーション９１は、ＲＰＣ（Remote Procedure Call）プロトコルを用いてファイルサーバ８が記憶するファイルにアクセスする。
このとき、クライアント９のメインメモリは一次キャッシュとしてファイルキャッシュ９２を記憶し、クライアントアプリケーション９１は、ファイルキャッシュ９２にアクセスすることによって、ファイルサーバ８が記憶するファイルにアクセスする。
一次キャッシュがあふれた場合には、キャッシュサーバに二次キャッシュが配置される。図２３は、キャッシュサーバに配置される二次キャッシュを示す図である。図２３に示すように、ネットワーク８ｃに接続されたキャッシュサーバ９ａのメインメモリにクライアントキャッシュ９３が二次キャッシュとして配置される。クライアントアプリケーション９１によってファイルキャッシュ９２に書き込みが行われると、書き込みがクライアントキャッシュ９３に反映され、クライアントキャッシュ９３の内容がファイルサーバ８に反映される。
また、ファイルサーバ８におけるファイルのアクセスを高速化するために、ファイルの複製がキャッシュサーバにサーバキャッシュとして配置される。図２４は、キャッシュサーバに配置されるサーバキャッシュを示す図である。図２４に示すように、ネットワーク８ｃに接続されたキャッシュサーバ８ａのメインメモリにサーバキャッシュ８２が配置される。クライアントアプリケーション９１によってファイルキャッシュ９２に書き込みが行われると、書き込みがサーバキャッシュ８２に反映され、サーバキャッシュ８２の内容がファイルサーバ８に反映される。
なお、複数のノードを含むシステムにおいて、第１ノードの記憶装置に格納されたデータに対するアクセス特性を示す特性データを取得し、取得した特性データに基づきキャッシュに割り当てる資源を決定することで、適切にキャッシュを配置する技術がある。
また、データ格納手段から取得される元データをキャッシュとして格納し、データ取得要求を受け付けると、キャッシュを利用可能か否かを判定する前に、データ格納手段に格納された元データに対する更新を制限することで、データ取得の効率化を図る技術がある。
また、ネットワークを介してクライアントとストレージが通信する場合、クライアントとストレージ間にキャッシュストレージを設けることで、性能の劣化を防ぐ技術がある。
特開２０１３−２０５８９１号公報 特開２００８−１４６３８０号公報 特開２００４−３４２０７１号公報
キャッシュサーバを利用するシステムで、ジョブＡでクライアントキャッシュ９３に配置されたファイルの内容が次のジョブＢでも使用される場合、ジョブＡの終了時にクライアントキャッシュ９３の内容がファイルサーバ８のディスク装置に書き込まれる。そして、ジョブＢでファイルサーバ８のディスク装置からファイルが読み出されてサーバキャッシュ８２としてキャッシュサーバ８ａのメインメモリに読み出されて使用される。
すなわち、ジョブＡでクライアントキャッシュ９３として使用されたメインメモリの内容は、ディスク装置に書き込まれた後サーバキャッシュ８２として再度メインメモリに読み出される。このため、ジョブＢの実行前にディスク装置への無駄な書き込みとディスク装置からの無駄な読み出しが発生するという問題がある。特に、スーパコンピュータで関連する一連のジョブが実行される場合、前のジョブで使用されたファイルが次のジョブで使用されることが多く、無駄な書き込みと読み出しが多く発生する。
本発明は、１つの側面では、ディスク装置に対する無駄な書き込みと読み出しをなくすことを目的とする。
１つの態様では、並列処理装置は、複数のノードを有する。第１ノードは、第１データを記憶する第１記憶装置と、送信部とを有する。第２ノードは、前記第１記憶装置より低速な記憶装置であって前記第１データを記憶する第２記憶装置を有する。また、前記第２ノードは、前記第１データを前記第１ノードが前記第１記憶装置に記憶中であることを示すデータ管理情報を記憶する管理情報記憶部を有する。また、前記第２ノードは、第３ノードから前記第１データの送信要求を受信する受信部を有する。また、前記第２ノードは、前記受信部が前記送信要求を受信すると、前記データ管理情報を参照し前記第１データが前記第１ノードの前記第１記憶装置に記憶されていた場合は、前記第１ノードに前記第１データを前記第３ノードに送信するように指示を行う制御部を有する。
１つの側面では、ディスク装置に対する無駄な書き込みと読み出しをなくすことができる。
図１は、実施例に係る並列処理装置の構成を示す図である。 図２は、ノードのハードウェア構成を示す図である。 図３は、ノードへのサーバの割当を説明するための図である。 図４は、サーバキャッシュとクライアントキャッシュの関係を示す図である。 図５は、実施例に係るネットワークファイルシステムの機能構成を示す図である。 図６は、クライアントキャッシュ及びサーバキャッシュを示す図である。 図７は、スレーブ管理表及びＣＰＵメモリ位置情報のデータ構造を示す図である。 図８は、リモートキャッシュ管理表及びＣＰＵメモリ位置情報のデータ構造を示す図である。 図９は、キャッシュ管理部によるスレーブ管理表の処理のフローを示すフローチャートである。 図１０は、空きノード検索処理のフローを示すフローチャートである。 図１１は、クライアントによるファイル管理処理のフローを示すフローチャートである。 図１２は、ファイルサーバによるファイル管理処理のフローを示すフローチャートである。 図１３は、キャッシュ管理部によるクライアントキャッシュ管理処理のフローを示すフローチャートである。 図１４は、バッキングストア管理部による処理のフローを示すフローチャートである。 図１５は、スレーブ管理部によるスレーブメモリキャッシュサーバへのメモリキャッシュ操作指示処理のフローを示すフローチャートである。 図１６は、マスター対応部による処理のフローを示すフローチャートである。 図１７は、フレンド対応部による処理のフローを示すフローチャートである。 図１８は、切替マスターデーモンによる切替処理のフローを示すフローチャートである。 図１９は、切替サブデーモンによる切替処理のフローを示すフローチャートである。 図２０は、クライアントキャッシュとして使用できる領域の使用状態に基づいてサーバキャッシュへの切替を制御する切替マスターデーモンの切替処理のフローを示すフローチャートである。 図２１は、クライアントキャッシュとして使用できる領域の使用状態に基づいてサーバキャッシュ切替を制御する切替サブデーモンの切替処理のフローを示すフローチャートである。 図２２は、ファイルキャッシュがクライアントのメインメモリに記憶される場合を示す図である。 図２３は、キャッシュサーバに配置される二次キャッシュを示す図である。 図２４は、キャッシュサーバに配置されるサーバキャッシュを示す図である。
以下に、本願の開示する並列処理装置及びメモリキャッシュ制御方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。
まず、実施例に係る並列処理装置について説明する。図１は、実施例に係る並列処理装置の構成を示す図である。図１に示すように、並列処理装置７は、ｌ、ｍ及びｎを正の整数として、ｘ軸方向にｌ個、ｙ軸方向にｍ個、ｚ軸方向にｎ個のノード１０がトーラス状に接続されて構成される。なお、図１では、ノード１０が３次元に配置される場合を示すが、ノード１０は、２次元、６次元等の他の次元で配置されてもよい。また、ノード１０は、メッシュ状に配置されてもよい。
ノード１０は、情報処理を行う情報処理装置である。ユーザのジョブは、複数のノード１０により並列処理される。図２は、ノードのハードウェア構成を示す図である。図２に示すように、ノード１０は、ＣＰＵ１０ａと、メインメモリ１０ｂと、インターコネクト部１０ｃとを有する。
ＣＰＵ１０ａは、メインメモリ１０ｂからプログラムを読み出して実行する中央処理装置である。メインメモリ１０ｂは、プログラムやプログラムの実行途中結果などを記憶するメモリである。インターコネクト部１０ｃは、他のノード１０と通信を行う通信装置である。
インターコネクト部１０ｃは、ＲＤＭＡ(Remote Direct Memory Access)機能を有する。すなわち、インターコネクト部１０ｃは、メインメモリ１０ｂが記憶するデータをＣＰＵ１０ａを介することなく他のノード１０へ転送し、他のノード１０から受信したデータをＣＰＵ１０ａを介することなくメインメモリ１０ｂに書き込むことができる。
次に、ノード１０へのサーバの割当について説明する。図３は、ノード１０へのサーバの割当を説明するための図である。図３に示すように、１台のノード１０は、ディスク装置２ａを有し、ファイルサーバ２として動作する。ファイルサーバ２は、ディスク装置２ａにファイルを記憶し、他のノード１０が使用するデータを記憶する。
ノード１０には、ジョブで使用されているものと、ジョブで使用されていないものがある。図３では、（１，１，１）から（１，Ｍ，１）のＭ個のノード１０がジョブで使用されているノード１０すなわちジョブを起動したノード１０であり、（１，１，２）から（１，Ｍ，Ｍ）のＭ×（Ｍ−１）個のノード１０が、ジョブで使用されていない空きノード１０である。
ジョブを起動したノード１０の近傍の空きノード１０にマスターメモリキャッシュサーバと複数のスレーブメモリキャッシュサーバが割り当てられる。ここで、近傍とは、ホップ数が１から３までを表す。
スレーブメモリキャッシュサーバは、メモリキャッシュをメインメモリ１０ｂに記憶する。メモリキャッシュには、クライアントキャッシュとサーバキャッシュがある。マスターメモリキャッシュサーバは、スレーブメモリキャッシュサーバが記憶するメモリキャッシュを管理する。
図４は、サーバキャッシュとクライアントキャッシュの関係を示す図である。サーバキャッシュは、ファイルサーバ２の高速化のために、ファイルサーバ２上のファイルの複製を別なノード１０のメインメモリ１０ｂ上に配置したものである。サーバキャッシュには、通常、読み出し専用のデータが格納されている。サーバキャッシュは、負荷分散と冗長化のために、複数のノード１０にあってもよい。
クライアントキャッシュは、クライアント上のファイルキャッシュの複製を別のノード１０のメインメモリ１０ｂ上に配置したものである。ここで、クライアントは、ジョブを起動したノード１０である。クライアントキャッシュは、負荷分散と冗長化のために、複数のノード１０にあってもよい。
実施例に係るメモリキャッシュ制御は、クライアントキャッシュの多段の複製を行った場合、クライアントキャッシュをサーバキャッシュと同等とみなして、クライアントにファイルの内容のファイルサーバ２への書き込みが完了したことが通知する。ここで、クライアントキャッシュの多段の複製とは、書き込みが行われたファイルブロックを他のクライアントキャッシュ又はファイルサーバ２のファイルキャッシュへ複製することである。また、クライアントキャッシュをサーバキャッシュと同等とみなすということは、クライアントキャッシュをサーバキャッシュに変更することである。クライアントキャッシュをサーバキャッシュに変更することで、データが次のジョブで使用される場合に、ファイルサーバ２への書き込みとその後のファイルサーバ２からの読み出しが不要になる。
サーバキャッシュに既にクライアントキャッシュと同じファイルブロックが存在する場合、実施例に係るメモリキャッシュ制御は、クライアントにファイルサーバ２への書き込みが完了したことを通知した時点で、サーバキャッシュのファイルブロックを破棄する。なお、ファイルサーバへの書き込み完了通知以降は、ファイルサーバ２のディスク装置２ａへの実際のファイルの書き戻しのタイミングは、ファイルサーバ２により制御される。
次に、実施例に係るネットワークファイルシステムの機能構成について説明する。図５は、実施例に係るネットワークファイルシステムの機能構成を示す図である。図５に示すように、実施例に係るネットワークファイルシステムは、クライアント１と、ファイルサーバ２と、マスターメモリキャッシュサーバ３と、主スレーブメモリキャッシュサーバ４と、他スレーブメモリキャッシュサーバ５と、ジョブスケジューラ６とを有する。
クライアント１は、ジョブを起動したノード１０である。ファイルサーバ２は、クライアント１が使用するファイルをディスク装置２ａに記憶する。マスターメモリキャッシュサーバ３は、スレーブメモリキャッシュサーバが記憶するクライアントキャッシュ及びサーバキャッシュを管理する。なお、図５では１台のクライアント１のみを示すが、クライアント１は複数台ある。
主スレーブメモリキャッシュサーバ４及び他スレーブメモリキャッシュサーバ５は、クライアントキャッシュ及びサーバキャッシュを記憶するスレーブメモリキャッシュサーバである。通常は、主スレーブメモリキャッシュサーバ４がスレーブメモリキャッシュサーバとして用いられる。他スレーブメモリキャッシュサーバ５は、主スレーブメモリキャッシュサーバ４が使用できない場合に、スレーブメモリキャッシュサーバとして用いられる。他スレーブメモリキャッシュサーバ５は、複数ある。
図６は、主スレーブメモリキャッシュサーバ４及び他スレーブメモリキャッシュサーバ５が記憶するクライアントキャッシュ及びサーバキャッシュを示す図である。図６に示すように、主スレーブメモリキャッシュサーバ４及び他スレーブメモリキャッシュサーバ５は、それぞれ複数のクライアントキャッシュ４０ｃ及びサーバキャッシュ４０ｄを記憶する。なお、クライアントキャッシュ４０ｃ及びサーバキャッシュ４０ｄはスレーブメモリキャッシュサーバの記憶部４０に記憶される。
ジョブスケジューラ６は、ジョブの実行のスケジューリングを行う。ジョブスケジューラ６は、ジョブをノード１０に割り当て、資源割当マップ６１を作成し、マスターメモリキャッシュサーバ３へ通知する。
マスターメモリキャッシュサーバ３は、記憶部３０と、キャッシュ管理部３１と、切替マスターデーモン３２と、スレーブ管理部３３と、バッキングストア管理部３４とを有する。
記憶部３０は、メモリキャッシュを管理するための情報を記憶する。具体的には、記憶部３０は、スレーブ管理表３０ａと、ＣＰＵメモリ位置情報３０ｂと、リモートキャッシュ管理表３０ｃとを記憶する。記憶部３０は、図２に示したメインメモリ１０ｂに対応する。
スレーブ管理表３０ａには、スレーブメモリキャッシュサーバに配置されるメモリキャッシュをスレーブメモリキャッシュサーバ毎に管理するための情報が登録される。ＣＰＵメモリ位置情報３０ｂは、メインメモリ１０ｂ上のファイルブロックに関する情報である。
図７は、スレーブ管理表３０ａ及びＣＰＵメモリ位置情報３０ｂのデータ構造を示す図である。図７に示すように、スレーブ管理表３０ａは、キャッシュメモリ毎のエントリが双方向ポインタで接続された表である。エントリには、スレーブメモリキャッシュサーバのネットワークアドレス、メモリキャッシュ用に管理する全メモリブロック数、メモリキャッシュ用に管理する空きメモリブロック数、ＣＰＵメモリ位置情報へのポインタが含まれる。また、エントリには、次のエントリへのポインタ、前のエントリへのポインタが含まれる。
ＣＰＵメモリ位置情報３０ｂは、ファイルブロック毎のエントリが双方向ポインタで接続された情報である。エントリには、ＣＰＵのネットワークアドレス、メインメモリ１０ｂ上のファイルブロックの先頭アドレス、メインメモリ１０ｂ上のファイルブロックのサイズ、ファイルブロックの状態すなわちＣＬＥＡＮ又はＤＩＲＴＹが含まれる。ここで、ＣＬＥＡＮはメインメモリ１０ｂ上のファイルブロックに書き込みが行われていないことを示し、ＤＩＲＴＹはメインメモリ１０ｂ上のファイルブロックに書き込みが行われたことを示す。また、エントリには、次のエントリへのポインタ、前のエントリへのポインタが含まれる。
リモートキャッシュ管理表３０ｃは、ファイルブロックがどのノード１０のメインメモリ１０ｂ上の何処のアドレス位置にメモリキャッシュとして配置されているかを管理するための情報である。
図８は、リモートキャッシュ管理表３０ｃ及びＣＰＵメモリ位置情報３０ｂのデータ構造を示す図である。図８に示すように、リモートキャッシュ管理表３０ｃは、ファイルブロック毎のエントリが双方向ポインタで接続された表である。エントリには、ファイルブロックの先頭アドレス、ファイルブロックのサイズ、ＣＰＵメモリ位置情報へのポインタ、メモリキャッシュの用途すなわちクライアント又はサーバ、メモリキャッシュの状態すなわちシリアライズ又は並列が含まれる。また、エントリには、次のエントリへのポインタ、前のエントリへのポインタが含まれる。
キャッシュ管理部３１は、メモリキャッシュの割当、解放、書き込み及び読み出しを管理する。キャッシュ管理部３１は、クライアント１からクライアントキャッシュ４０ｃの要求、又はファイルサーバ２からサーバキャッシュ４０ｄの要求を受け付け、スレーブ管理部３３へスレーブメモリキャッシュサーバへのキャッシュメモリ操作指示を行うように要求する。
また、キャッシュ管理部３１は、スレーブ管理表３０ａ及びリモートキャッシュ管理表３０ｃを更新する。そして、キャッシュ管理部３１は、メモリキャッシュの割当、解放又は書き込みが行われた場合には、定期的にリモートキャッシュ管理表３０ｃをクライアント１、ファイルサーバ２及びスレーブメモリキャッシュサーバへ送信し、更新させる。
リモートキャッシュ管理表３０ｃの送信では、キャッシュ管理部３１は、各クライアント１、ファイルサーバ２及び各スレーブメモリキャッシュサーバに対して、同時にＲＤＭＡ転送を行う。このＲＤＭＡ転送には、キャッシュ管理部３１は、ＭＰＩ（Message Passing Interface：メッセージパッシングインタフェース）の集団通信インタフェース（ＭＰＩ＿ＢＣＡＳＴ）を利用する。
また、キャッシュ管理部３１は、ＲＤＭＡ転送の通信完了を確認するため、ＣＰＵ１０ａを利用したメモリ内容のロックなしに、２つのノード１０間のメモリ内容の一致を確認する。この確認には、キャッシュ管理部３１は、ＭＰＩのＲＥＤＵＣＥインタフェース（ＭＰＩ＿ＲＥＤＵＣＥ）の排他的論理和（ＥＸＯＲ）の演算を利用する。
また、キャッシュ管理部３１は、ジョブスケジューラ６から資源割当マップ６１を受信すると、スレーブ管理表３０ａを参照し、スレーブメモリキャッシュサーバにジョブが割り当てられたか否かを判定する。そして、スレーブメモリキャッシュサーバにジョブが割り当てられた場合には、空きノード１０を探し、ジョブが割り当てられたスレーブメモリキャッシュサーバの空きノード１０への移動をスレーブ管理部３３に要求し、スレーブ管理表３０ａを更新する。
また、キャッシュ管理部３１は、空きノード１０が見つからなかった場合には、ジョブが割り当てられたスレーブメモリキャッシュサーバからファイルサーバ２への退避をスレーブ管理部３３に要求する。
切替マスターデーモン３２は、スレーブメモリキャッシュサーバの切替サブデーモン４１と連携してクライアントキャッシュ４０ｃからサーバキャッシュ４０ｄへの切替を行う。切替マスターデーモン３２は、クライアントキャッシュ４０ｃからサーバキャッシュ４０ｄへの切替を行ったメモリキャッシュについてリモートキャッシュ管理表３０ｃを更新する。
スレーブ管理部３３は、キャッシュ管理部３１の要求に基づいて、スレーブメモリキャッシュサーバにキャッシュメモリの割当又は解放を指示する。また、スレーブ管理部３３は、キャッシュ管理部３１の要求に基づいて、スレーブメモリキャッシュサーバの空きノード１０への移動、又は、スレーブメモリキャッシュサーバからファイルサーバ２への退避を指示する。
ここで、スレーブメモリキャッシュサーバの空きノード１０への移動とは、スレーブメモリキャッシュサーバのメモリキャッシュの内容を空きノード１０へ移動することである。また、スレーブメモリキャッシュサーバからファイルサーバ２への退避とは、スレーブメモリキャッシュサーバのメモリキャッシュの内容をファイルサーバ２のディスク装置２ａに書き込むことである。
バッキングストア管理部３４は、ファイルサーバ２のディスク装置２ａに記憶されたバッキングストア管理表２ｂを更新する。ここで、バッキングストア管理表２ｂは、キャッシュメモリとディスク装置２ａとの間のデータの読み書きを管理するための表である。
主スレーブメモリキャッシュサーバ４と他スレーブメモリキャッシュサーバ５は、スレーブメモリキャッシュサーバとして同様の機能構成を有する。そこで、ここでは、スレーブメモリキャッシュサーバの機能構成を説明する。スレーブメモリキャッシュサーバは、記憶部４０と、切替サブデーモン４１と、クライアント対応部４２と、サーバ対応部４３と、バッキングストアアクセス部４４と、マスター対応部４５と、フレンド対応部４６とを有する。
記憶部４０は、リモートキャッシュ管理表４０ａとＣＰＵメモリ位置情報４０ｂを記憶する。リモートキャッシュ管理表４０ａのデータ構造は、リモートキャッシュ管理表３０ｃのデータ構造と同じである。ＣＰＵメモリ位置情報４０ｂのデータ構造は、ＣＰＵメモリ位置情報３０ｂのデータ構造と同じである。なお、図６に示したように、記憶部４０は、クライアントキャッシュ４０ｃ及びサーバキャッシュ４０ｄを記憶する。記憶部４０は、図２に示したメインメモリ１０ｂに対応する。
切替サブデーモン４１は、マスターメモリキャッシュサーバ３の切替マスターデーモン３２と連携してクライアントキャッシュ４０ｃからサーバキャッシュ４０ｄへの切替を行う。切替サブデーモン４１は、クライアントキャッシュ４０ｃの使用が終了し、クライアントキャッシュ４０ｃの内容がファイルサーバ２に送信されると、クライアントキャッシュ４０ｃからサーバキャッシュ４０ｄへの切替を行う。
クライアント対応部４２は、クライアントキャッシュ４０ｃに対する書き込み要求及び読み出し要求をクライアント１から受信し、クライアントキャッシュ４０ｃへのデータの書き込み及びクライアントキャッシュ４０ｃからのデータの読み出しを行う。
サーバ対応部４３は、サーバキャッシュ４０ｄに対する書き込み要求及び読み出し要求をファイルサーバ２から受信し、サーバキャッシュ４０ｄへのデータの書き込み及びサーバキャッシュ４０ｄからのデータの読み出しを行う。
バッキングストアアクセス部４４は、ディスク装置２ａのファイルを読み出して送信すようにファイルサーバ２に要求し、送信されたファイルをメモリキャッシュに書き込む。また、バッキングストアアクセス部４４は、クライアントキャッシュ４０ｃの内容をファイルサーバ２に送信し、クライアントキャッシュ４０ｃの内容をディスク装置２ａに書き込むようにファイルサーバ２に要求する。
バッキングストアアクセス部４４は、クライアントキャッシュ４０ｃの内容をファイルサーバ２に送信する際に、ＭＰＩの集団通信インタフェース（ＭＰＩ＿ＢＣＡＳＴ）を利用して、ファイルサーバ２にＲＤＭＡ転送を行う。また、バッキングストアアクセス部４４は、ＲＤＭＡ転送の通信完了を確認する際に、ＣＰＵ１０ａを利用したメモリ内容のロックはしない。バッキングストアアクセス部４４は、ＭＰＩのＲＥＤＵＣＥインタフェース（ＭＰＩ＿ＲＥＤＵＣＥ）の排他的論理和（ＥＸＯＲ）の演算を利用して、ファイルサーバ２との間でメモリ内容の一致を確認する。
マスター対応部４５は、スレーブ管理部３３からの割当指示又は解放指示に基づいて、フレンド対応部４６を用いて、キャッシュメモリの割当又は解放を行う。また、マスター対応部４５は、スレーブ管理部３３からの移動指示に基づいて、フレンド対応部４６へスレーブメモリキャッシュサーバの空きノード１０への移動を指示する。また、マスター対応部４５は、スレーブ管理部３３からの退避指示に基づいて、バッキングストアアクセス部４４へスレーブメモリキャッシュサーバからファイルサーバ２への退避を指示する。
フレンド対応部４６は、他のスレーブメモリキャッシュサーバのフレンド対応部４６と連携してメモリキャッシュの複製に関する処理を行う。具体的には、フレンド対応部４６は、マスター対応部４５の割当指示に基づいて、他のスレーブメモリキャッシュサーバにメモリキャッシュの複製を作成する。
フレンド対応部４６は、他のスレーブメモリキャッシュサーバにメモリキャッシュの複製を作成する際に、ＭＰＩの集団通信インタフェース（ＭＰＩ＿ＢＣＡＳＴ）を利用して、複数の他のスレーブメモリキャッシュサーバに対して、同時にＲＤＭＡ転送を行う。また、フレンド対応部４６は、ＲＤＭＡ転送の通信完了を確認する際に、ＣＰＵ１０ａを利用したメモリ内容のロックはしない。フレンド対応部４６は、ＭＰＩのＲＥＤＵＣＥインタフェース（ＭＰＩ＿ＲＥＤＵＣＥ）の排他的論理和（ＥＸＯＲ）の演算を利用して、他のスレーブメモリキャッシュサーバとの間でメモリ内容の一致を確認する。
また、フレンド対応部４６は、他のスレーブメモリキャッシュサーバのフレンド対応部４６の指示に基づいてメモリキャッシュを割り当てる。
また、フレンド対応部４６は、マスター対応部４５の解放指示に基づいて、他のスレーブメモリキャッシュサーバのフレンド対応部４６へメモリキャッシュの解放を指示する。また、フレンド対応部４６は、他のスレーブメモリキャッシュサーバのフレンド対応部４６からの指示に基づいて、メモリキャッシュの解放を行う。
また、フレンド対応部４６は、マスター対応部４５の移動指示に基づいて、移動元のノード１０から移動先のノード１０へ全てのメモリキャッシュの内容を複製する。複製を作成する際に、フレンド対応部４６は、ＭＰＩの集団通信インタフェース（ＭＰＩ＿ＢＣＡＳＴ）を利用して、複数の移動先のノード１０に対して、ＲＤＭＡ転送を行う。また、フレンド対応部４６は、ＲＤＭＡ転送の通信完了を確認する際に、ＣＰＵ１０ａを利用したメモリ内容のロックはしない。フレンド対応部４６は、ＭＰＩのＲＥＤＵＣＥインタフェース（ＭＰＩ＿ＲＥＤＵＣＥ）の排他的論理和（ＥＸＯＲ）の演算を利用して、移動先のノード１０との間でメモリ内容の一致を確認する。
また、フレンド対応部４６は、マスター対応部４５の退避指示に基づいて、他のスレーブメモリキャッシュサーバのフレンド対応部４６へ全てのメモリキャッシュの解放を指示する。
クライアント１では、ＯＳ１１が動作し、ＯＳ１１には、ファイルの管理を行うファイル管理部１１ａと、他のノード１０と通信を行うリモートドライバ１１ｂを有する。ファイル管理部１１ａは、記憶部１１ｃを有する。
記憶部１１ｃは、リモートメモリ仮想ディスク１１ｄを有する。リモートメモリ仮想ディスク１１ｄはファイルキャッシュを記憶する領域である。また、記憶部１１ｃは、リモートキャッシュ管理表１１ｅとＣＰＵメモリ位置情報１１ｆを記憶する。リモートキャッシュ管理表１１ｅのデータ構造は、リモートキャッシュ管理表３０ｃのデータ構造と同じである。ＣＰＵメモリ位置情報１１ｆのデータ構造は、ＣＰＵメモリ位置情報３０ｂのデータ構造と同じである。記憶部１１ｃは、図２に示したメインメモリ１０ｂに対応する。
ファイルサーバ２では、ＯＳ２１が動作し、ＯＳ２１には、ファイルの管理を行うファイル管理部２１ａと、他のノード１０と通信を行うリモートドライバ２１ｂを有する。ファイル管理部２１ａは、記憶部２１ｃと、受信部２１ｇと、制御部２１ｈとを有する。
記憶部２１ｃは、リモートメモリ仮想ディスク２１ｄを有する。リモートメモリ仮想ディスク２１ｄはファイルキャッシュを記憶する領域である。また、記憶部２１ｃは、リモートキャッシュ管理表２１ｅとＣＰＵメモリ位置情報２１ｆを記憶する。リモートキャッシュ管理表２１ｅのデータ構造は、リモートキャッシュ管理表３０ｃのデータ構造と同じである。ＣＰＵメモリ位置情報２１ｆのデータ構造は、ＣＰＵメモリ位置情報３０ｂのデータ構造と同じである。記憶部２１ｃは、図２に示したメインメモリ１０ｂに対応する。
受信部２１ｇは、データの送信要求をクライアント１から受信すると、リモートキャッシュ管理表２１ｅを参照し、スレーブメモリキャッシュサーバにデータのサーバキャッシュ４０ｄがあるか否かを判定する。
制御部２１ｈは、受信部２１ｇがスレーブメモリキャッシュサーバにサーバキャッシュ４０ｄあると判定すると、スレーブメモリキャッシュサーバにサーバキャッシュ４０ｄのデータをクライアント１に送信するように指示する。
次に、マスターメモリキャッシュサーバ３のキャッシュ管理部３１によるスレーブ管理表３０の処理のフローについて説明する。図９は、キャッシュ管理部３１によるスレーブ管理表３０ａの処理のフローを示すフローチャートである。図９に示すように、キャッシュ管理部３１は、ジョブスケジューラ６から資源割当マップ６１を受信する（ステップＳ１）と、スレーブ管理表３０ａの内容を確認する（ステップＳ２）。
そして、キャッシュ管理部３１は、スレーブ管理表３０ａにスレーブメモリキャッシュサーバが登録されているか否かを判定し（ステップＳ３）、登録されていない場合には、ステップＳ５へ進む。一方、登録されている場合には、キャッシュ管理部３１は、登録されているノード１０は資源割当マップ６１でジョブが割り当てられているか否かを判定し（ステップＳ４）、ジョブが割り当てられていない場合には、ステップＳ１に戻る。
一方、ジョブが割り当てられている場合には、キャッシュ管理部３１は、スレーブメモリキャッシュサーバの移動先の空きノード１０を探すために、空きノード１０を検索する空きノード検索処理を行う（ステップＳ５）。そして、キャッシュ管理部３１は、空きノード１０があるか否かを判定し（ステップＳ６）、空きノード１０がある場合には、空きノード１０からスレーブメモリキャッシュサーバを選択し、スレーブ管理表３０ａに登録する（ステップＳ７）。
そして、キャッシュ管理部３１は、ジョブが割り当てられたノード１０から空きノード１０へのスレーブメモリキャッシュサーバの移動をスレーブ管理部３３へ指示する（ステップＳ８）。
一方、空きノード１０がない場合には、キャッシュ管理部３１は、ジョブが割り当てられたノード１０からファイルサーバ２へのスレーブメモリキャッシュサーバの退避をスレーブ管理部３３へ指示する（ステップＳ９）。
図１０は、空きノード検索処理のフローを示すフローチャートである。図１０に示すように、キャッシュ管理部３１は、空きノード１０はあるか否かを判定し（ステップＳ１１）、空きノード１０がない場合には、処理を終了する。
一方、空きノード１０がある場合には、キャッシュ管理部３１は、開始時間と終了時間の間でジョブから空きノード１０へのホップ数をチェックする（ステップＳ１２）。そして、キャッシュ管理部３１は、ジョブから空きノード１０へのホップ数は１か否かを判定し（ステップＳ１３）、１である場合には、空きノード１０を１個選択する（ステップＳ１４）。
一方、ジョブから空きノード１０へのホップ数が１でない場合には、キャッシュ管理部３１は、ジョブから空きノード１０へのホップ数は２か否かを判定し（ステップＳ１５）、２である場合には、空きノード１０を１個選択する（ステップＳ１６）。
一方、ジョブから空きノード１０へのホップ数が２でない場合には、キャッシュ管理部３１は、ジョブから空きノード１０へのホップ数は３か否かを判定し（ステップＳ１７）、３である場合には、空きノード１０を１個選択する（ステップＳ１８）。
一方、ジョブから空きノード１０へのホップ数が３でない場合には、キャッシュ管理部３１は、ジョブから空きノード１０へのホップ数が４以上のため、空きノード１０を選択しない（ステップＳ１９）。
このように、キャッシュ管理部３１は、スレーブメモリキャッシュサーバにジョブが割り当てられると、空きノード１０へのスレーブメモリキャッシュサーバの移動をスレーブ管理部３３へ指示するので、ジョブの実行への悪影響をなくすことができる。
次に、クライアント１によるファイル管理処理のフローについて説明する。図１１は、クライアント１によるファイル管理処理のフローを示すフローチャートである。図１１に示すように、クライアント１は、リモートドライバ１１ｂでマスターメモリキャッシュサーバ３にクライアントキャッシュ４０ｃの割当又は解放を要求する（ステップＳ２１）。
そして、クライアント１は、マスターメモリキャッシュサーバ３からの応答を待ち、マスターメモリキャッシュサーバ３から応答を受信する（ステップＳ２２）。そして、クライアント１は、クライアントキャッシュ４０ｃの割当を要求した場合には、リモートドライバ１１ｂでスレーブメモリキャッシュサーバのクライアント対応部４２へクライアントキャッシュ４０ｃの書き込み又は読み出しを依頼する（ステップＳ２３）。
このように、クライアント１は、マスターメモリキャッシュサーバ３にクライアントキャッシュ４０ｃの割当又は解放を要求することで、クライアントキャッシュ４０ｃを利用することができる。
次に、ファイルサーバ２によるファイル管理処理のフローについて説明する。図１２は、ファイルサーバ２によるファイル管理処理のフローを示すフローチャートである。図１２に示すように、ファイルサーバ２は、リモートドライバ２１ｂでマスターメモリキャッシュサーバ３にサーバキャッシュ４０ｄの割当又は解放を要求する（ステップＳ２６）。
そして、ファイルサーバ２は、マスターメモリキャッシュサーバ３からの応答を待ち、マスターメモリキャッシュサーバ３から応答を受信する（ステップＳ２７）。そして、ファイルサーバ２は、サーバキャッシュ４０ｄの割当を要求した場合には、リモートドライバ２１ｂでスレーブメモリキャッシュサーバのサーバ対応部４３へサーバキャッシュ４０ｄの書き込み又は読み出しを依頼する（ステップＳ２８）。
このように、ファイルサーバ２は、マスターメモリキャッシュサーバ３にサーバキャッシュ４０ｄの割当又は解放を要求することで、サーバキャッシュ４０ｄを利用することができる。
次に、マスターメモリキャッシュサーバ３のキャッシュ管理部３１によるクライアントキャッシュ管理処理のフローについて説明する。図１３は、キャッシュ管理部３１によるクライアントキャッシュ管理処理のフローを示すフローチャートである。
図１３に示すように、キャッシュ管理部３１は、クライアントキャッシュ４０ｃの割当要求又は解放要求を受信する（ステップＳ３１）。そして、キャッシュ管理部３１は、スレーブ管理部３３へスレーブメモリキャッシュサーバへのクライアントキャッシュ４０ｃの割当又は解放を要求する（ステップＳ３２）。
そして、キャッシュ管理部３１は、スレーブ管理表３０ａ及びリモートキャッシュ管理表２１ｅを更新し（ステップＳ３３）、クライアント１のリモートドライバ１１ｂへ割当又は解放を応答する（ステップＳ３４）。そして、キャッシュ管理部３１は、バッキングストア管理部３４へバッキングストア管理表２ｂの更新を依頼する（ステップＳ３５）。
このように、キャッシュ管理部３１は、スレーブ管理部３３を介してスレーブメモリキャッシュサーバへクライアントキャッシュ４０ｃの割当又は解放を要求することで、クライアントキャッシュ４０ｃの割当又は解放を行うことができる。
次に、バッキングストア管理部３４による処理のフローについて説明する。図１４は、バッキングストア管理部３４による処理のフローを示すフローチャートである。図１４に示すように、バッキングストア管理部３４は、ファイルサーバ２のバッキングストア管理ＤＢへアクセスしてバッキングストア管理表２ｂを更新する（ステップＳ３６）。
このように、バッキングストア管理部３４がファイルサーバ２のバッキングストア管理ＤＢへアクセスしてバッキングストア管理表２ｂを更新することで、ファイルサーバ２はバッキングストアを確実に行うことができる。
次に、スレーブ管理部３３によるスレーブメモリキャッシュサーバへのメモリキャッシュ操作指示処理のフローについて説明する。図１５は、スレーブ管理部３３によるスレーブメモリキャッシュサーバへのメモリキャッシュ操作指示処理のフローを示すフローチャートである。なお、スレーブ管理部３３は、キャッシュ管理部３１から、図１３に示したステップＳ３２の処理において割当又は解放を要求され、図９に示したステップＳ８の処理において移動を指示され、図９に示したステップＳ９の処理において退避を指示される。
図１５に示すように、スレーブ管理部３３は、キャッシュ管理部３１からの要求が割当か否かを判定し（ステップＳ４１）、割当である場合には、スレーブメモリキャッシュサーバのマスター対応部４５へメモリキャッシュの割当を指示する（ステップＳ４２）。
一方、キャッシュ管理部３１からの要求が割当でない場合には、スレーブ管理部３３は、キャッシュ管理部３１からの要求が解放か否かを判定する（ステップＳ４３）。そして、キャッシュ管理部３１からの要求が解放である場合には、スレーブ管理部３３は、スレーブメモリキャッシュサーバのマスター対応部４５へメモリキャッシュの解放を指示する（ステップＳ４４）。
一方、キャッシュ管理部３１からの要求が解放でない場合には、スレーブ管理部３３は、キャッシュ管理部３１からの要求が移動か否かを判定する（ステップＳ４５）。そして、キャッシュ管理部３１からの要求が移動である場合には、スレーブ管理部３３は、スレーブメモリキャッシュサーバのマスター対応部４５へ、指定された２つのノード１０間でのメモリキャッシュの移動を指示する（ステップＳ４６）。
一方、キャッシュ管理部３１からの要求が移動でない場合には、スレーブ管理部３３は、キャッシュ管理部３１からの要求が退避か否かを判定し（ステップＳ４７）、退避でない場合には、処理を終了する。一方、キャッシュ管理部３１からの要求が退避である場合には、スレーブ管理部３３は、スレーブメモリキャッシュサーバのマスター対応部４５へ、指定されたノード１０からファイルサーバ２へのメモリキャッシュの退避を指示する（ステップＳ４８）。
このように、スレーブ管理部３３がキャッシュ管理部３１からの要求に基づいてメモリキャッシュの操作をスレーブメモリキャッシュサーバのマスター対応部４５へ指示することで、マスターメモリキャッシュサーバ３はメモリキャッシュの操作を行うことができる。
次に、スレーブメモリキャッシュサーバのマスター対応部４５による処理のフローについて説明する。図１６は、マスター対応部４５による処理のフローを示すフローチャートである。
図１６に示すように、マスター対応部４５は、スレーブ管理部３３からの指示が割当か否かを判定する（ステップＳ５１）。その結果、割当である場合には、マスター対応部４５は、メモリキャッシュを割り当て、ファイルサーバ２からスレーブメモリキャッシュサーバ上のメモリキャッシュへのファイル読み出しをバッキングストアアクセス部４４へ指示する（ステップＳ５２）。そして、マスター対応部４５は、メモリキャッシュの内容を他のスレーブメモリキャッシュサーバへ反映するようにフレンド対応部４６へ指示する（ステップＳ５３）。
一方、スレーブ管理部３３からの指示が割当でない場合には、マスター対応部４５は、スレーブ管理部３３からの指示が解放か否かを判定する（ステップＳ５４）。そして、指示が解放である場合には、マスター対応部４５は、スレーブメモリキャッシュサーバ上のメモリキャッシュからファイルサーバ２のメモリキャッシュへのファイル書き出しをバッキングストアアクセス部４４へ指示する（ステップＳ５５）。そして、書き出しが完了したら、マスター対応部４５は、メモリキャッシュを解放し、メモリキャッシュの解放指示を他のスレーブメモリキャッシュサーバへ行うようフレンド対応部４６へ指示する（ステップＳ５６）。
一方、スレーブ管理部３３からの指示が解放でない場合には、マスター対応部４５は、スレーブ管理部３３からの指示が移動か否かを判定する（ステップＳ５７）。そして、スレーブ管理部３３からの指示が移動である場合には、マスター対応部４５は、指定された２つのノード１０間でのメモリキャッシュの移動をフレンド対応部４６へ指示する（ステップＳ５８）。
一方、スレーブ管理部３３からの指示が移動でない場合には、マスター対応部４５は、スレーブ管理部３３からの指示が退避か否かを判定し（ステップＳ５９）、退避でない場合には、処理を終了する。一方、スレーブ管理部３３からの指示が退避である場合には、マスター対応部４５は、スレーブメモリキャッシュサーバの全てのメモリキャッシュからファイルサーバ２へのファイルの書き出しをバッキングストアアクセス部４４へ指示する（ステップＳ６０）。そして、マスター対応部４５は、書き出しが完了したら、全てのメモリキャッシュを解放し、他のスレーブメモリキャッシュサーバへ全てのメモリキャッシュの解放指示を行うようにフレンド対応部４６へ指示する（ステップＳ６１）。
このように、マスター対応部４５がスレーブ管理部３３からの指示に基づいてメモリキャッシュの操作を行うことで、マスターメモリキャッシュサーバ３はメモリキャッシュの操作を行うことができる。
次に、フレンド対応部４６による処理のフローについて説明する。図１７は、フレンド対応部４６による処理のフローを示すフローチャートである。図１７に示すように、フレンド対応部４６は、マスター対応部４５からの指示が割当か否かを判定する（ステップＳ７１）。
その結果、割当である場合には、フレンド対応部４６は、他のスレーブメモリキャッシュサーバのフレンド対応部４６へメモリキャッシュの割当を指示する（ステップＳ７２）。そして、フレンド対応部４６は、ＭＰＩ＿ＢＣＡＳＴとＭＰＩ＿ＲＥＤＵＣＥ（ＥＸＯＲ）インタフェースを用いてインターコネクト部１０ｃにメモリキャッシュの内容をコピーして内容の一致を確認するよう指示する（ステップＳ７３）。
一方、マスター対応部４５からの指示が割当でない場合には、フレンド対応部４６は、マスター対応部４５からの指示が解放か否かを判定する（ステップＳ７４）。そして、指示が解放である場合には、フレンド対応部４６は、他のスレーブメモリキャッシュサーバのフレンド対応部４６へメモリキャッシュの解放を指示する（ステップＳ７５）。
一方、マスター対応部４５からの指示が解放でない場合には、フレンド対応部４６は、マスター対応部４５からの指示が移動か否かを判定する（ステップＳ７６）。そして、マスター対応部４５からの指示が移動である場合には、フレンド対応部４６は、以下の処理を行う。すなわち、フレンド対応部４６は、指定された２つのノード１０間で全てのメモリキャッシュの内容をコピーして内容の一致を確認するようにＭＰＩ＿ＢＣＡＳＴとＭＰＩ＿ＲＥＤＵＣＥ（ＥＸＯＲ）インタフェースを用いてインターコネクト部１０ｃに指示する（ステップＳ７７）。
一方、マスター対応部４５からの指示が移動でない場合には、フレンド対応部４６は、マスター対応部４５からの指示が退避か否かを判定し（ステップＳ７８）、退避でない場合には、処理を終了する。一方、マスター対応部４５からの指示が退避である場合には、フレンド対応部４６は、他のスレーブメモリキャッシュサーバのフレンド対応部４６へ全てのメモリキャッシュの解放を指示する（ステップＳ７９）。
このように、フレンド対応部４６がマスター対応部４５からの指示に基づいて他のスレーブメモリキャッシュサーバのメモリキャッシュの操作を行うことで、スレーブメモリキャッシュサーバはメモリキャッシュの冗長性及び負荷分散を実現することができる。
次に、マスターメモリキャッシュサーバ３の切替マスターデーモン３２とスレーブメモリキャッシュサーバの切替サブデーモン４１が連携してクライアントキャッシュ４０ｃをサーバキャッシュ４０ｄに切り替える切替処理のフローについて説明する。
図１８は、切替マスターデーモン３２による切替処理のフローを示すフローチャートである。図１８に示すように、切替マスターデーモン３２は、切替サブデーモン４１からのクライアントキャッシュ使用済の通知を待ち、切替サブデーモン４１からクライアントキャッシュ使用済の通知を受信する（ステップＳ８１）。
そして、切替マスターデーモン３２は、使用済となったクライアントキャッシュ４０ｃをサーバキャッシュ４０ｄとして管理できるようにリモートキャッシュ管理表１１ｅを更新する（ステップＳ８２）。そして、切替マスターデーモン３２は、使用済となったクライアントキャッシュ４０ｃをサーバキャッシュ４０ｄに変更するように切替サブデーモン４１に指示し（ステップＳ８３）、ステップＳ８１へ戻る。
図１９は、切替サブデーモン４１による切替処理のフローを示すフローチャートである。図１９に示すように、切替サブデーモン４１は、クライアントキャッシュ４０ｃ用の領域の使用状況を確認する（ステップＳ９１）。そして、切替サブデーモン４１は、使用済となったクライアントキャッシュ４０ｃについて、クライアントキャッシュ使用済の通知を切替マスターデーモン３２に送信する（ステップＳ９２）。
そして、切替サブデーモン４１は、切替マスターデーモン３２からの指示を待ち、切替マスターデーモン３２からの指示を受信する（ステップＳ９３）。そして、切替サブデーモン４１は、クライアントキャッシュ４０ｃは主スレーブメモリキャッシュサーバ４で使用されているものか否かを判定する（ステップＳ９４）。その結果、主スレーブメモリキャッシュサーバ４で使用されているものでない場合は、切替サブデーモン４１は、クライアントキャッシュ４０ｃの領域を解放し（ステップＳ９５）、ステップＳ９１へ戻る。
一方、クライアントキャッシュ４０ｃが主スレーブメモリキャッシュサーバ４で使用されているものである場合には、切替サブデーモン４１は、ＭＰＩ＿ＢＣＡＳＴとＭＰＩ＿ＲＥＤＵＣＥ（ＥＸＯＲ）インタフェースを用いて以下の処理を実行する。すなわち、切替サブデーモン４１は、クライアントキャッシュ４０ｃの内容をサーバキャッシュ４０ｄ及びファイルサーバ２のファイルキャッシュにコピーして内容の一致を確認するようインターコネクト部１０ｃに指示する（ステップＳ９６）。そして、切替サブデーモン４１は、使用済となったクライアントキャッシュ４０ｃを書き込み内容は保持した状態でサーバキャッシュ４０ｄに用途を変更し（ステップＳ９７）、ステップＳ９１へ戻る。
このように、切替マスターデーモン３２と切替サブデーモン４１が連携してクライアントキャッシュ４０ｃをサーバキャッシュ４０ｄに切り替えることで、ディスク装置２ａに対する無駄な書き込みと読み出しをなくすことができる。
上述してきたように、実施例では、スレーブメモリキャッシュサーバが、クライアントキャッシュ４０ｃをメインメモリ１０ｂに記憶する。そして、スレーブメモリキャッシュサーバは、クライアントキャッシュ４０ｃが使用済になると、クライアントキャッシュ４０ｃの内容をファイルサーバ２のファイルキャッシュにコピーする。また、ファイルサーバ２は、クライアントキャッシュ４０ｃされるデータをディスク装置２ａに記憶し、スレーブ管理表３０ａ及びリモートキャッシュ管理表２１ｅを記憶部２１ｃに記憶する。
そして、マスターメモリキャッシュサーバ３は、クライアントキャッシュ４０ｃが使用済になったことを切替サブデーモン４１から通知されると、使用済のクライアントキャッシュ４０ｃをサーバキャッシュ４０ｄとして管理できるようにリモートキャッシュ管理表１１ｅを更新する。また、マスターメモリキャッシュサーバ３は、更新したリモートキャッシュ管理表１１ｅをファイルサーバ２に送信する。そして、切替マスターデーモン３２は、使用済のクライアントキャッシュ４０ｃをサーバキャッシュ４０ｄに変更するように切替サブデーモン４１に指示する。
そして、ファイルサーバ２は、サーバキャッシュ４０ｄに変更されたデータの送信要求をクライアント１から受信すると、リモートキャッシュ管理表１１ｅを参照し、スレーブメモリキャッシュサーバにデータがあるか否かを判定する。そして、スレーブメモリキャッシュサーバにデータがあると判定すると、ファイルサーバ２は、スレーブメモリキャッシュサーバにサーバキャッシュ４０ｄに変更されたデータをクライアント１に送信するように指示する。
したがって、並列処理装置７は、前のジョブのクライアントキャッシュ４０ｃを次のジョブのサーバキャッシュ４０ｄとして利用することができる。このため、クライアントキャッシュ４０ｃのディスク装置２ａへの書き込みとサーバキャッシュ４０ｄのディスク装置２ａからの読み出しを不要とすることができる。なお、ファイルサーバ２のファイルキャッシュにコピーされたデータは、別途、ファイルサーバ２により、ディスク装置２ａに書き込まれる。
また、実施例では、スレーブメモリキャッシュサーバは、クライアントキャッシュ４０ｃの内容をファイルサーバ２に送信する際に、ＭＰＩの集団通信インタフェース（ＭＰＩ＿ＢＣＡＳＴ）を利用して、ファイルサーバ２にＲＤＭＡ転送を行う。したがって、スレーブメモリキャッシュサーバは、クライアントキャッシュ４０ｃの内容をファイルサーバ２に送信する際に、ＣＰＵ１０ａの負荷の増加を防ぐことができる。
また、実施例では、スレーブメモリキャッシュサーバは、ＲＤＭＡ転送の通信完了を確認する際に、ＣＰＵ１０ａを利用したメモリ内容のロックはしない。スレーブメモリキャッシュサーバは、ＭＰＩのＲＥＤＵＣＥインタフェース（ＭＰＩ＿ＲＥＤＵＣＥ）の排他的論理和（ＥＸＯＲ）の演算を利用して、ファイルサーバ２との間でメモリ内容の一致を確認する。したがって、スレーブメモリキャッシュサーバは、ＣＰＵ１０ａに悪影響を与えることなく、ファイルサーバ２との間でメモリ内容の一致を確認することができる。
なお、実施例では、クライアントキャッシュ４０ｃが使用済になるとクライアントキャッシュ４０ｃをサーバキャッシュ４０ｄに切り替える場合について説明した。しかし、クライアントキャッシュ４０ｃとして使用できる領域の使用状態に基づいてサーバキャッシュ４０ｄへの切替を制御することもできる。そこで、クライアントキャッシュ４０ｃとして使用できる領域の使用状態に基づいてサーバキャッシュ４０ｄへの切替を制御する切替マスターデーモン３２及び切替サブデーモン４１について説明する。
図２０は、クライアントキャッシュ４０ｃとして使用できる領域の使用状態に基づいてサーバキャッシュ４０ｄへの切替を制御する切替マスターデーモン３２の切替処理のフローを示すフローチャートである。図２０に示すように、切替マスターデーモン３２は、切替サブデーモン４１からのクライアントキャッシュ用領域の使用済の通知を待ち、切替サブデーモン４１からクライアントキャッシュ用領域の使用済の通知を受信する（ステップＳ１０１）。
そして、切替マスターデーモン３２は、クライアントキャッシュ４０ｃ用に割り当てた各ノード１０の状態を確認する（ステップＳ１０２）。そして、切替マスターデーモン３２は、クライアントキャッシュ４０ｃ用に割り当てたノード１０の内、８０％以上のノード１０がクライアントキャッシュ４０ｃ用の空き領域が少ない状態であるか否かを判定する（ステップＳ１０３）。
ここで、クライアントキャッシュ４０ｃ用の空き領域が少ない状態であるとは、例えば、クライアントキャッシュ４０ｃ用の領域の８０％以上が使用されている状態である。また、８０％以上のノード１０がクライアントキャッシュ４０ｃ用の空き領域が少ない状態であるか否かを判定する場合の８０％は一例であり、他の値でもよい。
そして、８０％以上のノード１０がクライアントキャッシュ４０ｃ用の空き領域が少ないという状態でない場合には、切替マスターデーモン３２は、クライアントキャッシュ４０ｃ用に領域を割り当てるように、切替サブデーモン４１に指示する（ステップＳ１０４）。
一方、８０％以上のノード１０がクライアントキャッシュ４０ｃ用の空き領域が少ない状態である場合には、切替マスターデーモン３２は、クライアントキャッシュ４０ｃをサーバキャッシュ４０ｄとして管理できるようにリモートキャッシュ管理表１１ｅを更新する（ステップＳ１０５）。そして、切替マスターデーモン３２は、クライアントキャッシュ４０ｃからサーバキャッシュ４０ｄに変更するように切替サブデーモン４１に指示する（ステップＳ１０６）。
その後、切替マスターデーモン３２は、切替サブデーモン４１からのクライアントキャッシュ用領域の割当可能通知を待ち、切替サブデーモン４１からクライアントキャッシュ用領域の割当可能通知を受信する（ステップＳ１０７）。そして、切替マスターデーモン３２は、クライアントキャッシュ４０ｃ用に割り当てた各ノード１０の状態を確認する（ステップＳ１０８）。
そして、切替マスターデーモン３２は、クライアントキャッシュ４０ｃ用に割り当てたノード１０の内、６０％未満のノード１０がクライアントキャッシュ４０ｃ用の空き領域が少ない状態であるか否かを判定する（ステップＳ１０９）。ここで、６０％は一例であり、他の値でもよい。
そして、切替マスターデーモン３２は、６０％未満のノード１０がクライアントキャッシュ４０ｃ用の空き領域が少ない状態である場合には、以下の処理を行う。すなわち、切替マスターデーモン３２は、クライアントキャッシュ４０ｃをサーバキャッシュ４０ｄに変更する処理を停止するように切替サブデーモン４１に指示する（ステップＳ１１０）。そして、切替マスターデーモン３２は、ステップＳ１０１に戻る。
一方、６０％未満のノード１０がクライアントキャッシュ４０ｃ用の空き領域が少ないという状態でない場合には、切替マスターデーモン３２は、クライアントキャッシュ４０ｃをサーバキャッシュ４０ｄに変更するように切替サブデーモン４１に指示する（ステップＳ１１１）。そして、切替マスターデーモン３２は、ステップＳ１０１に戻る。
図２１は、クライアントキャッシュ４０ｃとして使用できる領域の使用状態に基づいてサーバキャッシュ４０ｄ切替を制御する切替サブデーモン４１の切替処理のフローを示すフローチャートである。図２１に示すように、切替サブデーモン４１は、クライアントキャッシュ４０ｃ用の領域の使用状況を確認する（ステップＳ１２１）。
そして、切替サブデーモン４１は、クライアントキャッシュ４０ｃ用の空き領域が少ない状態であるか否かを判定する（ステップＳ１２２）。ここで、クライアントキャッシュ４０ｃ用の空き領域が少ない状態であるとは、例えば、クライアントキャッシュ４０ｃ用の領域の８０％以上が使用されている状態である。そして、クライアントキャッシュ４０ｃ用の空き領域が少ないという状態でない場合には、切替サブデーモン４１は、クライアントキャッシュ４０ｃ用に領域の割当が可能であるとし（ステップＳ１２３）、ステップＳ１２１に戻る。
一方、クライアントキャッシュ４０ｃ用の空き領域が少ない状態である場合には、切替サブデーモン４１は、クライアントキャッシュ４０ｃ用の領域の使用済を切替マスターデーモン３２に通知する（ステップＳ１２４）。そして、切替サブデーモン４１は、切替マスターデーモン３２からの指示を待ち、切替マスターデーモン３２からの指示を受信する（ステップＳ１２５）。
そして、切替サブデーモン４１は、クライアントキャッシュ４０ｃの状態を確認し（ステップＳ１２６）、クライアントキャッシュ４０ｃはもっとも最近まで書き込まれていたものか否かを判定する（ステップＳ１２７）。そして、クライアントキャッシュ４０ｃがもっとも最近まで書き込まれていたものである場合には、切替サブデーモン４１は、使用済となったクライアントキャッシュ４０ｃをクライアントキャッシュ４０ｃとして残し（ステップＳ１２８）、ステップＳ１２１に戻る。
一方、クライアントキャッシュ４０ｃがもっとも最近まで書き込まれていたものでない場合には、切替サブデーモン４１は、クライアントキャッシュ４０ｃは主スレーブメモリキャッシュサーバ４で使用されているものか否かを判定する（ステップＳ１２９）。その結果、主スレーブメモリキャッシュサーバ４で使用されているものでない場合は、切替サブデーモン４１は、クライアントキャッシュ４０ｃの領域を解放し（ステップＳ１３０）、ステップＳ１３３へ進む。
一方、クライアントキャッシュ４０ｃが主スレーブメモリキャッシュサーバ４で使用されているものである場合には、切替サブデーモン４１は、ＭＰＩ＿ＢＣＡＳＴとＭＰＩ＿ＲＥＤＵＣＥ（ＥＸＯＲ）インタフェースを用いて以下の処理を実行する。すなわち、切替サブデーモン４１は、インターコネクト部１０ｃにクライアントキャッシュ４０ｃの内容をサーバキャッシュ４０ｄ及びファイルサーバ２のファイルキャッシュにコピーして内容の一致を確認するよう指示する（ステップＳ１３１）。そして、切替サブデーモン４１は、使用済となったクライアントキャッシュ４０ｃを書き込み内容は保持した状態でサーバキャッシュ４０ｄに用途を変更する（ステップＳ１３２）。
そして、切替サブデーモン４１は、クライアントキャッシュ４０ｃ用の空き領域が十分ある状態であるか否かを判定する（ステップＳ１３３）。ここで、クライアントキャッシュ４０ｃ用の空き領域が十分ある状態とは、例えば、クライアントキャッシュ４０ｃ用の領域の６０％未満が使用されている状態である。そして、クライアントキャッシュ４０ｃ用の空き領域が十分という状態でない場合には、切替サブデーモン４１は、クライアントキャッシュ４０ｃの領域を使用済のままとし（ステップＳ１３４）、ステップＳ１２１に戻る。
一方、クライアントキャッシュ４０ｃ用の空き領域が十分ある状態である場合には、切替サブデーモン４１は、クライアントキャッシュ４０ｃ用の領域を割当可能な状態に戻す（ステップＳ１３５）。そして、切替サブデーモン４１は、切替マスターデーモン３２にクライアントキャッシュ４０ｃ用の領域を割当可能な状態に戻したことを通知する（ステップＳ１３６）。
そして、切替サブデーモン４１は、切替マスターデーモン３２からの指示を待ち、切替マスターデーモン３２からの指示を受信すると（ステップＳ１３７）、指示に基づく状態にする（ステップＳ１３８）。ここで、指示に基づく状態には、クライアントキャッシュ４０ｃからサーバキャッシュ４０ｄに変更する状態又はクライアントキャッシュ４０ｃからサーバキャッシュ４０ｄへの変更を停止する状態である。
このように、クライアントキャッシュ４０ｃ用の空き領域の状態に基づいてクライアントキャッシュ４０ｃからサーバキャッシュ４０ｄへの切替を制御することで、クライアントキャッシュ４０ｃ用の空き領域の状態に適した切替を行うことができる。
１，９ クライアント
２，８ ファイルサーバ
２ａ ディスク装置
３ マスターメモリキャッシュサーバ
４ 主スレーブメモリキャッシュサーバ
５ 他スレーブメモリキャッシュサーバ
６ ジョブスケジューラ
７ 並列処理装置
８ａ キャッシュサーバ
８ｃ ネットワーク
９ａ キャッシュサーバ
１０ ノード
１０ａ ＣＰＵ
１０ｂ メインメモリ
１０ｃ インターコネクト部
１１ ＯＳ
１１ａ ファイル管理部
１１ｂ リモートドライバ
１１ｃ 記憶部
１１ｄ メモリ仮想ディスク
１１ｅ リモートキャッシュ管理表
１１ｆ ＣＰＵメモリ位置情報
２１ ＯＳ
２１ａ，８１ ファイル管理部
２１ｂ リモートドライバ
２１ｃ 記憶部
２１ｄ リモートメモリ仮想ディスク
２１ｅ リモートキャッシュ管理表
２１ｆ ＣＰＵメモリ位置情報
２１ｇ 受信部
２１ｈ 制御部
３０ 記憶部
３０ａ スレーブ管理表
３０ｂ ＣＰＵメモリ位置情報
３０ｃ リモートキャッシュ管理表
３１ キャッシュ管理部
３２ 切替マスターデーモン
３３ スレーブ管理部
３４ バッキングストア管理部
４０ 記憶部
４０ａ リモートキャッシュ管理表
４０ｂ ＣＰＵメモリ位置情報
４０ｃ，９３ クライアントキャッシュ
４０ｄ，８２ サーバキャッシュ
４１ 切替サブデーモン
４２ クライアント対応部
４３ サーバ対応部
４４ バッキングストアアクセス部
４５ マスター対応部
４６ フレンド対応部
６１ 資源割当マップ
９１ クライアントアプリケーション
９２ ファイルキャッシュ

Claims (7)

  1. 複数のノードを有する並列処理装置において、
    第１ノードは、
    第１データを記憶する第１記憶装置と、
    送信部と
    を有し、
    第２ノードは、
    前記第１記憶装置より低速な記憶装置であって前記第１データを記憶する第２記憶装置と、
    前記第１データを前記第１ノードが前記第１記憶装置に記憶中であることを示すデータ管理情報を記憶する管理情報記憶部と、
    第３ノードから前記第１データの送信要求を受信する受信部と、
    前記受信部が前記送信要求を受信すると、前記データ管理情報を参照し、前記第１データが前記第１ノードの前記第１記憶装置に記憶されていた場合は、前記第１ノードに前記第１データを前記第３ノードに送信するように指示を行う制御部と
    を有することを特徴とする並列処理装置。
  2. 前記第１ノードは、
    クライアントキャッシュとして記憶した前記第１データをサーバキャッシュに切り替える切替部をさらに有し、
    前記制御部は、前記切替部が前記第１データをサーバキャッシュに切り替えた場合に、前記第１ノードに前記第１データを前記第３ノードに送信する指示を行うことを特徴とする請求項１に記載の並列処理装置。
  3. 前記送信部は、ＭＰＩの集団通信インタフェースを利用してＲＤＭＡ転送により前記第１データを前記第２ノードに送信することを特徴とする請求項２に記載の並列処理装置。
  4. 前記送信部は、ＭＰＩのＲＥＤＵＣＥインタフェースの排他的論理和の演算を利用して前記第１データの前記第１ノードと前記第２ノードとの間の一致を確認することを特徴とする請求項３に記載の並列処理装置。
  5. 前記切替部は、前記第１データの前記第１ノードと前記第２ノードとの間の一致が確認されると、前記第１データをサーバキャッシュに切り替えることを特徴とする請求項４に記載の並列処理装置。
  6. 前記切替部は、前記第１ノードに割り当てられたクライアントキャッシュ用の空き領域の割合が所定の閾値より小さくなった場合に、前記第１データをサーバキャッシュに切り替えることを特徴とする請求項４に記載の並列処理装置。
  7. 第１ノードは、第１データを第１記憶装置に記憶し、
    第２ノードは、前記第１データを前記第１記憶装置より低速な第２記憶装置に記憶し、
    前記第２ノードは、前記第１データを前記第１ノードが前記第１記憶装置に記憶中であることを示すデータ管理情報を記録し、
    前記第２ノードは、第３ノードから前記第１データの送信要求を受信し、
    前記第２ノードは、前記データ管理情報を参照し、前記第１データが前記第１ノードの前記第１記憶装置に記憶されていた場合は、前記第１ノードに前記第１データを前記第３ノードに送信するように指示を行う
    ことを特徴とするメモリキャッシュ制御方法。
JP2016121212A 2016-06-17 2016-06-17 並列処理装置及びメモリキャッシュ制御方法 Expired - Fee Related JP6696315B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016121212A JP6696315B2 (ja) 2016-06-17 2016-06-17 並列処理装置及びメモリキャッシュ制御方法
US15/597,550 US20170366612A1 (en) 2016-06-17 2017-05-17 Parallel processing device and memory cache control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016121212A JP6696315B2 (ja) 2016-06-17 2016-06-17 並列処理装置及びメモリキャッシュ制御方法

Publications (2)

Publication Number Publication Date
JP2017224253A true JP2017224253A (ja) 2017-12-21
JP6696315B2 JP6696315B2 (ja) 2020-05-20

Family

ID=60660540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016121212A Expired - Fee Related JP6696315B2 (ja) 2016-06-17 2016-06-17 並列処理装置及びメモリキャッシュ制御方法

Country Status (2)

Country Link
US (1) US20170366612A1 (ja)
JP (1) JP6696315B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200047254A (ko) * 2018-10-25 2020-05-07 상명대학교산학협력단 메모리 중심 컴퓨터를 위한 mpi 프로그램 변환 방법 및 장치
CN111198662A (zh) * 2020-01-03 2020-05-26 腾讯科技（深圳）有限公司 一种数据存储方法、装置和计算机可读存储介质
US10963323B2 (en) 2018-10-25 2021-03-30 Sangyung University Industry-Academy Cooperation Foundation Method and apparatus for transformation of MPI programs for memory centric computers

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108920092B (zh) * 2018-05-07 2021-07-20 北京奇艺世纪科技有限公司 内存数据的数据操作方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041351A (ja) * 2000-07-31 2002-02-08 Nippon Telegr & Teleph Corp <Ntt> キャッシング手段を用いた配信システム
WO2004027625A1 (ja) * 2002-09-20 2004-04-01 Fujitsu Limited ストレージ制御装置、ストレージ制御プログラムおよびストレージ制御方法
US20110078410A1 (en) * 2005-08-01 2011-03-31 International Business Machines Corporation Efficient pipelining of rdma for communications
JP2011210059A (ja) * 2010-03-30 2011-10-20 Intec Systems Institute Inc ネットワーク・ストレージ・システム、方法、クライアント装置、キャッシュ装置、管理サーバ、及びプログラム
JP2013528856A (ja) * 2010-04-29 2013-07-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 階層型分散処理システムのためのソフトウェアのコンパイル
JP2013205891A (ja) * 2012-03-27 2013-10-07 Fujitsu Ltd 並列計算機、並列計算機の制御方法及び制御プログラム
US20130332558A1 (en) * 2009-10-30 2013-12-12 Netapp. Inc. Using logical block addresses with generation numbers as data fingerprints for network deduplication

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050166086A1 (en) * 2002-09-20 2005-07-28 Fujitsu Limited Storage control apparatus, storage control method, and computer product
US8065503B2 (en) * 2006-12-15 2011-11-22 International Business Machines Corporation Iteratively processing data segments by concurrently transmitting to, processing by, and receiving from partnered process
WO2009032712A2 (en) * 2007-08-29 2009-03-12 Nirvanix, Inc. Method and system for moving requested files from one storage location to another
US8869168B2 (en) * 2012-05-14 2014-10-21 International Business Machines Corporation Scheduling synchronization in association with collective operations in a parallel computer
US9772793B2 (en) * 2013-09-20 2017-09-26 Oracle International Corporation Data block movement offload to storage systems
US9311230B2 (en) * 2013-04-23 2016-04-12 Globalfoundries Inc. Local direct storage class memory access
US9851919B2 (en) * 2014-12-31 2017-12-26 Netapp, Inc. Method for data placement in a memory based file system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041351A (ja) * 2000-07-31 2002-02-08 Nippon Telegr & Teleph Corp <Ntt> キャッシング手段を用いた配信システム
WO2004027625A1 (ja) * 2002-09-20 2004-04-01 Fujitsu Limited ストレージ制御装置、ストレージ制御プログラムおよびストレージ制御方法
US20110078410A1 (en) * 2005-08-01 2011-03-31 International Business Machines Corporation Efficient pipelining of rdma for communications
US20130332558A1 (en) * 2009-10-30 2013-12-12 Netapp. Inc. Using logical block addresses with generation numbers as data fingerprints for network deduplication
JP2011210059A (ja) * 2010-03-30 2011-10-20 Intec Systems Institute Inc ネットワーク・ストレージ・システム、方法、クライアント装置、キャッシュ装置、管理サーバ、及びプログラム
JP2013528856A (ja) * 2010-04-29 2013-07-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 階層型分散処理システムのためのソフトウェアのコンパイル
JP2013205891A (ja) * 2012-03-27 2013-10-07 Fujitsu Ltd 並列計算機、並列計算機の制御方法及び制御プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200047254A (ko) * 2018-10-25 2020-05-07 상명대학교산학협력단 메모리 중심 컴퓨터를 위한 mpi 프로그램 변환 방법 및 장치
KR102126896B1 (ko) * 2018-10-25 2020-06-25 상명대학교산학협력단 메모리 중심 컴퓨터를 위한 mpi 프로그램 변환 방법 및 장치
US10963323B2 (en) 2018-10-25 2021-03-30 Sangyung University Industry-Academy Cooperation Foundation Method and apparatus for transformation of MPI programs for memory centric computers
CN111198662A (zh) * 2020-01-03 2020-05-26 腾讯科技（深圳）有限公司 一种数据存储方法、装置和计算机可读存储介质
CN111198662B (zh) * 2020-01-03 2023-07-14 腾讯云计算(长沙)有限责任公司 一种数据存储方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
JP6696315B2 (ja) 2020-05-20
US20170366612A1 (en) 2017-12-21

Similar Documents

Publication Publication Date Title
US11687555B2 (en) Conditional master election in distributed databases
US20220345358A1 (en) System and method for data replication using a single master failover protocol
US9411873B2 (en) System and method for splitting a replicated data partition
US9886348B2 (en) System and method for adjusting membership of a data replication group
JP5191062B2 (ja) ストレージ制御システム、ストレージ制御システムに関する操作方法、データ・キャリア及びコンピュータ・プログラム
US20050234867A1 (en) Method and apparatus for managing file, computer product, and file system
JP6696315B2 (ja) 並列処理装置及びメモリキャッシュ制御方法
US20090240880A1 (en) High availability and low capacity thin provisioning
EP3580649B1 (en) Optimizing content storage through stubbing
KR100423225B1 (ko) 클러스터링된 컴퓨터 시스템을 위한 통합 프로토콜
EP2144167B1 (en) Remote file system, terminal device, and server device
KR20000048772A (ko) 중간 데이타 기억장치 시스템을 사용한 파일 전송 유틸리티
WO2015118865A1 (ja) 情報処理装置、情報処理システム及びデータアクセス方法
US20230221897A1 (en) Implementing coherency and page cache support for a storage system spread across multiple data centers
JP4131781B2 (ja) 分散処理型データベース管理システム
JP2009193502A (ja) 計算機システム、ストレージ装置、及び、処理代替方法
JP4343056B2 (ja) ストレージ装置割当て方法ならびにそのための管理サーバおよびプログラム
JP2005301880A (ja) 計算機システムにおけるデータ入出力処理方法、ストレージ装置、ホスト計算機、および計算機システム、
US11809404B1 (en) Mixed-mode replication for sharded database systems
JP7315214B2 (ja) 疎結合システム
JP4050479B2 (ja) トランザクション処理型データベースシステム
JPH06301587A (ja) 共有ファイル管理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200406

R150 Certificate of patent or registration of utility model

Ref document number: 6696315

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees