JP2016062535A - 情報処理システム、情報処理システムの制御方法及び制御プログラム - Google Patents

情報処理システム、情報処理システムの制御方法及び制御プログラム Download PDF

Info

Publication number
JP2016062535A
JP2016062535A JP2014192397A JP2014192397A JP2016062535A JP 2016062535 A JP2016062535 A JP 2016062535A JP 2014192397 A JP2014192397 A JP 2014192397A JP 2014192397 A JP2014192397 A JP 2014192397A JP 2016062535 A JP2016062535 A JP 2016062535A
Authority
JP
Japan
Prior art keywords
data transfer
executed
data
nodes
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014192397A
Other languages
English (en)
Other versions
JP6341030B2 (ja
Inventor
利男 大野
Toshio Ono
利男 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014192397A priority Critical patent/JP6341030B2/ja
Priority to US14/736,359 priority patent/US9838324B2/en
Publication of JP2016062535A publication Critical patent/JP2016062535A/ja
Application granted granted Critical
Publication of JP6341030B2 publication Critical patent/JP6341030B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/26Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
    • H04L47/263Rate modification at the source after receiving feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】複数のノードを有する分散ファイルシステムにおいてファイル転送を柔軟に行う。
【解決手段】データ転送を実行する複数のIOノード31〜34と、複数のノードを管理するファイル管理装置5、7とを有する。管理装置は、データ転送の優先度とデータ転送を実行するノードの識別子とをデータ転送の識別子に対応付けて格納するファイル格納部51、71と、実行すべきデータ転送の情報を含む実行指示を受信した場合、実行すべきデータ転送の情報に含まれる優先度より低い優先度のデータ転送を実行する1又は複数の第1ノードを、データ格納部から特定する特定部と、特定部により特定された1又は複数の第1ノードの各々に対し、第1ノードが実行するデータ転送を停止することを要求する停止要求を送信し、実行すべきデータ転送の情報と実行すべきデータ転送のうち第1のノードが実行する部分の情報とを送信する送信部と、を有する。
【選択図】図1

Description

本発明は、情報処理システム、情報処理システムの制御方法及び制御プログラムに関する。
データを転送する際に、転送の優先度に応じて転送の順序を変更する技術が知られている。例えば或る文献には、実行中のデータ転送を中断し、実行中のデータ転送の優先度より高い優先度をもつデータ転送を優先的に実行する装置が開示されている。
但し、上記の文献に開示された技術は、単一の装置がデータ転送を実行することを前提とした技術である。
例えば分散ファイルシステムにおいては、分散ファイルシステム内の複数のノードによってファイル転送が分散して実行されることがある。例えば1つのファイルを複数のノードが転送する場合、複数のノードの各々がそのファイルの一部を転送することで、全体として1つのファイルを転送する。上記の文献においては、このようなシステムにおけるデータ転送の制御については考慮されていない。
特開平10−98605号公報 特開平8−204732号公報
従って、本発明の目的は、1つの側面では、ファイル転送を行う複数のノードを有する分散ファイルシステムにおいて、ファイル転送を柔軟に行うための技術を提供することである。
本発明に係る情報処理システムは、データ転送を実行する複数のノードと、複数のノードを管理する管理装置とを有する。そして、上で述べた管理装置は、データ転送の優先度と当該データ転送を実行するノードの識別子とを当該データ転送の識別子に対応付けて格納するデータ格納部と、実行すべきデータ転送の情報を含む実行指示を受信した場合、当該実行すべきデータ転送の情報に含まれる優先度より低い優先度のデータ転送を実行する1又は複数の第1のノードを、データ格納部から特定する特定部と、特定部により特定された1又は複数の第1のノードの各々に対し、当該第1のノードが実行するデータ転送を停止することを要求する停止要求を送信するとともに、実行すべきデータ転送の情報と実行すべきデータ転送のうち当該第1のノードが実行する部分の情報とを含む転送要求を送信する送信部とを有する。
1つの側面では、ファイル転送を行う複数のノードを有する分散ファイルシステムにおいて、ファイル転送を柔軟に行えるようになる。
図1は、本実施の形態のシステム概要を示す図である。 図2は、IOノードが実行するファイルコピーの一例を示す図である。 図3は、フロントエンドサーバの機能ブロック図である。 図4は、IOノードの機能ブロック図である。 図5は、サーバデータ格納部に格納されるデータの構造を示す図である。 図6は、サーバデータ格納部に格納される構造体の一例を示す図である。 図7は、ノードデータ格納部に格納されるデータの構造を示す図である。 図8は、ノードデータ格納部に格納される構造体の一例を示す図である。 図9は、フロントエンドサーバとIOノードとの間で交換されるデータについての構造体の一例を示す図である。 図10は、フロントエンドサーバが実行する処理の処理フローを示す図である。 図11は、フロントエンドサーバが実行する処理の処理フローを示す図である。 図12は、フロントエンドサーバが実行する処理の処理フローを示す図である。 図13は、IOノードが実行する処理の処理フローを示す図である。 図14は、IOノードが実行する処理の処理フローを示す図である。 図15は、コンピュータの機能ブロック図である。
図1に、本実施の形態における分散ファイルシステムの概要を示す。本実施の形態における主要な処理を実行するフロントエンドサーバ1は、例えばLAN(Local Area Network)等のネットワーク6を介して、ファイルコピーを実行するIO(Input Output)ノード31乃至34と、第1ファイル格納部51を含む第1ファイル管理装置5と、第2ファイル格納部71を含む第2ファイル管理装置7とに接続される。また、フロントエンドサーバ1は、例えばインターネットであるネットワーク8に接続されており、ネットワーク8にはユーザ端末9が接続される。なお、図1においてはIOノードの数は4であるが、数に限定は無い。
ユーザ端末9は、実行すべきファイルコピーの情報を含む実行指示をフロントエンドサーバ1に送信する。フロントエンドサーバ1は、ユーザ端末9から実行指示を受信した場合に、実行指示において指定されたファイルコピーに対しIOノードを割り当てる。IOノード31乃至34は、フロントエンドサーバ1の割り当てに応じ、ファイルコピーを実行する。
図2に、IOノード31乃至34が実行するファイルコピーの一例を示す。図2の例では、IOノード31乃至34は、第1ファイル格納部51に格納されたコピー元ファイルを、第2ファイル格納部71にコピーする。各IOノードがコピーするデータのサイズは他のIOノードがコピーするデータのサイズと同じである。コピー先ファイルは24ブロックに分かれており、各IOノードは、1回のコピーによって1ブロック分のデータをコピーする。コピー先ファイルにおいて網掛けが付された部分はコピーが完了した部分を表す。各IOノードは、1回分のコピーが完了すると、フロントエンドサーバ1からファイルコピーの停止要求を受信したか否か確認する。この処理については、後で詳細に説明する。
図3に、フロントエンドサーバ1の機能ブロック図を示す。フロントエンドサーバ1は、受信部101と、管理部102と、サーバデータ格納部103と、送信部104と、第1キュー105と、第2キュー106とを含む。
受信部101は、ユーザ端末9からファイルコピーの実行指示を受信し、管理部102に出力する。
管理部102は、受信部101から受け取った実行指示に基づき処理を実行し、処理結果に応じて、第1キュー105にコピー要求を格納するか又は送信部104にコピー要求を出力する。また、管理部102は、IOノード31乃至34から受信した進捗データに含まれる情報に基づきコピー要求を生成し、生成されたコピー要求を第2キュー106に格納する。
送信部104は、管理部102から受け取ったコピー要求を、そのコピー要求を処理するIOノードに送信する。また、送信部104は、第1キュー105に格納されたコピー要求及び第2キュー106に格納されたコピー要求を、そのコピー要求を処理するIOノードに送信する。
図4に、IOノード31の機能ブロック図を示す。IOノード31は、コピー部311と、ノードデータ格納部312とを含む。コピー部311は、フロントエンドサーバ1から受信したデータに基づきファイルコピーを実行し、ファイルコピーの実績を表す実績情報をノードデータ格納部312に格納する。なお、IOノード32乃至34の機能ブロック図はIOノード31の機能ブロック図と同様であるので、説明を省略する。
図5に、サーバデータ格納部103に格納されるデータの構造を示す。サーバデータ格納部103には、データが構造体として格納される。構造体は実行指示毎に生成され、コピー元ファイル名と、コピー先ファイル名と、IOノード情報を指し示すデータ(例えばポインタ)と、優先度と、ファイルサイズとを含む。IOノード情報は、IOノードの識別子(例えばIPアドレス)と、要求情報を指し示すデータ(例えばポインタ)と、実績情報を指し示すデータ(例えばポインタ)と、次のIOノードを指し示すデータ(例えばポインタ)とを含む。要求情報は、開始オフセット(すなわち、コピーを開始する位置)と、コピーされるデータのサイズとを含む。実績情報は、開始オフセットと、コピーされたデータのサイズとを含む。図6に、サーバデータ格納部103に格納される構造体の一例を示す。図6におけるコード6001は図5における要素5001の一例であり、図6におけるコード6002は図5における要素5002の一例であり、図6におけるコード6003は図5における要素5003の一例であり、図6におけるコード6004は図5における要素5004の一例である。
図7に、ノードデータ格納部312に格納されるデータの構造を示す。ノードデータ格納部312には、データが構造体として格納される。構造体はフロントエンドサーバ1から受信したコピー要求毎に生成され、コピー元ファイル名と、コピー先ファイル名と、コピー先ファイルのファイルディレクトリを表す情報と、優先度と、1回に書き込むデータのサイズと、要求情報を指し示すデータ(例えばポインタ)と、実績情報を指し示すデータ(例えばポインタ)とを含む。要求情報は、開始オフセットと、コピーされるデータのサイズとを含む。実績情報は、開始オフセットと、コピーされたデータのサイズとを含む。図8に、ノードデータ格納部312における構造体のうち図7における要素7001に該当する部分の一例を示す。図7における要素7002は図5における要素5003と同様であり、図7における要素7003は図5における要素5004と同様である。なお、「char srcpath」及び「char dstpath」には、分散ファイルシステムにおける各IOノードが使用可能な値が設定される。
図9に、フロントエンドサーバ1とIOノード31乃至34との間で交換されるデータについての構造体の一例を示す。フロントエンドサーバ1とIOノード31乃至34との間で交換されるデータは、構造体として生成される。「int64_t ndata」は、データのコピーについての設定値を表す。「int64_t priority」は、優先度を表す。
次に、図10乃至図14を用いて、本実施の形態の分散ファイルシステムにおいて行われる処理について説明する。なお、本実施の形態の分散ファイルシステムにおいては、第1の優先度のファイルコピーと、第1の優先度より低い優先度である第2の優先度のファイルコピーとが実行されるものとする。
まず、ユーザ端末9が実行指示を送信した場合にフロントエンドサーバ1が実行する処理について説明する。フロントエンドサーバ1の受信部101は、ファイルコピーの実行指示をユーザ端末9から受信し(図10:ステップS1)、管理部102に出力する。ファイルコピーの実行指示は、例えば、コピー元ファイル名、コピー先ファイル名、優先度、及びファイルサイズを含む。
管理部102は、受信部101から受け取った実行指示に含まれる優先度を特定する(ステップS3)。そして、管理部102は、サーバデータ格納部103に格納されているデータを用いて、ステップS3において特定された優先度より低い優先度のファイルコピーを実行中であるか判断する(ステップS5)。なお、実行中のファイルコピーについてはサーバデータ格納部103に構造体が格納されているので、管理部102は、各構造体における優先度とステップS3において特定された優先度とを比較する。
ステップS3において特定された優先度より低い優先度のファイルコピーを実行していない場合(ステップS5:Noルート)、ステップS3において特定された優先度が第2の優先度であるか、又は、ステップS3において特定された優先度が第1の優先度であり且つ第2の優先度のファイルコピーが実行されていない状態である。従って、管理部102は、実行指示に含まれる情報(例えば、コピー元ファイル名、コピー先ファイル名、優先度、及びファイルサイズ)に基づきコピー要求を生成し、第1キュー105に格納する(ステップS7)。処理は端子Aを介して図11に移行する。そして処理は終了する。
なお、第1キュー105に格納されたコピー要求は、所定の状態になった場合(例えば、ファイルコピーを実行していないIOノードが生じた場合又は所定の時刻になった場合等)に送信部104により取り出され、そのIOノードに送信される。ファイルコピーを実行していないIOノードの数が複数である場合、送信部104は、複数のIOノードの各々に対しコピー要求を送信してもよい。この場合、送信部104は、各IOノードに送信されるコピー要求に、そのノードがコピーするデータのサイズ及び開始オフセットの情報を追加する。
これに対し、ステップS3において特定された優先度より低い優先度のファイルコピーを実行中である場合(ステップS5:Yesルート)、ステップS3において特定された優先度は、第1の優先度である。管理部102は、第1の優先度より低い優先度(すなわち、第2の優先度)のファイルコピーを実行するIOノードを、サーバデータ格納部103から特定する(ステップS9)。
管理部102は、実行指示に含まれる情報に基づき、第1の優先度のファイルコピーを実行すべきIOノードの数N(Nは自然数)を算出する(ステップS11)。例えば、ファイルコピーを完了する時刻の情報が実行指示に含まれる場合には、ステップS11の処理時点からファイルコピーを完了する時刻までの時間でファイルサイズを割ることにより、転送レートを求めることができる。求められた転送レートを1台のIOノードの転送レートで割ることによって、第1の優先度のファイルコピーを実行すべきIOノードの数Nを算出することができる。なお、第1の優先度のファイルコピーを実行すべきIOノードの数の情報が実行指示に含まれる場合には、その情報を用いてもよい。また、ファイルコピーを完了する時刻の情報が実行指示に含まれていない場合、N=1としてもよい。
管理部102は、ステップS9において特定されたIOノードの中から未処理のIOノードを1台特定し、実行ノードのリストに追加する(ステップS13)。実行ノードのリストとは、サーバデータ格納部103に格納されているIOノード情報のことである。
なお、ステップS1において受信した実行指示に対してステップS13の処理を実行するのが初めてである場合、管理部102は、ステップS1において受信した実行指示について構造体を生成し、IOノード情報を生成する。初めてではない場合には、既に生成されている構造体に対してIOノード情報を追加する。
なお、ステップS13においては、コピー元ファイルとコピー先ファイルとIOノードとの位置関係に基づき、未処理のIOノードのうち実効転送速度が最も速いIOノードを特定してもよい。この場合、実効転送速度の情報は予め行われた測定等により取得されているものとする。
管理部102は、ステップS13において特定されたIOノードに、実行中のファイルコピーを停止することを要求する停止要求を送信する。そして、管理部102は、停止したファイルコピーの進捗を表す進捗データを、停止要求の応答として受信する(ステップS15)。
管理部102は、ステップS15において受信した進捗データに含まれる情報に基づきコピー要求を生成し、第2キュー106に格納する(ステップS17)。処理は端子Bを介して図11のステップS19に移行する。進捗データは、コピー元ファイル名、コピー先ファイル名、優先度、コピーを停止した位置、及び残りのデータサイズ等を含む。
図11の説明に移行し、管理部102は、実行指示に含まれる情報に基づき、コピー元ファイル名、コピー先ファイル名、優先度、開始オフセット、及びデータサイズを含む、第1の優先度のファイルコピーについてのコピー要求を生成する(図11:ステップS19)。データサイズは、ファイルサイズを、ファイルコピーを実行するIOノードの数Nで割ることにより求められる。開始オフセットは、求められたデータサイズと、実行ノードのリストに追加されたIOノードの数とから求められる。
管理部102は、ステップS19において生成されたコピー要求を、送信部104に出力する。これに応じ、送信部104は、ステップS19において生成されたコピー要求を、ステップS13において特定されたIOノードに送信する(ステップS21)。
管理部102は、実行ノードの数がNに達したか判断する(ステップS23)。実行ノードの数がNに達した場合(ステップS23:Yesルート)、第1の優先度のファイルコピーに対するIOノードの割り当てが完了したので、処理は終了する。
一方、実行ノードの数がNに達していない場合(ステップS23:Noルート)、管理部102は、未処理のIOノードが有るか判断する(ステップS25)。未処理のIOノードが有る場合(ステップS25:Yesルート)、次のIOノードについて処理するため、端子Cを介してステップS13の処理に戻る。
未処理のIOノードが無い場合(ステップS25:Noルート)、第1の優先度のファイルコピーを実行できるIOノードの数が十分ではない。そこで、管理部102は、サーバデータ格納部103に格納されているデータに基づき、第1の優先度のファイルコピーの残りの部分の開始オフセット及びデータサイズを特定する(ステップS27)。例えば、第1の優先度のファイルコピーに割り当てたIOノードの数に、1台のIOノードがコピーするデータのサイズを乗じることで求められた値を、第1のファイルコピーによって転送されるファイルのサイズから差し引くと、残りの部分のデータサイズを求めることができる。また、第1のファイルコピーによって転送されるファイルのサイズ及び残りの部分のデータサイズから、開始オフセットを求めることができる。
管理部102は、コピー元ファイル名、コピー先ファイル名、優先度、残りの部分の開始オフセット及びデータサイズ等を含むコピー要求を生成し、第1キュー105に格納する(ステップS29)。そして処理を終了する。
以上のような処理を実行すれば、第1の優先度のファイルコピーを優先的に実行できるようになる。また、実行を中断した第2の優先度のファイルコピーを他のIOノードにおいて再開できるので、第1の優先度のファイルコピーの完了を待たずに済むようになる。
次に、図12を用いて、フロントエンドサーバ1が第2キュー106に格納されたコピー要求をIOノードに送信する処理について説明する。
まず、管理部102、所定のイベントが発生したことを検出する(図12:ステップS31)。所定のイベントとは、第1の優先度のファイルコピーの開始というイベントであり、第1の優先度のファイルコピーを開始したIOノードからの通知によって検出される。IOノードからの通知は、例えば、コピー元ファイル名、コピー先ファイル名、及び優先度等を含む。
管理部102は、第1の優先度のファイルコピーを開始したことを送信部104に通知する。これに応じ、送信部104は、第1の優先度のファイルコピーを開始したIOノードが中断したファイルコピーについてのコピー要求を第2キュー106から取り出す(ステップS33)。なお、第2キュー106から取り出されるコピー要求の数が複数である場合もある。
送信部104は、取り出されたコピー要求に含まれる、コピーを停止した位置の情報から開始オフセットを算出し、算出された開始オフセットの情報をコピー要求に付加する(ステップS35)。開始オフセットは、コピーを停止した位置の1バイト先の位置であるとする。
送信部104は、ステップS33において取り出されたコピー要求を処理するIOノードを特定する(ステップS37)。ステップS37においては、ステップS13において特定されたIOノード以外のノードが特定される。ここで、ステップS13において特定されたIOノード以外のノードの中から、コピー元ファイルとコピー先ファイルとIOノードとの位置関係から予想される、ネットワークへの負荷及びIOノードの処理負荷に基づき、IOノードを特定してもよい。この場合、ネットワークへの負荷及びIOノードの処理負荷についての情報は、予め測定等により取得されているものとする。なお、ステップS39においては、取り出されたコピー要求の数と同じ数のIOノードが特定される。
送信部104は、ステップS37の処理結果に基づき、サーバデータ格納部103に格納されたデータを更新する。そして、送信部104は、ステップS37において特定されたIOノードに対しコピー要求を送信する(ステップS39)。ステップS39においては、1台のIOノードに対し1台のコピー要求が送信される。そして処理を終了する。
以上のような処理を実行すれば、中断されたファイルコピーを、そのファイルコピーを実行していたIOノードとは別のIOノードが再開することができるので、ファイルコピーを最初からやり直さずに済むようになる。
次に、図13及び図14を用いて、IOノードが実行する処理について説明する。
まず、IOノード(ここでは、IOノード31とする)のコピー部311は、フロントエンドサーバ1からコピー要求を受信する(図13:ステップS41)。これに応じ、コピー部311は、コピー要求に対する応答をフロントエンドサーバ1に送信する(ステップS43)。
コピー部311は、コピー要求に含まれる優先度に基づき、1回にコピーするデータのサイズを決定する(ステップS45)。例えば、優先度が低いほど1回にコピーするデータのサイズを小さくする。このようにすることで、第2の優先度のファイルコピーを実行中に第1の優先度のファイルコピーについてコピー要求があった場合に、第2の優先度のファイルコピーを停止するタイミングが遅くなるのを抑制できる。
コピー部311は、ステップS41において受信したコピー要求に含まれる情報に基づき、1回分のコピーを実行する(ステップS47)。また、コピー部311は、コピーの実績情報をノードデータ格納部312に格納する。
コピー部311は、フロントエンドサーバ1から停止要求を受信したか判断する(ステップS49)。停止要求を受信していた場合(ステップS49:Yesルート)、コピー部311は、停止処理を実行する(ステップS53)。そして処理を終了する。停止処理については、図14を用いて説明する。
まず、コピー部311は、実行中のファイルコピーを停止する(図14:ステップS61)。
コピー部311は、実行を停止したファイルコピーについて、コピー元ファイル名、コピー先ファイル名、優先度、コピーを停止した位置及び残りのデータサイズを含む進捗データを生成する(ステップS63)。そして、コピー部311は、ステップS63において生成された進捗データをフロントエンドサーバ1に送信する(ステップS65)。そして呼び出し元の処理に戻る。
以上のような処理を実行すれば、停止したファイルコピーの実行を他のIOノードに引き継げるようになる。
図13の説明に戻り、ステップS49において、停止要求を受信していないと判断された場合(ステップS49:Noルート)、コピー部311は、コピー要求において指定されたファイルコピーを完了したか判断する(ステップS51)。コピー要求において指定されたファイルコピーを完了していない場合(ステップS51:Noルート)、ステップS47の処理に戻る。
一方、コピー要求において指定されたファイルコピーを完了した場合(ステップS51:Yesルート)、コピー部311は、完了したファイルコピーの実績情報をノードデータ格納部312から読み出し、読み出された実績情報を含む通知をフロントエンドサーバ1に送信する(ステップS55)。そして処理を終了する。なお、フロントエンドサーバ1の管理部102は、受信した通知に含まれる実績情報に基づき、サーバデータ格納部103に格納されたデータを更新する。
以上のような処理を実行すれば、相対的に優先度が低いファイルコピーを中断し、相対的に優先度が高いファイルコピーを実行できるようになる。
以上本発明の一実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上で説明したフロントエンドサーバ1、IOノード31、ファイル管理装置5及びファイル管理装置7の機能ブロック構成は実際のプログラムモジュール構成に一致しない場合もある。
また、上で説明したデータ保持構成は一例であって、上記のような構成でなければならないわけではない。さらに、処理フローにおいても、処理結果が変わらなければ処理の順番を入れ替えることも可能である。さらに、並列に実行させるようにしても良い。
なお、上ではファイルコピーの例を示したが、ファイルコピー以外のファイル転送(例えば、ファイルの移動)についても、本実施の形態を適用することができる。
なお、フロントエンドサーバ1がユーザ端末9から実行指示を受信する例を示したが、フロントエンドサーバ1を操作するユーザから実行指示の入力を受け付けてもよい。
なお、第2キュー106に格納されたコピー要求の開始オフセットをフロントエンドサーバ1が算出する例を示したが、ファイルコピーを停止したIOノードが、停止した位置の情報から開始オフセットを算出してもよい。
なお、第1の優先度のファイルコピーについて実行指示を受信した時に処理を実行していないIOノードが有る場合には、そのIOノードに第1の優先度のファイルコピーを実行させてもよい。
なお、ステップS29において、第1キュー105の先頭にコピー要求を格納してもよい。このようにすれば、残りの部分についてもできるだけ早くコピーを開始できるようになる。
なお、上で述べたフロントエンドサーバ1、IOノード31乃至34、ファイル管理装置5、ファイル管理装置7及びユーザ端末9は、コンピュータ装置であって、図15に示すように、メモリ2501とCPU(Central Processing Unit)2503とハードディスク・ドライブ(HDD:Hard Disk Drive)2505と表示装置2509に接続される表示制御部2507とリムーバブル・ディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517とがバス2519で接続されている。オペレーティング・システム(OS:Operating System)及び本実施例における処理を実施するためのアプリケーション・プログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。CPU2503は、アプリケーション・プログラムの処理内容に応じて表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ2501に格納されるが、HDD2505に格納されるようにしてもよい。本発明の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
以上述べた本発明の実施の形態をまとめると、以下のようになる。
本実施の形態の第1の態様に係る情報処理システムは、(A)データ転送を実行する複数のノードと、複数のノードを管理する管理装置とを有する。そして、上で述べた管理装置は、(b1)データ転送の優先度と当該データ転送を実行するノードの識別子とを当該データ転送の識別子に対応付けて格納するデータ格納部と、(b2)実行すべきデータ転送の情報を含む実行指示を受信した場合、当該実行すべきデータ転送の情報に含まれる優先度より低い優先度のデータ転送を実行する1又は複数の第1のノードを、データ格納部から特定する特定部と、(b3)特定部により特定された1又は複数の第1のノードの各々に対し、当該第1のノードが実行するデータ転送を停止することを要求する停止要求を送信するとともに、実行すべきデータ転送の情報と実行すべきデータ転送のうち当該第1のノードが実行する部分の情報とを含む転送要求を送信する送信部とを有する。
このようにすれば、複数のノードがデータ転送を実行する情報処理システムにおいて、優先度に応じてデータ転送を柔軟に行えるようになる。
また、上で述べた管理装置が、転送元のデータ名、転送先のデータ名、第1のノードが転送を停止した位置を示す情報、及び残りのデータのサイズの情報を含む応答を、1又は複数の第1のノードの各々から受信し、第2データ格納部に格納する受信部をさらに有してもよい。このようにすれば、第1のノードが停止したデータ転送を他のノードに実行させることができるようになる。
また、上で述べた特定部は、(b2−1)データ格納部から、1又は複数の第1のノード以外のノードのうち所定の条件を満たす第2のノードを特定し、上で述べた送信部は、(b3−1)第2データ格納部に格納された1又は複数の応答を取り出し、特定部により特定された第2のノードに送信してもよい。このようにすれば、停止したデータ転送を再開できるので、データ転送のやり直しが発生しなくなる。
また、上で述べた特定部は、(b3−2)実行すべきデータ転送の情報に含まれる、実行すべきデータ転送によって転送されるデータのサイズの情報と、実行すべきデータ転送を完了する時刻の情報とに基づき、実行すべきデータ転送に割り当てるノードの数Nを算出し、(b3−4)特定された1又は複数の第1のノードの識別子の中から、N個の第1のノードの識別子を特定してもよい。このようにすれば、実行すべきデータ転送を指定された時刻までに完了できるようになる。
また、上で述べた複数のノードの各々は、(a1)所定量のデータを転送する度に、管理装置から停止要求を受信したか否か確認する処理を実行してもよい。このようにすれば、停止要求を受信したことを検出するのが遅れるのを抑制できるので、実行すべきデータ転送を開始するのが遅れるのを抑制できるようになる。
また、上で述べた所定の条件は、ネットワークにおけるノードの位置についての条件及びノードの処理負荷についての条件の少なくともいずれかを含んでもよい。このようにすれば、実行中のデータ転送に影響が及ぶのを抑制できるようになる。
本実施の形態の第2の態様に係る情報処理システムの制御方法は、データ転送を実行する複数のノードと複数のノードを管理する管理装置とを有する情報処理システムにおいて実行される。そして、本情報処理システムの制御方法は、上で述べた管理装置が、(C)実行すべきデータ転送の情報を含む実行指示を受信した場合、当該実行すべきデータ転送の情報に含まれる優先度より低い優先度のデータ転送を実行する1又は複数の第1のノードを、データ転送の優先度と当該データ転送を実行するノードの識別子とを当該データ転送の識別子に対応付けて格納するデータ格納部から特定し、(D)特定された1又は複数の第1のノードの各々に対し、当該第1のノードが実行するデータ転送を停止することを要求する停止要求を送信するとともに、実行すべきデータ転送の情報と実行すべきデータ転送のうち当該第1のノードが実行する部分の情報とを含む転送要求を送信する処理を含む。
なお、上で述べた処理をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、CD−ROM、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)
データ転送を実行する複数のノードと、
前記複数のノードを管理する管理装置と、
を有し、
前記管理装置は、
データ転送の優先度と当該データ転送を実行するノードの識別子とを当該データ転送の識別子に対応付けて格納するデータ格納部と、
実行すべきデータ転送の情報を含む実行指示を受信した場合、当該実行すべきデータ転送の情報に含まれる優先度より低い優先度のデータ転送を実行する1又は複数の第1のノードを、前記データ格納部から特定する特定部と、
前記特定部により特定された前記1又は複数の第1のノードの各々に対し、当該第1のノードが実行するデータ転送を停止することを要求する停止要求を送信するとともに、前記実行すべきデータ転送の情報と前記実行すべきデータ転送のうち当該第1のノードが実行する部分の情報とを含む転送要求を送信する送信部と、
を有する情報処理システム。
(付記2)
前記管理装置が、
転送元のデータ名、転送先のデータ名、前記第1のノードが転送を停止した位置を示す情報、及び残りのデータのサイズの情報を含む応答を、前記1又は複数の第1のノードの各々から受信し、第2データ格納部に格納する受信部
をさらに有する付記1記載の情報処理システム。
(付記3)
前記特定部は、
前記データ格納部から、前記1又は複数の第1のノード以外のノードのうち所定の条件を満たす第2のノードを特定し、
前記送信部は、
前記第2データ格納部に格納された1又は複数の前記応答を取り出し、前記特定部により特定された前記第2のノードに送信する
付記2記載の情報処理システム。
(付記4)
前記特定部は、
前記実行すべきデータ転送の情報に含まれる、前記実行すべきデータ転送によって転送されるデータのサイズの情報と、前記実行すべきデータ転送を完了する時刻の情報とに基づき、前記実行すべきデータ転送に割り当てるノードの数Nを算出し、
特定された前記1又は複数の第1のノードの識別子の中から、N個の前記第1のノードの識別子を特定する
付記1記載の情報処理装置。
(付記5)
前記複数のノードの各々は、所定量のデータを転送する度に、前記管理装置から前記停止要求を受信したか否か確認する処理を実行する
付記1記載の情報処理システム。
(付記6)
前記所定の条件は、ネットワークにおけるノードの位置についての条件及びノードの処理負荷についての条件の少なくともいずれかを含む
付記4記載の情報処理システム。
(付記7)
データ転送を実行する複数のノードと、前記複数のノードを管理する管理装置とを有する情報処理システムの制御方法において、
前記管理装置は、
実行すべきデータ転送の情報を含む実行指示を受信した場合、当該実行すべきデータ転送の情報に含まれる優先度より低い優先度のデータ転送を実行する1又は複数の第1のノードを、データ転送の優先度と当該データ転送を実行するノードの識別子とを当該データ転送の識別子に対応付けて格納するデータ格納部から特定し、
特定された前記1又は複数の第1のノードの各々に対し、当該第1のノードが実行するデータ転送を停止することを要求する停止要求を送信するとともに、前記実行すべきデータ転送の情報と前記実行すべきデータ転送のうち当該第1のノードが実行する部分の情報とを含む転送要求を送信する、
処理を実行することを特徴とする、情報処理システムの制御方法。
(付記8)
データ転送を実行する複数のノードを管理する管理装置の制御プログラムにおいて、
前記管理装置に、
実行すべきデータ転送の情報を含む実行指示を受信した場合、当該実行すべきデータ転送の情報に含まれる優先度より低い優先度のデータ転送を実行する1又は複数の第1のノードを、データ転送の優先度と当該データ転送を実行するノードの識別子とを当該データ転送の識別子に対応付けて格納するデータ格納部から特定し、
特定された前記1又は複数の第1のノードの各々に対し、当該第1のノードが実行するデータ転送を停止することを要求する停止要求を送信するとともに、前記実行すべきデータ転送の情報と前記実行すべきデータ転送のうち当該第1のノードが実行する部分の情報とを含む転送要求を送信する、
処理を実行させることを特徴とする、管理装置の制御プログラム。
1 フロントエンドサーバ 31,32,33,34 IOノード
5 第1ファイル管理装置 51 第1ファイル格納部
7 第2ファイル管理装置 71 第2ファイル格納部
6,8 ネットワーク 9 ユーザ端末
101 受信部 102 管理部
103 サーバデータ格納部 104 送信部
105 第1キュー 106 第2キュー
311 コピー部 312 ノードデータ格納部

Claims (7)

  1. データ転送を実行する複数のノードと、
    前記複数のノードを管理する管理装置と、
    を有し、
    前記管理装置は、
    データ転送の優先度と当該データ転送を実行するノードの識別子とを当該データ転送の識別子に対応付けて格納するデータ格納部と、
    実行すべきデータ転送の情報を含む実行指示を受信した場合、当該実行すべきデータ転送の情報に含まれる優先度より低い優先度のデータ転送を実行する1又は複数の第1のノードを、前記データ格納部から特定する特定部と、
    前記特定部により特定された前記1又は複数の第1のノードの各々に対し、当該第1のノードが実行するデータ転送を停止することを要求する停止要求を送信するとともに、前記実行すべきデータ転送の情報と前記実行すべきデータ転送のうち当該第1のノードが実行する部分の情報とを含む転送要求を送信する送信部と、
    を有する情報処理システム。
  2. 前記管理装置が、
    転送元のデータ名、転送先のデータ名、前記第1のノードが転送を停止した位置を示す情報、及び残りのデータのサイズの情報を含む応答を、前記1又は複数の第1のノードの各々から受信し、第2データ格納部に格納する受信部
    をさらに有する請求項1記載の情報処理システム。
  3. 前記特定部は、
    前記データ格納部から、前記1又は複数の第1のノード以外のノードのうち所定の条件を満たす第2のノードを特定し、
    前記送信部は、
    前記第2データ格納部に格納された1又は複数の前記応答を取り出し、前記特定部により特定された前記第2のノードに送信する
    請求項2記載の情報処理システム。
  4. 前記特定部は、
    前記実行すべきデータ転送の情報に含まれる、前記実行すべきデータ転送によって転送されるデータのサイズの情報と、前記実行すべきデータ転送を完了する時刻の情報とに基づき、前記実行すべきデータ転送に割り当てるノードの数Nを算出し、
    特定された前記1又は複数の第1のノードの識別子の中から、N個の前記第1のノードの識別子を特定する
    請求項1記載の情報処理装置。
  5. 前記複数のノードの各々は、所定量のデータを転送する度に、前記管理装置から前記停止要求を受信したか否か確認する処理を実行する
    請求項1記載の情報処理システム。
  6. データ転送を実行する複数のノードと、前記複数のノードを管理する管理装置とを有する情報処理システムの制御方法において、
    前記管理装置は、
    実行すべきデータ転送の情報を含む実行指示を受信した場合、当該実行すべきデータ転送の情報に含まれる優先度より低い優先度のデータ転送を実行する1又は複数の第1のノードを、データ転送の優先度と当該データ転送を実行するノードの識別子とを当該データ転送の識別子に対応付けて格納するデータ格納部から特定し、
    特定された前記1又は複数の第1のノードの各々に対し、当該第1のノードが実行するデータ転送を停止することを要求する停止要求を送信するとともに、前記実行すべきデータ転送の情報と前記実行すべきデータ転送のうち当該第1のノードが実行する部分の情報とを含む転送要求を送信する、
    処理を実行することを特徴とする、情報処理システムの制御方法。
  7. データ転送を実行する複数のノードを管理する管理装置の制御プログラムにおいて、
    前記管理装置に、
    実行すべきデータ転送の情報を含む実行指示を受信した場合、当該実行すべきデータ転送の情報に含まれる優先度より低い優先度のデータ転送を実行する1又は複数の第1のノードを、データ転送の優先度と当該データ転送を実行するノードの識別子とを当該データ転送の識別子に対応付けて格納するデータ格納部から特定し、
    特定された前記1又は複数の第1のノードの各々に対し、当該第1のノードが実行するデータ転送を停止することを要求する停止要求を送信するとともに、前記実行すべきデータ転送の情報と前記実行すべきデータ転送のうち当該第1のノードが実行する部分の情報とを含む転送要求を送信する、
    処理を実行させることを特徴とする、管理装置の制御プログラム。
JP2014192397A 2014-09-22 2014-09-22 情報処理システム、情報処理システムの制御方法及び制御プログラム Active JP6341030B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014192397A JP6341030B2 (ja) 2014-09-22 2014-09-22 情報処理システム、情報処理システムの制御方法及び制御プログラム
US14/736,359 US9838324B2 (en) 2014-09-22 2015-06-11 Information processing system, information management apparatus, and data transfer control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014192397A JP6341030B2 (ja) 2014-09-22 2014-09-22 情報処理システム、情報処理システムの制御方法及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2016062535A true JP2016062535A (ja) 2016-04-25
JP6341030B2 JP6341030B2 (ja) 2018-06-13

Family

ID=55526845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014192397A Active JP6341030B2 (ja) 2014-09-22 2014-09-22 情報処理システム、情報処理システムの制御方法及び制御プログラム

Country Status (2)

Country Link
US (1) US9838324B2 (ja)
JP (1) JP6341030B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713196B1 (en) * 2018-12-20 2020-07-14 Intel Corporation Flexible and scalable accelerator architecture
US20230315756A1 (en) * 2022-04-01 2023-10-05 Microsoft Technology Licensing, Llc System and method of providing conditional copying of data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4777595A (en) * 1982-05-07 1988-10-11 Digital Equipment Corporation Apparatus for transferring blocks of information from one node to a second node in a computer network
JPH0452942A (ja) * 1990-06-20 1992-02-20 Nec Corp ファイル転送方式
US20040100906A1 (en) * 2002-11-26 2004-05-27 Dan Gay System and method for preferred service flow of high priority messages
US20070118840A1 (en) * 2005-11-24 2007-05-24 Kensuke Amaki Remote copy storage device system and a remote copy method
JP2010117845A (ja) * 2008-11-12 2010-05-27 Hitachi Ltd ファイル転送方法及びその実施システムとプログラム
JP2010287173A (ja) * 2009-06-15 2010-12-24 Nippon Telegr & Teleph Corp <Ntt> データ保全方法、データ保全システム、サーバ、クライアント装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08204732A (ja) 1995-01-20 1996-08-09 Chubu Nippon Denki Software Kk データ転送方式
JPH1098605A (ja) 1996-09-20 1998-04-14 Canon Inc ファクシミリ装置
US20040208158A1 (en) * 1998-08-19 2004-10-21 Fellman Ronald D. Methods and apparatus for providing quality-of-service guarantees in computer networks
US7313105B1 (en) * 2000-09-26 2007-12-25 Nortel Networks Limited Mechanism and method to select a time delay in response to a collision
US7787366B2 (en) * 2005-02-02 2010-08-31 Interdigital Technology Corporation Method and apparatus for controlling wireless medium congestion by adjusting contention window size and disassociating selected mobile stations
US9037652B2 (en) * 2007-12-25 2015-05-19 Toshiba Mitsubishi-Electric Industrial Systems Corporation Network control system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4777595A (en) * 1982-05-07 1988-10-11 Digital Equipment Corporation Apparatus for transferring blocks of information from one node to a second node in a computer network
JPH0452942A (ja) * 1990-06-20 1992-02-20 Nec Corp ファイル転送方式
US20040100906A1 (en) * 2002-11-26 2004-05-27 Dan Gay System and method for preferred service flow of high priority messages
US20070118840A1 (en) * 2005-11-24 2007-05-24 Kensuke Amaki Remote copy storage device system and a remote copy method
JP2007150409A (ja) * 2005-11-24 2007-06-14 Hitachi Ltd リモートコピー記憶装置システムおよびリモートコピー方法
JP2010117845A (ja) * 2008-11-12 2010-05-27 Hitachi Ltd ファイル転送方法及びその実施システムとプログラム
JP2010287173A (ja) * 2009-06-15 2010-12-24 Nippon Telegr & Teleph Corp <Ntt> データ保全方法、データ保全システム、サーバ、クライアント装置

Also Published As

Publication number Publication date
US20160087906A1 (en) 2016-03-24
JP6341030B2 (ja) 2018-06-13
US9838324B2 (en) 2017-12-05

Similar Documents

Publication Publication Date Title
US8458284B2 (en) Systems and methods for efficient live application migration within bandwidth constrained networks
KR101781063B1 (ko) 동적 자원 관리를 위한 2단계 자원 관리 방법 및 장치
JP5391601B2 (ja) 資源転送システム、資源転送方法、情報処理装置及びコンピュータプログラム
JP6246923B2 (ja) 管理サーバ、計算機システム及び方法
US8473702B2 (en) Information processing apparatus, execution environment transferring method and program thereof
US20110314157A1 (en) Information processing system, management apparatus, processing requesting apparatus, information processing method, and computer readable medium storing program
JP2010231502A (ja) ジョブ処理方法、ジョブ処理プログラムを格納したコンピュータ読み取り可能な記録媒体、および、ジョブ処理システム
JP2016131298A (ja) パス計算装置およびパス計算方法
JP6341030B2 (ja) 情報処理システム、情報処理システムの制御方法及び制御プログラム
JP5549189B2 (ja) 仮想マシン管理装置、仮想マシン管理方法、及び仮想マシン管理プログラム
JPWO2014147699A1 (ja) 管理装置、方法及びプログラム
JP2004046372A (ja) 分散処理システム、リソース割当方法およびプログラムならびにリソース割当プログラムが記録された記録媒体
JP5884566B2 (ja) バッチ処理システム、進捗状況確認装置、進捗状況確認方法、及びプログラム
JP2015094976A (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6191361B2 (ja) 情報処理システム、情報処理システムの制御方法及び制御プログラム
JP6657910B2 (ja) 帯域設定方法、帯域設定プログラム、情報処理装置及び情報処理システム
WO2013065151A1 (ja) 計算機システム、データ転送方法、および、データ転送プログラム
JP5056346B2 (ja) 情報処理装置、情報処理システム、仮想サーバの移動処理の制御方法、及び、プログラム
JP7326234B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP6112205B2 (ja) 情報処理システム、装置、方法及びプログラム
JP7247651B2 (ja) 情報処理装置、情報処理システム及び情報処理プログラム
JP5488029B2 (ja) 分散処理システム、分散処理方法、及びプログラム
US9778958B2 (en) Management method, management apparatus, and information processing system for coordinating parallel processing in a distributed computing environment
JP2017142747A (ja) ネットワークシステム、システム管理方法およびシステム管理プログラム
JP2015095132A (ja) 情報処理システム、情報処理システムの制御方法及び管理装置の制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180430

R150 Certificate of patent or registration of utility model

Ref document number: 6341030

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150