JP2008299769A - Data transfer scheduling device, program, storage medium, and method - Google Patents
Data transfer scheduling device, program, storage medium, and method Download PDFInfo
- Publication number
- JP2008299769A JP2008299769A JP2007147711A JP2007147711A JP2008299769A JP 2008299769 A JP2008299769 A JP 2008299769A JP 2007147711 A JP2007147711 A JP 2007147711A JP 2007147711 A JP2007147711 A JP 2007147711A JP 2008299769 A JP2008299769 A JP 2008299769A
- Authority
- JP
- Japan
- Prior art keywords
- transfer
- file
- node
- nodes
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
本発明は、ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置、プログラム、記録媒体及び方法に関し、特に、データを細分化して近接ノード間でバケツリレー的に転送させるデータ転送スケジュール装置、プログラム、記録媒体及び方法に関する。
The present invention relates to a data transfer schedule device, program, recording medium, and method for scheduling and managing data transfer from a file server to a plurality of nodes, and in particular, data that is subdivided and transferred in a bucket relay manner between adjacent nodes. The present invention relates to a transfer schedule device, a program, a recording medium, and a method.
従来、大規模なサーバファームやデータセンタのような多数のサーバを利用する環境において、大きな入力ファイルを必要とするアプリケーションを多数台で実行する場合に、その入力ファイルを効率的に配布するデータ転送が必要となる。 Conventionally, in an environment that uses a large number of servers such as large-scale server farms and data centers, data transfer that efficiently distributes input files when many applications that require large input files are executed Is required.
従来のデータ転送にあっては、ファイルを必要とするサーバからファイルの置き場所であるファイルサーバへファイルの転送要求が送られ、それに応える形でファイルサーバからサーバへファイルが転送されている。
しかしながら、このような従来のデータ転送にあっては、複数台のサーバでファイルが必要な場合に、例えばn台のサーバでファイルが必要な場合、ファイルサーバからn回ファイル転送が発生し、このような1対n転送ではファイルサーバがネックとなって全体にファイルが行きわたるまで時間が掛かるという問題がある。 However, in such conventional data transfer, when a file is required by a plurality of servers, for example, when a file is required by n servers, file transfer occurs n times from the file server. In such 1-to-n transfer, there is a problem that a file server becomes a bottleneck and it takes time until the files are distributed throughout.
この問題を解消するため、各々のサーバにファイル転送のエージェントを配置し、キャッシュとしてファイルを持たせて、近隣のサーバからファイルを転送させる方法がある。しかし、このデータ転送にあっても、最後の1台にファイルがコピーされるまでに、やはりn回分のファイル転送が必要であり、時間がかかる問題がある。 In order to solve this problem, there is a method in which a file transfer agent is arranged in each server, the file is held as a cache, and a file is transferred from a neighboring server. However, even in this data transfer, there is a problem that it takes time to transfer the file n times before the file is copied to the last one.
一方、サーバ設置時などの状況においては、複数のサーバに対するファイルの転送順序予め定め、細分化された部分ファイルを定められた順序でサーバ間を順次転送することでファイル転送時間を短縮するバケツリレー方式によるデータ転送方法がある。 On the other hand, in situations such as when a server is installed, a bucket relay that shortens the file transfer time by predetermining the transfer order of files to a plurality of servers and sequentially transferring the subdivided partial files between the servers in a predetermined order There is a data transfer method by a method.
しかし、バケツリレー方式によるデータ転送は、サーバ設置状況が把握できている定められたサーバ群全体に配布するケースでしか利用できず、ファイルを配布するサーバが転送要求毎に変化するようなデータ転送では利用できない問題がある。 However, the data transfer by the bucket relay method can be used only in the case of distributing to the entire set of servers in which the server installation status can be grasped, and the data transfer in which the server that distributes the file changes for each transfer request. There is a problem that cannot be used.
本発明は、転送先のノード群が変更されてもバケツリレー転送により細分化した部分ファイルを近接間転送して最終ノードまで高速にファイルを転送可能なデータ転送スケジュール装置、プログラム、記録媒体及び方法を提供することを目的とする。
The present invention relates to a data transfer schedule device, program, recording medium, and method capable of transferring a partial file subdivided by bucket relay transfer between adjacent nodes and transferring the file to the final node at a high speed even if the transfer destination node group is changed The purpose is to provide.
(装置)
本発明はデータ転送スケジュール装置を提供する。本発明は、ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置に於いて、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部と、
転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部と、
ファイル転送依頼を受けた際に、依頼先となるファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部と、
を備えたことを特徴とする。
(apparatus)
The present invention provides a data transfer schedule device. The present invention relates to a data transfer schedule device that schedules and manages data transfer from a file server to a plurality of nodes.
A transfer request receiving unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes;
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of the transfer nodes by concatenating the file names, and subdividing the partial files according to the order of the file management list A file transfer order management unit that requests file transfer to transfer between adjacent nodes;
When a file transfer request is received, a subdivided file delivery management unit that instructs the file server and node that are the request destination to execute file transfer, and
It is provided with.
ここで、ファイル転送順序管理部は、ファイル転送を依頼したノードでの同一部分ファイルの次のノードへの転送回数を1回に制限して前記ファイル管理リストにおけるノード転送要求の配列順に部分ファイルを順次転送させる。 Here, the file transfer order management unit limits the number of transfers to the next node of the same partial file at the node that requested the file transfer to one, and the partial files are arranged in the order of the node transfer request in the file management list. Transfer sequentially.
ファイル転送順序管理部は、
転送要求を転送先ノード毎のノード転送要求に分解した後にファイル名と転送先アドレスでソートし、ファイル名にソートした前記ノード転送要求を連結して転送ノードの順番を示すファイル管理リストを生成するソート処理部と、
ファイルサーバ及び全ノードにキャッシュされている保有ファイルの一覧を収集し、ファイル管理リストに転送元ファイルのキャッシュ位置を検出して設定するキャッシュ位置取得部と、
ファイル管理リストに配列したノード転送要求毎に、次ノードに対する部分ファイルの転送進捗状況を示す進捗管理情報と、次ノードに対する同じ部分ファイルの転送回数を所定の最大転送可能数に制限する転送回数管理情報とを生成して管理する転送情報管理部と、
進捗管理情報及び転送回数管理情報に基づいて、転送可能なノードを判定して細分化ファイル配信管理部にファイル転送を依頼すると共に、転送回数管理情報における同じ部分ファイルの転送回数を更新するファイル転送依頼部と、
細分化ファイル配信管理部から依頼したファイル転送の完了通知を受けた際に、進捗管理情報に記述している部分ファイルの転送進捗状況を更新し、全ての部分ファイルの転送完了を判別した場合は、対応するノード転送要求をファイル管理リストから削除し、更に、転送回数管理情報の同じ部分ファイルの転送回数が最大転送可能数に達していた場合は次の部分ファイル転送のために転送回数を1つ減らす転送完了処理部と、
を備える。
The file transfer order manager
After the transfer request is broken down into node transfer requests for each transfer destination node, the file transfer list is sorted by file name and transfer destination address, and the file transfer list indicating the order of transfer nodes is generated by concatenating the node transfer requests sorted into file names. A sort processing unit;
A cache location acquisition unit that collects a list of retained files cached in the file server and all nodes, and detects and sets the cache location of the transfer source file in the file management list;
For each node transfer request arranged in the file management list, progress management information indicating the transfer progress status of the partial file to the next node, and transfer count management that limits the transfer count of the same partial file to the next node to a predetermined maximum transferable number A transfer information management unit for generating and managing information,
File transfer that determines the transferable node based on the progress management information and the transfer count management information, requests the file transfer management unit to transfer the file, and updates the transfer count of the same partial file in the transfer count management information A request department;
When the file transfer completion notification requested from the subdivision file distribution management unit is received, the transfer progress status of the partial files described in the progress management information is updated, and the transfer completion of all the partial files is determined. The corresponding node transfer request is deleted from the file management list, and if the transfer count of the same partial file in the transfer count management information reaches the maximum transferable number, the transfer count is set to 1 for the next partial file transfer. A transfer completion processing unit to reduce
Is provided.
転送情報管理部で管理する次ノードに対する同じ部分ファイルの最大転送可能数を1に設定する。 The maximum transferable number of the same partial file for the next node managed by the transfer information management unit is set to 1.
ファイル転送依頼部は、
ファイル管理リストに配列したノード転送要求にリンクしているファイルサーバを含む各ノードの進捗管理情報及び転送回数管理情報を配列順に調べ、
転送回数管理情報の部分ファイル転送回数が最大転送可能数未満で、且つ進捗管理情報が全ての部分ファイルの転送完了を示していなければ、転送可能ノードと判定する。
The file transfer request department
Check the progress management information and transfer count management information of each node including the file server linked to the node transfer request arranged in the file management list in the order of arrangement,
If the number of partial file transfers in the transfer count management information is less than the maximum transferable number and the progress management information does not indicate completion of transfer of all partial files, it is determined as a transferable node.
(プログラム)
本発明はデータ転送スケジュールのためのプログラムを提供する。本発明のプログラムは、ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置のコンピュータを、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部、
転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部、
ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部、
として機能させることを特徴とする。
(program)
The present invention provides a program for a data transfer schedule. The program of the present invention is a computer for a data transfer schedule device that schedules and manages data transfer from a file server to a plurality of nodes.
A transfer request reception unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes;
After decomposing and sorting transfer requests into node transfer requests for each transfer destination node, generate a file management list indicating the order of the transfer nodes by concatenating the file names, and subdivide the partial files according to the order of the file management list. File transfer order management unit that requests file transfer to transfer between adjacent nodes,
When a file transfer request is received, a fragmented file distribution management unit for instructing and executing file transfer to the file server and node as a request destination,
It is made to function as.
(記録媒体)
本発明はデータ転送スケジュールのためのプログラムを格納したコンピュータ可読な記録媒体を提供する。本発明の記録媒体は、
ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置のコンピュータを、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部、
転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部、
ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部、
として機能させるプログラムを格納ことを特徴とする。
(recoding media)
The present invention provides a computer-readable recording medium storing a program for a data transfer schedule. The recording medium of the present invention is
A data transfer scheduling device computer that schedules and manages data transfer from a file server to a plurality of nodes,
A transfer request receiving unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes,
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of the transfer nodes by concatenating the file names, and subdividing the partial files according to the order of the file management list File transfer order management unit that requests file transfer to transfer between adjacent nodes,
When a file transfer request is received, a fragmented file distribution management unit for instructing and executing file transfer to the file server and node as a request destination,
It stores the program which functions as
(方法)
本発明はデータ転送スケジュール方法を提供する。本発明は、ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール方法に於いて、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付プロセスと、
転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理プロセスと、
ファイル転送依頼を受けた際に、依頼先となるファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理プロセスと、
を備えたことを特徴とする。
(Method)
The present invention provides a data transfer scheduling method. The present invention relates to a data transfer scheduling method for scheduling and managing data transfer from a file server to a plurality of nodes.
A transfer request reception process for receiving a transfer request specifying a file name and a plurality of transfer destination nodes;
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of the transfer nodes by concatenating the file names, and subdividing the partial files according to the order of the file management list A file transfer order management process that requests file transfer to transfer between adjacent nodes;
When a file transfer request is received, a subdivided file distribution management process for instructing and executing file transfer to the file server and node as a request destination;
It is provided with.
本発明によれば、ファイル名と転送先ノード群を指定した転送要求を受付けた際に、受付けた転送要求をノード毎のノード転送要求に分解してノード間で近接間転送を可能とするように例えばノードのIPアドレスでソートした順番でファイル単位に配列したノード転送順序を示すファイル管理リストを生成し、このファイル管理リストに基づいて転送可能なノードを判別してファイル転送を指示し、更に、ノード間での同じ部分ファイルの転送回数を1回しか許さないように制限することで、ファイル管理リストの転送順序に従って細分化した部分ファイルをファイルサーバから各ノードにバケツリレー的に転送し、最終ノードまで高速にファイルを転送することができる。
According to the present invention, when a transfer request specifying a file name and a transfer destination node group is received, the received transfer request is decomposed into node transfer requests for each node so that transfer between adjacent nodes can be performed. For example, a file management list indicating the node transfer order arranged in units of files in the order sorted by the IP address of the node is generated, and a file transfer is determined by determining a transferable node based on the file management list, and By restricting the number of transfers of the same partial file between nodes to be allowed only once, the partial file subdivided according to the transfer order of the file management list is transferred in a bucket relay from the file server to each node, Files can be transferred at high speed to the final node.
図1は本発明によるデータ転送スケジューラを備えたデータ配信システムの実施形態を示した説明図である。図1において、本実施形態のデータ転送スケジューラ10に対してはファイル転送元となるファイルサーバ12が接続され、またネットワーク14を介してファイル転送先となるノード16−1〜16−5が接続されている。
FIG. 1 is an explanatory diagram showing an embodiment of a data distribution system including a data transfer scheduler according to the present invention. In FIG. 1, a
ノード16−1〜16−5のそれぞれにはデータ転送エージェント18−1〜18−5が配置されており、データ転送スケジューラ10からの転送命令を受けて近接ノード間で所定の固定サイズに細分化した部分ファイルをバケツリレー方式で転送する。
Data transfer agents 18-1 to 18-5 are arranged in the nodes 16-1 to 16-5, respectively, and are subdivided into a predetermined fixed size between adjacent nodes in response to a transfer command from the
またノード16−1〜16−5のそれぞれには転送ファイルを一時的に保持するための転送キャッシュ20−1〜20−5が設けられている。更にノード16−1〜16−5には、それぞれ転送されたファイルを格納してアプリケーションで使用するためのストレージ22−1〜22−5が接続されている。 Each of the nodes 16-1 to 16-5 is provided with transfer caches 20-1 to 20-5 for temporarily holding transfer files. The nodes 16-1 to 16-5 are connected to storages 22-1 to 22-5 for storing transferred files and using them in applications.
図1に示す本実施形態のデータ転送スケジューラ10を備えたデータ配信システムは、例えばデータファームやデータセンタのようなグリッド環境であり、ノード16−1〜16−5はファイルサーバ12から比較的大きなファイルの転送を受けてアプリケーションにより実行するサーバとして機能する。
The data distribution system including the
また転送スケジューラ10及びノード16−1〜16−5を接続しているネットワーク14は例えばインターネットプロトコル(IPプロトコルネットワーク)であり、データ転送スケジューラ10、ファイルサーバ12及びノード16−1〜16−5のそれぞれは固有のIPアドレスを持ち、またノード16−1〜16−5はそれぞれ識別するための固有のノード名を予め設定している。
The
図2は本実施形態におけるデータ転送スケジューラの機能構成を示したブロック図である。図2において本実施形態のデータ転送スケジューラ10は転送要求受付部24、転送順序管理部26、制御部28、キャッシュ位置取得部30、細分化ファイル配信管理部32を備えている。
FIG. 2 is a block diagram showing a functional configuration of the data transfer scheduler in the present embodiment. In FIG. 2, the
転送順序管理部26にはソート処理部34と転送要求格納部36が設けられている。また制御部28には転送情報管理部38、ファイル転送依頼部40及び転送完了処理部42が設けられている。このようなデータ転送スケジューラに設けられた各処理部はデータ転送スケジューラ10を実現するコンピュータにおけるプログラムの実行により実現される機能である。
The transfer order management unit 26 includes a
またデータ転送スケジューラ10にネットワーク14を介して接続されているノード16−1〜16−5のノード名として、この例ではhost1〜host5を設定している。
In this example, host1 to host5 are set as the node names of the nodes 16-1 to 16-5 connected to the
データ転送スケジューラ10に設けた転送要求受付部24は、ネットワーク14に接続しているクライアントなどからの転送要求44−1〜44−2を受け付けて保持する。
The transfer
転送要求受付部24で受け付ける転送要求44−1、44−2は例えば図3に示す内容を持つ。図3は図2の転送要求44−1はXMLによる記述例を示している。転送要求44−1には転送対象とするファイル名48として「ファイルA」が記述されている。
The transfer requests 44-1 and 44-2 received by the transfer
また転送要求44−1には転送先ノード群50が記述され、この例では転送先ノード群50として図2に示したノード16−1〜16−5の5つのノード名「host1〜host5」が記述されている。
The transfer request 44-1 describes the transfer
再び図2を参照するに、転送要求受付部24で受け付けた転送要求44−1、44−2は受付順に転送順序管理部26に送られる。転送順序管理部26は転送要求受付部24から受け取った例えば転送要求44−1を、転送先ノードごとのノード転送要求に分解した後、分解したノード転送要求を例えばIPアドレスによってソートしてファイル名に結合して配列したノード転送順序を示す転送要求格納部36に示すファイル管理リスト46−1を生成する。
Referring to FIG. 2 again, the transfer requests 44-1 and 44-2 received by the transfer
そして転送順序管理部26は、転送対象となったファイルAを細分化した例えば5つの部分ファイルA1〜A5、ファイル管理リスト46−1のノード転送順序に従って近接ノード間転送をするように細分化ファイル配信管理部32にファイル転送を依頼する。
The transfer order management unit 26 subdivides the file A to be transferred into, for example, five partial files A1 to A5, and the subdivided file so that the transfer between adjacent nodes is performed according to the node transfer order of the file management list 46-1. Request the file transfer to the
細分化ファイル配信管理部32は転送順序管理部26から転送依頼を受けた際に、依頼先となるファイルサーバ12、ノード16−1〜16−4にファイル転送を指示して近接ノード間転送を実行する。
When the subdivision file
この転送順序管理部26の機能を制御部28とともに更に詳細に説明すると次のようになる。まずソート処理部34は転送要求受付部24から例えば転送要求44−1、44−2を受け取った際に、転送要求44−1、44−2をそれぞれ転送先ノードごとのノード転送要求に分解した後、ファイル名と転送先アドレスであるIPアドレスでソートし、ファイル名単位、すなわちファイル名A単位及びファイル名B単位に、それぞれノード転送要求をノード転送順に配列したファイル管理リスト46−1、46−2を生成する。
The function of the transfer order management unit 26 will be described in detail together with the control unit 28 as follows. First, when the
ファイル管理リスト46−1、46−2に配列している「host1〜host5」または「host3,host5」で示すノート転送要求のそれぞれに対しては、後の説明で明らかにする進捗管理情報を初期化してリンクしている。進捗管理情報は次のノードに対する部分ファイルの転送進捗情報、即ち細分化した部分ファイルがいくつ次ノードにいくつ送られたかを示す情報である。 For each of the note transfer requests indicated by “host1 to host5” or “host3, host5” arranged in the file management lists 46-1 and 46-2, the progress management information to be clarified in the following explanation is initialized. Is linked. The progress management information is partial file transfer progress information for the next node, that is, information indicating how many sub-files have been sent to the next node.
例えばファイル名Aのファイル管理リスト46−1にリンクされた進捗管理情報はファイルAを例えば6つの部分ファイルA1〜A6に分けて転送していることから、進捗管理情報はある転送タイミングで図示のように転送順に「1/6,2/6,3/6,4/6,5/6」が記録されている。
For example, since the progress management information linked to the file management list 46-1 of the file name A transfers the file A divided into, for example, six
制御部28に設けた転送情報管理部38は例えばファイル管理リスト46−1を例にとると、ファイル管理リスト46−1に配列した「host1〜host5」で示すノード転送要求に基づき次のノードに対する部分ファイルの転送進捗状況を示す進捗管理情報と、次のノードに対する同じく部分ファイルの転送回数を所定の最大転送回数に制限する転送回数管理情報部とを生成して管理する。 For example, taking the file management list 46-1 as an example, the transfer information management unit 38 provided in the control unit 28 applies to the next node based on the node transfer requests indicated by “host1 to host5” arranged in the file management list 46-1. It generates and manages progress management information indicating the transfer progress of the partial file and a transfer count management information section that limits the transfer count of the partial file to the next node to a predetermined maximum transfer count.
図4は図2の転送情報管理部24で管理される図3の転送要求44−1から生成されたリンク先のファイル管理リスト46−1と、これにリンクして管理される進捗管理情報52と転送回数管理情報を54を示した説明図である。
4 shows the link destination file management list 46-1 generated from the transfer request 44-1 of FIG. 3 managed by the transfer
図4において、ファイル管理リスト46−1は図3の転送要求44−1について図2のソート処理部34の処理により作成されている。このファイル管理リスト46−1は転送要求44−1のファイル名48に対し転送要求44−1に含まれている転送先ノード名から転送先ノードごとのノード転送要求56−1〜56−5に分解した後、分解したノード転送要求をファイル単位及びIPアドレス単位にソートしてファイル名48に対し配列することで生成している。
4, the file management list 46-1 is created by the processing of the
ファイル管理リスト46−1の生成と同時にソート処理部34は転送先のノードごとに次のノードに対する部分ファイルの転送進捗情報を示す進捗管理情報60−1〜60−5を初期化してリンクしている。
Simultaneously with the generation of the file management list 46-1, the
ノード転送要求56−1〜56−5に初期化してリンクされた進捗管理情報60−1〜60−5は、ノード間で転送される細分化された部分ファイルの転送進捗情報を記録する。例えば細分化数を6とすると、部分ファイルを次のノードに転送るごとに、転送進捗情報は1/6、2/6、3/6、4/6、5/6と変化する情報を記録して管理する。 The progress management information 60-1 to 60-5 initialized and linked to the node transfer requests 56-1 to 56-5 records the transfer progress information of the fragmented partial files transferred between the nodes. For example, if the number of subdivisions is 6, every time a partial file is transferred to the next node, the transfer progress information records information that changes to 1/6, 2/6, 3/6, 4/6, 5/6. And manage.
ここで図4のファイル管理リスト46−1に配列しているノード転送要求56−1〜56−5の情報は図5(A)に代表して示すように、ファイル名68と転送先ノード名70で構成されている。
Here, the information of the node transfer requests 56-1 to 56-5 arranged in the file management list 46-1 in FIG. 4 includes the
また図4の進捗管理情報52に配置しているノード進捗管理情報60−1〜60−5は、図5(B)に取り出して代表して示すように、部分ファイル進捗比72とノード名74を記述している。ここで部分ファイル進捗比72は
(部分ファイル進捗比)=(部分ファイルの転送完了数)/細分化数)
で与えられる。
Also, the node progress management information 60-1 to 60-5 arranged in the progress management information 52 of FIG. 4 is extracted as shown in FIG. Is described. Here, the partial
Given in.
具体的に図4の進捗管理情報52の各ノード進捗管理情報60−1〜60−5に示すように細分化数=6とすると、部分ファイルの転送の進捗に応じて部分ファイル進捗比は、0/6,1/6,2/6,3/6,4/6,5/6,6/6と変化する。尚、部分ファイル進捗比0/6は部分ファイルの転送が行われていない初期値であり、また部分ファイル進捗比6/6は部分ファイルの全ての転送が完了した転送完了を示す値となる。
Specifically, as shown in the node progress management information 60-1 to 60-5 of the progress management information 52 in FIG. 4, if the number of subdivisions = 6, the partial file progress ratio is determined according to the progress of the partial file transfer. It changes to 0/6, 1/6, 2/6, 3/6, 4/6, 5/6, 6/6. The partial
図4の転送回数管理情報54は、図5(C)に示すように、ノード名62、最大転送可能数64及び現在転送数66を記述している。転送回数管理情報54は細分化して部分ファイルをファイル転送元のファイルサーバ12からノード16−1〜16−5に対してバケツリレー方式により転送する際のノード間で同じ部分ファイルを転送できる回数を制限するための情報である。
4 describes the
即ち、転送回数管理情報52に設定された最低転送可能数64が次のノードに同じ部分ファイルを転送することのできる最大数であり、次のノードに転送するごとに現在転送数66を1つずつ増加させる更新を行い、現在転送数66が最大転送可能数64に達したら、それ以降同じ部分ファイルの次のノードへの転送を禁止する。
That is, the minimum
本実施形態にあっては転送回数管理情報54における最大転送可能数を1とすることでファイルサーバ12から転送先のノード16−1〜16−5に対する細分化された部分ファイルの転送につき同じ部分ファイルはノード間で1回しか転送できないように制限する。これによってファイルサーバ12からノード16−1〜16−5に対し、部分ファイルを近接サーバ間で1回ずつ順次転送するバケツリレー転送を実現することができる。
In the present embodiment, by setting the maximum transferable number in the transfer count management information 54 to 1, the same part is transferred from the
図4に示す転送回数管理情報54にあってはノード名62−1〜62−5に示すように、ファイルサーバ12と最後のノード16−5を除くノード16−1〜16−4のホスト名host1〜host4を記述している。
In the transfer count management information 54 shown in FIG. 4, as shown by the node names 62-1 to 62-5, the host names of the nodes 16-1 to 16-4 excluding the
次の最大転送可能数64−1〜64−5は予め設定した「1」である。最後の現在転送数66−1〜66−5は次のノードに対する部分ファイルの転送を依頼するごとに0から1に更新され、依頼した部分ファイルの転送完了の通知を受けると1から0に1つ減らして次の部分ファイルの転送に備える。 The next maximum transferable number 64-1 to 64-5 is “1” set in advance. The last current transfer number 66-1 to 66-5 is updated from 0 to 1 every time a partial file transfer is requested to the next node, and is changed from 1 to 0 when a notification of transfer completion of the requested partial file is received. Prepare for the next partial file transfer.
再び図2を参照するに制御部28に設けたファイル転送依頼部40は転送情報管理部38で管理している例えば図4に示した進捗情報管理情報52及び転送回数管理情報54に基づき転送可能なノードを判定して細分化ファイル配信管理部32にファイル転送を依頼する。更にファイル転送依頼部40は転送依頼時に同じ部分ファイルの転送回数を示す現在転送数66−1〜66−5を各ノードに対応してこのタイミングで0から1に更新する。
Referring to FIG. 2 again, the file transfer request unit 40 provided in the control unit 28 can be transferred based on the progress information management information 52 and the transfer count management information 54 shown in FIG. A node is determined to request the subdivision file
制御部28に設けた転送完了処理部42は、細分化ファイル配信管理部32から依頼したファイル転送の完了通知を受けた際に、図4の進捗管理情報52の中のノード進捗管理情報60−1〜60−5の部分ファイル進捗比の分子を1つ増加させる更新を行う。
The transfer completion processing unit 42 provided in the control unit 28 receives the node transfer management information 60-in the progress management information 52 of FIG. 4 when receiving the completion notification of the requested file transfer from the segmented file
この更新により部分ファイル進捗比の分母の細分化数と分子の部分ファイル転送完了数とが一致する例えば6/6となったときに、全ての部分ファイルの転送完了を判別し、対応するノード転送要求をファイル管理リストから削除する。 As a result of this update, when the partial file progress ratio denominator number and the partial file transfer completion number of the numerator match, for example, 6/6, transfer completion of all partial files is determined, and the corresponding node transfer is performed. Delete the request from the file management list.
また図4の転送回数管理情報54における現在転送数66−1〜66−5が最大転送可能数64−1〜64−5の値、具体的には1に達していた場合には、次の部分ファイルの転送のため現在転送数66−1〜66−5を1つ減らしてゼロにする。 If the current transfer numbers 66-1 to 66-5 in the transfer count management information 54 in FIG. 4 have reached the value of the maximum transferable numbers 64-1 to 64-5, specifically, 1, The current transfer number 66-1 to 66-5 is decreased by one to zero to transfer a partial file.
更に図2のデータ転送スケジューラ10に設けているキャッシュ位置取得部30は、ファイルサーバ12、ノード16−1〜16−5にキャッシュされている保有ファイルの一覧を収集し、ファイル管理リスト46−1または46−2に転送元のキャッシュ位置を記述してセットする。これによって例えばファイル管理リスト46−1における転送対象となる元ファイルがファイルサーバ12にあることを示す転送元ファイルサーバ情報58をファイル管理リスト46に設定することができる。
Further, the cache location acquisition unit 30 provided in the
図4のファイル管理リスト46−1にあってはファイル名48である「ファイルA」に対し、図2のキャッシュ位置取得部30の処理により検出されたファイルサーバを転送元ファイルサーバ情報58に記録してファイル管理リスト46のファイル名48にリンクする。
In the file management list 46-1 of FIG. 4, the file server detected by the processing of the cache position acquisition unit 30 of FIG. Then, the
図6は図2の転送要求格納部36に配置したファイル管理リスト46−1に基づいてファイルAを6つの部分ファイルA1〜A6に細分化してバケツリレー方式によりノード16−1〜16−5に対しデータ転送する様子を示したタイムチャートである。 FIG. 6 shows that the file A is subdivided into six partial files A1 to A6 based on the file management list 46-1 arranged in the transfer request storage unit 36 of FIG. 2 and is transferred to the nodes 16-1 to 16-5 by the bucket relay method. 5 is a time chart showing how data is transferred.
図6において、ステップS1のタイミングにあっては、まずファイルサーバ12から細分化した最初の部分ファイルA1を最初のノード16−1に転送する。ファイルサーバ12からノード16−1に対する部分ファイルA1の転送回数は最大転送可能数を1に設定することで1回だけ行われる。
In FIG. 6, at the timing of step S1, the first partial file A1 subdivided from the
次のステップS2のタイミングでは、ファイルサーバ12は最初の部分ファイルA1は1回しか送ることができないため、次の部分ファイルA2をノード16−1に転送する。同じタイミングでノード16−1はキャッシュに格納したステップS2のタイミングで受信した部分ファイルA1を次のノード16−2に転送する。
At the timing of the next step S2, since the
以下同様にファイルサーバ12はステップS3〜S6の各タイミングで1つずつ部分ファイルA3、A4、A5、A6を次のノード16−1に順次転送する。またノード16−2にあってはステップS2〜S7のタイミングで部分ファイルA1〜A6を順次次のノード16−2に転送する。
Similarly, the
残りのノード16−3〜16−4についても、同様にして各タイミングで同じ部分ファイルは1回ずつだけ次のノードに順次転送する。この結果、ステップS10のタイミングで最後のノード16−5に対する最後の部分ファイルA6の転送が完了し、これによってファイルサーバ12から細分化されたファイルA1の転送先であるノード16−1〜16−5の全てに対するファイル転送が完了することになる。
Similarly for the remaining nodes 16-3 to 16-4, the same partial file is sequentially transferred to the next node only once at each timing. As a result, the transfer of the last partial file A6 to the last node 16-5 is completed at the timing of step S10, whereby the nodes 16-1 to 16- that are the transfer destinations of the file A1 subdivided from the
図7は図2の転送要求44−2からデータ転送スケジューラ10で生成されたファイル管理リスト46−2に基づくデータ転送の様子を示したタイムチャートであり、この場合にはファイルBをファイルAの場合と同様6つの部分ファイルB1〜B6に細分化し、転送先ノードとしてノード16−3、16−5の2つに転送する場合を例にとっている。
FIG. 7 is a time chart showing the state of data transfer based on the file management list 46-2 generated by the
図7において、転送先ノードはノード16−3、16−5の2つであることから、ファイルサーバ12はステップS1〜S6のタイミングで部分ファイルB1〜B6を1回ずつノード16−3に転送する。
In FIG. 7, since the transfer destination nodes are two nodes 16-3 and 16-5, the
またノード16−3はステップS2〜S7のタイミングでキャッシュした部分ファイルB1〜B6を1回ずつ次のノード16−5に転送し、これによって転送要求44−2に基づくファイルBのノード16−3、16−5に対する転送を完了する。 Further, the node 16-3 transfers the partial files B1 to B6 cached at the timings of steps S2 to S7 to the next node 16-5 one by one, thereby the node 16-3 of the file B based on the transfer request 44-2. , 16-5 is completed.
この図6及び図7のタイムチャートから明らかなように本実施形態にあっては、転送先となるノードは転送要求によってネットワーク上の任意の数のノードを指定して動的に行うことができ、且つファイルサーバ及びノード間の同じ部分ファイルの転送数を1回に制限することで、IPアドレスのソート順に従ってノード間でバケツリレー方式により近接ノード間転送を実行することができ、複数のノードに対し同時に部分ファイルを転送する1対n転送によるネットワーク輻輳を回避し、さらに図6及び図7のタイムチャートのように、各ノード間で転送可能であれば並列的にバケツリレー転送が実行されることでファイルサーバから複数のノードに対しファイルを高速転送することができる。 As is apparent from the time charts of FIGS. 6 and 7, in this embodiment, the transfer destination node can be dynamically specified by designating an arbitrary number of nodes on the network by a transfer request. In addition, by restricting the number of transfers of the same partial file between the file server and the node to one, it is possible to execute the transfer between adjacent nodes by the bucket relay method between the nodes according to the sort order of the IP address, and a plurality of nodes In contrast, network congestion due to 1-to-n transfer that transfers partial files at the same time is avoided, and bucket relay transfer is executed in parallel if transfer is possible between nodes as shown in the time charts of FIGS. As a result, a file can be transferred from a file server to a plurality of nodes at a high speed.
尚、本実施形態にあってはノード間の最大転送可能数を1としてノード間のバケツリレー転送を実現しているが、最大転送可能数を1より大きい任意の整数に設定すれば、部分的に1対nを転送が可能となる。このような1対n転送はネットワーク負荷が低い場合などに必要に応じて選択することが可能である。 In the present embodiment, bucket relay transfer between nodes is realized by setting the maximum transferable number between nodes to 1, but if the maximum transferable number is set to an arbitrary integer larger than 1, a partial transfer is possible. 1 to n can be transferred. Such one-to-n transfer can be selected as necessary when the network load is low.
図8は本実施形態のデータ転送スケジューラのプログラムを実行するコンピュータのハードウェア環境を示したブロック図である。図8において、図1のデータ転送スケジューラ10を構築するコンピュータは、CPU76のバス78に対しROM82、RAM80、ハードディスクドライブ84、キーボート88、マウス90、ディスプレイ92を接続するデバイスインタフェース86、更にネットワーク14に接続するネットワークアダプタ94を接続している。
FIG. 8 is a block diagram showing a hardware environment of a computer that executes the data transfer scheduler program of the present embodiment. 8, the computer constructing the
ハードディスクドライブ84には本実施形態の図2に示したデータ転送スケジューラ10の機能を実現するためのプログラムがインストールされている。
The
コンピュータを起動するとBIOSによる自己診断及び初期化を経てROM82のブートプログラムが実行され、ハードディスクドライブ84からOSがRAM80に読出し配置されてCPU76により実行される。続いてOSの実行によりハードディスクドライブ84から本実施形態のデータ転送スケジューラの機能を実現するプログラムがRAM80に読出し配置され、CPU76により実行されることになる。
When the computer is started, the boot program in the
このような図8のコンピュータのハードウェア環境は、本実施形態のデータ転送スケジューラ10のみならず、ファイルサーバ12、ノード16−1〜16−5を構築するサーバについても基本的には同じである。
The hardware environment of the computer shown in FIG. 8 is basically the same not only for the
図9は本実施形態におけるデータ転送スケジュール処理を示したフローチャートであり、図2を参照して説明すると次のようになる。図9において、データ転送スケジューラ10によるデータ転送スケジュール処理は、ステップS1で転送要求受付部24がファイル転送要求の受付の有無をチェックしており、転送要求を受け付けるとステップS2で転送要求をソート処理部34に渡し、ノード転送要求に分解し手ソートしたファイル管理リストを生成するソート処理を実行する。
FIG. 9 is a flowchart showing the data transfer schedule processing in the present embodiment, which will be described below with reference to FIG. In FIG. 9, in the data transfer schedule processing by the
続いてステップS3でファイル管理リストに従ってファイルサーバ12から転送対象となるノードにノード間の部分ファイル転送数を1回に制限したバケツリレー方式による近接ノード間転送処理を行うための転送順序管理処理を実行する。
Subsequently, in step S3, transfer order management processing for performing transfer processing between adjacent nodes by the bucket relay method in which the number of partial file transfers between the nodes is limited to one time from the
続いてステップS4でファイル転送完了の有無をチェックしており、ファイル転送を完了するとステップS5でファイル管理リストを削除し、ステップS6で依頼元に転送正常終了を通知する。このステップS1〜S6の処理をステップS7でログオフなどの停止指示があるまで繰り返す。 Subsequently, whether or not the file transfer is completed is checked in step S4. When the file transfer is completed, the file management list is deleted in step S5, and the requesting source is notified of the normal transfer end in step S6. The processes in steps S1 to S6 are repeated until a stop instruction such as logoff is issued in step S7.
図10は図9のステップS2におけるソート処理の詳細を示したフローチャートである。図10において、ソート処理はステップS1でソート処理部34が転送要求受付部24から受け付けた例えば図3に示した転送要求44−1について、ノードごとのノード転送要求に分解する。
FIG. 10 is a flowchart showing details of the sorting process in step S2 of FIG. In FIG. 10, the sort processing is decomposed into node transfer requests for each node, for example, the transfer request 44-1 shown in FIG. 3 received by the
続いてステップS2で分解したノード転送要求をファイル名及びノードのIPアドレスでソートし、ステップS3で例えば図4のファイル管理リスト46−1に示すようにファイルごとのファイル管理リストに分解したノード転送要求を連結する。 Subsequently, the node transfer requests decomposed in step S2 are sorted by file name and node IP address, and in step S3, for example, the node transfer decomposed into a file management list for each file as shown in the file management list 46-1 of FIG. Concatenate requests.
続いてステップS4で進捗管理情報52を初期化し、ノード進捗管理情報60−1〜60−5に示すように、ファイル管理リストのノード転送要求56−1〜56−5のそれぞれにリンクする。続いてステップS5で図2の転送順序管理部26に生成したファイル管理リストを追加イベントとして送信する。 Subsequently, in step S4, the progress management information 52 is initialized and linked to each of the node transfer requests 56-1 to 56-5 of the file management list as indicated by the node progress management information 60-1 to 60-5. In step S5, the generated file management list is transmitted as an additional event to the transfer order management unit 26 in FIG.
図11は図9のステップS3における転送順序管理処理の詳細を示したフローチャートである。図11において、転送順序管理処理は図2の転送要求格納部36にソート処理部34から受信して格納した送信要求リスト46−1、46−2を対象に、制御部28に設けた転送情報管理部38、ファイル転送依頼部40及び転送完了処理部42の処理が実行される。
FIG. 11 is a flowchart showing details of the transfer order management process in step S3 of FIG. In FIG. 11, the transfer order management process is the transfer information provided in the control unit 28 for the transmission request lists 46-1 and 46-2 received from the
図11において、まずステップS1で新規ノードの転送要求投入イベントがあるか、あるいはステップS2で部分ファイル転送完了イベントがあるか否かチェックし、いずれかのイベントがあるとステップS3に進み、図4に示すようにファイル管理リスト46−1に対応して生成管理している進捗管理情報52及び転送回数管理情報54を更新する。 In FIG. 11, first, at step S1, it is checked whether there is a transfer request input event for a new node, or whether there is a partial file transfer completion event at step S2, and if any event occurs, the process proceeds to step S3. As shown, the progress management information 52 and the transfer count management information 54 generated and managed in correspondence with the file management list 46-1 are updated.
続いてステップS4で更新した進捗管理情報52及び転送回数管理情報54に基づき転送可能ノードの判別をチェックする。この判別処理の結果、ステップS5で転送可能ノードがあればステップS6で部分ファイル転送を細分化ファイル配信管理部32に依頼する。
Subsequently, the determination of the transferable node is checked based on the progress management information 52 and the transfer count management information 54 updated in step S4. If there is a transferable node in step S5 as a result of this discrimination processing, the partial file
この依頼と同時にステップS7で転送回数管理情報54における同じ部分ファイルの現在転送数を1つ増加させて更新する。続いてステップS8で依頼したノード転送要求が完了したことを判別すると、ステップS9で完了したノード転送要求をファイル管理リストから削除する。 Simultaneously with this request, in step S7, the current transfer count of the same partial file in the transfer count management information 54 is increased by one and updated. Subsequently, when it is determined that the requested node transfer request is completed in step S8, the completed node transfer request in step S9 is deleted from the file management list.
図12は図11のステップS4における転送可能ノードの判定処理を詳細を示したフローチャートである。図12において、転送可能ノード判定処理は、ステップS1でノードにリンクした図5(B)に示すノード進捗管理情報60における部分ファイル進捗比72を読み取り、分子の転送完了数が分母の細分化数未満であることをステップS2で判別すると、そのノードは全ての部分ファイルの転送が済んでいないことから転送可能なノードと判断し、続いてステップS3でノードにリンクした図5(C)に示す転送回数管理情報54の現在転送数66を読み取る。
FIG. 12 is a flowchart showing details of the transferable node determination process in step S4 of FIG. In FIG. 12, the transferable node determination process reads the partial
続いてステップS4で現在転送数は同じく転送回数管理情報54に設定している最大転送可能数未満か否かチェックし、最大転送可能数未満であればステップS5に進み、このノードは転送可能ノードと判定する。 Subsequently, in step S4, it is checked whether or not the current transfer number is less than the maximum transferable number set in the transfer count management information 54, and if it is less than the maximum transferable number, the process proceeds to step S5. Is determined.
ステップS2で転送完了数が細分化数に達していた場合、あるいはステップS4で現在転送数が最大転送可能数に達していたノードについては、部分ファイルの転送ができないことからステップS5の転送可能ノードとしての判定処理は行わない。 If the transfer completion number has reached the subdivision number in step S2, or the node whose current transfer number has reached the maximum transferable number in step S4, the partial file cannot be transferred, so the transferable node in step S5 The determination process is not performed.
続いてステップS6で全ノードを処理が終了したか否かチェックし、未終了であればステップS1に戻り、ファイル管理リストに配列している次のノードについて同様の処理をステップS6で全ノードの処理を判別するまで繰り返す。 Subsequently, in step S6, it is checked whether or not the processing has been completed for all the nodes. If the processing has not been completed, the processing returns to step S1, and the same processing is performed for all the nodes arranged in the file management list in step S6. Repeat until the process is determined.
図13〜図28は、ファイルを2つの部分ファイルに細分化して2つのノード16−1,16−2に転送する場合の本実施形態によるデータ転送スケジュール処理を、ステップS1〜S16の16段階に分けて詳細に示した説明図である。 FIG. 13 to FIG. 28 show the data transfer schedule processing according to the present embodiment in the case where the file is divided into two partial files and transferred to the two nodes 16-1 and 16-2 in 16 stages of steps S1 to S16. It is explanatory drawing divided and shown in detail.
図13はステップS1の処理であり、転送要求受付部24で受け付けた転送要求44の内容が、ファイルXを細分化した2つの部分ファイルX1,X2をノード16−1,16−2にファイルサーバ12から転送する場合を例にとっている。ここでノード16−1のホスト名はHost1とし、ノード16−2のホスト名はHost2としている。
FIG. 13 shows the process in step S1, and the contents of the
図14はステップS2の処理であり、転送要求受付部24で受け付けられた転送要求44はソート処理部34に送られ、ノード16−1,16−2ごとのノード転送要求100,102に分解された後、ノード16−1,16−2のIPアドレスでソートされ、ファイル名98である「ファイルX」のエントリに連結したファイル管理リスト96を生成する。
FIG. 14 shows the processing in step S2. The
図15は次のステップS3の処理であり、ソート処理部34は更に、生成したファイル管理リスト96のノード転送要求100,102のそれぞれに対し進捗管理情報104,106を初期化してリンクする。
FIG. 15 shows the processing of the next step S3, and the
図16は次のステップS4の処理であり、キャッシュ位置取得部30がファイルサーバ12及び全てのノード16−1,16−2から保有ファイルの一覧を収集し、転送順序管理部26のファイル管理リスト96におけるファイルXの位置情報として、転送元がファイルサーバ12であることを示すファイル転送元情報108を記録する。
FIG. 16 shows the processing of the next step S4, in which the cache position acquisition unit 30 collects a list of held files from the
図17は次のステップS5の処理であり、制御部28に設けてファイル管理リスト96にリンクしているノード16−1,16−2ごとのノード転送要求100,102を配列順(時間的に古い順)に調べ、ノード転送要求100における部分ファイルX1をファイルサーバ12からノード16−1に転送可能であることを判別する。
FIG. 17 shows the processing of the next step S5. The
この判別結果に基づき制御部28はノード16−1に対応した転送回数管理情報110の現在転送数112をそれまでの0から1に更新した後、細分化ファイル配信管理部32に部分ファイルX1のファイルサーバ12からノード16−1への転送を依頼する。
Based on the determination result, the control unit 28 updates the
図18はステップS6の処理であり、図17のステップS5で転送依頼を受けた細分化ファイル配信管理部32がファイルサーバ12に対し転送指示命令を発行し、これを受けてファイルサーバ12が部分ファイルX1をノード16−1に転送する。
FIG. 18 shows the process in step S6. The segmented file
図19はステップS7の処理であり、ファイルサーバ12からノード16−1に対する部分ファイルX1の転送が完了すると、細分化ファイル配信管理部32が制御部28に転送終了を通知する。
FIG. 19 shows the processing in step S7. When the transfer of the partial file X1 from the
この転送終了を受けて制御部28は、ノード16−1に対応した転送回数管理情報110における現在転送数112を1つ減らして0にし、次の部分ファイルの転送に備える。更に制御部28は、ノード16−1に対応したノード転送要求100にリンクしている進捗管理情報104を図18の転送前の部分ファイル進捗比「0/2」から「1/2」に更新し、最初の部分ファイルX1の転送が完了した進捗状況を記録する。
Upon receiving this transfer end, the control unit 28 reduces the
図20は次のステップS8の処理であり、制御部28は転送順序管理部26のファイル管理リスト96にリンクしている進捗管理情報104,106を再び調べ、転送対象ファイルXの部分ファイルX2がファイルサーバ12からノード16−1に転送可能であることを判別し、細分化ファイル配信管理部32に判別したファイル転送を依頼し、同時に転送回数管理情報110の現在転送数112をそれまでの0から1に更新する。
FIG. 20 shows the processing of the next step S8. The control unit 28 checks the
図21は次のステップS9の処理であり、制御部28はファイル管理リスト96のノード転送要求102にリンクしている進捗管理情報106を調べ、ノード16−1からノード16−2への部分ファイルX1の転送が可能であることを判別し、この判別した転送を細分化ファイル配信管理部32に依頼する。同時に、制御部28においてノード16−1に対応した転送回数管理情報114における現転送数をそれまでの0から1に更新する。
FIG. 21 shows the processing of the next step S9, in which the control unit 28 checks the
図22は次のステップS10の処理であり、図20のステップS8及び図21のステップS9の処理でファイル転送の依頼を受けた細分化ファイル配信管理部32が、ファイルサーバ12及びノード16−1のそれぞれに転送指示命令を送り、ファイルサーバ12からノード16−1に部分ファイルX2を転送すると共に、ノード16−1からノード16−2に部分ファイルX1を転送させる。
FIG. 22 shows the processing of the next step S10. The segmented file
図23は次のステップS11の処理であり、図22のステップS10の部分ファイルX1,X2の転送が完了すると、細分化ファイル配信管理部32が制御部28に転送終了を通知する。
FIG. 23 shows the processing in the next step S11. When the transfer of the partial files X1 and X2 in step S10 in FIG. 22 is completed, the segmented file
この転送終了を受けて、制御部28はファイルサーバ12に対応した転送回数管理情報110の現在転送回数112を1つ減らして0にし、同時にノード16−1に対応した転送回数管理情報114の現在転送数116を1つ減らして0にする。
Upon receipt of this transfer end, the control unit 28 decrements the
更に制御部28は、ノード16−1に対するノード転送要求110にリンクしている進捗管理情報104の部分ファイル進捗比を、それまでの「1/2」から「2/2」に更新する。またノード16−2のノード転送命令102にリンクしている進捗管理情報106の部分ファイル進捗比を、それまでの「0/2」から「1/2」に更新する。
Furthermore, the control unit 28 updates the partial file progress ratio of the
図24は次のステップS12の処理であり、制御部28は再び転送順序管理部26のファイル管理リスト96にリンクしている進捗管理情報104,106を調べ、ノード16−1からノード16−2への部分ファイルX2の転送が可能であることを判別し、判別した転送を細分化ファイル配信管理部32に依頼し、更にノード16−1に対応した転送回数管理情報114における現在転送数116をそれまでの0から1に更新する。
FIG. 24 shows the processing of the next step S12. The control unit 28 checks the
図25は次のステップS13の処理であり、制御部28は図24のステップS12に示したノード進捗管理情報104の部分ファイル進捗比「2/2」から、ノード16−1に対するファイルXの転送が完了していることを判別し、図24のノード16−1に対応したノード転送要求100をファイル管理リスト96から削除する。
FIG. 25 shows the processing of the next step S13, and the control unit 28 transfers the file X to the node 16-1 from the partial file progress ratio “2/2” of the node
このときファイル管理リスト96のファイル名98に対する転送元情報108はノード16−1を示す「Host1」に書き換える。そして、、転送要求受付部24の転送要求44にノード16−1に対するファイルXの転送が完了したことを記録する。
At this time, the
図26は次のステップS14の処理であり、図24のステップS12で転送依頼を受けた細分化ファイル配信管理部32がノード16−1に対し転送指示命令を発行し、ノード16−1からノード16−2に部分ファイルX2を転送させる。
FIG. 26 shows the processing of the next step S14. The segmented file
図27は次のステップS15の処理であり、ノード16−1からノード16−2に対する部分ファイルX2の転送が完了すると、細分化ファイル配信管理部32が転送完了を制御部28に通知する。
FIG. 27 shows the process of the next step S15. When the transfer of the partial file X2 from the node 16-1 to the node 16-2 is completed, the segmented file
制御部28は、ノード16−2に対するノード転送要求102にリンクしている進捗管理情報106の部分ファイル進捗比をそれまでの「1/2」から「2/2」に更新する。更に、ノード16−2に対応した転送回数管理情報114の現在転送数116を1つ減らして0に戻す。
The control unit 28 updates the partial file progress ratio of the
図28は次のステップS16の処理であり、図27のステップS15におけるノード16−2に対応したノード転送要求102にリンクしている進捗管理情報106の部分ファイル進捗比が「2/2」になっていることで、ノード16−2に対するファイルXの転送が完了したことを判別する。
FIG. 28 shows the processing of the next step S16, and the partial file progress ratio of the
ファイルXの転送完了を判別すると、転送順序管理部26からファイル管理リスト96を削除し、更に転送要求44に対しノード16−2へのファイルXの転送が完了したことを記録する。最終的に転送要求受付部24が、要求したファイルXのノード16−1,16−2に対する転送が完了していることを判別し、転送正常終了を通知して一連の転送処理を終了する。
When it is determined that the transfer of the file X is completed, the
本発明は図1のデータ転送スケジューラ10のコンピュータで実行されるプログラムを提供する。このプログラムは図9乃至図12のフローチャートに示した内容となる。
The present invention provides a program executed by the computer of the
また本発明は、本実施形態のデータ転送スケジューラ10を実現する図8のハードウェア環境を持つコンピュータで実行されるプログラムを格納した記録媒体を提供する。
The present invention also provides a recording medium storing a program executed by a computer having the hardware environment of FIG. 8 that implements the
ここで記録媒体とは、CD−ROM、フロッピィディスク(R)、DVDディスク、光磁気ディスク、ICカードなどの可搬型記憶媒体や、コンピュータシステムの内外に備えられたハードディスクドライブなどの記憶装置の他、回線を介してプログラムを保持するデータベースあるいは他のコンピュータシステム、更にそのデータベース、更には回線上の伝送媒体を含むものである。 Here, the recording medium is a portable storage medium such as a CD-ROM, a floppy disk (R), a DVD disk, a magneto-optical disk, an IC card, or a storage device such as a hard disk drive provided inside or outside the computer system. , Including a database or other computer system that holds the program via the line, the database, and a transmission medium on the line.
なお上記の実施形態は転送先のノードとしてサーバを例にとるものであったが、本発明はこれに限定されず、適宜の情報処理装置や機器をノードとするファイルサーバからのデータ転送にそのまま適用できる。 In the above-described embodiment, a server is taken as an example of a transfer destination node. However, the present invention is not limited to this, and the data transfer from a file server having an appropriate information processing apparatus or device as a node is performed as it is. Applicable.
また上記の実施形態にあっては、ファイルを予め定めた固定長の部分ファイルに細分化して転送する場合を例にとっているが、ファイルサイズが部分ファイルのサイズ長より小さい場合には部分ファイル数は1つであり、ファイルサーバから転送先の複数のノードに対し1つのファイルを近接ノード間転送によりバケツリレー転送することになる。 In the above embodiment, the file is subdivided into a predetermined fixed-length partial file and transferred. However, if the file size is smaller than the partial file size, the number of partial files is One file is transferred from the file server to a plurality of transfer destination nodes by bucket relay transfer by transfer between adjacent nodes.
また本発明はその目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。 Further, the present invention includes appropriate modifications that do not impair the objects and advantages thereof, and is not limited by the numerical values shown in the above embodiments.
ここで本発明の特徴を列挙すると次の付記のようになる。
(付記)
(付記1)(装置)
ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置に於いて、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部と、
前記転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、前記ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、前記ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部と、
前記ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部と、
を備えたことを特徴とするデータ転送スケジュール装置。(1)
Here, the features of the present invention are enumerated as follows.
(Appendix)
(Appendix 1) (Device)
In a data transfer schedule device that schedules and manages data transfer from a file server to a plurality of nodes,
A transfer request receiving unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes;
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of transfer nodes by concatenating the file names, and subdividing according to the order of the file management list A file transfer order management unit that requests file transfer to transfer a partial file between adjacent nodes;
When receiving the file transfer request, a subdivision file distribution management unit that instructs the file server and the node that are the request destination to execute file transfer, and
A data transfer schedule device comprising: (1)
(付記2)(ファイル転送順序管理部の詳細)
付記1記載のデータ転送スケジュール装置に於いて、前記ファイル転送順序管理部は、ファイル転送を依頼したノードでの同一部分ファイルの次のノードへの転送回数を1回に制限して前記ファイル管理リストにおけるノード転送要求の配列順に部分ファイルを順次転送させることを特徴とするデータ転送スケジュール装置。(2)
(Appendix 2) (Details of File Transfer Order Management Unit)
In the data transfer schedule device according to
(付記3)(ファイル転送順序管理部の詳細)
付記1記載のデータ転送スケジュール装置に於いて、前記ファイル転送順序管理部は、
前記転送要求を転送先ノード毎のノード転送要求に分解した後にファイル名と転送先アドレスでソートし、前記ファイル名にソートした前記ノード転送要求を連結して転送ノードの順番を示すファイル管理リストを生成するソート処理部と、
前記ファイルサーバ及び全ノードにキャッシュされている保有ファイルの一覧を収集し、前記ファイル管理リストに転送元ファイルのキャッシュ位置を検出して設定するキャッシュ位置取得部と、
前記ファイル管理リストに配列したノード転送要求毎に、次ノードに対する部分ファイルの転送進捗状況を示す進捗管理情報と、次ノードに対する同じ部分ファイルの転送回数を所定の最大転送可能数に制限する転送回数管理情報とを生成して管理する転送情報管理部と、
前記進捗管理情報及び転送回数管理情報に基づいて、転送可能なノードを判定して前記細分化ファイル配信管理部にファイル転送を依頼すると共に、前記転送回数管理情報における同じ部分ファイルの転送回数を更新するファイル転送依頼部と、
前記細分化ファイル配信管理部から依頼したファイル転送の完了通知を受けた際に、前記進捗管理情報に記述している部分ファイルの転送進捗状況を更新し、全ての部分ファイルの転送完了を判別した場合は、対応するノード転送要求を前記ファイル管理リストから削除し、更に、前記転送回数管理情報の同じ部分ファイルの転送回数が最大転送可能数に達していた場合は次の部分ファイル転送のために前記転送回数を1つ減らす転送完了処理部と、
を備えたことを特徴とするデータ転送スケジュール装置。(3)
(Appendix 3) (Details of File Transfer Order Management Unit)
In the data transfer schedule device according to
A file management list indicating the order of transfer nodes by concatenating the transfer requests sorted into file names and transfer destination addresses after separating the transfer requests into node transfer requests for each transfer destination node and concatenating the node transfer requests sorted into the file names. A sort processing unit to be generated;
A cache position acquisition unit that collects a list of cached files cached in the file server and all nodes, and detects and sets a cache position of a transfer source file in the file management list;
For each node transfer request arranged in the file management list, progress management information indicating the transfer progress status of the partial file to the next node, and the transfer count that limits the transfer count of the same partial file to the next node to a predetermined maximum transferable number A transfer information management unit that generates and manages management information;
Based on the progress management information and the transfer count management information, determine a transferable node, request the subdivision file distribution management unit to transfer the file, and update the transfer count of the same partial file in the transfer count management information A file transfer requesting unit,
When receiving the file transfer completion notification requested from the subdivided file distribution management unit, the transfer progress status of the partial files described in the progress management information is updated, and the transfer completion of all the partial files is determined. The corresponding node transfer request is deleted from the file management list, and if the transfer count of the same partial file in the transfer count management information reaches the maximum transferable number, the next partial file transfer is performed. A transfer completion processing unit that reduces the number of transfers by one;
A data transfer schedule device comprising: (3)
(付記4)(ファイル転送順序管理部の詳細)
付記3記載のデータ転送スケジュール装置に於いて、前記転送情報管理部で管理する次ノードに対する同じ部分ファイルの最大転送可能数を1に設定したことを特徴とするデータ転送スケジュール装置。(4)
(Appendix 4) (Details of File Transfer Order Management Unit)
The data transfer schedule device according to
(付記5)(転送可能ノードの判定)
付記1記載のデータ転送スケジュール装置に於いて、前記ファイル転送依頼部は、
前記ファイル管理リストに配列したノード転送要求にリンクしている前記ファイルサーバを含む各ノードの進捗管理情報及び転送回数管理情報を配列順に調べ、
前記転送回数管理情報の部分ファイル転送回数が最大転送可能数未満で、且つ前記進捗管理情報が全ての部分ファイルの転送完了を示していなければ、転送可能ノードと判定することを特徴とするデータ転送スケジュール装置。(5)
(Appendix 5) (Determination of transferable nodes)
In the data transfer schedule device according to
Check the progress management information and transfer count management information of each node including the file server linked to the node transfer request arranged in the file management list in the order of arrangement,
Data transfer characterized in that it is determined as a transferable node if the partial file transfer count of the transfer count management information is less than the maximum transferable number and the progress management information does not indicate completion of transfer of all partial files. Schedule device. (5)
(付記6)(プログラム)
ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置のコンピュータを、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部、
前記転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、前記ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、前記ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部、
前記ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部、
として機能させることを特徴とするプログラム。(6)
(Appendix 6) (Program)
A data transfer scheduling device computer that schedules and manages data transfer from a file server to a plurality of nodes,
A transfer request receiving unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes,
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of transfer nodes by concatenating the file names, and subdividing according to the order of the file management list File transfer order management unit that requests file transfer to transfer partial files between adjacent nodes,
When receiving the file transfer request, a subdivided file distribution management unit for instructing and executing file transfer to the file server and node as a request destination,
A program characterized by functioning as (6)
(付記7)(ファイル転送順序管理部の詳細)
付記6記載のプログラムに於いて、前記ファイル転送順序管理部は、ファイル転送を依頼したノードでの同一部分ファイルの次のノードへの転送回数を1回に制限して前記ファイル管理リストにおけるノード転送要求の配列順に部分ファイルを順次転送させることを特徴とするプログラム。
(Appendix 7) (Details of File Transfer Order Management Unit)
In the program according to
(付記8)(ファイル転送順序管理部の詳細)
付記6記載のプログラムに於いて、前記ファイル転送順序管理部は、
前記転送要求を転送先ノード毎のノード転送要求に分解した後にファイル名と転送先アドレスでソートし、前記ファイル名にソートした前記ノード転送要求を連結して転送ノードの順番を示すファイル管理リストを生成するソート処理部と、
前記ファイルサーバ及び全ノードにキャッシュされている保有ファイルの一覧を収集し、前記ファイル管理リストに転送元ファイルのキャッシュ位置を検出して設定するキャッシュ位置取得部と、
前記ファイル管理リストに配列したノード転送要求毎に、次ノードに対する部分ファイルの転送進捗状況を示す進捗管理情報と、次ノードに対する同じ部分ファイルの転送回数を所定の最大転送可能数に制限する転送回数管理情報とを生成して管理する転送情報管理部と、
前記進捗管理情報及び転送回数管理情報に基づいて、転送可能なノードを判定して前記細分化ファイル配信管理部にファイル転送を依頼すると共に、前記転送回数管理情報における同じ部分ファイルの転送回数を更新するファイル転送依頼部と、
前記細分化ファイル配信管理部から依頼したファイル転送の完了通知を受けた際に、前記進捗管理情報に記述している部分ファイルの転送進捗状況を更新し、全ての部分ファイルの転送完了を判別した場合は、対応するノード転送要求を前記ファイル管理リストから削除し、更に、前記転送回数管理情報の同じ部分ファイルの転送回数が最大転送可能数に達していた場合は次の部分ファイル転送のために前記転送回数を1つ減らす転送完了処理部と、
を備えたことを特徴とするプログラム。
(Appendix 8) (Details of File Transfer Order Management Unit)
In the program according to
A file management list indicating the order of transfer nodes by concatenating the transfer requests sorted into file names and transfer destination addresses after separating the transfer requests into node transfer requests for each transfer destination node and concatenating the node transfer requests sorted into the file names. A sort processing unit to be generated;
A cache position acquisition unit that collects a list of cached files cached in the file server and all nodes, and detects and sets a cache position of a transfer source file in the file management list;
For each node transfer request arranged in the file management list, progress management information indicating the transfer progress status of the partial file to the next node, and the transfer count that limits the transfer count of the same partial file to the next node to a predetermined maximum transferable number A transfer information management unit that generates and manages management information;
Based on the progress management information and the transfer count management information, determine a transferable node, request the subdivision file distribution management unit to transfer the file, and update the transfer count of the same partial file in the transfer count management information A file transfer requesting unit,
When receiving the file transfer completion notification requested from the subdivided file distribution management unit, the transfer progress status of the partial files described in the progress management information is updated, and the transfer completion of all the partial files is determined. The corresponding node transfer request is deleted from the file management list, and if the transfer count of the same partial file in the transfer count management information reaches the maximum transferable number, the next partial file transfer is performed. A transfer completion processing unit that reduces the number of transfers by one;
A program characterized by comprising:
(付記9)(ファイル転送順序管理部の詳細)
付記8記載のプログラムに於いて、前記転送情報管理部で管理する次ノードに対する同じ部分ファイルの最大転送可能数を1に設定したことを特徴とするプログラム。
(Appendix 9) (Details of File Transfer Order Management Unit)
The program according to appendix 8, wherein the maximum transferable number of the same partial file for the next node managed by the transfer information management unit is set to 1.
(付記10)(転送可能ノードの判定)
付記6記載のプログラムに於いて、前記ファイル転送依頼部は、
前記ファイル管理リストに配列したノード転送要求にリンクしている前記ファイルサーバを含む各ノードの進捗管理情報及び転送回数管理情報を配列順に調べ、
前記転送回数管理情報の部分ファイル転送回数が最大転送可能数未満で、且つ前記進捗管理情報が全ての部分ファイルの転送完了を示していなければ、転送可能ノードと判定することを特徴とするプログラム。
(Appendix 10) (Determination of transferable node)
In the program according to
Check the progress management information and transfer count management information of each node including the file server linked to the node transfer request arranged in the file management list in the order of arrangement,
A program for determining a transferable node if the number of partial file transfers in the transfer count management information is less than the maximum transferable number and the progress management information does not indicate completion of transfer of all partial files.
(付記11)(記録媒体)
ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置のコンピュータを、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部、
前記転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、前記ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、前記ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部、
前記ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部、
として機能させるプログラムを格納したコンピュータ可読な記録媒体。(7)
(Appendix 11) (Recording medium)
A data transfer scheduling device computer that schedules and manages data transfer from a file server to a plurality of nodes,
A transfer request receiving unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes,
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of transfer nodes by concatenating the file names, and subdividing according to the order of the file management list File transfer order management unit that requests file transfer to transfer partial files between adjacent nodes,
When receiving the file transfer request, a subdivided file distribution management unit for instructing and executing file transfer to the file server and node as a request destination,
A computer-readable recording medium storing a program that functions as a computer. (7)
(付記12)(方法)
ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール方法に於いて、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付プロセスと、
前記転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、前記ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、前記ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理プロセスと、
前記ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理プロセスと、
を備えたことを特徴とするデータ転送スケジュール方法。(8)
(Appendix 12) (Method)
In a data transfer scheduling method for scheduling and managing data transfer from a file server to a plurality of nodes,
A transfer request reception process for receiving a transfer request specifying a file name and a plurality of transfer destination nodes;
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of transfer nodes by concatenating the file names, and subdividing according to the order of the file management list A file transfer order management process that requests a file transfer to transfer a partial file between adjacent nodes;
A subdivided file delivery management process for instructing and executing file transfer to the file server and node as a request destination when receiving the file transfer request;
A data transfer schedule method comprising: (8)
(付記13)(ファイル転送順序管理プロセスの詳細)
付記12記載のデータ転送スケジュール方法に於いて、前記ファイル転送順序管理プロセスは、ファイル転送を依頼したノードでの同一部分ファイルの次のノードへの転送回数を1回に制限して前記ファイル管理リストにおけるノード転送要求の配列順に部分ファイルを順次転送させることを特徴とするデータデータ転送スケジュール方法。
(Appendix 13) (Details of file transfer order management process)
The data transfer scheduling method according to
(付記14)(ファイル転送順序管理プロセスの詳細)
付記12記載のデータ転送スケジュール方法に於いて、前記ファイル転送順序管理プロセスは、
前記転送要求を転送先ノード毎のノード転送要求に分解した後にファイル名と転送先アドレスでソートし、前記ファイル名にソートした前記ノード転送要求を連結して転送ノードの順番を示すファイル管理リストを生成するソート処理プロセスと、
前記ファイルサーバ及び全ノードにキャッシュされている保有ファイルの一覧を収集し、前記ファイル管理リストに転送元ファイルのキャッシュ位置を検出して設定するキャッシュ位置取得プロセスと、
前記ファイル管理リストに配列したノード転送要求毎に、次ノードに対する部分ファイルの転送進捗状況を示す進捗管理情報と、次ノードに対する同じ部分ファイルの転送回数を所定の最大転送可能数に制限する転送回数管理情報とを生成して管理する転送情報管理プロセスと、
前記進捗管理情報及び転送回数管理情報に基づいて、転送可能なノードを判定して前記細分化ファイル配信管理プロセスにファイル転送を依頼すると共に、前記転送回数管理情報における同じ部分ファイルの転送回数を更新するファイル転送依頼プロセスと、
前記細分化ファイル配信管理プロセスから依頼したファイル転送の完了通知を受けた際に、前記進捗管理情報に記述している部分ファイルの転送進捗状況を更新し、全ての部分ファイルの転送完了を判別した場合は、対応するノード転送要求を前記ファイル管理リストから削除し、更に、前記転送回数管理情報の同じ部分ファイルの転送回数が最大転送可能数に達していた場合は次の部分ファイル転送のために前記転送回数を1つ減らす転送完了処理プロセスと、
を備えたことを特徴とするデータ転送スケジュール方法。
(Appendix 14) (Details of file transfer order management process)
In the data transfer schedule method according to
A file management list indicating the order of transfer nodes by concatenating the transfer requests sorted into file names and transfer destination addresses after separating the transfer requests into node transfer requests for each transfer destination node and concatenating the node transfer requests sorted into the file names. Sort process to generate,
A cache location acquisition process that collects a list of retained files cached in the file server and all nodes, and detects and sets a cache location of a transfer source file in the file management list;
For each node transfer request arranged in the file management list, progress management information indicating the transfer progress status of the partial file to the next node, and the transfer count that limits the transfer count of the same partial file to the next node to a predetermined maximum transferable number A transfer information management process for generating and managing management information;
Based on the progress management information and the transfer count management information, determine a transferable node and request the subdivision file distribution management process to transfer the file, and update the transfer count of the same partial file in the transfer count management information File transfer request process to
When the file transfer completion notification requested from the subdivided file distribution management process is received, the transfer progress of the partial file described in the progress management information is updated, and the transfer completion of all the partial files is determined. The corresponding node transfer request is deleted from the file management list, and if the transfer count of the same partial file in the transfer count management information reaches the maximum transferable number, the next partial file transfer is performed. A transfer completion process for reducing the number of transfers by one;
A data transfer schedule method comprising:
(付記15)(ファイル転送順序管理プロセスの詳細)
付記14記載のデータ転送スケジュール方法に於いて、前記転送情報管理プロセスで管理する次ノードに対する同じ部分ファイルの最大転送可能数を1に設定したことを特徴とするデータ転送スケジュール方法。
(Appendix 15) (Details of file transfer order management process)
15. The data transfer schedule method according to
(付記16)(転送可能ノードの判定)
付記12記載のデータ転送スケジュール方法に於いて、前記ファイル転送依頼プロセスは、
前記ファイル管理リストに配列したノード転送要求にリンクしている前記ファイルサーバを含む各ノードの進捗管理情報及び転送回数管理情報を配列順に調べ、
前記転送回数管理情報の部分ファイル転送回数が最大転送可能数未満で、且つ前記進捗管理情報が全ての部分ファイルの転送完了を示していなければ、転送可能ノードと判定することを特徴とするデータ転送スケジュール方法。
(Supplementary Note 16) (Determination of transferable node)
In the data transfer schedule method according to
Check the progress management information and transfer count management information of each node including the file server linked to the node transfer request arranged in the file management list in the order of arrangement,
Data transfer characterized in that it is determined as a transferable node if the partial file transfer count of the transfer count management information is less than the maximum transferable number and the progress management information does not indicate completion of transfer of all partial files. Schedule method.
10:データ転送スケジューラ
12:ファイルサーバ
14:ネットワーク
16−1〜16−5:ノード
18−1〜18−5:データ転送エージェント
20−1〜20−5:転送キャッシュ
22−1〜22−5:ストレージ
24:転送要求受付部
26:転送順序管理部
28:制御部
30:キャッシュ位置取得部
32:細分化ファイル配信管理部
34:ソート処理部
36:転送要求格納部
38:転送情報管理部
40:ファイル転送依頼部
42:転送完了処理部
44,44−1,44−2:転送要求
46−1,46−2,96:ファイル管理リスト
48,54,78,98:ファイル名
50:転送先ノード群
52,104,106:進捗管理情報
54,110,112:転送回数管理情報
56−1〜56−5,100,102:ノード転送要求
58:転送元ファイルサーバ
60,60−1〜60−5,104,106:ノード進捗管理情報
62,62−1〜62−5:ノード名
64,64−1〜64−5:最大転送可能数
66,66−1〜66−5,112,116:現在転送数
68:ファイル名
70:転送先ノード名
72:部分ファイル進捗比
74:ノード名
76:CPU
78:バス
80:RAM
82:ROM
84:ハードディスクドライブ
86:デバイスインタフェース
88:キーボード
90:マウス
92:ディスプレイ
94:ネットワークアダプタ
10: Data transfer scheduler 12: File server 14: Networks 16-1 to 16-5: Nodes 18-1 to 18-5: Data transfer agents 20-1 to 20-5: Transfer caches 22-1 to 22-5: Storage 24: Transfer request receiving unit 26: Transfer order management unit 28: Control unit 30: Cache position acquisition unit 32: Subdivided file distribution management unit 34: Sort processing unit 36: Transfer request storage unit 38: Transfer information management unit 40: File transfer request unit 42: Transfer completion processing unit 44, 44-1, 44-2: Transfer request 46-1, 46-2, 96: File management list 48, 54, 78, 98: File name 50: Transfer destination node Groups 52, 104, 106: Progress management information 54, 110, 112: Transfer count management information 56-1 to 56-5, 100, 102: Node transfer request 58 Transfer source file servers 60, 60-1 to 60-5, 104, 106: Node progress management information 62, 62-1 to 62-5: Node names 64, 64-1 to 64-5: Maximum transferable number 66, 66-1 to 66-5, 112, 116: Current transfer number 68: File name 70: Transfer destination node name 72: Partial file progress ratio 74: Node name 76: CPU
78: Bus 80: RAM
82: ROM
84: Hard disk drive 86: Device interface 88: Keyboard 90: Mouse 92: Display 94: Network adapter
Claims (8)
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部と、
前記転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、前記ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、前記ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部と、
前記ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部と、
を備えたことを特徴とするデータ転送スケジュール装置。
In a data transfer schedule device that schedules and manages data transfer from a file server to a plurality of nodes,
A transfer request receiving unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes;
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of transfer nodes by concatenating the file names, and subdividing according to the order of the file management list A file transfer order management unit that requests file transfer to transfer a partial file between adjacent nodes;
When receiving the file transfer request, a subdivision file distribution management unit that instructs the file server and the node that are the request destination to execute file transfer, and
A data transfer schedule device comprising:
2. The data transfer schedule device according to claim 1, wherein the file transfer order management unit limits the number of transfers to the next node of the same partial file at the node that requested the file transfer to one time. A data transfer schedule device for transferring partial files sequentially in the order of arrangement of node transfer requests in a list.
前記転送要求を転送先ノード毎のノード転送要求に分解した後にファイル名と転送先アドレスでソートし、前記ファイル名にソートした前記ノード転送要求を連結して転送ノードの順番を示すファイル管理リストを生成するソート処理部と、
前記ファイルサーバ及び全ノードにキャッシュされている保有ファイルの一覧を収集し、前記ファイル管理リストに転送元ファイルのキャッシュ位置を検出して設定するキャッシュ位置取得部と、
前記ファイル管理リストに配列したノード転送要求毎に、次ノードに対する部分ファイルの転送進捗状況を示す進捗管理情報と、次ノードに対する同じ部分ファイルの転送回数を所定の最大転送可能数に制限する転送回数管理情報とを生成して管理する転送情報管理部と、
前記進捗管理情報及び転送回数管理情報に基づいて、転送可能なノードを判定して前記細分化ファイル配信管理部にファイル転送を依頼すると共に、前記転送回数管理情報における同じ部分ファイルの転送回数を更新するファイル転送依頼部と、
前記細分化ファイル配信管理部から依頼したファイル転送の完了通知を受けた際に、前記進捗管理情報に記述している部分ファイルの転送進捗状況を更新し、全ての部分ファイルの転送完了を判別した場合は、対応するノード転送要求を前記ファイル管理リストから削除し、更に、前記転送回数管理情報の同じ部分ファイルの転送回数が最大転送可能数に達していた場合は次の部分ファイル転送のために前記転送回数を1つ減らす転送完了処理部と、
を備えたことを特徴とするデータ転送スケジュール装置。
The data transfer schedule device according to claim 1, wherein the file transfer order management unit includes:
A file management list indicating the order of transfer nodes by concatenating the transfer requests sorted into file names and transfer destination addresses after separating the transfer requests into node transfer requests for each transfer destination node and concatenating the node transfer requests sorted into the file names. A sort processing unit to be generated;
A cache position acquisition unit that collects a list of cached files cached in the file server and all nodes, and detects and sets a cache position of a transfer source file in the file management list;
For each node transfer request arranged in the file management list, progress management information indicating the transfer progress status of the partial file to the next node, and the transfer count that limits the transfer count of the same partial file to the next node to a predetermined maximum transferable number A transfer information management unit that generates and manages management information;
Based on the progress management information and the transfer count management information, determine a transferable node, request the subdivision file distribution management unit to transfer the file, and update the transfer count of the same partial file in the transfer count management information A file transfer requesting unit,
When receiving the file transfer completion notification requested from the subdivided file distribution management unit, the transfer progress status of the partial files described in the progress management information is updated, and the transfer completion of all the partial files is determined. The corresponding node transfer request is deleted from the file management list, and if the transfer count of the same partial file in the transfer count management information reaches the maximum transferable number, the next partial file transfer is performed. A transfer completion processing unit that reduces the number of transfers by one;
A data transfer schedule device comprising:
4. The data transfer schedule device according to claim 3, wherein the maximum transferable number of the same partial file for the next node managed by the transfer information management unit is set to 1.
前記ファイル管理リストに配列したノード転送要求にリンクしている前記ファイルサーバを含む各ノードの進捗管理情報及び転送回数管理情報を配列順に調べ、
前記転送回数管理情報の部分ファイル転送回数が最大転送可能数未満で、且つ前記進捗管理情報が全ての部分ファイルの転送完了を示していなければ、転送可能ノードと判定することを特徴とするデータ転送スケジュール装置。
The data transfer schedule device according to claim 1, wherein the file transfer request unit includes:
Check the progress management information and transfer count management information of each node including the file server linked to the node transfer request arranged in the file management list in the order of arrangement,
Data transfer characterized in that it is determined as a transferable node if the partial file transfer count of the transfer count management information is less than the maximum transferable number and the progress management information does not indicate completion of transfer of all partial files. Schedule device.
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部、
前記転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、前記ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、前記ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部、
前記ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部、
として機能させることを特徴とするプログラム。
A data transfer scheduling device computer that schedules and manages data transfer from a file server to a plurality of nodes,
A transfer request receiving unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes,
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of transfer nodes by concatenating the file names, and subdividing according to the order of the file management list File transfer order management unit that requests file transfer to transfer partial files between adjacent nodes,
When receiving the file transfer request, a subdivided file distribution management unit for instructing and executing the file transfer to the file server and the node as the request destination,
A program characterized by functioning as
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部、
前記転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、前記ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、前記ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部、
前記ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部、
として機能させるプログラムを格納したコンピュータ可読な記録媒体。
A data transfer scheduling device computer that schedules and manages data transfer from a file server to a plurality of nodes,
A transfer request receiving unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes,
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of transfer nodes by concatenating the file names, and subdividing according to the order of the file management list File transfer order management unit that requests file transfer to transfer partial files between adjacent nodes,
When receiving the file transfer request, a subdivided file distribution management unit for instructing and executing file transfer to the file server and node as a request destination,
A computer-readable recording medium storing a program that functions as a computer.
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付プロセスと、
前記転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、前記ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、前記ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理プロセスと、
前記ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理プロセスと、
を備えたことを特徴とするデータ転送スケジュール方法。 In a data transfer scheduling method for scheduling and managing data transfer from a file server to a plurality of nodes,
A transfer request reception process for receiving a transfer request specifying a file name and a plurality of transfer destination nodes;
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of transfer nodes by concatenating the file names, and subdividing according to the order of the file management list A file transfer order management process that requests a file transfer to transfer a partial file between adjacent nodes;
A subdivided file delivery management process for instructing and executing file transfer to the file server and node as a request destination when receiving the file transfer request;
A data transfer schedule method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007147711A JP5205817B2 (en) | 2007-06-04 | 2007-06-04 | Data transfer schedule device, program, recording medium and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007147711A JP5205817B2 (en) | 2007-06-04 | 2007-06-04 | Data transfer schedule device, program, recording medium and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008299769A true JP2008299769A (en) | 2008-12-11 |
JP5205817B2 JP5205817B2 (en) | 2013-06-05 |
Family
ID=40173209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007147711A Active JP5205817B2 (en) | 2007-06-04 | 2007-06-04 | Data transfer schedule device, program, recording medium and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5205817B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020057033A (en) * | 2018-09-28 | 2020-04-09 | 株式会社リコー | Process execution device, process execution program and process execution system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN206657916U (en) | 2016-10-25 | 2017-11-21 | 泰科电子(上海)有限公司 | Connector and connector assembly |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0498557A (en) * | 1990-08-17 | 1992-03-31 | Toyota Motor Corp | File transfer method |
JPH07200426A (en) * | 1993-12-28 | 1995-08-04 | Nec Corp | Sequential type repeat file transfer device |
JPH08314821A (en) * | 1995-05-22 | 1996-11-29 | Canon Inc | Data transfer method |
JPH09185563A (en) * | 1995-10-31 | 1997-07-15 | Nec Corp | File transfer system, file transfer method and storage medium storing file transfer program |
JPH09204346A (en) * | 1996-01-29 | 1997-08-05 | Nec Corp | File batch transmission scheduling system |
JP2003177991A (en) * | 2001-12-12 | 2003-06-27 | Sony Corp | Contents distribution management system, information processor, method and computer program |
-
2007
- 2007-06-04 JP JP2007147711A patent/JP5205817B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0498557A (en) * | 1990-08-17 | 1992-03-31 | Toyota Motor Corp | File transfer method |
JPH07200426A (en) * | 1993-12-28 | 1995-08-04 | Nec Corp | Sequential type repeat file transfer device |
JPH08314821A (en) * | 1995-05-22 | 1996-11-29 | Canon Inc | Data transfer method |
JPH09185563A (en) * | 1995-10-31 | 1997-07-15 | Nec Corp | File transfer system, file transfer method and storage medium storing file transfer program |
JPH09204346A (en) * | 1996-01-29 | 1997-08-05 | Nec Corp | File batch transmission scheduling system |
JP2003177991A (en) * | 2001-12-12 | 2003-06-27 | Sony Corp | Contents distribution management system, information processor, method and computer program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020057033A (en) * | 2018-09-28 | 2020-04-09 | 株式会社リコー | Process execution device, process execution program and process execution system |
Also Published As
Publication number | Publication date |
---|---|
JP5205817B2 (en) | 2013-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9971823B2 (en) | Dynamic replica failure detection and healing | |
JP4265245B2 (en) | Computer system | |
JP5360978B2 (en) | File server and file operation notification method in file server | |
CN104090806B (en) | The processing method and processing device of AKU, upgrade request | |
US20070169167A1 (en) | Control device and control method information system | |
US20100138540A1 (en) | Method of managing organization of a computer system, computer system, and program for managing organization | |
WO2015196686A1 (en) | Data storage method and data storage management server | |
EP4207688A1 (en) | Asynchronous bookkeeping method and apparatus for blockchain, medium, and electronic device | |
JP6191159B2 (en) | Server, backup system, backup method, and computer program | |
CN106537350A (en) | Method for processing data quality exceptions in data processing system | |
US9137780B1 (en) | Synchronizing multicast data distribution on a computing device | |
US20150106468A1 (en) | Storage system and data access method | |
US10817512B2 (en) | Standing queries in memory | |
JP5205817B2 (en) | Data transfer schedule device, program, recording medium and method | |
JP2011070636A (en) | Data synchronization system, data synchronization method, information processor, information processing method and program | |
JP2008124977A (en) | Method, apparatus, and program of message delivery | |
CN109845199B (en) | Merging read requests in a network device architecture | |
JP5884566B2 (en) | Batch processing system, progress confirmation device, progress confirmation method, and program | |
US6883017B1 (en) | System and method for distributing and collecting information between a server and a plurality of clients by merging a communication block from a final client of each circulation destination in each of a plurality of groups | |
JP4140014B2 (en) | Client server system and data processing method of client server system | |
JP5530878B2 (en) | Data replication management method in distributed system | |
CN110647298B (en) | Data storage control method and device | |
JP5803908B2 (en) | Storage system and storage system control method | |
JP6568232B2 (en) | Computer system and device management method | |
JP5262593B2 (en) | Data transfer system and data transfer method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120515 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5205817 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |