JP2008299769A - Data transfer scheduling device, program, storage medium, and method - Google Patents

Data transfer scheduling device, program, storage medium, and method Download PDF

Info

Publication number
JP2008299769A
JP2008299769A JP2007147711A JP2007147711A JP2008299769A JP 2008299769 A JP2008299769 A JP 2008299769A JP 2007147711 A JP2007147711 A JP 2007147711A JP 2007147711 A JP2007147711 A JP 2007147711A JP 2008299769 A JP2008299769 A JP 2008299769A
Authority
JP
Japan
Prior art keywords
transfer
file
node
nodes
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007147711A
Other languages
Japanese (ja)
Other versions
JP5205817B2 (en
Inventor
Nobutaka Imamura
信貴 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2007147711A priority Critical patent/JP5205817B2/en
Publication of JP2008299769A publication Critical patent/JP2008299769A/en
Application granted granted Critical
Publication of JP5205817B2 publication Critical patent/JP5205817B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To transfer finely divided partial files one-by-one via proximity transfer even if a node group in the transfer destination is changed for quickly transferring a file to the final node. <P>SOLUTION: A data transfer scheduler 10 generates and manages a schedule for finely dividing data and transferring them from a file sever 12 to nodes 16-1 to 16-5. When a transfer request receipt part 24 receives a transfer request designating a file name and a plurality of transfer destination node groups, a transfer order management part 26 disassembles the node transfer request into node transfer requests to the respective transfer destination nodes and combines them with the file name after sorting them to generate a file management list 46-1 showing the node transfer order, and asks a finely divided file delivery management part 32 to transfer the finely divided partial files via proximity node transfer according to the order of the file management list 46-1. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置、プログラム、記録媒体及び方法に関し、特に、データを細分化して近接ノード間でバケツリレー的に転送させるデータ転送スケジュール装置、プログラム、記録媒体及び方法に関する。
The present invention relates to a data transfer schedule device, program, recording medium, and method for scheduling and managing data transfer from a file server to a plurality of nodes, and in particular, data that is subdivided and transferred in a bucket relay manner between adjacent nodes. The present invention relates to a transfer schedule device, a program, a recording medium, and a method.

従来、大規模なサーバファームやデータセンタのような多数のサーバを利用する環境において、大きな入力ファイルを必要とするアプリケーションを多数台で実行する場合に、その入力ファイルを効率的に配布するデータ転送が必要となる。   Conventionally, in an environment that uses a large number of servers such as large-scale server farms and data centers, data transfer that efficiently distributes input files when many applications that require large input files are executed Is required.

従来のデータ転送にあっては、ファイルを必要とするサーバからファイルの置き場所であるファイルサーバへファイルの転送要求が送られ、それに応える形でファイルサーバからサーバへファイルが転送されている。
特開2002−149473号公報 特開平9−160820号公報
In conventional data transfer, a file transfer request is sent from a server that requires a file to a file server where the file is placed, and the file is transferred from the file server to the server in response to the request.
JP 2002-149473 A JP-A-9-160820

しかしながら、このような従来のデータ転送にあっては、複数台のサーバでファイルが必要な場合に、例えばn台のサーバでファイルが必要な場合、ファイルサーバからn回ファイル転送が発生し、このような1対n転送ではファイルサーバがネックとなって全体にファイルが行きわたるまで時間が掛かるという問題がある。   However, in such conventional data transfer, when a file is required by a plurality of servers, for example, when a file is required by n servers, file transfer occurs n times from the file server. In such 1-to-n transfer, there is a problem that a file server becomes a bottleneck and it takes time until the files are distributed throughout.

この問題を解消するため、各々のサーバにファイル転送のエージェントを配置し、キャッシュとしてファイルを持たせて、近隣のサーバからファイルを転送させる方法がある。しかし、このデータ転送にあっても、最後の1台にファイルがコピーされるまでに、やはりn回分のファイル転送が必要であり、時間がかかる問題がある。   In order to solve this problem, there is a method in which a file transfer agent is arranged in each server, the file is held as a cache, and a file is transferred from a neighboring server. However, even in this data transfer, there is a problem that it takes time to transfer the file n times before the file is copied to the last one.

一方、サーバ設置時などの状況においては、複数のサーバに対するファイルの転送順序予め定め、細分化された部分ファイルを定められた順序でサーバ間を順次転送することでファイル転送時間を短縮するバケツリレー方式によるデータ転送方法がある。   On the other hand, in situations such as when a server is installed, a bucket relay that shortens the file transfer time by predetermining the transfer order of files to a plurality of servers and sequentially transferring the subdivided partial files between the servers in a predetermined order There is a data transfer method by a method.

しかし、バケツリレー方式によるデータ転送は、サーバ設置状況が把握できている定められたサーバ群全体に配布するケースでしか利用できず、ファイルを配布するサーバが転送要求毎に変化するようなデータ転送では利用できない問題がある。   However, the data transfer by the bucket relay method can be used only in the case of distributing to the entire set of servers in which the server installation status can be grasped, and the data transfer in which the server that distributes the file changes for each transfer request. There is a problem that cannot be used.

本発明は、転送先のノード群が変更されてもバケツリレー転送により細分化した部分ファイルを近接間転送して最終ノードまで高速にファイルを転送可能なデータ転送スケジュール装置、プログラム、記録媒体及び方法を提供することを目的とする。
The present invention relates to a data transfer schedule device, program, recording medium, and method capable of transferring a partial file subdivided by bucket relay transfer between adjacent nodes and transferring the file to the final node at a high speed even if the transfer destination node group is changed The purpose is to provide.

(装置)
本発明はデータ転送スケジュール装置を提供する。本発明は、ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置に於いて、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部と、
転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部と、
ファイル転送依頼を受けた際に、依頼先となるファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部と、
を備えたことを特徴とする。
(apparatus)
The present invention provides a data transfer schedule device. The present invention relates to a data transfer schedule device that schedules and manages data transfer from a file server to a plurality of nodes.
A transfer request receiving unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes;
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of the transfer nodes by concatenating the file names, and subdividing the partial files according to the order of the file management list A file transfer order management unit that requests file transfer to transfer between adjacent nodes;
When a file transfer request is received, a subdivided file delivery management unit that instructs the file server and node that are the request destination to execute file transfer, and
It is provided with.

ここで、ファイル転送順序管理部は、ファイル転送を依頼したノードでの同一部分ファイルの次のノードへの転送回数を1回に制限して前記ファイル管理リストにおけるノード転送要求の配列順に部分ファイルを順次転送させる。   Here, the file transfer order management unit limits the number of transfers to the next node of the same partial file at the node that requested the file transfer to one, and the partial files are arranged in the order of the node transfer request in the file management list. Transfer sequentially.

ファイル転送順序管理部は、
転送要求を転送先ノード毎のノード転送要求に分解した後にファイル名と転送先アドレスでソートし、ファイル名にソートした前記ノード転送要求を連結して転送ノードの順番を示すファイル管理リストを生成するソート処理部と、
ファイルサーバ及び全ノードにキャッシュされている保有ファイルの一覧を収集し、ファイル管理リストに転送元ファイルのキャッシュ位置を検出して設定するキャッシュ位置取得部と、
ファイル管理リストに配列したノード転送要求毎に、次ノードに対する部分ファイルの転送進捗状況を示す進捗管理情報と、次ノードに対する同じ部分ファイルの転送回数を所定の最大転送可能数に制限する転送回数管理情報とを生成して管理する転送情報管理部と、
進捗管理情報及び転送回数管理情報に基づいて、転送可能なノードを判定して細分化ファイル配信管理部にファイル転送を依頼すると共に、転送回数管理情報における同じ部分ファイルの転送回数を更新するファイル転送依頼部と、
細分化ファイル配信管理部から依頼したファイル転送の完了通知を受けた際に、進捗管理情報に記述している部分ファイルの転送進捗状況を更新し、全ての部分ファイルの転送完了を判別した場合は、対応するノード転送要求をファイル管理リストから削除し、更に、転送回数管理情報の同じ部分ファイルの転送回数が最大転送可能数に達していた場合は次の部分ファイル転送のために転送回数を1つ減らす転送完了処理部と、
を備える。
The file transfer order manager
After the transfer request is broken down into node transfer requests for each transfer destination node, the file transfer list is sorted by file name and transfer destination address, and the file transfer list indicating the order of transfer nodes is generated by concatenating the node transfer requests sorted into file names. A sort processing unit;
A cache location acquisition unit that collects a list of retained files cached in the file server and all nodes, and detects and sets the cache location of the transfer source file in the file management list;
For each node transfer request arranged in the file management list, progress management information indicating the transfer progress status of the partial file to the next node, and transfer count management that limits the transfer count of the same partial file to the next node to a predetermined maximum transferable number A transfer information management unit for generating and managing information,
File transfer that determines the transferable node based on the progress management information and the transfer count management information, requests the file transfer management unit to transfer the file, and updates the transfer count of the same partial file in the transfer count management information A request department;
When the file transfer completion notification requested from the subdivision file distribution management unit is received, the transfer progress status of the partial files described in the progress management information is updated, and the transfer completion of all the partial files is determined. The corresponding node transfer request is deleted from the file management list, and if the transfer count of the same partial file in the transfer count management information reaches the maximum transferable number, the transfer count is set to 1 for the next partial file transfer. A transfer completion processing unit to reduce
Is provided.

転送情報管理部で管理する次ノードに対する同じ部分ファイルの最大転送可能数を1に設定する。   The maximum transferable number of the same partial file for the next node managed by the transfer information management unit is set to 1.

ファイル転送依頼部は、
ファイル管理リストに配列したノード転送要求にリンクしているファイルサーバを含む各ノードの進捗管理情報及び転送回数管理情報を配列順に調べ、
転送回数管理情報の部分ファイル転送回数が最大転送可能数未満で、且つ進捗管理情報が全ての部分ファイルの転送完了を示していなければ、転送可能ノードと判定する。
The file transfer request department
Check the progress management information and transfer count management information of each node including the file server linked to the node transfer request arranged in the file management list in the order of arrangement,
If the number of partial file transfers in the transfer count management information is less than the maximum transferable number and the progress management information does not indicate completion of transfer of all partial files, it is determined as a transferable node.

(プログラム)
本発明はデータ転送スケジュールのためのプログラムを提供する。本発明のプログラムは、ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置のコンピュータを、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部、
転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部、
ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部、
として機能させることを特徴とする。
(program)
The present invention provides a program for a data transfer schedule. The program of the present invention is a computer for a data transfer schedule device that schedules and manages data transfer from a file server to a plurality of nodes.
A transfer request reception unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes;
After decomposing and sorting transfer requests into node transfer requests for each transfer destination node, generate a file management list indicating the order of the transfer nodes by concatenating the file names, and subdivide the partial files according to the order of the file management list. File transfer order management unit that requests file transfer to transfer between adjacent nodes,
When a file transfer request is received, a fragmented file distribution management unit for instructing and executing file transfer to the file server and node as a request destination,
It is made to function as.

(記録媒体)
本発明はデータ転送スケジュールのためのプログラムを格納したコンピュータ可読な記録媒体を提供する。本発明の記録媒体は、
ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置のコンピュータを、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部、
転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部、
ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部、
として機能させるプログラムを格納ことを特徴とする。
(recoding media)
The present invention provides a computer-readable recording medium storing a program for a data transfer schedule. The recording medium of the present invention is
A data transfer scheduling device computer that schedules and manages data transfer from a file server to a plurality of nodes,
A transfer request receiving unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes,
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of the transfer nodes by concatenating the file names, and subdividing the partial files according to the order of the file management list File transfer order management unit that requests file transfer to transfer between adjacent nodes,
When a file transfer request is received, a fragmented file distribution management unit for instructing and executing file transfer to the file server and node as a request destination,
It stores the program which functions as

(方法)
本発明はデータ転送スケジュール方法を提供する。本発明は、ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール方法に於いて、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付プロセスと、
転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理プロセスと、
ファイル転送依頼を受けた際に、依頼先となるファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理プロセスと、
を備えたことを特徴とする。
(Method)
The present invention provides a data transfer scheduling method. The present invention relates to a data transfer scheduling method for scheduling and managing data transfer from a file server to a plurality of nodes.
A transfer request reception process for receiving a transfer request specifying a file name and a plurality of transfer destination nodes;
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of the transfer nodes by concatenating the file names, and subdividing the partial files according to the order of the file management list A file transfer order management process that requests file transfer to transfer between adjacent nodes;
When a file transfer request is received, a subdivided file distribution management process for instructing and executing file transfer to the file server and node as a request destination;
It is provided with.

本発明によれば、ファイル名と転送先ノード群を指定した転送要求を受付けた際に、受付けた転送要求をノード毎のノード転送要求に分解してノード間で近接間転送を可能とするように例えばノードのIPアドレスでソートした順番でファイル単位に配列したノード転送順序を示すファイル管理リストを生成し、このファイル管理リストに基づいて転送可能なノードを判別してファイル転送を指示し、更に、ノード間での同じ部分ファイルの転送回数を1回しか許さないように制限することで、ファイル管理リストの転送順序に従って細分化した部分ファイルをファイルサーバから各ノードにバケツリレー的に転送し、最終ノードまで高速にファイルを転送することができる。
According to the present invention, when a transfer request specifying a file name and a transfer destination node group is received, the received transfer request is decomposed into node transfer requests for each node so that transfer between adjacent nodes can be performed. For example, a file management list indicating the node transfer order arranged in units of files in the order sorted by the IP address of the node is generated, and a file transfer is determined by determining a transferable node based on the file management list, and By restricting the number of transfers of the same partial file between nodes to be allowed only once, the partial file subdivided according to the transfer order of the file management list is transferred in a bucket relay from the file server to each node, Files can be transferred at high speed to the final node.

図1は本発明によるデータ転送スケジューラを備えたデータ配信システムの実施形態を示した説明図である。図1において、本実施形態のデータ転送スケジューラ10に対してはファイル転送元となるファイルサーバ12が接続され、またネットワーク14を介してファイル転送先となるノード16−1〜16−5が接続されている。   FIG. 1 is an explanatory diagram showing an embodiment of a data distribution system including a data transfer scheduler according to the present invention. In FIG. 1, a file server 12 serving as a file transfer source is connected to the data transfer scheduler 10 of the present embodiment, and nodes 16-1 to 16-5 serving as file transfer destinations are connected via a network 14. ing.

ノード16−1〜16−5のそれぞれにはデータ転送エージェント18−1〜18−5が配置されており、データ転送スケジューラ10からの転送命令を受けて近接ノード間で所定の固定サイズに細分化した部分ファイルをバケツリレー方式で転送する。   Data transfer agents 18-1 to 18-5 are arranged in the nodes 16-1 to 16-5, respectively, and are subdivided into a predetermined fixed size between adjacent nodes in response to a transfer command from the data transfer scheduler 10. Transfer the partial file using the bucket relay method.

またノード16−1〜16−5のそれぞれには転送ファイルを一時的に保持するための転送キャッシュ20−1〜20−5が設けられている。更にノード16−1〜16−5には、それぞれ転送されたファイルを格納してアプリケーションで使用するためのストレージ22−1〜22−5が接続されている。   Each of the nodes 16-1 to 16-5 is provided with transfer caches 20-1 to 20-5 for temporarily holding transfer files. The nodes 16-1 to 16-5 are connected to storages 22-1 to 22-5 for storing transferred files and using them in applications.

図1に示す本実施形態のデータ転送スケジューラ10を備えたデータ配信システムは、例えばデータファームやデータセンタのようなグリッド環境であり、ノード16−1〜16−5はファイルサーバ12から比較的大きなファイルの転送を受けてアプリケーションにより実行するサーバとして機能する。   The data distribution system including the data transfer scheduler 10 of the present embodiment shown in FIG. 1 is a grid environment such as a data farm or a data center, and the nodes 16-1 to 16-5 are relatively large from the file server 12. It functions as a server that is executed by an application upon receiving a file transfer.

また転送スケジューラ10及びノード16−1〜16−5を接続しているネットワーク14は例えばインターネットプロトコル(IPプロトコルネットワーク)であり、データ転送スケジューラ10、ファイルサーバ12及びノード16−1〜16−5のそれぞれは固有のIPアドレスを持ち、またノード16−1〜16−5はそれぞれ識別するための固有のノード名を予め設定している。   The network 14 connecting the transfer scheduler 10 and the nodes 16-1 to 16-5 is, for example, the Internet protocol (IP protocol network). The data transfer scheduler 10, the file server 12, and the nodes 16-1 to 16-5 are connected to each other. Each has a unique IP address, and each of the nodes 16-1 to 16-5 is preset with a unique node name for identification.

図2は本実施形態におけるデータ転送スケジューラの機能構成を示したブロック図である。図2において本実施形態のデータ転送スケジューラ10は転送要求受付部24、転送順序管理部26、制御部28、キャッシュ位置取得部30、細分化ファイル配信管理部32を備えている。   FIG. 2 is a block diagram showing a functional configuration of the data transfer scheduler in the present embodiment. In FIG. 2, the data transfer scheduler 10 of this embodiment includes a transfer request receiving unit 24, a transfer order management unit 26, a control unit 28, a cache location acquisition unit 30, and a subdivided file distribution management unit 32.

転送順序管理部26にはソート処理部34と転送要求格納部36が設けられている。また制御部28には転送情報管理部38、ファイル転送依頼部40及び転送完了処理部42が設けられている。このようなデータ転送スケジューラに設けられた各処理部はデータ転送スケジューラ10を実現するコンピュータにおけるプログラムの実行により実現される機能である。   The transfer order management unit 26 includes a sort processing unit 34 and a transfer request storage unit 36. The control unit 28 includes a transfer information management unit 38, a file transfer request unit 40, and a transfer completion processing unit 42. Each processing unit provided in such a data transfer scheduler is a function realized by executing a program in a computer that implements the data transfer scheduler 10.

またデータ転送スケジューラ10にネットワーク14を介して接続されているノード16−1〜16−5のノード名として、この例ではhost1〜host5を設定している。   In this example, host1 to host5 are set as the node names of the nodes 16-1 to 16-5 connected to the data transfer scheduler 10 via the network 14.

データ転送スケジューラ10に設けた転送要求受付部24は、ネットワーク14に接続しているクライアントなどからの転送要求44−1〜44−2を受け付けて保持する。   The transfer request receiving unit 24 provided in the data transfer scheduler 10 receives and holds transfer requests 44-1 to 44-2 from clients connected to the network 14.

転送要求受付部24で受け付ける転送要求44−1、44−2は例えば図3に示す内容を持つ。図3は図2の転送要求44−1はXMLによる記述例を示している。転送要求44−1には転送対象とするファイル名48として「ファイルA」が記述されている。   The transfer requests 44-1 and 44-2 received by the transfer request receiving unit 24 have, for example, the contents shown in FIG. FIG. 3 shows an example of XML description of the transfer request 44-1 in FIG. In the transfer request 44-1, “file A” is described as the file name 48 to be transferred.

また転送要求44−1には転送先ノード群50が記述され、この例では転送先ノード群50として図2に示したノード16−1〜16−5の5つのノード名「host1〜host5」が記述されている。   The transfer request 44-1 describes the transfer destination node group 50. In this example, the five node names “host1 to host5” of the nodes 16-1 to 16-5 shown in FIG. is described.

再び図2を参照するに、転送要求受付部24で受け付けた転送要求44−1、44−2は受付順に転送順序管理部26に送られる。転送順序管理部26は転送要求受付部24から受け取った例えば転送要求44−1を、転送先ノードごとのノード転送要求に分解した後、分解したノード転送要求を例えばIPアドレスによってソートしてファイル名に結合して配列したノード転送順序を示す転送要求格納部36に示すファイル管理リスト46−1を生成する。   Referring to FIG. 2 again, the transfer requests 44-1 and 44-2 received by the transfer request receiving unit 24 are sent to the transfer order management unit 26 in the order of reception. The transfer order management unit 26 decomposes, for example, the transfer request 44-1 received from the transfer request reception unit 24 into node transfer requests for each transfer destination node, and then sorts the decomposed node transfer requests by, for example, IP addresses to obtain file names A file management list 46-1 shown in the transfer request storage unit 36 indicating the node transfer order arranged in combination with is generated.

そして転送順序管理部26は、転送対象となったファイルAを細分化した例えば5つの部分ファイルA1〜A5、ファイル管理リスト46−1のノード転送順序に従って近接ノード間転送をするように細分化ファイル配信管理部32にファイル転送を依頼する。   The transfer order management unit 26 subdivides the file A to be transferred into, for example, five partial files A1 to A5, and the subdivided file so that the transfer between adjacent nodes is performed according to the node transfer order of the file management list 46-1. Request the file transfer to the distribution management unit 32.

細分化ファイル配信管理部32は転送順序管理部26から転送依頼を受けた際に、依頼先となるファイルサーバ12、ノード16−1〜16−4にファイル転送を指示して近接ノード間転送を実行する。   When the subdivision file distribution management unit 32 receives a transfer request from the transfer order management unit 26, the subdivision file distribution management unit 32 instructs the file server 12 and nodes 16-1 to 16-4 as the request destination to perform file transfer, and performs transfer between adjacent nodes. Execute.

この転送順序管理部26の機能を制御部28とともに更に詳細に説明すると次のようになる。まずソート処理部34は転送要求受付部24から例えば転送要求44−1、44−2を受け取った際に、転送要求44−1、44−2をそれぞれ転送先ノードごとのノード転送要求に分解した後、ファイル名と転送先アドレスであるIPアドレスでソートし、ファイル名単位、すなわちファイル名A単位及びファイル名B単位に、それぞれノード転送要求をノード転送順に配列したファイル管理リスト46−1、46−2を生成する。   The function of the transfer order management unit 26 will be described in detail together with the control unit 28 as follows. First, when the sort processing unit 34 receives, for example, the transfer requests 44-1 and 44-2 from the transfer request receiving unit 24, the sort request unit 34 decomposes the transfer requests 44-1 and 44-2 into node transfer requests for each transfer destination node. Thereafter, the file management lists 46-1 and 46 are sorted by the file name and the IP address as the transfer destination address, and the node transfer requests are arranged in the order of the node transfer in the file name unit, that is, the file name A unit and the file name B unit. -2 is generated.

ファイル管理リスト46−1、46−2に配列している「host1〜host5」または「host3,host5」で示すノート転送要求のそれぞれに対しては、後の説明で明らかにする進捗管理情報を初期化してリンクしている。進捗管理情報は次のノードに対する部分ファイルの転送進捗情報、即ち細分化した部分ファイルがいくつ次ノードにいくつ送られたかを示す情報である。   For each of the note transfer requests indicated by “host1 to host5” or “host3, host5” arranged in the file management lists 46-1 and 46-2, the progress management information to be clarified in the following explanation is initialized. Is linked. The progress management information is partial file transfer progress information for the next node, that is, information indicating how many sub-files have been sent to the next node.

例えばファイル名Aのファイル管理リスト46−1にリンクされた進捗管理情報はファイルAを例えば6つの部分ファイルA1〜A6に分けて転送していることから、進捗管理情報はある転送タイミングで図示のように転送順に「1/6,2/6,3/6,4/6,5/6」が記録されている。   For example, since the progress management information linked to the file management list 46-1 of the file name A transfers the file A divided into, for example, six partial files A 1 to A 6, the progress management information is illustrated at a certain transfer timing. Thus, “1/6, 2/6, 3/6, 4/6, 5/6” is recorded in the transfer order.

制御部28に設けた転送情報管理部38は例えばファイル管理リスト46−1を例にとると、ファイル管理リスト46−1に配列した「host1〜host5」で示すノード転送要求に基づき次のノードに対する部分ファイルの転送進捗状況を示す進捗管理情報と、次のノードに対する同じく部分ファイルの転送回数を所定の最大転送回数に制限する転送回数管理情報部とを生成して管理する。   For example, taking the file management list 46-1 as an example, the transfer information management unit 38 provided in the control unit 28 applies to the next node based on the node transfer requests indicated by “host1 to host5” arranged in the file management list 46-1. It generates and manages progress management information indicating the transfer progress of the partial file and a transfer count management information section that limits the transfer count of the partial file to the next node to a predetermined maximum transfer count.

図4は図2の転送情報管理部24で管理される図3の転送要求44−1から生成されたリンク先のファイル管理リスト46−1と、これにリンクして管理される進捗管理情報52と転送回数管理情報を54を示した説明図である。   4 shows the link destination file management list 46-1 generated from the transfer request 44-1 of FIG. 3 managed by the transfer information management unit 24 of FIG. 2, and progress management information 52 managed by linking to this. FIG. 5 is an explanatory diagram showing 54 transfer count management information.

図4において、ファイル管理リスト46−1は図3の転送要求44−1について図2のソート処理部34の処理により作成されている。このファイル管理リスト46−1は転送要求44−1のファイル名48に対し転送要求44−1に含まれている転送先ノード名から転送先ノードごとのノード転送要求56−1〜56−5に分解した後、分解したノード転送要求をファイル単位及びIPアドレス単位にソートしてファイル名48に対し配列することで生成している。   4, the file management list 46-1 is created by the processing of the sort processing unit 34 of FIG. 2 for the transfer request 44-1 of FIG. This file management list 46-1 is changed from the transfer destination node name included in the transfer request 44-1 to the node transfer requests 56-1 to 56-5 for each transfer destination node with respect to the file name 48 of the transfer request 44-1. After disassembling, the node transfer requests that have been disassembled are generated by sorting them into file units and IP address units and arranging the file names 48.

ファイル管理リスト46−1の生成と同時にソート処理部34は転送先のノードごとに次のノードに対する部分ファイルの転送進捗情報を示す進捗管理情報60−1〜60−5を初期化してリンクしている。   Simultaneously with the generation of the file management list 46-1, the sort processing unit 34 initializes and links progress management information 60-1 to 60-5 indicating partial file transfer progress information for the next node for each transfer destination node. Yes.

ノード転送要求56−1〜56−5に初期化してリンクされた進捗管理情報60−1〜60−5は、ノード間で転送される細分化された部分ファイルの転送進捗情報を記録する。例えば細分化数を6とすると、部分ファイルを次のノードに転送るごとに、転送進捗情報は1/6、2/6、3/6、4/6、5/6と変化する情報を記録して管理する。   The progress management information 60-1 to 60-5 initialized and linked to the node transfer requests 56-1 to 56-5 records the transfer progress information of the fragmented partial files transferred between the nodes. For example, if the number of subdivisions is 6, every time a partial file is transferred to the next node, the transfer progress information records information that changes to 1/6, 2/6, 3/6, 4/6, 5/6. And manage.

ここで図4のファイル管理リスト46−1に配列しているノード転送要求56−1〜56−5の情報は図5(A)に代表して示すように、ファイル名68と転送先ノード名70で構成されている。   Here, the information of the node transfer requests 56-1 to 56-5 arranged in the file management list 46-1 in FIG. 4 includes the file name 68 and the transfer destination node name as shown in FIG. 70.

また図4の進捗管理情報52に配置しているノード進捗管理情報60−1〜60−5は、図5(B)に取り出して代表して示すように、部分ファイル進捗比72とノード名74を記述している。ここで部分ファイル進捗比72は
(部分ファイル進捗比)=(部分ファイルの転送完了数)/細分化数)
で与えられる。
Also, the node progress management information 60-1 to 60-5 arranged in the progress management information 52 of FIG. 4 is extracted as shown in FIG. Is described. Here, the partial file progress ratio 72 is (partial file progress ratio) = (number of partial file transfers completed) / number of subdivisions)
Given in.

具体的に図4の進捗管理情報52の各ノード進捗管理情報60−1〜60−5に示すように細分化数=6とすると、部分ファイルの転送の進捗に応じて部分ファイル進捗比は、0/6,1/6,2/6,3/6,4/6,5/6,6/6と変化する。尚、部分ファイル進捗比0/6は部分ファイルの転送が行われていない初期値であり、また部分ファイル進捗比6/6は部分ファイルの全ての転送が完了した転送完了を示す値となる。   Specifically, as shown in the node progress management information 60-1 to 60-5 of the progress management information 52 in FIG. 4, if the number of subdivisions = 6, the partial file progress ratio is determined according to the progress of the partial file transfer. It changes to 0/6, 1/6, 2/6, 3/6, 4/6, 5/6, 6/6. The partial file progress ratio 0/6 is an initial value at which partial files are not transferred, and the partial file progress ratio 6/6 is a value indicating completion of transfer when all the partial files have been transferred.

図4の転送回数管理情報54は、図5(C)に示すように、ノード名62、最大転送可能数64及び現在転送数66を記述している。転送回数管理情報54は細分化して部分ファイルをファイル転送元のファイルサーバ12からノード16−1〜16−5に対してバケツリレー方式により転送する際のノード間で同じ部分ファイルを転送できる回数を制限するための情報である。   4 describes the node name 62, the maximum transferable number 64, and the current transfer number 66, as shown in FIG. 5C. The transfer count management information 54 is subdivided and indicates the number of times that the same partial file can be transferred between the nodes when transferring the partial file from the file transfer source file server 12 to the nodes 16-1 to 16-5 by the bucket relay method. This is information for limiting.

即ち、転送回数管理情報52に設定された最低転送可能数64が次のノードに同じ部分ファイルを転送することのできる最大数であり、次のノードに転送するごとに現在転送数66を1つずつ増加させる更新を行い、現在転送数66が最大転送可能数64に達したら、それ以降同じ部分ファイルの次のノードへの転送を禁止する。   That is, the minimum transferable number 64 set in the transfer count management information 52 is the maximum number that can transfer the same partial file to the next node, and one current transfer number 66 is added to each transfer to the next node. When the current transfer number 66 reaches the maximum transferable number 64, the transfer of the same partial file to the next node is prohibited thereafter.

本実施形態にあっては転送回数管理情報54における最大転送可能数を1とすることでファイルサーバ12から転送先のノード16−1〜16−5に対する細分化された部分ファイルの転送につき同じ部分ファイルはノード間で1回しか転送できないように制限する。これによってファイルサーバ12からノード16−1〜16−5に対し、部分ファイルを近接サーバ間で1回ずつ順次転送するバケツリレー転送を実現することができる。   In the present embodiment, by setting the maximum transferable number in the transfer count management information 54 to 1, the same part is transferred from the file server 12 to the divided partial files to the transfer destination nodes 16-1 to 16-5. Restrict files so that they can be transferred only once between nodes. As a result, bucket relay transfer can be realized in which partial files are sequentially transferred from the file server 12 to the nodes 16-1 to 16-5 one by one between adjacent servers.

図4に示す転送回数管理情報54にあってはノード名62−1〜62−5に示すように、ファイルサーバ12と最後のノード16−5を除くノード16−1〜16−4のホスト名host1〜host4を記述している。   In the transfer count management information 54 shown in FIG. 4, as shown by the node names 62-1 to 62-5, the host names of the nodes 16-1 to 16-4 excluding the file server 12 and the last node 16-5. host1 to host4 are described.

次の最大転送可能数64−1〜64−5は予め設定した「1」である。最後の現在転送数66−1〜66−5は次のノードに対する部分ファイルの転送を依頼するごとに0から1に更新され、依頼した部分ファイルの転送完了の通知を受けると1から0に1つ減らして次の部分ファイルの転送に備える。   The next maximum transferable number 64-1 to 64-5 is “1” set in advance. The last current transfer number 66-1 to 66-5 is updated from 0 to 1 every time a partial file transfer is requested to the next node, and is changed from 1 to 0 when a notification of transfer completion of the requested partial file is received. Prepare for the next partial file transfer.

再び図2を参照するに制御部28に設けたファイル転送依頼部40は転送情報管理部38で管理している例えば図4に示した進捗情報管理情報52及び転送回数管理情報54に基づき転送可能なノードを判定して細分化ファイル配信管理部32にファイル転送を依頼する。更にファイル転送依頼部40は転送依頼時に同じ部分ファイルの転送回数を示す現在転送数66−1〜66−5を各ノードに対応してこのタイミングで0から1に更新する。   Referring to FIG. 2 again, the file transfer request unit 40 provided in the control unit 28 can be transferred based on the progress information management information 52 and the transfer count management information 54 shown in FIG. A node is determined to request the subdivision file distribution management unit 32 to transfer the file. Further, the file transfer request unit 40 updates the current transfer numbers 66-1 to 66-5 indicating the transfer count of the same partial file at the time of transfer request from 0 to 1 at this timing corresponding to each node.

制御部28に設けた転送完了処理部42は、細分化ファイル配信管理部32から依頼したファイル転送の完了通知を受けた際に、図4の進捗管理情報52の中のノード進捗管理情報60−1〜60−5の部分ファイル進捗比の分子を1つ増加させる更新を行う。   The transfer completion processing unit 42 provided in the control unit 28 receives the node transfer management information 60-in the progress management information 52 of FIG. 4 when receiving the completion notification of the requested file transfer from the segmented file distribution management unit 32. Update to increase the numerator of the partial file progress ratio of 1-60-5 by one.

この更新により部分ファイル進捗比の分母の細分化数と分子の部分ファイル転送完了数とが一致する例えば6/6となったときに、全ての部分ファイルの転送完了を判別し、対応するノード転送要求をファイル管理リストから削除する。   As a result of this update, when the partial file progress ratio denominator number and the partial file transfer completion number of the numerator match, for example, 6/6, transfer completion of all partial files is determined, and the corresponding node transfer is performed. Delete the request from the file management list.

また図4の転送回数管理情報54における現在転送数66−1〜66−5が最大転送可能数64−1〜64−5の値、具体的には1に達していた場合には、次の部分ファイルの転送のため現在転送数66−1〜66−5を1つ減らしてゼロにする。   If the current transfer numbers 66-1 to 66-5 in the transfer count management information 54 in FIG. 4 have reached the value of the maximum transferable numbers 64-1 to 64-5, specifically, 1, The current transfer number 66-1 to 66-5 is decreased by one to zero to transfer a partial file.

更に図2のデータ転送スケジューラ10に設けているキャッシュ位置取得部30は、ファイルサーバ12、ノード16−1〜16−5にキャッシュされている保有ファイルの一覧を収集し、ファイル管理リスト46−1または46−2に転送元のキャッシュ位置を記述してセットする。これによって例えばファイル管理リスト46−1における転送対象となる元ファイルがファイルサーバ12にあることを示す転送元ファイルサーバ情報58をファイル管理リスト46に設定することができる。   Further, the cache location acquisition unit 30 provided in the data transfer scheduler 10 of FIG. 2 collects a list of retained files cached in the file server 12 and the nodes 16-1 to 16-5, and a file management list 46-1. Alternatively, the transfer source cache location is described and set in 46-2. Thereby, for example, transfer source file server information 58 indicating that the file server 12 has an original file to be transferred in the file management list 46-1 can be set in the file management list 46.

図4のファイル管理リスト46−1にあってはファイル名48である「ファイルA」に対し、図2のキャッシュ位置取得部30の処理により検出されたファイルサーバを転送元ファイルサーバ情報58に記録してファイル管理リスト46のファイル名48にリンクする。   In the file management list 46-1 of FIG. 4, the file server detected by the processing of the cache position acquisition unit 30 of FIG. Then, the file name 48 in the file management list 46 is linked.

図6は図2の転送要求格納部36に配置したファイル管理リスト46−1に基づいてファイルAを6つの部分ファイルA1〜A6に細分化してバケツリレー方式によりノード16−1〜16−5に対しデータ転送する様子を示したタイムチャートである。   FIG. 6 shows that the file A is subdivided into six partial files A1 to A6 based on the file management list 46-1 arranged in the transfer request storage unit 36 of FIG. 2 and is transferred to the nodes 16-1 to 16-5 by the bucket relay method. 5 is a time chart showing how data is transferred.

図6において、ステップS1のタイミングにあっては、まずファイルサーバ12から細分化した最初の部分ファイルA1を最初のノード16−1に転送する。ファイルサーバ12からノード16−1に対する部分ファイルA1の転送回数は最大転送可能数を1に設定することで1回だけ行われる。   In FIG. 6, at the timing of step S1, the first partial file A1 subdivided from the file server 12 is first transferred to the first node 16-1. The number of transfers of the partial file A1 from the file server 12 to the node 16-1 is performed only once by setting the maximum transferable number to 1.

次のステップS2のタイミングでは、ファイルサーバ12は最初の部分ファイルA1は1回しか送ることができないため、次の部分ファイルA2をノード16−1に転送する。同じタイミングでノード16−1はキャッシュに格納したステップS2のタイミングで受信した部分ファイルA1を次のノード16−2に転送する。   At the timing of the next step S2, since the file server 12 can send the first partial file A1 only once, the next partial file A2 is transferred to the node 16-1. At the same timing, the node 16-1 transfers the partial file A1 received at the timing of step S2 stored in the cache to the next node 16-2.

以下同様にファイルサーバ12はステップS3〜S6の各タイミングで1つずつ部分ファイルA3、A4、A5、A6を次のノード16−1に順次転送する。またノード16−2にあってはステップS2〜S7のタイミングで部分ファイルA1〜A6を順次次のノード16−2に転送する。   Similarly, the file server 12 sequentially transfers the partial files A3, A4, A5, A6 one by one to the next node 16-1 at each timing of steps S3 to S6. In the node 16-2, the partial files A1 to A6 are sequentially transferred to the next node 16-2 at the timings of steps S2 to S7.

残りのノード16−3〜16−4についても、同様にして各タイミングで同じ部分ファイルは1回ずつだけ次のノードに順次転送する。この結果、ステップS10のタイミングで最後のノード16−5に対する最後の部分ファイルA6の転送が完了し、これによってファイルサーバ12から細分化されたファイルA1の転送先であるノード16−1〜16−5の全てに対するファイル転送が完了することになる。   Similarly for the remaining nodes 16-3 to 16-4, the same partial file is sequentially transferred to the next node only once at each timing. As a result, the transfer of the last partial file A6 to the last node 16-5 is completed at the timing of step S10, whereby the nodes 16-1 to 16- that are the transfer destinations of the file A1 subdivided from the file server 12 are thereby obtained. The file transfer for all of 5 is completed.

図7は図2の転送要求44−2からデータ転送スケジューラ10で生成されたファイル管理リスト46−2に基づくデータ転送の様子を示したタイムチャートであり、この場合にはファイルBをファイルAの場合と同様6つの部分ファイルB1〜B6に細分化し、転送先ノードとしてノード16−3、16−5の2つに転送する場合を例にとっている。   FIG. 7 is a time chart showing the state of data transfer based on the file management list 46-2 generated by the data transfer scheduler 10 from the transfer request 44-2 of FIG. As in the case, it is divided into six partial files B1 to B6 and transferred to two nodes 16-3 and 16-5 as transfer destination nodes.

図7において、転送先ノードはノード16−3、16−5の2つであることから、ファイルサーバ12はステップS1〜S6のタイミングで部分ファイルB1〜B6を1回ずつノード16−3に転送する。   In FIG. 7, since the transfer destination nodes are two nodes 16-3 and 16-5, the file server 12 transfers the partial files B1 to B6 to the node 16-3 once at the timing of steps S1 to S6. To do.

またノード16−3はステップS2〜S7のタイミングでキャッシュした部分ファイルB1〜B6を1回ずつ次のノード16−5に転送し、これによって転送要求44−2に基づくファイルBのノード16−3、16−5に対する転送を完了する。   Further, the node 16-3 transfers the partial files B1 to B6 cached at the timings of steps S2 to S7 to the next node 16-5 one by one, thereby the node 16-3 of the file B based on the transfer request 44-2. , 16-5 is completed.

この図6及び図7のタイムチャートから明らかなように本実施形態にあっては、転送先となるノードは転送要求によってネットワーク上の任意の数のノードを指定して動的に行うことができ、且つファイルサーバ及びノード間の同じ部分ファイルの転送数を1回に制限することで、IPアドレスのソート順に従ってノード間でバケツリレー方式により近接ノード間転送を実行することができ、複数のノードに対し同時に部分ファイルを転送する1対n転送によるネットワーク輻輳を回避し、さらに図6及び図7のタイムチャートのように、各ノード間で転送可能であれば並列的にバケツリレー転送が実行されることでファイルサーバから複数のノードに対しファイルを高速転送することができる。   As is apparent from the time charts of FIGS. 6 and 7, in this embodiment, the transfer destination node can be dynamically specified by designating an arbitrary number of nodes on the network by a transfer request. In addition, by restricting the number of transfers of the same partial file between the file server and the node to one, it is possible to execute the transfer between adjacent nodes by the bucket relay method between the nodes according to the sort order of the IP address, and a plurality of nodes In contrast, network congestion due to 1-to-n transfer that transfers partial files at the same time is avoided, and bucket relay transfer is executed in parallel if transfer is possible between nodes as shown in the time charts of FIGS. As a result, a file can be transferred from a file server to a plurality of nodes at a high speed.

尚、本実施形態にあってはノード間の最大転送可能数を1としてノード間のバケツリレー転送を実現しているが、最大転送可能数を1より大きい任意の整数に設定すれば、部分的に1対nを転送が可能となる。このような1対n転送はネットワーク負荷が低い場合などに必要に応じて選択することが可能である。   In the present embodiment, bucket relay transfer between nodes is realized by setting the maximum transferable number between nodes to 1, but if the maximum transferable number is set to an arbitrary integer larger than 1, a partial transfer is possible. 1 to n can be transferred. Such one-to-n transfer can be selected as necessary when the network load is low.

図8は本実施形態のデータ転送スケジューラのプログラムを実行するコンピュータのハードウェア環境を示したブロック図である。図8において、図1のデータ転送スケジューラ10を構築するコンピュータは、CPU76のバス78に対しROM82、RAM80、ハードディスクドライブ84、キーボート88、マウス90、ディスプレイ92を接続するデバイスインタフェース86、更にネットワーク14に接続するネットワークアダプタ94を接続している。   FIG. 8 is a block diagram showing a hardware environment of a computer that executes the data transfer scheduler program of the present embodiment. 8, the computer constructing the data transfer scheduler 10 in FIG. 1 is connected to the device interface 86 for connecting the ROM 82, RAM 80, hard disk drive 84, keyboard 88, mouse 90, display 92 to the bus 78 of the CPU 76, and further to the network 14. A network adapter 94 to be connected is connected.

ハードディスクドライブ84には本実施形態の図2に示したデータ転送スケジューラ10の機能を実現するためのプログラムがインストールされている。   The hard disk drive 84 is installed with a program for realizing the function of the data transfer scheduler 10 shown in FIG. 2 of the present embodiment.

コンピュータを起動するとBIOSによる自己診断及び初期化を経てROM82のブートプログラムが実行され、ハードディスクドライブ84からOSがRAM80に読出し配置されてCPU76により実行される。続いてOSの実行によりハードディスクドライブ84から本実施形態のデータ転送スケジューラの機能を実現するプログラムがRAM80に読出し配置され、CPU76により実行されることになる。   When the computer is started, the boot program in the ROM 82 is executed through self-diagnosis and initialization by the BIOS, and the OS is read from the hard disk drive 84 to the RAM 80 and executed by the CPU 76. Subsequently, a program for realizing the function of the data transfer scheduler of the present embodiment is read from the hard disk drive 84 by the execution of the OS into the RAM 80 and is executed by the CPU 76.

このような図8のコンピュータのハードウェア環境は、本実施形態のデータ転送スケジューラ10のみならず、ファイルサーバ12、ノード16−1〜16−5を構築するサーバについても基本的には同じである。   The hardware environment of the computer shown in FIG. 8 is basically the same not only for the data transfer scheduler 10 of this embodiment but also for the server that constructs the file server 12 and the nodes 16-1 to 16-5. .

図9は本実施形態におけるデータ転送スケジュール処理を示したフローチャートであり、図2を参照して説明すると次のようになる。図9において、データ転送スケジューラ10によるデータ転送スケジュール処理は、ステップS1で転送要求受付部24がファイル転送要求の受付の有無をチェックしており、転送要求を受け付けるとステップS2で転送要求をソート処理部34に渡し、ノード転送要求に分解し手ソートしたファイル管理リストを生成するソート処理を実行する。   FIG. 9 is a flowchart showing the data transfer schedule processing in the present embodiment, which will be described below with reference to FIG. In FIG. 9, in the data transfer schedule processing by the data transfer scheduler 10, the transfer request receiving unit 24 checks whether or not a file transfer request is received in step S1, and when the transfer request is received, the transfer request is sorted in step S2. A sort process is performed to generate a file management list that is passed to the unit 34 and manually sorted into node transfer requests.

続いてステップS3でファイル管理リストに従ってファイルサーバ12から転送対象となるノードにノード間の部分ファイル転送数を1回に制限したバケツリレー方式による近接ノード間転送処理を行うための転送順序管理処理を実行する。   Subsequently, in step S3, transfer order management processing for performing transfer processing between adjacent nodes by the bucket relay method in which the number of partial file transfers between the nodes is limited to one time from the file server 12 to the transfer target node according to the file management list. Execute.

続いてステップS4でファイル転送完了の有無をチェックしており、ファイル転送を完了するとステップS5でファイル管理リストを削除し、ステップS6で依頼元に転送正常終了を通知する。このステップS1〜S6の処理をステップS7でログオフなどの停止指示があるまで繰り返す。   Subsequently, whether or not the file transfer is completed is checked in step S4. When the file transfer is completed, the file management list is deleted in step S5, and the requesting source is notified of the normal transfer end in step S6. The processes in steps S1 to S6 are repeated until a stop instruction such as logoff is issued in step S7.

図10は図9のステップS2におけるソート処理の詳細を示したフローチャートである。図10において、ソート処理はステップS1でソート処理部34が転送要求受付部24から受け付けた例えば図3に示した転送要求44−1について、ノードごとのノード転送要求に分解する。   FIG. 10 is a flowchart showing details of the sorting process in step S2 of FIG. In FIG. 10, the sort processing is decomposed into node transfer requests for each node, for example, the transfer request 44-1 shown in FIG. 3 received by the sort processing unit 34 from the transfer request receiving unit 24 in step S1.

続いてステップS2で分解したノード転送要求をファイル名及びノードのIPアドレスでソートし、ステップS3で例えば図4のファイル管理リスト46−1に示すようにファイルごとのファイル管理リストに分解したノード転送要求を連結する。   Subsequently, the node transfer requests decomposed in step S2 are sorted by file name and node IP address, and in step S3, for example, the node transfer decomposed into a file management list for each file as shown in the file management list 46-1 of FIG. Concatenate requests.

続いてステップS4で進捗管理情報52を初期化し、ノード進捗管理情報60−1〜60−5に示すように、ファイル管理リストのノード転送要求56−1〜56−5のそれぞれにリンクする。続いてステップS5で図2の転送順序管理部26に生成したファイル管理リストを追加イベントとして送信する。   Subsequently, in step S4, the progress management information 52 is initialized and linked to each of the node transfer requests 56-1 to 56-5 of the file management list as indicated by the node progress management information 60-1 to 60-5. In step S5, the generated file management list is transmitted as an additional event to the transfer order management unit 26 in FIG.

図11は図9のステップS3における転送順序管理処理の詳細を示したフローチャートである。図11において、転送順序管理処理は図2の転送要求格納部36にソート処理部34から受信して格納した送信要求リスト46−1、46−2を対象に、制御部28に設けた転送情報管理部38、ファイル転送依頼部40及び転送完了処理部42の処理が実行される。   FIG. 11 is a flowchart showing details of the transfer order management process in step S3 of FIG. In FIG. 11, the transfer order management process is the transfer information provided in the control unit 28 for the transmission request lists 46-1 and 46-2 received from the sort processing unit 34 and stored in the transfer request storage unit 36 of FIG. Processing of the management unit 38, the file transfer request unit 40, and the transfer completion processing unit 42 is executed.

図11において、まずステップS1で新規ノードの転送要求投入イベントがあるか、あるいはステップS2で部分ファイル転送完了イベントがあるか否かチェックし、いずれかのイベントがあるとステップS3に進み、図4に示すようにファイル管理リスト46−1に対応して生成管理している進捗管理情報52及び転送回数管理情報54を更新する。   In FIG. 11, first, at step S1, it is checked whether there is a transfer request input event for a new node, or whether there is a partial file transfer completion event at step S2, and if any event occurs, the process proceeds to step S3. As shown, the progress management information 52 and the transfer count management information 54 generated and managed in correspondence with the file management list 46-1 are updated.

続いてステップS4で更新した進捗管理情報52及び転送回数管理情報54に基づき転送可能ノードの判別をチェックする。この判別処理の結果、ステップS5で転送可能ノードがあればステップS6で部分ファイル転送を細分化ファイル配信管理部32に依頼する。   Subsequently, the determination of the transferable node is checked based on the progress management information 52 and the transfer count management information 54 updated in step S4. If there is a transferable node in step S5 as a result of this discrimination processing, the partial file transfer management unit 32 is requested to transfer the partial file in step S6.

この依頼と同時にステップS7で転送回数管理情報54における同じ部分ファイルの現在転送数を1つ増加させて更新する。続いてステップS8で依頼したノード転送要求が完了したことを判別すると、ステップS9で完了したノード転送要求をファイル管理リストから削除する。   Simultaneously with this request, in step S7, the current transfer count of the same partial file in the transfer count management information 54 is increased by one and updated. Subsequently, when it is determined that the requested node transfer request is completed in step S8, the completed node transfer request in step S9 is deleted from the file management list.

図12は図11のステップS4における転送可能ノードの判定処理を詳細を示したフローチャートである。図12において、転送可能ノード判定処理は、ステップS1でノードにリンクした図5(B)に示すノード進捗管理情報60における部分ファイル進捗比72を読み取り、分子の転送完了数が分母の細分化数未満であることをステップS2で判別すると、そのノードは全ての部分ファイルの転送が済んでいないことから転送可能なノードと判断し、続いてステップS3でノードにリンクした図5(C)に示す転送回数管理情報54の現在転送数66を読み取る。   FIG. 12 is a flowchart showing details of the transferable node determination process in step S4 of FIG. In FIG. 12, the transferable node determination process reads the partial file progress ratio 72 in the node progress management information 60 shown in FIG. 5B linked to the node in step S1, and the numerator transfer completion number is the denominator subdivision number. If it is determined in step S2 that it is less than that, the node is determined to be a transferable node because all of the partial files have not been transferred, and then the node is linked to the node in step S3 as shown in FIG. The current transfer number 66 of the transfer number management information 54 is read.

続いてステップS4で現在転送数は同じく転送回数管理情報54に設定している最大転送可能数未満か否かチェックし、最大転送可能数未満であればステップS5に進み、このノードは転送可能ノードと判定する。   Subsequently, in step S4, it is checked whether or not the current transfer number is less than the maximum transferable number set in the transfer count management information 54, and if it is less than the maximum transferable number, the process proceeds to step S5. Is determined.

ステップS2で転送完了数が細分化数に達していた場合、あるいはステップS4で現在転送数が最大転送可能数に達していたノードについては、部分ファイルの転送ができないことからステップS5の転送可能ノードとしての判定処理は行わない。   If the transfer completion number has reached the subdivision number in step S2, or the node whose current transfer number has reached the maximum transferable number in step S4, the partial file cannot be transferred, so the transferable node in step S5 The determination process is not performed.

続いてステップS6で全ノードを処理が終了したか否かチェックし、未終了であればステップS1に戻り、ファイル管理リストに配列している次のノードについて同様の処理をステップS6で全ノードの処理を判別するまで繰り返す。   Subsequently, in step S6, it is checked whether or not the processing has been completed for all the nodes. If the processing has not been completed, the processing returns to step S1, and the same processing is performed for all the nodes arranged in the file management list in step S6. Repeat until the process is determined.

図13〜図28は、ファイルを2つの部分ファイルに細分化して2つのノード16−1,16−2に転送する場合の本実施形態によるデータ転送スケジュール処理を、ステップS1〜S16の16段階に分けて詳細に示した説明図である。   FIG. 13 to FIG. 28 show the data transfer schedule processing according to the present embodiment in the case where the file is divided into two partial files and transferred to the two nodes 16-1 and 16-2 in 16 stages of steps S1 to S16. It is explanatory drawing divided and shown in detail.

図13はステップS1の処理であり、転送要求受付部24で受け付けた転送要求44の内容が、ファイルXを細分化した2つの部分ファイルX1,X2をノード16−1,16−2にファイルサーバ12から転送する場合を例にとっている。ここでノード16−1のホスト名はHost1とし、ノード16−2のホスト名はHost2としている。   FIG. 13 shows the process in step S1, and the contents of the transfer request 44 received by the transfer request receiving unit 24 are divided into two partial files X1 and X2 obtained by subdividing the file X into the nodes 16-1 and 16-2 as file servers. The case of transferring from 12 is taken as an example. Here, the host name of the node 16-1 is Host1, and the host name of the node 16-2 is Host2.

図14はステップS2の処理であり、転送要求受付部24で受け付けられた転送要求44はソート処理部34に送られ、ノード16−1,16−2ごとのノード転送要求100,102に分解された後、ノード16−1,16−2のIPアドレスでソートされ、ファイル名98である「ファイルX」のエントリに連結したファイル管理リスト96を生成する。   FIG. 14 shows the processing in step S2. The transfer request 44 received by the transfer request receiving unit 24 is sent to the sort processing unit 34, and is decomposed into node transfer requests 100 and 102 for the nodes 16-1 and 16-2. After that, the file management list 96 sorted by the IP addresses of the nodes 16-1 and 16-2 and linked to the entry of “file X” having the file name 98 is generated.

図15は次のステップS3の処理であり、ソート処理部34は更に、生成したファイル管理リスト96のノード転送要求100,102のそれぞれに対し進捗管理情報104,106を初期化してリンクする。   FIG. 15 shows the processing of the next step S3, and the sort processing unit 34 further initializes and links the progress management information 104 and 106 to the node transfer requests 100 and 102 of the generated file management list 96, respectively.

図16は次のステップS4の処理であり、キャッシュ位置取得部30がファイルサーバ12及び全てのノード16−1,16−2から保有ファイルの一覧を収集し、転送順序管理部26のファイル管理リスト96におけるファイルXの位置情報として、転送元がファイルサーバ12であることを示すファイル転送元情報108を記録する。   FIG. 16 shows the processing of the next step S4, in which the cache position acquisition unit 30 collects a list of held files from the file server 12 and all the nodes 16-1, 16-2, and the file management list of the transfer order management unit 26 As the position information of the file X in 96, file transfer source information 108 indicating that the transfer source is the file server 12 is recorded.

図17は次のステップS5の処理であり、制御部28に設けてファイル管理リスト96にリンクしているノード16−1,16−2ごとのノード転送要求100,102を配列順(時間的に古い順)に調べ、ノード転送要求100における部分ファイルX1をファイルサーバ12からノード16−1に転送可能であることを判別する。   FIG. 17 shows the processing of the next step S5. The node transfer requests 100 and 102 for the nodes 16-1 and 16-2 provided in the control unit 28 and linked to the file management list 96 are arranged in the order of arrangement (in terms of time). (In order of oldest), it is determined that the partial file X1 in the node transfer request 100 can be transferred from the file server 12 to the node 16-1.

この判別結果に基づき制御部28はノード16−1に対応した転送回数管理情報110の現在転送数112をそれまでの0から1に更新した後、細分化ファイル配信管理部32に部分ファイルX1のファイルサーバ12からノード16−1への転送を依頼する。   Based on the determination result, the control unit 28 updates the current transfer number 112 of the transfer number management information 110 corresponding to the node 16-1 from 0 to 1, and then sends the partial file X1 to the subdivision file distribution management unit 32. Requests transfer from the file server 12 to the node 16-1.

図18はステップS6の処理であり、図17のステップS5で転送依頼を受けた細分化ファイル配信管理部32がファイルサーバ12に対し転送指示命令を発行し、これを受けてファイルサーバ12が部分ファイルX1をノード16−1に転送する。   FIG. 18 shows the process in step S6. The segmented file distribution management unit 32 that has received the transfer request in step S5 in FIG. 17 issues a transfer instruction command to the file server 12, and the file server 12 receives the request. The file X1 is transferred to the node 16-1.

図19はステップS7の処理であり、ファイルサーバ12からノード16−1に対する部分ファイルX1の転送が完了すると、細分化ファイル配信管理部32が制御部28に転送終了を通知する。   FIG. 19 shows the processing in step S7. When the transfer of the partial file X1 from the file server 12 to the node 16-1 is completed, the segmented file distribution management unit 32 notifies the control unit 28 of the transfer end.

この転送終了を受けて制御部28は、ノード16−1に対応した転送回数管理情報110における現在転送数112を1つ減らして0にし、次の部分ファイルの転送に備える。更に制御部28は、ノード16−1に対応したノード転送要求100にリンクしている進捗管理情報104を図18の転送前の部分ファイル進捗比「0/2」から「1/2」に更新し、最初の部分ファイルX1の転送が完了した進捗状況を記録する。   Upon receiving this transfer end, the control unit 28 reduces the current transfer number 112 in the transfer count management information 110 corresponding to the node 16-1 by 1 to prepare for the transfer of the next partial file. Further, the control unit 28 updates the progress management information 104 linked to the node transfer request 100 corresponding to the node 16-1 from the partial file progress ratio “0/2” before transfer in FIG. 18 to “1/2”. Then, the progress status of the transfer of the first partial file X1 is recorded.

図20は次のステップS8の処理であり、制御部28は転送順序管理部26のファイル管理リスト96にリンクしている進捗管理情報104,106を再び調べ、転送対象ファイルXの部分ファイルX2がファイルサーバ12からノード16−1に転送可能であることを判別し、細分化ファイル配信管理部32に判別したファイル転送を依頼し、同時に転送回数管理情報110の現在転送数112をそれまでの0から1に更新する。   FIG. 20 shows the processing of the next step S8. The control unit 28 checks the progress management information 104 and 106 linked to the file management list 96 of the transfer order management unit 26 again, and the partial file X2 of the transfer target file X is found. It is determined that transfer from the file server 12 to the node 16-1 is possible, the file transfer management unit 32 is requested to transfer the determined file, and at the same time, the current transfer number 112 of the transfer count management information 110 is set to 0 so far. Update from 1 to 1.

図21は次のステップS9の処理であり、制御部28はファイル管理リスト96のノード転送要求102にリンクしている進捗管理情報106を調べ、ノード16−1からノード16−2への部分ファイルX1の転送が可能であることを判別し、この判別した転送を細分化ファイル配信管理部32に依頼する。同時に、制御部28においてノード16−1に対応した転送回数管理情報114における現転送数をそれまでの0から1に更新する。   FIG. 21 shows the processing of the next step S9, in which the control unit 28 checks the progress management information 106 linked to the node transfer request 102 in the file management list 96, and the partial file from the node 16-1 to the node 16-2. It is determined that transfer of X1 is possible, and this determined transfer is requested to the subdivision file distribution management unit 32. At the same time, the control unit 28 updates the current transfer number in the transfer number management information 114 corresponding to the node 16-1 from 0 so far to 1.

図22は次のステップS10の処理であり、図20のステップS8及び図21のステップS9の処理でファイル転送の依頼を受けた細分化ファイル配信管理部32が、ファイルサーバ12及びノード16−1のそれぞれに転送指示命令を送り、ファイルサーバ12からノード16−1に部分ファイルX2を転送すると共に、ノード16−1からノード16−2に部分ファイルX1を転送させる。   FIG. 22 shows the processing of the next step S10. The segmented file distribution management unit 32 that has received the file transfer request in the processing of step S8 of FIG. 20 and step S9 of FIG. 21 performs the file server 12 and the node 16-1. A transfer instruction command is sent to each of these, and the partial file X2 is transferred from the file server 12 to the node 16-1, and the partial file X1 is transferred from the node 16-1 to the node 16-2.

図23は次のステップS11の処理であり、図22のステップS10の部分ファイルX1,X2の転送が完了すると、細分化ファイル配信管理部32が制御部28に転送終了を通知する。   FIG. 23 shows the processing in the next step S11. When the transfer of the partial files X1 and X2 in step S10 in FIG. 22 is completed, the segmented file distribution management unit 32 notifies the control unit 28 of the transfer end.

この転送終了を受けて、制御部28はファイルサーバ12に対応した転送回数管理情報110の現在転送回数112を1つ減らして0にし、同時にノード16−1に対応した転送回数管理情報114の現在転送数116を1つ減らして0にする。   Upon receipt of this transfer end, the control unit 28 decrements the current transfer count 112 of the transfer count management information 110 corresponding to the file server 12 by 1 and simultaneously sets the current count of the transfer count management information 114 corresponding to the node 16-1. The transfer number 116 is reduced by 1 to zero.

更に制御部28は、ノード16−1に対するノード転送要求110にリンクしている進捗管理情報104の部分ファイル進捗比を、それまでの「1/2」から「2/2」に更新する。またノード16−2のノード転送命令102にリンクしている進捗管理情報106の部分ファイル進捗比を、それまでの「0/2」から「1/2」に更新する。   Furthermore, the control unit 28 updates the partial file progress ratio of the progress management information 104 linked to the node transfer request 110 for the node 16-1 from “1/2” to “2/2”. Further, the partial file progress ratio of the progress management information 106 linked to the node transfer instruction 102 of the node 16-2 is updated from “0/2” to “1/2”.

図24は次のステップS12の処理であり、制御部28は再び転送順序管理部26のファイル管理リスト96にリンクしている進捗管理情報104,106を調べ、ノード16−1からノード16−2への部分ファイルX2の転送が可能であることを判別し、判別した転送を細分化ファイル配信管理部32に依頼し、更にノード16−1に対応した転送回数管理情報114における現在転送数116をそれまでの0から1に更新する。   FIG. 24 shows the processing of the next step S12. The control unit 28 checks the progress management information 104 and 106 linked to the file management list 96 of the transfer order management unit 26 again, and the node 16-1 to the node 16-2. It is determined that the partial file X2 can be transferred to, and the determined transfer is requested to the subdivision file distribution management unit 32. Further, the current transfer number 116 in the transfer count management information 114 corresponding to the node 16-1 is set. Update from 0 to 1 until then.

図25は次のステップS13の処理であり、制御部28は図24のステップS12に示したノード進捗管理情報104の部分ファイル進捗比「2/2」から、ノード16−1に対するファイルXの転送が完了していることを判別し、図24のノード16−1に対応したノード転送要求100をファイル管理リスト96から削除する。   FIG. 25 shows the processing of the next step S13, and the control unit 28 transfers the file X to the node 16-1 from the partial file progress ratio “2/2” of the node progress management information 104 shown in step S12 of FIG. Is deleted, and the node transfer request 100 corresponding to the node 16-1 in FIG. 24 is deleted from the file management list 96.

このときファイル管理リスト96のファイル名98に対する転送元情報108はノード16−1を示す「Host1」に書き換える。そして、、転送要求受付部24の転送要求44にノード16−1に対するファイルXの転送が完了したことを記録する。   At this time, the transfer source information 108 for the file name 98 in the file management list 96 is rewritten to “Host 1” indicating the node 16-1. Then, the transfer request 44 of the transfer request receiving unit 24 records that the transfer of the file X to the node 16-1 is completed.

図26は次のステップS14の処理であり、図24のステップS12で転送依頼を受けた細分化ファイル配信管理部32がノード16−1に対し転送指示命令を発行し、ノード16−1からノード16−2に部分ファイルX2を転送させる。   FIG. 26 shows the processing of the next step S14. The segmented file distribution management unit 32 that has received the transfer request in step S12 of FIG. 24 issues a transfer instruction command to the node 16-1, and the nodes 16-1 to 16 The partial file X2 is transferred to 16-2.

図27は次のステップS15の処理であり、ノード16−1からノード16−2に対する部分ファイルX2の転送が完了すると、細分化ファイル配信管理部32が転送完了を制御部28に通知する。   FIG. 27 shows the process of the next step S15. When the transfer of the partial file X2 from the node 16-1 to the node 16-2 is completed, the segmented file distribution management unit 32 notifies the control unit 28 of the transfer completion.

制御部28は、ノード16−2に対するノード転送要求102にリンクしている進捗管理情報106の部分ファイル進捗比をそれまでの「1/2」から「2/2」に更新する。更に、ノード16−2に対応した転送回数管理情報114の現在転送数116を1つ減らして0に戻す。   The control unit 28 updates the partial file progress ratio of the progress management information 106 linked to the node transfer request 102 for the node 16-2 from “1/2” so far to “2/2”. Further, the current transfer number 116 of the transfer count management information 114 corresponding to the node 16-2 is decreased by one and returned to zero.

図28は次のステップS16の処理であり、図27のステップS15におけるノード16−2に対応したノード転送要求102にリンクしている進捗管理情報106の部分ファイル進捗比が「2/2」になっていることで、ノード16−2に対するファイルXの転送が完了したことを判別する。   FIG. 28 shows the processing of the next step S16, and the partial file progress ratio of the progress management information 106 linked to the node transfer request 102 corresponding to the node 16-2 in step S15 of FIG. 27 is “2/2”. Therefore, it is determined that the transfer of the file X to the node 16-2 is completed.

ファイルXの転送完了を判別すると、転送順序管理部26からファイル管理リスト96を削除し、更に転送要求44に対しノード16−2へのファイルXの転送が完了したことを記録する。最終的に転送要求受付部24が、要求したファイルXのノード16−1,16−2に対する転送が完了していることを判別し、転送正常終了を通知して一連の転送処理を終了する。   When it is determined that the transfer of the file X is completed, the file management list 96 is deleted from the transfer order management unit 26, and the transfer request 44 records that the transfer of the file X to the node 16-2 is completed. Finally, the transfer request receiving unit 24 determines that the transfer of the requested file X to the nodes 16-1 and 16-2 has been completed, notifies the normal end of transfer, and ends a series of transfer processes.

本発明は図1のデータ転送スケジューラ10のコンピュータで実行されるプログラムを提供する。このプログラムは図9乃至図12のフローチャートに示した内容となる。   The present invention provides a program executed by the computer of the data transfer scheduler 10 of FIG. This program has the contents shown in the flowcharts of FIGS.

また本発明は、本実施形態のデータ転送スケジューラ10を実現する図8のハードウェア環境を持つコンピュータで実行されるプログラムを格納した記録媒体を提供する。   The present invention also provides a recording medium storing a program executed by a computer having the hardware environment of FIG. 8 that implements the data transfer scheduler 10 of the present embodiment.

ここで記録媒体とは、CD−ROM、フロッピィディスク(R)、DVDディスク、光磁気ディスク、ICカードなどの可搬型記憶媒体や、コンピュータシステムの内外に備えられたハードディスクドライブなどの記憶装置の他、回線を介してプログラムを保持するデータベースあるいは他のコンピュータシステム、更にそのデータベース、更には回線上の伝送媒体を含むものである。   Here, the recording medium is a portable storage medium such as a CD-ROM, a floppy disk (R), a DVD disk, a magneto-optical disk, an IC card, or a storage device such as a hard disk drive provided inside or outside the computer system. , Including a database or other computer system that holds the program via the line, the database, and a transmission medium on the line.

なお上記の実施形態は転送先のノードとしてサーバを例にとるものであったが、本発明はこれに限定されず、適宜の情報処理装置や機器をノードとするファイルサーバからのデータ転送にそのまま適用できる。   In the above-described embodiment, a server is taken as an example of a transfer destination node. However, the present invention is not limited to this, and the data transfer from a file server having an appropriate information processing apparatus or device as a node is performed as it is. Applicable.

また上記の実施形態にあっては、ファイルを予め定めた固定長の部分ファイルに細分化して転送する場合を例にとっているが、ファイルサイズが部分ファイルのサイズ長より小さい場合には部分ファイル数は1つであり、ファイルサーバから転送先の複数のノードに対し1つのファイルを近接ノード間転送によりバケツリレー転送することになる。   In the above embodiment, the file is subdivided into a predetermined fixed-length partial file and transferred. However, if the file size is smaller than the partial file size, the number of partial files is One file is transferred from the file server to a plurality of transfer destination nodes by bucket relay transfer by transfer between adjacent nodes.

また本発明はその目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。   Further, the present invention includes appropriate modifications that do not impair the objects and advantages thereof, and is not limited by the numerical values shown in the above embodiments.

ここで本発明の特徴を列挙すると次の付記のようになる。
(付記)

(付記1)(装置)
ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置に於いて、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部と、
前記転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、前記ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、前記ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部と、
前記ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部と、
を備えたことを特徴とするデータ転送スケジュール装置。(1)
Here, the features of the present invention are enumerated as follows.
(Appendix)

(Appendix 1) (Device)
In a data transfer schedule device that schedules and manages data transfer from a file server to a plurality of nodes,
A transfer request receiving unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes;
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of transfer nodes by concatenating the file names, and subdividing according to the order of the file management list A file transfer order management unit that requests file transfer to transfer a partial file between adjacent nodes;
When receiving the file transfer request, a subdivision file distribution management unit that instructs the file server and the node that are the request destination to execute file transfer, and
A data transfer schedule device comprising: (1)

(付記2)(ファイル転送順序管理部の詳細)
付記1記載のデータ転送スケジュール装置に於いて、前記ファイル転送順序管理部は、ファイル転送を依頼したノードでの同一部分ファイルの次のノードへの転送回数を1回に制限して前記ファイル管理リストにおけるノード転送要求の配列順に部分ファイルを順次転送させることを特徴とするデータ転送スケジュール装置。(2)
(Appendix 2) (Details of File Transfer Order Management Unit)
In the data transfer schedule device according to attachment 1, the file transfer order management unit restricts the number of transfers to the next node of the same partial file at the node that requested the file transfer to one, and the file management list A data transfer scheduling apparatus for sequentially transferring partial files in the order of arrangement of node transfer requests in the system. (2)

(付記3)(ファイル転送順序管理部の詳細)
付記1記載のデータ転送スケジュール装置に於いて、前記ファイル転送順序管理部は、
前記転送要求を転送先ノード毎のノード転送要求に分解した後にファイル名と転送先アドレスでソートし、前記ファイル名にソートした前記ノード転送要求を連結して転送ノードの順番を示すファイル管理リストを生成するソート処理部と、
前記ファイルサーバ及び全ノードにキャッシュされている保有ファイルの一覧を収集し、前記ファイル管理リストに転送元ファイルのキャッシュ位置を検出して設定するキャッシュ位置取得部と、
前記ファイル管理リストに配列したノード転送要求毎に、次ノードに対する部分ファイルの転送進捗状況を示す進捗管理情報と、次ノードに対する同じ部分ファイルの転送回数を所定の最大転送可能数に制限する転送回数管理情報とを生成して管理する転送情報管理部と、
前記進捗管理情報及び転送回数管理情報に基づいて、転送可能なノードを判定して前記細分化ファイル配信管理部にファイル転送を依頼すると共に、前記転送回数管理情報における同じ部分ファイルの転送回数を更新するファイル転送依頼部と、
前記細分化ファイル配信管理部から依頼したファイル転送の完了通知を受けた際に、前記進捗管理情報に記述している部分ファイルの転送進捗状況を更新し、全ての部分ファイルの転送完了を判別した場合は、対応するノード転送要求を前記ファイル管理リストから削除し、更に、前記転送回数管理情報の同じ部分ファイルの転送回数が最大転送可能数に達していた場合は次の部分ファイル転送のために前記転送回数を1つ減らす転送完了処理部と、
を備えたことを特徴とするデータ転送スケジュール装置。(3)
(Appendix 3) (Details of File Transfer Order Management Unit)
In the data transfer schedule device according to attachment 1, the file transfer order management unit includes:
A file management list indicating the order of transfer nodes by concatenating the transfer requests sorted into file names and transfer destination addresses after separating the transfer requests into node transfer requests for each transfer destination node and concatenating the node transfer requests sorted into the file names. A sort processing unit to be generated;
A cache position acquisition unit that collects a list of cached files cached in the file server and all nodes, and detects and sets a cache position of a transfer source file in the file management list;
For each node transfer request arranged in the file management list, progress management information indicating the transfer progress status of the partial file to the next node, and the transfer count that limits the transfer count of the same partial file to the next node to a predetermined maximum transferable number A transfer information management unit that generates and manages management information;
Based on the progress management information and the transfer count management information, determine a transferable node, request the subdivision file distribution management unit to transfer the file, and update the transfer count of the same partial file in the transfer count management information A file transfer requesting unit,
When receiving the file transfer completion notification requested from the subdivided file distribution management unit, the transfer progress status of the partial files described in the progress management information is updated, and the transfer completion of all the partial files is determined. The corresponding node transfer request is deleted from the file management list, and if the transfer count of the same partial file in the transfer count management information reaches the maximum transferable number, the next partial file transfer is performed. A transfer completion processing unit that reduces the number of transfers by one;
A data transfer schedule device comprising: (3)

(付記4)(ファイル転送順序管理部の詳細)
付記3記載のデータ転送スケジュール装置に於いて、前記転送情報管理部で管理する次ノードに対する同じ部分ファイルの最大転送可能数を1に設定したことを特徴とするデータ転送スケジュール装置。(4)
(Appendix 4) (Details of File Transfer Order Management Unit)
The data transfer schedule device according to appendix 3, wherein the maximum transferable number of the same partial file for the next node managed by the transfer information management unit is set to 1. (4)

(付記5)(転送可能ノードの判定)
付記1記載のデータ転送スケジュール装置に於いて、前記ファイル転送依頼部は、
前記ファイル管理リストに配列したノード転送要求にリンクしている前記ファイルサーバを含む各ノードの進捗管理情報及び転送回数管理情報を配列順に調べ、
前記転送回数管理情報の部分ファイル転送回数が最大転送可能数未満で、且つ前記進捗管理情報が全ての部分ファイルの転送完了を示していなければ、転送可能ノードと判定することを特徴とするデータ転送スケジュール装置。(5)
(Appendix 5) (Determination of transferable nodes)
In the data transfer schedule device according to attachment 1, the file transfer request unit includes:
Check the progress management information and transfer count management information of each node including the file server linked to the node transfer request arranged in the file management list in the order of arrangement,
Data transfer characterized in that it is determined as a transferable node if the partial file transfer count of the transfer count management information is less than the maximum transferable number and the progress management information does not indicate completion of transfer of all partial files. Schedule device. (5)

(付記6)(プログラム)
ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置のコンピュータを、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部、
前記転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、前記ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、前記ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部、
前記ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部、
として機能させることを特徴とするプログラム。(6)
(Appendix 6) (Program)
A data transfer scheduling device computer that schedules and manages data transfer from a file server to a plurality of nodes,
A transfer request receiving unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes,
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of transfer nodes by concatenating the file names, and subdividing according to the order of the file management list File transfer order management unit that requests file transfer to transfer partial files between adjacent nodes,
When receiving the file transfer request, a subdivided file distribution management unit for instructing and executing file transfer to the file server and node as a request destination,
A program characterized by functioning as (6)

(付記7)(ファイル転送順序管理部の詳細)
付記6記載のプログラムに於いて、前記ファイル転送順序管理部は、ファイル転送を依頼したノードでの同一部分ファイルの次のノードへの転送回数を1回に制限して前記ファイル管理リストにおけるノード転送要求の配列順に部分ファイルを順次転送させることを特徴とするプログラム。
(Appendix 7) (Details of File Transfer Order Management Unit)
In the program according to attachment 6, the file transfer order management unit restricts the number of transfers to the next node of the same partial file at the node that requested the file transfer to one node transfer in the file management list. A program that sequentially transfers partial files in the order of request arrangement.

(付記8)(ファイル転送順序管理部の詳細)
付記6記載のプログラムに於いて、前記ファイル転送順序管理部は、
前記転送要求を転送先ノード毎のノード転送要求に分解した後にファイル名と転送先アドレスでソートし、前記ファイル名にソートした前記ノード転送要求を連結して転送ノードの順番を示すファイル管理リストを生成するソート処理部と、
前記ファイルサーバ及び全ノードにキャッシュされている保有ファイルの一覧を収集し、前記ファイル管理リストに転送元ファイルのキャッシュ位置を検出して設定するキャッシュ位置取得部と、
前記ファイル管理リストに配列したノード転送要求毎に、次ノードに対する部分ファイルの転送進捗状況を示す進捗管理情報と、次ノードに対する同じ部分ファイルの転送回数を所定の最大転送可能数に制限する転送回数管理情報とを生成して管理する転送情報管理部と、
前記進捗管理情報及び転送回数管理情報に基づいて、転送可能なノードを判定して前記細分化ファイル配信管理部にファイル転送を依頼すると共に、前記転送回数管理情報における同じ部分ファイルの転送回数を更新するファイル転送依頼部と、
前記細分化ファイル配信管理部から依頼したファイル転送の完了通知を受けた際に、前記進捗管理情報に記述している部分ファイルの転送進捗状況を更新し、全ての部分ファイルの転送完了を判別した場合は、対応するノード転送要求を前記ファイル管理リストから削除し、更に、前記転送回数管理情報の同じ部分ファイルの転送回数が最大転送可能数に達していた場合は次の部分ファイル転送のために前記転送回数を1つ減らす転送完了処理部と、
を備えたことを特徴とするプログラム。
(Appendix 8) (Details of File Transfer Order Management Unit)
In the program according to attachment 6, the file transfer order management unit includes:
A file management list indicating the order of transfer nodes by concatenating the transfer requests sorted into file names and transfer destination addresses after separating the transfer requests into node transfer requests for each transfer destination node and concatenating the node transfer requests sorted into the file names. A sort processing unit to be generated;
A cache position acquisition unit that collects a list of cached files cached in the file server and all nodes, and detects and sets a cache position of a transfer source file in the file management list;
For each node transfer request arranged in the file management list, progress management information indicating the transfer progress status of the partial file to the next node, and the transfer count that limits the transfer count of the same partial file to the next node to a predetermined maximum transferable number A transfer information management unit that generates and manages management information;
Based on the progress management information and the transfer count management information, determine a transferable node, request the subdivision file distribution management unit to transfer the file, and update the transfer count of the same partial file in the transfer count management information A file transfer requesting unit,
When receiving the file transfer completion notification requested from the subdivided file distribution management unit, the transfer progress status of the partial files described in the progress management information is updated, and the transfer completion of all the partial files is determined. The corresponding node transfer request is deleted from the file management list, and if the transfer count of the same partial file in the transfer count management information reaches the maximum transferable number, the next partial file transfer is performed. A transfer completion processing unit that reduces the number of transfers by one;
A program characterized by comprising:

(付記9)(ファイル転送順序管理部の詳細)
付記8記載のプログラムに於いて、前記転送情報管理部で管理する次ノードに対する同じ部分ファイルの最大転送可能数を1に設定したことを特徴とするプログラム。
(Appendix 9) (Details of File Transfer Order Management Unit)
The program according to appendix 8, wherein the maximum transferable number of the same partial file for the next node managed by the transfer information management unit is set to 1.

(付記10)(転送可能ノードの判定)
付記6記載のプログラムに於いて、前記ファイル転送依頼部は、
前記ファイル管理リストに配列したノード転送要求にリンクしている前記ファイルサーバを含む各ノードの進捗管理情報及び転送回数管理情報を配列順に調べ、
前記転送回数管理情報の部分ファイル転送回数が最大転送可能数未満で、且つ前記進捗管理情報が全ての部分ファイルの転送完了を示していなければ、転送可能ノードと判定することを特徴とするプログラム。
(Appendix 10) (Determination of transferable node)
In the program according to appendix 6, the file transfer request unit includes:
Check the progress management information and transfer count management information of each node including the file server linked to the node transfer request arranged in the file management list in the order of arrangement,
A program for determining a transferable node if the number of partial file transfers in the transfer count management information is less than the maximum transferable number and the progress management information does not indicate completion of transfer of all partial files.

(付記11)(記録媒体)
ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置のコンピュータを、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部、
前記転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、前記ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、前記ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部、
前記ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部、
として機能させるプログラムを格納したコンピュータ可読な記録媒体。(7)
(Appendix 11) (Recording medium)
A data transfer scheduling device computer that schedules and manages data transfer from a file server to a plurality of nodes,
A transfer request receiving unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes,
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of transfer nodes by concatenating the file names, and subdividing according to the order of the file management list File transfer order management unit that requests file transfer to transfer partial files between adjacent nodes,
When receiving the file transfer request, a subdivided file distribution management unit for instructing and executing file transfer to the file server and node as a request destination,
A computer-readable recording medium storing a program that functions as a computer. (7)

(付記12)(方法)
ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール方法に於いて、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付プロセスと、
前記転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、前記ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、前記ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理プロセスと、
前記ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理プロセスと、
を備えたことを特徴とするデータ転送スケジュール方法。(8)
(Appendix 12) (Method)
In a data transfer scheduling method for scheduling and managing data transfer from a file server to a plurality of nodes,
A transfer request reception process for receiving a transfer request specifying a file name and a plurality of transfer destination nodes;
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of transfer nodes by concatenating the file names, and subdividing according to the order of the file management list A file transfer order management process that requests a file transfer to transfer a partial file between adjacent nodes;
A subdivided file delivery management process for instructing and executing file transfer to the file server and node as a request destination when receiving the file transfer request;
A data transfer schedule method comprising: (8)

(付記13)(ファイル転送順序管理プロセスの詳細)
付記12記載のデータ転送スケジュール方法に於いて、前記ファイル転送順序管理プロセスは、ファイル転送を依頼したノードでの同一部分ファイルの次のノードへの転送回数を1回に制限して前記ファイル管理リストにおけるノード転送要求の配列順に部分ファイルを順次転送させることを特徴とするデータデータ転送スケジュール方法。
(Appendix 13) (Details of file transfer order management process)
The data transfer scheduling method according to appendix 12, wherein the file transfer order management process limits the number of times the same partial file is transferred to the next node at the node that requested the file transfer to one, and the file management list A data data transfer schedule method, wherein partial files are transferred sequentially in the order of arrangement of node transfer requests.

(付記14)(ファイル転送順序管理プロセスの詳細)
付記12記載のデータ転送スケジュール方法に於いて、前記ファイル転送順序管理プロセスは、
前記転送要求を転送先ノード毎のノード転送要求に分解した後にファイル名と転送先アドレスでソートし、前記ファイル名にソートした前記ノード転送要求を連結して転送ノードの順番を示すファイル管理リストを生成するソート処理プロセスと、
前記ファイルサーバ及び全ノードにキャッシュされている保有ファイルの一覧を収集し、前記ファイル管理リストに転送元ファイルのキャッシュ位置を検出して設定するキャッシュ位置取得プロセスと、
前記ファイル管理リストに配列したノード転送要求毎に、次ノードに対する部分ファイルの転送進捗状況を示す進捗管理情報と、次ノードに対する同じ部分ファイルの転送回数を所定の最大転送可能数に制限する転送回数管理情報とを生成して管理する転送情報管理プロセスと、
前記進捗管理情報及び転送回数管理情報に基づいて、転送可能なノードを判定して前記細分化ファイル配信管理プロセスにファイル転送を依頼すると共に、前記転送回数管理情報における同じ部分ファイルの転送回数を更新するファイル転送依頼プロセスと、
前記細分化ファイル配信管理プロセスから依頼したファイル転送の完了通知を受けた際に、前記進捗管理情報に記述している部分ファイルの転送進捗状況を更新し、全ての部分ファイルの転送完了を判別した場合は、対応するノード転送要求を前記ファイル管理リストから削除し、更に、前記転送回数管理情報の同じ部分ファイルの転送回数が最大転送可能数に達していた場合は次の部分ファイル転送のために前記転送回数を1つ減らす転送完了処理プロセスと、
を備えたことを特徴とするデータ転送スケジュール方法。
(Appendix 14) (Details of file transfer order management process)
In the data transfer schedule method according to attachment 12, the file transfer order management process includes:
A file management list indicating the order of transfer nodes by concatenating the transfer requests sorted into file names and transfer destination addresses after separating the transfer requests into node transfer requests for each transfer destination node and concatenating the node transfer requests sorted into the file names. Sort process to generate,
A cache location acquisition process that collects a list of retained files cached in the file server and all nodes, and detects and sets a cache location of a transfer source file in the file management list;
For each node transfer request arranged in the file management list, progress management information indicating the transfer progress status of the partial file to the next node, and the transfer count that limits the transfer count of the same partial file to the next node to a predetermined maximum transferable number A transfer information management process for generating and managing management information;
Based on the progress management information and the transfer count management information, determine a transferable node and request the subdivision file distribution management process to transfer the file, and update the transfer count of the same partial file in the transfer count management information File transfer request process to
When the file transfer completion notification requested from the subdivided file distribution management process is received, the transfer progress of the partial file described in the progress management information is updated, and the transfer completion of all the partial files is determined. The corresponding node transfer request is deleted from the file management list, and if the transfer count of the same partial file in the transfer count management information reaches the maximum transferable number, the next partial file transfer is performed. A transfer completion process for reducing the number of transfers by one;
A data transfer schedule method comprising:

(付記15)(ファイル転送順序管理プロセスの詳細)
付記14記載のデータ転送スケジュール方法に於いて、前記転送情報管理プロセスで管理する次ノードに対する同じ部分ファイルの最大転送可能数を1に設定したことを特徴とするデータ転送スケジュール方法。
(Appendix 15) (Details of file transfer order management process)
15. The data transfer schedule method according to claim 14, wherein the maximum transferable number of the same partial file for the next node managed by the transfer information management process is set to 1.

(付記16)(転送可能ノードの判定)
付記12記載のデータ転送スケジュール方法に於いて、前記ファイル転送依頼プロセスは、
前記ファイル管理リストに配列したノード転送要求にリンクしている前記ファイルサーバを含む各ノードの進捗管理情報及び転送回数管理情報を配列順に調べ、
前記転送回数管理情報の部分ファイル転送回数が最大転送可能数未満で、且つ前記進捗管理情報が全ての部分ファイルの転送完了を示していなければ、転送可能ノードと判定することを特徴とするデータ転送スケジュール方法。
(Supplementary Note 16) (Determination of transferable node)
In the data transfer schedule method according to attachment 12, the file transfer request process includes:
Check the progress management information and transfer count management information of each node including the file server linked to the node transfer request arranged in the file management list in the order of arrangement,
Data transfer characterized in that it is determined as a transferable node if the partial file transfer count of the transfer count management information is less than the maximum transferable number and the progress management information does not indicate completion of transfer of all partial files. Schedule method.

本発明のデータ転送スケジューラを備えたデータ配信システムの実施形態を示した説明図Explanatory drawing which showed embodiment of the data delivery system provided with the data transfer scheduler of this invention 本実施形態におけるデータ転送スケジューラの機能構成を示したブロック図The block diagram which showed the function structure of the data transfer scheduler in this embodiment 本実施形態で受付ける転送要求を示した説明図Explanatory drawing showing transfer requests accepted in this embodiment 本実施形態のデータ転送スケジューラで生成管理されるファイル管理リスト、進捗管理情報及び転送回数管理情報を示した説明図Explanatory diagram showing a file management list, progress management information, and transfer count management information generated and managed by the data transfer scheduler of this embodiment 図4のノード転送要求、進捗管理情報及び転送回数管理情報の内容を示した説明図Explanatory diagram showing the contents of the node transfer request, progress management information and transfer count management information of FIG. 図2のファイルAを5つのノードに6つの部分ファイルに細分化してデータ転送する様子を示したタイムチャートTime chart showing how file A in FIG. 2 is subdivided into 6 partial files in 5 nodes and transferred. 図2のファイルBを2つのノードに6つの部分ファイルに細分化してデータ転送する様子を示したタイムチャートTime chart showing how file B in FIG. 2 is subdivided into six partial files on two nodes and data transferred 本実施形態のデータ転送スケジューラのプログラムを実行するコンピュータのハードウェア環境を示したブロック図A block diagram showing a hardware environment of a computer that executes a program of the data transfer scheduler of the present embodiment 本実施形態におけるデータ転送スケジュール処理を示したフローチャートThe flowchart which showed the data transfer schedule process in this embodiment 図9のステップS2におけるソート処理の詳細を示したフローチャートThe flowchart which showed the detail of the sort process in step S2 of FIG. 図9のステップS3における転送順序管理処理の詳細を示したフローチャートThe flowchart which showed the detail of the transfer order management process in step S3 of FIG. 図11のステップS4における転送可能ノード判定処理の詳細を示したフローチャートThe flowchart which showed the detail of the transferable node determination process in step S4 of FIG. 転送要求を受けたステップS1の処理を示した説明図Explanatory drawing which showed the process of step S1 which received the transfer request 転送要求を分解してファイル管理リストを生成するステップS2の処理を示した説明図Explanatory drawing which showed the process of step S2 which decomposes | disassembles a transfer request and produces | generates a file management list ファイル管理リストに進捗管理情報を初期化してリンクするステップS3の処理を示した説明図Explanatory drawing which showed the process of step S3 which initializes and links progress management information to a file management list ファイルサーバ及び全ノードの保有ファイルを取得してファイル管理リストにファイル位置を記録するステップS4の処理を示した説明図Explanatory drawing which showed the process of step S4 which acquires a file server and the possession file of all the nodes, and records a file position on a file management list 転送可能ノードを調べてファイルサーバから最初のノードに部分ファイルX1の転送を依頼するステップS5の処理の説明図Explanatory drawing of the process of step S5 which checks the transferable node and requests the first node to transfer the partial file X1 from the file server. ファイルサーバから最初のノードに部分ファイルX1を転送するステップS6の処理の説明図Explanatory drawing of the process of step S6 which transfers the partial file X1 from the file server to the first node. 部分ファイルX1の転送完了に伴い転送順序情報と進捗管理情報を更新するステップS7の処理を示した説明図Explanatory drawing which showed the process of step S7 which updates transfer order information and progress management information with the completion of transfer of the partial file X1. 転送可能ノードを調べてファイルサーバから最初のノードに次の部分ファイルX2の転送を依頼するステップS8の処理の説明図Explanatory drawing of the process of step S8 which checks the transferable node and requests the first node to transfer the next partial file X2 from the file server. 転送可能ノードを調べて最初のノードから次のノードに部分ファイルX1の転送を依頼するステップS9の処理の説明図Explanatory drawing of the process of step S9 which checks the transferable node and requests the transfer of the partial file X1 from the first node to the next node. 転送依頼に基づき部分ファイルX1,X2を転送するステップS10の処理の説明図Explanatory drawing of the process of step S10 which transfers partial file X1, X2 based on a transfer request 部分ファイルX1,X2の転送完了に伴い転送順序情報と進捗管理情報を更新するステップS11の処理を示した説明図Explanatory drawing which showed the process of step S11 which updates transfer order information and progress management information with the completion of transfer of partial files X1, X2 転送可能ノードを調べて最初のノードから次のノードに部分ファイルX2の転送を依頼するステップS12の処理の説明図Explanatory drawing of the process of step S12 which checks the transferable node and requests transfer of the partial file X2 from the first node to the next node 最初のノードへの転送完了を判別してファイル管理リストから対応するノード転送要求を削除するステップS13の処理を示した説明図Explanatory drawing which showed the process of step S13 which discriminates the completion of transfer to the first node and deletes the corresponding node transfer request from the file management list 転送依頼に基づき部分ファイルX2を転送するステップS14の処理の説明図Explanatory drawing of the process of step S14 which transfers the partial file X2 based on a transfer request 部分ファイルX2の転送完了に伴い転送順序情報と進捗管理情報を更新するステップS15の処理を示した説明図Explanatory drawing which showed the process of step S15 which updates transfer order information and progress management information with the completion of transfer of partial file X2 次のノードへの転送完了を判別してファイル管理リストから対応するノード転送要求を削除した後に依頼元に転送正常終了を通知するステップS16の処理を示した説明図Explanatory diagram showing the processing of step S16 for notifying completion of transfer to the request source after determining completion of transfer to the next node and deleting the corresponding node transfer request from the file management list

符号の説明Explanation of symbols

10:データ転送スケジューラ
12:ファイルサーバ
14:ネットワーク
16−1〜16−5:ノード
18−1〜18−5:データ転送エージェント
20−1〜20−5:転送キャッシュ
22−1〜22−5:ストレージ
24:転送要求受付部
26:転送順序管理部
28:制御部
30:キャッシュ位置取得部
32:細分化ファイル配信管理部
34:ソート処理部
36:転送要求格納部
38:転送情報管理部
40:ファイル転送依頼部
42:転送完了処理部
44,44−1,44−2:転送要求
46−1,46−2,96:ファイル管理リスト
48,54,78,98:ファイル名
50:転送先ノード群
52,104,106:進捗管理情報
54,110,112:転送回数管理情報
56−1〜56−5,100,102:ノード転送要求
58:転送元ファイルサーバ
60,60−1〜60−5,104,106:ノード進捗管理情報
62,62−1〜62−5:ノード名
64,64−1〜64−5:最大転送可能数
66,66−1〜66−5,112,116:現在転送数
68:ファイル名
70:転送先ノード名
72:部分ファイル進捗比
74:ノード名
76:CPU
78:バス
80:RAM
82:ROM
84:ハードディスクドライブ
86:デバイスインタフェース
88:キーボード
90:マウス
92:ディスプレイ
94:ネットワークアダプタ
10: Data transfer scheduler 12: File server 14: Networks 16-1 to 16-5: Nodes 18-1 to 18-5: Data transfer agents 20-1 to 20-5: Transfer caches 22-1 to 22-5: Storage 24: Transfer request receiving unit 26: Transfer order management unit 28: Control unit 30: Cache position acquisition unit 32: Subdivided file distribution management unit 34: Sort processing unit 36: Transfer request storage unit 38: Transfer information management unit 40: File transfer request unit 42: Transfer completion processing unit 44, 44-1, 44-2: Transfer request 46-1, 46-2, 96: File management list 48, 54, 78, 98: File name 50: Transfer destination node Groups 52, 104, 106: Progress management information 54, 110, 112: Transfer count management information 56-1 to 56-5, 100, 102: Node transfer request 58 Transfer source file servers 60, 60-1 to 60-5, 104, 106: Node progress management information 62, 62-1 to 62-5: Node names 64, 64-1 to 64-5: Maximum transferable number 66, 66-1 to 66-5, 112, 116: Current transfer number 68: File name 70: Transfer destination node name 72: Partial file progress ratio 74: Node name 76: CPU
78: Bus 80: RAM
82: ROM
84: Hard disk drive 86: Device interface 88: Keyboard 90: Mouse 92: Display 94: Network adapter

Claims (8)

ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置に於いて、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部と、
前記転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、前記ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、前記ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部と、
前記ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部と、
を備えたことを特徴とするデータ転送スケジュール装置。
In a data transfer schedule device that schedules and manages data transfer from a file server to a plurality of nodes,
A transfer request receiving unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes;
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of transfer nodes by concatenating the file names, and subdividing according to the order of the file management list A file transfer order management unit that requests file transfer to transfer a partial file between adjacent nodes;
When receiving the file transfer request, a subdivision file distribution management unit that instructs the file server and the node that are the request destination to execute file transfer, and
A data transfer schedule device comprising:
請求項1記載のデータ転送スケジュール装置に於いて、前記ファイル転送順序管理部は、ファイル転送を依頼したノードでの同一部分ファイルの次のノードへの転送回数を1回に制限して前記ファイル管理リストにおけるノード転送要求の配列順に部分ファイルを順次転送させることを特徴とするデータ転送スケジュール装置。
2. The data transfer schedule device according to claim 1, wherein the file transfer order management unit limits the number of transfers to the next node of the same partial file at the node that requested the file transfer to one time. A data transfer schedule device for transferring partial files sequentially in the order of arrangement of node transfer requests in a list.
請求項1記載のデータ転送スケジュール装置に於いて、前記ファイル転送順序管理部は、
前記転送要求を転送先ノード毎のノード転送要求に分解した後にファイル名と転送先アドレスでソートし、前記ファイル名にソートした前記ノード転送要求を連結して転送ノードの順番を示すファイル管理リストを生成するソート処理部と、
前記ファイルサーバ及び全ノードにキャッシュされている保有ファイルの一覧を収集し、前記ファイル管理リストに転送元ファイルのキャッシュ位置を検出して設定するキャッシュ位置取得部と、
前記ファイル管理リストに配列したノード転送要求毎に、次ノードに対する部分ファイルの転送進捗状況を示す進捗管理情報と、次ノードに対する同じ部分ファイルの転送回数を所定の最大転送可能数に制限する転送回数管理情報とを生成して管理する転送情報管理部と、
前記進捗管理情報及び転送回数管理情報に基づいて、転送可能なノードを判定して前記細分化ファイル配信管理部にファイル転送を依頼すると共に、前記転送回数管理情報における同じ部分ファイルの転送回数を更新するファイル転送依頼部と、
前記細分化ファイル配信管理部から依頼したファイル転送の完了通知を受けた際に、前記進捗管理情報に記述している部分ファイルの転送進捗状況を更新し、全ての部分ファイルの転送完了を判別した場合は、対応するノード転送要求を前記ファイル管理リストから削除し、更に、前記転送回数管理情報の同じ部分ファイルの転送回数が最大転送可能数に達していた場合は次の部分ファイル転送のために前記転送回数を1つ減らす転送完了処理部と、
を備えたことを特徴とするデータ転送スケジュール装置。
The data transfer schedule device according to claim 1, wherein the file transfer order management unit includes:
A file management list indicating the order of transfer nodes by concatenating the transfer requests sorted into file names and transfer destination addresses after separating the transfer requests into node transfer requests for each transfer destination node and concatenating the node transfer requests sorted into the file names. A sort processing unit to be generated;
A cache position acquisition unit that collects a list of cached files cached in the file server and all nodes, and detects and sets a cache position of a transfer source file in the file management list;
For each node transfer request arranged in the file management list, progress management information indicating the transfer progress status of the partial file to the next node, and the transfer count that limits the transfer count of the same partial file to the next node to a predetermined maximum transferable number A transfer information management unit that generates and manages management information;
Based on the progress management information and the transfer count management information, determine a transferable node, request the subdivision file distribution management unit to transfer the file, and update the transfer count of the same partial file in the transfer count management information A file transfer requesting unit,
When receiving the file transfer completion notification requested from the subdivided file distribution management unit, the transfer progress status of the partial files described in the progress management information is updated, and the transfer completion of all the partial files is determined. The corresponding node transfer request is deleted from the file management list, and if the transfer count of the same partial file in the transfer count management information reaches the maximum transferable number, the next partial file transfer is performed. A transfer completion processing unit that reduces the number of transfers by one;
A data transfer schedule device comprising:
請求項3記載のデータ転送スケジュール装置に於いて、前記転送情報管理部で管理する次ノードに対する同じ部分ファイルの最大転送可能数を1に設定したことを特徴とするデータ転送スケジュール装置。
4. The data transfer schedule device according to claim 3, wherein the maximum transferable number of the same partial file for the next node managed by the transfer information management unit is set to 1.
請求項1記載のデータ転送スケジュール装置に於いて、前記ファイル転送依頼部は、
前記ファイル管理リストに配列したノード転送要求にリンクしている前記ファイルサーバを含む各ノードの進捗管理情報及び転送回数管理情報を配列順に調べ、
前記転送回数管理情報の部分ファイル転送回数が最大転送可能数未満で、且つ前記進捗管理情報が全ての部分ファイルの転送完了を示していなければ、転送可能ノードと判定することを特徴とするデータ転送スケジュール装置。
The data transfer schedule device according to claim 1, wherein the file transfer request unit includes:
Check the progress management information and transfer count management information of each node including the file server linked to the node transfer request arranged in the file management list in the order of arrangement,
Data transfer characterized in that it is determined as a transferable node if the partial file transfer count of the transfer count management information is less than the maximum transferable number and the progress management information does not indicate completion of transfer of all partial files. Schedule device.
ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置のコンピュータを、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部、
前記転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、前記ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、前記ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部、
前記ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部、
として機能させることを特徴とするプログラム。
A data transfer scheduling device computer that schedules and manages data transfer from a file server to a plurality of nodes,
A transfer request receiving unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes,
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of transfer nodes by concatenating the file names, and subdividing according to the order of the file management list File transfer order management unit that requests file transfer to transfer partial files between adjacent nodes,
When receiving the file transfer request, a subdivided file distribution management unit for instructing and executing the file transfer to the file server and the node as the request destination,
A program characterized by functioning as
ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール装置のコンピュータを、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付部、
前記転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、前記ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、前記ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理部、
前記ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理部、
として機能させるプログラムを格納したコンピュータ可読な記録媒体。
A data transfer scheduling device computer that schedules and manages data transfer from a file server to a plurality of nodes,
A transfer request receiving unit that receives a transfer request specifying a file name and a plurality of transfer destination nodes,
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of transfer nodes by concatenating the file names, and subdividing according to the order of the file management list File transfer order management unit that requests file transfer to transfer partial files between adjacent nodes,
When receiving the file transfer request, a subdivided file distribution management unit for instructing and executing file transfer to the file server and node as a request destination,
A computer-readable recording medium storing a program that functions as a computer.
ファイルサーバから複数のノードに対するデータ転送をスケジュールして管理するデータ転送スケジュール方法に於いて、
ファイル名と複数の転送先ノードを指定した転送要求を受け付ける転送要求受付プロセスと、
前記転送要求を転送先ノード毎のノード転送要求に分解してソートした後に、前記ファイル名に連結して転送ノードの順番を示すファイル管理リストを生成し、前記ファイル管理リストの順番に従って細分化した部分ファイルを近接ノード間転送するようにファイル転送を依頼するファイル転送順序管理プロセスと、
前記ファイル転送依頼を受けた際に、依頼先となる前記ファイルサーバ及びノードにファイル転送を指示して実行させる細分化ファイル配信管理プロセスと、
を備えたことを特徴とするデータ転送スケジュール方法。
In a data transfer scheduling method for scheduling and managing data transfer from a file server to a plurality of nodes,
A transfer request reception process for receiving a transfer request specifying a file name and a plurality of transfer destination nodes;
After decomposing and sorting the transfer requests into node transfer requests for each transfer destination node, generating a file management list indicating the order of transfer nodes by concatenating the file names, and subdividing according to the order of the file management list A file transfer order management process that requests a file transfer to transfer a partial file between adjacent nodes;
A subdivided file delivery management process for instructing and executing file transfer to the file server and node as a request destination when receiving the file transfer request;
A data transfer schedule method comprising:
JP2007147711A 2007-06-04 2007-06-04 Data transfer schedule device, program, recording medium and method Active JP5205817B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007147711A JP5205817B2 (en) 2007-06-04 2007-06-04 Data transfer schedule device, program, recording medium and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007147711A JP5205817B2 (en) 2007-06-04 2007-06-04 Data transfer schedule device, program, recording medium and method

Publications (2)

Publication Number Publication Date
JP2008299769A true JP2008299769A (en) 2008-12-11
JP5205817B2 JP5205817B2 (en) 2013-06-05

Family

ID=40173209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007147711A Active JP5205817B2 (en) 2007-06-04 2007-06-04 Data transfer schedule device, program, recording medium and method

Country Status (1)

Country Link
JP (1) JP5205817B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020057033A (en) * 2018-09-28 2020-04-09 株式会社リコー Process execution device, process execution program and process execution system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206657916U (en) 2016-10-25 2017-11-21 泰科电子(上海)有限公司 Connector and connector assembly

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0498557A (en) * 1990-08-17 1992-03-31 Toyota Motor Corp File transfer method
JPH07200426A (en) * 1993-12-28 1995-08-04 Nec Corp Sequential type repeat file transfer device
JPH08314821A (en) * 1995-05-22 1996-11-29 Canon Inc Data transfer method
JPH09185563A (en) * 1995-10-31 1997-07-15 Nec Corp File transfer system, file transfer method and storage medium storing file transfer program
JPH09204346A (en) * 1996-01-29 1997-08-05 Nec Corp File batch transmission scheduling system
JP2003177991A (en) * 2001-12-12 2003-06-27 Sony Corp Contents distribution management system, information processor, method and computer program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0498557A (en) * 1990-08-17 1992-03-31 Toyota Motor Corp File transfer method
JPH07200426A (en) * 1993-12-28 1995-08-04 Nec Corp Sequential type repeat file transfer device
JPH08314821A (en) * 1995-05-22 1996-11-29 Canon Inc Data transfer method
JPH09185563A (en) * 1995-10-31 1997-07-15 Nec Corp File transfer system, file transfer method and storage medium storing file transfer program
JPH09204346A (en) * 1996-01-29 1997-08-05 Nec Corp File batch transmission scheduling system
JP2003177991A (en) * 2001-12-12 2003-06-27 Sony Corp Contents distribution management system, information processor, method and computer program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020057033A (en) * 2018-09-28 2020-04-09 株式会社リコー Process execution device, process execution program and process execution system

Also Published As

Publication number Publication date
JP5205817B2 (en) 2013-06-05

Similar Documents

Publication Publication Date Title
US9971823B2 (en) Dynamic replica failure detection and healing
JP4265245B2 (en) Computer system
JP5360978B2 (en) File server and file operation notification method in file server
CN104090806B (en) The processing method and processing device of AKU, upgrade request
US20070169167A1 (en) Control device and control method information system
US20100138540A1 (en) Method of managing organization of a computer system, computer system, and program for managing organization
WO2015196686A1 (en) Data storage method and data storage management server
EP4207688A1 (en) Asynchronous bookkeeping method and apparatus for blockchain, medium, and electronic device
JP6191159B2 (en) Server, backup system, backup method, and computer program
CN106537350A (en) Method for processing data quality exceptions in data processing system
US9137780B1 (en) Synchronizing multicast data distribution on a computing device
US20150106468A1 (en) Storage system and data access method
US10817512B2 (en) Standing queries in memory
JP5205817B2 (en) Data transfer schedule device, program, recording medium and method
JP2011070636A (en) Data synchronization system, data synchronization method, information processor, information processing method and program
JP2008124977A (en) Method, apparatus, and program of message delivery
CN109845199B (en) Merging read requests in a network device architecture
JP5884566B2 (en) Batch processing system, progress confirmation device, progress confirmation method, and program
US6883017B1 (en) System and method for distributing and collecting information between a server and a plurality of clients by merging a communication block from a final client of each circulation destination in each of a plurality of groups
JP4140014B2 (en) Client server system and data processing method of client server system
JP5530878B2 (en) Data replication management method in distributed system
CN110647298B (en) Data storage control method and device
JP5803908B2 (en) Storage system and storage system control method
JP6568232B2 (en) Computer system and device management method
JP5262593B2 (en) Data transfer system and data transfer method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5205817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150