JP2005063214A - Data management method and device - Google Patents

Data management method and device Download PDF

Info

Publication number
JP2005063214A
JP2005063214A JP2003293675A JP2003293675A JP2005063214A JP 2005063214 A JP2005063214 A JP 2005063214A JP 2003293675 A JP2003293675 A JP 2003293675A JP 2003293675 A JP2003293675 A JP 2003293675A JP 2005063214 A JP2005063214 A JP 2005063214A
Authority
JP
Japan
Prior art keywords
data
management
file
unit
files
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003293675A
Other languages
Japanese (ja)
Other versions
JP4238318B2 (en
Inventor
Osami Takebe
修見 建部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2003293675A priority Critical patent/JP4238318B2/en
Publication of JP2005063214A publication Critical patent/JP2005063214A/en
Application granted granted Critical
Publication of JP4238318B2 publication Critical patent/JP4238318B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To manage a plurality of data files regardless of the position of a recording medium. <P>SOLUTION: A network 18 communicates an information signal. A client device 10 is operated by a user. A recording part 42 is a recording medium for recording a data file. A processing part 40 includes a CPU for executing processing or the like. A management part 24 arranges a management file in a predetermined directory, and manages a plurality of directories by hierarchical structure. A determination part 28 determines, when a processing according to an instruction from the client device 10 is executed by the plurality of processing parts 40, the processing part 40 which should actually execute the processing. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、データ管理技術に関し、特にネットワークを介して複数の記録媒体に分散して記録されたデータを管理するためのデータ管理方法および装置に関する。   The present invention relates to a data management technique, and more particularly, to a data management method and apparatus for managing data recorded in a distributed manner on a plurality of recording media via a network.

近年、パーソナルコンピュータのコストが低下しているにもかかわらず、その能力は向上している。また、ネットワークのバンド幅も向上している。このような背景のもと、ネットワーク上の資源を仮想化し効率よく利用する技術のひとつがグリッド技術である。グリッド技術は、広域ネットワーク上に分散して配置された資源の存在場所および所有者などをユーザに意識させずに、単にネットワークに接続するだけでそれらの資源を利用できるようにする。グリッド技術を使用すれば、ネットワークに接続された多くのストレージに分散して格納されているデータを統一的に利用できる。   In recent years, the ability of personal computers has improved, despite the reduction in costs. Network bandwidth has also improved. Against this background, one technology for virtualizing and efficiently using resources on a network is grid technology. The grid technology makes it possible to use the resources simply by connecting to the network without making the user aware of the location and owner of the resources distributed on the wide area network. If grid technology is used, data distributed and stored in many storages connected to the network can be used uniformly.

ネットワークに接続された複数の計算機資源が持つ能力は、一般的に計算能力と記録能力に分類でき、前者はCPU(Central Processing Unit)の能力に、後者はストレージの能力に対応する。複数の計算機によって構成されるシステム全体の処理能力を向上させるためには、複数の計算機資源での計算能力と記録能力の効率を共に改善すべきである。なぜなら、計算を実行するためには、一般的にCPUだけでなくストレージも利用しており、複数の計算機資源での記録能力の効率を改善しなければ、大容量のデータを利用する計算が実行できず、さらに利用時にネットワーク上でのデータ転送が多発して計算能力を十分に発揮できない場合もある(例えば、非特許文献1参照。)。
建部,森田,松岡,関口,曽田,「ペタバイト スケールデータインテンシブコンピューティングのためのGrid Datafarmアーキテクチャ」,情報処理学会論文誌:ハイパフォーマンスコンピューティングシステム,社団法人情報処理学会,平成14年9月,第SIG6(HPS5)巻,第43号,p.184−185
The capabilities of a plurality of computer resources connected to the network can generally be classified into a calculation capability and a recording capability. The former corresponds to the capability of a CPU (Central Processing Unit), and the latter corresponds to the capability of storage. In order to improve the processing capacity of the entire system composed of a plurality of computers, the efficiency of the calculation capability and the recording capability in a plurality of computer resources should be improved together. This is because, in order to execute the calculation, not only the CPU but also the storage is generally used. If the efficiency of the recording ability with a plurality of computer resources is not improved, the calculation using a large amount of data is executed. In addition, there are cases where data transfer frequently occurs on the network at the time of use, and the computing ability cannot be fully exhibited (see, for example, Non-Patent Document 1).
Kenbe, Morita, Matsuoka, Sekiguchi, Iwata, “Grid Datafarm Architecture for Petabyte Scale Data Intensive Computing”, Transactions of Information Processing Society of Japan: High Performance Computing System, Information Processing Society of Japan, September 2002, SIG6 (HPS5), No. 43, p. 184-185

前述のごとく複数の計算機資源での計算能力と記録能力の効率を改善させれば、大容量のデータを利用した計算を高速に実行できる。しかしながら、グリッド技術は、ネットワークに接続された多くのストレージに格納されているデータファイルを統一的にユーザに利用させることを目的としているために、高速に計算を実行できるだけでは不十分であって、さらにユーザに対してデータファイルの格納位置を意識させないような操作性の高いインターフェース、特にデータファイルを管理するファイルシステムを提供する必要がある。すなわち、ユーザに対して、すべてのデータファイルがひとつのコンピュータのストレージに格納されているような使用感を与えるようなファイルシステムが必要である。   As described above, if the efficiency of the calculation capability and the recording capability with a plurality of computer resources is improved, calculation using a large amount of data can be executed at high speed. However, since the grid technology is intended to allow users to use data files stored in many storages connected to a network in a unified manner, it is not sufficient to perform calculations at high speed. Furthermore, there is a need to provide an interface with high operability so as not to make the user aware of the storage location of the data file, particularly a file system for managing the data file. That is, there is a need for a file system that gives the user a feeling that all data files are stored in the storage of one computer.

本発明はこうした状況に鑑みてなされたものであり、その目的は、複数のデータファイルが格納されているストレージの違いをユーザに意識させずに、それらのデータファイルを統一的に使用可能にしたデータ管理技術を提供することにある。   The present invention has been made in view of such circumstances, and its purpose is to make it possible to use these data files in a unified manner without making the user aware of the difference in storage in which a plurality of data files are stored. To provide data management technology.

本発明のある態様は、データ管理装置である。この装置は、複数のデータファイルがそれぞれ記録された複数の記録媒体に、ネットワークを介してアクセスするアクセス部と、複数のデータファイルにアクセスするためのパス情報を含んだ複数の管理用ファイルをそれぞれ生成する生成部と、複数のデータファイルを管理するために、複数のデータファイルのそれぞれに対応した管理用ファイルを所定のディレクトリに配置させ、さらにディレクトリを含んだ複数のディレクトリを階層構造によって論理的に管理する管理部とを備える。この装置において、アクセス部は、複数のディレクトリからなる階層構造の中の管理用ファイルに含まれたパス情報にもとづいて、記録媒体に記録されたデータファイルにアクセスしてもよい。   One embodiment of the present invention is a data management device. The device includes an access unit that accesses a plurality of recording media each recording a plurality of data files via a network, and a plurality of management files that include path information for accessing the plurality of data files. In order to manage the generation unit and the plurality of data files, the management files corresponding to each of the plurality of data files are arranged in a predetermined directory, and the plurality of directories including the directory are logically arranged in a hierarchical structure. And a management unit for managing. In this apparatus, the access unit may access the data file recorded on the recording medium based on the path information included in the management file in the hierarchical structure including a plurality of directories.

「パス情報」は、IP(Internet Protocol)アドレスなどのネットワークアドレスと記録媒体内のアドレスによって指定可能であるが、これらに限らずデータファイルの位置が特定できればよいものとする。   The “path information” can be specified by a network address such as an IP (Internet Protocol) address and an address in the recording medium, but is not limited to this, and it is sufficient that the position of the data file can be specified.

「階層構造」は、別のファイルによって、階層構造が管理されていてもよいが、それに限らず、管理用ファイルやディレクトリの一部にその上位と下位のディレクトリ等の情報が付加されて、論理的にのみ形成されていてもよい。   The “hierarchical structure” may be managed by another file. However, the present invention is not limited to this, and information such as upper and lower directories is added to a part of a management file or directory to create a logical structure. Alternatively, it may be formed only.

以上の装置により、データファイルの直接の管理に代わって、それに対応した管理用ファイルを管理するため、データファイルの記録位置に関係なく、データファイルを管理可能である。   With the above apparatus, instead of direct management of the data file, the management file corresponding to the management is managed. Therefore, the data file can be managed regardless of the recording position of the data file.

生成部は、同一内容のデータファイルが複数の記録媒体に記録されている場合に、当該データファイルにアクセスするための複数のパス情報を含めて管理用ファイルを生成してもよい。生成部は、複数のデータファイルのうちのいずれかが生成段階にある場合でも、生成段階のデータファイルにアクセスするためのパス情報を含んだ管理用ファイルを生成してもよい。
「生成段階」は、データファイルを生成している場合だけでなく、データファイルの生成前も含み、データファイルが完成されていない段階を示す。
The generation unit may generate a management file including a plurality of pieces of path information for accessing the data file when data files having the same content are recorded on the plurality of recording media. The generation unit may generate a management file including path information for accessing the data file in the generation stage even when any of the plurality of data files is in the generation stage.
The “generation stage” indicates a stage where the data file is not completed, including not only when the data file is generated but also before the data file is generated.

複数の記録媒体のうちの少なくともひとつに、もとのデータファイルが複数のデータファイルに分割されて記録されており、管理部は、分割された複数のデータファイルにそれぞれ対応した複数の管理用ファイルを所定のディレクトリに配置させて管理し、管理部で管理された複数のディレクトリからなる階層構造の中から、所定のディレクトリを選択するための指示を受けつける受付部と、選択したディレクトリに配置された複数の管理用ファイルに対応した複数のデータファイルをもとのデータファイルとみなして、アクセス部に当該もとのデータファイルへのアクセスを指示する指示部をさらに備えてもよい。受付部は、管理部で管理された複数のディレクトリからなる階層構造の中から、所定のディレクトリに配置された管理用ファイルを選択するための指示を受けつけ、指示部は、アクセス部に対して、選択した管理用ファイルに対応したデータファイルへのアクセスを指示してもよい。
「もとのデータファイルへのアクセスを指示する」は、もとのデータファイルを構成する複数のデータファイルへのアクセスを指示することによってなされてもよい。
The original data file is divided into a plurality of data files and recorded on at least one of the plurality of recording media, and the management unit has a plurality of management files respectively corresponding to the plurality of divided data files. Are arranged in a predetermined directory and managed, and a reception unit that receives an instruction to select a predetermined directory from a hierarchical structure composed of a plurality of directories managed by the management unit, and is arranged in the selected directory A plurality of data files corresponding to a plurality of management files may be regarded as the original data file, and an instruction unit that instructs the access unit to access the original data file may be further provided. The reception unit receives an instruction to select a management file arranged in a predetermined directory from a hierarchical structure including a plurality of directories managed by the management unit, and the instruction unit Access to the data file corresponding to the selected management file may be instructed.
“Instructing access to the original data file” may be performed by instructing access to a plurality of data files constituting the original data file.

複数の記録媒体は、所定のデータ処理装置にそれぞれ含められており、本データ管理装置はさらに、データファイルを対象にした処理の指示を受けつける受付部と、処理対象のデータファイルに対応した複数の管理用ファイルに含まれたパス情報にもとづいて、データファイルに対する処理が当該データファイルを記録した記録媒体を含んだデータ処理装置で優先的に実行されるように、処理を実行すべきデータ処理装置を決定する決定部と、アクセス部を介して、決定したデータ処理装置に処理を指示する指示部とを備えてもよい。   The plurality of recording media are respectively included in a predetermined data processing device. The data management device further includes a reception unit that receives a processing instruction for the data file and a plurality of data files corresponding to the processing target data file. A data processing device that is to execute processing so that processing on the data file is preferentially executed by the data processing device including the recording medium on which the data file is recorded, based on the path information included in the management file And an instruction unit that instructs the determined data processing apparatus to perform processing via the access unit.

本発明の別の態様は、データ管理方法である。この方法は、ネットワーク経由の複数の記録媒体に記録された複数のデータファイルを管理するために、複数のデータファイルにアクセスするためのパス情報を含んだ複数の管理用ファイルをそれぞれ生成し、管理用ファイルを所定のディレクトリに配置させ、さらに複数のディレクトリを階層構造によって論理的に管理する。   Another aspect of the present invention is a data management method. In this method, in order to manage a plurality of data files recorded on a plurality of recording media via a network, a plurality of management files including path information for accessing the plurality of data files are respectively generated and managed. Files are arranged in a predetermined directory, and a plurality of directories are logically managed by a hierarchical structure.

本発明のさらに別の態様は、プログラムである。このプログラムは、複数のデータファイルがそれぞれ記録された複数の外部記録媒体に、ネットワークを介してアクセスするステップと、複数のデータファイルにアクセスするためのパス情報を含んだ複数の管理用ファイルをそれぞれ生成するステップと、複数のデータファイルを管理するために、複数のデータファイルのそれぞれに対応した管理用ファイルを所定のディレクトリに配置させ、さらに複数のディレクトリが階層構造を形成するような階層構造情報を内部記録媒体に記録することによって、論理的に管理するステップとを備える。このプログラムにおいて、ネットワークを介してアクセスするステップは、内部記録媒体に記録された複数のディレクトリからなる階層構造の中の管理用ファイルに含まれたパス情報にもとづいて、記録媒体に記録されたデータファイルにアクセスしてもよい。   Yet another embodiment of the present invention is a program. The program includes a step of accessing a plurality of external recording media each recording a plurality of data files via a network, and a plurality of management files including path information for accessing the plurality of data files. Hierarchical structure information in which a management file corresponding to each of a plurality of data files is arranged in a predetermined directory and a plurality of directories form a hierarchical structure in order to generate and manage a plurality of data files Is recorded on an internal recording medium, and logically managed. In this program, the step of accessing via the network includes data recorded on the recording medium based on the path information included in the management file in a hierarchical structure consisting of a plurality of directories recorded on the internal recording medium. You may access the file.

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。   It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.

本発明によれば、複数のデータファイルが格納されているストレージの違いをユーザに意識させずに、それらのデータファイルを統一的に使用可能となる。   According to the present invention, these data files can be used uniformly without making the user aware of the difference in storage in which a plurality of data files are stored.

本発明の実施例は、記録媒体とCPUを含んだ処理装置がネットワークを介して複数接続され、それらが互いに連動しながら並列計算処理を実行する並列計算システムに関し、特にその中でも複数の処理装置の記録媒体にそれぞれ記録された複数のデータファイルを管理するデータ管理システムに関する。本実施例にかかるデータ管理システムは、複数の処理装置が接続されたネットワークにさらにサーバ装置を接続し、当該サーバ装置は、複数の処理装置に記録された複数のデータファイルのそれぞれに対して、パス情報を含んだ管理用ファイルを生成する。例えば、データファイル「A」に対応した管理ファイル「A」は、データファイル「A」を記録した処理装置のネットワークアドレスと処理装置に含まれた記録媒体内の記録領域のアドレスを記載している。さらに、サーバ装置は、複数のデータファイルを直接管理せず、その代わりに複数の管理用ファイルを所定のディレクトリに配置させ、そのような複数のディレクトリを階層構造によって管理する。ユーザまたはプログラムが所定のデータファイルを指定する場合、階層構造を形成するディレクトリの中から当該データファイルに対応した管理用ファイルを指定する。サーバ装置は、指定された管理用ファイルに含まれたパス情報にもとづいて、当該データファイルが記録された処理装置にアクセスし、当該データファイルを指定する。   Embodiments of the present invention relate to a parallel computing system in which a plurality of processing devices including a recording medium and a CPU are connected via a network, and execute parallel computing processing in conjunction with each other. The present invention relates to a data management system for managing a plurality of data files respectively recorded on a recording medium. The data management system according to the present embodiment further connects a server device to a network to which a plurality of processing devices are connected, and the server device is configured for each of a plurality of data files recorded in the plurality of processing devices. Create a management file containing path information. For example, the management file “A” corresponding to the data file “A” describes the network address of the processing device that recorded the data file “A” and the address of the recording area in the recording medium included in the processing device. . Further, the server device does not directly manage a plurality of data files, but instead arranges a plurality of management files in a predetermined directory, and manages such a plurality of directories in a hierarchical structure. When a user or program designates a predetermined data file, a management file corresponding to the data file is designated from a directory forming a hierarchical structure. Based on the path information included in the designated management file, the server device accesses the processing device in which the data file is recorded, and designates the data file.

さらに、本発明の実施例によって、完成されていないデータファイルに対する操作性を向上させたい。また、処理対象のデータファイルの規模に応じて、データファイルの処理対象を変更したい。また、データファイルの高速処理を実現したい。   Furthermore, it is desirable to improve the operability with respect to an unfinished data file by the embodiment of the present invention. Also, I want to change the data file processing target according to the size of the processing target data file. I want to achieve high-speed processing of data files.

図1は、本発明の実施例に係るデータ処理システム100の構成を示す。データ処理システム100は、クライアント装置10、サーバ装置12、記録部14、処理装置16と総称される第1処理装置16a、第2処理装置16b、第3処理装置16c、第4処理装置16d、第5処理装置16e、第6処理装置16f、ネットワーク18を含む。また、サーバ装置12は、アクセス部20、受付部22、管理部24、生成部26、決定部28、指示部30を含み、処理装置16は、処理部40と総称される第1処理部40a、第2処理部40b、第3処理部40c、第4処理部40d、第5処理部40e、第6処理部40f、記録部42と総称される第1記録部42a、第2記録部42b、第3記録部42c、第4記録部42d、第5記録部42e、第6記録部42fをそれぞれ含む。   FIG. 1 shows a configuration of a data processing system 100 according to an embodiment of the present invention. The data processing system 100 includes a client device 10, a server device 12, a recording unit 14, and a first processing device 16a, a second processing device 16b, a third processing device 16c, a fourth processing device 16d, and a fourth processing device 16. 5 processor 16e, sixth processor 16f, and network 18. The server device 12 includes an access unit 20, a reception unit 22, a management unit 24, a generation unit 26, a determination unit 28, and an instruction unit 30. The processing device 16 is a first processing unit 40 a that is collectively referred to as a processing unit 40. , Second processing unit 40b, third processing unit 40c, fourth processing unit 40d, fifth processing unit 40e, sixth processing unit 40f, first recording unit 42a, second recording unit 42b, collectively referred to as recording unit 42, A third recording unit 42c, a fourth recording unit 42d, a fifth recording unit 42e, and a sixth recording unit 42f are included.

ネットワーク18は、所定のプロトコルによって、情報信号を通信する。ネットワーク18は、主に同軸ケーブル、ツイストペアケーブル、光ケーブル等の信号を伝達するためのケーブルを、ルータ、交換機等の信号の伝達経路を制御する装置で接続して構成されている。図1では、ひとつのネットワーク18のみを示しているが、これに限らず、複数のネットワークの結合によって構成されていてもよく、複数のネットワークのバンド幅がそれぞれ異なっていてもよい。   The network 18 communicates information signals according to a predetermined protocol. The network 18 is configured by connecting cables for transmitting signals, such as coaxial cables, twisted pair cables, and optical cables, with devices that control signal transmission paths such as routers and exchanges. Although only one network 18 is shown in FIG. 1, the present invention is not limited to this, and the network 18 may be configured by combining a plurality of networks, and the bandwidths of the plurality of networks may be different from each other.

クライアント装置10は、ユーザが操作するパーソナルコンピュータ等である。クライアント装置10は、ネットワーク18を介して後述のサーバ装置12に対して、データファイルの検索や計算処理等の指示を出力し、サーバ装置12からその結果を受けつけ、図示しないディスプレイに表示する。   The client device 10 is a personal computer or the like operated by a user. The client device 10 outputs an instruction such as data file search or calculation processing to the server device 12 described later via the network 18, receives the result from the server device 12, and displays it on a display (not shown).

記録部42は、データファイルを記録するハードディスク等の記録媒体である。ここでデータファイル「DATA A」は、第1記録部42aと第6記録部42fに複製され記録されている。また、データファイル「DATA B」は、データ容量が大きいため、データファイル「DATA B−1」、「DATA B−2」、「DATA B−3」に分割されており、データファイル「DATA B−1」は、第1記録部42aと第4記録部42dに複製されて記録され、データファイル「DATA B−2」は、第2記録部42bと第5記録部42eに複製されて記録され、データファイル「DATA B−3」は、第3記録部42cと第6記録部42eに複製され記録されている。また、予め記録していたデータファイルだけではなく、後述の処理部40の処理によって生成されたデータファイルも記録する。   The recording unit 42 is a recording medium such as a hard disk that records data files. Here, the data file “DATA A” is duplicated and recorded in the first recording unit 42a and the sixth recording unit 42f. Further, since the data file “DATA B” has a large data capacity, it is divided into data files “DATA B-1”, “DATA B-2”, and “DATA B-3”. 1 ”is duplicated and recorded in the first recording unit 42a and the fourth recording unit 42d, and the data file“ DATA B-2 ”is duplicated and recorded in the second recording unit 42b and the fifth recording unit 42e. The data file “DATA B-3” is duplicated and recorded in the third recording unit 42c and the sixth recording unit 42e. Further, not only the data file recorded in advance, but also the data file generated by the processing of the processing unit 40 described later is recorded.

処理部40は、計算やデータファイル検索等の処理を実行するCPU、データファイルを一時的に記録するRAM(Random Access Memory)等を含む。ここで、計算やデータファイル検索等の対象となるデータファイルや処理は後述のサーバ装置12から指示される。
アクセス部20は、ネットワーク18と接続し、データや所定の指示のための信号を入出力する。
The processing unit 40 includes a CPU that executes processing such as calculation and data file search, and a RAM (Random Access Memory) that temporarily records data files. Here, a data file and processing to be subjected to calculation, data file search, and the like are instructed from the server device 12 described later.
The access unit 20 is connected to the network 18 and inputs / outputs data and signals for predetermined instructions.

受付部22は、ネットワーク18とアクセス部20を介してクライアント装置10や処理装置16から出力されたデータ等を受けつける。クライアント装置10からはデータファイルの検索、計算処理、管理しているデータファイルの表示等の指示を受けつける。処理装置16からはそれぞれの記録部42で記録しているデータファイルのパス情報を受けつけたり、予めサーバ装置12から出力した指示に応じた結果を受けつける。なお、パス情報の具体例については、後述する。   The reception unit 22 receives data output from the client device 10 or the processing device 16 via the network 18 and the access unit 20. The client device 10 receives instructions such as data file search, calculation processing, and management data file display. The processing device 16 receives the path information of the data file recorded in each recording unit 42, or receives the result according to the instruction output from the server device 12 in advance. A specific example of the path information will be described later.

生成部26は、受付部22で受けつけたデータファイルのパス情報にもとづいて、記録部42で記録されているデータファイルのパス情報を含んだ管理用ファイルを生成する。生成する際、例えば、管理用ファイルの名称は、それに対応するデータファイルに一致するように決定する。ここで、データファイル「DATA A」のように複数の記録部42に記録されている場合は、複数のパス情報を管理用ファイルに記載する。また、データファイルの生成段階あるいは生成前に、あらかじめデータファイルに対応付けられた管理用ファイルを生成してもよい。   The generation unit 26 generates a management file including the path information of the data file recorded by the recording unit 42 based on the path information of the data file received by the reception unit 22. At the time of generation, for example, the name of the management file is determined so as to match the corresponding data file. Here, when data is recorded in a plurality of recording units 42 like the data file “DATA A”, a plurality of path information is described in the management file. Further, a management file associated with the data file in advance may be generated before or at the generation stage of the data file.

管理部24は、管理用ファイルを所定のディレクトリに配置させ、複数のディレクトリを階層構造によって管理する。なお、管理すべき階層構造を形成する複数のディレクトリの情報および管理用ファイルは記録部14に記録される。また、クライアント装置10からの指示によって所定のデータファイルを検索する場合、管理部24は、記録部14にアクセスし、階層構造を形成する複数のディレクトリの情報から、検索対象のデータファイルに対応した管理用ファイルを検索する。   The management unit 24 arranges management files in a predetermined directory, and manages a plurality of directories in a hierarchical structure. Information of a plurality of directories forming a hierarchical structure to be managed and management files are recorded in the recording unit 14. Further, when searching for a predetermined data file according to an instruction from the client device 10, the management unit 24 accesses the recording unit 14 and corresponds to the data file to be searched from information of a plurality of directories forming a hierarchical structure. Search for administrative files.

決定部28は、クライアント装置10からの指示に応じた処理を複数の処理部40が実行する場合に、処理を実際に実行すべき処理部40を決定する。ここでは、既に実行されている処理を無視すれば、処理対象のデータファイルを記録している記録部42と同一の処理装置16に含まれている処理部40に処理を優先的に割り当てる。例えば、クライアント装置10からの指示がデータファイル「DATA A」の検索処理の場合、決定部28は、データファイル「DATA A」を記録した第1記録部42aと同一の第1処理装置16aに含まれた第1処理部40aに当該処理を割り当てる。なお、データファイル「DATA A」は、第6記録部42fにも記録されているため、当該処理を第6処理部40fに割り当ててもよい。   The determination unit 28 determines the processing unit 40 that should actually execute the process when the plurality of processing units 40 execute the process according to the instruction from the client device 10. Here, if processing that has already been executed is ignored, processing is preferentially assigned to the processing unit 40 included in the same processing device 16 as the recording unit 42 that records the data file to be processed. For example, when the instruction from the client device 10 is a search process of the data file “DATA A”, the determination unit 28 is included in the same first processing device 16a as the first recording unit 42a that records the data file “DATA A”. The process is assigned to the first processing unit 40a. Since the data file “DATA A” is also recorded in the sixth recording unit 42f, the process may be assigned to the sixth processing unit 40f.

指示部30は、決定部28によって決定された処理装置16に処理の実行を指示したり、あるいは管理部24で直接実行された処理結果を出力する。
この構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリのロードされた予約管理機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
The instruction unit 30 instructs the processing device 16 determined by the determination unit 28 to execute processing, or outputs a processing result directly executed by the management unit 24.
This configuration can be realized in terms of hardware by a CPU, memory, or other LSI of an arbitrary computer, and in terms of software, it is realized by a program having a reservation management function loaded in memory. The functional block realized by those cooperation is drawn. Accordingly, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

図2は、サーバ装置12でのファイルシステムの構成を示す。図2の上部に記録部14で記録されている複数のディレクトリが形成する階層構造の情報を示す。ディレクトリ「/grid」が階層構造の最上位に位置づけられており、その下位にディレクトリ「ggf」と「jp」が配置されている。ディレクトリ「jp」の下位には、管理用ファイル「DATA A」が配置されている。さらに、ディレクトリ「ggf」の下位のディレクトリ「aist」の下位には、管理用ファイル「DATA B−1」、「DATA B−2」、「DATA B−3」が配置されている。ここで、管理用ファイル「DATA A」、「DATA B−1」、「DATA B−2」、「DATA B−3」は、図1のデータファイル「DATA A」、「DATA B−1」、「DATA B−2」、「DATA B−3」にそれぞれ対応した管理用ファイルである。   FIG. 2 shows the configuration of the file system in the server device 12. The hierarchical structure information formed by a plurality of directories recorded by the recording unit 14 is shown in the upper part of FIG. The directory “/ grid” is positioned at the top of the hierarchical structure, and directories “ggf” and “jp” are arranged below the directory “/ grid”. A management file “DATA A” is arranged under the directory “jp”. Furthermore, management files “DATA B-1”, “DATA B-2”, and “DATA B-3” are arranged below the directory “aist” which is lower than the directory “ggf”. Here, the management files “DATA A”, “DATA B-1”, “DATA B-2”, and “DATA B-3” are the data files “DATA A”, “DATA B-1” in FIG. Management files corresponding to “DATA B-2” and “DATA B-3”, respectively.

管理用ファイル「DATA A」は、パス情報として「ftp://p1.co.jp/a/DATAA」と「http://p6.co.jp/a/DATAA」を記載している。ここで、図1の第1処理装置16aが「p1.co.jp」に、第6処理装置16fが「p6.co.jp」に対応し、データファイル「DATA A」が「DATAA」に対応する。また、管理用ファイル「DATA B−1」、「DATA B−2」、「DATA B−3」についても同様である。   The management file “DATA A” describes “ftp://p1.co.jp/a/DATAA” and “http://p6.co.jp/a/DATAA” as path information. Here, the first processing device 16a in FIG. 1 corresponds to “p1.co.jp”, the sixth processing device 16f corresponds to “p6.co.jp”, and the data file “DATA A” corresponds to “DATAA”. To do. The same applies to the management files “DATA B-1”, “DATA B-2”, and “DATA B-3”.

図2の下部には、図1での説明と同様に、記録部42で記録されているデータファイルを示す。記録部42のそれぞれの上部には、前述のごとく、それぞれのプロトコルとネットワークアドレスを「ftp://p1.co.jp」のように示す。また、記録部42のそれぞれの内部には、記録領域のアドレスを「/a/DATAA」と「/b/DATAB−1」のように示す。データファイルは、複数の記録部42に分散して記録されているが、記録部14では、それらのデータファイルを直接管理するのではなく、データファイルに対応した管理用ファイルを階層構造によって管理するため、図示のごとく、データファイルを記録した記録部42を意識することなく、データファイルを管理可能である。   The lower part of FIG. 2 shows the data file recorded by the recording unit 42 as in the description of FIG. As described above, each protocol and network address is indicated as “ftp://p1.co.jp” in the upper part of each recording unit 42. In each recording unit 42, the address of the recording area is indicated as “/ a / DATAA” and “/ b / DATAB-1”. Data files are distributed and recorded in a plurality of recording units 42, but the recording unit 14 does not directly manage these data files, but manages the management files corresponding to the data files in a hierarchical structure. Therefore, as shown in the figure, the data file can be managed without being aware of the recording unit 42 that recorded the data file.

ユーザまたはプログラムがデータファイル「DATA B−1」に対する処理を指示した場合、管理部24は、記録部14に記録された管理用ファイル「DATA B−1」のパス情報に応じて、第1記録部42aか第4記録部42dの「/b/DATAB−1」にアクセスする。一方、データファイル「DATA B」のすべてに対する処理を指示する場合、管理部24は、データファイル「DATA B」に対応した管理用ファイルをすべて含んだディレクトリ「aist」をデータファイル「DATA B」に対応した管理用ファイルとみなす。さらに、それらに記載されたパス情報にもとづいて、対応すべき記録部42にアクセスする。   When the user or the program instructs processing for the data file “DATA B-1”, the management unit 24 performs the first recording according to the path information of the management file “DATA B-1” recorded in the recording unit 14. “/ B / DATAB-1” of the unit 42a or the fourth recording unit 42d is accessed. On the other hand, when instructing the processing for all of the data file “DATA B”, the management unit 24 changes the directory “aist” including all the management files corresponding to the data file “DATA B” to the data file “DATA B”. It is regarded as a corresponding management file. Furthermore, based on the path information described therein, the corresponding recording unit 42 is accessed.

図3は、クライアント装置10から指示されるデータファイル表示の処理を示すシーケンス図である。ここで、ユーザはデータファイル「DATA B」の表示を指示するものとする。ユーザはクライアント装置10において、図2のディレクトリ「aist」の表示を指示する(S10)。クライアント装置10は、ネットワーク18を介して、サーバ装置12に指示信号を出力する(S12)。サーバ装置12は、記録部14のディレクトリ「aist」の下位に配置された管理用ファイル「DATA B−1」、「DATA B−2」、「DATA B−3」からパス情報を検出する(S14)。サーバ装置12は、管理用ファイル「DATA B−1」のパス情報に従って、第1処理装置16aにデータファイル「DATA B−1」の出力を指示する(S16)。第1処理装置16aは、第1記録部42aからデータファイル「DATA B−1」を読み出して(S18)、サーバ装置12に出力する(S20)。また、サーバ装置12は、管理用ファイル「DATA B−2」のパス情報に従って、第2処理装置16bにデータファイル「DATA B−2」の出力を指示する(S22)。第2処理装置16bは、第2記録部42bからデータファイル「DATA B−2」を読み出して(S24)、サーバ装置12に出力する(S26)。   FIG. 3 is a sequence diagram showing a data file display process instructed from the client device 10. Here, it is assumed that the user instructs display of the data file “DATA B”. The user instructs the client device 10 to display the directory “aist” in FIG. 2 (S10). The client device 10 outputs an instruction signal to the server device 12 via the network 18 (S12). The server device 12 detects path information from the management files “DATA B-1”, “DATA B-2”, and “DATA B-3” arranged under the directory “aist” of the recording unit 14 (S14). ). The server device 12 instructs the first processing device 16a to output the data file “DATA B-1” according to the path information of the management file “DATA B-1” (S16). The first processing device 16a reads the data file “DATA B-1” from the first recording unit 42a (S18), and outputs it to the server device 12 (S20). Further, the server device 12 instructs the second processing device 16b to output the data file “DATA B-2” according to the path information of the management file “DATA B-2” (S22). The second processing device 16b reads the data file “DATA B-2” from the second recording unit 42b (S24) and outputs it to the server device 12 (S26).

さらに、サーバ装置12は、管理用ファイル「DATA B−3」のパス情報に従って、第3処理装置16cにデータファイル「DATA B−3」の出力を指示する(S28)。第3処理装置16cは、第3記録部42cからデータファイル「DATA B−3」を読み出して(S30)、サーバ装置12に出力する(S32)。最終的に、サーバ装置12は、ディレクトリ「aist」をひとつのデータファイルとして、その出力結果をクライアント装置10に出力し(S34)、クライアント装置10は、データファイル「DATA B」に対応した「aist」を表示する(S36)。   Further, the server device 12 instructs the third processing device 16c to output the data file “DATA B-3” according to the path information of the management file “DATA B-3” (S28). The third processing device 16c reads the data file “DATA B-3” from the third recording unit 42c (S30) and outputs it to the server device 12 (S32). Finally, the server device 12 outputs the output result to the client device 10 as a single data file of the directory “aist” (S34), and the client device 10 outputs “aist” corresponding to the data file “DATA B”. Is displayed (S36).

図4は、サーバ装置12でのデータファイルの表示の処理を示すフローチャートである。ここで、図3と同様にユーザは所定のデータファイルの表示を指示するものとする。管理部24は、記録部14から複数のディレクトリで形成された論理的な階層構造を読み込む(S50)。クライアント装置10からアクセス部20に、データファイルの表示の要求が入力され、受付部22は、データファイルへのアクセスの要求を受けつける(S52)。アクセス対象がディレクトリの場合(S54のY)、例えば、図2の「aist」の場合は、管理部24は、ディレクトリ中の複数の管理用ファイルに含まれたパス情報を検出する(S56)。複数の管理用ファイルが「DATA B−1」、「DATA B−2」、「DATA B−3」の場合、読み込んだ結果のデータファイルが「B−1」、「B−2」、「B−3」の順番に並ぶように、複数の管理用ファイルに対応したデータファイルを並べる準備をする(S58)。この順番を示す情報は、管理用ファイルに含まれていてもよい。パス情報に応じた指示部30の指示によって、アクセス部20は、データファイルを読み込む(S60)。さらに、データファイルをクライアント装置10に出力して、データファイルを表示させる(S62)。   FIG. 4 is a flowchart showing a data file display process in the server apparatus 12. Here, it is assumed that the user instructs display of a predetermined data file as in FIG. The management unit 24 reads a logical hierarchical structure formed by a plurality of directories from the recording unit 14 (S50). A request for displaying a data file is input from the client device 10 to the access unit 20, and the receiving unit 22 receives a request for access to the data file (S52). When the access target is a directory (Y in S54), for example, in the case of “aist” in FIG. 2, the management unit 24 detects path information included in a plurality of management files in the directory (S56). When the plurality of management files are “DATA B-1”, “DATA B-2”, and “DATA B-3”, the read data files are “B-1”, “B-2”, “B” Preparation for arranging data files corresponding to a plurality of management files so as to be arranged in the order of “−3” (S58). Information indicating this order may be included in the management file. In response to an instruction from the instruction unit 30 according to the path information, the access unit 20 reads a data file (S60). Further, the data file is output to the client device 10 to display the data file (S62).

一方、アクセス対象がディレクトリでない場合(S54のN)、例えば、図の管理用ファイル「DATA B−1」の場合、管理部24は、当該管理用ファイルに含まれたパス情報を検出する(S64)。パス情報に応じた指示部30の指示によって、アクセス部20は、データファイルを読み込む(S66)。さらに、データファイルをクライアント装置10に出力して、データファイルを表示させる(S68)。   On the other hand, when the access target is not a directory (N in S54), for example, in the case of the management file “DATA B-1” in the figure, the management unit 24 detects path information included in the management file (S64). ). In response to an instruction from the instruction unit 30 according to the path information, the access unit 20 reads a data file (S66). Further, the data file is output to the client device 10 to display the data file (S68).

図5は、サーバ装置12でのデータファイルの検索処理を示すフローチャートである。管理部24は、記録部14から複数のディレクトリで形成された論理的な階層構造を読み込む(S80)。クライアント装置10からアクセス部20に、データファイルの検索の要求が入力され、受付部22は、当該指示を受けつける(S82)。管理部24は、検索対象のディレクトリの中の複数の管理用ファイルに含まれたパス情報をそれぞれ検出する(S84)。また、アクセス部20は、複数の処理装置16でのCPU使用率を検出し(S86)、検出結果を管理部24に入力する。検索対象のデータファイルをローカルに記録した処理装置16のうちCPU使用率がしきい値より低いものがある場合(S88のY)、例えば、データファイル「DATA B−1」を検索対象とすれば、それをローカルに記録した第1記録部42aと第4記録部42dを含んだ処理装置16の第1処理部40aと第4処理部40dのCPU使用率のいずれかが、しきい値より低い場合、決定部28は当該処理装置16でのデータファイルの検索を決定し、指示部30は当該処理装置16にその旨を指示する(S90)。一方、検索対象のデータファイルをローカルに記録した処理装置16のうちCPU使用率がしきい値より低いものがない場合(S88のN)、ステップ90をスキップする。   FIG. 5 is a flowchart showing a data file search process in the server device 12. The management unit 24 reads a logical hierarchical structure formed by a plurality of directories from the recording unit 14 (S80). A request for data file search is input from the client device 10 to the access unit 20, and the receiving unit 22 receives the instruction (S82). The management unit 24 detects path information included in a plurality of management files in the search target directory (S84). Further, the access unit 20 detects the CPU usage rate in the plurality of processing devices 16 (S86), and inputs the detection result to the management unit 24. When there is a processor whose CPU usage rate is lower than the threshold among the processing devices 16 that have locally recorded the data file to be searched (Y in S88), for example, if the data file “DATA B-1” is to be searched Any one of the CPU usage rates of the first processing unit 40a and the fourth processing unit 40d of the processing device 16 including the first recording unit 42a and the fourth recording unit 42d that locally recorded it is lower than the threshold value. In this case, the determination unit 28 determines the search of the data file in the processing device 16, and the instruction unit 30 instructs the processing device 16 to that effect (S90). On the other hand, if none of the processing devices 16 that have recorded the search target data file locally has a CPU usage rate lower than the threshold (N in S88), step 90 is skipped.

検索対象のデータファイルのうち、処理されていないデータファイルが存在すれば(S92のY)、決定部28は、CPU使用率の低い処理装置16に、処理されていないデータファイルに対する検索を決定し、指示部30は当該処理装置16にその旨を指示する(S94)。複数の処理装置16で検索処理が実行されると、受付部22はそれらの処理装置16から検索結果へのパス情報を取得する(S96)。生成部26は、取得したパス情報をもとに、管理用ファイルを生成し、所定のディレクトリに配置させ、記録部14に記録する(S98)。また、アクセス部20は、検索結果をクライアント装置10に出力する。   If there is an unprocessed data file among the search target data files (Y in S92), the determination unit 28 determines the search for the unprocessed data file to the processing device 16 having a low CPU usage rate. The instruction unit 30 instructs the processing device 16 to that effect (S94). When the search processing is executed by the plurality of processing devices 16, the receiving unit 22 acquires path information from the processing devices 16 to the search results (S96). The generation unit 26 generates a management file based on the acquired path information, arranges it in a predetermined directory, and records it in the recording unit 14 (S98). In addition, the access unit 20 outputs the search result to the client device 10.

本発明の実施例によれば、データファイルを記録したストレージの場所にかかわらず、そのパス情報を記載した管理用ファイルによって、データファイルを管理するため、データファイルを統一的に管理可能である。また、管理用ファイルは階層構造を形成するディレクトリに配置して管理されるため、ユーザにとっての操作性が向上する。さらに、管理用ファイルは対応するデータファイルの完成前から、生成可能であって、データファイルの完成時でのデータ量に関係なく、データファイルを管理可能なため、操作性が向上する。処理対象のデータファイルの規模に応じて、ひとつのデータファイルあるいはディレクトリに対応した複数のデータファイルに処理対象を変更するため、操作性と高速処理を実現できる。また、データファイルが記録された処理装置に当該データファイルに対する処理を割り当てるため、ローカルで実行可能な処理になって、高速処理が可能である。   According to the embodiment of the present invention, regardless of the storage location where the data file is recorded, the data file is managed by the management file in which the path information is described. Therefore, the data file can be managed uniformly. In addition, since the management file is managed by being arranged in a directory forming a hierarchical structure, the operability for the user is improved. Furthermore, the management file can be generated before the corresponding data file is completed, and the data file can be managed regardless of the amount of data at the time of completion of the data file, so that the operability is improved. Since the processing target is changed to a plurality of data files corresponding to one data file or directory according to the size of the processing target data file, operability and high-speed processing can be realized. In addition, since the processing for the data file is assigned to the processing device in which the data file is recorded, the processing can be executed locally and high-speed processing is possible.

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。   The present invention has been described based on the embodiments. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are also within the scope of the present invention. is there.

本発明の実施例において、生成部26がパス情報を含んだ管理用ファイルを自動的に生成している。しかしこれに限らず例えば、管理用ファイルは、ユーザによって直接生成されてもよい。その際は、クライアント装置10から所定のインターフェースを介して生成される。本変形例によれば、ユーザの意思を確実に反映したパス情報を含んだ管理用ファイルを生成できる。つまり、対応すべきデータファイルのパス情報を含んだ管理用ファイルが管理部24によって、管理されていればよい。   In the embodiment of the present invention, the generation unit 26 automatically generates a management file including path information. However, the present invention is not limited to this. For example, the management file may be directly generated by the user. In that case, it is generated from the client device 10 via a predetermined interface. According to this modification, a management file including path information that reliably reflects the user's intention can be generated. That is, it is only necessary that the management file including the path information of the data file to be managed is managed by the management unit 24.

本発明の実施例において、ひとつのサーバ装置12がデータファイルを管理し、ユーザの使用するクライアント装置10からの指示を受けつけている。しかしこれに限らず例えば、サーバ装置12が複数あってもよい。例えば、サーバ装置12を日本、米国、欧州等の距離が離れた地域にそれぞれ設置し、ユーザが最寄のサーバ装置12にアクセスするようにしてもよい。その際、複数のサーバ装置12において、処理に必要なデータファイルの管理情報を統一する必要があるので、複数のサーバ装置12は当該情報を必要に応じて交換するものとする。本変形例によれば、サーバ装置12による処理の集中と、通信回線の混雑を回避できる。つまり、データファイルの記録領域と管理用ファイルが対応していればよい。   In the embodiment of the present invention, one server device 12 manages a data file and receives an instruction from the client device 10 used by the user. However, the present invention is not limited to this. For example, the server device 12 may be installed in areas such as Japan, the United States, and Europe, and the user may access the nearest server device 12. At this time, since it is necessary to unify data file management information required for processing in the plurality of server apparatuses 12, the plurality of server apparatuses 12 exchange the information as necessary. According to this modification, it is possible to avoid concentration of processing by the server device 12 and congestion of communication lines. That is, it is only necessary that the recording area of the data file corresponds to the management file.

本発明の実施例において、特に図3では、サーバ装置12は、第1処理装置16aからデータファイル「DATA B−1」を取得した後に、第2処理装置16bにデータファイル「DATA B−2」の出力を要求し、第2処理装置16bからデータファイル「DATA B−2」を取得した後に、第3処理装置16cにデータファイル「DATA B−3」の出力を要求している。しかしこれに限らず例えば、サーバ装置12は、第1処理装置16aからデータファイル「DATA B−1」を取得前に、第2処理装置16bにデータファイル「DATA B−2」の出力を要求し、第2処理装置16bからデータファイル「DATA B−2」を取得前に、第3処理装置16cにデータファイル「DATA B−3」の出力を要求してもよい。本変形例によれば、処理が高速になる。   In the embodiment of the present invention, particularly in FIG. 3, the server device 12 acquires the data file “DATA B-1” from the first processing device 16 a and then sends the data file “DATA B-2” to the second processing device 16 b. , And after obtaining the data file “DATA B-2” from the second processing device 16b, the third processing device 16c is requested to output the data file “DATA B-3”. However, the present invention is not limited to this. For example, the server device 12 requests the second processing device 16b to output the data file “DATA B-2” before acquiring the data file “DATA B-1” from the first processing device 16a. Before obtaining the data file “DATA B-2” from the second processing device 16b, the third processing device 16c may be requested to output the data file “DATA B-3”. According to this modified example, the processing becomes faster.

本発明の実施例において、サーバ装置12は、データファイルをローカルに記録した処理装置16で優先的に処理されるように、処理対象の処理装置16を決定する。しかしこれに限らず例えば、クライアント装置10が、所定のディレクトリすなわちデータファイルの集合とプログラムをサーバ装置12に指示すると、サーバ装置12はデータファイルを格納する複数の処理装置16で当該プログラムを実行させ、実行結果をそれぞれの記録部42に格納してもよく、さらにサーバ装置12は、生成された実行結果の集合もデータファイルの集合として管理してもよい。本変形例によれば、実行結果の更なる処理が容易になる。   In the embodiment of the present invention, the server device 12 determines the processing device 16 to be processed so as to be preferentially processed by the processing device 16 that locally records the data file. However, the present invention is not limited to this. For example, when the client device 10 instructs a predetermined directory, that is, a set of data files and a program, to the server device 12, the server device 12 causes the plurality of processing devices 16 storing the data files to execute the program. The execution results may be stored in the respective recording units 42, and the server device 12 may also manage the set of generated execution results as a set of data files. According to this modification, further processing of the execution result is facilitated.

実施例に係るデータ処理システムの構成を示す図である。It is a figure which shows the structure of the data processing system which concerns on an Example. 図1のサーバ装置でのファイルシステムの構成を示す図である。It is a figure which shows the structure of the file system in the server apparatus of FIG. 図1のクライアント装置から指示されるデータファイル表示の処理を示すシーケンス図である。It is a sequence diagram which shows the process of the data file display instruct | indicated from the client apparatus of FIG. 図1のサーバ装置でのデータファイルの表示処理を示すフローチャートである。It is a flowchart which shows the display process of the data file in the server apparatus of FIG. 図1のサーバ装置でのデータファイルの検索処理を示すフローチャートである。It is a flowchart which shows the search process of the data file in the server apparatus of FIG.

符号の説明Explanation of symbols

10 クライアント装置、 12 サーバ装置、 14 記録部、 16 処理装置、 18 ネットワーク、 20 アクセス部、 22 受付部、 24 管理部、 26 生成部、 28 決定部、 30 指示部、 40 処理部、 42 記録部、 100 データ処理システム。   DESCRIPTION OF SYMBOLS 10 Client apparatus, 12 Server apparatus, 14 Recording part, 16 Processing apparatus, 18 Network, 20 Access part, 22 Reception part, 24 Management part, 26 Generation part, 28 Determination part, 30 Instruction part, 40 Processing part, 42 Recording part 100 Data processing system.

Claims (8)

複数のデータファイルがそれぞれ記録された複数の記録媒体に、ネットワークを介してアクセスするアクセス部と、
前記複数のデータファイルにアクセスするためのパス情報を含んだ複数の管理用ファイルをそれぞれ生成する生成部と、
前記複数のデータファイルを管理するために、前記複数のデータファイルのそれぞれに対応した管理用ファイルを所定のディレクトリに配置させ、さらに前記ディレクトリを含んだ複数のディレクトリを階層構造によって論理的に管理する管理部とを備え、
前記アクセス部は、複数のディレクトリからなる階層構造の中の管理用ファイルに含まれたパス情報にもとづいて、記録媒体に記録されたデータファイルにアクセスすることを特徴とするデータ管理装置。
An access unit for accessing a plurality of recording media each recording a plurality of data files via a network;
A generating unit that generates a plurality of management files each including path information for accessing the plurality of data files;
In order to manage the plurality of data files, a management file corresponding to each of the plurality of data files is arranged in a predetermined directory, and the plurality of directories including the directory are logically managed by a hierarchical structure. With a management department,
The access unit accesses a data file recorded on a recording medium based on path information included in a management file in a hierarchical structure including a plurality of directories.
前記生成部は、同一内容のデータファイルが複数の記録媒体に記録されている場合に、当該データファイルにアクセスするための複数のパス情報を含めて管理用ファイルを生成することを特徴とする請求項1に記載のデータ管理装置。   The generation unit generates a management file including a plurality of pieces of path information for accessing the data file when data files having the same contents are recorded on the plurality of recording media. Item 2. The data management device according to Item 1. 前記生成部は、前記複数のデータファイルのうちのいずれかが生成段階にある場合でも、前記生成段階のデータファイルにアクセスするためのパス情報を含んだ管理用ファイルを生成することを特徴とする請求項1または2に記載のデータ管理装置。   The generation unit generates a management file including path information for accessing the data file in the generation stage even when any of the plurality of data files is in the generation stage. The data management apparatus according to claim 1 or 2. 前記複数の記録媒体のうちの少なくともひとつに、もとのデータファイルが複数のデータファイルに分割されて記録されており、
前記管理部は、前記分割された複数のデータファイルにそれぞれ対応した複数の管理用ファイルを所定のディレクトリに配置させて管理し、
前記管理部で管理された複数のディレクトリからなる階層構造の中から、所定のディレクトリを選択するための指示を受けつける受付部と、
前記選択したディレクトリに配置された複数の管理用ファイルに対応した複数のデータファイルをもとのデータファイルとみなして、前記アクセス部に当該もとのデータファイルへのアクセスを指示する指示部をさらに備えることを特徴とする請求項1または2に記載のデータ管理装置。
The original data file is divided into a plurality of data files and recorded on at least one of the plurality of recording media,
The management unit manages a plurality of management files respectively corresponding to the plurality of divided data files in a predetermined directory,
A receiving unit that receives an instruction for selecting a predetermined directory from a hierarchical structure including a plurality of directories managed by the management unit;
A plurality of data files corresponding to the plurality of management files arranged in the selected directory are regarded as original data files, and an instruction unit for instructing the access unit to access the original data files is further provided. The data management apparatus according to claim 1, comprising: a data management apparatus according to claim 1.
前記受付部は、前記管理部で管理された複数のディレクトリからなる階層構造の中から、所定のディレクトリに配置された管理用ファイルを選択するための指示を受けつけ、
前記指示部は、前記アクセス部に対して、前記選択した管理用ファイルに対応したデータファイルへのアクセスを指示することを特徴とする請求項4に記載のデータ管理装置。
The reception unit receives an instruction to select a management file arranged in a predetermined directory from a hierarchical structure including a plurality of directories managed by the management unit,
The data management apparatus according to claim 4, wherein the instruction unit instructs the access unit to access a data file corresponding to the selected management file.
前記複数の記録媒体は、複数のデータ処理装置にそれぞれ含められており、
本データ管理装置はさらに、所定のデータファイルを対象にした処理の指示を受けつける受付部と、
処理対象の前記データファイルに対応した管理用ファイルに含まれたパス情報にもとづいて、データファイルに対する処理が当該データファイルを記録した記録媒体を含んだデータ処理装置で優先的に実行されるように、処理を実行すべきデータ処理装置を決定する決定部と、
前記アクセス部を介して、前記決定したデータ処理装置に処理を指示する指示部と、
を備えることを特徴とする請求項1または2に記載のデータ管理装置。
The plurality of recording media are respectively included in a plurality of data processing devices,
The data management apparatus further includes a receiving unit that receives a processing instruction for a predetermined data file;
Based on the path information included in the management file corresponding to the data file to be processed, the processing on the data file is preferentially executed in the data processing apparatus including the recording medium on which the data file is recorded. A determination unit for determining a data processing device to execute processing;
An instruction unit for instructing the determined data processing apparatus to perform processing via the access unit;
The data management apparatus according to claim 1, further comprising:
ネットワーク経由の複数の記録媒体に記録された複数のデータファイルを管理するために、前記複数のデータファイルにアクセスするためのパス情報を含んだ複数の管理用ファイルをそれぞれ生成し、管理用ファイルを所定のディレクトリに配置させ、さらに複数のディレクトリを階層構造によって論理的に管理することを特徴とするデータ管理方法。   In order to manage a plurality of data files recorded on a plurality of recording media via a network, a plurality of management files including path information for accessing the plurality of data files are respectively generated. A data management method comprising arranging in a predetermined directory and further logically managing a plurality of directories by a hierarchical structure. 複数のデータファイルがそれぞれ記録された複数の外部記録媒体に、ネットワークを介してアクセスするステップと、
前記複数のデータファイルにアクセスするためのパス情報を含んだ複数の管理用ファイルをそれぞれ生成するステップと、
前記複数のデータファイルを管理するために、前記複数のデータファイルのそれぞれに対応した管理用ファイルを所定のディレクトリに配置させ、さらに複数のディレクトリが階層構造を形成するような階層構造情報を内部記録媒体に記録することによって、論理的に管理するステップとを備え、
前記ネットワークを介してアクセスするステップは、前記内部記録媒体に記録された複数のディレクトリからなる階層構造の中の管理用ファイルに含まれたパス情報にもとづいて、記録媒体に記録されたデータファイルにアクセスすることをコンピュータに実行させるためのプログラム。
Accessing a plurality of external recording media each recording a plurality of data files via a network;
Generating a plurality of management files each including path information for accessing the plurality of data files;
In order to manage the plurality of data files, a management file corresponding to each of the plurality of data files is arranged in a predetermined directory, and hierarchical structure information in which the plurality of directories form a hierarchical structure is internally recorded. Logically managing by recording on a medium,
The step of accessing via the network includes the step of copying the data file recorded on the recording medium based on the path information included in the management file in a hierarchical structure consisting of a plurality of directories recorded on the internal recording medium. A program that causes a computer to execute access.
JP2003293675A 2003-08-15 2003-08-15 Data management device Expired - Lifetime JP4238318B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003293675A JP4238318B2 (en) 2003-08-15 2003-08-15 Data management device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003293675A JP4238318B2 (en) 2003-08-15 2003-08-15 Data management device

Publications (2)

Publication Number Publication Date
JP2005063214A true JP2005063214A (en) 2005-03-10
JP4238318B2 JP4238318B2 (en) 2009-03-18

Family

ID=34370504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003293675A Expired - Lifetime JP4238318B2 (en) 2003-08-15 2003-08-15 Data management device

Country Status (1)

Country Link
JP (1) JP4238318B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350470A (en) * 2005-06-13 2006-12-28 National Institute Of Advanced Industrial & Technology Data management device and method
WO2010101189A1 (en) 2009-03-06 2010-09-10 日本電気株式会社 Information processing system and method
WO2012114531A1 (en) * 2011-02-23 2012-08-30 株式会社日立製作所 Computer system and data management method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350470A (en) * 2005-06-13 2006-12-28 National Institute Of Advanced Industrial & Technology Data management device and method
WO2010101189A1 (en) 2009-03-06 2010-09-10 日本電気株式会社 Information processing system and method
US8775746B2 (en) 2009-03-06 2014-07-08 Nec Corporation Information processing system and method
WO2012114531A1 (en) * 2011-02-23 2012-08-30 株式会社日立製作所 Computer system and data management method
JP2012174096A (en) * 2011-02-23 2012-09-10 Hitachi Ltd Computer system and data management method

Also Published As

Publication number Publication date
JP4238318B2 (en) 2009-03-18

Similar Documents

Publication Publication Date Title
US9971823B2 (en) Dynamic replica failure detection and healing
JP5537571B2 (en) Content rendering on computers
US8214498B2 (en) Method and system for managing a peer of a peer-to-peer network to search for available resources
US7010657B2 (en) Avoiding deadlock between storage assignments by devices in a network
JP5439761B2 (en) Content reproduction apparatus, content reproduction method, and content reproduction program
KR100678957B1 (en) Device and method for sharing multimedia data of network device on the network
CN109714229B (en) Performance bottleneck positioning method of distributed storage system
JP2005196783A (en) System and method for coaxial navigation of user interface
JP5375972B2 (en) Distributed file system, data selection method thereof, and program
US20120109952A1 (en) System, method, and computer program for remote management of digital content
CN112905113A (en) Data access processing method and device
JP5179514B2 (en) User interface control apparatus, method and communication system
US6519598B1 (en) Active memory and memory control method, and heterogeneous data integration use system using the memory and method
JP2003162444A (en) Information-offering system, information-offering method, and information-offering program
JP5238219B2 (en) Information processing system and pipeline processing control method
US20090327303A1 (en) Intelligent allocation of file server resources
US20210058652A1 (en) System and method of building a distributed network for essence management and access
JP4992568B2 (en) Client device, data processing method and program thereof
JP4238318B2 (en) Data management device
JP2008547109A (en) Method for storing queries for devices with rewritable media
JP4224279B2 (en) File management program
JP2006338421A (en) Remote database operation program, remote database operating method and remote database operating device
US11727003B2 (en) Scaling query processing resources for efficient utilization and performance
EP3343410A1 (en) System for large scale handling of data streams
TWI710954B (en) Data caching method for hyper converged infrastructure and node performing the same, machine learning framework, and file system client

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Ref document number: 4238318

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term