JP2005063214A - Data management method and device - Google Patents
Data management method and device Download PDFInfo
- Publication number
- JP2005063214A JP2005063214A JP2003293675A JP2003293675A JP2005063214A JP 2005063214 A JP2005063214 A JP 2005063214A JP 2003293675 A JP2003293675 A JP 2003293675A JP 2003293675 A JP2003293675 A JP 2003293675A JP 2005063214 A JP2005063214 A JP 2005063214A
- Authority
- JP
- Japan
- Prior art keywords
- data
- management
- file
- unit
- files
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000013523 data management Methods 0.000 title claims description 17
- 238000012545 processing Methods 0.000 claims abstract description 121
- 238000007726 management method Methods 0.000 claims description 98
- 230000008569 process Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 239000000470 constituent Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101100042626 Arabidopsis thaliana SIGF gene Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Abstract
Description
本発明は、データ管理技術に関し、特にネットワークを介して複数の記録媒体に分散して記録されたデータを管理するためのデータ管理方法および装置に関する。 The present invention relates to a data management technique, and more particularly, to a data management method and apparatus for managing data recorded in a distributed manner on a plurality of recording media via a network.
近年、パーソナルコンピュータのコストが低下しているにもかかわらず、その能力は向上している。また、ネットワークのバンド幅も向上している。このような背景のもと、ネットワーク上の資源を仮想化し効率よく利用する技術のひとつがグリッド技術である。グリッド技術は、広域ネットワーク上に分散して配置された資源の存在場所および所有者などをユーザに意識させずに、単にネットワークに接続するだけでそれらの資源を利用できるようにする。グリッド技術を使用すれば、ネットワークに接続された多くのストレージに分散して格納されているデータを統一的に利用できる。 In recent years, the ability of personal computers has improved, despite the reduction in costs. Network bandwidth has also improved. Against this background, one technology for virtualizing and efficiently using resources on a network is grid technology. The grid technology makes it possible to use the resources simply by connecting to the network without making the user aware of the location and owner of the resources distributed on the wide area network. If grid technology is used, data distributed and stored in many storages connected to the network can be used uniformly.
ネットワークに接続された複数の計算機資源が持つ能力は、一般的に計算能力と記録能力に分類でき、前者はCPU(Central Processing Unit)の能力に、後者はストレージの能力に対応する。複数の計算機によって構成されるシステム全体の処理能力を向上させるためには、複数の計算機資源での計算能力と記録能力の効率を共に改善すべきである。なぜなら、計算を実行するためには、一般的にCPUだけでなくストレージも利用しており、複数の計算機資源での記録能力の効率を改善しなければ、大容量のデータを利用する計算が実行できず、さらに利用時にネットワーク上でのデータ転送が多発して計算能力を十分に発揮できない場合もある(例えば、非特許文献1参照。)。
前述のごとく複数の計算機資源での計算能力と記録能力の効率を改善させれば、大容量のデータを利用した計算を高速に実行できる。しかしながら、グリッド技術は、ネットワークに接続された多くのストレージに格納されているデータファイルを統一的にユーザに利用させることを目的としているために、高速に計算を実行できるだけでは不十分であって、さらにユーザに対してデータファイルの格納位置を意識させないような操作性の高いインターフェース、特にデータファイルを管理するファイルシステムを提供する必要がある。すなわち、ユーザに対して、すべてのデータファイルがひとつのコンピュータのストレージに格納されているような使用感を与えるようなファイルシステムが必要である。 As described above, if the efficiency of the calculation capability and the recording capability with a plurality of computer resources is improved, calculation using a large amount of data can be executed at high speed. However, since the grid technology is intended to allow users to use data files stored in many storages connected to a network in a unified manner, it is not sufficient to perform calculations at high speed. Furthermore, there is a need to provide an interface with high operability so as not to make the user aware of the storage location of the data file, particularly a file system for managing the data file. That is, there is a need for a file system that gives the user a feeling that all data files are stored in the storage of one computer.
本発明はこうした状況に鑑みてなされたものであり、その目的は、複数のデータファイルが格納されているストレージの違いをユーザに意識させずに、それらのデータファイルを統一的に使用可能にしたデータ管理技術を提供することにある。 The present invention has been made in view of such circumstances, and its purpose is to make it possible to use these data files in a unified manner without making the user aware of the difference in storage in which a plurality of data files are stored. To provide data management technology.
本発明のある態様は、データ管理装置である。この装置は、複数のデータファイルがそれぞれ記録された複数の記録媒体に、ネットワークを介してアクセスするアクセス部と、複数のデータファイルにアクセスするためのパス情報を含んだ複数の管理用ファイルをそれぞれ生成する生成部と、複数のデータファイルを管理するために、複数のデータファイルのそれぞれに対応した管理用ファイルを所定のディレクトリに配置させ、さらにディレクトリを含んだ複数のディレクトリを階層構造によって論理的に管理する管理部とを備える。この装置において、アクセス部は、複数のディレクトリからなる階層構造の中の管理用ファイルに含まれたパス情報にもとづいて、記録媒体に記録されたデータファイルにアクセスしてもよい。 One embodiment of the present invention is a data management device. The device includes an access unit that accesses a plurality of recording media each recording a plurality of data files via a network, and a plurality of management files that include path information for accessing the plurality of data files. In order to manage the generation unit and the plurality of data files, the management files corresponding to each of the plurality of data files are arranged in a predetermined directory, and the plurality of directories including the directory are logically arranged in a hierarchical structure. And a management unit for managing. In this apparatus, the access unit may access the data file recorded on the recording medium based on the path information included in the management file in the hierarchical structure including a plurality of directories.
「パス情報」は、IP(Internet Protocol)アドレスなどのネットワークアドレスと記録媒体内のアドレスによって指定可能であるが、これらに限らずデータファイルの位置が特定できればよいものとする。 The “path information” can be specified by a network address such as an IP (Internet Protocol) address and an address in the recording medium, but is not limited to this, and it is sufficient that the position of the data file can be specified.
「階層構造」は、別のファイルによって、階層構造が管理されていてもよいが、それに限らず、管理用ファイルやディレクトリの一部にその上位と下位のディレクトリ等の情報が付加されて、論理的にのみ形成されていてもよい。 The “hierarchical structure” may be managed by another file. However, the present invention is not limited to this, and information such as upper and lower directories is added to a part of a management file or directory to create a logical structure. Alternatively, it may be formed only.
以上の装置により、データファイルの直接の管理に代わって、それに対応した管理用ファイルを管理するため、データファイルの記録位置に関係なく、データファイルを管理可能である。 With the above apparatus, instead of direct management of the data file, the management file corresponding to the management is managed. Therefore, the data file can be managed regardless of the recording position of the data file.
生成部は、同一内容のデータファイルが複数の記録媒体に記録されている場合に、当該データファイルにアクセスするための複数のパス情報を含めて管理用ファイルを生成してもよい。生成部は、複数のデータファイルのうちのいずれかが生成段階にある場合でも、生成段階のデータファイルにアクセスするためのパス情報を含んだ管理用ファイルを生成してもよい。
「生成段階」は、データファイルを生成している場合だけでなく、データファイルの生成前も含み、データファイルが完成されていない段階を示す。
The generation unit may generate a management file including a plurality of pieces of path information for accessing the data file when data files having the same content are recorded on the plurality of recording media. The generation unit may generate a management file including path information for accessing the data file in the generation stage even when any of the plurality of data files is in the generation stage.
The “generation stage” indicates a stage where the data file is not completed, including not only when the data file is generated but also before the data file is generated.
複数の記録媒体のうちの少なくともひとつに、もとのデータファイルが複数のデータファイルに分割されて記録されており、管理部は、分割された複数のデータファイルにそれぞれ対応した複数の管理用ファイルを所定のディレクトリに配置させて管理し、管理部で管理された複数のディレクトリからなる階層構造の中から、所定のディレクトリを選択するための指示を受けつける受付部と、選択したディレクトリに配置された複数の管理用ファイルに対応した複数のデータファイルをもとのデータファイルとみなして、アクセス部に当該もとのデータファイルへのアクセスを指示する指示部をさらに備えてもよい。受付部は、管理部で管理された複数のディレクトリからなる階層構造の中から、所定のディレクトリに配置された管理用ファイルを選択するための指示を受けつけ、指示部は、アクセス部に対して、選択した管理用ファイルに対応したデータファイルへのアクセスを指示してもよい。
「もとのデータファイルへのアクセスを指示する」は、もとのデータファイルを構成する複数のデータファイルへのアクセスを指示することによってなされてもよい。
The original data file is divided into a plurality of data files and recorded on at least one of the plurality of recording media, and the management unit has a plurality of management files respectively corresponding to the plurality of divided data files. Are arranged in a predetermined directory and managed, and a reception unit that receives an instruction to select a predetermined directory from a hierarchical structure composed of a plurality of directories managed by the management unit, and is arranged in the selected directory A plurality of data files corresponding to a plurality of management files may be regarded as the original data file, and an instruction unit that instructs the access unit to access the original data file may be further provided. The reception unit receives an instruction to select a management file arranged in a predetermined directory from a hierarchical structure including a plurality of directories managed by the management unit, and the instruction unit Access to the data file corresponding to the selected management file may be instructed.
“Instructing access to the original data file” may be performed by instructing access to a plurality of data files constituting the original data file.
複数の記録媒体は、所定のデータ処理装置にそれぞれ含められており、本データ管理装置はさらに、データファイルを対象にした処理の指示を受けつける受付部と、処理対象のデータファイルに対応した複数の管理用ファイルに含まれたパス情報にもとづいて、データファイルに対する処理が当該データファイルを記録した記録媒体を含んだデータ処理装置で優先的に実行されるように、処理を実行すべきデータ処理装置を決定する決定部と、アクセス部を介して、決定したデータ処理装置に処理を指示する指示部とを備えてもよい。 The plurality of recording media are respectively included in a predetermined data processing device. The data management device further includes a reception unit that receives a processing instruction for the data file and a plurality of data files corresponding to the processing target data file. A data processing device that is to execute processing so that processing on the data file is preferentially executed by the data processing device including the recording medium on which the data file is recorded, based on the path information included in the management file And an instruction unit that instructs the determined data processing apparatus to perform processing via the access unit.
本発明の別の態様は、データ管理方法である。この方法は、ネットワーク経由の複数の記録媒体に記録された複数のデータファイルを管理するために、複数のデータファイルにアクセスするためのパス情報を含んだ複数の管理用ファイルをそれぞれ生成し、管理用ファイルを所定のディレクトリに配置させ、さらに複数のディレクトリを階層構造によって論理的に管理する。 Another aspect of the present invention is a data management method. In this method, in order to manage a plurality of data files recorded on a plurality of recording media via a network, a plurality of management files including path information for accessing the plurality of data files are respectively generated and managed. Files are arranged in a predetermined directory, and a plurality of directories are logically managed by a hierarchical structure.
本発明のさらに別の態様は、プログラムである。このプログラムは、複数のデータファイルがそれぞれ記録された複数の外部記録媒体に、ネットワークを介してアクセスするステップと、複数のデータファイルにアクセスするためのパス情報を含んだ複数の管理用ファイルをそれぞれ生成するステップと、複数のデータファイルを管理するために、複数のデータファイルのそれぞれに対応した管理用ファイルを所定のディレクトリに配置させ、さらに複数のディレクトリが階層構造を形成するような階層構造情報を内部記録媒体に記録することによって、論理的に管理するステップとを備える。このプログラムにおいて、ネットワークを介してアクセスするステップは、内部記録媒体に記録された複数のディレクトリからなる階層構造の中の管理用ファイルに含まれたパス情報にもとづいて、記録媒体に記録されたデータファイルにアクセスしてもよい。 Yet another embodiment of the present invention is a program. The program includes a step of accessing a plurality of external recording media each recording a plurality of data files via a network, and a plurality of management files including path information for accessing the plurality of data files. Hierarchical structure information in which a management file corresponding to each of a plurality of data files is arranged in a predetermined directory and a plurality of directories form a hierarchical structure in order to generate and manage a plurality of data files Is recorded on an internal recording medium, and logically managed. In this program, the step of accessing via the network includes data recorded on the recording medium based on the path information included in the management file in a hierarchical structure consisting of a plurality of directories recorded on the internal recording medium. You may access the file.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
本発明によれば、複数のデータファイルが格納されているストレージの違いをユーザに意識させずに、それらのデータファイルを統一的に使用可能となる。 According to the present invention, these data files can be used uniformly without making the user aware of the difference in storage in which a plurality of data files are stored.
本発明の実施例は、記録媒体とCPUを含んだ処理装置がネットワークを介して複数接続され、それらが互いに連動しながら並列計算処理を実行する並列計算システムに関し、特にその中でも複数の処理装置の記録媒体にそれぞれ記録された複数のデータファイルを管理するデータ管理システムに関する。本実施例にかかるデータ管理システムは、複数の処理装置が接続されたネットワークにさらにサーバ装置を接続し、当該サーバ装置は、複数の処理装置に記録された複数のデータファイルのそれぞれに対して、パス情報を含んだ管理用ファイルを生成する。例えば、データファイル「A」に対応した管理ファイル「A」は、データファイル「A」を記録した処理装置のネットワークアドレスと処理装置に含まれた記録媒体内の記録領域のアドレスを記載している。さらに、サーバ装置は、複数のデータファイルを直接管理せず、その代わりに複数の管理用ファイルを所定のディレクトリに配置させ、そのような複数のディレクトリを階層構造によって管理する。ユーザまたはプログラムが所定のデータファイルを指定する場合、階層構造を形成するディレクトリの中から当該データファイルに対応した管理用ファイルを指定する。サーバ装置は、指定された管理用ファイルに含まれたパス情報にもとづいて、当該データファイルが記録された処理装置にアクセスし、当該データファイルを指定する。 Embodiments of the present invention relate to a parallel computing system in which a plurality of processing devices including a recording medium and a CPU are connected via a network, and execute parallel computing processing in conjunction with each other. The present invention relates to a data management system for managing a plurality of data files respectively recorded on a recording medium. The data management system according to the present embodiment further connects a server device to a network to which a plurality of processing devices are connected, and the server device is configured for each of a plurality of data files recorded in the plurality of processing devices. Create a management file containing path information. For example, the management file “A” corresponding to the data file “A” describes the network address of the processing device that recorded the data file “A” and the address of the recording area in the recording medium included in the processing device. . Further, the server device does not directly manage a plurality of data files, but instead arranges a plurality of management files in a predetermined directory, and manages such a plurality of directories in a hierarchical structure. When a user or program designates a predetermined data file, a management file corresponding to the data file is designated from a directory forming a hierarchical structure. Based on the path information included in the designated management file, the server device accesses the processing device in which the data file is recorded, and designates the data file.
さらに、本発明の実施例によって、完成されていないデータファイルに対する操作性を向上させたい。また、処理対象のデータファイルの規模に応じて、データファイルの処理対象を変更したい。また、データファイルの高速処理を実現したい。 Furthermore, it is desirable to improve the operability with respect to an unfinished data file by the embodiment of the present invention. Also, I want to change the data file processing target according to the size of the processing target data file. I want to achieve high-speed processing of data files.
図1は、本発明の実施例に係るデータ処理システム100の構成を示す。データ処理システム100は、クライアント装置10、サーバ装置12、記録部14、処理装置16と総称される第1処理装置16a、第2処理装置16b、第3処理装置16c、第4処理装置16d、第5処理装置16e、第6処理装置16f、ネットワーク18を含む。また、サーバ装置12は、アクセス部20、受付部22、管理部24、生成部26、決定部28、指示部30を含み、処理装置16は、処理部40と総称される第1処理部40a、第2処理部40b、第3処理部40c、第4処理部40d、第5処理部40e、第6処理部40f、記録部42と総称される第1記録部42a、第2記録部42b、第3記録部42c、第4記録部42d、第5記録部42e、第6記録部42fをそれぞれ含む。
FIG. 1 shows a configuration of a
ネットワーク18は、所定のプロトコルによって、情報信号を通信する。ネットワーク18は、主に同軸ケーブル、ツイストペアケーブル、光ケーブル等の信号を伝達するためのケーブルを、ルータ、交換機等の信号の伝達経路を制御する装置で接続して構成されている。図1では、ひとつのネットワーク18のみを示しているが、これに限らず、複数のネットワークの結合によって構成されていてもよく、複数のネットワークのバンド幅がそれぞれ異なっていてもよい。
The
クライアント装置10は、ユーザが操作するパーソナルコンピュータ等である。クライアント装置10は、ネットワーク18を介して後述のサーバ装置12に対して、データファイルの検索や計算処理等の指示を出力し、サーバ装置12からその結果を受けつけ、図示しないディスプレイに表示する。
The
記録部42は、データファイルを記録するハードディスク等の記録媒体である。ここでデータファイル「DATA A」は、第1記録部42aと第6記録部42fに複製され記録されている。また、データファイル「DATA B」は、データ容量が大きいため、データファイル「DATA B−1」、「DATA B−2」、「DATA B−3」に分割されており、データファイル「DATA B−1」は、第1記録部42aと第4記録部42dに複製されて記録され、データファイル「DATA B−2」は、第2記録部42bと第5記録部42eに複製されて記録され、データファイル「DATA B−3」は、第3記録部42cと第6記録部42eに複製され記録されている。また、予め記録していたデータファイルだけではなく、後述の処理部40の処理によって生成されたデータファイルも記録する。
The recording unit 42 is a recording medium such as a hard disk that records data files. Here, the data file “DATA A” is duplicated and recorded in the
処理部40は、計算やデータファイル検索等の処理を実行するCPU、データファイルを一時的に記録するRAM(Random Access Memory)等を含む。ここで、計算やデータファイル検索等の対象となるデータファイルや処理は後述のサーバ装置12から指示される。
アクセス部20は、ネットワーク18と接続し、データや所定の指示のための信号を入出力する。
The processing unit 40 includes a CPU that executes processing such as calculation and data file search, and a RAM (Random Access Memory) that temporarily records data files. Here, a data file and processing to be subjected to calculation, data file search, and the like are instructed from the
The
受付部22は、ネットワーク18とアクセス部20を介してクライアント装置10や処理装置16から出力されたデータ等を受けつける。クライアント装置10からはデータファイルの検索、計算処理、管理しているデータファイルの表示等の指示を受けつける。処理装置16からはそれぞれの記録部42で記録しているデータファイルのパス情報を受けつけたり、予めサーバ装置12から出力した指示に応じた結果を受けつける。なお、パス情報の具体例については、後述する。
The
生成部26は、受付部22で受けつけたデータファイルのパス情報にもとづいて、記録部42で記録されているデータファイルのパス情報を含んだ管理用ファイルを生成する。生成する際、例えば、管理用ファイルの名称は、それに対応するデータファイルに一致するように決定する。ここで、データファイル「DATA A」のように複数の記録部42に記録されている場合は、複数のパス情報を管理用ファイルに記載する。また、データファイルの生成段階あるいは生成前に、あらかじめデータファイルに対応付けられた管理用ファイルを生成してもよい。
The
管理部24は、管理用ファイルを所定のディレクトリに配置させ、複数のディレクトリを階層構造によって管理する。なお、管理すべき階層構造を形成する複数のディレクトリの情報および管理用ファイルは記録部14に記録される。また、クライアント装置10からの指示によって所定のデータファイルを検索する場合、管理部24は、記録部14にアクセスし、階層構造を形成する複数のディレクトリの情報から、検索対象のデータファイルに対応した管理用ファイルを検索する。
The
決定部28は、クライアント装置10からの指示に応じた処理を複数の処理部40が実行する場合に、処理を実際に実行すべき処理部40を決定する。ここでは、既に実行されている処理を無視すれば、処理対象のデータファイルを記録している記録部42と同一の処理装置16に含まれている処理部40に処理を優先的に割り当てる。例えば、クライアント装置10からの指示がデータファイル「DATA A」の検索処理の場合、決定部28は、データファイル「DATA A」を記録した第1記録部42aと同一の第1処理装置16aに含まれた第1処理部40aに当該処理を割り当てる。なお、データファイル「DATA A」は、第6記録部42fにも記録されているため、当該処理を第6処理部40fに割り当ててもよい。
The
指示部30は、決定部28によって決定された処理装置16に処理の実行を指示したり、あるいは管理部24で直接実行された処理結果を出力する。
この構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリのロードされた予約管理機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
The
This configuration can be realized in terms of hardware by a CPU, memory, or other LSI of an arbitrary computer, and in terms of software, it is realized by a program having a reservation management function loaded in memory. The functional block realized by those cooperation is drawn. Accordingly, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
図2は、サーバ装置12でのファイルシステムの構成を示す。図2の上部に記録部14で記録されている複数のディレクトリが形成する階層構造の情報を示す。ディレクトリ「/grid」が階層構造の最上位に位置づけられており、その下位にディレクトリ「ggf」と「jp」が配置されている。ディレクトリ「jp」の下位には、管理用ファイル「DATA A」が配置されている。さらに、ディレクトリ「ggf」の下位のディレクトリ「aist」の下位には、管理用ファイル「DATA B−1」、「DATA B−2」、「DATA B−3」が配置されている。ここで、管理用ファイル「DATA A」、「DATA B−1」、「DATA B−2」、「DATA B−3」は、図1のデータファイル「DATA A」、「DATA B−1」、「DATA B−2」、「DATA B−3」にそれぞれ対応した管理用ファイルである。
FIG. 2 shows the configuration of the file system in the
管理用ファイル「DATA A」は、パス情報として「ftp://p1.co.jp/a/DATAA」と「http://p6.co.jp/a/DATAA」を記載している。ここで、図1の第1処理装置16aが「p1.co.jp」に、第6処理装置16fが「p6.co.jp」に対応し、データファイル「DATA A」が「DATAA」に対応する。また、管理用ファイル「DATA B−1」、「DATA B−2」、「DATA B−3」についても同様である。
The management file “DATA A” describes “ftp://p1.co.jp/a/DATAA” and “http://p6.co.jp/a/DATAA” as path information. Here, the
図2の下部には、図1での説明と同様に、記録部42で記録されているデータファイルを示す。記録部42のそれぞれの上部には、前述のごとく、それぞれのプロトコルとネットワークアドレスを「ftp://p1.co.jp」のように示す。また、記録部42のそれぞれの内部には、記録領域のアドレスを「/a/DATAA」と「/b/DATAB−1」のように示す。データファイルは、複数の記録部42に分散して記録されているが、記録部14では、それらのデータファイルを直接管理するのではなく、データファイルに対応した管理用ファイルを階層構造によって管理するため、図示のごとく、データファイルを記録した記録部42を意識することなく、データファイルを管理可能である。
The lower part of FIG. 2 shows the data file recorded by the recording unit 42 as in the description of FIG. As described above, each protocol and network address is indicated as “ftp://p1.co.jp” in the upper part of each recording unit 42. In each recording unit 42, the address of the recording area is indicated as “/ a / DATAA” and “/ b / DATAB-1”. Data files are distributed and recorded in a plurality of recording units 42, but the
ユーザまたはプログラムがデータファイル「DATA B−1」に対する処理を指示した場合、管理部24は、記録部14に記録された管理用ファイル「DATA B−1」のパス情報に応じて、第1記録部42aか第4記録部42dの「/b/DATAB−1」にアクセスする。一方、データファイル「DATA B」のすべてに対する処理を指示する場合、管理部24は、データファイル「DATA B」に対応した管理用ファイルをすべて含んだディレクトリ「aist」をデータファイル「DATA B」に対応した管理用ファイルとみなす。さらに、それらに記載されたパス情報にもとづいて、対応すべき記録部42にアクセスする。
When the user or the program instructs processing for the data file “DATA B-1”, the
図3は、クライアント装置10から指示されるデータファイル表示の処理を示すシーケンス図である。ここで、ユーザはデータファイル「DATA B」の表示を指示するものとする。ユーザはクライアント装置10において、図2のディレクトリ「aist」の表示を指示する(S10)。クライアント装置10は、ネットワーク18を介して、サーバ装置12に指示信号を出力する(S12)。サーバ装置12は、記録部14のディレクトリ「aist」の下位に配置された管理用ファイル「DATA B−1」、「DATA B−2」、「DATA B−3」からパス情報を検出する(S14)。サーバ装置12は、管理用ファイル「DATA B−1」のパス情報に従って、第1処理装置16aにデータファイル「DATA B−1」の出力を指示する(S16)。第1処理装置16aは、第1記録部42aからデータファイル「DATA B−1」を読み出して(S18)、サーバ装置12に出力する(S20)。また、サーバ装置12は、管理用ファイル「DATA B−2」のパス情報に従って、第2処理装置16bにデータファイル「DATA B−2」の出力を指示する(S22)。第2処理装置16bは、第2記録部42bからデータファイル「DATA B−2」を読み出して(S24)、サーバ装置12に出力する(S26)。
FIG. 3 is a sequence diagram showing a data file display process instructed from the
さらに、サーバ装置12は、管理用ファイル「DATA B−3」のパス情報に従って、第3処理装置16cにデータファイル「DATA B−3」の出力を指示する(S28)。第3処理装置16cは、第3記録部42cからデータファイル「DATA B−3」を読み出して(S30)、サーバ装置12に出力する(S32)。最終的に、サーバ装置12は、ディレクトリ「aist」をひとつのデータファイルとして、その出力結果をクライアント装置10に出力し(S34)、クライアント装置10は、データファイル「DATA B」に対応した「aist」を表示する(S36)。
Further, the
図4は、サーバ装置12でのデータファイルの表示の処理を示すフローチャートである。ここで、図3と同様にユーザは所定のデータファイルの表示を指示するものとする。管理部24は、記録部14から複数のディレクトリで形成された論理的な階層構造を読み込む(S50)。クライアント装置10からアクセス部20に、データファイルの表示の要求が入力され、受付部22は、データファイルへのアクセスの要求を受けつける(S52)。アクセス対象がディレクトリの場合(S54のY)、例えば、図2の「aist」の場合は、管理部24は、ディレクトリ中の複数の管理用ファイルに含まれたパス情報を検出する(S56)。複数の管理用ファイルが「DATA B−1」、「DATA B−2」、「DATA B−3」の場合、読み込んだ結果のデータファイルが「B−1」、「B−2」、「B−3」の順番に並ぶように、複数の管理用ファイルに対応したデータファイルを並べる準備をする(S58)。この順番を示す情報は、管理用ファイルに含まれていてもよい。パス情報に応じた指示部30の指示によって、アクセス部20は、データファイルを読み込む(S60)。さらに、データファイルをクライアント装置10に出力して、データファイルを表示させる(S62)。
FIG. 4 is a flowchart showing a data file display process in the
一方、アクセス対象がディレクトリでない場合(S54のN)、例えば、図の管理用ファイル「DATA B−1」の場合、管理部24は、当該管理用ファイルに含まれたパス情報を検出する(S64)。パス情報に応じた指示部30の指示によって、アクセス部20は、データファイルを読み込む(S66)。さらに、データファイルをクライアント装置10に出力して、データファイルを表示させる(S68)。
On the other hand, when the access target is not a directory (N in S54), for example, in the case of the management file “DATA B-1” in the figure, the
図5は、サーバ装置12でのデータファイルの検索処理を示すフローチャートである。管理部24は、記録部14から複数のディレクトリで形成された論理的な階層構造を読み込む(S80)。クライアント装置10からアクセス部20に、データファイルの検索の要求が入力され、受付部22は、当該指示を受けつける(S82)。管理部24は、検索対象のディレクトリの中の複数の管理用ファイルに含まれたパス情報をそれぞれ検出する(S84)。また、アクセス部20は、複数の処理装置16でのCPU使用率を検出し(S86)、検出結果を管理部24に入力する。検索対象のデータファイルをローカルに記録した処理装置16のうちCPU使用率がしきい値より低いものがある場合(S88のY)、例えば、データファイル「DATA B−1」を検索対象とすれば、それをローカルに記録した第1記録部42aと第4記録部42dを含んだ処理装置16の第1処理部40aと第4処理部40dのCPU使用率のいずれかが、しきい値より低い場合、決定部28は当該処理装置16でのデータファイルの検索を決定し、指示部30は当該処理装置16にその旨を指示する(S90)。一方、検索対象のデータファイルをローカルに記録した処理装置16のうちCPU使用率がしきい値より低いものがない場合(S88のN)、ステップ90をスキップする。
FIG. 5 is a flowchart showing a data file search process in the
検索対象のデータファイルのうち、処理されていないデータファイルが存在すれば(S92のY)、決定部28は、CPU使用率の低い処理装置16に、処理されていないデータファイルに対する検索を決定し、指示部30は当該処理装置16にその旨を指示する(S94)。複数の処理装置16で検索処理が実行されると、受付部22はそれらの処理装置16から検索結果へのパス情報を取得する(S96)。生成部26は、取得したパス情報をもとに、管理用ファイルを生成し、所定のディレクトリに配置させ、記録部14に記録する(S98)。また、アクセス部20は、検索結果をクライアント装置10に出力する。
If there is an unprocessed data file among the search target data files (Y in S92), the
本発明の実施例によれば、データファイルを記録したストレージの場所にかかわらず、そのパス情報を記載した管理用ファイルによって、データファイルを管理するため、データファイルを統一的に管理可能である。また、管理用ファイルは階層構造を形成するディレクトリに配置して管理されるため、ユーザにとっての操作性が向上する。さらに、管理用ファイルは対応するデータファイルの完成前から、生成可能であって、データファイルの完成時でのデータ量に関係なく、データファイルを管理可能なため、操作性が向上する。処理対象のデータファイルの規模に応じて、ひとつのデータファイルあるいはディレクトリに対応した複数のデータファイルに処理対象を変更するため、操作性と高速処理を実現できる。また、データファイルが記録された処理装置に当該データファイルに対する処理を割り当てるため、ローカルで実行可能な処理になって、高速処理が可能である。 According to the embodiment of the present invention, regardless of the storage location where the data file is recorded, the data file is managed by the management file in which the path information is described. Therefore, the data file can be managed uniformly. In addition, since the management file is managed by being arranged in a directory forming a hierarchical structure, the operability for the user is improved. Furthermore, the management file can be generated before the corresponding data file is completed, and the data file can be managed regardless of the amount of data at the time of completion of the data file, so that the operability is improved. Since the processing target is changed to a plurality of data files corresponding to one data file or directory according to the size of the processing target data file, operability and high-speed processing can be realized. In addition, since the processing for the data file is assigned to the processing device in which the data file is recorded, the processing can be executed locally and high-speed processing is possible.
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are also within the scope of the present invention. is there.
本発明の実施例において、生成部26がパス情報を含んだ管理用ファイルを自動的に生成している。しかしこれに限らず例えば、管理用ファイルは、ユーザによって直接生成されてもよい。その際は、クライアント装置10から所定のインターフェースを介して生成される。本変形例によれば、ユーザの意思を確実に反映したパス情報を含んだ管理用ファイルを生成できる。つまり、対応すべきデータファイルのパス情報を含んだ管理用ファイルが管理部24によって、管理されていればよい。
In the embodiment of the present invention, the
本発明の実施例において、ひとつのサーバ装置12がデータファイルを管理し、ユーザの使用するクライアント装置10からの指示を受けつけている。しかしこれに限らず例えば、サーバ装置12が複数あってもよい。例えば、サーバ装置12を日本、米国、欧州等の距離が離れた地域にそれぞれ設置し、ユーザが最寄のサーバ装置12にアクセスするようにしてもよい。その際、複数のサーバ装置12において、処理に必要なデータファイルの管理情報を統一する必要があるので、複数のサーバ装置12は当該情報を必要に応じて交換するものとする。本変形例によれば、サーバ装置12による処理の集中と、通信回線の混雑を回避できる。つまり、データファイルの記録領域と管理用ファイルが対応していればよい。
In the embodiment of the present invention, one
本発明の実施例において、特に図3では、サーバ装置12は、第1処理装置16aからデータファイル「DATA B−1」を取得した後に、第2処理装置16bにデータファイル「DATA B−2」の出力を要求し、第2処理装置16bからデータファイル「DATA B−2」を取得した後に、第3処理装置16cにデータファイル「DATA B−3」の出力を要求している。しかしこれに限らず例えば、サーバ装置12は、第1処理装置16aからデータファイル「DATA B−1」を取得前に、第2処理装置16bにデータファイル「DATA B−2」の出力を要求し、第2処理装置16bからデータファイル「DATA B−2」を取得前に、第3処理装置16cにデータファイル「DATA B−3」の出力を要求してもよい。本変形例によれば、処理が高速になる。
In the embodiment of the present invention, particularly in FIG. 3, the
本発明の実施例において、サーバ装置12は、データファイルをローカルに記録した処理装置16で優先的に処理されるように、処理対象の処理装置16を決定する。しかしこれに限らず例えば、クライアント装置10が、所定のディレクトリすなわちデータファイルの集合とプログラムをサーバ装置12に指示すると、サーバ装置12はデータファイルを格納する複数の処理装置16で当該プログラムを実行させ、実行結果をそれぞれの記録部42に格納してもよく、さらにサーバ装置12は、生成された実行結果の集合もデータファイルの集合として管理してもよい。本変形例によれば、実行結果の更なる処理が容易になる。
In the embodiment of the present invention, the
10 クライアント装置、 12 サーバ装置、 14 記録部、 16 処理装置、 18 ネットワーク、 20 アクセス部、 22 受付部、 24 管理部、 26 生成部、 28 決定部、 30 指示部、 40 処理部、 42 記録部、 100 データ処理システム。
DESCRIPTION OF
Claims (8)
前記複数のデータファイルにアクセスするためのパス情報を含んだ複数の管理用ファイルをそれぞれ生成する生成部と、
前記複数のデータファイルを管理するために、前記複数のデータファイルのそれぞれに対応した管理用ファイルを所定のディレクトリに配置させ、さらに前記ディレクトリを含んだ複数のディレクトリを階層構造によって論理的に管理する管理部とを備え、
前記アクセス部は、複数のディレクトリからなる階層構造の中の管理用ファイルに含まれたパス情報にもとづいて、記録媒体に記録されたデータファイルにアクセスすることを特徴とするデータ管理装置。 An access unit for accessing a plurality of recording media each recording a plurality of data files via a network;
A generating unit that generates a plurality of management files each including path information for accessing the plurality of data files;
In order to manage the plurality of data files, a management file corresponding to each of the plurality of data files is arranged in a predetermined directory, and the plurality of directories including the directory are logically managed by a hierarchical structure. With a management department,
The access unit accesses a data file recorded on a recording medium based on path information included in a management file in a hierarchical structure including a plurality of directories.
前記管理部は、前記分割された複数のデータファイルにそれぞれ対応した複数の管理用ファイルを所定のディレクトリに配置させて管理し、
前記管理部で管理された複数のディレクトリからなる階層構造の中から、所定のディレクトリを選択するための指示を受けつける受付部と、
前記選択したディレクトリに配置された複数の管理用ファイルに対応した複数のデータファイルをもとのデータファイルとみなして、前記アクセス部に当該もとのデータファイルへのアクセスを指示する指示部をさらに備えることを特徴とする請求項1または2に記載のデータ管理装置。 The original data file is divided into a plurality of data files and recorded on at least one of the plurality of recording media,
The management unit manages a plurality of management files respectively corresponding to the plurality of divided data files in a predetermined directory,
A receiving unit that receives an instruction for selecting a predetermined directory from a hierarchical structure including a plurality of directories managed by the management unit;
A plurality of data files corresponding to the plurality of management files arranged in the selected directory are regarded as original data files, and an instruction unit for instructing the access unit to access the original data files is further provided. The data management apparatus according to claim 1, comprising: a data management apparatus according to claim 1.
前記指示部は、前記アクセス部に対して、前記選択した管理用ファイルに対応したデータファイルへのアクセスを指示することを特徴とする請求項4に記載のデータ管理装置。 The reception unit receives an instruction to select a management file arranged in a predetermined directory from a hierarchical structure including a plurality of directories managed by the management unit,
The data management apparatus according to claim 4, wherein the instruction unit instructs the access unit to access a data file corresponding to the selected management file.
本データ管理装置はさらに、所定のデータファイルを対象にした処理の指示を受けつける受付部と、
処理対象の前記データファイルに対応した管理用ファイルに含まれたパス情報にもとづいて、データファイルに対する処理が当該データファイルを記録した記録媒体を含んだデータ処理装置で優先的に実行されるように、処理を実行すべきデータ処理装置を決定する決定部と、
前記アクセス部を介して、前記決定したデータ処理装置に処理を指示する指示部と、
を備えることを特徴とする請求項1または2に記載のデータ管理装置。 The plurality of recording media are respectively included in a plurality of data processing devices,
The data management apparatus further includes a receiving unit that receives a processing instruction for a predetermined data file;
Based on the path information included in the management file corresponding to the data file to be processed, the processing on the data file is preferentially executed in the data processing apparatus including the recording medium on which the data file is recorded. A determination unit for determining a data processing device to execute processing;
An instruction unit for instructing the determined data processing apparatus to perform processing via the access unit;
The data management apparatus according to claim 1, further comprising:
前記複数のデータファイルにアクセスするためのパス情報を含んだ複数の管理用ファイルをそれぞれ生成するステップと、
前記複数のデータファイルを管理するために、前記複数のデータファイルのそれぞれに対応した管理用ファイルを所定のディレクトリに配置させ、さらに複数のディレクトリが階層構造を形成するような階層構造情報を内部記録媒体に記録することによって、論理的に管理するステップとを備え、
前記ネットワークを介してアクセスするステップは、前記内部記録媒体に記録された複数のディレクトリからなる階層構造の中の管理用ファイルに含まれたパス情報にもとづいて、記録媒体に記録されたデータファイルにアクセスすることをコンピュータに実行させるためのプログラム。 Accessing a plurality of external recording media each recording a plurality of data files via a network;
Generating a plurality of management files each including path information for accessing the plurality of data files;
In order to manage the plurality of data files, a management file corresponding to each of the plurality of data files is arranged in a predetermined directory, and hierarchical structure information in which the plurality of directories form a hierarchical structure is internally recorded. Logically managing by recording on a medium,
The step of accessing via the network includes the step of copying the data file recorded on the recording medium based on the path information included in the management file in a hierarchical structure consisting of a plurality of directories recorded on the internal recording medium. A program that causes a computer to execute access.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003293675A JP4238318B2 (en) | 2003-08-15 | 2003-08-15 | Data management device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003293675A JP4238318B2 (en) | 2003-08-15 | 2003-08-15 | Data management device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005063214A true JP2005063214A (en) | 2005-03-10 |
JP4238318B2 JP4238318B2 (en) | 2009-03-18 |
Family
ID=34370504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003293675A Expired - Lifetime JP4238318B2 (en) | 2003-08-15 | 2003-08-15 | Data management device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4238318B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006350470A (en) * | 2005-06-13 | 2006-12-28 | National Institute Of Advanced Industrial & Technology | Data management device and method |
WO2010101189A1 (en) | 2009-03-06 | 2010-09-10 | 日本電気株式会社 | Information processing system and method |
WO2012114531A1 (en) * | 2011-02-23 | 2012-08-30 | 株式会社日立製作所 | Computer system and data management method |
-
2003
- 2003-08-15 JP JP2003293675A patent/JP4238318B2/en not_active Expired - Lifetime
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006350470A (en) * | 2005-06-13 | 2006-12-28 | National Institute Of Advanced Industrial & Technology | Data management device and method |
WO2010101189A1 (en) | 2009-03-06 | 2010-09-10 | 日本電気株式会社 | Information processing system and method |
US8775746B2 (en) | 2009-03-06 | 2014-07-08 | Nec Corporation | Information processing system and method |
WO2012114531A1 (en) * | 2011-02-23 | 2012-08-30 | 株式会社日立製作所 | Computer system and data management method |
JP2012174096A (en) * | 2011-02-23 | 2012-09-10 | Hitachi Ltd | Computer system and data management method |
Also Published As
Publication number | Publication date |
---|---|
JP4238318B2 (en) | 2009-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9971823B2 (en) | Dynamic replica failure detection and healing | |
JP5537571B2 (en) | Content rendering on computers | |
US8214498B2 (en) | Method and system for managing a peer of a peer-to-peer network to search for available resources | |
US7010657B2 (en) | Avoiding deadlock between storage assignments by devices in a network | |
JP5439761B2 (en) | Content reproduction apparatus, content reproduction method, and content reproduction program | |
KR100678957B1 (en) | Device and method for sharing multimedia data of network device on the network | |
CN109714229B (en) | Performance bottleneck positioning method of distributed storage system | |
JP2005196783A (en) | System and method for coaxial navigation of user interface | |
JP5375972B2 (en) | Distributed file system, data selection method thereof, and program | |
US20120109952A1 (en) | System, method, and computer program for remote management of digital content | |
CN112905113A (en) | Data access processing method and device | |
JP5179514B2 (en) | User interface control apparatus, method and communication system | |
US6519598B1 (en) | Active memory and memory control method, and heterogeneous data integration use system using the memory and method | |
JP2003162444A (en) | Information-offering system, information-offering method, and information-offering program | |
JP5238219B2 (en) | Information processing system and pipeline processing control method | |
US20090327303A1 (en) | Intelligent allocation of file server resources | |
US20210058652A1 (en) | System and method of building a distributed network for essence management and access | |
JP4992568B2 (en) | Client device, data processing method and program thereof | |
JP4238318B2 (en) | Data management device | |
JP2008547109A (en) | Method for storing queries for devices with rewritable media | |
JP4224279B2 (en) | File management program | |
JP2006338421A (en) | Remote database operation program, remote database operating method and remote database operating device | |
US11727003B2 (en) | Scaling query processing resources for efficient utilization and performance | |
EP3343410A1 (en) | System for large scale handling of data streams | |
TWI710954B (en) | Data caching method for hyper converged infrastructure and node performing the same, machine learning framework, and file system client |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081125 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4238318 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |