JP2002182953A - Distributed file management method - Google Patents

Distributed file management method

Info

Publication number
JP2002182953A
JP2002182953A JP2000383124A JP2000383124A JP2002182953A JP 2002182953 A JP2002182953 A JP 2002182953A JP 2000383124 A JP2000383124 A JP 2000383124A JP 2000383124 A JP2000383124 A JP 2000383124A JP 2002182953 A JP2002182953 A JP 2002182953A
Authority
JP
Japan
Prior art keywords
file
blocks
block
logical
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000383124A
Other languages
Japanese (ja)
Inventor
Wakichi Matsui
Yuji Nishimura
Kazuhito Sugiyama
和仁 杉山
和吉 松井
祐二 西村
Original Assignee
Hitachi Ltd
Hitachi Software Eng Co Ltd
日立ソフトウエアエンジニアリング株式会社
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, Hitachi Software Eng Co Ltd, 日立ソフトウエアエンジニアリング株式会社, 株式会社日立製作所 filed Critical Hitachi Ltd
Priority to JP2000383124A priority Critical patent/JP2002182953A/en
Publication of JP2002182953A publication Critical patent/JP2002182953A/en
Application status is Pending legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To accelerate parallel disk device access at the time of I/O requests in a method of distributing and arranging a plurality of logic files to disk units by a striping file mechanism. SOLUTION: In this method of distributing and arranging the logic file 603 to sub-filing systems 614-617, stride groups SG0-SG3 which are the sets of file blocks are generated so as to arrange the file blocks FB0-FB15 of the same file in the batch area of the disk devices 610-613 and they are written altogether to the respective sub-filing systems by the stride group unit. Also, when accessing the file block, the successive file blocks FB4-FB15 are looked ahead to the buffer cache 604 of a master filing system 605, the number of times of requesting read to the sub-filing systems is reduced and file access is accelerated further.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、マスタファイルシステムに仮想的に存在する論理ファイルを、複数ディスク装置に分割して保存することで、並行して複数ディスク装置のファイルブロックにアクセス出来るようにするストライピングファイル機構と呼ばれるファイル運用方法に関するものである。 The present invention relates to the logical file that exists virtually in the master file system and storing in a plurality disk devices, so access to the file blocks of the plurality disk devices in parallel file operation method called striping file mechanism to relate.

【0002】 [0002]

【従来の技術】従来より、特開平9−223049号公報に記載のような、ストライピングファイル機構による、論理ファイルを複数ディスク装置に分割して配置する方法で、論理ファイルへのI/O要求時に、複数ディスク装置に並行してアクセスできることは知られており、並列計算機での大容量ファイル管理において、本ファイルアクセス技術は、広く利用されている。 Conventionally, as described in JP-A-9-223049, by striping the file mechanism, in a manner to place by dividing the logical file into multiple disk devices, when I / O requests to the logical file , can be accessed concurrently in a plurality disk devices are known, in large files managed in the parallel computer, the file access technology are widely used.

【0003】 [0003]

【発明が解決しようとする課題】上記従来技術は、論理ファイルを複数ディスク装置に分散配置することで、並列アクセスを可能にして、大容量ファイルへの読み出し要求の高速化を図るものであったが、ディスク装置への書き込み時、分割されたファイルブロック群に対して、 THE INVENTION Problems to be Solved The prior art, by distributed logical files across multiple disk devices, thereby enabling parallel access was achieved, increase the speed of read requests to the large file but when writing to the disk device, the divided file blocks,
同一ディスク装置へ格納するデータ群という認識をせず、各ファイルブロックを個別にディスク装置に格納するため、ディスク装置上でのファイルブロックの配置にばらつきが生じ、ファイル読み出し時、ディスク装置の回転待ち、シーク(ファイルブロックの検索)の回数が増加するため、性能劣化の原因となっていた。 Without the recognition that data group to be stored in the same disk apparatus, for storing each file block individually disk apparatus, variations occur in the placement of file blocks on the disk apparatus, when a file read, disk latency unit , since the number of times of seek (search of file blocks) increases, it has been a cause of performance degradation.

【0004】本発明の目的は、ストライピングファイル機構により論理ファイルを複数ディスク装置に分散配置する方法において、ファイル読み出し時のディスク装置へ並列での読み出しの効率化を図り、大容量ファイルへの読み出し時間の短縮をすることにある。 An object of the present invention is a method for distributed logical files to multiple disk devices by the striping file mechanism, improve efficiency of reading in parallel to the disk apparatus at the time of file read, read time for large files It is to the shortening of.

【0005】 [0005]

【課題を解決するための手段】上記目的を達成するために、ストライピングファイル機構による論理ファイルの分散管理方法において、論理ファイルを複数ディスク装置に分散配置するとき、各ディスク装置に配置する同一ファイルのファイルブロックを一括して書き込みしておくことで、ディスク装置からのファイルブロックの読み出し時にシークの回数を削減し、ファイルへのアクセス時間を短縮するものである。 To achieve the above object, according to the solution to ## in a distributed management method of the logical file by striped file mechanism, when distributed logical files across multiple disk devices, the same file to place the respective disk devices by keep writing collectively the file block, in which to reduce the number read during seek the file blocks from the disk device, to shorten the access time to the file. また、ファイルのブロックを一括してディスク装置への書き込みをすることで、ファイル読み出し時にマスタファイルシステムのバッファキャッシュに、これからアクセスが発生するファイルブロックの先読みを可能にし、各ディスク装置への読み出し要求の回数を削減するため、ファイルの読み出し時間の短縮化を図るものである。 Further, collectively a block of the file by writing to the disk device, the buffer cache of the master file system when a file read, to enable future prefetch file blocks access occurs, the read request to the disk device to reduce the number of, but to shorten the reading time of the file.

【0006】 [0006]

【発明の実施の形態】以下、本発明の実施の形態について説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter will be described an embodiment of the present invention. 図1は、本発明の一実施例の全体構造であり、101はマスタファイル、102は構成定義ファイル、103は論理ファイル、FB0〜FB15は論理ファイルを一定のサイズに分割したファイルブロック、S Figure 1 is an overall structure of an embodiment of the present invention, 101 master file, 102 configuration definition file, 103 logical files, FB0~FB15 the file blocks obtained by dividing the logical file a certain size, S
G0〜SG3はファイルブロックの集合であるストライドグループ、104は101、102、及び103を格納するマスタファイルシステム、105〜108はサブファイルAからD、109〜112はディスク装置AからD、113から116はサブファイル、及びディスク装置を格納するサブファイルシステムAからDを示す。 G0~SG3 the stride group is a set of file blocks, 104 master file system for storing 101, 102, and 103, 105 to 108 D from subfiles A, 109 to 112 from the disk device A D, 113 116 shows subfiles, and D from the sub-file system a that stores the disk device.

【0007】マスタファイルは、論理ファイルのファイルブロックがどのサブファイルに格納しているかの情報を持ち、分散配置された論理ファイルを管理する。 [0007] The master file has the one of the information file block with logical file is stored in which subfiles, manages the distributed logical file. 構成定義ファイルは、ストライピングファイル機構を使用するうえで、設定するべき情報を定義する。 Configuration definition file, for using the striping file mechanism, which defines the information to be set. これらの情報には、ストライピングファイル機構が使用するサブファイルシステム、ファイルを分割する際のファイルブロックのサイズが含まれる。 These information, striping the file mechanism sub file system used, include file block size at the time of dividing the file. 論理ファイルは、分割して管理する対象となるファイルで、マスタファイルシステム内に論理上作成される。 Logical file is a file for which manages to split, is created on the logic within the master file system. ファイルブロックは、論理ファイルを一定のサイズに分割したファイルブロックで、サブファイルとして分散管理される最小単位である。 File block in the file blocks obtained by dividing the logical file a certain size, a minimum unit to be distributed management as subfiles. ストライドグループは、同一ファイルシステムに分配されるファイルブロックをグループ化したもので、サブファイル分割のときに用いる単位である。 Stride group, a grouping of file blocks to be distributed in the same file system, which is a unit used when the sub-file division. マスタファイルシステムは、ストライピングファイル機構を使用するファイルシステムで、論理ファイル、マスタファイルを管理するファイルシステムである。 Master file system is a file system that uses striping file mechanism, a file system for managing the logical file, the master file. 各サブファイルは、サブファイルシステム上の実データが格納されているファイルである。 Each sub-file is a file in which actual data on the sub file system is stored. 各ディスク装置は、物理的にファイルを格納する装置で、1サブファイルシステムは、1ディスク装置をマウントすることにより、ファイルシステムを作成する。 Each disk device is a device for storing a physical file, one sub file system by mounting the first disk device, to create a file system. 各サブファイルシステムは、サブファイルが格納されているファイルシステムである。 Each sub-file system is a file system sub-files are stored.

【0008】本発明は、マスタファイルシステムにある論理ファイルを一定のサイズに分割したファイルブロックを、複数のサブファイルシステムのディスク装置に分割して配置し、アプリケーションからのI/O要求をそれぞれのサブファイルが並行して実行することで、ファイルアクセスの高速化をはかるものである。 The present invention, the file blocks obtained by dividing the logical file a certain size in the master file system, arranged to divide the disk device of the plurality of sub-file system, the I / O request from the application of each by sub-file is executed in parallel, it is intended to increase the speed of file access. 図1で、論理ファイルは、一定のサイズに分割されたファイルブロック0から15で構成している。 In Figure 1, a logical file is composed of file block 0 to 15 is divided into fixed size. これらのファイルブロックを複数のディスク装置に配置するマスタファイルシステムは、その構成定義ファイルによりこれらファイルブロックの分配対象となるサブファイルシステムを予め限定している。 Master file system to place these files blocks to a plurality of disk devices are previously restricted the sub file system to be distributed subject to these file blocks by its configuration file. 図1で、サブファイルシステム用にマウントされたディスク装置が4個であるとする。 In Figure 1, mounted disk device is assumed to be four for the sub-file system. このとき、論理ファイルのファイルブロック0、4、8、12 In this case, the logical file file block 0, 4, 8, 12
がサブファイルシステムAのディスク装置Aへ、ファイルブロック1、5、9、13がサブファイルシステムB There the disk unit A in the sub-file system A, file block 1,5,9,13 sub file system B
のディスク装置Bへ、ファイルブロック2、6、10、 To the disk device B, file block 2, 6, 10,
14がサブファイルシステムCのディスク装置Cへ、ファイルブロック3、7、11、15がサブファイルシステムDのディスク装置Dへ分散配置することは、構成定義ファイルから導かれる対象サブファイルシステムとファイルブロック数により決定している。 14 the disk unit C of the sub-file system C, the file block 3, 7, 11, 15 is distributed to the disk apparatus D of the sub-file system D, the subject sub file system and file blocks derived from the configuration definition file It is determined by the number. 論理ファイルとサブファイルとの関係を管理するマスタファイルは、ファイルブロックをディスク装置に配置するとき、ファイルブロック単位で当該ディスク装置に書き込みをすることなく、最初に同一ディスク装置に分配されるファイルブロックをグループ化する。 Master file for managing the relationship between the logical file and the subfile, when placing the file blocks in the disk device, without writing to the disk apparatus by the file blocks, the file blocks that is initially distributed to the same disk device grouping. この一纏にしたファイルブロック群をストライドグループと呼ぶ。 The file block group that has been in this one fireman's standard is called a stride group. ファイルブロック0、4、8、12をストライドグループ0、ファイルブロック1、5、9、13をストライドグループ1、ファイルブロック2、6、10、14をストライドグループ2、ファイルブロック3、7、11、15をストライドグループ3として、各ストライドグループ単位で対象サブファイルシステムのディスク装置へ一括して書き込む。 Stride group 0 the file block 0, 4, 8, 12, stride group 1 the file block 1, 5, 9, 13, stride group 2 the file block 2, 6, 10, 14, file block 3, 7, 11, 15 as stride group 3, collectively written to the disk device of the target sub file system each stride group.

【0009】図2に、本方法における一ファイル分配処理の詳細を説明する。 [0009] FIG. 2, illustrating the details of one file distribution processing in the process. 図2は、本分散ファイル管理方法を実現するために、マスタファイルシステムが論理ファイルの分割時に行う処理について示すものである。 2, in order to implement the present distributed file management method, master file system illustrates the process performed at the time of division of the logical file. S2 S2
01で、構成定義ファイルより、ストライピングファイル機構に使用可能なサブファイルシステムとその数を、 01, from the configuration file, and the sub-file system available for striping the file mechanism that number,
またファイルを分割するファイルブロックのサイズを読み出す。 Also read the size of the file block to split the file. S202で論理ファイルをファイルブロックサイズに分割し、分割したファイルブロックの総数をn個とする。 The logical file divided into a file block size in S202, the total number of divided file blocks is n. 分割したファイルブロックを前から順番にブロック番号0からn−1とする。 And n-1 from the block number 0 in order to split the file block from the front. このとき、最後のファイルブロックが定義されたファイルブロックサイズに満たないときでも、1ファイルブロックとみなし、ブロック番号を定義する。 At this time, even when less than the file block size last file block is defined, regarded as one file block, defines the block number. ファイルブロックにブロック番号を定義した後、S203で、ブロック番号をサブファイルシステム数で割った余りが同じファイルブロックを集めてストライドグループにする。 After defining the block number in the file block, in S203, a remainder obtained by dividing the block number by the number of sub-file system to stride groups collect the same file block. また、この余りをストライドグループ番号とする。 In addition, to the remainder and stride group number. S204において、S203で生成したストライドグループをストライドグループ番号の順にサブファイルシステムに割り当てる。 In S204, allocated to the sub-file system stride group generated in S203 in the order of the stride group number.

【0010】図3では、上記分散ファイル管理方法を用いて、複数の論理ファイルを同一ディスク装置に分配したときのファイルブロックの配置を説明する。 [0010] In Figure 3, using the above distributed file management method, illustrating the arrangement of the file block when a distributed plurality of logical files on the same disk device. 図3において、301はマスタファイル、302は構成定義ファイル、303は論理ファイル1、304は論理ファイル2、FB0〜FB15は論理ファイル1を一定のサイズに分割したファイルブロック、SG0〜SG3は論理ファイル1のファイルブロックの集合であるストライドグループ、FB16〜FB27は論理ファイル2を一定のサイズに分割したファイルブロック、Sg0〜Sg3は論理ファイル2のファイルブロックの集合であるストライドグループ、305は301、302、303、及び304を格納するマスタファイルシステム、306〜3 3, reference numeral 301 denotes a master file, 302 configuration definition file, 303 logical files 1,304 logical file 2, FB0~FB15 the file blocks obtained by dividing the logical file 1 to a certain size, SG0 to SG3 is logical files 1 file block set in a stride groups, FB16~FB27 file blocks obtained by dividing the logical file 2 a certain size, SG0 to SG3 is stride group is a set of file blocks of the logical file 2, 305 301, 302 , master file system for storing 303, and 304, 306-3
09は論理ファイル1を分割しサブファイルシステムに配置したサブファイル1A〜1D、310〜313は論理ファイル2を分割しサブファイルシステムに配置したサブファイル2A〜2D、314〜317はディスク装置AからD、318〜321は二つのサブファイル、及びディスク装置を格納するサブファイルシステムA〜D 09 subfile 1A~1D disposed in the sub file system to divide the logical file 1, 310 to 313 subfile 2A~2D disposed in the sub file system to divide the logical file 2, 314 to 317 from the disk device A D, 318 to 321 the two subfiles, and the sub-file system A~D for storing disk device
を示す。 It is shown. サブファイルシステムAのディスク装置Aにおいて、論理ファイル1のストライドグループSG0と論理ファイル2のストライドグループSg0の書き込みが競合したとき、それぞれのファイルブロック群がストライドグループとして一括してディスク装置Aに書き込まれる。 In the disk apparatus A of the sub file system A, when writing stride group Sg0 stride groups SG0 and logical file 2 logical file 1 conflict, is written to the disk device A each file group of blocks collectively as stride Group . これにより、2つの異なる論理ファイルに属するファイルブロックが交互に(または、混じり合って)ディスク装置に書き込まれることを避け、ディスク装置内の空き領域になるべく同一論理ファイルのファイルブロックが続けて配置されることで、ファイルブロックの読み出し時の回転待ち、シークを削減することが可能となり、ファイルの読み出し要求の効率化を図る。 Thus, the file blocks belonging to two different logical files alternately (or in commingled) avoids to be written to the disk device, the file blocks as possible the same logical file in an empty area in the disk device is arranged to continue in Rukoto, rotational delay time of reading the file block, it is possible to reduce the seek, improve the efficiency of the file read request.

【0011】図4に、サブファイルシステムにおいて、 [0011] FIG. 4, in the sub-file system,
マスタファイルシステムより割り当てられたストライドグループをディスク装置に配置する処理の方法を説明する。 The stride group assigned from the master file system illustrating the method of processing to place the disk device. S401で、マスタファイルシステムよりストライドグループ単位のファイルブロック群を受け取る。 In S401, receiving the file blocks stride group unit from the master file system. S4 S4
02において、マスタファイルシステムから受け取ったファイルブロックを一括して、ディスク装置の空き領域に割り当てていく。 In 02, collectively the file blocks received from the master file system, will be assigned to the free space of the disk drive. 本処理方式により、2論理ファイル以上のファイルブロック群を同一ディスク装置に書き込もうとすると、必ず同一論理ファイルのファイルブロック群に対する書き込みが完了してから、次の論理ファイルのファイルブロック群に対する書き込みが開始されるため、異なる論理ファイルに属するファイルブロックが混在して、ディスク装置に書き込まれることが無いことを保証する。 The present processing method, 2 when you write the logical file or more files blocks on the same disk apparatus, since the write is completed for always file blocks of the same logical file, writing starts to files blocks of the next logical file because the file blocks belonging to different logical files mixed, to ensure that it is not to be written to the disk device.

【0012】次に本分散ファイル管理方法において、論理ファイルへの読み出し時のファイルアクセス方式について説明する。 [0012] Next, in the present distributed file management method will be described file access method at the time of reading of the logical file. 図5は、図1における論理ファイルに読み出し要求があった場合のファイルアクセス方法を説明するもので、501は論理ファイル、FB0〜FB15 Figure 5 is for explaining a file access method when a read request to the logical file in FIG. 1, 501 logical files, FB0~FB15
は論理ファイルを一定のサイズに分割したファイルブロック、SG0〜SG3はファイルブロックの集合であるストライドグループ、502〜505はサブファイルA File blocks obtained by dividing the logical file to a certain size, SG0 to SG3 is stride group is a set of file blocks, 502-505 subfile A
からD、506〜509はディスク装置AからDを示す。 From D, 506-509 shows a D from the disk unit A. 図5で、論理ファイルのファイルブロック0から4 In Figure 5, the file blocks 0 logic file 4
に読み出し要求があった場合、ファイルブロック0から3までを並行に読み出すことが可能で、且つ、ディスク装置Aではファイルブロック0の読み出し要求を実行した後、直ちにファイルブロック4の読み出し要求を実行することが出来る。 If there is a read request, from the file block 0 through 3 can be read in parallel, and, after executing the read request of the disk device A, the file block 0, executes immediately file read request blocks 4 it can be. 従来は、ファイルへの書き込み時、 In the past, when writing to the file,
分割されたファイルブロック群に対して、同一ディスク装置へ格納すると認識せずに、各ブロックを別々にディスク装置に書き込んでいたため、ファイル読み出し時にディスク装置上でのファイルブロックの配置にばらつきが生じ、ディスク装置の回転待ち、シークの回数が増加し、性能劣化の原因となった。 The divided file blocks, without recognizing the stores to the same disk device, because it was written to each block separately to the disk apparatus, variations occur in the placement of file blocks on the disk device when file reading , disk latency unit, number of seeks is increased, causing the performance degradation. 一方、同じ論理ファイルに属するファイルブロックを一纏めにして書き込んだ場合、読み出し時の回転待ち、シークの回数を削減し、効率よく同一論理ファイルのファイルブロック群を読み出すことが可能である。 On the other hand, when written to the file blocks that belong to the same logical file collectively, the rotation waiting time of reading, and reduce the number of seeks efficiently it is possible to read the file blocks of the same logical file.

【0013】次に示す実施例では、本ファイル管理方法において、サブファイルを読み出すとき、マスタファイルが管理している情報より、ファイルブロックを先読みし、それらをマスタファイルシステムのバッファキャッシュに保存する方法を示す。 [0013] In the following examples, in the file management method, when reading the subfile, methods from information master file is managed, to prefetch the file block, stores them in the buffer cache of the master file system It is shown. 本ファイル管理方法では読み出し要求があった場合、最初にアクセスがあったファイルブロックより、同じディスク装置で次に読み出し要求が起こり得るファイルブロックは現在読み出しているファイルブロックと一括して書き込んでいるため、ファイルブロックを先読みして、マスタファイルシステムのバッファキャッシュに保存することが出来る。 If there is a read request in this file management method, first accessed from a file block, then since the read request can occur file blocks are written collectively with the file block currently being read by the same disk device , and prefetching files block can be saved in the buffer cache of the master file system.

【0014】図6は、本分散ファイル管理方法においてマスタファイルシステムにバッファキャッシュを装備したものを説明する図で、601はマスタファイル、60 [0014] Figure 6 is a diagram for explaining what equipped with a buffer cache in the master file system in the distributed file management method, 601 master file, 60
2は構成定義ファイル、603は論理ファイル、604 2 configuration definition file, 603 logical file 604
はバッファキャッシュ、FB0〜FB15は論理ファイルを一定のサイズに分割したファイルブロック、SG0 Buffer cache, FB0~FB15 the file blocks obtained by dividing the logical file to a certain size, SG0
〜SG3はファイルブロックの集合であるストライドグループ、605は601、602、603、及び604 ~SG3 the stride group is a set of file blocks, 605 601, 602, 603, and 604
を格納するマスタファイルシステム、606〜609はサブファイルAからD、610〜613はディスク装置AからD、614〜617はサブファイル及びディスク装置を格納するサブファイルシステムAからDを示す。 Master file system for storing, 606-609 represents D from the sub-file A, 610 to 613 are D from the disk unit A, the D from the sub-file system A for storing the sub-file and disk drive 614 to 617.

【0015】バッファキャッシュは、マスタファイルシステムに装備し、サブファイルシステムより先読みしたファイルブロックを格納する領域として使用する。 [0015] buffer cache is equipped in the master file system is used as an area for storing the file blocks prefetched from the sub-file system.

【0016】図6において、サブファイルAのファイルブロック0にアクセスすると次にファイルブロック4、 [0016] In FIG. 6, then the file block 4 when accessing a file block 0 of the sub-file A,
8、及び12にアクセスされることが起こり得るため、 8, and since it is possible to be accessed 12,
これらの領域をファイルブロック0の読み出し要求が出た時点で、マスタファイルシステム上のバッファキャッシュに先読みすることで、再度マスタファイルシステムからサブファイルシステムへ読み出し要求を出すことなく、直接マスタファイルシステムが論理ファイルの読み出し要求に応えることが可能となる。 These areas at the time the read request comes in file blocks 0, by prefetching the buffer cache on the master file system, without issuing a read request from the master file system again to the sub file system, direct master file system it is possible to respond to a read request of a logical file. このため、さらにファイルアクセスの高速化が図ることができる。 Therefore, it is possible to further speed file access.

【0017】図7では、バッファキャッシュを装備したマスタファイルシステムを用い、読み出し要求があった場合のファイルアクセス方法を説明するもので、701 [0017] In Figure 7, using the master file systems with buffer cache, it serves to explain the file access method in the case where there is a read request, 701
は論理ファイル、702はバッファキャッシュ、FB0 Logical file, 702 buffer cache, FB0
〜FB15は論理ファイルを一定のサイズに分割したファイルブロック、SG0〜SG3はファイルブロックの集合であるストライドグループ、703〜706はサブファイルAからD、707〜710はディスク装置AからDを示す。 ~FB15 file blocks obtained by dividing the logical file a certain size, SG0 to SG3 is stride group is a set of file blocks, 703-706 is D from subfile A, is from 707 to 710 show a D from the disk unit A. 図7で、論理ファイルのファイルブロック0から8に読み出し要求があった場合、本方式では、ファイルブロック0に読み出し要求が発生すると、ファイルブロック0が属すストライドグループをバッファキャッシュにアップロードすることで、ファイルブロック4、8、12に読み出し要求する際にサブファイルシステムAのディスク装置Aにアクセスする必要性が無くなり、代わりにバッファキャッシュにあるファイルブロックにアクセスすることが可能となる。 In Figure 7, when there is a file block 0 from the read request to the 8 logical file, in this method, when the read request to the file block 0 is generated, by uploading the stride group to which the file block 0 belonging to the buffer cache, there is no need to access the disk device a of the sub-file system a when the read request to the file blocks 4,8,12, it is possible to access a file block in the buffer cache instead. 同様にストライドグループSG1、SG2、及びSG3についてもバッファキャッシュにアップロードすることが出来る。 Similarly stride group SG1, SG2, and can be uploaded to the buffer cache is also the SG3. このため、論理ファイルへの読み出し要求の範囲が大きいとき、ストライピングファイル機構を使って複数ディスク装置から並行してファイルブロックを読み出すとともに、1回のディスク装置への読み出し要求でディスク装置内に存在する後続のファイルブロックをアップロードできるため、以後サブファイルシステムに読み出し要求を出す必要がなくなり、ファイルアクセスの高速化が図ることが出来る。 Therefore, when a large range of the read request to the logical file, reads the file block in parallel from a plurality disk devices using striping file mechanism exists in the disk device in the read request to one disk device for upload subsequent file block, it is not necessary to issue a subsequent read request to the sub file system, it is possible to achieve high speed of file access.

【0018】図8、9に、本ファイルアクセス方法でバッファキャッシュを装備したときの処理について、フローチャートを用いて説明する。 [0018] FIGS. 8 and 9, the processing when equipped with buffer cache in the file access method, will be described with reference to flowcharts. 図8のフローチャートはマスタファイルシステムでの処理を、図9のフローチャートは各サブファイルシステムでの処理を示す。 The flowchart of FIG. 8 is a process in the master file system, the flowchart of FIG. 9 shows the processing in each sub-file system.

【0019】図8の処理において、マスタファイルシステムはS801でアプリケーションより読み出し要求を受けると、S802の読み出し要求で、最初のファイルブロックにアクセスをする。 [0019] In the process of FIG. 8, the master file system receives a read request from the application at S801, a read request S802, the access to the first file block. このとき、S803で、まず読み出し要求が発生したファイルブロックが、マスタファイルシステムのバッファキャッシュ内に存在するかを確認する。 In this case, in S803, the file block read request occurs first confirms whether in the buffer cache of the master file system. 最初にアクセスしたファイルブロックは、 File block was first accessed,
キャッシュ内に存在しないため、S805に移行する。 Because it does not exist in the cache, the process proceeds to S805.
S805では、マスタファイルが管理している情報より、配置したサブファイルシステムに対して、当該ファイルブロックと後続するファイルブロックの読み出し要求を出す。 In S805, from the information that the master file is managed, the sub file system arranged issues a read request for file blocks that followed with the file block. 2つ目以降のファイルブロックのアクセスでは、当該ファイルブロックがバッファキャッシュに格納されている場合もあるため、その場合はS803からS The access for the second and subsequent files block, since the file block is also stored in the buffer cache, if its from S803 S
804に移行する。 To migrate to 804. S804では、マスタファイルシステムのバッファキャッシュより読み出し要求のあったファイルブロックを読み出す。 In S804, it reads out a file block with read requests from the buffer cache of the master file system. S806で、読み出し要求のあった全てのファイルブロックへのアクセスが完了したかを確認する。 In S806, to check whether the access to all of the file block for which the read request has been completed. 読み出し要求への読み出しが完了している場合、処理を終了する。 If reading from the read request has been completed, the process ends. 読み出し要求に対する読み出しが完了していない場合、S807で読み出し要求の出ている次のファイルブロックにアクセスをする。 If the read to the read request has not been completed, the access to the next file blocks out of a read request in S807. このとき、ファイルブロックが、バッファキャッシュ内に存在しているかを調べるため、S803に戻る。 At this time, the file blocks, to examine whether the present in the buffer cache, the flow returns to S803. このように、マスタファイルシステムでは、順次読み出し要求のあったファイルブロックにアクセスをして、バッファキャッシュに当該ファイルブロックが存在する場合、バッファキャッシュのファイルブロックを用い読み出し要求に応え、バッファキャッシュに無い場合、当該ファイルブロックを配置しているサブファイルシステムに読み出し要求を出す。 Thus, in the master file system, and access to made the sequential read request file block, if the file block in the buffer cache, respond to a read request using the file blocks in the buffer cache, not in the buffer cache If, issues a read request to the sub file system that is arranged the file block.

【0020】図9で、バッファキャッシュを装備する方法において、サブファイルシステム側の処理を説明する。 [0020] In FIG. 9, a method to equip the buffer cache, the processing of the sub-file system side. まず、S901でマスタファイルシステムから読み出し要求を受け取り、S902で読み出し要求のあったファイルブロックから読み出し、マスタファイルシステムにファイルブロックを送信する。 First, receiving a read request from the master file system S901, read from a file block for which the read request at S902, and transmits the file blocks to the master file system. S903において、 In S903,
読み出し要求のあった同一ストライドグループのファイルブロックがあると、そのブロックに対しての読み出すためS902の処理を繰り返す。 When a file blocks in the same stride group for which the read request, the process is repeated S902 for reading for that block. S903において、同一ストライドグループに属する全てのファイルブロックの読み出しが完了していると処理が終了する。 In S903, the processing is completed reading of all the file blocks that belong to the same stride group is complete. このとき、本方法では、ファイル書き込み時にストライドグループを用い、同一論理ファイルのファイルブロックを一括して当該ディスク装置の連続した領域に配置しているため、読み出し要求時、ファイルブロックを一括して読み出すことが可能となる。 At this time, in this way, using the stride group when file writing, because it is arranged in a continuous area of ​​the disk device in a batch file blocks of the same logical file, when reading request is read in a batch file block it becomes possible.

【0021】 [0021]

【発明の効果】本発明では、複数の論理ファイルのファイルブロックが同一ディスク装置に配置される場合、これらのファイルブロックをディスク装置内で混在して配置することを回避し、それぞれのファイルブロックを一括して書き込むことで、論理ファイルの読み出し時、読み出し要求のあったファイルブロックを検索する時間の短縮を可能にする。 In the present invention, if the file blocks of the plurality of logical files are placed on the same disk device, these files blocks to avoid placing mixed in the disk device, each file block by writing collectively, when reading logical file, allowing a reduction in time to find the file blocks for which the read request. また、ファイルブロックの先読みをすることで、マスタファイルシステムからサブファイルシステムへの読み出し要求の回数を削減することができ、大容量ファイルアクセス時間の短縮を実現する。 In addition, by the prefetch file block, it is possible to reduce the number of read requests to the sub file system from the master file system, to realize the shortening of large file access time.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の一実施例のマスタファイルシステムとサブファイルシステムの構成を示す全体図である。 1 is an overall view showing a configuration of a master file system and the sub file system of an embodiment of the present invention.

【図2】図1の実施例において、論理ファイルの分割方法の処理を示すフローチャートである。 In the embodiment of FIG. 1; FIG is a flowchart showing a processing method of dividing a logical file.

【図3】図1の実施例において、複数の論理ファイルが同一サブファイルシステムを共有したときを示す図である。 In the embodiment of FIG. 3] FIG. 1 is a diagram showing a case in which a plurality of logical files share the same sub-file system.

【図4】図1の実施例において、書き込みに対してサブファイルシステム側でのファイルブロックの書き込み処理を示すフローチャートである。 In the embodiment of FIG. 4 FIG. 1 is a flow chart showing the writing process of file blocks in the sub file system side with respect to writing.

【図5】図1の実施例において、ストライドグループがそれぞれのサブファイルシステムに分割された後、論理ファイルに読み出し要求があったときの、ファイルアクセス方法を示す図である。 In the embodiment of FIG. 5 FIG. 1, after the stride group is divided into respective sub file system, when a read request to the logical file is a diagram illustrating a file access method.

【図6】本発明の実施例である分散ファイル管理方式で、マスタファイルシステムにバッファキャッシュを装備して、ファイル読み出しのあったファイルブロックと同一のストライドグループに属するファイルブロックを、マスタファイルシステムに先読みする方法を示す全体構成図である。 In distributed file management method which is an embodiment of the invention; FIG, equipped with a buffer cache in the master file system, the file blocks belonging to the file blocks and the same stride groups for which the file read, the master file system it is an overall configuration diagram illustrating a method for prefetching.

【図7】図6のバッファキャッシュを装備する実施例で、論理ファイルに読み出し要求があったときの、ファイルアクセス方法とファイルブロックの先読み方法の処理を示す図である。 [7] In Example equipped with the buffer cache of FIG. 6 is a diagram illustrating when a read request to the logical file, the processing of look-ahead method in the file access method and file blocks.

【図8】図6のファイルブロックを先読みする実施例で、マスタファイルシステムに読み出し要求があった場合の処理を示すフローチャートである。 [8] In embodiments prefetching file blocks in FIG. 6 is a flowchart showing the processing when a read request to the master file system.

【図9】図6のファイルブロックを先読みする実施例で、サブファイルシステムがマスタファイルシステムから読み出し要求を受けたときの処理を示すフローチャートである。 [9] In embodiments prefetching file blocks in FIG. 6 is a flowchart illustrating a process when the sub-file system receives a read request from the master file system.

【符号の説明】 DESCRIPTION OF SYMBOLS

602…構成定義ファイル、603…論理ファイル、6 602 ... configuration definition file, 603 ... logical file, 6
04…バッファキャッシュ、605…マスタファイルシステム、606…サブファイルA、610…ディスク装置A、614…サブファイルシステムA。 04 ... buffer cache, 605 ... master file system, 606 ... subfile A, 610 ... disk device A, 614 ... sub file system A.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 杉山 和仁 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウェア開発本部内 (72)発明者 松井 和吉 神奈川県横浜市中区尾上町六丁目81番地 日立ソフトウェアエンジニアリング株式会 社内 Fターム(参考) 5B065 BA01 CH02 5B082 CA18 CA20 FA12 5D110 AA13 DA11 DB05 DC03 DC16 DE01 ────────────────────────────────────────────────── ─── of the front page continued (72) inventor Sugiyama, Kanagawa Prefecture, Totsuka-ku, Yokohama-shi Totsuka-cho, 5030 address Co., Ltd., Hitachi software development Center in Kazuhito (72) inventor Kazuyoshi Matsui Yokohama-shi, Kanagawa, Naka-ku, Onoe-cho, six chome 81 address Hitachi software engineering shares meeting-house F-term (reference) 5B065 BA01 CH02 5B082 CA18 CA20 FA12 5D110 AA13 DA11 DB05 DC03 DC16 DE01

Claims (2)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 複数ディスク装置からなるファイルシステム上で、論理ファイルを一定のサイズの複数ファイルブロックに分割し、これらのファイルブロックを複数ディスク装置に分散して配置することで、ファイル読み出し時に複数ディスク装置に並行してアクセスすることが可能なファイルシステムにおいて、ファイルブロックを分散配置することにより、物理的に一ディスク装置内で、同一ファイルのファイルブロックが不連続領域に配置されていたものを、ファイルブロックに管理情報を付与することで連続配置し、一回のI/O操作で読み出し/書き込みができることを特徴とする分散ファイル管理方法。 In 1. A on multiple disk devices made from the file system, dividing a logical file into file blocks of constant size, by arranging to disperse these file blocks to multiple disk devices, multiple during file read in the file system which can be accessed in parallel to the disk device, by the file blocks to distributed, physically in one disk device, those file blocks of the same file were arranged discrete regions , consecutively arranged by giving the management information file block, distributed file management method characterized in that it is read / write in a single I / O operation.
  2. 【請求項2】 請求項1項の分散ファイル管理方法において、ファイルシステム上に論理ファイルの管理情報を維持し、論理ファイルのファイルブロックに読み出し要求が生じた際、その情報に従い各ディスク装置で次に読み出すファイルブロックを予め読み出して、これらのファイルブロックをファイルシステム上のバッファキャッシュに保存することで、ディスクへの読み出し回数を削減することを特徴とする分散ファイル管理方法。 2. A distributed file management method according to claim 1, wherein, to maintain the management information of the logical file on the file system, when a read request is generated in the file block of logical file, with each disk device according the information following the file blocks to be read in advance read, storing these files blocks in the buffer cache of the file system, distributed file management method, characterized in that to reduce the number of reads to disk.
JP2000383124A 2000-12-12 2000-12-12 Distributed file management method Pending JP2002182953A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000383124A JP2002182953A (en) 2000-12-12 2000-12-12 Distributed file management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000383124A JP2002182953A (en) 2000-12-12 2000-12-12 Distributed file management method

Publications (1)

Publication Number Publication Date
JP2002182953A true JP2002182953A (en) 2002-06-28

Family

ID=18850832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000383124A Pending JP2002182953A (en) 2000-12-12 2000-12-12 Distributed file management method

Country Status (1)

Country Link
JP (1) JP2002182953A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7650575B2 (en) 2003-03-27 2010-01-19 Microsoft Corporation Rich drag drop user interface
US7657846B2 (en) 2004-04-23 2010-02-02 Microsoft Corporation System and method for displaying stack icons
US7694236B2 (en) 2004-04-23 2010-04-06 Microsoft Corporation Stack icons representing multiple objects
US7712034B2 (en) 2003-03-24 2010-05-04 Microsoft Corporation System and method for shell browser
US7769794B2 (en) 2003-03-24 2010-08-03 Microsoft Corporation User interface for a file system shell
US7823077B2 (en) 2003-03-24 2010-10-26 Microsoft Corporation System and method for user modification of metadata in a shell browser
US7925682B2 (en) 2003-03-27 2011-04-12 Microsoft Corporation System and method utilizing virtual folders
US8024335B2 (en) 2004-05-03 2011-09-20 Microsoft Corporation System and method for dynamically generating a selectable search extension
US8195646B2 (en) 2005-04-22 2012-06-05 Microsoft Corporation Systems, methods, and user interfaces for storing, searching, navigating, and retrieving electronic information
US8209624B2 (en) 2003-04-17 2012-06-26 Microsoft Corporation Virtual address bar user interface control
US8661036B2 (en) 2004-04-29 2014-02-25 Microsoft Corporation Metadata editing control
US8707209B2 (en) 2004-04-29 2014-04-22 Microsoft Corporation Save preview representation of files being created
US9361313B2 (en) 2003-03-27 2016-06-07 Microsoft Technology Licensing, Llc System and method for filtering and organizing items based on common elements

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7712034B2 (en) 2003-03-24 2010-05-04 Microsoft Corporation System and method for shell browser
US7769794B2 (en) 2003-03-24 2010-08-03 Microsoft Corporation User interface for a file system shell
US7823077B2 (en) 2003-03-24 2010-10-26 Microsoft Corporation System and method for user modification of metadata in a shell browser
US7925682B2 (en) 2003-03-27 2011-04-12 Microsoft Corporation System and method utilizing virtual folders
US9361313B2 (en) 2003-03-27 2016-06-07 Microsoft Technology Licensing, Llc System and method for filtering and organizing items based on common elements
US8117226B2 (en) 2003-03-27 2012-02-14 Microsoft Corporation System and method for virtual folder sharing including utilization of static and dynamic lists
US7650575B2 (en) 2003-03-27 2010-01-19 Microsoft Corporation Rich drag drop user interface
US9361312B2 (en) 2003-03-27 2016-06-07 Microsoft Technology Licensing, Llc System and method for filtering and organizing items based on metadata
US8209624B2 (en) 2003-04-17 2012-06-26 Microsoft Corporation Virtual address bar user interface control
US7694236B2 (en) 2004-04-23 2010-04-06 Microsoft Corporation Stack icons representing multiple objects
US7657846B2 (en) 2004-04-23 2010-02-02 Microsoft Corporation System and method for displaying stack icons
US8972342B2 (en) 2004-04-29 2015-03-03 Microsoft Corporation Metadata editing control
US8661036B2 (en) 2004-04-29 2014-02-25 Microsoft Corporation Metadata editing control
US8707209B2 (en) 2004-04-29 2014-04-22 Microsoft Corporation Save preview representation of files being created
US8024335B2 (en) 2004-05-03 2011-09-20 Microsoft Corporation System and method for dynamically generating a selectable search extension
US8195646B2 (en) 2005-04-22 2012-06-05 Microsoft Corporation Systems, methods, and user interfaces for storing, searching, navigating, and retrieving electronic information

Similar Documents

Publication Publication Date Title
JP4183443B2 (en) Data relocation method and apparatus
US5754882A (en) Method for scheduling I/O transactions for a data storage system to maintain continuity of a plurality of full motion video streams
KR101824295B1 (en) Cache management including solid state device virtualization
US6272600B1 (en) Memory request reordering in a data processing system
JP3697149B2 (en) How to manage the cache memory
US6041391A (en) Storage device and method for data sharing
US5446855A (en) System and method for disk array data transfer
US5530960A (en) Disk drive controller accepting first commands for accessing composite drives and second commands for individual diagnostic drive control wherein commands are transparent to each other
US20050172040A1 (en) Computer system, control apparatus, storage system and computer device
EP2737383B1 (en) Flash-dram hybrid memory module
US20030088732A1 (en) Disk control device and method processing variable-block and fixed-block accesses from host devices
KR101726824B1 (en) Efficient Use of Hybrid Media in Cache Architectures
US5887151A (en) Method and apparatus for performing a modified prefetch which sends a list identifying a plurality of data blocks
JP2846839B2 (en) Data storage systems and related methods
JP4186602B2 (en) Update data write method using the journal log
US7158972B2 (en) Methods and apparatus for managing multiple user systems
JP4162184B2 (en) Storage device having a means for acquiring execution information of the database management system
US20030033477A1 (en) Method for raid striped I/O request generation using a shared scatter gather list
US5454103A (en) Method and apparatus for file storage allocation for secondary storage using large and small file blocks
JP3347015B2 (en) Is frequently accessed, the data to be randomly addressed adaptive localization method and apparatus
JP5090941B2 (en) Storage subsystem and storage system
JP4146380B2 (en) Storage system, block relocation control method, and program
US6502157B1 (en) Method and system for perfetching data in a bridge system
EP0541216B1 (en) Data driven processing system
US5596736A (en) Data transfers to a backing store of a dynamically mapped data storage system in which data has nonsequential logical addresses