JP2008186141A - Data management method, data management program, data management system and configuration management device - Google Patents

Data management method, data management program, data management system and configuration management device Download PDF

Info

Publication number
JP2008186141A
JP2008186141A JP2007017730A JP2007017730A JP2008186141A JP 2008186141 A JP2008186141 A JP 2008186141A JP 2007017730 A JP2007017730 A JP 2007017730A JP 2007017730 A JP2007017730 A JP 2007017730A JP 2008186141 A JP2008186141 A JP 2008186141A
Authority
JP
Japan
Prior art keywords
data
file
request
access
data access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007017730A
Other languages
Japanese (ja)
Inventor
Hidenori Hayakawa
英紀 早川
Eiji Yatabe
英次 矢田部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Software Engineering Co Ltd
Hitachi Ltd
Original Assignee
Hitachi Software Engineering Co Ltd
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Software Engineering Co Ltd, Hitachi Ltd filed Critical Hitachi Software Engineering Co Ltd
Priority to JP2007017730A priority Critical patent/JP2008186141A/en
Publication of JP2008186141A publication Critical patent/JP2008186141A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To implement load balancing throughout a data management system. <P>SOLUTION: A data management method is provided for the data management system 2 connecting an access request device 21, a pair of data storage devices 23 and data access devices 22, and a configuration management device 24 for storing configuration information 25. In response to the input of a request to read a given file, the access request device 21 issues a read request to one of the original data access device 22 and duplicate data access devices 22 that manage the given file. The configuration management device 24 adds the configuration information 25 for each pair of data storage device 23 storing copies of the files on which loads are concentrated and the duplicate data access devices 22. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、データ管理方法、データ管理プログラム、データ管理システム、および、構成管理装置に関する。   The present invention relates to a data management method, a data management program, a data management system, and a configuration management apparatus.

データ管理システムは社会基盤の重要な役割を担っている。データを蓄積し続けるデータ管理システムでは、扱うデータ量の増加やアクセス数の増加が発生する。これにより、データ管理システムには負荷が発生する。   Data management systems play an important role in social infrastructure. In a data management system that continues to accumulate data, the amount of data handled and the number of accesses increase. This creates a load on the data management system.

データ管理システムへの負荷は、全体のデータのうち、一部のデータにアクセスが集中することが要因となる。なお、データアクセスの傾向として、例えば、データの読み込みの割合が、データの書き込みの割合よりも、極めて大きくなることがある。また、別の傾向として、書き込みされてからの経過時間が短いデータほどアクセスが集中し、時間が経過したデータ程アクセスされないこともある。   The load on the data management system is due to the fact that access is concentrated on some of the entire data. As a tendency of data access, for example, the data reading rate may be much larger than the data writing rate. Another tendency is that access is concentrated as data having a shorter elapsed time since writing is written and data is not accessed as time passes.

データ管理システムを構成するデータ記憶装置は、アクセス対象のデータを格納する。このデータ記憶装置への負荷集中を緩和する手法が、いくつか提案されている。   A data storage device constituting the data management system stores data to be accessed. Several methods for alleviating the load concentration on the data storage device have been proposed.

例えば、非特許文献1などに記載されたRAID(Redundant Arrays of Inexpensive Disks)は、複数の物理的なデータ格納装置を、単一の論理的なデータ格納装置として認識させ、複数の物理的なデータ格納装置に分散して並列にアクセスさせることで、データ記憶装置への負荷集中を緩和する。   For example, RAID (Redundant Arrays of Inexpensive Disks) described in Non-Patent Document 1 or the like allows a plurality of physical data storage devices to be recognized as a single logical data storage device and a plurality of physical data storage devices. By distributing the access to the storage devices in parallel, the load concentration on the data storage device is alleviated.

また、アクセスが集中するデータについて、データ記憶装置にデータの複製を作成し、同じデータへのアクセスを複数のデータ記憶装置に分散することによって、データ記憶装置13へのアクセス性能の悪化を防ぐ方法がある(特許文献1参照)。さらに、ストライピングは、1つのファイルを断片化して別々のデータ記憶装置に分散して記憶することで、データ記憶装置への負荷集中を緩和する。   A method of preventing deterioration of access performance to the data storage device 13 by creating a copy of the data in the data storage device and distributing the access to the same data to a plurality of data storage devices for data on which access is concentrated (See Patent Document 1). Furthermore, striping reduces the load concentration on the data storage device by fragmenting one file and distributing and storing it in separate data storage devices.

そして、同一データへ複数のアクセスが多発するような場合に、予め複製データの作成契機となる条件を設定しておくことで、複製データの作成、及びアクセス先の切り替えをシステム内部で自動的に行うための技術が開示されている(特許文献2参照)。
米国特許第6961727号明細書 特開2005−338893号公報 Patterson, David A/Gibson, Garth A/Katz, Randy H著、「A Case for Redundant Arrays of Inexpensive Disks」、CSD-87-391
And when multiple accesses to the same data occur frequently, by setting the conditions that trigger the creation of duplicate data in advance, the creation of duplicate data and the switching of the access destination are automatically performed within the system. A technique for performing this is disclosed (see Patent Document 2).
US Pat. No. 6,961,727 JP 2005-338893 A Patterson, David A / Gibson, Garth A / Katz, Randy H, `` A Case for Redundant Arrays of Inexpensive Disks '', CSD-87-391

データ管理システムを構成するデータ記憶装置への負荷分散を行うだけでは、データ管理システム全体の負荷分散を達成するには、不十分である。   Simply distributing the load to the data storage devices that make up the data management system is not sufficient to achieve the load distribution of the entire data management system.

データ管理システムには、データ記憶装置に対してアクセスを指示するデータアクセス装置が接続されている。このデータアクセス装置は、アクセス要求に従って、データ記憶装置に記憶されているデータのアクセスをアクセス要求元に仲介する。   The data management system is connected to a data access device that instructs access to the data storage device. The data access device mediates access of data stored in the data storage device to the access request source in accordance with the access request.

データアクセス装置は、アクセス要求量が多くなり、処理能力の限界を超えてしまうと、データ記憶装置の処理能力には余裕があっても、データアクセス装置の処理待ちが発生する。つまり、データアクセス装置が、データ管理システム全体のボトルネックとなる。   When the access request amount of the data access device increases and exceeds the limit of the processing capability, the data access device waits for processing even if the processing capacity of the data storage device is sufficient. That is, the data access device becomes a bottleneck of the entire data management system.

そこで本発明は、データ管理システム全体の負荷分散を達成することを主な目的とする。   Therefore, the main object of the present invention is to achieve load distribution of the entire data management system.

前記課題を解決するため、本発明は、読み込み要求または書き込み要求であるアクセス要求の入力を受け付けるアクセス要求装置と、前記アクセス要求の対象となるファイルを記憶するデータ記憶装置、および、前記データ記憶装置に対してアクセス権を専有するデータアクセス装置の組と、前記データアクセス装置のうち、前記アクセス要求の対象となるファイルの原本ファイルを管理する原本データアクセス装置、および、前記データアクセス装置のうち、複製ファイルを管理する複製データアクセス装置を、前記データ記憶装置が記憶するファイルと対応づけた構成情報を記憶する構成管理装置と、を接続するデータ管理システムによるデータ管理方法であって、前記アクセス要求装置が、所定ファイルへの前記読み込み要求の入力に対して、所定ファイルを管理する前記原本データアクセス装置および前記複製データアクセス装置のうち、1台の前記データアクセス装置を前記構成情報から選択して前記読み込み要求を行い、所定ファイルへの前記書き込み要求の入力に対して、所定ファイルを管理する前記原本データアクセス装置および前記複製データアクセス装置に対して前記書き込み要求を行い、前記構成管理装置が、負荷が集中するファイルの前記複製ファイルを記憶する前記データ記憶装置、および、その複製データアクセス装置の組単位で、前記構成情報に追加することを特徴とする。その他の手段は、後記する。   In order to solve the above-described problems, the present invention provides an access request device that receives an input of an access request that is a read request or a write request, a data storage device that stores a file that is a target of the access request, and the data storage device A set of data access devices dedicated to the access right, and the original data access device that manages the original file of the access request target among the data access device, and the data access device, A data management method using a data management system for connecting a duplicate data access device that manages a duplicate file to a configuration management device that stores configuration information associated with a file stored in the data storage device, the access request The device inputs the read request to a predetermined file. Then, out of the original data access device and the duplicate data access device that manages a predetermined file, one of the data access devices is selected from the configuration information, the read request is made, and the write request to the predetermined file is made In response to the input, the write request is made to the original data access device and the duplicate data access device that manage a predetermined file, and the configuration management device stores the duplicate file of the file on which the load is concentrated The data storage device and the duplicate data access device are added to the configuration information in units of sets. Other means will be described later.

本発明によれば、データ管理システム全体の負荷分散を達成することができる。   According to the present invention, load distribution of the entire data management system can be achieved.

以下、本発明の一実施形態に係るデータ管理システムについて、図面に基づき説明する。   Hereinafter, a data management system according to an embodiment of the present invention will be described with reference to the drawings.

図1は、本発明の一実施の形態に係るデータ管理システム2を示す構成図である。このデータ管理システム2は、例えば、受発注情報管理システムに適用される。   FIG. 1 is a configuration diagram showing a data management system 2 according to an embodiment of the present invention. This data management system 2 is applied to an order information management system, for example.

データ管理システム2は、アクセス要求装置21、構成管理装置24、データアクセス装置22、および、データ記憶装置23が互いにネットワークで接続されて構成される。   The data management system 2 includes an access request device 21, a configuration management device 24, a data access device 22, and a data storage device 23 connected to each other via a network.

データ管理システム2において、望ましい装置の台数は以下の通りである。アクセス要求装置21は、アクセス要求を行うユーザ数分存在する。構成管理装置24は、基本的に1台で済むが、冗長化や負荷分散のために多重化してもよい。   In the data management system 2, the desirable number of devices is as follows. There are as many access request devices 21 as there are users who make access requests. The configuration management device 24 is basically only one, but may be multiplexed for redundancy or load distribution.

データアクセス装置22、および、データ記憶装置23は、互いに組となるので、同じ数ずつ存在する。この組の数は、データ管理システム2に対するアクセス量全体を余裕を持って処理可能な台数を予め用意しておく。これは、本実施形態のデータ管理システム2が行う負荷分散は、特定のデータアクセス装置22に対するアクセス集中を、別のデータアクセス装置22にも共同で負担することによって、実現するためである。つまり、共同で負担するデータアクセス装置22が存在しない(換言すると、全てのデータアクセス装置22の処理能力に余裕がない)ほどの乏しい計算機環境では、負荷分散の実現は困難となる。   Since the data access device 22 and the data storage device 23 are paired with each other, the same number exists. The number of sets is prepared in advance so that the entire access amount to the data management system 2 can be processed with a margin. This is because the load distribution performed by the data management system 2 of the present embodiment is realized by jointly burdening another data access device 22 with concentration of access to a specific data access device 22. In other words, it is difficult to realize load balancing in a computer environment where there is no data access device 22 to be shared jointly (in other words, there is no room for processing capability of all the data access devices 22).

アクセス要求装置21は、データアクセス装置22に対して、アクセス要求を行う。アクセス要求は、データ記憶装置23へのデータの書き込み、および、データ記憶装置23からのデータの読み込みである。なお、データの書き込みは、アクセス対象のデータが変化する処理であり、例えば、SQL(Structured Query Language)命令の「INSERT INTO (レコードデータの挿入)」、「UPDATE 〜 SET (レコードデータの更新)」、および、「DELETE FROM (レコードの削除)」が該当する。一方、データの読み込みは、アクセス対象のデータが変化しない処理であり、例えば、SQL命令の「SELECT 〜 FROM 〜 WHERE (レコードの検索)」が該当する。   The access request device 21 makes an access request to the data access device 22. The access request is data writing to the data storage device 23 and data reading from the data storage device 23. The data writing is a process in which the data to be accessed changes. For example, “INSERT INTO (insert record data)” or “UPDATE to SET (update record data)” of an SQL (Structured Query Language) instruction. , And “DELETE FROM”. On the other hand, the data reading is a process in which the data to be accessed does not change, and corresponds to, for example, the SQL instruction “SELECT to FROM to WHERE (record search)”.

アクセス要求装置21は、一般ユーザからのアクセス要求を分析する。アクセス要求がデータ書き込み要求の時には、データアクセス装置22に対してデータ記憶装置23にデータを書き込みするように指示する。アクセス要求がデータ読み込み要求の時には、データアクセス装置22に対してデータ記憶装置23にデータを読み込みするように指示する。   The access request device 21 analyzes an access request from a general user. When the access request is a data write request, the data access device 22 is instructed to write data to the data storage device 23. When the access request is a data read request, the data access device 22 is instructed to read data into the data storage device 23.

また、アクセス要求装置21は、アクセス要求の負荷分散を行う。負荷分散とは、アクセス要求の対象となる1つのデータアクセス装置22を、複数のデータアクセス装置22の候補(後記する構成情報25から取得)から選択することである。これにより、特定のデータアクセス装置22だけに負荷が集中することを抑制する。以下、負荷分散の具体的な計算方法を(1)から(3)まで3つ例示する。   Further, the access request apparatus 21 performs load distribution of access requests. The load distribution is to select one data access device 22 to be an access request target from a plurality of data access device 22 candidates (acquired from configuration information 25 described later). As a result, the concentration of the load only on the specific data access device 22 is suppressed. Hereinafter, three specific load balancing calculation methods (1) to (3) will be exemplified.

負荷分散方法(1)は、ラウンドロビンである。まず、複数の候補それぞれを順序づける。そして、複数の候補のうち、前回選択した候補の次に順序づけられている候補を、今回の候補として選択する。   The load distribution method (1) is round robin. First, each of a plurality of candidates is ordered. Then, among the plurality of candidates, the candidate that is ordered next to the previously selected candidate is selected as the current candidate.

負荷分散方法(2)は、ハッシュ法である。複数の候補のうち、1つの候補を選択するようなハッシュ関数を計算し、その計算結果として選択された候補を、今回の候補として選択する。なお、全ての候補が均等に選択されるようなハッシュ関数が、望ましい。   The load distribution method (2) is a hash method. A hash function that selects one candidate among a plurality of candidates is calculated, and the candidate selected as the calculation result is selected as the current candidate. A hash function that allows all candidates to be selected equally is desirable.

負荷分散方法(3)は、ランダムに選択する方法である。例えば、ランダムに選択するためのパラメータとして、現在時刻を利用する方法を説明する。アクセス要求装置名を文字コードに変換して各文字コードの和を求める。現在時刻を0:00からの通算秒に変換し、各文字コードの和と通算秒との和を該当するデータアクセス装置数に1を加算した値で割り、その余りを求める。そして、その余りの値から要求を出すデータアクセス装置22を特定する。   The load distribution method (3) is a method of selecting at random. For example, a method of using the current time as a parameter for selecting at random will be described. The access request device name is converted into a character code, and the sum of each character code is obtained. The current time is converted into the total seconds from 0:00, and the sum of the character codes and the total seconds is divided by the value obtained by adding 1 to the number of corresponding data access devices, and the remainder is obtained. Then, the data access device 22 that issues a request is specified from the remainder value.

データアクセス装置22は、アクセス要求に対してデータ記憶装置23にアクセスするように指示する。データ記憶装置23は、データアクセス装置22からの指示を受け、自装置が記憶するデータにアクセスし、その結果をデータアクセス装置22に返信する。データ記憶装置23は、データとして、原本ファイル23a、または、複製ファイル23bを記憶する。原本ファイル23aとは、データを記憶する確定的なものとして最初に作成したファイルであり、複製ファイル23bとは、原本ファイル23aの内容と同じ内容を持つファイルである。ここで、原本ファイル23aを記憶するデータ記憶装置23を管理するデータアクセス装置22を、原本データアクセス装置22と定義する。また、複製ファイル23bを記憶するデータ記憶装置23を管理するデータアクセス装置22を、複製データアクセス装置22と定義する。   The data access device 22 instructs the data storage device 23 to access the access request. The data storage device 23 receives an instruction from the data access device 22, accesses the data stored in the device itself, and returns the result to the data access device 22. The data storage device 23 stores an original file 23a or a duplicate file 23b as data. The original file 23a is a file created first as a definitive one for storing data, and the duplicate file 23b is a file having the same contents as the original file 23a. Here, the data access device 22 that manages the data storage device 23 that stores the original file 23 a is defined as the original data access device 22. The data access device 22 that manages the data storage device 23 that stores the duplicate file 23b is defined as a duplicate data access device 22.

まず、アクセス要求が書き込み要求の場合を説明する。アクセス要求装置21は、データアクセス装置22に書き込み要求を送信する。データアクセス装置22は、配下のデータ記憶装置23に対し、書き込み要求で指定されるファイルに対する、書き込み要求で指定されるデータの書き込みを要求する。要求を受けたデータ記憶装置23は、指定されたファイルに指定されたデータを書き込み、データアクセス装置22に対し、データの書き込み完了を通知する。通知を受けたデータアクセス装置22は、アクセス要求装置21に対し、データの書き込み完了を通知する。   First, the case where the access request is a write request will be described. The access request device 21 transmits a write request to the data access device 22. The data access device 22 requests the subordinate data storage device 23 to write the data specified by the write request to the file specified by the write request. The data storage device 23 that has received the request writes the designated data in the designated file, and notifies the data access device 22 of the completion of the data writing. The data access device 22 that has received the notification notifies the access request device 21 of the completion of data writing.

次に、アクセス要求が読み込み要求の場合を説明する。アクセス要求装置21は、データアクセス装置22に読み込み要求を送信する。データアクセス装置22は、配下のデータ記憶装置23に対し、読み込み要求で指定されるファイルに対する、指定されるデータの読み込みを要求する。要求を受けたデータ記憶装置23は、指定されたファイルのデータを読み込み、データアクセス装置22に対し、読み込まれたデータとデータの読み込み完了とを通知する。通知を受けたデータアクセス装置22は、アクセス要求装置21に対し、読み込まれたデータとデータの読み込み完了とを通知する。   Next, a case where the access request is a read request will be described. The access request device 21 transmits a read request to the data access device 22. The data access device 22 requests the subordinate data storage device 23 to read the designated data for the file designated by the read request. Upon receiving the request, the data storage device 23 reads the data of the designated file, and notifies the data access device 22 of the read data and the data read completion. The data access device 22 that has received the notification notifies the access request device 21 of the read data and the completion of data reading.

データアクセス装置22、および、データ記憶装置23の組は、シェアードナッシング(専用アクセス)方式の関係となる。つまり、データアクセス装置22は、組をなす配下のデータ記憶装置23に対して、データ記憶装置23が記憶するデータへのアクセス権を専有する。つまり、各データアクセス装置22は、自装置の配下のデータ記憶装置23に記憶された全てのデータにアクセスできる。   The set of the data access device 22 and the data storage device 23 has a shared nothing (dedicated access) system relationship. In other words, the data access device 22 has exclusive access rights to the data stored in the data storage device 23 with respect to the subordinate data storage devices 23. That is, each data access device 22 can access all data stored in the data storage device 23 under its control.

なお、データアクセス装置22の代わりに、データアクセス装置22からアクセス要求を受信した構成管理装置24が、データアクセス装置22に対して、アクセス要求を代行してもよい。   Instead of the data access device 22, the configuration management device 24 that has received the access request from the data access device 22 may proxy the access request to the data access device 22.

構成管理装置24は、構成情報25を保持する。構成管理装置24は、構成情報読み込み要求に対し、構成情報25を返信する。また、構成管理装置24は、管理者ユーザから構成情報25の変更要求を受け、構成情報25を変更する。   The configuration management device 24 holds configuration information 25. The configuration management device 24 returns configuration information 25 in response to the configuration information read request. In addition, the configuration management device 24 receives a change request for the configuration information 25 from the administrator user, and changes the configuration information 25.

Figure 2008186141
表1は、構成情報25のデータ構造の一例を示す図である。構成情報25の各レコードは、データアクセス装置22およびその配下のデータ記憶装置23の組が追加された場合に追加され、組が削除された場合に削除される。
Figure 2008186141
Table 1 is a diagram illustrating an example of the data structure of the configuration information 25. Each record of the configuration information 25 is added when the set of the data access device 22 and the data storage device 23 under the data access device 22 is added, and is deleted when the set is deleted.

構成情報25は、データアクセス装置名と、そのデータアクセス装置名がアクセスできるファイル名と、そのファイル名の属性とを対応づけて管理する。ファイル属性は、「原本」または「複製」の2種類の値をとり、データアクセス装置名31が扱うファイルが原本ファイル、または、複製ファイルのいずれかを意味する。なお、1個の原本ファイルに対して、0個以上の複製ファイルが作成される。   The configuration information 25 manages the data access device name, the file name accessible by the data access device name, and the attribute of the file name in association with each other. The file attribute takes two types of values, “original” or “replica”, and means that the file handled by the data access device name 31 is either an original file or a duplicate file. Note that zero or more duplicate files are created for one original file.

なお、ファイル名をキーに構成情報25を検索することにより、所定の原本ファイルに対応する複製ファイルや、所定の複製ファイルに対応する原本ファイルを検索することができる。   By searching the configuration information 25 using the file name as a key, it is possible to search for a duplicate file corresponding to a predetermined original file or an original file corresponding to a predetermined replica file.

データ読み込み要求を処理するデータアクセス装置22は、所定ファイルに対する原本データアクセス装置22および複製データアクセス装置22のうち、1台の原本データアクセス装置22、または、1台の複製データアクセス装置22である。データ書き込み要求を処理するデータアクセス装置22は、所定ファイルに対する原本データアクセス装置22および複製データアクセス装置全てである。   The data access device 22 that processes the data read request is one original data access device 22 or one duplicate data access device 22 among the original data access device 22 and the duplicate data access device 22 for a predetermined file. . The data access device 22 that processes the data write request is all of the original data access device 22 and the duplicate data access device for a predetermined file.

図2は、図1の各装置(アクセス要求装置21、構成管理装置24、データアクセス装置22、および、データ記憶装置23)を構成するためのハードウェア資源の説明図である。装置1は、CPU(Control Processing Unit)11、および、メモリ12で構成されており、記憶部13と接続されている。メモリ12には、OS(Operating System)121と、アプリケーションプログラム122が配置されている。   FIG. 2 is an explanatory diagram of hardware resources for configuring each device (access request device 21, configuration management device 24, data access device 22, and data storage device 23) of FIG. The device 1 includes a CPU (Control Processing Unit) 11 and a memory 12 and is connected to a storage unit 13. In the memory 12, an OS (Operating System) 121 and an application program 122 are arranged.

CPU11は、メモリ12にあるOS121とアプリケーションプログラム122を実行する。装置1は、記憶部13にあるデータ131にアクセスし、システムにおける役割毎に異なるアプリケーションプログラムを実行する。記憶部13は、例えばハードディスクのような、データの読み込み、および、書き込みが可能な機器が該当する。なお、データの読み込みは、例えば、データの取得である。また、データの書き込みは、例えば、データの書き込み、変更、および、削除である。   The CPU 11 executes the OS 121 and the application program 122 in the memory 12. The device 1 accesses the data 131 in the storage unit 13 and executes different application programs for each role in the system. The storage unit 13 corresponds to a device capable of reading and writing data, such as a hard disk. The data reading is, for example, data acquisition. The data write is, for example, data write, change, and deletion.

なお、データアクセス装置22、および、データ記憶装置23の組は、例えば、データ記憶装置23の性能不足によって、新たに増設される。性能不足は、データ記憶装置23で記憶できるデータ量が不足したときや、データ記憶装置23のアクセス性能がシステム全体の要件を満たせなくなったときに、発生する。   Note that a set of the data access device 22 and the data storage device 23 is newly added due to insufficient performance of the data storage device 23, for example. Insufficient performance occurs when the amount of data that can be stored in the data storage device 23 is insufficient, or when the access performance of the data storage device 23 cannot satisfy the requirements of the entire system.

ここで、データアクセス装置22、および、データ記憶装置23の組が複数存在するときに、それらの組の間で、負荷のアンバランスが生じることもある。例えば、最近アクセス対象となるデータが、新たに増設されたデータ記憶装置23に対して集中的に記憶されると、その新たなデータ記憶装置23へのアクセスが集中する。これは、新しいデータほど、そのデータの使用頻度が高くなるという傾向によるものである。   Here, when there are a plurality of sets of the data access device 22 and the data storage device 23, load imbalance may occur between the sets. For example, when recently accessed data is intensively stored in the newly added data storage device 23, access to the new data storage device 23 is concentrated. This is due to the tendency that newer data is used more frequently.

そこで、本実施形態では、負荷集中が発生したデータアクセス装置22、および、データ記憶装置23の組に対して、その組が管理するデータを、新たな組にも複製することによって、負荷集中が発生するデータへのアクセスを共同で負担する。これにより、ILM(Information Lifecycle Management)と呼ばれる効率的なストレージ活用を実現する。つまり、システム全体のアクセス性能を向上させるために、ほとんどアクセスされなくなったデータに対する計算機資源の数を減らし、アクセス数が多いデータに対する計算機資源を増やすことで、データごとのアクセス数に応じた構成変更を行う。   Therefore, in the present embodiment, the load concentration is reduced by duplicating the data managed by the data access device 22 and the data storage device 23 in which the load concentration has occurred to a new set. Jointly bear access to the data that occurs. As a result, efficient storage utilization called ILM (Information Lifecycle Management) is realized. In other words, in order to improve the access performance of the entire system, the number of computer resources for data that is hardly accessed is reduced, and the number of computer resources for data with a large number of accesses is increased to change the configuration according to the number of accesses for each data. I do.

図3は、本実施形態の構成情報25の変更を説明する説明図である。図3(a)は、ファイル「p」の追加前を示し、図3(b)は、ファイル「p」の追加後を示す。   FIG. 3 is an explanatory diagram for explaining the change of the configuration information 25 of the present embodiment. FIG. 3A shows the file “p” before addition, and FIG. 3B shows the file “p” after addition.

まず、図3(a)において、アクセス対象の各ファイルには、そのアクセスを処理するためのデータアクセス装置22、および、データ記憶装置23の組が割り当てられている。例えば、ファイル「1」には、原本ファイルを管理する組「1」、および、複製ファイルを管理する組「2」が割り当てられている。   First, in FIG. 3A, each file to be accessed is assigned a set of a data access device 22 and a data storage device 23 for processing the access. For example, a set “1” for managing the original file and a set “2” for managing the duplicate file are allocated to the file “1”.

ストレージプールは、データアクセス装置22、および、データ記憶装置23の組について、データ記憶装置23にアクセス対象のファイルが記憶されていない(換言すると処理空きとなっている)組を管理する。   The storage pool manages a set of the data access device 22 and the data storage device 23 in which the file to be accessed is not stored in the data storage device 23 (in other words, the processing is vacant).

なお、既に特定のファイル処理用として使用されている組から、負荷が集中していない組(例えば組「5」)を削除することによって、ストレージプールには、組が戻される。戻された組は、別のファイル処理用として再利用される。なお組の削除の詳細は、後記する「複製データアクセス装置22の削除」手順で説明する。   It should be noted that a set is returned to the storage pool by deleting a set where the load is not concentrated (for example, set “5”) from the set already used for specific file processing. The returned set is reused for another file processing. Details of deletion of a set will be described in the “deletion of duplicate data access device 22” procedure described later.

次に、図3(b)において、ファイル「p」を割り当てる組を、ストレージプールから確保する。組「6」は、ファイル「p」の原本ファイルを管理するために、割り当てられる。詳細は、後記する「原本データアクセス装置22の追加」手順で説明する。そして、組「7」および組「5」は、ファイル「p」の複製ファイルを管理するために、割り当てられる。詳細は、後記する「複製データアクセス装置22の追加」手順で説明する。   Next, in FIG. 3B, a set to which the file “p” is assigned is secured from the storage pool. The set “6” is allocated to manage the original file of the file “p”. Details will be described in the “addition of original data access device 22” procedure described later. The group “7” and the group “5” are assigned to manage the duplicate file of the file “p”. Details will be described in the “addition of duplicate data access device 22” procedure described later.

以上により、アクセスが集中していないファイル「n」の計算機資源である組「5」が、アクセスが集中するファイル「p」の計算機資源として活用される。これにより、ファイル「p」へのアクセスを効率的に負荷分散できる。なお、ストレージプール内の組を割り当てるときに、どの組を割り当てるかを指定する方法として、管理者ユーザが明示的に指定する方法や、ストレージプール内の組を順序づけし、前に指定された組の次に位置する組を指定する、ラウンドロビンの方法などがある。   As described above, the set “5” which is the computer resource of the file “n” where access is not concentrated is utilized as the computer resource of the file “p” where access is concentrated. As a result, it is possible to efficiently load balance access to the file “p”. Note that when assigning a pair in a storage pool, as a method to specify which pair to assign, a method in which an administrator user explicitly designates a pair, a pair in a storage pool is ordered, and a previously specified pair is assigned. There is a round robin method that specifies the next set of items.

図4は、アクセス要求装置21によるアクセス要求手順を示すフローチャートである。   FIG. 4 is a flowchart showing an access request procedure by the access request device 21.

アクセス要求装置21は、一般ユーザからの要求を受け付ける(S101)。ここで一般ユーザからの要求とは「データ書き込み」あるいは「データ読み込み」のいずれかである。データ書き込み要求とは、ユーザが指定したデータを、ユーザが指定したファイルに書き込みする要求で、書き込みするデータ本体と、書き込み先のファイル名が含まれている。データ読み込み要求とは、ユーザが指定したファイルからデータを読み込みする要求で、読み込み対象のファイル名が含まれている。   The access request device 21 receives a request from a general user (S101). Here, the request from the general user is either “data writing” or “data reading”. The data write request is a request for writing data designated by the user to a file designated by the user, and includes a data body to be written and a file name of the write destination. A data read request is a request to read data from a file specified by the user, and includes the name of the file to be read.

アクセス要求装置21は、一般ユーザからの要求種別に応じて、処理を分岐させ(S102)、データ書き込み手順(S103)、または、データ読み込み手順(S104)を実施する。   The access request device 21 branches the process according to the request type from the general user (S102), and executes the data write procedure (S103) or the data read procedure (S104).

図5は、データ書き込み手順を示すフローチャートである。   FIG. 5 is a flowchart showing a data writing procedure.

アクセス要求装置21は、構成管理装置24に対して、構成情報25を要求する(S201)。構成管理装置24は、アクセス要求装置21に対して、構成情報25を返信する(S202)。   The access request device 21 requests the configuration information 25 from the configuration management device 24 (S201). The configuration management device 24 returns the configuration information 25 to the access request device 21 (S202).

アクセス要求装置21は、構成情報25から、データ書き込み対象ファイルの原本ファイルを管理する原本データアクセス装置22を特定する(S211)。具体的には、取得した構成情報25を基にユーザが指定した書き込み先のファイル名と同じファイル名のファイルにアクセス可能なデータアクセス装置22のうち、ファイル属性が原本であるデータアクセス装置22を特定する。   The access requesting device 21 specifies the original data access device 22 that manages the original file of the data write target file from the configuration information 25 (S211). Specifically, among the data access devices 22 that can access a file having the same file name as the write destination file name specified by the user based on the acquired configuration information 25, the data access device 22 having the original file attribute is selected. Identify.

アクセス要求装置21は、特定した原本データアクセス装置22に対して、原本ファイルの書き込みを要求する(S212)。要求メッセージには、原本ファイルのデータ本体、および、原本ファイルの書き込み先のファイル名が含まれる。   The access requesting device 21 requests the specified original data access device 22 to write the original file (S212). The request message includes the data body of the original file and the file name to which the original file is written.

原本データアクセス装置22は、配下のデータ記憶装置23に対して、データの書き込みを行うように制御する(S213)。原本データアクセス装置22は、構成管理装置24に対して、S212の要求メッセージを通知して、複製ファイルの書き込みを要求する(S221)。   The original data access device 22 controls the subordinate data storage device 23 to write data (S213). The original data access device 22 notifies the configuration management device 24 of the request message in S212 and requests the writing of the duplicate file (S221).

構成管理装置24は、構成情報25から、データ書き込み対象ファイルの複製ファイルを管理する複製データアクセス装置22を特定する(S222)。構成管理装置24は、特定した複製データアクセス装置22を順に選択し(S223)、選択した複製データアクセス装置22に対して、複製ファイルの書き込みを要求する(S224)ようにループ制御する。複製データアクセス装置22は、配下のデータ記憶装置23に対して、データの書き込みを行うように制御する(S225)。   The configuration management device 24 identifies the duplicate data access device 22 that manages the duplicate file of the data write target file from the configuration information 25 (S222). The configuration management device 24 sequentially selects the specified duplicate data access device 22 (S223), and performs loop control so as to request the selected duplicate data access device 22 to write a duplicate file (S224). The duplicate data access device 22 controls the subordinate data storage device 23 to write data (S225).

構成管理装置24は、原本データアクセス装置22に対して、複製ファイルの書き込み完了を通知する(S226)。原本データアクセス装置22は、アクセス要求装置21に対して、データ(原本ファイル、および、複製ファイル)の書き込み完了を通知する(S231)。アクセス要求装置21は、一般ユーザに対して、データの書き込み完了を通知する(S232)。   The configuration management device 24 notifies the original data access device 22 of the completion of writing the duplicate file (S226). The original data access device 22 notifies the access request device 21 of the completion of writing data (original file and duplicate file) (S231). The access requesting device 21 notifies the general user of the completion of data writing (S232).

図6は、データ読み込み手順を示すフローチャートである。   FIG. 6 is a flowchart showing a data reading procedure.

アクセス要求装置21は、構成管理装置24に対して、構成情報25を要求する(S301)。構成管理装置24は、アクセス要求装置21に対して、構成情報25を返信する(S302)。   The access request device 21 requests the configuration information 25 from the configuration management device 24 (S301). The configuration management device 24 returns the configuration information 25 to the access request device 21 (S302).

アクセス要求装置21は、複製データアクセス装置22が存在するか否かを判定する(S311)。具体的には、取得した構成情報25を基にユーザが指定した読み込み先のファイル名と同じファイル名のファイルにアクセス可能なデータアクセス装置22を特定する。   The access request apparatus 21 determines whether or not the duplicate data access apparatus 22 exists (S311). Specifically, the data access device 22 that can access a file having the same file name as the read-destination file name specified by the user based on the acquired configuration information 25 is specified.

まず、S311でYesなら、アクセス要求装置21は、アクセス対象の複製データアクセス装置22を決定する(S312)。複製データアクセス装置22が複数存在するときには、前記した選択アルゴリズムにより、1つのアクセス対象を選択する。一方、S311でNoなら、アクセス要求装置21は、アクセス対象の原本データアクセス装置22を決定する(S313)。   First, if Yes in S311, the access requesting device 21 determines the duplicate data access device 22 to be accessed (S312). When there are a plurality of duplicate data access devices 22, one access target is selected by the above selection algorithm. On the other hand, if No in S311, the access requesting device 21 determines the original data access device 22 to be accessed (S313).

アクセス要求装置21は、アクセス対象のデータアクセス装置22に対して、データの読み込みを要求する(S314)。アクセス対象のデータアクセス装置22は、配下のデータ記憶装置23に対して、データの読み込みを行うように制御する(S315)。アクセス対象のデータアクセス装置22は、アクセス要求装置21に対して、データの読み込み完了を通知する(S321)。通知メッセージには、読み込み対象のファイルのデータ内容が含まれる。アクセス要求装置21は、一般ユーザに対して、データの読み込み完了を通知する(S322)。   The access request device 21 requests the data access device 22 to be accessed to read data (S314). The access target data access device 22 controls the subordinate data storage device 23 to read data (S315). The data access device 22 to be accessed notifies the access request device 21 of the completion of data reading (S321). The notification message includes the data content of the file to be read. The access requesting device 21 notifies the general user of the completion of data reading (S322).

図7は、構成管理要求手順を示すフローチャートである。   FIG. 7 is a flowchart showing a configuration management request procedure.

アクセス要求装置21は、構成管理装置24に対して、管理者ユーザからの構成管理要求を送信する(S401)。ここで、構成管理要求とは、以下の(1)から(3)までのいずれかである。   The access request device 21 transmits a configuration management request from the administrator user to the configuration management device 24 (S401). Here, the configuration management request is one of the following (1) to (3).

構成管理要求(1)は、「原本データアクセス装置22の追加」である。新たに、原本ファイルを記憶するデータ記憶装置23、および、そのデータ記憶装置23を管理する原本データアクセス装置22の組をデータ管理システム2に追加する。これは、原本ファイルが新たに管理対象となったとき、その管理の担当先として発行される。構成管理要求には、追加するデータアクセス装置22の名称と、原本ファイルのファイル名とが含まれる。   The configuration management request (1) is “addition of original data access device 22”. A set of a data storage device 23 that stores an original file and an original data access device 22 that manages the data storage device 23 is newly added to the data management system 2. This is issued as the person in charge of management when the original file is newly managed. The configuration management request includes the name of the data access device 22 to be added and the file name of the original file.

構成管理要求(2)は、「複製データアクセス装置22の追加」である。既にデータ管理されている原本ファイルに対して、複製ファイルを記憶するデータ記憶装置23、および、そのデータ記憶装置23を管理する複製データアクセス装置22の組をデータ管理システム2に追加する。これは、原本ファイルやその複製ファイルに対するアクセスが集中したため、その緩和を目的として発行される。構成管理要求には、追加するデータアクセス装置22の名称と、複製ファイルを追加する原本ファイルのファイル名とが含まれる。   The configuration management request (2) is “addition of duplicate data access device 22”. A set of a data storage device 23 that stores a duplicate file and a duplicate data access device 22 that manages the data storage device 23 is added to the data management system 2 for the original file that has already been managed. This is issued for the purpose of mitigating the concentrated access to the original file and its duplicate files. The configuration management request includes the name of the data access device 22 to be added and the file name of the original file to which the duplicate file is added.

構成管理要求(3)は、「複製データアクセス装置22の削除」である。既にデータ管理されている複製ファイルに対して、その複製ファイルを記憶するデータ記憶装置23、および、そのデータ記憶装置23を管理する複製データアクセス装置22の組をデータ管理システム2から削除する。これは、以前アクセスが集中したために追加された複製ファイルについて、そのアクセスが緩和されたために処理が空いたため、装置の有効活用を目的として発行される。構成管理要求には、削除するデータアクセス装置22の名称が含まれる。   The configuration management request (3) is “deletion of duplicate data access device 22”. For a duplicate file whose data is already managed, the set of the data storage device 23 that stores the duplicate file and the duplicate data access device 22 that manages the data storage device 23 is deleted from the data management system 2. This is issued for the purpose of effective use of the apparatus because a duplicate file added because access has been concentrated before has been processed because the access has been relaxed. The configuration management request includes the name of the data access device 22 to be deleted.

アクセス要求装置21は、構成管理要求の種別を判定し(S402)、「原本データアクセス装置22の追加」(S403)、「複製データアクセス装置22の追加」(S404)、または、「複製データアクセス装置22の削除」(S405)を実施する。   The access request device 21 determines the type of the configuration management request (S402), and “addition of the original data access device 22” (S403), “addition of the duplicate data access device 22” (S404), or “replication data access” “Deleting device 22” (S405) is performed.

図8は、「原本データアクセス装置22の追加」手順を示すフローチャートである。   FIG. 8 is a flowchart showing a procedure of “adding original data access device 22”.

構成管理装置24は、構成管理要求が有効か否かを判定する(S501)。なお、構成管理要求が有効とは、ユーザが構成管理要求で指定したデータアクセス装置名およびファイル名と同じデータアクセス装置名およびファイル名が、既に構成情報25に書き込みされている旨を示す。   The configuration management device 24 determines whether the configuration management request is valid (S501). The fact that the configuration management request is valid indicates that the same data access device name and file name as those specified by the user in the configuration management request have already been written in the configuration information 25.

S501でNoなら、構成管理装置24は、管理者ユーザに対して、構成管理要求が無効である旨のエラーを通知する(S502)。そして、処理を終了する。   If No in S501, the configuration management apparatus 24 notifies the administrator user of an error indicating that the configuration management request is invalid (S502). Then, the process ends.

S501でYesなら、構成管理装置24は、原本データアクセス装置22に対して、構成管理要求で指定された原本ファイルを管理対象とする(S503)ように指示する。そして、原本データアクセス装置22には、原本ファイルを管理するためのアプリケーションがインストールおよびデプロイされる。   If Yes in S501, the configuration management device 24 instructs the original data access device 22 to manage the original file specified in the configuration management request (S503). Then, an application for managing the original file is installed and deployed in the original data access device 22.

原本データアクセス装置22は、配下のデータ記憶装置23に対して、構成管理要求で指定された原本ファイルを記憶できるように準備する(S504)ように指示する。なお、準備とは、データを格納するための領域を確保し、データをアクセス可能にする処理を指す。   The original data access device 22 instructs the subordinate data storage device 23 to prepare to store the original file specified by the configuration management request (S504). The preparation refers to a process for securing an area for storing data and making the data accessible.

構成管理装置24は、構成情報25に対して、新たに準備したデータ記憶装置23、および、そのデータ記憶装置23を管理する原本データアクセス装置22の組を登録する(S505)。例えば、追加したデータアクセス装置名が「データアクセス装置p」、追加する原本ファイル名が「ファイルp」であった場合、構成情報25のデータアクセス装置名項目には「データアクセス装置p」、ファイル名項目には「ファイルp」、ファイル属性項目には「原本」がそれぞれ書き込みされる。構成管理装置24は、管理者ユーザに対して、構成管理要求の処理完了を通知する(S506)。   The configuration management device 24 registers a set of the newly prepared data storage device 23 and the original data access device 22 that manages the data storage device 23 in the configuration information 25 (S505). For example, when the added data access device name is “data access device p” and the original file name to be added is “file p”, the data access device name item of the configuration information 25 includes “data access device p”, file “File p” is written in the name item, and “original” is written in the file attribute item. The configuration management device 24 notifies the administrator user of the completion of processing of the configuration management request (S506).

図9は、「複製データアクセス装置22の追加」手順を示すフローチャートである。   FIG. 9 is a flowchart showing the procedure of “addition of duplicate data access device 22”.

構成管理装置24は、構成管理要求が有効か否かを判定する(S601)。なお、構成管理要求が有効とは、ユーザが構成管理要求で指定したデータアクセス装置名およびファイル名と同じデータアクセス装置名およびファイル名が構成情報25に含まれている旨を示す。   The configuration management device 24 determines whether or not the configuration management request is valid (S601). The fact that the configuration management request is valid indicates that the configuration information 25 includes the same data access device name and file name as the data access device name and file name specified by the user in the configuration management request.

S601でNoなら、構成管理装置24は、管理者ユーザに対して、構成管理要求が無効である旨のエラーを通知する(S602)。そして、処理を終了する。   If No in S601, the configuration management apparatus 24 notifies the administrator user of an error indicating that the configuration management request is invalid (S602). Then, the process ends.

S601でYesなら、構成管理装置24は、複製データアクセス装置22に対して、構成管理要求で指定された複製ファイルを管理対象とする(S603)ように指示する。そして、複製データアクセス装置22には、複製ファイルを管理するためのアプリケーションがインストールおよびデプロイされる。複製データアクセス装置22は、配下のデータ記憶装置23に対して、構成管理要求で指定された複製ファイルを記憶できるように準備する。   If Yes in S601, the configuration management device 24 instructs the duplicate data access device 22 to manage the duplicate file specified in the configuration management request (S603). Then, an application for managing a duplicate file is installed and deployed in the duplicate data access device 22. The duplicate data access device 22 prepares the subordinate data storage device 23 to store the duplicate file designated by the configuration management request.

構成管理装置24は、構成情報25から、構成管理要求で指定された複製ファイルに対する原本ファイルを管理する原本データアクセス装置22を特定する(S611)。具体的には、ユーザが指定した複製ファイルのファイル名と同じファイル名のファイルにアクセス可能なデータアクセス装置22のうち、ファイル属性が原本であるデータアクセス装置22を特定する。   The configuration management device 24 identifies the original data access device 22 that manages the original file for the duplicate file specified in the configuration management request from the configuration information 25 (S611). Specifically, the data access device 22 having the original file attribute is identified from among the data access devices 22 that can access the file having the same file name as the duplicate file specified by the user.

構成管理装置24は、特定した原本データアクセス装置22に対して、原本ファイルの読み込みを要求する(S612)。原本データアクセス装置22は、配下のデータ記憶装置23に対して、データの読み込みを行うように制御する(S613)。原本データアクセス装置22は、構成管理装置24に対して、原本ファイルの読み込み完了を通知する(S614)。   The configuration management device 24 requests the specified original data access device 22 to read the original file (S612). The original data access device 22 controls the subordinate data storage device 23 to read data (S613). The original data access device 22 notifies the configuration management device 24 of the completion of reading of the original file (S614).

構成管理装置24は、S603で追加した複製データアクセス装置22に対して、原本ファイルのデータ内容をもとに複製ファイルの書き込みを要求する(S621)。複製データアクセス装置22は、配下のデータ記憶装置23に対して、データの書き込みを行うように制御する(S622)。複製データアクセス装置22は、構成管理装置24に対して、複製ファイルの書き込み完了を通知する(S623)。   The configuration management device 24 requests the duplicate data access device 22 added in S603 to write the duplicate file based on the data content of the original file (S621). The duplicate data access device 22 controls the subordinate data storage device 23 to write data (S622). The duplicate data access device 22 notifies the configuration management device 24 of the completion of writing the duplicate file (S623).

構成管理装置24は、構成情報25に、追加した複製データアクセス装置22を登録する(S624)。例えば、追加したデータアクセス装置名が「データアクセス装置p1」、追加する複製ファイルが対応する原本ファイル名が「ファイルp」であった場合、構成情報25のデータアクセス装置名項目には「データアクセス装置p1」、ファイル名項目には「ファイルp」、ファイル属性項目には「複製」がそれぞれ書き込みされる。構成管理装置24は、管理者ユーザに対して、構成管理要求の処理完了を通知する(S625)。   The configuration management device 24 registers the added duplicate data access device 22 in the configuration information 25 (S624). For example, if the added data access device name is “data access device p1” and the original file name corresponding to the duplicate file to be added is “file p”, the data access device name item of the configuration information 25 is “data access device”. "Device p1", "File p" is written in the file name item, and "Duplicate" is written in the file attribute item. The configuration management device 24 notifies the administrator user of the completion of processing of the configuration management request (S625).

図10は、「複製データアクセス装置22の削除」手順を示すフローチャートである。   FIG. 10 is a flowchart showing a procedure of “deletion of duplicate data access device 22”.

「複製データアクセス装置22の削除」手順は、例えば、構成管理要求を管理者ユーザから明示的に入力されたときに、実行される。また、構成管理装置24が複製データアクセス装置22の処理能力を計測し、処理能力が遊んでいる状態を検知したときに、構成管理要求を発行することとしてもよい。処理能力が遊んでいる状態は、例えば、CPU使用率が20%以下の期間が10時間連続して続いたなど、予め管理者ユーザが条件を指定しておく。   The “deletion of duplicate data access device 22” procedure is executed, for example, when a configuration management request is explicitly input from an administrator user. Alternatively, the configuration management device 24 may measure the processing capability of the duplicate data access device 22 and issue a configuration management request when detecting that the processing capability is idle. In the state where the processing capacity is idle, for example, the administrator user designates the conditions in advance, for example, a period in which the CPU usage rate is 20% or less continues for 10 hours.

構成管理装置24は、構成管理要求が有効か否かを判定する(S701)。有効とは、管理者ユーザが指定したデータアクセス装置名と同じデータアクセス装置名が構成情報25に含まれており、かつ、管理者ユーザが指定したデータアクセス装置22が扱うファイルのファイル属性が複製である状態である。   The configuration management device 24 determines whether or not the configuration management request is valid (S701). “Valid” means that the configuration information 25 includes the same data access device name as the data access device name designated by the administrator user, and the file attribute of the file handled by the data access device 22 designated by the administrator user is duplicated. This is the state.

S701でNoなら、構成管理装置24は、構成管理要求が無効である旨のエラーを通知する(S702)。そして、処理を終了する。   If No in S701, the configuration management device 24 notifies an error indicating that the configuration management request is invalid (S702). Then, the process ends.

S701でYesなら、構成管理装置24は、複製データアクセス装置22に対して、構成管理要求で指定された複製ファイルを管理対象から外すように指示する(S703)。そして、複製データアクセス装置22には、複製ファイルを管理するためのアプリケーションがアンインストールされる。なお、構成管理要求において管理者ユーザは、明示的にデータアクセス装置名を指定する代わりに、複製データアクセス装置22の台数を指定することとしてもよい。台数が指定されたときには、構成管理装置24は、構成情報25を参照して、指定された台数のデータアクセス装置名を取得する。   If Yes in S701, the configuration management device 24 instructs the duplicate data access device 22 to remove the duplicate file specified in the configuration management request from the management target (S703). Then, an application for managing the duplicate file is uninstalled in the duplicate data access device 22. In the configuration management request, the administrator user may specify the number of duplicate data access devices 22 instead of explicitly specifying the data access device name. When the number is specified, the configuration management device 24 refers to the configuration information 25 and acquires the specified number of data access device names.

複製データアクセス装置22は、配下のデータ記憶装置23に対して、構成管理要求で指定された複製ファイルを削除する(S704)ように指示する。   The duplicate data access device 22 instructs the subordinate data storage device 23 to delete the duplicate file specified in the configuration management request (S704).

以上説明した本実施形態によれば、アクセス要求装置21は、読み込み要求の入力に対して、原本データアクセス装置22だけでなく、複製データアクセス装置22に対しても、要求を割り振る候補とする。また、アクセス要求が多いために負荷が集中するファイルについて、そのファイルを処理する複製データアクセス装置22の追加が可能となっている。よって、ファイルごとにばらつきのある読み込み要求に対して、効率的な複製データアクセス装置22の割り当てが可能となる。また、データ記憶装置23だけでなく、そのデータ記憶装置23を担当する複製データアクセス装置22の組単位での追加により、データアクセス装置22へのボトルネックが解消される。よって、データ管理システム全体の負荷分散を達成することができる。   According to the present embodiment described above, the access request apparatus 21 is a candidate for allocating requests not only to the original data access apparatus 22 but also to the duplicate data access apparatus 22 in response to the input of the read request. In addition, for a file on which a load is concentrated due to many access requests, a duplicate data access device 22 for processing the file can be added. Therefore, it is possible to efficiently assign the duplicate data access device 22 to read requests that vary from file to file. In addition, the bottleneck to the data access device 22 is eliminated by adding not only the data storage device 23 but also the duplicate data access device 22 in charge of the data storage device 23 in units of sets. Therefore, load distribution of the entire data management system can be achieved.

なお、書き込み要求に対して、担当するデータアクセス装置22に対して実行されることにより、データアクセス装置1台に書き込む方式に比べて、若干の処理のオーバーヘッドが生じる。しかし、アクセス要求の頻度は、書き込み要求よりも読み込み要求のほうが圧倒的に高いので、書き込み要求に対する負荷は、相対的には無視してもよい程度となる。   Note that execution of the write request to the data access device 22 in charge causes a slight processing overhead compared to the method of writing to one data access device. However, since the frequency of access requests is overwhelmingly higher for read requests than for write requests, the load on the write requests is relatively negligible.

本発明の一実施形態に関するデータ管理システムを示す構成図である。It is a block diagram which shows the data management system regarding one Embodiment of this invention. 本発明の一実施形態に関するデータ管理システムの各装置のハードウェア資源を示す説明図である。It is explanatory drawing which shows the hardware resource of each apparatus of the data management system regarding one Embodiment of this invention. 本発明の一実施形態に関する構成情報の変更を示す説明図である。It is explanatory drawing which shows the change of the structure information regarding one Embodiment of this invention. 本発明の一実施形態に関するアクセス要求装置によるアクセス要求手順を示すフローチャートである。It is a flowchart which shows the access request procedure by the access request apparatus regarding one Embodiment of this invention. 本発明の一実施形態に関するデータ書き込み手順を示すフローチャートである。It is a flowchart which shows the data-writing procedure regarding one Embodiment of this invention. 本発明の一実施形態に関するデータ読み込み手順を示すフローチャートである。It is a flowchart which shows the data reading procedure regarding one Embodiment of this invention. 本発明の一実施形態に関する構成管理要求手順を示すフローチャートである。It is a flowchart which shows the structure management request | requirement procedure regarding one Embodiment of this invention. 本発明の一実施形態に関する「原本データアクセス装置の追加」手順を示すフローチャートである。It is a flowchart which shows the "addition of an original data access apparatus" procedure regarding one Embodiment of this invention. 本発明の一実施形態に関する「複製データアクセス装置の追加」手順を示すフローチャートである。It is a flowchart which shows the "addition of a replication data access apparatus" procedure regarding one Embodiment of this invention. 本発明の一実施形態に関する「複製データアクセス装置の削除」手順を示すフローチャートである。It is a flowchart which shows the "deletion of a replication data access apparatus" procedure regarding one Embodiment of this invention.

符号の説明Explanation of symbols

1 装置
11 CPU
12 メモリ
121 OS
122 アプリケーションプログラム
13 記憶部
131 データ
2 データ管理システム
21 アクセス要求装置
22 データアクセス装置
23 データ記憶装置
23a 原本ファイル
23b 複製ファイル
24 構成管理装置
25 構成情報
9 通信ネットワーク
1 device 11 CPU
12 Memory 121 OS
122 Application Program 13 Storage Unit 131 Data 2 Data Management System 21 Access Request Device 22 Data Access Device 23 Data Storage Device 23a Original File 23b Replicated File 24 Configuration Management Device 25 Configuration Information 9 Communication Network

Claims (6)

読み込み要求または書き込み要求であるアクセス要求の入力を受け付けるアクセス要求装置と、
前記アクセス要求の対象となるファイルを記憶するデータ記憶装置、および、前記データ記憶装置に対してアクセス権を専有するデータアクセス装置の組と、
前記データアクセス装置のうち、前記アクセス要求の対象となるファイルの原本ファイルを管理する原本データアクセス装置、および、前記データアクセス装置のうち、複製ファイルを管理する複製データアクセス装置を、前記データ記憶装置が記憶するファイルと対応づけた構成情報を記憶する構成管理装置と、
を接続するデータ管理システムによるデータ管理方法であって、
前記アクセス要求装置は、
所定ファイルへの前記読み込み要求の入力に対して、所定ファイルを管理する前記原本データアクセス装置および前記複製データアクセス装置のうち、1台の前記データアクセス装置を前記構成情報から選択して、前記読み込み要求を行い、
所定ファイルへの前記書き込み要求の入力に対して、所定ファイルを管理する前記原本データアクセス装置および前記複製データアクセス装置に対して前記書き込み要求を行い、
前記構成管理装置は、
負荷が集中するファイルの前記複製ファイルを記憶する前記データ記憶装置、および、その複製データアクセス装置の組単位で、前記構成情報に追加すること
を特徴とするデータ管理方法。
An access request device that accepts an input of an access request that is a read request or a write request;
A set of a data storage device that stores the file that is the target of the access request, and a data access device that has exclusive access rights to the data storage device;
Among the data access devices, an original data access device that manages an original file of a file that is a target of the access request, and a duplicate data access device that manages a duplicate file among the data access devices, the data storage device A configuration management device that stores configuration information associated with a file stored by
A data management method by a data management system for connecting
The access request device includes:
In response to the input of the read request to a predetermined file, one of the original data access device and the duplicate data access device that manages the predetermined file is selected from the configuration information and the read Make a request,
In response to the input of the write request to the predetermined file, the write request is made to the original data access device and the duplicate data access device that manage the predetermined file,
The configuration management device includes:
A data management method comprising: adding to the configuration information in units of a set of the data storage device that stores the duplicate file of the file on which the load is concentrated and the duplicate data access device.
前記構成管理装置は、前記アクセス要求の処理を行っていない前記組単位をストレージプール内において順序づけて管理し、前記順序づけに従って、前記アクセス要求の処理を行っていない前記組単位を、負荷が集中するファイルの処理対象として割り当てることを特徴とする請求項1に記載のデータ管理方法。   The configuration management apparatus manages the group units that are not processing the access request in a storage pool in order, and the load concentrates the group units that are not processing the access request according to the ordering. 2. The data management method according to claim 1, wherein the data management method is assigned as a file processing target. 前記構成管理装置は、負荷が集中していないファイルの前記複製ファイルを記憶する前記データ記憶装置、および、その複製データアクセス装置の組単位で、前記構成情報から削除して、前記ストレージプールに戻すことを特徴とする請求項2に記載のデータ管理方法。   The configuration management device deletes from the configuration information and returns to the storage pool in units of the data storage device that stores the duplicate file of a file that is not concentrated in load and the duplicate data access device. The data management method according to claim 2, wherein: 請求項1ないし請求項3のいずれか1項に記載のデータ管理方法を、コンピュータに実行させるためのデータ管理プログラム。   A data management program for causing a computer to execute the data management method according to any one of claims 1 to 3. 読み込み要求または書き込み要求であるアクセス要求の入力を受け付けるアクセス要求装置と、
前記アクセス要求の対象となるファイルを記憶するデータ記憶装置、および、前記データ記憶装置に対してアクセス権を専有するデータアクセス装置の組と、
前記データアクセス装置のうち、前記アクセス要求の対象となるファイルの原本ファイルを管理する原本データアクセス装置、および、前記データアクセス装置のうち、複製ファイルを管理する複製データアクセス装置を、前記データ記憶装置が記憶するファイルと対応づけた構成情報を記憶する構成管理装置と、
を接続するデータ管理システムであって、
前記アクセス要求装置は、
所定ファイルへの前記読み込み要求の入力に対して、所定ファイルを管理する前記原本データアクセス装置および前記複製データアクセス装置のうち、1台の前記データアクセス装置を前記構成情報から選択して前記読み込み要求を行い、
所定ファイルへの前記書き込み要求の入力に対して、所定ファイルを管理する前記原本データアクセス装置および前記複製データアクセス装置に対して前記書き込み要求を行い、
前記構成管理装置は、
負荷が集中するファイルの前記複製ファイルを記憶する前記データ記憶装置、および、その複製データアクセス装置の組単位で、前記構成情報に追加すること
を特徴とするデータ管理システム。
An access request device that accepts an input of an access request that is a read request or a write request;
A set of a data storage device that stores the file that is the target of the access request, and a data access device that has exclusive access rights to the data storage device;
Among the data access devices, an original data access device that manages an original file of a file that is a target of the access request, and a duplicate data access device that manages a duplicate file among the data access devices, the data storage device A configuration management device that stores configuration information associated with a file stored by
A data management system for connecting
The access request device includes:
In response to an input of the read request to a predetermined file, one of the original data access device and the duplicate data access device that manages the predetermined file is selected from the configuration information and the read request is selected. And
In response to the input of the write request to the predetermined file, the write request is made to the original data access device and the duplicate data access device that manage the predetermined file,
The configuration management device includes:
A data management system, wherein the data storage device that stores the duplicate file of the file on which the load is concentrated and the duplicate data access device are added to the configuration information.
読み込み要求または書き込み要求であるアクセス要求の入力を受け付けるアクセス要求装置と、
前記アクセス要求の対象となるファイルを記憶するデータ記憶装置、および、前記データ記憶装置に対してアクセス権を専有するデータアクセス装置の組と、
前記データアクセス装置のうち、前記アクセス要求の対象となるファイルの原本ファイルを管理する原本データアクセス装置、および、前記データアクセス装置のうち、複製ファイルを管理する複製データアクセス装置を、前記データ記憶装置が記憶するファイルと対応づけた構成情報を記憶する構成管理装置と、
を接続するデータ管理システムに用いられる構成管理装置であって、
前記アクセス要求装置は、
所定ファイルへの前記読み込み要求の入力に対して、所定ファイルを管理する前記原本データアクセス装置および前記複製データアクセス装置のうち、1台の前記データアクセス装置を前記構成情報から選択して前記読み込み要求を行い、
所定ファイルへの前記書き込み要求の入力に対して、所定ファイルを管理する前記原本データアクセス装置および前記複製データアクセス装置に対して前記書き込み要求を行い、
前記構成管理装置は、
負荷が集中するファイルの前記複製ファイルを記憶する前記データ記憶装置、および、その複製データアクセス装置の組単位で、前記構成情報に追加すること
を特徴とする構成管理装置。
An access request device that accepts an input of an access request that is a read request or a write request;
A set of a data storage device that stores the file that is the target of the access request, and a data access device that has exclusive access rights to the data storage device;
Among the data access devices, an original data access device that manages an original file of a file that is a target of the access request, and a duplicate data access device that manages a duplicate file among the data access devices, the data storage device A configuration management device that stores configuration information associated with a file stored by
A configuration management device used in a data management system for connecting
The access request device includes:
In response to an input of the read request to a predetermined file, one of the original data access device and the duplicate data access device that manages the predetermined file is selected from the configuration information and the read request is selected. And
In response to the input of the write request to the predetermined file, the write request is made to the original data access device and the duplicate data access device that manage the predetermined file,
The configuration management device includes:
A configuration management device, wherein the data storage device that stores the duplicate file of the file on which the load is concentrated and the duplicate data access device add the configuration information to the configuration information.
JP2007017730A 2007-01-29 2007-01-29 Data management method, data management program, data management system and configuration management device Pending JP2008186141A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007017730A JP2008186141A (en) 2007-01-29 2007-01-29 Data management method, data management program, data management system and configuration management device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007017730A JP2008186141A (en) 2007-01-29 2007-01-29 Data management method, data management program, data management system and configuration management device

Publications (1)

Publication Number Publication Date
JP2008186141A true JP2008186141A (en) 2008-08-14

Family

ID=39729160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007017730A Pending JP2008186141A (en) 2007-01-29 2007-01-29 Data management method, data management program, data management system and configuration management device

Country Status (1)

Country Link
JP (1) JP2008186141A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008950A (en) * 2010-06-28 2012-01-12 Nippon Telegr & Teleph Corp <Ntt> Distributed multimedia server system, distributed multimedia storage method, and distributed multimedia distribution method
JP2012504814A (en) * 2008-10-03 2012-02-23 アダプティブ コンピューティング エンタープライジズ インク System and method for dynamic management of data centric search
US8504548B2 (en) 2008-10-03 2013-08-06 Adaptive Computing Enterprises, Inc. System and method for dynamically managing data centric searches

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051890A (en) * 1999-08-10 2001-02-23 Toshiba Corp Virtual decentralized file server system
JP2001073651A (en) * 1999-09-01 2001-03-21 Chieko Takahashi Security lattice door and one with net cloth
JP2002073651A (en) * 2000-06-13 2002-03-12 Canon Inc Data management system, server and data management method
JP2004054607A (en) * 2002-07-19 2004-02-19 Nec Corp Switch device, method of distributed object management, and program
JP2005050165A (en) * 2003-07-29 2005-02-24 Hitachi Ltd Method for managing file of distributed storage device and distributed storage system
JP2005276094A (en) * 2004-03-26 2005-10-06 Hitachi Ltd Program, distributed storage system and method for managing file for distributed storage unit

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051890A (en) * 1999-08-10 2001-02-23 Toshiba Corp Virtual decentralized file server system
JP2001073651A (en) * 1999-09-01 2001-03-21 Chieko Takahashi Security lattice door and one with net cloth
JP2002073651A (en) * 2000-06-13 2002-03-12 Canon Inc Data management system, server and data management method
JP2004054607A (en) * 2002-07-19 2004-02-19 Nec Corp Switch device, method of distributed object management, and program
JP2005050165A (en) * 2003-07-29 2005-02-24 Hitachi Ltd Method for managing file of distributed storage device and distributed storage system
JP2005276094A (en) * 2004-03-26 2005-10-06 Hitachi Ltd Program, distributed storage system and method for managing file for distributed storage unit

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8949213B2 (en) 2005-03-11 2015-02-03 Adaptive Computing Enterprises, Inc. System and method for dynamically managing data centric searches
JP2012504814A (en) * 2008-10-03 2012-02-23 アダプティブ コンピューティング エンタープライジズ インク System and method for dynamic management of data centric search
US8504548B2 (en) 2008-10-03 2013-08-06 Adaptive Computing Enterprises, Inc. System and method for dynamically managing data centric searches
JP2012008950A (en) * 2010-06-28 2012-01-12 Nippon Telegr & Teleph Corp <Ntt> Distributed multimedia server system, distributed multimedia storage method, and distributed multimedia distribution method

Similar Documents

Publication Publication Date Title
US8504571B2 (en) Directed placement of data in a redundant data storage system
JP5765416B2 (en) Distributed storage system and method
JP5276218B2 (en) Convert LUNs to files or files to LUNs in real time
US9727522B1 (en) Multi-tenant storage service object lifecycle management using transition job objects
US10747673B2 (en) System and method for facilitating cluster-level cache and memory space
WO2011027775A1 (en) Distributed storage system, distributed storage method, and program and storage nodes for distributed storage
JP5375972B2 (en) Distributed file system, data selection method thereof, and program
CN103597440A (en) Method for creating clone file, and file system adopting the same
US20190188309A1 (en) Tracking changes in mirrored databases
WO2016166844A1 (en) Distributed processing system, task processing method, and storage medium
US20170220586A1 (en) Assign placement policy to segment set
JP2017062636A (en) Storage device and storage control program
JP2014044553A (en) Program, information processing device, and information processing system
JP2020173727A (en) Storage management device, information system, and storage management method
WO2015125271A1 (en) File server, method of controlling same, and storage system
CN112334891A (en) Centralized storage for search servers
US11640343B2 (en) Method for migrating data in a raid system having a protection pool of storage units
WO2017156855A1 (en) Database systems with re-ordered replicas and methods of accessing and backing up databases
JP6033420B2 (en) Storage system and storage system control method
JP2008186141A (en) Data management method, data management program, data management system and configuration management device
US11188258B2 (en) Distributed storage system
Yang et al. D^ 2PS: a dependable data provisioning service in multi-tenant cloud environment
WO2020016650A2 (en) Storing a point in time coherently for a distributed storage system
US11733922B2 (en) Method for data reconstruction in a RAID system having a protection pool of storage units
US11748016B2 (en) Method for adding disks in a raid system having a protection pool of storage units

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130108