JP2008186141A - Data management method, data management program, data management system and configuration management device - Google Patents
Data management method, data management program, data management system and configuration management device Download PDFInfo
- Publication number
- JP2008186141A JP2008186141A JP2007017730A JP2007017730A JP2008186141A JP 2008186141 A JP2008186141 A JP 2008186141A JP 2007017730 A JP2007017730 A JP 2007017730A JP 2007017730 A JP2007017730 A JP 2007017730A JP 2008186141 A JP2008186141 A JP 2008186141A
- Authority
- JP
- Japan
- Prior art keywords
- data
- file
- request
- access
- data access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、データ管理方法、データ管理プログラム、データ管理システム、および、構成管理装置に関する。 The present invention relates to a data management method, a data management program, a data management system, and a configuration management apparatus.
データ管理システムは社会基盤の重要な役割を担っている。データを蓄積し続けるデータ管理システムでは、扱うデータ量の増加やアクセス数の増加が発生する。これにより、データ管理システムには負荷が発生する。 Data management systems play an important role in social infrastructure. In a data management system that continues to accumulate data, the amount of data handled and the number of accesses increase. This creates a load on the data management system.
データ管理システムへの負荷は、全体のデータのうち、一部のデータにアクセスが集中することが要因となる。なお、データアクセスの傾向として、例えば、データの読み込みの割合が、データの書き込みの割合よりも、極めて大きくなることがある。また、別の傾向として、書き込みされてからの経過時間が短いデータほどアクセスが集中し、時間が経過したデータ程アクセスされないこともある。 The load on the data management system is due to the fact that access is concentrated on some of the entire data. As a tendency of data access, for example, the data reading rate may be much larger than the data writing rate. Another tendency is that access is concentrated as data having a shorter elapsed time since writing is written and data is not accessed as time passes.
データ管理システムを構成するデータ記憶装置は、アクセス対象のデータを格納する。このデータ記憶装置への負荷集中を緩和する手法が、いくつか提案されている。 A data storage device constituting the data management system stores data to be accessed. Several methods for alleviating the load concentration on the data storage device have been proposed.
例えば、非特許文献1などに記載されたRAID(Redundant Arrays of Inexpensive Disks)は、複数の物理的なデータ格納装置を、単一の論理的なデータ格納装置として認識させ、複数の物理的なデータ格納装置に分散して並列にアクセスさせることで、データ記憶装置への負荷集中を緩和する。
For example, RAID (Redundant Arrays of Inexpensive Disks) described in Non-Patent
また、アクセスが集中するデータについて、データ記憶装置にデータの複製を作成し、同じデータへのアクセスを複数のデータ記憶装置に分散することによって、データ記憶装置13へのアクセス性能の悪化を防ぐ方法がある(特許文献1参照)。さらに、ストライピングは、1つのファイルを断片化して別々のデータ記憶装置に分散して記憶することで、データ記憶装置への負荷集中を緩和する。 A method of preventing deterioration of access performance to the data storage device 13 by creating a copy of the data in the data storage device and distributing the access to the same data to a plurality of data storage devices for data on which access is concentrated (See Patent Document 1). Furthermore, striping reduces the load concentration on the data storage device by fragmenting one file and distributing and storing it in separate data storage devices.
そして、同一データへ複数のアクセスが多発するような場合に、予め複製データの作成契機となる条件を設定しておくことで、複製データの作成、及びアクセス先の切り替えをシステム内部で自動的に行うための技術が開示されている(特許文献2参照)。
データ管理システムを構成するデータ記憶装置への負荷分散を行うだけでは、データ管理システム全体の負荷分散を達成するには、不十分である。 Simply distributing the load to the data storage devices that make up the data management system is not sufficient to achieve the load distribution of the entire data management system.
データ管理システムには、データ記憶装置に対してアクセスを指示するデータアクセス装置が接続されている。このデータアクセス装置は、アクセス要求に従って、データ記憶装置に記憶されているデータのアクセスをアクセス要求元に仲介する。 The data management system is connected to a data access device that instructs access to the data storage device. The data access device mediates access of data stored in the data storage device to the access request source in accordance with the access request.
データアクセス装置は、アクセス要求量が多くなり、処理能力の限界を超えてしまうと、データ記憶装置の処理能力には余裕があっても、データアクセス装置の処理待ちが発生する。つまり、データアクセス装置が、データ管理システム全体のボトルネックとなる。 When the access request amount of the data access device increases and exceeds the limit of the processing capability, the data access device waits for processing even if the processing capacity of the data storage device is sufficient. That is, the data access device becomes a bottleneck of the entire data management system.
そこで本発明は、データ管理システム全体の負荷分散を達成することを主な目的とする。 Therefore, the main object of the present invention is to achieve load distribution of the entire data management system.
前記課題を解決するため、本発明は、読み込み要求または書き込み要求であるアクセス要求の入力を受け付けるアクセス要求装置と、前記アクセス要求の対象となるファイルを記憶するデータ記憶装置、および、前記データ記憶装置に対してアクセス権を専有するデータアクセス装置の組と、前記データアクセス装置のうち、前記アクセス要求の対象となるファイルの原本ファイルを管理する原本データアクセス装置、および、前記データアクセス装置のうち、複製ファイルを管理する複製データアクセス装置を、前記データ記憶装置が記憶するファイルと対応づけた構成情報を記憶する構成管理装置と、を接続するデータ管理システムによるデータ管理方法であって、前記アクセス要求装置が、所定ファイルへの前記読み込み要求の入力に対して、所定ファイルを管理する前記原本データアクセス装置および前記複製データアクセス装置のうち、1台の前記データアクセス装置を前記構成情報から選択して前記読み込み要求を行い、所定ファイルへの前記書き込み要求の入力に対して、所定ファイルを管理する前記原本データアクセス装置および前記複製データアクセス装置に対して前記書き込み要求を行い、前記構成管理装置が、負荷が集中するファイルの前記複製ファイルを記憶する前記データ記憶装置、および、その複製データアクセス装置の組単位で、前記構成情報に追加することを特徴とする。その他の手段は、後記する。 In order to solve the above-described problems, the present invention provides an access request device that receives an input of an access request that is a read request or a write request, a data storage device that stores a file that is a target of the access request, and the data storage device A set of data access devices dedicated to the access right, and the original data access device that manages the original file of the access request target among the data access device, and the data access device, A data management method using a data management system for connecting a duplicate data access device that manages a duplicate file to a configuration management device that stores configuration information associated with a file stored in the data storage device, the access request The device inputs the read request to a predetermined file. Then, out of the original data access device and the duplicate data access device that manages a predetermined file, one of the data access devices is selected from the configuration information, the read request is made, and the write request to the predetermined file is made In response to the input, the write request is made to the original data access device and the duplicate data access device that manage a predetermined file, and the configuration management device stores the duplicate file of the file on which the load is concentrated The data storage device and the duplicate data access device are added to the configuration information in units of sets. Other means will be described later.
本発明によれば、データ管理システム全体の負荷分散を達成することができる。 According to the present invention, load distribution of the entire data management system can be achieved.
以下、本発明の一実施形態に係るデータ管理システムについて、図面に基づき説明する。 Hereinafter, a data management system according to an embodiment of the present invention will be described with reference to the drawings.
図1は、本発明の一実施の形態に係るデータ管理システム2を示す構成図である。このデータ管理システム2は、例えば、受発注情報管理システムに適用される。
FIG. 1 is a configuration diagram showing a
データ管理システム2は、アクセス要求装置21、構成管理装置24、データアクセス装置22、および、データ記憶装置23が互いにネットワークで接続されて構成される。
The
データ管理システム2において、望ましい装置の台数は以下の通りである。アクセス要求装置21は、アクセス要求を行うユーザ数分存在する。構成管理装置24は、基本的に1台で済むが、冗長化や負荷分散のために多重化してもよい。
In the
データアクセス装置22、および、データ記憶装置23は、互いに組となるので、同じ数ずつ存在する。この組の数は、データ管理システム2に対するアクセス量全体を余裕を持って処理可能な台数を予め用意しておく。これは、本実施形態のデータ管理システム2が行う負荷分散は、特定のデータアクセス装置22に対するアクセス集中を、別のデータアクセス装置22にも共同で負担することによって、実現するためである。つまり、共同で負担するデータアクセス装置22が存在しない(換言すると、全てのデータアクセス装置22の処理能力に余裕がない)ほどの乏しい計算機環境では、負荷分散の実現は困難となる。
Since the
アクセス要求装置21は、データアクセス装置22に対して、アクセス要求を行う。アクセス要求は、データ記憶装置23へのデータの書き込み、および、データ記憶装置23からのデータの読み込みである。なお、データの書き込みは、アクセス対象のデータが変化する処理であり、例えば、SQL(Structured Query Language)命令の「INSERT INTO (レコードデータの挿入)」、「UPDATE 〜 SET (レコードデータの更新)」、および、「DELETE FROM (レコードの削除)」が該当する。一方、データの読み込みは、アクセス対象のデータが変化しない処理であり、例えば、SQL命令の「SELECT 〜 FROM 〜 WHERE (レコードの検索)」が該当する。
The
アクセス要求装置21は、一般ユーザからのアクセス要求を分析する。アクセス要求がデータ書き込み要求の時には、データアクセス装置22に対してデータ記憶装置23にデータを書き込みするように指示する。アクセス要求がデータ読み込み要求の時には、データアクセス装置22に対してデータ記憶装置23にデータを読み込みするように指示する。
The
また、アクセス要求装置21は、アクセス要求の負荷分散を行う。負荷分散とは、アクセス要求の対象となる1つのデータアクセス装置22を、複数のデータアクセス装置22の候補(後記する構成情報25から取得)から選択することである。これにより、特定のデータアクセス装置22だけに負荷が集中することを抑制する。以下、負荷分散の具体的な計算方法を(1)から(3)まで3つ例示する。
Further, the
負荷分散方法(1)は、ラウンドロビンである。まず、複数の候補それぞれを順序づける。そして、複数の候補のうち、前回選択した候補の次に順序づけられている候補を、今回の候補として選択する。 The load distribution method (1) is round robin. First, each of a plurality of candidates is ordered. Then, among the plurality of candidates, the candidate that is ordered next to the previously selected candidate is selected as the current candidate.
負荷分散方法(2)は、ハッシュ法である。複数の候補のうち、1つの候補を選択するようなハッシュ関数を計算し、その計算結果として選択された候補を、今回の候補として選択する。なお、全ての候補が均等に選択されるようなハッシュ関数が、望ましい。 The load distribution method (2) is a hash method. A hash function that selects one candidate among a plurality of candidates is calculated, and the candidate selected as the calculation result is selected as the current candidate. A hash function that allows all candidates to be selected equally is desirable.
負荷分散方法(3)は、ランダムに選択する方法である。例えば、ランダムに選択するためのパラメータとして、現在時刻を利用する方法を説明する。アクセス要求装置名を文字コードに変換して各文字コードの和を求める。現在時刻を0:00からの通算秒に変換し、各文字コードの和と通算秒との和を該当するデータアクセス装置数に1を加算した値で割り、その余りを求める。そして、その余りの値から要求を出すデータアクセス装置22を特定する。
The load distribution method (3) is a method of selecting at random. For example, a method of using the current time as a parameter for selecting at random will be described. The access request device name is converted into a character code, and the sum of each character code is obtained. The current time is converted into the total seconds from 0:00, and the sum of the character codes and the total seconds is divided by the value obtained by adding 1 to the number of corresponding data access devices, and the remainder is obtained. Then, the
データアクセス装置22は、アクセス要求に対してデータ記憶装置23にアクセスするように指示する。データ記憶装置23は、データアクセス装置22からの指示を受け、自装置が記憶するデータにアクセスし、その結果をデータアクセス装置22に返信する。データ記憶装置23は、データとして、原本ファイル23a、または、複製ファイル23bを記憶する。原本ファイル23aとは、データを記憶する確定的なものとして最初に作成したファイルであり、複製ファイル23bとは、原本ファイル23aの内容と同じ内容を持つファイルである。ここで、原本ファイル23aを記憶するデータ記憶装置23を管理するデータアクセス装置22を、原本データアクセス装置22と定義する。また、複製ファイル23bを記憶するデータ記憶装置23を管理するデータアクセス装置22を、複製データアクセス装置22と定義する。
The
まず、アクセス要求が書き込み要求の場合を説明する。アクセス要求装置21は、データアクセス装置22に書き込み要求を送信する。データアクセス装置22は、配下のデータ記憶装置23に対し、書き込み要求で指定されるファイルに対する、書き込み要求で指定されるデータの書き込みを要求する。要求を受けたデータ記憶装置23は、指定されたファイルに指定されたデータを書き込み、データアクセス装置22に対し、データの書き込み完了を通知する。通知を受けたデータアクセス装置22は、アクセス要求装置21に対し、データの書き込み完了を通知する。
First, the case where the access request is a write request will be described. The
次に、アクセス要求が読み込み要求の場合を説明する。アクセス要求装置21は、データアクセス装置22に読み込み要求を送信する。データアクセス装置22は、配下のデータ記憶装置23に対し、読み込み要求で指定されるファイルに対する、指定されるデータの読み込みを要求する。要求を受けたデータ記憶装置23は、指定されたファイルのデータを読み込み、データアクセス装置22に対し、読み込まれたデータとデータの読み込み完了とを通知する。通知を受けたデータアクセス装置22は、アクセス要求装置21に対し、読み込まれたデータとデータの読み込み完了とを通知する。
Next, a case where the access request is a read request will be described. The
データアクセス装置22、および、データ記憶装置23の組は、シェアードナッシング(専用アクセス)方式の関係となる。つまり、データアクセス装置22は、組をなす配下のデータ記憶装置23に対して、データ記憶装置23が記憶するデータへのアクセス権を専有する。つまり、各データアクセス装置22は、自装置の配下のデータ記憶装置23に記憶された全てのデータにアクセスできる。
The set of the
なお、データアクセス装置22の代わりに、データアクセス装置22からアクセス要求を受信した構成管理装置24が、データアクセス装置22に対して、アクセス要求を代行してもよい。
Instead of the
構成管理装置24は、構成情報25を保持する。構成管理装置24は、構成情報読み込み要求に対し、構成情報25を返信する。また、構成管理装置24は、管理者ユーザから構成情報25の変更要求を受け、構成情報25を変更する。
The
構成情報25は、データアクセス装置名と、そのデータアクセス装置名がアクセスできるファイル名と、そのファイル名の属性とを対応づけて管理する。ファイル属性は、「原本」または「複製」の2種類の値をとり、データアクセス装置名31が扱うファイルが原本ファイル、または、複製ファイルのいずれかを意味する。なお、1個の原本ファイルに対して、0個以上の複製ファイルが作成される。 The configuration information 25 manages the data access device name, the file name accessible by the data access device name, and the attribute of the file name in association with each other. The file attribute takes two types of values, “original” or “replica”, and means that the file handled by the data access device name 31 is either an original file or a duplicate file. Note that zero or more duplicate files are created for one original file.
なお、ファイル名をキーに構成情報25を検索することにより、所定の原本ファイルに対応する複製ファイルや、所定の複製ファイルに対応する原本ファイルを検索することができる。 By searching the configuration information 25 using the file name as a key, it is possible to search for a duplicate file corresponding to a predetermined original file or an original file corresponding to a predetermined replica file.
データ読み込み要求を処理するデータアクセス装置22は、所定ファイルに対する原本データアクセス装置22および複製データアクセス装置22のうち、1台の原本データアクセス装置22、または、1台の複製データアクセス装置22である。データ書き込み要求を処理するデータアクセス装置22は、所定ファイルに対する原本データアクセス装置22および複製データアクセス装置全てである。
The
図2は、図1の各装置(アクセス要求装置21、構成管理装置24、データアクセス装置22、および、データ記憶装置23)を構成するためのハードウェア資源の説明図である。装置1は、CPU(Control Processing Unit)11、および、メモリ12で構成されており、記憶部13と接続されている。メモリ12には、OS(Operating System)121と、アプリケーションプログラム122が配置されている。
FIG. 2 is an explanatory diagram of hardware resources for configuring each device (
CPU11は、メモリ12にあるOS121とアプリケーションプログラム122を実行する。装置1は、記憶部13にあるデータ131にアクセスし、システムにおける役割毎に異なるアプリケーションプログラムを実行する。記憶部13は、例えばハードディスクのような、データの読み込み、および、書き込みが可能な機器が該当する。なお、データの読み込みは、例えば、データの取得である。また、データの書き込みは、例えば、データの書き込み、変更、および、削除である。
The
なお、データアクセス装置22、および、データ記憶装置23の組は、例えば、データ記憶装置23の性能不足によって、新たに増設される。性能不足は、データ記憶装置23で記憶できるデータ量が不足したときや、データ記憶装置23のアクセス性能がシステム全体の要件を満たせなくなったときに、発生する。
Note that a set of the
ここで、データアクセス装置22、および、データ記憶装置23の組が複数存在するときに、それらの組の間で、負荷のアンバランスが生じることもある。例えば、最近アクセス対象となるデータが、新たに増設されたデータ記憶装置23に対して集中的に記憶されると、その新たなデータ記憶装置23へのアクセスが集中する。これは、新しいデータほど、そのデータの使用頻度が高くなるという傾向によるものである。
Here, when there are a plurality of sets of the
そこで、本実施形態では、負荷集中が発生したデータアクセス装置22、および、データ記憶装置23の組に対して、その組が管理するデータを、新たな組にも複製することによって、負荷集中が発生するデータへのアクセスを共同で負担する。これにより、ILM(Information Lifecycle Management)と呼ばれる効率的なストレージ活用を実現する。つまり、システム全体のアクセス性能を向上させるために、ほとんどアクセスされなくなったデータに対する計算機資源の数を減らし、アクセス数が多いデータに対する計算機資源を増やすことで、データごとのアクセス数に応じた構成変更を行う。
Therefore, in the present embodiment, the load concentration is reduced by duplicating the data managed by the
図3は、本実施形態の構成情報25の変更を説明する説明図である。図3(a)は、ファイル「p」の追加前を示し、図3(b)は、ファイル「p」の追加後を示す。 FIG. 3 is an explanatory diagram for explaining the change of the configuration information 25 of the present embodiment. FIG. 3A shows the file “p” before addition, and FIG. 3B shows the file “p” after addition.
まず、図3(a)において、アクセス対象の各ファイルには、そのアクセスを処理するためのデータアクセス装置22、および、データ記憶装置23の組が割り当てられている。例えば、ファイル「1」には、原本ファイルを管理する組「1」、および、複製ファイルを管理する組「2」が割り当てられている。
First, in FIG. 3A, each file to be accessed is assigned a set of a
ストレージプールは、データアクセス装置22、および、データ記憶装置23の組について、データ記憶装置23にアクセス対象のファイルが記憶されていない(換言すると処理空きとなっている)組を管理する。
The storage pool manages a set of the
なお、既に特定のファイル処理用として使用されている組から、負荷が集中していない組(例えば組「5」)を削除することによって、ストレージプールには、組が戻される。戻された組は、別のファイル処理用として再利用される。なお組の削除の詳細は、後記する「複製データアクセス装置22の削除」手順で説明する。
It should be noted that a set is returned to the storage pool by deleting a set where the load is not concentrated (for example, set “5”) from the set already used for specific file processing. The returned set is reused for another file processing. Details of deletion of a set will be described in the “deletion of duplicate
次に、図3(b)において、ファイル「p」を割り当てる組を、ストレージプールから確保する。組「6」は、ファイル「p」の原本ファイルを管理するために、割り当てられる。詳細は、後記する「原本データアクセス装置22の追加」手順で説明する。そして、組「7」および組「5」は、ファイル「p」の複製ファイルを管理するために、割り当てられる。詳細は、後記する「複製データアクセス装置22の追加」手順で説明する。
Next, in FIG. 3B, a set to which the file “p” is assigned is secured from the storage pool. The set “6” is allocated to manage the original file of the file “p”. Details will be described in the “addition of original
以上により、アクセスが集中していないファイル「n」の計算機資源である組「5」が、アクセスが集中するファイル「p」の計算機資源として活用される。これにより、ファイル「p」へのアクセスを効率的に負荷分散できる。なお、ストレージプール内の組を割り当てるときに、どの組を割り当てるかを指定する方法として、管理者ユーザが明示的に指定する方法や、ストレージプール内の組を順序づけし、前に指定された組の次に位置する組を指定する、ラウンドロビンの方法などがある。 As described above, the set “5” which is the computer resource of the file “n” where access is not concentrated is utilized as the computer resource of the file “p” where access is concentrated. As a result, it is possible to efficiently load balance access to the file “p”. Note that when assigning a pair in a storage pool, as a method to specify which pair to assign, a method in which an administrator user explicitly designates a pair, a pair in a storage pool is ordered, and a previously specified pair is assigned. There is a round robin method that specifies the next set of items.
図4は、アクセス要求装置21によるアクセス要求手順を示すフローチャートである。
FIG. 4 is a flowchart showing an access request procedure by the
アクセス要求装置21は、一般ユーザからの要求を受け付ける(S101)。ここで一般ユーザからの要求とは「データ書き込み」あるいは「データ読み込み」のいずれかである。データ書き込み要求とは、ユーザが指定したデータを、ユーザが指定したファイルに書き込みする要求で、書き込みするデータ本体と、書き込み先のファイル名が含まれている。データ読み込み要求とは、ユーザが指定したファイルからデータを読み込みする要求で、読み込み対象のファイル名が含まれている。
The
アクセス要求装置21は、一般ユーザからの要求種別に応じて、処理を分岐させ(S102)、データ書き込み手順(S103)、または、データ読み込み手順(S104)を実施する。
The
図5は、データ書き込み手順を示すフローチャートである。 FIG. 5 is a flowchart showing a data writing procedure.
アクセス要求装置21は、構成管理装置24に対して、構成情報25を要求する(S201)。構成管理装置24は、アクセス要求装置21に対して、構成情報25を返信する(S202)。
The
アクセス要求装置21は、構成情報25から、データ書き込み対象ファイルの原本ファイルを管理する原本データアクセス装置22を特定する(S211)。具体的には、取得した構成情報25を基にユーザが指定した書き込み先のファイル名と同じファイル名のファイルにアクセス可能なデータアクセス装置22のうち、ファイル属性が原本であるデータアクセス装置22を特定する。
The
アクセス要求装置21は、特定した原本データアクセス装置22に対して、原本ファイルの書き込みを要求する(S212)。要求メッセージには、原本ファイルのデータ本体、および、原本ファイルの書き込み先のファイル名が含まれる。
The
原本データアクセス装置22は、配下のデータ記憶装置23に対して、データの書き込みを行うように制御する(S213)。原本データアクセス装置22は、構成管理装置24に対して、S212の要求メッセージを通知して、複製ファイルの書き込みを要求する(S221)。
The original
構成管理装置24は、構成情報25から、データ書き込み対象ファイルの複製ファイルを管理する複製データアクセス装置22を特定する(S222)。構成管理装置24は、特定した複製データアクセス装置22を順に選択し(S223)、選択した複製データアクセス装置22に対して、複製ファイルの書き込みを要求する(S224)ようにループ制御する。複製データアクセス装置22は、配下のデータ記憶装置23に対して、データの書き込みを行うように制御する(S225)。
The
構成管理装置24は、原本データアクセス装置22に対して、複製ファイルの書き込み完了を通知する(S226)。原本データアクセス装置22は、アクセス要求装置21に対して、データ(原本ファイル、および、複製ファイル)の書き込み完了を通知する(S231)。アクセス要求装置21は、一般ユーザに対して、データの書き込み完了を通知する(S232)。
The
図6は、データ読み込み手順を示すフローチャートである。 FIG. 6 is a flowchart showing a data reading procedure.
アクセス要求装置21は、構成管理装置24に対して、構成情報25を要求する(S301)。構成管理装置24は、アクセス要求装置21に対して、構成情報25を返信する(S302)。
The
アクセス要求装置21は、複製データアクセス装置22が存在するか否かを判定する(S311)。具体的には、取得した構成情報25を基にユーザが指定した読み込み先のファイル名と同じファイル名のファイルにアクセス可能なデータアクセス装置22を特定する。
The
まず、S311でYesなら、アクセス要求装置21は、アクセス対象の複製データアクセス装置22を決定する(S312)。複製データアクセス装置22が複数存在するときには、前記した選択アルゴリズムにより、1つのアクセス対象を選択する。一方、S311でNoなら、アクセス要求装置21は、アクセス対象の原本データアクセス装置22を決定する(S313)。
First, if Yes in S311, the
アクセス要求装置21は、アクセス対象のデータアクセス装置22に対して、データの読み込みを要求する(S314)。アクセス対象のデータアクセス装置22は、配下のデータ記憶装置23に対して、データの読み込みを行うように制御する(S315)。アクセス対象のデータアクセス装置22は、アクセス要求装置21に対して、データの読み込み完了を通知する(S321)。通知メッセージには、読み込み対象のファイルのデータ内容が含まれる。アクセス要求装置21は、一般ユーザに対して、データの読み込み完了を通知する(S322)。
The
図7は、構成管理要求手順を示すフローチャートである。 FIG. 7 is a flowchart showing a configuration management request procedure.
アクセス要求装置21は、構成管理装置24に対して、管理者ユーザからの構成管理要求を送信する(S401)。ここで、構成管理要求とは、以下の(1)から(3)までのいずれかである。
The
構成管理要求(1)は、「原本データアクセス装置22の追加」である。新たに、原本ファイルを記憶するデータ記憶装置23、および、そのデータ記憶装置23を管理する原本データアクセス装置22の組をデータ管理システム2に追加する。これは、原本ファイルが新たに管理対象となったとき、その管理の担当先として発行される。構成管理要求には、追加するデータアクセス装置22の名称と、原本ファイルのファイル名とが含まれる。
The configuration management request (1) is “addition of original
構成管理要求(2)は、「複製データアクセス装置22の追加」である。既にデータ管理されている原本ファイルに対して、複製ファイルを記憶するデータ記憶装置23、および、そのデータ記憶装置23を管理する複製データアクセス装置22の組をデータ管理システム2に追加する。これは、原本ファイルやその複製ファイルに対するアクセスが集中したため、その緩和を目的として発行される。構成管理要求には、追加するデータアクセス装置22の名称と、複製ファイルを追加する原本ファイルのファイル名とが含まれる。
The configuration management request (2) is “addition of duplicate
構成管理要求(3)は、「複製データアクセス装置22の削除」である。既にデータ管理されている複製ファイルに対して、その複製ファイルを記憶するデータ記憶装置23、および、そのデータ記憶装置23を管理する複製データアクセス装置22の組をデータ管理システム2から削除する。これは、以前アクセスが集中したために追加された複製ファイルについて、そのアクセスが緩和されたために処理が空いたため、装置の有効活用を目的として発行される。構成管理要求には、削除するデータアクセス装置22の名称が含まれる。
The configuration management request (3) is “deletion of duplicate
アクセス要求装置21は、構成管理要求の種別を判定し(S402)、「原本データアクセス装置22の追加」(S403)、「複製データアクセス装置22の追加」(S404)、または、「複製データアクセス装置22の削除」(S405)を実施する。
The
図8は、「原本データアクセス装置22の追加」手順を示すフローチャートである。
FIG. 8 is a flowchart showing a procedure of “adding original
構成管理装置24は、構成管理要求が有効か否かを判定する(S501)。なお、構成管理要求が有効とは、ユーザが構成管理要求で指定したデータアクセス装置名およびファイル名と同じデータアクセス装置名およびファイル名が、既に構成情報25に書き込みされている旨を示す。
The
S501でNoなら、構成管理装置24は、管理者ユーザに対して、構成管理要求が無効である旨のエラーを通知する(S502)。そして、処理を終了する。
If No in S501, the
S501でYesなら、構成管理装置24は、原本データアクセス装置22に対して、構成管理要求で指定された原本ファイルを管理対象とする(S503)ように指示する。そして、原本データアクセス装置22には、原本ファイルを管理するためのアプリケーションがインストールおよびデプロイされる。
If Yes in S501, the
原本データアクセス装置22は、配下のデータ記憶装置23に対して、構成管理要求で指定された原本ファイルを記憶できるように準備する(S504)ように指示する。なお、準備とは、データを格納するための領域を確保し、データをアクセス可能にする処理を指す。
The original
構成管理装置24は、構成情報25に対して、新たに準備したデータ記憶装置23、および、そのデータ記憶装置23を管理する原本データアクセス装置22の組を登録する(S505)。例えば、追加したデータアクセス装置名が「データアクセス装置p」、追加する原本ファイル名が「ファイルp」であった場合、構成情報25のデータアクセス装置名項目には「データアクセス装置p」、ファイル名項目には「ファイルp」、ファイル属性項目には「原本」がそれぞれ書き込みされる。構成管理装置24は、管理者ユーザに対して、構成管理要求の処理完了を通知する(S506)。
The
図9は、「複製データアクセス装置22の追加」手順を示すフローチャートである。
FIG. 9 is a flowchart showing the procedure of “addition of duplicate
構成管理装置24は、構成管理要求が有効か否かを判定する(S601)。なお、構成管理要求が有効とは、ユーザが構成管理要求で指定したデータアクセス装置名およびファイル名と同じデータアクセス装置名およびファイル名が構成情報25に含まれている旨を示す。
The
S601でNoなら、構成管理装置24は、管理者ユーザに対して、構成管理要求が無効である旨のエラーを通知する(S602)。そして、処理を終了する。
If No in S601, the
S601でYesなら、構成管理装置24は、複製データアクセス装置22に対して、構成管理要求で指定された複製ファイルを管理対象とする(S603)ように指示する。そして、複製データアクセス装置22には、複製ファイルを管理するためのアプリケーションがインストールおよびデプロイされる。複製データアクセス装置22は、配下のデータ記憶装置23に対して、構成管理要求で指定された複製ファイルを記憶できるように準備する。
If Yes in S601, the
構成管理装置24は、構成情報25から、構成管理要求で指定された複製ファイルに対する原本ファイルを管理する原本データアクセス装置22を特定する(S611)。具体的には、ユーザが指定した複製ファイルのファイル名と同じファイル名のファイルにアクセス可能なデータアクセス装置22のうち、ファイル属性が原本であるデータアクセス装置22を特定する。
The
構成管理装置24は、特定した原本データアクセス装置22に対して、原本ファイルの読み込みを要求する(S612)。原本データアクセス装置22は、配下のデータ記憶装置23に対して、データの読み込みを行うように制御する(S613)。原本データアクセス装置22は、構成管理装置24に対して、原本ファイルの読み込み完了を通知する(S614)。
The
構成管理装置24は、S603で追加した複製データアクセス装置22に対して、原本ファイルのデータ内容をもとに複製ファイルの書き込みを要求する(S621)。複製データアクセス装置22は、配下のデータ記憶装置23に対して、データの書き込みを行うように制御する(S622)。複製データアクセス装置22は、構成管理装置24に対して、複製ファイルの書き込み完了を通知する(S623)。
The
構成管理装置24は、構成情報25に、追加した複製データアクセス装置22を登録する(S624)。例えば、追加したデータアクセス装置名が「データアクセス装置p1」、追加する複製ファイルが対応する原本ファイル名が「ファイルp」であった場合、構成情報25のデータアクセス装置名項目には「データアクセス装置p1」、ファイル名項目には「ファイルp」、ファイル属性項目には「複製」がそれぞれ書き込みされる。構成管理装置24は、管理者ユーザに対して、構成管理要求の処理完了を通知する(S625)。
The
図10は、「複製データアクセス装置22の削除」手順を示すフローチャートである。
FIG. 10 is a flowchart showing a procedure of “deletion of duplicate
「複製データアクセス装置22の削除」手順は、例えば、構成管理要求を管理者ユーザから明示的に入力されたときに、実行される。また、構成管理装置24が複製データアクセス装置22の処理能力を計測し、処理能力が遊んでいる状態を検知したときに、構成管理要求を発行することとしてもよい。処理能力が遊んでいる状態は、例えば、CPU使用率が20%以下の期間が10時間連続して続いたなど、予め管理者ユーザが条件を指定しておく。
The “deletion of duplicate
構成管理装置24は、構成管理要求が有効か否かを判定する(S701)。有効とは、管理者ユーザが指定したデータアクセス装置名と同じデータアクセス装置名が構成情報25に含まれており、かつ、管理者ユーザが指定したデータアクセス装置22が扱うファイルのファイル属性が複製である状態である。
The
S701でNoなら、構成管理装置24は、構成管理要求が無効である旨のエラーを通知する(S702)。そして、処理を終了する。
If No in S701, the
S701でYesなら、構成管理装置24は、複製データアクセス装置22に対して、構成管理要求で指定された複製ファイルを管理対象から外すように指示する(S703)。そして、複製データアクセス装置22には、複製ファイルを管理するためのアプリケーションがアンインストールされる。なお、構成管理要求において管理者ユーザは、明示的にデータアクセス装置名を指定する代わりに、複製データアクセス装置22の台数を指定することとしてもよい。台数が指定されたときには、構成管理装置24は、構成情報25を参照して、指定された台数のデータアクセス装置名を取得する。
If Yes in S701, the
複製データアクセス装置22は、配下のデータ記憶装置23に対して、構成管理要求で指定された複製ファイルを削除する(S704)ように指示する。
The duplicate
以上説明した本実施形態によれば、アクセス要求装置21は、読み込み要求の入力に対して、原本データアクセス装置22だけでなく、複製データアクセス装置22に対しても、要求を割り振る候補とする。また、アクセス要求が多いために負荷が集中するファイルについて、そのファイルを処理する複製データアクセス装置22の追加が可能となっている。よって、ファイルごとにばらつきのある読み込み要求に対して、効率的な複製データアクセス装置22の割り当てが可能となる。また、データ記憶装置23だけでなく、そのデータ記憶装置23を担当する複製データアクセス装置22の組単位での追加により、データアクセス装置22へのボトルネックが解消される。よって、データ管理システム全体の負荷分散を達成することができる。
According to the present embodiment described above, the
なお、書き込み要求に対して、担当するデータアクセス装置22に対して実行されることにより、データアクセス装置1台に書き込む方式に比べて、若干の処理のオーバーヘッドが生じる。しかし、アクセス要求の頻度は、書き込み要求よりも読み込み要求のほうが圧倒的に高いので、書き込み要求に対する負荷は、相対的には無視してもよい程度となる。
Note that execution of the write request to the
1 装置
11 CPU
12 メモリ
121 OS
122 アプリケーションプログラム
13 記憶部
131 データ
2 データ管理システム
21 アクセス要求装置
22 データアクセス装置
23 データ記憶装置
23a 原本ファイル
23b 複製ファイル
24 構成管理装置
25 構成情報
9 通信ネットワーク
1
12
122 Application Program 13 Storage Unit 131
Claims (6)
前記アクセス要求の対象となるファイルを記憶するデータ記憶装置、および、前記データ記憶装置に対してアクセス権を専有するデータアクセス装置の組と、
前記データアクセス装置のうち、前記アクセス要求の対象となるファイルの原本ファイルを管理する原本データアクセス装置、および、前記データアクセス装置のうち、複製ファイルを管理する複製データアクセス装置を、前記データ記憶装置が記憶するファイルと対応づけた構成情報を記憶する構成管理装置と、
を接続するデータ管理システムによるデータ管理方法であって、
前記アクセス要求装置は、
所定ファイルへの前記読み込み要求の入力に対して、所定ファイルを管理する前記原本データアクセス装置および前記複製データアクセス装置のうち、1台の前記データアクセス装置を前記構成情報から選択して、前記読み込み要求を行い、
所定ファイルへの前記書き込み要求の入力に対して、所定ファイルを管理する前記原本データアクセス装置および前記複製データアクセス装置に対して前記書き込み要求を行い、
前記構成管理装置は、
負荷が集中するファイルの前記複製ファイルを記憶する前記データ記憶装置、および、その複製データアクセス装置の組単位で、前記構成情報に追加すること
を特徴とするデータ管理方法。 An access request device that accepts an input of an access request that is a read request or a write request;
A set of a data storage device that stores the file that is the target of the access request, and a data access device that has exclusive access rights to the data storage device;
Among the data access devices, an original data access device that manages an original file of a file that is a target of the access request, and a duplicate data access device that manages a duplicate file among the data access devices, the data storage device A configuration management device that stores configuration information associated with a file stored by
A data management method by a data management system for connecting
The access request device includes:
In response to the input of the read request to a predetermined file, one of the original data access device and the duplicate data access device that manages the predetermined file is selected from the configuration information and the read Make a request,
In response to the input of the write request to the predetermined file, the write request is made to the original data access device and the duplicate data access device that manage the predetermined file,
The configuration management device includes:
A data management method comprising: adding to the configuration information in units of a set of the data storage device that stores the duplicate file of the file on which the load is concentrated and the duplicate data access device.
前記アクセス要求の対象となるファイルを記憶するデータ記憶装置、および、前記データ記憶装置に対してアクセス権を専有するデータアクセス装置の組と、
前記データアクセス装置のうち、前記アクセス要求の対象となるファイルの原本ファイルを管理する原本データアクセス装置、および、前記データアクセス装置のうち、複製ファイルを管理する複製データアクセス装置を、前記データ記憶装置が記憶するファイルと対応づけた構成情報を記憶する構成管理装置と、
を接続するデータ管理システムであって、
前記アクセス要求装置は、
所定ファイルへの前記読み込み要求の入力に対して、所定ファイルを管理する前記原本データアクセス装置および前記複製データアクセス装置のうち、1台の前記データアクセス装置を前記構成情報から選択して前記読み込み要求を行い、
所定ファイルへの前記書き込み要求の入力に対して、所定ファイルを管理する前記原本データアクセス装置および前記複製データアクセス装置に対して前記書き込み要求を行い、
前記構成管理装置は、
負荷が集中するファイルの前記複製ファイルを記憶する前記データ記憶装置、および、その複製データアクセス装置の組単位で、前記構成情報に追加すること
を特徴とするデータ管理システム。 An access request device that accepts an input of an access request that is a read request or a write request;
A set of a data storage device that stores the file that is the target of the access request, and a data access device that has exclusive access rights to the data storage device;
Among the data access devices, an original data access device that manages an original file of a file that is a target of the access request, and a duplicate data access device that manages a duplicate file among the data access devices, the data storage device A configuration management device that stores configuration information associated with a file stored by
A data management system for connecting
The access request device includes:
In response to an input of the read request to a predetermined file, one of the original data access device and the duplicate data access device that manages the predetermined file is selected from the configuration information and the read request is selected. And
In response to the input of the write request to the predetermined file, the write request is made to the original data access device and the duplicate data access device that manage the predetermined file,
The configuration management device includes:
A data management system, wherein the data storage device that stores the duplicate file of the file on which the load is concentrated and the duplicate data access device are added to the configuration information.
前記アクセス要求の対象となるファイルを記憶するデータ記憶装置、および、前記データ記憶装置に対してアクセス権を専有するデータアクセス装置の組と、
前記データアクセス装置のうち、前記アクセス要求の対象となるファイルの原本ファイルを管理する原本データアクセス装置、および、前記データアクセス装置のうち、複製ファイルを管理する複製データアクセス装置を、前記データ記憶装置が記憶するファイルと対応づけた構成情報を記憶する構成管理装置と、
を接続するデータ管理システムに用いられる構成管理装置であって、
前記アクセス要求装置は、
所定ファイルへの前記読み込み要求の入力に対して、所定ファイルを管理する前記原本データアクセス装置および前記複製データアクセス装置のうち、1台の前記データアクセス装置を前記構成情報から選択して前記読み込み要求を行い、
所定ファイルへの前記書き込み要求の入力に対して、所定ファイルを管理する前記原本データアクセス装置および前記複製データアクセス装置に対して前記書き込み要求を行い、
前記構成管理装置は、
負荷が集中するファイルの前記複製ファイルを記憶する前記データ記憶装置、および、その複製データアクセス装置の組単位で、前記構成情報に追加すること
を特徴とする構成管理装置。 An access request device that accepts an input of an access request that is a read request or a write request;
A set of a data storage device that stores the file that is the target of the access request, and a data access device that has exclusive access rights to the data storage device;
Among the data access devices, an original data access device that manages an original file of a file that is a target of the access request, and a duplicate data access device that manages a duplicate file among the data access devices, the data storage device A configuration management device that stores configuration information associated with a file stored by
A configuration management device used in a data management system for connecting
The access request device includes:
In response to an input of the read request to a predetermined file, one of the original data access device and the duplicate data access device that manages the predetermined file is selected from the configuration information and the read request is selected. And
In response to the input of the write request to the predetermined file, the write request is made to the original data access device and the duplicate data access device that manage the predetermined file,
The configuration management device includes:
A configuration management device, wherein the data storage device that stores the duplicate file of the file on which the load is concentrated and the duplicate data access device add the configuration information to the configuration information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007017730A JP2008186141A (en) | 2007-01-29 | 2007-01-29 | Data management method, data management program, data management system and configuration management device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007017730A JP2008186141A (en) | 2007-01-29 | 2007-01-29 | Data management method, data management program, data management system and configuration management device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008186141A true JP2008186141A (en) | 2008-08-14 |
Family
ID=39729160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007017730A Pending JP2008186141A (en) | 2007-01-29 | 2007-01-29 | Data management method, data management program, data management system and configuration management device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008186141A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012008950A (en) * | 2010-06-28 | 2012-01-12 | Nippon Telegr & Teleph Corp <Ntt> | Distributed multimedia server system, distributed multimedia storage method, and distributed multimedia distribution method |
JP2012504814A (en) * | 2008-10-03 | 2012-02-23 | アダプティブ コンピューティング エンタープライジズ インク | System and method for dynamic management of data centric search |
US8504548B2 (en) | 2008-10-03 | 2013-08-06 | Adaptive Computing Enterprises, Inc. | System and method for dynamically managing data centric searches |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001051890A (en) * | 1999-08-10 | 2001-02-23 | Toshiba Corp | Virtual decentralized file server system |
JP2001073651A (en) * | 1999-09-01 | 2001-03-21 | Chieko Takahashi | Security lattice door and one with net cloth |
JP2002073651A (en) * | 2000-06-13 | 2002-03-12 | Canon Inc | Data management system, server and data management method |
JP2004054607A (en) * | 2002-07-19 | 2004-02-19 | Nec Corp | Switch device, method of distributed object management, and program |
JP2005050165A (en) * | 2003-07-29 | 2005-02-24 | Hitachi Ltd | Method for managing file of distributed storage device and distributed storage system |
JP2005276094A (en) * | 2004-03-26 | 2005-10-06 | Hitachi Ltd | Program, distributed storage system and method for managing file for distributed storage unit |
-
2007
- 2007-01-29 JP JP2007017730A patent/JP2008186141A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001051890A (en) * | 1999-08-10 | 2001-02-23 | Toshiba Corp | Virtual decentralized file server system |
JP2001073651A (en) * | 1999-09-01 | 2001-03-21 | Chieko Takahashi | Security lattice door and one with net cloth |
JP2002073651A (en) * | 2000-06-13 | 2002-03-12 | Canon Inc | Data management system, server and data management method |
JP2004054607A (en) * | 2002-07-19 | 2004-02-19 | Nec Corp | Switch device, method of distributed object management, and program |
JP2005050165A (en) * | 2003-07-29 | 2005-02-24 | Hitachi Ltd | Method for managing file of distributed storage device and distributed storage system |
JP2005276094A (en) * | 2004-03-26 | 2005-10-06 | Hitachi Ltd | Program, distributed storage system and method for managing file for distributed storage unit |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8949213B2 (en) | 2005-03-11 | 2015-02-03 | Adaptive Computing Enterprises, Inc. | System and method for dynamically managing data centric searches |
JP2012504814A (en) * | 2008-10-03 | 2012-02-23 | アダプティブ コンピューティング エンタープライジズ インク | System and method for dynamic management of data centric search |
US8504548B2 (en) | 2008-10-03 | 2013-08-06 | Adaptive Computing Enterprises, Inc. | System and method for dynamically managing data centric searches |
JP2012008950A (en) * | 2010-06-28 | 2012-01-12 | Nippon Telegr & Teleph Corp <Ntt> | Distributed multimedia server system, distributed multimedia storage method, and distributed multimedia distribution method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8504571B2 (en) | Directed placement of data in a redundant data storage system | |
JP5765416B2 (en) | Distributed storage system and method | |
JP5276218B2 (en) | Convert LUNs to files or files to LUNs in real time | |
US9727522B1 (en) | Multi-tenant storage service object lifecycle management using transition job objects | |
US10747673B2 (en) | System and method for facilitating cluster-level cache and memory space | |
WO2011027775A1 (en) | Distributed storage system, distributed storage method, and program and storage nodes for distributed storage | |
JP5375972B2 (en) | Distributed file system, data selection method thereof, and program | |
CN103597440A (en) | Method for creating clone file, and file system adopting the same | |
US20190188309A1 (en) | Tracking changes in mirrored databases | |
WO2016166844A1 (en) | Distributed processing system, task processing method, and storage medium | |
US20170220586A1 (en) | Assign placement policy to segment set | |
JP2017062636A (en) | Storage device and storage control program | |
JP2014044553A (en) | Program, information processing device, and information processing system | |
JP2020173727A (en) | Storage management device, information system, and storage management method | |
WO2015125271A1 (en) | File server, method of controlling same, and storage system | |
CN112334891A (en) | Centralized storage for search servers | |
US11640343B2 (en) | Method for migrating data in a raid system having a protection pool of storage units | |
WO2017156855A1 (en) | Database systems with re-ordered replicas and methods of accessing and backing up databases | |
JP6033420B2 (en) | Storage system and storage system control method | |
JP2008186141A (en) | Data management method, data management program, data management system and configuration management device | |
US11188258B2 (en) | Distributed storage system | |
Yang et al. | D^ 2PS: a dependable data provisioning service in multi-tenant cloud environment | |
WO2020016650A2 (en) | Storing a point in time coherently for a distributed storage system | |
US11733922B2 (en) | Method for data reconstruction in a RAID system having a protection pool of storage units | |
US11748016B2 (en) | Method for adding disks in a raid system having a protection pool of storage units |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091014 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120214 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120821 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130108 |