JP5997668B2 - Data division controller - Google Patents
Data division controller Download PDFInfo
- Publication number
- JP5997668B2 JP5997668B2 JP2013170135A JP2013170135A JP5997668B2 JP 5997668 B2 JP5997668 B2 JP 5997668B2 JP 2013170135 A JP2013170135 A JP 2013170135A JP 2013170135 A JP2013170135 A JP 2013170135A JP 5997668 B2 JP5997668 B2 JP 5997668B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- time
- processing
- control device
- division
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 claims description 300
- 230000010354 integration Effects 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 19
- 238000005259 measurement Methods 0.000 claims description 9
- 238000000638 solvent extraction Methods 0.000 claims 3
- 230000006870 function Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 230000002776 aggregation Effects 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000013523 data management Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、分散データベースにデータを分割または統合して格納する技術に関する。 The present invention relates to a technique for storing data in a distributed database by dividing or integrating the data.
ネットワーク上に分散して配置される複数のサーバを論理的に連結させて、あたかも１台のサーバのように見せる技術を用いたクラスタシステムが知られている。このクラスタシステムは、データに関しては分散データベースとして各サーバにデータを分割して配置させ、スケーラビリティを向上させることができる。 2. Description of the Related Art A cluster system using a technique in which a plurality of servers distributed on a network are logically connected to make it appear as if it is a single server is known. In this cluster system, data can be divided and arranged on each server as a distributed database, and scalability can be improved.
例えば、１つの非常に大きなデータをそのまま１台のサーバに格納する場合、当該サーバのメモリを圧迫してしまう状態が発生する。これを回避するため、非特許文献１に記載の分散データベースＢｉｇＴａｂｌｅが基盤とする分散ファイルシステムのＧＦＳ（Global File System）においては、１つの大きなデータを、適当な固定サイズのＣｈｕｎｋに分割し、複数のサーバに格納する方法が採られている。この方法では、固定サイズのＣｈｕｎｋが分散して各サーバに格納されるため、１台当りのサーバのメモリへの圧迫の度合いは小さくなる。
For example, when one very large piece of data is stored as it is in one server, a state in which the memory of the server is compressed occurs. In order to avoid this, in the GFS (Global File System) of the distributed file system based on the distributed database BigTable described in Non-Patent
基本的に、分散データベースに格納されているデータに対するデータ処理は、分散ロック等によってロック処理が行われた後に実行されることで、トランザクション性を維持している。したがって、分割されたデータ全体に係わる更新等の処理を実行する場合、当該データ全体は、分散ロック等によってロックされることになる。 Basically, data processing for data stored in the distributed database is executed after lock processing is performed by distributed lock or the like, thereby maintaining transactionality. Therefore, when processing such as updating related to the entire divided data is executed, the entire data is locked by a distributed lock or the like.
非特許文献１に記載の固定サイズのＣｈｕｎｋを用いる方法では、そのサイズを小さくし過ぎると、非常に多くのサーバに分散してデータが配置されることになる。データが非常に多くのサーバに分散配置された場合、分散ロックに掛かる時間が肥大化し、分割数が少ない場合よりも、かえってトランザクション処理に掛かる時間が大きくなるという虞がある。なお、トランザクション処理に掛かる時間とは、分散ロックに掛かる時間とデータ処理に係る時間との合計である。
In the method using a fixed-size Chunk described in
そこで、本発明は、トランザクション処理に掛かる時間を低減するように、データの分割の仕方を自動的に決める技術を提供することを課題とする。 Therefore, an object of the present invention is to provide a technique for automatically determining how to divide data so as to reduce the time required for transaction processing.
本発明のデータ分割制御装置は、データベースに分割または統合して格納されるデータに対してデータ処理する複数のデータ分割制御装置を含むデータ分割制御システムにおけるデータ分割制御装置であって、前記データベースが記憶される記憶部と、前記データ処理の要求を、端末または他のデータ分割制御装置から受信した場合、前記データ分割制御システム内に分散して格納されたデータのロックに掛かる時間を示すロック時間と、前記データ処理に掛かる時間を示すデータ処理時間とを計測し、所定期間内の計測値を集計する処理時間計測部と、前記集計したロック時間およびデータ処理時間に基づいて、当該データ処理の対象となったデータに対して分割するか否かまたは統合するか否かを判定する分割統合処理部とを備え、前記分割統合処理部は、前記集計したロック時間と前記集計したデータ処理時間との合計値および前記集計したロック時間を前記合計値で除算した比に基づいて、前記データ処理の対象となったデータに対して分割するか否かまたは統合するか否かを判定し、今回の所定期間内の前記合計値が前回の所定期間内の前記合計値より小さく、かつ前記比が第１の閾値より小さい場合、前記データを分割すると判定することを特徴とする。 A data division control device according to the present invention is a data division control device in a data division control system including a plurality of data division control devices that process data for data stored by being divided or integrated into a database , wherein the database a storage unit stored, a request for pre Kide over data processing, when receiving from a terminal or other data division control device, the time required for locking of the data stored across a said data division control system A lock time and a data processing time indicating the time required for the data processing, and a processing time measuring unit that counts measurement values within a predetermined period, and based on the calculated lock time and data processing time, and a determining segmentation-concatenation processor unit whether to whether or integrated split for the data as the object of data processing, the The split integration processing unit adds the data to the data processing target based on a total value of the totaled lock time and the totaled data processing time and a ratio obtained by dividing the totaled lock time by the total value. Whether to divide or integrate, the total value in the current predetermined period is smaller than the total value in the previous predetermined period, and the ratio is smaller than the first threshold The data is determined to be divided .
このような構成によれば、データ分割制御装置は、所定期間内で集計したロック時間およびデータ処理時間に基づいて、データ処理の対象となったデータに対して分割するか否かまたは統合するか否かを判定することができる。なお、データの分割数が増加するに従って、ロック時間は増加し、データ処理時間は減少する。つまり、データの分割数に対して、ロック時間とデータ処理時間とはトレードオフの関係にある。したがって、データ分割制御装置は、所定期間内で集計したロック時間およびデータ処理時間に基づいて、トランザクション処理に掛かる時間を低減するように、データの分割の仕方を自動的に決めることができる。 According to such a configuration, the data division control device determines whether or not to divide or integrate the data subjected to data processing based on the lock time and data processing time counted within a predetermined period. It can be determined whether or not. As the number of data divisions increases, the lock time increases and the data processing time decreases. That is, the lock time and the data processing time are in a trade-off relationship with respect to the number of data divisions. Therefore, the data division control device can automatically determine how to divide data so as to reduce the time required for transaction processing based on the lock time and data processing time accumulated within a predetermined period.
また、前記分割統合処理部は、分割されているデータの双方が、今回の所定期間内の前記合計値が前回の所定期間内の前記合計値より大きく、かつ前記比が前記第１の閾値よりも大きな第２の閾値より大きい場合、当該分割されているデータ同士を統合すると判定することを特徴とする。 Further, the division integration processing unit is configured so that both of the divided data are such that the total value in the current predetermined period is greater than the total value in the previous predetermined period, and the ratio is greater than the first threshold value. Is larger than the second threshold value, it is determined that the divided data are integrated.
このような構成によれば、データ分割制御装置の分割統合処理部は、今回の所定期間内の合計値と前回の所定期間内の合計値との大小関係、および集計したロック時間を前記合計値で除算した比と所定の閾値との大小関係を比較することによって、データの分割または統合を判定する。したがって、データ分割制御装置は、トランザクション処理に掛かる時間を低減するように、データの分割の仕方を自動的に決めることができる。 According to such a configuration, the division integration processing unit of the data division control device calculates the magnitude relationship between the total value in the current predetermined period and the total value in the previous predetermined period, and the total lock time as the total value. The division or integration of data is determined by comparing the magnitude relationship between the ratio obtained by dividing by a predetermined threshold value. Therefore, the data division control device can automatically determine how to divide the data so as to reduce the time required for transaction processing.
また、前記集計したロック時間および前記集計したデータ処理時間それぞれは、前記所定期間内の計測値の平均値であることを特徴とする。 Each of the totaled lock time and the totalized data processing time is an average value of measured values within the predetermined period.
このような構成によれば、データ分割制御装置は、計測値の平均値を用いて、手動でなく、データの分割の仕方を自動的に決めることができる。 According to such a configuration, the data division control device can automatically determine how to divide data instead of manually using the average value of the measurement values.
本発明によれば、トランザクション処理に掛かる時間を低減するように、データの分割の仕方を自動的に決めることができる。 According to the present invention, it is possible to automatically determine how to divide data so as to reduce the time required for transaction processing.
本発明を実施するための形態（以降、「本実施形態」と称す。）について、適宜図面を参照しながら詳細に説明する。 A mode for carrying out the present invention (hereinafter referred to as “the present embodiment”) will be described in detail with reference to the drawings as appropriate.
（データ分割制御装置）
はじめに、データ分割制御装置１を含むデータ分割制御システム１００の構成例について、図１を用いて説明する。
データ分割制御システム１００は、図１に示すように、データ分割制御装置１，１ａ，１ｂ，１ｃをクラスタ構成として備えている。なお、図１中に示すデータ分割制御装置１ａ，１ｂ，１ｃの機能は、データ分割制御装置１の機能と同様である。また、図１では、データ分割制御装置１，１ａ，１ｂ，１ｃを４台記載しているが、４台に限られることはない。データ分割制御装置１，１ａ，１ｂ，１ｃは、ネットワーク２ａを介して通信可能に接続されている。また、ユーザの操作する端末３は、ネットワーク２ｂを介して、データ分割制御システム１００にデータ処理（例えば、格納、参照、更新）等の要求を送信し、データ分割制御システム１００から要求に対応する応答情報（例えば、データ処理結果）を受信する。
(Data division controller)
First, a configuration example of a data division control system 100 including the data
As shown in FIG. 1, the data division control system 100 includes data
（データ分割制御装置）
次に、データ分割制御装置１の機能例について、図１を用いて説明する。
データ分割制御装置１は、処理部１１、記憶部１２および通信部１３を備える。処理部１１は、図示しないＣＰＵ（Central Processing Unit）およびメインメモリによって構成され、記憶部１２に記憶されているアプリケーションプログラムをメインメモリに展開して、リクエスト処理部１１１、処理時間計測部１１２、分割統合処理部１１３およびデータ管理部１１４を具現化している。
(Data division controller)
Next, an example of functions of the data
The data
リクエスト処理部１１１は、端末３からデータ処理等の要求を受信し、記憶部１２に格納されているデータベースのデータを処理し、その要求に対応する応答情報を、端末３に送信する機能を有する。また、リクエスト処理部１１１は、受信した要求の対象となるデータを格納しているいずれかのデータ分割制御装置１ａ，１ｂ，１ｃに、その要求を転送する機能を有する。なお、受信した要求の対象となるデータを格納するデータ分割制御装置１，１ａ，１ｂ，１ｃは、例えば、Consistent Hashing等の分散アルゴリズムを用いて決めることができる。また、リクエスト処理部１１１は、データ分割制御システム１００内に分散して格納されたデータの可用性とシステムとしての一貫性を保つための分散ロックを実行する機能を有する。
The request processing unit 111 has a function of receiving a request for data processing or the like from the terminal 3, processing data in the database stored in the storage unit 12, and transmitting response information corresponding to the request to the terminal 3. . In addition, the request processing unit 111 has a function of transferring the request to any of the data
処理時間計測部１１２は、データ処理時に、分散ロックに掛かる時間（以降、ロック時間と称す。）と、データ処理に掛かる時間（以降、データ処理時間と称す。）とを計測して記録し、所定の周期（一定周期の場合を含む）で統計的に集計して、集計したロック時間およびデータ処理時間を算出する機能を有する。このとき、所定の周期内で集計された回数Ｎも算出される。なお、集計したロック時間およびデータ処理時間それぞれは、一例として、所定の周期（所定期間）内の計測値の平均値である。
The processing
分割統合処理部１１３は、処理時間計測部１１２によって集計されたロック時間およびデータ処理時間に基づいて、データに対して分割するか否かまたは統合するか否かを判定し、分割または統合の処理を実行する機能を有する。なお、分割統合処理部１１３の処理の詳細については後記する。
The division
データ管理部１１４は、分割統合処理部１１３の分割または統合の処理に応じて、記憶部１２に記憶されている不図示のデータベースのデータの管理（登録、読み出し、更新、削除等）を実行する機能を有する。データ管理部１１４は、不図示のデータベースのデータを、キーと、それに紐付く先頭アドレス、カラム、タグ等の情報によって管理する。
The
記憶部１２は、ハードディスク等の記憶装置であり、分割情報１２１、処理時間情報１２２および不図示のデータベースのデータが記憶される。
分割情報１２１には、キー（データの識別情報）と、当該データが分割後の情報である場合には、分割後のデータの格納場所と、分割後のデータの先頭が元データの何（Ｂｙｔｅ）目に位置しているかに関する先頭アドレス（先頭情報）と、が記憶される。分割情報１２１の詳細については後記する。
処理時間情報１２２には、処理時間計測部１１２によって計測されたロック時間およびデータ処理時間が記録（記憶）される。
The storage unit 12 is a storage device such as a hard disk, and stores
The
The
ここで、分割情報１２１の一例を図２（ａ）に示す。
図２（ａ）では、キーａが付されたデータの分割状態を木構造で表している。キーａを根ノードとして、キーａ０，ａ１は兄弟ノードである。また、キーａ１０，ａ１１は、キーａ１を親ノードとする兄弟ノードである。
Here, an example of the
In FIG. 2A, the division state of the data to which the key a is attached is represented by a tree structure. Key a is a root node, and keys a0 and a1 are sibling nodes. Keys a10 and a11 are sibling nodes having key a1 as a parent node.
キーａ０は、キーａと同じデータ分割制御装置１の記憶部１２に記憶される。また、キーａ１は、格納場所がデータ分割制御装置１ｂであり、先頭アドレスがキーａのデータのｓ（Ｂｙｔｅ）目からの情報であることが付されている。キーａ１０は、キーａ１と同じデータ分割制御装置１ｂの記憶部１２に記憶される。そして、キーａ１１は、格納場所がデータ分割制御装置１ｃであり、先頭アドレスがキーａのｔ（Ｂｙｔｅ）目からの情報であることが付されている。したがって、データ分割制御装置１は、分割情報１２１を参照して、キーに基づいて、分割されたデータに係る情報を取得することができる。
The key a0 is stored in the storage unit 12 of the same data
次に、処理時間情報１２２の一例を、図２（ｂ）に示す。
図２（ｂ）に示すように、処理時間情報１２２は、キーごとに、Ｎｏ．、計測されたロック時間およびデータ処理時間の記録を記憶している。ここで、Ｎｏ．は、処理時間計測部１１２によって付される管理番号を表す。処理時間計測部１１２は、所定の周期で処理時間情報１２２を参照して、記録されたロック時間およびデータ処理時間を取得して、統計的な算出処理を実行し、その算出処理の実行後には、算出処理に用いた記録を削除する。
Next, an example of the
As shown in FIG. 2B, the
（データ分割制御システムの処理フロー）
次に、データ分割制御システム１００の処理フロー例について、図３を用いて説明する（適宜、図１、図２（ａ）（ｂ）参照）。
図３は、データ分割制御装置１が、データ分割制御装置１ａを介してデータ処理の要求を受信したり、端末３からデータ処理の要求を受信したりして、ロック時間およびデータ処理時間を計測し、計測したロック時間およびデータ処理時間に対して統計的な算出処理を実行し、データの分割判定を行って、分割処理を実行するまでの処理フロー例を表している。なお、データ分割制御装置１がキーａのデータを格納しているものとする。
(Processing flow of the data division control system)
Next, an example of the processing flow of the data division control system 100 will be described with reference to FIG. 3 (see FIGS. 1 and 2A and 2B as appropriate).
In FIG. 3, the data
ステップＳ３０１では、データ分割制御装置１ａのリクエスト処理部１１１は、端末３等からキーａのデータに対するデータ処理の要求を受信する。
ステップＳ３０２では、データ分割制御装置１ａのリクエスト処理部１１１は、クラスタ構成機能によってキーａに対する要求を解析し、当該要求の対象となるキーａのデータを格納しているデータ分割制御装置１に当該要求を転送する。
In step S301, the request processing unit 111 of the data division control device 1a receives a data processing request for the data of the key a from the terminal 3 or the like.
In step S302, the request processing unit 111 of the data division control device 1a analyzes the request for the key a by the cluster configuration function, and sends the data
ステップＳ３０３では、データ分割制御装置１のリクエスト処理部１１１は、要求を受信し、分散ロックの処理および受信した要求に対応するデータ処理を実行する。
ステップＳ３０４では、データ分割制御装置１の処理時間計測部１１２は、ロック時間とデータ処理時間とを計測し、計測したロック時間およびデータ処理時間をデータ分割制御装置１の記憶部１２の処理時間情報１２２に記録（記憶）する。
In step S303, the request processing unit 111 of the data
In step S304, the processing
ステップＳ３０５では、データ分割制御装置１のリクエスト処理部１１１は、データ処理結果を示す応答情報を、要求を送信してきた端末３に送信する（図３では「端末へ応答送信」と記載）。
ステップＳ３０５とステップＳ３０７との間の二重波線は、時間経過の省略を表している。
In step S305, the request processing unit 111 of the data
A double wavy line between step S305 and step S307 represents omission of time.
ステップＳ３０７では、データ分割制御装置１のリクエスト処理部１１１は、端末３からキーａのデータに対するデータ処理の要求を受信する。
ステップＳ３０８では、データ分割制御装置１のリクエスト処理部１１１は、要求を受信し、分散ロックの処理および受信した要求に対応するデータ処理を実行する。
In step S307, the request processing unit 111 of the data
In step S308, the request processing unit 111 of the data
ステップＳ３０９では、データ分割制御装置１の処理時間計測部１１２は、ロック時間とデータ処理時間とを計測し、計測したロック時間およびデータ処理時間をデータ分割制御装置１の記憶部１２の処理時間情報１２２に記録（記憶）する。
ステップＳ３１０では、データ分割制御装置１のリクエスト処理部１１１は、データ処理結果を示す応答情報を、要求を送信してきた端末３に送信する。
In step S309, the processing
In step S310, the request processing unit 111 of the data
ステップＳ３１１では、データ分割制御装置１の処理時間計測部１１２は、処理時間情報１２２を参照して、記録されたロック時間およびデータ処理時間を取得し、ロック時間およびデータ処理時間を集計する。具体的には、データ分割制御装置１の処理時間計測部１１２は、統計的な算出処理により、キーａのデータに係るロック時間およびデータ処理時間それぞれの平均時間を算出する。
In step S311, the processing
ステップＳ３１２では、データ分割制御装置１の分割統合処理部１１３は、処理時間計測部１１２によって統計的に算出されたロック時間およびデータ処理時間（集計されたロック時間および集計されたデータ処理時間）に基づいて、分割判定を実行する。分割判定とは、分割するか否かの判定を行うことである。
具体的には、ロック時間の平均時間をＴＬ、データ処理時間の平均時間をＴＤとすると、分割統合処理部１１３は、まず、トランザクション処理の平均総処理時間（合計値）Ｔ＝ＴＬ＋ＴＤを演算し、その演算値をキーａに紐付けて記憶する。次に、分割統合処理部１１３は、今回の所定期間の平均総処理時間Ｔが前回の所定期間の平均総処理時間Ｔｐより小さく、かつＴＬを（ＴＬ＋ＴＤ）で除算した比ＴＬ／（ＴＬ＋ＴＤ）が予め設定された分割閾値（第１の閾値）Ｋよりも小さい場合、キーａのデータを分割すると判定する。
In step S312, the division
Specifically, assuming that the average time of the lock time is TL and the average time of the data processing time is TD, the division
ここで、集計されたロック時間と集計されたデータ処理時間とを用いて、分割判定を行う理由について、図６を用いて説明する。
図６に示すように、一般的に、ロック時間は、データの分割数が増加するに従って大きくなる。また、データ処理時間は、データの分割数が増加するに従って並列処理の割合が増加するので減少し、分割数が大きくなり過ぎると、データサイズがデータ処理単位より小さくなるため減少しなくなる。そこで、データの分割数に対して、データ処理時間とロック時間とがトレードオフの関係にあるので、平均総処理時間Ｔの変化およびＴＬ／（ＴＬ＋ＴＤ）の変化をデータの分割および統合の判定に用いることにする。
Here, the reason why the division determination is performed using the totaled lock time and the total data processing time will be described with reference to FIG.
As shown in FIG. 6, the lock time generally increases as the number of data divisions increases. Further, the data processing time decreases as the number of data divisions increases as the ratio of parallel processing increases, and if the number of divisions increases too much, the data size does not decrease because the data size becomes smaller than the data processing unit. Therefore, since the data processing time and the lock time are in a trade-off relationship with respect to the number of data divisions, the change in the average total processing time T and the change in TL / (TL + TD) are used to determine the data division and integration. I will use it.
図３に戻って、ステップＳ３１３では、データ分割制御装置１の分割統合処理部１１３は、キーａのデータを分割すると判定した場合、キーａのデータをキーａ０のデータおよびキーａ１のデータに分割する分割処理を実行する。
ステップＳ３１４では、データ分割制御装置１の分割統合処理部１１３は、ステップＳ３１３において分割したキーａ１のデータを、クラスタ構成のデータ分割制御装置１ｂに送信する。なお、キーａ０のデータは、そのままデータ分割制御装置１に格納される。
Returning to FIG. 3, in step S313, when the division
In step S314, the division
ステップＳ３１５では、データ分割制御装置１の分割統合処理部１１３は、キーａ０について分割情報１２１を更新する。また、データ分割制御装置１の分割統合処理部１１３は、キーａ１に対して、格納場所および先頭アドレスを付与して、分割情報１２１を更新する。
In step S315, the division
（データをさらに分割する場合の処理フロー）
次に、本実施形態のデータ分割制御システム１００において、分割したキーａ１のデータをさらに分割する場合の処理フロー例について、図４を用いて説明する（適宜、図１、図２（ａ）（ｂ）参照）。
まず、図４に示すデータ分割制御システム１００におけるデータの所在状況について説明する。図２（ａ）の分割情報１２１に示されているように、データ分割制御装置１にはキーａ０のデータが格納され、データ分割制御装置１ｂには、キーａ１のデータが格納されているものとする。
(Processing flow when further dividing data)
Next, in the data division control system 100 of this embodiment, an example of a processing flow when the data of the divided key a1 is further divided will be described with reference to FIG. 4 (FIGS. 1 and 2 (a) (appropriately). b)).
First, the location of data in the data division control system 100 shown in FIG. 4 will be described. As shown in the
ステップＳ４０１では、データ分割制御装置１のリクエスト処理部１１１は、キーａのデータに対するデータ処理の要求を受信したとき、データ分割制御装置１の分割情報１２１を参照して、キーａ１のデータの格納場所を取得し、キーａ１のデータを格納しているデータ分割制御装置１ｂに、キーａ１のデータに対するデータ処理の要求を送信する。そして、データ分割制御装置１ｂのリクエスト処理部１１１は、キーａ１のデータに対するデータ処理の要求を受信する。
In step S401, when the request processing unit 111 of the data
ステップＳ４０２では、データ分割制御装置１のリクエスト処理部１１１は、キーａ０のデータに対する分散ロックの処理およびデータ処理を実行する。
ステップＳ４０３では、データ分割制御装置１の処理時間計測部１１２は、キーａ０のデータに係るロック時間とデータ処理時間とを計測し、計測したロック時間およびデータ処理時間をデータ分割制御装置１の記憶部１２の処理時間情報１２２に記録（記憶）する。
In step S402, the request processing unit 111 of the data
In step S403, the processing
ステップＳ４０４では、データ分割制御装置１ｂのリクエスト処理部１１１は、キーａ１のデータに対する分散ロックの処理およびデータ処理を実行する。
ステップＳ４０５では、データ分割制御装置１ｂの処理時間計測部１１２は、キーａ１のデータに係るロック時間とデータ処理時間とを計測し、計測したロック時間およびデータ処理時間をデータ分割制御装置１ｂの記憶部１２の処理時間情報１２２に記録（記憶）する。
In step S404, the request processing unit 111 of the data division control device 1b executes distributed lock processing and data processing for the data of the key a1.
In step S405, the processing
ステップＳ４０６では、データ分割制御装置１ｂのリクエスト処理部１１１は、キーａ１に対する処理データをデータ分割制御装置１に送信する。そして、データ分割制御装置１のリクエスト処理部１１１は、キーａ１に対する処理データを受信する。
ステップＳ４０６とステップＳ４０７との期間には、ステップＳ４０１〜Ｓ４０６の処理が繰り返し実行されるものとする。
In step S406, the request processing unit 111 of the data division control device 1b transmits processing data for the key a1 to the data
It is assumed that the processes of steps S401 to S406 are repeatedly executed during the period between step S406 and step S407.
ステップＳ４０７では、データ分割制御装置１の処理時間計測部１１２は、データ分割制御装置１の処理時間情報１２２を参照して、記録されたロック時間およびデータ処理時間を取得し、キーａ０のデータに係るロック時間およびデータ処理時間を集計する。具体的には、データ分割制御装置１の処理時間計測部１１２は、統計的な算出処理により、キーａ０のデータに係るロック時間およびデータ処理時間それぞれの平均時間を算出する。
In step S407, the processing
ステップＳ４０８では、データ分割制御装置１の処理時間計測部１１２は、集計結果をデータ分割制御装置１の分割統合処理部１１３に送信する。集計結果とは、ステップＳ４０７において算出されたキーａ０のデータに係るロック時間およびデータ処理時間それぞれの平均時間である。
In step S <b> 408, the processing
ステップＳ４０９では、データ分割制御装置１ｂの処理時間計測部１１２は、データ分割制御装置１ｂの処理時間情報１２２を参照して、記録されたロック時間およびデータ処理時間を取得し、キーａ１のデータに係るロック時間およびデータ処理時間を集計する。具体的には、データ分割制御装置１ｂの処理時間計測部１１２は、統計的な算出処理により、キーａ１のデータに係るロック時間およびデータ処理時間それぞれの平均時間を算出する。
In step S409, the processing
ステップＳ４１０では、データ分割制御装置１ｂの処理時間計測部１１２は、集計結果をデータ分割制御装置１の分割統合処理部１１３に送信する。集計結果とは、ステップＳ４０９において算出されたキーａ１のデータに係るロック時間およびデータ処理時間それぞれの平均時間である。
In step S410, the processing
ステップＳ４１１では、データ分割制御装置１の分割統合処理部１１３は、受信したキーａ１のデータに係るロック時間およびデータ処理時間に基づいて分割判定を実行する。
具体的には、キーａ１のデータに係るロック時間の平均時間をＴＬ（ａ１）とし、キーａ１のデータに係るデータ処理時間の平均時間をＴＤ（ａ１）とすると、データ分割制御装置１の分割統合処理部１１３は、まず、トランザクション処理の平均総処理時間（合計値）Ｔ（ａ１）＝ＴＬ（ａ１）＋ＴＤ（ａ１）を演算し、その演算値をキーａ１に紐付けて記憶する。次に、分割統合処理部１１３は、今回の所定期間の平均総処理時間Ｔ（ａ１）が前回の所定期間の平均総処理時間Ｔｐ（ａ１）より小さく、かつＴＬ（ａ１）を（ＴＬ（ａ１）＋ＴＤ（ａ１））で除算した比ＴＬ（ａ１）／（ＴＬ（ａ１）＋ＴＤ（ａ１））が予め設定された分割閾値（第１の閾値）Ｋよりも小さいか否かを判定する。そして、データ分割制御装置１の分割統合処理部１１３は、比ＴＬ（ａ１）／（ＴＬ（ａ１）＋ＴＤ（ａ１））が分割閾値Ｋより小さい場合、キーａ１のデータを分割すると判定する。ここで、分割閾値Ｋは、分割が進みすぎることを防止するために設定される値である。
分割すると判定する条件を下記に示す。
Ｔ（ａ１）＜Ｔｐ（ａ１） かつＴＬ（ａ１）／（ＴＬ（ａ１）＋ＴＤ（ａ１））＜Ｋ
In step S411, the division
Specifically, when the average time of the lock time related to the data of the key a1 is TL (a1) and the average time of the data processing time related to the data of the key a1 is TD (a1), the division of the data
The conditions for determining to be divided are shown below.
T (a1) <Tp (a1) and TL (a1) / (TL (a1) + TD (a1)) <K
ステップＳ４１２では、データ分割制御装置１の分割統合処理部１１３は、キーａ１のデータを分割すると判定した場合、データ分割制御装置１ｂに対して、キーａ１のデータの分割指示を示す分割指示情報を送信する。分割指示情報には、分割後のキーａ１１のデータの格納場所および先頭アドレスが含まれている。
ステップＳ４１３では、データ分割制御装置１の分割統合処理部１１３は、キーａ１１に対して、格納場所および先頭アドレスを付与して、データ分割制御装置１の記憶部１２の分割情報１２１を更新する。
In step S412, when the division
In step S413, the division
ステップＳ４１４では、データ分割制御装置１ｂの分割統合処理部１１３は、受信した分割指示情報に基づいて、キーａ１のデータをキーａ１０のデータおよびキーａ１１のデータに分割する分割処理を実行する。
ステップＳ４１５では、データ分割制御装置１ｂの分割統合処理部１１３は、分割したキーａ１１のデータを、クラスタ構成のデータ分割制御装置１ｃに送信する。なお、キーａ１０のデータは、そのままデータ分割制御装置１ｂに格納される。
In step S414, the division
In step S415, the division
（データを統合する場合の処理フロー）
次に、本実施形態のデータ分割制御システム１００において、分割したデータを統合する場合の処理フロー例について、図５を用いて説明する（適宜、図１、図２（ａ）（ｂ）参照）。
まず、図５に示すデータ分割制御システム１００におけるデータの所在状況について説明する。図２（ａ）の分割情報１２１に示されるように、データ分割制御装置１にはキーａ０のデータが格納され、データ分割制御装置１ｂにはキーａ１０のデータが格納され、データ分割制御装置１ｃにはキーａ１１のデータが格納されているものとする。そして、図５では、キーａ１０のデータとキーａ１１のデータとを統合する処理について説明する。
(Processing flow when integrating data)
Next, in the data division control system 100 of the present embodiment, an example of a processing flow in the case of integrating divided data will be described with reference to FIG. 5 (refer to FIGS. 1, 2A and 2B as appropriate). .
First, the data location status in the data division control system 100 shown in FIG. 5 will be described. As shown in the
ステップＳ５０１では、データ分割制御装置１のリクエスト処理部１１１は、キーａのデータに対するデータ処理の要求を受信したとき、データ分割制御装置１の分割情報１２１を参照して、キーａ１０，ａ１１のデータの格納場所を取得し、キーａ１０のデータを格納しているデータ分割制御装置１ｂにキーａ１０のデータに対するデータ処理の要求を送信し、キーａ１１のデータを格納しているデータ分割制御装置１ｃにキーａ１１のデータに対するデータ処理の要求を送信する。そして、データ分割制御装置１ｂのリクエスト処理部１１１は、キーａ１０のデータに対するデータ処理の要求を受信する。また、データ分割制御装置１ｃのリクエスト処理部１１１は、キーａ１１のデータに対するデータ処理の要求を受信する。
ステップＳ５０２では、データ分割制御装置１のリクエスト処理部１１１は、キーａ０のデータに対する分散ロックの処理およびデータ処理を実行する。
In step S501, when the request processing unit 111 of the data
In step S502, the request processing unit 111 of the data
ステップＳ５０３では、データ分割制御装置１ｂのリクエスト処理部１１１は、キーａ１０のデータに対する分散ロックの処理およびデータ処理を実行する。
ステップＳ５０４では、データ分割制御装置１ｂの処理時間計測部１１２は、キーａ１０のデータに係るロック時間とデータ処理時間とを計測し、計測したロック時間およびデータ処理時間をデータ分割制御装置１ｂの記憶部１２の処理時間情報１２２に記録（記憶）する。
In step S503, the request processing unit 111 of the data division control device 1b executes distributed lock processing and data processing for the data of the key a10.
In step S504, the processing
ステップＳ５０５では、データ分割制御装置１ｃのリクエスト処理部１１１は、キーａ１１のデータに対する分散ロックの処理およびデータ処理を実行する。
ステップＳ５０６では、データ分割制御装置１ｃの処理時間計測部１１２は、キーａ１１のデータに係るロック時間とデータ処理時間とを計測し、計測したロック時間およびデータ処理時間をデータ分割制御装置１ｃの記憶部１２の処理時間情報１２２に記録（記憶）する。
In step S505, the request processing unit 111 of the data
In step S506, the processing
ステップＳ５０７では、データ分割制御装置１ｂのリクエスト処理部１１１は、キーａ１０に対する処理データをデータ分割制御装置１に送信する。また、データ分割制御装置１ｃのリクエスト処理部１１１は、キーａ１１に対する処理データをデータ分割制御装置１に送信する。そして、データ分割制御装置１のリクエスト処理部１１１は、キーａ１０，ａ１１に対する処理データを受信する。
In step S507, the request processing unit 111 of the data division control device 1b transmits the processing data for the key a10 to the data
ステップＳ５０７とステップＳ５０８との期間には、ステップＳ５０１〜Ｓ５０７の処理が繰り返し実行されるものとする。
そして、ステップＳ５０８では、データ分割制御装置１ｂの処理時間計測部１１２は、データ分割制御装置１ｂの処理時間情報１２２を参照して、記録されたロック時間およびデータ処理時間を取得し、キーａ１０のデータに係るロック時間およびデータ処理時間を集計する。具体的には、データ分割制御装置１ｂの処理時間計測部１１２は、統計的な算出処理により、キーａ１０のデータに係るロック時間およびデータ処理時間それぞれの平均時間を算出する。
It is assumed that the processing of steps S501 to S507 is repeatedly executed during the period between step S507 and step S508.
In step S508, the processing
ステップＳ５０９では、データ分割制御装置１ｃの処理時間計測部１１２は、データ分割制御装置１ｃの処理時間情報１２２を参照して、記録されたロック時間およびデータ処理時間を読み出して、キーａ１１のデータに係るロック時間およびデータ処理時間を集計する。具体的には、データ分割制御装置１ｃの処理時間計測部１１２は、統計的な算出処理により、キーａ１１のデータに係るロック時間およびデータ処理時間それぞれの平均時間を算出する。
In step S509, the processing
ステップＳ５１０では、データ分割制御装置１ｂおよびデータ分割制御装置１ｃの処理時間計測部１１２それぞれは、集計結果をデータ分割制御装置１に送信する。集計結果とは、ステップＳ５０８において算出したキーａ１０のデータに係るロック時間およびデータ処理時間それぞれの平均時間、および、ステップＳ５０９において算出したキーａ１０のデータに係るロック時間およびデータ処理時間それぞれの平均時間である。
In step S510, each of the processing
ステップＳ５１１では、データ分割制御装置１の分割統合処理部１１３は、受信したキーａ１０，ａ１１のデータに係るロック時間およびデータ処理時間に基づいて統合判定を実行する。
具体的には、キーａ１０のデータに係るロック時間の平均時間をＴＬ（ａ１０）とし、キーａ１０のデータに係るデータ処理時間の平均時間をＴＤ（ａ１０）とすると、データ分割制御装置１の分割統合処理部１１３は、まず、トランザクション処理の平均総処理時間（合計値）Ｔ（ａ１０）＝ＴＬ（ａ１０）＋ＴＤ（ａ１０）を演算し、その演算値をキーａ１０に紐付けて記憶する。次に、分割統合処理部１１３は、今回の所定期間の平均総処理時間Ｔ（ａ１０）が前回の所定期間の平均総処理時間Ｔｐ（ａ１０）より大きく、かつＴＬ（ａ１０）を（ＴＬ（ａ１０）＋ＴＤ（ａ１０））で除算した比ＴＬ（ａ１０）／（ＴＬ（ａ１０）＋ＴＤ（ａ１０））が予め設定された統合閾値（第２の閾値）Ｃよりも大きいか否かを判定する。ここで、統合閾値Ｃは、統合が進みすぎることを防止するために設定される値である。また、キーａ１１のデータに係るロック時間の平均時間をＴＬ（ａ１１）とし、キーａ１１のデータに係るデータ処理時間の平均時間をＴＤ（ａ１１）とすると、データ分割制御装置１の分割統合処理部１１３は、まず、トランザクション処理の平均総処理時間（合計値）Ｔ（ａ１１）＝ＴＬ（ａ１１）＋ＴＤ（ａ１１）を演算し、その演算値をキーａ１１に紐付けて記憶する。次に、分割統合処理部１１３は、今回の所定期間の平均総処理時間Ｔ（ａ１１）が前回の所定期間の平均総処理時間Ｔｐ（ａ１１）より大きく、かつＴＬ（ａ１１）を（ＴＬ（ａ１１）＋ＴＤ（ａ１１））で除算した比ＴＬ（ａ１１）／（ＴＬ（ａ１１）＋ＴＤ（ａ１１））が予め設定された統合閾値（第２の閾値）Ｃよりも大きいか否かを判定する。そして、データ分割制御装置１の分割統合処理部１１３は、今回の所定期間の平均総処理時間Ｔ（ａ１０）が前回の所定期間の平均総処理時間Ｔｐ（ａ１０）より大きく、かつＴＬ（ａ１０）／（ＴＬ（ａ１０）＋ＴＤ（ａ１０））が統合閾値Ｃより大きく、さらに、今回の所定期間の平均総処理時間Ｔ（ａ１１）が前回の所定期間の平均総処理時間Ｔｐ（ａ１１）より大きく、かつＴＬ（ａ１１）／（ＴＬ（ａ１１）＋ＴＤ（ａ１１））が統合閾値Ｃより大きい場合、キーａ１０のデータにキーａ１１のデータを統合すると判定する。なお、図２（ａ）に示すように、キーａ１０とキーａ１１とは兄弟ノードとなる葉であるので統合すると判定される。しかし、一方のデータが葉ではなく、節である場合には、統合しないと判定される。このとき、統合後のキーａ１の平均総処理時間Ｔ（ａ１）は、（Ｔ（ａ１０）Ｎ（ａ１０）＋Ｔ（ａ１１）Ｎ（ａ１１））／（Ｎ（ａ１０）＋Ｎ（ａ１１））を算出して求められ、その算出値がキーａ１に紐付けて記憶される。
統合すると判定する条件を下記に示す。
Ｔ（ａ１０）＞Ｔｐ（ａ１０） かつ
ＴＬ（ａ１０）／（ＴＬ（ａ１０）＋ＴＤ（ａ１０））＞Ｃ かつ
Ｔ（ａ１１）＞Ｔｐ（ａ１１） かつ
ＴＬ（ａ１１）／（ＴＬ（ａ１１）＋ＴＤ（ａ１１））＞Ｃ
In step S511, the division
Specifically, when the average time of the lock time related to the data of the key a10 is TL (a10) and the average time of the data processing time related to the data of the key a10 is TD (a10), the division of the data
The conditions for determining integration are shown below.
T (a10)> Tp (a10) and TL (a10) / (TL (a10) + TD (a10))> C and T (a11)> Tp (a11) and TL (a11) / (TL (a11) + TD ( a11))> C
ステップＳ５１２では、データ分割制御装置１の分割統合処理部１１３は、キーａ１０のデータにキーａ１１のデータを統合すると判定した場合、データ分割制御装置１ｂおよびデータ分割制御装置１ｃに対して、キーａ１０のデータにキーａ１１のデータを統合する指示を示す統合指示情報を送信する。
ステップＳ５１３では、データ分割制御装置１の分割統合処理部１１３は、キーａ１０とキーａ１１とを統合したキーａ１に対して、格納場所および先頭アドレスを付与して、データ分割制御装置１の記憶部１２の分割情報１２１を更新する。
In step S512, when the division
In step S513, the division
ステップＳ５１４では、データ分割制御装置１ｂの分割統合処理部１１３は、受信した統合指示情報に基づいて、キーａ１０のデータにキーａ１１のデータを統合する統合処理を実行する。なお、図５には示していないが、データ分割制御装置１ｃの分割統合処理部１１３は、キーａ１１のデータを削除する。
In step S514, the division
なお、分割閾値Ｋと統合閾値Ｃとは、分割と統合とが連続して交互に発生し振動してしまうことを防ぐため、統合閾値Ｃは分割閾値Ｋより大きく離れた値に設定されることが好ましい。 Note that the division threshold K and the integration threshold C are set to a value far apart from the division threshold K in order to prevent the division and integration from occurring alternately and continuously. Is preferred.
また、例えば、キーａが図２（ａ）に示すように、キーａ０，ａ１０，ａ１１に分割され、それぞれ異なるデータ分割制御装置１，１ａ，１ｂ，１ｃに格納されているものとする。この時、本実施形態では、データ分割制御装置１がキーａのデータを参照するデータ処理の要求を受信した場合、キーａ１０，ａ１１のデータを取得する処理が増加する。しかし、キーａのデータのサイズが非常に大きかった場合、キーａ１０，ａ１１のデータを取得する処理に伴う遅延は、キーａのデータ全体を参照する処理に伴う遅延に比べて無視できる程度である。
In addition, for example, as shown in FIG. 2A, the key a is divided into keys a0, a10, and a11 and stored in different data
以上、本実施形態のデータ分割制御装置１は、データ処理を実行した場合、分散ロックに掛かる時間（ロック時間）と、データ処理に掛かる時間（データ処理時間）とを計測し、所定期間内の計測値を集計する処理時間計測部１１２と、集計したロック時間およびデータ処理時間に基づいて、当該データ処理の対象となったデータを分割する、統合するまたは何もしないと判定する分割統合処理部１１３とを備える。具体的には、分割統合処理部１１３は、今回の所定期間内の集計したロック時間と集計したデータ処理時間との合計値が前回の所定期間内の前記合計値より小さく、かつ集計したロック時間を前記今回の所定期間内の合計値で除算した比が第１の閾値より小さい場合、そのデータを分割すると判定する。また、分割統合処理部１１３は、分割されているデータの双方が、今回の所定期間内の集計したロック時間と集計したデータ処理時間との合計値が前回の所定期間内の前記合計値より大きく、かつ集計したロック時間を前記今回の所定期間内の合計値で除算した比が統合閾値Ｃより大きい場合、当該データ同士を統合すると判定する。このことによって、データ分割制御装置１は、トランザクション処理に掛かる時間を低減するように、データの分割の仕方を自動的に決めることができる。
As described above, the data
また、ロック時間は、データの分割のされ方、分割されたデータの格納場所の散らばり方の双方またはいずれか一方、およびデータのどの部分を同時に用いるか、に依存する。データの更新処理においては、部分データを更新する場合があり、本来は、「同時に更新される部分」が１つのデータとなることが好ましい。同時に更新される部分データは、分散ロック等によって必ず排他処理を掛けられるので、各部分データごとに排他処理の時間を計測しておくことで、この部分データが他のデータと同時に処理される確率が高いことから把握できる。このようにして、データ分割制御装置１は、運用中に分割されたデータのロック時間を取得しているので、データを同時に更新処理に用いていることを動的に把握可能である。さらに、データ分割制御装置１は、同時に処理に用いる部分が変更された場合であっても、収集結果に基づいて自動的に追従できる。したがって、データ分割制御システム１００は、手動でデータをどのように分割するかを設定する手間を省くことができる。
Also, the lock time depends on how data is divided and / or where the divided data are stored, and which part of the data is used simultaneously. In the data update process, partial data may be updated. Originally, it is preferable that the “part updated simultaneously” be one piece of data. Since partial data that is updated at the same time is always subjected to exclusive processing by distributed lock, etc., the probability that this partial data will be processed simultaneously with other data by measuring the time of exclusive processing for each partial data Can be grasped from the fact that Thus, since the data
なお、本実施形態では、ロック処理の時間およびデータ処理時間を所定の周期で集計するように説明した。この集計処理は、所定の周期（一定周期を含む）で実行されなくとも構わない。例えば、集計処理は、データ処理要求に対して同期、非同期のいずれかで実行されても構わない。また、集計処理は、例えば、データ分割制御装置１の内部アラーム（例えば、メモリ等リソースの使用率が一定以上になった場合等）や、外部からの指示に基づいて実行されても構わない。 In the present embodiment, the lock processing time and the data processing time have been described as being totaled at a predetermined period. This aggregation process may not be executed in a predetermined cycle (including a fixed cycle). For example, the aggregation process may be executed either synchronously or asynchronously with respect to the data processing request. The aggregation process may be executed based on, for example, an internal alarm of the data division control device 1 (for example, when the usage rate of a resource such as a memory exceeds a certain level) or an instruction from the outside.
また、本実施形態では、分割統合は、図２（ａ）の分割情報１２１に示したように、２分木で実行した場合について説明したが、多分木で実行されても構わない。また、分割するときのサイズは、均等でなくても構わない。
Further, in the present embodiment, the division integration has been described with respect to the case where it is executed with a binary tree as shown in the
１，１ａ，１ｂ，１ｃ データ分割制御装置
３ 端末
１１ 処理部
１２ 記憶部
１３ 通信部
１００ データ分割制御システム
１１１ リクエスト処理部
１１２ 処理時間計測部
１１３ 分割統合処理部
１１４ データ管理部
１２１ 分割情報
１２２ 処理時間情報
Ｃ 統合閾値（第２の閾値）
Ｋ 分割閾値（第１の閾値）
Ｔ、Ｔｐ 平均総処理時間（合計値）
ＴＬ ロック時間
ＴＤ データ処理時間
1, 1a, 1b, 1c Data division control device 3 Terminal 11 Processing unit 12
K division threshold (first threshold)
T, Tp Average total processing time (total value)
TL lock time TD data processing time
Claims (3)
前記データベースが記憶される記憶部と、
前記データ処理の要求を、端末または他のデータ分割制御装置から受信した場合、前記データ分割制御システム内に分散して格納されたデータのロックに掛かる時間を示すロック時間と、前記データ処理に掛かる時間を示すデータ処理時間とを計測し、所定期間内の計測値を集計する処理時間計測部と、
前記集計したロック時間およびデータ処理時間に基づいて、当該データ処理の対象となったデータに対して分割するか否かまたは統合するか否かを判定する分割統合処理部と
を備え、
前記分割統合処理部は、前記集計したロック時間と前記集計したデータ処理時間との合計値および前記集計したロック時間を前記合計値で除算した比に基づいて、前記データ処理の対象となったデータに対して分割するか否かまたは統合するか否かを判定し、
今回の所定期間内の前記合計値が前回の所定期間内の前記合計値より小さく、かつ前記比が第１の閾値より小さい場合、前記データを分割すると判定する
ことを特徴とするデータ分割制御装置。 A data partitioning control device in a data partitioning control system including a plurality of data partitioning control devices that process data on data stored by being divided or integrated into a database,
A storage unit which the database is stored,
A request for pre Kide over data processing, when receiving from a terminal or other data division control device, a lock time indicating a time required for locking of the data stored across a said data division control system, the data A processing time measuring unit that measures data processing time indicating the time required for processing, and totals the measured values within a predetermined period;
A division integration processing unit that determines whether or not to divide or integrate the data subjected to the data processing based on the aggregated lock time and data processing time ;
The division integration processing unit is configured to calculate data based on a total value of the totaled lock time and the totaled data processing time and a ratio obtained by dividing the totalized lock time by the total value. Determine whether to split or merge
When the total value in the current predetermined period is smaller than the total value in the previous predetermined period and the ratio is smaller than the first threshold, it is determined that the data is divided. Data division controller.
ことを特徴とする請求項１に記載のデータ分割制御装置。 In the divided integration processing unit, both of the divided data are such that the total value in the current predetermined period is larger than the total value in the previous predetermined period, and the ratio is larger than the first threshold value. If greater than the second threshold value, the data division control device according to claim 1, wherein determining that integrate data with each other are the split.
ことを特徴とする請求項１または請求項２に記載のデータ分割制御装置。 Wherein each totalized lock time and the aggregate data processing time, the data division control device according to claim 1 or claim 2, characterized in that a mean value of the measurement value within the predetermined period.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013170135A JP5997668B2 (en) | 2013-08-20 | 2013-08-20 | Data division controller |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013170135A JP5997668B2 (en) | 2013-08-20 | 2013-08-20 | Data division controller |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015041116A JP2015041116A (en) | 2015-03-02 |
| JP5997668B2 true JP5997668B2 (en) | 2016-09-28 |
Family
ID=52695271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013170135A Expired - Fee Related JP5997668B2 (en) | 2013-08-20 | 2013-08-20 | Data division controller |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5997668B2 (en) |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8607238B2 (en) * | 2011-07-08 | 2013-12-10 | International Business Machines Corporation | Lock wait time reduction in a distributed processing environment |
-
2013
- 2013-08-20 JP JP2013170135A patent/JP5997668B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015041116A (en) | 2015-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8874532B2 (en) | Managing dereferenced chunks in a deduplication system | |
| US9372908B2 (en) | Merging an out of synchronization indicator and a change recording indicator in response to a failure in consistency group formation | |
| US10204147B2 (en) | System for capture, analysis and storage of time series data from sensors with heterogeneous report interval profiles | |
| CN110347651B (en) | Cloud storage-based data synchronization method, device, equipment and storage medium | |
| JP2019511054A (en) | Distributed cluster training method and apparatus | |
| US9424156B2 (en) | Identifying a potential failure event for a data storage device | |
| EP3425493A1 (en) | Data processing method and apparatus | |
| JP2021500649A (en) | Computer implementation methods, computer program products, and systems for storing records in shard database shard tables, computer implementation methods, computer program products, and systems for retrieving records from shard database shard tables. System, as well as a system for storing shard databases | |
| CN107451013B (en) | Data recovery method, device and system based on distributed system | |
| US10936216B2 (en) | Method and system for storage exhaustion estimation | |
| JP6129290B1 (en) | Method and system for recommending application parameter settings and system specification settings in distributed computing | |
| US11635994B2 (en) | System and method for optimizing and load balancing of applications using distributed computer clusters | |
| WO2018068714A1 (en) | Deduplication processing method, and storage device | |
| US20150331621A1 (en) | Uncoordinated data retrieval across multiple-data-storage-devices enclosures | |
| CN104424361A (en) | Autonomically defining hot storage and heavy workloads | |
| JP2022503344A (en) | Computer network measurement metrics | |
| EP2940587A1 (en) | Computer, control device for computer system, and recording medium | |
| CN112988039B (en) | Data uploading method and device, cloud storage gateway and system and storage medium | |
| US9430149B2 (en) | Pipeline planning for low latency storage system | |
| JP5997668B2 (en) | Data division controller | |
| US10469411B1 (en) | Dynamic application scaling | |
| CN110909062A (en) | Data processing method and device, electronic equipment and readable storage medium | |
| US9747309B1 (en) | Auto-determining backup level | |
| US20150331610A1 (en) | Data device grouping across multiple-data-storage-devices enclosures for synchronized data maintenance | |
| US20180165380A1 (en) | Data processing system and data processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150717 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160823 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160826 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5997668 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |