JP2013061739A - データ管理装置、データ管理システム、データ管理方法、及びプログラム - Google Patents
データ管理装置、データ管理システム、データ管理方法、及びプログラム Download PDFInfo
- Publication number
- JP2013061739A JP2013061739A JP2011198772A JP2011198772A JP2013061739A JP 2013061739 A JP2013061739 A JP 2013061739A JP 2011198772 A JP2011198772 A JP 2011198772A JP 2011198772 A JP2011198772 A JP 2011198772A JP 2013061739 A JP2013061739 A JP 2013061739A
- Authority
- JP
- Japan
- Prior art keywords
- data
- data management
- range
- management device
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/954—Navigation, e.g. using categorised browsing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】データを分散して管理するデータ管理装置は、ハッシュ値が第1の範囲に属するキー情報と、該キー情報に対応するデータとを関連づけて記憶する第1の記憶手段と、第1の記憶手段に記憶されたデータのうち、キー情報のハッシュ値が、ある範囲に属するデータの格納先を他のデータ管理装置に変更する変更処理を行う場合に、該特定のデータと、該特定のデータのキー情報とを他のデータ管理装置に送信する通信手段と、変更処理の際に、ある範囲に対応づけて他のデータ管理装置の識別情報を記憶する第2の記憶手段と、変更処理の後に、第1のキー情報に対応するデータについての処理要求を受信した場合に、該第1のキー情報のハッシュ値がある範囲に属することを検出すると、他のデータ管理装置の識別情報を返信する制御手段とを備えたことを特徴とする。
【選択図】図4
Description
適正値=データ管理システム1のデータ量の総和÷分割範囲の数 ・・・(1)
データ管理システム1のデータ量の総和は、サーバ情報記憶部13の全体容量の総和から空き容量の総和を差し引くことによって求めることができる。また、分割範囲の総和は、配置情報記憶部12を参照して求めることができる。
(付記1)
データを分散して管理する分散管理システムで利用可能なデータ管理装置において、
所定のハッシュ関数を適用して得られるハッシュ値が第1の範囲に属するキー情報と、該キー情報に対応するデータとを関連づけて記憶する第1の記憶手段と、
前記第1の記憶手段に記憶されたデータのうち、対応するキー情報に前記所定のハッシュ関数を適用して得られるハッシュ値が、ある範囲に属する特定のデータの格納先を該データ管理装置から他のデータ管理装置に変更する変更処理を行う場合に、該特定のデータと、該特定のデータに対応するキー情報とを前記他のデータ管理装置に送信する通信手段と、
前記変更処理の際に、前記ある範囲に対応づけて前記他のデータ管理装置の識別情報を記憶する第2の記憶手段と、
前記変更処理の後に、第1のキー情報に対応するデータについての処理要求を受信した場合に、該第1のキー情報に前記所定のハッシュ関数を適用して得られたハッシュ値が前記ある範囲に属することを検出すると、該ある範囲に対応づけて記憶した前記他のデータ管理装置の識別情報を該要求の要求元に送信する制御手段と、
を備えたことを特徴とするデータ管理装置。
(付記2)
前記第1の範囲より前記ある範囲が狭い場合に、前記第2の記憶手段は、前記第1の範囲に属し、かつ、前記ある範囲に属さない範囲であって、前記変更処理の実行後も該データ管理装置が格納先となるデータに対応するキー情報に前記所定のハッシュ関数を適用して得られる全てのハッシュ値を含む第2の範囲に対応づけて該データ管理装置の識別情報を記憶し、
前記制御手段は、前記変更処理の後に、第2のキー情報に対応するデータについての処理要求を受信した場合に、該第2のキー情報に前記所定のハッシュ関数を適用して得られたハッシュ値が前記第2の範囲に属することを検出すると、該第2のキー情報に対応するデータを前記第1の記憶手段から読み出して、該要求の要求元に送信する制御手段と、
を備えたことを特徴とする付記1記載のデータ管理装置。
(付記3)
キー情報に所定のハッシュ関数を適用して得られるハッシュ値の範囲ごとに、対応するデータの量を示す情報を記憶する第3の記憶手段と、
複数のデータ管理装置のそれぞれの識別情報と対応する格納領域についての空き容量を示す情報とを記憶する第4の記憶手段と、
前記通信手段は、前記第1の記憶手段に記憶されたデータのうち、対応するキー情報に前記所定のハッシュ関数を適用して得られるハッシュ値が、対応するデータの量が相対的に多い範囲に属する特定のデータの格納先を、該データ管理装置から、該データ管理装置よりも空き容量の多い他のデータ管理装置に変更する変更処理を行う場合に、該特定のデータと、該特定のデータに対応するキー情報とを前記他のデータ管理装置に送信する、
ことを特徴とする付記1又は2記載のデータ管理装置。
(付記4)
前記制御手段は、前記変更処理の際又は変更処理の後に、前記ある範囲に属する特定のデータに関する書き込み要求が受信された場合、前記他のデータ管理装置の識別情報を該要求の要求元に送信する、
ことを特徴とする付記1乃至3いずれか一項記載のデータ管理装置。
(付記5)
前記制御手段は、前記変更処理の際又は変更処理の後に、前記ある範囲に属する特定のデータに関する取得要求が受信された場合、前記特定のデータが前記他のデータ管理装置に送信されていなければ前記特定のデータを該要求の要求元に送信し、前記特定のデータが送信済みであれば前記他のデータ管理装置の識別情報を該要求の要求元に送信する、
ことを特徴とする付記1乃至4いずれか一項記載のデータ管理装置。
(付記6)
前記第3の記憶手段が記憶する情報に基づいて、該データ管理装置が対応する範囲の中でデータの量が相対的に多い範囲を複数の範囲に分割し、該分割の結果に基づいて前記第3の記憶手段及び前記第2の記憶手段を更新する分割手段を有することを特徴とする付記1乃至5いずれか一項記載のデータ管理装置。
(付記7)
前記第3の記憶手段が記憶する情報に基づいて、当該データ管理装置が対応する範囲の中でデータの量が相対的に少ない複数の範囲を統合し、該統合の結果に基づいて前記第3の記憶手段及び前記第2の記憶手段を更新する統合部を有することを特徴とする付記1乃至6いずれか一項記載のデータ管理装置。
(付記8)
前記第1の記憶手段は、アクセス性能に応じて複数の階層を有し、
データの操作頻度に応じて、データを第1の階層から第2の階層へ移動させる移動手段とを備え、
前記第2の記憶手段は、前記範囲及び前記階層に対応づけてデータ管理装置の識別情報を記憶する、
ことを特徴とする付記1乃至7記載のデータ管理装置。
(付記9)
付記1乃至8いずれか一項記載の複数の前記データ管理装置を含むデータ管理システム。
(付記10)
データを分散して管理する分散管理システムで利用可能なデータ管理装置が、
所定のハッシュ関数を適用して得られるハッシュ値が第1の範囲に属するキー情報と、該キー情報に対応するデータとを関連づけて第1の記憶手段に記憶し、
前記第1の記憶手段に記憶されたデータのうち、対応するキー情報に前記所定のハッシュ関数を適用して得られるハッシュ値が、ある範囲に属する特定のデータの格納先を該データ管理装置から他のデータ管理装置に変更する変更処理を行う場合に、該特定のデータと、該特定のデータに対応するキー情報とを前記他のデータ管理装置に送信し、
前記変更処理の際に、前記ある範囲に対応づけて前記他のデータ管理装置の識別情報を第2の記憶手段に記憶し、
前記変更処理の後に、第1のキー情報に対応するデータについての処理要求を受信した場合に、該第1のキー情報に前記所定のハッシュ関数を適用して得られたハッシュ値が前記ある範囲に属することを検出すると、該ある範囲に対応づけて記憶した前記他のデータ管理装置の識別情報を該要求の要求元に送信する、
処理を実行することを特徴とするデータ管理方法。
(付記11)
前記第1の範囲より前記ある範囲が狭い場合に、前記第2の記憶手段は、前記第1の範囲に属し、かつ、前記ある範囲に属さない範囲であって、前記変更処理の実行後も該データ管理装置が格納先となるデータに対応するキー情報に前記所定のハッシュ関数を適用して得られる全てのハッシュ値を含む第2の範囲に対応づけて該データ管理装置の識別情報を記憶し、
前記要求元に送信する処理は、前記変更処理の後に、第2のキー情報に対応するデータについての処理要求を受信した場合に、該第2のキー情報に前記所定のハッシュ関数を適用して得られたハッシュ値が前記第2の範囲に属することを検出すると、該第2のキー情報に対応するデータを前記第1の記憶手段から読み出して、該要求の要求元に送信する、
ことを特徴とする付記10記載のデータ管理方法。
(付記12)
キー情報に所定のハッシュ関数を適用して得られるハッシュ値の範囲ごとに、対応するデータの量を示す情報を第3の記憶手段に記憶し、
複数のデータ管理装置のそれぞれの識別情報と対応する格納領域についての空き容量を示す情報とを第4の記憶手段に記憶し、
前記他のデータ管理装置に送信する処理は、前記第1の記憶手段に記憶されたデータのうち、対応するキー情報に前記所定のハッシュ関数を適用して得られるハッシュ値が、対応するデータの量が相対的に多い範囲に属する特定のデータの格納先を、該データ管理装置から、該データ管理装置よりも空き容量の多い他のデータ管理装置に変更する変更処理を行う場合に、該特定のデータと、該特定のデータに対応するキー情報とを前記他のデータ管理装置に送信する、
ことを特徴とする付記10又は11記載のデータ管理方法。
(付記13)
前記要求元に送信する処理は、前記変更処理の際又は変更処理の後に、前記ある範囲に属する特定のデータに関する書き込み要求が受信された場合、前記他のデータ管理装置の識別情報を該要求の要求元に送信する、
ことを特徴とする付記10乃至12いずれか一項記載のデータ管理方法。
(付記14)
前記要求元に送信する処理は、前記変更処理の際又は変更処理の後に、前記ある範囲に属する特定のデータに関する取得要求が受信された場合、前記特定のデータが前記他のデータ管理装置に送信されていなければ前記特定のデータを該要求の要求元に送信し、前記特定のデータが送信済みであれば前記他のデータ管理装置の識別情報を該要求の要求元に送信する、
ことを特徴とする付記10乃至13いずれか一項記載のデータ管理方法。
(付記15)
前記第3の記憶手段が記憶する情報に基づいて、該データ管理装置が対応する範囲の中でデータの量が相対的に多い範囲を複数の範囲に分割し、該分割の結果に基づいて前記第3の記憶手段及び前記第2の記憶手段を更新する処理をデータ管理装置が実行することを特徴とする付記10乃至14いずれか一項記載のデータ管理方法。
(付記16)
前記第3の記憶手段が記憶する情報に基づいて、当該データ管理装置が対応する範囲の中でデータの量が相対的に少ない複数の範囲を統合し、該統合の結果に基づいて前記第3の記憶手段及び前記第2の記憶手段を更新する処理を前記データ管理装置が実行することを特徴とする付記10乃至15いずれか一項記載のデータ管理方法。
(付記17)
前記第1の記憶手段は、アクセス性能に応じて複数の階層を有し、
データの操作頻度に応じて、データを第1の階層から第2の階層へ移動させる処理を前記データ管理装置が実行し、
前記第2の記憶手段は、前記範囲及び前記階層に対応づけてデータ管理装置の識別情報を記憶する、
ことを特徴とする付記10乃至16記載のデータ管理方法。
(付記18)
データを分散して管理する分散管理システムで利用可能なデータ管理装置に、
所定のハッシュ関数を適用して得られるハッシュ値が第1の範囲に属するキー情報と、該キー情報に対応するデータとを関連づけて第1の記憶手段に記憶し、
前記第1の記憶手段に記憶されたデータのうち、対応するキー情報に前記所定のハッシュ関数を適用して得られるハッシュ値が、ある範囲に属する特定のデータの格納先を該データ管理装置から他のデータ管理装置に変更する変更処理を行う場合に、該特定のデータと、該特定のデータに対応するキー情報とを前記他のデータ管理装置に送信し、
前記変更処理の際に、前記ある範囲に対応づけて前記他のデータ管理装置の識別情報を第2の記憶手段に記憶し、
前記変更処理の後に、第1のキー情報に対応するデータについての処理要求を受信した場合に、該第1のキー情報に前記所定のハッシュ関数を適用して得られたハッシュ値が前記ある範囲に属することを検出すると、該ある範囲に対応づけて記憶した前記他のデータ管理装置の識別情報を該要求の要求元に送信する、
処理を実行させることを特徴とするプログラム。
(付記19)
前記第1の範囲より前記ある範囲が狭い場合に、前記第2の記憶手段は、前記第1の範囲に属し、かつ、前記ある範囲に属さない範囲であって、前記変更処理の実行後も該データ管理装置が格納先となるデータに対応するキー情報に前記所定のハッシュ関数を適用して得られる全てのハッシュ値を含む第2の範囲に対応づけて該データ管理装置の識別情報を記憶し、
前記要求元に送信する処理は、前記変更処理の後に、第2のキー情報に対応するデータについての処理要求を受信した場合に、該第2のキー情報に前記所定のハッシュ関数を適用して得られたハッシュ値が前記第2の範囲に属することを検出すると、該第2のキー情報に対応するデータを前記第1の記憶手段から読み出して、該要求の要求元に送信する、
ことを特徴とする付記18記載のプログラム。
(付記20)
キー情報に所定のハッシュ関数を適用して得られるハッシュ値の範囲ごとに、対応するデータの量を示す情報を第3の記憶手段に記憶し、
複数のデータ管理装置のそれぞれの識別情報と対応する格納領域についての空き容量を示す情報とを第4の記憶手段に記憶する処理を前記データ管理装置に実行させ、
前記他のデータ管理装置に送信する処理は、前記第1の記憶手段に記憶されたデータのうち、対応するキー情報に前記所定のハッシュ関数を適用して得られるハッシュ値が、対応するデータの量が相対的に多い範囲に属する特定のデータの格納先を、該データ管理装置から、該データ管理装置よりも空き容量の多い他のデータ管理装置に変更する変更処理を行う場合に、該特定のデータと、該特定のデータに対応するキー情報とを前記他のデータ管理装置に送信する、
ことを特徴とする付記18又は19記載のプログラム。
(付記21)
前記要求元に送信する処理は、前記変更処理の際又は変更処理の後に、前記ある範囲に属する特定のデータに関する書き込み要求が受信された場合、前記他のデータ管理装置の識別情報を該要求の要求元に送信する、
ことを特徴とする付記18乃至20いずれか一項記載のプログラム。
(付記22)
前記要求元に送信する処理は、前記変更処理の際又は変更処理の後に、前記ある範囲に属する特定のデータに関する取得要求が受信された場合、前記特定のデータが前記他のデータ管理装置に送信されていなければ前記特定のデータを該要求の要求元に送信し、前記特定のデータが送信済みであれば前記他のデータ管理装置の識別情報を該要求の要求元に送信する、
ことを特徴とする付記18乃至21いずれか一項記載のプログラム。
(付記23)
前記第3の記憶手段が記憶する情報に基づいて、該データ管理装置が対応する範囲の中でデータの量が相対的に多い範囲を複数の範囲に分割し、該分割の結果に基づいて前記第3の記憶手段及び前記第2の記憶手段を更新する処理をデータ管理装置が実行することを特徴とする付記18乃至22いずれか一項記載のプログラム。
(付記24)
前記第3の記憶手段が記憶する情報に基づいて、当該データ管理装置が対応する範囲の中でデータの量が相対的に少ない複数の範囲を統合し、該統合の結果に基づいて前記第3の記憶手段及び前記第2の記憶手段を更新する処理をデータ管理装置が実行することを特徴とする付記18乃至23いずれか一項記載のプログラム。
(付記25)
前記第1の記憶手段は、アクセス性能に応じて複数の階層を有し、
データの操作頻度に応じて、データを第1の階層から第2の階層へ移動させる処理を前記データ管理装置に実行させ、
前記第2の記憶手段は、前記範囲及び前記階層に対応づけてデータ管理装置の識別情報を記憶する、
ことを特徴とする付記18乃至24記載のプログラム。
10 サーバ装置
11 データ記憶部
12 配置情報記憶部
13 サーバ情報記憶部
14 担当範囲情報記憶部
15 操作部
16 再配置実行部
17 情報交換部
18 ハッシュ空間管理部
19 階層間移動部
20 クライアント装置
21 操作要求部
22 配置情報記憶部
100 ドライブ装置
101 記録媒体
102 補助記憶装置
103 メモリ装置
104 CPU
105 インタフェース装置
161 再配置対象特定部
162 再配置先特定部
163 転送部
181 分割部
182 統合部
B バス
Claims (11)
- データを分散して管理する分散管理システムで利用可能なデータ管理装置において、
所定のハッシュ関数を適用して得られるハッシュ値が第1の範囲に属するキー情報と、該キー情報に対応するデータとを関連づけて記憶する第1の記憶手段と、
前記第1の記憶手段に記憶されたデータのうち、対応するキー情報に前記所定のハッシュ関数を適用して得られるハッシュ値が、ある範囲に属する特定のデータの格納先を該データ管理装置から他のデータ管理装置に変更する変更処理を行う場合に、該特定のデータと、該特定のデータに対応するキー情報とを前記他のデータ管理装置に送信する通信手段と、
前記変更処理の際に、前記ある範囲に対応づけて前記他のデータ管理装置の識別情報を記憶する第2の記憶手段と、
前記変更処理の後に、第1のキー情報に対応するデータについての処理要求を受信した場合に、該第1のキー情報に前記所定のハッシュ関数を適用して得られたハッシュ値が前記ある範囲に属することを検出すると、該ある範囲に対応づけて記憶した前記他のデータ管理装置の識別情報を該要求の要求元に送信する制御手段と、
を備えたことを特徴とするデータ管理装置。 - 前記第1の範囲より前記ある範囲が狭い場合に、前記第2の記憶手段は、前記第1の範囲に属し、かつ、前記ある範囲に属さない範囲であって、前記変更処理の実行後も該データ管理装置が格納先となるデータに対応するキー情報に前記所定のハッシュ関数を適用して得られる全てのハッシュ値を含む第2の範囲に対応づけて該データ管理装置の識別情報を記憶し、
前記制御手段は、前記変更処理の後に、第2のキー情報に対応するデータについての処理要求を受信した場合に、該第2のキー情報に前記所定のハッシュ関数を適用して得られたハッシュ値が前記第2の範囲に属することを検出すると、該第2のキー情報に対応するデータを前記第1の記憶手段から読み出して、該要求の要求元に送信する、
ことを特徴とする請求項1記載のデータ管理装置。 - キー情報に所定のハッシュ関数を適用して得られるハッシュ値の範囲ごとに、対応するデータの量を示す情報を記憶する第3の記憶手段と、
複数のデータ管理装置のそれぞれの識別情報と対応する格納領域についての空き容量を示す情報とを記憶する第4の記憶手段と、
前記通信手段は、前記第1の記憶手段に記憶されたデータのうち、対応するキー情報に前記所定のハッシュ関数を適用して得られるハッシュ値が、対応するデータの量が相対的に多い範囲に属する特定のデータの格納先を、該データ管理装置から、該データ管理装置よりも空き容量の多い他のデータ管理装置に変更する変更処理を行う場合に、該特定のデータと、該特定のデータに対応するキー情報とを前記他のデータ管理装置に送信する、
ことを特徴とする請求項1又は2記載のデータ管理装置。 - 前記制御手段は、前記変更処理の際又は変更処理の後に、前記ある範囲に属する特定のデータに関する書き込み要求が受信された場合、前記他のデータ管理装置の識別情報を該要求の要求元に送信する、
ことを特徴とする請求項1乃至3いずれか一項記載のデータ管理装置。 - 前記制御手段は、前記変更処理の際又は変更処理の後に、前記ある範囲に属する特定のデータに関する取得要求が受信された場合、前記特定のデータが前記他のデータ管理装置に送信されていなければ前記特定のデータを該要求の要求元に送信し、前記特定のデータが送信済みであれば前記他のデータ管理装置の識別情報を該要求の要求元に送信する、
ことを特徴とする請求項1乃至4いずれか一項記載のデータ管理装置。 - 前記第3の記憶手段が記憶する情報に基づいて、該データ管理装置が対応する範囲の中でデータの量が相対的に多い範囲を複数の範囲に分割し、該分割の結果に基づいて前記第3の記憶手段及び前記第2の記憶手段を更新する分割手段を有することを特徴とする請求項1乃至5いずれか一項記載のデータ管理装置。
- 前記第3の記憶手段が記憶する情報に基づいて、当該データ管理装置が対応する範囲の中でデータの量が相対的に少ない複数の範囲を統合し、該統合の結果に基づいて前記第3の記憶手段及び前記第2の記憶手段を更新する統合部を有することを特徴とする請求項1乃至6いずれか一項記載のデータ管理装置。
- 前記第1の記憶手段は、アクセス性能に応じて複数の階層を有し、
データの操作頻度に応じて、データを第1の階層から第2の階層へ移動させる移動手段とを備え、
前記第2の記憶手段は、前記範囲及び前記階層に対応づけてデータ管理装置の識別情報を記憶する、
ことを特徴とする請求項1乃至7記載のデータ管理装置。 - 請求項1乃至8いずれか一項記載の複数の前記データ管理装置を含むデータ管理システム。
- データを分散して管理する分散管理システムで利用可能なデータ管理装置が、
所定のハッシュ関数を適用して得られるハッシュ値が第1の範囲に属するキー情報と、該キー情報に対応するデータとを関連づけて第1の記憶手段に記憶し、
前記第1の記憶手段に記憶されたデータのうち、対応するキー情報に前記所定のハッシュ関数を適用して得られるハッシュ値が、ある範囲に属する特定のデータの格納先を該データ管理装置から他のデータ管理装置に変更する変更処理を行う場合に、該特定のデータと、該特定のデータに対応するキー情報とを前記他のデータ管理装置に送信し、
前記変更処理の際に、前記ある範囲に対応づけて前記他のデータ管理装置の識別情報を第2の記憶手段に記憶し、
前記変更処理の後に、第1のキー情報に対応するデータについての処理要求を受信した場合に、該第1のキー情報に前記所定のハッシュ関数を適用して得られたハッシュ値が前記ある範囲に属することを検出すると、該ある範囲に対応づけて記憶した前記他のデータ管理装置の識別情報を該要求の要求元に送信する、
処理を実行することを特徴とするデータ管理方法。 - データを分散して管理する分散管理システムで利用可能なデータ管理装置に、
所定のハッシュ関数を適用して得られるハッシュ値が第1の範囲に属するキー情報と、該キー情報に対応するデータとを関連づけて第1の記憶手段に記憶し、
前記第1の記憶手段に記憶されたデータのうち、対応するキー情報に前記所定のハッシュ関数を適用して得られるハッシュ値が、ある範囲に属する特定のデータの格納先を該データ管理装置から他のデータ管理装置に変更する変更処理を行う場合に、該特定のデータと、該特定のデータに対応するキー情報とを前記他のデータ管理装置に送信し、
前記変更処理の際に、前記ある範囲に対応づけて前記他のデータ管理装置の識別情報を第2の記憶手段に記憶し、
前記変更処理の後に、第1のキー情報に対応するデータについての処理要求を受信した場合に、該第1のキー情報に前記所定のハッシュ関数を適用して得られたハッシュ値が前記ある範囲に属することを検出すると、該ある範囲に対応づけて記憶した前記他のデータ管理装置の識別情報を該要求の要求元に送信する、
処理を実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011198772A JP5733124B2 (ja) | 2011-09-12 | 2011-09-12 | データ管理装置、データ管理システム、データ管理方法、及びプログラム |
US13/572,259 US8832113B2 (en) | 2011-09-12 | 2012-08-10 | Data management apparatus and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011198772A JP5733124B2 (ja) | 2011-09-12 | 2011-09-12 | データ管理装置、データ管理システム、データ管理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013061739A true JP2013061739A (ja) | 2013-04-04 |
JP5733124B2 JP5733124B2 (ja) | 2015-06-10 |
Family
ID=47830758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011198772A Active JP5733124B2 (ja) | 2011-09-12 | 2011-09-12 | データ管理装置、データ管理システム、データ管理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8832113B2 (ja) |
JP (1) | JP5733124B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014238678A (ja) * | 2013-06-06 | 2014-12-18 | 富士通株式会社 | データ管理方法、データ管理プログラム、データ管理システム及びデータ管理装置 |
JP2015038729A (ja) * | 2013-08-02 | 2015-02-26 | シーゲイト テクノロジー エルエルシー | 連携階層化管理のための方法、システムおよびサブシステムコントローラならびに大容量記憶装置 |
US20150127658A1 (en) * | 2013-11-06 | 2015-05-07 | International Business Machines Corporation | Key_value data storage system |
WO2016006223A1 (ja) * | 2014-07-11 | 2016-01-14 | 日本電気株式会社 | 配置装置、配置方法及び配置プログラムを記憶する記録媒体 |
WO2016006222A1 (ja) * | 2014-07-11 | 2016-01-14 | 日本電気株式会社 | 配置装置、配置方法及び配置プログラムを記憶する記録媒体 |
WO2016088372A1 (ja) * | 2014-12-05 | 2016-06-09 | 日本電気株式会社 | アクセス装置、マイグレーション装置、分散ストレージシステム、アクセス方法及びコンピュータ読み取り可能記録媒体 |
JP2016146101A (ja) * | 2015-02-09 | 2016-08-12 | 富士通株式会社 | 情報処理装置、情報処理システム及び制御プログラム |
WO2017130377A1 (ja) * | 2016-01-29 | 2017-08-03 | 株式会社日立製作所 | 計算機システム、及び、データ処理方法 |
JP2018088215A (ja) * | 2016-11-30 | 2018-06-07 | 富士通株式会社 | データ管理プログラム、データ管理方法及びデータ管理装置 |
US10419352B2 (en) | 2016-09-15 | 2019-09-17 | Fujitsu Limited | Packet control apparatus and packet control system |
US10754843B2 (en) | 2016-06-10 | 2020-08-25 | Fujitsu Limited | Method and apparatus for information management |
JP2020536341A (ja) * | 2017-10-05 | 2020-12-10 | ザダラ ストレージ インコーポレイテッド | 動的キーレンジを有するkvストアにおけるシャードの維持 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014170952A1 (ja) * | 2013-04-16 | 2014-10-23 | 株式会社日立製作所 | 計算機システム、計算機システム管理方法及びプログラム |
JP6281225B2 (ja) * | 2013-09-30 | 2018-02-21 | 日本電気株式会社 | 情報処理装置 |
CN103595776A (zh) * | 2013-11-05 | 2014-02-19 | 福建网龙计算机网络信息技术有限公司 | 分布式缓存方法及系统 |
US10747777B2 (en) * | 2015-03-11 | 2020-08-18 | Hitachi, Ltd. | Computer system and transaction processing management method |
CN105357314A (zh) * | 2015-12-03 | 2016-02-24 | 厦门速卖通网络科技有限公司 | 一种定点分布式缓存系统及其缓存方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06259478A (ja) * | 1993-03-02 | 1994-09-16 | Toshiba Corp | 分散データベースのデータ再配置方式 |
JP2001142752A (ja) * | 1999-11-15 | 2001-05-25 | Hitachi Ltd | データベース管理方法 |
JP2005084963A (ja) * | 2003-09-09 | 2005-03-31 | Hitachi Ltd | ファイル共有装置及びファイル共有装置間のデータ移行方法 |
JP2006058965A (ja) * | 2004-08-17 | 2006-03-02 | Fujitsu Ltd | ファイル管理プログラム、ファイル管理方法、及びファイル管理装置 |
JP2008233968A (ja) * | 2007-03-16 | 2008-10-02 | Nec Corp | 複数プロセッサに分散されたデータを再配置可能なデータベースサーバ、再配置方法、およびプログラム |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04281658A (ja) | 1991-03-11 | 1992-10-07 | Fujitsu Ltd | 局間サービス制御方式 |
US6430618B1 (en) * | 1998-03-13 | 2002-08-06 | Massachusetts Institute Of Technology | Method and apparatus for distributing requests among a plurality of resources |
WO2003065252A1 (en) * | 2002-02-01 | 2003-08-07 | John Fairweather | System and method for managing memory |
JP4418286B2 (ja) | 2003-07-14 | 2010-02-17 | 富士通株式会社 | 分散型ストレージシステム |
US7380039B2 (en) * | 2003-12-30 | 2008-05-27 | 3Tera, Inc. | Apparatus, method and system for aggregrating computing resources |
WO2006031921A2 (en) * | 2004-09-15 | 2006-03-23 | Adesso Systems, Inc. | System and method for managing data in a distributed computer system |
DE502005001390D1 (de) * | 2005-07-14 | 2007-10-11 | Konrad Zuse Zentrum Fuer Infor | Vorrichtung und Verfahren zum Abrufen/Speichern von elektronischen Daten in einem System mit mehreren Datenverarbeitungseinheiten |
US7921131B2 (en) * | 2005-12-19 | 2011-04-05 | Yahoo! Inc. | Method using a hierarchy of servers for query processing of column chunks in a distributed column chunk data store |
US7860865B2 (en) * | 2005-12-19 | 2010-12-28 | Yahoo! Inc. | System of a hierarchy of servers for query processing of column chunks in a distributed column chunk data store |
US7707136B2 (en) * | 2006-03-31 | 2010-04-27 | Amazon Technologies, Inc. | System and method for providing high availability data |
US7925624B2 (en) * | 2006-03-31 | 2011-04-12 | Amazon Technologies, Inc. | System and method for providing high availability data |
US20080320053A1 (en) * | 2007-06-21 | 2008-12-25 | Michio Iijima | Data management method for accessing data storage area based on characteristic of stored data |
JP4139975B2 (ja) | 2007-08-01 | 2008-08-27 | 日本電気株式会社 | 情報処理装置、ファイル管理方法およびプログラム |
US7895151B2 (en) * | 2008-06-23 | 2011-02-22 | Teradata Us, Inc. | Fast bulk loading and incremental loading of data into a database |
WO2009032710A2 (en) * | 2007-08-29 | 2009-03-12 | Nirvanix, Inc. | Filing system and method for data files stored in a distributed communications network |
US9098519B2 (en) * | 2008-09-16 | 2015-08-04 | File System Labs Llc | Methods and apparatus for distributed data storage |
US8380738B2 (en) * | 2009-03-17 | 2013-02-19 | Nec Laboratories America, Inc. | System and methods for database distribution and querying over key-based scalable storage |
JP4385387B1 (ja) * | 2009-07-02 | 2009-12-16 | 修平 西山 | 属性付きキー・バリュー・ストアによるデータベース・システム |
US9395933B2 (en) * | 2009-09-01 | 2016-07-19 | Nec Corporation | Distributed storage system, distributed storage method, and program and storage node for distributed storage |
US9122579B2 (en) * | 2010-01-06 | 2015-09-01 | Intelligent Intellectual Property Holdings 2 Llc | Apparatus, system, and method for a storage layer |
CN102598019B (zh) * | 2009-09-09 | 2015-08-19 | 才智知识产权控股公司(2) | 用于分配存储的设备、系统和方法 |
US8700842B2 (en) * | 2010-04-12 | 2014-04-15 | Sandisk Enterprise Ip Llc | Minimizing write operations to a flash memory-based object store |
JP5488225B2 (ja) * | 2010-06-09 | 2014-05-14 | 富士通株式会社 | データ管理システム、データ管理方法、及びデータ管理プログラム |
JP5460486B2 (ja) * | 2010-06-23 | 2014-04-02 | インターナショナル・ビジネス・マシーンズ・コーポレーション | データをソートする装置及び方法 |
US8819076B2 (en) * | 2010-08-05 | 2014-08-26 | Wavemarket, Inc. | Distributed multidimensional range search system and method |
US8510267B2 (en) * | 2011-03-08 | 2013-08-13 | Rackspace Us, Inc. | Synchronization of structured information repositories |
-
2011
- 2011-09-12 JP JP2011198772A patent/JP5733124B2/ja active Active
-
2012
- 2012-08-10 US US13/572,259 patent/US8832113B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06259478A (ja) * | 1993-03-02 | 1994-09-16 | Toshiba Corp | 分散データベースのデータ再配置方式 |
JP2001142752A (ja) * | 1999-11-15 | 2001-05-25 | Hitachi Ltd | データベース管理方法 |
JP2005084963A (ja) * | 2003-09-09 | 2005-03-31 | Hitachi Ltd | ファイル共有装置及びファイル共有装置間のデータ移行方法 |
JP2006058965A (ja) * | 2004-08-17 | 2006-03-02 | Fujitsu Ltd | ファイル管理プログラム、ファイル管理方法、及びファイル管理装置 |
JP2008233968A (ja) * | 2007-03-16 | 2008-10-02 | Nec Corp | 複数プロセッサに分散されたデータを再配置可能なデータベースサーバ、再配置方法、およびプログラム |
Non-Patent Citations (2)
Title |
---|
CSND201100093008; 手嶋 透: '解剖!クラウドテクノロジー' 日経SYSTEMS 第216号 , 20110326, p.62-65, 日経BP社 * |
JPN6014054982; 手嶋 透: '解剖!クラウドテクノロジー' 日経SYSTEMS 第216号 , 20110326, p.62-65, 日経BP社 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014238678A (ja) * | 2013-06-06 | 2014-12-18 | 富士通株式会社 | データ管理方法、データ管理プログラム、データ管理システム及びデータ管理装置 |
JP2015038729A (ja) * | 2013-08-02 | 2015-02-26 | シーゲイト テクノロジー エルエルシー | 連携階層化管理のための方法、システムおよびサブシステムコントローラならびに大容量記憶装置 |
US20150127658A1 (en) * | 2013-11-06 | 2015-05-07 | International Business Machines Corporation | Key_value data storage system |
JP2015090615A (ja) * | 2013-11-06 | 2015-05-11 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | データを管理するシステムおよび方法 |
US10740308B2 (en) | 2013-11-06 | 2020-08-11 | International Business Machines Corporation | Key_Value data storage system |
US9659048B2 (en) * | 2013-11-06 | 2017-05-23 | International Business Machines Corporation | Key-Value data storage system |
JPWO2016006223A1 (ja) * | 2014-07-11 | 2017-04-27 | 日本電気株式会社 | 配置装置、配置方法及び配置プログラムを記憶する記録媒体 |
WO2016006222A1 (ja) * | 2014-07-11 | 2016-01-14 | 日本電気株式会社 | 配置装置、配置方法及び配置プログラムを記憶する記録媒体 |
US9779110B2 (en) | 2014-07-11 | 2017-10-03 | Nec Corporation | Placement device, placement method and recording medium, that stores placement program information processing device |
WO2016006223A1 (ja) * | 2014-07-11 | 2016-01-14 | 日本電気株式会社 | 配置装置、配置方法及び配置プログラムを記憶する記録媒体 |
WO2016088372A1 (ja) * | 2014-12-05 | 2016-06-09 | 日本電気株式会社 | アクセス装置、マイグレーション装置、分散ストレージシステム、アクセス方法及びコンピュータ読み取り可能記録媒体 |
JP2016146101A (ja) * | 2015-02-09 | 2016-08-12 | 富士通株式会社 | 情報処理装置、情報処理システム及び制御プログラム |
WO2017130377A1 (ja) * | 2016-01-29 | 2017-08-03 | 株式会社日立製作所 | 計算機システム、及び、データ処理方法 |
JPWO2017130377A1 (ja) * | 2016-01-29 | 2018-02-01 | 株式会社日立製作所 | 計算機システム、及び、データ処理方法 |
US10754843B2 (en) | 2016-06-10 | 2020-08-25 | Fujitsu Limited | Method and apparatus for information management |
US10419352B2 (en) | 2016-09-15 | 2019-09-17 | Fujitsu Limited | Packet control apparatus and packet control system |
JP2018088215A (ja) * | 2016-11-30 | 2018-06-07 | 富士通株式会社 | データ管理プログラム、データ管理方法及びデータ管理装置 |
JP2020536341A (ja) * | 2017-10-05 | 2020-12-10 | ザダラ ストレージ インコーポレイテッド | 動的キーレンジを有するkvストアにおけるシャードの維持 |
JP7345482B2 (ja) | 2017-10-05 | 2023-09-15 | ザダラ ストレージ インコーポレイテッド | 動的キーレンジを有するkvストアにおけるシャードの維持 |
Also Published As
Publication number | Publication date |
---|---|
JP5733124B2 (ja) | 2015-06-10 |
US20130066883A1 (en) | 2013-03-14 |
US8832113B2 (en) | 2014-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5733124B2 (ja) | データ管理装置、データ管理システム、データ管理方法、及びプログラム | |
US10776396B2 (en) | Computer implemented method for dynamic sharding | |
US10209893B2 (en) | Massively scalable object storage for storing object replicas | |
US20180349396A1 (en) | Managing I/O Operations in a Storage Network | |
CN107391758B (zh) | 数据库切换方法、装置及设备 | |
JP2019212336A (ja) | 分散キャッシュクラスタ管理 | |
US9002844B2 (en) | Generating method, generating system, and recording medium | |
CN103150394A (zh) | 面向高性能计算的分布式文件系统元数据管理方法 | |
CN105190573A (zh) | 存储数据的减少冗余 | |
US10310904B2 (en) | Distributed technique for allocating long-lived jobs among worker processes | |
JP6361223B2 (ja) | トランザクションシステム | |
US10909086B2 (en) | File lookup in a distributed file system | |
US10515228B2 (en) | Commit and rollback of data streams provided by partially trusted entities | |
US11537617B2 (en) | Data system configured to transparently cache data of data sources and access the cached data | |
CN105637489A (zh) | 分布式数据库系统中的异步垃圾收集 | |
WO2015118865A1 (ja) | 情報処理装置、情報処理システム及びデータアクセス方法 | |
CN110352410A (zh) | 跟踪索引节点的访问模式以及预提取索引节点 | |
JP4971717B2 (ja) | ディレクトリ分散型記憶装置及びデータ処理要求移譲プログラム | |
WO2012056734A1 (ja) | データベースの管理方法 | |
US10185735B2 (en) | Distributed database system and a non-transitory computer readable medium | |
US9576062B1 (en) | Resource object resolution management | |
GB2565932B (en) | Storing data in dispersed storage network with consistency | |
EP3995972A1 (en) | Metadata processing method and apparatus, and computer-readable storage medium | |
KR102214697B1 (ko) | 데이터베이스 관리 시스템에서 데이터 저장을 위한 공간 관리를 제공하는 컴퓨터 프로그램 | |
CN112445783A (zh) | 一种用于数据库更新的方法、装置和服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140508 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150317 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5733124 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |