JP2010271998A - データベース管理方法、データベース装置、およびプログラム - Google Patents
データベース管理方法、データベース装置、およびプログラム Download PDFInfo
- Publication number
- JP2010271998A JP2010271998A JP2009124203A JP2009124203A JP2010271998A JP 2010271998 A JP2010271998 A JP 2010271998A JP 2009124203 A JP2009124203 A JP 2009124203A JP 2009124203 A JP2009124203 A JP 2009124203A JP 2010271998 A JP2010271998 A JP 2010271998A
- Authority
- JP
- Japan
- Prior art keywords
- database
- column
- database device
- processing load
- equal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】処理負荷の大きいデータベース装置10Aと処理負荷の小さいデータベース装置10Bとがある場合、処理負荷情報を等結合相手のデータベース装置10に送信して(ステップ(b)(d))、処理負荷の小さいデータベース装置10Bには、結合対象カラム値の個数を多くし、処理負荷の大きいデータベース装置10Aには、結合対象カラム値の個数を少なくする。このようにして、データベース装置10間の処理負荷を均等に分散する。
【選択図】 図1
Description
本実施形態の概要について、図1を用いて説明する。図1に示す分散データベースシステムでは、データベース装置10A,10Bとクライアント装置20とがネットワーク60を介して相互に通信可能に接続されている。仮に、データベース装置10Aの処理負荷が相対的に大きく、データベース装置10Bの処理負荷が相対的に小さいものとする。そして、クライアント装置20から、データベース装置10AのテーブルA1のカラムJと、データベース装置10BのテーブルB1のカラムLとを結合対象カラムとして、等結合処理を実行する要求(等結合依頼)を、データベース装置10Aが受ける場合を例として説明する。
次に、クライアント装置20の構成および機能について、図2を用いて説明する。クライアント装置20は、ネットワーク60を介して、複数のデータベース装置10と通信可能に接続されている。なお、図2には、クライアント装置20は、1つしか記載されていないが、2以上であっても構わない。クライアント装置20は、処理部21と記憶部22とを備える。処理部21は、コンピュータのCPUとメインメモリとで構成され、記憶部22に格納されているアプリケーションプログラムをメインメモリに展開して、各機能を具現化する。記憶部22は、各種プログラムや処理部21の演算結果を記憶する。処理部21の機能は、図2に示すように、等結合処理要求受付部211、等結合処理要求送信部212、等結合処理結果受信部213、および等結合処理結果出力部214を備える。
次に、データベース装置10の構成および機能について、図2を用いて説明する。データベース装置10A,10B(10)は、ネットワーク60を介して、クライアント装置20と通信可能に接続されている。各データベース装置10A,10Bは、同じ構成であるので、データベース装置10A(10)を代表させて、詳細な説明を行う。なお、図2には、データベース装置10は、2つしか記載されていないが、3以上であっても構わない。
次に、クライアント装置20の処理の流れについて、図3を用いて説明する(適宜図2参照)。ステップS301では、クライアント装置20の等結合処理要求受付部211が等結合依頼情報を受け付ける。なお、等結合依頼情報には、少なくとも、等結合処理の対象として指定する、データベース装置名、テーブル名、および結合対象カラム名を示す結合対象データベース装置情報と、結合対象カラム値の送信個数のデフォルト値nとが含まれている。
次に、データベース装置10の処理の流れについて、図4〜6を用いて説明する(適宜図2参照)。図4は、ステップS401〜S408の処理を示し、図5は、その続きのステップS409〜S416の処理を示している。図4に示すように、ステップS401では、等結合処理の対象となるデータベース装置10A,10Bの等結合依頼受信部111が、クライアント装置20から、等結合依頼情報を受信する。ステップS402では、データベース装置10Aの等結合依頼受信部111が、クライアント装置20から、等結合処理開始指示を受信する。ステップS403では、カラム値ブロック作成部112が、カラム値ブロックを作成する。このカラム値ブロックは、少なくとも、q個の結合対象カラム値、p個の結合可能カラム値、およびデータベース装置10A自身のCPU使用率xを含んでいる。なお、このステップS403の処理の詳細については、後記する。
q=2n(100−y)/{(100−x)+(100−y)} ・・式(1)
ただし、式(1)では、qが小数点以下の値を持つ場合は、すべて切上げて自然数の値とする。また、等結合処理完了の判断が、等結合相手から受信した結合対象カラム値の個数q’によって行われることから(ステップS409参照)、y=100の場合は、q=1と設定する。
前記した実施形態のステップS604では、結合対象カラム値の個数qを、自身のCPU使用率xおよび等結合相手のCPU使用率yを用いて算出する場合を示した。変形例においては、この結合対象カラム値の個数qを、CPU使用率以外に、メモリ使用率や、CPUの動作周波数やメモリ容量といったCPU性能を用いて算出する場合について説明する。例えば、メモリ使用率が大きい場合、または、メモリ空き容量が少ない場合、未使用のメモリ領域を超える個数の結合対象カラム値を受信しても、HDD(Hard Disc Drive)とのスワップが発生し、演算処理速度が格段に遅くなる。また、CPUの動作周波数が遅いと、多くの演算時間が必要となる。そのため、処理負荷を効率的に分散するためには、CPU使用率、CPUの動作周波数、メモリ使用率およびメモリ空き容量の逆数のいずれか一つまたはそれらの組み合わせに基づいて、結合対象カラム値の個数qが算出されても良い。具体的には、等結合相手のCPUの動作周波数が遅い場合には、結合対象カラム値の個数qが少なくなるようにする。また、等結合相手のメモリ使用率が大きい場合には、結合対象カラム値の個数qが少なくなるようにする。さらに、等結合相手のメモリ空き容量の逆数が大きい場合には、結合対象カラム値の個数qが少なくなるようにする。なお、CPUの動作周波数、メモリ使用率およびメモリ空き容量の逆数は、ステップS413(図5参照)で作成されるカラム値ブロックに格納されて、等結合相手のデータベース装置10に送信される。そして、前記した実施形態において、CPU使用率の代わりに、CPU使用率、CPUの動作周波数、メモリ使用率およびメモリ空き容量の逆数のいずれか一つまたはそれらの組み合わせを用いるようにしても良い。
11 処理部
12 記憶部
20 クライアント装置
21 処理部
22 記憶部
111 等結合依頼受信部
112 カラム値ブロック作成部
113 カラム値ブロック送信部
114 カラム値ブロック受信部
115 カラム値ブロック解析部
116 結合可能レコード検索部
117 結合可能レコード送信部
118 結合対象カラム値個数判定部
119 ソートマージ結合処理部
120 結合完了通知送信部
121 CPU使用率取得部
122 テーブル管理部
211 等結合処理要求受付部
212 等結合処理要求送信部
213 等結合処理結果受信部
214 等結合処理結果出力部
60 ネットワーク
Claims (5)
- 少なくとも2つのデータベース装置がネットワークを介して通信可能に接続され、2つの前記データベース装置が記憶するテーブルを等結合するために、双方の前記テーブルの指定されたカラムのカラム値が等しいレコードを抽出する前記データベース装置において用いられるデータベース管理方法であって、
前記データベース装置は、
処理部と、前記テーブルと自身の処理負荷の状態と他方のデータベース装置の処理負荷の状態とを記憶する記憶部とを備え、
(1)一方の前記データベース装置の処理部が、
前記一方のデータベース装置の記憶部から前記自身の処理負荷の状態と前記他方のデータベース装置の処理負荷の状態とを読み出して、該自身の処理負荷と該他方のデータベース装置の処理負荷とを比較し、該他方のデータベース装置の処理負荷が該自身の処理負荷より大きくなるにしたがい、前記他方のデータベース装置に送信するカラム値の個数を少なくなるように設定し、その少なく設定された個数のカラム値を自身のテーブルから読み出して、その自身のテーブルから読み出したカラム値および前記自身の処理負荷の状態を前記他方のデータベース装置に送信し、
(2)前記他方のデータベース装置の処理部が、受信した処理負荷の状態を自身の記憶部に記憶し、受信したカラム値を用いて、自身のテーブルを参照して、該受信したカラム値に等しいカラム値を含むレコードを抽出し、
(3)前記一方のデータベース装置および前記他方のデータベース装置の間で、どちらかの前記送信するカラム値の個数が0になるまで、(1)および(2)を交代で繰り返す
ことを特徴とするデータベース管理方法。 - 前記記憶部は、前記送信するカラム値の個数のデフォルト値を記憶し、
前記処理部は、前記処理負荷を、CPU使用率、CPUの動作周波数、メモリ使用率、メモリ空き容量の逆数のいずれか一つまたはそれらの組み合わせを変数として算出した値とし、その算出した値と前記デフォルト値とを用いて、前記送信するカラム値の個数を算出する
ことを特徴とする請求項1に記載のデータベース管理方法。 - 前記処理部は、前記他方のデータベース装置の処理負荷の状態を前記記憶部から読み出せない場合、前記送信するカラム値の個数を、前記デフォルト値に設定する
ことを特徴とする請求項2に記載のデータベース管理方法。 - 他のデータベース装置とネットワークを介して通信可能に接続され、前記他のデータベース装置が記憶するテーブルの指定されたカラムのカラム値と、自身の記憶するテーブルの指定されたカラムのカラム値とを等結合するために、双方のカラム値が等しいレコードを抽出するデータベース装置であって、
前記データベース装置は、
自身のテーブルと自身の処理負荷の状態と前記他のデータベース装置の処理負荷の状態とを記憶する記憶部と処理部とを備え、
前記処理部が、
前記記憶部から自身の処理負荷の状態と前記他のデータベース装置の処理負荷の状態とを読み出して、該自身の処理負荷と該他のデータベース装置の処理負荷とを比較し、該他のデータベース装置の処理負荷が該自身の処理負荷より大きくなるにしたがい、前記他のデータベース装置に送信するカラム値の個数を少なくなるように設定し、その少なく設定された個数のカラム値を前記自身のテーブルから読み出して、前記自身のテーブルから読み出したカラム値および自身の処理負荷の状態を前記他のデータベース装置に送信し、
前記他のデータベース装置から受信したカラム値を用いて、前記自身のテーブルを参照して、該受信したカラム値に等しいカラム値を含むレコードを抽出する
ことを特徴とするデータベース装置。 - 請求項1ないし請求項3のいずれか一項に記載のデータベース管理方法を、コンピュータとしての前記データベース装置に実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009124203A JP5199948B2 (ja) | 2009-05-22 | 2009-05-22 | データベース管理方法、データベース装置、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009124203A JP5199948B2 (ja) | 2009-05-22 | 2009-05-22 | データベース管理方法、データベース装置、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010271998A true JP2010271998A (ja) | 2010-12-02 |
JP5199948B2 JP5199948B2 (ja) | 2013-05-15 |
Family
ID=43419958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009124203A Expired - Fee Related JP5199948B2 (ja) | 2009-05-22 | 2009-05-22 | データベース管理方法、データベース装置、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5199948B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014211679A (ja) * | 2013-04-17 | 2014-11-13 | 株式会社東芝 | データベースシステム |
WO2014195818A1 (en) * | 2013-06-07 | 2014-12-11 | International Business Machines Corporation | Method and system for efficient sorting in a relational database |
JPWO2015025401A1 (ja) * | 2013-08-22 | 2017-03-02 | 株式会社日立製作所 | データベース管理システム及びデータベース管理方法 |
JP2018010424A (ja) * | 2016-07-12 | 2018-01-18 | 株式会社東芝 | データベースシステム、データ結合方法、統合サーバ、データ結合プログラム、データベースシステム連携方法、および、データベースシステム連携プログラム |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6257020A (ja) * | 1985-09-05 | 1987-03-12 | Nec Corp | リレ−シヨナルデ−タベ−スの結合処理方式 |
JPH0193843A (ja) * | 1987-10-05 | 1989-04-12 | Hitachi Ltd | テーブル結合方式 |
JPH05225250A (ja) * | 1992-02-17 | 1993-09-03 | Fujitsu Ltd | 関係データベースのテーブル結合方式 |
JPH103458A (ja) * | 1996-06-14 | 1998-01-06 | Hitachi Ltd | データベース管理システムの負荷分散方法 |
JP2000339390A (ja) * | 1999-05-31 | 2000-12-08 | Taabo Data Laboratory Kk | 表形式データの結合方法、結合された表形式データの提示方法、上記方法を実現するプログラムを記憶した記憶媒体、および、表形式データ提示システム |
JP2001109758A (ja) * | 1999-10-06 | 2001-04-20 | Hitachi Ltd | 仮想表インタフェースと該インタフェースを用いた問合せ処理システム及び方法 |
JP2004213680A (ja) * | 2004-02-02 | 2004-07-29 | Hitachi Ltd | データベース管理システムおよび問合せの処理方法 |
JP2005049943A (ja) * | 2003-07-29 | 2005-02-24 | Toshiba Corp | データ処理装置、データ処理方法およびプログラム |
JP2006172067A (ja) * | 2004-12-15 | 2006-06-29 | Hitachi Ltd | データベース管理方法、システム及びプログラム |
JP2009042869A (ja) * | 2007-08-07 | 2009-02-26 | Fujitsu Broad Solution & Consulting Inc | データベース管理プログラム及びデータベース管理装置 |
-
2009
- 2009-05-22 JP JP2009124203A patent/JP5199948B2/ja not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6257020A (ja) * | 1985-09-05 | 1987-03-12 | Nec Corp | リレ−シヨナルデ−タベ−スの結合処理方式 |
JPH0193843A (ja) * | 1987-10-05 | 1989-04-12 | Hitachi Ltd | テーブル結合方式 |
JPH05225250A (ja) * | 1992-02-17 | 1993-09-03 | Fujitsu Ltd | 関係データベースのテーブル結合方式 |
JPH103458A (ja) * | 1996-06-14 | 1998-01-06 | Hitachi Ltd | データベース管理システムの負荷分散方法 |
JP2000339390A (ja) * | 1999-05-31 | 2000-12-08 | Taabo Data Laboratory Kk | 表形式データの結合方法、結合された表形式データの提示方法、上記方法を実現するプログラムを記憶した記憶媒体、および、表形式データ提示システム |
JP2001109758A (ja) * | 1999-10-06 | 2001-04-20 | Hitachi Ltd | 仮想表インタフェースと該インタフェースを用いた問合せ処理システム及び方法 |
JP2005049943A (ja) * | 2003-07-29 | 2005-02-24 | Toshiba Corp | データ処理装置、データ処理方法およびプログラム |
JP2004213680A (ja) * | 2004-02-02 | 2004-07-29 | Hitachi Ltd | データベース管理システムおよび問合せの処理方法 |
JP2006172067A (ja) * | 2004-12-15 | 2006-06-29 | Hitachi Ltd | データベース管理方法、システム及びプログラム |
JP2009042869A (ja) * | 2007-08-07 | 2009-02-26 | Fujitsu Broad Solution & Consulting Inc | データベース管理プログラム及びデータベース管理装置 |
Non-Patent Citations (2)
Title |
---|
CSNG200900173022; 須賀 啓敏: '情報統合サービスのための分散型情報統合アーキテクチャ及びジョイン方式の提案' マルチメディア,分散,協調とモバイル(DICOMO2008)シンポジウム論文集 情報処理学会シンポジ Vol.2008 No.1, 20080709, p.168-176, 社団法人情報処理学会 * |
JPN6013003759; 須賀 啓敏: '情報統合サービスのための分散型情報統合アーキテクチャ及びジョイン方式の提案' マルチメディア,分散,協調とモバイル(DICOMO2008)シンポジウム論文集 情報処理学会シンポジ Vol.2008 No.1, 20080709, p.168-176, 社団法人情報処理学会 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014211679A (ja) * | 2013-04-17 | 2014-11-13 | 株式会社東芝 | データベースシステム |
WO2014195818A1 (en) * | 2013-06-07 | 2014-12-11 | International Business Machines Corporation | Method and system for efficient sorting in a relational database |
JP2016524758A (ja) * | 2013-06-07 | 2016-08-18 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | リレーショナル・データベースにおける効率的なソートのための方法およびシステム |
US9916339B2 (en) | 2013-06-07 | 2018-03-13 | International Business Machines Corporation | Efficient sorting in a relational database |
JPWO2015025401A1 (ja) * | 2013-08-22 | 2017-03-02 | 株式会社日立製作所 | データベース管理システム及びデータベース管理方法 |
JP2018010424A (ja) * | 2016-07-12 | 2018-01-18 | 株式会社東芝 | データベースシステム、データ結合方法、統合サーバ、データ結合プログラム、データベースシステム連携方法、および、データベースシステム連携プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5199948B2 (ja) | 2013-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111723160B (zh) | 一种多源异构增量数据同步方法及系统 | |
US10176208B2 (en) | Processing time series data from multiple sensors | |
CN102902763B (zh) | 关联、检索信息处理数据和处理信息任务的方法及装置 | |
EP2380090B1 (en) | Data integrity in a database environment through background synchronization | |
CN102567480A (zh) | 自动匹配数据集与存储组件 | |
US9870411B2 (en) | Managing data ingestion | |
CN103140850B (zh) | 移动设备上的数据共享 | |
JP5276639B2 (ja) | 分散データベース管理装置および分散データベース管理プログラム | |
CN104584524A (zh) | 聚合中介系统中的数据 | |
JP5199948B2 (ja) | データベース管理方法、データベース装置、およびプログラム | |
US9734177B2 (en) | Index merge ordering | |
Qiao et al. | Gobblin: Unifying data ingestion for Hadoop | |
JP6262505B2 (ja) | 分散型データ仮想化システム、クエリ処理方法及びクエリ処理プログラム | |
US11216421B2 (en) | Extensible streams for operations on external systems | |
JP5199949B2 (ja) | データベース管理方法、分散データベースシステム、およびプログラム | |
EP3709173B1 (en) | Distributed information memory system, method, and program | |
Gupta et al. | Leveraging metadata in no SQL storage systems | |
US20120259847A1 (en) | Collaborative Data Appliance | |
JPWO2016067370A1 (ja) | 情報処理装置、方法およびプログラム | |
Plemmons | Working with a DBMS using SAS® Enterprise Guide® | |
CN104133831A (zh) | 跨域数据联接系统、跨域数据联接方法及节点 | |
Kuznetsov et al. | Life in extra dimensions of database world or penetration of NoSQL in HEP community | |
CN111611245B (zh) | 处理数据表的方法和系统 | |
US20220374424A1 (en) | Join queries in data virtualization-based architecture | |
JP6776562B2 (ja) | 更新装置、更新方法、更新プログラム、及び、データベース管理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110801 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110819 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130208 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5199948 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130201 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |