JP2013127750A - パーティション分割装置及び方法及びプログラム - Google Patents

パーティション分割装置及び方法及びプログラム Download PDF

Info

Publication number
JP2013127750A
JP2013127750A JP2011277623A JP2011277623A JP2013127750A JP 2013127750 A JP2013127750 A JP 2013127750A JP 2011277623 A JP2011277623 A JP 2011277623A JP 2011277623 A JP2011277623 A JP 2011277623A JP 2013127750 A JP2013127750 A JP 2013127750A
Authority
JP
Japan
Prior art keywords
partition
partitioning
cost
division
boundary line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011277623A
Other languages
English (en)
Inventor
Akiyoshi Kawada
明良 川田
Harushio Hidaka
東潮 日高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011277623A priority Critical patent/JP2013127750A/ja
Publication of JP2013127750A publication Critical patent/JP2013127750A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】 設定されたパーティション数に対し、範囲参照の並列アクセスの応答性能向上を目的とした適切なパーティション分割を行う。
【解決手段】 本発明は、入力データのキー項目に対してキー値の小さい順に境界線を決定し、取得した所定の行数を所定のパーティション数初期値で除した行数に各パーティションを等分割し、分割された各パーティション分割候補を格納する。境界線を一つ削除し、パーティション分割を生成し、並列スキャン処理の並列数を取得し、スレッド毎に割り当てられたIOコストうちで最大値を入力データのクエリに対するＩＯコストとし、削除できる境界線がなくなるまで行い、パーティション分割候補からパーティション数が所定のパーティション数以下のコスト値が最小となるパーティション分割を出力する。
【選択図】 図２

Description

本発明は、パーティション分割装置及び方法及びプログラムに係り、特に、データベースにおいて大きなデータサイズを扱う場合に、テーブルのパーティション分割を行うことで検索対象データを分散させ、並列に同時にアクセスを行うことで応答性能を向上させるためのテーブルのパーティション分割装置及び方法及びプログラムに関する。
商用データベースでは与えられたワークロードに関するパーティションの分割の実施要否を推奨し、パフォーマンス向上を支援する機能やデータベース設計を支援する設計アドバイザが存在する（例えば、非特許文献１，２参照）。このようにデータサイズの大きなデータベース設計は大変複雑であり、それ自体ツールの支援やパーティション分割の自動実現方式が必要とされる分野である。
しかし、従来の技術は、パーティション分割の実施要否の推奨を行うものであって、具体的にパーティション分割を行うにあたり分割方法（境界線を指定する分割キーの値）の出力には対応していない。
これに対し、入力データの範囲参照検索区間の端点を抽出して境界線候補として境界線候補記憶手段に格納し、該境界線候補とデータアクセスに要するIOコストをゼロとしたパーティション分割を生成し、範囲参照検索区間の両端を除く境界線を一つ削除し、削除後のパーティション分割を生成する。そして、境界線削除後のIOコスト増分値を計算し、パーティション分割候補のパーティション数が所定の数Ｎ以下で、かつ、IOコスト増分値が最小となるパーティション分割候補をパーティション分割の結果として出力する範囲参照検索が考えられる。しかし、並列アクセスを考慮に入れていないため、並列アクセスの応答性能向上を目的としたパーティション分割技術としては効果を望むことができない。
Oracle Databaseパフォーマンス・チューニング・ガイド11gリリース（11.1） 18 SQLアクセス・アドバイザhttp://otndnld.oracle.co.jp/document/products/oracle11g/111/doc_dvd/server.111/E0574302/advisor.htm DB2 V8.2 設計アドバイザの使用パート2:データウェアハウスを設計するのに有効なヘルプ情報http://www-06.ibm.com/jp/domino01/mkt/dminfo.nsf/499721c3388537bd49256b1a001aab28/4925722f004efcee492570d4005a65ef/$FILE/Using%20the%20DB2%20V8.pdf
しかしながら、上記の範囲参照検索において、テーブルのパーティション分割を行い並列アクセスを実行するにあたり、応答時間は複数の並列アクセス処理単位（以下、「スレッド」と記す）の中で応答時間が最大となるスレッドの応答時間のみにより決まるため、もし検索対象データが各パーティションに均等に分配されていなければ、並列アクセスの効果を享受することができない。具体的には、並列アクセス数（典型的にはＣＰＵコア数に等しい）を、例えば4とした場合、いくら3スレッドの応答時間を小さくしても残り1スレッドの応答時間が変わらなければ、系全体の応答性能は変わらない。
並列アクセスの応答性能向上を目的としたパーティション分割方式を検討するにあたり、検索対象データを各パーティションに分散配置し、並列に同時にアクセスを行った場合に応答時間が最大となるスレッドの応答時間を小さく抑えることで系全体の応答性能向上を図ることができる。そこで各スレッドが分担するＩＯコストが均等になるように検索対象データを各スレッドに分配する。そこで、並列アクセス数（例えば並列アクセス数を４とする）に対し、パーティション数(例えばパーティション数を１２とする)の各パーティションに対し、各スレッドが担当するアクセス先パーティションをラウンドロビンにより対応付け（実際には並列アクセスのアクセス先を決める処理は並列アクセス処理の実装に依存する）、各スレッドが扱うＩＯコストが均等になるように検索対象データの各パーティションへの分配を行う。この例を図１に示す。同図では、並列アクセス数が設定値（例えば、４、ＣＰＵコア数）、並列アクセス単位（以下「スレッド」と記す）のアクセス先パーティションへの対応付けをラウンドロビンにより決める場合を示す。図１では、スレッドｉをパーティション（i mod 4）に対応付ける例を示すが、実際には並列アクセスの実装に依存する。ここでＩＯコストは全てのパーティション、ワークロード内の全てのクエリからの寄与の和として定義する。ワークロード内のクエリＱに対するパーティションｉのＩＯコストをXjとした場合、系のコストは、
ΣQmax (X0+X4+X8+…，X1+X5+X9+…，X2+X6+X10+…，X3+X7+X11+…)
となる。ただし、Xi=min[(1+p)×パーティションｉの対象行数、パーティションｉ全行数]であり、１＋pは、インデクススキャンの1行あたりIOコスト／シーケンススキャンの1行当りのIOコストである。各パーティションにおいては、インデックススキャンまたはシーケンシャルスキャンのうちでＩＯコストの小さい方を選択する。行数見積もりは行数分布のヒストグラムから線形補間で行う。
上記のように、各スレッドが扱うIOコストが均等になるような分配方法のひとつは各行を各パーティションとして細分し、パーティション数を最大にすることである。しかし、その一方で、パーティション数を増大させすぎると、アクセス先のパーティションを決定する処理やパーティションごとの固有処理で必要なオーバヘッドが無視できない程大きくなるため適当といえない。結果的には応答性能向上を目的としたパーティション分割ではパーティション数はある有限な値を取らざるを得ない。
本発明は、上記の点に鑑みなされたもので、設定されたパーティション数に対し、範囲参照の並列アクセスの応答性能向上を目的とした適切なパーティション分割が可能なパーティション分割装置及び方法及びプログラムを提供することを目的とする。
上記の課題を解決するため、本発明（請求項１）は、並列処理のためのデータベースのテーブルのパーティション分割を行うパーティション分割装置であって、
境界線候補記憶手段を初期化し、入力データのキー項目に対してキー値の小さい順に境界線を決定し、取得した所定の行数を所定のパーティション数初期値で除した行数に各パーティションを等分割し、該境界線を該境界線候補記憶手段に格納し、分割された各パーティション分割候補をパーティション分割候補記憶手段に格納するパーティション初期分割手段と、
パーティション分割の境界線のうちで両端を除く境界線を一つ削除し、削除後のパーティション分割を生成し、並列スキャン処理の並列数を取得し、並列スキャン処理単位(スレッド)毎に割り当てられたIOコストうちで最大値を前記入力データのクエリに対するＩＯコストとし、前記パーティション分割候補記憶手段に格納する境界線削除手段と、
前記パーティション分割候補記憶手段のパーティション分割候補からパーティション数が所定のパーティション数以下のコスト値が最小となるパーティション分割を出力する評価手段と、を有する。
また、本発明（請求項２）は、前記境界線削除手段において、前記並列数の前記スレッドに対して、各パーティションをラウンドロビンで対応付ける。
また、本発明（請求項３）は、前記境界線削除手段において、前記ＩＯコストを、与えられた行当りのインデックススキャンのＩＯコストとシーケンシャルスキャンのＩＯコストの比を用いて計算する。
本発明によれば、入力データを利用し、与えられたワークロードに対して並列アクセスにおけるアクセスコストが各スレッドへより均等に分配されるようにパーティション分割を行うことで範囲参照検索の並列アクセスの応答性能向上を図ることができる。また、各スレッドのアクセスコストの分配が均等となるような適切なパーティション分割の分割方法（境界線を指定する分割キー値）を出力するアドバイザを実現できる。
ＩＯコストの定義を示す図である。 本発明の一実施の形態におけるパーティション分割装置の構成図である。 本発明の一実施の形態における入力データのフォーマットである。 本発明の一実施の形態におけるヒストグラム記憶部のフォーマットである。 本発明の一実施の形態におけるパーティション数記憶部の例である。 本発明の一実施の形態におけるＩＯコスト比記憶部の例である。 本発明の一実施の形態における並列数設定値記憶部の例である。 本発明の一実施の形態におけるパーティション数初期値記憶部の例である。 本発明の一実施の形態における境界線候補記憶部の例（境界線候補数が３の場合）である。 本発明の一実施の形態におけるパーティション分割候補記憶部の例である。 本発明の一実施の形態におけるパーティション分割装置の全体動作のフローチャートである。 本発明の一実施の形態におけるパーティション分割初期生成を示す図である。 本発明の一実施の形態におけるパーティション分割の結果出力例である。 本発明の一実施の形態におけるＩＯコスト値の計算例である。 本発明の一実施の形態における個々の範囲参照検索に対する個別のＩＯコスト値算出例である。 本発明の一実施の形態における行数見積もり方法の例である。 本発明の一実施の形態における図１１のＳ１３０のパーティション分割の初期生成処理のフローチャートである。 本発明の一実施の形態における図１１のＳ１６０の詳細フローチャートである。 本発明の一実施の形態における図１８のＳ３５０の詳細フローチャートである。 本発明の一実施の形態における出力結果をテーブル定義として利用する例である。
以下図面と共に、本発明の実施の形態を説明する。
まず、本発明の概要を説明する。
以下に、本発明を具体的に説明する。
図２は、本発明の一実施の形態におけるパーティション分割装置の構成を示す。
同図に示すパーティション分割装置は、入力データ記憶部１、パーティション分割処理部２、出力データ記憶部３、境界線候補記憶部４、パーティション分割候補記憶部５、パーティション数記憶部６、ＩＯコスト比設定値記憶部７、ヒストグラム記憶部８、並列数設定値記憶部９、パーティション数初期値記憶部１０から構成される。
なお、同図では、入力データ記憶部１、出力データ記憶部３、境界線候補記憶部４、パーティション分割候補記憶部５、パーティション数記憶部６、ＩＯコスト比設定値記憶部７、ヒストグラム記憶部８、並列数設定値記憶部９、パーティション数初期値記憶部１０が、それぞれ異なる記憶媒体に格納されるように示されているが、この例に限定されることなく、個々の記憶媒体または、データベース等の複数の種類のデータを格納する記憶媒体に格納してもよい。
パーティション分割処理部２は、ＣＰＵで動作する処理部であり、データバスにより上記の記憶部と接続されている。
図３は、本発明の一実施の形態における入力データのフォーマットを示す。入力データは、クエリ名、分割キー名、範囲参照検索区間開始値、範囲参照検索区間終了値を含む。同図に示すように入力データは、分割キーの取り得る範囲（定義域）も登録する。当該入力データは入力されると入力データ記憶部１に格納される。
図４は、本発明の一実施の形態におけるヒストグラム記憶部のフォーマットであり、ヒストグラム記憶部８は、分割キー名、開始値、終了値、行数を格納する。
図５は、本発明の一実施の形態におけるパーティション数記憶部の例であり、パーティション記憶部６には、予めパーティション数設定値Nが格納される。
図６は、本発明の一実施の形態におけるＩＯコスト比記憶部の例であり、ＩＯコスト比記憶部７には、運用者により設定された行当りのインデックススキャンのＩＯコストとシーケンシャルスキャンのＩＯコストの比が格納されている。例えば、図１１のステップ１００のＩＯコスト比p(設定値)を保持する。例えば、ｐ＝2000の場合は、「2000」を保持する。
上記のパーティション数記憶部６とＩＯコスト比設定値記憶部７のデータは、パーティション分割処理部２によるＩＯコスト増分値の計算に利用される。
図７は、本発明の一実施の形態における並列数設定値記憶部の例であり、予め並列数が格納される。
図８は、本発明の一実施の形態におけるパーティション数初期値記憶部の例であり、分割キーごとにパーティション数の初期値が格納される。
図９は、本発明の一実施の形態における境界線候補記憶部の例であり、境界線候補数が３の場合を示している。分割キーの追加、削除は分割キー値が昇順を保つような位置への挿入、削除により行う。
図１０は、本発明の一実施の形態におけるパーティション分割候補記憶部の例であり、同図（ａ）は、初期生成時の例を示し、同図（ｂ）は初期生成時以外の例を示す。同図（ａ）において、分割キー１の境界線数を３、分割キー２の境界線数３とすると、パーティション数は、（３−１）×（３−１）＝４となる。
上記の構成における装置の動作を説明する。
図１１は、本発明の一実施の形態におけるパーティション分割装置の全体動作のフローチャートである。以下では、すでに入力データが入力され、入力データ記憶部１に格納されているものとする。
ステップ１００） パーティション分割処理部２は、ＩＯコスト比設定値記憶部７からＩＯコスト比ｐを取得する。
ステップ１１０） パーティション分割処理部２は、パーティション数記憶部６からパーティション数Nを取得する。
ステップ１２０） パーティション分割処理部２は、並列数設定値記憶部９から並列数を取得する。
ステップ１２５） パーティション分割処理部２は、パーティション数初期値記憶部１０からパーティション数の初期値を取得する。
ステップ１３０） パーティション分割処理部２は、パーティション分割の初期生成を行う。
パーティション分割を行うにあたり、まず、パーティションの初期生成として検索対象データの行数が均等なパーティション分割（初期生成のパーティション分割数は設定値とする)を生成する。この例を図１２に示す。同図に示すパーティション分割初期生成の例では、分割キーの定義域を分割数がパーティション数初期値（設定値、例えば、１０）となるように行数で等分割したパーティション分割を初期候補とする。
パーティションの分割を行うにあたり、図３に示す入力データを入力データ記憶部１から読み込み、当該入力データを元に最も細分化されたパーティション分割を生成し、境界線候補記憶部４に格納する。具体的には、図９に示すように、入力データの範囲参照検索範囲の端点（開始値、終了値）を全て使用し、これを境界線としたパーティション分割を得る。これにより、図１０（ａ）に示すような分割キー境界候補が得られる。同図の例において、「分割キー１」の境界線数を３、「分割キー２」の境界線数を３とすると、パーティション数＝（３−１）×（３−１）＝４となる。
ステップ１４０） パーティション分割処理部２は、図１０に示すように分割キーの集合をパーティション分割候補としてパーティション分割候補記憶部５に格納する。なお、パーティション数は図１０から導出可能である。
ステップ１５０） パーティション分割処理部２は、削除できる境界線が存在するかを判定する。なお、定義域の両端は削除不可である。具体的には、パーティション数＞設定値Ｎであれば存在すると判定し、ステップ１６０に移行し、パーティション数≦設定値Ｎの場合は存在しないと判定し、ステップ１７０に移行する。
ステップ１６０） ステップ１５０で削除できる境界線があると判断された場合は、境界線数を１減少させた場合のパーティション分割を取得し、パーティション分割候補記憶部５に格納し、ステップ１４０に戻る。詳細な処理については図１８で後述する。
ステップ１７０） パーティション分割処理部２は、上記で境界線を削除したことにより、アクセス範囲が大きくなり、パーティション分割を生成し、ＩＯコスト増分値を計算し、パーティション分割候補からパーティション数≦Ｎを満たすＩＯコスト値が最小となるパーティション分割を出力データ記憶部３に出力する。入力データに対するパーティション分割の結果は図１３のように出力される。
次に、上記のステップ１３０のパーティション分割の初期生成処理について説明する。
図１７は、本発明の一実施の形態における図１１のステップ１３０のパーティション分割の初期生成処理のフローチャートである。
ステップ２００） パーティション分割処理部２は、境界線候補記憶部４の境界線候補を初期化する。
ステップ２１０） ヒストグラム記憶部８からヒストグラムを読み出して全行数を取得する。
ステップ２２０） パーティション分割候補記憶部５のパーティション数初期値から１行読み出す。
ステップ２３０） ステップ２１０で取得した全行数とステップ２２０で読み出したパーティション数初期値より
全行数÷パーティション数初期値
の計算を行う。
ステップ２４０）キー項目に対してキー値の小さい方から順に境界線を決定し、ステップ２３０で計算した行数に各パーティションを等分割する。
ステップ２５０） ステップ２４０で等分割されたパーティションを境界線候補記憶部４に保存する。パーティションの分割を行うにあたり、図３に示す入力データを入力データ記憶部１から読み込み、当該入力データを元に最も細分化されたパーティション分割を生成し、分割キー値の集合を境界線候補として境界線候補記憶部４に格納する。具体的には、図９に示すように、入力データの範囲参照検索範囲の端点（開始値、終了値）を全て使用し、これを境界線としたパーティション分割を得る。これにより、図１０（ａ）に示すような分割キー境界候補が得られる。同図の例において、「分割キー１」の境界線数を３、「分割キー２」の境界線数を３とすると、パーティション数＝（３−１）×（３−１）＝４となる。
ステップ２６０） 読み出していないパーティション数初期値がある場合には、ステップ２２０に戻る。全て読み出している場合は処理を終了する。
次に、図１１のステップ１６０の境界線数を１減少させた場合のパーティション分割の取得処理について説明する。
図１８は、本発明の一実施の形態における図１１のステップ１６０の詳細フローチャートである。
ステップ３００） 境界線数Ｍが入力されると、パーティション分割処理部２は、一つ削除できる境界線がある場合に、パーティション分割候補記憶部５に一つの境界線を削除した後の境界線数Ｍと記述し、パーティション分割候補記憶部５の境界線数Ｍのパーティション分割候補を初期化する。
ステップ３１０） パーティション分割候補記憶部５の境界線数Ｍ＋１のパーティション分割候補からＩＯコストが最小となるパーティション分割を一つ選択する。
ステップ３１５） 選択したパーティション分割のパーティション数が、パーティション数記憶部６から取得したパーティション数N以下（選択したパーティション分割のパーティション数≦Ｎ）であればステップ３９５に移行する。そうでない場合はステップ３２０に移行する。
ステップ３２０） パーティション分割候補記憶部５のパーティション分割候補の中で一つ境界線（ただし、定義域の両端は対象外）を選択する。
ステップ３３０） メモリ（図示せず）のＩＯコスト値を０に初期化する。
ステップ３４０） 入力データ記憶部１から入力データを１行読み出して、範囲参照検索区間を取り出す。
ステップ３５０） 入力データの範囲参照検索に対するＩＯコストを計算し、メモリ（図示せず）のＩＯコスト値に加算する。詳細は図１９で後述する。
ステップ３７０） 入力データ記憶部１から読み出していないデータがある場合はステップ３４０に移行する。
ステップ３８０） パーティション分割候補記憶部５にパーティション分割候補を追加保存する。
ステップ３９０） パーティション分割候補記憶部５に選択していない境界線が存在する場合は、ステップ３２０に移行する。
ステップ３９５） パーティション分割候補記憶部５にＩＯコストの最小の選択していない境界線数Ｍ＋１のパーティション分割候補が存在する場合には、ステップ３１０に移行する。
次に、上記の図１８のステップ３５０の入力データの範囲参照検索に対するＩＯコストを計算処理について説明する。
図１９は、本発明の一実施の形態における図１８のステップ３５０の詳細フローチャートである。
ステップ４００） パーティション分割処理部２は、図１に示すように、並列数の各スレッドに対し、各パーティションをラウンドロビンで対応付ける。図１に示す並列アクセス数が設定値（例えば、４、CPUコア数）とし、スレッドのアクセスをパーティションへの対応付けをラウンドロビンにより決める場合は、
max(X0+X4+X8+…，X1+X5+X9+…，X2+X6+X10+…，X3+X7+X11＋…)
とする。ただし、Xi=min[(1+p)×パーティションｉの対象行数、パーティションｉ全行数]である。
ステップ４１０） 以下のＩＯコスト計算を行い、ＩＯコスト値に加算する。
ＩＯコスト値の計算にあたっては、図１４に示すように、入力データの全ての範囲参照検索及び全てのパーティションにわたるＩＯコスト値からの寄与の総和とする。ここで、個々の範囲参照検索に対する個別のＩＯコスト値は、図１５に示すように、行数の見積もり値及び行当りのインデックススキャンのＩＯコストとシーケンシャルスキャンのＩＯコストの比（運用者によるシステム設定値)を元に計算した、以下のうちでいずれか小さい値を元に算出する。
・行当りのインデックススキャンのＩＯコスト×対象行数；
・行当りのシーケンシャルスキャンのＩＯコスト×パーティション内の行数；
ただし、行数については、ヒストグラム記憶部８の図４に示すヒストグラムを使用した見積もり値を使用する。図１６の例では、分割キー１の値が１５と４０の間の行数を見積もるには、線形補間を用いて、
見積もり行数＝FLOOR [25×(20−15)/(20−10)+10×(40−20)/(50−20)]
ただし、FLOORは小数点以下切り下げを表す。こうしてパーティション分割をパーティション数が設定値以下に達するか、または、削除できる境界線がなくなるまで生成し（定義域の両端は削除負荷）、ＩＯコスト値を評価した後、パーティション分割候補のうち、パーティション数が設定値以下の条件を満たすＩＯコスト値が最小となるパーティション分割の結果を出力する。
上記のフローチャートに示したように、パーティション分割を行うにあたり、まず、パーティションの初期生成として検索対象データの行数が均等なパーティション分割（初期生成のパーティション分割数は設定値とする)を生成する。この例を図１２に示す。同図に示すパーティション分割初期生成の例では、分割キーの定義域を分割数がパーティション数初期値となるように行数で等分割したパーティション分割を初期候補とする。
次に、一つの境界線を削除する処理を実行し、全ての可能なパーティション分割を生成し、ＩＯコストを計算する。この処理では、各候補にわたって、ＩＯコスト値を評価する。ＩＯコスト値の計算にあたっては、図１４に示すように、入力データの全ての範囲参照検索及び全てのパーティションにわたるＩＯコスト値からの寄与の総和とする。こうしてパーティション分割をパーティション数が設定値以下に達するか、または、削除できる境界線がなくなるまで生成し（定義域の両端は削除不可）、ＩＯコスト値を評価した後、パーティション分割候補のうち、パーティション数が設定値以下の条件を満たすＩＯコスト値が最小となるパーティション分割の結果を出力する。
上述した処理の結果は、例えば、パーティション分割のテーブルの定義のために用いることができる。図２０に、出力結果をテーブル定義として利用する例を示す。同図は、パーティション数３の場合を示している。テーブルpartitionをテーブルpartition0、partition1、partition2にパーティション分割する分割キーkeyの値の定義域０＜key≦10に対して境界線をkey=2.5とした例である。
上記のように、入力データのワークロードに対して、並列アクセスにおけるアクセスコストが各スレッドへより均等に分配されるようにラウンドロビン方式でパーティションを割り当て、割り当てられたパーティションの大きさから各スレッドのＩＯコストを算出し、各スレッドのＩＯコストの最大値を系全体のコストとし、当該系全体のコストが最小となるように、パーティション分割候補のうち、パーティション数が所定の数以下の条件を満たすＩＯコストが最小となるパーティション分割を行う。これは、全体の応答時間はアクセスコストが最大のスレッドに対する応答時間のみにより決まるため、スレッドへのアクセスコストの分配が不均等なパーティション分割は応答性能向上を目的とした適切なパーティション分割とはいえないからである。
なお、上記の実施の形態におけるパーティション分割処理部２の処理をプログラムとして構築し、パーティション分割装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
１ 入力データ記憶部
２ パーティション分割処理部
３ 出力データ記憶部
４ 境界線候補記憶部
５ パーティション分割候補記憶部
６ パーティション数記憶部
７ ＩＯコスト比設定値記憶部
８ ヒストグラム記憶部
９ 並列数設定値記憶部
１０ パーティション数初期値記憶部

Claims (7)

  1. 並列処理のためのデータベースのテーブルのパーティション分割を行うパーティション分割装置であって、
    境界線候補記憶手段を初期化し、入力データのキー項目に対してキー値の小さい順に境界線を決定し、取得した所定の行数を所定のパーティション数初期値で除した行数に各パーティションを等分割し、該境界線を該境界線候補記憶手段に格納し、分割された各パーティション分割候補をパーティション分割候補記憶手段に格納するパーティション初期分割手段と、
    パーティション分割の境界線のうちで両端を除く境界線を一つ削除し、削除後のパーティション分割を生成し、並列スキャン処理の並列数を取得し、並列スキャン処理単位(スレッド)毎に割り当てられたIOコストうちで最大値を前記入力データのクエリに対するＩＯコストとし、前記パーティション分割候補記憶手段に格納する境界線削除手段と、
    前記パーティション分割候補記憶手段のパーティション分割候補からパーティション数が所定のパーティション数以下のコスト値が最小となるパーティション分割を出力する評価手段と、
    を有することを特徴とするパーティション分割装置。
  2. 前記境界線削除手段は、
    前記並列数の前記スレッドに対して、各パーティションをラウンドロビンで対応付ける
    請求項１記載のパーティション分割装置。
  3. 前記境界線削除手段は、
    前記ＩＯコストを、与えられた行当りのインデックススキャンのＩＯコストとシーケンシャルスキャンのＩＯコストの比を用いて計算する
    請求項１記載のパーティション分割装置。
  4. 並列処理のためのデータベースのテーブルのパーティション分割を行うパーティション分割方法であって、
    パーティション初期分割手段が、境界線候補記憶手段を初期化し、入力データのキー項目に対してキー値の小さい順に境界線を決定し、取得した所定の行数を所定のパーティション数初期値で除した行数に各パーティションを等分割し、該境界線を該境界線候補記憶手段に格納し、分割された各パーティション分割候補をパーティション分割候補記憶手段に格納するパーティション初期分割ステップと、
    境界線削除手段が、パーティション分割の境界線のうちで両端を除く境界線を一つ削除し、削除後のパーティション分割を生成し、並列スキャン処理の並列数を取得し、並列スキャン処理単位(スレッド)毎に割り当てられたIOコストうちで最大値を前記入力データのクエリに対するＩＯコストとし、前記パーティション分割候補記憶手段に格納する処理を、削除できる境界線がなくなるまで行う境界線削除ステップと、
    評価手段が、前記パーティション分割候補記憶手段のパーティション分割候補からパーティション数が所定のパーティション数以下のコスト値が最小となるパーティション分割を出力する評価ステップと、
    を行うことを特徴とするパーティション分割方法。
  5. 前記境界線削除ステップにおいて、
    前記並列数の前記スレッドに対して、各パーティションをラウンドロビンで対応付ける
    請求項４記載のパーティション分割方法。
  6. 前記境界線削除ステップにおいて、
    前記ＩＯコストを、与えられた行当りのインデックススキャンのＩＯコストとシーケンシャルスキャンのＩＯコストの比を用いて計算する
    請求項４記載のパーティション分割方法。
  7. コンピュータを、
    請求項１乃至３のいずれか１項に記載のパーティション分割装置の各手段として機能させるためのパーティション分割プログラム。
JP2011277623A 2011-12-19 2011-12-19 パーティション分割装置及び方法及びプログラム Pending JP2013127750A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011277623A JP2013127750A (ja) 2011-12-19 2011-12-19 パーティション分割装置及び方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011277623A JP2013127750A (ja) 2011-12-19 2011-12-19 パーティション分割装置及び方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2013127750A true JP2013127750A (ja) 2013-06-27

Family

ID=48778235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011277623A Pending JP2013127750A (ja) 2011-12-19 2011-12-19 パーティション分割装置及び方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2013127750A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101833996B1 (ko) 2017-08-18 2018-04-13 주식회사 마크베이스 데이터 검색 시스템 및 방법
JP7466619B1 (ja) 2022-12-23 2024-04-12 三菱電機インフォメーションネットワーク株式会社 データベース管理システム、パーティション分割装置、パーティション分割方法およびパーティション分割プログラム
KR102679218B1 (ko) * 2023-09-26 2024-06-28 쿠팡 주식회사 데이터 관리를 위한 테이블 분할 방법 및 이를 위한 전자 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101833996B1 (ko) 2017-08-18 2018-04-13 주식회사 마크베이스 데이터 검색 시스템 및 방법
JP7466619B1 (ja) 2022-12-23 2024-04-12 三菱電機インフォメーションネットワーク株式会社 データベース管理システム、パーティション分割装置、パーティション分割方法およびパーティション分割プログラム
KR102679218B1 (ko) * 2023-09-26 2024-06-28 쿠팡 주식회사 데이터 관리를 위한 테이블 분할 방법 및 이를 위한 전자 장치

Similar Documents

Publication Publication Date Title
US11194780B2 (en) Early exit from table scans of loosely ordered and/or grouped relations using nearly ordered maps
US10915528B2 (en) Pluggable storage system for parallel query engines
JP2019194882A (ja) ファーストクラスデータベース要素としての半構造データの実装
US11423082B2 (en) Methods and apparatus for subgraph matching in big data analysis
US8732139B2 (en) Method and system for dynamically partitioning very large database indices on write-once tables
US9916313B2 (en) Mapping of extensible datasets to relational database schemas
US11544271B2 (en) Key-value storage using a skip list
JP2019530068A (ja) テーブルのインクリメンタルクラスタリング保守
US11074242B2 (en) Bulk data insertion in analytical databases
US20190278773A1 (en) Grouping in analytical databases
US20150058352A1 (en) Thin database indexing
US9569477B1 (en) Managing scanning of databases in data storage systems
US10877973B2 (en) Method for efficient one-to-one join
US20170270149A1 (en) Database systems with re-ordered replicas and methods of accessing and backing up databases
US20160125021A1 (en) Efficient updates in non-clustered column stores
JP2013127750A (ja) パーティション分割装置及び方法及びプログラム
US11914740B2 (en) Data generalization apparatus, data generalization method, and program
Karras et al. Query optimization in NoSQL databases using an enhanced localized R-tree index
US9292553B2 (en) Queries for thin database indexing
JP2013080403A (ja) テーブルパーティション分割装置及び方法及びプログラム
CN111221814A (zh) 二级索引的构建方法、装置及设备
Watari et al. Efficient aggregation query processing for large-scale multidimensional data by combining RDB and KVS
Naeem et al. Optimising hybridjoin to process semi-stream data in near-real-time data warehousing
US20170300516A1 (en) System and method for building a dwarf data structure
US11620271B2 (en) Relationship analysis using vector representations of database tables

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20131004