JP2009193205A - 自動チューニングシステム、自動チューニング装置、自動チューニング方法 - Google Patents

Abstract

【課題】レコードサイズが不定の場合であっても、正確の処理性能を予測する自動チューニングシステム、自動チューニング装置、自動チューニング方法を提供する。
【解決手段】データウェアハウスに対する処理要求の実行計画を取得し、予測されるハードウェアに対する負荷を算出し、算出されたハードウェアに対する負荷と、既存ハードウェアリソースとを統合的に分析し、予測レスポンス時間を算出し、予測レスポンス時間と、要求されるレスポンス時間とを比較し、その差を計算し、予測レスポンス時間と、要求レスポンス時間との差が閾値を超える場合に、要求レスポンス時間を満たすようハードウェアリソースを追加する。
【選択図】図１

Description

本発明は、データウェアハウスにおけるハードウェアリソースを含めた自動チューニングシステム、自動チューニング装置、自動チューニング方法に関する。

データウェアハウスでの処理内容の特徴として、多量のデータ検出と多量のデータ加工が発生する点がある。

こうした処理内容に対し高速なレスポンスを実現する場合、サーバのＣＰＵ数や、ストレージのディスク処理速度コントローラの性能、ストレージとサーバを接続するＳＡＮ帯 域などのハードウェアリソースの充足度が影響する。

しかし、従来では、データウェアハウスに対する処理内容と、ハードウェアリソースの充足度を統合的に分析し、要求されるレスポンスを満たすかどうかを判断する仕組みが提供されておらず、用意されたハードウェアリソースが必要十分なものであるかを判断し 必要に応じてリソースを追加することが出来いという問題点があった。

上記背景に関連する技術を次に開示する。

特許文献１に開示のバッチ性能見積り方法及び装置は、バッチ性能見積りにおいて、データフローを入力し、マシン性能の単価を入力し、プロパティを設定し、ジョブ単独の実行時間を算出し、ジョブスケジュールを入力し、ジョブ全体の実行時間を算出し、ジョブ実行の許容時間を入力し、マシンを選択することが記載されている。

上記によれば、データウェアハウスを構築するバッチジョブの性能見積りを行う場合、性能算出ルールが自明であり算出ルールを必ず入力する必要がない、ジョブの処理日と処理時間を事前に入力することが困難である、処理日及び処理時間帯毎のＣＰＵ利用時間からではハードウェアの選定を行うことができないという課題を解決している。
特開２００４−５２８８号公報

しかしながら、特許文献１に関して、少なくとも以下に記載する点に関しては、考慮されていない。

特許文献１では、データウェアハウス構築時にチューニングすることに関して記載はあるが、データウェアハウス構築時に、データウェアハウスへのデータ検索を行うことに関しては、記載はなく、これによる効果は、示唆されていない。

また、データウェアハウス構築時に、処理内容を取得し、入出力にかかる性能を予測することに関して記載されているが、データウェアハウス構築時に、処理内容を取得し、データの検索、加工の双方の処理に対する性能を予測することに関しては、記載されていなく、これによる効果は、示唆されていない。

また、既存のＨＷ資源が性能の基準に満たしているか否かの判断を行うことに関して記載されているが、既存のＨＷ資源が性能の基準に満たしているか否かの判断を行い、基準に満たしていない場合に、既存のＨＷ資源に不足分のＨＷ資源を追加することに関しては、記載されていなく、これによる効果は、示唆されていない。

さらに、既存のＨＷ資源が性能の基準に満たしているか否かの判断を行うことに関して記載されているが、既存のＨＷ資源が性能の基準に満たしているか否かの判断を行い、基準に満たしていない場合に、既存のＨＷ資源に不足分のＨＷ資源を追加することに関して記載されていなく、これによる効果は、示唆されていない。

そこで、本発明は、データウェアハウス構築時に、処理内容を取得し、性能を予測し、性能を予測する際に、レコードサイズが不定の場合であっても、正確の処理性能を予測する自動チューニングシステム、自動チューニング装置、自動チューニング方法を提供することを目的とする。

上記の目的を達成するため、本発明にかかる第１の自動チューニングシステムは、データウェアハウスに対する処理要求の実行計画を取得し、取得した前記実行計画に含まれる内容から、予測されるハードウェアに対する負荷を算出する手段と、算出された、前記ハードウェアに対する負荷と、既存ハードウェアリソースとから分析を行い、予測レスポンス時間を算出する手段と、予測レスポンス時間を算出する手段と、算出された、前記予測レスポンス時間と、要求されるレスポンス時間とを比較し、その差を計算する手段と、計算された、前記予測レスポンス時間と、要求レスポンス時間との差が閾値を超える場合に、要求レスポンス時間を満たすようハードウェアリソースを追加する手段とを有することを特徴とする。

本発明にかかる第１の自動チューニング装置は、データウェアハウスに対する処理要求の実行計画を取得し、取得した前記実行計画に含まれる内容から、予測されるハードウェアに対する負荷を算出する手段と、算出された、前記ハードウェアに対する負荷と、既存ハードウェアリソースとから分析を行い、予測レスポンス時間を算出する手段と、
予測レスポンス時間を算出する手段と、算出された、前記予測レスポンス時間と、要求されるレスポンス時間とを比較し、その差を計算する手段と、計算された、前記予測レスポンス時間と、要求レスポンス時間との差が閾値を超える場合に、要求レスポンス時間を満たすようハードウェアリソースを追加する手段とを有することを特徴とする。

本発明にかかる第１の自動チューニング方法は、データウェアハウスに対する処理要求の実行計画を取得し、取得した前記実行計画に含まれる内容から、予測されるハードウェアに対する負荷を算出し、算出された、前記ハードウェアに対する負荷と、既存ハードウェアリソースとから分析を行い、予測レスポンス時間を算出する手段と、予測レスポンス時間を算出し、算出された、前記予測レスポンス時間と、要求されるレスポンス時間とを比較し、その差を計算し、計算された、前記予測レスポンス時間と、要求レスポンス時間との差が閾値を超える場合に、要求レスポンス時間を満たすようハードウェアリソースを追加することを特徴とする。

本発明によれば、データウェアハウス構築時に、処理内容を取得し、性能を予測し、性能を予測する際に、レコードサイズが不定の場合であっても、正確な処理性能を予測することができる自動チューニングシステム、自動チューニング装置、自動チューニング方法の提供を可能とする。

本発明は、少なくとも以下を実現する。

本発明は、ハードウェアリソースの充足度を含めた性能解析を実施するため、既存ハードウェアリソースの充足度をあらかじめ把握することが出来、かつ、充足度が不足する場合は、リソースの追加を自動的に実行出来る。

そのため、レスポンス時間の安定化、およびハードウェアリソースの最適化を実現する。

また、必要ハードウェアリソースの充足度を算出する機能だけを使い、システム設計段階での見積もり参考データとして使用することも出来る。

上記を実現する本発明は、少なくとも以下の態様を有する。

データウェアハウスに対する処理要求の実行計画を取得しその内容から予測されるハードウェアに対する負荷を算出する。

また、算出されたハードウェアに対する負荷と既存ハードウェアリソースを統合的に分析し予測レスポンス時間を算出する。

また、算出された予測レスポンス時間と要求されるレスポンス時間を比較しその差を計算する。

さらに、前記算出された予測レスポンス時間と要求レスポンス時間の差が閾値を超える場合に要求レスポン ス時間を満たすようハードウェアリソースを追加する。

上述した本発明を以下の実施形態を用いて詳細に説明する。
以下の実施の形態は、本発明を好適もしくは最良に実施する形態であって、これに限定されることはなく、当業者が容易に想到できる範囲内において、修正、変形可能とする。

（第１の実施形態）
第１の実施形態にかかる自動チューニングシステムについて図１を用いて説明する。
図１は、本実施形態にかかる自動チューニングシステムの構成の一例を示す図である。

図１で示すとおり、本実施形態にかかる自動チューニングシステムは、管理マネージャ装置２００と、管理クライアント装置３００と、ＲＤＢＭＳサーバ１００上に配置されるＳＱＬ管理エージェント装置１００とを有する。

ＳＱＬ管理エージェント装置１００は、ＳＱＬ文取得・転送部１と、ＳＱＬ文実行部８とを有する。

ＳＱＬ文取得・転送部１は、ＲＤＢＭＳサーバ１００に投入される処理（ＳＱＬ文）に関する情報を取得し、管理マネージャ２００へ転送する機能を有する。

ＳＱＬ文実行部８は、管理マネージャから送られてくる命令に従いＳＱＬ文を実行する機能を有する。

次に、管理マネージャ装置２００は、処理内容分析部２と、統計情報分析・蓄積部３と、要ＨＷ資源分析部４と、性能要件蓄積部５と、必要ＨＷ資源追加部６と、ＨＷ資源追加実行部７と、既存ＨＷ資源情報蓄積部１２とを有する。

処理内容分析部２は、ＳＱＬ管理エージェント１００から送られてくる処理内容を基に検索対象データ量およびデータ加工工数を分析する機能を有する。

統計情報分析・蓄積部３は、ＲＤＢＭＳサーバ１００に格納されているデータの統計情報を分析し蓄積する機能を有する。

要ＨＷ資源分析部４は、処理内容分析部２で出力された分析結果を基に求められた性能要件を満たす為に必要なＨＷ資源を算出する機能を有する。

性能要件蓄積部５は、処理に対する性能要件を保持する機能を有する。

必要ＨＷ資源追加部６は、既存ＨＷ資源を比較し不足するＨＷ資源の追加の必要性を判定する機能を有する。

ＨＷ資源追加実行部７は、必要ＨＷ資源追加部６で判定された結果に従いＨＷ資源の追加および構成を変更する機能を有する。

既存ＨＷ資源情報蓄積部１２は、既存のＨＷのスペック情報およびＨＷ機器の配置構成情報を蓄積する機能を有する。

次に、管理クライアント装置３００は、ＨＷ資源追加指示表示部９と、性能要件入力部１０と、既存ＨＷ資源情報入力部１１とを有する。

ＨＷ資源追加指示表示部９は、管理マネージャ装置２００のＨＷ資源追加実行部７でＨＷそのものを手動で追加する必要が有ると判定された場合に管理者へ追加の指示を表示する機能を有する。

性能要件入力部１０は、ＲＤＢＭＳ上の処理に対し要求する性能要件を入力する機能を有する。

既存ＨＷ資源情報入力部１１は、既存のＨＷのスペック情報およびＨＷ機器の配置構成情報を入力する機能を有する。

（第２の実施形態）
第２の実施形態にかかる自動チューニングシステムについて図１、図２および図３を用いて説明する。
図２は、本実施形態にかかる自動チューニングシステムの動作を示すフローチャート図である。
図３は、本実施形態にかかる自動チューニングシステムの接続を示す概念図である。
本実施形態では、図１の構成図と、図２の動作フローチャートと、図３の接続を示す図とを参照し、本発明にかかる自動チューニングシステムの全体の動作について詳細に説明する。
本実施形態では、図２の動作フローチャートを中心に本発明にかかる自動チューニングシステムの全体の動作について説明し、一例として、図１の構成図で用いた記号を使用する場合、図３を用いて説明する場合がある。

まず、本実施形態の前提条件となる、性能要件に関する情報入力方法と、ＲＤＢＭＳに格納されているデータの傾向情報の取得する方法と、既存ＨＷに関するスペック情報および配置構成情報を取得する方法について説明する。

まず、性能要件に関する情報の取得方法は、図１で示すとおり、性能要件に関しては管理クライアント装置３００の性能要件入力部１０を使用し管理者が要求する性能要件を入力する。性能要件は、具体的には処理実行上限時間となる。

入力された性能要件情報は、管理マネージャ装置２００の性能要件蓄積部５に送付され保存される。

保存された性能要件情報は、処理内容分析時に使用される。次にＲＤＢＭＳの格納データの傾向情報取得方法は、図１で示すとおり検索対象データ統計情報分析・蓄積部３が実施する。

検索対象データ統計情報分析・蓄積部３は、予め設定された間隔でＲＤＢＭＳの傾向を定期的に分析し傾向情報を取得する。

次に既存ＨＷに関するスペック情報および配置構成情報を取得する方法は、図１で示す通り既存ＨＷ資源情報入力部１２が実施する。

管理者により既存ＨＷ資源に関する情報が入力され、入力された情報は既存ＨＷ資源情報蓄積部１１へ転送され蓄積される。

次に本発明を用いて自動チューニング処理が実施される動作について説明する。

まず分析対象と成る処理情報を取得するため、ＳＱＬ文取得・転送部１がＲＤＢＭＳに対して要求される処理情報（ＳＱＬ文）を取得する（ステップＳ１００１）。

取得したＳＱＬ文は、管理マネージャ装置２００へ転送され、処理内容分析部２がその情報を受領する。

処理内容分析部２では、分析対象となる処理を実行する際に検索対象となるデータ量と、検索されたデータを加工する際、どの程度の加工工数が必要となるか否かを算出（分析）する（ステップＳ１００２）。

その際、分析の前提条件として、ＲＤＢＭＳに格納されているデータの傾向情報（格納データの多様性や特定データの格納率）が必要となるが、これは検索対象データ統計情報分析・蓄積部３に蓄積されているため、そこから傾向情報の取得を行う。

処理内容分析部２での分析の結果、算出される検索対象データ量とデータ加工工数は、必要ＨＷ資源分析部４に転送される。

必要ＨＷ資源分析部４では、要求される性能要件を満たすために必要となるＨＷ資源量を、処理内容分析部２から転送されてきた検索対象データ量とデータ加工工数を基に算出する（ステップＳ１００３）。

ここでの具体的な処理は、まずデータを格納するディスク装置の必要ＨＷ資源を算出するため、データ検索時必要帯域を算出する。

データ検索時必要帯域は、検索対象データを要求性能要件（処理実行上限時間）で割り、算出する。

また、ＲＤＢＭＳサーバの必要ＨＷ資源を算出するため、データ加工時必要ＨＷ資源量を算出する。

データ加工時必要資源量は、データ加工工数を要求性能要件（処理実行上限時間）で割り、単位時間当たりのデータ加工工数を算出し、これを基にＲＤＢＭＳサーバが必要とするＨＷ資源量を算出する。

これは、具体的にはＣＰＵ個数を算出する。

これら算出された必要ＨＷ資源量情報（データ検索時必要帯域とデータ加工時必要資源量）は、必要ＨＷ資源追加部６へ転送される。

必要ＨＷ資源追加部６では、転送されてきた必要ＨＷ資源量情報と、既存ＨＷ資源量情報を比較する（ステップＳ１００４）。

必要ＨＷ資源量情報が既存ＨＷ資源量情報を超過する場合（ステップＳ１００４／必要ＨＷ資源量情報≦既存ＨＷ資源量情報）、ＨＷ資源追加実行部７へ不足するＨＷ資源量情報とＨＷ資源の追加命令を転送する（ステップＳ１００５の処理へ移行）。

ステップＳ１００４の処理で、必要ＨＷ資源量情報が既存ＨＷ資源量情報を超過しないと判断された場合（ステップＳ１００４／必要ＨＷ資源量情報＞既存ＨＷ資源量情報）、ＲＤＢＭＳサーバ１００上に有るＳＱＬ文実行部８へ分析対象ＳＱＬ文の実行命令を転送する（ステップＳ１０１０の処理へ移行）。

ステップＳ１００５の処理では、ステップＳ１００４の処理で算出された必要ＨＷ資源量と、既存ＨＷ資源量情報との余剰ＨＷ資源量を比較を行う（ステップＳ１００５）。

なお、個々で必要となる既存ＨＷ資源量情報は、既存ＨＷ資源情報蓄積部１１に蓄積されているため、ここから取得する。

ステップＳ１００５の処理で、必要ＨＷ資源量が余剰ＨＷ資源量を超過しないと判断された場合（ステップＳ１００５／必要ＨＷ資源量情報≦余剰ＨＷ資源量）、ＲＤＢＭＳサーバ１００上にあるＳＱＬ文実行部８へ分析対象ＳＱＬ文の実行命令を転送する（ステップＳ１００８へ移行）。

ステップＳ１００５の処理で、必要ＨＷ資源量が余剰ＨＷ資源量を超過すると判断された場合（ステップＳ１００５／必要ＨＷ資源量情報＞余剰ＨＷ資源量）、ステップＳ１００６の処理へ移行する。

ステップＳ１００５の処理で、必要ＨＷ資源量が余剰ＨＷ資源量を超過しないと判断され（ステップＳ１００５／必要ＨＷ資源量情報≦余剰ＨＷ資源量）、ＲＤＢＭＳサーバ１００上にあるＳＱＬ文実行部８へ分析対象ＳＱＬ文の実行命令を転送された後、ＨＷ資源追加実行部７では、転送されてきたＨＷ資源追加命令に従い、ＨＷ資源の追加を実施する（ステップＳ１００８）。

ここでの具体的な処理は、不足ＨＷ資源量情報であるデータ検索時必要帯域情報を基に、ディスク装置およびディスク装置とＲＤＢＭＳサーバを接続するネットワーク帯域の資源追加を実施する。

また、不足ＨＷ資源量情報であるデータ加工時必要資源量を基に、ＲＤＢＭＳサーバの台数を追加する。

ステップＳ１００５の処理後、ＨＷそのものは、物理的に人手で追加する必要があるため、管理者へ追加を実施するよう通達する（ステップＳ１００６）。

この通達は、管理クライアント装置３００が有するＨＷ資源追加指示表示部９を通じて通達する。

ステップＳ１００６の処理後、管理者は、ＨＷの物理的追加を実行する（ステップＳ１００７）。

ステップＳ１００７の処理で、管理者によるＨＷの物理的追加を実行後、管理者は、ＨＷ資源追加指示表示部９にて追加作業が終了した旨を登録し、登録完了情報がＨＷ資源追加実行部７へ転送される。

ステップＳ１００７の処理後、ステップＳ１００８の処理では、上述したように、ＨＷ資源追加実行部７は、登録完了情報を受領後、ＲＤＢＭＳサーバとディスク装置間およびＲＤＢＭＳサーバとＲＤＢＭＳクライアント間のネットワーク構成を変更し、追加したＨＷ資源への接続環境も設定する（ステップＳ１００８）。

ＨＷ資源追加実行部７により、登録完了情報の受領後、ＲＤＢＭＳサーバとディスク装置間およびＲＤＢＭＳサーバとＲＤＢＭＳクライアント間のネットワーク構成を変更する概念は、図３に示される。図３では、ＲＤＢＭＳサーバを追加し、ネットワーク構成を変更したものと、ディスク装置を追加後、ＦＣ接続構成を変更した構成が示されている。

ステップＳ１００８の処理後、ＲＤＢＭＳクライアントから要求された処理ＳＱＬをＲＤＢＭＳサーバ１００の処理ＳＱＬ文実行部８へ分析対象ＳＱＬ文の実行許可情報を転送する（ステップＳ１００９）。

ＲＤＢＭＳサーバ１００のＳＱＬ文実行部８では、ＳＱＬ文実行許可情報を受領後、分析対象ＳＱＬ文の実行を行う（ステップＳ１０１０）。

こうした一連の動作により、データウェアハウスにおけるＨＷ資源の最適化を図ることが出来る。

本実施形態によれば、データウェアハウス構築時に、データウェアハウスへのデータ検索を行うことで処理性能を正確に算出することが可能となる。

また、データウェアハウス構築時に、処理内容を取得し、データの検索、加工の双方の処理に対する性能の予測を行うことで処理性能を正確に算出することが可能となる。

また、既存のＨＷ資源が性能の基準に満たしているか否かの判断を行い、基準に満たしていない場合に、既存のＨＷ資源に不足分のＨＷ資源の追加を行うことで処理性能を正確に算出することが可能となる。

さらに、既存のＨＷ資源が性能の基準に満たしているか否かの判断を行い、基準に満たしていない場合に、既存のＨＷ資源に不足分のＨＷ資源の追加を行うことで処理性能を正確に算出することが可能となる。

このように、データウェアハウス構築時に、処理内容を取得し、性能を予測し、性能を予測する際に、レコードサイズが不定の場合であっても、正確の処理性能の予測を行うことで処理性能を正確に算出することが可能となる。

第１の実施形態にかかる自動チューニングシステムの構成の一例を示す図である。 第２の実施形態にかかる自動チューニングシステムの動作を示すフローチャート図である。 第２の実施形態にかかる自動チューニングシステムの接続関連図である。

符号の説明

２ 処理内容分析部
３ 統計情報分析・蓄積部
４ 要ＨＷ資源分析部
５ 性能要件蓄積部
６ 必要ＨＷ資源追加部
７ ＨＷ資源追加実行部
９ ＨＷ資源追加指示表示部
１０ 性能要件入力部
１１ 既存ＨＷ資源情報入力部
１２ 既存ＨＷ資源情報蓄積部
１００ ＳＱＬ管理エージェント装置
２００ 管理マネージャ装置
３００ 管理クライアント装置

Claims (10)

1. データウェアハウスに対する処理要求の実行計画を取得し、取得した前記実行計画に含まれる内容から、予測されるハードウェアに対する負荷を算出する手段と、
   算出された、前記ハードウェアに対する負荷と、既存ハードウェアリソースとから分析を行い、予測レスポンス時間を算出する手段と、
   算出された、前記予測レスポンス時間と、要求されるレスポンス時間とを比較し、その差を計算する手段と、
   計算された、前記予測レスポンス時間と、要求レスポンス時間との差が閾値を超える場合に、要求レスポンス時間を満たすようハードウェアリソースを追加する手段とを有することを特徴とする自動チューニングシステム。
2. 前記実行計画の内容には、検索対象データ量およびデータ加工工数が含まれることを特徴とする請求項１に記載の自動チューニングシステム。
3. ハードウェアリソースを追加後、ネットワーク構成を変更する手段を有することを特徴とする請求項２に記載の自動チューニングシステム。
4. 既存のハードウェアのスペック情報および配置構成情報を蓄積する手段を有することを特徴とする請求項３に記載の自動チューニングシステム。
5. ハードウェア資源の追加を指示または表示する手段と、
   性能要件を入力する手段と、
   既存ハードウェア資源の情報を入力する手段とを有することを特徴とする請求項４に記載の自動チューニングシステム。
6. データウェアハウスに対する処理要求の実行計画を取得し、取得した前記実行計画に含まれる内容から、予測されるハードウェアに対する負荷を算出する手段と、
   算出された、前記ハードウェアに対する負荷と、既存ハードウェアリソースとから分析を行い、予測レスポンス時間を算出する手段と、
   算出された、前記予測レスポンス時間と、要求されるレスポンス時間とを比較し、その差を計算する手段と、
   計算された、前記予測レスポンス時間と、要求レスポンス時間との差が閾値を超える場合に、要求レスポンス時間を満たすようハードウェアリソースを追加する手段とを有することを特徴とする自動チューニング装置。
7. 前記実行計画の内容には、検索対象データ量およびデータ加工工数が含まれることを特徴とする請求項６に記載の自動チューニング装置。
8. データウェアハウスに対する処理要求の実行計画を取得し、取得した前記実行計画に含まれる内容から、予測されるハードウェアに対する負荷を算出し、
   算出された、前記ハードウェアに対する負荷と、既存ハードウェアリソースとから分析を行い、予測レスポンス時間を算出し、
   算出された、前記予測レスポンス時間と、要求されるレスポンス時間とを比較し、その差を計算し、
   計算された、前記予測レスポンス時間と、要求レスポンス時間との差が閾値を超える場合に、要求レスポンス時間を満たすようハードウェアリソースを追加することを特徴とする自動チューニング方法。
9. 前記実行計画の内容には、検索対象データ量およびデータ加工工数が含まれることを特徴とする請求項８に記載の自動チューニング方法。
10. ハードウェアリソースを追加後、ネットワーク構成を変更することを特徴とする請求項９に記載の自動チューニング方法。

Images