JP2016509294A5 - - Google Patents

Claims (17)

1. 複数のデータ・ノードを有する分散型ストレージ・クラスタに記憶されているデータを格納しているデータベースに対するデータベース・クエリから複数の部分クエリを生成するように、かつ、複数の中間結果に基づきクエリ結果を構築するように構成されているゲートウェイ・サーバと、
   複数のワーカ・ノードと、を備え、前記複数のワーカ・ノードは前記複数のデータ・ノードから区別されており、前記複数のワーカ・ノードの各ワーカ・ノードは、前記複数の部分クエリのそれぞれの部分クエリを、前記それぞれの部分クエリに関係し前記分散型ストレージ・クラスタの少なくとも１つのデータ・ノード上に記憶されているデータを走査することによって処理するように構成されており、前記複数のワーカ・ノードの各ワーカ・ノードは、そのワーカ・ノードのメモリに記憶されている前記複数の中間結果のうちの１つの中間結果を生成するようにさらに構成されており、
   前記ゲートウェイ・サーバは、散在するワーカ・ノードを識別し、前記散在するワーカ・ノードに割り当てられている部分クエリを複数の下位の部分クエリにさらに分割し、前記複数の下位の部分クエリを前記複数のワーカ・ノードの一部に割り当てるように、さらに構成されており、
   前記部分クエリは、その部分クエリの入力ファイル・ブロックの量および位置の情報に基づき、前記下位の部分クエリに分割される、システム。
2. 前記複数のワーカ・ノードの各ワーカ・ノードは、前記複数の部分クエリの前記それぞれの部分クエリを、前記分散型ストレージ・クラスタの前記少なくとも１つのデータ・ノード上に記憶されている前記それぞれの部分クエリに関係している前記データの一部を走査することによって処理するように、かつ、ワーカ・ノードの前記メモリに記憶されている近似の中間結果を生成するようにさらに構成されている、請求項１に記載のシステム。
3. 前記ゲートウェイ・サーバは、少なくとも１つの近似の中間結果に基づき近似のクエリ結果を構築するようにさらに構成されている、請求項２に記載のシステム。
4. 前記ゲートウェイ・サーバは、前記複数の中間結果の一部に基づき近似のクエリ結果を構築するようにさらに構成されている、請求項１に記載のシステム。
5. 前記散在するワーカ・ノードは、前記ゲートウェイ・サーバに進行割合を報告しないか、所定期間の後に所定値未満の前記進行割合を前記ゲートウェイ・サーバに報告するワーカ・ノードである、請求項１に記載のシステム。
6. 前記複数のワーカ・ノードの各ワーカ・ノードは、前記分散型ストレージ・クラスタ内のそれぞれのデータ・ノードを動かすサービスである、請求項１に記載のシステム。
7. 前記データベースのテーブル・レベル・メタデータおよび前記分散型ストレージ・クラスタのファイル・レベル・メタデータをキャッシュするように構成されているメタデータ・キャッシュをさらに備える、請求項１に記載のシステム。
8. 前記メタデータ・キャッシュは、前記データベース・クエリ用に以前のデータベース・クエリからキャッシュされたメタデータを保持するように構成されている、請求項７に記載のシステム。
9. 前記複数のワーカ・ノードの各ワーカ・ノードは、そのワーカ・ノードによる部分クエリ処理の状態を報告するために、前記ゲートウェイ・サーバにハートビート・メッセージを周期的に送る、請求項１に記載のシステム。
10. 前記ゲートウェイ・サーバは、近似のクエリ結果を返すかまたは前記データベース・クエリの処理を終了する命令をクライアント・デバイスから受け取るようにさらに構成されている、請求項１に記載のシステム。
11. 前記ゲートウェイ・サーバは、前記ワーカ・ノードに対し、近似の中間結果を直ちに返し、クライアント・デバイスに対する前記近似の中間結果に基づき、近似のクエリ結果を返すようにさらに構成されている、請求項１に記載のシステム。
12. 前記データベース・クエリは、近似のクエリ結果の要求を含む、請求項１に記載のシステム。
13. 前記クエリ結果は、前記クエリ結果について走査されたデータ・ノードに記憶されている関連するデータの一部を示す標識を伴う、請求項１に記載のシステム。
14. 前記データベースは、Ｈｉｖｅデータ・ウェアハウス・システムであり、前記分散型ストレージ・クラスタはＨａｄｏｏｐクラスタである、請求項１に記載のシステム。
15. クライアント・デバイスから複数のクラスタ・ノードを有する分散型ストレージ・クラスタに記憶されているデータを格納しているデータベースに対するデータベース・クエリを受信する工程と、
    前記データベース・クエリを複数の部分クエリに分割する工程と、
    複数のワーカ・ノードのそれぞれのワーカ・ノードに前記部分クエリの各々を送信する工程であって、各ワーカ・ノードは前記分散型ストレージ・クラスタのクラスタ・ノードのメモリ上で動くサービスである、部分クエリ送信工程と、
    散在するワーカ・ノードを識別するワーカ・ノード識別工程と、
    前記散在するワーカ・ノードに割り当てられている部分クエリを複数の下位の部分クエリに分割し、前記複数の下位の部分クエリを前記複数のワーカ・ノードの一部に割り当てる工程と、
    前記ワーカ・ノードから前記部分クエリに対する複数の中間結果を取り出す工程であって、各中間結果は前記ワーカ・ノードのそれぞれのワーカ・ノードが該それぞれのワーカ・ノードが動いているクラスタ・ノードに記憶されている関連するデータを走査すること
    によって処理される、中間結果取出工程と、
    前記複数の中間結果に基づきクエリ結果を生成する工程と、を備え、
    前記部分クエリは、その部分クエリの入力ファイル・ブロックの量および位置の情報に基づき、前記下位の部分クエリに分割される方法。
16. ワーカ・ノード識別工程は、前記ワーカ・ノードが周期的に送信するハートビート・メッセージを監視することによって散在するワーカ・ノードを識別する工程であって、前記散在するワーカ・ノードは、前記散在するワーカ・ノードからのハートビート・メッセージが所定期間のあいだ受信されないとき、または、前記散在するワーカ・ノードから、前記散在するワーカ・ノードによる部分クエリ処理の状態を表す、閾値未満である数を含むハートビート・メッセージが受信されるときに識別される、工程と、を備える請求項１５に記載の方法。
17. 前記データベースに対する以前のデータベース・クエリに関連付けられているデータをキャッシュにキャッシュする工程と、
    前記データベースの監査ログのリアル・タイム・フィードを取り出し、前記キャッシュに記憶されているキャッシュされている前記データにおけるエントリであって前記以前のデータベース・クエリによって変更されているエントリを無効とする工程と、
    キャッシュされている前記データにおけるエントリであって所定の期間のあいだクエリが行われていないエントリを前記キャッシュから除去する工程と、を備える請求項１５に記載の方法。