JP2018513454A - カラム・ストアにおける挿入およびポイント・クエリ・オペレーションの効率的パフォーマンス - Google Patents

カラム・ストアにおける挿入およびポイント・クエリ・オペレーションの効率的パフォーマンス Download PDF

Info

Publication number
JP2018513454A
JP2018513454A JP2017545567A JP2017545567A JP2018513454A JP 2018513454 A JP2018513454 A JP 2018513454A JP 2017545567 A JP2017545567 A JP 2017545567A JP 2017545567 A JP2017545567 A JP 2017545567A JP 2018513454 A JP2018513454 A JP 2018513454A
Authority
JP
Japan
Prior art keywords
data
data objects
hierarchy
grouping
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017545567A
Other languages
English (en)
Other versions
JP6748653B2 (ja
Inventor
バーバー、ロナルド、ジェイ.
バッタチャージー、ビシュワラニャン
ハメダニ、モハマド サドギ
ハメダニ、モハマド サドギ
ローマン、ガイ、エム.
モハン、チャンドラセカラン
パンディス、イッポクラティス
ラマン、ビジャイシャンカー
シドル、リチャード、エス.
ストーム、アダム、ジェイ.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2018513454A publication Critical patent/JP2018513454A/ja
Application granted granted Critical
Publication of JP6748653B2 publication Critical patent/JP6748653B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases

Abstract

【課題】階層的データ・オブジェクトを動的に移動する方法を提供する。【解決手段】方法は、オブジェクト階層プロセッサによって、第一階層中のデータ・オブジェクトを論理的に編成するステップを含む。第一階層中のデータ・オブジェクトの一部は、他のデータ・オブジェクトの組分けを論理的に含む。オブジェクト階層プロセッサは、第二階層中の2つ以上の種類のメモリに亘ってデータ・オブジェクトを物理的に編成する。第二階層中のデータ・オブジェクトの別の部分は、他のデータ・オブジェクトの組分けを物理的に含む。第二階層中のデータ・オブジェクトの組分けは、2つ以上の種類のメモリにまたがって動的に移動される。データ・オブジェクトのアクセスのレベルが、第一階層中のデータ・オブジェクトの組分けを、データ・オブジェクトの各組分け中のデータ・オブジェクトの総計アクセス頻度およびデータ・オブジェクトへのアクセス者の現在数を含むメタデータ情報にマップする、データ構造体を用いて追跡される。【選択図】図5

Description

本発明の諸実施形態は、カラム・ストアにおける効率的挿入およびポイント・クエリ・オペレーションに関するものであり、具体的には、データ・オブジェクトのサブセットのアクセスのレベルの追跡に基づいて、2つ以上の種類のメモリにまたがって階層的データ・オブジェクトを動的に移動することに関する。
データベースまたは表データ中のリアルタイムのデータへのビジネス・インテリジェンス(BI:business intelligence )クエリを行う傾向が増えている。慣例的に、BIシステムとオンライン・トランザクション処理(OLTP:online transaction processing)システムとの間は厳しく分離される。業務用BIと、トランザクションおよび分析処理の双方とを同じデータベース上で実施することへの市場圧力が増大している。BIに対しては、カラム優先のレイアウトにデータを配列する傾向がある。これは、より良好なクエリ・パフォーマンス、より良好なバッファ・プール利用率、および多少より良好な圧縮度を提供する。OLTPデータは、慣例的に行優先のレイアウトに配列される。
しかしながら、OLTP作業負荷が、より良好なバッファ・プール利用率および圧縮度に所以してカラム優先レイアウトから益を得るポイント・クエリに大勢的に依存しているとしても、カラム優先は、ディスク上のOLTP作業負荷がメモリ中のOLTP作業負荷に転ずる可能性がある。
本発明の諸実施形態は、データ・オブジェクトのセットのアクセスのレベルの追跡に基づいて、2つ以上の種類のメモリにまたがって階層的データ・オブジェクトを動的に移動することに関する。一実施形態は、オブジェクト階層プロセッサによって、データ・オブジェクトを第一階層に論理的に編成する方法を含む。第一階層中のデータ・オブジェクトの一部は、他のデータ・オブジェクトの組分けを論理的に含む。オブジェクト階層プロセッサは、第二階層中の2つ以上の種類のメモリにまたがってデータ・オブジェクトを物理的に編成する。第二階層中のデータ・オブジェクトの別の部分は、他のデータ・オブジェクトの組分けを物理的に含む。第二階層中のデータ・オブジェクトの組分けは、2つ以上の種類のメモリにまたがって動的に移動される。データ・オブジェクトのアクセスのレベルが、第一階層中のデータ・オブジェクトの組分けを、データ・オブジェクトの各組分け中の、データ・オブジェクトの総計アクセス頻度およびデータ・オブジェクトへのアクセス者の現在数を含むメタデータ情報にマップする、データ構造体を用いて追跡される。
本発明の、これらのおよび他の特徴、態様、および利点は、以下の説明、添付の特許請求の範囲、および付随する図面を参照することによって理解することができよう。
或る実施形態による、クラウド・コンピューティング・ノードを示す。 或る実施形態による、クラウド・コンピューティング環境を示す。 或る実施形態による、抽象モデル層のセットを示す。 或る実施形態による、データ・オブジェクトのサブセットのアクセスのレベルの追跡に基づいて、2つ以上の種類のメモリにまたがって階層的データ・オブジェクトを動的に移動するためのシステムを示すブロック図である。 或る実施形態による、レコードにアクセスし、アクセス・メタデータを更新し、ページをロードするプロセスを示す。 或る実施形態による、タプル・シーケンス数(TSN:tuple sequence number)をクエリ・オペレーションのためのページにマップするプロセスを示す。 或る実施形態による、データ・オブジェクトをページ中に挿入し、スーパースロット中のメタデータを初期化するプロセスを示す。 或る実施形態による、TSNを、挿入オペレーションのためのページにマップするプロセスを示す。 或る実施形態による、データ・オブジェクトのサブセットのアクセスのレベルの追跡に基づいて、2つ以上の種類のメモリにまたがって階層的データ・オブジェクトを動的に移動するプロセスのブロック図を示す。
例示のため、本発明の様々な実施形態の説明が提示されているが、これらは包括的であること、または開示された実施形態に限定することは意図されていない。当業者には、説明された実施形態の範囲と趣旨から逸脱することなく多くの修改および別形が自明であろう。本明細書で用いられる用語は、実施形態の原理、市場に現存する技術への実用的応用もしくは技術的改良を最善に説明するため、または、他の当業者が、本明細書で開示される実施形態を理解できるようにするため選択された。
前もって当然のことながら、本開示はクラウド・コンピューティングの詳細な説明を含むが、本明細書中に記載の教示の実装は、一クラウド・コンピューティング環境に限定はされない。それどころか、本発明の実施形態は、現在既知のまたは今後開発される任意の他の種類のコンピューティング環境に関連付けて実装することが可能である。
クラウド・コンピューティングは、構成可能なコンピューティング・リソース(例えば、ネットワーク、ネットワーク回線容量、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン(VM:virtual machine)、およびサービス)の共用プールへの便利なオンデマンドのネットワーク・アクセスを可能にするサービス・デリバリのモデルであり、最小の管理作業またはサービスのプロバイダとのやり取りで、迅速にこれらリソースの供給およびリリースを受けることができる。このクラウド・モデルは少なくとも5つの特性と、少なくとも3つのサービス・モデルと、少なくとも4つの展開モデルとを含み得る。
特性は次の通りである。
オンデマンド・セルフサービス:クラウドのコンシューマは、サービスのプロバイダとの人的対話の必要なしに、必要に応じて自動的に、サーバ・タイムおよびネットワーク・ストレージなどのコンピューティング機能を一方向に供給することが可能である。
広範ネットワーク・アクセス:諸機能は、ネットワークを介して利用可能であり、異機種環境のシンまたはシック・クライアント・プラットフォーム(例えば、モバイル電話、ラップトップ、およびPDA)による使用を促進する標準機構を介してアクセスされる。
リソース・プーリング:プロバイダのコンピューティング・リソースは、デマンドに応じて動的に割り当てられ再割り当てされる各種の物理および仮想リソースを使い、マルチテナント・モデルを用いて複数のコンシューマにサービス提供をするために、プールされる。コンシューマは、通常、提供されるリソースの正確な場所についての制御も認識もしない点で場所独立性の感覚があるが、より高い抽象化レベル(例えば、国、州、またはデータ・センタ)では場所を特定できることもある。
迅速な融通性:素早くスケール・アウトし、素早くスケール・インすべく迅速にリリースするために、諸機能は迅速に且つ弾力的に、場合によっては自動的に、供給することが可能である。コンシューマにとって、供給のため利用可能な機能は、多くの場合無制限に見え、いつでも任意の量を購入することができる。
計量されるサービス:クラウド・システムは、サービスの種類(例えば、ストレージ、処理、回線容量、およびアクティブなコンシューマ・アカウント)に適した何らかの抽象化レベルで、計量機能を利用することによって、リソースの使用を自動的に制御し最適化する。リソースの利用は、モニタし、制御し、報告することができ、これにより、プロバイダおよびコンシューマの両方に対し利用されたサービスの透明性を提供する。
サービスのモデルは次の通りである。
サービス型ソフトウェア(SaaS:Software as a Service):コンシューマに提供される機能は、クラウド・インフラストラクチャ上で実行されているプロバイダのアプリケーションを使用する能力である。これらのアプリケーションは、様々なクライアント・デバイスから、ウェブ・ブラウザ(例えば、ウェブベースのeメール)などのシン・クライアントのインターフェースを介してアクセス可能である。コンシューマは、あり得る、限られたコンシューマ固有のアプリケーション構成設定を除き、ネットワーク、サーバ、オペレーティング・システム、ストレージ、または個別のアプリケーション機能さえも含め、下層のクラウド・インフラストラクチャを管理または制御しない。
サービス型プラットフォーム(PaaS:Platform as a Service):コンシューマに提供される機能は、プロバイダにサポートされたプログラミング言語およびツールを使って生成された、コンシューマ生成または取得のアプリケーションを、クラウド・インフラストラクチャ上に展開する能力である。コンシューマは、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含め、下層のクラウド・インフラストラクチャを管理または制御しないが、展開されるアプリケーション、および、おそらくは、アプリケーションホスティング環境の構成に対する制御を有する。
サービス型インフラストラクチャ(IaaS:Infrastructure as a Service):コンシューマに提供される機能は、処理、ストレージ、ネットワーク、および他の基本的コンピューティング・リソースを供給する能力であり、コンシューマは、オペレーティング・システムおよびアプリケーションを含み得る任意のソフトウェアを展開し実行することが可能である。コンシューマは、下層のクラウド・インフラストラクチャを管理または制御しないが、オペレーティング・システム、ストレージ、展開されるアプリケーションに対する制御、および、おそらくは、選択されたネットワーク構成要素(例えば、ホスト・ファイヤウォール)に対する限定された制御を有する。
展開モデルは次の通りである。
プライベート・クラウド:クラウド・インフラストラクチャは一組織のためにだけ運営される。これは、当該組織でもまたは第三者によって管理されてもよく、オンプレミスにあってもオフプレミスにあってもよい。
コミュニティ・クラウド:このクラウド・インフラストラクチャは、いくつかの組織によって共用され、共通の課題(例えば、ミッション、セキュリティ要件、方針、およびコンプライアンスの考慮)を有する特定のコミュニティをサポートする。これは、これらの組織でもまたは第三者によって管理されてもよく、オンプレミスにあってもオフプレミスにあってもよい。
パブリック・クラウド:このクラウド・インフラストラクチャは、一般公衆または大きな業界グループに利用可能にされており、クラウド・サービスを販売する組織によって所有される。
ハイブリッド・クラウド:このクラウド・インフラストラクチャは、2つ以上のクラウド(プライベート、コミュニティ、またはパブリック)の複合体であり、単一のエンティティとして存在するが、データおよびアプリケーションのポータビリティを可能にする標準的または専有的技術(例えば、クラウド間の負荷バランスのためのクラウド拡張)によって結合されている。
クラウド・コンピューティング環境は、ステートレスネス、疎結合、モジュール方式、およびセマンチック相互運用性に重点を置いたサービス指向である。クラウド・コンピューティングの中心は、相互接続されたノードのネットワークを含んだインフラストラクチャである。
ここで、図1を参照すると、クラウド・コンピューティング・ノードの一例の概略図が示されている。クラウド・コンピューティング・ノード10は、適切なクラウド・コンピューティング・ノードの単なる一例であり、本明細書に記載の本発明の実施形態の機能性または使用の範囲についてのいかなる限定も示唆することは意図されていない。とにかく、クラウド・コンピューティング・ノード10は、前述した機能性のいずれをも実装もしくは実施またはその両方を行うことができる。
クラウド・コンピューティング・ノード10中には、コンピュータ・システム/サーバ12があり、これは、数多くの他の汎用または特殊用途コンピューティング・システム環境または構成を用いて動作可能である。コンピュータ・システム/サーバ12とともに用いるのに適し得る、周知のコンピューティング・システム、環境、もしくは構成またはこれらの組み合わせの例は、以下に限らないが、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルドまたはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサベースのシステム、セットトップ・ボックス、プログラム可能な消費者向け電化製品、ネットワークPC、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、および上記のシステムまたはデバイスのいずれかを含む分散型クラウド・コンピューティング環境などを含む。
コンピュータ・システム/サーバ12は、プログラム・モジュールなど、コンピュータ・システムに実行される、コンピュータ・システム実行可能な命令の一般的文脈で説明することができる。一般に、プログラム・モジュールは、特定のタスクを実施する、または特定の抽象データ型を実装する、ルーティン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造体などを含むことが可能である。コンピュータ・システム/サーバ12は、タスクが、通信ネットワークを介してリンクされた遠隔処理デバイスによって実施される、分散クラウド・コンピューティング環境中で実践されてもよい。分散クラウド・コンピューティング環境では、プログラム・モジュールは、メモリ・ストレージ・デバイスを含む、ローカルおよび遠隔両方のコンピュータ・システム・ストレージ媒体に配置することが可能である。
図1に示されるように、クラウド・コンピューティング・ノード10中のコンピュータ・システム/サーバ12は、汎用コンピューティング・デバイスの形で示されている。コンピュータ・システム/サーバ12のコンポーネントは、以下に限らないが、1つ以上のプロセッサまたは処理ユニット16、システム・メモリ28、およびシステム・メモリ28を含む様々なシステム・コンポーネントをプロセッサ16に連結するバス18を含むことが可能である。
バス18は、メモリ・バスまたはメモリ・コントローラ、周辺バス、アクセラレイティッド・グラフィックス・ポート、および様々なバス・アーキテクチャのいずれかを用いるプロセッサ・バスまたはローカル・バスを含め、何種類かのバス構造体の任意の1つ以上を表す。限定でなく例として、かかるアーキテクチャは、業界標準アーキテクチャ(ISA:Industry Standard Architecture)バス、マイクロ・チャネル・アーキテクチャ(MCA:Micro Channel Architecture)バス、拡張型ISA(EISA:Enhanced ISA)バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション(VESA:Video Electronics Standards Association)ローカル・バス、および周辺コンポーネント相互接続(PCI:Peripheral Component Interconnect)バスを含む。
コンピュータ・システム/サーバ12は、通常、様々なコンピュータ・システム可読媒体を含む。かかる媒体は、コンピュータ・システム/サーバ12によってアクセス可能な任意の利用可能な媒体であってよく、これには、揮発性および不揮発性媒体、ならびにリムーバブルおよび固定型媒体の両方が含まれる。
システム・メモリ28は、ランダム・アクセス・メモリ(RAM:random access memory)30もしくはキャッシュ・メモリ32またはその両方など、揮発性メモリの形のコンピュータ・システム可読媒体を含んでよい。コンピュータ・システム/サーバ12は、他のリムーバブル/固定型、揮発性/不揮発性コンピュータ・システム・ストレージ媒体をさらに含むことが可能である。単なる例であるが、ストレージ・システム34は、固定型、不揮発性磁気媒体(図示せず、通常、「ハード・ドライブ」と呼ばれる)からの読み取りおよびそれへの書き込みのため設けることができる。図示はされていないが、リムーバブルな不揮発性磁気ディスク(例えば、「フレキシブル・ディスク」)から読み取り、これに書き込むための磁気ディスク・ドライブ、およびCD−ROM、DVD−ROM、または他の光媒体など、リムーバブルな不揮発性光ディスクから読み取り、これに書き込むための光ディスク・ドライブを設けることが可能である。かかる場合、それぞれを、1つ以上のデータ媒体インターフェースによってバス18に接続することが可能である。以下に、さらに示し説明するように、メモリ28は、本発明の実施形態の諸機能を遂行するよう構成されたプログラム・モジュールの(例えば、少なくとも1つの)セットを有する、少なくとも1つのプログラム製品を含むことができる。
限定でなく例として、プログラム・モジュール42の(少なくとも1つの)セットを有するプログラム/ユーティリティ40、ならびにオペレーティング・システム、1つ以上のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データをメモリ28中に格納することが可能である。各オペレーティング・システム、1つ以上のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データ、またはこれらのいくつかの組み合わせは、ネットワーキング環境の実装物を含むことが可能である。プログラム・モジュール42は、一般に、本明細書で説明した本発明の実施形態の機能もしくは方法またはその両方を遂行する。
また、コンピュータ・システム/サーバ12は、キーボード、ポインティング・デバイスなど1つ以上の外部デバイス14、ディスプレイ24、コンシューマがコンピュータ・システム/サーバ12とやり取りできるようにする1つ以上のデバイス、もしくはコンピュータ・システム/サーバ12が1つ以上の他のコンピューティング・デバイスと通信することを可能にする任意のデバイス(例えば、ネットワーク・カード、モデムなど)、またはこれらの両方と通信することができる。かかる通信は、I/Oインターフェース22を介して行うことが可能である。さらにまた、コンピュータ・システム/サーバ12は、ローカル・エリア・ネットワーク(LAN:local area network)、一般広域ネットワーク(WAN:wide area network)もしくはパブリック・ネットワーク(例えばインターネット)またはこれらの組み合わせなど、1つ以上のネットワークとネットワーク・アダプタ20を介して通信することができる。図示のように、ネットワーク・アダプタ20は、バス18を介してコンピュータ・システム/サーバ12の他のコンポーネントと通信することが可能である。当然のことながら、図示はされていないが、コンピュータ・システム/サーバ12に関連させて他のハードウェアもしくはソフトウェア・コンポーネントまたはその両方を用いることもできよう。諸例には、以下に限らないが、マイクロコード、デバイス・ドライブ、冗長処理ユニット、外部ディスク・ドライブ・アレイ、RAIDシステム、テープ・ドライブ、データ・アーカイバル・ストレージ・システムなどが含まれる。
ここで図2を参照すると、例示的なクラウド・コンピューティング環境50が描かれている。図示のように、クラウド・コンピューティング環境50は、例えば、携帯情報端末(PDA:personal digital assistant)または携帯電話54A、デスクトップ・コンピュータ54B、ラップトップ・コンピュータ54C、もしくは自動車コンピュータ・システム54N、またはこれらの組み合わせなど、クラウドのコンシューマによって使われるローカル・コンピューティング・デバイスが通信可能な1つ以上のクラウド・コンピューティング・ノード10を含む。諸ノード10は、相互に通信が可能である。これらは、前述のように、プライベート、コミュニティ、パブリック、もしくはハイブリッド・クラウド、またはこれらの組み合わせなど、1つ以上のネットワーク中に、物理的にまたは仮想的にグループ化することができる(図示せず)。これは、クラウド・コンピューティング環境50が、インフラストラクチャ、プラットフォーム、もしくはサービス型ソフトウェア、またはこれらの組み合わせを提供することを可能にし、これらについては、クラウドのコンシューマはローカルのコンピューティング・デバイスにリソースを維持する必要はない。当然のことながら、図2に示されたコンピューティング・デバイス54A〜Nの種類は例示だけを意図しており、また、コンピューティング・ノード10およびクラウド・コンピューティング環境50は、任意の種類のネットワークもしくは(例えば、ウェブ・ブラウザを使って)ネットワーク・アドレス可能な接続、またはその両方を介して、任意の種類のコンピュータ化デバイスと通信することが可能である。
次いで、図3を参照すると、クラウド・コンピューティング環境50(図2)によって設けられた機能的抽象化層のセットが示されている。前もって当然のことながら、図3に示されたコンポーネント、層、および機能は、例示だけを意図しており、本発明の諸実施形態はこれに限定されない。図示のように、下記の層と対応する機能とが提示されている。
ハードウェアおよびソフトウェア層60は、ハードウェアおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例は、メインフレーム61;RISC(Reduced Instruction Set Computer(縮小命令セット・コンピュータ))アーキテクチャ・ベースのサーバ62、サーバ63、ブレード・サーバ64、ストレージ・デバイス65、ならびにネットワークおよびネットワーキング・コンポーネント66、を含む。いくつかの実施形態において、ソフトウェア・コンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア67、およびデータベース・ソフトウェア68を含む。
仮想化層70は抽象化層を提供し、この抽象化層から以下の仮想エンティティの例を提供することが可能である。仮想サーバ71、仮想ストレージ72、仮想プライベート・ネットワークを含む仮想ネットワーク73、仮想アプリケーションおよびオペレーティング・システム74、ならびに仮想クライアント75。
一例において、管理層80は、以下に記載の機能を提供することができる。リソース供給81は、クラウド・コンピューティング環境内のタスクを実施するのに用いられる、コンピューティング・リソースおよび他のリソースの動的な調達を提供する。計量および料金徴収82は、リソースがクラウド・コンピューティング環境内で用いられる際のコストの追跡、およびそれらリソースの消費に対する請求書またはインボイス作成を提供する。一例において、これらのリソースは、アプリケーション・ソフトウェアのライセンスを含み得る。セキュリティは、クラウド・コンシューマおよびタスクに対する識別情報確認、並びにデータおよび他のリソースに対する保護を提供する。ユーザ・ポータル83は、コンシューマおよびシステム管理者に対し、クラウド・コンピューティング環境へのアクセスを提供する。サービス品質管理84は、必要なサービス・レベルが満たされるように、クラウド・コンピューティング・リソースの割り当ておよび管理を提供する。サービス品質保証契約(SLA:Service Level Agreement)計画および達成85は、SLAによって予期される今後の要求のためのクラウド・コンピューティング・リソースの事前準備および調達を提供する。
作業負荷層90は、クラウド・コンピューティング環境を使用することが可能な機能の例を提供する。この層から提供できる作業負荷および機能の例は、マッピングおよびナビゲーション91、ソフトウェアの開発およびライフサイクル管理92、仮想クラスルーム教育配信93、データ分析処理94、トランザクション処理95、を含む。前述のように、図3について説明した上記の例の全ては、単なる例示であり、本発明はこれらの例に限定されない。
当然のことながら、本明細書で説明される1つ以上の実施形態の全ての機能は、一般に、図4に示されるシステムによって実施され、プログラム/ユーティリティ40(図1)のプログラム・コード42のモジュールとして有形に具現化することができる。但し、これは必須ではない。むしろ、本明細書で述べる機能性は、図3に示された層60、70、80、および90のいずれによっても、遂行/実装するもしくは可能にするまたはその両方ができよう。
繰り返しになるが、本開示はクラウド・コンピューティングの詳細な説明を含んではいるが、本明細書で述べる教示の実装は一クラウド・コンピューティング環境に限定されない。それどころか、本発明の実施形態は、現在既知のまたは今後開発される、任意の種類のクラスタ化コンピューティング環境に実装することができる。
本発明の実施形態は、データ・オブジェクトのセットのアクセスのレベルの追跡に基づいて、2つ以上の種類のメモリにまたがって階層的データ・オブジェクトを動的に移動することに関する。一実施形態は、オブジェクト階層プロセッサによって、第一階層中のデータ・オブジェクトを論理的に編成する方法を含む。第一階層中のデータ・オブジェクトの一部は、他のデータ・オブジェクトの組分けを論理的に含む。オブジェクト階層プロセッサは、第二階層中の2つ以上の種類のメモリにまたがってデータ・オブジェクトを物理的に編成する。第二階層中のデータ・オブジェクトの別の部分は、他のデータ・オブジェクトの組分けを物理的に含む。第二階層中のデータ・オブジェクトの組分けは、2つ以上の種類のメモリにまたがって動的に移動される。データ・オブジェクトのアクセスのレベルが、第一階層中の、データ・オブジェクトの組分けを、データ・オブジェクトの各組分け中のデータ・オブジェクトの総計アクセス頻度およびデータ・オブジェクトへのアクセス者の現在数を含むメタデータ情報にマップする、データ構造体を用いて追跡される。
1つ以上のデータベース・オペレーション(例えば、更新(挿入/削除)またはクエリ(データ読み出し))は、通常、一トランザクションにグループ化される。更新クエリは、テーブル中に既存のレコードを修正するために使われる。データベース上のトランザクションは、並列に行うことが可能で、これらが開始される順序は必ずしも必須ではない。これらのイベントは、データベース・トランザクション・ログ、イベント・ログなどに記録が可能である。データベース・データのストレージ・ページ(これらは固定サイズで、メモリ中の連続的な仮想アドレス領域中に格納される)は、データベース・システムのバッファ・プール・コンポーネントによって管理される。一般にバッファ・プールによって実施されるオペレーションは、バッファ・プールが管理するメモリ中へのページのローディング、ページ使用中のページ排除を防止するためのバッファ・プール・メモリ中のページのピン止め、参照カウントを介したバッファ・プール中のページの利用率の追跡、および別のページをロードするためスペースが必要なときのメモリからの(ピン止めされていない)ページの排除、を含む。
一実施形態において、データ・オブジェクトは少なくとも2つの階層に編成される。第一階層は、データ・オブジェクトの論理的包摂の階層を含み、一部のオブジェクトは、他のデータ・オブジェクトの組分けから成る。一例において、レコードは個別値の論理的組分けである。スーパースロットは、連続的な論理的レコードの或る数の論理的組分けであり、これらは、タプル識別子によって個別に識別が可能である。一例において、タプル識別子は、順序付けされた数字列に存在し得、タプル・シーケンス数(TSN)と言われる。第二階層は、2つ以上の種類のメモリにまたがるオブジェクトの物理的編成を含み、一部のオブジェクトは他のデータ・オブジェクトの組分けを物理的に包含する。一例では、これは、個別の値を保持するメモリ・ページであってよい。スーパースロットは、テーブルの異なるカラムを包含するページを、複数の同時処理による効率的仕方で、ページのピン止めおよびピン外しのために用いることができる(これは、通常、使用中のページが排除されるのを防止するため行われ、現在の参照カウントのインクリメント/デクリメントが行われる)。一実施形態は、同時処理の間の競合を防止し(例えば、同時処理のページのピン止めおよびピン外しオペレーションを同期させるための、バッファ・プール・マネージャ内のラッチの取得を回避する)、カラム・ストアのカラムごとに1ページずつ、ページ上のこれらのTSNの場所を判定するため、連続するTSNをスーパースロット中にグループ化する。一実施形態において、スーパースロットは、特定数の行での細分性で編成されたカラム横断データ構造体である。一実施形態において、データ・オブジェクトのセットのアクセスのレベルは、第一階層によるこれらのオブジェクトの組分けを、メタデータ情報上にマップするデータ構造体を用いて追跡される。このメタデータ情報は、各セットに対する総計アクセス・カウント、アクセス頻度、および直近のアクセス・タイムを含むことができる。一実施形態において、スーパースロットは、当該データ構造体として用いることが可能で、各カラムに対する個別の参照カウントを維持しながら、スーパースロット中のどのデータベース・バッファ・プールに対しても外部で粗な参照カウントが行われる。一実施形態では、行識別子から(一切のカラム中の)当該行にまたがる全てのデータ・ページの仮想メモリ・アドレスへの直接マッピングが、スーパースロット中に格納される。一実施形態において、使用される参照カウンティングは、ポイント・クエリが対象のカラムだけをバッファ・プールに引き入れるように、階層的になっている。
一実施形態では、メモリの種類をまたがるデータ・オブジェクトの移動は、第二(物理)階層ごとに行われる。この移動は、各オブジェクトまたはオブジェクトのセットに対し、第一階層中のオーバーラップするセットのアクセスの追跡レベルをチェックすることによって制御される。一実施形態において、データ・オブジェクトのオブジェクトまたは組分けは、追跡されている現在のアクセス・カウントが、第一階層中の全てのオーバーラップするセットについてゼロの場合においてだけ、移動することが許される。
図4は、或る実施形態による、データ・オブジェクトのサブセットのアクセスのレベルの追跡に基づいて、2つ以上の種類のメモリにまたがって階層的データ・オブジェクトを動的に移動するためのシステムを示すブロック図である。一実施形態において、本システムは、ストレージ・ユニット1 405〜ストレージ・ユニットN406(Nは1より大きい整数)、アクセス追跡プロセッサ410、マッピング・プロセッサ415、およびオブジェクト階層プロセッサ420を包含するサーバ12を含む。一実施形態では、ストレージ・ユニット1〜N 405〜406はサーバ12の外部に在ってもよい。一実施形態において、ストレージ・ユニット1〜N 405〜406は、行/カラム/個別値、テーブルなどのオブジェクトを格納する。或るリレーショナル・データベースにおいて、一テーブル(またはファイル)が、単一トピックについての情報を行とカラムとに編成する。一実施形態では、ストレージ・ユニット1〜N 405〜406は、バッファ・プール、クラウド・ベースのストレージ、各種のオブジェクト・プールなど、いろいろな種類のメモリ・ストレージである。
一実施形態において、オブジェクト階層プロセッサ420は、ストレージ・ユニット1〜N 405〜406にまたがって階層データ・オブジェクトを動的に移動する。一実施形態では、アクセス追跡プロセッサ410は、これらのデータ・オブジェクト(例えば、TSN)のシーケンス数の範囲をメタデータ情報上にマップするマッピング・プロセッサ415を使うことにより、データ構造体を用い、階層データ・オブジェクトの1つ以上のサブセットのアクセスのレベルを追跡し、該メタデータ情報は、アクセス・カウント、およびデータ・オブジェクトのこれらサブセットに対するデータを保持する1つ以上のメモリ・ページの場所を含む。一実施形態において、オブジェクト階層プロセッサ420は、アクセスの追跡されたレベルに基づいて、どの階層データ・オブジェクトを移動するかを判断する。
カラム・ストア中では、テーブル中へのあらゆる挿入は、Nのページ(Nは該テーブル中のカラムの数)の修正を必要とし、同様に、あらゆるポイント・クエリは、Mのページ(Mは当該クエリにおいて参照されるカラムの数)にアクセスを必要とする。各々のかかるページ参照は、ハッシュ・テーブル(例えば、データベース・マネジメント・システム(DBMS:database management system)のバッファ・プール)中の参照カウントを更新すること、およびおそらくはラッチを取得すること(またはアトミックなリードモディファイライト命令の実施)を伴う。行へのアクセスは、ポイントまたはUDI(update(更新)、delete(削除)、insert(挿入))クエリごとに、Nのカラムへのアクセスと、ハッシュ・テーブルまたは他のマッピング・データ構造体への2Nのアクセスとを伴い、ここでNは正の整数である。Nのアクセスは、TSNをページID上にマップするために必要であり、Nのアクセスは、ページIDをバッファ・プール・アドレス上にマップする(そして、各ページに対する参照カウントをインクリメントする)ために必要である。一実施形態では、16KのTSNを包含するスーパースロット・データ構造体がシステムに実装される。
一実施形態において、PageMapが以下のように設けられる。各カラムに対し、(start(開始)TSN,page(ページ)Ptr)のリスト。一実施形態では、スーパースロット構造体に対しキャッシュだけが使われる、すなわち、該構造体はディスク上にバックアップされない。一実施形態において、オブジェクト階層プロセッサ420は、挿入オペレーションに際し、新規TSNの追加に備えて(必要に応じスペース/ページを割り当てて)、スーパースロット・データ構造体を用いる。一実施形態において、マッピング・プロセッサは、TSNまたはTSNの範囲を、テーブル(またはオブジェクト)のカラムまたはカラムの部分範囲(もしくは下位オブジェクト)の仮想メモリ・アドレスに直接マップする。一実施形態では、ページが使用される最初のときに、バッファ・プール・ピン(当該ページが使用中であり、メモリの別の層には移動できないことを示すためのバッファ・オペレーション)が行われる。
一実施形態において、階層参照カウントは、スーパースロットのアクセス細分性に維持され、これは、行の連続する範囲(例えば16384)に対応する。さらに、各カラムに対するアクセス・カウントもスーパースロット内に維持される。これは、データベース・バッファ・プール中のページごとの参照カウントをインクリメントするためのオーバーヘッドをほぼ完全に回避し、メモリの種類の間でのデータの細かい粒度での移動を可能にしながら、ホット・データをメモリ中に組み入れる場合に特に効率的である。例えば、個別ページはなお移動可能である。一実施形態では、マッピング・プロセッサ415は、カラム優先にレイアウトされたテーブル中で、行方式の識別子からカラム方式の識別子へのマッピングを提供する。以下では、TSNは行識別子を指す。実際のデータ・レイアウトはカラム優先であるが、2つの共通オペレーションが行優先のレイアウト結果を生成する結果となる。第一に、取り込み(ロード/挿入)がテーブルに加えられる行を生成する。これらの行は、分割して別々のカラムに付加される必要がある。第二に、ポイント・クエリが(通常、インデックス・ルックアップを介して)TSNを生成し、これらは各カラムに対するページ上にマップされる必要がある。これはパフォーマンスおよび同時処理を悪化させる。例えば、従来式のバッファ・プールおよびインデックス構造体が、TSNをカラムごとにページIDにマップするのに用いられる場合、Nのカラムを有するテーブル上でのポイント・クエリは、TSNをページIDにマップするために、Nのページ・マップに対しNの2回目のインデックス・ルックアップの後、2Nのハッシュ・テーブルへのアクセス、およびページを固定するためNのバッファ・プールの固定(これはNの参照カウントのインクリメントを伴う)を実施しなければならない。これを回避するために、一実施形態では、参照カウンティング、および(ページ・マップまたは従来式のバッファ・プールのような)ページごとの細分性ではなく、TSNの細分性でのTSNからページへのマッピング、の両方がマッピング・プロセッサ415によって実施される。一実施形態では、スーパースロット・データ構造体は、約16384のTSNに相当する。
一実施形態において、スーパースロットは、各カラムに対する(startTSN,pagePtr)のアレイを有する。startTSNは、各ページ中の当該カラムに対する開始TSNのTSNである。境界ページは、各カラム内の隣り合うスーパースロットの間で共有することが可能である。一実施形態では、スーパースロットは、スーパースロットの行への全てのアクティブな(読み取りまたは書き込み)参照を記録するグローバル参照カウントに加えて、各カラムに対する参照カウントを含む。一実施形態において、インプレースの更新は許可されず、したがって、グローバルおよびカラムごとのカウントは、読み取り者の数のカウントを追跡するだけである。他の実施形態において、インプレース更新が許可される場合は、書き込み者の数に対する参照カウントも維持される。pagePtrはページへのポインタであり、ページは、メモリ階層が2つのレベルだけ、すなわちバッファ・プールとディスクとを有する場合は、バッファ・プール中またはディスク上に存在し得る。したがって、pagePtrは、(バッファ・プール・ページID,テーブルスペース・ページID)の結合体であり、テーブルスペース・ページIDはディスク上のページに対する識別子である。一般に、pagePtrは、メモリ階層にまたがる諸ポインタの結合体とすることが可能で、必ずしもバッファおよびディスク・ページの識別子のみを保持する必要はない。
図5は、一実施形態による、特定のレコードにアクセスし、かかるアクセスの過程で、必要に応じアクセス・メタデータを更新し、それらのレコードを包含し且つ未だバッファ・プールにロードされていない任意のページをバッファ・プール中にロードするためのプロセスを示す。一実施形態において、ブロック510で、アクセス対象のレコードに対応するTSNが識別される。ブロック520で、TSNの範囲がアクセス対象レコードのTSNとオーバーラップするスーパースロットが識別され、それらスーパースロットに対するアクセス・メタデータがルックアップされる。ブロック530で、そのメタデータから、アクセス対象のレコードを包含するメモリ・ページが判別される。ブロック540で、判別されたメモリ・ページの各々が(バッファ・プール中の)物理メモリ中に在るかどうかが識別される。それらのいずれかがない場合、それらのページは物理メモリ中にロードされる。また、それら新規にロードされたページに対するアクセス・メタデータも初期化される。ブロック550で、これら識別されたスーパースロットの各々に対し、アクセス者の現在数がインクリメントされる。一実施形態において、ブロック560で、これらのスーパースロットに対するアクセス頻度も更新される。ブロック570で、一切の新規にロードされたページに対し、スーパースロット中のメモリ・ページ・アドレスのリストもまた更新される。
図6は、或る実施形態による、ポイント・クエリ・オペレーションのためにTSNをページに(TSN→ページ)マッピングするためのプロセス600を示す。一実施形態において、ブロック610で、アクセス対象のテーブル(またはオブジェクト)がクエリから得られる。一実施形態では、ブロック615で、テーブルに対するカラム(例えば、下位オブジェクト)のリストがクエリから得られ、該リストはアクセスの必要があるカラムを示している。次いで、スーパースロットは、(例えば、(必要なカラムに)superslot.cols.numreaders++を実施することによって)それらのカラムの各々に対するアクセス・カウントをインクリメントする。一実施形態において、ブロック620で、スーパースロット・データ構造体上のグローバル読み取り者カウンタがインクリメントされる。一実施形態では、ブロック625で、各カラムに対しスキャン(scan(startTSN,pagePtr))が実施される。
一実施形態において、ブロック630で、対象とするページが識別される。一実施形態では、ブロック635で、ページをバッファ・プール中に固定する必要があるかどうかが判定される。ページ固定は、ページをバッファ・プール中に固定/ピン止め/保持するオペレーションであって、まず、該ページが現在存在しない場合は、それを永続ストレージ(ディスクまたはssd)からバッファ・プール中に読み取り、当該ページが取り外し/ピン外しされるまで、当該ページに対する何らかのオペレーションの間そのページをそこに保持し、取り外し/ピン外しがされた時点より後に、バッファ・プールは当該ページを排除することを決定し得する。一実施形態において、ブロック635での判定は、対象のページがバッファ・プールに既に存在するかしないかに基づく。一実施形態では、バッファ・プール・ページが固定化(割り当て)を必要とする場合、ブロック640において、ロードされているページは、pagePtrの選択されたビットに、ページのロードが進行中であり他者はそのページのロードを試みるべきでないことを指定するインジケータ値へのコンペアアンドスワップ(cswp:compare−and−swap)を実施することによって標識される。一実施形態において、ブロック645で、cswpの返答が肯定かまたは否定かが判定される。一実施形態では、cswpが肯定値を返さない場合、プロセス600はブロック635に続く。一実施形態において、cswpが肯定値を返した場合、プロセスはページがロードされるブロック650に続く。
一実施形態において、ブロック660で、当該ページのロードが完了し、使用の準備が整っていることを示すために、バッファ・プール・ページIDでpagePtrへのcswpが実施される。一実施形態では、ブロック665で、スーパースロットにまたがって共有されている境界ページの場合、状態は、それをポイントする第一スーパースロットに対してペンディングに設定される。一実施形態において、トランザクションが終了するときに固定解除されないページに対し、スーパースロットレベルのラッチが用いられ、どのページが固定解除可能かが決められる(superslot.cols.readerCount)。一実施形態では、BIクエリに対し、読み取り者カウントが必要とされるカラムだけについてインクリメントされることを除き、プロセス600を使うことができる。一実施形態において、プロセス600は、ページから値が読み取られるブロック670へと続き、プロセス600は完了する。
図7は、一実施形態による、データ・オブジェクトを挿入し、アクセス・メタデータを追跡するためにスーパースロット中のメタデータを初期化するプロセスを示す。一実施形態において、ブロック710で、データ・オブジェクトにメモリ・ページが割り当てられ、該オブジェクトが格納されることになる。ブロック720で、これらのデータ・オブジェクトを格納するために何らかの新規メモリ・ページの割り当てが必要な場合、これらのページについてのアクセス情報を追跡するために、メタデータの初期化が行われる。ブロック730で、これらのオブジェクトにTSNが割り振られる。一実施形態では、TSNのいずれかが、既存のスーパースロットの範囲に入らない場合、新規のスーパースロットが生成され、初期化される。これらの新規スーパースロットには、それらのTSNに含まれたオブジェクトを保持するメモリ・ページのアドレスが格納される。
図8は、或る実施形態による、TSNを、全カラム値が固定長を有する挿入オペレーションのためのページにマップするプロセス800を示す。一実施形態において、ブロック810で、テーブル(またはオブジェクト)がストレージから得られる。各インサータ・スレッドは、どのくらい多くの付加対象の行があるかを正確に知っており、挿入する行を取り上げる。各スーパースロットは、アトミックに変更される2つのカウンタ、すなわち、当該スーパースロット上の最大使用TSNと、当該スーパースロット上のアクティブなインサータ・スレッドの数とを有する。一実施形態では、ブロック815で、行(または下位オブジェクト)のリストがテーブルから取得される。一実施形態において、ブロック820で、新規の行のいずれかに対し必要な場合、スーパースロットが初期化される。スーパースロットが初期化される場合、全てのスロット(スロットは(startTSN,page pointer))は、必要に応じ割り当てられる、テーブル・スペース上のページで充填される(全スロットの充填、ページ割り当て)。一実施形態では、挿入オペレーションに対し、ブロック830で、TSNは、挿入される行の数だけアトミックにインクリメントされる。ブロック840で、インサータの数が1つインクリメントされる(フェッチとcswpとのループ)。
一実施形態において、ブロック850で、当該ページがバッファ・プールへの固定を必要としているかどうかが判定される。別の実施形態において、これは、ブロック820でスーパースロットが初期化されるときに、全ページを割り当てることによって提供することも可能である。一実施形態では、ブロック850における判定は、対象のページがバッファ・プール中に既に存在するかどうかに基づく。一実施形態において、ページがバッファ・プール中への固定化を必要としない場合、制御はブロック845に流れる。一実施形態では、ページがバッファ・プール中への固定化を必要とする場合、ブロック855で、pagePtrの最後の数ビットに対しアトミックなコンペアアンドスワップ(cswp)が行われ、当該ページに対するロードがペンディングしていることを示す状態になる。一実施形態において、ブロック860で、cswpが肯定的値を返すかどうかが判定される。一実施形態では、cswpが肯定値を返さない場合、プロセス800はブロック850に戻って続く。一実施形態において、cswpが肯定値を返した場合、プロセスはブロック862に続き、ページがロードされ、次いでブロック865で、ロードされたページのアドレス(バッファ・プール・ページID)が、別のcswpオペレーションを介してpagePtr中に格納される。続いて制御はブロック845に流れる。
一実施形態において、ブロック845で、ページ上への値に対するメモリ・コピー(memcpy)が、追加のラッチなしに行われる(ページへのTSNのマッピングはスロットをスキャンすることによって行われる)。一実施形態では、制御は次いでブロック875に流れ、アクティブなインサータの数は、フェッチとcswp命令とのループを実行することにより、アトミックにデクリメントされ、このカウントが0である場合、そのコンテンツが安定しているので、インデックス更新、圧縮、スペース回収などバックグラウンド・オペレーションが、このスーパースロットにアクセスすることができる。
一実施形態において、可変長カラムを取り扱うために、ラッチ下の各インサータ・スレッドは、使用対象のバイトの数を示すカウンタ(各可変長フィールドに対し別個のかかるカウンタ)をインクリメントする。このカウンタがインクリメントされたならば、スレッドは、それが挿入する必要のある可変長データに対するスペースを留保したことになる。また、これは、かかる可変長カラムの数が少ない場合にも、アトミックなまたはハードウェアのトランザクション・メモリを介して行うことができる。
一実施形態において、各テーブルは、スーパースロットへのポインタのアレイ、および使用されているスーパースロットの数のアトミックを有する。インサータが、スーパースロットへ組み入れする行よりも多くの行を挿入する必要がある場合、インサータは、まず、組み入れする行をできるだけ多く挿入する。次いで、インサータは、残りの分に対する新規のスーパースロットを形成する。これは、ラッチと待ちとを伴い、1つのスレッドが、使用スロットの数をアトミックに成功裏にインクリメントし、次いで新規スーパースロットおよびそれに対するポインタ中にcswpを形成することになり、その間、同じことをしようとする一切の他のスレッドは待っていなければならない。一実施形態において、待ちを希少にするために、プロセス800は、先行のスーパースロットが半分充填よりも多くなると、先を見越してスーパースロットを形成する。
図9は、或る実施形態による、データ・オブジェクトのアクセスのレベルの追跡に基づいて、2つ以上の種類のメモリにまたがって階層データ・オブジェクトを動的に移動するプロセスのブロック図を示す。一実施形態において、ブロック910で、異なる種類のメモリ(例えば、スタティックRAM、ダイナミックRAM、ハード・ディスク、およびソリッド・ステート・ディスク)をまたがってデータ・オブジェクトを移動する必要があるかどうかが判定される。異なる種類のメモリをまたがってデータ・ブロックを移動する必要があると判定された場合、ブロック920で、データ・オブジェクトおよびデータ・オブジェクトの組分けの追跡されたアクセス・カウントに従って、移動対象のデータ・ブロックが選択される。その他の場合は、プロセスは開始点およびブロック910に戻って進む。ブロック930で、現在のアクセス者の追跡数が、選択されたデータ・オブジェクトにオーバーラップするデータ・オブジェクトの組分けの全てに対してゼロかどうかが判定される。ブロック930が否定の場合、プロセスはブロック920に戻って続く。その他の場合は、プロセスはブロック940へと続く。ブロック940で、選択されたデータ・ブロックは異なる種類のメモリにまたがって移動される。
一実施形態において、本プロセスは、オブジェクト階層プロセッサによって、第一階層中のデータ・オブジェクトを論理的に編成することを含み得る。一例において、第一階層中のデータ・オブジェクトの一部は、他のデータ・オブジェクトの組分けを論理的に含む。一実施形態では、本プロセスは、オブジェクト階層プロセッサによって、第二階層中の2種類以上のメモリにまたがってデータ・オブジェクトを物理的に編成することをさらに含む。一例では、第二階層中のデータ・オブジェクトの別の部分は、他のデータ・オブジェクトの組分けを物理的に含む。本プロセスは、第二階層中のデータ・オブジェクトの組分けを2つ以上の種類のメモリにまたがって動的に移動することと、第一階層中のデータ・オブジェクトの組分けを、各データ・オブジェクトの各組分け中のデータ・オブジェクトの総計アクセス頻度およびデータ・オブジェクトへのアクセス者(例えば、クライアント、スレッド、プロセスなど)の現在数を含むメタデータ情報にマップする、データ構造体を使って、データ・オブジェクトのアクセスのレベルを追跡することとをさらに含む。
一実施形態において、本プロセスは、移動の対象となるデータ・オブジェクトの組分けにオーバーラップする第一階層中のデータ・オブジェクト組分けのアクセスの追跡されたレベルに基づいて、データ・オブジェクトの各組分けを移動するかどうかを判定することを含み得る。一実施形態では、第二階層は、メモリ・ページおよび個別値を含み、第一階層は、データ・レコード、データ・レコードのシーケンス、および個別値を含む。一例において、アクセス頻度の低いデータ・オブジェクト、およびアクセス頻度の低いデータ・オブジェクトのデータ・オブジェクトは、より低速の種類のメモリに移動される。一実施形態において、特定のデータ・オブジェクトを移動する前に、該特定のデータ・オブジェクトにオーバーラップするデータ・オブジェクトの全ての組分けに対し、アクセス者の現在数がゼロであるかどうか、アクセス情報の追跡レベルを用いて検証が行われ、データ・オブジェクトを移動するとの決定は、所定の最少直近アクセス・タイムに基づく。
一実施形態において、データ・レコードのシーケンス中のデータ・オブジェクトの配列はTSNによって示され、メタデータ情報は、データ・オブジェクトの組分けを保持する1つ以上のメモリ・ページのアドレスを含む。一例において、データ構造体は、データ・レコードの論理的集合を識別する連続の特定数のTSNの論理的組分けのリスト、およびデータ・オブジェクトの論理的組分けに対するメタデータ情報のリストを含む。一実施形態では、追加のデータ・オブジェクトを加えるオペレーションの実行に際し、1つ以上のメモリ・ページが、追加のデータ・オブジェクトを保持するための必要に応じて割り当てられ、割り当てられたメモリ・ページが、第二階層中の組分けへのデータ・オブジェクトの割り振りを定め、追加のデータ・オブジェクトは、第一階層中の1つ以上の組分けにも割り振られる。
当業者には当然のことながら、本発明の態様は、システム、方法、またはコンピュータ・プログラム製品として具現化することができる。したがって、本発明の態様は、全体がハードウェアの実施形態、全体がソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、あるいは、ソフトウェア態様およびハードウェア態様を組み合わせた実施形態の形を取ることができ、これらは一般に本明細書では全て「回路」、「モジュール」、または「システム」と称することがある。さらに、本発明の態様は、コンピュータ可読プログラム・コードが具現化されている一つ以上のコンピュータ可読媒体(群)中に具現化されたコンピュータ・プログラム製品の形を取ることも可能である。
一つ以上のコンピュータ可読媒体(群)の任意の組み合わせを用いることが可能である。コンピュータ可読媒体は、コンピュータ可読信号媒体であっても、コンピュータ可読ストレージ媒体であってもよい。コンピュータ可読ストレージ媒体は、例えば、以下に限らないが、電子的、磁気的、光学的、電磁気的、赤外的、または半導体の、システム、装置、またはデバイス、あるいは前述の任意の適切な組み合わせであってよい。コンピュータ可読ストレージ媒体のさらに具体的な例(非包括的リスト)には、一つ以上の配線を有する電気接続、携帯型コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ(RAM:random access memory)、読み取り専用メモリ(ROM:read−only memory)、消去可能プログラマブル読み取り専用メモリ(EPROM(erasable programmable read−only memory)またはフラッシュ・メモリ)、光ファイバ、携帯型コンパクト・ディスク読み取り専用メモリ(CD−ROM:compact disc read−only memory)、光ストレージ・デバイス、磁気ストレージ・デバイス、または前述の任意の適切な組み合わせが含まれよう。本明細書の文脈において、コンピュータ可読ストレージ媒体は、命令実行システム、装置、もしくはデバイスによって、またはこれらに関連させて使用するためのプログラムを、包含または格納できる任意の有形媒体であってよい。
コンピュータ可読信号媒体には、例えばベースバンド中にまたは搬送波の一部として具現化されたコンピュータ可読プログラム・コードを有する、伝播データ信号を含めることができる。かかる伝播信号は、以下に限らないが、電磁気的、光学的、またはこれらの任意の適切な組み合わせを含め、さまざまな形態の任意の形を取ることが可能である。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではないが、命令実行システム、装置、もしくはデバイスによって、またはこれらに関連させて使用するためのプログラムの通信、伝播、または伝送が可能な任意のコンピュータ可読媒体であってよい。
コンピュータ可読媒体上に具現化されたプログラム・コードは、以下に限らないが、無線、有線、光ファイバ・ケーブル、RFなど、または前述の任意の適した組み合わせを含め、任意の適切な媒体を用いて送信することができる。
本発明の態様のオペレーションを実行するためのコンピュータ・プログラム・コードは、Java(R)、Smalltalk(R)、C++などのオブジェクト指向プログラミング言語、および、“C”プログラミング言語または類似のプログラミング言語などの従来式手続き型プログラミング言語を含め、一つ以上のプログラミング言語の任意の組み合わせで記述することができる。このプログラム・コードは、スタンドアロン・ソフトウェア・パッケージとしてユーザのコンピュータで専ら実行することも、ユーザのコンピュータで部分的に実行することもでき、一部をユーザのコンピュータで一部を遠隔コンピュータで実行することもでき、あるいは遠隔のコンピュータまたはサーバで専ら実行することもできる。後者の場合は、ローカル・エリア・ネットワーク(LAN:local area network)または広域ネットワーク(WAN:widearea network)を含む任意の種類のネットワークを介して、遠隔コンピュータをユーザのコンピュータに接続することもでき、あるいは(例えばインターネット・サービス・プロバイダを使いインターネットを介し)外部のコンピュータへの接続を行うことも可能である。
本発明の実施形態による方法、装置(システム)およびコンピュータ・プログラム製品のフローチャート図もしくはブロック図またはその両方を参照しながら、本発明の態様を上記で説明している。当然のことながら、フローチャート図もしくはブロック図またはその両方の各ブロック、および、フローチャート図もしくはブロック図またはその両方中のブロックの組み合わせは、コンピュータ・プログラム命令によって実装することが可能である。これらのコンピュータ・プログラム命令を、汎用コンピュータ、特殊用途コンピュータ、またはマシンを形成する他のプログラム可能データ処理装置のプロセッサに提供し、そのコンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行されるこれらの命令が、フローチャートもしくはブロック図またはその両方のブロックもしくはブロック群中に特定されている機能群/動作群を実装するための手段を生成するようにすることができる。
また、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスに対し特定の仕方で機能するよう命令することが可能なこれらのコンピュータ・プログラム命令を、コンピュータ可読媒体に格納し、そのコンピュータ可読媒体に格納された命令が、フローチャートもしくはブロック図またはその両方のブロックまたはブロック群中に特定されている機能/動作を実装する命令群を包含する製造品を作り出すようにすることができる。
さらに、コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスにロードし、そのコンピュータ上、他のプログラム可能装置上、または他のデバイス上で一連のオペレーション・ステップを実施させて、コンピュータ実装のプロセスを作り出し、当該コンピュータ上もしくは他のプログラム可能装置上で実行される命令が、フローチャートもしくはブロック図またはその両方のブロックもしくはブロック群中に特定されている機能群/動作群を実装するためのプロセスを提供するようにすることも可能である。
図面のフローチャートおよびブロック図は、本発明の様々な実施形態による、システム、方法、およびコンピュータ・プログラム製品から可能となる実装のアーキテクチャ、機能性、およびオペレーションを示している。この点に関し、フローチャートまたはブロック図中の各ブロックは、特定の論理機能(群)を実装するための一つ以上の実行可能命令を含む、モジュール、セグメント、または命令の部分を表し得る。一部の別の実装においては、ブロック中に記載された機能が、図面に記載された順序から外れて行われ得る。例えば、連続して示された2つのブロックが、関与する機能性に応じ、実際にはほぼ同時に実行されることがあり、時にはこれらのブロックが逆の順序で実行されることもあり得る。さらに、ブロック図もしくはフローチャート図またはその両方の各ブロック、およびブロック図もしくはフローチャート図またはその両方中のブロック群の組み合わせは、特定の機能または動作を実施する特殊用途ハードウェア・ベースのシステムによって実装すること、または特殊用途ハードウェアとコンピュータ命令との組み合わせを実行することによって可能なことにも留意すべきである。
特許請求の範囲中の単数形での要素への言及は、明示でそう述べられていない限り、「唯一無二」でなく、むしろ「1つ以上」を意味することが意図されている。当業者には現在既知のまたは今後知られることになる、前述の例示的な実施形態の要素の全ての構造的および機能的等価物は、本請求の範囲に網羅されることが意図されている。本明細書中のどの請求要素も、その要素が語句「ための手段」または「のためのステップ」を用いて明示で述べられている場合を除き、合衆国法典第35巻第112条第6パラグラフの条件の下で解釈されるべきではない。
本明細書で使用する用語は、単に特定の実施形態を説明する目的のためのものであり、本発明を限定することは意図されていない。本明細書で用いられる、単数形「ある(“a”、“an”)」、および「該(“the”)」は、文脈上明確に別途に示されていなければ、複数形も同じように含むことが意図されている。さらに当然のことながら、本明細書で用いられる「含む(“comprise”)」もしくは「含んでいる(“comprising”)」またはその両方は、述べられた特徴、完全体(integer)、ステップ、オペレーション、要素、もしくはコンポーネント、またはこれらの組み合わせの存在を特定するが、一つ以上の他の特徴、完全体、ステップ、オペレーション、要素、コンポーネント、もしくはこれらの群、または上記のいずれかの組み合わせの存在または追加を排除するものではない。
添付の請求項中のミーンズ・プラス・ファンクションまたはステップ・プラス・ファンクションの要素全ての、対応する構造、材料、動作および均等物は、具体的に請求された他の請求要素と組み合わせてその機能を実施するための、一切の構造、材料または動作を包含することが意図されている。本発明の記述は、例示および説明の目的で提示されたものであり、網羅的であることも、または本発明を開示した形態に限定することも意図されていない。当業者には、本発明の範囲および趣旨から逸脱することのない多くの修改および変形が明白であろう。実施形態は、本発明の原理および実際的な応用を最善に説明し、他の当業者が、意図する特定の用途に適したさまざまな修改を加えた様々な実施形態に関して、本発明を理解できるように選択し説明されたものである。

Claims (20)

  1. オブジェクト階層プロセッサによって、第一階層中のデータ・オブジェクトを論理的に編成するステップであって、前記第一階層中の前記データ・オブジェクトの一部が他のデータ・オブジェクトの組分けを論理的に含む、前記論理的に編成するステップと、
    前記オブジェクト階層プロセッサによって、第二階層中の2つ以上の種類のメモリにまたがって前記データ・オブジェクトを物理的に編成するステップであって、前記第二階層中の前記データ・オブジェクトの別の部分は、他のデータ・オブジェクトの組分けを物理的に含む、前記物理的に編成するステップと、
    前記2つ以上の種類のメモリをまたがって、前記第二階層中の前記データ・オブジェクトの組分けを動的に移動するステップと、
    前記第一階層中の前記データ・オブジェクトの組分けを、前記データ・オブジェクトの各組分け中の前記データ・オブジェクトの総計アクセス頻度および前記データ・オブジェクトへのアクセス者の現在数を含むメタデータ情報上にマップする、データ構造体を用いて、前記データ・オブジェクトのアクセスのレベルを追跡するステップと、
    を含む方法。
  2. 移動の対象となるデータ・オブジェクトの前記組分けとオーバーラップする、前記第一階層中の前記データ・オブジェクト組分けのアクセスの前記追跡されたレベルに基づいて、前記データ・オブジェクトの各組分けを移動するかどうかを判定するステップ、
    をさらに含む、請求項1に記載の方法。
  3. 前記第二階層が、メモリ・ページおよび個別値を含み、前記第一階層が、データ・レコード、前記データ・レコードのシーケンス、および個別値を含む、請求項2に記載の方法。
  4. アクセス頻度の低いデータ・オブジェクトおよび前記アクセス頻度の低いデータ・オブジェクトのデータ・オブジェクトは、より低速の種類のメモリに移動され、前記メモリの種類は、スタティックRAM、ダイナミックRAM、ハード・ディスク、およびソリッド・ステート・ディスクを含む、請求項1に記載の方法。
  5. 特定のデータ・オブジェクトを移動する前に、前記特定のデータ・オブジェクトにオーバーラップするデータ・オブジェクトの全ての組分けに対し、アクセス者の現在数がゼロであるかどうか、アクセス情報の追跡されたレベルを用いて検証が行われ、データ・オブジェクトを移動するとの決定は、所定の最少直近アクセス・タイムに基づく、請求項4に記載の方法。
  6. データ・レコードのシーケンス中のデータ・オブジェクトの配列は、タプル・シーケンス数(TSN)によって示され、前記メタデータ情報が、データ・オブジェクトの組分けを保持する1つ以上のメモリ・ページのアドレスを含み、
    前記データ構造体が、データ・レコードの論理的な集合を識別する連続の特定数のTSNの論理的組分けのリスト、およびデータ・オブジェクトの論理的な組分けに対する前記メタデータ情報のリストを含む、
    請求項3に記載の方法。
  7. 追加のデータ・オブジェクトを加えるオペレーションの実行に際し、1つ以上のメモリ・ページが、前記追加のデータ・オブジェクトを保持するための必要に応じて割り当てられ、前記割り当てられたメモリ・ページが、前記第二階層中の組分けへの前記データ・オブジェクトの割り振りを定め、前記追加のデータ・オブジェクトは、前記第一階層中の1つ以上の組分けにも割り振られる、請求項6に記載の方法。
  8. 階層的データ・オブジェクトを2つ以上の種類のメモリにまたがって移動するためのコンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品は、具現化されたプログラム・コードを有するコンピュータ可読ストレージ媒体を含み、前記プログラム・コードは、プロセッサによって、
    前記プロセッサによって、第一階層中のデータ・オブジェクトを論理的に編成し、前記第一階層中の前記データ・オブジェクトの一部は、他のデータ・オブジェクトの組分けを論理的に含み、
    前記プロセッサによって、第二階層中の2つ以上の種類のメモリにまたがって前記データ・オブジェクトを物理的に編成し、前記第二階層中の前記データ・オブジェクトの別の部分は、他のデータ・オブジェクトの組分けを物理的に含み、
    前記プロセッサによって、前記2つ以上の種類のメモリをまたがって、前記第二階層中の前記データ・オブジェクトの組分けを動的に移動し、および
    前記プロセッサによって、前記第一階層中の前記データ・オブジェクトの組分けを、前記データ・オブジェクトの各組分け中の前記データ・オブジェクトの総計アクセス頻度および前記データ・オブジェクトへのアクセス者の現在数を含むメタデータ情報上にマップする、データ構造体を用いて、前記データ・オブジェクトのアクセスのレベルを追跡する、
    ために実行可能である、
    コンピュータ・プログラム製品。
  9. 移動の対象となるデータ・オブジェクトの前記組分けとオーバーラップする、前記第一階層中の前記データ・オブジェクト組分けのアクセスの前記追跡されたレベルに基づいて、前記データ・オブジェクトの各組分けを移動するかどうかをプロセッサによって判定するために、前記プロセッサによって実行可能なプログラム・コードをさらに含む、請求項8に記載のコンピュータ・プログラム製品。
  10. 前記第二階層が、メモリ・ページおよび個別値を含み、前記第一階層が、データ・レコード、前記データ・レコードのシーケンス、および個別値を含み、アクセス頻度の低いデータ・オブジェクトおよび前記アクセス頻度の低いデータ・オブジェクトのデータ・オブジェクトは、より低速の種類のメモリに移動され、前記メモリの種類は、スタティックRAM、ダイナミックRAM、ハード・ディスク、およびソリッド・ステート・ディスクを含む、請求項9に記載のコンピュータ・プログラム製品。
  11. 特定のデータ・オブジェクトを移動する前に、前記特定のデータ・オブジェクトにオーバーラップするデータ・オブジェクトの全ての組分けに対し、アクセス者の現在数がゼロであるかどうか、アクセス情報の追跡されたレベルを用いて検証が行われる、請求項10に記載のコンピュータ・プログラム製品。
  12. 階層的データ・オブジェクトを移動するとの決定は、所定の最少直近アクセス・タイムに基づく、請求項10に記載のコンピュータ・プログラム製品。
  13. データ・レコードのシーケンス中のデータ・オブジェクトの配列は、タプル・シーケンス数(TSN)によって示され、前記メタデータ情報が、データ・オブジェクトの組分けを保持する1つ以上のメモリ・ページのアドレスを含む、請求項10に記載のコンピュータ・プログラム製品。
  14. 前記データ構造体が、データ・レコードの論理的な集合を識別する連続の特定数のTSNの論理的組分けのリスト、およびデータ・オブジェクトの論理的な組分けに対する前記メタデータ情報のリストを含む、請求項13に記載のコンピュータ・プログラム製品。
  15. 追加のデータ・オブジェクトを加えるオペレーションの実行に際し、1つ以上のメモリ・ページが、前記追加のデータ・オブジェクトを保持するための必要に応じて割り当てられ、前記割り当てられたメモリ・ページが、前記第二階層中の組分けへの前記データ・オブジェクトの割り振りを定め、前記追加のデータ・オブジェクトが、前記第一階層中の1つ以上の組分けにも割り振られる、請求項13に記載のコンピュータ・プログラム製品。
  16. プロセッサと、
    前記プロセッサに連結された2つ以上のストレージ・ユニットであって、前記2つ以上のストレージ・ユニットは相異なるメモリの種類を含む、前記ストレージ・ユニットと、
    第一階層中のデータ・オブジェクトを論理的に編成し、前記第一階層中の前記データ・オブジェクトの一部は、他のデータ・オブジェクトの組分けを論理的に含み、
    第二階層中の前記2つ以上のストレージ・ユニットにまたがって前記データ・オブジェクトを物理的に編成し、前記第二階層中の前記データ・オブジェクトの別の部分は、他のデータ・オブジェクトの組分けを物理的に含み、且つ
    前記2つ以上のストレージ・ユニットをまたがって、前記第二階層中の前記データ・オブジェクトの組分けを動的に移動する、
    オブジェクト階層プロセッサと、
    前記第一階層中の前記データ・オブジェクトの組分けを、前記データ・オブジェクトの各組分け中の前記データ・オブジェクトの総計アクセス頻度および前記データ・オブジェクトへのアクセス者の現在数を含むメタデータ情報上にマップする、データ構造体を用いて、前記データ・オブジェクトのアクセスのレベルを追跡するアクセス追跡プロセッサと、
    を含むシステム。
  17. 前記オブジェクト階層プロセッサが、移動の対象となるデータ・オブジェクトの前記組分けとオーバーラップする、前記第一階層中の前記データ・オブジェクト組分けのアクセスの前記追跡されたレベルに基づいて、前記データ・オブジェクトの各組分けを移動するかどうかをさらに判定する、請求項16に記載のシステム。
  18. 前記第二階層が、メモリ・ページおよび個別値を含み、前記第一階層が、データ・レコード、前記データ・レコードのシーケンス、および個別値を含み、
    アクセス頻度の低いデータ・オブジェクトおよび前記アクセス頻度の低いデータ・オブジェクトのデータ・オブジェクトは、より低速の種類のメモリに移動され、
    前記メモリの種類は、スタティックRAM、ダイナミックRAM、ハード・ディスク、およびソリッド・ステート・ディスクを含み、
    特定のデータ・オブジェクトを移動する前に、前記特定のデータ・オブジェクトにオーバーラップするデータ・オブジェクトの全ての組分けに対し、アクセス者の現在数がゼロであるかどうか、アクセス情報の追跡されたレベルを用いて検証が行われ、
    データ・オブジェクトを移動するとの決定は所定の最少直近アクセス・タイムに基づく、請求項17に記載のシステム。
  19. データ・レコードのシーケンス中のデータ・オブジェクトの配列は、タプル・シーケンス数(TSN)によって示され、前記メタデータ情報が、データ・オブジェクトの組分けを保持する1つ以上のメモリ・ページのアドレスを含み、前記データ構造体は、データ・レコードの論理的集合を識別する連続の特定数のTSNの論理的組分けのリスト、およびデータ・オブジェクトの論理的組分けに対する前記メタデータ情報のリストを含む、請求項18に記載のシステム。
  20. 前記プロセッサが、追加のデータ・オブジェクトを加えるオペレーションを実行するのに際し、1つ以上のメモリ・ページが、前記追加のデータ・オブジェクトを保持するための必要に応じて割り当てられ、前記割り当てられたメモリ・ページが、前記第二階層中の組分けへの前記データ・オブジェクトの割り振りを定め、前記追加のデータ・オブジェクトが、前記第一階層中の1つ以上の組分けにも割り振られる、請求項19に記載のシステム。
JP2017545567A 2015-03-20 2016-02-04 カラム・ストアにおける挿入およびポイント・クエリ・オペレーションの効率的パフォーマンス Active JP6748653B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/664,686 US10650011B2 (en) 2015-03-20 2015-03-20 Efficient performance of insert and point query operations in a column store
US14/664,686 2015-03-20
PCT/CN2016/073481 WO2016150259A1 (en) 2015-03-20 2016-02-04 Efficient performance of insert and point query operations in a column store

Publications (2)

Publication Number Publication Date
JP2018513454A true JP2018513454A (ja) 2018-05-24
JP6748653B2 JP6748653B2 (ja) 2020-09-02

Family

ID=56924939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017545567A Active JP6748653B2 (ja) 2015-03-20 2016-02-04 カラム・ストアにおける挿入およびポイント・クエリ・オペレーションの効率的パフォーマンス

Country Status (6)

Country Link
US (1) US10650011B2 (ja)
JP (1) JP6748653B2 (ja)
CN (1) CN107408132B (ja)
DE (1) DE112016000776T5 (ja)
GB (1) GB2553454B (ja)
WO (1) WO2016150259A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9311359B2 (en) 2013-01-30 2016-04-12 International Business Machines Corporation Join operation partitioning
US9672248B2 (en) 2014-10-08 2017-06-06 International Business Machines Corporation Embracing and exploiting data skew during a join or groupby
WO2018034681A1 (en) * 2016-08-13 2018-02-22 Intel Corporation Apparatuses, methods, and systems for access synchronization in a shared memory
CN111104067B (zh) * 2019-12-20 2024-01-12 深圳前海微众银行股份有限公司 面向列的缓存方法、装置、设备及计算机可读存储介质
US11734277B2 (en) * 2021-02-05 2023-08-22 International Business Machines Corporation Database buffer pool optimization

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007234026A (ja) * 2006-03-01 2007-09-13 Quantum Corp ユニークブロックプールマネージャを含むデータ記憶システムおよび階層記憶装置における応用
US20090240663A1 (en) * 2007-09-21 2009-09-24 Hasso-Plattner-Institute Fur Softwaresystemtechnik Gmbh ETL-Less Zero-Redundancy System and Method for Reporting OLTP Data
WO2011148496A1 (ja) * 2010-05-27 2011-12-01 株式会社日立製作所 通信ネットワークを介してリモートのファイルサーバにファイルを転送するローカルのファイルサーバ、及び、それらのファイルサーバを有するストレージシステム
US20130166534A1 (en) * 2011-12-22 2013-06-27 Sap Ag Hybrid Database Table Stored as Both Row and Column Store
WO2013141308A1 (ja) * 2012-03-22 2013-09-26 日本電気株式会社 分散ストレージシステム、ストレージ制御方法およびプログラム
JP2013222457A (ja) * 2012-04-18 2013-10-28 Hitachi Ltd データ位置の管理方法および装置
US20130325900A1 (en) * 2012-05-31 2013-12-05 International Business Machines Corporation Intra-block partitioning for database management
WO2014010038A1 (ja) * 2012-07-11 2014-01-16 株式会社日立製作所 情報処理システム
WO2014045441A1 (ja) * 2012-09-24 2014-03-27 株式会社日立製作所 ストレージ装置が有する階層型プール内のデータの配置を制御する計算機及び方法

Family Cites Families (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04251346A (ja) 1990-05-16 1992-09-07 Internatl Business Mach Corp <Ibm> データ処理システムにおいて文書を階層的にグループ化する方法
JP3266351B2 (ja) 1993-01-20 2002-03-18 株式会社日立製作所 データベース管理システムおよび問合せの処理方法
US5794229A (en) 1993-04-16 1998-08-11 Sybase, Inc. Database system with methodology for storing a database table by vertically partitioning all columns of the table
US5455826A (en) 1994-06-28 1995-10-03 Oezveren; Cueneyt M. Method and apparatus for rate based flow control
DE19515020A1 (de) 1994-07-01 1996-01-04 Hewlett Packard Co Verfahren und Vorrichtung zum Optimieren von Abfragen mit Gruppieren-nach-Operatoren
US5740440A (en) 1995-01-06 1998-04-14 Objective Software Technology Dynamic object visualization and browsing system
CA2168287C (en) 1995-03-31 2000-05-23 Guy M. Lohman Method for detecting and optimizing relational queries with encoding/decoding tables
US5706495A (en) 1996-05-07 1998-01-06 International Business Machines Corporation Encoded-vector indices for decision support and warehousing
US6134601A (en) * 1996-06-17 2000-10-17 Networks Associates, Inc. Computer resource management system
US6052697A (en) 1996-12-23 2000-04-18 Microsoft Corporation Reorganization of collisions in a hash bucket of a hash table to improve system performance
US5893086A (en) 1997-07-11 1999-04-06 International Business Machines Corporation Parallel file system and method with extensible hashing
US6557091B2 (en) * 1997-08-22 2003-04-29 Koninklijke Philips Electronics N.V. Data processor with localized memory reclamation
GB9811574D0 (en) 1998-05-30 1998-07-29 Ibm Indexed file system and a method and a mechanism for accessing data records from such a system
US6247014B1 (en) 1998-07-01 2001-06-12 Nortel Networks Limited Method and apparatus for performing hash lookups using valid bit tables with pointers
US6609131B1 (en) 1999-09-27 2003-08-19 Oracle International Corporation Parallel partition-wise joins
DE19961499A1 (de) 1999-12-20 2001-07-05 Ericsson Telefon Ab L M Caching von Objekten in Platten-gestützten Datenbanken
US20020016820A1 (en) 2000-05-30 2002-02-07 Jordan Du Val Distributing datacast signals embedded in broadcast transmissions over a computer network
US6505189B1 (en) 2000-06-15 2003-01-07 Ncr Corporation Aggregate join index for relational databases
US8692695B2 (en) 2000-10-03 2014-04-08 Realtime Data, Llc Methods for encoding and decoding data
US6954776B1 (en) 2001-05-07 2005-10-11 Oracle International Corporation Enabling intra-partition parallelism for partition-based operations
US7293028B2 (en) 2001-06-08 2007-11-06 Sap Ag Cache-conscious concurrency control scheme for database systems
KR100832222B1 (ko) 2001-06-09 2008-05-23 자프 아게 메인 메모리 데이터베이스 시스템의 색인 구조를 위한캐쉬에 최적화된 동시성 제어방법
US7136883B2 (en) * 2001-09-08 2006-11-14 Siemens Medial Solutions Health Services Corporation System for managing object storage and retrieval in partitioned storage media
US7062481B2 (en) 2001-09-28 2006-06-13 Ncr Corp. Eliminating group-by operations in a join plan
US6757677B2 (en) 2001-09-28 2004-06-29 Ncr Corporation Providing a join plan using group-by operator
US7499960B2 (en) 2001-10-01 2009-03-03 Oracle International Corporation Adaptive memory allocation
US6775681B1 (en) 2002-02-26 2004-08-10 Oracle International Corporation Evaluation of grouping sets by reduction to group-by clause, with or without a rollup operator, using temporary tables
US6937652B2 (en) 2002-04-19 2005-08-30 Seiko Epson Corporation Frame compression using radix approximation
US7287131B1 (en) 2003-03-21 2007-10-23 Sun Microsystems, Inc. Method and apparatus for implementing a fully dynamic lock-free hash table
US8612421B2 (en) 2003-05-07 2013-12-17 Oracle International Corporation Efficient processing of relational joins of multidimensional data
US7472107B2 (en) 2003-06-23 2008-12-30 Microsoft Corporation Integrating horizontal partitioning into physical database design
US20050018683A1 (en) 2003-07-21 2005-01-27 Zhao Yigiang Q. IP address storage technique for longest prefix match
US7412439B2 (en) 2004-01-07 2008-08-12 International Business Machines Corporation Method for statistics management
US8886614B2 (en) 2004-02-03 2014-11-11 Teradata Us, Inc. Executing a join plan using data compression
US8768889B1 (en) 2004-04-07 2014-07-01 Oracle America, Inc. Method and apparatus for performing lock-free updates in a linked list
US7827182B1 (en) 2004-06-02 2010-11-02 Cisco Technology, Inc Searching for a path to identify where to move entries among hash tables with storage for multiple entries per bucket during insert operations
US7177883B2 (en) * 2004-07-15 2007-02-13 Hitachi, Ltd. Method and apparatus for hierarchical storage management based on data value and user interest
US7343363B1 (en) 2004-09-29 2008-03-11 Unisys Corporation Methods and apparatus for grouping elements of element pairs into element sets
US8145642B2 (en) 2004-11-30 2012-03-27 Oracle International Corporation Method and apparatus to support bitmap filtering in a parallel system
US7308539B2 (en) 2004-12-17 2007-12-11 International Business Machines Corporation Concurrent read access and exclusive write access to data in shared memory architecture
US20060218176A1 (en) 2005-03-24 2006-09-28 International Business Machines Corporation System, method, and service for organizing data for fast retrieval
US7653670B2 (en) 2005-11-28 2010-01-26 Nec Laboratories America, Inc. Storage-efficient and collision-free hash-based packet processing architecture and method
US7685098B2 (en) 2005-12-08 2010-03-23 International Business Machines Corporation Estimating the size of a join by generating and combining partial join estimates
US7716180B2 (en) 2005-12-29 2010-05-11 Amazon Technologies, Inc. Distributed storage system with web services client interface
US8838620B2 (en) 2006-02-03 2014-09-16 International Business Machines Corporation Predictive data object retrieval
US20090187586A1 (en) 2006-03-31 2009-07-23 Qd Technology Llc Selecting various algorithms to compress columns of analytic data in a read-only relational database in a manner that allows decompression of the compressed data using minimal system resources
US7619623B2 (en) 2006-04-17 2009-11-17 Microsoft Corporation Perfect multidimensional spatial hashing
US7965297B2 (en) 2006-04-17 2011-06-21 Microsoft Corporation Perfect hashing of variably-sized data
US7574435B2 (en) 2006-05-03 2009-08-11 International Business Machines Corporation Hierarchical storage management of metadata
US7805460B2 (en) 2006-10-26 2010-09-28 Polytechnic Institute Of New York University Generating a hierarchical data structure associated with a plurality of known arbitrary-length bit strings used for detecting whether an arbitrary-length bit string input matches one of a plurality of known arbitrary-length bit string
US7827218B1 (en) 2006-11-18 2010-11-02 X-Engines, Inc. Deterministic lookup using hashed key in a multi-stride compressed trie structure
CN100488174C (zh) 2006-11-24 2009-05-13 中兴通讯股份有限公司 流分类中基于硬件的差异化组织方法
US7676635B2 (en) 2006-11-29 2010-03-09 International Business Machines Corporation Recoverable cache preload in clustered computer system based upon monitored preload state of cache
US8027993B2 (en) 2006-12-28 2011-09-27 Teradota Us, Inc. Techniques for establishing and enforcing row level database security
US7564722B2 (en) * 2007-01-22 2009-07-21 Micron Technology, Inc. Memory system and method having volatile and non-volatile memory devices at same hierarchical level
US20080183657A1 (en) 2007-01-26 2008-07-31 Yuan-Chi Chang Method and apparatus for providing direct access to unique hierarchical data items
US7688758B2 (en) 2007-06-26 2010-03-30 Avaya Inc. Node merging process for network topology representation
US20090006399A1 (en) 2007-06-29 2009-01-01 International Business Machines Corporation Compression method for relational tables based on combined column and row coding
US8799272B2 (en) 2007-07-20 2014-08-05 Hewlett-Packard Development Company, L.P. Data skew insensitive parallel join scheme
JP2009093571A (ja) * 2007-10-11 2009-04-30 Hitachi Ltd 記憶制御装置、記憶制御装置のデータアーカイブ方法及びストレージシステム
US9805077B2 (en) 2008-02-19 2017-10-31 International Business Machines Corporation Method and system for optimizing data access in a database using multi-class objects
JP4613969B2 (ja) 2008-03-03 2011-01-19 ソニー株式会社 通信装置、及び通信方法
US8271564B2 (en) 2008-07-14 2012-09-18 Symbol Technologies, Inc. Lookup table arrangement and related management method for accommodating concurrent processors
US8078593B1 (en) 2008-08-28 2011-12-13 Infineta Systems, Inc. Dictionary architecture and methodology for revision-tolerant data de-duplication
CN101388042B (zh) 2008-09-17 2011-01-19 北京六维世纪网络技术有限公司 一种建立文件特征库索引的方法及装置
US20100088309A1 (en) 2008-10-05 2010-04-08 Microsoft Corporation Efficient large-scale joining for querying of column based data encoded structures
US8195644B2 (en) 2008-10-06 2012-06-05 Teradata Us, Inc. System, method, and computer-readable medium for optimization of multiple parallel join operations on skewed data
US8060495B2 (en) 2008-10-21 2011-11-15 International Business Machines Corporation Query execution plan efficiency in a database management system
US8234268B2 (en) 2008-11-25 2012-07-31 Teradata Us, Inc. System, method, and computer-readable medium for optimizing processing of distinct and aggregation queries on skewed data in a database system
US8212695B2 (en) 2009-02-05 2012-07-03 Polytechnic Institute Of New York University Generating a log-log hash-based hierarchical data structure associated with a plurality of known arbitrary-length bit strings used for detecting whether an arbitrary-length bit string input matches one of a plurality of known arbitrary-length bit strings
US8805852B2 (en) 2009-03-02 2014-08-12 International Business Machines Corporation Automatic query execution plan management and performance stabilization for workloads
KR101367450B1 (ko) 2009-04-08 2014-02-25 인텔 코오퍼레이션 멀티 스레드 어플리케이션을 위한 해시 테이블의 동시 리해싱의 수행
US8515965B2 (en) 2010-05-18 2013-08-20 Lsi Corporation Concurrent linked-list traversal for real-time hash processing in multi-core, multi-thread network processors
US8321385B2 (en) 2010-03-12 2012-11-27 Lsi Corporation Hash processing in a network communications processor architecture
US7868789B1 (en) 2009-06-28 2011-01-11 Sap Ag Dictionary-based order-preserving string compression for main memory column stores
US8438574B1 (en) 2009-08-14 2013-05-07 Translattice, Inc. Generating monotone hash preferences
US9280609B2 (en) 2009-09-08 2016-03-08 Brocade Communications Systems, Inc. Exact match lookup scheme
US8543539B2 (en) 2009-09-16 2013-09-24 Business Objects Software Limited Method and system for capturing change of data
US8244765B2 (en) 2009-09-30 2012-08-14 International Business Machines Corporation Avoiding three-valued logic in predicates on dictionary-encoded data
US9262330B2 (en) * 2009-11-04 2016-02-16 Microsoft Technology Licensing, Llc Column oriented in-memory page caching
US8443155B2 (en) 2009-12-31 2013-05-14 Facebook, Inc. Lock-free concurrent object dictionary
GB201004449D0 (en) 2010-02-22 2010-05-05 Corbett Sean Data accelerator
CN102893265B (zh) 2010-03-10 2018-06-08 起元技术有限责任公司 管理可独立访问的数据单元的存储
US8788543B2 (en) 2010-05-13 2014-07-22 International Business Machines Corporation Scalable, concurrent resizing of hash tables
US20110307471A1 (en) 2010-06-09 2011-12-15 International Business Machines Corporation Accelerating Database Management System Operations
US9355109B2 (en) 2010-06-11 2016-05-31 The Research Foundation For The State University Of New York Multi-tier caching
US20120011144A1 (en) 2010-07-12 2012-01-12 Frederik Transier Aggregation in parallel computation environments with shared memory
US8312066B2 (en) 2010-11-30 2012-11-13 Telefonaktiebolaget L M Ericsson (Publ) Hash collision resolution with key compression in a MAC forwarding data structure
US20120136846A1 (en) 2010-11-30 2012-05-31 Haoyu Song Methods of hashing for networks and systems thereof
US8880554B2 (en) 2010-12-03 2014-11-04 Futurewei Technologies, Inc. Method and apparatus for high performance, updatable, and deterministic hash table for network equipment
US20120166400A1 (en) 2010-12-28 2012-06-28 Teradata Us, Inc. Techniques for processing operations on column partitions in a database
US8423522B2 (en) 2011-01-04 2013-04-16 International Business Machines Corporation Query-aware compression of join results
JP5624510B2 (ja) 2011-04-08 2014-11-12 株式会社東芝 記憶装置、記憶システム及び認証方法
US10044548B2 (en) 2012-10-15 2018-08-07 Jetflow Technologies Flowlet-based processing
US8346810B2 (en) 2011-05-13 2013-01-01 Simplivity Corporation Reference count propagation
US20120303633A1 (en) 2011-05-26 2012-11-29 International Business Machines Corporation Systems and methods for querying column oriented databases
US20120310917A1 (en) 2011-05-31 2012-12-06 International Business Machines Corporation Accelerated Join Process in Relational Database Management System
WO2012178032A1 (en) * 2011-06-23 2012-12-27 CohortFS, LLC Dynamic data placement for distributed storage
US8806160B2 (en) * 2011-08-16 2014-08-12 Pure Storage, Inc. Mapping in a storage system
US8661005B2 (en) 2011-12-08 2014-02-25 International Business Machines Corporation Optimized deletion and insertion for high-performance resizable RCU-protected hash tables
US8768927B2 (en) 2011-12-22 2014-07-01 Sap Ag Hybrid database table stored as both row and column store
US20130218934A1 (en) 2012-02-17 2013-08-22 Hitachi, Ltd. Method for directory entries split and merge in distributed file system
US9355146B2 (en) 2012-06-29 2016-05-31 International Business Machines Corporation Efficient partitioned joins in a database with column-major layout
US8862571B2 (en) * 2012-06-29 2014-10-14 International Business Machines Corporation Predicate pushdown with late materialization in database query processing
US9665572B2 (en) 2012-09-12 2017-05-30 Oracle International Corporation Optimal data representation and auxiliary structures for in-memory database query processing
US9298723B1 (en) 2012-09-19 2016-03-29 Amazon Technologies, Inc. Deduplication architecture
US9646105B2 (en) 2012-11-08 2017-05-09 Texas Instruments Incorporated Reduced complexity hashing
US9355060B1 (en) * 2012-12-14 2016-05-31 Amazon Technologies, Inc. Storage service lifecycle policy transition management
US9098537B2 (en) 2012-12-20 2015-08-04 Oracle International Corporation Techniques for aligned run-length encoding
US9596312B2 (en) 2013-01-28 2017-03-14 Facebook, Inc. Static resource caching
US9311359B2 (en) 2013-01-30 2016-04-12 International Business Machines Corporation Join operation partitioning
US9317548B2 (en) 2013-01-30 2016-04-19 International Business Machines Corporation Reducing collisions within a hash table
US9171043B2 (en) 2013-01-31 2015-10-27 International Business Machines Corporation Dynamically determining join order
US20140337375A1 (en) 2013-05-07 2014-11-13 Exeray Inc. Data search and storage with hash table-based data structures
US9367556B2 (en) 2013-06-14 2016-06-14 International Business Machines Corporation Hashing scheme using compact array tables
US10311154B2 (en) * 2013-09-21 2019-06-04 Oracle International Corporation Combined row and columnar storage for in-memory databases for OLTP and analytics workloads
US9606921B2 (en) * 2013-09-21 2017-03-28 Oracle International Corporation Granular creation and refresh of columnar data
US9684682B2 (en) * 2013-09-21 2017-06-20 Oracle International Corporation Sharding of in-memory objects across NUMA nodes
CN104679746A (zh) * 2013-11-26 2015-06-03 南京中兴新软件有限责任公司 去重复数据的恢复方法及装置
CN104021205B (zh) 2014-06-18 2017-04-19 中国人民解放军国防科学技术大学 一种建立微博索引的方法及装置
CN104317966B (zh) 2014-11-18 2017-08-08 国家电网公司 一种用于电力大数据快速组合查询的动态索引方法
US9891831B2 (en) * 2014-11-25 2018-02-13 Sap Se Dual data storage using an in-memory array and an on-disk page structure
US9792318B2 (en) * 2014-11-25 2017-10-17 Sap Se Supporting cursor snapshot semantics

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007234026A (ja) * 2006-03-01 2007-09-13 Quantum Corp ユニークブロックプールマネージャを含むデータ記憶システムおよび階層記憶装置における応用
US20090240663A1 (en) * 2007-09-21 2009-09-24 Hasso-Plattner-Institute Fur Softwaresystemtechnik Gmbh ETL-Less Zero-Redundancy System and Method for Reporting OLTP Data
CN101828182A (zh) * 2007-09-21 2010-09-08 哈索-普拉特纳-研究所软件系统有限责任公司 报告oltp数据的无etl零冗余系统和方法
JP2010539616A (ja) * 2007-09-21 2010-12-16 ハッソ−プラトナー−インスティテュート フュア ソフトバレシステムテヒニク ゲゼルシャフト ミット ベシュレンクテル ハフツング Oltpデータをレポートするための、重複がないetlレスシステム及びその方法
WO2011148496A1 (ja) * 2010-05-27 2011-12-01 株式会社日立製作所 通信ネットワークを介してリモートのファイルサーバにファイルを転送するローカルのファイルサーバ、及び、それらのファイルサーバを有するストレージシステム
US20130166534A1 (en) * 2011-12-22 2013-06-27 Sap Ag Hybrid Database Table Stored as Both Row and Column Store
WO2013141308A1 (ja) * 2012-03-22 2013-09-26 日本電気株式会社 分散ストレージシステム、ストレージ制御方法およびプログラム
JP2013222457A (ja) * 2012-04-18 2013-10-28 Hitachi Ltd データ位置の管理方法および装置
US20130325900A1 (en) * 2012-05-31 2013-12-05 International Business Machines Corporation Intra-block partitioning for database management
WO2014010038A1 (ja) * 2012-07-11 2014-01-16 株式会社日立製作所 情報処理システム
WO2014045441A1 (ja) * 2012-09-24 2014-03-27 株式会社日立製作所 ストレージ装置が有する階層型プール内のデータの配置を制御する計算機及び方法

Also Published As

Publication number Publication date
GB2553454A (en) 2018-03-07
CN107408132B (zh) 2021-01-01
CN107408132A (zh) 2017-11-28
GB201716296D0 (en) 2017-11-22
WO2016150259A1 (en) 2016-09-29
JP6748653B2 (ja) 2020-09-02
US20160275171A1 (en) 2016-09-22
GB2553454B (en) 2018-08-22
DE112016000776T5 (de) 2017-10-26
US10650011B2 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
US10409781B2 (en) Multi-regime caching in a virtual file system for cloud-based shared content
US11080260B2 (en) Concurrent reads and inserts into a data structure without latching or waiting by readers
US10831736B2 (en) Fast multi-tier indexing supporting dynamic update
US10628381B2 (en) Optimized content object storage service for large scale content
JP6748653B2 (ja) カラム・ストアにおける挿入およびポイント・クエリ・オペレーションの効率的パフォーマンス
US10176205B2 (en) Using parallel insert sub-ranges to insert into a column store
US10817515B2 (en) Cognitive data filtering for storage environments
US10191663B1 (en) Using data store accelerator intermediary nodes and write control settings to identify write propagation nodes
US20130226955A1 (en) Bi-temporal key value cache system
US10884980B2 (en) Cognitive file and object management for distributed storage environments
US11636072B2 (en) Parallel processing of a keyed index file system
US10956499B2 (en) Efficient property graph storage for streaming/multi-versioning graphs
US10956062B2 (en) Aggregating separate data within a single data log wherein single data log is divided in a plurality of blocks assigned to plurality of different streams
US11853284B2 (en) In-place updates with concurrent reads in a decomposed state
US10884649B2 (en) Tape drive data reclamation
CN114730307A (zh) 智能数据池
JP7431490B2 (ja) 階層型ストレージ管理システムにおけるデータ・マイグレーション
US11086836B2 (en) Index leaf page splits avoidance or reduction
US11880350B2 (en) Identifying resource lock ownership across a clustered computing environment
JP2024505161A (ja) ログ・パイプラインの競合に基づくデータベース・ログの書き込み

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200807

R150 Certificate of patent or registration of utility model

Ref document number: 6748653

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150