JP2022534215A - ハイブリッド・インデックス作成方法、システム、プログラム - Google Patents
ハイブリッド・インデックス作成方法、システム、プログラム Download PDFInfo
- Publication number
- JP2022534215A JP2022534215A JP2021569234A JP2021569234A JP2022534215A JP 2022534215 A JP2022534215 A JP 2022534215A JP 2021569234 A JP2021569234 A JP 2021569234A JP 2021569234 A JP2021569234 A JP 2021569234A JP 2022534215 A JP2022534215 A JP 2022534215A
- Authority
- JP
- Japan
- Prior art keywords
- index
- run
- index run
- data
- zone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000013500 data storage Methods 0.000 claims abstract description 16
- 238000003860 storage Methods 0.000 claims description 77
- 238000010926 purge Methods 0.000 claims description 33
- 230000002085 persistent effect Effects 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 25
- 230000015654 memory Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 16
- 230000003370 grooming effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000008520 organization Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000037406 food intake Effects 0.000 description 3
- COCAUCFPFHUGAA-MGNBDDOMSA-N n-[3-[(1s,7s)-5-amino-4-thia-6-azabicyclo[5.1.0]oct-5-en-7-yl]-4-fluorophenyl]-5-chloropyridine-2-carboxamide Chemical compound C=1C=C(F)C([C@@]23N=C(SCC[C@@H]2C3)N)=CC=1NC(=O)C1=CC=C(Cl)C=N1 COCAUCFPFHUGAA-MGNBDDOMSA-N 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009172 bursting Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/213—Schema design and management with details for schema evolution support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/221—Column-oriented storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2272—Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
- G06F7/08—Sorting, i.e. grouping record carriers in numerical or other ordered sequence according to the classification of at least some of the information they carry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
- G06F7/14—Merging, i.e. combining at least two sets of record carriers each arranged in the same ordered sequence to produce a single set having the same ordered sequence
Abstract
Description
オンデマンドのセルフ・サービス:クラウドの利用者は、サーバの時間、およびネットワーク・ストレージなどの計算能力を一方的に、サービス・プロバイダとの人間的なやりとりを必要とせず、必要に応じて自動的にプロビジョニングすることができる。
幅広いネットワーク・アクセス:クラウドの能力は、ネットワークを経由して利用可能であり、標準的なメカニズムを使用してアクセスできるため、異種のシン・クライアントまたはシック・クライアント・プラットフォーム(例えば、携帯電話、ラップトップ、およびパーソナル・デジタル・アシスタントなど)による利用を促進する。
リソース・プール:プロバイダの計算リソースは、プールされ、マルチテナント・モデルを使用して複数の利用者に提供される。種々の物理的および仮想的リソースが、要求に従って動的に割当ておよび再割当てされる。場所に依存しないという感覚があり、利用者は通常、提供されるリソースの正確な場所に関して管理することも知ることもないが、さらに高い抽象レベルでは、場所(例えば、国、州、またはデータセンター)を指定できる場合がある。
迅速な順応性:クラウドの能力は、迅速かつ柔軟に、場合によっては自動的にプロビジョニングされ、素早くスケールアウトし、迅速に解放されて素早くスケールインすることができる。プロビジョニングに使用できる能力は、利用者には、多くの場合、任意の量をいつでも無制限に購入できるように見える。
測定されるサービス:クラウド・システムは、計測機能を活用することによって、サービスの種類(例えば、ストレージ、処理、帯域幅、およびアクティブなユーザのアカウント)に適した抽象レベルで、リソースの使用を自動的に制御および最適化する。リソースの使用量は監視、制御、および報告することができ、利用されるサービスのプロバイダと利用者の両方に透明性が提供される。
SaaS(Software as a Service):利用者に提供される能力は、クラウド・インフラストラクチャ上で稼働しているプロバイダのアプリケーションの利用である。それらのアプリケーションは、Webブラウザ(例えば、Webベースの電子メール)などのシン・クライアント・インターフェイスを介して、さまざまなクライアント・デバイスからアクセスできる。利用者は、ネットワーク、サーバ、オペレーティング・システム、ストレージ、またはさらに個々のアプリケーション機能を含む基盤になるクラウド・インフラストラクチャを、限定的なユーザ固有のアプリケーション構成設定を行う可能性を除き、管理することも制御することもない。
PaaS(Platform as a Service):利用者に提供される能力は、プロバイダによってサポートされるプログラミング言語およびツールを使用して作成された、利用者が作成または取得したアプリケーションをクラウド・インフラストラクチャにデプロイすることである。利用者は、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含む基盤になるクラウド・インフラストラクチャを管理することも制御することもないが、デプロイされたアプリケーション、および場合によってはアプリケーション・ホスティング環境の構成を制御している。
IaaS(Infrastructure as a Service):利用者に提供される能力は、処理、ストレージ、ネットワーク、およびその他の基本的な計算リソースのプロビジョニングであり、ここでは、利用者は、オペレーティング・システムおよびアプリケーションを含むことができる任意のソフトウェアをデプロイして実行できる。利用者は、基盤になるクラウド・インフラストラクチャを管理することも制御することもないが、オペレーティング・システム、ストレージ、デプロイされたアプリケーションを制御しており、場合によっては、選択されたネットワーク・コンポーネント(例えば、ホスト・ファイアウォール)を限定的に制御している。
プライベート・クラウド:このクラウド・インフラストラクチャは、ある組織のためにのみ運用される。このクラウド・インフラストラクチャは、この組織またはサード・パーティによって管理することができ、オンプレミスまたはオフプレミスに存在することができる。
コミュニティ・クラウド:このクラウド・インフラストラクチャは、複数の組織によって共有され、関心事(例えば、任務、セキュリティ要件、ポリシー、およびコンプライアンスに関する考慮事項)を共有している特定のコミュニティをサポートする。このクラウド・インフラストラクチャは、これらの組織またはサード・パーティによって管理することができ、オンプレミスまたはオフプレミスに存在することができる。
パブリック・クラウド:このクラウド・インフラストラクチャは、一般ユーザまたは大規模な業界団体が使用できるようになっており、クラウド・サービスを販売する組織によって所有される。
ハイブリッド・クラウド:このクラウド・インフラストラクチャは、データとアプリケーションの移植を可能にする標準化された技術または独自の技術(例えば、クラウド間の負荷バランスを調整するためのクラウド・バースト)によって固有の実体を残したまま互いに結合された2つ以上のクラウド(プライベート、コミュニティ、またはパブリック)の複合である。
クラウド・コンピューティング環境は、ステートレス、疎結合、モジュール性、および意味的相互運用性に重点を置いたサービス指向の環境である。クラウド・コンピューティングの中心になるのは、相互接続されたノードのネットワークを備えるインフラストラクチャである。
Claims (25)
- コンピュータ実装方法であって、
第1のゾーンがトランザクション処理用に編成されたデータを含み、第2のゾーンが分析処理用に編成されたデータを含む、複数のゾーンを含んでいる複数のゾーンのデータ・ストレージ・システムにハイブリッド・インデックスを作成することであって、前記ハイブリッド・インデックス内の各インデックス・エントリが、少なくとも、
等価列を含んでいるインデックス・キーと、
前記インデックス・エントリに対応する前記データが挿入された時間のタイムスタンプを示す開始タイムスタンプ列と、
階層型ストレージ内の前記インデックス・エントリの位置を示すタプル・シーケンス番号列と
を含む、前記作成することと、
前記ハイブリッド・インデックスに含められるインデックス・ランを構築することであって、前記インデックス・ランが複数のインデックス・エントリを含み、前記インデックス・ランを構築することが、
前記第1のゾーンから前記データ・ブロックをスキャンすることによって、前記インデックス・ランに作成する列を決定することであって、前記データ・ブロックが前記インデックス・ランに関連付けられる、前記決定することと、
前記ハイブリッド・インデックスに含められる前記インデックス・エントリのタプル・シーケンス番号の値を計算することであって、前記タプル・シーケンス番号の値が前記タプル・シーケンス番号列に格納される、前記計算することと、
前記インデックス・ランに含められる前記列を使用して、既定の順序に従って前記インデックス・エントリを並べ替えることと
を含む、前記構築することと
を含む、
コンピュータ実装方法。 - 前記インデックス・ランを構築することが、
前記インデックス・ランのヘッダーを作成することであって、前記ヘッダーが、インデックス・ラン・ポインタの現在の値に設定されたポインタを含む、前記作成することと、
前記ヘッダーを指し示すように前記インデックス・ラン・ポインタの値を設定することと
をさらに含む、
請求項1に記載のコンピュータ実装方法。 - 前記インデックス・ラン内に格納されたデータ要素の概要が前記ヘッダー内に格納される、
請求項2に記載のコンピュータ実装方法。 - 前記インデックス・エントリがハッシュ列をさらに含み、前記インデックス・ランを構築することが、
前記等価列のハッシュ値を前記インデックス・エントリから計算すること
をさらに含み、前記ハッシュ値が前記ハッシュ列に格納される、
請求項1に記載のコンピュータ実装方法。 - 前記インデックス・ランを構築することが、
前記インデックス・ランのオフセット配列を計算すること
をさらに含み、前記オフセット配列が前記ヘッダーに格納され、前記オフセット配列が、前記ハッシュ値の最上位nビットを前記インデックス・ラン内の前記インデックス・エントリのオフセットにマッピングする、
請求項4に記載のコンピュータ実装方法。 - 前記インデックス・エントリがソート列を前記インデックス・キーにさらに含む、
請求項1に記載のコンピュータ実装方法。 - 前記インデックス・ランにレベル番号が割り当てられ、前記レベル番号が、前記インデックス・ランを構築するために使用されるデータのソースを示す、
請求項1に記載のコンピュータ実装方法。 - 前記レベル番号が、前記インデックス・ランに関連付けられた前記データが格納されるゾーンをさらに示し、前記ゾーンが、前記複数のゾーンのデータ・ストレージ・システム内の前記複数のゾーンのうちの1つである、
請求項7に記載のコンピュータ実装方法。 - 各レベルからの1つまたは複数のインデックス・ランを維持するために、分離したスレッドを割り当てることをさらに含む、
請求項7に記載のコンピュータ実装方法。 - 階層型データ・ストレージを含んでいるストレージ・システムと、
前記ストレージ・システムに結合された1つまたは複数の処理ノードと
を備えているシステムであって、前記1つまたは複数の処理ノードが、第1のゾーンがトランザクション処理用に編成されたデータを含み、第2のゾーンが分析処理用に編成されたデータを含む、複数のゾーンを含んでいる複数のゾーンのデータ・ストレージ・システムにハイブリッド・インデックスを作成して維持するように構成され、前記ハイブリッド・インデックス内の各インデックス・エントリが、少なくとも、
等価列を含んでいるインデックス・キーと、
前記インデックス・エントリに対応する前記データが挿入された時間のタイムスタンプを示す開始タイムスタンプ列と、
階層型ストレージ内の前記インデックス・エントリの位置を示すタプル・シーケンス番号列と
を含み、
前記1つまたは複数の処理ノードが、前記ハイブリッド・インデックスに含められるインデックス・ランを構築するように構成され、前記インデックス・ランが複数のインデックス・エントリを含み、前記インデックス・ランを構築することが、
前記第1のゾーンから前記データ・ブロックをスキャンすることによって、前記インデックス・ランに作成する列を決定することであって、前記データ・ブロックが前記インデックス・ランに関連付けられる、前記決定することと、
前記ハイブリッド・インデックスに含められる前記インデックス・エントリのタプル・シーケンス番号の値を計算することであって、前記タプル・シーケンス番号の値が前記タプル・シーケンス番号列に格納される、前記計算することと、
前記インデックス・ランに含められる前記列を使用して、既定の順序に従って前記インデックス・エントリを並べ替えることと
を含む、
システム。 - 前記インデックス・ランを構築することが、
前記インデックス・ランのヘッダーを作成することであって、前記ヘッダーが、インデックス・ラン・ポインタの現在の値に設定されたポインタを含む、前記作成することと、
前記ヘッダーを指し示すように前記インデックス・ラン・ポインタの値を設定することと
をさらに含む、
請求項10に記載のシステム。 - 前記インデックス・ラン内に格納されたデータ要素の概要が前記ヘッダー内に格納される、
請求項11に記載のシステム。 - 前記インデックス・エントリがハッシュ列をさらに含み、前記インデックス・ランを構築することが、
前記等価列のハッシュ値を前記インデックス・エントリから計算することであって、前記ハッシュ値が前記ハッシュ列に格納される、前記計算することと、
前記インデックス・ランのオフセット配列を計算することと
をさらに含み、前記オフセット配列が前記ヘッダーに格納され、前記オフセット配列が、前記ハッシュ値の最上位nビットを前記インデックス・ラン内の前記インデックス・エントリのオフセットにマッピングする、
請求項10に記載のシステム。 - 前記インデックス・ランにレベルが割り当てられ、レベル番号が、前記インデックス・ランを構築するために使用されるデータのソースを示し、前記レベル番号が、前記インデックス・ランに関連付けられた前記データが格納されるゾーンをさらに示し、前記ゾーンが、前記複数のゾーンのデータ・ストレージ・システム内の前記複数のゾーンのうちの1つである、
請求項10に記載のシステム。 - プログラム命令が具現化されているコンピュータ可読ストレージ媒体を備えているコンピュータ・プログラム製品であって、前記プログラム命令が、複数のゾーンのデータ・ストレージ・システムにハイブリッド・インデックスを作成して維持するための方法を実行するように、処理回路によって実行可能であり、
前記複数のゾーンのデータ・ストレージ・システムが、第1のゾーンがトランザクション処理用に編成されたデータを含み、第2のゾーンが分析処理用に編成されたデータを含む、複数のゾーンを含んでおり、
前記ハイブリッド・インデックス内の各インデックス・エントリが、少なくとも、
等価列を含んでいるインデックス・キーと、
前記インデックス・エントリに対応する前記データが挿入された時間のタイムスタンプを示す開始タイムスタンプ列と、
階層型ストレージ内の前記インデックス・エントリの位置を示すタプル・シーケンス番号列と
を含み、
前記方法が、前記ハイブリッド・インデックスに含められるインデックス・ランを構築することを含み、前記インデックス・ランが複数のインデックス・エントリを含み、前記インデックス・ランを構築することが、
前記第1のゾーンから前記データ・ブロックをスキャンすることによって、前記インデックス・ランに作成する列を決定することであって、前記データ・ブロックが前記インデックス・ランに関連付けられる、前記決定することと、
前記ハイブリッド・インデックスに含められる前記インデックス・エントリのタプル・シーケンス番号の値を計算することであって、前記タプル・シーケンス番号の値が前記タプル・シーケンス番号列に格納される、前記計算することと、
前記インデックス・ランに含められる前記列を使用して、既定の順序に従って前記インデックス・エントリを並べ替えることと
を含む、
コンピュータ・プログラム製品。 - 前記インデックス・ランを構築することが、
前記インデックス・ランのヘッダーを作成することであって、前記ヘッダーが、インデックス・ラン・ポインタの現在の値に設定されたポインタを含む、前記作成することと、
前記ヘッダーを指し示すように前記インデックス・ラン・ポインタの値を設定することと
をさらに含む、
請求項15に記載のコンピュータ・プログラム製品。 - 前記インデックス・エントリがハッシュ列をさらに含み、前記インデックス・ランを構築することが、
前記等価列のハッシュ値を前記インデックス・エントリから計算すること
をさらに含み、前記ハッシュ値が前記ハッシュ列に格納され、前記インデックス・ランを構築することが、
前記インデックス・ランのオフセット配列を計算すること
をさらに含み、前記オフセット配列が前記ヘッダーに格納され、前記オフセット配列が、前記ハッシュ値の最上位nビットを前記インデックス・ラン内の前記インデックス・エントリのオフセットにマッピングする、
請求項15に記載のコンピュータ・プログラム製品。 - 前記インデックス・ランにレベルが割り当てられ、レベル番号が、前記インデックス・ランを構築するために使用されるデータのソースを示し、前記レベル番号が、前記インデックス・ランに関連付けられた前記データが格納されるゾーンをさらに示し、前記ゾーンが、前記複数のゾーンのデータ・ストレージ・システム内の前記複数のゾーンのうちの1つである、
請求項15に記載のコンピュータ・プログラム製品。 - コンピュータ実装方法であって、
第1のインデックス・ランおよび第2のインデックス・ランという2つのインデックス・ランを、階層型データ・ストレージを使用してデータが格納されるデータベース内でマージすることの要求の受信に応答して、
前記第1のインデックス・ランからの列および前記第2のインデックス・ランからの列を含むための第3のインデックス・ランを作成することと、
マージ・ソートを使用して、前記第1のインデックス・ランからの前記列および前記第2のインデックス・ランからの前記列をグローバルに並べ替えることと、
前記第3のインデックス・ランが非永続的レベルに属するということの決定に基づいて、前記第3のインデックス・ランをキャッシュ・ストレージのみに格納することと、
前記第3のインデックス・ランが永続的レベルに属し、前記第3のインデックス・ランのレベル番号がパージ・レベルを下回るということの決定に基づいて、前記第3のインデックス・ランを前記キャッシュ・ストレージおよび共有ストレージに格納することと、
前記第3のインデックス・ランが永続的レベルに属し、前記第3のインデックス・ランの前記レベル番号が前記パージ・レベル以上であるということの決定に基づいて、前記第3のインデックス・ランを前記共有ストレージのみに格納することと
を含む、
コンピュータ実装方法。 - 前記データベース内のインデックス・ランのリストを更新すること
をさらに含み、前記更新することが、
前記第1のインデックス・ランのアドレスを指し示す第4のインデックス・ランのポインタを変更することであって、前記ポインタが前記第3のインデックス・ランのアドレスに変更される、前記変更することと、
前記第1のインデックス・ランおよび前記第2のインデックス・ランを削除することと
を含む、
請求項19に記載のコンピュータ実装方法。 - 前記第1のインデックス・ランおよび前記第2のインデックス・ランが、前記第1のインデックス・ランおよび前記第2のインデックス・ランが前記永続的レベルに属するインデックス・ランにマージされた後に、削除される、
請求項20に記載のコンピュータ実装方法。 - 階層型データ・ストレージを含んでいるストレージ・システムと、
前記ストレージ・システムに結合された1つまたは複数の処理ノードと
を備えているシステムであって、前記1つまたは複数の処理ノードが、
第1のゾーンがトランザクション処理用に編成されたデータを含み、第2のゾーンが分析処理用に編成されたデータを含む、複数のゾーンを含んでいる複数のゾーンのデータ・ストレージ・システムにハイブリッド・インデックスを作成して維持することであって、前記ハイブリッド・インデックスが複数のインデックス・ランを含み、各インデックス・ランが、前記インデックス・ランに含められる1つまたは複数の列を使用して、既定の順序に従って並べ替えられたインデックス・エントリを含む、前記作成して維持することと、
方法を実行することによって、第1のインデックス・ランおよび第2のインデックス・ランという2つのインデックス・ランをマージすることと
を実行するように構成され、前記方法が、
前記第1のインデックス・ランからの列および前記第2のインデックス・ランからの列を含むための第3のインデックス・ランを作成することと、
マージ・ソートを使用して、前記第1のインデックス・ランからの前記列および前記第2のインデックス・ランからの前記列をグローバルに並べ替えることと、
前記第3のインデックス・ランが非永続的レベルに属するということの決定に基づいて、前記第3のインデックス・ランをキャッシュ・ストレージのみに格納することと、
前記第3のインデックス・ランが永続的レベルに属し、前記第3のインデックス・ランのレベル番号がパージ・レベルを下回るということの決定に基づいて、前記第3のインデックス・ランを前記キャッシュ・ストレージおよび共有ストレージに格納することと、
前記第3のインデックス・ランが永続的レベルに属し、前記第3のインデックス・ランの前記レベル番号が前記パージ・レベル以上であるということの決定に基づいて、前記第3のインデックス・ランを前記共有ストレージのみに格納することと
を含む、
システム。 - 前記方法が、
前記データベース内のインデックス・ランのリストを更新すること
をさらに含み、前記更新することが、
前記第1のインデックス・ランのアドレスを指し示す第4のインデックス・ランのポインタを変更することであって、前記ポインタが前記第3のインデックス・ランのアドレスに変更される、前記変更することと、
前記第1のインデックス・ランおよび前記第2のインデックス・ランを削除することと
を含む、
請求項22に記載のシステム。 - 前記第1のインデックス・ランおよび前記第2のインデックス・ランが、前記第1のインデックス・ランおよび前記第2のインデックス・ランが前記永続的レベルに属するインデックス・ランにマージされた後に、削除される、
請求項23に記載のシステム。 - 各インデックス・ランにレベルが割り当てられ、レベル番号が、前記インデックス・ランを構築するために使用されるデータのソースを示し、前記レベル番号が、前記インデックス・ランに関連付けられた前記データが格納されるゾーンをさらに示し、前記ゾーンが、前記複数のゾーンのデータ・ストレージ・システム内の前記複数のゾーンのうちの1つである、
請求項21に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/420,394 US11182356B2 (en) | 2019-05-23 | 2019-05-23 | Indexing for evolving large-scale datasets in multi-master hybrid transactional and analytical processing systems |
US16/420,394 | 2019-05-23 | ||
PCT/IB2020/054619 WO2020234719A1 (en) | 2019-05-23 | 2020-05-15 | Indexing for evolving large-scale datasets in multi-master hybrid transactional and analytical processing systems |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022534215A true JP2022534215A (ja) | 2022-07-28 |
JPWO2020234719A5 JPWO2020234719A5 (ja) | 2022-09-26 |
JP7410181B2 JP7410181B2 (ja) | 2024-01-09 |
Family
ID=73456775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021569234A Active JP7410181B2 (ja) | 2019-05-23 | 2020-05-15 | ハイブリッド・インデックス作成方法、システム、プログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11182356B2 (ja) |
JP (1) | JP7410181B2 (ja) |
CN (1) | CN113874852A (ja) |
DE (1) | DE112020000749T5 (ja) |
GB (1) | GB2599538A (ja) |
WO (1) | WO2020234719A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3791283A1 (en) * | 2018-09-14 | 2021-03-17 | Google LLC | Staggered merging in log-structured merge forests |
US11599583B2 (en) * | 2020-04-23 | 2023-03-07 | Paypal, Inc. | Deep pagination system |
US11366810B2 (en) * | 2020-04-27 | 2022-06-21 | Salesforce.Com, Inc. | Index contention under high concurrency in a database system |
US11860844B2 (en) * | 2020-09-07 | 2024-01-02 | Pliops Ltd. | Managing a LSM tree of key value pairs that is stored in a non-volatile memory |
US11641665B2 (en) | 2020-09-09 | 2023-05-02 | Self Financial, Inc. | Resource utilization retrieval and modification |
US11475010B2 (en) * | 2020-09-09 | 2022-10-18 | Self Financial, Inc. | Asynchronous database caching |
US20220075877A1 (en) | 2020-09-09 | 2022-03-10 | Self Financial, Inc. | Interface and system for updating isolated repositories |
IL302236A (en) * | 2020-10-20 | 2023-06-01 | Redis Ltd | Systems, methods, and media for providing conflict-free replicated data types in in-memory data structures |
US11782954B2 (en) * | 2020-10-20 | 2023-10-10 | Salesforce, Inc. | User identifier match and merge process |
US20220244988A1 (en) * | 2021-01-30 | 2022-08-04 | Salesforce.Com, Inc. | Data shards for distributed processing |
US11543993B1 (en) * | 2021-06-17 | 2023-01-03 | Western Digital Technologies, Inc. | Fast garbage collection in zoned namespaces SSDs |
US20230037619A1 (en) * | 2021-07-09 | 2023-02-09 | Pawel Terlecki | Systems and method for processing timeseries data |
US11947490B2 (en) * | 2021-08-31 | 2024-04-02 | Bmc Software, Inc. | Index generation and use with indeterminate ingestion patterns |
US11947822B2 (en) * | 2022-03-31 | 2024-04-02 | Microsoft Technology Licensing, Llc. | Maintaining a record data structure using page metadata of a bookkeeping page |
CN114579596B (zh) * | 2022-05-06 | 2022-09-06 | 达而观数据(成都)有限公司 | 一种实时更新搜索引擎索引数据的方法及系统 |
CN117951141A (zh) * | 2022-10-21 | 2024-04-30 | 华为云计算技术有限公司 | 数据处理方法及装置 |
CN117519839B (zh) * | 2024-01-05 | 2024-04-16 | 恒生电子股份有限公司 | 数据加载方法及装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102890682B (zh) | 2011-07-21 | 2017-08-01 | 腾讯科技(深圳)有限公司 | 构建索引的方法、检索方法、装置及系统 |
KR20130049117A (ko) | 2011-11-03 | 2013-05-13 | 한국전자통신연구원 | 메모리 기반의 서머리 벡터를 구비한 인덱스 구조의 데이터 검색 장치 및 방법 |
US20140279839A1 (en) | 2013-03-14 | 2014-09-18 | Sap Ag | Integration of transactional and analytical capabilities of a database management system |
US9720576B2 (en) * | 2013-09-30 | 2017-08-01 | Sonos, Inc. | Controlling and displaying zones in a multi-zone system |
KR101642072B1 (ko) * | 2014-05-08 | 2016-07-22 | 주식회사 알티베이스 | 하이브리드스토리지장치 및 방법 |
US9767149B2 (en) | 2014-10-10 | 2017-09-19 | International Business Machines Corporation | Joining data across a parallel database and a distributed processing system |
US9703797B2 (en) * | 2015-02-18 | 2017-07-11 | Exagrid Systems, Inc. | Multi-level deduplication |
US10831736B2 (en) | 2015-03-27 | 2020-11-10 | International Business Machines Corporation | Fast multi-tier indexing supporting dynamic update |
US9772911B2 (en) | 2015-03-27 | 2017-09-26 | International Business Machines Corporation | Pooling work across multiple transactions for reducing contention in operational analytics systems |
US10664462B2 (en) * | 2017-03-01 | 2020-05-26 | Sap Se | In-memory row storage architecture |
JP6897248B2 (ja) | 2017-04-06 | 2021-06-30 | 富士通株式会社 | 更新反映プログラム、更新反映方法及び更新反映装置 |
CN107943927B (zh) | 2017-11-21 | 2018-10-16 | 清华大学 | 一种分布式存储系统中多维数据的存储模式转换方法 |
US10430100B2 (en) * | 2018-02-28 | 2019-10-01 | International Business Machines Corporation | Transactional operations in multi-master distributed data management systems |
-
2019
- 2019-05-23 US US16/420,394 patent/US11182356B2/en active Active
-
2020
- 2020-05-15 DE DE112020000749.9T patent/DE112020000749T5/de active Pending
- 2020-05-15 CN CN202080037664.9A patent/CN113874852A/zh active Pending
- 2020-05-15 JP JP2021569234A patent/JP7410181B2/ja active Active
- 2020-05-15 GB GB2117963.5A patent/GB2599538A/en not_active Withdrawn
- 2020-05-15 WO PCT/IB2020/054619 patent/WO2020234719A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP7410181B2 (ja) | 2024-01-09 |
WO2020234719A1 (en) | 2020-11-26 |
US20200372004A1 (en) | 2020-11-26 |
CN113874852A (zh) | 2021-12-31 |
GB2599538A (en) | 2022-04-06 |
US11182356B2 (en) | 2021-11-23 |
GB202117963D0 (en) | 2022-01-26 |
DE112020000749T5 (de) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7410181B2 (ja) | ハイブリッド・インデックス作成方法、システム、プログラム | |
US10754875B2 (en) | Copying data changes to a target database | |
CN105122243B (zh) | 用于半结构化数据的可扩展分析平台 | |
US9916313B2 (en) | Mapping of extensible datasets to relational database schemas | |
Shukla et al. | Schema-agnostic indexing with Azure DocumentDB | |
US20160055191A1 (en) | Executing constant time relational queries against structured and semi-structured data | |
US11461347B1 (en) | Adaptive querying of time-series data over tiered storage | |
US20110307450A1 (en) | Tenant separation within a database instance | |
US11157480B2 (en) | Deleting tuples using separate transaction identifier storage | |
US10896156B2 (en) | Flexible synchronous file system replication | |
US10896177B2 (en) | Database statistics based on transaction state | |
US20210303537A1 (en) | Log record identification using aggregated log indexes | |
US20130290295A1 (en) | Maintaining fault domains in a distributed database | |
US8386445B2 (en) | Reorganizing database tables | |
Tang et al. | Deferred lightweight indexing for log-structured key-value stores | |
US10248693B2 (en) | Multi-layered row mapping data structure in a database system | |
Chrysafis et al. | Foundationdb record layer: A multi-tenant structured datastore | |
US10162841B1 (en) | Data management platform | |
US11232095B2 (en) | Composite metadata objects for database systems | |
CN111581123A (zh) | 基于分类的存储器分配的锁定 | |
US10353920B2 (en) | Efficient mirror data re-sync | |
US11941014B1 (en) | Versioned metadata management for a time-series database | |
Pereira et al. | Mediator framework for inserting xDRs into Hadoop |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220909 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221021 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7410181 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |