JP2018513454A - カラム・ストアにおける挿入およびポイント・クエリ・オペレーションの効率的パフォーマンス - Google Patents
カラム・ストアにおける挿入およびポイント・クエリ・オペレーションの効率的パフォーマンス Download PDFInfo
- Publication number
- JP2018513454A JP2018513454A JP2017545567A JP2017545567A JP2018513454A JP 2018513454 A JP2018513454 A JP 2018513454A JP 2017545567 A JP2017545567 A JP 2017545567A JP 2017545567 A JP2017545567 A JP 2017545567A JP 2018513454 A JP2018513454 A JP 2018513454A
- Authority
- JP
- Japan
- Prior art keywords
- data
- data objects
- hierarchy
- grouping
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
Abstract
Description
Claims (20)
- オブジェクト階層プロセッサによって、第一階層中のデータ・オブジェクトを論理的に編成するステップであって、前記第一階層中の前記データ・オブジェクトの一部が他のデータ・オブジェクトの組分けを論理的に含む、前記論理的に編成するステップと、
前記オブジェクト階層プロセッサによって、第二階層中の2つ以上の種類のメモリにまたがって前記データ・オブジェクトを物理的に編成するステップであって、前記第二階層中の前記データ・オブジェクトの別の部分は、他のデータ・オブジェクトの組分けを物理的に含む、前記物理的に編成するステップと、
前記2つ以上の種類のメモリをまたがって、前記第二階層中の前記データ・オブジェクトの組分けを動的に移動するステップと、
前記第一階層中の前記データ・オブジェクトの組分けを、前記データ・オブジェクトの各組分け中の前記データ・オブジェクトの総計アクセス頻度および前記データ・オブジェクトへのアクセス者の現在数を含むメタデータ情報上にマップする、データ構造体を用いて、前記データ・オブジェクトのアクセスのレベルを追跡するステップと、
を含む方法。 - 移動の対象となるデータ・オブジェクトの前記組分けとオーバーラップする、前記第一階層中の前記データ・オブジェクト組分けのアクセスの前記追跡されたレベルに基づいて、前記データ・オブジェクトの各組分けを移動するかどうかを判定するステップ、
をさらに含む、請求項1に記載の方法。 - 前記第二階層が、メモリ・ページおよび個別値を含み、前記第一階層が、データ・レコード、前記データ・レコードのシーケンス、および個別値を含む、請求項2に記載の方法。
- アクセス頻度の低いデータ・オブジェクトおよび前記アクセス頻度の低いデータ・オブジェクトのデータ・オブジェクトは、より低速の種類のメモリに移動され、前記メモリの種類は、スタティックRAM、ダイナミックRAM、ハード・ディスク、およびソリッド・ステート・ディスクを含む、請求項1に記載の方法。
- 特定のデータ・オブジェクトを移動する前に、前記特定のデータ・オブジェクトにオーバーラップするデータ・オブジェクトの全ての組分けに対し、アクセス者の現在数がゼロであるかどうか、アクセス情報の追跡されたレベルを用いて検証が行われ、データ・オブジェクトを移動するとの決定は、所定の最少直近アクセス・タイムに基づく、請求項4に記載の方法。
- データ・レコードのシーケンス中のデータ・オブジェクトの配列は、タプル・シーケンス数(TSN)によって示され、前記メタデータ情報が、データ・オブジェクトの組分けを保持する1つ以上のメモリ・ページのアドレスを含み、
前記データ構造体が、データ・レコードの論理的な集合を識別する連続の特定数のTSNの論理的組分けのリスト、およびデータ・オブジェクトの論理的な組分けに対する前記メタデータ情報のリストを含む、
請求項3に記載の方法。 - 追加のデータ・オブジェクトを加えるオペレーションの実行に際し、1つ以上のメモリ・ページが、前記追加のデータ・オブジェクトを保持するための必要に応じて割り当てられ、前記割り当てられたメモリ・ページが、前記第二階層中の組分けへの前記データ・オブジェクトの割り振りを定め、前記追加のデータ・オブジェクトは、前記第一階層中の1つ以上の組分けにも割り振られる、請求項6に記載の方法。
- 階層的データ・オブジェクトを2つ以上の種類のメモリにまたがって移動するためのコンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品は、具現化されたプログラム・コードを有するコンピュータ可読ストレージ媒体を含み、前記プログラム・コードは、プロセッサによって、
前記プロセッサによって、第一階層中のデータ・オブジェクトを論理的に編成し、前記第一階層中の前記データ・オブジェクトの一部は、他のデータ・オブジェクトの組分けを論理的に含み、
前記プロセッサによって、第二階層中の2つ以上の種類のメモリにまたがって前記データ・オブジェクトを物理的に編成し、前記第二階層中の前記データ・オブジェクトの別の部分は、他のデータ・オブジェクトの組分けを物理的に含み、
前記プロセッサによって、前記2つ以上の種類のメモリをまたがって、前記第二階層中の前記データ・オブジェクトの組分けを動的に移動し、および
前記プロセッサによって、前記第一階層中の前記データ・オブジェクトの組分けを、前記データ・オブジェクトの各組分け中の前記データ・オブジェクトの総計アクセス頻度および前記データ・オブジェクトへのアクセス者の現在数を含むメタデータ情報上にマップする、データ構造体を用いて、前記データ・オブジェクトのアクセスのレベルを追跡する、
ために実行可能である、
コンピュータ・プログラム製品。 - 移動の対象となるデータ・オブジェクトの前記組分けとオーバーラップする、前記第一階層中の前記データ・オブジェクト組分けのアクセスの前記追跡されたレベルに基づいて、前記データ・オブジェクトの各組分けを移動するかどうかをプロセッサによって判定するために、前記プロセッサによって実行可能なプログラム・コードをさらに含む、請求項8に記載のコンピュータ・プログラム製品。
- 前記第二階層が、メモリ・ページおよび個別値を含み、前記第一階層が、データ・レコード、前記データ・レコードのシーケンス、および個別値を含み、アクセス頻度の低いデータ・オブジェクトおよび前記アクセス頻度の低いデータ・オブジェクトのデータ・オブジェクトは、より低速の種類のメモリに移動され、前記メモリの種類は、スタティックRAM、ダイナミックRAM、ハード・ディスク、およびソリッド・ステート・ディスクを含む、請求項9に記載のコンピュータ・プログラム製品。
- 特定のデータ・オブジェクトを移動する前に、前記特定のデータ・オブジェクトにオーバーラップするデータ・オブジェクトの全ての組分けに対し、アクセス者の現在数がゼロであるかどうか、アクセス情報の追跡されたレベルを用いて検証が行われる、請求項10に記載のコンピュータ・プログラム製品。
- 階層的データ・オブジェクトを移動するとの決定は、所定の最少直近アクセス・タイムに基づく、請求項10に記載のコンピュータ・プログラム製品。
- データ・レコードのシーケンス中のデータ・オブジェクトの配列は、タプル・シーケンス数(TSN)によって示され、前記メタデータ情報が、データ・オブジェクトの組分けを保持する1つ以上のメモリ・ページのアドレスを含む、請求項10に記載のコンピュータ・プログラム製品。
- 前記データ構造体が、データ・レコードの論理的な集合を識別する連続の特定数のTSNの論理的組分けのリスト、およびデータ・オブジェクトの論理的な組分けに対する前記メタデータ情報のリストを含む、請求項13に記載のコンピュータ・プログラム製品。
- 追加のデータ・オブジェクトを加えるオペレーションの実行に際し、1つ以上のメモリ・ページが、前記追加のデータ・オブジェクトを保持するための必要に応じて割り当てられ、前記割り当てられたメモリ・ページが、前記第二階層中の組分けへの前記データ・オブジェクトの割り振りを定め、前記追加のデータ・オブジェクトが、前記第一階層中の1つ以上の組分けにも割り振られる、請求項13に記載のコンピュータ・プログラム製品。
- プロセッサと、
前記プロセッサに連結された2つ以上のストレージ・ユニットであって、前記2つ以上のストレージ・ユニットは相異なるメモリの種類を含む、前記ストレージ・ユニットと、
第一階層中のデータ・オブジェクトを論理的に編成し、前記第一階層中の前記データ・オブジェクトの一部は、他のデータ・オブジェクトの組分けを論理的に含み、
第二階層中の前記2つ以上のストレージ・ユニットにまたがって前記データ・オブジェクトを物理的に編成し、前記第二階層中の前記データ・オブジェクトの別の部分は、他のデータ・オブジェクトの組分けを物理的に含み、且つ
前記2つ以上のストレージ・ユニットをまたがって、前記第二階層中の前記データ・オブジェクトの組分けを動的に移動する、
オブジェクト階層プロセッサと、
前記第一階層中の前記データ・オブジェクトの組分けを、前記データ・オブジェクトの各組分け中の前記データ・オブジェクトの総計アクセス頻度および前記データ・オブジェクトへのアクセス者の現在数を含むメタデータ情報上にマップする、データ構造体を用いて、前記データ・オブジェクトのアクセスのレベルを追跡するアクセス追跡プロセッサと、
を含むシステム。 - 前記オブジェクト階層プロセッサが、移動の対象となるデータ・オブジェクトの前記組分けとオーバーラップする、前記第一階層中の前記データ・オブジェクト組分けのアクセスの前記追跡されたレベルに基づいて、前記データ・オブジェクトの各組分けを移動するかどうかをさらに判定する、請求項16に記載のシステム。
- 前記第二階層が、メモリ・ページおよび個別値を含み、前記第一階層が、データ・レコード、前記データ・レコードのシーケンス、および個別値を含み、
アクセス頻度の低いデータ・オブジェクトおよび前記アクセス頻度の低いデータ・オブジェクトのデータ・オブジェクトは、より低速の種類のメモリに移動され、
前記メモリの種類は、スタティックRAM、ダイナミックRAM、ハード・ディスク、およびソリッド・ステート・ディスクを含み、
特定のデータ・オブジェクトを移動する前に、前記特定のデータ・オブジェクトにオーバーラップするデータ・オブジェクトの全ての組分けに対し、アクセス者の現在数がゼロであるかどうか、アクセス情報の追跡されたレベルを用いて検証が行われ、
データ・オブジェクトを移動するとの決定は所定の最少直近アクセス・タイムに基づく、請求項17に記載のシステム。 - データ・レコードのシーケンス中のデータ・オブジェクトの配列は、タプル・シーケンス数(TSN)によって示され、前記メタデータ情報が、データ・オブジェクトの組分けを保持する1つ以上のメモリ・ページのアドレスを含み、前記データ構造体は、データ・レコードの論理的集合を識別する連続の特定数のTSNの論理的組分けのリスト、およびデータ・オブジェクトの論理的組分けに対する前記メタデータ情報のリストを含む、請求項18に記載のシステム。
- 前記プロセッサが、追加のデータ・オブジェクトを加えるオペレーションを実行するのに際し、1つ以上のメモリ・ページが、前記追加のデータ・オブジェクトを保持するための必要に応じて割り当てられ、前記割り当てられたメモリ・ページが、前記第二階層中の組分けへの前記データ・オブジェクトの割り振りを定め、前記追加のデータ・オブジェクトが、前記第一階層中の1つ以上の組分けにも割り振られる、請求項19に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/664,686 US10650011B2 (en) | 2015-03-20 | 2015-03-20 | Efficient performance of insert and point query operations in a column store |
US14/664,686 | 2015-03-20 | ||
PCT/CN2016/073481 WO2016150259A1 (en) | 2015-03-20 | 2016-02-04 | Efficient performance of insert and point query operations in a column store |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018513454A true JP2018513454A (ja) | 2018-05-24 |
JP6748653B2 JP6748653B2 (ja) | 2020-09-02 |
Family
ID=56924939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017545567A Active JP6748653B2 (ja) | 2015-03-20 | 2016-02-04 | カラム・ストアにおける挿入およびポイント・クエリ・オペレーションの効率的パフォーマンス |
Country Status (6)
Country | Link |
---|---|
US (1) | US10650011B2 (ja) |
JP (1) | JP6748653B2 (ja) |
CN (1) | CN107408132B (ja) |
DE (1) | DE112016000776T5 (ja) |
GB (1) | GB2553454B (ja) |
WO (1) | WO2016150259A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9311359B2 (en) | 2013-01-30 | 2016-04-12 | International Business Machines Corporation | Join operation partitioning |
US9672248B2 (en) | 2014-10-08 | 2017-06-06 | International Business Machines Corporation | Embracing and exploiting data skew during a join or groupby |
WO2018034681A1 (en) * | 2016-08-13 | 2018-02-22 | Intel Corporation | Apparatuses, methods, and systems for access synchronization in a shared memory |
CN111104067B (zh) * | 2019-12-20 | 2024-01-12 | 深圳前海微众银行股份有限公司 | 面向列的缓存方法、装置、设备及计算机可读存储介质 |
US11734277B2 (en) * | 2021-02-05 | 2023-08-22 | International Business Machines Corporation | Database buffer pool optimization |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007234026A (ja) * | 2006-03-01 | 2007-09-13 | Quantum Corp | ユニークブロックプールマネージャを含むデータ記憶システムおよび階層記憶装置における応用 |
US20090240663A1 (en) * | 2007-09-21 | 2009-09-24 | Hasso-Plattner-Institute Fur Softwaresystemtechnik Gmbh | ETL-Less Zero-Redundancy System and Method for Reporting OLTP Data |
WO2011148496A1 (ja) * | 2010-05-27 | 2011-12-01 | 株式会社日立製作所 | 通信ネットワークを介してリモートのファイルサーバにファイルを転送するローカルのファイルサーバ、及び、それらのファイルサーバを有するストレージシステム |
US20130166534A1 (en) * | 2011-12-22 | 2013-06-27 | Sap Ag | Hybrid Database Table Stored as Both Row and Column Store |
WO2013141308A1 (ja) * | 2012-03-22 | 2013-09-26 | 日本電気株式会社 | 分散ストレージシステム、ストレージ制御方法およびプログラム |
JP2013222457A (ja) * | 2012-04-18 | 2013-10-28 | Hitachi Ltd | データ位置の管理方法および装置 |
US20130325900A1 (en) * | 2012-05-31 | 2013-12-05 | International Business Machines Corporation | Intra-block partitioning for database management |
WO2014010038A1 (ja) * | 2012-07-11 | 2014-01-16 | 株式会社日立製作所 | 情報処理システム |
WO2014045441A1 (ja) * | 2012-09-24 | 2014-03-27 | 株式会社日立製作所 | ストレージ装置が有する階層型プール内のデータの配置を制御する計算機及び方法 |
Family Cites Families (123)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04251346A (ja) | 1990-05-16 | 1992-09-07 | Internatl Business Mach Corp <Ibm> | データ処理システムにおいて文書を階層的にグループ化する方法 |
JP3266351B2 (ja) | 1993-01-20 | 2002-03-18 | 株式会社日立製作所 | データベース管理システムおよび問合せの処理方法 |
US5794229A (en) | 1993-04-16 | 1998-08-11 | Sybase, Inc. | Database system with methodology for storing a database table by vertically partitioning all columns of the table |
US5455826A (en) | 1994-06-28 | 1995-10-03 | Oezveren; Cueneyt M. | Method and apparatus for rate based flow control |
DE19515020A1 (de) | 1994-07-01 | 1996-01-04 | Hewlett Packard Co | Verfahren und Vorrichtung zum Optimieren von Abfragen mit Gruppieren-nach-Operatoren |
US5740440A (en) | 1995-01-06 | 1998-04-14 | Objective Software Technology | Dynamic object visualization and browsing system |
CA2168287C (en) | 1995-03-31 | 2000-05-23 | Guy M. Lohman | Method for detecting and optimizing relational queries with encoding/decoding tables |
US5706495A (en) | 1996-05-07 | 1998-01-06 | International Business Machines Corporation | Encoded-vector indices for decision support and warehousing |
US6134601A (en) * | 1996-06-17 | 2000-10-17 | Networks Associates, Inc. | Computer resource management system |
US6052697A (en) | 1996-12-23 | 2000-04-18 | Microsoft Corporation | Reorganization of collisions in a hash bucket of a hash table to improve system performance |
US5893086A (en) | 1997-07-11 | 1999-04-06 | International Business Machines Corporation | Parallel file system and method with extensible hashing |
US6557091B2 (en) * | 1997-08-22 | 2003-04-29 | Koninklijke Philips Electronics N.V. | Data processor with localized memory reclamation |
GB9811574D0 (en) | 1998-05-30 | 1998-07-29 | Ibm | Indexed file system and a method and a mechanism for accessing data records from such a system |
US6247014B1 (en) | 1998-07-01 | 2001-06-12 | Nortel Networks Limited | Method and apparatus for performing hash lookups using valid bit tables with pointers |
US6609131B1 (en) | 1999-09-27 | 2003-08-19 | Oracle International Corporation | Parallel partition-wise joins |
DE19961499A1 (de) | 1999-12-20 | 2001-07-05 | Ericsson Telefon Ab L M | Caching von Objekten in Platten-gestützten Datenbanken |
US20020016820A1 (en) | 2000-05-30 | 2002-02-07 | Jordan Du Val | Distributing datacast signals embedded in broadcast transmissions over a computer network |
US6505189B1 (en) | 2000-06-15 | 2003-01-07 | Ncr Corporation | Aggregate join index for relational databases |
US8692695B2 (en) | 2000-10-03 | 2014-04-08 | Realtime Data, Llc | Methods for encoding and decoding data |
US6954776B1 (en) | 2001-05-07 | 2005-10-11 | Oracle International Corporation | Enabling intra-partition parallelism for partition-based operations |
US7293028B2 (en) | 2001-06-08 | 2007-11-06 | Sap Ag | Cache-conscious concurrency control scheme for database systems |
KR100832222B1 (ko) | 2001-06-09 | 2008-05-23 | 자프 아게 | 메인 메모리 데이터베이스 시스템의 색인 구조를 위한캐쉬에 최적화된 동시성 제어방법 |
US7136883B2 (en) * | 2001-09-08 | 2006-11-14 | Siemens Medial Solutions Health Services Corporation | System for managing object storage and retrieval in partitioned storage media |
US7062481B2 (en) | 2001-09-28 | 2006-06-13 | Ncr Corp. | Eliminating group-by operations in a join plan |
US6757677B2 (en) | 2001-09-28 | 2004-06-29 | Ncr Corporation | Providing a join plan using group-by operator |
US7499960B2 (en) | 2001-10-01 | 2009-03-03 | Oracle International Corporation | Adaptive memory allocation |
US6775681B1 (en) | 2002-02-26 | 2004-08-10 | Oracle International Corporation | Evaluation of grouping sets by reduction to group-by clause, with or without a rollup operator, using temporary tables |
US6937652B2 (en) | 2002-04-19 | 2005-08-30 | Seiko Epson Corporation | Frame compression using radix approximation |
US7287131B1 (en) | 2003-03-21 | 2007-10-23 | Sun Microsystems, Inc. | Method and apparatus for implementing a fully dynamic lock-free hash table |
US8612421B2 (en) | 2003-05-07 | 2013-12-17 | Oracle International Corporation | Efficient processing of relational joins of multidimensional data |
US7472107B2 (en) | 2003-06-23 | 2008-12-30 | Microsoft Corporation | Integrating horizontal partitioning into physical database design |
US20050018683A1 (en) | 2003-07-21 | 2005-01-27 | Zhao Yigiang Q. | IP address storage technique for longest prefix match |
US7412439B2 (en) | 2004-01-07 | 2008-08-12 | International Business Machines Corporation | Method for statistics management |
US8886614B2 (en) | 2004-02-03 | 2014-11-11 | Teradata Us, Inc. | Executing a join plan using data compression |
US8768889B1 (en) | 2004-04-07 | 2014-07-01 | Oracle America, Inc. | Method and apparatus for performing lock-free updates in a linked list |
US7827182B1 (en) | 2004-06-02 | 2010-11-02 | Cisco Technology, Inc | Searching for a path to identify where to move entries among hash tables with storage for multiple entries per bucket during insert operations |
US7177883B2 (en) * | 2004-07-15 | 2007-02-13 | Hitachi, Ltd. | Method and apparatus for hierarchical storage management based on data value and user interest |
US7343363B1 (en) | 2004-09-29 | 2008-03-11 | Unisys Corporation | Methods and apparatus for grouping elements of element pairs into element sets |
US8145642B2 (en) | 2004-11-30 | 2012-03-27 | Oracle International Corporation | Method and apparatus to support bitmap filtering in a parallel system |
US7308539B2 (en) | 2004-12-17 | 2007-12-11 | International Business Machines Corporation | Concurrent read access and exclusive write access to data in shared memory architecture |
US20060218176A1 (en) | 2005-03-24 | 2006-09-28 | International Business Machines Corporation | System, method, and service for organizing data for fast retrieval |
US7653670B2 (en) | 2005-11-28 | 2010-01-26 | Nec Laboratories America, Inc. | Storage-efficient and collision-free hash-based packet processing architecture and method |
US7685098B2 (en) | 2005-12-08 | 2010-03-23 | International Business Machines Corporation | Estimating the size of a join by generating and combining partial join estimates |
US7716180B2 (en) | 2005-12-29 | 2010-05-11 | Amazon Technologies, Inc. | Distributed storage system with web services client interface |
US8838620B2 (en) | 2006-02-03 | 2014-09-16 | International Business Machines Corporation | Predictive data object retrieval |
US20090187586A1 (en) | 2006-03-31 | 2009-07-23 | Qd Technology Llc | Selecting various algorithms to compress columns of analytic data in a read-only relational database in a manner that allows decompression of the compressed data using minimal system resources |
US7619623B2 (en) | 2006-04-17 | 2009-11-17 | Microsoft Corporation | Perfect multidimensional spatial hashing |
US7965297B2 (en) | 2006-04-17 | 2011-06-21 | Microsoft Corporation | Perfect hashing of variably-sized data |
US7574435B2 (en) | 2006-05-03 | 2009-08-11 | International Business Machines Corporation | Hierarchical storage management of metadata |
US7805460B2 (en) | 2006-10-26 | 2010-09-28 | Polytechnic Institute Of New York University | Generating a hierarchical data structure associated with a plurality of known arbitrary-length bit strings used for detecting whether an arbitrary-length bit string input matches one of a plurality of known arbitrary-length bit string |
US7827218B1 (en) | 2006-11-18 | 2010-11-02 | X-Engines, Inc. | Deterministic lookup using hashed key in a multi-stride compressed trie structure |
CN100488174C (zh) | 2006-11-24 | 2009-05-13 | 中兴通讯股份有限公司 | 流分类中基于硬件的差异化组织方法 |
US7676635B2 (en) | 2006-11-29 | 2010-03-09 | International Business Machines Corporation | Recoverable cache preload in clustered computer system based upon monitored preload state of cache |
US8027993B2 (en) | 2006-12-28 | 2011-09-27 | Teradota Us, Inc. | Techniques for establishing and enforcing row level database security |
US7564722B2 (en) * | 2007-01-22 | 2009-07-21 | Micron Technology, Inc. | Memory system and method having volatile and non-volatile memory devices at same hierarchical level |
US20080183657A1 (en) | 2007-01-26 | 2008-07-31 | Yuan-Chi Chang | Method and apparatus for providing direct access to unique hierarchical data items |
US7688758B2 (en) | 2007-06-26 | 2010-03-30 | Avaya Inc. | Node merging process for network topology representation |
US20090006399A1 (en) | 2007-06-29 | 2009-01-01 | International Business Machines Corporation | Compression method for relational tables based on combined column and row coding |
US8799272B2 (en) | 2007-07-20 | 2014-08-05 | Hewlett-Packard Development Company, L.P. | Data skew insensitive parallel join scheme |
JP2009093571A (ja) * | 2007-10-11 | 2009-04-30 | Hitachi Ltd | 記憶制御装置、記憶制御装置のデータアーカイブ方法及びストレージシステム |
US9805077B2 (en) | 2008-02-19 | 2017-10-31 | International Business Machines Corporation | Method and system for optimizing data access in a database using multi-class objects |
JP4613969B2 (ja) | 2008-03-03 | 2011-01-19 | ソニー株式会社 | 通信装置、及び通信方法 |
US8271564B2 (en) | 2008-07-14 | 2012-09-18 | Symbol Technologies, Inc. | Lookup table arrangement and related management method for accommodating concurrent processors |
US8078593B1 (en) | 2008-08-28 | 2011-12-13 | Infineta Systems, Inc. | Dictionary architecture and methodology for revision-tolerant data de-duplication |
CN101388042B (zh) | 2008-09-17 | 2011-01-19 | 北京六维世纪网络技术有限公司 | 一种建立文件特征库索引的方法及装置 |
US20100088309A1 (en) | 2008-10-05 | 2010-04-08 | Microsoft Corporation | Efficient large-scale joining for querying of column based data encoded structures |
US8195644B2 (en) | 2008-10-06 | 2012-06-05 | Teradata Us, Inc. | System, method, and computer-readable medium for optimization of multiple parallel join operations on skewed data |
US8060495B2 (en) | 2008-10-21 | 2011-11-15 | International Business Machines Corporation | Query execution plan efficiency in a database management system |
US8234268B2 (en) | 2008-11-25 | 2012-07-31 | Teradata Us, Inc. | System, method, and computer-readable medium for optimizing processing of distinct and aggregation queries on skewed data in a database system |
US8212695B2 (en) | 2009-02-05 | 2012-07-03 | Polytechnic Institute Of New York University | Generating a log-log hash-based hierarchical data structure associated with a plurality of known arbitrary-length bit strings used for detecting whether an arbitrary-length bit string input matches one of a plurality of known arbitrary-length bit strings |
US8805852B2 (en) | 2009-03-02 | 2014-08-12 | International Business Machines Corporation | Automatic query execution plan management and performance stabilization for workloads |
KR101367450B1 (ko) | 2009-04-08 | 2014-02-25 | 인텔 코오퍼레이션 | 멀티 스레드 어플리케이션을 위한 해시 테이블의 동시 리해싱의 수행 |
US8515965B2 (en) | 2010-05-18 | 2013-08-20 | Lsi Corporation | Concurrent linked-list traversal for real-time hash processing in multi-core, multi-thread network processors |
US8321385B2 (en) | 2010-03-12 | 2012-11-27 | Lsi Corporation | Hash processing in a network communications processor architecture |
US7868789B1 (en) | 2009-06-28 | 2011-01-11 | Sap Ag | Dictionary-based order-preserving string compression for main memory column stores |
US8438574B1 (en) | 2009-08-14 | 2013-05-07 | Translattice, Inc. | Generating monotone hash preferences |
US9280609B2 (en) | 2009-09-08 | 2016-03-08 | Brocade Communications Systems, Inc. | Exact match lookup scheme |
US8543539B2 (en) | 2009-09-16 | 2013-09-24 | Business Objects Software Limited | Method and system for capturing change of data |
US8244765B2 (en) | 2009-09-30 | 2012-08-14 | International Business Machines Corporation | Avoiding three-valued logic in predicates on dictionary-encoded data |
US9262330B2 (en) * | 2009-11-04 | 2016-02-16 | Microsoft Technology Licensing, Llc | Column oriented in-memory page caching |
US8443155B2 (en) | 2009-12-31 | 2013-05-14 | Facebook, Inc. | Lock-free concurrent object dictionary |
GB201004449D0 (en) | 2010-02-22 | 2010-05-05 | Corbett Sean | Data accelerator |
CN102893265B (zh) | 2010-03-10 | 2018-06-08 | 起元技术有限责任公司 | 管理可独立访问的数据单元的存储 |
US8788543B2 (en) | 2010-05-13 | 2014-07-22 | International Business Machines Corporation | Scalable, concurrent resizing of hash tables |
US20110307471A1 (en) | 2010-06-09 | 2011-12-15 | International Business Machines Corporation | Accelerating Database Management System Operations |
US9355109B2 (en) | 2010-06-11 | 2016-05-31 | The Research Foundation For The State University Of New York | Multi-tier caching |
US20120011144A1 (en) | 2010-07-12 | 2012-01-12 | Frederik Transier | Aggregation in parallel computation environments with shared memory |
US8312066B2 (en) | 2010-11-30 | 2012-11-13 | Telefonaktiebolaget L M Ericsson (Publ) | Hash collision resolution with key compression in a MAC forwarding data structure |
US20120136846A1 (en) | 2010-11-30 | 2012-05-31 | Haoyu Song | Methods of hashing for networks and systems thereof |
US8880554B2 (en) | 2010-12-03 | 2014-11-04 | Futurewei Technologies, Inc. | Method and apparatus for high performance, updatable, and deterministic hash table for network equipment |
US20120166400A1 (en) | 2010-12-28 | 2012-06-28 | Teradata Us, Inc. | Techniques for processing operations on column partitions in a database |
US8423522B2 (en) | 2011-01-04 | 2013-04-16 | International Business Machines Corporation | Query-aware compression of join results |
JP5624510B2 (ja) | 2011-04-08 | 2014-11-12 | 株式会社東芝 | 記憶装置、記憶システム及び認証方法 |
US10044548B2 (en) | 2012-10-15 | 2018-08-07 | Jetflow Technologies | Flowlet-based processing |
US8346810B2 (en) | 2011-05-13 | 2013-01-01 | Simplivity Corporation | Reference count propagation |
US20120303633A1 (en) | 2011-05-26 | 2012-11-29 | International Business Machines Corporation | Systems and methods for querying column oriented databases |
US20120310917A1 (en) | 2011-05-31 | 2012-12-06 | International Business Machines Corporation | Accelerated Join Process in Relational Database Management System |
WO2012178032A1 (en) * | 2011-06-23 | 2012-12-27 | CohortFS, LLC | Dynamic data placement for distributed storage |
US8806160B2 (en) * | 2011-08-16 | 2014-08-12 | Pure Storage, Inc. | Mapping in a storage system |
US8661005B2 (en) | 2011-12-08 | 2014-02-25 | International Business Machines Corporation | Optimized deletion and insertion for high-performance resizable RCU-protected hash tables |
US8768927B2 (en) | 2011-12-22 | 2014-07-01 | Sap Ag | Hybrid database table stored as both row and column store |
US20130218934A1 (en) | 2012-02-17 | 2013-08-22 | Hitachi, Ltd. | Method for directory entries split and merge in distributed file system |
US9355146B2 (en) | 2012-06-29 | 2016-05-31 | International Business Machines Corporation | Efficient partitioned joins in a database with column-major layout |
US8862571B2 (en) * | 2012-06-29 | 2014-10-14 | International Business Machines Corporation | Predicate pushdown with late materialization in database query processing |
US9665572B2 (en) | 2012-09-12 | 2017-05-30 | Oracle International Corporation | Optimal data representation and auxiliary structures for in-memory database query processing |
US9298723B1 (en) | 2012-09-19 | 2016-03-29 | Amazon Technologies, Inc. | Deduplication architecture |
US9646105B2 (en) | 2012-11-08 | 2017-05-09 | Texas Instruments Incorporated | Reduced complexity hashing |
US9355060B1 (en) * | 2012-12-14 | 2016-05-31 | Amazon Technologies, Inc. | Storage service lifecycle policy transition management |
US9098537B2 (en) | 2012-12-20 | 2015-08-04 | Oracle International Corporation | Techniques for aligned run-length encoding |
US9596312B2 (en) | 2013-01-28 | 2017-03-14 | Facebook, Inc. | Static resource caching |
US9311359B2 (en) | 2013-01-30 | 2016-04-12 | International Business Machines Corporation | Join operation partitioning |
US9317548B2 (en) | 2013-01-30 | 2016-04-19 | International Business Machines Corporation | Reducing collisions within a hash table |
US9171043B2 (en) | 2013-01-31 | 2015-10-27 | International Business Machines Corporation | Dynamically determining join order |
US20140337375A1 (en) | 2013-05-07 | 2014-11-13 | Exeray Inc. | Data search and storage with hash table-based data structures |
US9367556B2 (en) | 2013-06-14 | 2016-06-14 | International Business Machines Corporation | Hashing scheme using compact array tables |
US10311154B2 (en) * | 2013-09-21 | 2019-06-04 | Oracle International Corporation | Combined row and columnar storage for in-memory databases for OLTP and analytics workloads |
US9606921B2 (en) * | 2013-09-21 | 2017-03-28 | Oracle International Corporation | Granular creation and refresh of columnar data |
US9684682B2 (en) * | 2013-09-21 | 2017-06-20 | Oracle International Corporation | Sharding of in-memory objects across NUMA nodes |
CN104679746A (zh) * | 2013-11-26 | 2015-06-03 | 南京中兴新软件有限责任公司 | 去重复数据的恢复方法及装置 |
CN104021205B (zh) | 2014-06-18 | 2017-04-19 | 中国人民解放军国防科学技术大学 | 一种建立微博索引的方法及装置 |
CN104317966B (zh) | 2014-11-18 | 2017-08-08 | 国家电网公司 | 一种用于电力大数据快速组合查询的动态索引方法 |
US9891831B2 (en) * | 2014-11-25 | 2018-02-13 | Sap Se | Dual data storage using an in-memory array and an on-disk page structure |
US9792318B2 (en) * | 2014-11-25 | 2017-10-17 | Sap Se | Supporting cursor snapshot semantics |
-
2015
- 2015-03-20 US US14/664,686 patent/US10650011B2/en active Active
-
2016
- 2016-02-04 JP JP2017545567A patent/JP6748653B2/ja active Active
- 2016-02-04 CN CN201680015687.3A patent/CN107408132B/zh active Active
- 2016-02-04 DE DE112016000776.0T patent/DE112016000776T5/de active Pending
- 2016-02-04 WO PCT/CN2016/073481 patent/WO2016150259A1/en active Application Filing
- 2016-02-04 GB GB1716296.7A patent/GB2553454B/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007234026A (ja) * | 2006-03-01 | 2007-09-13 | Quantum Corp | ユニークブロックプールマネージャを含むデータ記憶システムおよび階層記憶装置における応用 |
US20090240663A1 (en) * | 2007-09-21 | 2009-09-24 | Hasso-Plattner-Institute Fur Softwaresystemtechnik Gmbh | ETL-Less Zero-Redundancy System and Method for Reporting OLTP Data |
CN101828182A (zh) * | 2007-09-21 | 2010-09-08 | 哈索-普拉特纳-研究所软件系统有限责任公司 | 报告oltp数据的无etl零冗余系统和方法 |
JP2010539616A (ja) * | 2007-09-21 | 2010-12-16 | ハッソ−プラトナー−インスティテュート フュア ソフトバレシステムテヒニク ゲゼルシャフト ミット ベシュレンクテル ハフツング | Oltpデータをレポートするための、重複がないetlレスシステム及びその方法 |
WO2011148496A1 (ja) * | 2010-05-27 | 2011-12-01 | 株式会社日立製作所 | 通信ネットワークを介してリモートのファイルサーバにファイルを転送するローカルのファイルサーバ、及び、それらのファイルサーバを有するストレージシステム |
US20130166534A1 (en) * | 2011-12-22 | 2013-06-27 | Sap Ag | Hybrid Database Table Stored as Both Row and Column Store |
WO2013141308A1 (ja) * | 2012-03-22 | 2013-09-26 | 日本電気株式会社 | 分散ストレージシステム、ストレージ制御方法およびプログラム |
JP2013222457A (ja) * | 2012-04-18 | 2013-10-28 | Hitachi Ltd | データ位置の管理方法および装置 |
US20130325900A1 (en) * | 2012-05-31 | 2013-12-05 | International Business Machines Corporation | Intra-block partitioning for database management |
WO2014010038A1 (ja) * | 2012-07-11 | 2014-01-16 | 株式会社日立製作所 | 情報処理システム |
WO2014045441A1 (ja) * | 2012-09-24 | 2014-03-27 | 株式会社日立製作所 | ストレージ装置が有する階層型プール内のデータの配置を制御する計算機及び方法 |
Also Published As
Publication number | Publication date |
---|---|
GB2553454A (en) | 2018-03-07 |
CN107408132B (zh) | 2021-01-01 |
CN107408132A (zh) | 2017-11-28 |
GB201716296D0 (en) | 2017-11-22 |
WO2016150259A1 (en) | 2016-09-29 |
JP6748653B2 (ja) | 2020-09-02 |
US20160275171A1 (en) | 2016-09-22 |
GB2553454B (en) | 2018-08-22 |
DE112016000776T5 (de) | 2017-10-26 |
US10650011B2 (en) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10409781B2 (en) | Multi-regime caching in a virtual file system for cloud-based shared content | |
US11080260B2 (en) | Concurrent reads and inserts into a data structure without latching or waiting by readers | |
US10831736B2 (en) | Fast multi-tier indexing supporting dynamic update | |
US10628381B2 (en) | Optimized content object storage service for large scale content | |
JP6748653B2 (ja) | カラム・ストアにおける挿入およびポイント・クエリ・オペレーションの効率的パフォーマンス | |
US10176205B2 (en) | Using parallel insert sub-ranges to insert into a column store | |
US10817515B2 (en) | Cognitive data filtering for storage environments | |
US10191663B1 (en) | Using data store accelerator intermediary nodes and write control settings to identify write propagation nodes | |
US20130226955A1 (en) | Bi-temporal key value cache system | |
US10884980B2 (en) | Cognitive file and object management for distributed storage environments | |
US11636072B2 (en) | Parallel processing of a keyed index file system | |
US10956499B2 (en) | Efficient property graph storage for streaming/multi-versioning graphs | |
US10956062B2 (en) | Aggregating separate data within a single data log wherein single data log is divided in a plurality of blocks assigned to plurality of different streams | |
US11853284B2 (en) | In-place updates with concurrent reads in a decomposed state | |
US10884649B2 (en) | Tape drive data reclamation | |
CN114730307A (zh) | 智能数据池 | |
JP7431490B2 (ja) | 階層型ストレージ管理システムにおけるデータ・マイグレーション | |
US11086836B2 (en) | Index leaf page splits avoidance or reduction | |
US11880350B2 (en) | Identifying resource lock ownership across a clustered computing environment | |
JP2024505161A (ja) | ログ・パイプラインの競合に基づくデータベース・ログの書き込み |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180202 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181023 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6748653 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |