JP2008525897A - 適応型クエリ識別及び加速のためのシステム及び方法 - Google Patents
適応型クエリ識別及び加速のためのシステム及び方法 Download PDFInfo
- Publication number
- JP2008525897A JP2008525897A JP2007548569A JP2007548569A JP2008525897A JP 2008525897 A JP2008525897 A JP 2008525897A JP 2007548569 A JP2007548569 A JP 2007548569A JP 2007548569 A JP2007548569 A JP 2007548569A JP 2008525897 A JP2008525897 A JP 2008525897A
- Authority
- JP
- Japan
- Prior art keywords
- signature
- query
- queries
- data
- statement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24534—Query rewriting; Transformation
- G06F16/24539—Query rewriting; Transformation using cached or materialised query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24534—Query rewriting; Transformation
- G06F16/2454—Optimisation of common expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99932—Access augmentation or optimizing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99936—Pattern matching access
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99937—Sorting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本明細書では、本発明を、特定の用途についての例示的な実施形態について説明するが、本発明は、それらの例示的な実施形態に限定されるものではないことは理解されるべきである。当業者及び本明細書で提供される教示を利用できる者には、本発明の範囲内にある追加の変更、用途、及び実施形態、並びに、本発明が非常に有用である追加の分野が認識されよう。
これらのベクトルをデータ参照特徴セット抽出(data reference feature set extraction)で生成する手法を以下に述べる。以下のものを、特徴抽出されたサンプルのSQLデータセットと考える。
1.定数データ参照はキャッシュされないので、これらの参照を選択除去したい場合がある。
2.SQLは、分類アルゴリズムに先立って、オーバロードされたシンボルの代わりに実際のデータ参照を用いるために必要な場合があるより簡潔な表現について、シンボルオーバローディングを使用する。
3.特徴セットを単一参照のみに短くするために、多重データ参照を選択除去したい場合がある。
4.中央値及びモードの解析の「ヒストグラム」を作成するために、多重データ参照を保持したい場合がある。
前処理ステップ1が適用される特徴抽出−定数の削除
(1)データ参照空間にわたる順序セット:データ参照空間は、データベーススキーマのすべてのデータ属性名を辞書式に順序付けることによって作成される。空間の次数「N」は、データ属性名の総数によって決まる。
(a)単一データ参照インスタンスのみをカウントする
(b)多重データ参照インスタンスをカウントする
特徴抽出プロセスの次のステップは、SQLの重要な特徴を選んで、時間推定及びシグネチャの主成分(たとえば、JOIN又は他のステートメントの個数、ステートメントのネストの深さ等)によってそれらの特徴をグループ化することである。
1.平均ベクトル及び分散共分散行列
2.データヒストグラムの相互相関
3.順序ベクトルの相互相関
4.ユークリッド距離の測定−「ドット」積
を含む手法を使用することができる。
SQLプロシージャ分類
本教示によれば、SQL(非データ)プログラムは、軽量の計算手法で分類される。たとえば、プログラム分類について中間フォーマットのSQLに依存しないシングルパス字句パーサ(lexical parser)を使用することができる。
Claims (27)
- データ管理システムであって、
複数のデータクエリを解析して該複数のデータクエリに関するメトリックを提供するための第1の手段と、
前記メトリックに基づいて前記クエリを順序付けて、該システムの性能パラメータを改善するための第2の手段と、
を備えるデータ管理システム。 - 前記第1の手段は、前記クエリのそれぞれのシグネチャを解析するための手段を含む、請求項1に記載の発明。
- 前記シグネチャはステートメントのクラスタである、請求項2に記載の発明。
- 前記ステートメントは、標準クエリ言語(SQL)ステートメントである、請求項3に記載の発明。
- 前記シグネチャは、前記複数のステートメントから抽出される一組の特徴である、請求項2に記載の発明。
- 前記ステートメントは、標準クエリ言語(SQL)ステートメントである、請求項5に記載の発明。
- 前記第1の手段は、前記シグネチャを較正されたシグネチャと比較し、それに応じてシグネチャスコアを提供するための手段を含む、請求項2に記載の発明。
- 前記スコアに応じて、前記クエリのうちの少なくとも1つの実行時間を推定するための手段をさらに含む、請求項7に記載の発明。
- データ管理システムであって、
複数のデータクエリを解析するための第1の手段と、
前記第1の手段に応答して、クエリの実行時間を推定するための第2の手段と、
を備えるデータ管理システム。 - 前記第1の手段は、前記クエリのそれぞれのシグネチャを解析するための手段を含む、請求項9に記載の発明。
- 前記シグネチャはステートメントのクラスタである、請求項10に記載の発明。
- 前記ステートメントは、標準クエリ言語(SQL)ステートメントである、請求項11に記載の発明。
- 前記シグネチャは、前記複数のステートメントから抽出される一組の特徴である、請求項10に記載の発明。
- 前記ステートメントは、標準クエリ言語(SQL)ステートメントである、請求項13に記載の発明。
- 前記第1の手段は、前記シグネチャを較正されたシグネチャと比較し、それに応じてシグネチャスコアを提供するための手段を含む、請求項10に記載の発明。
- 前記スコアに応じて、前記クエリに関するメトリックを最小にするように該クエリを順序付けるための手段をさらに含む、請求項15に記載の発明。
- 前記メトリックは実行時間である、請求項16に記載の発明。
- データ管理システムであって、
データベースと、
前記データベースに接続されるプロセッサと、
前記プロセッサを介して複数のクエリを前記データベースに供給するための通信インターフェースと、
前記プロセッサで実行されて、前記複数のクエリを解析し、該クエリの検索に関する性能パラメータを最適化するように該クエリを編成するソフトウェアと、
を備えるデータ管理システム。 - 前記ソフトウェアは、前記クエリのそれぞれのシグネチャを解析するためのコードを含む、請求項18に記載の発明。
- 前記シグネチャはステートメントのクラスタである、請求項19に記載の発明。
- 前記ステートメントは、標準クエリ言語(SQL)ステートメントである、請求項20に記載の発明。
- 前記シグネチャは、前記複数のステートメントから抽出される一組の特徴である、請求項19に記載の発明。
- 前記ステートメントは、標準クエリ言語(SQL)ステートメントである、請求項22に記載の発明。
- 前記ソフトウェアは、前記シグネチャを較正されたシグネチャと比較し、それに応じてシグネチャスコアを提供するためのコードを含む、請求項19に記載の発明。
- 前記スコアに応じて、前記クエリに関するメトリックを最小にするように該クエリを順序付けるためのコードをさらに含む、請求項24に記載の発明。
- 前記メトリックは実行時間である、請求項25に記載の発明。
- データ管理方法であって、
複数のデータクエリを解析すると共に該複数のデータクエリに関するメトリックを提供するステップと、
前記メトリックに基づいて前記クエリを順序付けして、その性能パラメータを改善するステップと、
を含むデータ管理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/021,687 US7596560B2 (en) | 2004-12-23 | 2004-12-23 | System and method for adaptive query identification and acceleration |
PCT/US2005/046984 WO2006071830A1 (en) | 2004-12-23 | 2005-12-22 | System and method for adaptive query identification and acceleration |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008525897A true JP2008525897A (ja) | 2008-07-17 |
Family
ID=36283055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007548569A Ceased JP2008525897A (ja) | 2004-12-23 | 2005-12-22 | 適応型クエリ識別及び加速のためのシステム及び方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7596560B2 (ja) |
EP (1) | EP1828939A1 (ja) |
JP (1) | JP2008525897A (ja) |
AU (1) | AU2005322096B2 (ja) |
CA (1) | CA2591206A1 (ja) |
WO (1) | WO2006071830A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7822769B2 (en) * | 2006-08-31 | 2010-10-26 | Rivet Software, Inc. | Analysis of financial and business information based on interactive data |
US9747349B2 (en) * | 2006-10-30 | 2017-08-29 | Execue, Inc. | System and method for distributing queries to a group of databases and expediting data access |
WO2008074528A1 (en) * | 2006-12-19 | 2008-06-26 | International Business Machines Corporation | Method and system for reducing difference in the time of retrieval of data retrieved from different sources |
US20080235182A1 (en) * | 2007-03-23 | 2008-09-25 | Baranczyk Shawn J | Isolating Database Queries for Performance Processing |
US9355129B2 (en) * | 2008-10-14 | 2016-05-31 | Hewlett Packard Enterprise Development Lp | Scheduling queries using a stretch metric |
US8365174B2 (en) * | 2008-10-14 | 2013-01-29 | Chetan Kumar Gupta | System and method for modifying scheduling of queries in response to the balancing average stretch and maximum stretch of scheduled queries |
US8204900B2 (en) * | 2009-05-21 | 2012-06-19 | Bank Of America Corporation | Metrics library |
CN104714972B (zh) * | 2013-12-17 | 2018-06-22 | 中国银联股份有限公司 | 数据库分表建立及查询方法 |
KR102213674B1 (ko) | 2014-02-17 | 2021-02-08 | 삼성전자주식회사 | 내부 하드웨어 필터를 포함하는 일체형 데이터 저장 장치와 이의 동작 방법 |
US10346358B2 (en) * | 2014-06-04 | 2019-07-09 | Waterline Data Science, Inc. | Systems and methods for management of data platforms |
US9767168B2 (en) | 2014-11-21 | 2017-09-19 | Red Hat, Inc. | Federation optimization using ordered queues |
CN107885865B (zh) * | 2017-11-22 | 2019-12-10 | 星环信息科技(上海)有限公司 | 一种代价优化器与代价估计的方法及其设备 |
US11068482B2 (en) * | 2018-04-13 | 2021-07-20 | Microsoft Technology Licensing, Llc | Computation reuse in analytics job service |
US11829362B2 (en) * | 2018-05-15 | 2023-11-28 | Oracle International Corporation | Automatic database query load assessment and adaptive handling |
US11474978B2 (en) * | 2018-07-06 | 2022-10-18 | Capital One Services, Llc | Systems and methods for a data search engine based on data profiles |
WO2020181319A1 (en) * | 2019-03-08 | 2020-09-17 | Alertness CRC Ltd | Sleep disorder data fidelity management system |
CN113326246A (zh) * | 2020-02-28 | 2021-08-31 | 华为技术有限公司 | 一种数据库管理系统性能预估的方法、装置及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02171858A (ja) * | 1988-12-26 | 1990-07-03 | Hitachi Ltd | リレーショナルデータベースシステムにおける処理時間予測方式 |
JPH03108036A (ja) * | 1989-09-20 | 1991-05-08 | Fujitsu Ltd | データベース管理システムの性能見積もり方法 |
JPH10283371A (ja) * | 1997-04-04 | 1998-10-23 | Nec Corp | データベース装置 |
US6026391A (en) * | 1997-10-31 | 2000-02-15 | Oracle Corporation | Systems and methods for estimating query response times in a computer system |
US6466931B1 (en) * | 1999-07-30 | 2002-10-15 | International Business Machines Corporation | Method and system for transparently caching and reusing query execution plans efficiently |
JP2003323448A (ja) * | 2002-04-26 | 2003-11-14 | Mitsubishi Electric Corp | データベース検索装置および検索方法 |
US20040158551A1 (en) * | 2003-02-06 | 2004-08-12 | International Business Machines Corporation | Patterned based query optimization |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5412806A (en) * | 1992-08-20 | 1995-05-02 | Hewlett-Packard Company | Calibration of logical cost formulae for queries in a heterogeneous DBMS using synthetic database |
US5619692A (en) | 1995-02-17 | 1997-04-08 | International Business Machines Corporation | Semantic optimization of query order requirements using order detection by normalization in a query compiler system |
US6023695A (en) * | 1997-10-31 | 2000-02-08 | Oracle Corporation | Summary table management in a computer system |
US6023696A (en) * | 1997-10-31 | 2000-02-08 | Oracle Corporation | Summary table query routing |
US6938035B2 (en) * | 2001-10-03 | 2005-08-30 | International Business Machines Corporation | Reduce database monitor workload by employing predictive query threshold |
US6801905B2 (en) | 2002-03-06 | 2004-10-05 | Sybase, Inc. | Database system providing methodology for property enforcement |
-
2004
- 2004-12-23 US US11/021,687 patent/US7596560B2/en not_active Expired - Fee Related
-
2005
- 2005-12-22 WO PCT/US2005/046984 patent/WO2006071830A1/en active Application Filing
- 2005-12-22 CA CA002591206A patent/CA2591206A1/en not_active Abandoned
- 2005-12-22 AU AU2005322096A patent/AU2005322096B2/en not_active Ceased
- 2005-12-22 EP EP05855527A patent/EP1828939A1/en not_active Withdrawn
- 2005-12-22 JP JP2007548569A patent/JP2008525897A/ja not_active Ceased
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02171858A (ja) * | 1988-12-26 | 1990-07-03 | Hitachi Ltd | リレーショナルデータベースシステムにおける処理時間予測方式 |
JPH03108036A (ja) * | 1989-09-20 | 1991-05-08 | Fujitsu Ltd | データベース管理システムの性能見積もり方法 |
JPH10283371A (ja) * | 1997-04-04 | 1998-10-23 | Nec Corp | データベース装置 |
US6026391A (en) * | 1997-10-31 | 2000-02-15 | Oracle Corporation | Systems and methods for estimating query response times in a computer system |
US6466931B1 (en) * | 1999-07-30 | 2002-10-15 | International Business Machines Corporation | Method and system for transparently caching and reusing query execution plans efficiently |
JP2003323448A (ja) * | 2002-04-26 | 2003-11-14 | Mitsubishi Electric Corp | データベース検索装置および検索方法 |
US20040158551A1 (en) * | 2003-02-06 | 2004-08-12 | International Business Machines Corporation | Patterned based query optimization |
Also Published As
Publication number | Publication date |
---|---|
US20060155697A1 (en) | 2006-07-13 |
WO2006071830A1 (en) | 2006-07-06 |
CA2591206A1 (en) | 2006-07-06 |
EP1828939A1 (en) | 2007-09-05 |
AU2005322096B2 (en) | 2010-08-12 |
US7596560B2 (en) | 2009-09-29 |
AU2005322096A1 (en) | 2006-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008525897A (ja) | 適応型クエリ識別及び加速のためのシステム及び方法 | |
Singh et al. | Probabilistic data structures for big data analytics: A comprehensive review | |
KR100544514B1 (ko) | 검색 쿼리 연관성 판단 방법 및 시스템 | |
Cheng et al. | Evaluating probability threshold k-nearest-neighbor queries over uncertain data | |
US9176995B2 (en) | Organization of data within a database | |
JP5088668B2 (ja) | 計算機負荷見積システム、計算機負荷見積方法、計算機負荷見積プログラム | |
JP3798719B2 (ja) | ブロック・レベル・サンプリングを使用してデータベースのクラスタ化係数を判定する装置および方法 | |
JP2015099586A (ja) | データ集約のためのシステム、装置、プログラム、及び方法 | |
US7149735B2 (en) | String predicate selectivity estimation | |
US11803521B2 (en) | Implementation of data access metrics for automated physical database design | |
US10176231B2 (en) | Estimating most frequent values for a data set | |
CN106874332B (zh) | 数据库访问方法和装置 | |
JP2006323575A (ja) | 文書検索システム、文書検索方法、文書検索プログラム及び記録媒体 | |
US9087087B2 (en) | Performing index scans in a database | |
Grebhahn et al. | Challenges in Finding an Appropriate Multi-Dimensional Index Structure with Respect to Specific Use Cases. | |
Kleerekoper et al. | A scalable implementation of information theoretic feature selection for high dimensional data | |
KR100525616B1 (ko) | 연관 검색 쿼리 추출 방법 및 시스템 | |
JP6562478B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2017014744A1 (en) | Processing time-varying data using a graph data structure | |
Cal | Evaluating query estimation errors using bootstrap sampling | |
Siedlaczek | Efficiency and Scalability of Large Search Architectures | |
KR100525617B1 (ko) | 연관 검색 쿼리 추출 방법 및 시스템 | |
CN112148687A (zh) | 一种对象存储中文件删除或归档的方法以及系统 | |
KR20050100907A (ko) | 연관 검색 쿼리 추출 방법 및 시스템 | |
KR20050102406A (ko) | 연관 검색 쿼리 추출 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110621 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20110909 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110920 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110928 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20111021 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111028 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20111121 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111221 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120702 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20121126 |