JP2017220268A - データクエリの管理 - Google Patents

データクエリの管理 Download PDF

Info

Publication number
JP2017220268A
JP2017220268A JP2017182015A JP2017182015A JP2017220268A JP 2017220268 A JP2017220268 A JP 2017220268A JP 2017182015 A JP2017182015 A JP 2017182015A JP 2017182015 A JP2017182015 A JP 2017182015A JP 2017220268 A JP2017220268 A JP 2017220268A
Authority
JP
Japan
Prior art keywords
data
query
database
plan
data source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017182015A
Other languages
English (en)
Other versions
JP6578333B2 (ja
Inventor
シェヒター，イアン
Schechter Ian
アリン，グレン，ジョン
John Allin Glenn
サード ホーリー，ジョセフ，スケフィントン，ザ
Skeffington Wholey Joseph Iii
サード ホーリー，ジョセフ，スケフィントン，ザ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ab Initio Technology LLC
Original Assignee
Ab Initio Technology LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ab Initio Technology LLC filed Critical Ab Initio Technology LLC
Publication of JP2017220268A publication Critical patent/JP2017220268A/ja
Application granted granted Critical
Publication of JP6578333B2 publication Critical patent/JP6578333B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24542—Plan optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2425—Iterative querying; Query formulation based on the results of a preceding query
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/244—Grouping and aggregation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2452—Query translation
    • G06F16/24522—Translation of natural language queries to structured queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3325—Reformulation based on results of preceding query
    • G06F16/3326—Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages
    • G06F16/3328—Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages using graphical result space presentation or visualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7343—Query language or query format

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】データクエリの管理に関する。【解決手段】一つの方法は、データベースクエリを受信することと、データ要素が投入されたデータ記憶内のデータベーステーブル（３２４ａ、３２４ｂ、３２４ｃ）などのデータソース（１０２）に関する情報を受信することと、前記データベーステーブルを反映したフォーマット済みデータ編成を含み前記データベーステーブルの前記データ要素を含まない、前記データベーステーブルの構造表現（３３４）を作成することと、前記構造表現及び前記データベースクエリを、クエリプラン（３１４）を作成できるプランジェネレータ（３１８）に提供することを含む。別の方法は、プランジェネレータ（３１８）からクエリプラン（３１４）を受信することを含み、前記プランは、データベーステーブル（３２４ａ、３２４ｂ、３２４ｃ）などのデータソース（１０２）のデータベースクエリを実行する操作を表し、かつ前記クエリプランからデータフローグラフ（３１２）を作成することを含む。【選択図】 図３

Description

本記載は、データクエリの管理に関する。
データは、データベースに記憶され、データベーステーブルなどの様々な形態で構成され得る。また、データベーステーブルは、共通するテーマや目的を持ったデータの集合を含み得る。データベーステーブルの構成は、データベーススキームによって定義され、複数（multiple）のデータベーステーブルは、類似した又は同一の構成を有し得る。さらに、データベース及びその関連するデータベーステーブルの内容は、データが調整され、付加され、又は削除されることに伴い、時間とともに変化し得る。様々な技術は、データベースとデータをやり取りし、データベース内のデータを操作するために、用いられ得る。
一態様において、概して、データ管理システムによる使用のためのデータベースクエリを用意する方法は、データベースクエリを受信することと、データ記憶からの（データ要素が投入されたデータベーステーブルなどの）データソースに関する情報を受信することと、前記データベーステーブルを反映したフォーマット済みデータ編成を含み前記データベーステーブルの前記データ要素を含まない、前記データベーステーブルの構造表現を作成すること（producing）と、前記構造表現及び前記データベースクエリを、前記データベーステーブルの前記データベースクエリを実行するための操作（operations）を表すクエリプランを作成することのできるプランジェネレータに、提供すること、を含む。
各態様は、１つ又は複数の以下の特徴を含み得る。
前記データベースクエリは、ＳＱＬクエリを含む。
前記データベーステーブルの前記構造表現を作成することは、データベーステーブルのデータ構造からデータ型を決定することと、前記データ型を前記構造表現の対応するデータ構造に割り当てることを含む。
前記データベーステーブルの前記構造表現を作成することは、前記データベーステーブルの前記データ要素のデータ記憶サイズを決定することと、前記算出されたデータ記憶サイズを前記構造表現に割り当てることを含む。
前記データベーステーブルに関する情報を受信することは、データソースレジストリに基づいて前記データベーステーブルを識別することを含む。
前記データソースレジストリは、データフォーマット、キー、及びデータソースのインデックスを含む。
一態様によれば、概して、データベースクエリを表すデータフローグラフを生成する方法は、プランジェネレータから、データベーステーブルのデータベースクエリを実行する操作を表すクエリプランを受信することと、前記クエリプランからデータフローグラフを作成することと、を含み、前記データフローグラフは、前記クエリプランが表す少なくとも１つの操作を表している少なくとも１つのノードを含み、かつ、前記クエリプランに関連付けられた少なくとも１つのデータフローを表している少なくとも１つのリンクを含む。
各態様は、１つ又は複数の以下の特徴を含み得る。
前記データベースクエリは、ＳＱＬクエリを含む。
前記データフローグラフは、少なくとも一つの入力データセットからデータの流れを受信する少なくとも１つのノードと、少なくとも１つの出力データセットにデータの流れを提供する少なくとも一つのノードとを含む。
前記方法は、さらに、前記データベーステーブルを前記データフローグラフに提供することと、前記データフローグラフを実行することを含む。
前記方法は、さらに、前記データフローグラフから前記データベースクエリの出力を受信することを含む。
前記プランジェネレータは、クエリオプティマイザを含む。
データフローグラフの仕様を生成することは、前記クエリプランのクエリ操作を前記データフローグラフの各コンポーネントにマッピングすることを含む。
前記クエリプランは、前記データベースクエリのパラメータのデータ型を含む。
前記データベースクエリは実行可能な機能への参照を含み、データフローグラフの前記仕様は、前記実行可能な機能を表すコンポーネントを含む。
一態様によれば、概して、データベースクエリを表すデータフローグラフを生成する方法は、ＳＱＬクエリを受信することと、データ記憶から、データ要素が投入されたデータベーステーブルに関する情報を受信することと、前記データベーステーブルを反映したフォーマット済みデータ編成を含みかつ前記データベーステーブルの前記データを含まない、前記データベーステーブルの構造表現を作成することと、前記構造表現及び前記ＳＱＬクエリを、前記データベーステーブルの前記ＳＱＬクエリを実行するための操作を表すクエリプランを作成できるプランジェネレータに、提供することと、前記プランジェネレータからクエリプランを受信することと、前記クエリプランからデータフローグラフを作成することとを含み、前記データフローグラフは、前記クエリプランが示す少なくとも１つの操作を表している少なくとも１つのノードを含み、かつ、前記クエリプランに関連付けられた少なくとも１つのデータフローを表している少なくとも１つのリンクを含む。
一態様によれば、概して、データ管理システムによる使用のためのデータベースクエリを用意するシステムは、データ要素が投入された前記データベーステーブルに関する情報を収容するデータストレージと、コンピュータシステムとを含み、前記コンピュータシステムは、データベースクエリを受信し、前記データベーステーブルを反映したフォーマットされたデータ編成を含み前記データベーステーブルの前記データ要素を含まない、前記データベーステーブルの構造表現を作成し、前記構造表現及びデータベースクエリを、前記データベーステーブルの前記データベースクエリを実行するための操作を表すクエリプランを作成できるプランジェネレータに、提供するように構成されている。
一態様によれば、概して、データベースクエリを表すデータフローグラフを生成するシステムは、コンピュータシステムを含み、前記コンピュータシステムは、プランジェネレータから、データベーステーブルのデータベースクエリを実行する操作を表すクエリプランを受信し、前記クエリプランからデータフローグラフを作成するように構成され、前記データフローグラフは、前記クエリプランが表す少なくとも１つの操作を表している少なくとも１つのノードを含み、かつ、前記クエリプランに関連付けられた少なくとも１つのデータフローを表している少なくとも１つのリンクを含む。
一態様によれば、概して、データ管理システムによる使用のためのデータベースクエリを用意するシステムは、データ要素が投入されたデータベーステーブルに関する情報を記憶する手段と、データベースクエリを処理する手段とを含み、前記処理は、データベースクエリを受信することと、前記データベーステーブルを反映したフォーマットされたデータ編成を含み前記データベーステーブルの前記データ要素を含まない、前記データベーステーブルの構造表現を作成することと、前記構造表現及び前記データベースクエリを、前記データベーステーブルの前記データベースクエリを実行するための操作を表すクエリプランを作成できるプランジェネレータに、提供することを含む。
一態様によれば、概して、データベースクエリを表すデータフローグラフを生成するシステムは、クエリプランを処理する手段を含み、前記処理は、プランジェネレータから、データベーステーブルのデータベースクエリを実行する操作を表すクエリプランを受信することと、前記クエリプランからデータフローグラフを作成することと、を含み、前記データフローグラフは、前記クエリプランが表す少なくとも１つの操作を表している少なくとも１つのノードを含み、かつ、前記クエリプランに関連付けられた少なくとも１つのデータフローを表している少なくとも１つのリンクを含む。
一態様によれば、概して、データ管理システムによる使用のためのデータベースクエリを用意するコンピュータプログラムを記憶するコンピュータ可読媒体は、コンピュータに、データベースクエリを受信させ、データ記憶から、データ要素が投入されたデータベーステーブルに関する情報を受信させ、前記データベーステーブルを反映したフォーマットされたデータ編成を含み前記データベーステーブルの前記データ要素を含まない、前記データベーステーブルの構造表現を作成させ、前記構造表現及び前記データベースクエリを、前記データベーステーブルの前記データベースクエリ実行のための操作を表すクエリプランを作成できるプランジェネレータに、提供させるための命令を含む。
一態様によれば、概して、データベースクエリを表すデータフローグラフを生成するコンピュータプログラムを記憶するコンピュータ可読媒体は、コンピュータに、プランジェネレータから、データベーステーブルのデータベースクエリを実行する操作を表すクエリプランを受信させ、前記クエリプランからデータフローグラフを作成させるための命令を含み、前記データフローグラフは、前記クエリプランが表す少なくとも１つの操作を表している少なくとも１つのノードを含み、かつ、前記クエリプランに関連付けられた少なくとも１つのデータフローを表している少なくとも１つのリンクを含むことを特徴とする。
図１は、データフローグラフのブロック図である。 図２は、データベースクエリ及びデータフローグラフを示す図である。 図３は、データベースシステム及び関連するコンポーネントの概要を示す図である。 図４は、データフローグラフの実行を示す図である。 図５は、データベーステーブル及びデータベーステーブルの構造表現を示す図である。 図６は、実行可能な機能をそれぞれ含む、データベースクエリ及びデータフローグラフを示す図である。 図７は、データベースシステムの操作を示すフローチャートである。 図８は、データベースシステムの操作を示すフローチャートである。
１．データベース、クエリ、グラフ
データ管理システムは、１つ又は複数のデータソースに記憶されたデータを取り扱う。このようなデータソースは、データベーステーブルなどの１つ又は複数の形態をとることができ、これらの形態は、行及び列といったデータ構造に編成されたデータの集まりであり得る。ある構成では、各行がデータの記録を表し、各列が各行内のフィールドを表している。
データベースに含まれる情報は、データベースクエリを使用して、アクセスされ、処理（例えば、修正）され得る。データベースクエリとは、データベースの内容の部分集合と、その部分集合のデータに対してとる処置について記述した命令の集合である。例えば、幾つかのデータベースシステムは、構造化照会言語（ＳＱＬ）のような専用のデータベースクエリ言語で記述されたデータベースクエリを実行する。これらのデータベースシステムでは、ＳＱＬクエリが、データベースの内容を操作するための主要な道具となる。
幾つかの実装では、データベースクエリ及び他の計算が、グラフ表示上、データベース管理システムに関連付けられている。例えば、データは、データフローとして呼ばれる、操作の集まりを通して、表現され得る。ある構成において、データフローは、グラフの各頂点に関連付けられた計算の成分を持つ、有向グラフによって提供され、コンポーネント間のデータフローはグラフのリンク（円弧、接線）に対応している。グラフは、モジュールエンティティであり、他のモジュールグラフに接続され又は組み合わされ得る。各グラフは、１つ又は複数の他のグラフで構成され、特定のグラフはさらに大きなグラフのコンポーネントであり得る。グラフィカルな開発環境（ＧＤＥ）は、実行可能なグラフを指定してグラフコンポーネントのパラメータを定義するためのユーザインタフェースを提供する。このようなグラフに基づく計算を実施するシステムが、米国特許第５９６６０７２号の「ＥＸＥＣＵＴＩＮＧ ＣＯＭＰＵＴＡＴＩＯＮＳ ＥＸＰＲＥＳＳＥＤ ＡＳ ＧＲＡＰＨＳ（グラフとして表された計算の実行）」に記載されており、その全体を参照により本明細書に援用する。
図１を参照すると、データフローグラフ１０１の一例は、データフローグラフ１０１の実行可能なコンポーネント１０４ａ〜１０４ｊによって処理されるべきデータの集まりを提供する入力コンポーネント１０２を含む。ある例では、入力コンポーネント１０２は、データベースシステムに関連付けられたデータレコード又はトランザクション処理システムに関連付けられたトランザクションを備え得るデータソースである。このデータレコードは、例えば、データベーステーブルなどの様々な形式で記憶され得る。各実行可能コンポーネント１０４ａ〜１０４ｊは、データフローグラフ１０１全体で定義される計算の一部に関連付けられている。ワーク要素（例えば、データの集まり又はデータベーステーブルからの個々のデータレコード）は、あるコンポーネントの１つ又は複数の入力ポートに入り、出力ワーク要素（場合によっては、入力ワーク要素又は処理済みの入力ワーク要素）は、典型的には、コンポーネントの１つ又は複数の出力ポートから出る。データフローグラフ１０１において、コンポーネント１０４ｅ、１０４ｇ、及び１０４ｊからの出力ワーク要素は、出力データコンポーネント１０２ａ〜１０２ｃに記憶される。
幾つかのグラフベースデータベースシステムは、データベースクエリを処理するために使用され得る。例えば、あるデータベースクエリは、例えば、データフローにおける処理のために、データベーステーブルの内容のうち識別された部分集合を抽出するように、１つ又は複数のデータベーステーブルに対して適用され得る。幾つかの実装では、グラフベースデータベースシステムは、データフローグラフの形式でで、データベースクエリを受け取り実行する。他のデータベースシステムは、他のタイプのデータベースクエリを使用してもよい。
幾つかのケースでは、１つ又は複数のデータベーステーブルは、ＳＱＬを使用する別の種類のデータベースシステムからグラフベースデータベースシステムへ移動され得る。他方のデータベースシステムは、既に記述され、グラフベースデータベースシステムと互換性を持たないＳＱＬクエリを、多数有していてもよい。幾つかの実装では、これらのＳＱＬクエリは、グラフベースデータベースシステムと互換性のあるデータベースクエリに変換され得る。
図２は、ＳＱＬで記述されたデータベースクエリ２００の一例を示している。例示されたデータベースクエリ２００は、グラフベースデータベース管理システムによって管理されるデータベーステーブル２０２及び２０４に対して動作することを意図して作られている。このグラフベースデータベース管理システムは、データベーステーブル２０２及び２０４のデータを認識し得るが、これは、各データベーステーブルが、グラフベースデータベース管理システム固有のフォーマットで記述されているためである。このデータベーステーブル２０２及び２０４は、他のデータベーステーブル、例えば、ＳＱＬクエリを認識しデータフローグラフを使用しないデータベースシステムを起源にしたデータベーステーブル、から得られたデータを含んでいてもよい。
しかしながら、グラフベースデータベース管理システムは、ＳＱＬクエリを処理する内蔵型の機能性を有せず、従って、グラフベースデータベースクエリは、ＳＱＬデータベースクエリ２００をエミュレートするように作成され得る。グラフベースデータベースクエリは、グラフベースデータベースシステムにより認識可能である。例えば、データベースクエリ２００は、ＳＱＬクエリからデータフローグラフ２０８に変換され得る（２０６）。データフローグラフ２０８は、データベーステーブル２０２及び２０４を入力として受け付けることにより、データベーステーブル２０２及び２０４に対して動作し、データベースクエリ２００の実行結果を出力として提供する。
２．クエリプラン
幾つかのデータベースシステムは、クエリプラン（エクスプレインプランと呼ばれることもある）に基づくＳＱＬクエリのようなデータベースクエリを遂行する。クエリプランとは、データベースクエリが実行される場合に行われるデータベース操作を記述したものである。クエリプランは、これらデータベース操作の他の構成や異なる操作の集合が同じ結果を成し遂げる場合であったら、データベース操作のある一つの可能な構成を記述したものでも良い。
このようなクエリプランを提供するために、データベースシステムは、クエリプランジェネレータ（クエリプランナーと呼ばれることもある）を含み得る。例えば、クエリプランジェネレータは、データベースクエリの実行中に、クエリプランを作成（produce）し得るし、クエリプランジェネレータは、クエリの実行に関する決定が下される前に、クエリプランを生成（generate）し得る。
幾つかの構成では、データベース操作は、等価な出力がなお提供されている間に、様々な順番で実行され得る。そのため、クエリプランジェネレータは、最適なクエリプランを確定する機能性を有していてもよい。例えば、最適なクエリプランとして、最小の時間でデータベースクエリを実行したり、データ記憶空間のような最小量のデータベースリソースを使用し、又は、データベースシステムによって識別された制約内で、データベースクエリを実現するための、データベース操作の構成を記述したクエリプランが考えられる。最適なクエリプランを確定するクエリプランジェネレータの機能性は、想定可能な多数のクエリプランを採点したりランク付けする機能性を含んで良く、さらに、想定可能なクエリプランを、最適あるいは効率的な構成に再編成する機能性が含まれていても良い。
単一のデータベースクエリは、複数回実行され、各実行は、最適な固有のクエリプランを有し得る。例えば、あるデータベーステーブル内のデータは、あるデータベースクエリの二つの実行の間で変化し得る。本例では、データベースクエリの第１の実行用に生成されたクエリプランに記述された操作は、データベースクエリの第１の実行中よりも、第２の実行中の方が、幾分、実行時間を必要とする。この場合、操作の別の構成は、データベースクエリの第２の実行に一層適したものかも知れない。例えば、同じ操作から成る異なる構成や、異なる操作から成るある構成にすることが挙げられる。データベースクエリの第２の実行用に最適化されたクエリプランは、データベーステーブルの一時的な状態を考慮しながら、その実行のために生成され得る。
３．システム概要
クエリプランジェネレータは、ＳＱＬクエリのような別の種類のデータベースクエリをエミュレートする、グラフベースデータベースクエリを作成する際に使用され得る。図３は、データベース管理コンピュータシステム３０４上で実行するためのデータベースクエリ３０２を用意するデータベースクエリ管理システム３００を示している。図示されているデータベース管理コンピュータシステム３０４は、データフローグラフとして実装されたデータベース操作を取り扱うグラフ実行エンジン３０６を含む。データベースクエリ管理システム３００はまた、データフローグラフにより行われるべき操作の記述からデータフローグラフ３１２を構築できるグラフ生成エンジン３１０を有するグラフ生成コンピュータシステム３０８を含む。例えば、操作の記述は、クエリプラン３１４であり得る。
データベースクエリ管理システム３００はまた、クエリプランジェネレータ３１８を実行するクエリプランニングコンピュータシステム３１６を含む。クエリプランジェネレータ３１８は、データベースクエリからクエリプランを作成する任意のクエリプランジェネレータであってもよく、データフローグラフやグラフ生成に関連した任意の機能を有するように設計される必要はない。さらに、データベースクエリ管理システム３００はまた、データストレージ（例えば、ハードドライブ、光ディスク等）にデータベース３２２を有し、さらに単一又は複数のデータベーステーブル３２４ａ、３２４ｂ、３２４ｃを含む、データベースコンピュータシステム３２０も含む。
データベース管理コンピュータシステム３０４、グラフ生成コンピュータシステム３０８、クエリプランニングコンピュータシステム３１６、及び、データベースコンピュータシステム３２０に対して、別々のコンピュータシステムが示されているが、これらのコンピュータシステムのうち２台以上のコンピュータシステムは、同一のコンピュータシステムであっても良く、あるいは、同一のコンピュータシステムのコンポーネントであっても良い。これらのコンピュータシステムは、いずれも、各実行可能コンポーネントを実行するための少なくとも１つのプロセッサと少なくとも１つのデータ記憶システムを有している。各コンピュータシステムは、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネットのようなネットワーク、又は、別の種類のコンピュータネットワーク等のコンピュータネットワークを用いて、相互に接続することができる。
１つ又は複数のデータベースクエリ３０２からのデータフローグラフ３１２の作成を示すために、データフローグラフの実行前に、データベースクエリ及びデータベーステーブル３２６は、グラフ生成コンピュータシステム３０８によって受信及び処理される。グラフ生成コンピュータシステム３０８は、データベースコンピュータシステム３２０から、データベーステーブル３２６を受信する。
データベーステーブル３２６は、任意の形態を幾つも取り得る。例えば、データベーステーブル３２６は、リレーショナルデータベーステーブル、部分データベーステーブル、フラットファイル、別の種類のデータファイル、又は、データファイルの集まりであるかも知れない。幾つかの例では、データベーステーブル３２６は、例えば、データベーステーブルに関するメタデータなどのデータベーステーブルに関する情報や、データベーステーブルの記述の形で受信され得る。
幾つかの実装では、データベーステーブル３２６は、データベースコンピュータシステム３２０に関連付けられ、さもなければ、グラフ生成コンピュータシステム３０８へアクセス可能なデータレジストリによって識別され得る。データレジストリは、ルックアップファイルカタログの形式でもよく、その場合、例えば、データベーステーブル３２６に関連付けられたデータファイルの場所や、データベーステーブルに関連付けられたプライマリーキー及びインデックス情報を含んでいてもよい。データレジストリはまた、それぞれ異なる種類のデータベーステーブルに対する各データフォーマットの情報を提供し得る。さらに、データレジストリはまた、データフローグラフ３１２がどのようにしてデータベーステーブルにアクセスできるのかという情報を提供し得る。
グラフ生成コンピュータシステム３０８はまた、データベーステーブル３２６に適用されるデータベースクエリ３０２を受信する。例えば、データベースクエリは、ＳＱＬクエリであることも考えられる。データベースクエリ３０２は、任意数の想定されるソースから受信され得る。例えば、データベースクエリ３０２は、ユーザ３３０がデータベースクエリを入力したユーザインタフェース３２８から受信されても良い。幾つかの例では、データベースクエリ３０２は、データ記憶から受信されたり、データベースクエリは、インターネットのようなコンピュータネットワークから受信されたり、あるいは、データベースクエリは、別の予め受信されたデータベースクエリに基づいて生成される。
幾つかの実装では、グラフ生成コンピュータシステム３０８は、（矢印３３２で示すように、）データベーステーブル３２６の情報から作成された、データベーステーブル３２６のあるバージョンを、クエリプランニングコンピュータシステム３１６に提供する。例えば、クエリプランニングコンピュータシステム３１６に提供される上記データベーステーブル３２６のバージョンは、該データベーステーブルよりもサイズが小さくそのため処理を行う計算資源が少なくてすむデータベーステーブルの構造表現３３４であり得る。データベーステーブル３２６の構造表現３３４は、データベーステーブルに関する情報を含んでいるが、データベーステーブルのデータの一部又は全部を含んでいない。例えば、データベーステーブル３２６の構造表現３３４は、データベーステーブルの列、行、又はフィールドのような、データベーステーブルのフォーマットを反映したフォーマットを含み得る。データベーステーブル３２６の構造表現３３４はまた、データベーステーブルの各要素のデータ記憶サイズや、データベーステーブルの各要素のデータ型といった、データに関する情報を含み得る。
グラフ生成コンピュータシステムは、（矢印３３２で示すように）データベースクエリ３０２及びデータベーステーブル３２６の構造表現３３４を、クエリプランニングコンピュータシステム３１６に提供する。クエリプランニングコンピュータシステム３１６は、データベーステーブル３２６上でのデータベースクエリ３０２の実行に最適化されたクエリプランを作成する、クエリプランジェネレータ３１８を実行する。データベーステーブル３２６の構造表現３３４は、データベーステーブル３２６自身によって供給されるような、クエリプランジェネレータ３１８によって使用される同じ情報、例えば、データサイズ、データ型等の、データベーステーブルに含まれるデータに関する情報を供給する。幾つかの実装では、データベーステーブル３２６の構造表現３３４は、データルックアップ及び検索を最適化するために用いられるデータ要素のインデックスを含む。クエリプランジェネレータ３１８は、このインデックスを用いて、インデックス付きのデータベーステーブル３２６からデータ要素を識別し検索する速度を算出することができる。
グラフ生成コンピュータシステム３０８は、クエリプランニングコンピュータシステム３１６からクエリプラン３１４を受信する。クエリプラン３１４は、データベーステーブル３２６上でのデータベースクエリ３０２の実行に使用可能なデータベース操作の構成を記述する。例えば、クエリプラン３１４における操作は、データフローグラフ３１２のノードに対応し得る。クエリプラン３１４はまた、クエリプランにおける操作で用いられるデータ型に関する情報を含み得る。例えば、クエリプランにおける操作は、パラメータを持ち得るし、パラメータのデータ型が、クエリプランに記述され得る。
クエリプラン３１４が作成されると、クエリプラン３１４は、グラフ生成エンジン３１０によるデータフローグラフ３１２の作成のために、グラフ生成コンピュータシステム３０８に提供される。グラフ生成エンジン３１０は、クエリプラン３１４に対応するデータフローグラフ３１２を出力する。幾つかの実装では、データフローグラフ３１２は、クエリプランに記述されている操作を表すノードと、操作間のデータの流れを表すノードリンクとを有している。データフローグラフ３１２は、実行用にデータベースクエリを用意する各インスタンスに対して生成され得るので、グラフ生成エンジン３１０は、データベースクエリを実行するためのリアルタイム要求に迅速に応答するように、データフローグラフを生成することができる。幾つかの実装では、グラフ生成エンジン３１０は、１秒未満で、クエリプランからデータフローグラフを生成することができる。
グラフ生成コンピュータシステム３０８は、（矢印３３６で示すように）グラフ生成エンジン３１６によって生成されたデータフローグラフ３１２を、データベース管理コンピュータシステム３０４に提供する。幾つかの実装では、グラフ生成コンピュータシステム３０８はまた、データベース管理コンピュータシステムによる使用のためのデータベーステーブル３２６を用意するとともに、用意されたデータベーステーブル３３８を提供する。例えば、グラフ生成コンピュータシステム３０８は、データベーステーブル３２６を、グラフ生成コンピュータシステム３０８によって使用されるフォーマットから、データベース管理コンピュータシステム３０４によって使用されるフォーマットに変換するかも知れない。
データフローグラフ３１２がデータベース管理コンピュータシステム３０４に提供されると、実行に向けてデータフローグラフ３１２が用意される。図４に示すように、データベース管理コンピュータシステム３０４は、データフローグラフ３１２の操作を実行し、データベースクエリの結果４０２を作成するために、データベーステーブル３２６を使用し得る。データベース管理コンピュータシステム３０４は、データベーステーブル３２６を、データフローグラフ３１２の１つ又は複数のノード４０４ａ、４０４ｂ、４０４ｃに提供し、グラフ実行エンジン３０６を用いてデータフローグラフを実行する。グラフ実行エンジン３０６は、基本的なデータベースクエリを実行するためのデータベース操作に対応する、データフローグラフ３１２のノード４０４ａ、４０４ｂ、４０４ｃによって表される操作を行う。さらに、各ノード間のリンク４０８ａ、４０８ｂ、４０８ｃは、データベーステーブルの処理に伴う各データベース操作間のデータの流れを表す。データフローグラフ３１２は、データベースクエリの結果４０２を出力する。
４．構造表現
図５は、データベーステーブル５００及びデータベーステーブルの構造表現５０２（データベーステーブルからのデータを全く含まない）の一例を示している。データベーステーブル５００は、類似した又は異なるタイプのデータを含み得る列５０４ａ〜５０４ｉを有している。データベーステーブル５００はまた、それぞれ、各列に対応するフィールドを含む行５０８ａ〜５０８ｅも有している。行の各フィールドは、対応する列のデータ型（例えば、文字列、整数、浮動小数点数等）のデータ要素５１０ａ、５１０ｂ、５１０ｃを含んでいる。さらに、各行５０８ａ〜５０８ｅは、固有のデータ記憶サイズ５１２ａ〜５１２ｅを有する。例えば、データ記憶サイズ５１２ａ〜５１２ｅは、行がメモリのようなデータストレージに存在している場合に、その行のデータ要素によって使用される記憶領域量であっても良い。
（図３に示すように、グラフ生成コンピュータシステム３０８によって作成される）データベーステーブル５００の構造表現５０２は、元の列５０４ａ〜５０４ｉと同じデータ型を含みつつ、データベーステーブルと同一の列５１４ａ〜５１４ｉを有している。データベーステーブル５００の構造表現５０２はまた、データベーステーブルの行５０８ａ〜５０８ｅに対応する行５１８ａ〜５１８を有している。しかしながら、行５１８ａ〜５１８ｅは、データベーステーブル５００からのデータ要素５１０ａ、５１０ｂ、５１０ｃを含んでいない。各行５１８ａ〜５１８ｅは、データ記憶サイズ値５２０ａ〜５２０ｅに関連付けられている。データベーステーブル５００のある行のデータ記憶サイズ５１２ａ〜５１２ｅは、個々のデータ要素５１０ａ、５１０ｂ、５１０ｃのデータ記憶サイズから算出することができる一方で、各行５１８ａ〜５１８ｅのデータ記憶サイズ値５２０ａ〜５２０ｅ自体は、データベーステーブルの構造表現５０２の各行と供に記憶されるデータ要素であり得る。データベーステーブル５００の構造表現５０２の総データ記憶サイズは、データベーステーブルの総データ記憶サイズに占める割合がごくわずかになることもあるが、それは、データベーステーブルの構造表現のフィールド５２２ａ、５２２ｂ、５２２ｃには、データベーステーブルのフィールドからのデータ要素５１０ａ、５１０ｂ、５１０ｃがないからである。幾つかの実装では、データベーステーブル５００の構造表現５０２が、データベーステーブルからのデータ要素の一部を保持することもあり、例えば、データベーステーブルの構造表現は、キー値５２４及び５２６に対応するデータ要素や、データベーステーブルの構造、編成、又はフォーマットに使用される他のデータ要素を保持し得る。幾つかの実装では、データベーステーブル５００の構造表現５０２は、データ検索に用いられる情報を提供するインデックス又は別のデータ構造を含み得る。幾つかの実装では、データベーステーブル５００の構造表現５０２は、データベーステーブルに含まれるデータに関する他の統計を含み得る。
５．機能呼び出し
図６に示すように、幾つかの実装では、カスタムグラフ機能６０２は、データベースクエリ６０４に埋め込まれうる。例えば、カスタムグラフ機能６０２は、データフローグラフの実行中にデータフローグラフ６０６を行える操作を表すかも知れない。カスタムグラフ機能６０２は、データベースクエリ６０４のコンテキストの中で、任意の機能性を持たないかも知れないし、生成されたデータフローグラフ６０６に渡されるようにデータベースクエリに配置される。例えば、カスタムグラフ機能６０２は、データフローグラフへの変換のためであるが既存のデータベースクエリの一部を入れ替え又は増補（augment）のために用意するように、データベースクエリ６０４に追加されるかも知れない。さらに、クエリプランジェネレータは、カスタムグラフ機能６０２の機能性に関する情報を有しないかも知れない。カスタムグラフ機能６０２は、データベースクエリ６０４の言語において、等価機能を持たない機能であり得る。幾つかの実装では、クエリプランジェネレータは、カスタムグラフ機能６０２に対する入力データ型又は出力データ型を認識する。データフローグラフ６０６の生成６０８される場合、カスタムグラフ機能６０２は、データフローグラフのノード６１０として振る舞い得る。
幾つかの実装では、カスタムグラフ機能６０２は、特別な又はカスタマイズされたフォーマットのデータにアクセスするために用いられる機能であっても良く、また、カスタムグラフ機能は、正規表現やパターンマッチング式を実行するために用いられる機能であってもよく、又は、カスタムグラフ機能は、ユーザ、例えば、データベース管理コンピュータシステムのユーザによって実施される機能であっても良い。
６．操作の流れ
図７は、（図３に示す）グラフ生成コンピュータシステム３０８の操作の例を示したフローチャート７００である。ステップ７０２において、グラフ生成コンピュータシステムは、例えば、ユーザインタフェースから又はデータ記憶からデータベースクエリを、受信する。ステップ７０４では、グラフ生成コンピュータシステムは、データベースシステムのデータベースから、データベーステーブルに関する情報を受信する。例えば、グラフ生成コンピュータシステムは、データ記憶からデータベーステーブル自体を受信しても良く、グラフ生成コンピュータシステムは、データベーステーブルに関するメタデータを受信しても良く、又は、グラフ生成コンピュータシステムは、ユーザインタフェースのユーザによって入力されたようなデータベーステーブルに関する情報を受信しても良い。ステップ７０６では、グラフ生成コンピュータシステムは、データベーステーブルを反映したフォーマット済みデータ編成を含みデータベーステーブルのデータがない、データベーステーブルの構造表現を生成する。ステップ７０８では、グラフ生成コンピュータシステムは、データベーステーブルの構造表現及びデータベースクエリを、クエリプランジェネレータによる使用のためにクエリプランニングコンピュータシステムに提供する。ステップ７１０では、グラフ生成コンピュータシステムは、クエリプランジェネレータによって作成されたクエリプランを、クエリプランニングコンピュータシステムから受信する。ステップ７１２では、グラフ生成コンピュータシステムは、クエリプランに記述されている操作に基づくクエリプランからデータフローグラフを生成するために、グラフ生成エンジンを使用する。ステップ７１４では、グラフ生成コンピュータシステムは、（例えば、データ管理システムのグラフ実行エンジンによる）実行のためにデータフローグラフを提供する。
図８は、（図３に示す）グラフ生成コンピュータシステム３０８の操作の例を示したフローチャート８００である。ステップ８０２において、グラフ生成コンピュータシステムは、データベーステーブルに関する情報を受信する。例えば、グラフ生成コンピュータシステムは、ユーザインタフェースから又はデータ記憶から、予め受信したデータベーステーブルを受信しても良く、データベーステーブルを表すメタデータを受信しても良い。ステップ８０４では、グラフ生成コンピュータシステムは、受信したデータベーステーブルの同じ列及び行のフォーマットを有する新規のデータベーステーブルを生成する。ステップ８０６では、グラフ生成コンピュータシステムは、データベーステーブルの各列からデータ型を抽出することにより、受信したデータベーステーブルに関連付けられたデータ型を識別する。ステップ８０８では、グラフ生成コンピュータシステムは、識別されたデータ型を、新規データベーステーブルの列に割り当てる。ステップ８１０では、グラフ生成コンピュータシステムは、受信したデータベーステーブルに関するデータ統計、例えば、受信したデータベーステーブルの各行のデータ要素のデータ記憶サイズを算出する。ステップ８１２では、グラフ生成コンピュータシステムは、算出されたデータ統計を、受信したデータベーステーブルの構造表現となる新規のデータベーステーブルに割り当てる。
上記のデータベースクエリ管理法は、コンピュータ上で実行されるソフトウェアを使用して実現され得る。具体的には、ソフトウェアは、１つ又は複数のプログラムされた又はプログラム可能なコンピュータシステム（分散型、クライアント／サーバー型、グリッド型など、様々なアーキテクチャに基づくもの）上で実行される１つ又は複数のコンピュータプログラムにおいて手順を形成する。上記コンピュータシステムのそれぞれは、少なくとも１つのプロセッサ、少なくとも１つのデータ記憶システム（揮発性及び不揮発性メモリ、及び／又は、記憶素子を含む）、少なくとも１つの入力装置又はポート、並びに、少なくとも１つの出力装置又はポートを含んでいる。上記ソフトウェアは、例えば、計算グラフの設計と構成とに関連する他のサービスを提供する、より大規模なプログラムの１つ又は複数のモジュールを形成していても良い。グラフのノード及び要素は、コンピュータ可読媒体に記憶されたデータ構造として、又は、データレジストリに記憶されたデータモデルに適合する他の編成データとして、実装することができる。
ソフトウェアは、汎用又は専用プログラム可能コンピュータによって読み取り可能なＣＤ−ＲＯＭなどの記憶媒体で提供されても良いし、又は、ソフトウェアが実行されるコンピュータに対してネットワークの通信媒体を経由して配布されても良い（伝播信号にコード化される）。その機能のすべては、専用コンピュータ上か、又はコプロセッサのように、専用ハードウェアを使用して実行される。ソフトウェアは、ソフトウェアによって指定される計算の異なる部分が異なるコンピュータによって実施されるような分散された方法で実装してもよい。記憶媒体又は装置をコンピュータシステムが読み込んで、本明細書に記載された手順を実行するとき、コンピュータを構成し操作するために、そのような各コンピュータプログラムは、好ましくは、汎用又は専用プログラム可能コンピュータで読取り可能な記憶媒体又は装置に記憶又はダウンロードされる（例えば、ソリッドステートメモリもしくは媒体、又は磁気もしくは光媒体）。本発明のシステムは、コンピュータプログラムによって構成され、コンピュータ読取り可能記憶媒体として実装するものと考えてよい。そのように構成された記憶媒体によって、コンピュータシステムを特定かつ所定の方法で動作させて本明細書に記載する機能を実現する。
本発明の多くの実施の形態について説明した。しかしながら、本発明の趣旨と範囲から逸脱することなくさまざまな改変を行えることは言うまでもない。例えば、上記ステップの幾つかは、独立した順序であってもよく、したがって説明とは異なる順序で実施することができる。
上記説明は、付帯する特許請求の範囲によって規定される本発明の範囲を示すことを意図しており、その範囲を制限するものではない。例えば、上記の多くの機能ステップは、全体の処理に実質的に影響を及ぼすことなく、異なる順序で実施してもよい。その他の実施の形態は、後述する特許請求の範囲内にある。

Claims (22)

  1. データ管理システムによる使用のデータベースクエリを用意する方法であって、
    データベースクエリを受信することと、
    データ記憶からの、データ要素が投入されたデータソースに関する情報を受信することと、
    前記データソースを反映したフォーマットされたデータ編成を含み前記データソースの前記データ要素を含まない、前記データソースの構造表現を作成することと、
    前記構造表現及び前記データベースクエリを、前記データソースについての前記データベースクエリを実行するための操作を表すクエリプランを作成できるプランジェネレータに、提供することを含む、
    方法。
  2. 前記データベースクエリがＳＱＬクエリを含む、請求項１に記載の方法。
  3. 前記データソースの前記構造表現を作成することは、
    前記データソースにおけるデータ構造からデータ型を決定することと、
    前記データ型を前記構造表現における対応するデータ構造に割り当てること、
    を含む、請求項１に記載の方法。
  4. 前記データソースの前記構造表現を作成することは、
    前記データソースにおける前記データ要素のデータ記憶サイズを決定することと、
    前記算出されたデータ記憶サイズを前記構造表現に割り当てることを含む、
    請求項１に記載の方法。
  5. 前記データソースに関する前記情報を受信することは、データソースレジストリに基づいて前記データソースを識別することを含む、請求項１に記載の方法。
  6. 前記データソースレジストリは、データフォーマット、キー、及びデータソースのインデックスを含む、請求項５に記載の方法。
  7. データベースクエリを表すデータフローグラフを生成する方法であって、
    プランジェネレータから、データソースのデータベースクエリを実行する操作を表すクエリプランを受信することと、
    前記クエリプランからデータフローグラフを作成することと、を含み、
    前記データフローグラフは、前記クエリプランが表す少なくとも１つの操作を表している少なくとも１つのノードを含み、かつ、前記クエリプランに関連付けられた少なくとも１つのデータフローを表している少なくとも１つのリンクを含む、
    方法。
  8. 前記データベースクエリがＳＱＬクエリを含む、請求項７に記載の方法。
  9. 前記データフローグラフは、
    少なくとも１つの入力データセットからデータの流れを受信する少なくとも１つのノードと、
    少なくとも１つの出力データセットにデータの流れを提供する少なくとも１つのノードと、を含む、
    請求項７に記載の方法。
  10. 前記データソースを前記データフローグラフに提供することと、
    前記データフローグラフを実行することと、
    をさらに含む、請求項７に記載の方法。
  11. 前記データフローグラフから前記データベースクエリの出力を受信することをさらに含む、請求項１０に記載の方法。
  12. 前記プランジェネレータはクエリオプティマイザを含む、請求項７に記載の方法。
  13. データフローグラフの仕様を生成することは、前記クエリプランのクエリ操作を前記データフローグラフの各コンポーネントにマッピングすることを含む、請求項７に記載の方法。
  14. 前記クエリプランは、前記データベースクエリにおけるパラメータのデータ型を含む、請求項７に記載の方法。
  15. 前記データベースクエリは実行可能な機能への参照を含み、データフローグラフの前記仕様は、前記実行可能な機能を表すコンポーネントを含む、請求項７に記載の方法。
  16. データベースクエリを表すデータフローグラフを生成する方法であって、
    ＳＱＬクエリを受信することと、
    データ記憶から、データ要素が投入されたデータソースに関する情報を受信することと、
    前記データソースを反映したフォーマットされたデータ編成を含みかつ前記データソースの前記データを含まない、前記データソースの構造表現を作成することと、
    前記構造表現及び前記ＳＱＬクエリを、前記データソースの前記ＳＱＬクエリを実行するための操作を表すクエリプランを作成できるプランジェネレータに、提供することと、
    前記プランジェネレータからクエリプランを受信することと、
    前記クエリプランからデータフローグラフを作成することを含み、
    前記データフローグラフは、前記クエリプランが示す少なくとも１つの操作を表している少なくとも１つのノードを含み、かつ前記クエリプランに関連付けられた少なくとも１つのデータフローを表している少なくとも１つのリンクを含む、
    方法。
  17. データ管理システムによる使用のためのデータベースクエリを用意するシステムであって、
    データ要素が投入されたデータソースに関する情報を収容するデータストレージと、
    コンピュータシステムと、を含み、前記コンピュータシステムは、
    データベースクエリを受信し、
    前記データソースを反映したフォーマットされたデータ編成を含み前記データソースの前記データ要素を含まない、前記データソースの構造表現を作成し、
    前記構造表現及びデータベースクエリを、前記データソースの前記データベースクエリを実行するための操作を表すクエリプランを作成できるプランジェネレータに、提供するように構成されている、
    システム。
  18. データベースクエリを表すデータフローグラフを生成するシステムであって、前記システムは、コンピュータシステムを含み、
    前記コンピュータシステムは、
    プランジェネレータから、データソースについてのデータベースクエリを実行する操作を表すクエリプランを受信し、
    前記クエリプランからデータフローグラフを作成するように構成され、
    前記データフローグラフは、前記クエリプランが表す少なくとも１つの操作を表している少なくとも１つのノードを含み、かつ、前記クエリプランに関連付けられた少なくとも１つのデータフローを表している少なくとも１つのリンクを含む、
    システム。
  19. データ管理システムが使用するためのデータベースクエリを用意するシステムであって、前記システムは、
    データ要素が投入されたデータソースに関する情報を記憶する手段と、
    データベースクエリを処理する手段とを含み、
    前記処理は、
    データベースクエリを受信することと、
    前記データソースを反映したフォーマットされたデータ編成を含み前記データソースの前記データ要素を含まない、前記データソースの構造表現を作成することと、
    前記構造表現及び前記データベースクエリを、前記データソースの前記データベースクエリの実行をするための操作を表すクエリプランを作成できるプランジェネレータに、提供することを含む、
    システム。
  20. データベースクエリを表すデータフローグラフを生成するシステムであって、前記システムは、
    クエリプランを処理する手段を含み、
    前記処理は、プランジェネレータから、データソースのデータベースクエリを実行する操作を表すクエリプランを受信することと、
    前記クエリプランからデータフローグラフを作成することと、を含み、
    前記データフローグラフは、前記クエリプランが表す少なくとも１つの操作を表している少なくとも１つのノードを含み、かつ、前記クエリプランに関連付けられた少なくとも１つのデータフローを表している少なくとも１つのリンクを含む、
    システム。
  21. データ管理システムによる使用のためのデータベースクエリを用意するコンピュータプログラムを記憶するコンピュータ可読媒体であって、
    前記コンピュータプログラムは、コンピュータに、
    データベースクエリを受信させ、
    データ記憶から、データ要素が投入されたデータソースに関する情報を受信させ、
    前記データソースを反映したフォーマットされたデータ編成を含み前記データソースの前記データ要素を含まない、前記データソースの構造表現を作成させ、
    前記構造表現及び前記データベースクエリを、前記データソースの前記データベースクエリを実行するための操作を表すクエリプランを作成できるプランジェネレータに、提供させるための命令を含む、
    コンピュータ可読媒体。
  22. データベースクエリを表すデータフローグラフを生成するコンピュータプログラムを記憶するコンピュータ可読媒体であって、
    前記コンピュータプログラムは、コンピュータに、
    プランジェネレータから、データソースのデータベースクエリを実行する操作を表すクエリプランを受信させ、
    前記クエリプランからデータフローグラフを作成させるための命令を含み、
    前記データフローグラフは、前記クエリプランが表す少なくとも１つの操作を表している少なくとも１つのノードを含み、かつ、前記クエリプランに関連付けられた少なくとも１つのデータフローを表している少なくとも１つのリンクを含むことを特徴とする、コンピュータ可読媒体。
JP2017182015A 2010-01-15 2017-09-22 データクエリの管理 Active JP6578333B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/688,316 US9665620B2 (en) 2010-01-15 2010-01-15 Managing data queries
US12/688,316 2010-01-15

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016167897A Division JP6216423B2 (ja) 2010-01-15 2016-08-30 データクエリの管理

Publications (2)

Publication Number Publication Date
JP2017220268A true JP2017220268A (ja) 2017-12-14
JP6578333B2 JP6578333B2 (ja) 2019-09-18

Family

ID=43755268

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2012549105A Pending JP2013517574A (ja) 2010-01-15 2011-01-14 データクエリの管理
JP2015137280A Active JP6000415B2 (ja) 2010-01-15 2015-07-08 データクエリの管理
JP2016167897A Active JP6216423B2 (ja) 2010-01-15 2016-08-30 データクエリの管理
JP2017182015A Active JP6578333B2 (ja) 2010-01-15 2017-09-22 データクエリの管理

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2012549105A Pending JP2013517574A (ja) 2010-01-15 2011-01-14 データクエリの管理
JP2015137280A Active JP6000415B2 (ja) 2010-01-15 2015-07-08 データクエリの管理
JP2016167897A Active JP6216423B2 (ja) 2010-01-15 2016-08-30 データクエリの管理

Country Status (9)

Country Link
US (2) US9665620B2 (ja)
EP (2) EP3324311A1 (ja)
JP (4) JP2013517574A (ja)
KR (2) KR101784785B1 (ja)
CN (2) CN106055584B (ja)
AU (3) AU2011205787B2 (ja)
CA (1) CA2786042C (ja)
HK (1) HK1255489A1 (ja)
WO (1) WO2011088293A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665620B2 (en) 2010-01-15 2017-05-30 Ab Initio Technology Llc Managing data queries
JP6338579B2 (ja) * 2012-07-24 2018-06-06 アビニシオ テクノロジー エルエルシー データモデルにおけるエンティティのマッピング
EP3092557B1 (en) 2013-12-05 2024-03-27 AB Initio Technology LLC Managing interfaces for dataflow graphs composed of sub-graphs
CA2929716C (en) 2013-12-06 2021-08-31 Ab Initio Technology Llc Source code translation
CN103729471B (zh) * 2014-01-21 2017-03-08 华为软件技术有限公司 数据库查询方法和装置
EP4280135A3 (en) 2014-03-14 2024-02-21 AB Initio Technology LLC Mapping attributes of keyed entities
US10437819B2 (en) 2014-11-14 2019-10-08 Ab Initio Technology Llc Processing queries containing a union-type operation
US10417281B2 (en) 2015-02-18 2019-09-17 Ab Initio Technology Llc Querying a data source on a network
CN106156162A (zh) * 2015-04-15 2016-11-23 阿里巴巴集团控股有限公司 数据库查询量统计方法和设备
US10210236B2 (en) 2015-11-23 2019-02-19 Ab Initio Technology Llc Storing and retrieving data of a data cube
AU2016377516B2 (en) 2015-12-21 2020-01-30 Ab Initio Technology Llc Sub-graph interface generation
WO2017223464A1 (en) 2016-06-23 2017-12-28 Schneider Electric USA, Inc. Contextual-characteristic data driven sequential federated query methods for distributed systems
CN106446170A (zh) * 2016-09-27 2017-02-22 努比亚技术有限公司 数据查询方法及装置
US11016973B2 (en) * 2016-11-29 2021-05-25 Sap Se Query plan execution engine
CN110612513B (zh) * 2017-03-29 2024-01-30 起元技术有限责任公司 用于使用可变级并行执行数据处理操作的系统和方法
US11354348B2 (en) * 2017-06-29 2022-06-07 Microsoft Technology Licensing, Llc Optimized record placement in graph database
CN107480287A (zh) * 2017-08-25 2017-12-15 成都优力德新能源有限公司 基于云计算的数据集成装置
CN110471888A (zh) * 2018-05-09 2019-11-19 株式会社日立制作所 一种自动收集数据的方法、装置、介质、设备及系统
CN109299094A (zh) * 2018-09-18 2019-02-01 深圳壹账通智能科技有限公司 数据表处理方法、装置、计算机设备和存储介质
CN109614400A (zh) * 2018-11-30 2019-04-12 深圳前海微众银行股份有限公司 失败任务的影响及溯源分析方法、装置、设备及存储介质
US11327970B1 (en) 2019-03-25 2022-05-10 Amazon Technologies, Inc. Context dependent execution time prediction for redirecting queries
US11308100B2 (en) 2019-06-25 2022-04-19 Amazon Technologies, Inc. Dynamically assigning queries to secondary query processing resources
US11093223B2 (en) 2019-07-18 2021-08-17 Ab Initio Technology Llc Automatically converting a program written in a procedural programming language into a dataflow graph and related systems and methods
CN110472068B (zh) * 2019-08-20 2020-04-24 星环信息科技（上海）有限公司 基于异构分布式知识图谱的大数据处理方法、设备及介质
CN111143397B (zh) * 2019-12-10 2021-04-13 跬云(上海)信息科技有限公司 混合数据查询方法及装置、存储介质
CN111209309B (zh) * 2020-01-13 2023-03-10 腾讯科技（深圳）有限公司 数据流图处理结果确定方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956704A (en) * 1997-06-05 1999-09-21 Oracle Corporation Method and apparatus for parallelizing operations that insert data into an existing data container
JP2001273327A (ja) * 2000-02-16 2001-10-05 Internatl Business Mach Corp <Ibm> データベース管理システムにおける集合述部および検索
JP2006065846A (ja) * 2004-08-24 2006-03-09 Microsoft Corp 部分マテリアライズドビュー

Family Cites Families (180)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4586137A (en) 1982-10-18 1986-04-29 Dresser Industries, Inc. Method for generating variable well logging data composites
JPH01108638A (ja) * 1987-10-21 1989-04-25 Hitachi Ltd 並列化コンパイル方式
JP2738692B2 (ja) * 1988-01-29 1998-04-08 株式会社日立製作所 並列化コンパイル方法
JPH0267682A (ja) 1988-09-02 1990-03-07 Hitachi Ltd データベースシステム
US5072371A (en) * 1989-03-01 1991-12-10 The United States Of America As Represented By The United States Department Of Energy Method for simultaneous overlapped communications between neighboring processors in a multiple
US5121494A (en) 1989-10-05 1992-06-09 Ibm Corporation Joining two database relations on a common field in a parallel relational database field
US5367619A (en) * 1990-04-27 1994-11-22 Eaton Corporation Electronic data entry system employing an expert system to facilitate generation of electronic data forms with complex interrelationships between fields and subforms
US5347639A (en) * 1991-07-15 1994-09-13 International Business Machines Corporation Self-parallelizing computer system and method
US5632022A (en) * 1991-11-13 1997-05-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Encyclopedia of software components
US5313584A (en) * 1991-11-25 1994-05-17 Unisys Corporation Multiple I/O processor system
FR2696853B1 (fr) 1992-10-12 1994-12-23 Bull Sa Procédé d'aide à l'optimisation d'une requête d'un système de gestion, de base de données relationnel et procédé d'analyse syntaxique en résultant.
JPH05257709A (ja) * 1992-03-16 1993-10-08 Hitachi Ltd 並列化判別方法およびそれを用いた並列化支援方法
US5412806A (en) 1992-08-20 1995-05-02 Hewlett-Packard Company Calibration of logical cost formulae for queries in a heterogeneous DBMS using synthetic database
US5432940A (en) * 1992-11-02 1995-07-11 Borland International, Inc. System and methods for improved computer-based training
US5574898A (en) * 1993-01-08 1996-11-12 Atria Software, Inc. Dynamic software version auditor which monitors a process to provide a list of objects that are accessed
US5446915A (en) * 1993-05-25 1995-08-29 Intel Corporation Parallel processing system virtual connection method and apparatus with protection and flow control
US5475842A (en) * 1993-08-11 1995-12-12 Xerox Corporation Method of compilation optimization using an N-dimensional template for relocated and replicated alignment of arrays in data-parallel programs for reduced data communication during execution
JPH0765032A (ja) 1993-08-27 1995-03-10 Toshiba Corp データベース言語変換機能を持つ情報処理システム
US5600833A (en) * 1993-09-17 1997-02-04 Digital Equipment Corp. Attribute portion based document retrieval system with system query language interface
JP4050339B2 (ja) 1994-04-28 2008-02-20 株式会社東芝 並行プログラム作成支援装置及び並行プログラム作成方法並びに並行プログラム実行装置
US5588150A (en) 1994-09-29 1996-12-24 International Business Machines Corporation Push down optimization in a distributed, multi-database system
US5768564A (en) * 1994-10-07 1998-06-16 Tandem Computers Incorporated Method and apparatus for translating source code from one high-level computer language to another
FI98690C (fi) 1994-10-18 1997-07-25 Nokia Telecommunications Oy Menetelmä alueryhmäpuhelun muodostamiseksi matkaviestinjärjestelmässä ja matkaviestinjärjestelmä
US5734886A (en) * 1994-11-16 1998-03-31 Lucent Technologies Inc. Database dependency resolution method and system for identifying related data files
FI98973C (fi) 1994-11-22 1997-09-10 Nokia Telecommunications Oy Menetelmä ryhmätietojen ylläpitämiseksi matkaviestinjärjestelmässä ja matkaviestinjärjestelmä
US5546576A (en) * 1995-02-17 1996-08-13 International Business Machines Corporation Query optimizer system that detects and prevents mutating table violations of database integrity in a query before execution plan generation
US5619692A (en) * 1995-02-17 1997-04-08 International Business Machines Corporation Semantic optimization of query order requirements using order detection by normalization in a query compiler system
FI100215B (fi) * 1995-03-17 1997-10-15 Nokia Telecommunications Oy Matkaviestijärjestelmän tilaajatietojen päivittäminen
US5706509A (en) * 1995-04-28 1998-01-06 Intel Corporation Application independent record level synchronization
US5678044A (en) 1995-06-02 1997-10-14 Electronic Data Systems Corporation System and method for improved rehosting of software systems
US5682537A (en) * 1995-08-31 1997-10-28 Unisys Corporation Object lock management system with improved local lock management and global deadlock detection in a parallel data processing system
US5712971A (en) * 1995-12-11 1998-01-27 Ab Initio Software Corporation Methods and systems for reconstructing the state of a computation
US5819021A (en) 1995-12-11 1998-10-06 Ab Initio Software Corporation Overpartitioning system and method for increasing checkpoints in component-based parallel applications
US5909681A (en) * 1996-03-25 1999-06-01 Torrent Systems, Inc. Computer system and computerized method for partitioning data for parallel processing
US6311265B1 (en) * 1996-03-25 2001-10-30 Torrent Systems, Inc. Apparatuses and methods for programming parallel computers
JPH09319757A (ja) 1996-05-29 1997-12-12 N T T Data Tsushin Kk 情報検索システム
US5799149A (en) * 1996-06-17 1998-08-25 International Business Machines Corporation System partitioning for massively parallel processors
US5870743A (en) * 1996-06-24 1999-02-09 Oracle Corporation Method and apparatus for parallelizing operations that create a table
US5966072A (en) 1996-07-02 1999-10-12 Ab Initio Software Corporation Executing computations expressed as graphs
JP4533974B2 (ja) 1996-08-01 2010-09-01 康 清木 異種データベース統合システム
JPH1091494A (ja) 1996-09-19 1998-04-10 Hitachi Ltd データベース操作プログラムの変換方法および変換装置
JPH10232875A (ja) 1997-02-19 1998-09-02 Hitachi Ltd データベース管理方法および並列データベース管理システム
US6330008B1 (en) * 1997-02-24 2001-12-11 Torrent Systems, Inc. Apparatuses and methods for monitoring performance of parallel computing
US5999729A (en) * 1997-03-06 1999-12-07 Continuum Software, Inc. System and method for developing computer programs for execution on parallel processing systems
US5956074A (en) * 1997-03-11 1999-09-21 Sclafani; Peter J. Cable television return display unit
JP3155991B2 (ja) 1997-04-09 2001-04-16 日本アイ・ビー・エム株式会社 集約演算実行方法及びコンピュータ・システム
US6092062A (en) * 1997-06-30 2000-07-18 International Business Machines Corporation Relational database query optimization to perform query evaluation plan, pruning based on the partition properties
US6077313A (en) * 1997-10-22 2000-06-20 Microsoft Corporation Type partitioned dataflow analyses
US6295518B1 (en) * 1997-12-09 2001-09-25 Mci Communications Corporation System and method for emulating telecommunications network devices
US6266804B1 (en) * 1997-12-23 2001-07-24 Ab Initio Software Corporation Method for analyzing capacity of parallel processing systems
US6625593B1 (en) * 1998-06-29 2003-09-23 International Business Machines Corporation Parallel query optimization strategies for replicated and partitioned tables
US6205465B1 (en) * 1998-07-22 2001-03-20 Cisco Technology, Inc. Component extensible parallel execution of multiple threads assembled from program components specified with partial inter-component sequence information
US6453464B1 (en) 1998-09-03 2002-09-17 Legacyj. Corp., Inc. Method and apparatus for converting COBOL to Java
US6339769B1 (en) 1998-09-14 2002-01-15 International Business Machines Corporation Query optimization by transparently altering properties of relational tables using materialized views
US6378126B2 (en) 1998-09-29 2002-04-23 International Business Machines Corporation Compilation of embedded language statements in a source code program
JP2002527800A (ja) * 1998-10-02 2002-08-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 会話ブラウザおよび会話システム
JP2000148699A (ja) 1998-11-06 2000-05-30 Nec Corp ネットワークマネージメントシステム
JP4406944B2 (ja) * 1998-11-11 2010-02-03 株式会社日立製作所 計算機システム及び問合せに対する処理分散システム
US7047232B1 (en) * 1999-01-13 2006-05-16 Ab Initio Software Corporation Parallelizing applications of script-driven tools
JP4794709B2 (ja) * 1999-03-01 2011-10-19 新日鉄ソリューションズ株式会社 データ管理システム及びコンピュータ読み取り可能な記録媒体
US7080062B1 (en) * 1999-05-18 2006-07-18 International Business Machines Corporation Optimizing database queries using query execution plans derived from automatic summary table determining cost based queries
US6560593B1 (en) 1999-07-20 2003-05-06 Computer Associates Think, Inc. Method and apparatus for viewing the effect of changes to an index for a database table on an optimization plan for a database query
JP4552242B2 (ja) 1999-10-06 2010-09-29 株式会社日立製作所 仮想表インタフェースと該インタフェースを用いた問合せ処理システム及び方法
US6615203B1 (en) 1999-12-17 2003-09-02 International Business Machines Corporation Method, computer program product, and system for pushdown analysis during query plan generation
JP3795289B2 (ja) 2000-02-07 2006-07-12 日本電信電話株式会社 データベースの実行制御装置
JP4483034B2 (ja) 2000-06-06 2010-06-16 株式会社日立製作所 異種データソース統合アクセス方法
US7164422B1 (en) * 2000-07-28 2007-01-16 Ab Initio Software Corporation Parameterized graphs with conditional components
US6785668B1 (en) * 2000-11-28 2004-08-31 Sas Institute Inc. System and method for data flow analysis of complex data filters
JP4543563B2 (ja) 2001-02-28 2010-09-15 株式会社日立製作所 統合データベースシステムにおける問合せ最適化方法
US7418441B2 (en) 2001-02-28 2008-08-26 International Business Machines Corporation Data loading from a remote data source record by record
US8412746B2 (en) 2001-05-25 2013-04-02 International Business Machines Corporation Method and system for federated querying of data sources
US6877000B2 (en) 2001-08-22 2005-04-05 International Business Machines Corporation Tool for converting SQL queries into portable ODBC
US6725212B2 (en) * 2001-08-31 2004-04-20 International Business Machines Corporation Platform-independent method and system for graphically presenting the evaluation of a query in a database management system
JP2003099441A (ja) 2001-09-21 2003-04-04 Hitachi Ltd データ検索手順探索方法
US6915290B2 (en) * 2001-12-11 2005-07-05 International Business Machines Corporation Database query optimization apparatus and method that represents queries as graphs
US7409474B2 (en) * 2002-06-27 2008-08-05 Broadcom Corporation Method and system for rate adaptation
US7167850B2 (en) * 2002-10-10 2007-01-23 Ab Initio Software Corporation Startup and control of graph-based computation
US7953891B2 (en) * 2003-03-18 2011-05-31 Microsoft Corporation Systems and methods for scheduling data flow execution based on an arbitrary graph describing the desired data flow
CA2429910A1 (en) 2003-05-27 2004-11-27 Cognos Incorporated System and method of query transformation
US7249120B2 (en) * 2003-06-27 2007-07-24 Microsoft Corporation Method and apparatus for selecting candidate statistics to estimate the selectivity value of the conditional selectivity expression in optimize queries based on a set of predicates that each reference a set of relational database tables
US20050038788A1 (en) 2003-08-14 2005-02-17 International Business Machines Corporation Annotation security to prevent the divulgence of sensitive information
US8825629B2 (en) * 2003-09-06 2014-09-02 Oracle International Corporation Method for index tuning of a SQL statement, and index merging for a multi-statement SQL workload, using a cost-based relational query optimizer
US7702610B2 (en) 2003-09-19 2010-04-20 Netezza Corporation Performing sequence analysis as a multipart plan storing intermediate results as a relation
US7165063B2 (en) * 2003-11-19 2007-01-16 International Business Machines Corporation Context quantifier transformation in XML query rewrite
US7133861B2 (en) * 2003-12-04 2006-11-07 International Business Machines Corporation Query access plan rebuilds
US7310637B2 (en) 2004-05-05 2007-12-18 International Business Machines Corporation Dynamic database access via standard query language and abstraction technology
US7930432B2 (en) * 2004-05-24 2011-04-19 Microsoft Corporation Systems and methods for distributing a workplan for data flow execution based on an arbitrary graph describing the desired data flow
CN100518079C (zh) 2004-09-30 2009-07-22 北京航空航天大学 分布式性能数据采集方法
US7899833B2 (en) * 2004-11-02 2011-03-01 Ab Initio Technology Llc Managing related data objects
US7461052B2 (en) 2004-12-06 2008-12-02 International Business Machines Corporation Abstract query plan
US7890532B2 (en) 2004-12-15 2011-02-15 Microsoft Corporation Complex data access
US7359922B2 (en) * 2004-12-22 2008-04-15 Ianywhere Solutions, Inc. Database system and methodology for generalized order optimization
US20060265362A1 (en) 2005-05-18 2006-11-23 Content Analyst Company, Llc Federated queries and combined text and relational data
US7856523B2 (en) * 2005-06-01 2010-12-21 Microsoft Corporation Random Access Memory (RAM) based Content Addressable Memory (CAM) management
US8935273B2 (en) 2005-06-23 2015-01-13 International Business Machines Corporation Method of processing and decomposing a multidimensional query against a relational data source
CA2519604C (en) 2005-06-23 2011-07-12 Cognos Incorporated Master-detail provider and method of providing master-detail functionality
US7716630B2 (en) 2005-06-27 2010-05-11 Ab Initio Technology Llc Managing parameters for graph-based computations
US7877350B2 (en) * 2005-06-27 2011-01-25 Ab Initio Technology Llc Managing metadata for graph-based computations
US7584205B2 (en) * 2005-06-27 2009-09-01 Ab Initio Technology Llc Aggregating data with complex operations
WO2007006143A1 (en) 2005-07-13 2007-01-18 The Hospital For Sick Children Compositions and methods for detecting transformed cells
CA2519010A1 (en) 2005-09-13 2007-03-13 Cognos Incorporated Query framework system and method
CA2519001A1 (en) 2005-09-13 2007-03-13 Cognos Incorporated System and method of data agnostic business intelligence query
US20070067274A1 (en) 2005-09-16 2007-03-22 International Business Machines Corporation Hybrid push-down/pull-up of unions with expensive operations in a federated query processor
US7464084B2 (en) 2006-01-30 2008-12-09 International Business Machines Corporation Method for performing an inexact query transformation in a heterogeneous environment
US7945562B2 (en) 2006-03-15 2011-05-17 Oracle International Corporation Join predicate push-down optimizations
US7870556B2 (en) * 2006-05-16 2011-01-11 Ab Initio Technology Llc Managing computing resources in graph-based computations
US8341112B2 (en) * 2006-05-19 2012-12-25 Microsoft Corporation Annotation by search
WO2007137308A1 (de) * 2006-06-01 2007-12-06 Mediareif Möstl & Reif Kommunikations- Und Informationstechnologien Oeg Verfahren zum steuern eines relationalen datenbanksystems
CN101501678B (zh) * 2006-08-10 2013-10-16 起元科技有限公司 在基于图的计算中分配服务
JP4872529B2 (ja) 2006-08-22 2012-02-08 株式会社日立製作所 リバースエンジニアリング支援方法
US7979453B2 (en) 2006-08-23 2011-07-12 Innovative Solutions, Inc. Efficient search result update mechanism
TWI348139B (en) 2006-08-24 2011-09-01 Wintek Corp A lcd scan lines driving method
JP2008084028A (ja) 2006-09-27 2008-04-10 Toshiba Corp データベース検索システムおよびデータベース検索方法
JP2008158664A (ja) 2006-12-21 2008-07-10 Sony Corp 通信システム、サーバ、通信端末及び通信方法
US8069129B2 (en) * 2007-04-10 2011-11-29 Ab Initio Technology Llc Editing and compiling business rules
US8122088B2 (en) 2007-06-28 2012-02-21 International Business Machines Corporation Adding personal note capabilities to text exchange clients
EP2026479A1 (de) 2007-08-17 2009-02-18 Leica Geosystems AG Transimpedanzverstärkerschaltung für einen Photodetektor
US20100005077A1 (en) * 2008-07-07 2010-01-07 Kickfire, Inc. Methods and systems for generating query plans that are compatible for execution in hardware
US9424315B2 (en) * 2007-08-27 2016-08-23 Teradata Us, Inc. Methods and systems for run-time scheduling database operations that are executed in hardware
EP2191362B1 (en) * 2007-09-20 2015-08-19 Ab Initio Technology LLC Managing data flows in graph-based computations
US7673065B2 (en) 2007-10-20 2010-03-02 Oracle International Corporation Support for sharing computation between aggregations in a data stream management system
US8527976B2 (en) * 2007-11-14 2013-09-03 Nec Laboratories America, Inc. System and method for generating error traces for concurrency bugs
CN101436192B (zh) 2007-11-16 2011-03-16 国际商业机器公司 用于优化针对垂直存储式数据库的查询的方法和设备
US9165032B2 (en) 2007-11-21 2015-10-20 Hewlett-Packard Development Company, L.P. Allocation of resources for concurrent query execution via adaptive segmentation
US8429601B2 (en) * 2007-11-29 2013-04-23 Red Hat, Inc. Code completion for object relational mapping query language (OQL) queries
US20090198703A1 (en) 2008-01-31 2009-08-06 Hewlett-Packard Development Company, L.P. Intelligent data storage system
KR101510355B1 (ko) 2008-02-26 2015-04-14 아브 이니티오 테크놀로지 엘엘시 데이터 관계의 그래픽 표현
US7933916B2 (en) * 2008-02-28 2011-04-26 Microsoft Corporation Querying nonSQL data stores with a SQL-style language
US8537160B2 (en) * 2008-03-05 2013-09-17 Microsoft Corporation Generating distributed dataflow graphs
JP2009217405A (ja) 2008-03-07 2009-09-24 Nec Corp ジョブネットワーク自動生成方式及びプログラム
US8538985B2 (en) 2008-03-11 2013-09-17 International Business Machines Corporation Efficient processing of queries in federated database systems
CN101933079B (zh) 2008-04-11 2012-11-28 夏普株式会社 显示装置和显示装置的驱动方法
US7974967B2 (en) 2008-04-15 2011-07-05 Sap Ag Hybrid database system using runtime reconfigurable hardware
WO2009127639A1 (en) 2008-04-16 2009-10-22 International Business Machines Corporation Query processing visualization system and method of visualizing query processing
US20100057695A1 (en) * 2008-08-28 2010-03-04 Microsoft Corporation Post-processing search results on a client computer
US7917463B2 (en) 2008-10-10 2011-03-29 Business.Com, Inc. System and method for data warehousing and analytics on a distributed file system
US7962500B2 (en) * 2008-10-24 2011-06-14 Yahoo! Inc. Digital image retrieval by aggregating search results based on visual annotations
US20100121868A1 (en) 2008-11-07 2010-05-13 Yann Le Biannic Converting a database query to a multi-dimensional expression query
US8489622B2 (en) * 2008-12-12 2013-07-16 Sas Institute Inc. Computer-implemented systems and methods for providing paginated search results from a database
US9218209B2 (en) 2008-12-31 2015-12-22 Pivotal Software, Inc. Apparatus and method for parallel processing of a query
US8666966B2 (en) 2009-01-30 2014-03-04 Hewlett-Packard Development Company, L.P. Providing parallel result streams for database queries
EP2396724A4 (en) * 2009-02-13 2012-12-12 Ab Initio Technology Llc TASK EXECUTION MANAGEMENT
JP4659888B2 (ja) 2009-02-13 2011-03-30 株式会社日立製作所 データベース処理システム、計算機及びデータベース処理方法
US20100241893A1 (en) 2009-03-18 2010-09-23 Eric Friedman Interpretation and execution of a customizable database request using an extensible computer process and an available computing environment
US8392398B2 (en) * 2009-07-29 2013-03-05 International Business Machines Corporation Query optimization over graph data streams
US9477778B2 (en) 2009-08-21 2016-10-25 Oracle International Corporation XML query optimization with order analysis of XML schema
US9064047B2 (en) 2009-09-24 2015-06-23 International Business Machines Corporation Parallel processing of ETL jobs involving extensible markup language documents
US8620903B2 (en) * 2009-11-04 2013-12-31 Nec Laboratories America, Inc. Database distribution system and methods for scale-out applications
US8326797B2 (en) 2009-11-11 2012-12-04 International Business Machines Corporation Supporting set-level slice and dice in data warehouses
US8688683B2 (en) 2009-11-30 2014-04-01 Business Objects Software Ltd. Query plan reformulation
KR101302563B1 (ko) * 2009-12-15 2013-09-02 한국전자통신연구원 개체명 사전 구축 시스템 및 구축 방법
US9665620B2 (en) 2010-01-15 2017-05-30 Ab Initio Technology Llc Managing data queries
US8204903B2 (en) 2010-02-16 2012-06-19 Microsoft Corporation Expressing and executing semantic queries within a relational database
US9286370B2 (en) 2010-02-24 2016-03-15 International Business Machines Corporation Viewing a dimensional cube as a virtual data source
US8555265B2 (en) 2010-05-04 2013-10-08 Google Inc. Parallel processing of data
US9495427B2 (en) 2010-06-04 2016-11-15 Yale University Processing of data using a database system in communication with a data processing framework
KR101687213B1 (ko) 2010-06-15 2016-12-16 아브 이니티오 테크놀로지 엘엘시 동적으로 로딩하는 그래프 기반 계산
KR101009924B1 (ko) * 2010-06-25 2011-01-20 한국과학기술정보연구원 온톨로지 스키마와 결합된 개체명 사전 및 마이닝 규칙을 이용한 개체명 사전 또는 마이닝 규칙 데이터베이스 갱신 장치 및 방법
JP5536568B2 (ja) 2010-07-01 2014-07-02 インターナショナル・ビジネス・マシーンズ・コーポレーション トランザクションを集約して処理する方法、システム、およびプログラム
JP5199317B2 (ja) 2010-08-25 2013-05-15 株式会社日立製作所 データベース処理方法、データベース処理システム及びデータベースサーバ
US8326821B2 (en) 2010-08-25 2012-12-04 International Business Machines Corporation Transforming relational queries into stream processing
US9128983B2 (en) 2010-10-13 2015-09-08 Aol Inc. Systems and methods for query optimization
US8850574B1 (en) 2011-02-28 2014-09-30 Google Inc. Safe self-modifying code
US20120246158A1 (en) 2011-03-25 2012-09-27 Microsoft Corporation Co-range partition for query plan optimization and data-parallel programming model
US9116955B2 (en) 2011-05-02 2015-08-25 Ab Initio Technology Llc Managing data queries
US8782081B2 (en) 2011-05-11 2014-07-15 Google Inc. Query template definition and transformation
US8898145B2 (en) 2011-06-15 2014-11-25 Microsoft Corporation Query optimization techniques for business intelligence systems
US8635206B2 (en) 2011-06-30 2014-01-21 International Business Machines Corporation Database query optimization
US9449030B2 (en) 2011-06-30 2016-09-20 International Business Machines Corporation Method for native program to inherit same transaction content when invoked by primary program running in separate environment
JP5357286B2 (ja) 2011-09-21 2013-12-04 前田建設工業株式会社 情報処理装置、情報処理方法、およびプログラム
US9177022B2 (en) 2011-11-02 2015-11-03 Microsoft Technology Licensing, Llc User pipeline configuration for rule-based query transformation, generation and result display
KR101255957B1 (ko) * 2011-12-09 2013-04-24 포항공과대학교 산학협력단 개체명 태깅 방법 및 장치
US9317551B1 (en) 2012-03-23 2016-04-19 The Mathworks, Inc. Transforming a search query into a format understood by a technical computing environment (TCE)-based search engine
JP5835084B2 (ja) 2012-05-02 2015-12-24 富士通株式会社 クエリ統合方法、クエリ統合プログラム、および統合コンポーネント生成装置
US9182957B2 (en) 2012-07-10 2015-11-10 Loring Craymer Method and system for automated improvement of parallelism in program compilation
JP6338579B2 (ja) 2012-07-24 2018-06-06 アビニシオ テクノロジー エルエルシー データモデルにおけるエンティティのマッピング
US9342557B2 (en) 2013-03-13 2016-05-17 Cloudera, Inc. Low latency query engine for Apache Hadoop
US9135301B2 (en) 2013-03-14 2015-09-15 Oracle International Corporation Pushdown of sorting and set operations (union, intersection, minus) to a large number of low-power cores in a heterogeneous system
US9633104B2 (en) 2013-05-03 2017-04-25 Sas Institute Inc. Methods and systems to operate on group-by sets with high cardinality
US10417281B2 (en) 2015-02-18 2019-09-17 Ab Initio Technology Llc Querying a data source on a network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956704A (en) * 1997-06-05 1999-09-21 Oracle Corporation Method and apparatus for parallelizing operations that insert data into an existing data container
JP2001273327A (ja) * 2000-02-16 2001-10-05 Internatl Business Mach Corp <Ibm> データベース管理システムにおける集合述部および検索
JP2006065846A (ja) * 2004-08-24 2006-03-09 Microsoft Corp 部分マテリアライズドビュー

Also Published As

Publication number Publication date
JP6000415B2 (ja) 2016-09-28
AU2017202501B2 (en) 2018-11-22
AU2011205787A1 (en) 2012-07-12
WO2011088293A1 (en) 2011-07-21
JP2013517574A (ja) 2013-05-16
CN106055584B (zh) 2019-07-16
EP2524328A1 (en) 2012-11-21
KR20170121272A (ko) 2017-11-01
JP2017016677A (ja) 2017-01-19
CA2786042C (en) 2019-03-19
CN102822819B (zh) 2016-05-11
CN102822819A (zh) 2012-12-12
JP2015212968A (ja) 2015-11-26
KR101877481B1 (ko) 2018-07-11
HK1255489A1 (zh) 2019-08-16
US11593369B2 (en) 2023-02-28
US20170228426A1 (en) 2017-08-10
JP6216423B2 (ja) 2017-10-18
US9665620B2 (en) 2017-05-30
CN106055584A (zh) 2016-10-26
AU2016202098A1 (en) 2016-04-28
EP3324311A1 (en) 2018-05-23
JP6578333B2 (ja) 2019-09-18
CA2786042A1 (en) 2011-07-21
US20110179014A1 (en) 2011-07-21
AU2016202098B2 (en) 2017-02-23
AU2017202501A1 (en) 2017-05-04
KR20120106827A (ko) 2012-09-26
KR101784785B1 (ko) 2017-10-12
AU2011205787B2 (en) 2016-02-18

Similar Documents

Publication Publication Date Title
JP6578333B2 (ja) データクエリの管理
JP6364107B2 (ja) データクエリの管理
AU2017202899B2 (en) Managing data queries

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171016

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190826

R150 Certificate of patent or registration of utility model

Ref document number: 6578333

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250