JP2008544423A - グラフ型計算のためのメタデータ管理 - Google Patents
グラフ型計算のためのメタデータ管理 Download PDFInfo
- Publication number
- JP2008544423A JP2008544423A JP2008519474A JP2008519474A JP2008544423A JP 2008544423 A JP2008544423 A JP 2008544423A JP 2008519474 A JP2008519474 A JP 2008519474A JP 2008519474 A JP2008519474 A JP 2008519474A JP 2008544423 A JP2008544423 A JP 2008544423A
- Authority
- JP
- Japan
- Prior art keywords
- graph
- metadata
- parameters
- parameter
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 115
- 230000009466 transformation Effects 0.000 claims abstract description 19
- 230000001902 propagating effect Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 24
- 230000000644 propagated effect Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims 3
- 230000008569 process Effects 0.000 description 69
- 238000010586 diagram Methods 0.000 description 42
- 238000012360 testing method Methods 0.000 description 17
- 230000014509 gene expression Effects 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 238000013515 script Methods 0.000 description 9
- 239000003607 modifier Substances 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000011144 upstream manufacturing Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000011109 contamination Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 101000623895 Bos taurus Mucin-15 Proteins 0.000 description 2
- 125000002015 acyclic group Chemical group 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002574 poison Substances 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/40—Data acquisition and logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/40—Transformation of program code
- G06F8/51—Source to source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2452—Query translation
- G06F16/24526—Internal representations for queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Stored Programmes (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Devices For Executing Special Programs (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、データ処理システムにおける計算の制御に関し、より詳細には、グラフ型計算のためのメタデータ管理に関する。
複雑なビジネスシステムは、一つの段階で生成した結果を次の段階へ送ることにより多段階でデータを処理するのが普通である。このようなシステムを通る情報の全体的な流れは、成分(データファイルまたはプロセスのいずれでもよい)を表すグラフの頂点、および成分間の流れを示すグラフのリンクまたは「辺」を有する有向データフローグラフを用いて記述することができる。
一般的な態様では、本発明は、グラフ型計算に関係付けられるメタデータを決定するための方法、ならびに対応するソフトウエアおよびシステムを特徴とする。本方法は、グラフの第1部分に関係付けられるメタデータを関数的に変換して、グラフの第2部分に関係付けられる変換メタデータを生成するステップと;グラフの第2部分に関連するグラフの第3部分を決定するステップと;グラフの第2部分からグラフの第3部分まで変換メタデータを伝搬させるステップとを含む。
グラフの第3部分は、データフローによりグラフの第2部分に関連付けられる。
データフローは二つの相互接続されたグラフ要素のポート間のデータフローを含む。
データフローは、グラフ要素の二つのポート間の内部データフローを含む。
グラフの第3部分は、第2部分に関係付けられるメタデータが、第3部分にも関係付けられるべきであることを指示するリンクにより、グラフの第2部分に関連付けられる。
第1部分は、第1グラフ要素の第1ポートを含み、第2部分は、第1グラフ要素の第2ポートを含む。
関数的変換は、第1ポートに関係付けられるメタデータへの少なくとも一つの参照を含むメタデータ定義を含む。
メタデータ定義は、参照されたメタデータの関数として第2ポートに対するメタデータを定義する。
第1ポートは入力ポートであり、第2ポートは出力ポートである。
関数的に変換されるメタデータはユーザにより提供される。
関数的に変換されるメタデータは、グラフの第4部分から伝搬される。
本方法は、グラフの接続性の変更に応じて変換メタデータを伝搬するステップを更に含む。
本方法は、ユーザーアクションに応じて変換メタデータを伝搬するステップを含む。
本方法は、ユーザからリクエストを受け取るステップと;リクエストに応じてユーザへグラフ要素に関係付けられたメタデータを表示するステップとを更に含む。
ユーザからのリクエストは、メタデータが表示されるべきグラフ要素を選択するユーザ入力を含む。
ユーザ入力は、所定時間の間、選択したグラフ要素のグラフ表現の近傍にオンスクリーンのポインタを配置するステップを含む。
表示されるメタデータは、別のグラフ要素から伝搬されるメタデータを含む。
表示されるメタデータはグラフ実行の前に表示される。
ランタイムパラメータに関するグラフインターフェースは、入力フォーム化されている。グラフインターフェースは、どのパラメータを供給する必要があるか、およびそれらパラメータをどのように指示すべきかを知ることができるように、システムにとって十分に良く定義されている。
成分を制御するメタデータは、ランタイムパラメータにより、直接的または間接的に規定または計算することができる。
グラフ構造は、成分の有無をユーザが選択できるように、条件付き成分を制御するランタイムパラメータの値に基づいて修正することができる。
グラフのランタイムパラメータ化の利点は、ビジネスアナリストおよび統計モデラーのようなエンドユーザが、彼らの必要に見合うデータをリクエストできるように十分充実した、アプリケーションのパラメータ化ができることである。近年の企業のデータ環境の複雑さは、データ収集および事前解析変換の処理に、膨大な量の直接的な人の関与を日常的に必要とする状況をもたらしている。本発明は、専門のデータアナライザがいなくても、それぞれのクエリー形式に対するクリティカルパスに、エンドユーザが望むデータを定義し、検索できる強力なツールを提供する。
概観
図1Aは、主要素の相互関係を示す本発明の一実施の形態のブロック図である。グラフ開発環境(GDE)102は、実行可能なグラフを創成し、グラフ成分に対するパラメータを定義するためのユーザーインターフェースを提供する。GDEは、例えば、本発明の譲受人から入手可能なCO>OPERATING SYSTEM(登録商標)のGDEとすることができる。GDE102は、収納庫104および並列オペレーティングシステム106と通信する。収納庫104および並列オペレーティングシステム106は、ウェブインターフェース108および実行部110にも結合されている。
レコードフォーマットパラメータのような、ポートに関係付けられるメタデータの値は、「伝搬」により取得することができる。メタデータ伝搬は、「外部から」または「内部で」発生させることができる。外部メタデータ伝搬に関しては、第1成分のポートに対するレコードフォーマットパラメータの値は、フローにより第1成分へ接続される第2成分のポートに対するレコードフォーマットの値を伝搬させることにより、値を取得できる。その値は、フローのソースエンドからシンクエンドへの下流方向、またはフローのシンクエンドからソースエンドへの上流方向の何れに伝搬させることもできる。メタデータは、メタデータを定義済みのポートから、メタデータを未定義のポートへ伝搬させる。
ランタイムパラメータは、アプリケーション構築者がパラメータ設定(例えば、ソート関数のキーパラメータ、ファイル名称、レコードフォーマット、変換関数等)の値をランタイム時(例えば、コンピューターシステム上でプログラムを実行する時またはその直前)まで延期することができる。ランタイムパラメータの値は、エンドユーザが提供するか、または他のランタイムパラメータもしくはオブジェクト収納庫に格納されたオブジェクトの組み合わせから導くことができる。
ランタイムパラメータは、開発者がグラフ実行時(すなわち、ランタイム時)に外部入力に基づいてグラフの振る舞いを修正するメカニズムを提供する。好適な実施の形態では、これらの外部の値はユーザの直接入力により提供される。しかし、これら外部の値は、環境変数およびコマンドラインパラメータを含む幾つかの異なるソースからもたらされてもよい。GDE102は、これらの状況全てを扱うための正しいコードを生成し、グラフをGDEから直接実行する場合にテスト値を開発者に催促する。ランタイムパラメータを用いて、開発者は、例えば、入力ファイルのパスが特定名称を有する環境変数により提供されること;次いで、その環境変数がグラフインターフェースの既知の一部となること;を明示的に宣言できる。従って、このようなパラメータに対して明確に定義されるインターフェースが存在する。例えば、生成されたシェルスクリプトを読み出し、環境変数およびコマンドライン引数を参照するためにそれを検索して、特定グラフの実行を制御する一セットのパラメータを見つけなくてもよい。
Name(名称)302 − このフィールドはランタイムパラメータの名称を含む。「Score_threshold」は名称例である。
Type(形式)304 − このフィールドはランタイムパラメータに許容される値の形式を含む。「Integer(整数)」は形式例である。図示の実施の形態におけるサポートされる形式は:
・ブール代数 − 値は真または偽の何れかとすることができる;
・選択 − 値は、値リストの内の一つである;
・照合者 − キーパラメータ値;
・データセット − 外部データファイル名称および場所;
・日付 − 日付けの値;
・式 − 算術、論理、および/または条件式(例えば、選択式);
・浮動小数点 − 浮動小数点の値;
・整数 − 整数値;
・レイアウト − 並列または直列のレイアウト定義;
・レコードフォーマット − レコード記述またはレコード記述を含むファイル;
・文字列 − 任意の文字列;
・変換 − 変換記述または変換記述を含むファイル;
Location(Loc)(場所)306 − このフィールドはレコードフォーマットおよび変換形式により用いられる。形式フィールド304が、ファイル場所を記述するか、または組み込まれた記述を含むかどうかを規定する。サポートされる場所は:
・埋込型 − パラメータはレコードまたは変換記述を含む;
・ホスト − パラメータはホストマシン上のファイル参照を含む;
・ローカル − パラメータはローカルマシン上のファイル参照を含む;
・収納庫 − パラメータは収納庫変換またはレコードフォーマット参照を含む;
Default Value(既定値)308 − このフィールドは、(1)他の値が外部プログラム的ソースから提供されない場合に用いられるランタイムパラメータの既定値、または(2)ユーザ入力からランタイム値を導く方法もしくはグラフを実行するユーザからの相互作用による情報を取得する方法、を記述する規則もしくは式の何れかを含む。後者の場合、ユーザが入力値を提供しない場合、第2既定値のフィールド(不図示)を用いて、ランタイムパラメータの値を提供することができる。「ブール代数」および「選択」の形式では、フィールドはユーザに正当な選択しかさせない。「レイアウト」形式では、フィールドは読み出しのみで、現在定義されているレイアウト定義を表示する。その他全ての形式では、フィールドは、ユーザが正当な文字列をタイプ入力する単純なテキストエディタとするのが好ましい。
Edit(編集)310 − パラメータ行の編集スペース310(または、アイコン、例えば、鉛筆アイコン)をクリックすると、より進化した編集ウィンドウが現れ、ユーザは既定値のフィールド308を編集するための様々なオプションを選択して回る。図示の実施の形態では、関係付けられる形式に対して下記のエディタを利用できる:
・単行エディタ − 整数、浮動小数点、日付および文字列形式;
・選択ダイアログ − ブール代数および選択形式;
・キーエディタ − 照合者形式;
・ファイルブラウザ − データセット形式用、レコードフォーマット用、および場所が埋込型でない場合の変換形式用;
・変換エディタ − 埋込型の場所を有する変換形式用;
・レコードフォーマットエディタ − 埋込型の場所を有するレコードフォーマット形式用;
・式エディタ − 式形式用;
・レイアウトエディタ − レイアウト形式用;
上記エディタは、種類フィールド値(下記参照)が「PL」(パラメータ言語の)でなければ起動される。この場合、ユーザは、グラフ実行時にパラメータ値を導き出す、または促すための規則を定義するためのエディタを提示される。
Description(記述)312 − これは、開発者がランタイムパラメータの予測値を記述する自由フォーマットのフィールドである。既定値がユーザに入力値を要請するための規則を含む場合、ランタイム時のプロンプトとして用いられる。
Kind(種類)314 − このフィールドは、グラフ実行時に、関係するパラメータの値を取得することになる場所を定義する。サポートされる種類のフィールド314の値は:
・環境(Environment) − ランタイムパラメータの値が、同一名称の環境変数内に見いだせると予測される。環境変数が定義されていない場合、値は既定値フィールド308内の値が用いられる。パラメータが要求される場合(すなわち、エクスポートされるパラメータ)、および既定値フィールド308が空の場合、ランタイムエラーが生成され、グラフ実行は停止される;
・位置的(Positional) − ランタイムパラメータの値が、アプリケーションを呼び出すコマンドライン上の相対的位置で予測される。例えば、ランタイムパラメータが、定義された第3位置のランタイムパラメータの場合、そのパラメータ値は、実行スクリプト内の第3位置のコマンドライン引数と予測される。規定された位置パラメータはどれも提供されねばならず、一つでも欠けるとランタイムエラーを生ずる。
・キーワード(Keyword) − ランタイムパラメータの値がキーワードコマンドラインパラメータと予測される。図示の実施の形態では、キーワードパラメータは次の形をとる:
-<parameter name><parameter value>
キーワードパラメータはオプションであり、ランタイムエラーが生じるのは、キーワードパラメータが提供されない場合、既定値のフィールド308が空白の場合、および対応するエクスポートパラメータが要求される場合に限られる。
・固定(Fixed) − パラメータのランタイム値は常に既定値である。これは二つ以上のランタイムパラメータ間で定数値を共有するのに有用である。
・PL − ランタイムパラメータの既定値は、グラフ実行時に、他のパラメータからランタイムパラメータの値を導き出すよう解釈されるか、または追加入力をユーザに促すよう解釈されるPL式を含む。本発明のどれか特定の実施の形態で用いるために選択される成分記述言語は、広く利用できるオブジェクト指向スクリプト言語「Python」のような任意の適切なスクリプト言語であってよい。このようなスクリプトは、プログラム制御のもとでメタデータ(形式および変換)を構築し、条件付きテスト、比較、データ変換、算術演算および論理演算、文字列およびリスト操作、ならびにユーザ入力に関する他の機能、外部のプログラムで供給される入力、ならびに他のランタイムパラメータを実行し、どのランタイムパラメータにも最終的な値を生成できる。
ランタイムパラメータを伴うグラフを創成し、テストを行う間に開発者をサポートするために、GDE102の好ましい実施の形態は、ランタイムパラメータのテスト値もサポートする。開発者がランタイムパラメータを伴うグラフを実行する場合、またはグラフ成分に影響を与える基底のコードを見たい場合、GDE102は、関係するテストパラメーターグリッドを表示し、ユーザは一つ以上のランタイムパラメータの新規テスト値をそこに入力できる。好ましくは、用いられるテスト値の最後のセットを記憶しグラフとともに保存する。
パラメータがランタイムパラメータとして指定された後、対応するオブジェクトが収納庫104内に創成される。ランタイムパラメータが種類フィールド214に「PL」値を有する場合、パラメータの既定値フィールド308は、下記の好適な形を持つ「prompt_for」擬似関数を含む:
・キーワード「in place」は、アプリケーションに対する要約レベルのユーザーインターフェースで、要素を直接提示すべきことを宣言し、低位レベルまで「掘り下げ」ずに値が提供されるようにする。in placeが規定されない場合、単純な「編集」ボタンを要約レベルインターフェースで提示し、パラメータ値を提供する別のページへユーザを導く。
・キーワード「blank ok」は、ユーザが値を提供しなくてもよいことを宣言する。アプリケーションは、合理的な方法で既定値を処理する。blank okが規定されない場合、ユーザは、何らかの値を提供しないと、アプリケーションを実行できない。
実施によっては、パラメータ値および算出メタデータに基づくグラフの成分およびフローの構造への変更を可能にする条件付き成分メカニズムを含む。グラフの各成分は、その成分がランタイム時にグラフに出現するかどうかの条件を有する。その条件は、ランタイムパラメータを介して直接的または間接的に計算できる。条件付き成分を様々な目的に用いて、例えば、グラフを最適化または専用化することができる。最適化のために、アプリケーションは、特定データセットからの値を使用しない場合、そのデータセットの処理を省略して、グラフをより効率的に実行させることもある。専用化では、アプリケーションは所望の詳細レベルに基づいて幾つかの異なる出力データセットを生成する条件を付けるか、またはグラフの幾つかのオプション部分のどれかを実行可能にすることもある。
・成分が必須のポートを有し、それに接続される活きたフローが存在しない場合、成分およびそれに接続される全てのフローはグラフから削除される。
・成分をグラフから完全に削除する場合、そのポートに接続される全てのフローはグラフから削除される。
・成分をフローで置換する場合、その成分のdesignated input port(指定入力ポート)およびdesignated output port(指定出力ポート)以外の全てのポートへ接続される全てのフローはグラフから削除される。
・必須のインデックス付きポートが、それに接続される活きたフローを持たない場合、同一インデックスを有する対応するオプションのインデックス付きポート毎に、その対応するポートへ接続されるどれかのフローをグラフから削除する。
SYSTEM(登録商標)で利用できる成分に基づく)における特定の利用可能な入力および出力の幾つかの成分の従属関係に応じて、幾つかの規則が、この実装およびReplace With Flow(フローで置換)条件の使用に適用される。
・Condition-interpretation(条件解釈)がReplace With Flow(フローで置換)であって、Condition(条件)が満たされない場合(ステップ1300)、条件付き成分はグラフから削除されない(ステップ1302)。
・指定された入力ポートおよび指定された出力ポートを有する成分は、その指定された入力ポートへ接続される厳密に一つの活きた正しいフロー、およびその指定された出力ポートへ接続される厳密に一つの活きた正しいフローがある場合、フローで置換できる(「活きた」フローとは、ランタイム時に削除されなかったフローのことである)(ステップ1304)。Yesの場合、成分自体をグラフから削除し、その指定された入力ポートへ接続される活きた正しいフロー、およびその指定された出力ポートへ接続される活きた正しいフローを互いにリンクする(ステップ1306)。削除される成分の他のポートへ直接リンクされる他のフローはどれも(すなわち、特別に指定された入力および出力ポート以外の全てのポート)、グラフから削除される。削除された成分へ接続された「汚染された」成分およびフローはどれも、上記説明のように削除される(ステップ1308)。
・Replace With Flow(フローで置換)条件を有する成分が、カウントされる入力のファミリー内の二つ以上の指定された入力ポートへ取り付けられる活きたフローを有する場合(ステップ1310)、グラフを正当なものにするためにはその成分が必要なので、グラフから削除しない(ステップ1312)。
・必須入力に活きたファンインフローを有する成分は、特殊な扱いが必要である。「活きたファンインフロー」は、その成分が、必須入力ポートへ接続される活きたファンインフローもしくは全て対全てのフローを有するか、または単一の必須入力ポートへ接続される二つ以上の活きた正しいフローを有することを意味する。そのような成分では、Replace With Flow(フローで置換)条件の解釈は、条件付き成分を活きた入力フロー全てを集める集約成分で置換すべきである(ステップ1314)。置換した成分へ接続された「汚染された」フローおよび成分は、上記説明のように、どれも削除される(ステップ1316)。
グラフのメタデータは、例えば、グラフ開発者、グラフユーザにより、またはグラフの別の部分からの伝搬により、提供される。データまたはデータの計算に関係付けられるメタデータを含む各種のメタデータ、例えば:ポートに対するレコードフォーマット(例えば、ポートへ流れ込むかまたはポートから流れ出るレコードのフィールドシーケンスおよびデータの形式)、ソート性、圧縮法、文字セット、バイナリ表現(ビッグエンディアン(big-endian)、リトルエンディアン(little-endian))、パーティション化、成分がどの計算リソース(例えば、プロセッサ、一時的ディスクスペース)を用いるか、データ変換、および成分が使用できるメモリ量、を伝搬させることができる。グラフ構造の多様な態様がメタデータ伝搬に影響を与える。これらの内の二つの態様を以下に説明する。
実施によっては、グラフ成分を削除した後にフローが生成される場合、そのようなフロー内のデータを定義するメタデータを修正後のグラフへどのように伝搬させるべきかを選択しなければならない。メタデータはフローの両端のどちらからでも利用できる。実施によっては、フローの上流端からのメタデータが好ましい。
上記説明のように、メタデータは、あるポートに関係付けられるメタデータを別のポートに対するメタデータを含む一つ以上のパラメータの関数として規定することにより、内部変換データパスを越えてでも伝搬することができる。図23Aは、データセット2302およびデータセット2304からのデータに対して結合操作を計算するグラフ2300を示す。この実施例では、グラフ開発者はデータセットの出力ポートでメタデータを提供する。次いで、このメタデータは、入力データセットのレコードに対して結合操作を計算する「スマート結合」成分2306へ伝搬される。例えば、メタデータは、出力ポート2308から入力ポート2310へ伝搬する。次いで、メタデータは、「スマート結合」成分2306により変換され、「スマート結合」成分2306の出力ポート2316からフィルタ成分2318の入力ポート2317へ伝搬する。
output.metadata=metadata_join(key_field,input0.metadata, input1.metadata)
図24は、例示のメタデータ伝搬プロセス2400のフローチャートである。プロセス2400は、例えば、グラフ内の変更がある度に、ユーザのアクションに応じて、および/またはグラフを実行する直前に、実行することができる。プロセス2400は、フローが決定する部分的な順序に基づいて順序付けられたグラフ内の各成分により作業リストを生成する(例えば、成分Aは、成分Aから成分Bへのフローがある場合、成分Bの前にくる)。フローが二つの成分間の一意の順序を決定しない状況では、成分ラベルのアルファベット順を均衡を破るために用いることができる。これは、作業リスト内の成分の安定な順序付けを提供する(成分ラベルが一意であると仮定する)。伝搬プロセス2400がグラフに対して繰り返される場合(例えば、新規成分の追加後)、新規作業リストは、以前の作業リスト内の成分間の順序と同一の順序を維持する。
サブグラフを別のグラフの成分として用いるために「成分化」する前に、成分の入力および/または出力ポートのような成分の各種特性を定義する。ランタイムパラメータを持つ成分を含むサブグラフでは、ランタイムパラメータのプロンプト順序を選択するのがよい。グラフ内の成分は必ずしもシーケンシャルな順序とは限らないので、ユーザを促すための、ランタイムパラメータの多くの可能性のあるグローバル順序付けがあり得る。グローバル順序の幾つかは、各成分に関係付けられる元の順序と一致しない。各成分のパラメータの順序をできるだけ維持する、プロンプトのためのグローバル順序を生成する一方で、従属関係を考慮するのにふさわしい場合は再順序付けすることも有用である。例えば、成分は、「処理したデータをどこに格納しますか?」と質問するプロンプトの前に、「どのデータを処理しますか?」と質問するプロンプトを順序付けることができる。どの順序でプロンプトを提供できるとしても、この順序でプロンプトを提供することが望ましい。
第1実施例では、パラメーターソートプロセスは、二つのグラフ成分、すなわち、Component(成分)I、およびComponent(成分)Iへ接続されるComponent(成分)II、のパラメータに対する最初のパラメータリストを提供する。この実施例では、パラメータは「成分内」従属関係だけを有する。すなわち、成分のパラメータは、同一成分内の他のパラメータにのみ従属する。パラメータは下記のように定義される:
Component(成分)Iは下記パラメータを含む:
パラメータ毎に割り当てられた序数により決定されるように、両方が最初の順序付けを尊重する二つの例示の「修正トポロジカルソート」プロセスについて、擬似コードを以下に示す。第2プロセスは、幾つかの場合に対する時間効率を改良する最適化を含む。このプロセスは、パラメータに対する入力データから生成されるデータ構造を操作する。
parm_list[index]:番号index(index = 0はリスト内の第1項目と対応する)によりインデックス化された、除去されないパラメータ名称を順序付けたリスト。このデータ構造は「動的」である(すなわち、プロセスの実行中に変化する)。項目をリストの中央から削除する場合、それに合わせて削除項目の後の項目のインデックスが移動するように、リストは位置によりインデックス化する。
n_dependencies_dict[name]:パラメータ名称(name)により入力される辞書であり、そのエントリは、入力されるパラメータが従属するパラメータの数を含む。この辞書は動的である。
dependers_dict[name]:パラメータ名称(name)により入力される辞書であり、そのエントリは、入力されるパラメータに従属するパラメーターセットを表す辞書である(パラメータ名称によっても入力される)。この辞書は静的である(すなわち、プロセス実行中に変化しない)。
order_dict[name]:パラメータ名称(name)により入力される辞書であり、最初の順序付けにおけるパラメータの序数付き位置、0〜N−1の整数を格納する。この辞書は静的である。
attribute_dict[name]:パラメータ名称(name)により入力される辞書であり、入力されるパラメータに対するオプションの属性データオブジェクトを格納する。この辞書は静的である。
result_list[index]:プロセスの出力を表すパラメータ名称および属性の順序付けたリストであり、番号のindexによりインデックス化される(index = 0はリスト内の第1項目に対応する)。このデータ構造は最初は空である。この辞書は動的である。
別の実施例では、パラメータソートプロセス(例えば、第1または第2「修正トポロジカルソート」プロセス)は、図25Aに示すように、グラフ成分2502、2504および2506を有するグラフ2500に対する、ランタイムパラメータの最初のリストを決定する。グラフ2500は、入力データセット2510の出力ポート2508および出力データセット2514の入力ポート2512に関係付けられるランタイムパラメータも有する。この実施例では、パラメータは、「成分内」従属関係および「成分間」従属関係の両方を有する。すなわち、成分のパラメータは、同一成分内のパラメータおよび他の成分内のパラメータに従属する。この実施例では、成分間の従属関係は、幾つかのパラメータが従属するメタデータの伝搬を可能とする成分間のフローにより発生する。
典型的には、ユーザは、ウェブインターフェース108の前に座り、ユーザが実行したいアプリケーションのグラフを収納庫104内に見つける。アプリケーショングラフに関係付けられるオブジェクト全てをスキャンすることにより、ウェブインターフェース108は、ユーザがアプリケーションのランタイムパラメータの値を規定できるウェブページ入力フォームを生成する。全てランタイムパラメータを規定し終わると、アプリケーションとパラメータ設定との組み合わせは、ジョブとしてまとめられ、実行部110が実行するようスケジュール化される。ジョブ実行の時間がくると、実行部110は、既知の方法で、並列オペレーティングシステム106のもとで実行するためにアプリケーションを待ち行列に並ばせる。並列オペレーティングシステム106は、ユーザおよび運営者がジョブの進行および性能を追跡できるように、追跡情報およびジョブステータスを収集し、この情報を収納庫104に格納する。
図14は、ランタイムパラメータがないロールアップアプリケーションを表すグラフ1400の図である。このグラフは、それぞれの種類のアカウントの数を計算し、その結果を出力ファイルへ書き込む。本アプリケーションの全ての態様、すなわち、入力ファイル成分1402の名称、入力データのフォーマット、ハッシュロールアップ成分1404内のデータをロールアップするために用いるキーと変換規則、出力フォーマット、および出力ファイル成分1406の名称は、グラフ開発者が決定したものである。ユーザは定義に従って正確にこのグラフを実行するだけでよい。
GDE102は、パラメータ化したグラフの構築を容易にするが、時には、入力フォーム型インターフェースを提供したいと望まれる非グラフ形プログラムが存在する。アプリケーションレベルPLおよび収納庫104を用いて、任意のシェルスクリプトをパラメータ化できる。例えば、アプリケーションの記述を下記に類似な構造を有するファイルへ書き込むことができる:
本発明は、ハードウエアもしくはソフトウエア、または両者の組み合わせ(例えば、プログラマブルロジックアレイ)で実装することができる。他に言及しない限り、本発明の一部として含まれるアルゴリズムは、何らかの特定コンピュータまたは他の装置と本質的には関連していない。特に、各種の汎用マシンを、本明細書の教示に基づいて書かれたプログラマブルにより用いることができ、または、より専用化した装置を構築して、要求される方法ステップを実行すると一層便利になる。しかし、本発明は、一台以上のプログラマブルコンピューターシステム上で実行する一台以上のコンピュータープログラムで実装することが好ましい。それぞれのシステムは、少なくとも一つのプロセッサ、少なくとも一つのデータ格納システム(揮発性メモリおよび不揮発性メモリおよび/または記憶素子を含む)、少なくとも一つの入力装置またはポート、および少なくとも一つの出力装置またはポートを備える。プログラムコードをプロセッサ上で実行して、本明細書で説明した機能を実行する。
Claims (20)
- グラフ型計算に関係付けられるメタデータを決定するための方法であって:
グラフの第1部分(2310)に関係付けられるメタデータを関数的に変換して、前記グラフの第2部分(2316)に関係付けられる変換メタデータを生成するステップと;
前記グラフの前記第2部分に関連する前記グラフの第3部分(2317)を決定するステップと;
前記グラフの前記第2部分から前記グラフの前記第3部分まで前記変換メタデータを伝搬させるステップと、を含む方法。 - 前記グラフの前記第3部分は、データフローにより前記グラフの前記第2部分に関連付けられる、
請求項1の方法。 - 前記データフローは、二つの相互接続されたグラフ要素のポート間のデータフローを含む、
請求項2の方法。 - 前記データフローは、グラフ要素の二つのポート間の内部データフローを含む、
請求項2の方法。 - 前記グラフの前記第3部分は、第2部分に関係付けられるメタデータが、前記第3部分とも関係付けられるべきであることを指示するリンクにより、前記グラフの前記第2部分に関連付けられる、
請求項1の方法。 - 前記第1部分は、第1グラフ要素の第1ポートを含み:および、
前記第2部分は、前記第1グラフ要素の第2ポートを含む、
請求項1の方法。 - 前記関数的変換は、前記第1ポートに関係付けられる前記メタデータへの少なくとも一つの参照を含むメタデータ定義を含む、
請求項6の方法。 - 前記メタデータ定義は、前記参照されたメタデータの関数として前記第2ポートに対するメタデータを定義する、
請求項7の方法。 - 前記第1ポートは入力ポートであり、前記第2ポートは出力ポートである、
請求項6の方法。 - 関数的に変換される前記メタデータは、ユーザにより提供される、
請求項1の方法。 - 関数的に変換される前記メタデータは、前記グラフの第4部分から伝搬される、
請求項1の方法。 - 前記グラフの接続性の変更に応じて前記変換メタデータを伝搬するステップを更に含む、
請求項1の方法。 - ユーザーアクションに応じて前記変換メタデータを伝搬するステップを含む、
請求項1の方法。 - ユーザからリクエストを受け取るステップと;
前記リクエストに応じてユーザへグラフ要素に関係付けられたメタデータを表示するステップとを更に含む、
請求項1の方法。 - ユーザからの前記リクエストは、メタデータが表示されるべきグラフ要素を選択するユーザ入力を含む、
請求項14の方法。 - 前記ユーザ入力は、所定時間の間、前記選択したグラフ要素のグラフ表現の近傍にオンスクリーンのポインタを配置するステップを含む、
請求項15の方法。 - 前記表示されるメタデータは、別のグラフ要素から伝搬されるメタデータを含む、
請求項14の方法。 - 前記表示されるメタデータは、前記グラフを実行する前に表示される、
請求項14の方法。 - グラフ型計算に関係付けられるメタデータを決定するためのコンピュータで読み取り可能な媒体上に格納されるソフトウエアであって、前記ソフトウエアは、コンピューターシステムに:
グラフの第1部分(2310)に関係付けられるメタデータを関数的に変換して、前記グラフの第2部分(2316)に関係付けられる変換メタデータを生成するステップと;
前記グラフの前記第2部分に関連する前記グラフの第3部分(2317)を決定するステップと;
前記グラフの前記第2部分から前記グラフの前記第3部分まで前記変換メタデータを伝搬させるステップとを実行させるための命令を含むソフトウエア。 - グラフ型計算に関係付けられるメタデータを決定するためのシステムであって、前記システムは:
グラフの第1部分(2310)に関係付けられるメタデータを関数的に変換して、前記グラフの第2部分(2316)に関係付けられる変換メタデータを生成するための手段と;
前記グラフの前記第2部分に関連する前記グラフの第3部分(2317)を決定するための手段と;
前記グラフの前記第2部分から前記グラフの前記第3部分まで前記変換メタデータを伝搬させるための手段とを含むシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/167,902 | 2005-06-27 | ||
US11/167,902 US7877350B2 (en) | 2005-06-27 | 2005-06-27 | Managing metadata for graph-based computations |
PCT/US2006/024933 WO2007002647A2 (en) | 2005-06-27 | 2006-06-27 | Managing metadata for graph-based computations |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008544423A true JP2008544423A (ja) | 2008-12-04 |
JP5297802B2 JP5297802B2 (ja) | 2013-09-25 |
Family
ID=37568863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008519474A Active JP5297802B2 (ja) | 2005-06-27 | 2006-06-27 | グラフ型計算のためのメタデータ管理 |
Country Status (8)
Country | Link |
---|---|
US (3) | US7877350B2 (ja) |
EP (1) | EP1899873A4 (ja) |
JP (1) | JP5297802B2 (ja) |
KR (2) | KR101278078B1 (ja) |
CN (1) | CN101208695B (ja) |
AU (1) | AU2006261749B2 (ja) |
CA (1) | CA2610989C (ja) |
WO (1) | WO2007002647A2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011527052A (ja) * | 2008-06-30 | 2011-10-20 | アビニシオ テクノロジー エルエルシー | グラフベース計算におけるデータ記録 |
JP2014511526A (ja) * | 2011-02-18 | 2014-05-15 | アビニシオ テクノロジー エルエルシー | ソート |
JP2017130236A (ja) * | 2011-05-02 | 2017-07-27 | アビニシオ テクノロジー エルエルシー | データクエリの管理 |
JP2018077613A (ja) * | 2016-11-08 | 2018-05-17 | 富士通株式会社 | 開発支援装置、開発支援方法および開発支援プログラム |
JP2019079556A (ja) * | 2015-02-11 | 2019-05-23 | アビニシオ テクノロジー エルエルシー | データ系統図のフィルタリング |
US10901702B2 (en) | 2013-12-05 | 2021-01-26 | Ab Initio Technology Llc | Managing interfaces for sub-graphs |
JP2021144719A (ja) * | 2014-11-05 | 2021-09-24 | アビニシオ テクノロジー エルエルシー | 影響分析 |
Families Citing this family (110)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7877350B2 (en) | 2005-06-27 | 2011-01-25 | Ab Initio Technology Llc | Managing metadata for graph-based computations |
EP2527983A3 (en) | 2006-08-10 | 2013-06-12 | Ab Initio Technology LLC | Distributing services in graph-based computations |
US8069129B2 (en) * | 2007-04-10 | 2011-11-29 | Ab Initio Technology Llc | Editing and compiling business rules |
KR101635945B1 (ko) | 2007-07-26 | 2016-07-04 | 아브 이니티오 테크놀로지 엘엘시 | 에러 핸들링이 가능한 그래프 기반의 트랜잭션 연산 처리 방법 및 시스템 |
KR101552188B1 (ko) * | 2007-09-07 | 2015-09-10 | 삼성전자 주식회사 | 콤포넌트 모델 및 아키텍쳐 설계를 위한 내제된 가변성규칙을 제공하는 방법 및 장치 |
AU2009322602B2 (en) * | 2008-12-02 | 2015-06-25 | Ab Initio Technology Llc | Mapping instances of a dataset within a data management system |
WO2010065627A1 (en) * | 2008-12-02 | 2010-06-10 | Ab Initio Software Llc | Visualizing relationships between data elements |
EP2391938A4 (en) | 2009-01-30 | 2016-06-08 | Ab Initio Technology Llc | DATA PROCESSING WITH VECTOR FIELDS |
CA2750279C (en) | 2009-02-13 | 2019-03-26 | Ab Initio Technology Llc | Managing task execution |
EP2478433A4 (en) | 2009-09-16 | 2016-09-21 | Ab Initio Technology Llc | MAPPING DATA SET ELEMENTS |
US8667329B2 (en) | 2009-09-25 | 2014-03-04 | Ab Initio Technology Llc | Processing transactions in graph-based applications |
KR101862235B1 (ko) * | 2009-12-14 | 2018-05-29 | 아브 이니티오 테크놀로지 엘엘시 | 사용자 인터페이스 요소 지정 |
US9665620B2 (en) * | 2010-01-15 | 2017-05-30 | Ab Initio Technology Llc | Managing data queries |
EP3287896B1 (en) | 2010-06-15 | 2023-04-26 | Ab Initio Technology LLC | Dynamically loading graph-based computations |
US9396283B2 (en) | 2010-10-22 | 2016-07-19 | Daniel Paul Miranker | System for accessing a relational database using semantic queries |
US8510288B2 (en) * | 2010-10-22 | 2013-08-13 | Microsoft Corporation | Applying analytic patterns to data |
CN103180826B (zh) * | 2010-10-25 | 2017-04-05 | 起元技术有限责任公司 | 在代表计算机程序的数据流图中管理数据集对象 |
KR101872748B1 (ko) | 2011-01-14 | 2018-06-29 | 아브 이니티오 테크놀로지 엘엘시 | 데이터 콜렉션에 대한 변경 관리 방법 |
US9038033B1 (en) * | 2011-12-09 | 2015-05-19 | Sencha, Inc. | Techniques and mechanisms for web application minification |
JP5971334B2 (ja) * | 2012-04-18 | 2016-08-17 | 日本電気株式会社 | タスク配置装置、タスク配置方法、および、コンピュータ・プログラム |
EP2877943B1 (en) * | 2012-07-24 | 2021-03-03 | AB Initio Technology LLC | Mapping entities in data models |
US9032362B2 (en) * | 2012-09-10 | 2015-05-12 | Sap Se | System and method for generating high performance calculators for calculation graphs |
US9852153B2 (en) | 2012-09-28 | 2017-12-26 | Ab Initio Technology Llc | Graphically representing programming attributes |
US10489360B2 (en) | 2012-10-17 | 2019-11-26 | Ab Initio Technology Llc | Specifying and applying rules to data |
KR102129643B1 (ko) | 2012-10-22 | 2020-07-02 | 아브 이니티오 테크놀로지 엘엘시 | 소스 추적으로 데이터 프로파일링 |
US9507682B2 (en) | 2012-11-16 | 2016-11-29 | Ab Initio Technology Llc | Dynamic graph performance monitoring |
US10108521B2 (en) | 2012-11-16 | 2018-10-23 | Ab Initio Technology Llc | Dynamic component performance monitoring |
US9703822B2 (en) | 2012-12-10 | 2017-07-11 | Ab Initio Technology Llc | System for transform generation |
US9116603B2 (en) | 2012-12-26 | 2015-08-25 | Ab Initio Technology Llc | Managing interactions with data having membership in multiple groupings |
US9274926B2 (en) | 2013-01-03 | 2016-03-01 | Ab Initio Technology Llc | Configurable testing of computer programs |
KR102349573B1 (ko) | 2013-09-27 | 2022-01-10 | 아브 이니티오 테크놀로지 엘엘시 | 데이터에 적용되는 규칙 평가 |
KR102186050B1 (ko) | 2013-12-06 | 2020-12-03 | 아브 이니티오 테크놀로지 엘엘시 | 소스 코드 번역 |
WO2015139018A1 (en) | 2014-03-14 | 2015-09-17 | Ab Initio Technology Llc | Mapping attributes of keyed entities |
US9626407B2 (en) | 2014-06-17 | 2017-04-18 | Google Inc. | Real-time saved-query updates for a large graph |
EP3191962B1 (en) | 2014-07-18 | 2019-12-11 | AB Initio Technology LLC | Managing parameter sets |
CN104182528B (zh) * | 2014-08-27 | 2017-07-07 | 广西教育学院 | 基于偏序模式的教育信息化课程关联模式发现方法及系统 |
US9626393B2 (en) | 2014-09-10 | 2017-04-18 | Ab Initio Technology Llc | Conditional validation rules |
US10055333B2 (en) * | 2014-11-05 | 2018-08-21 | Ab Initio Technology Llc | Debugging a graph |
US10437819B2 (en) | 2014-11-14 | 2019-10-08 | Ab Initio Technology Llc | Processing queries containing a union-type operation |
US10417281B2 (en) | 2015-02-18 | 2019-09-17 | Ab Initio Technology Llc | Querying a data source on a network |
US20160246574A1 (en) * | 2015-02-23 | 2016-08-25 | Eddie Jakobitz | Task sequencer |
US10521209B2 (en) * | 2015-05-12 | 2019-12-31 | Phase Change Software Llc | Machine-based normalization of machine instructions |
US10657134B2 (en) | 2015-08-05 | 2020-05-19 | Ab Initio Technology Llc | Selecting queries for execution on a stream of real-time data |
US10127264B1 (en) | 2015-09-17 | 2018-11-13 | Ab Initio Technology Llc | Techniques for automated data analysis |
CA3005263C (en) * | 2015-12-21 | 2021-06-15 | Ab Initio Technology Llc | Sub-graph interface generation |
CN105843660B (zh) * | 2016-03-21 | 2019-04-02 | 同济大学 | 一种编译器的代码优化调度方法 |
USD881907S1 (en) * | 2016-04-22 | 2020-04-21 | Aetna Inc. | Display screen with a graphical user interface |
US10936289B2 (en) | 2016-06-03 | 2021-03-02 | Ab Initio Technology Llc | Format-specific data processing operations |
US11068847B2 (en) | 2016-06-19 | 2021-07-20 | Data.World, Inc. | Computerized tools to facilitate data project development via data access layering logic in a networked computing platform including collaborative datasets |
US11468049B2 (en) | 2016-06-19 | 2022-10-11 | Data.World, Inc. | Data ingestion to generate layered dataset interrelations to form a system of networked collaborative datasets |
US11086896B2 (en) | 2016-06-19 | 2021-08-10 | Data.World, Inc. | Dynamic composite data dictionary to facilitate data operations via computerized tools configured to access collaborative datasets in a networked computing platform |
US10324925B2 (en) | 2016-06-19 | 2019-06-18 | Data.World, Inc. | Query generation for collaborative datasets |
US11023104B2 (en) | 2016-06-19 | 2021-06-01 | data.world,Inc. | Interactive interfaces as computerized tools to present summarization data of dataset attributes for collaborative datasets |
US10452975B2 (en) | 2016-06-19 | 2019-10-22 | Data.World, Inc. | Platform management of integrated access of public and privately-accessible datasets utilizing federated query generation and query schema rewriting optimization |
US11036697B2 (en) | 2016-06-19 | 2021-06-15 | Data.World, Inc. | Transmuting data associations among data arrangements to facilitate data operations in a system of networked collaborative datasets |
US10645548B2 (en) | 2016-06-19 | 2020-05-05 | Data.World, Inc. | Computerized tool implementation of layered data files to discover, form, or analyze dataset interrelations of networked collaborative datasets |
US10984008B2 (en) | 2016-06-19 | 2021-04-20 | Data.World, Inc. | Collaborative dataset consolidation via distributed computer networks |
US11042537B2 (en) | 2016-06-19 | 2021-06-22 | Data.World, Inc. | Link-formative auxiliary queries applied at data ingestion to facilitate data operations in a system of networked collaborative datasets |
US10691710B2 (en) | 2016-06-19 | 2020-06-23 | Data.World, Inc. | Interactive interfaces as computerized tools to present summarization data of dataset attributes for collaborative datasets |
US10747774B2 (en) | 2016-06-19 | 2020-08-18 | Data.World, Inc. | Interactive interfaces to present data arrangement overviews and summarized dataset attributes for collaborative datasets |
US10452677B2 (en) | 2016-06-19 | 2019-10-22 | Data.World, Inc. | Dataset analysis and dataset attribute inferencing to form collaborative datasets |
US10353911B2 (en) * | 2016-06-19 | 2019-07-16 | Data.World, Inc. | Computerized tools to discover, form, and analyze dataset interrelations among a system of networked collaborative datasets |
US11042556B2 (en) | 2016-06-19 | 2021-06-22 | Data.World, Inc. | Localized link formation to perform implicitly federated queries using extended computerized query language syntax |
US10515085B2 (en) | 2016-06-19 | 2019-12-24 | Data.World, Inc. | Consolidator platform to implement collaborative datasets via distributed computer networks |
US11755602B2 (en) | 2016-06-19 | 2023-09-12 | Data.World, Inc. | Correlating parallelized data from disparate data sources to aggregate graph data portions to predictively identify entity data |
US11042548B2 (en) | 2016-06-19 | 2021-06-22 | Data World, Inc. | Aggregation of ancillary data associated with source data in a system of networked collaborative datasets |
US11941140B2 (en) | 2016-06-19 | 2024-03-26 | Data.World, Inc. | Platform management of integrated access of public and privately-accessible datasets utilizing federated query generation and query schema rewriting optimization |
US11042560B2 (en) | 2016-06-19 | 2021-06-22 | data. world, Inc. | Extended computerized query language syntax for analyzing multiple tabular data arrangements in data-driven collaborative projects |
US11334625B2 (en) | 2016-06-19 | 2022-05-17 | Data.World, Inc. | Loading collaborative datasets into data stores for queries via distributed computer networks |
US11675808B2 (en) | 2016-06-19 | 2023-06-13 | Data.World, Inc. | Dataset analysis and dataset attribute inferencing to form collaborative datasets |
US10346429B2 (en) | 2016-06-19 | 2019-07-09 | Data.World, Inc. | Management of collaborative datasets via distributed computer networks |
US11947554B2 (en) | 2016-06-19 | 2024-04-02 | Data.World, Inc. | Loading collaborative datasets into data stores for queries via distributed computer networks |
US11068475B2 (en) | 2016-06-19 | 2021-07-20 | Data.World, Inc. | Computerized tools to develop and manage data-driven projects collaboratively via a networked computing platform and collaborative datasets |
US11016931B2 (en) | 2016-06-19 | 2021-05-25 | Data.World, Inc. | Data ingestion to generate layered dataset interrelations to form a system of networked collaborative datasets |
US10824637B2 (en) | 2017-03-09 | 2020-11-03 | Data.World, Inc. | Matching subsets of tabular data arrangements to subsets of graphical data arrangements at ingestion into data driven collaborative datasets |
US11036716B2 (en) | 2016-06-19 | 2021-06-15 | Data World, Inc. | Layered data generation and data remediation to facilitate formation of interrelated data in a system of networked collaborative datasets |
US10438013B2 (en) | 2016-06-19 | 2019-10-08 | Data.World, Inc. | Platform management of integrated access of public and privately-accessible datasets utilizing federated query generation and query schema rewriting optimization |
US10853376B2 (en) | 2016-06-19 | 2020-12-01 | Data.World, Inc. | Collaborative dataset consolidation via distributed computer networks |
US10699027B2 (en) | 2016-06-19 | 2020-06-30 | Data.World, Inc. | Loading collaborative datasets into data stores for queries via distributed computer networks |
US10162354B2 (en) * | 2016-07-21 | 2018-12-25 | Baidu Usa Llc | Controlling error corrected planning methods for operating autonomous vehicles |
AU2017367772B2 (en) | 2016-12-01 | 2020-05-14 | Ab Initio Technology Llc | Generating, accessing, and displaying lineage metadata |
EP3568028B1 (en) * | 2017-01-11 | 2022-11-16 | Société des Produits Nestlé S.A. | Use of whey protein micelles and a source of casein for liquid spoonable nutritional compositions |
US11238109B2 (en) | 2017-03-09 | 2022-02-01 | Data.World, Inc. | Computerized tools configured to determine subsets of graph data arrangements for linking relevant data to enrich datasets associated with a data-driven collaborative dataset platform |
US12008050B2 (en) | 2017-03-09 | 2024-06-11 | Data.World, Inc. | Computerized tools configured to determine subsets of graph data arrangements for linking relevant data to enrich datasets associated with a data-driven collaborative dataset platform |
US11068453B2 (en) | 2017-03-09 | 2021-07-20 | data.world, Inc | Determining a degree of similarity of a subset of tabular data arrangements to subsets of graph data arrangements at ingestion into a data-driven collaborative dataset platform |
US11113051B2 (en) * | 2017-04-28 | 2021-09-07 | Tenstorrent Inc. | Processing core with metadata actuated conditional graph execution |
KR102668340B1 (ko) | 2017-08-03 | 2024-05-22 | 넥스트 실리콘 리미티드 | 설정가능한 하드웨어 런타임 최적화 |
WO2019055675A1 (en) * | 2017-09-13 | 2019-03-21 | Next Silicon, Ltd. | DATA ARCHITECTURE WITH DIRECTED AND INTERCONNECTED GRID |
GB201716304D0 (en) * | 2017-10-05 | 2017-11-22 | Palantir Technologies Inc | Data analysis system and method |
US11423083B2 (en) | 2017-10-27 | 2022-08-23 | Ab Initio Technology Llc | Transforming a specification into a persistent computer program |
US11055074B2 (en) | 2017-11-13 | 2021-07-06 | Ab Initio Technology Llc | Key-based logging for processing of structured data items with executable logic |
US11068540B2 (en) | 2018-01-25 | 2021-07-20 | Ab Initio Technology Llc | Techniques for integrating validation results in data profiling and related systems and methods |
US10922308B2 (en) | 2018-03-20 | 2021-02-16 | Data.World, Inc. | Predictive determination of constraint data for application with linked data in graph-based datasets associated with a data-driven collaborative dataset platform |
US11243960B2 (en) | 2018-03-20 | 2022-02-08 | Data.World, Inc. | Content addressable caching and federation in linked data projects in a data-driven collaborative dataset platform using disparate database architectures |
USD940169S1 (en) | 2018-05-22 | 2022-01-04 | Data.World, Inc. | Display screen or portion thereof with a graphical user interface |
US11947529B2 (en) | 2018-05-22 | 2024-04-02 | Data.World, Inc. | Generating and analyzing a data model to identify relevant data catalog data derived from graph-based data arrangements to perform an action |
US11537990B2 (en) | 2018-05-22 | 2022-12-27 | Data.World, Inc. | Computerized tools to collaboratively generate queries to access in-situ predictive data models in a networked computing platform |
USD940732S1 (en) | 2018-05-22 | 2022-01-11 | Data.World, Inc. | Display screen or portion thereof with a graphical user interface |
USD920353S1 (en) | 2018-05-22 | 2021-05-25 | Data.World, Inc. | Display screen or portion thereof with graphical user interface |
US11327991B2 (en) | 2018-05-22 | 2022-05-10 | Data.World, Inc. | Auxiliary query commands to deploy predictive data models for queries in a networked computing platform |
US11442988B2 (en) | 2018-06-07 | 2022-09-13 | Data.World, Inc. | Method and system for editing and maintaining a graph schema |
AU2019346562B2 (en) | 2018-09-25 | 2023-08-10 | Ab Initio Technology Llc | A dedicated audit port for implementing recoverability in outputting audit data |
CN110968709B (zh) * | 2018-09-30 | 2023-04-07 | 北京国双科技有限公司 | 数据传输方法及相关系统 |
WO2020079681A1 (en) * | 2018-10-15 | 2020-04-23 | Netz Forecasts Ltd. | Systems and methods for network stabilization prediction |
US11175914B2 (en) * | 2019-06-28 | 2021-11-16 | Aras Corporation | Calculation engine for performing calculations based on dependencies in a self-describing data system |
US11093223B2 (en) | 2019-07-18 | 2021-08-17 | Ab Initio Technology Llc | Automatically converting a program written in a procedural programming language into a dataflow graph and related systems and methods |
US11269526B2 (en) | 2020-04-23 | 2022-03-08 | Next Silicon Ltd | Interconnected memory grid with bypassable units |
US20220091908A1 (en) * | 2020-09-24 | 2022-03-24 | UiPath, Inc. | Filter instantiation for process graphs of rpa workflows |
JP2024505238A (ja) | 2021-01-31 | 2024-02-05 | アビニシオ テクノロジー エルエルシー | 論理データセットグループの操作を伴うデータ処理システム |
US11947600B2 (en) | 2021-11-30 | 2024-04-02 | Data.World, Inc. | Content addressable caching and federation in linked data projects in a data-driven collaborative dataset platform using disparate database architectures |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01258122A (ja) * | 1988-04-08 | 1989-10-16 | Nec Corp | データ形式変換方式 |
JPH1124904A (ja) * | 1997-07-01 | 1999-01-29 | Mitsubishi Electric Corp | プログラム作成装置及びプログラム作成プログラムを記憶した記憶媒体 |
JP2000244749A (ja) * | 1999-02-24 | 2000-09-08 | Sony Corp | データ演算装置及び方法並びにデータ演算プログラムを供給するプログラム供給媒体 |
JP2004516529A (ja) * | 2000-07-28 | 2004-06-03 | エービー イニティオ ソフトウェア コーポレーション | 条件成分を有するパラメータ化図形 |
US20040207665A1 (en) * | 2003-04-04 | 2004-10-21 | Shailendra Mathur | Graphical user interface for providing editing of transform hierarchies within an effects tree |
US20050086360A1 (en) * | 2003-08-27 | 2005-04-21 | Ascential Software Corporation | Methods and systems for real time integration services |
JP2007529041A (ja) * | 2003-06-25 | 2007-10-18 | エービー イニティオ ソフトウェア コーポレーション | コンピュータ支援による計算グラフの並列化 |
Family Cites Families (196)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3662343A (en) | 1970-07-29 | 1972-05-09 | Docutel Corp | Credit card automatic currency dispenser |
US3662401A (en) | 1970-09-23 | 1972-05-09 | Collins Radio Co | Method of program execution |
US4228496A (en) * | 1976-09-07 | 1980-10-14 | Tandem Computers Incorporated | Multiprocessor system |
US4814979A (en) | 1981-04-01 | 1989-03-21 | Teradata Corporation | Network to transmit prioritized subtask pockets to dedicated processors |
US4972314A (en) | 1985-05-20 | 1990-11-20 | Hughes Aircraft Company | Data flow signal processor method and apparatus |
US4720780A (en) | 1985-09-17 | 1988-01-19 | The Johns Hopkins University | Memory-linked wavefront array processor |
US4914568A (en) | 1986-10-24 | 1990-04-03 | National Instruments, Inc. | Graphical system for modelling a process and associated method |
US5127104A (en) | 1986-12-29 | 1992-06-30 | Dataflow Computer Corporation | Method and product involving translation and execution of programs by automatic partitioning and data structure allocation |
JPS63231613A (ja) | 1987-03-20 | 1988-09-27 | Matsushita Giken Kk | コマンド設定方法 |
JPH0526792Y2 (ja) | 1987-07-14 | 1993-07-07 | ||
US5357632A (en) | 1990-01-09 | 1994-10-18 | Hughes Aircraft Company | Dynamic task allocation in a multi-processor system employing distributed control processors and distributed arithmetic processors |
US5280619A (en) | 1990-05-17 | 1994-01-18 | Texas Instruments Incorporated | System for accessing shared data using a serialization graph constructed from a history file showing completed locking dependencies between transactions |
US5323452A (en) | 1990-12-18 | 1994-06-21 | Bell Communications Research, Inc. | Visual programming of telephone network call processing logic |
EP0529303A3 (en) | 1991-08-29 | 1993-09-22 | International Business Machines Corporation | Checkpoint synchronization with instruction overlap enabled |
US6400996B1 (en) * | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
US5333319A (en) | 1992-03-02 | 1994-07-26 | International Business Machines Corporation | Virtual storage data processor with enhanced dispatching priority allocation of CPU resources |
JP3223933B2 (ja) | 1993-02-10 | 2001-10-29 | 日本電信電話株式会社 | 知識ベース推論方法およびその装置 |
US5745778A (en) | 1994-01-26 | 1998-04-28 | Data General Corporation | Apparatus and method for improved CPU affinity in a multiprocessor system |
US6044211A (en) | 1994-03-14 | 2000-03-28 | C.A.E. Plus, Inc. | Method for graphically representing a digital device as a behavioral description with data and control flow elements, and for converting the behavioral description to a structural description |
US5694546A (en) | 1994-05-31 | 1997-12-02 | Reisman; Richard R. | System for automatic unattended electronic information transport between a server and a client by a vendor provided transport software with a manifest list |
US5692168A (en) | 1994-10-18 | 1997-11-25 | Cyrix Corporation | Prefetch buffer using flow control bit to identify changes of flow within the code stream |
JPH08305576A (ja) | 1995-01-12 | 1996-11-22 | Internatl Business Mach Corp <Ibm> | コンピュータ・ユーザとの対話を行うためのエキスパート・システム及びその方法 |
US5673369A (en) | 1995-03-02 | 1997-09-30 | International Business Machines Corporation | Authoring knowledge-based systems using interactive directed graphs |
US5701400A (en) * | 1995-03-08 | 1997-12-23 | Amado; Carlos Armando | Method and apparatus for applying if-then-else rules to data sets in a relational data base and generating from the results of application of said rules a database of diagnostics linked to said data sets to aid executive analysis of financial data |
US5805462A (en) | 1995-08-18 | 1998-09-08 | Vlsi Technology, Inc. | Automatic synthesis of integrated circuits employing boolean decomposition |
JP3154942B2 (ja) | 1995-09-11 | 2001-04-09 | 株式会社東芝 | 分散チェックポイント生成方法および同方法が適用される計算機システム |
US5630047A (en) | 1995-09-12 | 1997-05-13 | Lucent Technologies Inc. | Method for software error recovery using consistent global checkpoints |
US5712971A (en) | 1995-12-11 | 1998-01-27 | Ab Initio Software Corporation | Methods and systems for reconstructing the state of a computation |
JP3258228B2 (ja) | 1996-03-15 | 2002-02-18 | 株式会社東芝 | チェックポイント生成方法 |
US7415466B2 (en) | 1996-03-19 | 2008-08-19 | Oracle International Corporation | Parallel transaction recovery |
US6006242A (en) * | 1996-04-05 | 1999-12-21 | Bankers Systems, Inc. | Apparatus and method for dynamically creating a document |
US5966072A (en) | 1996-07-02 | 1999-10-12 | Ab Initio Software Corporation | Executing computations expressed as graphs |
JP3672208B2 (ja) | 1996-07-02 | 2005-07-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 階層化トランザクション処理方法 |
US5857204A (en) | 1996-07-02 | 1999-01-05 | Ab Initio Software Corporation | Restoring the state of a set of files |
US6016516A (en) | 1996-08-07 | 2000-01-18 | Fuji Xerox Co. Ltd. | Remote procedure processing device used by at least two linked computer systems |
US6760903B1 (en) | 1996-08-27 | 2004-07-06 | Compuware Corporation | Coordinated application monitoring in a distributed computing environment |
US5799266A (en) | 1996-09-19 | 1998-08-25 | Sun Microsystems, Inc. | Automatic generation of test drivers |
US6038558A (en) * | 1996-10-18 | 2000-03-14 | Sagent Technology, Inc. | Extensible database retrieval and viewing architecture |
US5930794A (en) * | 1996-10-18 | 1999-07-27 | Sagent Technologies, Inc. | Database repository with deferred transactions |
US6151531A (en) | 1996-12-12 | 2000-11-21 | Charles Frankel Et Al | System and method for managing the alteration of garments |
US5924095A (en) | 1997-02-05 | 1999-07-13 | Oracle Corporation | Processing distributed transactions in heterogeneous computing environments using two-phase commit |
US6330008B1 (en) | 1997-02-24 | 2001-12-11 | Torrent Systems, Inc. | Apparatuses and methods for monitoring performance of parallel computing |
US5933640A (en) | 1997-02-26 | 1999-08-03 | Digital Equipment Corporation | Method for analyzing and presenting test execution flows of programs |
US5999729A (en) * | 1997-03-06 | 1999-12-07 | Continuum Software, Inc. | System and method for developing computer programs for execution on parallel processing systems |
US6088716A (en) * | 1997-04-28 | 2000-07-11 | Ab Initio Software Corporation | Method for preventing buffer deadlock in dataflow computations |
US6032158A (en) * | 1997-05-02 | 2000-02-29 | Informatica Corporation | Apparatus and method for capturing and propagating changes from an operational database to data marts |
US6044394A (en) | 1997-07-21 | 2000-03-28 | International Business Machines Corporation | Managing independently executing computer tasks that are interrelated by dataflow |
US6145017A (en) | 1997-08-05 | 2000-11-07 | Adaptec, Inc. | Data alignment system for a hardware accelerated command interpreter engine |
US6173276B1 (en) * | 1997-08-21 | 2001-01-09 | Scicomp, Inc. | System and method for financial instrument modeling and valuation |
US6490620B1 (en) | 1997-09-26 | 2002-12-03 | Worldcom, Inc. | Integrated proxy interface for web based broadband telecommunications management |
US6332212B1 (en) | 1997-10-02 | 2001-12-18 | Ltx Corporation | Capturing and displaying computer program execution timing |
US5958004A (en) | 1997-10-28 | 1999-09-28 | Microsoft Corporation | Disabling and enabling transaction committal in transactional application components |
US6014670A (en) * | 1997-11-07 | 2000-01-11 | Informatica Corporation | Apparatus and method for performing data transformations in data warehousing |
US6339775B1 (en) * | 1997-11-07 | 2002-01-15 | Informatica Corporation | Apparatus and method for performing data transformations in data warehousing |
US6044374A (en) * | 1997-11-14 | 2000-03-28 | Informatica Corporation | Method and apparatus for sharing metadata between multiple data marts through object references |
JPH11184766A (ja) | 1997-12-18 | 1999-07-09 | Nippon Telegr & Teleph Corp <Ntt> | ビジネスイベントサーバ |
US6272650B1 (en) | 1998-02-03 | 2001-08-07 | Amazing Media, Inc. | System and method for disambiguating scene graph loads |
US6437796B2 (en) | 1998-02-17 | 2002-08-20 | Sun Microsystems, Inc. | Multiple processor visibility search system and method |
US6208345B1 (en) * | 1998-04-15 | 2001-03-27 | Adc Telecommunications, Inc. | Visual data integration system and method |
US6256637B1 (en) | 1998-05-05 | 2001-07-03 | Gemstone Systems, Inc. | Transactional virtual machine architecture |
US6675189B2 (en) | 1998-05-28 | 2004-01-06 | Hewlett-Packard Development Company, L.P. | System for learning and applying integrated task and data parallel strategies in dynamic applications |
US6480876B2 (en) | 1998-05-28 | 2002-11-12 | Compaq Information Technologies Group, L.P. | System for integrating task and data parallelism in dynamic applications |
US6314114B1 (en) | 1998-06-23 | 2001-11-06 | Oracle Corporation | Distributed resource management |
US6259988B1 (en) | 1998-07-20 | 2001-07-10 | Lockheed Martin Corporation | Real-time mission adaptable route planner |
JP2000099317A (ja) | 1998-09-18 | 2000-04-07 | Toshiba Corp | ユーザインタフェース設計装置及び方法 |
US6401216B1 (en) | 1998-10-29 | 2002-06-04 | International Business Machines Corporation | System of performing checkpoint/restart of a parallel program |
US6608628B1 (en) | 1998-11-06 | 2003-08-19 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) | Method and apparatus for virtual interactive medical imaging by multiple remotely-located users |
WO2000028518A2 (en) | 1998-11-09 | 2000-05-18 | Broadcom Corporation | Graphics display system |
WO2005099423A2 (en) * | 2004-04-16 | 2005-10-27 | Aman James A | Automatic event videoing, tracking and content generation system |
US6449711B1 (en) | 1999-02-04 | 2002-09-10 | Sun Microsystems, Inc. | Method, apparatus, and article of manufacture for developing and executing data flow programs |
US6538651B1 (en) * | 1999-03-19 | 2003-03-25 | John Hayman | Parametric geometric element definition and generation system and method |
US6728879B1 (en) | 1999-06-02 | 2004-04-27 | Microsoft Corporation | Transactional log with multi-sector log block validation |
US6816825B1 (en) * | 1999-06-18 | 2004-11-09 | Nec Corporation | Simulation vector generation from HDL descriptions for observability-enhanced statement coverage |
US6647408B1 (en) | 1999-07-16 | 2003-11-11 | Novell, Inc. | Task distribution |
US6715145B1 (en) | 1999-08-31 | 2004-03-30 | Accenture Llp | Processing pipeline in a base services pattern environment |
US20020129340A1 (en) | 1999-10-28 | 2002-09-12 | Tuttle Douglas D. | Reconfigurable isomorphic software representations |
US7137116B2 (en) | 1999-11-09 | 2006-11-14 | Microsoft Corporation | Method and system for performing a task on a computer |
US6879946B2 (en) | 1999-11-30 | 2005-04-12 | Pattern Discovery Software Systems Ltd. | Intelligent modeling, transformation and manipulation system |
US6584581B1 (en) | 1999-12-06 | 2003-06-24 | Ab Initio Software Corporation | Continuous flow checkpointing data processing |
WO2001046798A2 (en) | 1999-12-20 | 2001-06-28 | Headway Research Limited | System and method for computer-aided graph-based dependency analysis |
CA2368966A1 (en) * | 2000-03-31 | 2001-10-11 | Sanochemia Pharmazeutika Aktiengesellschaft | New derivatives and analogues of galanthamine |
US6848100B1 (en) | 2000-03-31 | 2005-01-25 | Intel Corporation | Hierarchical software path profiling |
US7062483B2 (en) | 2000-05-18 | 2006-06-13 | Endeca Technologies, Inc. | Hierarchical data-driven search and navigation system and method for information retrieval |
US6922685B2 (en) | 2000-05-22 | 2005-07-26 | Mci, Inc. | Method and system for managing partitioned data resources |
US6813761B1 (en) | 2000-06-30 | 2004-11-02 | Microsoft Corporation | Methods for enhancing flow analysis |
US6832369B1 (en) | 2000-08-01 | 2004-12-14 | International Business Machines Corporation | Object oriented method and apparatus for class variable initialization |
US6496961B2 (en) | 2000-10-27 | 2002-12-17 | Nec Usa, Inc. | Dynamic detection and removal of inactive clauses in SAT with application in image computation |
US20020152244A1 (en) | 2000-12-22 | 2002-10-17 | International Business Machines Corporation | Method and apparatus to dynamically create a customized user interface based on a document type definition |
US6804800B2 (en) | 2000-12-29 | 2004-10-12 | Intel Corporation | Method and apparatus for detecting and recovering from errors in a source synchronous bus |
JP4294879B2 (ja) | 2001-02-05 | 2009-07-15 | 株式会社日立製作所 | サービスレベル制御機構を有するトランザクション処理システム及びそのためのプログラム |
US20020111876A1 (en) | 2001-02-09 | 2002-08-15 | Rudraraju Panduranga R. | Transaction aggregation system and method |
US7082386B2 (en) | 2001-02-21 | 2006-07-25 | International Business Machines Corporation | Generalized software modeling tool |
US20030004773A1 (en) * | 2001-03-15 | 2003-01-02 | Objectsoft, Inc. | Scheduling system with methods for polling to determine best date and time |
US7188091B2 (en) | 2001-03-21 | 2007-03-06 | Resolutionebs, Inc. | Rule processing system |
US6651234B2 (en) | 2001-04-06 | 2003-11-18 | Nec Corporation | Partition-based decision heuristics for SAT and image computation using SAT and BDDs |
US20020147745A1 (en) * | 2001-04-09 | 2002-10-10 | Robert Houben | Method and apparatus for document markup language driven server |
US7082604B2 (en) | 2001-04-20 | 2006-07-25 | Mobile Agent Technologies, Incorporated | Method and apparatus for breaking down computing tasks across a network of heterogeneous computer for parallel execution by utilizing autonomous mobile agents |
US20040093559A1 (en) * | 2001-05-25 | 2004-05-13 | Ruth Amaru | Web client for viewing and interrogating enterprise data semantically |
GB2376094A (en) | 2001-05-30 | 2002-12-04 | Ibm | Flexible navigation of a workflow graph in a data processing system |
US7069536B2 (en) | 2001-06-28 | 2006-06-27 | International Business Machines Corporation | Method, system, and program for executing a workflow |
US20030033432A1 (en) | 2001-08-08 | 2003-02-13 | Simpson Shell S. | Web based imaging service that converts web pages into content on behalf of another web site |
US20040006745A1 (en) * | 2001-08-31 | 2004-01-08 | Van Helden Wico | Methods, apparatuses, system, and articles for associating metadata with datastream |
US7165030B2 (en) | 2001-09-17 | 2007-01-16 | Massachusetts Institute Of Technology | Concatenative speech synthesis using a finite-state transducer |
US7085426B2 (en) | 2001-10-15 | 2006-08-01 | Jonas August | Volterra filters for enhancement of contours in images |
US7130484B2 (en) | 2001-10-15 | 2006-10-31 | Jonas August | Biased curve indicator random field filters for enhancement of contours in images |
DE10152213B4 (de) | 2001-10-23 | 2006-04-27 | Onespin Solutions Gmbh | Verfahren zur Verifikation digitaler arithmetischer Schaltungen mittels eines Äquivalenzvergleiches |
US7092401B2 (en) | 2001-11-15 | 2006-08-15 | International Business Machines Corporation | Apparatus and method for managing work and completion queues using head and tail pointers with end-to-end context error cache for reliable datagram |
EP1320217B1 (en) | 2001-12-14 | 2004-10-13 | Hewlett-Packard Company, A Delaware Corporation | Method of installing monitoring agents, system and computer program for monitoring objects in an IT network |
US7240247B2 (en) | 2002-04-29 | 2007-07-03 | Intel Corporation | Providing a chain of tokenized error and state information for a call stack |
US20040041838A1 (en) | 2002-09-04 | 2004-03-04 | Adusumilli Venkata J.R.B. | Method and system for graphing data |
US7103597B2 (en) | 2002-10-03 | 2006-09-05 | Mcgoveran David O | Adaptive transaction manager for complex transactions and business process |
US7167850B2 (en) | 2002-10-10 | 2007-01-23 | Ab Initio Software Corporation | Startup and control of graph-based computation |
US7694272B2 (en) | 2002-10-21 | 2010-04-06 | Sungard (Israel) Ltd | Method, a language and a system for the definition and implementation of software solutions by using a visualizable computer executable modeling language |
US7412658B2 (en) * | 2002-11-14 | 2008-08-12 | Sap Ag | Modeling system for graphic user interface |
US7711772B2 (en) | 2002-11-15 | 2010-05-04 | Schlumberger Technology Corporation | Web-based system and method for electronic data delivery |
US7430747B2 (en) | 2002-12-04 | 2008-09-30 | Microsoft Corporation | Peer-to peer graphing interfaces and methods |
US7441008B2 (en) | 2002-12-18 | 2008-10-21 | International Business Machines Corporation | Method for correlating transactions and messages |
US20050193056A1 (en) | 2002-12-26 | 2005-09-01 | Schaefer Diane E. | Message transfer using multiplexed connections in an open system interconnection transaction processing environment |
US20040148373A1 (en) | 2003-01-23 | 2004-07-29 | International Business Machines Corporation | Service level agreement compliance measurement |
US7707564B2 (en) | 2003-02-26 | 2010-04-27 | Bea Systems, Inc. | Systems and methods for creating network-based software services using source code annotations |
US7088374B2 (en) | 2003-03-27 | 2006-08-08 | Microsoft Corporation | System and method for managing visual structure, timing, and animation in a graphics processing system |
US7417645B2 (en) | 2003-03-27 | 2008-08-26 | Microsoft Corporation | Markup language and object model for vector graphics |
US7665025B2 (en) | 2003-04-16 | 2010-02-16 | The Mathworks, Inc. | Signal navigation and label propagation in block diagrams |
US20040225657A1 (en) | 2003-05-07 | 2004-11-11 | Panacea Corporation | Web services method and system |
US8265979B2 (en) | 2003-06-17 | 2012-09-11 | International Business Machines Corporation | Automatic generation of process models |
US20050059046A1 (en) | 2003-06-18 | 2005-03-17 | Applera Corporation | Methods and systems for the analysis of biological sequence data |
WO2005001721A1 (en) | 2003-06-24 | 2005-01-06 | Bae Systems Plc | A method, tool and system for increasing the efficiency of a design process |
US7185322B2 (en) | 2003-07-11 | 2007-02-27 | Computer Associates Think, Inc. | Method and apparatus for parallel action processing |
GB0318196D0 (en) | 2003-08-02 | 2003-09-03 | Ibm | A method apparatus and computer program for processing a queue of messages |
US7444595B2 (en) | 2003-08-13 | 2008-10-28 | National Instruments Corporation | Graphical programming system and method for creating and managing a scene graph |
US7174479B2 (en) | 2003-09-10 | 2007-02-06 | Microsoft Corporation | Method and system for rollback-free failure recovery of multi-step procedures |
CN102982065B (zh) * | 2003-09-15 | 2016-09-21 | 起元科技有限公司 | 数据处理方法、数据处理装置及计算机可读存储介质 |
US20050102670A1 (en) | 2003-10-21 | 2005-05-12 | Bretl Robert F. | Shared object memory with object management for multiple virtual machines |
US20050097515A1 (en) | 2003-10-31 | 2005-05-05 | Honeywell International, Inc. | Data empowered laborsaving test architecture |
US7840949B2 (en) | 2003-11-03 | 2010-11-23 | Ramal Acquisition Corp. | System and method for data transformation using dataflow graphs |
US7480863B2 (en) * | 2003-11-26 | 2009-01-20 | International Business Machines Corporation | Dynamic and intelligent hover assistance |
US7296072B2 (en) | 2003-12-12 | 2007-11-13 | International Business Machines Corporation | Enhanced port type agnostic proxy support for web services intermediaries |
US7404189B2 (en) | 2003-12-30 | 2008-07-22 | International Business Machines Corporation | Scheduler supporting web service invocation |
US7543275B2 (en) | 2004-01-29 | 2009-06-02 | Sun Microsystems, Inc. | Mechanism for executing test suites written for different harnesses under one test execution harness |
US7594227B2 (en) | 2004-03-08 | 2009-09-22 | Ab Initio Technology Llc | Dependency graph parameter scoping |
US7467383B2 (en) | 2004-03-08 | 2008-12-16 | Ab Initio Software Llc | System for controlling task execution using a graphical representation of task dependency |
US20050256818A1 (en) | 2004-04-30 | 2005-11-17 | Xerox Corporation | Workflow auto generation from user constraints and hierarchical dependence graphs for workflows |
JP2007536634A (ja) | 2004-05-04 | 2007-12-13 | フィッシャー−ローズマウント・システムズ・インコーポレーテッド | プロセス制御システムのためのサービス指向型アーキテクチャ |
US7614037B2 (en) | 2004-05-21 | 2009-11-03 | Microsoft Corporation | Method and system for graph analysis and synchronization |
US7316001B2 (en) | 2004-06-05 | 2008-01-01 | Graphlogic Inc. | Object process graph system |
US7703073B2 (en) | 2004-06-08 | 2010-04-20 | Covia Labs, Inc. | Device interoperability format rule set and method for assembling interoperability application package |
US7398514B2 (en) | 2004-09-29 | 2008-07-08 | Microsoft Corporation | Test automation stack layering |
US7343482B2 (en) | 2004-10-20 | 2008-03-11 | Arm Limited | Program subgraph identification |
US7598953B2 (en) | 2004-11-05 | 2009-10-06 | Microsoft Corporation | Interpreter for simplified programming of graphics processor units in general purpose programming languages |
US8082541B2 (en) | 2004-12-09 | 2011-12-20 | Advantest Corporation | Method and system for performing installation and configuration management of tester instrument modules |
US20060282474A1 (en) | 2005-01-18 | 2006-12-14 | Mackinnon Allan S Jr | Systems and methods for processing changing data |
US7620947B2 (en) | 2005-03-11 | 2009-11-17 | Autodesk, Inc. | Enhanced directed graph representation for dependency systems |
US7505975B2 (en) | 2005-04-14 | 2009-03-17 | Bea Systems, Inc. | Use of transaction context to select single database instance for global transaction |
JP4246176B2 (ja) | 2005-04-25 | 2009-04-02 | 株式会社日立製作所 | トランザクション処理方法及びその実施装置並びにその処理プログラムを記録した媒体 |
US7877350B2 (en) | 2005-06-27 | 2011-01-25 | Ab Initio Technology Llc | Managing metadata for graph-based computations |
US7716630B2 (en) | 2005-06-27 | 2010-05-11 | Ab Initio Technology Llc | Managing parameters for graph-based computations |
US20070118839A1 (en) | 2005-10-24 | 2007-05-24 | Viktors Berstis | Method and apparatus for grid project modeling language |
US7747565B2 (en) | 2005-12-07 | 2010-06-29 | Microsoft Corporation | Garbage collector support for transactional memory |
US8073671B2 (en) | 2006-03-31 | 2011-12-06 | Microsoft Corporation | Dynamic software performance models |
US7870556B2 (en) | 2006-05-16 | 2011-01-11 | Ab Initio Technology Llc | Managing computing resources in graph-based computations |
EP2527983A3 (en) | 2006-08-10 | 2013-06-12 | Ab Initio Technology LLC | Distributing services in graph-based computations |
US7844946B2 (en) | 2006-09-26 | 2010-11-30 | Intel Corporation | Methods and apparatus to form a transactional objective instruction construct from lock-based critical sections |
US20080244524A1 (en) | 2007-03-27 | 2008-10-02 | Tim Kelso | Program Test System |
US7805635B2 (en) | 2007-04-09 | 2010-09-28 | International Business Machines Corporation | Constraint programming for reduction of system test-configuration-matrix complexity |
US8069129B2 (en) | 2007-04-10 | 2011-11-29 | Ab Initio Technology Llc | Editing and compiling business rules |
JP4073033B1 (ja) | 2007-04-27 | 2008-04-09 | 透 降矢 | 結合演算の処理機能の向上を考慮した合成関係演算を利用したマルチオペレーション・プロセッシングを用いたデータベースのクエリー処理システム |
KR101635945B1 (ko) | 2007-07-26 | 2016-07-04 | 아브 이니티오 테크놀로지 엘엘시 | 에러 핸들링이 가능한 그래프 기반의 트랜잭션 연산 처리 방법 및 시스템 |
US8347292B2 (en) | 2007-08-30 | 2013-01-01 | International Business Machines Corporation | Transaction aggregation to increase transaction processing throughout |
CA2698265C (en) | 2007-09-20 | 2017-08-29 | Craig W. Stanfill | Managing data flows in graph-based computations |
US7886141B2 (en) | 2007-10-27 | 2011-02-08 | Asix Electronics Corporation | Method and systems for advanced reprogrammable boot codes and in-application programming of embedded microprocessor systems |
US8775441B2 (en) | 2008-01-16 | 2014-07-08 | Ab Initio Technology Llc | Managing an archive for approximate string matching |
US20090193416A1 (en) | 2008-01-24 | 2009-07-30 | Nec Laboratories America, Inc. | Decidability of reachability for threads communicating via locks |
US8225288B2 (en) * | 2008-01-29 | 2012-07-17 | Intuit Inc. | Model-based testing using branches, decisions, and options |
US8797178B2 (en) | 2008-03-10 | 2014-08-05 | Microsoft Corporation | Efficient stream sharing for multi-user sensor data collection |
US20090235267A1 (en) | 2008-03-13 | 2009-09-17 | International Business Machines Corporation | Consolidated display of resource performance trends |
US9184874B2 (en) | 2008-03-31 | 2015-11-10 | Qualcomm Incorporated | Storing log likelihood ratios in interleaved form to reduce hardware memory |
CN102138139B (zh) | 2008-06-30 | 2014-12-17 | 起元技术有限责任公司 | 基于图的计算中的数据日志记录 |
US20100070955A1 (en) | 2008-07-08 | 2010-03-18 | Nec Laboratories America | Alias analysis for concurrent software programs |
US8782613B2 (en) | 2008-08-12 | 2014-07-15 | Hewlett-Packard Development Company, L.P. | Optimizing applications using source code patterns and performance analysis |
US8286176B1 (en) | 2008-09-29 | 2012-10-09 | Amazon Technologies, Inc. | Optimizing resource configurations |
US20100169137A1 (en) | 2008-12-31 | 2010-07-01 | Ebay Inc. | Methods and systems to analyze data using a graph |
US7979479B2 (en) | 2009-01-08 | 2011-07-12 | International Business Machines Corporation | Transaction-controlled graph processing and management |
US8635694B2 (en) | 2009-01-10 | 2014-01-21 | Kaspersky Lab Zao | Systems and methods for malware classification |
CA2750279C (en) | 2009-02-13 | 2019-03-26 | Ab Initio Technology Llc | Managing task execution |
US7992040B2 (en) | 2009-02-20 | 2011-08-02 | International Business Machines Corporation | Root cause analysis by correlating symptoms with asynchronous changes |
US8332811B2 (en) | 2009-04-30 | 2012-12-11 | United Parcel Service Of America, Inc. | Systems and methods for generating source code for workflow platform |
US8327377B2 (en) | 2009-04-30 | 2012-12-04 | Ca, Inc. | Detecting, logging and tracking component dependencies in web service transactions |
US8473901B1 (en) | 2009-06-12 | 2013-06-25 | The Mathworks, Inc. | Non-literal representation of programming language code |
US8205113B2 (en) | 2009-07-14 | 2012-06-19 | Ab Initio Technology Llc | Fault tolerant batch processing |
US8667329B2 (en) | 2009-09-25 | 2014-03-04 | Ab Initio Technology Llc | Processing transactions in graph-based applications |
EP3287896B1 (en) * | 2010-06-15 | 2023-04-26 | Ab Initio Technology LLC | Dynamically loading graph-based computations |
US9158650B2 (en) | 2010-08-04 | 2015-10-13 | BoxTone, Inc. | Mobile application performance management |
CN103069394B (zh) | 2010-08-25 | 2016-06-22 | 起元技术有限责任公司 | 评估数据流图的特征 |
AU2012100128A4 (en) | 2011-02-22 | 2012-03-08 | Zensar Technologies Ltd | A computer implemented system and method for indexing and optionally annotating use cases and generating test scenarios therefrom |
US8732669B2 (en) | 2011-03-11 | 2014-05-20 | Oracle International Corporation | Efficient model checking technique for finding software defects |
US9875094B2 (en) | 2012-08-29 | 2018-01-23 | International Business Machines Corporation | Microcode upgrade in a storage system |
-
2005
- 2005-06-27 US US11/167,902 patent/US7877350B2/en active Active
-
2006
- 2006-06-27 EP EP06785623A patent/EP1899873A4/en not_active Ceased
- 2006-06-27 CN CN2006800233734A patent/CN101208695B/zh active Active
- 2006-06-27 WO PCT/US2006/024933 patent/WO2007002647A2/en active Search and Examination
- 2006-06-27 JP JP2008519474A patent/JP5297802B2/ja active Active
- 2006-06-27 KR KR1020077030528A patent/KR101278078B1/ko active IP Right Grant
- 2006-06-27 AU AU2006261749A patent/AU2006261749B2/en active Active
- 2006-06-27 KR KR1020127031346A patent/KR101372971B1/ko active IP Right Grant
- 2006-06-27 CA CA2610989A patent/CA2610989C/en active Active
-
2010
- 2010-12-23 US US12/977,545 patent/US8484159B2/en active Active
-
2013
- 2013-07-08 US US13/936,330 patent/US9158797B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01258122A (ja) * | 1988-04-08 | 1989-10-16 | Nec Corp | データ形式変換方式 |
JPH1124904A (ja) * | 1997-07-01 | 1999-01-29 | Mitsubishi Electric Corp | プログラム作成装置及びプログラム作成プログラムを記憶した記憶媒体 |
JP2000244749A (ja) * | 1999-02-24 | 2000-09-08 | Sony Corp | データ演算装置及び方法並びにデータ演算プログラムを供給するプログラム供給媒体 |
JP2004516529A (ja) * | 2000-07-28 | 2004-06-03 | エービー イニティオ ソフトウェア コーポレーション | 条件成分を有するパラメータ化図形 |
US20040207665A1 (en) * | 2003-04-04 | 2004-10-21 | Shailendra Mathur | Graphical user interface for providing editing of transform hierarchies within an effects tree |
JP2007529041A (ja) * | 2003-06-25 | 2007-10-18 | エービー イニティオ ソフトウェア コーポレーション | コンピュータ支援による計算グラフの並列化 |
US20050086360A1 (en) * | 2003-08-27 | 2005-04-21 | Ascential Software Corporation | Methods and systems for real time integration services |
Non-Patent Citations (1)
Title |
---|
JPN6012050359; 長尾真(外7名)編集: 「岩波情報科学辞典」 第1刷, 19900525, 第741頁, 株式会社岩波書店 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011527052A (ja) * | 2008-06-30 | 2011-10-20 | アビニシオ テクノロジー エルエルシー | グラフベース計算におけるデータ記録 |
JP2014002759A (ja) * | 2008-06-30 | 2014-01-09 | Ab Initio Technology Llc | グラフベース計算におけるデータ記録 |
JP2014511526A (ja) * | 2011-02-18 | 2014-05-15 | アビニシオ テクノロジー エルエルシー | ソート |
JP2017130236A (ja) * | 2011-05-02 | 2017-07-27 | アビニシオ テクノロジー エルエルシー | データクエリの管理 |
US10901702B2 (en) | 2013-12-05 | 2021-01-26 | Ab Initio Technology Llc | Managing interfaces for sub-graphs |
JP2021144719A (ja) * | 2014-11-05 | 2021-09-24 | アビニシオ テクノロジー エルエルシー | 影響分析 |
JP7090778B2 (ja) | 2014-11-05 | 2022-06-24 | アビニシオ テクノロジー エルエルシー | 影響分析 |
US11475023B2 (en) | 2014-11-05 | 2022-10-18 | Ab Initio Technology Llc | Impact analysis |
JP2019079556A (ja) * | 2015-02-11 | 2019-05-23 | アビニシオ テクノロジー エルエルシー | データ系統図のフィルタリング |
JP2018077613A (ja) * | 2016-11-08 | 2018-05-17 | 富士通株式会社 | 開発支援装置、開発支援方法および開発支援プログラム |
Also Published As
Publication number | Publication date |
---|---|
US9158797B2 (en) | 2015-10-13 |
KR20080040641A (ko) | 2008-05-08 |
EP1899873A2 (en) | 2008-03-19 |
CN101208695B (zh) | 2013-04-24 |
US20110093433A1 (en) | 2011-04-21 |
CA2610989C (en) | 2015-06-16 |
US8484159B2 (en) | 2013-07-09 |
US7877350B2 (en) | 2011-01-25 |
KR20130009859A (ko) | 2013-01-23 |
KR101278078B1 (ko) | 2013-06-25 |
CA2610989A1 (en) | 2007-01-04 |
KR101372971B1 (ko) | 2014-03-13 |
CN101208695A (zh) | 2008-06-25 |
US20060294150A1 (en) | 2006-12-28 |
AU2006261749A1 (en) | 2007-01-04 |
WO2007002647A3 (en) | 2007-05-03 |
AU2006261749B2 (en) | 2013-06-13 |
JP5297802B2 (ja) | 2013-09-25 |
US20130297562A1 (en) | 2013-11-07 |
EP1899873A4 (en) | 2008-12-24 |
WO2007002647A2 (en) | 2007-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5297802B2 (ja) | グラフ型計算のためのメタデータ管理 | |
JP5235663B2 (ja) | グラフ型計算のためのパラメータ管理 | |
AU2020210281B2 (en) | Impact analysis | |
JP6073838B2 (ja) | 条件成分を有するパラメータ化図形 | |
AU2013228010A1 (en) | Managing metadata for graph-based computations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090604 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100624 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111227 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120305 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120312 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20120316 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120419 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120424 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120502 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120925 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121221 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130104 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130124 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130131 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130221 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130617 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5297802 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |