JP2006504160A - グラフに基づく計算の起動および制御 - Google Patents

Abstract

グラフに基づく計算を実行するための手法であって、効率的起動手法、およびプロセスプールを用いる効率的制御法の何れか一方、または両方を用いる。グラフに基づく計算の効率的起動は、要求グラフ形式に対する事前計算データを用いて、計算グラフのインスタンスに対するランタイムデータ構造を形成することにより、計算グラフのインスタンスを形成するような、計算グラフのランタイム構造を表す事前計算データを伴う。ランタイム時に、これらの頂点での処理のための入力が利用できる場合、これらのプロセスプールの要素を、計算グラフのインスタンスの特定頂点に動的に割り当てるような、計算グラフの一つ以上の頂点と関係付けられる計算を実行するためにそれぞれが適合しているプロセスプールを形成する。

Description

発明の詳細な説明

発明の背景
本発明は、グラフに基づく計算の実行に関する。

複雑な計算は、グラフの頂点（vertices, 交点）に関係付けられる計算成分と、グラフのリンク（弧、辺）に対応する成分間のデータフローと、を伴う有向グラフ（directed graph）を通過するデータフローとして表わせることが多い。このようなグラフに基づく計算を実装するシステムは、米国特許第５，９６６，０７２号の「グラフとして表される計算の実行」に記載されている。グラフに基づく計算を実行するための一手法は、それぞれがグラフの異なる頂点（vertex）と関係付けられる幾つかのプロセスを実行し、且つ、そのグラフのリンクに応じてプロセス間の伝達経路（communication path, 通信パス）を確立することである。例えば、伝達経路は、ＴＣＰ／ＩＰもしくはＵＮＩＸ（登録商標）ドメインソケットを用いるか、またはプロセス間でデータを渡すための共有メモリ（shared memory）を用いることができる。
概 要

本発明の概略的な特徴において、グラフに基づく計算を効率的に起動するための方法は、計算グラフのランタイム構造を表すデータを事前に計算することを含む。即ち、要求されるタイプのグラフに対して事前に計算されたデータを用いて計算グラフのインスタンスを形成し、計算グラフのインスタンスに対するランタイムデータ構造を形成する。

本発明の別の概略的な特徴において、グラフに基づく計算を効率的に制御するための方法は、計算グラフの一つ以上の頂点と連携する計算を実行するためにそれぞれが適合しているプロセスのプールを形成することを含む。プログラム実行時（at runtime）、頂点での処理のために入力が利用できるとき、これらのプロセスのプールの構成要素（members）は計算グラフのインスタンスの特定の頂点へ動的に割り当てられる。

本発明の別の概略的な特徴は、効率的な起動とプロセスのプールとの組合せを含む。

概して、一態様において、本発明はグラフに基づく計算を処理するための方法を特徴とする。一つ以上のグラフテンプレートが提供される。各グラフテンプレートは異なるタイプの計算グラフと関係付けられる。各計算グラフは相当数のグラフ要素を含む。各グラフ要素は対応する計算と関係付けられる。計算リソースのプールが一つ以上形成される。計算グラフの各グラフ要素は計算リソースのプールの対応する一つと関係付けられる。一つ以上のデータストリームが処理される。それぞれのデータストリームは、計算グラフの対応するタイプと結び付けられている。データストリームのそれぞれに対し、データストリームの処理は、対応する計算グラフに対するグラフテンプレートからグラフインスタンスを形成することを含んでいる。グラフインスタンスの各グラフ要素に対し、対応するプールからのコンピュータのリソースは各グラフ要素に割り当てられる。各データストリームはグラフインスタンスにより処理される。その処理には、前記割り当てられた計算リソースを用いて、かかるグラフインスタンスのグラフ要素に対応する計算を実行することが含まれる。

本発明の態様は、以下の特徴を一つ以上含む：

グラフ要素には、計算グラフの頂点またはリンクを含めることができる。

計算リソースには、プロセス、プロセススレッド（process thread）またはデータベースとの連結を含めることができる。

一つ以上のグラフテンプレートを提供することには、揮発性メモリまたは不揮発性メモリにテンプレートを格納することを含めることができる。

グラフインスタンスは、揮発性メモリ内のグラフテンプレートから形成され得る。

グラフインスタンスを形成することには、メモリの一部をそのグラフインスタンスに割り当て、グラフテンプレートをそのメモリの一部にコピーすることを含めることができる。

計算リソースは、データストリームの計算の一部へ動的に割り当てることができる。

計算リソースは、計算に必要とされる総ての入力のうちの少なくともある部分の入力が利用できるとき、割り当てられ得る（can be assigned）。

計算リソースは、計算に必要とされる総ての入力が利用できるとき、割り当てられ得る。

各計算リソースの動的な割り当てには、グラフ要素からの計算リソース割り当て停止(deassign) を含めることができる。

グラフ要素の各計算リソースは、データストリームの総てを処理するために割り当てられ得る。

本方法は、グラフ要素に割り当てられた計算リソースを解放すること及びグラフのインスタンスを破棄することを更に含むことができる。

異なる計算グラフにそれぞれ関係付けられる少なくとも二つのデータストリームを、同時に処理することができる。

異なる計算グラフのそれぞれのインスタンスの内の少なくとも一つのグラフ要素を、同じ計算リソースの対応するプールと関係付けることができる。

計算リソースの同じ対応するプールの内の少なくとも一つの計算リソースを、異なる時に、異なる計算グラフのインスタンスのグラフ要素へ割り当てることができる。

別の態様では、本発明は、概して、コンピュータ可読媒体に格納されてグラフに基づく計算を処理するためのソフトウエアを特徴とする。

別の態様では、本発明は、概して、グラフに基づく計算を処理するためのシステムを特徴とする。

本発明の態様には、以下の利点の内の一つ以上を含めることができる：

計算グラフのインスタンスを生成することによる計算オーバーヘッドは、グラフをインスタンス化（instantiate）する際に頂点間で別々の伝達経路を確立する場合に比べて、低下させることができる。

一実施の形態では、共有メモリの使用が、計算グラフの頂点計算を行うプロセス間でデータを渡すための効率的な伝達チャンネルを提供する。

プロセスプールは、計算グラフの頂点と関連した計算を実行するためのプロセスの生成および初期化に伴うオーバーヘッドを低下させる。

動的に割り当てられたプロセスのプールの使用は、他の場合には入力を待っているプロセスにより使用されるかもしれないリソースを減少する。

本発明のその他の特徴および利点は、以下の説明および特許請求の範囲から明らかである。
説明
１．概説

以下に説明するシステムは、計算グラフで定義される計算を実行するための方法を実行する。図１を参照すると、計算グラフ１００の実施例は、一方向リンク１２０で結合された幾つかの頂点１１０を含む。図１に示す実施例においては、頂点１１０は１から６の番号が付され、リンク１２０も１から６の番号が付されている。計算グラフ１００は、例えば、取引処理システム（transaction processing system）と関係付けられた計算グラフに従い処理される個人取引（individual transaction）等の、一連のワーク要素（work element）１３０から成り立つワークフロー（work flow）を処理する。各頂点は、計算グラフ全体により定義される計算の一部と関係付けられる。本例では、頂点１は、一連の最初のワーク要素１３０に対する格納へのアクセスを提供し、その出力リンク１に一連のワーク要素を通過させる。各頂点に関係付けられる計算を実行するプロセスは、次に、ワーク要素１３０を処理し、典型的にはその頂点の一つ以上の出力リンク上にワーク要素を生じさせる。

図１に示すように、一つのワーク要素１３０はリンク１上を通過中であり、一つのワーク要素は頂点３での処理のための準備が整って待ち行列に入れられる（queued）二つのワーク要素は頂点４での処理のための準備が整って待ち行列に入れられる。従って、頂点３および頂点４のプロセスは、待ち行列に並ぶワーク要素を処理する実行準備ができている。図示のように、頂点５は、その一つの入力であるリンク４上に待ち行列に入れられるワーク要素を有するが、リンク５上にはワーク要素を有さない。従って、頂点５と関係付けられるプロセスは実行の準備が整っていない。

図２を参照すると、ワークフローを処理するためのシステム２００は、格納されたグラフデータ構造２１０を含んでいる。これらデータ構造は、グラフの頂点およびリンクの特性を含む計算グラフの仕様を含んでいる。そのシステムのグラフ実行・制御（「ＧＥＣ」）モジュール２２０は、格納されているグラフデータ構造２１０で規定された対応する計算グラフを用いて特定のワークフロー２３２を処理するコマンドを含む制御入力２２２を受信する。ＧＥＣモジュール２２０は、計算グラフの仕様を用いて、一般的に多数のプロセスで成り立ったグラフ計算処理２３０を制御する。グラフ計算処理２３０を実行するプロセスは、計算グラフの頂点に関係付けられる処理中にアクセスされるデータベースエンジン、データ記憶装置、または他のモジュール、を含む外部データおよびプロセス２４０を利用することができる。

通例、タイプが異なるワークフローは、タイプが異なる計算グラフ１００を用いて処理される。また、異なるワークフローは同時に処理されてもよく、それぞれのワークフローは一つのグラフの異なるインスタンスにより処理される。システム２００は、ＧＥＣモジュール２２０を介して、計算グラフのインスタンスに対するリソースの割り当てを行い、その実行を制御してワークフローを処理する。
２．グラフデータ構造

システム２００が含む幾つかの特徴は、限定されたリソースを効率的に共有するのは無論のこと、グラフ計算の起動を速やかにすることである。

計算グラフのインスタンスによるワークフローの処理を行う前に、ＧＥＣモジュール２２０は、機能的に共有されるメモリ内のグラフのインスタンスに対するランタイムデータ構造を生成する。一実施の形態では、グラフインスタンスの総てのランタイムデータ構造が内部で生成される単一の共有メモリセグメントが生成される。

プロセスは、ランタイム時にグラフの頂点と関係付けられ、これらプロセスのそれぞれは、共有メモリセグメントをアドレス空間にマッピングする。プロセスは、ワークフローの処理中、グラフインスタンスのランタイムデータ構造からワーク要素を読み込み、そしてワーク要素をランタイムデータ構造へ書き込む。すなわち、グラフを流れるワーク要素のデータは、共有メモリセグメント内のこのランタイムデータ構造を通してプロセスからプロセスへと通過する。

グラフ計算処理２３０は、ＵＮＩＸ（登録商標）オペレーティングシステム等の適切なオペレーティングシステムの管理下で汎用コンピュータ上でホスティングされ得る。そのグラフの一つのインスタンスに対する共有メモリは、ランタイムグラフデータ構造を保持する共有メモリセグメントを、計算グラフを実行するプロセスのアドレス空間にマッピングするメモリマッピング機能を提供する標準のシステムサービス（例えば、ＵＮＩＸ（登録商標）システムサービスのｍｍａｐ（ ）関数）を用いてアクセス可能であるのが好ましい。

図３は、計算グラフのインスタンスに対するランタイムグラフデータ構造３００の一実施の形態である。ヘッダーセクション３２０には、頂点の数３２２およびリンクの数３２４が含まれる。このランタイムグラフデータ構造３００には、異なる頂点にそれぞれ関係付けられる一連の記録３３２にあるグラフ頂点を規定する頂点セクション３３０も含まれる。ランタイム構造には、グラフの異なるリンクをそれぞれ規定するリンク記録３４２を含むリンクセクション３４０も含まれる。ランタイムグラフデータ構造３００には、ワーク要素が計算グラフの頂点間で渡され、頂点での処理の前に待ち行列に入れられるときにワーク要素データを保持するバッファセクション３５０も含まれる。

頂点セクション３３０において、各頂点記録３３２は、一般に、対応する頂点に対する入力リンク３３４およびその頂点に対する出力リンク３３５を特定するデータを含む。例えば、リンクおよび頂点は１から連続して番号が付され、ひとつの頂点に対する入力リンクおよび出力リンクのデータはこれらのリンクを含むインデックスのリストとして表されてもよい。

この実施例では、各頂点記録３３２には、待ち行列に入れられて処理を待っているワーク要素を有さない入力の数を示す入力カウント３３６に対する格納場所（storage）も含まれる。グラフ計算の実行中、この変数は、頂点に対する入力リンク数に初期化され、頂点に対する各入力に入力が利用できようになると数が一つ減らされ、入力待ち行列が空になると数が一つ増やされ、各入力に利用できる入力が存在しかつその頂点に対する処理の実行準備が整ったときにゼロになる。

この実施例では、各頂点記録３３２には、その頂点と関係付けられるプロセスのプール（プロセスプールの詳細な検討は本説明で後述する）を規定するプロセスプール識別３３７も含まれる。識別されたプール内のプロセスを用いて頂点の処理を実行する。一般に、頂点に対する処理は、識別されたプールのいずれかの要素（member）により実行され得る。プロセスはワーク要素毎に動的に割り付けられるので、ある計算グラフの一つのインスタンスにおける同一の頂点により処理される異なったワーク要素は、識別されたプールの異なる要素により処理されてもよい。頂点記録３３２は、その頂点に対する特別な処理を実行するために識別されたプールのいずれかのプロセス要素を仕立てるのに使用される構成データ３３８をオプション的に含む。

ランタイムグラフデータ構造３００のリンクセクション３４０は、リンク記録３４２内においてグラフのリンクを規定する。各リンク記録３４２には、そのリンクに対するソース頂点３４６と、それらリンクに対する宛先頂点３４７と、を識別するデータが含まれていてもよい。各リンク記録には、ランタイムデータ構造を生み出すときに用いる構成データ３４５がオプション的に含まれる。

ランタイムグラフデータ構造３００のバッファセクション３５０には、グラフのリンクと関係付けられた別々のバッファ領域３５２が相当数含まれる。各リンク記録３４２には、そのリンク記録に対応するバッファ領域３５２を識別するバッファ位置３４４が含まれるのが典型的である。各バッファ領域には、対応するリンクの宛先頂点によって未だ処理されていないワーク要素３６２を多数保持するＦＩＦＯ方式待ち行列３６０が含まれるのが典型的である。

図４を参照すると、図１に示す計算グラフ１００の例に対応するランタイムグラフデータ構造３００は、ヘッダーに６個の頂点と６つのリンクがあることを示している。頂点セクション３４０は６つの頂点記録３３２を有する。例えば、頂点１に対する頂点記録３３２は、記載事項３３４において入力リンクがないことを示し、記載事項３３５においてリンク１が出力リンクであることを示す。頂点２に対する頂点記録３３２は、リンク１が入力リンクであり、リンク２および３が出力リンクであることを示す。図１に示すように、頂点２に対するワーク要素は、処理準備がまだ整わず待ち行列に入れられていないので、頂点記録の入力カウント３３６は、依然として一つの入力が満たされていないことを示す。

リンクセクション３５０には、計算グラフの各リンクにつき一つ、合計６つのリンク記録３４０が含まれる。例えば、リンク１のリンク記録３４２は、ソース頂点が頂点１であることを示す記載事項３４６、および、宛先頂点が頂点２であることを示す記載事項３４７を有する。リンク記録３４２の記載事項３４４は、バッファセクション３５０の対応するバッファ記録３５２にアクセスする方法を提供する（例えば、グラフデータ構造におけるバイトオフセットによる）。各バッファ記録３５２には、ＦＩＦＯ方式待ち行列３６０が含まれる。各ＦＩＦＯ方式待ち行列３６０は、多数のワーク要素３６２に対するデータを保持できる。図１に示す例に対応して、リンク２および４に対するＦＩＦＯ方式待ち行列３６０は一つのワーク要素を保持し、リンク３に対するＦＩＦＯ方式待ち行列３６０は２つのワーク要素を保持し、残りの待ち行列は空である。

図３を再度参照すると、ランタイムグラフデータ構造３００のある部分は、同一タイプのグラフのインスタンスの総てに共通なテンプレート３１０である。各頂点記録３３２の入力カウント３３６を除いて、ランタイムデータ構造の前記テンプレートの部分は変化しない。頂点に対する入力カウント３３６は、同一タイプのグラフのインスタンスの総てに対し共通の値、すなわち、頂点に対するどの入力も最初は満たされないことを示す同頂点の入力数に初期化される。

各タイプの計算グラフに対するテンプレート３１０は、そのタイプのグラフのインスタンスに対するランタイムデータ構造が必要となる前に事前計算される。次に、ランタイムインスタンスの生成には、本質的に、ランタイムデータ構造３００全体に対するメモリの割り付けとその割り付けられたメモリへの適切なテンプレート３１０のコピーとが含まれる（ＦＩＦＯ方式待ち行列３６０の構造に依存するが、バッファセクション３５０に何らかの最小限の初期化が要求されることもある）。
３．プロセスプール

上記で紹介したように、頂点に対する計算は、プロセスプールを用いて実行される。多数の異なるタイプの頂点の計算毎に、そのタイプの計算を要求する計算グラフを用いたワークフローの処理の開始に先立って、プロセスプールが生成される。グラフインスタンスによるワークフローの処理期間中、特別なタイプの計算がグラフ頂点に対する計算の実行に必要となる場合、プロセスプールの要素はその頂点と動的に関係付けられ、そのワークフローの処理中その頂点と関係付けられたままとなる。一般に、異なるプロセスプールが数多くあり、それぞれが、対応する処理のタイプと関係付けられている。あるプールのプロセスを、別のタイプのグラフ内の頂点、あるタイプのグラフの別のインスタンス内の頂点、および、あるタイプのグラフの複数の異なる頂点に用いてもよい。

プロセスプールの各プロセスは、プロセスプールを管理するＧＥＣモジュール２２０が呼び出す別々のプロセス（例えばＵＮＩＸ（登録商標）プロセス）である。ＧＥＣモジュール２２０は、プロセスプール毎に別々のワーク待ち行列を維持する。ワーク待ち行列の各エントリは、プロセスが計算を実行する対象であるグラフインスタンスの特定の頂点を識別する。

説明した実施の形態では、プールのプロセスが最初に生成されるとき、それはグラフインスタンスに対する共有メモリセグメントをプロセスのアドレス空間にマッピングすることを含む初期化手順を実行する。初期化手順の完了後、そのプールに対するワーク待ち行列内の要素と関係のある処理を実行するようにＧＥＣモジュール２２０が合図するまで、プロセスは待機する。代替メカニズムを幾つかを用いてプロセスに合図できる。システムの一つのバージョンでは、ＧＥＣモジュール２２０が、そのモジュールとプールの各プロセスとの間で制御情報を渡すための別々の制御チャンネルを維持する。各プールプロセスは、プールプロセスが実行すべきことを指し示す制御プロセスからの入力を待つ間「ブロック」する。

プロセスプールの幾つかは、固定されたリソースを確保または消費するプロセスで成り立っている。このようなプロセスプールの例は、Ｏｒａｃｌｅ（登録商標）データベース等のデータベースへの接続を生成するプロセスの多数のインスタンスで成り立っている。各データベースへの接続を形成及び維持するためにリソースが消費されるので、アクティブの状態にあるそのようなプロセスの数を制限することが望ましい。頂点で処理されるべきワーク要素が、データベースにアクセスするためのプロセスを要求する場合、（データベースとの接続を既に確立した）プールのプロセスのうち一つがその頂点と関係付けられる。このようにして、そのデータベースに接続することが要求されたであろうプロセスの初期化ステップのような、プロセスを起動するオーバーヘッドが回避される。

システム２００は、頂点がプールプロセスと関係付けられる場合と、頂点の計算を初期化すると、において異なる、頂点に対するプロセスを構成するための種々の手法、をサポートする。一構成形式では、プロセスは、その入力ワーク要素全てのデータが完全に利用可能となるまで、頂点と関係付けされない。ワーク要素が大きな場合、上流の頂点がワーク要素全体を計算して利用可能とするのに幾らかの時間がかかることもある。この形式の構成は、入力が利用可能となるのを待つプロセスをブロックすることを回避する。

別の形式の構成は、ストリームモードを用いる。プロセスは、少なくとも各入力の開始が利用可能であるとき、頂点と関係付けられ始動させられる。その入力それぞれの残りは、プロセスを実行中において利用可能となる。その入力が十分速やかに利用可能となる場合、プロセスは入力待ちをブロックしない。しかしながら入力が利用可能とならない場合、プロセスは入力待ちをブロックすることになろう。

別の形式の構成は、ディスクバッファモードを用い、このモードでは、ディスクまたは他の記憶装置にバッファリングされているデータフローが明示的に識別される。例えば、上流プロセスはその出力をディスクに書き込み、下流プロセスはその入力全体がディスクから読み出し可能となったとき通知されるにすぎない。このようなデータフローに対して、対応するＦＩＦＯ方式待ち行列３６０の記載事項３６２は、データをＦＩＦＯ方式待ち行列に直接保持するのではなく、ディスク上のデータの位置を識別する。この構成は、入出力に対するメモリ空間バッファを用いるのではなくディスクを用いるので、ＦＩＦＯ方式待ち行列を保持する共有メモリセグメントを温存する。

様々な度合いのプロセスプール特異性もある。一形式のプールは、特定のタイプのグラフの特定の頂点に非常に良く仕立てられたプロセスで成り立っている。別の形式のプールでは、プロセスはもっと一般的であり、多数の異なる頂点に適用可能である。このようなプロセスは、特定の頂点と関係付けられる時点でカスタマイズされる。例えば、プール内のプロセスは、幾つかの異なる種類のデータ変換にとって一般的なデータ変換器プロセスから成り立っている。特定の頂点と関係付けられる構成データ３３８は、その特定の頂点に対する変換器を構成するために用いられる情報を提供する。さらに一般的なプロセスプールでは、各プロセスは、Ｊａｖａ（登録商標）仮想マシン（ＪＶＭ）等の仮想マシンを実現してもよく、頂点に対する構成データ３３８は、仮想マシンを用いて実行するプログラムを識別する。

プロセスが通知を受けて、そのプールに対するワーク待ち行列のエントリを処理する場合、プロセスはワーク要素を処理する前に任意の構成データ３３８に作用する。そのプロセスは、その処理が関係付けられる頂点を最初に識別し、次いで、共有メモリセグメント内の対応する頂点記録にアクセスして構成データ３３８を探すことにより、構成データにアクセスする。次に、プロセスは、その頂点の入力リンクに対するＦＩＦＯ方式待ち行列３６０内の処理するべきワーク要素３６２を見つける。そして、処理が完了すると、その頂点の出力リンクに対するＦＩＦＯ方式待ち行列にデータを書き込む。
４．計算制御

図５から８を参照すると、システム２００は、ＧＥＣモジュール２２０によって調整されるイベント駆動型制御手法を用いる。

図５は、システム初期化のフローチャートである。ＧＥＣモジュール２２０は最初に、プロセスプールと、それらに関係付けられるワーク待ち行列とを生成する（ステップ５１０）。このステップの一部として、ＧＥＣモジュール２２０は、各プロセスプールに対して別々のワーク待ち行列を生成する。次いで、ＧＥＣモジュール２２０は、ワークフローの処理に必要となる計算グラフの各タイプに対するアドレス空間にグラフテンプレート３１０を生成し、グラフインスタンスに対するランタイムデータ構造が生成されることになる共有メモリセグメントを生成する（ステップ５２０）。

図６は各ワークフローを処理するためのフローチャートである。ＧＥＣモジュール２２０がワークフローを処理するリクエストを受けた場合、そのワークフローの処理に必要な計算グラフの形式のグラフインスタンスを最初に生成する（ステップ６１０）。このプロセスの一部として、ＧＥＣモジュール２２０は、そのグラフインスタンスに対するランタイムデータ構造３００のために共有メモリセグメントの一部を割り当て、そのタイプの計算グラフに対するグラフテンプレート３１０をランタイムデータ構造３００にコピーし、それにより、ランタイムデータ構造を初期化する。次いで、ＧＥＣモジュール２２０は、下記のようにグラフインスタンスを実行する（ステップ６２０）。ワークフロー全体が処理されたとき、ＧＥＣモジュール２２０は、割り当てられたリソースを開放し、グラフインスタンスのランタイムデータ構造を削除することが好ましく、その結果、共有メモリセグメントのその部分を他のグラフのインスタンス用に再利用できる（ステップ６３０）。

図７は、計算グラフのインスタンスを実行するためのフローチャートである。グラフインスタンスの実行（図６、ステップ６２０を参照）は、どれかが入力カウントゼロを有する（これは、実行前に任意のフロー上の入力を必要としないことを示すのであるが）ように初期化されるか否かを決定するために、最初にグラフの頂点をスキャンする（ステップ７１０）。入力カウントゼロの頂点は、実行可能であり、且つ、関係付けられるそれらのプロセスプールに対するワーク待ち行列に加えられる（ステップ７１２）。本例の最初の頂点はいかなる入力リンクも備えていないので、グラフインスタンスの実行が始まり、それがワーク待ち行列に加えられると、実行準備が整う。これら頂点に対する計算を実行するのに利用できるプロセスプール内のプロセスがある場合（ステップ７２０）、ＧＥＣモジュール２２０はその計算リソースをグラフインスタンスに割り当て、直ちに計算を実行処理するよう通知し、そしてワーク待ち行列からエントリを取り出す（ステップ７３０）。プールからプロセスが利用できない場合、後にプール内のプロセスが別のグラフインスタンス内の頂点に対する計算の実行を完了して、利用可能となる時まで、最初に実行可能な頂点がワーク待ち行列に留まる。

頂点に対する計算を実行するプロセスプール内のプロセスは、入力ワーク要素を入力リンクに対するＦＩＦＯ方式待ち行列３６０から取り出し、出力ワーク要素をその頂点の出力リンクに対するＦＩＦＯ方式待ち行列３６０に入れる。好ましくは、ＦＩＦＯ方式待ち行列からワーク要素を取り出したり入れたりすることは、実行可能な頂点に関係付けられる入力カウント３３６が値ゼロになるように、頂点の入力カウント３３６を維持する。ときとして入力が処理に利用できない場合、プロセスは、上流の頂点が入力を作成し、ＦＩＦＯ方式待ち行列に入れるまで、ブロックする。プロセスが頂点でワークフローに対する計算を完了すると、プロセスはＧＥＣモジュール２２０にプロセスが完了したことを通知する。ＧＥＣモジュール２２０は次いで、プロセスを、そのプロセスプールに対するワーク待ち行列に入れられた別の頂点に割り当てることができる。

図８は、頂点に対する処理を完了させるフローチャートである。プロセスが処理を完了し、従って、プロセスを別の頂点に割り当てることが可能であることをプロセスがＧＥＣモジュール２２０に通知すると、ＧＥＣモジュール２２０は、まず、何れかのグラフインスタンスにおいて実行可能な頂点があるかどうかチェックする（ステップ８１０）。上記のように、実行可能な頂点は、それの入力リンクそれぞれが読み出し準備が整っているワーク要素を持つ頂点であり、それは、その頂点に対する頂点記録３３２の入力カウント３３６がゼロであることにより示される。実行可能な頂点は、対応するプロセスプールの適切なワーク待ち行列に追加される（ステップ８２０）。ワーク待ち行列にある頂点に対する計算の実行に利用できる何らかのプロセスがある場合（ステップ８３０）、総てのこのようなプロセスは、実行可能な頂点に対する計算を実行するよう通知される（ステップ８４０）。

最後に、もはや実行可能な頂点が無くなったグラフインスタンスは、そのワークフローの処理を完了し、ＧＥＣモジュール２２０はそのグラフインスタンスの実行を完了し（ステップ８５０）、その結果、そのグラフインスタンスは削除される（図６、ステップ６３０を参照）。

上記計算制御は、多くの別のワークフロー手法をサポートする。例えば、一つのワークフローは単一の取引と関係付けられてもよく、頂点は、入力リンクそれぞれについて多くても一つのワーク要素を処理し、その出力にゼロまたは一個のワーク要素を生成してもよい。ワークフローは、例えば、取引のバッチ全体を処理するための、ワーク要素のストリームと関係付けることもできる。このような場合、各頂点は入力ストリームを処理し、それの入力の各セットについてゼロまたは一個の出力を生成する。

入力がまだ利用可能でないのとは対照的に、頂点がそれ以上の入力を受け取らないことを検出するために、各上流頂点はオプションとしてそれの下流リンクに明示的な終止符号（explicit terminator）を送る。これらの終止符号は、ワーク要素と同じ方法で待ち行列に入れられ、入力カウントに影響を与える。従って、頂点がその入力の各々に終止符号を有する場合、頂点は、その処理を終了させる前に、出力の各々に終了符号を出力する。この終了符号を用いれば、処理を行うプロセスは単一取引または取引のストリームを処理するように予め構成される必要がない。
５．代案

上記の計算制御手法においては、プロセスプールからのプロセスがグラフインスタンスの頂点に割り当てられた後、プロセスがワークフローのワーク要素の処理を完了するまでプロセスは自由に実行できる。代替案は、例えば、作成した未処理の出力の量や、作成した入力の量に従って、または処理時間に従って、頂点での処理量を制限することである。

別の代替案は、頂点が実行可能となった時点から同頂点がワークフローの処理を完了するまで、プロセスを頂点に割り当てるという要件を緩めることである。ワークフローに対するワーク要素のストリームにおける連続するワーク要素を処理する間の状態を頂点が維持しなくてよければ、プロセスは幾つかのワーク要素を処理した後、例えば単一のワーク要素を処理した後、プールへ戻され得る。従って、同一のグラフインスタンスにあっても、同一のプロセスは多数の異なる頂点の処理を実行するために使用され得る。ひとつのストリーム内のワーク要素を処理する間の状態をプロセスが維持しなければならないならば、このような状態は、頂点に対して別々に維持されることができ、プロセスが頂点に割り当てられるときにプロセスに再ロード（reload）され得る。

計算制御の多くの最適化が使用され得る。最初の最適化では、グラフインスタンスを介するワークフロー終止符号の伝搬は、入力の総てが終止符号である場合、プロセスを頂点と関係付けることを回避する。入力上の終止符号は待ち行列から取り出され、一つの終止符号が各出力上において待ち行列に入れられる。別の最適化では、頂点に対する処理を完了するプロセスは、下流の頂点を処理するために、そのプロセスが適切かどうかチェックし、次いで、そのプロセス自体をその下流の頂点に関係付けることができ、それによりプロセスプールにそのプロセスを戻して頂点に再割り当てする必要性を回避することができる。

別の代替案として、プロセスプールのプロセス数は、随意的に増減可能である。例えば、あるオプションでは、プールのメンバの最小数が存在する。そのプールに対する要求次第で、プールの追加要素が生成され、続いて、プールプロセスが活動していなくなるにつれて、これらの要素を次第に除去する。別のオプションは、プールにおける要素の数を決定するためのスケジュールを使用することである。例えば、一日の内の様々な時間において、もっと多くの要素に対するより大きな必要性があり得る。例えば、システムが活発な取引を処理している場合、特定のタイプの取引は、一日の内のある時間より、別の時間の方が発生頻度が高くなるかもしれない。

代替または追加として、プロセスプールの要素として「重い」処理を用いると、別のタイプのプロセスからプールを作り上げることができる。例えば、代替のプールの一つのタイプは、全体として単一のＵＮＩＸ（登録商標）プロセスをプールに用いることができるが、要素「プロセス」は、事前に生成されて実行準備が整っている軽いスレッドであってもよい。

別の代替案は、あるグラフプールを必要とすることになるであろうワークフローが存在することを予測して、既に例示された計算グラフのグラフプールを事前に生成しておくことである。ワークフローがグラフインスタンスを必要とするとき、グラフプールから利用できるものがあれば、生成される必要はなく、むしろ、そのプールからあてがわれる。このようにして、ワークフローの起動に要する時間はさらに減少せしめられる。そのワークフローのための計算が完了されたとき、変数がワークフローに割り当てられることに先立ち、変数が初期値に戻され（例えば、入力カウント３３６をリセットし）、動的に割り当てられるいずれのメモリも開放することにより、グラフはリセットされる。グラフはリセットされた後にプールへ戻る。

プロセスプールと同様に、グラフプールにおけるグラフインスタンスの数は、必要に応じて増加させることができる。例えば、グラフ毎に最低数のインスタンスしかないこともあり、必要に応じてより多くのインスタンスが生成されてもよい。

システムの代替バージョンにおいては、各プロセスプールに対するワーク待ち行列は必要ない。例えば、プールプロセスの要素が新しいタスクに取りかかる準備が整ったときには、いつでも、ＧＥＣモジュール２２０はグラフインスタンスの各々における総ての頂点の総てのインスタンスをスキャンして、そのワークを引き受ける適切なプロセスがあるかどうか調べることができる。他の代替法には、実行可能な頂点を識別するのに、ワーク待ち行列以外のデータ構造を用いることが含まれる。例えば、ハッシュテーブルを用いて実行可能な頂点を識別できる。

上記の説明では、オン・デマンド方式でグラフの頂点にプールプロセスを割り当ててもよく、その場合、その頂点への入力の総てが利用可能となるまでは、プールプロセスはその頂点と関係付けられない。別の手法は、ワークフローがグラフインスタンスと関係付けられるときにプロセスを頂点に関係付け、ワークフロー全体が処理されるまでその関係を維持することである。

上記説明のように、ランタイムデータ構造は、計算グラフの全体を定義する。システムの代替バージョンにおいて、上述した手法は、計算グラフの頂点間の伝達のためのより伝統的な手法と組み合わせることができる。例えば、別々のランタイムデータ構造をグラフの別のサブグラフと関係付けることができる。次いで、メモリを共有しないプロセッサ上で別のサブグラフを実行でき、異なるプロセッサ上の頂点間の伝達には、ソケット等の伝達手法を用いることができる。

上述した手法を他のグラフ仕様に拡張できる。例えば、各種のネストされた計算グラフのためのテンプレートからグラフインスタンスを組み合わせて作ることにより、計算グラフの階層仕様を実現することができる。

上述したように、ＧＥＣモジュール２２０は、作業メモリ内においてグラフテンプレートを計算して、これを格納する。代替案として、これらグラフテンプレートを磁気ディスク等の外部メモリに格納できる。別の代替案として、グラフテンプレートは、必ずしも、グラフインスタンスを形成するために再生されるメモリイメージである必要はない。例えば、グラフテンプレートには、対応するグラフインスタンスを形成するために用いられる圧縮表現またはシンボル表現を含めることができる。

一般に、例えば、使用するオペレーティングシステムに応じて、各種共有メモリの代替形式を用いることができる。
６．用途

上記タイプの計算グラフの一用途は、銀行業の用途における金融取引処理に対するものである。一般に、取引形式が異なると別のタイプの計算グラフが必要となる。典型的な計算グラフは、顧客取引のタイプと、取引の処理に必要な「バックエンド」サービスと、の組合せに関係付けられる。例えば、取引は、ＡＴＭの要求、銀行窓口入力およびコンピュータ間またはウェブサーバ間のビジネス間取引のこともある。特に、銀行が合併し、顧客が元の異なる銀行から成り立っている場合、異なる顧客は異なるバックエンドシステムを持つこともある。全員が承継銀行の顧客達であっても、その顧客達の口座は、大きく異なるバックエンドシステム上で維持されているかもしれない。従って、グラフの異なる頂点が異なる取引を処理するように使用され得る。異なるサービスがグラフの頂点と関係付けられてもよい。例えば、収支の更新、口座への預金または資金を口座に保有するよう口座保有を実行する等の機能と幾つかの頂点を関係付けてもよい。本発明によれば、頂点へのオン・ザ・フライのプロセス割り当てにより、未使用の活動していない頂点に対する処理に伴うオーバーヘッドが回避される。
７．実装

本発明は、ハードウエアまたはソフトウエア、もしくは両者の組合せ（例えば、プログラマブルロジックアレイ）で実装できる。特に明示しない限り、本発明の一部として含まれるアルゴリズムは、何らかの特定のコンピュータまたは他の装置と本質的には関連していない。特に、本明細書の教示に従って書かれたプログラムとともに各種の汎用マシンが使用され得る。或いは、より特化した装置（例えば、集積回路）を構築して特定の機能を実行すると更に便利である。従って、本発明は、プログラム化された又はプログラム可能な一以上のコンピュータシステム（分散型、クライアント／サーバ又はグリッド型等の各種のアーキテクチャでもよい）上で実行する一つ以上のコンピュータプログラムに実装してもよい。そのコンピュータシステムは、それぞれ、少なくとも一つのプロセッサ、少なくとも一つのデータ格納システム（揮発性および不揮発性メモリおよび／または記憶素子を含む）、少なくとも一つの入力装置またはポート、および少なくとも一つの出力装置またはポートを備える。プログラムコードを入力データに適用して、本明細書で説明した機能を実行し、出力情報を生成する。出力情報は、既知の方法で一台以上の出力装置に出力される。

このような各プログラムは、所望の任意のコンピュータ言語（機械語、アセンブリ言語、または高度プロシージャ、論理型、もしくはオブジェクト指向プログラム言語を含む）で実装され、コンピュータシステムと通信してもよい。いずれの場合も、言語は、コンパイル型またはインタプリタ型言語のどちらであってもよい。

このような各プログラムは、汎用または専用プログラマブルコンピュータで読取可能な記憶媒体または装置（例えば、固体メモリもしくは媒体、磁気もしくは光媒体）に格納またはダウンロードするのが好ましい。本明細書で説明した手順を実行するために記憶媒体または装置がコンピュータシステムにより読み取られるとき、コンピュータが構成され操作される。発明性のある本システムは、コンピュータプログラムで構成されたコンピュータ可読記憶媒体として実装されると考えてもよく、その場合、そのように構成された記憶媒体は、本明細書で説明した機能を実行するように、コンピュータシステムを特定かつ所定の方法で動作させる。

言うまでもなく、これまでの説明は、本発明の範囲を例示するものであって、本発明の範囲を限定する意図はなく、本発明の範囲は付帯する特許請求の範囲により定義される。その他の実施の形態は特許請求の範囲に含まれる。

図１は、グラフに基づく計算のインスタンスを説明する線図である。 図２は、ワークフローを処理するためのシステムの論理ブロック図である。 図３は、グラフインスタンスのデータ構造の一実施の形態である。 図４は、図１に示す計算グラフに対するデータ構造である。 図５は、システム初期化のフロー図である。 図６は、各ワークフローを行うためのフロー図である。 図７は、計算グラフのインスタンス実行のフロー図である。 図８は、頂点処理を終えるためのフロー図である。

Claims (21)

1. グラフに基づく計算を処理するための方法であって、
   異なるタイプの計算グラフにそれぞれが関係付けられる一つ以上のグラフテンプレートを提供するステップであって、各計算グラフは、対応する計算とそれぞれが関係付けられる幾つかのグラフ要素を含み、
   計算リソースの一つ以上のプールを形成するステップであって、計算の各グラフ要素は、計算リソースの前記プールの対応する一つと関係付けられ、および、
   対応するタイプの計算グラフにそれぞれが関係付けられる一つ以上のデータストリームを処理するステップであって、前記データストリームそれぞれに対して、
   前記対応する計算グラフに対するグラフテンプレートからグラフインスタンスを形成するステップ、
   前記グラフインスタンスの前記各グラフ要素に対して、計算リソースの対応するプールから、計算リソースを割り当てるステップ、および、
   前記グラフインスタンスにより前記データストリームを処理するステップであって、前記割り当てた計算リソースを用いて、前記グラフインスタンスの前記グラフ要素と対応する前記計算を実行するステップを含む方法。
2. 前記グラフ要素は前記計算グラフの頂点を含む、請求項１の方法。
3. 前記グラフ要素は前記計算グラフのリンクを含む、請求項１の方法。
4. 前記計算リソースはプロセスを含む、請求項１の方法。
5. 前記計算リソースはプロセススレッドを含む、請求項１の方法。
6. 前記計算リソースはデータベースへの連結を含む、請求項１の方法。
7. 前記一つ以上のグラフテンプレートを提供するステップは、揮発性メモリ内に前記テンプレートを格納することを含む、請求項１の方法。
8. 前記一つ以上のグラフテンプレートを提供するステップは、不揮発性メモリ内に前記テンプレートを格納することを含む、請求項１の方法。
9. 前記グラフテンプレートから前記グラフインスタンスを形成するステップは、揮発性メモリ内に前記インスタンスを形成することを含む、請求項１の方法。
10. 前記グラフインスタンスを形成するステップは、前記メモリの一部を前記グラフインスタンスに割り当てるステップと前記メモリのこの部分に前記グラフテンプレートをコピーするステップとを含む、請求項９の方法。
11. 計算リソースを割り当てるステップは、前記リソースのそれぞれを、前記データストリーム上の計算の一部に対して動的に割り当てるステップを含む、請求項１の方法。
12. 前記計算の一部を処理するために前記リソースのそれぞれを動的に割り当てるステップは、前記計算の一部に対する総ての入力のうちの少なくともある部分が利用可能であるときに生じる、請求項１１の方法。
13. 前記計算の一部を処理するために前記リソースのそれぞれを動的に割り当てるステップは、前記計算の一部に対する総ての入力が利用可能であるときに生じる、請求項１２の方法。
14. 前記リソースそれぞれを動的に割り当てるステップは、前記グラフ要素から前記計算リソースの割り当てを停止するステップを含む、請求項１１の方法。
15. 計算リソースを割り当てるステップは、総ての前記データストリームを処理するために前記グラフ要素に対して前記計算リソースのそれぞれを割り当てるステップを含む、請求項１の方法。
16. グラフ要素に割り当てられた前記計算リソースを解放するステップと、前記グラフのインスタンスを破棄するステップとを更に含む、請求項１の方法。
17. 前記一つ以上のデータストリームを処理するステップは、異なる計算グラフとそれぞれが関係付けられる少なくとも二つのデータストリームを同時に処理するステップを含む、請求項１の方法。
18. 前記異なる計算グラフそれぞれのインスタンスの少なくとも一つのグラフ要素は、計算リソースの同一の対応するプールと関係付けられる、請求項１７の方法。
19. 計算リソースの前記同一の対応するプールの少なくとも一つの計算リソースは、前記異なる計算グラフの前記インスタンスの前記少なくとも一つのグラフ要素に、異なる時点において割り当てられる、請求項１８の方法。
20. コンピュータ可読媒体に格納され、グラフに基づく計算を処理するためのコンピュータプログラムであって、前記コンピュータプログラムは、コンピュータシステムが、
    異なるタイプの計算グラフにそれぞれが関係付けられる一つ以上のグラフテンプレートを提供し、前記各計算グラフは、対応する計算とそれぞれが関係付けられる相当数のグラフ要素を含み、
    計算リソースの一つ以上のプールを形成し、計算の前記各グラフ要素が計算リソースの前記プールの対応する一つと関係付けられており、および、
    対応するタイプの計算グラフにそれぞれが関係付けられる一つ以上のデータストリームを処理し、前記データストリームそれぞれに対して、
    計算リソースの前記対応する計算グラフに対するグラフテンプレートからグラフインスタンスを形成し、
    前記グラフインスタンスの前記各グラフ要素に対して、対応するプールから計算リソースを割り当て、および、
    前記グラフインスタンスにより前記データストリームを処理し、前記割り当てた計算リソースを用いて、前記グラフインスタンスの前記グラフ要素と対応する前記計算を実行するようにさせる命令を含むコンピュータプログラム。
21. グラフに基づく計算を処理するためシステムであって、
    異なるタイプのグラフに基づく計算とそれぞれが関係付けられ且つデータ記憶装置に格納された一つ以上のグラフテンプレートであって、前記各テンプレートは、対応する計算とそれぞれが関係付けられる相当数のグラフ要素を備え、
    計算リソースの一つ以上のプールを形成する手段であって、グラフテンプレートの前記各グラフ要素は、計算リソースの前記プールの対応する一つと関係付けられ、および、
    対応するタイプのグラフに基づく計算にそれぞれが関係付けられる一つ以上のデータストリームを処理する手段であって、それぞれの前記データストリームに対して、
    前記対応するタイプのグラフに基づく計算と関係付けられるグラフテンプレートからグラフインスタンスを形成し、前記グラフインスタンスは、前記グラフテンプレートの前記グラフ要素と対応するグラフ要素を有し、
    前記グラフインスタンスの前記各グラフ要素に対して、計算リソースの前記プールの対応する一つから、計算リソースを割り当て、および、
    前記グラフインスタンスにより前記データストリームを処理し、前記割り当てた計算リソースを用いて、前記グラフインスタンスの前記グラフ要素に対応する計算を実行する手段を含むシステム。
    

Images