JP2001500656A - データフロー計算におけるバッファデッドロックの防止方法 - Google Patents

Abstract

(57)【要約】 データフロー計算用のバッファデッドロック防止技術である。本発明は以下のアルゴリズムを実行する。（1）「下流」プログラムの各入力に対して補助バッファを提供し、（2）こうした入力が共用の上流プログラムから直接又は間接的に来た場合に、及び来た場合のみに、2つの入力が同一の入力セット内に入るように、各下流プログラムの入力を互いに素の入力セットに区分し、（3）ある入力セット内の入力Iを介して、上流プログラムから下流プログラム内へのデータの読出しを試み、（4）現在、入力Iからの使用可能なデータがなく、同じ入力セット内のその他の入力Jが使用可能なデーとを有する場合、前記入力Jの各々から使用可能データを読出し、次に前記データを、使用可能なデータが全ての前記入力J上で消費されるまで、又はデータが入力I上で使用可能になるまで、入力Jに対応する補助バッファに記憶する。

Description

【発明の詳細な説明】 データフロー計算におけるバッファデッドロックの 防止方法 背景 2．発明の範囲 本発明はデータ処理に関するものであり、より詳細には複合データフロー計算 に関するものである。 3．関連技術の説明 複合データ処理アプリケーションは、様々な処理段階の出力と入力をリンクす ることで、コンポーネントを通信チャネル（例えばTCP/IP）の手段によって組立 てることができる。一般に、こうした通信チャネルのデータバッファは容量が限 られている。チャネルバッファが消耗するとチャネルが「ブロック」するため、 それ以上のチャネルへの書込みが不可能になる。例えば、高速プログラムの出力 を遅いプログラムの入力に接続している等のほとんどの場合において、この閉塞 は無害である。こうした状況の下で、通信チャネの有限バッファリング容量は計 算を制御するようにはたらくため、高速なプログラムと遅いプログラムとの差が それほど開いてしまうことはない。 しかしながら、特定の状況において、チャネル閉塞は「デッドロック」と呼ば れるシステム障害を引起すことがある。第1図、第2図は、チャネル閉塞の単純な 例を示すデータフロー図である。第1の「上流」プログラム100が2つの出力101、 102を生成し、第2の「下流」プログラム103が2つの入力104、105を必要とすると 考える。さらに、2つの通信チャネル106、107を介して、上流プログラム100の出 力が下流プログラムの入力とリンクしていると考える。 第2図に示したように、計算の最中に以下に示す状況のセットが発生する 可能性がある。 ●上流プログラム100がその第1出力101へのデータの書込みを望む。 ●下流プログラム103がその第2入力105からのデータの読出しを望む。 ●第1通信チャネル106が満杯である（そのバッファスペースが完全にコミットさ れている）。 ●第2通信チャネル107がナルである（未転送データが存在しない）。 上流プログラム100、下流プログラム103のいずれもこれ以上進展することがな いため計算は完了しない。この状況は一般にデッドロックとして知られている。 この説明においてはこれを「バッファデッドロック」と呼ぶ。 バッファデッドロックの可能性がアプリケーション障害を引起すことがあるた め、データフロー計算におけるバッファデッドロックを防止する方法は非常に有 用である。本発明はこの問題の解決法を提供するものである。 発明の概要 本発明は、以下のアルゴリズムを実行する、データフロー計算用のバッファロ ック防止技術を包含するものである。 ●２以上の入力Iを備えた任意の「下流」プログラムは補助バッファスペースの プールと共に提供される。好ましい実施例において、各入力Iは、補助バッファ スペース内の連続するデータブロックと関係した「据置き入力待ち行列」と関連 している。 ●各下流プログラムの入力を、互いに素な入力セットであって、これらが、共通 のソースプログラムから直接又は間接的に入力を入手した場合に、及び、場合の みに、2つの入力が同一の区分内に入るように区分する。 ●下流プログラムが、使用可能なデータが存在しない入力Ｉを介して「上流」プ ログラムからデータを読出す必要がある場合であって、かつ、同じ入力セットの 他の入力Ｊに使用可能なデータが存在する場合に、下流プログラムは、使用可能 なデータが全ての入力Ｊ上で消耗されるまで、又 は、所望の入力Ｉ上でデータが使用可能になるまで、各入力Ｊから使用可能デー タを連続的に読出し、各入力Ｊに対応する補助バッファに記憶する。好ましい実 施例において、これは、補助バッファから記憶ブロックを割当て、この記憶ブロ ックをデータで充填し、据置き入力待ち行列にこの記憶ブロックを加えることに よって実行される。補助バッファが満杯である場合には、デッドロックの危険を 犯すのではなく下流プログラムをアボートする。 ●下流プログラムが補助バッファにデータを有するいずれかの入力Ｉからのデー タを読出す必要がある場合、対応する通信チャネルからではなく、補助バッファ からデータが抽出される。 添付の図面と以下の説明において、本発明の1つ以上の実施例について述べる 。 図面の説明 第1図、第2図は、従来技術におけるチャネル閉塞の単純な例を示すデータフロ ー図である。 第3図、第4図、第5図、第6図は、本発明によるバッファデッドロック防止技術 の実施例を示す連続のデータフロー図である。 第7図は、本発明を適用することができる複合データフローグラフである。 第8図、第9図、第10図は、本発明による、多重データ生成ノード用のバッファ デッドロック防止技術の実施例を示す連続のデータフロー図である。 複数の図面において、同様の要素は同一の参照符号で示している。 発明の詳細な説明 第3図、第4図、第5図は、本発明によるバッファデッドロック防止技術の実施 例を示す連続のデータフロー図である。第1図に示したタイプのバッフ ァデッドロックは、以下のアルゴリズムを実施することで防止できる。 ●２以上の入力104、105を有する「下流」プログラム103は、補助バッファスペ ース108のプールと共に提供される。補助バッファスペースは一般に、第l記憶装 置（例えばRAM）と第2記憶装置（例えばディスク）を組合せたものである（第３ 図）。好ましい実施例において、各入力104、105は、補助バッファスペース108 内の連続したデータ記憶ブロックに関係する「据置き入力待ち行列」109、110に 関連している。好ましい実施例において、据置き入力待ち行列109、110は先入れ 先出し（FIFO）待ち行列として構成されている。 ●下流プログラム103が、使用可能なデータが存在しない入力105を介して「上流 」プログラム100からデータを読出す必要がある場合であって、かつ、下流プロ グラム103への1つ以上の別の入力104でデータが使用可能である場合、下流プロ グラム103は、使用可能なデータが他の全ての入力104上で消耗されるまで、又は 所望の入力105上でデータが使用可能になるまで（第5図）、各入力104から使用 可能データを連続的に読出し、補助バッファスペース108から割当てられた対応 する記憶ブロックにこのデータを記憶する（第4図）。好ましい実施例において 、バッファ割当てには、補助バッファスペース108からの記憶ブロックの割当て 、この記憶ブロックをデータで充填すること、据置き入力待ち行列109に記憶ブ ロックへの参照を加えることが含まれる。補助バッファスペース108が満杯であ り、さらにデータをバッファする必要がある場合には、デッドロックの危険を犯 すのではなく下流プログラム103をアボートする。 ●下流プログラム103が据置き入力待ち行列109にデータを有する入力104からデ ータを読出す必要がある場合、対応する通信チャネル106からではなく、据置き 入力待ち行列109で参照される記憶ブロックからデータを抽出する（第6図）。記 憶ブロックからのデータが消費されると、記憶ブロックが補助バッファスペース 108へと戻される。 1対の通信チャネル106、107によって接続された単純な2つのプログラム100、1 03の場合のものとしてこの解決法を説明したが、通信チャネルとプログラムの数 に関わらず、また、グラフの接続の複雑性に関わらず、全ての非巡回データフロ ーグラフに適用できる。例えば第7図では、より複雑なデータフローグラフに本 発明を適用している。 上に略述したこの方法が抱えるある現実的な問題は、多重データ生成ノードと 共に使用した場合、不必要にデータをバッファしてしまうことである。例えば、 単一出力112を備えた上流プログラム111を追加し、下流プログラム103に新規の 入力114を追加し、単一出力112を新規の通信チャネル113を備えた新規入力114と 接続し、上述した方法で据置き入力待ち行列115を追加することにより第3図の例 を第8図に示すように発展させるものとする。さらに、新規プログラム111が、古 いプログラム100よりも遅い値でデータを生成するものとする。 2重チャネル上流プログラム100が単一チャネル上流プログラム111よりもより 高速にデータを生成するという事実に基づき、下流プログラム103が、高速の上 流プログラム100からの入力チャネル106又は107のうちの1つにおいてはデータが 使用可能であるが、遅い上流プログラム111からのチャネル113においては使用可 能でないことが度々ある。上述のノード生成によれば、下流プログラム103はチ ャネル106又は107上の使用可能な入力データを消費し、このデータを据置き入力 待ち行列109又は110のうちの1つに記憶する。 ついには、第10図に示すように補助バッファスペース108が使い尽くされて、 下流プログラム103は、デッドロックが切迫していると判断して実行のアボート を余儀なくされる。これは、上述したアルゴリズムがデッドロックを防止するた めではなく、データ生成プログラム110と111との間の速度の差を補うために補助 バッファスペース108を使用しているという事実からくる都合の悪い結果である 。 この問題の解決法は、デッドロックは2つ以上の入力が共通の上流処理を共有 する場合のみに起こるものであると知ることである。これにより、デッドロック を起こしやすい計算（第1図）とデッドロックフリーな計算とを区 別することができる。 この状況を克服するための好ましい方法を以下に示す。 ●各下流プログラムの入力を、互いに素な入力セットであって、これらが、共通 のソースプログラムから直接又は間接的に入力を入手した場合に、及び、場合の みに、2つの入力が同一の区分内に入るように区分する。こうした区分の各々を 「入力セット」と呼ぶ。 ●以下に示す「分岐入力」手順を含ませるために、上述の方法をデータを据置き 入力待ち行列に記憶するように改良する。プログラムが、使用可能データが存在 しない入力Iからの読出しを望み、同一の入力セット内にあるたの任意の入力Jに 使用可能なデータが存在する場合、プログラムは入力Jからデータを読出し、そ の結果を入力Ｊに対する据置き入力待ち行列内に記憶しなければならない。 第8図の場合において、下流プログラム103は2つの入力セット[104、105]、[11 4]を備えている。下流プログラム103が、第9図に示すように、入力114から読出 し実行したいが、入力104又は105上にしか使用可能なデータが存在しないという 状況に遭遇するとする。入力104、105は入力114と同じ入力セット内にはないた め、これらのデータは据置き入力待ち行列109又は110には分岐されない。代わり に、下流プログラム103は、上流プログラム111がチャネル113上にデータを生成 するまで待機する。このデータ生成と同時に、下流プログラム103がデータを読 出し、通常通りに処理を続行する。 その一方で、下流プログラム103が入力105から読出しを希望するが、データは 105ではなく入力104上で使用可能であるとする。この場合、入力104、105が同じ 入力セット内にある事実のために、分岐入力手順が呼出される。入力104上で使 用可能なデータが、後のアクセス用にバッファされる。第3図に示した構成も、 入力104、105の両方が1つの入力セットに属しているため、分岐入力手順でカバ ーされる。 入力セットは好ましいアルゴリズムで見tuけることができる。このアルゴリズ ムには、こういったセットの和演算と積演算を計算するためのあらゆる 既知の方法と同様に、ビット・ベクトル又はリンクしたリストのようなセットを 表すための既知の方法を使用することができる。 1．上流プログラムのセットを各通信チャネル、各プログラムと関連付ける。こ うしたセットの各々は最初はナルである。Cが通信チャネルである場合、C.upstr eamはCより上流のプログラムのセットを示す。Pがプログラムである場合、P.ups treamはPより上流のプログラムのセットを示す。 2．入力セットのリストを各プログラムと関連付ける。Pがプログラムである場合 、P.inputsetsはPと関連した入力セットを示す。 3．あるプログラムP2が、第2プログラムP1によって生成された入力を消費し、次 にリスト中でP1がP2の前にくるようにするために、トポロジー的に記憶したプロ グラムのリストを作成する。このようなトポロジー的に記憶されたリストを作成 できない場合には、その計算がデッドロックフリーであると保証できないことを 表示して、アルゴリズムから出る。 4．各プログラムP上で以下のオペレーションを実行しながら、このプログラムの リストを最初から最後までトラバースする。 a.ナルのリストLを作成する。Lの各エントリは入力のセットと上流プログラ ムのセットから成る。L[i].inputsはL内のi番目のエントリの入力セットを表す 。L[i].upstreamはL内のi番目の上流プログラムセットを表す。 b.各Pの入力Iについて、 i.CをIに接続した入力チャネルにする。 ii.L内の各要素L[i]について、 (1)L[i].upstreamのC.upstreamとの積演算がナルでない場合は、L[V] .upstream=L[i].upstream∪C.upstreamに設定し、L[i].inputsにIを加え、次の 入力Iに進む。 (2)上述の段階によって要素L[i]が識別されなかった場合は、新しい 要素L[i]を追加して、L[i].upstream=C.upstream、 かつ、L[i].inputs=［I］とする。 c.L内の各要素L[i]について、P.inputsets=P.inputsets+L[i].inputsと設定 する。 d.Pの入力の1つと接続している各通信チャネルCについて、P.upstream=P.up stream∪C.upstreamとする。 e.Pの出力の1つと接続している各通信チャネルCについて、C.upstream=P.up stream∪[P]とする。 1例として、第8図に示した構成に基づいて、まず、3つのプログラム100、103 、111と、３つの通信チャネル106、107、113についての上流プロセスセットの初 期設定から始める。各プログラムに入力セットを作成する。これにより、以下に 示す状態が得られる。 オブジェクト 上流 入力セット 100 [] [] 103 [] [] 106 [] 107 [] 111 [] [] 113 [] 1つの可能性として以下に示すリスト（100、111、103）を生成するプログラム をトポロジー的に分類する。 まず上流プログラム100の処理を行う。これには入力がないので、100.inputse tsと100.upstreamはナルのまま残る。上流プログラム100の出力は、チャネル106 、107と接続しているので、106.upstreamと107.upstreamを[100]に設定する。こ れにより以下の状態が得られる。 オブジェクト 上流 入力セット 100 [] [] 103 [] [] 106 [100] 107 [100] 111 [] [] 113 [] 次に、上流プログラム111（トポロジー的に分類したリスト中の次のプログラ ム）の処理を行う。上流プログラム111には入力がないため、111.inputsはナル のまま残る。上流プログラム111はチャネル113と接続した単一出力を備えている ため、111.upstream=[111]となる。これにより以下の状態が生じる。 オブジェクト 上流 入力セット 100 [] [] 103 [] [] 106 [100] 107 [100] 111 [] [] 113 [111] 最後に下流プログラム103の処理を行う。下流プログラム103は3つの入力104、 105、114から読出しを行う。アルゴリズムが以下の段階を生成する。 ●Lはナルとして初期設定される。 ●チャネルC=106と接続した第1入力I=104を考慮する。Lはナルなので要素L[i]は 存在せず、L[i].upstreamとC.upstreamとの積演算が行われる。従って、C.upstr eam[I]から成る新規のエントリをL内に作成する。その結果L=([100],[104])とな る。 ●次に、チャネルC=107と接続した第2入力I=105を考慮する。L[l].upstream=[10 0]およびC.upstream=[100]である。これら2つのセットはオーバラップするため （実際には、これらは偶然にも同一である）、C.upstreamをL[1].upstreamに加 え、IをL[1].inputsに加え、L=( [100],[104,105])とする。 ●最後に、チャネルC=113と接続した第3入力I=114を考慮する。C.upstream=[111 ]であり、存在しない要素L[i].upstreamとC.upstreamと積演算を行ので、C.upst reamと[I]から成る新規のエントリをL内に作成する。これにより、L=([100],[10 4,105])，([111],[114])となる。 ●Lから入力のセットを収集する。すなわち、103.inputsets=[[104,105],[114]] となる。 ●最後に、プログラム103と接続した各入力チャネルCを考慮し、これらの上流セ ットの和演算を計算する。この結果がP.upstreamに記憶される。すなわち、103. upstream=[100,111]となる。これにより以下の状態が生じる。 オブジェクト 上流 入力セット 100 [] [] 103 [100,111] [[104,105]，[114]] 106 [100] 107 [100] 111 [] [] 113 [111] 同じ結果を算出するあらゆるアルゴリズムを使用することができる。さらに、 人間が計算を監視し、手動で入力セットを指定することも可能である。 本発明の多くの実施例について説明してきた。しかし、本発明の精神と範囲を 逸脱しない限り、様々な変更を加えることが可能であると理解されるであろう。 例えば、補助バッファにその他のバッファ割当て構成を使用してもよい。従って 、本発明は説明した特定の実施例によって限定されるのではなく、付属の請求の 範囲によってのみ限定されることが理解されるべきである。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ， ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，Ｌ Ｓ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ， ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，Ｅ Ｅ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＧＷ，ＨＵ ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ， ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，Ｍ Ｄ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ， ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，Ｖ Ｎ，ＹＵ，ＺＷ (72)発明者 ラッサー，クリフォード，エー アメリカ合衆国 02139 マサチューセッ ツ州，ケンブリッジ，リー ストリート 15 アパートメント １

Claims (1)

1. 【特許請求の範囲】 1. データフロー計算用のバッファデッドロック防止のための方法であって、 (a)下流プログラムの各入力に対して補助バッファを提供する段階と、 (b)こうした入力が共用の上流プログラムから直接又は間接的に来た場合に、 及び、来た場合のみに、2つの入力が同一の入力セット内に存在するように、各 下流プログラムの入力を互いに素の入力セットに区分する段階と、 (c)ある入力セット内の入力Iを介して、上流プログラムから下流プログラム内 へのデータの読出しを試みる段階と、 (d)現在、入力Iからの使用可能なデータがなく、同じ入力セット内のその他の 入力Jが使用可能なデータを有する場合、使用可能なデータが全ての前記入力J上 で使い尽くされるまで、又はデータが入力I上で使用可能になるまで、前記入力J の各々から使用可能データを読出し、前記データを入力Jに対応する補助バッフ ァに記憶する段階と、 を有することを特徴とする方法。 2. 任意の補助バッファが満杯になってしまい、それでもさらにデータを記憶し なければならない場合に、前記下流プログラムをアボートする段階をさらに有す ることを特徴とする請求の範囲1に記載の方法。 3. 入力Iから直接データを読出す前に、記憶したデータを、前記入力Iに対応す る前記補助バッファから下流プログラム内に読出す段階をさらに有することを特 徴とする請求の範囲1に記載の方法。 4. 記憶ブロックのプールを提供し、1つ以上の記憶ブロックから各補助バッフ ァを割当て、割当てられた補助バッファの各々を据置き入力待ち行列内で参照す る段階をさらに有することを特徴とする請求の範囲1に記載の方法。 5. 入力Iから直接データを読出す前に、記憶したデータを、前記入力Iに 対応する前記補助バッファの前記記憶ブロックから前記下流プログラム内に読出 し、読出した各記憶ブロックを前記記憶ブロックのプールへと戻す段階をさらに 有することを特徴とする請求の範囲4に記載の方法。 6. コンピュータ読出し可能媒体上に存在する、データフロー計算用にバッファ デッドロックを防止するためのコンピュータプログラムであって、コンピュータ に (a)下流プログラムの各入力に補助バッファを提供させる指示と、 (b)入力が共用の上流プログラムから直接又は間接的に来た場合に、及び、来 た場合のみに、2つの入力が同じ入力セット内に存在するように、各下流プログ ラムの前記入力を互いに素の入力セットに区分させる指示と、 (c)ある入力セット内の入力Iを介して、上流プログラムから下流プログラム内 へのデータの読出しの試みを行わせる指示と、 (d)現在、入力Iからの使用可能なデータがなく、同じ入力セット内のその他の 人力Jが使用可能なデータを有する場合、使用可能なデータが全ての前記入力J上 で消費されるまで、又はデータが入力I上で使用可能になるまで、前記入力Jの各 々から使用可能データを読出し、前記データを、入力Jに対応する補助バッファ に記憶させる指示と、 を有することを特徴とするプログラム。 7. 任意の補助バッファが満杯になってしまい、それでもさらにデータを記憶し なければならない場合に、コンピュータに前記下流プログラムをアボートさせる 指示をさらに有することを特徴とする請求の範囲6に記載のプログラム。 8. 入力Iから直接データを読出す前に、コンピュータに、記憶したデータを前 記入力Iに対応する前記補助バッファから下流プログラム内に読出させる指示を さらに有することを特徴とする請求の範囲6に記載の方法。 9. コンピュータに、記憶ブロックのプールを提供させ、1つ以上の記憶ブロッ クから各補助バッファを割当て、割当てられた補助バッファの各々を据 置き入力待ち行列内で参照させる指示をさらに有することを特徴とする請求の範 囲6に記載の方法。 10． コンピュータに、入力Iから直接データを読出す前に、記憶したデータを 前記入力Iに対応する前記補助バッファの前記記憶ブロックから前記下流プログ ラム内に読出させ、読出した各記憶ブロックを前記記憶ブロックのプールへと戻 させる指示をさらに有することを特徴とする請求の範囲9に記載の方法。