JP2001053744A - パラレル配信システム - Google Patents

Abstract

(57)【要約】 【課題】複数台の送信コンピュータを利用したパラレル
配信システムにおいて、データの配信にかかる負荷を分
散し高性能な処理を実現するとともに、いずれの送信コ
ンピュータが故障しても、システム全体として故障しな
い高信頼性を有したパラレル配信システムを提供するこ
と。 【解決手段】クラスタシステム上で整列マルチキャスト
３１を用いて多重化された制御プロセスを有する。受信
プロセス１０が再生要求を受信制御コネクション１１を
介して制御プロセス３０に送る。制御プロセス３０は、
再生要求（Ａ）を送信制御コネクション２１を介して最
適な送信プロセス２０に送る。送信プロセス２０はデー
タをネットワーク１を介して連続的に受信プロセス１０
に送り、配信完了（Ｂ）を送信制御コネクション２１を
介して制御プロセス３０に送る。制御プロセス３０は配
信完了を受信制御コネクション１１を介して受信プロセ
ス１０に送る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、パラレル配信シ
ステムに関わり、特に複数台のコンピュータを利用した
データの配信システムに関する。

【０００２】

【従来の技術】例えばビデオオンデマンドシステムで
は、複数の受信プロセスと送信プロセスがネットワーク
を介して接続され、受信プロセス側が送信プロセス側に
再生要求を出力し、送信プロセス側がネットワークを介
して要求されたタイトルのビデオデータを要求元受信プ
ロセス側に配信する。

【０００３】

【発明が解決しようとする課題】従来、受信プロセス側
から送信プロセスが故障したという情報を得るのに、デ
ータの受信の途切れにより判断している。このため、ネ
ットワークの負荷が大きくなったときなどに判断ミスを
犯しやすいという欠点がある。

【０００４】また、負荷分散の最小時間単位が１秒程度
であったため、受信プロセスから複数の再生要求がほぼ
同時にきた場合、ひとつの送信プロセスに処理が集中し
てしまうという問題があった。

【０００５】さらに、各送信プロセスの負荷がどのよう
になっているかを受信プロセス側から判断する場合、受
信プロセスがすべての送信プロセスに対して負荷の状況
を聞かなければならなかった。この場合、各受信プロセ
スが独立して負荷の平均化を行おうとするので、負荷の
低い送信プロセスへ、過剰に処理が一斉に移動して、シ
ーソーシンドロームと呼ばれる現象が起きる危険性があ
った。

【０００６】この発明は上記実情に鑑みてなされたもの
で、その目的は、複数台の送信コンピュータを利用した
パラレル配信システムにおいて、データの配信にかかる
負荷を分散し、高性能な処理を実現するとともに、いず
れの送信コンピュータが故障しても、システム全体とし
ては故障しない、高信頼性を有するパラレル配信システ
ムを提供することである。

【０００７】

【課題を解決するための手段】この発明のパラレル配信
システムは、ネットワークに接続された複数の送信コン
ピュータ群と、ネットワークに接続された複数の受信コ
ンピュータ群と、クラスタシステム上で整列マルチキャ
ストを用いて多重化された制御プロセスと、各送信コン
ピュータ上に設けられ、データを連続的に受信コンピュ
ータに送信する送信プロセスと、各受信コンピュータ上
に設けられ、データを連続的に送信コンピュータから受
信する受信プロセスと、受信プロセスと制御プロセスの
間の受信制御コネクションと、送信プロセスと制御プロ
セスとの間の送信制御コネクションとを具備し、前記受
信プロセスが再生要求を受信制御コネクションを通して
制御プロセスに送り、前記制御プロセスが前記再生要求
を送信制御コネクションを通して最適な送信プロセスに
送り、送信プロセスがデータを連続的に受信プロセスに
送り、送信プロセスが配信完了を送信制御コネクション
を通して制御プロセスに送り、制御プロセスが前記配信
完了を受信制御コネクションを通して受信プロセスに送
ることを特徴とする。

【０００８】この発明によれば、複数台の送信コンピュ
ータで構成するクラスタシステム上で、データの配信を
行う送信プロセスは分散して配置し、並列処理により高
性能処理を実現し、耐障害処理と、負荷分散制御を多重
化することにより高信頼な制御プロセスとして構成する
ことにより、全体として、高信頼、高性能な配信システ
ムが実現される。

【０００９】また、本発明によれば、送信プロセスは、
前記送信制御コネクションのエラーによって、前記送信
プロセスの故障を検出し、前記送信プロセスが処理して
いた配信のエラー完了を前記受信制御コネクションを通
して前記受信プロセスに送る手段を有し、前記受信プロ
セスは、受信バッファの最後尾からの再生要求を受信制
御コネクションを通して制御プロセスに送る手段を有
し、前記制御プロセスは、前記再生要求を送信制御コネ
クションを通して、停止した送信プロセスとは異なる最
適な送信プロセスに送る手段を有し、それにより送信プ
ロセスが受信プロセスに送ることを特徴とする。

【００１０】これにより、ある送信プロセスが故障した
場合、制御プロセスがコネクションエラーを検出し、エ
ラー完了を受信プロセスに通知する。受信プロセスは続
きの再生要求を直ちに送り返し、制御プロセスでその要
求が別の送信プロセスに割り当てられる。この結果、受
信プロセスは僅かな切替え時間だけで、続きのデータが
得られることになる。

【００１１】また、本発明は、送信コンピュータが故障
して停止したとき、送信コンピュータ間のハートビート
障害検出機能により他の送信プロセスが故障を検出し、
それを送信制御コネクションを通して制御プロセスに送
り、制御プロセスが故障した送信プロセスとの送信制御
コネクションを切断することを特徴とする。

【００１２】これにより、他の送信プロセスがハートビ
ートが無くなったことにより送信コンピュータの故障を
検出し、故障検出を受信プロセスに通知する。受信プロ
セスは続きの再生要求をただちに送り返し、制御プロセ
スでその要求が他の送信プロセスに割り当てられること
になる。この結果、受信プロセスは、ハートビートのタ
イムアウト時間だけ遅延して、続きのデータが得られる
ことになる。

【００１３】また、本発明によれば、前記送信プロセス
が自らの負荷を送信制御コネクションを通して制御プロ
セスに送り、制御プロセスが再生要求を送る送信プロセ
スを選択する際に、もっとも負荷の小さい送信プロセス
に送ることを特徴とする。

【００１４】これにより、受信プロセスから複数の再生
要求がほぼ同時にきた場合でも、制御プロセスがひとつ
しかないので、それぞれの再生要求は、順に処理され均
等に割り振られる。

【００１５】また、本発明によれば、配信完了によっ
て、各送信プロセスの負荷の差が一定のしきい値以上の
とき、前記制御プロセスは、高い負荷の送信プロセスが
処理していた配信のひとつまたは複数を擬似的にエラー
完了とみなし、エラー停止要求を送信制御コネクション
を通して送信プロセスに送り、送信プロセスがデータ送
信を停止し、エラー完了を送信制御コネクションを通し
て制御プロセスに送り、制御プロセスが前記エラー完了
を受信制御コネクションを通して受信プロセスに送り、
受信プロセスが受信バッファの最後尾からの再生要求を
受信制御コネクションを通して停止した送信プロセスと
は異なる最適な送信プロセスに送り、前記送信プロセス
がデータを受信プロセスに送ることを特徴とする。

【００１６】これにより、制御プロセスは、負荷を平均
化するため、負荷の高い送信プロセスにエラー停止要求
を出し、その結果、その送信プロセスからエラー完了と
小さくなった負荷通知とが返ってくる。エラー完了は受
信プロセスに送られ、受信プロセスは続きの再生要求を
ただちに送り返し、制御プロセスでその要求が他の送信
プロセスに割り当てられる。この結果、ある送信プロセ
スでの処理がひとつ終了すると、負荷の高かった送信プ
ロセスから処理がひとつ移動してきたことになる。この
ように負荷の平均化をスムーズに行うことができる。

【００１７】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。

【００１８】図１は、この発明のパラレル配信システム
の一実施形態のブロック図である。同図において、複数
の送信コンピュータ（サーバと呼ぶ場合もある）４１、
４２、４３、４４が例えばLAN(Local Area Network)等
のネットワーク１を介して接続される。これら複数の送
信コンピュータ４１、４２、４３、４４はクラスタシス
テムを構成する。前記ネットワーク１は、例えばEthern
etで構成される。前記ネットワーク１にはさらに複数の
受信プロセス１０が接続される。各送信コンピュータ４
１、４２、４３、４４は、送信プロセス２０と、例え
ば、Ethernetで構成される送信制御コネクション２１
と、整列マルチキャスト３１と、被多重化制御プロセス
３２と、受信制御コネクションフィルタ３３と、送信制
御コネクションフィルタ３４とで構成される。制御プロ
セス３０は、各送信コンピュータ４１、４２、４３、４
４上の整列マルチキャスト３１、被多重化制御プロセス
３２、受信制御コネクションフィルタ３３、送信制御コ
ネクションフィルタ３４とにより構成され、多重化され
ている。制御プロセス３０は例えばミドルウエアで構成
される。

【００１９】各送信コンピュータ４１、４２、４３、４
４上の送信プロセス２０と制御プロセス３０とは、各送
信制御コネクション２１を介して接続される。

【００２０】各送信プロセス２０は、それぞれ送信制御
コネクション２１により制御プロセス３０と通信可能で
あり、またネットワーク１を介して受信プロセス１０に
データの配信を行う。

【００２１】各受信プロセス１０は、例えば、Ethernet
で構成される受信制御コネクション１１を介して制御プ
ロセス３０と接続されている。各受信プロセス１０は、
各受信コンピュータ上にひとつづあってもよいし、１台
の受信コンピュータ上に複数の受信プロセス１０があっ
てもよい。各受信プロセス１０は、受信制御コネクショ
ン１１によって制御プロセス３０と通信可能であり、ま
た、送信プロセス２０からデータの配信２２が行われ
る。

【００２２】受信制御コネクションフィルタ３３は、制
御プロセス３０内において、多重化されているが、受信
プロセス１０からの再生要求を受け付けるのはいずれか
１つの受信制御コネクションフィルタ３３である。すな
わち、複数ある受信制御コネクションフィルタ３３のう
ちどの受信制御コネクションフィルタ３３が受信プロセ
ス１０からの再生要求を受け付けるかはあらかじめ決め
られている。この場合、具体的には複数の受信制御コネ
クションフィルタ３３のいずれか１つにＩＰ(Internet
Protocol)アドレスを付けておく。１つの受信制御コネ
クションフィルタ３３のみが受信プロセス１０からの再
生要求を受け付ける理由は次の通りである。すなわち、
すべての送信コンピュータ４１、４２、４３、４４がネ
ットワーク１に接続されているので、すべての受信制御
コネクションフィルタ３３が受信プロセス１０からの再
生要求を受け取るように構成することもできるが、その
場合、複数の受信プロセス１０からの再生要求を受け取
る順番がすべての受信制御コネクションフィルタ３３で
同じになるとは限らない。このため、常に１台の受信制
御コネクションフィルタ３３が複数の受信プロセス１０
からの再生要求を受け取る構成とし、その再生要求を整
列マルチキャスト３１を用いてすべての被多重化制御プ
ロセス３２に送り直すように構成されている。

【００２３】整列マルチキャスト３１は、それぞれの送
信コンピュータ４１、４２、４３、４４からすべてのコ
ンピュータにデータを配送するプロトコルであり、デー
タの到着順序がすべてのコンピュータで同じであること
を保証する。すなわち、整列マルチキャスト３１は受信
制御コネクションフィルタ３３から出力された、複数の
受信プロセス１０からの再生要求をその出力順に被多重
化制御プロセス３２に一斉同報する。

【００２４】クラスタシステムでは、各コンピュータ４
１、４２、４３、４４が独立に故障する可能性がある。
仮に１台のコンピュータが故障しただけで、システム全
体が機能しなくなるように構成されていると、クラスタ
システムの稼働率は１台のコンピュータの稼働率よりも
低くなってしまう。これを防止するために、システム全
体にかかわる処理は多重化する必要がある。多重化する
ことにより、クラスタシステムの稼働率を１台のコンピ
ュータの稼働率よりも高くすることが可能である。クラ
スタシステムでは、それぞれのコンピュータ上の処理が
独立して動作する。本発明では、多重化される処理を同
期的に動作させるため、整列マルチキャスト３１が用い
られる。

【００２５】整列マルチキャスト３１の実現方法として
は、例えばクラスタ間を専用のEthernetで接続し、Ｅｔ
ｈｅｒｎｅｔ（登録商標）のＣＳＭＡ／ＣＤ(Carrier S
ense Multiple Access with Collision Detection)方式
の特性によりハードウエア的に整列させることができ
る。あるいは、グローバル更新プロトコル(global upda
te protocol, GLUP)を用いてソフトウエア的に整列させ
るようにしても良い。

【００２６】整列マルチキャスト３１を用いた多重化方
式では、すべての被多重化制御プロセス３２はある決ま
った初期状態（例えばすべての変数が０）からはじま
る。入力されるデータはかならず整列マルチキャスト３
１を通してすべての被多重化制御プロセス３２に入力さ
れるので、同一順序になっており、すべての被多重化制
御プロセス３２の状態遷移は同一になり、出力列もすべ
て同じになる。すなわち、被多重化制御プロセス３２の
実行が多重化されていることになる。

【００２７】受信制御コネクションフィルタ３３は、受
信制御コネクション１１からのパケットを整列マルチキ
ャスト３１に渡し、被多重化制御プロセス３２からのパ
ケットを受信制御コネクション１１に渡す。各受信制御
コネクションフィルタ３３は、制御プロセス３０に固有
な同一の論理アドレスを有し、受信制御コネクション１
１側では、送信コンピュータのアドレスではなく、この
論理アドレスを用いて通信を行う。これにより、受信プ
ロセス１０側から見ると、実際のどの送信コンピュータ
とやりとりしているかは関係なくなる。従って、送信コ
ンピュータ４１、４２、４３、４４が故障した時でも、
他の送信コンピュータが動作していれば、受信制御コネ
クション１１は切断されない。

【００２８】送信制御コネクションフィルタ３４は、送
信制御コネクション２１からのパケットを整列マルチキ
ャスト３１に渡し、被多重化制御プロセス３２からのパ
ケットを送信制御コネクション２１に渡す。各送信制御
コネクションフィルタ３４は、自分のいる送信コンピュ
ータ上としか通信しないアドレス（いわゆるループバッ
クアドレス）を有し、送信制御コネクション２１側で
は、ループバックアドレスを用いて通信を行う。これに
より、送信プロセス２０側から見ると、制御プロセス３
０は自分のいる送信コンピュータ上にあるので、制御プ
ロセス３０が多重化されていることを意識しない。送信
制御コネクション２１を流れるパケットは、同一サーバ
内（図１に示す実施形態ではサーバ４３）で被多重化制
御プロセスから送信プロセス２０に出力されるだけなの
で、実際には、ネットワーク１上に出力されない。

【００２９】各コンピュータ４１、４２、４３、４４上
の各被多重化制御プロセス３２は整列マルチキャスト３
１から出力された再生要求（Ａ）をどの送信プロセス２
０に送るかを所定の判断ロジックに従って決定する。今
仮に各被多重化制御プロセス３２が図１に示すようにコ
ンピュータ４３上の送信プロセス２０に送る決定をした
とすると、各コンピュータ４１、４２、４３、４４上の
送信制御コネクションフィルタ３４は、自分がコンピュ
ータ４３上の送信制御コネクションフィルタ３４か否か
を判断する。自分がコンピュータ４３上の送信制御コネ
クションフィルタ３４であると判断した送信制御コネク
ションフィルタ３４は、被多重化制御プロセス３２から
の再生要求（Ａ）を送信制御コネクション２１を介して
送信プロセス２０に出力する。一方、コンピュータ４３
上の送信制御コネクションフィルタ３４ではないと判断
した送信制御コネクションフィルタ３４は、被多重化制
御プロセス３２から出力された再生要求（Ａ）を送信制
御コネクション２１に出力しない。被多重化制御プロセ
ス３２がどの送信プロセス２０に再生要求（Ａ）を出力
するかの判断ロジックは、例えば、各送信プロセス２０
の負荷量に応じて決定することができる。あるいは、ビ
デオオンデマンドシステムのようなアプリケーションの
場合に、人気のあるタイトルはすべてのコンピュータ４
１、４２、４３、４４上に保持し、人気のないタイトル
はいずれか１台のコンピュータ上に保持するように構成
されている場合に、その目的のタイトルが保持されてい
る送信プロセス２０に再生要求（Ａ）を出力する場合も
考えられる。

【００３０】送信制御コネクションフィルタ３４から出
力された再生要求（Ａ）を受信した、コンピュータ４３
上の送信プロセス２０は、要求されたビデオデータをネ
ットワーク１を介して要求元受信プロセス１０に送信す
る。ビデオデータの配信を完了すると、コンピュータ４
３上の送信プロセス２０は、配信完了（Ｂ）を整列マル
チキャスト３１に出力する。整列マルチキャスト３１
は、配信完了（Ｂ）を各コンピュータ４１、４２、４
３、４４上の被多重化制御プロセス３２に出力する。各
コンピュータ４１、４２、４３、４４上の被多重化制御
プロセス３２は、配信完了（Ｂ）を受信制御コネクショ
ンフィルタ３３に出力する。上述したように、各コンピ
ュータ４１、４２、４３、４４上の受信制御コネクショ
ンフィルタ３３のうち、あらかじめ決められた受信制御
コネクションフィルタ（この実施例では、コンピュータ
４２上の受信制御コネクションフィルタ３３）から配信
完了（Ｂ）が要求元受信プロセス１０に送信され、残り
の受信制御コネクションフィルタ３３は配信完了（Ｂ）
を送信しない。

【００３１】図２に図１に示す被多重化制御プロセス３
２の詳細ブロック図を示す。同図に示すように、被多重
化制御プロセス３２は、受信制御コネクションアダプタ
３５と、送信制御コネクションアダプタ３６と、制御プ
ロセスコントロール３７と、状態記憶部３８とを有す
る。

【００３２】受信制御コネクションアダプタ３５は、後
述する受信プロセス１０側の受信制御コネクションアダ
プタ１３（図３参照）と対になってコネクションプロト
コルを実装する。従って、同図に示すように受信制御コ
ネクションアダプタ３５は受信プロセス１０の数だけ存
在する。具体的には、受信制御コネクションアダプタ３
５は再送制御、フロー制御、輻輳制御などを実行する。

【００３３】送信制御コネクションアダプタ３６は、後
述する送信プロセス２０側の送信制御コネクションアダ
プタ２３（図４参照）と対になってコネクションプロト
コルを実装する。すなわち、送信制御コネクションアダ
プタ３６は送信コンピュータ４１、４２、４３、４４の
数だけ設けられる。送信制御コネクション２１は、ネッ
トワークを経由しないので、信頼性が高く、送信制御コ
ネクションアダプタ３６側では、フロー制御のみ行えば
よい。また、信頼性の高いコネクションであるため、送
信プロセスが故障を起こしたときそれをエラーの形で検
出することができる。

【００３４】状態記憶部３８は、図１０に示すように再
生要求と受信プロセス１０と送信プロセス２０の対応表
と、各送信プロセス２０の負荷状態を記憶している。

【００３５】制御プロセスコントロール３７は、受信制
御コネクションアダプタ３５および送信制御コネクショ
ンアダプタ３６からパケットをうけとり、状態記憶部３
８の内容を変更し、受信制御コネクションアダプタ３５
および送信制御コネクションアダプタ３６にパケットを
出力する。

【００３６】制御プロセスコントロール３７は、受信制
御コネクションアダプタ３５から再生要求（Ａ）を受け
取ると、状態記憶部３８を調べ、最も負荷の低い送信プ
ロセス２０へ再生要求（Ａ）を出力する。そして、再生
要求（Ａ）と、受信プロセス１０、送信プロセス２０の
組を状態記憶部３８に記憶する。さらに、状態記憶部３
８に記憶されているその送信プロセス２０の負荷状態を
不明状態にする。送信プロセス２０の負荷状態を不明状
態にするのは次の理由による。

【００３７】すなわち、最も負荷の低い送信プロセス２
０に再生要求（Ａ）を出力すると、その送信プロセス２
０はその再生要求（Ａ）を受け付けたことにより負荷が
増大する。その送信プロセス２０は、その増大した負荷
を制御プロセスコントロール３７に通知するが、その通
知があるまでは、制御プロセスコントロール３７はその
送信プロセス２０の負荷がわからない。送信プロセス２
０から新たな負荷通知がくるまでの間、その送信プロセ
スの負荷を前の状態で記憶しておくと、その送信プロセ
スは負荷が低い状態に見えるため、その間に新たな再生
要求がくると、その送信プロセス２０に再生要求が集中
してしまう。このため、その送信プロセス２０から新た
な増大した負荷通知がくるまで、その送信プロセス２０
の負荷状態を不明に設定する。

【００３８】配信完了（Ｂ）を送信制御コネクションア
ダプタ３６から受け取ると、制御プロセスコントロール
３７は、対応する受信プロセス１０を状態記憶部３８か
ら検索し、その受信プロセス１０へ配信完了（Ｂ）を出
力する。さらに、制御プロセスコントロール３７は、状
態記憶部３８に記憶されている、その再生要求（Ａ）
と、受信プロセス１０、送信プロセス２０の組を削除す
る。

【００３９】負荷通知（Ｄ）を送信制御コネクションア
ダプタ３６から受け取ると、制御プロセスコントロール
３７は状態記憶部３８に記憶されている負荷状態を更新
する。その結果、負荷の最大値と最小値の差がしきい値
以上の場合、もっとも負荷の高い送信プロセス２０が処
理している再生要求（Ａ）のうち、最も古いものに対し
て、エラー停止要求（Ｅ）を出力する。すなわち、強制
的にエラー停止要求（Ｅ）を受信プロセス１０に出力す
ることにより、受信プロセス１０は再度再生要求（Ａ）
を出力する。これにより、この再生要求（Ａ）を負荷の
低い送信プロセス２０に割り振ることができる。すなわ
ち、負荷分散の処理も、エラーにより送信プロセス２０
を切り替える処理も同じ仕組みを使って切り替える。

【００４０】状態記憶部３８に記憶されているエラー停
止要求（Ｅ）を出力した送信プロセス２０の負荷状態を
不明状態にする。すなわち、送信プロセス２０に再生要
求（Ａ）や、エラー停止要求（Ｅ）を出力した後は、負
荷状態が変化するはずであり、前の負荷状態はもはや意
味を持たない。この時の状態を不明状態とすることによ
り、連続してきた再生要求（Ａ）がつづけて同一の送信
プロセス２０に過剰に割り当てられるのを防止する。す
なわち、不明状態にすると、再生要求（Ａ）がきても、
負荷状態が不明の場合には、その送信プロセス２０に
は、再生要求（Ａ）を送出しない。

【００４１】なお、最大負荷と最低負荷の差が比較的小
さいときに、負荷の平均化を行おうとすると、処理を切
り替えた後で、負荷の大小関係が逆転し、再び切替えが
起きる危険性がある。この現象は、一般にシーソーシン
ドロームと呼ばれる。従って、しきい値は、少なくとも
ひとつの再生要求の付加の２倍よりも大きくなくてはな
らない。

【００４２】コネクションエラー（Ｆ）を送信制御コネ
クションアダプタ３６から受け取ると、制御プロセスコ
ントロール３７は、状態記憶部３８を調べ、その送信プ
ロセス２０で処理していた再生要求に対するエラー完了
をそれぞれの受信プロセス１０に出力する。そして、状
態記憶部３８に記憶されている負荷状態を故障状態に更
新する。

【００４３】故障検出（Ｇ）を送信制御コネクションア
ダプタ３６から受け取ると、制御プロセスコントロール
３７は、故障した送信プロセス２０につながる送信制御
コネクション２１を切断し、負荷通知（Ｄ）を擬似生成
する。すなわち、負荷通知（Ｄ）は本来送信プロセス２
０が通知するが、故障した場合には、通知できないの
で、制御プロセスコントロール３７は、図１０に示す状
態記憶部３８の送信プロセスの負荷状態を例えば無限状
態（処理不可能な状態）に設定する。

【００４４】図３は、図１に示す受信プロセス１０の詳
細ブロック図である。同図に示すように、受信プロセス
１０は、受信プロセスコントロール１２、受信制御コネ
クションアダプタ１３、受信バッファ１４、および受信
部１５とから構成される。

【００４５】受信制御コネクションアダプタ１３は、被
多重化制御プロセス３２側の受信制御コネクションアダ
プタ３５と対になってコネクションプロトコルを実装す
る。

【００４６】受信プロセスコントロール１２は、受信制
御コネクションアダプタ１３へ再生要求を出力し、配信
完了（Ｂ）、エラー完了（Ｃ）を受け取る。さらに、受
信プロセスコントロール１２は、受信バッファ１４から
データを読み出し、再生を行う。この実施形態におい
て、再生は、例えば動画の表示や音声の再生を意味す
る。

【００４７】受信部１５は、送信プロセス２０にある送
信部２４からのデータの配送２２を受信し、受信したデ
ータを受信バッファ１４に格納する。受信バッファ１４
の役割は、データの配送２２がリアルタイムに行われな
かったときに、受信プロセスコントロール１２へのデー
タの供給を安定的に行うことである。データの安定供給
は、データが動画や、音声の場合には特に重要である。
受信バッファの必要サイズは以下の式で計算される。

【００４８】必要サイズ＝再生レート×最大遅延時間＋
受信バッファマージン また、受信部１５は、受信バッファ１４がオーバフロー
しないように、受信バッファ１４の空き容量を送信プロ
セス２０の送信部２４に伝えるフロー制御を行う。

【００４９】受信プロセスコントロール１２は、ユーザ
が再生要求（Ａ）をしたとき、ユーザが指定した位置か
らの再生要求（Ａ）を受信制御コネクションアダプタ１
３に出力する。

【００５０】エラー完了（Ｃ）を受信制御コネクション
アダプタ１３から受け取ると、受信プロセスコントロー
ル１２は、受信バッファ１４の最後尾位置を調べ、そこ
から続きの再生要求（Ａ）を受信制御コネクションアダ
プタ１３に出力する。

【００５１】配信完了（Ｂ）を受信制御コネクションア
ダプタ１３から受け取ると、受信プロセスコントロール
１２は、受信バッファ１４が空になるのを待ちユーザに
配信完了（Ｂ）を通知する。

【００５２】図４は図１に示す送信プロセス２０の詳細
ブロック図である。同図に示すように送信プロセス２０
は、送信制御コネクションアダプタ２３、送信部２４、
送信プロセスコントロール２５、データベース２６、ハ
ートビートアダプタ２７とで構成される。

【００５３】送信制御コネクションアダプタ２３は、受
信プロセス２０側の送信制御コネクションアダプタ３６
と対になってコネクションプロトコルを実装する。

【００５４】送信プロセスコントロール２５は、送信制
御コネクションアダプタ２３から、再生要求（Ａ）、エ
ラー停止要求（Ｅ）を受けとり、配信完了（Ｂ）、エラ
ー完了（Ｃ）を出力する。また、必要に応じて送信部２
４の動作を制御する。

【００５５】送信部２４は、受信プロセス１０にある受
信部１５へデータの配送２２を行う。このとき、受信バ
ッファ１４の空き容量に応じて送出レートを以下の３点
を補間することにより決定する。

【００５６】すなわち、図９（ａ）に示すように、空き
容量が受信バッファサイズのとき、送出レートは最大送
出レートに設定される。また、空き容量が図９（ａ）に
示す受信バッファマージンのとき、送出レートは再生レ
ート（すなわち、図９（ｂ）に示すように、データ量を
再生レート×最大遅延時間）に設定される。さらに、空
き容量が０のとき、送出レートは０に設定される。

【００５７】この結果、安定状態では、受信バッファ１
４の空き容量は、受信バッファマージンに等しくなる。
また、配信開始から安定情状態に至る平均時間は以下の
式で表される。

【００５８】配信開始から安定状態にいたる平均時間＝
２×最大遅延時間／（最大送出レート／再生レート−
１） 最大送出レートを決定することにより、ひとつのデータ
の配信が他のデータの配信のさまたげになる、ネットワ
ークの輻輳状態を回避することができる。

【００５９】ハートビートアダプタ２７は、他の送信プ
ロセスとハートビート５０を交換することにより、他の
送信プロセスの故障を検出する。故障を検出した場合、
故障検出（Ｇ）を送信制御コネクションアダプタ２３に
出力する。

【００６０】再生要求（Ａ）を送信制御コネクションア
ダプタ２３から受け取ると、送信プロセスコントロール
２５は、送信部２４からの該当データの配信を開始す
る。その結果、更新された負荷状態（Ｄ）を送信制御コ
ネクションアダプタ２３へ出力する。

【００６１】エラー停止要求（Ｅ）を送信制御コネクシ
ョンアダプタ２３から受け取ると、送信プロセスコント
ロール２５は、送信部２４からの該当のデータの配信を
停止し、エラー完了（Ｃ）を送信制御コネクションアダ
プタ２３に出力する。その結果、更新された負荷状態
（Ｄ）を送信制御コネクションアダプタ２３に出力す
る。

【００６２】送信部２４が配信を完了したとき、配信完
了（Ｂ）を送信制御コネクションアダプタ２３に出力す
る。そして、更新された負荷状態（Ｄ）を送信制御コネ
クションアダプタ２３に出力する。

【００６３】上述のように構成された、この発明の一実
施形態の動作を説明する。

【００６４】図３に示す構成において、受信プロセス１
０内の受信プロセスコントロール１２は再生要求を受信
制御コネクションアダプタ１３に出力する。受信制御コ
ネクションアダプタ１３は、受信した再生要求（Ａ）を
図１に示す受信制御コネクション１１を介して制御プロ
セス３０に出力する。この再生要求（Ａ）は、上述した
ように、制御プロセス３０内の所定の受信制御コネクシ
ョンフィルタ３３（図１に示す実施例では、送信コンピ
ュータ４３上の受信制御コネクションフィルタ３３）に
より受信される。この際、複数の受信プロセス１０から
複数の再生要求（Ａ）が出力された場合、送信コンピュ
ータ４３上の受信制御コネクションフィルタ３３は、複
数の再生要求（Ａ）を順次受信する。送信コンピュータ
４３上の受信制御コネクションフィルタ３３は、受信し
た再生要求（Ａ）を整列マルチキャスト２１に出力す
る。整列マルチキャスト３１は、送信コンピュータ４３
上の受信制御コネクションフィルタ３３から出力された
再生要求（Ａ）を受信した順番で、各コンピュータ４
１、４２、４３、４４上のすべての被多重化制御プロセ
ス３２に一斉同報する。各コンピュータ４１、４２、４
３、４４上の被多重化制御プロセス３２内の受信制御コ
ネクションアダプタ３５は、受信した再生要求（Ａ）を
制御プロセスコントロール３７に出力する。制御プロセ
スコントロール３７は、受信した再生要求（Ａ）に応答
して、状態記憶部３８を調べ、最も負荷の低い送信プロ
セス２０がいずれのコンピュータ４１、４２、４３、４
４上の送信プロセス２０であるかを判断する。今、仮
に、最も負荷の低い送信プロセス２０がコンピュータ４
３上の送信プロセス２０であると制御プロセスコントロ
ール３７が判断したとする。制御プロセスコントロール
３７は、再生要求と、要求元受信プロセス１０および送
信プロセス２０の組を状態記憶部３８に記憶する。各被
多重化制御プロセス３２内の制御プロセスコントロール
３７は再生要求（Ａ）を送信制御コネクションアダプタ
３６を介してそれぞれ送信制御コネクションフィルタ３
４に出力する。各コンピュータ４１、４２、４３、４４
上の送信制御コネクションフィルタ３４は、自分がコン
ピュータ４３上の送信制御コネクションフィルタ３４か
否か判断する。自分がコンピュータ４３上の送信制御コ
ネクションフィルタ３４であると判断した送信制御コネ
クションフィルタ３４は、被多重化制御プロセス３２か
らの再生要求（Ａ）を送信制御コネクション２１を介し
てコンピュータ４３上の送信プロセス２０に出力する。
一方、コンピュータ４３上の送信制御コネクションフィ
ルタ３４ではないと判断した、各コンピュータ４１、４
２、４４上の送信制御コネクションフィルタ３４は、各
被多重化制御プロセス３２から出力された再生要求
（Ａ）を各コンピュータ４１、４２、４４上の送信制御
コネクション２１に出力しない。

【００６５】コンピュータ４３上の送信プロセス２０で
は図４に示すように、送信プロセスコントロール２５が
送信制御コネクションアダプタ２３を介して再生要求
（Ａ）を受け取る。再生要求（Ａ）を受け取った送信プ
ロセスコントロール２５は、送信部２４に対してデータ
の配送の指示を出力する。送信部２４は、この指示に応
答して、データベース２６から指定されたデータを読み
出し、ネットワーク１を介して要求元の受信プロセス１
０に配信する。要求元の受信プロセス１０は、図３に示
す受信部１３により配信されたデータを受信し、受信バ
ッファ１４に記憶する。このとき、送信プロセス２０の
送信部２４は、受信プロセス１０の受信バッファ１４の
空き容量に応じて、上述したように送出レートを補間す
る。受信バッファ１４に記憶されたデータは、受信プロ
セスコントロール１２により再生され、例えば動画デー
タの表示や音声の再生が行われる。

【００６６】また、送信プロセス２０の送信プロセスコ
ントロール２５は、受信プロセス１０に対してデータの
配信を開始すると、更新された負荷状態（Ｄ）を送信制
御コネクションアダプタ２３を介して被多重化制御プロ
セス３２内の送信制御コネクションアダプタ３６に通知
する。制御プロセスコントロール３７は、送信制御コネ
クションアダプタ３６を介して負荷状態（Ｄ）を受け取
り、状態記憶部３８に記憶されているその送信プロセス
２０の負荷状態を不明状態に設定する。

【００６７】送信プロセス２０の送信部２４が配信を完
了すると、送信プロセスコントロール２５は、送信制御
コネクションアダプタ２３を介して配信完了（Ｂ）を整
列マルチキャスト３１を介して被多重化制御プロセス３
２に送出する。被多重化制御プロセス３２の制御プロセ
スコントロール３７は送信制御コネクションアダプタ３
６から配信完了（Ｂ）を受け取り、状態記憶部３８を参
照して対応する受信プロセス１０を検索し、その受信プ
ロセス１０へ受信制御コネクション１１を介して送出す
る。その後、制御プロセスコントロール３７は、状態記
憶部３８に記憶されているその再生要求と、受信プロセ
ス、送信プロセスの組を削除する。一方、受信プロセス
１０の受信プロセスコントロール１２は、配信完了
（Ｂ）を受け取ると、受信バッファ１４が空になるのを
待ち、ユーザに配信完了（Ｂ）を通知する。

【００６８】一方、送信プロセス２０の送信プロセスコ
ントロール２５は、送信制御コネクションアダプタ２３
を介してエラー停止要求（Ｅ）を受け取ると、送信部２
４からの該当データの配信を停止し、エラー完了（Ｃ）
を送信制御コネクションアダプタ２３に出力する。ま
た、この結果、現在行っていたデータの配信を停止する
ことにより送信プロセス２０の負荷が軽減するので、更
新された負荷状態（Ｄ）を送信制御コネクションアダプ
タ２３に出力する。送信制御コネクションアダプタ２３
は、エラー完了（Ｃ）を被多重化制御プロセス３２の送
信制御コネクションアダプタ３６に出力する。制御プロ
セスコントロール３７は送信制御コネクションアダプタ
３６からエラー完了（Ｃ）を受け取ると、対応する受信
プロセスを状態記憶部３８から検索し、その受信プロセ
ス１０へエラー完了（Ｃ）を送信する。さらに、制御プ
ロセスコントロール３７は、状態記憶部３８に記憶され
ている、その再生要求と、受信プロセスおよび送信プロ
セスの組を削除する。

【００６９】受信プロセス２０の受信プロセスコントロ
ール１２は、受信制御コネクションアダプタ１３からエ
ラー完了（Ｃ）を受け取ると、受信バッファ１４に記憶
されているデータの最後尾位置を調べ、そこから続きの
再生要求（Ａ）を受信制御コネクションアダプタ１３に
出力する。この結果、受信制御コネクションアダプタ１
３は、続きの再生要求（Ａ）を受信制御コネクション１
１を介して再び制御プロセス３０に出力する。

【００７０】なお、図面を簡単化するために、第１図で
は、ひとつの再生要求Ａ、配信完了Ｂに対応するデータ
の配信のみを示しているが、一般的には、各送信プロセ
ス２０は、複数のデータの配信を行っている。具体的に
は、受信プロセス１０は、ホテルの各部屋にあるモニタ
装置で、データの配信はビデオ映像である場合が考えら
れる。

【００７１】図５は、送信コンピュータ４３上にある送
信プロセス２０が故障した場合を示す。この場合、制御
プロセス３０がコネクションエラー（Ｆ）を検出し、エ
ラー完了（Ｃ）を受信プロセス１０に通知する。受信プ
ロセス１０は続きの再生要求（Ａ）をただちに送り返
し、制御プロセス３０でその要求（Ａ）が、送信コンピ
ュータ４１上の送信プロセス２０に割り当てられる。こ
の結果、受信プロセス１０は少しの切替え時間だけで、
続きのデータが得られることになる。

【００７２】この発明によれば、制御プロセス３０から
エラー完了（Ｃ）が出力されるので、受信プロセス１０
は、送信プロセス（２０）の故障を的確に判断すること
ができる。

【００７３】図６は、送信コンピュータ４３自体が故障
により停止した場合を示す。この場合、図５で説明した
切替え動作は期待できない。本願発明では、他の送信プ
ロセス２０がハートビート５０が無くなったことによ
り、送信コンピュータ４３の故障を検出し、故障検出
（Ｇ）を出力する。これにより、受信プロセス１０は、
図５と同様の動作によりハートビート５０のタイムアウ
ト時間だけ遅延して、続きのデータが得られることにな
る。従って、受信バッファ１４のサイズを決定する最大
遅延時間は、ハートビート５０のタイムアウトより大き
く設定しておけばよい。

【００７４】また、図７は、受信プロセス１０から複数
の再生要求（Ａ）がほぼ同時にきた場合を示す。本発明
によれば、制御プロセス３０がひとつしかないので、こ
のような場合でも、それぞれの再生要求（Ａ）は、順に
処理され、均等に各送信プロセス２０に割り振られる。
従って、非常に大規模な構成の場合に発生しやすい、同
時要求にも対応できる。

【００７５】また、図８は、送信コンピュータ４１上に
ある送信プロセス２０が制御プロセス３０に配信完了
（Ｂ）を通知し、小さくなった負荷通知（Ｄ）を通知し
たとき、送信コンピュータ４３上の送信プロセス２０
は、まだ多くの処理をしており、負荷が高かったとす
る。このとき、制御プロセス３０は、負荷を平均化する
ため、送信コンピュータ４３上の送信プロセス２０へエ
ラー停止要求（Ｅ）を出力し、その結果、エラー完了
（Ｃ）と、小さくなった負荷通知（Ｄ）が返ってくる。
エラー完了（Ｃ）は、受信プロセス１０へ送られ、受信
プロセス１０は、続きの再生要求（Ａ）をただちに送り
返し、制御プロセス３０でその要求（Ａ）が送信コンピ
ュータ４１上の送信プロセスに割り当てられる。結局、
送信コンピュータ４１上での処理がひとつ終了するとた
だちに、負荷の高かった送信コンピュータ４３上から処
理がひとつ移動してきたことになる。このように、負荷
の平均化がスムーズに行える。

【００７６】なお、この発明は上述した実施例に限定さ
れない。例えば、図１に示す実施形態では、ビデオデー
タが流れるネットワーク１と制御データが流れる受信制
御コネクション１１は別の構成として示されているが、
物理的に同じものであってよい。また、ネットワーク上
にビデオデータと制御データが混在する形態もとり得る
し、混在しない形態も取り得る。

【００７７】

【発明の効果】複数台の送信コンピュータで構成するク
ラスタシステム上で、データの配信を行う送信プロセス
は分散して配置し、並列処理により高性能処理を実現す
るとともに、耐障害処理と、負荷分散制御を多重化する
ことにより高信頼な制御プロセスとして構成することに
より、全体として高信頼、高性能な配信システムが提供
される。

【００７８】例えば、４台のコンピュータから構成され
るビデオサーバシステムを考えた場合、人気のあるタイ
トルは４重化し、中程度の人気のタイトルは２重化し、
人気の無いタイトルは多重化しないような構成にしたい
場合、この発明によれば、制御プロセス３０のアルゴリ
ズムを変えるだけで済むので、システム構築が容易であ
る。

【００７９】また、ある送信プロセスが故障した場合、
制御プロセスがコネクションエラーを検出し、エラー完
了を受信プロセスに通知する。受信プロセスは続きの再
生要求をただちに送り返し、制御プロセスでその要求が
別の送信プロセスに割り当てられる。このため、受信プ
ロセスは僅かな切替え時間だけで、続きのデータが得ら
れることになる。

【００８０】また、送信コンピュータ自体が故障した場
合、他の送信プロセスがハートビートが無くなったこと
により、これを検出し、故障検出（Ｇ）を発生する。こ
れにより、エラー完了が受信プロセスに通知されるの
で、受信プロセスはハートビートのタイムアウト時間だ
け遅延して続きのデータが得られることになる。

【００８１】また、受信プロセスから複数の再生要求が
ほぼ同時にきた場合にも、制御プロセスがひとつしかな
いので、それぞれの再生要求は順に処理され均等に割り
振られる。このため、非常に大規模な構成の場合に発生
しやすい、同時要求にも対応できる。

【００８２】また、負荷の高い送信プロセスがある場
合、制御プロセスは、そのプロセスにエラー停止要求を
出し、そのプロセスからエラー完了と小さくなった負荷
通知が返ってくる。エラー完了は受信プロセスに送ら
れ、受信プロセスは続きの再生要求をただちに送り返
し、制御プロセスがその再生要求を負荷の低い送信プロ
セスに割り当てる。このため、負荷の平均化をスムーズ
に行うことができる。

【図面の簡単な説明】

【図１】この発明のパラレル配信システムの一実施形態
を示すブロック図。

【図２】図１に示す被多重化制御プロセスの詳細を示す
ブロック図。

【図３】図１に示す受信プロセスの詳細を示すブロック
図。

【図４】図１に示す送信プロセスの詳細を示すブロック
図。

【図５】送信プロセスが故障した場合の一例を示すブロ
ック図。

【図６】送信コンピュータ自体が故障により停止した場
合の一例を示すブロック図。

【図７】受信プロセスから複数の再生要求がほぼ同時に
きた場合の一例を示すブロック図。

【図８】送信プロセスの負荷の平均化をスムーズに行う
ための一例を示すブロック図。

【図９】受信バッファサイズの構成および送出レートを
説明するための図。

【図１０】状態記憶部の記憶内容を示す図。

【符号の説明】

１…ネットワーク １０… 受信プロセス １１…受信制御コネクション １２…受信プロセスコントロール １３…受信制御コネクションアダプタ １４…受信バッファ １５…受信部 ２０…送信プロセス ２１…送信制御コネクション ２２…データの配信 ２３…送信制御コネクションアダプタ ２４…送信部 ２５…送信プロセスコントロール ２６…データベース ２７…ハートビートアダプタ ３０…制御プロセス ３１…整列マルチキャスト ３２…被多重化制御プロセス ３３…受信制御コネクションフィルタ ３４…送信制御コネクションフィルタ ３５…受信制御コネクションアダプタ ３６…送信制御コネクションアダプタ ３７…制御プロセスコントロール ３８…状態記憶部 ４１…送信コンピュータ１ ４２…送信コンピュータ２ ４３…送信コンピュータ３ ４４…送信コンピュータＮ ５０…ハートビート （Ａ）…再生要求 （Ｂ）…配信完了 （Ｃ）…エラー完了 （Ｄ）…負荷通知 （Ｅ）…エラー停止要求 （Ｆ）…コネクションエラー （Ｇ）…故障検出

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B089 GB06 JA07 JB10 JB17 JB22 KA05 KA12 KB04 KD01 KE07 KG04 KG05 KG10 MA03 MA07 MD02 ME04 ME12 ME15 5C064 BA01 BA07 BB05 BB06 BC06 BC10 BC16 BC20 BD01 BD02 BD07 BD08 BD09 5K030 HA05 HB02 HB12 KA01 KA07 LA01 LD02 LE03 MA12 MB01 MD02 9A001 CC06 CC08 DD10 JJ20

Claims (5)

【特許請求の範囲】
1. 【請求項１】 ネットワークに接続され、クラスタシス
   テムを構成する複数の送信コンピュータ群と、 ネットワークに接続された少なくとも１台の受信コンピ
   ュータと、 データの到着順序がすべての送信コンピュータで同じで
   あるように各送信コンピュータからすべての送信コンピ
   ュータにデータを配送する整列マルチキャストを用い
   て、前記クラスタシステム上で多重化された制御プロセ
   スと、 前記各送信コンピュータ上に設けられ、データを連続的
   に前記受信コンピュータに送信する送信プロセスと、 前記各受信コンピュータ上に設けられ、データを連続的
   に前記送信コンピュータから受信する受信プロセスと、 前記受信プロセスと前記制御プロセスとを接続する受信
   制御接続部と、 前記送信プロセスと前記制御プロセスとを接続する送信
   制御接続部と、 を具備し、 前記受信プロセスが再生要求を前記受信制御接続部を介
   して前記制御プロセスに送り、 前記制御プロセスが前記再生要求を前記送信制御接続部
   を介して最適な送信プロセスに送り、 前記送信プロセスがデータを連続的に前記受信プロセス
   に送り、 前記送信プロセスが配信完了情報を前記送信制御接続部
   を介して前記制御プロセスに送り、 前記制御プロセスが前記配信完了情報を前記受信制御接
   続部を介して前記受信プロセスに送ることを特徴とする
   パラレル配信システム。
2. 【請求項２】 前記受信プロセスは、前記送信プロセス
   から送られたデータを記憶する受信バッファを有し、 前記送信プロセスは、前記送信制御接続部のエラーによ
   って、前記送信プロセスの故障を検出し、前記送信プロ
   セスが処理していた配信のエラー完了を前記受信制御接
   続部を介して前記受信プロセスに送る手段を有し、 前記受信プロセスは、前記受信バッファに記憶されたデ
   ータの最後尾からの再生要求を受信制御接続部を介して
   前記制御プロセスに送る手段を有し、 前記制御プロセスは、前記再生要求を前記送信制御接続
   部を介して、停止した送信プロセスとは異なる最適な送
   信プロセスに送る手段を有し、それにより前記送信プロ
   セスが前記受信プロセスに送ることを特徴とする請求項
   １記載のパラレル配信システム。
3. 【請求項３】 前記各送信プロセスは、送信プロセスの
   故障を検出するハートビートアダプタを有し、前記送信
   コンピュータが故障して停止したとき、送信コンピュー
   タ間のハートビート障害検出機能により他の送信プロセ
   スが故障を検出し、故障情報を前記送信制御接続部を介
   して前記制御プロセスに送り、前記制御プロセスが故障
   した送信プロセスとの送信制御接続部を切断することを
   特徴とする請求項２記載のパラレル配信システム。
4. 【請求項４】 前記送信プロセスが自らの負荷を前記送
   信制御接続部を介して前記制御プロセスに送り、前記制
   御プロセスが再生要求を送る送信プロセスを選択する際
   に、もっとも負荷の小さい送信プロセスに送ることを特
   徴とする請求項１記載のパラレル配信システム。
5. 【請求項５】 配信完了によって、各送信プロセスの負
   荷の差が一定のしきい値以上のとき、前記制御プロセス
   は、高い負荷の送信プロセスが処理していた配信のひと
   つまたは複数を擬似的にエラー完了とみなし、エラー停
   止要求を送信制御接続部を介して前記送信プロセスに送
   り、 前記送信プロセスがデータ送信を停止し、エラー完了情
   報を前記送信制御接続部を介して前記制御プロセスに送
   り、 前記制御プロセスが前記エラー完了情報を前記受信制御
   接続部を介して前記受信プロセスに送り、 前記受信プロセスが前記受信バッファに記憶されたデー
   タの最後尾からの再生要求を前記受信制御接続部を介し
   て前記停止した送信プロセスとは異なる最適な送信プロ
   セスに送り、 前記送信プロセスがデータを受信プロセスに送ることを
   特徴とする請求項２または４に記載のパラレル配信シス
   テム。