JP2005223821A - マルチストリーム再生システム - Google Patents

Abstract

【課題】 ネットワーク経由で送信されてくる複数のストリームを同期させて表示させる。
【解決手段】送信装置１は、複数のストリームＳＴａ，ＳＴｂそれぞれに時刻データを付加する時刻データ付加手段１１ａ，１１ｂと、時刻データの付加されたそれぞれのストリームＳＴａ，ＳＴｂを送信する送信部１２ａ，１２ｂとを有する。また、受信側としてのマルチストリーム同期化装置３は、前記複数のストリームＳＴａ，ＳＴｂに付加されている時刻データを比較し、その比較結果から最も遅延しているとされたストリーム以外のストリームをバッファに記憶し、前記最も遅延しているとされたストリームと同期が取れるタイミングで該記憶されたストリームを読み出して出力させる同期化手段３２を有する。
【選択図】 図１

Description

本発明は、複数のストリームをネットワーク経由で伝送し、受信側でそれぞれのストリームを同期させて表示するマルチストリーム再生システム、このマルチストリーム再生システムに用いられるマルチストリーム同期化装置およびマルチストリーム再生方法、ならびに、マルチストリーム再生システムに用いられる表示装置に関する。

たとえば、複数のビデオカメラなどから出力された映像情報や音情報（これらをストリームと呼ぶ）をネットワーク経由で伝送し、受信側（再生側）でそれぞれのストリームを同期化して再生するマルチストリーム再生システムがある。

このようなマルチストリーム再生システムでは、複数のストリームを伝送する場合、ネットワークの帯域幅や輻輳の状況などによって、受信側までの伝送時間が一定せず、受信側でそれぞれのストリームを正確に同期して再生することが難しいという問題がある。

そこで、送信側では複数のストリームを多重化して１つのストリームとしてネットワークを介して送信し、再生側で多重化されたストリームを分離して再生することが従来より行われている。

しかし、複数のストリームを多重化して送信する方法では、ネットワークの帯域の制限により、たとえば、映像の場合、解像度など画質を低下させて伝送させる必要があり、また、送信側では多重化装置、受信側では多重化されたマルチストリームを１つ１つのストリームに分離する分離装置といった特殊な装置が必要となるという問題がある。

このような問題を解決するためには、複数のストリームを多重化せずに、複数のストリームを個々に伝送して、受信側で個々のストリームを受け取って、再生すればよいが、そうすると、前述したように、ネットワークの帯域幅や輻輳の状況などによって、受信側でそれぞれのストリームを正確に同期して再生することができなくなるという問題が出てくる。

そこで、これらの問題を解決するものとして、特許文献１に記載の技術がある。この特許文献１の技術は、簡単に言えば、送信側でストリームに時刻コードを添付して送信し、受信側では、自身が生成した時刻コードと、受信したストリームに添付されている時刻コードとの差を用いて、ストリームの遅延制御を行うことにより複数のストリームの同期を取るというものである。
特開２００２−３６９１６３号公報

上述した特許文献１の技術は、受信側においても時刻コードを発生する時刻コード発生装置を設ける必要があり、また、ストリームの数と同じだけの遅延制御装置を受信側に設ける必要があることなどシステムが大掛かりになるといった問題がある。また、この特許文献１では、その遅延制御装置の行う遅延制御演算が複雑であるという問題もある。

本発明は、複数のストリームを多重化せずに複数のストリームを個々に伝送することで、ネットワークの帯域の制限の影響を受けにくく高品質のストリームの伝送を可能とし、また、受信側の構成および演算処理を複雑化することなく、確実な同期再生を可能とするマルチストリーム再生システム、このマルチストリーム再生システムに用いられるマルチストリーム同期化装置およびマルチストリーム再生方法、ならびにマルチストリーム再生システムに用いられる表示装置を提供することを目的としている。

（１）本発明のマルチストリーム再生システムは、複数のストリームを送信する送信装置と、この送信装置からネットワークを介して配信される複数のストリームを受信して、前記複数のストリームを同期化して出力するマルチストリーム同期化装置とを有するマルチストリーム再生システムであって、前記送信装置は、前記複数のストリームそれぞれに時刻データを付加する時刻データ付加手段と、時刻データの付加されたそれぞれのストリームを送信する送信部とを有し、前記マルチストリーム同期化装置は、前記複数のストリームに付加されている時刻データを比較し、その比較結果から最も遅延しているとされたストリーム以外のストリームをバッファに記憶し、前記最も遅延しているとされたストリームと同期が取れるタイミングで前記バッファに記憶されたストリームを読み出して出力する同期化手段を有することを特徴としている。

これによって、マルチストリーム同期化装置側で複数のストリームを確実に同期した状態で出力させることができ、たとえば、複数のプロジェクタなどの表示装置を用いたタイリング投影を行うような場合、それぞれの表示装置での再生映像を確実に同期させることができる。

また、本発明は、複数のストリームを多重化せずに伝送することで、ネットワークの帯域の制限の影響を受けにくくすることができ、それにより、高品質のストリームの伝送が可能となる。さらに、本発明が用いる同期化制御は、複雑な演算処理を行うことなく、時刻データの比較とその比較結果に基づいたバッファの入出力制御によって可能となるので、演算装置などやメモリなどのコストを低く抑えることができ、マルチストリーム再生システムを安価に構築できる。

（２）前記（１）に記載のマルチストリーム再生システムにおいて、前記同期化手段は、前記複数のストリームから時刻データを分離する時刻データ分離部と、前記バッファへの前記ストリームの記憶・読み出し制御を行うバッファ制御部と、前記時刻データ分離部で分離された時刻データに基づいて最も遅延しているストリームを判定し、その判定結果から最も遅延しているとされたストリーム以外のストリームをバッファに記憶させるための指示および前記最も遅延しているとされたストリームと同期が取れるタイミングで前記バッファに記憶されたストリームを読み出すための指示を前記バッファ制御部に対して出力可能な同期制御部とを有することが好ましい。
これにより、前記（１）に記載のマルチストリーム再生システムを容易に構成することができる。

（３）前記（１）または（２）に記載のマルチストリーム再生システムにおいて、前記時刻データは、前記複数のストリームを構成する所定のデータ単位ごとに付加され、前記同期化手段は、前記分離された時刻データをあるタイミングにおいて前記各ストリーム間で比較し、その比較結果から最も遅延しているとされたストリーム以外のストリームの前記所定のデータ単位を前記バッファに記憶させ、前記バッファに記憶された所定のデータ単位のうち、前記最も遅延しているとされたストリームの所定のデータ単位と同じ時刻データを有する所定のデータ単位を前記バッファから読み出して出力させる同期制御を行うことが好ましい。

これによって、それぞれのストリームの所定のデータ単位（この所定のデータ単位は、本発明の実施形態ではフレームとしている）ごとに同期化されたストリームを出力することができ、それを複数のプロジェクタなどの表示装置を用いて前述したようなタイリング投影を行うような場合、それぞれの表示装置での再生映像を確実に同期させることができる。

（４）本発明のマルチストリーム同期化装置は、前記（１）に記載のマルチストリーム再生システムに用いられるマルチストリーム同期化装置であって、前記マルチストリーム同期化装置は、前記複数のストリームに付加されている時刻データを比較し、その比較結果から最も遅延しているとされたストリーム以外のストリームをバッファに記憶し、前記最も遅延しているとされたストリームと同期が取れるタイミングで前記バッファに記憶されたストリームを読み出して出力する同期化手段を有することを特徴としている。

このようなマルチストリーム同期化装置を用いることによって、前記（１）に記載のマルチストリーム再生システムを容易に構成することができ、それによって、（１）に記載のマルチストリーム再生システムと同様の効果を得ることができる。また、この（４）に記載のマルチストリーム同期化装置においても、前記（２）および（３）のマルチストリーム再生システムと同様の特徴を有することが好ましい。

（５）本発明のマルチストリーム再生方法は、前記（１）に記載のルチストリーム再生システムに用いられるマルチストリーム再生方法であって、前記マルチストリーム同期化装置は、前記複数のストリームに付加されている時刻データを比較するステップと、その比較結果から最も遅延しているとされたストリーム以外のストリームをバッファに記憶させるステップと、前記最も遅延しているとされたストリームと同期が取れるタイミングで前記バッファに記憶されたストリームを読み出して出力するステップとを有することを特徴としている。
このマルチストリーム再生方法においても、前記（１）に記載のマルチストリーム再生システムと同様の効果を得ることができる。また、このマルチストリーム同期化方法においても、前記（２）および（３）のマルチストリーム再生システムと同様の特徴を有することが好ましい

（６）本発明の表示装置は、マルチストリーム再生システムに用いられる表示装置であって、前記（４）記載のマルチストリーム同期化装置を備えたことを特徴としている。
この（６）に記載の表示装置を用いることによって、前記（１）に記載のマルチストリーム再生システムを容易に構築することができ、（１）と同様の効果が得られる。

本発明は、たとえば、パノラマ撮影可能に設定されたｎ台（ｎは２以上の整数）のカメラ映像をｎ本のストリームとして伝送し、受信側でｎ本のストリームの同期をとった上で、タイリング投影可能に設定されたｎ台のプロジェクタなどの表示装置で投影することにより、パノラマ映像の再生を行う場合や、左目用および右目用のカメラ映像を２本のストリームとして伝送し、受信側で２本のストリームの同期をとった上で、立体（３Ｄ）合成して表示する場合（多眼用のｎ本のストリームも同様）、さらに、大容量の映像をｎ分割し、ｎ本の映像ストリームとして伝送し、受信側でｎ本のストリームの同期をとった上で、複数台の表示装置（プロジェクタなど）で各々ストリームを投影することにより全体の映像を投影する場合などに適用することを想定している。以下、本発明の実施形態について説明する。

図１は本発明の実施形態に係るマルチストリーム再生システムの構成を説明する図である。なお、この実施形態では、説明を簡単にするため、特別な場合を除いてはストリームの数は２本とする。

本発明の実施形態に係るマルチストリーム再生システムは、その構成を大きく分けると、マルチストリームとしてこの場合、ストリームＳＴａ，ＳＴｂを送信する送信装置１、ローカルエリアネットワーク（ＬＡＮ）やインターネットなどのネットワーク２、送信されてきたマルチストリーム（ストリームＳＴａ，ＳＴｂ）を同期化した上で再生する受信装置としてのマルチストリーム同期化装置３、このマルチストリーム同期化装置３で同期化されたマルチストリーム（ストリームＳＴａ，ＳＴｂ）を表示する表示装置４ａ，４ｂを有した構成となっている。

なお、表示装置４ａ，４ｂとしては、たとえば、プロジェクタなどが用いられる。この場合、マルチストリームはストリームＳＴａ，ＳＴｂの２本としているので、ストリームＳＴａ，ＳＴｂはそれぞれ対応する表示装置４ａ，４ｂによって表示される。すなわち、ストリームＳＴａは表示装置４ａによって表示され、ストリームＳＴｂは表示装置４ｂによって表示される。

送信装置１は、ストリームＳＴａを構成する所定のデータ単位（たとえば、映像データなどの場合、１つのフレームであるとする）ごとに時刻データＴＤを付加する時刻データ付加手段１１ａ、ストリームＳＴｂを構成する所定のデータ単位（同じく、映像データなどの場合、１つのフレームであるとする）ごとに時刻データＴＤを付加する時刻データ付加手段１１ｂ、時刻データＴＤの付加されたストリームＳＴａを送信する送信部１２ａ、時刻データＴＤの付加されたストリームＳＴｂを送信する送信部１２ｂを有した構成となっている。なお、上述した所定のデータ単位を以下ではフレームという。

一方、マルチストリーム同期化装置３は、時刻データＴＤの付加されたストリームＳＴａを受信する受信部３１ａ、時刻データＴＤの付加されたストリームＳＴｂを受信する受信部３１ｂ、これらストリームＳＴａとＳＴｂとを同期化して、同期化されたそれぞれのストリームＳＴａ，ＳＴｂを、それぞれ対応する表示装置４ａ，４ｂに出力する同期化手段３２を有している。

なお、マルチストリーム同期化装置３は表示装置４ａ，４ｂに組み込まれていてもよい。その場合、たとえば、ある１つの表示装置（この場合、表示装置４ａ，４ｂのいずれか）がマルチストリーム同期化装置３を有し、このマルチストリーム同期化装置３を持っている表示装置が同期化処理を行って、同期化されたストリームをそれぞれ対応する表示装置にそれぞれ出力するような形態であってもよく、また、すべての表示装置がマルチストリーム同期化装置３を有していて、いずれかの表示装置が同期化処理を行って、同期化されたストリームをそれぞれ対応する表示装置に出力するような形態であってもよい。

図２は送信装置１の構成をより具体的に示すものであり、送信装置１が有している時刻データ付加機能について主に説明するものである。時刻データ付加手段１１ａ，１１ｂは、それぞれが時刻データ付加部１４ａ、１４ｂを有し、基準時刻受信部１３からの絶対時刻に基づいて、これら時刻データ付加部１４ａ，１４ｂが時刻データＴＤを生成して、生成された時刻データＴＤをストリームＳＴａ、ＳＴｂの各フレームに付加する。

基準時刻受信部１３は、たとえば、ＧＰＳ、電波時計、インターネットのタイムサーバなど利用して絶対時刻を取得可能なものである。なお、付加する時刻データＴＤとしては、絶対時刻そのものであっても勿論よいが、絶対時刻そのものではなく絶対時刻から生成した相対時刻であってもよい。さらに、各ストリーム（この例では、ストリームＳＴａ，ＳＴｂ）のフレームレートが同一である場合には、指定した開始時刻からのフレーム番号を時刻データとして利用することもできる。

この時刻データ付加部１４ａ，１４ｂで付加される時刻データは、受信側、すなわち、マルチストリーム同期化装置３側で映像などのデータ部から時刻データを分離可能であれば、どのような方法で付加されていてもかまわない。

図３はマルチストリーム同期化装置３の構成をより具体的に示すものであり、主に同期化手段３２の構成について説明する図である。この同期化手段３２は、時刻データ分離部３３ａ，３３ｂ、同期制御部３４、バッファ制御部３５、ストリーム出力切り替え手段３６ａ，３６ｂを有した構成となっている。

時刻データ分離部３３ａは、ストリームＳＴａの各フレームに付加されている時刻データＴＤを分離する機能を有し、同様に、時刻データ分離部３３ｂは、ストリームＳＴｂの各フレームに付加されている時刻データＴＤを分離する機能を有している。

同期制御部３４は、時刻データ分離部３３ａ，３３ｂで分離されたストリームＳＴａ，ＳＴｂのあるフレームの時刻データＴＤを、あるタイミングにおいて比較し、その比較結果に基づいて、該フレームを表示装置４ａ，４ｂへ出力させるか、または、バッファ制御部３５の制御によってバッファ（図示せず）に記憶させるかの指示をストリーム出力切り替え手段３６ａ，３６ｂに与える機能を有している。また、この同期制御部３４は時刻データＴＤの比較結果に基づいて、バッファへのフレームの記憶とバッファからのフレームの読み出しを制御するための指示をバッファ制御部３５に対して行う機能をも有している。

図４は本発明のマルチストリーム同期化装置３の動作を説明するフローチャートであり、この図４のフローチャートは、一般的な例として、ストリームは２つ以上の任意の数であるとして説明されている。したがって、この図４の説明に限っては、受信部３１ａ，３１ｂは受信部３１ａ，３１ｂ，・・・、時刻データ分離部３３ａ，３３ｂは時刻データ分離部３３ａ，３３ｂ，・・・、ストリーム出力切り替え手段３６ａ，３６ｂは、ストリーム出力切り替え手段３６ａ，３６ｂ，・・・、また、ストリームＳＴａ，ＳＴｂはストリームＳＴａ，ＳＴｂ，・・・として説明する。

図４において、まず、受信部３１ａ，３１ｂ，・・・で受信された複数のストリームＳＴａ，ＳＴｂ，・・・のあるフレームに対し、時刻データ分離部３３ａ，３３ｂ，・・・がそれぞれのフレームにおける映像などのデータ部から時刻データＴＤを分離する（ステップＳ１）。

そして、このステップＳ１によって得られた時刻データＴＤは、同期制御部３４に与えられ、この同期制御部３４では、分離されたそれぞれの時刻データを比較する（ステップＳ２）。

この時刻データを比較した結果、最も早い時刻データを持ったフレームをｘｉとし、それ以外のフレームをａｊとする。なお、もっとも早い時刻データを持ったフレームというのは、一番遅延しているフレームである。すなわち、マルチストリーム同期化装置３側で、あるタイミングにおいて、複数のストリームＳＴａ，ＳＴｂのそれぞれのフレームの時刻データを複数のストリーム間で比較した結果、もっとも早い時刻データを持っているということは、そのフレームが最も遅れてマルチストリーム同期化装置３に到着したということである。

このように、時刻データの比較がなされると、同期制御部３４はその比較結果に基づいて、最も早い時刻データを有するフレームｘｉ（最も遅延しているフレームｘｉ）に、それ以外のフレームａｊを合わせるための同期制御を行う。

すなわち、同期制御部３４はフレームａｊをバッファに記憶させるために、ストリーム出力切り替え手段３６ａ，３６ｂ，・・・とバッファ制御部３５に対してフレームａｊをバッファに記憶させるための指示を出し、これによって、フレームａｊはバッファに一時的に記憶される(ステップＳ３)。それと同時に、すでにバッファに記憶されているフレームのうち、該バッファの先頭に記憶されているフレーム（これをフレームａｋとする）を該バッファから読み出して、読み出したフレームを対応する表示装置に出力するとともに、最も遅延しているフレームｘｉを、対応する表示装置に出力する（ステップＳ４）。この動作を繰り返し行う。これにより、一番遅延しているストリームに他のストリームを合わせることができる。なお、バッファに記憶されたフレームは、読み出された後には該バッファ上では消去される。

図５は上述した動作を具体的に説明するタイムチャートであり、この図５では、マルチストリームは、ストリームＳＴａストリームＳＴｂの２本であるとし、この２本のストリームＳＴａストリームＳＴｂをマルチストリーム同期化装置３側で受信した場合を例にとって説明する。

この図５において、ａ１，ａ２，ａ３，・・・はストリームＳＴａの各フレームを表し、ｂ１，ｂ２，ｂ３，・・・は、ストリームＳＴｂの各フレームを表している。なお、フレームａ１，ａ２，ａ３，・・・およびフレームｂ１，ｂ２，ｂ３，・・・の各数字１，２，３，・・・が同じフレームは同一の時刻データＴＤを持っていることを示し、また、数値が大きいほど時刻が進んだフレーム（後から到着するフレーム）であることを示しているものとする。

図５（Ａ），（Ｂ）は同期化手段３２への各ストリームＳＴａ，ＳＴｂの入力タイミングを示すもので、ストリームＳＴａに対してストリームＳＴｂは（ｔ２−ｔ１）時間の伝送遅延量を有しているものとする。

この図５（Ａ），（Ｂ）に示すように、あるタイミング（時刻ｔ１）においては、ストリームＳＴａの最初のフレームａ１のみが同期化手段３２に入力され、その時点では、ストリームＳＴｂはまだ入力されていない。このように、他のストリームが受信されない場合にも、その時点で受信されたストリームのフレーム（この例ではフレームａ１）は、同期制御部３４の指示によってバッファに一時記憶される。同様にして、ストリームＳＴａの次のフレームａ２もバッファに記憶される。

なお、これら各フレームａ１，ａ２のバッファへの記憶は、図３において、同期制御部３４がストリーム切り替え手段３６ａに対し、フレームをバッファ制御部３５側に出力させる指示を出すことによって行われる。これにより、各フレームａ１，ａ２はバッファ制御部３５の制御によりバッファに記憶される。

次に、ストリームＳＴａのフレームａ３も同期化手段３２に入力され、このフレームａ３もバッファに記憶されるが、時刻ｔ２でストリームＳＴｂのフレームｂ１が同期化手段３２に入力されるので、ストリームＳＴｂのフレームｂ１とストリームＳＴａのフレームａ３の時刻データが比較される。

この時刻データの比較の結果、フレームｂ１はフレームａ３よりも早い時刻データを持つ（フレームｂ１はフレームａ３よりも遅延している）と判定されるので、そのフレームｂ１は、同期制御部３４の指示によって、そのまま表示装置４ｂに出力される。これは、図３において、同期制御部３４がストリーム切り替え手段３６ｂに対し、フレームｂ１をそのまま表示装置４ｂに出力させる指示を出すことにより可能となる。

このようにして、フレームｂ１が表示装置４ｂに出力されるが、それと同時に、ストリームＳＴａ側に対しては、その時点でバッファの先頭に記憶されているフレームａ１が表示装置４ａに出力される。

これにより、時刻ｔ２において、ストリームＳＴａとストリームＳＴｂの伝送遅延時間（ｔ２−ｔ１）を解消することができ、図５（Ｃ），（Ｄ）に示すように、２つのストリームＳＴａ，ＳＴｂを同期させた状態でそれぞれ対応する表示装置４ａ，４ｂに出力させることができる。

以後、同期制御部３４はストリームＳＴａ、ＳＴｂの各フレームの時刻データを比較しながら同期制御を行う。
すなわち、時刻ｔ３でストリームＳＴｂのフレームｂ２が同期化手段３２に入力されるので、ストリームＳＴｂのフレームｂ２とすでに入力されたストリームＳＴａのフレームａ４の時刻データが比較される。

この時刻データの比較の結果、フレームｂ２はフレームａ４よりも早い時刻データを持つ（フレームｂ２はフレームａ４よりも遅延している）と判定されるので、そのフレームｂ２は、同期制御部３４の指示によって、そのまま表示装置４ｂに出力され、また、ストリームＳＴａのフレームａ４はバッファに記憶される。それと、同時に、その時点でバッファの先頭に記憶されているフレームａ２が表示装置４ａに出力され、これによって、ストリームＳＴａのフレームａ２とストリームＳＴｂのフレームｂ２とを同期させた状態でそれぞれ対応する表示装置４ａ，４ｂに出力させることができる。

以上の動作が繰り返されることによって、この場合、遅延しているストリームＳＴｂにストリームＳＴａを合わせることができ、ストリームＳＴａとストリームＳＴｂとが同期した状態でそれぞれ対応する表示装置４ａ，４ｂに出力されるようになる。

なお、本発明は上述の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の実施形態では、２つのストリームが送信されてくる場合について説明したが、２つに限られるものではなく、３つ以上であっても同様に実施できる。また、ストリームが何であるかについては前述の実施形態では特に説明はされていないが、映像であっても音声であってもよい。また、前述の実施形態では、ＬＡＮやインターネットなどによってストリームが受信側としてのマルチストリーム同期化装置３側に配信される場合を主に想定したが、ディジタル放送網などによって複数のストリームが配信されてくる場合にも適用することができる。

本発明の実施形態に係るマルチストリーム再生システムの全体的な構成図である。 図１で示した送信装置側の構成をより具体的に示す図である。 図１で示したマルチストリーム同期化装置の構成をより具体的に示す図である。 本発明の実施形態に係るマルチストリーム再生方法の処理手順を説明するフローチャートである。 本発明の実施形態に係るマルチストリーム再生方法の処理手順を説明するタイムチャートである。

符号の説明

１ 送信装置、２ ネットワーク、３ マルチストリーム同期化装置、１１ａ，１１ｂ 時刻データ付加手段、１２ａ，１２ｂ 送信部、１３ 基準時刻受信部、４ａ，４ｂ 表示装置、３１ａ，３１ｂ 受信部、３２ 同期化手段、３３ａ，３３ｂ 時刻データ分離部、３４ 同期制御部、３５ バッファ制御部、３６ａ，３６ｂ マルチストリーム出力切り替え手段、ＳＴａ，ＳＴｂ ストリーム

Claims (6)

1. 複数のストリームを送信する送信装置と、この送信装置からネットワークを介して配信される複数のストリームを受信して、前記複数のストリームを同期化して出力するマルチストリーム同期化装置とを有するマルチストリーム再生システムであって、
   前記送信装置は、前記複数のストリームそれぞれに時刻データを付加する時刻データ付加手段と、時刻データの付加されたそれぞれのストリームを送信する送信部とを有し、
   前記マルチストリーム同期化装置は、前記複数のストリームに付加されている時刻データを比較し、その比較結果から最も遅延しているとされたストリーム以外のストリームをバッファに記憶し、前記最も遅延しているとされたストリームと同期が取れるタイミングで前記バッファに記憶されたストリームを読み出して出力する同期化手段を有することを特徴とするマルチストリーム再生システム。
2. 請求項１記載のマルチストリーム再生システムにおいて、前記同期化手段は、前記複数のストリームから時刻データを分離する時刻データ分離部と、前記バッファへの前記ストリームの記憶・読み出し制御を行うバッファ制御部と、前記時刻データ分離部で分離された時刻データに基づいて最も遅延しているストリームを判定し、その判定結果から最も遅延しているとされたストリーム以外のストリームをバッファに記憶させるための指示および前記最も遅延しているとされたストリームと同期が取れるタイミングで前記バッファに記憶されたストリームを読み出すための指示を前記バッファ制御部に対して出力可能な同期制御部とを有することを特徴とするマルチストリーム再生システム。
3. 請求項１または２記載のマルチストリーム再生システムにおいて、前記時刻データは、前記複数のストリームを構成する所定のデータ単位ごとに付加され、前記同期化手段は、前記分離された時刻データをあるタイミングにおいて前記各ストリーム間で比較し、その比較結果から最も遅延しているとされたストリーム以外のストリームの前記所定のデータ単位を前記バッファに記憶させ、前記バッファに記憶された所定のデータ単位のうち、前記最も遅延しているとされたストリームの所定のデータ単位と同じ時刻データを有する所定のデータ単位を前記バッファから読み出して出力させる同期制御を行うことを特徴とするマルチストリーム再生システム。
4. 請求項１に記載のマルチストリーム再生システムに用いられるマルチストリーム同期化装置であって、
   前記マルチストリーム同期化装置は、前記複数のストリームに付加されている時刻データを比較し、その比較結果から最も遅延しているとされたストリーム以外のストリームをバッファに記憶し、前記最も遅延しているとされたストリームと同期が取れるタイミングで前記バッファに記憶されたストリームを読み出して出力する同期化手段を有することを特徴とするマルチストリーム同期化装置。
5. 請求項１に記載のルチストリーム再生システムに用いられるマルチストリーム再生方法であって、
   前記マルチストリーム同期化装置は、前記複数のストリームに付加されている時刻データを比較するステップと、その比較結果から最も遅延しているとされたストリーム以外のストリームをバッファに記憶させるステップと、前記最も遅延しているとされたストリームと同期が取れるタイミングで前記バッファに記憶されたストリームを読み出して出力するステップとを有することを特徴とするマルチストリーム再生方法。
6. マルチストリーム再生システムに用いられる表示装置であって、請求項４記載のマルチストリーム同期化装置を備えたことを特徴とする表示装置。

Images