JP2016513926A - 圧縮されたビデオストリームを切り替えるためのスイッチング装置、当該スイッチング装置を備えた会議システムおよび圧縮されたビデオストリームを切り替える方法 - Google Patents

Abstract

会議システムは、会議室または会議場における議論をサポートために使用される。ここでこの会議システムは通常、会議参加者用の複数のデリゲートユニットを含んでいる。さらに、会議システムが会議において発言中の話者を表示するディスプレイを含んでいることが知られている。特に、参加者が多数の大きな会議では、２つ以上のカメラが、ディスプレイに表示される、発言中の種々の話者を見せるために使用される。圧縮されたビデオストリームを切り替えるためのスイッチング装置（９）は少なくとも２つの入力部ＩＮ１、ＩＮ２を有しており、各入力部は１つのカメラ（７）からインプットビデオストリームを受信するように動作される。スイッチング装置（９）は出力部ＯＵＴを有しており、出力部はアウトプットビデオストリームを出力する。インプットビデオストリームは圧縮されたビデオストリームである。ここで、圧縮された各ビデオストリームはフレーム群ＧｏＦのシーケンスによって表される。各フレーム群ＧｏＦは１つのキーフレームＩと少なくとも１つのインターフレームＸとを含んでいる。スイッチングモジュール（１２）は、切り替え要求ＳＲを受信し、アウトプットビデオストリームにおいてインプットビデオストリームを切り替えるように動作され、これによって、複数のインプットビデオストリームのうちの第１のビデオストリームが停止され、複数のインプットビデオストリームのうちの第２のビデオストリームが開始される。アウトプットビデオストリームは圧縮されたビデオストリームである。

Description

本発明は、圧縮されたビデオストリームを切り替えるためのスイッチング装置に関する。より詳細には、本発明は、圧縮されたビデオストリームを切り替えるためのスイッチング装置に関し、ここでこのスイッチング装置は少なくとも２つの入力部と１つの出力部とを有しており、各入力部はカメラからのインプットビデオストリームを受信するように動作可能であり、出力部はアウトプットビデオストリームを出力する。ここでインプットビデオストリームは圧縮されたビデオストリームであり、圧縮された各ビデオストリームは、フレーム群のシーケンスによって表される。ここで各フレーム群は、１つのキーフレームと少なくとも１つのインターフレームとを含んでいる。スイッチング装置はさらに、スイッチングモジュールを有している。このスイッチングモジュールは、切り替え要求を受信し、インプットビデオストリームをアウトプットビデオストリームにおいて切り替えるように動作可能である。この切り替えによって、インプットビデオストリームのうちの第１のビデオストリームが停止され、インプットビデオストリームのうちの第２のビデオストリームが開始される。本発明は、このようなスイッチング装置を備えた会議システムにも、圧縮されたビデオストリームを切り替える方法にも関する。

会議システムは、会議室または会議場における議論をサポートするために使用される。ここでこの会議システムは、通常、会議参加者用の複数のデリゲートユニットを含んでいる。各デリゲートユニットはマイクロフォンを有しており、参加者はマイクロフォンに向かって話すことができる。オーディオ信号である音声信号は会議システムによって増幅され、スピーカーまたはヘッドフォンによって出力され、これによって他の参加者がこの音声信号を聞くことができる。

複数のデリゲートユニットを有するこのような会議システムは、例えば、欧州特許出願公開第１６８６８３５号明細書に開示されている。会議システムの複数のデリゲートユニットは、オーディオコミュニケーションネットワークによって接続されている。

さらに、この会議システムは、会議において発言中の話者を表示するディスプレイを含んでいる。特に、参加者が多数の大きな会議では、ディスプレイに表示される、発言中の種々の話者を見るために、２つ以上のカメラが用いられる。

欧州特許出願公開第１６８６８３５号明細書

発明の概要
本発明は、請求項１に記載された特徴を有するスイッチング装置と、請求項１３に記載された特徴を有する会議システムと、請求項１５に記載された特徴を有する方法とに関する。本発明の有利な実施形態は、従属請求項、明細書および添付図面によって開示される。

本発明では、圧縮されたビデオストリームをアウトプットビデオストリームにおいて切り替えるように動作可能である、および／または、圧縮されたビデオストリームをアウトプットビデオストリームにおいて切り替えるのに適しているスイッチング装置が開示される。ここで圧縮されたビデオストリームとは特に、圧縮されたインプットビデオストリームである。このスイッチング装置は、電子部品として、または、コンピュータ等の処理部品として、または、電子データ処理部品として実現され得る。

スイッチング装置は、少なくとも２つの入力部を有している。有利にはこれらの入力部は、信号インタフェースとして実現されている。各入力部は、１つのカメラからのインプットビデオストリームを受信するように動作可能であり、特に、１つのカメラからのインプットビデオストリームを受信するのに適している。カメラは、白黒カメラとして、または、カラーカメラとして、または、３Ｄカメラとして実現され得る。カメラは特に、デジタルビデオストリームを提供するデジタルカメラとして実現される。より多くのカメラが設けられる場合にはスイッチング装置が３つ以上の入力部を有することが可能である。

さらに、スイッチング装置は、アウトプットビデオストリームを出力する出力部を有している。有利にはこの出力部は、信号インタフェースとして実現されている。有利には、スイッチング装置は、アウトプットビデオストリームを出力する出力部を１つだけ有する。例えば、入力部および／または出力部は、ケーブル接続線（複数）を受け入れるプラグ（複数）またはソケット（複数）として実現され得る。選択的に、入力部および／または出力部は、無線回線（複数）を受け入れる無線インタフェース（複数）として実現され得る。

インプットビデオストリームは、圧縮されたビデオストリームである。特にこれらは、一時的に圧縮されているビデオストリームである。圧縮された各ビデオストリームは、フレーム群（ピクチャー群（ＧｏＰ）とも称される）のシーケンスによって表される。各フレーム群は、１つのキーフレームと、少なくとも１つのインターフレームとを含んでいる。換言すれば、複数のフレームは群で格納される。各群はキーフレームで始まり、これに少なくとも１つのインターフレームが続く。有利には、キーフレームは一時的に圧縮されていないフレームであり、少なくとも１つのインターフレームは一時的に圧縮されているフレームであり、これはキーフレームに依存している。圧縮されているビデオストリームをデコーディングする際、正しいデコーディングのために、少なくとも１つのインターフレームは、キーフレームからのデータを必要とする。

スイッチング装置は、スイッチングモジュールを含んでいる。スイッチングモジュールは、切り替え要求を受信するように動作可能であり、特に、切り替え要求を受信するように構成されている。ここでこのスイッチングモジュールは、この切り替え要求に応答して、インプットビデオストリームをアウトプットビデオストリームにおいて切り替えるように動作可能であり／構成されている。インプットビデオストリームをアウトプットビデオストリームにおいて切り替えるのは、インプットビデオストリームのうちの第１のビデオストリームの伝送を停止すること、および、インプットビデオストリームのうちの第２のビデオストリームの、アウトプットストリームへの伝送を開始することによって行われる。切り替え要求前には第１のビデオストリームがアウトプットストリームに伝送され、切り替え要求後には第２のビデオストリームがアウトプットビデオストリームに伝送される。

本発明では、アウトプットビデオストリームも圧縮されたビデオストリーム、特に上で規定された圧縮されたビデオストリームであることが提案される。従ってアウトプットビデオストリームにおけるインプットビデオストリームの切り替えは、デコーディング無しで実現される。すなわち、インプットビデオストリームのエンコードされたフレームを、アウトプットビデオストリームにおいて挿入することで実現される。要するに本発明は、一時的に圧縮された複数のビデオストリーム間を切り替えるように動作可能であるスイッチング装置を開示する。ここでは、インプットビデオストリームがアウトプットビデオストリームにおいて切り替えられ、アウトプットビデオストリームは圧縮されたままである。

インプットビデオストリームの変更は、録画されたビデオを見ることの問題というだけではなく、リアルタイムアプリケーションの問題でもある、というのが本発明の１つの考察である。特に、リアルタイムアプリケーションの領域では、インプットビデオストリームの切り替えは時間を要するものであり、かつ、時間に関して確定的なものではない。第１のソースからのビデオストリームをキャプチャーし、デコーディングするＰＣに関する例を参照する。切り替えが要求されると、ＰＣは第１のソースのデコーディングを停止し、第２のソースからのストリームをセットアップし、この第２のソースからのビデオストリームのデコーディングを開始する。停止と、第２のビデオストリームのビデオストリームの初期化と、開始との間の時間は、確定的ではない。確定的ではあるが、リソースを消費するソリューションは、ＰＣが、圧縮されたビデオストリームを２つのソースから同時に得て、さらに、２つのビデオストリームを同時にデコーディングすることである。切り替えが要求されると、ＰＣは単に、新たなソースからのビデオの表示を開始する。切り替えに伴う遅延は生じず、映像がフリーズする時間も無い。しかし、ＰＣが２つのビデオストリームを同時にデコーディングする必要があり、これはリソースを消費するものであり、高い処理負荷を受けることがある。

本発明の１つの利点は、このスイッチング装置によって、圧縮されたアウトプットストリームにおける、圧縮されたインプットビデオストリームの切り替えが可能になる、ということである。デコーディング装置、例えば受信器から見ると、圧縮されたアウトプットビデオストリームだけが受信される。従って、デコーディングはリソースを消費するものではなくなり、新たなビデオストリームの非確定的な初期化が必要なくなる。

本発明の有利な実施形態では、スイッチングモジュールは、アウトプットビデオストリームへの第２のビデオストリームの伝送をキーフレームで開始するように動作可能であり、特に、アウトプットビデオストリームへの第２のビデオストリームの伝送をキーフレームで開始するように構成されている。換言すれば、第２のビデオストリームからアウトプットビデオストリームへと伝送される最初のフレームは、複数のインターフレームのうちの１つではなく、複数のキーフレームのうちの１つである。仮に第２のインプットビデオストリームのインターフレームを使用するならば、このインターフレームは、第１のビデオインプットストリームから受信された最後のフレームに対してデコーディングされることになるだろう。これは、無意味なデコーディングされたフレームを生じさせることになってしまう。

さらに有利には、スイッチングモジュールは、（この１つのフレーム群の）フレームが完全にアウトプットビデオストリームへと伝送された後、かつ、第１のインプットビデオストリームの次のフレームがアウトプットビデオストリームへ伝送され始める前に、第１のインプットビデオストリームの伝送を停止するように動作可能である。選択的に、または、さらに有利には、第２のインプットビデオストリームの伝送は、フレーム群の完全なフレームまたは全体のフレームで開始される。この有利な実施形態は、次のことを考慮している。すなわち、アウトプットビデオストリームにおいて第１のビデオインプットビデオストリームを第２のインプットビデオストリームによって入れ替えるだけでは、無効な圧縮されたアウトプットビデオストリームが生じてしまう可能性がある、ということを考慮している。生じ得る誤りは、次のようなものである。すなわち、第１のインプットビデオストリームが、フレーム伝送の半ばで停止されてしまうということ、および／または、第２のインプットビデオストリームの伝送がフレーム伝送の半ばで開始されてしまう、ということである。完全なフレームでの開始および停止に制限することによって、このような誤りが防止される。従って、有利には、スイッチング装置、特にスイッチングモジュールは、第１のインプットビデオストリームの１つのフレームの全てのパケットを受信するまで入力部を通じてデータを受信し、完全なフレームを、最後のフレームとしてアウトプットビデオストリームに伝送するように動作可能であり、特に、第１のインプットビデオストリームの１つのフレームの全てのパケットを受信するまで入力部を通じてデータを受信し、完全なフレームを、最後のフレームとしてアウトプットビデオストリームに伝送するように構成されている。

有利な実施形態では、キーフレームはいわゆるＩフレーム即ちＩｎｔｒａフレームであり、インターフレームはＰフレームまたはＢフレームである、および／または、ビデオストリームは、ＭＰＥＧ規格、特にＨ.２６４、Ｈ.２６５、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−３またはＭＰＥＧ４等のＭＰＥＧ規格に従って圧縮されている。

本発明の第１の可能な具現化では、第１のビデオストリームがアウトプットビデオストリームにおいて停止され、かつ、第２のビデオストリームがアウトプットビデオストリームにおいて開始される間、第１のビデオストリーム用の入力部と第２のビデオストリーム用の入力部とに同時に接続されているようにスイッチング装置が動作可能である。この実施形態では、スイッチング装置は常時、全ての入力部からビデオストリームを受信する。

選択的に、アウトプットビデオストリームにおいて第１のビデオストリームが停止されるとすぐに第１のビデオストリーム用の入力部を接続解除し、アウトプットビデオストリームにおいて第２のビデオストリームが開始されるべきであるようになると直ちに、第２のビデオストリーム用の入力部を接続するように、スイッチング装置が動作可能であってもよい。この具現化においては、複数の入力部のうちの１つだけが、ビデオストリームデータを受信する。ここでは、他の１つまたは複数の入力部は動作しないようにされている。上述したこれらの具現化例は、インプットビデオストリームのリアルタイム切り替えが可能である、という利点を有している。他方で、両方の具現化は、次のような欠点を有している。すなわち、アウトプットビデオストリームが、第１のインプットビデオストリームの停止と第２のビデオインプットストリームの開始との間にギャップを有している、という欠点を有している。なぜなら、第１のビデオインプットストリームは有利には、切り替え要求の受信後に最後のフレームが完全にアウトプットビデオストリームに伝送されるとすぐに停止され、第２のインプットビデオストリームのキーフレームが到着するまで、スイッチングモジュールが待機をしなければならないからである。従ってこの２つの具現化では、結果として、第２のインプットビデオストリームからキーフレームを受信するまで、第１のビデオインプットストリームから静止画が生じてしまう。

この欠点を克服するために、スイッチング装置は有利には、第２のビデオストリームをキャッシュするキャッシュモジュールを含んでいる。

有利には、キャッシュモジュールは、ＦＩＦＯ構造（先入先出）に構造化されている。スイッチングモジュールは、アウトプットストリームにおける第２のビデオストリームの伝送を、キャッシュモジュールからのキャッシュされているキーフレームで開始するように動作可能である。このキーフレームには、正しい、シーケンシャルな配列に従って、第２のビデオインプットストリームの他のフレームが続く。この具現化によって、第１のビデオインプットストリームからの静止画が阻止される。

この具現化の、生じ得る欠点は、第１のインプットビデオストリームの最後のフレームと、第２のインプットビデオストリームの第１のキーフレームとの間のタイムギャップの代わりに、インプットビデオストリームの各切り替えプロセスに対して、ネガティブなタイムラグがスイッチング装置によって生成されてしまう、ということである。切り替えプロセスが少数回しか実行されない場合には、このネガティブなタイムラグは受け入れ可能なものである。しかし、各切り替えプロセスでタイムラグが増大し得るので、複数回の切り替えプロセスによって、リアルタイム要求が満たされない状況が生じる虞がある。

アウトプットビデオストリームのリアルタイム要求をコントロールすることを可能にするために、有利には、スイッチング装置はタイムスタンプモジュールを含んでいる。タイムスタンプモジュールは、第２のビデオストリーム上のタイムスタンプを適合化するように動作され、適合化されたこのタイムスタンプは、アウトプットビデオストリームにおける第１のビデオストリームのタイムスタンプと一致する。第２のインプットビデオストリームがアウトプットストリームに伝送されるとすぐに、第２のインプットビデオストリームのタイムスタンプがパッチされて、第１のインプットビデオストリームのタイムスタンプに一致する、適合化されたタイムスタンプによって置き換えられる。この具現化によって、第１のインプットビデオストリームのタイムスタンプと第２のインプットビデオストリームのタイムスタンプとが関連していない場合でも、圧縮されたフレームのタイムスタンプが受信部に連続して到達することが保証される。この点において、各カメラのフレームキャプチャータイムが独立し得る、ということが強調されるべきである。各カメラは、（恐らく）同一のレートでキャプチャーするであろうが、位相差が生じ得る。また、カメラがキャプチャークロックとしてフリーランニングクロックを使用する場合には、キャプチャーレートにおいて、極めて小さい差が生じ得る。このタイムスタンプモジュールによって、２つのインプットビデオストリームを、それらのタイムスタンプを考慮して適合させることができる。

本発明の可能な実施形態では、適合化されたこれらのタイムスタンプ間の時間間隔は、第２のビデオストリームの元来のタイムスタンプ間の時間間隔と同一である。この実施形態では、第２のインプットビデオストリームの１つのセクションの間の時間は同一である。これは、元来のタイムスタンプがこのセクションのデコーディングによって使用されるのか、または、適合化されたタイムスタンプがこのセクションのデコーディングによって使用されるのかに関係しない。この可能な実施形態は、第１のインプットビデオストリームの最後のフレームの静止画を阻止する。しかし、第２のインプットビデオストリームの表示の遅延を生じさせてしまう。

本発明の有利な発展形態では、第２のビデオストリームのキャッシングおよび「過去の」キーフレームの使用によって生じる遅延が補正されるまで、適合化されたタイムスタンプ間の時間間隔は第２のビデオストリームの元来のタイムスタンプ間の時間間隔よりも短い。上述したように、第１のインプットビデオストリームの最後のフレームよりも前にアウトプットビデオストリームに伝送されるキーフレームを用いることによって、ネガティブなタイムラグが生じ得る。本発明のこの発展形態では、ネガティブなタイムラグが存在している間は、第２のインプットビデオストリームの表示速度は第２のインプットビデオストリームの記録速度よりも速い。可能な具現化では、キャッシュされているデータが通常よりも速い速度（例えば、リアルタイム速度の１.２５倍）で送出される。適合化されたタイムスタンプは、受信部がこの速い速度でデコーディングをするように選定される。キャッシュが空になると、データは通常の速度でアウトプットビデオストリームに伝送され、リアルタイム速度に相応してタイムスタンプが選定される。この切り替え構造は、僅かな付加的なレイテンシの犠牲を払って、ほぼ即時の切り替えができるという利点を有している。しかしこのレイテンシは、数秒で除去される。

特に有利には、スイッチング装置はリアルタイムで動作するのに適している、および／または、ビデオストリームはライブのビデオストリームである。特に、アウトプットビデオストリームは、カメラによってキャプチャーされたシーンのライブのビデオストリームである。さらに有利には、スイッチング装置は、特に、ネットワークおよび／またはデジタルカメラとして具現化されているカメラを有している。

本発明のさらに有利な実施形態では、スイッチング装置、特にスイッチングモジュールは、要求をカメラに送信するように構成されている。このカメラは、キーフレーム要求に対して第２のビデオストリームを提供する。この状況では、スイッチング装置は、キーフレームが到着するのを受動的に待つ必要はない。その代わりに、スイッチング装置は、能動的に、キーフレームを即時に挿入することをカメラに要求する。この実施形態は、スイッチング装置が、第２のインプットビデオストリームからのキーフレームを待機するのを待たなければならない時間を短縮することができる。

本発明のさらなる主題は、複数のデリゲートユニットと複数のカメラと１つのディスプレイとを含む会議システムである。ここで各デリゲートユニットは話者用のマイクロフォンを含んでおり、各カメラはビデオストリームを提供する。この会議システムは、さらに、上述したスイッチング装置を含む。ここで複数のカメラが入力部に接続されており、ディスプレイは出力部に接続されている。ディスプレイは、圧縮されたビデオストリームをデコーディングする受信部を含み得る。

本発明の有利な発展形態では、会議システムは、スイッチング装置をコントロールするコントロールモジュールを含み、第１のカメラは第１のデリゲートユニットに向けられており、第２のカメラは第２のデリゲートユニットに向けられている。このコントロールモジュールは、切り替え要求をスイッチング装置に送信するように動作可能である。これによって、アウトプットビデオストリームに対する、第１のカメラのインプットビデオストリームから第２のカメラのインプットビデオストリームへの切り替えが、古いアクティブデリゲートユニットである第１のデリゲートユニットを新たなデリゲートユニットである第２のデリゲートユニットへ切り替えることに依存して行われる。換言すれば、第１のデリゲートユニットの話者が自身のデリゲートユニットをオフにし、第２のデリゲートユニットの話者が自身のデリゲートユニットをオンにするとすぐに、カメラのビデオストリームが同時に切り替えられ、発言中の話者がディスプレイに表示される。

本発明のさらなる主題は、上述したスイッチング装置による、または、会議システムによる、ビデオストリームの切り替え方法である。

本発明のさらなる特徴、利点および効果は、本発明の有利な実施形態の説明によって明らかになる。

本発明の実施形態である、スイッチング装置を備えた会議システムの概観のブロック図 図１に示された会議システム／スイッチング装置の、圧縮されたビデオストリームを切り替えるプロセスの概略図 図１に示された会議システム／スイッチング装置の、圧縮されたビデオストリームを切り替える、さらなるプロセスの概略図 図１に示された会議システム／スイッチング装置の、圧縮されたビデオストリームを切り替える、さらなるプロセスの概略図 図１に示された会議システム／スイッチング装置の、圧縮されたビデオストリームを切り替える、さらなるプロセスの概略図

図１は、本発明の実施形態としての、会議システム１の概略的なブロックダイヤグラムを示している。会議システム１は、複数のデリゲートユニット２を含んでいる。各デリゲートユニットは、会議の参加者４の音声信号を受信するマイクロフォン３を有している。会議システム１は、会議場または会議室等における論議をサポートするように動作可能である。参加者４の音声信号は、デリゲートユニット２によってオーディオ信号に変換され、コントロールモジュール５に伝送される。オーディオ信号を増幅し、増幅されたこのオーディオ信号をスピーカー６によって出力するように、コントロールモジュール５は動作可能である。会議システムのこの部分は、オーディオセクションＡである。

会議システム１はさらに、ビデオセクションＶを有している。このビデオセクションは、少なくとも２つである、複数のカメラ７、特にネットワークカメラを含んでいる。これらのカメラはデリゲートユニット２に向けられており、従って、このデリゲートユニット２を使用する参加者４に向けられている。これらのカメラ７は、ネットワーク８によって、スイッチング装置９と接続されている。ここでこのスイッチング装置９は、入力部ＩＮ１とＩＮ２とを、カメラ７との接続のために有している。データは例えば、一時的な圧縮規格と関連しているＲＴＰプロトコールを用いて、ネットワークを通じて流れ得る。ネットワーク８は特に、ＬＡＮとしてまたはＷＬＡＮとして実現される。スイッチング装置９は、出力部ＯＵＴを１つ有している。この出力部ＯＵＴは、ネットワーク８を通じてディスプレイ１０と接続されており、このディスプレイによって、カメラ７によってキャプチャーされたシーンが表示される。スイッチング装置は、カメラ７によって、ストリームをＲＴＳＰプロトコールを用いてセットアップすることができる。出力されるストリームは、ユニキャストストリームまたはマルチキャストストリームであり得る。

会議システム１は、発言中の参加者４の映像が表示されるように動作可能である。従って他の会議参加者は、発言中の参加者４を、その人のスピーチの間、リアルタイムで見ることができる。コントロールモジュール５は、複数のデリゲートユニット２のうちの１つをアクティブなデリゲートユニットとして設定し、このアクティブなデリゲートユニット２からのオーディオ信号が増幅され、増幅されたオーディオ信号としてスピーカー６を通じて出力される。さらに、コントロールモジュール５は、ディスプレイ１０に表示される映像のソースであるアクティブなデリゲートユニット２に向けられているカメラ７を選択するために、切り替え要求ＳＲをスイッチング装置９に送信する。アクティブなデリゲートユニット２が変更される場合、コントロールモジュール５は、さらなる切り替え要求をスイッチング装置に送信する。これによって、新たなアクティブデリゲートユニット２に向けられているカメラ７に切り替えられる。

オーディオ信号と映像は同時に出力されなければならないので、映像の伝送と切り替えは、リアルタイムで実現されなければならない。リアルタイムとは有利には、音声信号と出力されたオーディオ信号との間の、および／または、音声信号と出力されたディスプレイ信号との間の平均遅延および/または最大遅延が１秒よりも短く、特に０.５秒よりも短く、有利には、０.１秒よりも短い、と規定される。

カメラ７は、ネットワークカメラとして実現されており、圧縮されたビデオストリームを提供する。これはネットワーク８を通じて伝送される。入力部ＩＮ１およびＩＮ２によって受信された圧縮されたビデオストリームを、その構造を説明するために、図２乃至図５の第１の線と第２の線に示す。

圧縮されたビデオストリームのフレームは、群で配置されている。ここで各フレーム群ＧｏＦは、Ｉによって示されている第１のキーフレームを有している。ここでこの第１のキーフレームには、Ｘによって示されている複数のインターフレームが続く。キーフレームＩ１、Ｉ２はビデオストリームの圧縮されていないフレームであり、インターフレームＸは圧縮されているフレームであり、これらのインターフレームは同一の群のキーフレームＩ１、Ｉ２に依存している。これらのビデオストリームは、ＭＰＥＧ規格に従って圧縮されている。第１の線においては、入力部ＩＮ１によって受信された第１のインプットビデオストリームＡが示されており、第２の線においては、入力部２によって受信された第２のインプットビデオストリームＢが示されている。

「Ｏｕｔ」で示されている第３の線は、出力部ＯＵＴからディスプレイ１０に伝送される、圧縮されたアウトプットビデオストリームを示している。ここでこのアウトプットビデオストリームは、受信部１１によってデコーディングされる。スイッチング装置９が、アウトプットビデオストリームにおいて第１のインプットビデオストリームＡと第２のインプットビデオストリームＢとを、圧縮されたビデオストリームをデコーディングすることなく切り替える、ということが強調されるべきである。アウトプットビデオストリームにおける第１のインプットビデオストリームと第２のインプットビデオストリームとの切り替えは、スイッチングモジュール１２において実行される。

図２乃至図５における垂直な線ＳＲは、コントロールモジュール５からの切り替え要求ＳＲの時点を示している。この切り替え要求ＳＲによって、アウトプットビデオストリームにおいて、第１のインプットビデオストリームＡが停止され、第２のインプットビデオストリームＢが開始されるべきである。図２から見て取れるように、線ＳＲは、第１のインプットビデオストリームＡのフレームＸ１５と交差している。スイッチングモジュール１２は、フレームＸ１５が完全にアウトプットビデオストリームに伝送された後に、アウトプットビデオストリームへの第１のインプットビデオストリームＡの伝送を停止するように構成されている。ネットワーク８上での伝送時には、各フレーム（ここでは各フレームは異なるバイト数を有している）は、１つまたは複数のネットワークパケットに分割されている。これは結果として、Ｉ_１Ａ、Ｉ_１Ｂ、Ｉ_１Ｃ、Ｉ_１Ｄ、Ｘ_１１Ａ、Ｘ_１１Ｂ、Ｘ_１２Ａ、Ｘ_１２Ｂ、Ｘ_１２Ｃ、Ｘ_１３Ａ・・・等のネットワークストリームになる。フレーム半ばでのアウトプットビデオストリームへの伝送を阻止するために、スイッチングモジュール１２は、そのフレームの全パケットが受信されるまでデータパッケージをネットワーク８から受信する。アウトプットビデオストリームへの、第１のインプットビデオストリームＡからの最後のフレームの伝送後、この伝送は停止される。

次のステップでは、スイッチングモジュール１２は、第２のインプットビデオストリームＢからＩｎｔｒａフレームＩを受信するまで待機する。そうでない場合には、第２のインプットビデオストリームＢの、Ｉｎｔｒａフレームでないあらゆるフレームが、受信部１１によって、第１のインプットビデオストリームから受信された最後のフレームに対してデコーディングされてしまう。第１のＩｎｔｒａフレームＩが受信されると直ちに、第２のインプットビデオストリームＢの第１のＩｎｔｒａフレームと後続のフレームとがアウトプットビデオストリームに伝送される。

結果として生じるアウトプットビデオストリームでは、リアルタイム要求が満たされている。なぜなら、第２のインプットビデオストリームＢのフレームと、アウトプットビデオストリームとの間に時間遅延が生じてないからである、または、時間遅延がほぼ生じないからである。従って、ΔＴ＝０が得られる。しかし、第１のインプットビデオストリームＡからの最後のフレームと、第２のインプットビデオフレームＢの最初のフレームとの間は、フレームの無い期間であるので、このギャップによって、第１のインプットビデオストリームＡの最後のフレームは、静止画として、ディスプレイ１０上に表示されてしまう。

図３は、スイッチング装置９の機能が僅かに変更されたバージョンを示しており、ここではカメラ７が、切り替え状況に依存して接続および接続解除される。切り替え命令ＳＲを受信した後、入力部ＩＮ１は接続解除され、入力部ＩＮ２は接続される。この実施形態においても、入力部ＩＮ１の接続解除は、第１のインプットビデオストリームＡの最後のフレームの全てのパケットが受信された後に実施される。

入力部ＩＮ２を接続した後、スイッチングモジュール１２は、第１のＩｎｔｒａフレームＩ２を受信するのを待つ。これは、アウトプットビデオストリームへの第２のインプットビデオストリームＢの伝送の開始点である。

図１から見て取れるように、スイッチング装置９は、タイムスタンプモジュール１３を有している。タイムスタンプモジュール１３は、第２のインプットビデオストリームＢのタイムスタンプｆをパッチするように動作可能である。タイムスタンプは、ビデオストリーム内のフレームの時間的な位置を規定する。特に、タイムスタンプは、ビデオストリーム内の、２つの連続したフレーム間の時間間隔を規定する。ビデオストリーム内での一連のタイムスタンプの変化は、ビデオストリームをデコーディングする際に受信部１１による問題を生じさせ得るので、タイムスタンプモジュールは元来のタイムスタンプＴＢ５・・・ＴＢ１６を適合化し、適合化されたタイムスタンプＴＸ７・・・ＴＸ１４にする。これらのタイムスタンプは、第１のインプットビデオストリームＡのタイムスタンプＴＡ１・・・ＴＡ６に一致する、または、アウトプットストリーム内のタイムスタンプにそれぞれ一致する。ビデオストリームが二回以上切り替えられる場合には、タイムスタンプモジュール１３は、適合化、特に、アウトプットビデオストリームによって以前に伝送されたビデオストリームのタイムスタンプによるタイムスタンプの番号付けを、方向付けする。タイムスタンプ間の時間間隔は、インプットビデオストリームによって規定される。これによって、カメラ７によって記録されたのと同一の速度で映像を表示することができる。

図４にはさらなる実施形態が示されている。ここでスイッチング装置９はキャッシュモジュール１４ａ、ｂを使用する（図１）。これらのキャッシュモジュールは、到来するインプットビデオストリームをキャッシュするように動作可能である、または、到来するインプットビデオストリームをキャッシュするように構成されている。切り替え要求ＳＲが到着するとすぐに、スイッチングモジュール１２は、キャッシュモジュール１４ｂ内で最後のＩｎｔｒａフレームＩ１を捜索し、このＩｎｔｒａフレームＩ１と、これに後続するフレームとをキャッシュモジュール１４ｂから要求する。アウトプットビデオストリームから見て取れるように、静止画の出現は阻止されている。なぜなら、スイッチングモジュール１２は第２のインプットビデオストリームＢからのフレーム伝送を直ちに開始することができるからである。ＩｎｔｒａフレームＩ１が、過去から取られているという事実によって、アウトプットビデオストリームは、到来するインプットビデオストリームＢと比較して、ネガティブなタイムラグΔＴを有することとなる。このΔＴは各切り替えプロセスで蓄積されるので、タイムラグは切り替え数に依存して増加する。

図５は、本発明の別の実施形態を示している。ここでは、ネガティブな作用は、タイムスタンプモジュール１３によるタイムスタンプ間の時間間隔の操作によって阻止されている。図５から見て取れるように、タイムスタンプが適合化されており、これらのフレームはより速い速度で表示される。従って、数秒、有利には１０秒よりも短い時間に、タイムラグΔＴが低減される。後続する各ＧｏＦ（ｎ＋１）に関して、新たなタイムラグΔＴ（ｎ＋１）の絶対値は、先行するタイムラグΔＴ（ｎ）の絶対値よりも小さい。タイムスタンプ間の時間間隔のこの操作は、フレームがキャッシュモジュール１４ｂから取られる限り、または、ΔＴ＞０である限り、実行される。キャッシュモジュール１４ｂが空になると直ちに、アウトプットビデオストリームは再びリアルタイムになり、タイムスタンプの時間間隔は再び、第２のインプットビデオストリームＢのタイムスタンプの時間間隔と同一になる。

第１のＩｎｔｒａフレームＩを待つことによって生じる作用を最小化するために、切り替え要求ＳＲが到着すると直ちに、スイッチングモジュール１２またはスイッチング装置９がＩｎｔｒａフレームを各カメラ７から要求する、ということが可能である。

インプットビデオストリームの番号付けは相対的であるので、次の切り替えステップでは、アウトプットビデオストリームが第２のインプットビデオストリームから第１のビデオインプットビデオストリームへと切り替えられる、ということが強調されるべきである。さらなるインプットビデオストリームが使用され、アウトプットビデオストリームに切り替えられてもよい。さらなる実施形態では、より長い間隔にわたった帯域幅を守るために、複数のスイッチング装置１をカスケード接続することが可能である。

１ 会議システム、 ２ デリゲートユニット、 ３ マイクロフォン、 ４ 参加者、 ５ コントロールモジュール、 ６ スピーカー、 ７ カメラ、 ８ ネットワーク、 ９ スイッチング装置、 １０ ディスプレイ、 １１ 受信部、 １２ スイッチングモジュール、 １３ タイムスタンプモジュール、 １４ａ、ｂ キャッシュモジュール

本発明は、圧縮されたビデオストリームを切り替えるためのスイッチング装置に関する。より詳細には、本発明は、圧縮されたビデオストリームを切り替えるためのスイッチング装置に関し、ここでこのスイッチング装置は少なくとも２つの入力部と１つの出力部とを有しており、各入力部はカメラからのインプットビデオストリームを受信するように動作可能であり、出力部はアウトプットビデオストリームを出力する。ここでインプットビデオストリームは圧縮されたビデオストリームであり、圧縮された各ビデオストリームは、フレーム群のシーケンスによって表される。ここで各フレーム群は、１つのキーフレームと少なくとも１つのインターフレームとを含んでいる。スイッチング装置はさらに、スイッチングモジュールを有している。このスイッチングモジュールは、切り替え要求を受信し、インプットビデオストリームをアウトプットビデオストリームにおいて切り替えるように動作可能である。この切り替えによって、インプットビデオストリームのうちの第１のインプットビデオストリームが停止され、インプットビデオストリームのうちの第２のインプットビデオストリームが開始される。本発明は、このようなスイッチング装置を備えた会議システムにも、圧縮されたビデオストリームを切り替える方法にも関する。

会議システムは、会議室または会議場における議論をサポートするために使用される。ここでこの会議システムは、通常、会議参加者用の複数のデリゲートユニットを含んでいる。各デリゲートユニットはマイクロフォンを有しており、参加者はマイクロフォンに向かって話すことができる。オーディオ信号である音声信号は会議システムによって増幅され、スピーカーまたはヘッドフォンによって出力され、これによって他の参加者がこの音声信号を聞くことができる。

複数のデリゲートユニットを有するこのような会議システムは、例えば、欧州特許出願公開第１６８６８３５号明細書に開示されている。会議システムの複数のデリゲートユニットは、オーディオコミュニケーションネットワークによって接続されている。

さらに、この会議システムは、会議において発言中の話者を表示するディスプレイを含んでいる。特に、参加者が多数の大きな会議では、ディスプレイに表示される、発言中の種々の話者を見るために、２つ以上のカメラが用いられる。

欧州特許出願公開第１６８６８３５号明細書

発明の概要
本発明は、請求項１に記載された特徴を有するスイッチング装置と、請求項１３に記載された特徴を有する会議システムと、請求項１５に記載された特徴を有する方法とに関する。本発明の有利な実施形態は、従属請求項、明細書および添付図面によって開示される。

本発明では、圧縮されたビデオストリームをアウトプットビデオストリームにおいて切り替えるように動作可能である、および／または、圧縮されたビデオストリームをアウトプットビデオストリームにおいて切り替えるのに適しているスイッチング装置が開示される。ここで圧縮されたビデオストリームとは特に、圧縮されたインプットビデオストリームである。このスイッチング装置は、電子部品として、または、コンピュータ等の処理部品として、または、電子データ処理部品として実現され得る。

スイッチング装置は、少なくとも２つの入力部を有している。有利にはこれらの入力部は、信号インタフェースとして実現されている。各入力部は、１つのカメラからのインプットビデオストリームを受信するように動作可能であり、特に、１つのカメラからのインプットビデオストリームを受信するのに適している。カメラは、白黒カメラとして、または、カラーカメラとして、または、３Ｄカメラとして実現され得る。カメラは特に、デジタルビデオストリームを提供するデジタルカメラとして実現される。より多くのカメラが設けられる場合にはスイッチング装置が３つ以上の入力部を有することが可能である。

さらに、スイッチング装置は、アウトプットビデオストリームを出力する出力部を有している。有利にはこの出力部は、信号インタフェースとして実現されている。有利には、スイッチング装置は、アウトプットビデオストリームを出力する出力部を１つだけ有する。例えば、入力部および／または出力部は、ケーブル接続線（複数）を受け入れるプラグ（複数）またはソケット（複数）として実現され得る。選択的に、入力部および／または出力部は、無線回線（複数）を受け入れる無線インタフェース（複数）として実現され得る。

インプットビデオストリームは、圧縮されたビデオストリームである。特にこれらは、一時的に圧縮されているビデオストリームである。圧縮された各ビデオストリームは、フレーム群（ピクチャー群（ＧｏＰ）とも称される）のシーケンスによって表される。各フレーム群は、１つのキーフレームと、少なくとも１つのインターフレームとを含んでいる。換言すれば、複数のフレームは群で格納される。各群はキーフレームで始まり、これに少なくとも１つのインターフレームが続く。有利には、キーフレームは一時的に圧縮されていないフレームであり、少なくとも１つのインターフレームは一時的に圧縮されているフレームであり、これはキーフレームに依存している。圧縮されているビデオストリームをデコーディングする際、正しいデコーディングのために、少なくとも１つのインターフレームは、キーフレームからのデータを必要とする。

スイッチング装置は、スイッチングモジュールを含んでいる。スイッチングモジュールは、切り替え要求を受信するように動作可能であり、特に、切り替え要求を受信するように構成されている。ここでこのスイッチングモジュールは、この切り替え要求に応答して、インプットビデオストリームをアウトプットビデオストリームにおいて切り替えるように動作可能であり／構成されている。インプットビデオストリームをアウトプットビデオストリームにおいて切り替えるのは、インプットビデオストリームのうちの第１のインプットビデオストリームの伝送を停止すること、および、インプットビデオストリームのうちの第２のインプットビデオストリームの、アウトプットビデオストリームへの伝送を開始することによって行われる。切り替え要求前には第１のインプットビデオストリームがアウトプットビデオストリームに伝送され、切り替え要求後には第２のインプットビデオストリームがアウトプットビデオストリームに伝送される。

本発明では、アウトプットビデオストリームも圧縮されたビデオストリーム、特に上で規定された圧縮されたビデオストリームであることが提案される。従ってアウトプットビデオストリームにおけるインプットビデオストリームの切り替えは、デコーディング無しで実現される。すなわち、インプットビデオストリームのエンコードされたフレームを、アウトプットビデオストリームにおいて挿入することで実現される。要するに本発明は、一時的に圧縮された複数のビデオストリーム間を切り替えるように動作可能であるスイッチング装置を開示する。ここでは、インプットビデオストリームがアウトプットビデオストリームにおいて切り替えられ、アウトプットビデオストリームは圧縮されたままである。

インプットビデオストリームの変更は、録画されたビデオを見ることの問題というだけではなく、リアルタイムアプリケーションの問題でもある、というのが本発明の１つの考察である。特に、リアルタイムアプリケーションの領域では、インプットビデオストリームの切り替えは時間を要するものであり、かつ、時間に関して確定的なものではない。第１のソースからのビデオストリームをキャプチャーし、デコーディングするＰＣに関する例を参照する。切り替えが要求されると、ＰＣは第１のソースのデコーディングを停止し、第２のソースからのストリームをセットアップし、この第２のソースからのビデオストリームのデコーディングを開始する。停止と、第２のインプットビデオストリームのビデオストリームの初期化と、開始との間の時間は、確定的ではない。確定的ではあるが、リソースを消費するソリューションは、ＰＣが、圧縮されたビデオストリームを２つのソースから同時に得て、さらに、２つのビデオストリームを同時にデコーディングすることである。切り替えが要求されると、ＰＣは単に、新たなソースからのビデオの表示を開始する。切り替えに伴う遅延は生じず、映像がフリーズする時間も無い。しかし、ＰＣが２つのビデオストリームを同時にデコーディングする必要があり、これはリソースを消費するものであり、高い処理負荷を受けることがある。

本発明の１つの利点は、このスイッチング装置によって、圧縮されたアウトプットビデオストリームにおける、圧縮されたインプットビデオストリームの切り替えが可能になる、ということである。デコーディング装置、例えば受信器から見ると、圧縮されたアウトプットビデオストリームだけが受信される。従って、デコーディングはリソースを消費するものではなくなり、新たなビデオストリームの非確定的な初期化が必要なくなる。

本発明の有利な実施形態では、スイッチングモジュールは、アウトプットビデオストリームへの第２のインプットビデオストリームの伝送をキーフレームで開始するように動作可能であり、特に、アウトプットビデオストリームへの第２のインプットビデオストリームの伝送をキーフレームで開始するように構成されている。換言すれば、第２のインプットビデオストリームからアウトプットビデオストリームへと伝送される最初のフレームは、複数のインターフレームのうちの１つではなく、複数のキーフレームのうちの１つである。仮に第２のインプットビデオストリームのインターフレームを使用するならば、このインターフレームは、第１のビデオインプットストリームから受信された最後のフレームに対してデコーディングされることになるだろう。これは、無意味なデコーディングされたフレームを生じさせることになってしまう。

さらに有利には、スイッチングモジュールは、（この１つのフレーム群の）フレームが完全にアウトプットビデオストリームへと伝送された後、かつ、第１のインプットビデオストリームの次のフレームがアウトプットビデオストリームへ伝送され始める前に、第１のインプットビデオストリームの伝送を停止するように動作可能である。選択的に、または、さらに有利には、第２のインプットビデオストリームの伝送は、フレーム群の完全なフレームまたは全体のフレームで開始される。この有利な実施形態は、次のことを考慮している。すなわち、アウトプットビデオストリームにおいて第１のビデオインプットビデオストリームを第２のインプットビデオストリームによって入れ替えるだけでは、無効な圧縮されたアウトプットビデオストリームが生じてしまう可能性がある、ということを考慮している。生じ得る誤りは、次のようなものである。すなわち、第１のインプットビデオストリームが、フレーム伝送の半ばで停止されてしまうということ、および／または、第２のインプットビデオストリームの伝送がフレーム伝送の半ばで開始されてしまう、ということである。完全なフレームでの開始および停止に制限することによって、このような誤りが防止される。従って、有利には、スイッチング装置、特にスイッチングモジュールは、第１のインプットビデオストリームの１つのフレームの全てのパケットを受信するまで入力部を通じてデータを受信し、完全なフレームを、最後のフレームとしてアウトプットビデオストリームに伝送するように動作可能であり、特に、第１のインプットビデオストリームの１つのフレームの全てのパケットを受信するまで入力部を通じてデータを受信し、完全なフレームを、最後のフレームとしてアウトプットビデオストリームに伝送するように構成されている。

有利な実施形態では、キーフレームはいわゆるＩフレーム即ちＩｎｔｒａフレームであり、インターフレームはＰフレームまたはＢフレームである、および／または、ビデオストリームは、ＭＰＥＧ規格、特にＨ.２６４、Ｈ.２６５、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−３またはＭＰＥＧ４等のＭＰＥＧ規格に従って圧縮されている。

本発明の第１の可能な具現化では、第１のインプットビデオストリームがアウトプットビデオストリームにおいて停止され、かつ、第２のインプットビデオストリームがアウトプットビデオストリームにおいて開始される間、第１のインプットビデオストリーム用の入力部と第２のインプットビデオストリーム用の入力部とに同時に接続されているようにスイッチング装置が動作可能である。この実施形態では、スイッチング装置は常時、全ての入力部からビデオストリームを受信する。

選択的に、アウトプットビデオストリームにおいて第１のインプットビデオストリームが停止されるとすぐに第１のインプットビデオストリーム用の入力部を接続解除し、アウトプットビデオストリームにおいて第２のインプットビデオストリームが開始されるべきであるようになると直ちに、第２のインプットビデオストリーム用の入力部を接続するように、スイッチング装置が動作可能であってもよい。この具現化においては、複数の入力部のうちの１つだけが、ビデオストリームデータを受信する。ここでは、他の１つまたは複数の入力部は動作しないようにされている。上述したこれらの具現化例は、インプットビデオストリームのリアルタイム切り替えが可能である、という利点を有している。他方で、両方の具現化は、次のような欠点を有している。すなわち、アウトプットビデオストリームが、第１のインプットビデオストリームの停止と第２のビデオインプットストリームの開始との間にギャップを有している、という欠点を有している。なぜなら、第１のビデオインプットストリームは有利には、切り替え要求の受信後に最後のフレームが完全にアウトプットビデオストリームに伝送されるとすぐに停止され、第２のインプットビデオストリームのキーフレームが到着するまで、スイッチングモジュールが待機をしなければならないからである。従ってこの２つの具現化では、結果として、第２のインプットビデオストリームからキーフレームを受信するまで、第１のビデオインプットストリームから静止画が生じてしまう。

この欠点を克服するために、スイッチング装置は有利には、第２のインプットビデオストリームをキャッシュするキャッシュモジュールを含んでいる。

有利には、キャッシュモジュールは、ＦＩＦＯ構造（先入先出）に構造化されている。スイッチングモジュールは、アウトプットビデオストリームにおける第２のインプットビデオストリームの伝送を、キャッシュモジュールからのキャッシュされているキーフレームで開始するように動作可能である。このキーフレームには、正しい、シーケンシャルな配列に従って、第２のビデオインプットストリームの他のフレームが続く。この具現化によって、第１のビデオインプットストリームからの静止画が阻止される。

この具現化の、生じ得る欠点は、第１のインプットビデオストリームの最後のフレームと、第２のインプットビデオストリームの第１のキーフレームとの間のタイムギャップの代わりに、インプットビデオストリームの各切り替えプロセスに対して、ネガティブなタイムラグがスイッチング装置によって生成されてしまう、ということである。切り替えプロセスが少数回しか実行されない場合には、このネガティブなタイムラグは受け入れ可能なものである。しかし、各切り替えプロセスでタイムラグが増大し得るので、複数回の切り替えプロセスによって、リアルタイム要求が満たされない状況が生じる虞がある。

アウトプットビデオストリームのリアルタイム要求をコントロールすることを可能にするために、有利には、スイッチング装置はタイムスタンプモジュールを含んでいる。タイムスタンプモジュールは、第２のインプットビデオストリーム上のタイムスタンプを適合化するように動作され、適合化されたこのタイムスタンプは、アウトプットビデオストリームにおける第１のインプットビデオストリームのタイムスタンプと一致する。第２のインプットビデオストリームがアウトプットビデオストリームに伝送されるとすぐに、第２のインプットビデオストリームのタイムスタンプがパッチされて、第１のインプットビデオストリームのタイムスタンプに一致する、適合化されたタイムスタンプによって置き換えられる。この具現化によって、第１のインプットビデオストリームのタイムスタンプと第２のインプットビデオストリームのタイムスタンプとが関連していない場合でも、圧縮されたフレームのタイムスタンプが受信部に連続して到達することが保証される。この点において、各カメラのフレームキャプチャータイムが独立し得る、ということが強調されるべきである。各カメラは、（恐らく）同一のレートでキャプチャーするであろうが、位相差が生じ得る。また、カメラがキャプチャークロックとしてフリーランニングクロックを使用する場合には、キャプチャーレートにおいて、極めて小さい差が生じ得る。このタイムスタンプモジュールによって、２つのインプットビデオストリームを、それらのタイムスタンプを考慮して適合させることができる。

本発明の可能な実施形態では、適合化されたこれらのタイムスタンプ間の時間間隔は、第２のインプットビデオストリームの元来のタイムスタンプ間の時間間隔と同一である。この実施形態では、第２のインプットビデオストリームの１つのセクションの間の時間は同一である。これは、元来のタイムスタンプがこのセクションのデコーディングによって使用されるのか、または、適合化されたタイムスタンプがこのセクションのデコーディングによって使用されるのかに関係しない。この可能な実施形態は、第１のインプットビデオストリームの最後のフレームの静止画を阻止する。しかし、第２のインプットビデオストリームの表示の遅延を生じさせてしまう。

本発明の有利な発展形態では、第２のインプットビデオストリームのキャッシングおよび「過去の」キーフレームの使用によって生じる遅延が補正されるまで、適合化されたタイムスタンプ間の時間間隔は第２のインプットビデオストリームの元来のタイムスタンプ間の時間間隔よりも短い。上述したように、第１のインプットビデオストリームの最後のフレームよりも前にアウトプットビデオストリームに伝送されるキーフレームを用いることによって、ネガティブなタイムラグが生じ得る。本発明のこの発展形態では、ネガティブなタイムラグが存在している間は、第２のインプットビデオストリームの表示速度は第２のインプットビデオストリームの記録速度よりも速い。可能な具現化では、キャッシュされているデータが通常よりも速い速度（例えば、リアルタイム速度の１.２５倍）で送出される。適合化されたタイムスタンプは、受信部がこの速い速度でデコーディングをするように選定される。キャッシュが空になると、データは通常の速度でアウトプットビデオストリームに伝送され、リアルタイム速度に相応してタイムスタンプが選定される。この切り替え構造は、僅かな付加的なレイテンシの犠牲を払って、ほぼ即時の切り替えができるという利点を有している。しかしこのレイテンシは、数秒で除去される。

特に有利には、スイッチング装置はリアルタイムで動作するのに適している、および／または、ビデオストリームはライブのビデオストリームである。特に、アウトプットビデオストリームは、カメラによってキャプチャーされたシーンのライブのビデオストリームである。さらに有利には、スイッチング装置は、特に、ネットワークおよび／またはデジタルカメラとして具現化されているカメラを有している。

本発明のさらに有利な実施形態では、スイッチング装置、特にスイッチングモジュールは、要求をカメラに送信するように構成されている。このカメラは、キーフレーム要求に対して第２のインプットビデオストリームを提供する。この状況では、スイッチング装置は、キーフレームが到着するのを受動的に待つ必要はない。その代わりに、スイッチング装置は、能動的に、キーフレームを即時に挿入することをカメラに要求する。この実施形態は、スイッチング装置が、第２のインプットビデオストリームからのキーフレームを待機するのを待たなければならない時間を短縮することができる。

本発明のさらなる主題は、複数のデリゲートユニットと複数のカメラと１つのディスプレイとを含む会議システムである。ここで各デリゲートユニットは話者用のマイクロフォンを含んでおり、各カメラはビデオストリームを提供する。この会議システムは、さらに、上述したスイッチング装置を含む。ここで複数のカメラが入力部に接続されており、ディスプレイは出力部に接続されている。ディスプレイは、圧縮されたビデオストリームをデコーディングする受信部を含み得る。

本発明の有利な発展形態では、会議システムは、スイッチング装置をコントロールするコントロールモジュールを含み、第１のカメラは第１のデリゲートユニットに向けられており、第２のカメラは第２のデリゲートユニットに向けられている。このコントロールモジュールは、切り替え要求をスイッチング装置に送信するように動作可能である。これによって、アウトプットビデオストリームに対する、第１のカメラのインプットビデオストリームから第２のカメラのインプットビデオストリームへの切り替えが、古いアクティブデリゲートユニットである第１のデリゲートユニットを新たなデリゲートユニットである第２のデリゲートユニットへ切り替えることに依存して行われる。換言すれば、第１のデリゲートユニットの話者が自身のデリゲートユニットをオフにし、第２のデリゲートユニットの話者が自身のデリゲートユニットをオンにするとすぐに、カメラのビデオストリームが同時に切り替えられ、発言中の話者がディスプレイに表示される。

本発明のさらなる主題は、上述したスイッチング装置による、または、会議システムによる、ビデオストリームの切り替え方法である。

本発明のさらなる特徴、利点および効果は、本発明の有利な実施形態の説明によって明らかになる。

本発明の実施形態である、スイッチング装置を備えた会議システムの概観のブロック図 図１に示された会議システム／スイッチング装置の、圧縮されたビデオストリームを切り替えるプロセスの概略図 図１に示された会議システム／スイッチング装置の、圧縮されたビデオストリームを切り替える、さらなるプロセスの概略図 図１に示された会議システム／スイッチング装置の、圧縮されたビデオストリームを切り替える、さらなるプロセスの概略図 図１に示された会議システム／スイッチング装置の、圧縮されたビデオストリームを切り替える、さらなるプロセスの概略図

図１は、本発明の実施形態としての、会議システム１の概略的なブロックダイヤグラムを示している。会議システム１は、複数のデリゲートユニット２を含んでいる。各デリゲートユニットは、会議の参加者４の音声信号を受信するマイクロフォン３を有している。会議システム１は、会議場または会議室等における論議をサポートするように動作可能である。参加者４の音声信号は、デリゲートユニット２によってオーディオ信号に変換され、コントロールモジュール５に伝送される。オーディオ信号を増幅し、増幅されたこのオーディオ信号をスピーカー６によって出力するように、コントロールモジュール５は動作可能である。会議システムのこの部分は、オーディオセクションＡである。

会議システム１はさらに、ビデオセクションＶを有している。このビデオセクションは、少なくとも２つである、複数のカメラ７、特にネットワークカメラを含んでいる。これらのカメラはデリゲートユニット２に向けられており、従って、このデリゲートユニット２を使用する参加者４に向けられている。これらのカメラ７は、ネットワーク８によって、スイッチング装置９と接続されている。ここでこのスイッチング装置９は、入力部ＩＮ１とＩＮ２とを、カメラ７との接続のために有している。データは例えば、一時的な圧縮規格と関連しているＲＴＰプロトコールを用いて、ネットワークを通じて流れ得る。ネットワーク８は特に、ＬＡＮとしてまたはＷＬＡＮとして実現される。スイッチング装置９は、出力部ＯＵＴを１つ有している。この出力部ＯＵＴは、ネットワーク８を通じてディスプレイ１０と接続されており、このディスプレイによって、カメラ７によってキャプチャーされたシーンが表示される。スイッチング装置は、カメラ７によって、ストリームをＲＴＳＰプロトコールを用いてセットアップすることができる。出力されるストリームは、ユニキャストストリームまたはマルチキャストストリームであり得る。

会議システム１は、発言中の参加者４の映像が表示されるように動作可能である。従って他の会議参加者は、発言中の参加者４を、その人のスピーチの間、リアルタイムで見ることができる。コントロールモジュール５は、複数のデリゲートユニット２のうちの１つをアクティブなデリゲートユニットとして設定し、このアクティブなデリゲートユニット２からのオーディオ信号が増幅され、増幅されたオーディオ信号としてスピーカー６を通じて出力される。さらに、コントロールモジュール５は、ディスプレイ１０に表示される映像のソースであるアクティブなデリゲートユニット２に向けられているカメラ７を選択するために、切り替え要求ＳＲをスイッチング装置９に送信する。アクティブなデリゲートユニット２が変更される場合、コントロールモジュール５は、さらなる切り替え要求をスイッチング装置に送信する。これによって、新たなアクティブデリゲートユニット２に向けられているカメラ７に切り替えられる。

オーディオ信号と映像は同時に出力されなければならないので、映像の伝送と切り替えは、リアルタイムで実現されなければならない。リアルタイムとは有利には、音声信号と出力されたオーディオ信号との間の、および／または、音声信号と出力されたディスプレイ信号との間の平均遅延および/または最大遅延が１秒よりも短く、特に０.５秒よりも短く、有利には、０.１秒よりも短い、と規定される。

カメラ７は、ネットワークカメラとして実現されており、圧縮されたビデオストリームを提供する。これはネットワーク８を通じて伝送される。入力部ＩＮ１およびＩＮ２によって受信された圧縮されたビデオストリームを、その構造を説明するために、図２乃至図５の第１の線と第２の線に示す。

圧縮されたビデオストリームのフレームは、群で配置されている。ここで各フレーム群ＧｏＦは、Ｉによって示されている第１のキーフレームを有している。ここでこの第１のキーフレームには、Ｘによって示されている複数のインターフレームが続く。キーフレームＩ１、Ｉ２はビデオストリームの圧縮されていないフレームであり、インターフレームＸは圧縮されているフレームであり、これらのインターフレームは同一の群のキーフレームＩ１、Ｉ２に依存している。これらのビデオストリームは、ＭＰＥＧ規格に従って圧縮されている。第１の線においては、入力部ＩＮ１によって受信された第１のインプットビデオストリームＡが示されており、第２の線においては、入力部ＩＮ２によって受信された第２のインプットビデオストリームＢが示されている。

「Ｏｕｔ」で示されている第３の線は、出力部ＯＵＴからディスプレイ１０に伝送される、圧縮されたアウトプットビデオストリームを示している。ここでこのアウトプットビデオストリームは、受信部１１によってデコーディングされる。スイッチング装置９が、アウトプットビデオストリームにおいて第１のインプットビデオストリームＡと第２のインプットビデオストリームＢとを、圧縮されたビデオストリームをデコーディングすることなく切り替える、ということが強調されるべきである。アウトプットビデオストリームにおける第１のインプットビデオストリームと第２のインプットビデオストリームとの切り替えは、スイッチングモジュール１２において実行される。

図２乃至図５における垂直な線ＳＲは、コントロールモジュール５からの切り替え要求ＳＲの時点を示している。この切り替え要求ＳＲによって、アウトプットビデオストリームにおいて、第１のインプットビデオストリームＡが停止され、第２のインプットビデオストリームＢが開始されるべきである。図２から見て取れるように、線ＳＲは、第１のインプットビデオストリームＡのフレームＸ１５と交差している。スイッチングモジュール１２は、フレームＸ１５が完全にアウトプットビデオストリームに伝送された後に、アウトプットビデオストリームへの第１のインプットビデオストリームＡの伝送を停止するように構成されている。ネットワーク８上での伝送時には、各フレーム（ここでは各フレームは異なるバイト数を有している）は、１つまたは複数のネットワークパケットに分割されている。これは結果として、Ｉ_１Ａ、Ｉ_１Ｂ、Ｉ_１Ｃ、Ｉ_１Ｄ、Ｘ_１１Ａ、Ｘ_１１Ｂ、Ｘ_１２Ａ、Ｘ_１２Ｂ、Ｘ_１２Ｃ、Ｘ_１３Ａ・・・等のネットワークストリームになる。フレーム半ばでのアウトプットビデオストリームへの伝送を阻止するために、スイッチングモジュール１２は、そのフレームの全パケットが受信されるまでデータパッケージをネットワーク８から受信する。アウトプットビデオストリームへの、第１のインプットビデオストリームＡからの最後のフレームの伝送後、この伝送は停止される。

次のステップでは、スイッチングモジュール１２は、第２のインプットビデオストリームＢからＩｎｔｒａフレームＩを受信するまで待機する。そうでない場合には、第２のインプットビデオストリームＢの、Ｉｎｔｒａフレームでないあらゆるフレームが、受信部１１によって、第１のインプットビデオストリームから受信された最後のフレームに対してデコーディングされてしまう。第１のＩｎｔｒａフレームＩが受信されると直ちに、第２のインプットビデオストリームＢの第１のＩｎｔｒａフレームと後続のフレームとがアウトプットビデオストリームに伝送される。

結果として生じるアウトプットビデオストリームでは、リアルタイム要求が満たされている。なぜなら、第２のインプットビデオストリームＢのフレームと、アウトプットビデオストリームとの間に時間遅延が生じてないからである、または、時間遅延がほぼ生じないからである。従って、ΔＴ＝０が得られる。しかし、第１のインプットビデオストリームＡからの最後のフレームと、第２のインプットビデオストリームＢの最初のフレームとの間は、フレームの無い期間であるので、このギャップによって、第１のインプットビデオストリームＡの最後のフレームは、静止画として、ディスプレイ１０上に表示されてしまう。

図３は、スイッチング装置９の機能が僅かに変更されたバージョンを示しており、ここではカメラ７が、切り替え状況に依存して接続および接続解除される。切り替え要求ＳＲを受信した後、入力部ＩＮ１は接続解除され、入力部ＩＮ２は接続される。この実施形態においても、入力部ＩＮ１の接続解除は、第１のインプットビデオストリームＡの最後のフレームの全てのパケットが受信された後に実施される。

入力部ＩＮ２を接続した後、スイッチングモジュール１２は、第１のＩｎｔｒａフレームＩ２を受信するのを待つ。これは、アウトプットビデオストリームへの第２のインプットビデオストリームＢの伝送の開始点である。

図１から見て取れるように、スイッチング装置９は、タイムスタンプモジュール１３を有している。タイムスタンプモジュール１３は、第２のインプットビデオストリームＢのタイムスタンプｆをパッチするように動作可能である。タイムスタンプは、ビデオストリーム内のフレームの時間的な位置を規定する。特に、タイムスタンプは、ビデオストリーム内の、２つの連続したフレーム間の時間間隔を規定する。ビデオストリーム内での一連のタイムスタンプの変化は、ビデオストリームをデコーディングする際に受信部１１による問題を生じさせ得るので、タイムスタンプモジュールは元来のタイムスタンプｔＢ５・・・ｔＢ１６を適合化し、適合化されたタイムスタンプｔＸ７・・・ｔＸ１４にする。これらのタイムスタンプは、第１のインプットビデオストリームＡのタイムスタンプｔＡ１・・・ｔＡ６に一致する、または、アウトプットビデオストリーム内のタイムスタンプにそれぞれ一致する。ビデオストリームが二回以上切り替えられる場合には、タイムスタンプモジュール１３は、適合化、特に、アウトプットビデオストリームによって以前に伝送されたビデオストリームのタイムスタンプによるタイムスタンプの番号付けを、方向付けする。タイムスタンプ間の時間間隔は、インプットビデオストリームによって規定される。これによって、カメラ７によって記録されたのと同一の速度で映像を表示することができる。

図４にはさらなる実施形態が示されている。ここでスイッチング装置９はキャッシュモジュール１４ａ、ｂを使用する（図１）。これらのキャッシュモジュールは、到来するインプットビデオストリームをキャッシュするように動作可能である、または、到来するインプットビデオストリームをキャッシュするように構成されている。切り替え要求ＳＲが到着するとすぐに、スイッチングモジュール１２は、キャッシュモジュール１４ｂ内で最後のＩｎｔｒａフレームＩ１を捜索し、このＩｎｔｒａフレームＩ１と、これに後続するフレームとをキャッシュモジュール１４ｂから要求する。アウトプットビデオストリームから見て取れるように、静止画の出現は阻止されている。なぜなら、スイッチングモジュール１２は第２のインプットビデオストリームＢからのフレーム伝送を直ちに開始することができるからである。ＩｎｔｒａフレームＩ１が、過去から取られているという事実によって、アウトプットビデオストリームは、到来するインプットビデオストリームＢと比較して、ネガティブなタイムラグΔＴを有することとなる。このΔＴは各切り替えプロセスで蓄積されるので、タイムラグは切り替え数に依存して増加する。

図５は、本発明の別の実施形態を示している。ここでは、ネガティブな作用は、タイムスタンプモジュール１３によるタイムスタンプ間の時間間隔の操作によって阻止されている。図５から見て取れるように、タイムスタンプが適合化されており、これらのフレームはより速い速度で表示される。従って、数秒、有利には１０秒よりも短い時間に、タイムラグΔＴが低減される。後続する各ＧｏＦ（ｎ＋１）に関して、新たなタイムラグΔＴ（ｎ＋１）の絶対値は、先行するタイムラグΔＴ（ｎ）の絶対値よりも小さい。タイムスタンプ間の時間間隔のこの操作は、フレームがキャッシュモジュール１４ｂから取られる限り、または、ΔＴ＞０である限り、実行される。キャッシュモジュール１４ｂが空になると直ちに、アウトプットビデオストリームは再びリアルタイムになり、タイムスタンプの時間間隔は再び、第２のインプットビデオストリームＢのタイムスタンプの時間間隔と同一になる。

第１のＩｎｔｒａフレームＩを待つことによって生じる作用を最小化するために、切り替え要求ＳＲが到着すると直ちに、スイッチングモジュール１２またはスイッチング装置９がＩｎｔｒａフレームを各カメラ７から要求する、ということが可能である。

インプットビデオストリームの番号付けは相対的であるので、次の切り替えステップでは、アウトプットビデオストリームが第２のインプットビデオストリームから第１のビデオインプットビデオストリームへと切り替えられる、ということが強調されるべきである。さらなるインプットビデオストリームが使用され、アウトプットビデオストリームに切り替えられてもよい。さらなる実施形態では、より長い間隔にわたった帯域幅を守るために、複数のスイッチング装置９をカスケード接続することが可能である。

１ 会議システム、 ２ デリゲートユニット、 ３ マイクロフォン、 ４ 参加者、 ５ コントロールモジュール、 ６ スピーカー、 ７ カメラ、 ８ ネットワーク、 ９ スイッチング装置、 １０ ディスプレイ、 １１ 受信部、 １２ スイッチングモジュール、 １３ タイムスタンプモジュール、 １４ａ、ｂ キャッシュモジュール

Claims (15)

1. 圧縮されたビデオストリームを切り替えるためのスイッチング装置（９）であって、当該スイッチング装置（９）は、
   少なくとも２つの入力部（ＩＮ１、ＩＮ２）を有しており、各入力部は１つのカメラ（７）からインプットビデオストリームを受信するように動作され、
   １つの出力部（ＯＵＴ）を有しており、当該出力部はアウトプットビデオストリームを出力し、
   前記インプットビデオストリームは圧縮されたビデオストリームであり、圧縮された各ビデオストリームはフレーム群（ＧｏＦ）のシーケンスによって表され、各フレーム群（ＧｏＦ）は１つのキーフレーム（Ｉ）と少なくとも１つのインターフレーム（Ｘ）とを含んでおり、
   スイッチングモジュール（１２）を有しており、当該スイッチングモジュールは、切り替え要求（ＳＲ）を受信し、前記インプットビデオストリームを前記アウトプットビデオストリームにおいて切り替えるように動作され、これによって前記インプットビデオストリームのうちの第１のビデオストリームが停止され、前記インプットビデオストリームのうちの第２のビデオストリームが開始される、スイッチング装置（９）において、
   前記アウトプットビデオストリームは圧縮されたビデオストリームである、
   ことを特徴とするスイッチング装置（９）。
2. 前記スイッチングモジュール（１２）は、前記アウトプットビデオストリームにおいて、前記第２のビデオストリームの伝送をキーフレーム（Ｉ）で開始するように動作される、請求項１記載のスイッチング装置（９）。
3. 前記キーフレームはＩフレーム（Ｉ）であり、前記インターフレームはＰフレームまたはＢフレームである、
   および／または、
   前記ビデオストリームはＭＰＥＧ規格に従って圧縮されている、請求項１または２記載のスイッチング装置（９）。
4. ある１つのフレームが完全に前記アウトプットビデオストリームに伝送された後、かつ、前記第１のビデオストリームの次のフレームが前記アウトプットビデオストリームへ伝送され始める前に、前記第１のビデオストリームを停止するように前記スイッチングモジュール（１２）が動作される、請求項１から３までのいずれか１項記載のスイッチング装置（９）。
5. 前記第１のビデオストリームが前記アウトプットビデオストリームにおいて停止されるとき、および／または、前記第２のビデオストリームが前記アウトプットビデオストリームにおいて開始されるとき、前記第１のビデオストリーム用の入力部と前記第２のビデオストリーム用の入力部とに接続されているように動作される、請求項１から４までのいずれか１項記載のスイッチング装置（９）。
6. 前記第１のビデオストリームが前記アウトプットビデオストリームにおいて停止されるときに当該第１のビデオストリーム用の前記入力部（ＩＮ１）を接続解除し、前記第２のビデオストリームが前記アウトプットビデオストリームにおいて開始されるときに当該第２のビデオストリーム用の前記入力部（ＩＮ２）を接続するように動作される、請求項１から４までのいずれか１項記載のスイッチング装置（９）。
7. 前記スイッチング装置は、前記第２のビデオストリームをキャッシュするためのキャッシュモジュール（１４ｂ）を含んでおり、
   前記アウトプットストリームへの前記第２のビデオストリームの伝送を、前記キャッシュモジュールからのキャッシュされているキーフレーム（Ｉ１）で開始するように前記スイッチングモジュール（１２）が動作され、
   当該キャッシュされているキーフレーム（Ｉ１）は、前記アウトプットビデオストリームへ伝送されている前記第１のビデオストリームの最後のフレーム（Ｘ１５）より前のものである、請求項１から４までのいずれか１項記載のスイッチング装置（９）。
8. 前記スイッチング装置はタイムスタンプモジュール（１３）を有しており、当該タイムスタンプモジュールは、前記第２のビデオストリーム上のタイムスタンプを適合化するように動作され、
   適合化された当該タイムスタンプは、前記アウトプットビデオストリーム内の第１のビデオストリームのタイムスタンプと一致する、および／または、前記アウトプットビデオストリーム内の先行するフレームのタイムスタンプと一致する、請求項１から７までのいずれか１項記載のスイッチング装置（９）。
9. 適合化された前記タイムスタンプ間の時間間隔は、前記第２のビデオストリームの元来のタイムスタンプ間の時間間隔と等しい、請求項８記載のスイッチング装置（９）。
10. 前記第２のビデオストリームのキャッシングによって生じた遅延が補正されるまで、適合化された前記タイムスタンプ間の間隔は、前記第２のビデオストリームの元来のタイムスタンプ間の間隔よりも短い、請求項８記載のスイッチング装置（９）。
11. 前記スイッチング装置（９）はリアルタイムで動作するように構成されている、および／または、前記ビデオストリームはライブのビデオストリームである、請求項１から１０までのいずれか１項記載のスイッチング装置（９）。
12. カメラ（７）を含んでおり、前記第２のビデオストリームを提供しているカメラ（７）からキーフレーム（Ｉ）を要求するように動作される、請求項１から１１までのいずれか１項記載のスイッチング装置（９）。
13. 会議システム（１）であって、
    当該会議システム（１）は、複数のデリゲートユニット（２）と複数のカメラ（７）と１つのディスプレイ（１０）とを有しており、
    前記各デリゲートユニット（２）は参加者（４）用のマイクロフォン（３）を含んでおり、
    各カメラ（７）はビデオストリームを提供する会議システム（１）において、
    請求項１から１２までのいずれか１項記載のスイッチング装置（９）を有しており、
    前記複数のカメラ（７）は前記入力部（ＩＮ１、ＩＮ２）と接続されており、前記ディスプレイ（１０）は前記出力部（ＯＵＴ）と接続されている、
    ことを特徴とする会議システム（１）。
14. 前記スイッチング装置（９）をコントロールするためのコントロールモジュール（５）を有しており、
    前記複数のカメラ（７）のうちの第１のカメラは第１のデリゲートユニット（２）に向けられており、前記複数のカメラ（７）のうちの第２のカメラは第２のデリゲートユニット（２）に向けられており、
    アクティブなデリゲートユニットである前記第１のデリゲートユニット（２）からアクティブなデリゲートユニットである前記第２のデリゲートユニット（２）への切り替えに依存して、前記アウトプットビデオストリームに対して前記第１のカメラ（７）のビデオストリームから前記第２のカメラ（７）のビデオストリームへと切り替えるために、前記スイッチング装置（９）へ前記切り替え要求（ＳＲ）を送信するように前記コントロールモジュール（５）が動作される、請求項１３記載の会議システム（１）。
15. 請求項１から１２までのいずれか１項記載の前記スイッチング装置（９）による、または、請求項１３または１４記載の前記会議システム（１）によるビデオストリームの切り替え方法であって、
    当該方法は、切り替え要求（ＳＲ）を受信し、前記アウトプットビデオストリームにおいて前記インプットビデオストリームを切り替えるステップを有しており、これによって前記アウトプットビデオストリームにおいて、前記インプットビデオストリームのうちの前記第１のビデオストリームが停止され、前記インプットビデオストリームのうちの前記第２のビデオストリームが開始される、
    ことを特徴とする、ビデオストリームの切り替え方法。

Images