JP2009521880A - スケーラブルなビデオ符号化を用いて、またスケーラブルなテレビ会議サーバを複合してテレビ会議を行うためのシステムおよび方法 - Google Patents

Abstract

テレビ会議のためのシステムおよび方法が提供される。本システムは、送信側会議参加者からの入力ビデオ信号を、受信参加者に転送される単一の出力ビデオ信号へと複合するために、スケーラブルビデオ符号化技法および複合スケーラブルビデオ符号化サーバ(CSVCS)を使用する。サーバは、信号を復号化、再スケーリング、および再符号化する必要なしに、入力ビデオ信号ピクチャを複合するように構成される。
【選択図】図１

Description

(関連出願の相互参照)
この出願は、2005年12月22日に出願された米国仮特許出願第60/753,343号の利益を主張する。さらに、この出願は、国際特許出願第PCT/US06/28365号、第PCT/US06/028366号、第PCT/US06/028367号、第PCT/US06/027368号、および第PCT/US06/061815号、ならびに米国仮特許出願第60/778,760号、第60/787,031号、第60/774,094号、および第60/827,469号に関連する。前述の優先権および関連出願のすべては、参照によりその全体を本明細書に組み込まれる。

本発明は、マルチメディア技術および遠隔通信に関する。詳細には、本発明は、個人対個人、およびマルチパーティ会議アプリケーションのためにオーディオおよびビデオデータを通信または配信することに関する。より詳細には、本発明は、個人対個人の会議アプリケーション、または何人かの参加者がスケーラブルなビデオ符号化技法を用いて符号化された単一のピクチャに対応するビデオビットストリームの受信をサポートできるに過ぎないこともあるマルチパーティ会議アプリケーションの実装を対象とする。本発明はまた、異なるレベルのサービス品質(QoS)を提供できる通信ネットワーク接続を介して、またエンドユーザが、異なる能力のデバイスおよび通信チャネルを用いて会議アプリケーションにアクセスできる環境で、このようなシステムを実装することを対象とする。

テレビ会議システムは、2人以上の遠隔の参加者/エンドポイントが、オーディオおよびビデオを共に使用して、実時間で互いにビデオおよびオーディオを通信することを可能にする。2人の遠隔の参加者だけが含まれる場合、2つのエンドポイント間で、適切な電子ネットワークを介する通信の直接送信を使用することができる。2人を超える参加者/エンドポイントが含まれる場合、すべての参加者/エンドポイントを接続するために、マルチポイント会議ユニット(MCU)、またはブリッジが一般に使用される。MCUは、例えば、スター（星形）構成に接続され得る複数の参加者/エンドポイント間の通信を仲立ち（仲介）する。2人の参加者だけが含まれる場合であっても、その2人の参加者間でMCUを利用することが、なお有利であり得ることに留意されたい。

テレビ会議のために、参加者/エンドポイントまたは端末は、適切な符号化および復号化デバイスを備える。符号器は、送信エンドポイントにおけるローカルなオーディオおよびビデオ出力を、電子ネットワークを介して信号送信するのに適した符号化形式にフォーマットする。それとは反対に、復号器は、符号化されたオーディオおよびビデオ情報を有する受信信号を、受信エンドポイントにおいてオーディオ再生または画像表示を行うために適切な復号形式へと処理する。

従来、(例えば、ビデオウィンドウ内における人の適切な配置を保証するための)フィードバックを提供するために、エンドユーザ自身の画像もまた、自分の画面上に表示される。

通信ネットワークを介する実際のテレビ会議システム実装では、遠隔の参加者間の対話的なテレビ会議の品質は、エンド-ツー-エンドの信号遅延により決定される。200msを超えるエンド-ツー-エンドの遅延は、会議の参加者間の現実感のあるライブな、または自然な対話を妨げる。このように長いエンド-ツー-エンドの遅延は、テレビ会議の参加者が、他の参加者からの伝送中のビデオおよびオーディオデータがそのエンドポイントに到達することができるようにするために、積極的に参加しまたは応答することを不自然に抑制させる。

エンド-ツー-エンドの信号遅延は、取得遅延(例えば、A/Dコンバータのバッファを満たすためにかかる時間に相当する遅延)、符号化遅延、伝送遅延(例えば、データパケットをエンドポイントのネットワークインターフェースコントローラに送信するためにかかる時間に相当する遅延)、およびトランスポート遅延(パケットが、ネットワークを介してエンドポイントからエンドポイントに移動するのにかかる時間に相当する遅延)を含む。さらに、仲介するMCUを介する信号処理時間も、所与のシステムにおける合計のエンド-ツー-エンド遅延の一因となる。

MCUの主要なタスクは、単一のオーディオストリームがすべての参加者に送信されるように入力されるオーディオ信号を混合すること、および個々の参加者/エンドポイントにより送信されるビデオフレームまたはピクチャを混合して、各参加者のピクチャを含む共通の複合ビデオフレームストリームにすることである。フレームおよびピクチャという用語は、本明細書では交換可能に使用されること、またさらに、当業者には自明であるが、個々のフィールドとして、もしくは組み合わされたフレームとして、インターレースされたフレームの符号化(フィールドベースまたフレームベースのピクチャ符号化)も、組み込まれ得ることに留意されたい。従来の通信ネットワークシステムで展開されるMCUは、テレビ会議セッションにおけるすべての参加者に対して配信される共通の複合ビデオフレーム中に混合される個々のピクチャのすべてに対して、単一の共通解像度(例えば、CIFまたはQCIF解像度)を提供するだけである。したがって、従来の通信ネットワークシステムは、ある参加者が他の参加者を異なる解像度で見ることを可能にするカスタマイズされたテレビ会議機能を容易に提供することはできない。カスタマイズされた機能では、例えば、他の特定の参加者(例えば、話している参加者)をCIF解像度で見ることを可能にし、他の無言の参加者をQCIF解像で見ることを可能にすることができる。ネットワーク中のMCUは、テレビ会議中の参加者の数と同数の回数だけビデオ混合オペレーションを繰り返すことにより、このようなカスタマイズされた機能を提供するように構成され得る。しかし、このような構成では、MCUのオペレーションは、かなりのエンド-ツー-エンド遅延を生成する。さらに、MCUは、複数のオーディオストリームを復号し、混合し、再符号化し、かつ複数のビデオストリームを復号し、単一のフレームへと(必要に応じて適切なスケーリングで)複合し、それらを再度、単一のストリームに再符号化するための十分なデジタル信号処理機能を有する必要がある。テレビ会議のソリューション(米国94588カリフォルニア州プレザントン市Willow Road、4750のPolycom Inc.(ポリコム社)、および米国10166ニューヨーク州ニューヨーク市パークアベニュー200のTandberg(タンバーグ社)から市販されているシステムなど)は、許容可能な品質および性能レベルを提供するために、専用のハードウェアコンポーネントを使用しなくてはならない。

ITU-T勧告H.261、ITU-T勧告H.262|ISO/IEC 13818-2(MPEG-2 Video)のメインプロファイル、ITU-T勧告H.263のベースラインプロファイル、ISO/IEC 11172-2(MPEG-1 Video)、ISO/IEC 14496-2のシンプルプロファイルまたは進んだ(advanced)シンプルプロファイル、ITU-T勧告H.264|ISO/IEC 14496-10(MPEG-4 AVC)のベースラインプロファイルまたはメインプロファイルまたはハイプロファイルでそのビットストリームおよび復号化オペレーションが規格化されている従来のビデオコーデックは、所与の空間解像度およびビットレートで、単一のビットストリームを提供するように指定される。したがって、ある符号化されたビデオ信号に対して、元の符号化空間解像度またはビットレートと比較して、より低い空間解像度、またはより低いビットレートが必要とされる場合、フル解像度信号が受信されかつ復号されて、所望の空間解像度およびビットレートで、おそらくダウンスケールされ、再符号化されなくてはならない。復号化、おそらくはダウンサンプリング、および再符号化のプロセスは、かなりの計算資源を必要とし、また、通常、ビデオ信号に対してかなりの主観的な歪みを付加し、またビデオ送信に対して遅延を付加する。

さらに、ビデオ通信のための標準のビデオコーデックは、最近の通信ネットワークにより提供される差別化されたQoS機能を利用することが本来できない「単一レイヤ」符号化技法に基づいている。ビデオ通信に対する単一レイヤ符号化技法のさらなる限界は、用途において、より低い空間解像度表示が必要であり、または望ましい場合であってもフル解像度信号が受信され、受信エンドポイントまたはMCUで実施されるダウンスケーリングを用いて復号される必要がある。これは、帯域および計算資源を消費することになる。

前述の単一レイヤビデオコーデックとは反対に、「マルチレイヤ」符号化技法に基づく「スケーラブル」ビデオコーデックでは、所与のソースビデオ信号に対して2つ以上のビットストリームが生成される。すなわち、ベースレイヤ、および1つまたは複数の補強レイヤである。ベースレイヤは、最小の品質レベルにおけるソース信号の基本的な表現であり得る。最小の品質表現は、所与のソースビデオ信号の、品質(すなわち、信号対雑音比(「SNR」))、空間もしくは時間解像度側面、またはこれらの側面の組合せが低減されたものであり得る。1つまたは複数の補強レイヤは、ベースレイヤのSNR、空間もしくは時間解像度側面の品質を高めるための情報に相当する。スケーラブルなビデオコーデックは、異種のネットワーク環境、および/または異種の受信装置を考慮して開発されてきた。

スケーラブルな符号化は、ITU-T勧告H.262|ISO/IEC 13818-2(MPEG-2 Video)のSNRスケーラブル、または空間的スケーラブル、またハイプロファイルなどの規格の一部であった。しかし、このような「スケーラブル」ビデオコーデックのテレビ会議用途の実際の使用は、スケーラブルな符号化に関連して増加するコストおよび複雑さにより、ならびにビデオに対して適切な高帯域幅のIPベース通信チャネルの広く普及した可用性の欠如により妨げられてきた。

参照により本明細書に組み込まれる、同時係属であり本願の出願人に譲渡された国際特許出願第PCT/US06/02836号は、特にテレビ会議用途に向けた実際的なスケーラブルビデオ符号化技法を述べている。さらに、参照により本明細書に組み込まれる、同時係属であり本願の出願人に譲渡された国際特許出願第PCT/US06/02835号は、テレビ会議用途に対するスケーラブルなビデオ符号化技法の特徴を利用し、利益を得るように設計された会議サーバアーキテクチャを述べている。参照により本明細書に組み込まれる、同時係属であり本願の出願人に譲渡された国際特許出願第PCT/US06/061815号は、テレビ会議用途に対するスケーラブルなビデオ符号化技法の特徴を利用し、利益を得るように設計された会議サーバアーキテクチャに、エラー耐性、レイヤ切換え、およびランダムアクセス能力を提供するための技法を述べている。

現在、前に規格化されたスケーラブルなビデオコーデックよりもさらに効率的なトレードオフを提供するITU-T勧告H.264|ISO/IEC 14496-10規格の拡張が検討されている(Annex G、Scalable Video Coding - SVC)。ビデオ符号化の研究および規格化におけるさらなる開発は、MCUにおけるエラー耐性およびビデオ混合、すなわち、複数の入力ビデオを1つの出力ビデオに複合するための複数のスライスグループの概念を含む。(S. Wenger and M. Horowitzによる、「Scattered Slices: A New Error Resilience Tool for H.26L」、JVT-B027、ITU-T SG16/Q.6およびISO/IEC JTC 1/SC29/WG 11およびITU-T勧告H.264|ISO/IEC 14496-10の共同ビデオチーム(JVT)の文書を参照のこと)。すべての入力ビデオ信号が、ITU-T勧告H.264|ISO/IEC 14496-10を用いて符号化された場合、様々な入力信号は、別個のスライスグループとしてMCUの出力ピクチャ中に配置され得るので、復号化および再符号化がMCU中で必要とされない可能性がある。(M. M. Hannuksela およびY. K. Wangによる、「Coding of Parameter Sets」、JVT-C078、ITU-T SG16/Q.6およびISO/IEC JTC 1/SC 29/WG 11の共同ビデオチーム(JVT)の文書を参照のこと)。

テレビ会議用途のための会議サーバまたはMCUアーキテクチャの改善に対して、現在、検討が行われている。特に、複数のスライスグループなどの符号化ドメイン複合技法を用いて、あり得るサーバで生成されたデータと共に、1つまたは複数の入力ビデオ信号を単一の出力ビデオ信号に複合するためのサーバアーキテクチャを開発することに対して関心が向けられている。望ましい会議サーバアーキテクチャは、画面分割表示(continuous presence)、個人的なビューもしくはレイアウト、レートマッチング、エラー耐性、およびランダムエントリなどの望ましいテレビ会議機能をサポートし、また従来のMCUの複雑さおよび遅延オーバヘッドを回避することになる。

テレビ会議を行うためのシステムおよび方法が提供される。各テレビ会議参加者は、会議ブリッジMCUまたはサーバに符号化データビットストリームを送信する。符号化データビットストリームは、単一レイヤ、またはスケーラブルなビデオ符号化(SVC)データ、および/またはスケーラブルなオーディオ符号化(SAC)データビットストリームとすることができ、複数の品質をそこから導くことができる。MCUまたはサーバ(例えば、以下の「複合スケーラブルビデオ符号化サーバ」(CSVCS))は、送信会議参加者からの入力ビデオ信号を、受信参加者に転送される単一の複合出力ビデオ信号へと合成するように構成される。CSVCSは、特に、入力信号を復号化、再スケーリング、および再符号化することなく、出力ビデオ信号ピクチャを合成するように構成され、それにより、エンド-ツー-エンドの遅延はわずかなものとなるか、あるいは全くなくなる。CSVCSのこの「ゼロ遅延」アーキテクチャは、有利には、カスケード構成でその使用を可能にする。CSVCSの複合化された出力ビットストリームは、単一の復号器でそれを復号化できるようにする。

テレビ会議用途では、各参加者は、複数のレイヤ(例えば、ベースレイヤ、およびSVCを用いて符号化される1つまたは複数の補強レイヤ)を有するスケーラブルなデータビットストリームを、対応する数の物理チャネルまたは仮想チャネルを介してCSVCSに送信する。何人かの参加者はまた、単一レイヤビットストリームを送信することもできる。CSVCSは、特定の受信参加者の特性および/または設定に基づいた要件に従って、各参加者からのスケーラブルなビットストリームの部分を選択することができる。その選択は、例えば、特定の受信参加者の帯域幅、および所望のビデオ解像度に基づくことができる。

CSVCSは、選択された入力スケーラブルビットストリーム部分を、1つ(または複数)の復号器によって復号化され得る1つ(または複数)の出力ビデオビットストリームへと合成する。出力ビデオビットストリームに対してSVCが使用される場合、その複合化は、出力ストリームが妥当性のあるSVCビットストリームであるように、可能な補足的なレイヤデータの生成と併せて、各入力ビデオ信号を、出力ビデオ信号の異なるスライスグループのスライスに割り当てることにより達成される。CSVCSは、信号処理を用いずに、或いは、最小の信号処理を用いて、複合出力ビデオ信号を生成するように構成される。CSVCSは、例えば、出力信号を合成するために、適切なパケットを出力ビットストリームのアクセスユニット中へ選択的に多重化することができるように、入力されるデータのパケットヘッダを読取り、次いで、参加者のそれぞれに対して、任意の生成されたレイヤデータと共に、合成された出力信号を送信するように構成され得る。

テレビ会議の場面では、入力ビデオ信号コンテンツは、所与の瞬間において、時間内に出力ビットストリーム中のピクチャのすべての領域をカバーするのに十分である場合も、十分でない場合もある。その不十分さは、例えば、入力ビデオ信号の異なる時間解像度、入力ビデオ信号の時間的なサンプリング間のシフト、および出力ビデオ信号の不完全なフィリング(filling)に起因する可能性がある。CSVCSは、エンド-ツー-エンドの遅延を最小化し、または遅れて到来する入力ビデオ信号により引き起こされる他の問題を最小化するために、出力ビデオ信号のより高い時間解像度を生成することにより、不十分なピクチャ領域範囲の問題を改善するように構成され得る。例えば、CSVCSは、入力ビデオ信号コンテンツが存在していない、または利用できない出力ビデオ信号のこれらの部分に対して、アクセス可能な記憶媒体から取得される事前に符号化されたスライスを挿入するように構成することができる。事前に符号化されたスライスは、出力ピクチャの特定のレイアウトに従って、CSVCSにより計算され、または事前に計算され得るヘッダおよび符号化スライスデータから構成することができる。代替的には、CSVCSは、受信エンドポイントに対して、前に符号化されたピクチャを単に複製するように命令する符号化ピクチャデータを挿入することにより、より高い時間解像度で入力ビデオ信号を処理することができる。このような符号化ピクチャデータは、数バイトの程度のきわめて短い長さを有することに留意されたい。

本発明によるテレビ会議の例示的な実施形態は、差別化されたサービス品質(QoS)が提供される(すなわち、必要な合計帯域幅の何らかの部分に対して高い信頼性の通信チャネルを提供する)通信ネットワーク接続、ビデオコーデック、CSVCS、およびエンドユーザ端末を含むことができる。送信参加者のためのビデオコーデックは、異なる伝送帯域幅レベルで時間、品質、または空間解像度の点で共にスケーラビリティを提供する単一レイヤビデオまたはスケーラブルビデオである。受信参加者の少なくとも1人に対するビデオコーデックは、スケーラブルなビデオ復号化をサポートする。送信参加者および受信参加者で使用されるエンドユーザ端末は、ビデオ復号器の複数のインスタンス、およびビデオ符号器の少なくとも1つのインスタンスを動作させることのできる、専用のハードウェアシステムまたは汎用PCとすることができる。例示的なシステムの実装は、従来のMCUの機能および/または他の会議サーバ(第PCT/US06/28366号に記載のSVCSなど)の機能を、本明細書で述べるCSVCSの機能と組み合わせることができる。このように組み合わせたシステムでは、MCU、SVCS、およびCSVCS機能は、テレビ会議セッションにおける異なる部分またはエンティティにサービスするために、選択的に、個々に、または組み合わせて使用され得る。

CSVCSの機能は、SVCSの機能を補完することができる。CSVCSは、SVCSの機能および利点のいくつかまたはすべてを有するように構成することができる。しかし、CSVCSは、SVCSが行うように各エンドポイントに複数のSVCストリームを送信する代わりに、個々のストリームが異なるスライスグループに割り当てられる単一の出力SVCストリーム中に、個々のストリームをカプセル化し、または合成する点で、少なくともSVCSとは異なる。CSVCSは、その場合、すべての目的に対してSVCSであると見なすことができ、出力段はさらに、出力ビットストリームが準拠していることを保証するために必要となり得る追加のレイヤデータの生成と併せて、スライスグループベースの割当ての追加のプロセスを含む。すべてのSVCS機能(例えば、レートマッチング、個人化されたレイアウト、エラー耐性、ランダムアクセス、およびレイヤ切換え、レート制御)は、したがって、CSVCSでサポートされ得ること、またCSVCSから送信されるパケットの数は、同一の会議セットアップにおいてSVCSから送信されるはずの数とほぼ同じであることに留意されたい。

本発明のさらなる特徴、性質、および様々な利点は、以下の好ましい諸実施形態の詳細な説明および添付の図面からさらに明らかとなろう。

本発明は、符号化ドメインでピクチャの複合化を提供するサーバを用いたスケーラブルなビデオ符号化を使用するテレビ会議システムを実施するためのシステムおよび方法を提供する。本システムおよび方法は、単一レイヤ符号化またはスケーラブル符号化技法を用いて、送信側テレビ会議参加者により符号化されるビデオおよびオーディオデータを送達する。スケーラブルなビデオ符号化技法は、ソースデータをいくつかの異なるビットストリーム(例えば、ベースレイヤおよび補強レイヤのビットストリーム)に符号化し、それらは、様々な時間解像度、品質解像度(すなわち、SNRの点で)、またビデオの場合、空間解像で、元の信号の表現を提供する。受信参加者は、スケーラブルなビデオ符号化技法を用いて符号化され、また様々な入力信号に対する複数のスライスグループ機能を含むビットストリームを復号することができる。

送信参加者またはエンドポイントと、受信参加者またはエンドポイントとの間の通信経路中に、複数のサーバが存在することができる。このような場合、経路中の少なくとも最後のサーバは、送信参加者から入力されるビデオピクチャを、スケーラブルなビデオ符号化技法を用いて符号化された単一の複合出力ピクチャへと合成し、その複合出力ピクチャを受信参加者に送信することになる。重要なことは、サーバにおける、もしくはサーバによる合成プロセスは、送信参加者から受信したピクチャデータの復号化および再符号化を必要としないが、出力ビットストリームが、スケーラブルなビデオ復号器の要件を準拠していることを保証するための追加のレイヤデータの生成を必要とする場合のあることである。

参照用として、また本発明の理解を助けるために、本明細書で述べられる本発明の実施形態(以降、「SVC実施形態」とする)に対して、ベースレイヤビットストリームは、ITU-TおよびISO/IEC JTC 1に指定されるITU-T勧告H.264|ISO/IEC 14496-10(MPEG4-AVC)、「Advanced video coding for generic audiovisual services(オーディオビジュアルサービス全般のための高度ビデオ符号化方式)」、ITU-T勧告H.264、およびISO/IEC 14496-10(MPEG4-AVC)に準拠しているものと仮定する。さらに、補強レイヤビットストリームは、ITU-T勧告H.264|ISO/IEC 14496-10(MPEG4-AVC)(Annex G、Scalable Video Coding、以降「SVC」)のスケーラブルな拡張に準拠するものと仮定する。SVCコーデックの使用は、例えば、入力ビデオ信号の可変ピクチャサイズがMCUの出力ビデオピクチャ中に存在するように要求される場合に有益であり得る。H.264 AVCとSVC規格は異なることに留意されたい。SVCは、H.264の2007年度版に現れるH.264の別のAnnexである。本発明で述べられる実施形態の場合、H.264 AVCはスケーラブルなコーデックベースレイヤに対して使用され、一方、H.264 SVCはスケーラブルなコーデック補強レイヤに対して使用される。しかし、説明では便宜上、ベースレイヤに対して使用される(H.264 AVC)、また補強レイヤに対して使用される(H.264 SVC)スケーラブルなビデオコーデックは、本明細書では、まとめて「SVC」コーデックと呼ぶことができる。H.264 AVCは単一レイヤコーデックであると見なされるが、時間次元では、スケーラビリティを提供することにさらに留意されたい。本発明で述べられる実施形態におけるH.264 AVCおよびH.264 SVCコーデックの使用は、例示的なものに過ぎないこと、またピクチャを複合するのに適した他のコーデックを、本発明の原理に従って、その代わりに使用できることもまた理解されよう。

図1は、マルチポイントおよびポイント-ツー-ポイントで会議を行う用途において、電子またはコンピュータネットワーク環境で実施することが可能な、ピクチャを複合するための例示的なシステム100を示す。システム100は、会議参加者またはクライアント120、130、および140に対するカスタマイズされたデータの送達を調整するために、1つまたは複数のネットワークサーバ(例えば、複合スケーラブルテレビ会議サーバ(CSVCS)サーバ110)を使用する。CSVCSサーバ110は、例えば、他の会議参加者に送信するためのエンドポイント140により生成されたビデオストリームの送達を調整することができる。システム100では、SVC技法を用いて、ビデオストリーム150は、まず、適切に符号化され、またはスケールダウンされて、様々なデータコンポーネントまたはレイヤになる。複数のデータレイヤは、異なる特性または機能(例えば、空間解像度、フレームレート、ピクチャ品質、信号対雑音比(SNR)など)を有することができる。データレイヤの異なる特性または機能は、例えば、変化する個々のユーザ要件、および電子ネットワーク環境中のインフラストラクチャ仕様(例えば、CPU能力、ディスプレイサイズ、ユーザのプリファレンス、およびビットレート)を考慮して、適切に選択することができる。

CSVCS 110は、国際特許出願第PCT/US06/028366号に記載のスケーラブルなテレビ会議サーバ(SVCS)およびスケーラブルなオーディオ会議サーバ(SACS)と同様のスケーラブルなビデオ信号処理機能を有することができる。しかし、CSVCS 110は、特に、複数のスライスグループを用いて複数の入力ビデオ信号を1つの出力ビデオ信号に複合するために、H.264 AVCおよびH.264 SVCコーデックを使用するようにさらに構成される。

システム100では、クライアント120、130、および140はそれぞれ、対話式会議に適切な端末を使用することができる。端末は、ヒューマンインターフェース入出力デバイス(例えば、カメラ、マイクロフォン、ビデオディスプレイ、およびスピーカ)、および符号器、復号器、マルチプレクサ(MUX)、デマルチプレクサ(DEMUX)などの他の信号処理コンポーネントを含むことができる。

さらに、同時係属の国際特許出願第PCT/US06/028366号に記載されているように、例示的な端末では、カメラおよびマイクロフォンは、他の会議参加者に送信するために、参加者のビデオおよびオーディオ信号をそれぞれ、捕捉するように設計されている。反対に、ビデオディスプレイおよびスピーカは、他の参加者から受信したビデオおよびオーディオ信号をそれぞれ、表示し、再生するように設計されている。ビデオディスプレイはまた、参加者/端末の自分のビデオを任意選択で表示するように構成することもできる。端末におけるカメラおよびマイクロフォンは、アナログ-デジタル変換器(AD/C)に結合することができ、それは、次にその各符号器に結合される。符号器は、信号の送信に必要なビットレートを最小化するために、ローカルなデジタル信号を圧縮する。符号器の出力データは、IPベースのネットワークを介して送信するために、(例えば、パケットMUXにより)RTPパケットに「パケット化」することができる。パケットMUXは、RTPプロトコルを用いて、従来の多重化を実施することができ、また任意の必要なQoSに関連するプロトコル処理を実施することもできる。例えば、同時係属の国際特許出願第PCT/US06/061815号に記載のように、QoSサポートは、信頼できる送達のために、ベースレイヤの少なくとも最も低い時間レベルを復号化するのに必須のパケットのマーキングと共に、肯定応答および/または否定応答により提供され得る。端末のデータストリームのそれぞれは、それ自体の仮想チャネル、すなわち、IP用語のポート番号で送信され得る。

本発明のSVC実施形態の実施において、システム100は、CSVCSへの入力ビットストリームに対してはAVCまたはSVCコーデックを使用し、またCSVCS 110からの出力ビデオビットストリームに対してはSVCを使用することにより、出力ピクチャの複合において、複数のスライスグループの特性を利用する。しかし、システム100におけるオーディオ信号は、出力ピクチャの複合とは独立して、例えば、ITU-T勧告G.711、またはISO/IEC 11172-3(MPEG-1 Audio)に記載の技法など、当技術分野で知られた任意の適切な技法を用いて符号化することができる。

図2は、CSVCS 110により提供される例示的な出力ビデオピクチャ200を示しており、それは複数のスライスグループ(例えば、スライスグループ1、2、3、4)の複合されたものである。スライスグループ間の区分または境界は、破線で図2に示されている。スライスグループ1、2、3、4は、ITU-T勧告H.264|ISO/IEC 14496-10におけるシンタックス構造とすることができる。あるピクチャに対する特定のスライスグループの割当ては、ITU-T勧告H.264|ISO/IEC 14496-10ビットストリームのピクチャパラメータセット(PPS)において、ピクチャごとに1つずつ、ビットストリーム中で指定することができる。PPSは、ビットストリームの一部として、帯域内でまたは帯域外で搬送することができる。PPSを帯域内で搬送することは、PPSがビットストリームのアクセスユニット中に多重化されることが必要となる。反対に、PPSを帯域外で搬送することは、PPS伝送のために、別個の伝送チャネルが使用されること、または伝送シナリオで復号器が使用される前に、PPSが復号器中に実装されることが必要となり得る。最高256個の異なるPPSを使用することが可能である。あるピクチャに対して、どのPPSを使用する必要があるかのシグナリングは、番号参照によりスライスヘッダ中で示され得る。

図3は、CSVCS 110により生成された出力ビデオピクチャ200(図2)のスライスグループに対する入力ビデオ信号またはピクチャの例示的な割当てを示す。入力ビデオ信号の割当ては、スライスヘッダを変更し、出力ビデオのスライスグループに割り当てることにより、圧縮ドメインで達成することができる。例えば、図3に示す割当てでは、入力ビデオ信号0がスライスグループ0に割り当てられ、入力ビデオ信号1がスライスグループ1に割り当てられ、入力ビデオ信号2がスライスグループ2に割り当てられ、また入力ビデオ信号3および4が共にスライスグループ3に割り当てられる。その割当ては、入力ビデオ信号を、出力ピクチャ中のスライスグループのスライスにマッピングすることにより実行することができる。このマッピング方法により、特定のスライスグループ(図3)中に割り当てられた部分および領域と、未割当ての部分および領域310の両方が得られる。

ITU-T勧告H.264|ISO/IEC 14496-10によれば、復号化されたピクチャ全体(例えば、出力ビデオピクチャ200)は、ビットストリームに含まれる符号化スライスデータにより記述されなければならない。スライスグループのスライスに対する入力ビデオ信号の割当てが、割り当てられた領域と、未割当ての領域の両方になり得るので、CSVCS 110は、ピクチャを複合する間に、未割当て領域に対する符号化スライスデータを作成するように構成される。

本発明のSVC実施形態の実施において、符号化スライスデータは、スキップマクロブロック(skip macroblock)データまたはイントラ符号化マクロブロックデータを含むことができる。後者のデータは、出力ピクチャの未割当て領域に対するコンテンツを作成するために必要であり得る。イントラ符号化データは、任意の適切なコンテンツを有することができる。そのコンテンツは、例えば、均一なグレーまたは黒色のテクスチャなどの少ないビットレートで送信され得るピクチャ信号を記述することができる。代替的に、またはさらに、コンテンツは、ユーザ情報、グラフィカルな注記、および会議制御機能などのMCUの制御機能の追加を記述することができる。

システム100では、会議制御機能は、クライアント/参加者による簡単なシグナリングまたは要求(例えば、クライアント/参加者がビデオ表示画像画面上の特定の座標または領域を指し示すことによるシグナリング)に応じて活動化され得る。この目的のために、CSVCS 110は、ビデオ表示画像画面(例えば、いくつかのアクションを開始するためのボタンとして示され、作用する画像領域を有する)上の特定の座標または領域により表されるアクションに、その信号を変換するように構成される。クライアントによるシグナリングは、例えば、CSVCSがウェブサーバと同様に、このような信号を受信するためのHTTPインターフェースを提供するHTTP技法を用いて実施することができる。

さらに、CSVCS 110は、それにアクセス可能な記憶媒体に記憶された符号化スライスデータビットの複数のバージョンを有するように、かつ/またはそれが動作している会議コンテキストに従って、最小の複雑さでオンザフライにこのような符号化スライスデータビットを生成するように構成される。

システム100は、有利には、テレビ会議用途において、エンド-ツー-エンドの遅延性能パラメータを最小化するように構成することができる。例えば、システム100のオペレーションでは、CSVCS 110に対する入力ビデオ信号は、異なる時間解像度を有することができ、あるいはピクチャの時間的なサンプリング間でシフトを有することができる。したがって、出力ビデオ信号を形成する入力ビデオ信号のCSVCS 110への到来時間は変化する可能性がある。CSVCS 110は、入力ビデオ信号の到来時間でトリガされ出力ピクチャを生成することにより、変化する到来時間に対処するように構成することができる。こうすることにより、出力ビデオ信号のより高い時間解像度が得られ、エンド-ツー-エンド遅延と、遅れて到来する入力ビデオ信号により生ずる他の問題とを最小化することができる。さらに、CSVCS 110は、コンテンツが何も存在しないビデオ信号部分に対して、アクセス可能な記憶媒体から、事前に符号化されたスライスを挿入するように構成することができる。

本発明の1つのテレビ会議実装形態では、スキップピクチャ(すなわち、前のフレームからのすべてのピクチャコンテンツの複製)、または低ビットレートの符号化スライスを、変化しない出力ピクチャコンテンツを表すために使用することができる。このようなテレビ会議実装形態では、受信側テレビ会議参加者は、ITU-T勧告H.264|ISO/IEC 14496-10のref_pic_list_reordering(参照ピクチャリストの順序入れ換え)シンタックス構造を用いて、自分の端末の復号器を動作させることにより、正しい参照ピクチャ(すなわち、送信参加者の符号器により、参照ピクチャとして使用されることが元々意図されていたピクチャ)にアクセスできるようになる。さらに、CSVCS 110は、参照ピクチャリストの順序入れ換えを変更するように、適切に構成され得る。使用される任意の他の時間的レイヤ化構造に対して、同様の処理または手順を使用することができる。

本発明の他のテレビ会議実装形態では、入力ビデオ信号は、高められた時間解像度で符号化することができる。時間解像度の増加は、前に符号化されたピクチャの複製(すなわち、スキップピクチャ)である追加のピクチャを送信することにより達成することができる。ピクチャ解像度とは独立して、スキップされたCIFピクチャに対するバイト数は、ピクチャ/スライスヘッダに対して2〜3バイトであり、マクロブロックに対するスキップのシグナリングのために2〜3バイトである。このビットレートは無視できることに留意されたい。追加のピクチャの符号化された表現は、送信参加者にアクセス可能な記憶媒体に記憶され得るが、あるいは最小の複雑さで早急に（on the fly）生成されて、ビットストリーム中に挿入され得る。本発明のSVC実施形態の実装において、1秒間に送信されるマクロブロックのこの増加は、スキップスライスを効率的に扱うために、特別の対策が実施され得るので、受信エンドポイントにおける処理パワーに悪影響を与える必要はない。さらに、H.264 MaxStaticMBPS処理レートパラメータ(ITU-T勧告H.241でMaxStaticMBPSと呼ばれる)は、ITU-T勧告H.264|ISO/IEC 14496-10レベルのシグナリングを調整するために使用され得る。入力ビデオ信号がより高い時間解像度である場合、CSVCS 110は、その高い時間解像度で動作することができる。CSVCS 110はさらに、所与のスケジュールに従って、入力ビデオ信号からの到来するピクチャを含めるように、また到来ジッタに対して補償するためにスキップピクチャとして挿入される非参照ピクチャを用いるように構成することができる。この補償は、スキップピクチャを、遅れて到来した符号化ピクチャと交換することにより達成することができる。このような実装形態では、送信参加者は、ITU-T勧告H.264|ISO/IEC 14496-10のref_pic_list_reorderingシンタックス構造を用いて自分の符号器を動作させることにより、正しい参照ピクチャ(すなわち、送信参加者の符号器により使用されることが元々意図されていた参照ピクチャ)を利用することができる。

本発明のさらなるマルチポイントテレビ会議実装形態では、様々な参加者が、システム100において、異なるビットレートおよび異なる空間および時間解像度を要求する場合、送信参加者は、複数の時間解像度でビデオ信号を作成することができる。図4は、複数の時間解像度ピクチャL0、L1、L2を有するビデオ信号に対する例示的なレイヤ化されたスレッディング時間予測構造400を示す。図4でL2としてラベル付けされたピクチャは、インター予測のための参照ピクチャとして使用されないことに留意されたい。しかし、L0、およびL0、L1とラベル付けされたピクチャは予測チェーンを形成する。これらのピクチャ(L0、L1)の1つが受信参加者の復号器で参照用に利用できない場合、空間-時間エラーの伝播が、主観的な視覚的歪みを導く可能性がある。本発明のSVC実施形態では、CSVCS 110に入力信号として送られたL2とラベル付けされたピクチャは、「not-used-for-reference(参照として不使用)」とマーキングすることができる。CSVCSにより複合出力ピクチャのコンポーネントとして送信された場合、同じL2ピクチャは、複合ピクチャの他のコンポーネントが、used-for-reference(参照として使用)とマーキングされる場合、「used-for-reference」とマーキングされる必要がある。これは、L2ピクチャがused-for-referenceとしてマーキングされる必要がない国際特許出願第PCT/US06/28365号および第PCT/US06/28366号に記載のSVCベースのテレビ会議システムにおけるその有用性とは対照的である。L2ピクチャの使用における差は、ITU-T勧告H.264|ISO/IEC 14496-10は、ピクチャが、参照および非参照スライスの複合であることを許容せず、一方または他方の複合だけを許容するため生ずる。ITU-T勧告H.264|ISO/IEC 14496-10の準拠において、同時刻におけるCSVCS 110への複数の入力ビデオ信号が、参照および非参照スライスを含む場合、それらは、同じ出力ピクチャ中に混合することはできない。したがって、システム100のオペレーションにおいて、非参照L2ピクチャを出力ストリーム中に混合するために、CSVCS 110はピクチャL2を
参照ピクチャとしてラベル付けし、かつ使用する。ピクチャL2は、ピクチャL0またはL1と類似した量のビットを必要とする普通の符号化ピクチャとして符号化され、特定の(L2)解像度を要求している受信参加者に向けて送られる出力ピクチャ中に挿入され得る。L2としてラベル付けされたピクチャを要求していない他の受信参加者に向けて送られる出力ピクチャの場合、CSVCS 110は、対応する入力ビデオ信号からのL2ピクチャ用に受信されたビットを、スキップピクチャに対応するビットで置き換えるように構成され得る。前述のマルチポイントテレビ会議のシナリオでは、送信参加者は、ITU-T勧告H.264|ISO/IEC 14496-10のref_pic_list_reorderingシンタックス構造を用いて自分の符号器を動作させることにより、ピクチャL0およびL2に対する正しい参照ピクチャ(すなわち、送信参加者の符号器により、参照として使用されることが元々意図されたピクチャ)を利用することができる。このプロセスはさらに、L1ピクチャに拡張することができ、SVCSと同様に、レートマッチング、および統計的多重化目的に使用することができる。

図5は、空間スケーラブル予測、交互にSNRスケーラブル予測、またはシステム100のオペレーションで使用され得るこれらの予測の混合に対して適切な例示的レイヤ化構造500を示している。構造500では、予測用のベースレイヤがL0とラベル付けされる。2つの補強レイヤは、S0およびQ0とラベル付けされる。S0はQ0に依存しておらず、その逆も同様である。しかし、予測を通して、S0またはQ0に依存する他のレイヤがあり得る。本発明SVC実施形態の実装では、L0はQCIFピクチャであり、Q0は、3/2 QCIFピクチャまたはCIFピクチャとすることができる。例示的なマルチパーティのテレビ会議シナリオでは、1人の受信参加者だけが、3/2 QCIFピクチャを要求し、他のすべての参加者がCIFまたはQCIFピクチャを要求する可能性がある。システム100のオペレーションにおけるこのシナリオでは、送信参加者は、QCIFおよびCIFピクチャの生成に加えて、さらに、送信における全体のシステム効率のために3/2 QCIFピクチャを生成することができる。さらに、このシナリオでは、CSVCS 110は、各受信参加者の解像度で信号を復号するのに必要なビットを転送するように、適切に構成することができる。さらに、改善されたCSVCS 110オペレーションのために、送信参加者は、予測用に指定または使用されていないビットストリームの部分を廃棄可能なフラグでラベル付けすることができ、それは、例えば、国際特許出願第PCT/US06/28365号に記載されている。

図6は、時間的レイヤ化構造(図4)と空間的スケーラブルレイヤ化構造(図5)を組み合わせた、さらなるレイヤピクチャ符号化構造600を示す。組み合わせた構造は、システム100のオペレーションで使用することができる。このような場合、システム100は、会議エンティティ(すなわち、それぞれが、スケーラブルなビデオ符号器、CSVCS 110を動作させる送信参加者、およびそれぞれが、スケーラブルなビデオ復号器を動作させる受信参加者)が、相互間で双方向制御チャネルを維持するように構成される。送信参加者からCSVCS 110に、またCSVCS 110から受信参加者への制御チャネルは、本明細書で順方向制御チャネルと呼ぶことができる。反対に、受信参加者からCSVCS 110に、またCSVCS 110から送信参加者への制御チャネルは、本明細書で逆方向制御チャネルと呼ぶことができる。システムのオペレーションでは、会議エンティティ中の実際の通信の前に、その制御チャネルを介して、能力交換(capability exchange)を行うことができる。能力交換は、各送信参加者によりサポートされる空間および時間的なビデオ解像度の範囲のシグナリングを含むことができる。送信参加者の能力の範囲は各受信参加者へと送られ、受信参加者は、次いで、それに従って、送信者にビデオ機能を求める自分の要求を選択し、または制限することができる。

逆方向制御チャネルを介して、受信参加者は、現在送られているものとは異なる空間ビデオ解像度を要求することができる。同様に、テレビ会議セッションに入る受信参加者は、特定の空間ビデオ解像度のビデオを要求することができる。本発明のSVC実施形態の実装では、CSVCS 110は、受信参加者に送られる出力ピクチャに対するスライスグループの境界を変更することにより、受信参加者の要求に応ずるように構成される。送信参加者のスケーラブルなビデオ符号器によりサポートされる空間解像度に応じて、CSVCS 110は、その逆方向制御チャネルを介して、受信参加者の要求を満足させるために、他の空間解像度をサポートまたは生成する必要があるかどうかを、そのスケーラブルなビデオ符号器に通知することができる。

国際特許出願第PCT/US06/28366号は、例えば、国際特許出願第PCT/US06/028365号に記載されている、符号化構造を処理するように設計されたスケーラブルなテレビ会議サーバ(SVCS)を述べていることにここで留意されたい。前者の出願において記載されたSVSCは、スケーラブルなビデオ符号化を用いて、ビデオ品質、解像度、およびビットレートを操作するその能力に基づき、マルチポイント会議のために設計された様々な機能を有する。前述のSVSCは、会議参加者のエンドポイントが、エンドユーザに複数の参加者ビュー(「画面分割表示」)を提供するためにいくつかの復号器を展開しているものと仮定する。しかし、いくつかの会議状況では、エンドポイント中で単一の復号器だけを動作させることが有利であり、または必要な場合がある。このような会議状況の場合は、前述のSVSCはさらに、本明細書で述べられるCSVCSの複合機能を有し、かつ適用するように構成または変更することができる。オペレーションにおいては、変更されたSVCSは、変更されないSVCSの機能のいくつかまたはすべてを利用した後、CSVCS 110の機能を利用することができる。

CSVCSまたは変更されたSVCSの機能の理解を助けるために、参照により本明細書に組み込む、国際特許出願第PCT/US06/28365号、第PCT/US06/028366号、第PCT/US06/028367号、第PCT/US06/027368号、および第PCT/US06/061815号との関連を参照して、どのようにSVCSの機能がCSVCSにより提供され得るかの諸例をここで検討することが有益である。

まず、国際特許出願第PCT/US06/028366号を参照すると、参照された用途で述べられている、SVCSオペレーションに適用される少なくともベースレイヤデータを保護する同様の原理を、送信エンドポイントとCSVCSの間、CSVCSと受信エンドポイントの間、さらにカスケード接続されたCSVCSの間のネットワーク接続において、CSVCSオペレーションに直接適用できることに留意されたい。このようなサービス品質サポートは、FEC、ARQ(肯定/否定応答)、事前対応の再送信など、SVCSにより使用されるものと同様の、または同一の手段および技法を用いてCSVCSにより提供され得る。CSVCSにより人工的レイヤ(artificial layer)が作成される場合、それらは、正規のレイヤデータ(すなわち、1つまたは複数の送信エンドポイントから受信された符号化ピクチャ)と同様な方法で、高い信頼性のまたは低い信頼性のチャネルを介して送信することができる。SVCSのものと同様な方法で、CSVCSは、複合出力ビデオストリームから補強レイヤデータを選択的に削除することにより、変化するネットワーク状態(例えば、輻輳)に応ずることができる。SVCSにより使用される統計的多重化技法をまた、CSVCSによっても使用することができ、したがって、複合出力ビデオストリーム中のピクチャの時間的な整列は、送信エンドポイントから受信されるコンポーネントピクチャのサブセットだけがその長期平均サイズを大幅に超えることが許容されるような方法で実施される。CSVCSはまた、SVCSと同様な方法で、スケーラブルな符号化オーディオストリームを用いてオーディオ能力を特徴付けることができる。オーディオの場合、「空間多重化」に対応する、ビデオ中に存在するスライスグループの概念と等価なものはない。SVCSのオーディオ機能に対する並列処理は、オーディオストリームの従来の混合である。しかし、このオーディオの混合は、SVCSオーディオオペレーションのさらなる出力段であると見なすことができ、したがって、例えば、オーディオクリッピング効果の低減または削除に関連するアルゴリズムは、なお、CSVCSにより同様に使用され得る。最後に、CSVCSはまた、SVCSと同様な方法で、ネットワークアドレス変換、プロキシ動作など、ネットワークに関係する機能を実施することができる。

SVCSは、1つまたは複数の送信エンドポイントと受信エンドポイントをリンクさせるカスケード構成で、CSVCSと共に展開され得ることに留意されたい。複合出力ピクチャが、受信エンドポイントにより必要である場合、CSVCSをカスケード構成の最後のサーバとして配置し、かつSVCSをそのカスケード構成中の他のより高い位置に配置することは有利となろう。国際特許出願第PCT/US06/028367号に記載のトランキング(trunking)設計を、SVCSカスケード構成と同様な方法で、CSVCS/SVCSカスケード構成に適用できることをさらに留意されたい。

さらに、国際特許出願第PCT/US06/027368号に記載のSVCSシステムに対するジッタ低減技法をCSVCSに直接適用することができ、送信されない任意の補強レイヤデータは、本発明の原理に従って適切な人工的レイヤデータにより置き換えることができる。

CSVCSまたは変更されたSVCSの機能の理解をさらに助けるために、国際特許出願第PCT/US06/061815号を参照して、CSVCSによりどのようにSVCSの機能が提供されるかのさらなる諸例をここで検討することも有用である。

SVCSのコンテキストにおいて、国際特許出願第PCT/US06/061815号に記載のエラー耐性、ランダムアクセス、およびレイヤ切換え技法はまた、CSVCSシステム中で直接の用途を有する。これらの技法を適用する場合、送信エンドポイントとCSVCSの間の接続は、SVCSとCSVCSの間の特徴的な差が、その出力ビデオ信号のフォーマット形式にあり、接続の性質にはないので、送信エンドポイントとSVCSの間の接続と同様な方法で処理できることに留意されたい。CSVCSと受信エンドポイントの間の接続の場合、CSVCSコンテキスト中の各スライスグループデータをSVCSコンテキスト中の送信参加者のピクチャデータと等価であると見なすことにより、かつ、第1に両方の場合でパケットヘッダデータだけが異なる可能性があること、および第2に追加の人工的レイヤデータがCSVCSにより生成され得ることに気づくことにより、同様のエラー耐性およびランダムアクセス保護技法が、CSVCSの出力パケットに適用され得ることが分かる。例えばCSVCS環境における信頼性のある送信のためのピクチャデータのマーキングは、SVCS環境中と同様な方法で実施することができる(例えば、RTPヘッダ拡張、RTCPフィードバックによるRNACKなどによる)。SVCS環境におけるRピクチャの概念は、CSVCS環境中のRスライスグループの概念に変換される。Rピクチャのキャッシング、送信エンドポイントの符号器で周期的なイントラマクロブロックを使用すること、および受信エンドポイントにおける早送り(fast-forward)復号化もまた、CSVCS環境における個々のスライスグループのコンテキスト内で適用される。SVCS環境で有用なレイヤ切換え技法はまた、同様に使用することができる。例えば、エラーの回復、または新しい参加者をサポートするためのサーバベースのイントラフレームの概念を、CSVCS環境におけるスライスグループに適用することができる。SVCSと同様に、CSVCSは、送信参加者から入力されるビデオデータの一部を、特に、ベースレイヤの少なくとも最も低い時間レベルを復号する必要があり、またその復号されたピクチャデータをイントラとして再符号化するように備える必要がある。受信エンドポイントで、マルチループ符号化機能が利用可能である場合、レイヤ切換えは、サーバがイントラデータを供給する必要がないので、SVCSと同様にかなり簡単化される。

最後に、米国仮特許出願第60/778,760号および第60/787,031号に記載のレート制御技法、米国仮特許出願第60/774,094号に記載のストリームのシニング(thinning)技法、および米国仮特許出願第60/827,469号に記載のマルチキャストSVCS技法はまた、CSVCSに直接適用可能である。例えば、適切に基準化された、ベースレイヤの符号化された情報(モード、動きベクトル等)を用いることにより、復号器においてS2ピクチャが隠される仮特許出願第60/787,031号に記載の技法が、CSVCS環境における特定のスライスグループ内のデータに適用され得る。重要なことは、同様の秘匿(concealment)効果は、復号器にベースレイヤ情報を使用するように命令する符号化データを、CSVCSにおけるS2ピクチャと交換し、複合出力ピクチャ中のその場所に挿入することにより実現できることである。この手法の利点は、受信エンドポイントが何らかの特別なサポートを要求しないことであり、したがって、SVC準拠の復号器がいずれも、正しく動作することになる。

上記の諸例は例示的なものに過ぎず、網羅的であること、または限定することを意図していない。本発明の原理に従って、複合出力ビデオ信号の生成プロセスを適切に処理すれば、任意のSVCSオペレーションがCSVCSで実施され得ることが理解されよう。

改めて図1を参照すると、システム100およびCSVCS 110のオペレーションにおいて、複合されたビットストリーム中に存在する個々の参加者に関連する個々のビットストリームは、その複合されたビットストリームから容易に抽出できることをさらに留意されたい。CSVCS 110は、複合されたビットストリームからこれらの個々のビットストリームを簡単に抽出し、またそれらを異なる複合化ビットストリーム中に再挿入するように構成され得る。CSVCS 110のこの構成は、カスケード化されたCSVCS 110が、参加者またはダウンストリームのサーバのプリファレンスに従って、構成するストリームの完全な再多重化を提供することを可能にする。したがって、再多重化機能を有するこのようなCSVCS 110は、拡張されたテレビ会議システムのカスケード化、および分散されたオペレーション機能を完全にサポートすることができ、それは、例えば、国際特許出願第PCT/US06/28366号に記載されている。

システム100はさらに、本発明に従って、信号ソース識別情報または他の有用な情報(例えば、ディレクトリ情報、オンスクリーンのヘルプなど)を個々の参加者および/またはスライスグループに搬送するように構成することができ、したがって、ソース識別または他の情報を参加者の表示画面上に表示することができる。システム100のこの構成により、参加者が、複合ピクチャ中に含まれたストリームのソースを識別することが可能になる。識別情報は、個々の参加者のビデオ信号に対応するスライスグループのそばに表示されるテキストストリングまたは事前に合成されたスライスデータを識別することを含み得る。例えば、識別情報は、参加者を名前で(例えば、「ジョン スミス」)、または場所で(ダラス、部屋A)識別するテキストストリングを含むことができる。複合されたピクチャでは、識別情報または他の搬送された情報は、各参加者の個々の画素上に重ね合わせることができ、あるいは個々の参加者に割り当てられた画像領域を囲む未割当ての画像領域(例えば、未割当て領域310、図3)中で表示することができる。識別情報は、専用データとして、帯域外または帯域内で送信され得る。

本発明のSVC実施形態の説明は、以下では、スライスグループを用いる合成の特有の機構に関し、ならびに出力ビットストリームがスケーラブルなビデオ復号器に準拠していることを保証することが必要な場合、さらなるレイヤデータの生成に関する。

入力ビットストリームを複合ピクチャのスライスグループに割り当てるために、CSVCSは、複合ピクチャにおけるスライスグループのレイアウトを記述するマップを使用する。具体的には、以降は、MapOfMbsToSliceGroupsで示されるこのマップは、出力ビットストリームの複合ピクチャを含むマクロブロックと、入力ビットストリームを識別するスライスグループとの間の関連を提供する。

図7を参照すると、サーバにおいて、解像度がそれぞれQCIF、CIF、およびCIFの3つの入力されるストリームがあること、またその3つの入力されるストリームから、ピクチャサイズが4CIFの複合ビデオ信号を作成することが望ましいと仮定する。可能なマップMapOfMbsToSliceGroups(マップ700)が図7に示されている。マップ700では、0と指標(index)が付されたスライスグループ705は、QCIFストリームに対応し、またスライスグループ1および2(それぞれ、710および720)は、CIFストリームに対応する。ピクチャ中の未割当て領域730はまた、スライスグループ指標を有する(例えば、この場合3)。

マップMapOfMbsToSliceGroups(例えば、マップ700)は唯一のものではなく、複合ピクチャ中に異なるスライスグループをレイアウトする複数の方法があり得ることに留意されたい。特定のレイアウトは、ユーザによる特定の要求により取得することができ、またCSVCSにより、あるいは任意の他の適切な技法により自動的に計算され得る。同様に、スライスグループの特定の番号付けは、任意の適切な技法を用いて、例えば、一技法では、入力されるビットストリームに指標を付すことにより取得することができ、次いで、その指標に従って対応するスライスグループを、最小から最大に、ラスター走査では、複合ピクチャ中、左から右に、上部から下部に配置する。

適正に復号できるように、複合ビデオ信号を受信する参加者に対して、マップMapOfMbsToSliceGroupsを送信することが必要になり得る。このような送信は、H.264の7.3.2.2節および7.4.2.2節で指定されたスライスグループ識別シンタックスにより、複合信号に対するピクチャパラメータセットに、MapOfMbsToSliceGroupsを組み込むことにより達成され得る。

具体的には、MapOfMbsToSliceGroupsは、以下のように設定することにより複合ビデオ信号のピクチャパラメータセットに組み込むことができる。

num_slice_groups_minus1 = NumAssignedAreas;
/

slice_group_map_type = 6;
// (スライスグループに対するMBの明示的な割当てを示す)

pic_size_in_map_units_minus1 = NumMbs-1;

for(i=0; i<=pic_size_in_map_units_minus1; i++ )
slice_group_id[ i ] = MapOfMbsToSliceGroups[i];
ただし、図7の例示的な割当ての場合、NumAssignedAreasは3であり、NumMbsは396の4倍(CIFの4倍)すなわち1583である。タイプ6(任意の割当て)に代えて、スライスグループマップのタイプ2(1組の矩形と背景)もここで使用できることに留意されたい。

入力ビットストリームからのスライスを出力ビットストリーム中の対応するスライスグループに適切に割り当てることを達成するために、スライスヘッダシンタックスがSVC規格により指定されるように与えられた場合、CSVCSは追加のマップを作成する必要がある。この追加のマップは、個々のストリームのマクロブロック(MB)指標と、複合信号のMB指標の間の対応関係マップである。例えば、ストリーム1(図7の710)のマクロブロック指標0は、複合ピクチャ中のMB指標22に対応する。上記で与えられた例に対して、この二次元マップをMapMbIndexと指定すると、MapMbIndex[1] [0]=22となる。

スライスをスライスグループに割り当てるための手順は以下のようになる。

ストリームn(例えば、図7の例ではn=0、1、2)からのスライスを考え、以下のステップを実施する。

(a)スライスヘッダのビットストリームの構文解析をして、そのスライス中の第1のMB(first_mb_in_slice)の指標を見出す。その数をkとする。

(b)MapMbIndexを用いて、複合ピクチャ中のそのMBの対応する指標/位置を決定する。それがMapMbIndex[n] [k]である。

(c)7.3.1節/H.264に従って、スライスに対するNALユニットからemulation_prevention_three_byteシンタックス要素を除去する。

(d)既存のfirst_mb_in_sliceシンタックス要素を、数MapMbIndex[n] [k]と交換/置換する。

(e)7.3.1節/H.264に従って、emulation_prevention_three_byteシンタックス要素を、再度、NALユニット中に挿入する。

上記で述べたステップ(a)から(e)は、複合出力ピクチャ中に含まれることになるすべての入力されるストリームのすべてのスライスに対して繰り返される。

引き続き図7を参照すると、未割当ての(すなわち、入力されるストリームのいずれにも割り当てられていない)複合ピクチャ中の領域730に対しては、CSVCS手順は以下のようになる。

第1のまたは最初の複合ピクチャに対しては、以下の諸ステップが実施される。

(a)この領域中に、圧縮されたMBのビットが含まれるはずのスライスを作成する。所与の限定された組のピクチャサイズ、およびCSVCSの構成の選択肢に対して、このスライスは事前に記憶され、またはその他の形でオンラインで計算され得る。

(b)スライスタイプ(スライスヘッダ中の)を2(Iスライス)に設定する。

(c)このスライスの(スライスヘッダ中で設定された)第1のMBの指標は、複合ピクチャ中の第1の未割当てのMBの位置(上記の例では、これは11である)に対応すべきである。

(d)効率的な符号化のためにすべて等しい値であることが好ましい画素値で、未割当ての領域を満たす。この値はグレー値であることが好ましい、すなわち、サンプル値は、上部左コーナMBにおけるIntra_16x16_DC予測モードの効率的な使用のため、128に等しくすべきである。

(e)ここで、Intra16x16としてすべてのMBを圧縮し、対応するMBヘッダ中のmb_typeパラメータをこのモードに設定する。特に、マクロブロックの特定の位置に応じて、そのモード(mb_type)は、以下から選択されるべきである。

(i)I_16x16_0_0_0(その上のMBからの垂直予測)
(ii)I_16x16_1_0_0(その左のMBからの水平予測)
(iii)I_16x16_2_0_0(近傍で利用できるものがない場合のDC予測)
CAVLCが使用される場合、プリファレンスは、I_16x16_0_0_0またはI_16x16_1_0_0のmb_type値に与えられる。CABACが使用される場合、プリファレンスは、I_16x16_2_0_0に与えられ、このmb_type値は、スライス中のすべてのマクロブロックに対して等しく、したがって、CABACはそれを効率的に符号化することができる。

引き続き図7を参照すると、未割当ての複合ピクチャにおける領域730の後続するピクチャに対しては、以下の諸ステップが実施される。

(a)この領域中に、圧縮されたMBのビットが含まれるはずのスライスを作成する。所与の限定された組のピクチャサイズ、およびCSVCSの構成の選択肢に対して、このスライスは事前に記憶され、またはその他の形でオンラインで計算され得る。

(b)スライスタイプ(スライスヘッダ中の)を0(Pスライス)に設定する。

(c)このスライス中の第1のMB(first_mb_in_slice)の指標は、複合ピクチャ中の第1の未割当てのMBの位置(図7の例では、これは11である)に対応すべきである。

(d)すべてのマクロブロックタイプmb_typeを、mb_skip_runを設定することにより(CAVLCに対して)、またはmb_skip_flagを1に等しく設定することにより(CABACに対して)、P_Skipに等しく設定する。

複合出力ピクチャは、すべてのスライスおよびスライスグループにわたり、NALユニットヘッダのtemporal_idおよびdependency_idパラメータで同じ値を有する必要のあることに留意されたい。

temporal_idの割当ては以下のように取得される。

(a)入力ビットストリームが、その時間構造に関して時間的に同期化されている場合、出力ピクチャは、対応する入力ピクチャに割り当てられたものと同じtemporal_id値が割り当てられる。これは好ましいオペレーションモードである。出力ビデオは、時間的レイヤ化およびエラー耐性処理に関する場合、入力ビデオとして操作される。

(b)そうではない場合(入力ビットストリームが時間的に同期化されない場合)、出力ピクチャに対するtemporal_idの割当ては、様々な入力ビットストリームで使用されるすべてのインター予測構造を可能にするように実施されなければならない。概して(また実際に)、これは、出力ビットストリームのすべてのピクチャに同じレイヤ番号(temporal_id=0)を割り当てる結果となる。

しかし、CSVCSは、様々な入力ビットストリームの時間的な依存構造を追跡することができる。スライス(および結果として、スライスグループ)は、別々のパケットで送信されるので、パケットベースの再送信、順方向エラー訂正、および概して、SVCS用に設計された任意の技法を含むエラー耐性機構を、CSVCSシステムにおけるスライスに、したがって、スライスグループに適用することができる。

CSVCSシステムでは、dependency_idを割り当てるための手順は以下のようになる。

(a)すべてのレイヤにおけるすべての出力ピクチャに対して、同じ値のdependency_idが入力ピクチャ中に存在するように、入力ビットストリームが同期化される場合、dependency_idのこの値、またはシフトされた値が使用される。

(b)そうではない場合(dependency_idが異なる場合)、入力ビットストリームのdependency_id値は、複合出力ピクチャの各レイヤに対して、それらが、スライスグループにわたり等しいように調整される。これは、いくつかの入力信号のdependency_id値を増加させること、および余分のベースレイヤを追加することが必要になり得る。

その手順は、図7の例を引き続き参照して理解することができる。その例では、2つのCIF信号(スライスグループ1 710、および2 720)、および1つのQCIF入力信号(スライスグループ0 705)が、4CIF出力ピクチャへと合成される。CIF信号のそれぞれが、空間スケーラビリティを用いて符号化されること、およびQCIF解像度を有するベースレイヤが各信号に提供されるものと仮定する。出力ピクチャのベースレイヤは、(その例では)2つのCIF補強レイヤ入力信号(スライスグループ1 710および2 720、dependency_id=1)の2つのQCIFベースレイヤ(dependency_id=0)をそれぞれ含むCIFピクチャである。さらに、QCIF入力信号(スライスグループ0 705)は、ベースレイヤを有していないものと仮定する。その場合、そのdependency_id値は0に等しく、この同じ信号が、複合出力ピクチャ内で2つのCIF入力信号(スライスグループ1 710および2 720)と同じレイヤで使用される場合、その値を1に増加させる必要がある。したがって、複合出力ピクチャのベースレイヤのために、例えば、さらなるQQCIF(quarter QCIF)のベースレイヤをCSVCSにより作成する必要がある。この生成されたレイヤに含まれるピクチャは、完全に空とすることができる、すなわち、P_Skipマクロブロックだけを含み、レイヤ間予測には使用されない。それは、SVC準拠の復号器が複合出力ピクチャを適正に復号できるようにするだけの目的のために作成され、かつ複合出力ピクチャに追加される。

空間スケーラビリティが使用される場合、同じ比の空間解像度が、入力信号に対応するスライスグループに対して使用されなければならない。空間解像度の比に応じて、以下のステップが実施される。

(a)解像度の1つの比が入力信号中に存在する場合(例えば、入力A: QCIF、CIF、4CIF、および入力B: QQVGA、QVGA、VGAなど、ただし、比は2である)、空間解像度間の比は常にマッチする。次いで、これらの解像度は、複合出力ピクチャのすべての空間レイヤで混合することができる。

(b)そうではない場合(複数の空間解像度比が入力信号中に存在する場合)、複合出力ピクチャのすべてのレイヤに対して、空間解像度の比が同一になることを保証するために、中間的なレイヤを挿入することができる。

例えば、空間比1.5および2が共に、複合されるように意図された入力信号中に存在すると仮定する。より正確には、図7を参照すると、CIFスライスグループ1 710入力信号が、2/3CIF解像度を有するベースレイヤを有すること、CIFスライスグループ2 720がQCIFベースレイヤを有すること、またQCIFスライスグループ0がQQCIFベースレイヤを有するものと仮定する。CSVCSは、3つの空間レイヤおよびそれに対応するdependency_id値0、1、および2で動作するように構成されなければならない。CSVCSにより複合出力ピクチャ中に挿入されるこれらの入力信号に対して、中間の人工的な(「ダミー」)レイヤが生成される必要がある。これは、図8で示されており、図7と同じ複合ピクチャレイアウトが使用されているが、入力されるビデオ信号のコンポーネントの対応するレイヤデータを有する低位のレイヤピクチャもまた示されている。スライスグループ2のCIF入力信号832に対して、2/3CIF解像度を有する人工的中間レイヤ822を作成する必要があり、一方、スライスグループ0のQCIF入力信号830に対して、解像度2/3QCIFを有する人工的中間レイヤ820を作成する必要がある。最後に、スライスグループ1のCIF入力信号831に対して、人工的なベースレイヤ811をQCIF解像度で作成する必要がある。これらの人工的レイヤを符号化するための効率的な方法は、P_Skipモードを用いてすべてのマクロブロックを符号化することであり、前に述べたように、非常に効率的に表現され得るイントラ符号化されたグレー値を含むことのできる最初のピクチャのマクロブロックから以外は、それをレイヤ間予測のために使用しないことである。

本明細書のさらなる説明は、1つまたは複数の受信エンドポイントに送信される複合出力信号に対する、送信エンドポイントから受信した入力されるピクチャの同期化に関する。

複合出力ピクチャの一部である入力されるフレームの少なくとも1つが、それ自体の各ストリームに対する参照ピクチャとして使用される可能性が非常に高いので、CSVCSは、出力されるビットストリーム中の参照ピクチャとして、出力される複合ピクチャのすべてにフラグを付す必要があることに留意されたい。さらに、1つまたは複数の送信エンドポイントから入力されるピクチャデータは、CSVCSに非同期的に届くので、入力されるビットストリーム中、および複合出力ビットストリーム中の同じピクチャに対して異なるフレーム番号を有する可能性がある。これは、各スライスグループ中で前のピクチャに対する適正な参照が、適正に確立されない場合があるので、複合ピクチャが受信参加者で復号されたとき、矛盾を生ずる可能性がある。

したがって、CSVCSは2つの問題に対処する必要がある。第1に、入力される異なるストリームのフレームが、時間的に非同期でCSVCSに届いた場合、複合ピクチャを作成すること。第2に、スライスグループを含むピクチャが(送られる複合信号に対して)予測のための適正な参照を維持していることを確認することである。

ピクチャの同期化は、以下の2つの技法の一方により実施され得る。

1.最大のサンプリング周波数を有する入力ストリームのサンプリング周波数以上の、CSVCSにおける所与のサンプリング周波数に対するピクチャ到達時間に対応するウィンドウを用いて、入力されるピクチャをバッファリングする。

2.ΔTの期間を有する、CSVCSにおけるサンプリング時間に対応するウィンドウを用いて、入力されるピクチャをバッファリングする、ただし、ΔTは複合信号のフレームレート(FPS)の逆数である。時間サンプルごとに送り出される必要のある新しい複合ピクチャを作成するために、最後のW時間単位内にCSVCSに到達した新しいコンテンツを調べる。ウィンドウの幅Wは、例えば、1/FPSであるように選択することができる。

以下のアルゴリズムは、ピクチャの同期化のための例示的なCSVCSオペレーションを示す。

frame_num=0
for t=ΔT, 2ΔT, ...,
n入力ビデオストリームごとに、
if (ストリームnに対して到来した新しいスライスデータが(t, t-W]内である)
このスライスデータを対応するスライスグループに割り当てる
グループ中の各スライスに対して、ref_pic_list_reordering()を適用する
このストリームに対して、マップMapOrigIndおよびMapCompIndを更新する
else
対応するスライスグループ中のこのスライスデータを(一般のデータを用いて)スキップする
グループ中のすべてのスライスに対して、スライスヘッダ中にframe_numを設定する
この複合ピクチャを送信する
フレームカウンタを更新する: frame_num++
ただし、ステートメント:
グループ中の各スライスに対して、ref_pic_list_reordering()を適用する
このストリームに対して、マップMapOrigIndおよびMapCompIndを更新する
は、複合出力ピクチャ中で正しい参照ピクチャデータを維持する問題に関係しており、ここでそれを説明する。

スライスヘッダ中に提供されるref_pic_list_reordering()シンタックス、およびマップMapOrigIndおよびMapCompIndは、新しいコンテンツがサーバに届いたときはいつも、適切な参照ピクチャリストを作成するために使用される。特に、CSVCSは、スライスグループ(入力されるビデオストリーム)に対する元の参照ピクチャ指標が、出力される複合ピクチャ指標にどのようにマップされるかを常に追跡する必要がある。具体的には、ストリームの新しいスライスデータがCSVCSに届いたときはいつも、サーバは、その元の指標をMapOrigIndexと呼ばれるマップの先頭に配置し、またその複合ピクチャ指標をMapCompIndexと呼ばれるマップの先頭に配置し、同時に、元のエントリを1つだけ位置を右にシフトする。さらに、これらのマップの長さがあるポイントで特定の長さを超えた場合、それ以降、サーバは、新しいエントリが先頭に追加されるときはいつも、これら2つのマップ中の最後のエントリを単に廃棄するはずである。したがって、これらのマップは有限容量のスタックとして動作する。

CSVCSは、入力されるストリームのそれぞれに対して、1対のこのようなマップを維持する。これらのマップは、次いで、二次元配列として表すことができ、そのマップの第1の指標は、ストリーム指標(図7の例では、n=0、1、または2)を指しており、また第2の指標のサイズは、ゼロと、何らかの所定の数(MaxNumRefFrame)の間の範囲であり、それは、入力されるストリームに対して、どれだけ過去のフレームを追跡したいかを指定する。

ストリームnに対する新しいピクチャスライスデータが届き、適切なスライスグループの複合ピクチャ中に配置されていると仮定する。そのグループ中のスライスごとに、CSVCSは、スライスヘッダデータに対して以下のオペレーションを実施する。

// 順序入れ換えがすでに実施されているかどうか検査する
if ( ref_pic_list_reordering_flag_l0 = = 1) do
// このフラグをスライスヘッダから読み取ることができる
index = 0; CurrPic = frame_num;
read first reordering_of_pic_nums_idc from the header
while ( reordering_of_pic_nums_idc != 3 ) do
if (reordering_of_pic_nums_idc = = 0 || reordering_of_pic_nums_idc = = 1) do
// 短期参照ピクチャ
read abs_diff_pic_num_minus1 from the slice header
if (reordering_of_pic_nums_idc = = 0)
PredOrigPic=MapOrigInd[n][index] - ( abs_diff_pic_num_minus1 + 1)
else
PredOrigPic=MapOrigInd[n][index] + ( abs_diff_pic_num_minus1 + 1)
compIndex = find index( MapOrigInd[n][:] = = PredOrigPic )
PredCompPic = MapComInd[n][compIndex];
if (CurrPic > PredCompPic)
abs_diff_pic_num_minus1 = CurrPic - PredCompPic - 1;
write reordering_of_pic_nums_idc = 0 in the slice header;
// 既存の reordering_of_pic_nums_idcの値を置き換える
else
abs_diff_pic_num_minus1 = PredCompPic - CurrPic - 1;
write reordering_of_pic_nums_idc = 1 in the slice header;
// 既存の reordering_of_pic_nums_idcの値を置き換える
write abs_diff_pic_num_minus1 in the slice header;
index++; // 次のエントリに移動する
CurrPic = PredCompPic;
else if ( reordering_of_pic_nums_idc = = 2 ) do
read long_term_pic_num from the slice header
index_long_term = find ( MapOrigInd[n][:] = = long_term_pic_num )
write MapCompInd[n][index_long_term] in the slice header
read next reordering_of_pic_nums_idc from the slice header
end (while ( reordering_of_pic_nums_idc != 3 ) )
else
// ( ref_pic_list_reordering_flag_l0 = = 0) // 要求された前の順序入れ換えはない
set ref_pic_list_reordering_flag_l0 (= 1) in the slice header
CurrPic = frame_num;
for index = 0, ..., MaxNumRefFrame-1
if (CurrPic > MapCompInd[n][index])
abs_diff_pic_num_minus1 = CurrPic - MapCompInd[n][index] - 1;
write reordering_of_pic_nums_idc = 0 in the slice header;
else
abs_diff_pic_num_minus1 = MapOCompInd[n][index] - CurrPic - 1;
write reordering_of_pic_nums_idc = 1 in the slice header;
write abs_diff_pic_num_minus1 in the slice header;
CurrPic = MapCompInd[n][index];
write reordering_of_pic_nums_idc = 3;
end (of the if-else-check on existing ref_pic_list_reordering_flag_l0 flag)
ここで述べたオペレーションは、Pスライスだけが存在するものと仮定していることに留意されたい。Bスライスの場合は、ref_pic_list_reordering()シンタックスによりスライスヘッダ中に提供される(スライスヘッダ中でref_pic_list_reordering_flag_11を設定する)類似の手順が適用される。さらに、参照ピクチャの指標は、サーバに届いた元も最近のもの(index=0)から、過去に届いた最も遠いもの(index=MaxNumRefFrame-1)までが記憶されることに留意されたい。

新しいピクチャデータが、送信参加者のビデオストリームから届いた後、CSVCSは、その後に続くオペレーションでピクチャを使用できるように、その指標を(それが参照ピクチャである場合)マップMapOrigIndおよびMapCompIndに登録する必要がある。具体的には、以下のオペレーションが実施される。まず、CSVCSは、ストリームnに対する新しいピクチャデータの任意のスライスヘッダから、元のフレーム番号(「orig_frame_num」)を抽出する。次いで、MapOrigIndおよびMapCompIndは、以下のように更新される(スタック挿入)。

for index = MaxNumRefFrame - 1, ..., 1
MapOrigInd[n][index]) = MapOrigInd [n][index-1])
MapCompInd[n][index]) = MapCompInd[n][index-1])
MapOrigInd[n][index-1]) = orig_frame_num;
MapCompInd[n][index-1]) = frame_num;
送信エンドポイントから受信した入力ビデオ信号の時間符号化の依存構造に互換性がある場合、フレームレートが異なる場合であっても、CSVCSはそれらを完全に整列させることが可能である。例えば、国際特許出願第PCT/US06/028365号のスレッド化ピクチャ符号化構造が使用されること、および2つの入力される参加者からのピクチャが、1つは、合計で毎秒30フレームのL0、L1、およびL2の3レイヤで、また第2のものは、合計で毎秒15フレームのL0およびL1の2つのレイヤで合成されるものと仮定する。CSVCSは、第2の参加者に対して人工的な時間レイヤL2'を作成して、複合出力ピクチャを構築するように進み、したがって、第1の参加者のL0、L1、およびL2ピクチャが、それぞれ、第2の参加者のL0、L1、およびL2'ピクチャと同じ出力ピクチャ中に合成されるようにすることができる。こうすることにより、複合出力ビデオピクチャ内にスレッド化パターンを保存することが可能になる。

CSVCSはまた、空間解像度の切換え、アップサンプリング、ならびに複合出力ビデオ信号中で入力信号のシフトを行うことができる。

アップサイジング(1レイヤによる)は、すべてのレイヤに、すなわち、対応するスライスグループにIスライス内のイントラマクロブロックを送ることにより実現される。dependency_idの値が、上記で述べたように調整される必要があり、また異なるdependency_id値にわたる動き補償が、SVC準拠の復号器では許容されないため、すべてのイントラが必要である。その場合、対応するスライスグループは、複合出力ピクチャのより広い領域をカバーする。複合出力ピクチャ内の他のスライスグループは、そのためにシフトされる必要があり得る。イントラデータは、CSVCSそれ自体で計算され得るが、その場合、ベースレイヤの最も低い時間レベルを少なくとも復号する必要があり、あるいはイントラデータは、CSVCSからの要求に応じてエンドポイントにより作成することができる。ダウンサイジングは、アップサイジングと同様な方法で実施される。

送信エンドポイントから受信した特定のビデオ信号のアップサンプリングは、CSVCSで生成された追加の補強レイヤを挿入することにより実施することができ、その場合、すべてのマクロブロックは、コンテンツが低位レイヤのマクロブロックから単に複製されて符号化される。参加者のビデオ信号中に追加のレイヤを含めることは、本明細書で述べられる技法を用いて、複合出力ピクチャの全体のスケーラビリティ構造の再編成を必要とする可能性がある。

入力信号をシフトさせることは、複数のマクロブロックにより行われることが好ましい。受信者は、ユーザインターフェース要求(例えば、マウスのドラッグ)を用いて、ピクチャをシフトすることができる。CSVCSは、それに従って動きベクトルを調整することにより、シフトを調節する(16の整数倍を追加/減算する-サンプル位置)。動きベクトルは、通常、差分的に符号化されること、またこの場合、最初の動きベクトルの値だけが変更される必要のあることが最も可能性の高いことに留意されたい。

本発明の好ましい実施形態と考えられるものについて述べてきたが、当業者であれば、本発明の趣旨から逸脱することなく、さらに変更および修正をそれに加え得ること、および本発明の趣旨に含まれるこのような変更および修正のすべての特許請求を意図していることが理解されよう。

本発明のシステムおよび方法は、ハードウェアとソフトウェアの任意の適切な組合せを用いて実施できることもまた理解されよう。前述のシステムおよび方法を実施し、かつ動作させるためのソフトウェア(すなわち、命令)は、ファームウェア、メモリ、記憶デバイス、マイクロコントローラ、マイクロプロセッサ、集積回路、ASICS、オンラインでダウンロード可能な媒体、および他の利用可能な媒体を、限定することなく含むことのできるコンピュータ可読媒体上で提供され得る。

本発明の原理に従って、複合スケーラブルテレビ会議サーバ(CSVCS)が、スケーラブルなビデオおよびオーディオデータを、エンドポイント送信装置からクライアント受信装置に送達するように構成されたテレビ会議システムの概略図である。 本発明の原理に従って、出力ビデオピクチャをスライスグループへと例示的に区分することを示すブロック図である。 本発明の原理に従って、入力ビデオを、出力ビデオピクチャ中の様々なスライスグループに例示的に割り当てることを示すブロック図である。 本発明の原理による、時間レイヤに対する例示的なレイヤ化ピクチャ符号化構造を示すブロック図である。 本発明の原理による、SNRまたは空間的な補強レイヤに対する例示的なレイヤ化ピクチャ符号化構造を示すブロック図である。 本発明の原理による、ベースレイヤおよび補強レイヤに対して異なる予測経路を有する、ベースレイヤ、時間的補強レイヤ、およびSNRもしくは空間的補強レイヤのための例示的なレイヤ化ピクチャ符号化構造を示すブロック図である。 本発明の原理による、スライスグループベースの合成プロセスにおいて、出力ビデオピクチャをスライスグループに例示的に区分することを示すブロック図である。 本発明の原理による、異なる空間スケーラビリティ比が組み合わされた、CSVCSから送信された出力ビデオ信号の合成における人工的レイヤの構成のための例示的な構造を示すブロック図である。

Claims (69)

1. 通信ネットワークを介して、複数のエンドポイント間でテレビ会議を行うためのマルチエンドポイントのビデオ信号会議システムであって、
   少なくとも1つの通信チャネルにより、それぞれが少なくとも1つの受信エンドポイント、および少なくとも1つの送信エンドポイントにリンクされている会議ブリッジ(「複合スケーラブルビデオ符号化サーバ」(CSVCS))と、
   単一レイヤ符号化フォーマット、またはスケーラブルなビデオ符号化フォーマットを用いて、符号化されたデジタルビデオを送信する少なくとも1つのエンドポイントと、
   スケーラブルなビデオ符号化フォーマットで符号化された少なくとも1つのデジタルビデオストリームを復号できる少なくとも1つの受信エンドポイントとを備え、
   前記CSVCSが、送信エンドポイントから受信した入力ビデオ信号を、単一の複合符号化デジタルビデオ出力信号へと合成し、かつ前記単一の複合符号化デジタルビデオ出力信号を、前記少なくとも1つの受信エンドポイントに転送するように構成されるシステム。
2. 前記CSVCSが、送信エンドポイントから受信した入力ビデオ信号を、単一の複合ビデオ出力信号へと合成し、かつ前記単一の複合ビデオ出力信号を、前記入力ビデオ信号を復号化および/または再符号化することなく、前記少なくとも1つの受信エンドポイントに転送するように構成される、請求項1に記載の会議システム。
3. 前記通信ネットワークが、送信エンドポイントから前記CSVCSに、また前記CSVCSから前記受信エンドポイントに、スケーラブルな符号化ビデオデータを移送するために、高信頼性および低信頼性のトランスポートチャネルが利用可能であるように、サービス品質(QoS)サポートを含み、またベースレイヤの少なくとも最も低い時間レベルが、前記送信エンドポイントと前記CSVCSとの間、または前記CSVCSと前記受信エンドポイントとの間のトランスポートチャネルを介して高い信頼性で送信される、請求項1に記載のシステム。
4. QoSが、肯定応答、または否定応答、あるいはその両方により提供される、請求項3に記載のシステム。
5. QoSが、順方向エラー訂正(FEC)技法により提供される、請求項3に記載のシステム。
6. 前記CSVCSが、
   前記複合出力ピクチャの領域の一部を、前記複合出力ピクチャ中に含まれるように意図された各送信エンドポイントに割り当てること、
   前記合成されるピクチャ用として意図されたものよりも高い解像度、前記合成されるピクチャ用として意図された解像度で復号する必要のないデータ、および前記複合ピクチャ中に含まれない送信エンドポイントのうちの1つに対応する前記送信エンドポイントから受信した入力ビデオ信号データを廃棄すること、
   前記複合出力ビデオ信号の適正なデータを形成するようにヘッダ情報を変更することにより、前記入力される符号化ビデオ信号の残りのデータを変更すること、
   前記送信エンドポイントビデオ信号の少なくとも1つに対して、必要な場合、人工的なレイヤデータを生成すること、および
   前記変更されたデータ、および任意の生成された低位レイヤデータを、前記1つまたは複数の受信エンドポイントに送信すること
   により前記送信エンドポイントの少なくとも1つに対する出力信号ピクチャを合成するように構成され、前記CSVCSで、ピクチャデータの復号化または符号化が何も行われないようにする、請求項1に記載のシステム。
7. 前記少なくとも1つの受信エンドポイントが、H.264 SVCスケーラブルなビデオ符号化フォーマットで符号化されたビデオを復号することができ、また
   前記複合出力ピクチャ中に含まれるように意図された送信エンドポイントに対する前記複合出力ピクチャの領域の部分の前記割当てが、前記複合出力信号のピクチャパラメータセット中でスライスグループマップを定義することにより実施され、各送信エンドポイントが1つのスライスグループに対応しており、
   送信エンドポイントに対する前記複合出力ピクチャの領域の部分の前記割当てが、前記ピクチャパラメータセットを前記少なくとも1つの受信エンドポイントに送信することにより、前記少なくとも1つの受信エンドポイントに伝達される、請求項6に記載のシステム。
8. 前記ピクチャパラメータセットを、前記1つまたは複数の受信エンドポイントに、帯域内でまたは帯域外で搬送されるように構成される、請求項7に記載のシステム。
9. 前記複合出力ピクチャが、
   前記複合出力ピクチャ中に含まれる、前記送信エンドポイントから受信された前記入力ピクチャの少なくとも1つが、used-for-reference(参照として使用)とフラグが付されている場合、used-for-referenceとして、また
   前記複合出力ピクチャ中に含まれる、前記送信エンドポイントから受信された前記入力ピクチャのすべてが、not-used-for-reference(参照として不使用)とフラグが付されている場合、not-used-for-referenceとして
   フラグが付されるようにさらに構成され、
   前記複合出力ピクチャがused-for-referenceとフラグが付された場合、前記1つまたは複数の受信エンドポイントにおける参照ピクチャバッファの適正なオペレーションが保証されるように、参照フレーム順序入れ換えコマンドが、前記少なくとも1つの受信エンドポイントへのその送信の前に、前記送信エンドポイントから続いて受信されたピクチャの前記スライス中に挿入される、請求項7に記載のシステム。
10. 前記複合出力ピクチャのNALユニットのSVCに対するNAL拡張ヘッダが、
    前記複合出力ピクチャ中に存在する最高位のスケーラブル符号化レイヤに対応する同じdependency_id値が、前記複合出力ピクチャの前記NALユニットに対して使用され、かつその次に低いレイヤのNALユニットに対して、同じであるがその次に低いdependency_id値が使用されるように設定されており、また
    temporal_level(時間レベル)が、
    前記少なくとも1つの送信エンドポイントからの前記到来するピクチャが前記時間レベルが同期化されるように合成される場合、同じtemporal_level値が、前記最高位のスケーラブル符号化レイヤに対応する前記NALユニットに対して使用され、かつその次に低いレイヤに対して、その次に低いtemporal_level値が使用され、また
    前記少なくとも1つの送信エンドポイントからの前記到来するピクチャが前記時間レベルが同期化されるように合成されていない場合、前記複合出力ピクチャのすべてのNALユニットに対して値0が使用される、請求項7に記載のシステム。
11. 前記CSVCSによる、特定の送信エンドポイントのビデオ信号に対する、前記複合出力ビデオピクチャの領域の特定の部分の前記割当てが事前に定義される、請求項6に記載のシステム。
12. 特定の送信エンドポイントのビデオ信号に対する、前記複合出力ビデオピクチャの領域の特定の部分の前記割当てが、
    特定の空間解像度を求める、前記受信エンドポイントからの要求と、
    前記複合出力ピクチャ内の特定の空間位置を求める、前記受信エンドポイントからの要求と、
    それらの組合せと
    に基づき、前記CSVCSにより動的に実施される、請求項6に記載のシステム。
13. 特定の送信エンドポイントのビデオ信号に対する、前記複合出力ビデオピクチャの領域の特定の部分の前記CSVCS割当てが、前記少なくとも1つの受信エンドポイントの復号能力、または解像度プリファレンスを考慮して、前記CSVCSにより実施される、請求項6に記載のシステム。
14. 前記CSVCSが、
    入力されるピクチャによりトリガされた出力ピクチャを送信すること、
    前記入力ビデオ信号の最大フレームレートに基づいて出力ピクチャを送信すること、
    事前定義のタイムスケジュールに基づいて出力ピクチャを送信すること
    のうちの少なくとも1つにより、異なる時間レートを有する前記入力ビデオ信号に対して、または前記入力ビデオ信号の前記到来時間のシフトに対して応ずるように構成されており、また前記CSVCSがさらに、
    前記少なくとも1つの受信エンドポイントに、前のピクチャからのデータを繰り返すように命令する事前に符号化されたスライスデータを送信すること、
    後続するピクチャに対して、適正な参照ピクチャ選択が行われることを保証するために、前記少なくとも1つの受信エンドポイントに送信される前に、参照ピクチャリスト順序入れ換えコマンドを、前記入力ビデオ信号の前記後続するピクチャの前記ピクチャヘッダ中に挿入すること
    により、前記入力ビデオ信号の新しいピクチャが送信のための時間に間に合って届かない場合に応ずるように構成される、請求項6に記載のシステム。
15. 前記CSVCSがさらに、廃棄されるピクチャデータの削除が前記少なくとも1つの受信エンドポイントにおける前記復号化プロセスに悪影響を与えない場合、送信エンドポイントの受信されたピクチャデータを廃棄し、かつ転送しないように構成され、また前記送信エンドポイントの前記ピクチャが、前記少なくとも1つの受信エンドポイントに送信される前記複合出力ビデオ信号中の他の送信エンドポイントのピクチャと同期化されるように、前記廃棄されたピクチャデータの代わりに、同じ送信エンドポイントの、その後のピクチャの受信されたピクチャデータを送信するように構成される、請求項14に記載のシステム。
16. 前記CSVCSがさらに、前記少なくとも1つの送信エンドポイントから受信された前記ビデオ信号の最も低い空間および品質解像度の、少なくとも最も低い時間レベルを復号するように構成されており、また前記CSVCSがさらに、既存の受信エンドポイントに対する前記複合ピクチャ構成が変更される必要がある場合、影響を受ける前記送信エンドポイントの前記ビデオ信号に対してイントラ符号化を生成するように、また前記イントラ符号化を、前記送信エンドポイントから受信された対応する符号化ピクチャデータに代えて、前記受信エンドポイントに送信するように構成される、請求項6に記載のシステム。
17. 複数のCSVCSをカスケード構成で備え、前記カスケード構成中の最後のものではない少なくとも1つのCSVCSが、任意選択で、
    前記カスケード構成中で前にあるCSVCSから受信された複合符号化ピクチャを処理することなく、他のCSVCSに転送するように、または
    前記カスケード構成中で前にあるCSVCSから受信された前記複合符号化ピクチャを分解し、他のCSVCSにそれらを転送する前に、異なるレイアウトを用いて再合成するように構成される、請求項1に記載のシステム。
18. カスケード構成で少なくとも1つのSVCSおよび少なくとも1つのCSVCSを備え、
    前記少なくとも1つのSVCSが、前記送信エンドポイントまたは他のSVCSから受信した前記ビデオ信号のデータのいくつかまたはすべてを選択するだけであり、かつ前記選択されたデータを他のSVCSまたはCSVCSに転送するように構成されており、また
    CSVCSが、前記カスケード構成中の最後のサーバであり、前記1つまたは複数の受信エンドポイントに送信するために前記複合符号化出力ピクチャを作成する、請求項1に記載のシステム。
19. 前記CSVCSが、任意の送信エンドポイントに割り当てられていない前記複合出力ビデオピクチャの領域の部分に対して、符号化ピクチャデータを生成し、かつ送信するように構成される、請求項1に記載のシステム。
20. 任意の送信エンドポイントに割り当てられていない前記複合出力ビデオピクチャの領域の前記部分に対する前記送信される符号化ピクチャデータが、動的に生成される新しいコンテンツの符号化、前に計算されかつ記憶されている符号化データの取得、およびそれらの組合せのうちの1つにより生成される、請求項19に記載のシステム。
21. エンドポイントと前記CSVCSの間にフィードバックチャネルをさらに備え、前記CSVCSがさらに、前記フィードバックチャネルを介して、イントラコンテンツにより伝達されたエンドポイント命令に応ずるように構成される、請求項1に記載のシステム。
22. 使用される前記スケーラブルなビデオ符号化技法の符号化依存性が、他のレイヤにより参照として使用されない補強レイヤが廃棄可能としてフラグが付されるようになる、請求項1に記載のシステム。
23. 前記CSVCSがさらに、廃棄可能としてフラグが付された補強レイヤを任意選択で廃棄するように構成される、請求項22に記載のシステム。
24. 送信エンドポイントを前記CSVCSとリンクさせ、また前記CSVCSを受信エンドポイントとリンクさせる双方向の制御チャネルをさらに備える、請求項1に記載のシステム。
25. 前記CSVCSを通り、前記双方向の制御チャネルを介して前記送信エンドポイントと前記受信エンドポイントの間で能力交換を提供するようにさらに構成されており、それにより、前記送信エンドポイントが、空間、時間、品質解像度、およびビットレートに関するその能力を示し、また前記受信エンドポイントが、これらの能力うちのどれをサポートするかを示す、請求項24に記載のシステム。
26. 前記CSVCSが、出力ビデオ信号の所望の空間解像度を求める受信エンドポイントからの要求を受信するように構成される、請求項25に記載のシステム。
27. 前記CSVCSが、異なる空間解像度要求に対応するように、前記複合出力ピクチャ中の空間レイアウトを変更するように構成される、請求項26に記載のシステム。
28. 前記CSVCSが、その送信されるビデオ信号に空間解像度を追加し、または除去するように、送信エンドポイントに命令するように構成される、請求項26に記載のシステム。
29. 前記CSVCSが、帯域内ビットストリームおよび帯域外ビットストリームの一方を介して表示するために、ソース識別情報または他の情報を含むように構成される、請求項1に記載のシステム。
30. 前記CSVCSが、ソース識別情報または他の搬送された情報を、(1)出力ピクチャ中で各参加者に割り当てられた前記複合出力ピクチャの領域の部分の画素、(2)前記送信参加者の前記ビデオ信号のいずれにも割り当てられていない前記複合出力ピクチャの領域の部分の画素のうちの一方に重ね書きするように構成される、請求項1に記載のシステム。
31. 前記CSVCSが、前記複合出力ピクチャのコンポーネントとして、送信エンドポイントから受信した前記ビデオ信号レイヤを選択的に多重化することにより、またリンクされた受信エンドポイントで受信された前記複合出力信号が妥当性のある符号化ビデオビットストリームであることを保証する前記CSVCSで生成された任意選択の追加のデータと共に、前記リンクされた受信エンドポイントに前記コンポーネントを転送することにより、画面分割表示、個人化されたレイアウト、レートマッチング、エラーの局所化、およびランダムエントリ機能のうちの少なくとも1つを前記CSVCSを介してリンクされた少なくとも1つの受信エンドポイントに提供するように構成される、請求項1に記載の会議システム。
32. 前記CSVCSがさらに、
    複数の送信エンドポイントからのビデオ信号を統計的に多重化すること、および
    前記複合出力ビデオ信号中の平均より大きいビデオピクチャをずらす(stagger)ために、送信エンドポイントから受信したビデオ信号の前記合成と送信を同期化すること
    のうち少なくとも一方により帯域幅条件に応ずるように構成される、請求項31に記載の会議システム。
33. 前記CSVCSがさらに、
    前記少なくとも1つの送信エンドポイントから受信した符号化ピクチャデータを、前のピクチャから対応する画素データを複製するように、前記少なくとも1つの受信エンドポイントに示す符号化データと置き換えることにより、前記送信される複合出力信号のビットレートを変更し、かつ
    前記出力ビットレートが、所望の特性にマッチできるように、前記置換え符号化データを送信するように構成される、請求項31に記載の会議システム。
34. 前記CSVCSがさらに、セッションネットワーク境界制御、媒体プロキシ、ファイアウォール、およびネットワークアドレス変換機能のうちの少なくとも1つを提供するように構成される、請求項1に記載の会議システム。
35. 通信ネットワークを介して、複数のエンドポイント間でテレビ会議を行うための方法であって、
    少なくとも1つの通信チャネルにより、それぞれが少なくとも1つの受信エンドポイント、および少なくとも1つの送信エンドポイントにリンクされている会議ブリッジ(「複合スケーラブルビデオ符号化サーバ」(CSVCS))を用いるステップと、
    単一レイヤ符号化フォーマット、またはスケーラブルなビデオ符号化フォーマットで、少なくとも1つの送信エンドポイントから、符号化されたデジタルビデオを送信するステップと、
    前記CSVCSで、送信エンドポイントから受信した入力ビデオ信号を、単一の複合符号化デジタルビデオ出力信号へと合成するステップと、
    前記単一の複合符号化デジタルビデオ出力信号を、スケーラブルなビデオ符号化フォーマットで符号化された少なくとも1つのデジタルビデオストリームを復号できる少なくとも1つの受信エンドポイントに転送するステップと
    を含む方法。
36. 前記CSVCSが、送信エンドポイントから受信した入力ビデオ信号を、単一の複合ビデオ出力信号へと合成するように構成されており、前記単一の複合ビデオ出力信号を、前記少なくとも1つの受信エンドポイントに転送する前記ステップが、前記入力ビデオ信号を復号化および/または再符号化することなくそのように実施するステップを含む、請求項35に記載の方法。
37. 前記通信ネットワークが、送信エンドポイントから前記CSVCSに、また前記CSVCSから前記受信エンドポイントに、スケーラブルな符号化ビデオデータを移送するために、高信頼性および低信頼性のトランスポートチャネルが利用可能であるように、サービス品質(QoS)サポートを含んでおり、前記方法がさらに、前記送信エンドポイントと前記CSVCSとの間、または前記CSVCSと前記受信エンドポイントとの間のトランスポートチャネルを介してベースレイヤの少なくとも最も低い時間レベルを高い信頼性で送信するステップを含む、請求項35に記載の方法。
38. 肯定応答、または否定応答、あるいはその両方によりQoSを提供するステップをさらに含む、請求項37に記載の方法。
39. 順方向エラー訂正(FEC)技法によりQoSを提供するステップをさらに含む、請求項37に記載の方法。
40. 前記CSVCSで、送信エンドポイントから受信した入力ビデオ信号を、単一の複合符号化デジタルビデオ出力信号へと合成する前記ステップが、
    前記複合出力ピクチャの領域の特定部分を、前記複合出力ピクチャに含まれることが意図された各特定の送信エンドポイントに割り当てるステップと、
    前記合成されるピクチャとして意図されたものよりも高い解像度、前記合成されるピクチャとして意図された解像度で復号する必要のないデータ、および前記複合ピクチャ中に含まれることのない送信エンドポイントのうちの1つに対応する前記送信エンドポイントから受信した入力ビデオ信号データを廃棄するステップと、
    前記複合出力ビデオ信号の適正なデータを形成するようにヘッダ情報を変更することにより、前記入力される符号化ビデオ信号の残りのデータを変更するステップと、
    前記送信エンドポイントビデオ信号の少なくとも1つに対して、必要な場合、人工的なレイヤデータを生成するステップと、
    前記変更されたデータ、および任意の生成された低位レイヤデータを前記1つまたは複数の受信エンドポイントに送信するステップと
    を含み、前記CSVCSで、ピクチャデータの復号化または符号化が何も行われないようにする、請求項35に記載の方法。
41. 前記少なくとも1つの受信エンドポイントが、H.264 SVCスケーラブルなビデオ符号化フォーマットで符号化されたビデオを復号することができ、また
    前記複合出力ピクチャの領域の一部を、前記複合出力ピクチャ中に含まれるように意図された各送信エンドポイントに割り当てる前記ステップが、
    前記複合出力信号のピクチャパラメータセット中でスライスグループマップを定義するステップであり、各送信エンドポイントが1つのスライスグループに対応しているステップと、
    特定の送信エンドポイントに対する前記複合出力ピクチャの領域の特定な部分の前記割当てを、前記少なくとも1つの受信エンドポイントに伝達するために、前記ピクチャパラメータセットを前記少なくとも1つの受信エンドポイントに送信するステップと
    により実施される、請求項40に記載の方法。
42. 前記ピクチャパラメータセットを、少なくとも1つの受信エンドポイントに、帯域内でまたは帯域外で搬送するステップをさらに含む、請求項41に記載の方法。
43. 前記複合出力ピクチャ中に含まれる、前記送信エンドポイントから受信された前記入力ピクチャの少なくとも1つが、used-for-referenceとフラグが付されている場合、used-for-referenceとして、また
    前記複合出力ピクチャ中に含まれる、前記送信エンドポイントから受信された前記入力ピクチャのすべてが、not-used-for-referenceとフラグが付されている場合、not-used-for-referenceとして前記複合出力ピクチャをフラグ付けするステップをさらに含み、
    前記複合出力ピクチャがused-for-referenceとフラグが付された場合、前記少なくとも1つの受信エンドポイントにおける参照ピクチャバッファの適正なオペレーションが保証されるように、参照フレーム順序入れ換えコマンドが、前記少なくとも1つの受信エンドポイントへのその送信の前に、前記送信エンドポイントから続いて受信されたピクチャの前記スライス中に挿入される、請求項41に記載の方法。
44. 前記複合出力ピクチャ中に存在する最高位のスケーラブルな符号化レイヤに対応する同じdependency_id値が、前記複合出力ピクチャの前記NALユニットに対して使用され、かつその次に低いレイヤのNALユニットに対して、同じであるがその次に低いdependency_id値が使用されるように、前記複合出力ピクチャのNALユニットのSVCに対するNAL拡張ヘッダを設定するステップと、
    前記少なくとも1つの送信エンドポイントからの前記到来するピクチャが前記時間レベルが同期化されるように合成される場合、同じtemporal_level値が、前記最高位のスケーラブルな符号化レイヤに対応する前記NALユニットに対して使用され、かつその次に低いレイヤに対して、その次に低いtemporal_level値が使用され、また
    前記少なくとも1つの送信エンドポイントからの前記到来するピクチャが前記時間レベルが同期化されるように合成されていない場合、前記複合出力ピクチャのすべてのNALユニットに対して値0が使用されるように前記temporal_levelを設定するステップと
    をさらに含む、請求項41に記載の方法。
45. 前記CSVCSによる、前記複合出力ビデオピクチャの領域の特定の部分を、特定の送信エンドポイントのビデオ信号に割り当てる前記ステップが事前に定義される、請求項40に記載の方法。
46. 前記複合出力ビデオピクチャの領域の特定の部分を、特定の送信エンドポイントのビデオ信号に割り当てる前記ステップが、
    特定の空間解像度を求める、前記受信エンドポイントからの要求と、
    前記複合出力ピクチャ内の特定の空間位置を求める、前記受信エンドポイントからの要求と、
    それらの組合せと
    に基づき、前記CSVCSにより動的に実施される、請求項40に記載の方法。
47. 前記複合出力ビデオピクチャの領域の特定の部分を特定の送信エンドポイントのビデオ信号に割り当てる前記ステップの間に、前記少なくとも1つの受信エンドポイントの復号能力、または解像度プリファレンスを考慮するステップをさらに含む、請求項40に記載の方法。
48. 前記CSVCSが、異なる時間レートを有する入力ビデオ信号に対して、または前記入力ビデオ信号の前記到来時間のシフトに対して応ずるように構成されており、前記方法がさらに、
    入力されるピクチャによりトリガされた出力ピクチャを送信するステップと、
    前記入力ビデオ信号の最大フレームレートに基づいて出力ピクチャを送信するステップと、
    事前定義のタイムスケジュールに基づいて出力ピクチャを送信するステップと
    のうちの1つにより応ずるステップをさらに含み、また
    前記CSVCSがさらに、前記入力ビデオ信号の新しいピクチャが送信のための時間に間に合って到来しない場合に応ずるように構成され、また前記方法がさらに、
    前記少なくとも1つの受信エンドポイントに、前のピクチャからのデータを繰り返すように命令する事前に符号化されたスライスデータを送信するステップと、
    後続するピクチャに対して、適正な参照ピクチャ選択が行われることを保証するために、前記少なくとも1つの受信エンドポイントに送信される前に、参照ピクチャリスト順序入れ換えコマンドを、前記入力ビデオ信号の前記後続するピクチャの前記ピクチャヘッダ中に挿入するステップと
    により応ずるステップを含む、請求項40に記載の方法。
49. 前記CSVCSで、廃棄されるピクチャデータの欠如が前記少なくとも1つの受信エンドポイントにおける前記復号化プロセスに悪影響を与えない場合、送信エンドポイントの受信されたピクチャデータを廃棄し、転送しないステップと、
    前記送信エンドポイントの前記ピクチャが、前記少なくとも1つの受信エンドポイントに送信される前記複合出力ビデオ信号中の他の送信エンドポイントのピクチャと同期化されるように、前記廃棄されたピクチャデータの代わりに、同じ送信エンドポイントの、その後のピクチャの受信されたピクチャデータを送信するステップと
    をさらに含む、請求項48に記載の方法。
50. 前記CSVCSがさらに、前記少なくとも1つの送信エンドポイントから受信した前記ビデオ信号の最も低い空間および品質解像度の、少なくとも最も低い時間レベルを復号するように構成されており、前記方法がさらに、
    前記CSVCSで、既存の受信エンドポイントに対する前記複合ピクチャ構成が変更される必要がある場合、影響を受ける前記送信エンドポイントの前記ビデオ信号に対してイントラ符号化を生成するステップと、
    前記イントラ符号化を、前記送信エンドポイントから受信された対応する符号化ピクチャデータに代えて、前記受信エンドポイントに送信するステップと
    を含む、請求項40に記載の方法。
51. 前記通信ネットワークが複数のCSVCSをカスケード構成で備える場合、
    前記カスケード構成中の最後のものではない少なくとも1つのCSVCSで、任意選択で、前記カスケード構成中で前にあるCSVCSから受信された複合符号化ピクチャを処理することなく、他のCSVCSに転送するステップ、または
    前記カスケード構成中で前にあるCSVCSから受信された前記複合符号化ピクチャを分解し、他のCSVCSにそれらを転送する前に、異なるレイアウトを用いて再合成するステップをさらに含む、請求項35に記載の方法。
52. 前記通信ネットワークが、カスケード構成で少なくとも1つのSVCSおよび少なくとも1つのCSVCSを備える場合、
    前記少なくとも1つのSVCSで、前記送信エンドポイントまたは他のSVCSから受信した前記ビデオ信号のデータのいくつかまたはすべてを選択するだけであり、かつ前記選択されたデータを他のSVCSまたはCSVCSに転送するステップと、
    前記カスケード構成中の最後のサーバであるCSVCSで、前記1つまたは複数の受信エンドポイントに送信するために前記複合符号化出力ピクチャを作成するステップと
    をさらに含む、請求項35に記載の方法。
53. 前記CSVCSで、任意の送信エンドポイントに割り当てられていない前記複合出力ビデオピクチャの領域の部分に対して、符号化ピクチャデータを生成し、かつ前記1つまたは複数の受信エンドポイントに送信するステップをさらに含む、請求項35に記載の方法。
54. 前記CSVCSで動的に生成される新しいコンテンツの符号化、前に計算されかつ記憶されている符号化データの取得、およびそれらの組合せのうちの1つにより、任意の送信エンドポイントに割り当てられていない前記複合出力ビデオピクチャの領域の前記部分に対する送信される符号化ピクチャデータを生成するステップをさらに含む、請求項35に記載の方法。
55. エンドポイントと前記CSVCSの間にフィードバックチャネルがある場合、前記フィードバックチャネルを介して、イントラコンテンツにより伝達されたエンドポイント命令に応ずるステップをさらに含む、請求項35に記載の方法。
56. 使用される前記スケーラブルなビデオ符号化技法の符号化依存性が、いくつかの補強レイヤが他のレイヤにより参照として使用されないものである場合、廃棄可能としてこのようなレイヤにフラグを付すステップをさらに含む、請求項35に記載の方法。
57. 前記CSVCSで、廃棄可能としてフラグが付された補強レイヤを任意選択で廃棄するステップをさらに含む、請求項56に記載の方法。
58. 送信エンドポイントを前記CSVCSとリンクさせ、また前記CSVCSを受信エンドポイントとリンクさせる双方向の制御チャネルを提供するステップをさらに含む、請求項35に記載の方法。
59. 前記CSVCSを通り、前記双方向の制御チャネルを介して前記送信エンドポイントと前記受信エンドポイントの間で能力交換を行うステップであって、それにより、前記送信エンドポイントが、空間、時間、品質解像度、およびビットレートに関するその能力を示し、また前記受信エンドポイントが、これらの能力うちのどれをサポートするかを示すステップをさらに含む、請求項58に記載の方法。
60. 前記CSVCSで、出力ビデオ信号の所望の空間解像度を求める受信エンドポイントからの要求を受信するステップをさらに含む、請求項58に記載の方法。
61. 前記CSVCSで、異なる空間解像度要求に対応するように、前記複合出力ピクチャ中の空間レイアウトを変更するステップをさらに含む、請求項60に記載の方法。
62. 前記CSVCSから、その送信されるビデオ信号に空間解像度を追加し、または除去するように、送信エンドポイントに命令するステップをさらに含む、請求項60に記載の方法。
63. 前記CSVCSにより送られる帯域内ビットストリームおよび帯域外ビットストリームの一方を介して、ソース識別情報および他の情報を含むステップをさらに含む、請求項35に記載の方法。
64. 前記CSVCSで、ソース識別情報または他の搬送された情報を、(1)出力ピクチャ中で各参加者に割り当てられた前記複合出力ピクチャの領域の部分の画素、(2)前記送信参加者のビデオ信号のいずれにも割り当てられていない前記複合出力ピクチャの領域の部分の画素のうちの一方に重ね書きするステップをさらに含む、請求項35に記載の方法。
65. 前記CSVCSを用いて、前記複合出力ピクチャのコンポーネントとして、送信エンドポイントから受信した前記ビデオ信号レイヤを選択的に多重化することにより、また少なくとも1つのリンクされた受信エンドポイントで受信された前記複合出力信号が妥当性のある符号化ビデオビットストリームであることを保証する前記CSVCSで生成された任意選択の追加のデータと共に、前記少なくとも1つのリンクされた受信エンドポイントに前記コンポーネントを転送するステップにより、画面分割表示、個人化されたレイアウト、レートマッチング、エラーの局所化、およびランダムエントリ機能のうちの少なくとも1つを前記CSVCSを介してリンクされた前記少なくとも1つの受信エンドポイントに提供するステップと
    をさらに含む、請求項35に記載の方法。
66. 前記CSVCSを用いて、
    複数の送信エンドポイントからのビデオ信号を統計的に多重化するステップと、
    前記複合出力ビデオ信号中の平均より大きいビデオピクチャをずらすために、送信エンドポイントから受信したビデオ信号の前記合成と送信を同期化するステップと
    のうちの少なくとも一方により帯域幅条件に応ずるステップをさらに含む、請求項35に記載の方法。
67. 前記CSVCSを用いて、帯域幅条件に応ずる前記ステップがさらに、
    前記少なくとも1つの送信エンドポイントから受信した符号化ピクチャデータを、前のピクチャから対応する画素データを複製するように、前記少なくとも1つの受信エンドポイントに示す符号化データと置き換えることにより、前記送信された複合出力信号のビットレートを変更するステップと、
    前記置換え符号化データを送信するステップと
    を含み、前記出力ビットレートが所望の特性にマッチできるようにする、請求項35に記載の方法。
68. 前記CSVCSを用いて、セッションネットワーク境界制御、媒体プロキシ、ファイアウォール、およびネットワークアドレス変換機能のうちの少なくとも1つを提供するステップをさらに含む、請求項35に記載の方法。
69. 前記方法の請求項35から68の少なくとも一項に記載の前記ステップを実施するための1組の命令を含むコンピュータ可読媒体。

Images