JP2008523689A - 単層符号化を使用する無線ビデオストリーミング及び優先順位付けされたストリーミング - Google Patents

Abstract

通信方法は、単層コンテンツ符号化ビデオフレーム１０１−１１１、２０２、２０３、２０５−２０８、２１０−２１９の供給を含む。前記方法は、前記ビデオフレームの各々を複数のレベルの１つに選択的に割り当てることをも含む。加えて、前記方法は、帯域幅制限に基づいて優先順位付けされた形で前記ビデオフレームの一部又は全てを選択的に送信することを含む。ビデオリンク５０も記載される。

Description

本発明は、単層符号化（single layer coding）を使用する無線ビデオストリーミング及び優先順位付けされたストリーミング（prioritized streaming）に関する。

通信における無線接続の使用は増大し続けている。無線接続から恩恵を受けるデバイスは、少しだけ名前を挙げると、ポータブルコンピュータ、ポータブルハンドセット、パーソナルデジタルアシスタント（ＰＤＡ）及びエンターテインメントシステムを含む。無線接続の進歩が無線媒体に対するより速い及びより信頼できる通信をもたらしたが、特定の技術は、品質及び速度の両方において他より遅れている。１つのこのような技術は、ビデオ技術である。

ビデオ信号の帯域幅要求は比較的高いので、ビデオ通信は、既知の無線ネットワークの帯域幅制限をかける可能性がある。更に、無線ネットワークの帯域幅は、送信の時間及び送信器の場所に依存しうる。更に、他の無線局、他のネットワーク、同じ周波数スペクトル内で動作する無線デバイス及び他の環境因子からの干渉が、無線媒体において送信されるビデオ信号を劣化する可能性がある。

帯域幅及び干渉の検討に加えて、ビデオ信号品質は、データパケットの損失の結果として損なわれる可能性がある。このため、デジタルビデオコンテンツは、しばしば、動き予測を持つ変換符号化を使用して符号化された圧縮コンテンツを含むデータのパケットで送信される。前記パケットは、この場合、しばしばビデオストリーミングと称されるパケットのストリームで送信される。しかしながら、送信中に、失われた又は誤ったビデオパケットが、受信器における復号プロセスを妨げる可能性がある。

既知のように、参照ビデオフレームに属するデータパケットの損失によりドリフトが生じる。この損失は、受信器サイトにおける復号器が参照ビデオフレームを正確に復号することを妨げる可能性がある。

ソースに関係なく、参照ビデオフレームに属する失われた又は誤ったパケットデータは、結果として、前記失われた又は誤ったパケットの後のビデオの複数のフレームを適切に再構成することができなくする可能性がある。これは、予測ドリフト（prediction drift）として知られる。予測ドリフトは、受信器の復号器において連続するフレーム内の動きを補償するのに使用される参照ビデオフレームが、送信器の符号化器において使用されたものと一致しない場合に生じる。結局、これは、結果として、ビデオ品質の高い歪又は減少された若しくは許容可能でないビデオ品質を生じる可能性がある。

特定の既知の技術が、変化する帯域幅及びチャネル状況並びにそのビデオ品質への影響の問題に対処するために研究されている。１つの既知の技術は、スケーラブル（scalable）ビデオコンテンツ符号化技術として知られ、また、階層（layered）ビデオコンテンツ符号化としても知られる。これらの技術は、モーションピクチャエンハンスメントグループ（ＭＰＥＧ）−２／４の時間的、空間的及びＳＮＲスケーラビリティ、ＭＰＥＧ−４ＦＧＳ及びデータ分割並びにウェーブレットビデオ符号化技術を含む。

スケーラブルビデオ符号化技術において、ビデオコンテンツは、ビットストリームに圧縮され、優先順位をつけられる（prioritized）。スケーラブルビデオストリーミング技術を使用する階層ビデオストリーミングシステムにおいて、ビットストリームは、異なる優先順位を持つ別々のサブビットストリーム（層）にパケット化／分割される。無線チャネルの帯域幅が不十分である場合、コンテンツ層がドロップされ（dropped）、基本層（base layers）が送信されることを可能にしてもよい。スケーラブルビデオ符号化技術は既知の単層技術に対して利益を提供するが、多くの受信器は、多層符号化ビデオコンテンツと互換性がある復号器を含まない。したがって、単層コンテンツ符号化を用いるビデオ伝送を向上する必要が残っている。

したがって、必要とされるのは、少なくとも上述の既知の方法及び装置の欠点を克服する無線通信の方法及び装置である。

一実施例によると、通信の方法は、単層コンテンツ符号化ビデオフレームを供給するステップを含む。前記方法は、前記ビデオフレームの各々を複数のレベルの１つに選択的に割り当てるステップをも含む。加えて、前記方法は、帯域幅制限に基づいて前記ビデオフレームの一部又は全てを選択的に送信するステップを含む。他の実施例によると、通信リンクは、受信器及び送信器を含む。符号化器は、前記送信器に接続され、ビデオ信号を複数の単層コンテンツ符号化ビデオフレームに符号化するように構成される。加えて、前記符号化器は、前記ビデオフレームの各々を複数のレベルの１つに割り当てるように構成される。

実施例は、添付図面と共に読まれる場合に以下の詳細な記載から最良に理解される。様々なフィーチャは、必ずしも正しいスケールで描かれていないと強調される。実際に、寸法は、議論の明確性のために任意に増大又は減少されてもよい。

説明の目的であり、限定の目的ではない、以下の詳細な記載において、特定の細部を開示する実施例が、本発明の詳細な理解を提供するために記載される。しかしながら、本発明がここに開示される特定の細部から離れる他の実施例において実施されうることは、本開示の利益を受ける当業者に明らかである。更に、周知の装置、方法及びマテリアルの記載は、本発明の記載をあいまいにしないように省略されうる。可能な限り、同様な数字は、初めから終わりまで同様なフィーチャを参照する。

簡潔には、実施例は、ビデオストリームを送信及び受信する方法に関する。実施例において、ビデオストリームの送信及び受信は、無線リンク上で行われる。実例としては、ビデオデータは、パケット化され、優先順位レベルに基づいて依存構造内に配置される単層符号化ビデオストリーム内にある。即ち、前記単層符号化ビデオビットストリームは、時間的に前のフレームに対する依存性に基づいて優先順位を付けられる。

有益には、前記方法及び関連する装置は、ビデオのストリーミングにおいて予測ドリフトを実質的に防ぐ。更に、前記実施例の前記方法及び関連する装置は、時間及び場所に依存する帯域幅を持つ無線ネットワークにおけるビデオ通信の適合を促進する。加えて、前記実施例の前記方法及び関連する装置は、規格に準拠する従来の単層復号器を持つネットワーク及びリンクにおいて改良されたストリーミングビデオ送信を可能にする。これら及び他の利益は、この記載が続くにつれて当業者に対してより明らかになるだろう。

実施例の記載が既知のＭＰＥＧ（若しくはその後代（progeny））又は既知のＨ．２６４技術によるビデオフレームの符号化を含むことに注意する。これらの方法が単に実例であり、他の符号化方法も考えられることに注意する。

加えて、無線リンクは、実例としては、ＩＥＥＥ８０２．１１プロトコル、その後代及び提案された追補（amendment）に従う。再び、これは単に実例であり、前記実施例の方法及び装置が他の無線システム内で使用されうることが考えられる。例えば、前記無線リンクは、衛星無線デジタルビデオ放送リンクであってもよく、高解像度地上波テレビを含む。更に、前記実施例の方法及び装置は、第３世代提携プロジェクト（３ＧＰＰ）のような無線携帯ネットワーク上のビデオ送信を達成するのに使用されうる。無線リンクに加えて、前記実施例の方法及び装置が、電話線及びブロードバンドＩＰネットワーク上のビデオ会議／テレビ電話のような有線技術に関連して使用されうることに注意する。

再び、前記実施例の方法及び装置が依然として他の代替的な符号化技術及び無線プロトコルと併せて使用されてもよく、これらの代替例が本開示の利益を得る当業者に容易に明らかであることが強調される。

図１は、実例となる実施例による依存ツリー（dependency tree）１００の概略図である。ツリー１００は複数のフレームを含み、各フレームは、ＭＰＥＧ又はＨ．２６４のような単層動き推定ビデオ符号化方法により符号化された１以上のパケットを含む。

この記載が続くにつれてより明らかになるように、前記フレームは、優先順位に基づくレベルに配置されることができる。実例としては、第１の優先順位レベルは最高優先順位レベルであり、第２の優先順位レベルは次の最高優先順位レベルであり、第３の優先順位レベルは最低優先順位レベルである。３つの優先順位レベルの使用が単に実例であり、３より多いレベルが使用されうることが強調される。更に、前記優先順位レベルは、時間間隔により更に分類されうる。

前記第１の優先順位レベルは、イントラ符号化ビデオフレーム（intra-coded video frames）又はビデオオブジェクトプレーン（video object plane）（ＩＶＯＰ又はＩフレーム）の圧縮データを含むパケットを有する。例えば、Ｉ１フレーム１０１は、特定の時刻におけるフレームのイントラ符号化ビデオデータを含む。図１において時間軸により表されるように、フレーム１０１は、第１のグループオブピクチャ（ＧＯＰ）単層コンテンツ符号化ビデオストリームの最初のフレームである。

前記実施例の前記第２の優先順位レベルは、予測符号化ビデオフレーム又はＶＯＰ（ＰＶＯＰ）符号化ビデオフレームを含む。例えば、Ｐ１フレーム１０２は、この第２の優先順位レベルにある。既知のように、Ｉ１フレーム１０１と比較して、Ｐ１フレーム１０２は、追加の情報（例えば非静止ビデオデータ）のみを含む。このため、Ｐ１フレーム１０２は、重複するビデオ情報を含まない。したがって、Ｐ１フレーム１０２は、Ｉ１のビデオフレーム１０１内で見つからないビデオ内の動きを含む。更に、Ｐ１フレーム１０１は、前記Ｉ１フレームが前記Ｐ１フレームを予測するのに使用されるので、参照フレームとして前記Ｉ１フレームに依存する。既知のように、後のフレームが依存するフレームは、受信器において復号するとビデオ再構成のために必要とされる。

同様に、Ｐ２フレーム１０３は、前記実施例の前記第２の優先順位レベルにあり、Ｐ１フレーム１０１に含まれない追加のデータ（例えば非静止ビデオデータ）を含み、Ｐ３フレーム１０４は、前記第２の優先順位レベルにあり、Ｐ２フレーム１０３に含まれない追加のデータ（例えば非静止ビデオデータ）を含む。明らかに、Ｐ２フレーム１０３はＰ１フレーム１０２に依存し、Ｐ３フレーム１０４はＰ２フレーム１０３に依存する。

前記第３の優先順位レベルは、双方向予測符号化ビデオフレーム又はビデオオブジェクトプレーン（ＢＶＯＰ）を含む。これらのフレームは、前記Ｉ１フレームと前記Ｐ２及びＰ３フレームとの両方に依存する。例えば、Ｂ１フレーム１０５は、前記Ｐ２フレーム及び前記Ｐ１フレームに依存する。同様に、Ｂフレーム１０６ないし１１０は、フレームごとに矢印により示されるように前記Ｉ１、Ｐ１、Ｐ２及びＰ３に選択的に依存する。例えば、フレームＢ３及びＢ４は、前記Ｐ１フレーム及び前記Ｐ２フレームに直接的に依存し、前記Ｉ１フレームに間接的に依存する。このように、前記Ｂ３フレームは、前記Ｐ１及びＰ２フレームの組み合わせに関連して追加のデータ（例えば非静止情報）を持つ。

一実施例の上記記載から、及び前記矢印により示されるように、より高い優先順位レベルのフレームは、前記第１のＧＯＰのより低い優先順位レベルのフレームを予測するのに使用される。

第２のイントラ符号化フレームＩ２ １１１は、第２のＧＯＰ単層コンテンツ符号化ビデオストリームを開始する。この第２のＧＯＰフレームは、図示された時間軸に示されるように前記第１のＧＯＰより時間的に後である。前記Ｉ１フレームと同様に、前記第２のＩ２フレームは、前記第１の優先順位レベルにあり、前記第２及び第３の優先順位レベル内の全ての予測フレーム及び双方向予測フレームは、この参照フレームに依存する。したがって、より高い優先順位レベルのフレームは、前記第１のＧＯＰのより低い優先順位レベルのフレームを予測するのに使用される。

各フレームがパケット化ビデオデータを含むことに注意する。１フレーム内に１以上のビデオネットワークパケットが存在してもよく、又は１より多いフレームが１つのビデオネットワークパケットからなることもできる。例えば、Ｉ１フレーム１０１は、２つのビデオパケットを含むことができ、Ｐ２フレーム１０３は１つのパケットを含むことができ、Ｂ１フレーム１０５及びＢ２フレーム１０６が単一のパケットからなることができる。したがって、前記Ｉフレームは、最も多くのデータを持ち、前記Ｐフレームは、前記Ｉフレームより少ないデータを持ち、前記Ｂフレームは、最少のデータを持つ。

理解されることができるように、より高い優先順位のフレームが、帯域幅制限又は他の要因のため失われる場合、前記失われた高い優先順位のフレームに依存するフレームは、前記受信器において復号する場合に動き補償されることができず、ビデオの状態は、ドロップされなかった最後の優先順位のフレーム時間レベルにとどまる。極端な例において、前記Ｉ１フレームがドロップされた場合、前記受信器において前記ビデオを再構成することは可能でなく、認識不可能なビデオが前記Ｐ１、Ｐ２及びＢ１ないしＢ６フレームを使用してコンパイルされるか、又は表示画面が意図的に空白のままにされるか、又は前記表示画面が最後に再構成された画像を示すかのいずれかである。

対照的に、前記第３の優先順位レベルのＢフレームがドロップされる場合、前記Ｂフレームに依存するフレームは存在しないので、損失は時間的な解像度のみであり、前記ビデオの空白はない。例えば、Ｂ１フレーム１０５及び前記Ｂ２フレームがドロップされる場合、ビデオ画像は前記Ｐ１フレームのものである。（前記Ｐ１フレームに依存するフレーム内の）前記Ｐ１フレームの後の全ての動きは失われる。したがって、この依存ツリーにおいて、Ｉフレームは、最も重要なフレームであり、前記Ｐフレームは、次に最も重要であり、前記Ｂフレームは、動き補償及びその後のビデオ再構成に対して最も重要でない。

ビデオ又はビデオ品質の潜在的な損失を軽減するために、実施例は、より高い優先順位の層が劣化チャネルを通って送信される尤度を増大するために、選択的な優先順位レベルに基づくストリーミングビデオのフレームのドロッピング（dropping）を含む。最低優先順位から最高優先順位までの前記フレームのドロッピングは、前記チャネルの利用可能な帯域幅に応じて達成される。ストリーミングビデオフレームのドロッピングは、結果のビデオのより低い時間的解像度を生じうる一方で、前記実施例の方法は、既知の方法と比較して減少された帯域幅ネットワークにおいて向上されたビデオ品質を提供する。一部の実例となるフレームドロッピングストラテジがここに記載される。

図２は、一実施例による単層コンテンツ符号化ビデオの依存ツリーの概略図である。本実施例において、優先順位付けは、ＶＯＰタイプに基づく。具体的には、図示されるように、第１の優先順位レベルＬ０ ２０１は、ＩＶＯＰフレームＩ１ ２０２及びＩ２ ２０３を含み、第２の優先順位レベル２０４は、ＰフレームＰ１ ２０５、Ｐ２ ２０６、Ｐ３ ２０７及びＰ ２０８を含み、第３の優先順位レベル２０９は、ＢフレームＢ１ ２１０ないしＢ１０ ２１９を含む。

前記実施例の優先順位付けスキームは、無線媒体の帯域幅が前記ＧＯＰの帯域幅要件をサポートしない場合にフレームをドロップする順番を決定するために使用される。一般に、この実例となる方法は、フレームに依存する全てのフレームがドロップされるまで当該フレームがドロップされないことを要求する。このように、依存するフレームの鎖の中のフレームの空白は、実質的に回避され、これはビデオ品質損失を減少する。したがって、ビデオストリームの時間的解像度が減少されうる一方で、前記ビデオの完全な損失は実質的に回避される。一実施例の優先順位付けに基づく依存性及びドロッピングがここに記載される。

前述のように、前記Ｉフレームは、前記ビデオストリームに対してＰフレームより重要であり、前記ＰフレームはＢフレームより重要である。したがって、非スケーラブル（単層コンテンツ符号化ビデオ）ビットストリームは、ＶＯＰタイプに基づいて３つの優先順位レベル内にフレームと共に配置されることができる。（Ｉ１で開始する）第１のストリームの帯域幅制限がフレームのドロッピングを要求する場合、この実例となる実施例の方法は、依存性に基づくフレームのドロッピングを必要とする。このため、依存するフレームを持たないフレーム（前記ＢＶＯＰ）が最初にドロップされる。

次に、より少ないフレームが依存するフレームが、次にドロップされる。実例として、前記Ｐフレームが次にドロップされる。更に、Ｐフレームのドロッピングにおいてサブ優先順位（sub-priority）の検討が存在する。即ち、Ｐ２フレーム２０６より少ないフレームが依存するＰ３フレーム２０７は、前記Ｐ２フレームの前にドロップされる。別の言い方をすると、前記実施例の第２の優先順位レベルＬ１ ２０４のＰフレームは、矢印により示される連続的な依存性を持つ。このように、フレームは、当該フレームに依存する全てのフレームがドロップされるまでドロップされない。例えば、Ｐ２フレーム２０６は、フレームＢ３ ２１２ないしＢ６ ２１５及びＰ３フレーム２０７がドロップされるまでドロップされない。既知のように、ＧＯＰ構造が、ＭＰＥＧビットストリーム全体を通して繰り返されている。したがって、元のＭＰＥＧビットストリームは、ある程度の周期性を表す。

図３は、他の実施例によるフレームの依存性に基づく他の優先順位付けスキームである。本実施例の優先順位付け方法は、図２の実施例に関連して記載されたフィーチャと共通のフィーチャを含む。実際的であれば、実施例の記載をあいまいにすることを防ぐために、共通のフィーチャは繰り返されない。

前述のように、前記実施例の依存性に基づく優先順位付けの方法において、フレームは、当該フレームに依存する全てのフレームがドロップされるまでドロップされない。本実施例において、同じタイプのフレーム間の依存性が扱われる。例えば、一部のＰフレームは他のＰフレームに依存するので、レベルの優先順位付けは、このタイプの依存性を利用するために前記Ｐフレームを優先順位付けすることを含まなくてはならない。これは、フレーム間依存性（inter-frame dependency）と称されうる。もちろん、前記Ｐフレームのフレーム間依存性に基づく優先順位付けは、単にこの優先順位付け方法を説明するために選択される。明らかに、他のフレームが同様に優先順位付けされてもよい。

図３の実施例のビデオストリームのＧＯＰは、第１の優先順位レベルＬ０ ３０１と、第２の優先順位レベルＬ１ ３０２と、第３の優先順位レベルＬ２ ３０３と、第４の優先順位レベルＬ３ ３０４と、第５の優先順位レベルＬ４ ３０５とを配置される。各優先順位レベル内にあるのは、相対的な重要度に基づいてそれぞれのレベルに配置されたフレームである。第１のレベルＬ０ ３０１は、最も重要なフレーム、この場合にはＩ１フレーム３０８及びＩ２フレーム３０７を含む。第２のレベルＬ１ ３０２は、Ｐ１フレーム３０８及びＰフレーム３０９を含む。第３のレベルＬ２は、Ｐ１フレーム３０８に依存するＰ２フレーム３１０を含む。第４のレベルＬ３ ３０４は、Ｐ２フレーム３１０に依存するＰ３フレーム３１１を含み、第５のレベルＬ４ ３０５は、Ｂ１フレーム３１２ないしＢフレーム３２１を含む。

本実施例によると、第５の優先順位レベルＬ４ ３０５のフレームが最初にドロップされ、第４の優先順位レベルＬ３ ３０４が後に続き、以下同様である。有益には、前記フレームは、より高い優先順位のフレームに対する依存性に基づいて優先順位レベルに割り当てられる。このように、同じタイプのフレームをドロップする優先順位付けが提供される。

図４は、一実施例による一定のフレーム間隔を持つ時間的な優先順位付けスキームの概略図である。この記載が続くにつれてより明らかになるように、本実施例において、優先順位レベルは、時間間隔によっても分類される。

図４に関連して記載された実施例において、元のＧＯＰの周期的性質が利用される。このため、システム設計を単純化するために各個別の層に対する周期性を保つことは有用でありうる。例えば、図２及び３に関連して記載されたような従属性優先順位付けスキームにおいて、Ｉ及びＰフレームを含む優先順位レベルは、周期的であり、全てのＶＯＰは各個別のレベルにおいて均一に送信される。しかしながら、ＢＶＯＰのみを含む優先順位レベルは周期的ではなく、これはシステム設計を複雑にする。このため、図２の実施例において、Ｂ１フレーム２１０及びＢ２フレーム２１１が前記Ｐ２フレームの時間的に後に遅れることは明らかである。各Ｐ周期内のＢＶＯＰを時間軸に沿った位置によって複数の層に更に分割することにより、完全な周期性が達成されることができる。

図４の実施例において、６つの優先順位レベル、即ち、第１の優先順位レベルＬ０ ４０１と、第２の優先順位レベルＬ１ ４０２と、第３の優先順位レベルＬ２ ４０３と、第４の優先順位レベルＬ３ ４０４と、第５の優先順位レベルＬ４ ４０５と、第６の優先順位レベルＬ５ ４０６とが存在する。第１の優先順位４０１は、フレームＩ１ ４０７及びＩ２ ４０８を含み、第２の優先順位レベル４０２は、フレームＰ１ ４０９及びＰ ４１０を含み、第３のレベル４０３は、フレームＰ２ ４１１を含み、第４のレベル４０４は、フレームＰ３ ４１２を含み、前記第５のフレームは、フレームＢ１ ４１３、Ｂ３ ４１４、Ｂ５ ４１４、Ｂ７ ４１６及びＢ ４１７を含み、前記第６のレベルは、フレームＢ２ ４１８、Ｂ４ ４１９、Ｂ６ ４２０、Ｂ８ ４２１及びＢ ４２２を含む。

したがって、前記Ｂフレームは時間的に優先順位を付けられる。例えば、Ｂ１及びＢ２は（Ｐ１，Ｉ１）の同じＰ周期内であり、Ｂ３及びＢ４は（Ｐ１，Ｐ２）の同じＰ周期内にある。したがって、Ｂ２、Ｂ４、Ｂ６及びＢ７を前記６つの優先順位レベルに分割することにより、各層の完全な周期性が達成される。

以前の実施例のように、前記フレームは、優先順位レベルによりドロップされ、最低レベル（Ｌ５ ４０６）のフレームが最初にドロップされ、最高レベル（Ｌ０ ４０１）のフレームが最後にドロップされる。このように、時間的な優先順位付けは、ドロッピングが必要な場合にドロップされたフレームによる劣化を大幅に減少するために使用されうる。

図４の実施例は、実例となることを意図される。明らかに、この実施例の概念は拡張されることができる。（ｍ，ｎ）のＧＯＰ構造及び一定のフレームレートｆを採用するＭＰＥＧで符号化されたビデオに対して（ｍはＧＯＰ内のフレームの数であり、ｎはＰ周期内のフレームの数である）、前記ＧＯＰ内のＰ周期の数は、
ｐ＝ｍ／ｎ
であり、一定間隔階層化（constant-interval layering）スキームを使用して生成された層の数は、
Ｌ＝ｐ＋ｎ−１
であり、層ｌに対する結果として生じる一定のフレームレートｆｒは、

である。

一実施例によると、複数のトランスポート（transports）において運ばれる異なる優先順位レベルの適応的又は優先順位付けされた送信を容易にするために、パケットのラベル付け及びトランスポート層識別を使用してパケットをレベルに割り当てることが達成される。

前述の実施例のいずれを採用しても、非スケーラブルビデオコンテンツは、複数の優先順位レベルに割り当てられることができる。したがって、一般的な時間的スケーラビリティは、このように最少の複雑さで確立されることができる。この確立された時間的スケーラビリティは、実例としては、ＭＰＥＧ符号化コンテンツ用であり、優先順位志向のストリーミングストラテジを容易化する。チャネル劣化に遭遇する場合、より低い優先順位を持つ層は、より高い優先順位を持つ層が前記劣化したチャネルを通過する可能性を増大するために利用可能な帯域幅に応じてドロップされることができる。このストリーミングストラテジは、通常は、優先順位に基づくドロッピング（priority-based dropping）と称される。前記ビデオコンテンツは依存性によって優先順位レベルに割り当てられるので、前記優先順位に基づくドロッピングを使用することにより、前記ＶＯＰは、参照ＶＯＰの前にドロップされる。このように、予測ドリフトにより生じる深刻な品質損失は、実質的に除去するわけではないが、大幅に減少されることができる。

図５は、リアルタイム・トランスポート・プロトコル（ＲＴＰ）／ＩＰトランスポートを使用する実例となるストリーミングシステム５００を描写する概略図である。前述の優先順位レベルの各々が、適合を容易化するために仮想チャネルを形成する１つのＲＴＰセッションにおいて運ばれることができる。この一般的なマルチチャネル・ストリーミング・アーキテクチャは、適合アルゴリズムの様々なスキームを可能にする。これらは、サーバ主導の適合、受信器主導の適合及び／又はより低い層を介するＷｉ−Ｆｉ ＷＬＡＮ製品を備えたＭａｃ ＱｏｓのようなＱｏｓプロビジョニングを含むが、これらに限定されない。

実例としては、ストリーミングシステム５００のアーキテクチャは、メディアサーバ５０１（例えば、無線ネットワークのアクセスポイントと同じ場所に配置されてもよい）と、ＩＰネットワークと、少なくとも１つのメディアクライアント５０２（例えば、無線局）とを有する。ビデオフレームは、メディアサーバ５０１の送信器５０３により前記メディアクライアントにおける受信器５０４にオンデマンドの形式で送信される。符号化器５０５は、以前参照されたように前記ビデオフレームを符号化し、前記フレームを送信器５０３に供給する。同様のコンポーネント及び方法を使用して、クライアント５０２がビデオデータをサーバ５０１に、又は直接的に若しくは前記サーバを介してのいずれかで他のクライアント５０２に送信しうることに注意する。

実例となるシステム５００において、受信器５０３は、実例としては、単層復号器５０５を持つ優先順位付けされたマルチレベル受信器である。既知の手法を使用して、デパケット化された（depacketized）ビットストリームは、第一に、復号するためにフレームタイプに基づいて対応する復号器ＤＥＣ ５０６に対して多重化される。参照フレームは、再構成後に記憶され、前記参照フレームに依存する他のフレームの構成に対する動き補償において使用される。復号／再構成されたフレームは、表示順序によって順序付けられ、マルチプレクサ（図示されない）を介してレンダラ（renderer、図示されない）に送信される。

一実施例によると、帯域幅の検討によりネットワークにおいて必要でありうるフレームのドロッピングは、前述のように最低優先順位から最高優先順位までレベルをドロップすることにより達成されうる。実例としては、サーバ５０１のＭＡＣ層のようなより低いネットワーク層が、前記実施例の優先順位付けされたドロッピング方法を使用して及びトランスポートＩＤ又はラベル付けによって選択されたパケットをドロップする。このように、選択されたフレーム又はレベル全体が、ある時間期間だけドロップされることができる。時間が経ってチャネル状況が向上し、より多くのレベルが送信されることを可能にする場合、前記ドロップされたレベルは、加え戻されることができる。

前記実施例のビデオデータの送信と併せて記載された様々な方法、装置及びネットワークが、ハードウェア及びソフトウェアにおいて実施されることができることが意図される。様々な方法、装置及びパラメータが、例としてのみ含まれ、限定する意味はないことが強調される。この開示を見ると、当業者は、添付の請求項の範囲内にとどまりながら、独自の手法及びこれらの手法を達成するために必要とされる機器を決定して、様々な実施例の方法、装置及びネットワークを実施することができる。

一実施例による依存ツリーの概略図である。 一実施例による依存ツリーの概略図である。 一実施例による依存ツリーの概略図である。 一実施例による依存ツリーの概略図である。 一実施例による無線ビデオリンクの概略図である。

Claims (22)

1. ビデオ通信の方法において、
   単層コンテンツ符号化ビデオフレームを供給するステップと、
   前記フレームの各々を複数のレベルの１つに選択的に割り当てるステップと、
   帯域幅制限に基づいて、前記レベルに基づいて前記フレームの一部又は全てを選択的に送信するステップと、
   を有する方法。
2. 前記選択的に割り当てるステップが、前記複数のレベルの各々に対して優先順位を確立するステップを更に有する、請求項１に記載の方法。
3. 前記優先順位レベルが、他のフレームに対するフレームの依存性に基づく、請求項２に記載の方法。
4. より高い優先順位レベルにおけるフレームが、前記より高い優先順位レベルにおける前記フレームに依存するより低い優先順位レベルにおけるフレームがドロップされた後にドロップされる、請求項２に記載の方法。
5. 前記レベルの優先順位が、前記フレームの周期性に基づく、請求項２に記載の方法。
6. 前記レベルの優先順位が、前記フレームの前記周期性を実質的に保つ、請求項５に記載の方法。
7. 前記送信するステップが、前記帯域幅の検討に基づいて特定のフレームをドロップするステップを更に有し、前記特定のフレームに依存する全てのフレームがドロップされるまで、前記特定のフレームが決してドロップされない、請求項２に記載の方法。
8. 最高優先順位レベルが、イントラビデオオブジェクトプレーン（ＩＶＯＰ）内のパケットを含み、より低い優先順位レベルが、予測ビデオオブジェクトプレーン（ＰＶＯＰ）内のパケットを含み、最低優先順位レベルが、双方向予測ビデオオブジェクトプレーン（ＢＶＯＰ）内のパケットを含む、請求項７に記載の方法。
9. グループオブピクチャ（ＧＯＰ）内の前記ＰＶＯＰをフレーム間依存性に基づいて前記複数のレベルの特定のレベルに分割するステップを更に有する、請求項８に記載の方法。
10. 受信器に単層復号器を備えるステップと、
    前記単層コンテンツビデオパケットを復号するステップと、
    ビデオを再構成するステップと、
    を更に有する、請求項１に記載の方法。
11. 前記通信が無線である、請求項１に記載の方法。
12. 前記複数の優先順位レベルが、時間間隔によって分類される、請求項１に記載の方法。
13. 送信器と、
    受信器と、
    前記送信器に接続され、ビデオ信号を複数の単層コンテンツ符号化ビデオフレームに符号化するように構成され、前記ビデオフレームの各々を複数のレベルの１つに割り当てるように構成される符号化器と、
    を有する通信リンク。
14. 前記リンクが無線リンクである、請求項１３に記載の通信リンク。
15. 前記リンクの帯域幅制限に基づいて、前記送信器が、前記レベルに基づいて前記フレームの一部又は全てを選択的に送信する、請求項１４に記載の通信リンク。
16. 前記単層コンテンツビデオフレームを復号する復号器を更に有する、請求項１３に記載の通信リンク。
17. 前記複数のレベルが優先順位付けされる、請求項１３に記載の通信リンク。
18. 最高優先順位レベルが、イントラビデオオブジェクトプレーン（ＩＶＯＰ）内のパケットを含み、より低い優先順位レベルが、予測ビデオオブジェクトプレーン（ＰＶＯＰ）内のパケットを含み、最低優先順位レベルが、双方向予測ビデオオブジェクトプレーン（ＢＶＯＰ）内のパケットを含む、請求項１７に記載の通信リンク。
19. グループオブピクチャ（ＧＯＰ）内の前記ＰＶＯＰが、更に、フレーム間依存性に基づいて複数の優先順位レベルに分割される、請求項１７に記載の通信リンク。
20. 前記複数の優先順位レベルが、時間間隔により分類される、請求項１７に記載の通信リンク。
21. 前記レベルの優先順位が、前記フレームの周期性を実質的に保つ、請求項１７に記載の通信リンク。
22. 前記送信器が、前記帯域幅の検討に基づいて特定のフレームをドロップし、前記特定のフレームに依存する全てのフレームがドロップされるまで決して前記特定のフレームがドロップされない、請求項１５に記載の通信リンク。

Images