JP2006500849A - スケーラブルなビデオエンコード - Google Patents

Abstract

ビデオエンコーダは、受信されたビデオフレームと、予測フレームとから、相対フレームを得るプロセッサ（１０３）に接続されたビデオフレーム受信機（１０１）を有する。前記プロセッサ（１０３）は、離散コサイン変換（ＤＣＴ）プロセッサ（１０５）に接続されており、離散コサイン変換（ＤＣＴ）プロセッサ（１０５）は、更に、前記相対フレームに関する量子化された空間周波数係数を生成する量子化器（１０７）に接続されている。量子化器（１０７）の出力は、低い周波数成分を有するデータサブセットと、周波数成分を持つ第２のデータサブセットとに分割するスプリッタに供給される。前記第１データサブセットは、逆量子化器（１１１）、逆ＤＣＴプロセッサ（１１３）、動き補償プロセッサ（１１５、１１７）及び予測フレームプロセッサ（１０４）を有するエンコードループ内で使用される。従って、前記エンコードループは、各フレームに関する減少されたデータセットのみを考慮することにより、単純化される。送信機（１１９）は、前記ビデオデータを、前記第１及び第２のデータサブセットの両方に関するプログレッシブにスケーラブルなストリームとして送信する。

Description

本発明は、ビデオエンコーダと、これらのためのビデオエンコードの方法とに関し、限定的にではないが、詳細には、圧縮されたビデオ信号を生成するビデオエンコードシステムに関する。

ビデオ信号は、デジタルビデオ信号として、ますます放送され、頒布されている。低いデータレートを保持するために、様々な形態のビデオ圧縮が、一般に使用されている。この結果、複数の異なるビデオ圧縮規格が、規定されている。広く使用されている圧縮規格は、ＭＰＥＧ−２（Moving Picture Expert Group）規格であり、例えば、地上及び衛星デジタルＴＶ放送、ＤＶＤ、並びにデジタルビデオレコーダにおいて使用されている。

ＭＰＥＧ−２ビデオ規格は、複数の異なるレベル及びプロファイルを有しており、異なるデータレートと、エンコーダ及びデコーダの複雑性とが、ビデオ品質に対してトレードオフされるのを可能にしている。

所与のビデオシステムにおいて、複数の異なるビデオ符号化方式又は変型が使用され得る。従って、１つの圧縮されたビデオストリームを、異なる機能、性能及び要件を有するデコーダに送信するために、スケーラブルな符号化されたビデオストリームが、しばしば、使用されている。このスケーラビリティによって、前記デコーダは、前記ビデオストリームの一部を取得し、ここからピクチャ全体をデコードすることができる。解凍された画像の品質レベルは、前記ビデオストリームが、どれだけ該デコーダによって使用されるか、及びスケーラブルな圧縮されたストリームが、どれだけ系統立っているかに依存する。

現行のビデオ圧縮規格において、空間、信号対雑音比（ＳＮＲ）及び時間スケーラビリティは、層状構造によって実現されている。エンコードされたビデオ情報は、異なるレイヤに対応する２以上の分離したストリームに分割される。前記規格のスケーラブルな構造において、ベースレイヤ（base layer :ＢＬ）は、非層状エンコード方式における場合のようにハイブリッド予測エンコードループを使用して符号化される。この結果、デコードされた際に、ピクチャ全体を、低品質ではあるが、生成することができるデータストリームとなる。拡張レイヤ（enhancement layer :ＥＬ）は、前記ベースレイヤにリンクされており、該ベースレイヤのピクチャに対する残差信号用のデータを有する。これによって、前記ＥＬは、拡張データストリームを供給し、前記ベースレイヤの情報と組み合わされた場合に、上質のビデオ品質レベルを与える。従って、付加的な前記拡張レイヤは、ビデオ信号の品質の改善を提供するように、デコーダによってオプション的に使用されるので、該ビデオ信号のスケーラビリティを提供している。

前記従来型のスケーラビリティは、複数の不利な点を有する。例えば、前記スケーラビリティは、該スケーラビリティのみが、前記拡張レイヤにおいて利用可能であるので、あまり柔軟性がない。より高いスケーラビリティを実現するには、更なる拡張レイヤが必要であり、符号化のオーバーヘッドが増加され、圧縮効率が低減される。

近年、スケーラブルなビデオエンコード用の他の方式が、出現し始めている。いくつかの方式は、単一のプログレッシブなデータストリームが供給される完全にプログレッシブな構造を提供している。このデータストリームは、部分的にデコードされることができ、これによって、変化する伝送条件、受信機の性能、及びアプリケーション要件に適合する機能が提供されている。しかしながら、動き予測ビデオ符号化方式における完全にプログレッシブなスケーラビリティの実施に関する重大な問題は、いわゆるドリフト作用に対する脆弱性である。これは、前記エンコードループにおける動き補償に使用されている参照フレームが、デコーダ側において利用可能でない場合に起こり、ビデオ品質が著しく低下される。この問題に対して提案されている解決策には、前記デコーダの複雑性が、高く増加される必要がある。

細粒スケーラビリティ（Fine Granular Scalability :ＦＧＳ）エンコーダとして知られているビデオエンコーダが、M. van der Schaar, Y. Chen, H. Radhaの“Embedded DCT and Wavelet Methods for Fine Granular Scalable Video: Analysis and Comparison”（Image and Video Communications and Processing 2000, Proc. SPIE, vol.2974, p.643-653, Jan. 2000）において提案されている。前記ＦＧＳエンコーダは、前記プログレッシブ及びレイヤ状の取り組み方を組み合わせ、２以上のレイヤを有する前記エンコードされたビデオ信号を供給している。前記ベースレイヤは、基本ビデオデータを有し、該基本ビデオデータは、動き予測を使用する非スケーラブルコーダによって、効率的に圧縮される。前記拡張レイヤは、元のピクチャと、送信されたベースレイヤのピクチャとの間の差分に対応するデータを有する。前記拡張レイヤのデータは、プログレッシブなデータストリームとして送信される。これは、最初に全データ値のうちの最上位ビットが送信され、次いで全データ値のうちの２番目の上位ビットが送信され、…等、全データ値のうちの最下位ビットが送信されるまで、送信されるビットプレーン符号化によって達成されている。

しかしながら、複数の不利な点が、前記ＦＧＳエンコーダに関連しており、該ＦＧＳエンコーダは、著しい計算リソース及びメモリサイズを要する比較的に複雑性の高いデコーダ及びコーダであること、及びＳＮＲスケーラビリティのみが提供されているので、付加的なレイヤが、例えば、空間スケーラビリティ用に必要であることを含む。

更に、デジタルビデオエンコーダに関する共通の問題は、低いデータレートを実現するには、複雑なデジタル信号処理が必要であることである。特に、動き補償に関連する推定、予測及び処理は、複雑であり、リソース必要性が高い。これには、高性能のデジタル信号処理の使用が必要であり、結果として、前記ビデオエンコーダのコスト及び電力消費が増加される。

従って、現存する符号化システムは、リソース要求が厳しく、複雑で、柔軟性のない傾向にあり、改良されたビデオエンコードシステムが有利である。

従って、本発明は、上述の不利な点の１つ以上を、単独で又は組み合わせて、改善又は緩和する改良されたビデオエンコードシステムを提供することを目指している。

従って、本発明の第１の見地によれば、ビデオフレームをエンコードするビデオエンコーダが設けられ、当該ビデオエンコーダは、ビデオフレームを受信する受信機；受信された前記ビデオフレーム及び予測フレームから、相対フレームを得るプロセッサ；前記相対フレームのデータを、第１データサブセットと第２データサブセットとに分割するスプリッタ；前記受信されたビデオフレームと、前記第１及び第２データサブセットのうちの第１データサブセットのみとに応じて、動き補償パラメータを生成する動き補償プロセッサ；前記動き補償パラメータと、前記第１データサブセットと、前記受信されたビデオフレームとに応じて、前記予測フレームを生成する、予測フレームプロセッサ；並びに前記動き補償パラメータ、前記第１データサブセット及び前記第２データサブセットを含むビデオ信号を送信する送信機；を有する。

従って、本発明の利点は、減少されたデータセットのみが、エンコードループにおいて使用されるので、エンコーダの著しく軽減された複雑性を含む。スケーラビリティは、前記第１及び第２データサブセットへの分離によって、提供されることができる。更に、動き補償が、ベースレイヤとして送信され得る前記第１データサブセットのみに基づくので、ドリフトエラーに対する改善された耐性が、達成されることができる。

本発明の第１フィーチャによれば、当該ビデオエンコーダは、前記分割の前に、前記相対フレームに対する周波数変換を実施する周波数変換プロセッサと、前記動き補償パラメータの生成の前に、前記第１データサブセットに対する逆周波数変換を実施する逆周波数変換プロセッサとを有する。このことは、前記周波数領域において処理することを可能にし、これにより前記第１及び第２データサブセットへの分割が、該周波数領域において実施されることを可能にする。好ましくは、前記周波数変換は、離散コサイン変換である。

本発明の他のフィーチャによれば、前記ビデオエンコーダは、前記分割の前に、前記相対フレームを量子化する量子化器と、前記動き補償パラメータの生成の前に、前記第１データサブセットに対する逆量子化を実施する逆量子化器とを、更に有する。前記量子化は、高周波数が、ゼロに切り捨てられ得る小さい係数を持つ傾向にあるので、前記データの大幅な圧縮を可能にする。

本発明の異なるフィーチャによれば、前記送信機は、前記動き補償パラメータ及び前記第１データサブセットをベースレイヤとして、且つ、前記第２データサブセットを少なくとも１つの拡張レイヤとして、送信することができる。このことは、エンコードされるビデオストリームの効率的なスケーラビリティを提供する。更に、動き補償が、前記ベースレイヤに限定されているので、ドリフト作用の影響は、著しく軽減される。

本発明の他のフィーチャによれば、前記第１データサブセットは、前記第２データサブセットのデータよりも比較的高品質の重要度のデータを有する。好ましくは、前記第１データサブセットは、前記第２データサブセットのデータよりも低い空間周波数に対応するデータを有する。従って、前記第１データサブセットは、エンコードされている前記ビデオフレームに関する不釣合いに高い情報コンテンツを有する。従って、前記処理が、最も重要なデータに関するものなので、減少されたデータセットに対する前記動き補償のベース化の影響は、軽減される。

本発明の他のフィーチャによれば、前記スプリッタは、閾値未満の空間周波数を有する前記相対フレームのデータを前記第１データサブセットに、該閾値以上の空間周波数を有する前記相対フレームのデータを前記第２データサブセットに分割することができる。これによって、非常に単純で容易ながらも、高パフォーマンスな分割の実施が提供される。

本発明の異なるフィーチャによれば、前記送信機は、前記第１及び第２データサブセットの少なくとも一方に関するプログレッシブでスケーラブルなデータストリームを生成し、送信することができる。好ましくは、前記送信機は、ビデオ品質の重要度が下がる順に、前記第１及び第２データサブセットの少なくとも一方のデータを送信することができ、特に、該送信機は、前記第１及び第２データサブセットの前記少なくとも一方の前記データを、関連する空間周波数が増加する順に送信することができる。従って、前記データサブセットの１以上は、スケーラブルなプログレッシブ態様で送信され、これによって、種々のデコーダが、改良されたエラー性能と共に使用されることを可能にする。

本発明の他のフィーチャによれば、前記送信機は、前記第１及び第２データサブセットの前記少なくとも一方の前記データを、１つ以上の前記相対フレームの、ほぼ同一の関連する空間周波数を有するデータ値の全てを有するサブバンドグループにアレンジし、関連する空間周波数が増加する順に、各サブバンドグループを、順次に送信することができる。従って、非常に効率的なプログレッシブでスケーラブルなデータストリームが生成され、デコーダが、前記受信されたデータのサブセットのみに基づいて、フレーム全体を生成するのを可能にする。より多くのデータが受信されるので、前記フレームの品質は、改善されることができる。更に、前記システムは、空間及び信号対雑音比（ＳＮＲ）スケーラビリティの両方を、可能にすることができる。

本発明の、異なるフィーチャによれば、前記ビデオエンコーダは、ビデオトランスコーダであって、前記受信されたビデオフレームは、圧縮されたビデオフレームである。従って、前記ビデオエンコーダは、ビットレートの低減、及び／又は圧縮率の向上、及び／又は既に圧縮されているビデオ信号からのプログレッシブにスケーラブルなデータストリームを、提供することができる。

本発明の第２の見地によれば、当該方法は、前記ビデオフレームを受信するステップ；受信された前記ビデオフレームと予測フレームとから、相対フレームを得るステップ；前記相対フレームのデータを、第１データサブセット及び第２データサブセットに分割するステップ；前記受信されたビデオフレームと、前記第１及び第２データサブセットのうちの前記第１データサブセットのみとに応じて、動き補償パラメータを生成するステップ；前記動き補償パラメータと、前記第１データサブセットと、前記受信されたビデオフレームとに応じて、前記予測フレームを生成するステップ；並びに前記動き補償パラメータ、前記第１データサブセット及び前記第２データサブセットを含むビデオ信号を送信するステップ；を有する方法が提供される。

本発明のこれら及び他の見地及び利点は、以下に記載される実施例を参照して、明らかになり、説明されるであろう。

本発明の実施例は、添付図面を参照して、単なる例として、記載される。

本発明の好適実施例は、ＭＰＥＧ−２ビデオ圧縮方式を特に参照して、以下に記載されるが、本発明は、この用途に限定されず、非圧縮のビデオエンコード方式及びトランスコーディング方式を含む多くの他のビデオエンコード方式に、同様に適用されることが、明らかになるであろう。

図１は、本発明の好適実施例によるビデオエンコーダ１００を示している。

ビデオエンコーダ１００は、ビデオフレームを受信する受信機１０１を有する。前記好適実施例において、前記ビデオ受信機は、単に、ビデオソース（図示略）に適したインターフェースを提供する機能ブロックであって、エンコードされるべき該ビデオフレームを生じる。前記用途に依存して、前記ビデオソースは、例えば、ビデオカメラ、ビデオ記憶ユニット、ビデオ編集システム、又はビデオフレームを供給するその他の適切な手段であっても良い。

前記ビデオエンコーダ１００は、受信された前記ビデオフレームと予測フレームとから、相対フレームを得る第１プロセッサ１０３を更に有する。第１プロセッサ１０３は、受信機１０１と、前記予測フレームを生成する予測フレームプロセッサ１０４とに接続されている。前記好適実施例において、第１プロセッサ１０３は、単に、減算ユニットを有し、該減算ユニットは、前記受信されたビデオフレームから、予測フレームを減算する。以下に記載されるように、前記予測フレームは、先行フレームの処理に基づいて生成される。従って、前記相対フレームは、実際に受信されたビデオフレームと、前記デコーダによって生成される前記予測フレームとの間の比較からの残差データに関連するデータを有する。

第１プロセッサ１０３の出力部は、周波数変換プロセッサ１０５に接続されており、該周波数変換プロセッサ１０５は、前記相対フレームのデータ値を、２次元空間周波数領域に変換する。前記好適実施例において、前記周波数変換は、離散コサイン変換（ＤＣＴ）であって、この実施は、従来技術において良く知られている。周波数変換プロセッサ１０５の出力部は、前記好適実施例において、量子化器１０７に接続されている。量子化器１０７は、量子化プロファイルに従って、前記周波数変換の係数を量子化し、前記好適実施例において、前記係数の値を、均等な大きさの量子化ステップに、単純にマッピングする。ビデオ信号は、典型的には、高い空間周波数成分よりも、低い空間周波数成分を有するので、前記高い空間周波数に関する多くの係数は、比較的小さい。前記量子化は、典型的には、これらの値の多くがゼロに量子化されるように、設定される。このことは、ビデオ品質に対する影響を、比較的にほとんど持たないが、ゼロ係数は、非常に効率的に通信されることができるので、効率的な圧縮を提供する。

本発明は、周波数変換及び量子化を実施する機能を有していないエンコードシステムに、同様に適用可能であるが、効率的な圧縮、及びこれにより著しく低減されたデータレート伝送要件を提供するので、前記好適実施例は、前記見地を包含している。

量子化器１０７は、スプリッタ１０９に接続されており、該スプリッタ１０９は、前記相対フレームのデータを、第１データサブセットと第２データサブセットとに分割する。いくつかの実施例において、前記第２データサブセットは、更に、複数のサブセットに分割される。前記好適実施例において、前記分割は、前記ビデオ品質に対して比較的高い影響を有する量子化器１０７の出力データが、前記第１データサブセット内に含まれ、且つ、前記ビデオ品質に対して比較的低い影響を有する前記出力データが、前記第２データサブセット内に含まれるというものである。従って、前記第１データサブセットは、減少された量のデータに対応するが、不釣合いに高い前記ビデオフレームに関係する情報コンテンツを有する。

スプリッタ１０９は、逆量子化器１１１に接続されている。しかしながら、この接続は、前記相対フレーム全体ではなく、前記第１サブセットのデータのみを運ぶ。従って、以下の演算は、前記相対フレームのデータセット全体に対するよりもむしろ、減少されたサブセットに対して実施される必要があるのみである。逆量子化器１１１は、量子化器１０７において実施された前記量子化に対して、（ある程度）相補的な演算を実施する。これは、量子化器１０７によって実施された演算に相補的であるスケーリング又は重みづけ演算を実施する。従って、前記量子化が、例えば、前記データの２による割算を含んでいた場合、前記逆量子化は、該データを２倍するであろう。しかしながら、これは、元の量子化において損失された端数の値を加算しない。このようにして、前記逆量子化は、受信ビデオデコーダにおいて実施される演算を模倣し、従って、該逆量子化器の出力は、前記デコーダ内で生成されるであろうフレームに、（前記周波数領域において）対応している。

逆量子化器１１１は、前記第１データサブセットに対する逆周波数変換を実施する逆周波数変換プロセッサ１１３に接続されている。実施される前記逆変換は、周波数変換プロセッサ１０５によって実施されたものに対して相補的な演算であって、従って、前記好適実施例においては、逆ＤＣＴ変換である。前記逆量子化と同様に、前記逆周波数変換は、前記ビデオデコーダ内で実施されるものに対応し、従って、前記逆周波数変換プロセッサ１１３からの出力データは、前記デコーダによって生成されるであろう相対フレームに対応している。

前記好適実施例において、逆周波数変換プロセッサ１１３は、結合器１１５に接続されており、該結合器１１５は、逆周波数変換プロセッサ１１３によって生成された前記相対フレームを、第１プロセッサ１０３によって使用された前記予測ピクチャに加算する。従って、結合器１１５の出力は、ビデオレコーダによって、前記予測フレームと、前記第１データサブセットとから生成されるであろうビデオフレームに対応している。

結合器１１５の出力部は、動き補償プロセッサ１１７に接続されている。動き補償プロセッサ１１７は、更に、受信機１０１に接続されており、ここから元の前記ビデオフレームを受信する。前記ビデオフレームと、前記第１データサブセットから生成された前記フレームとに基づいて、前記動き補償プロセッサ１１７は、動き補償パラメータを生成する。ビデオ信号用の動き補償のいかなる既知の方法も、本発明を損なうことなく使用されることができることは、本発明の意図内にある。特に、前記動き補償は、後続フレームのピクチャセグメントの比較による、動き検出を含むことができる。これは、動き補償パラメータを生成することができ、該動き補償パラメータは、特定のピクチャセグメントが、一のフレームから次のフレームにどのように移動されるかを指示する動きベクトルを有する。従って、特に、前記動き補償処理、及び動き補償パラメータは、ＭＰＥＧ−２ビデオ圧縮方式によって規定され、これに関連して知られている処理及びパラメータを含むことができる。

動き補償プロセッサ１１７は、予測フレームプロセッサ１０４に接続されている。予測フレームプロセッサ１０４は、前記動き補償パラメータと、前記受信されたビデオフレームとに応じて、前記予測フレームを生成する。前記好適実施例において、予測フレームプロセッサ１０４及び動き補償プロセッサ１１７は、単一の機能ユニットとして実施され、前記予測フレームの生成は、結合器１１５の出力部において生成される前記データを考慮している。

従って、前記好適実施例において、前記動き補償と、及び前記予測フレームの生成とは、前記受信されたフレームと、１以上のフレームの前記第１データサブセットとに基づく。しかしながら、前記第２サブセットの前記データは、これらの処理内に含まれず、従って、前記処理は、減少されたデータセットに対する演算のみを必要とするので、前記複雑性及びリソース必要性は、著しく軽減される。

前記ビデオエンコーダは、前記動き補償パラメータ、前記第１データサブセット及び前記第２データサブセットを含むビデオ信号を送信する送信機１１９を、更に有する。単純な実施例において、このデータは、前記ビデオ信号が通信されるべきである通信チャネルに適した送信機によって、単一のデータストリームとして、単に送信される。しかしながら、前記ビデオエンコーダは、前記動き補償パラメータと前記第１データサブセットとを、第１データストリームとして、且つ、前記第２データサブセットを、少なくとも第２の分離したデータストリームとして、送信するのが好ましい。前記好適実施例において、送信機１１９は、前記動き補償パラメータと前記第１データサブセットとを、ベースレイヤとして、且つ、前記第２データサブセットを、少なくとも１つの拡張レイヤとして送信することができる。

前記好適実施例における第１データサブセットは、前記第２データサブセットよりも、前記ビデオ品質に対する重要度が高いデータを有するので、デコーダは、この単純な実施例において、前記動き補償パラメータ、及び前記第１データサブセットの前記データのみに基づいて、フレーム全体を得ることができる。得られるピクチャは、低下された品質ではあるが、デコーダが前記第２データサブセットの前記データをオプション的に処理することにより、更に拡張されることができる。従来技術に反して、種々の前記レイヤは、この実施例において、最終的にエンコードされたビデオ信号を分割又は分離することにより実現されるのではなく、前記ビデオエンコードの不可欠な部分として実施される。特に、ビデオエンコードループは、前記ベースレイヤに関係する前記データのみを使用して、実施されるので、著しく軽減化された複雑性を提供する。

前記ループの動き補償は、更に、前記第１データサブセットのデータのみに基づいているので、ビデオエンコーダ及びビデオデコーダの両方における前記動き補償処理は、前記ベースレイヤによって影響を受けるのみである。従って、拡張レイヤの情報（第２データサブセット）のいなかる損失も、ドリフトエラーの出現には至らない。前記ベースレイヤ（第１データサブセット）は、本質的に低い周波数の情報を有するので、復元される画像は、ぼやけているかもしれないが、動き推定‐補償を複雑にし得る高周波数雑音もないであろう。従って、低周波数画像（第１データサブセット）に対する動き推定‐補償処理は、前記エンコード及びデコード側の両方における元のフレームに対するものよりも、単純である。

前記相対フレームの前記データを、第１及び第２データサブセットに分割するのに、いかなる適切な基準又はアルゴリズム（前記好適実施例においては、前記ＤＣＴ及び量子化が後続する）も、本発明を損なうことなく使用されることができる。好ましくは、前記第１データサブセットは、前記第２データサブセットのデータよりも比較的高い品質の重要度のデータを有し、特に、前記好適実施例において、前記第１データサブセットは、前記第２データサブセットのデータよりも、低い空間周波数に対応するデータを有する。前記好適実施例において、このことは、所与の閾値未満の空間周波数を有する前記相対フレームの前記データを前記第１データサブセットに、該閾値以上の空間周波数を有する該相対フレームのデータを前記第２データサブセットに分割する手段を有する前記スプリッタによって実施される。

図２は、６４の係数（例えば、ＭＰＥＧ−２において使用されている規格である）を有する量子化されたＤＣＴブロック２０１を、２つのデータサブセットに分割する前記好適実施例の前記処理を示している。与えられた前記例において、分割に関する閾値２０３は、太線によって示されている２次元空間周波数レベルで、与えられている。分割の前記レベルの上方（即ち、低い空間周波数に対応する左上の角の側）に位置する係数の全ては、前記第１データサブセット内に含まれる。前記分割のレベルの下方（即ち、右下の角の側）に位置する残りの高周波数ＤＣＴ係数の全ては、前記第２データサブセット内に含まれる。前記分割のレベルは、前記第１及び／又は第２データサブセットのデータストリーム内で、符号化された前記係数と共に、前記ビデオデコーダに送信される。このことは、前記データを分割する非常に単純で柔軟な方法を提供し、前記分割のレベルが、動的に変更されることを可能にする。この実施例によれば、前記分割のレベルは、各ＤＣＴ係数ブロックに対して、個別に設定されることもでき、ＤＣＴ係数の適応的量子化の前記処理に依存し得る。前記分割のレベルの制御は、好ましくは、データレート制御の仕組みの一部として実施される。

従って、前記好適実施例において、前記分割は、対角の分割レベルと、ジグザグ状のスキャンニング構造とに基づいているが、例えば、長方形帯域（rectangular-shape zonal selection）のような低周波数領域を選択する他の方法を含む多くの他の分割アルゴリズムも可能であることは、明らかになるであろう。

例えば、ビットプレーンスケーラビリティによってＳＮＲスケーラビリティのみが提供されている前記ＦＧＳビデオエンコーダとは対照的に、前記好適実施例において実施される前記周波数係数の分割は、空間解像度スケーラブルストリームの生成を可能にする。特に、主に低い周波数の情報を有する前記ベースレイヤは、低い空間解像度で、フレームをデコードするのに使用されることができる。

更に、前記好適実施例において、送信機１１９は、前記第１及び第２データサブセットの少なくとも一方、好ましくは両方それぞれに関する、個々にスケーラブルなデータストリームを生成する機能を有する。好ましくは、これは、前記第１及び第２データサブセットの少なくとも一方のデータを送信する機能を有する前記送信機１１９によって、ビデオ品質の重要度が減少する順であって、特に、関連する空間周波数が増加する順に、行われる。

特に前記好適実施例において、送信機１１９は、前記第１及び／又は第２データサブセットを、１つ以上の前記相対フレームの、ほぼ同一の関連する空間周波数を有するデータ値の全てを有するサブバンドグループにアレンジすることができる。送信機１１９は、関連する空間周波数が増加する順に、各サブバンドグループを、順次に送信する機能を、更に有する。

前記好適実施例における送信機１１９の実施は、図１に示されている。スプリッタ１０９は、第１サブバンドプロセッサ１２１と、第２サブバンドプロセッサ１２３とに接続されている。第１サブバンドプロセッサ１２１は、前記第１データサブセットからのデータを供給され、第２サブバンドプロセッサ１２３は、前記第２データサブセットからのデータを供給される。前記サブバンドプロセッサ１２１、１２３は、複数のＤＣＴブロックからの前記係数を、フレーム全体のＤＣＴブロックからの係数のグループであって、同一又は類似の空間周波数を有するグループに再グループ化する。好ましくは、フレームのＤＣＴブロックの全ては、各グループが、対応する空間周波数を全てのＤＣＴ係数が有するように、再グループ化される。

図３は、本発明の好適実施例によるＤＣＴ係数の再グループ化の例を示している。この例では、第１フレーム３０１は、それぞれが、当該図内の１、２、３、４で示されている４つのサブバンドに対応する４つの係数を持つ１６個のＤＣＴブロック３０３を有する。前記係数は、サブバンド１に関する全係数が一緒にグループ化されるように、それぞれの前記サブバンドプロセッサ内に再配列される。従って、前記具体例では、サブバンドプロセッサ１２１、１２３は、それぞれが１６個の係数を有する４つのグループ３０５を生成する。従って、サブバンドプロセッサ１２１、１２３は、各グループを１つのＤＣＴ周波数又はサブバンドに対応させて、前記ＤＣＴ内の係数の数に対応する複数のグループを生成する。各グループ内の前記係数の数は、所与のフレーム内のＤＣＴブロックの数と同一である。

前記サブバンドプロセッサ１２１、１２３のそれぞれは、スキャンニングプロセッサ１２５、１２７に接続されており、該スキャンニングプロセッサ１２５、１２７は、再配列された前記係数を、順次のデータストリームを生成するのに適切な順序で読み出す。より低い空間周波数が、より多くの情報を含み、得られるビデオ品質に対して高い重要度を有する傾向にあるので、前記再配列された係数は、空間周波数が増加する順に読み出されるのが好ましい。従って、図２の例において、サブバンドグループ１が最初に読み出され、次いでサブバンドグループ３、次いでサブバンドグループ２、最後にサブバンドグループ４が読み出される。従って、前記好適実施例においては、ジグザグスキャンが使用されているが、他の実施例において、他のスキャン順序が適用されても良い。

スキャンニングプロセッサ１２５、１２７のそれぞれは、コーダ１２９、１３１に接続され、該コーダ１２９、１３１は、適切な通信チャネルにおける伝送用のデータの適切な符号化を実施する。好ましくは、コーダ１２９、１３１は、ランレングス符号化（run length coding）及び／又は可変長符号化（variable length coding）を有する。従来技術において知られているように、これらの符号化方式は、無損失データ圧縮を提供し、該無損失データ圧縮は、同一値の長い並びを有するデータストリームに対して、特に効率的である。特に、前記ランレングス符号化、及び可変長符号化方式は、ゼロ値の長い並びを持つデータストリームに対して、非常に効率的であるので、これらのエンコード方式は、量子化された係数を圧縮するのに、極めて効率的である。

従って、前記好適実施例において、前記ＤＣＴブロックの低い周波数係数は、サブバンドグループに再構成され、適切にスキャンされて、ベースレイヤとして機能し得るデータストリームを形成する。各ブロックの残りの高周波数係数は、高周波数サブバンドグループに再構成され、適切にスキャンされて、拡張レイヤとして機能し得る第２データストリームを形成する。このようにして、プログレッシブにスケーラブルな又は埋め込まれたストリームが、前記ベースレイヤ及び前記拡張レイヤの両方に対して作成される。特に、ピクチャ全体に関する最も重要なデータが、最初に送信されるので、前記ビデオフレーム全体のピクチャ表示が、前記ベースレイヤのデータの最初のサブセットのみから再生（復元）されることができる。より多くのデータが受信されるので、前記ビデオ品質は、改善されることができる。

更に、上述のシステムは、空間及びＳＮＲスケーラビリティの両方を可能にし、これは、プログレッシブな忠実度及び／又はプログレッシブ解像度の両方を提供することができる。第１の場合においては、部分的に受信されたストリームが、フルサイズの画像をデコードするのに使用されることができる。前記ベースレイヤは、低周波数コンテンツのみを有する前記フルサイズのぼやけた画像を供給し、これは、前記拡張されたレイヤのストリームからの係数によって精細化される。プログレッシブ解像度の場合、前記ベースレイヤの低周波数係数は、低い空間解像度で画像を構成するのに使用される。前記拡張レイヤの情報は、解像度を改善して画像を得るのに使用される。

更に、動き予測及び補償は、前記ベースレイヤ内で利用されるので、デコード中の基準としてベースレイヤの情報の利用は、生成されるドリフト作用を取り除く又は軽減する。前記ベースレイヤの情報の部分のみがデコーダによって受信される場合も、生成されるドリフト作用の結果は、画像全体の（低周波数サブバンドからの）最も重要な係数が最初に送信される事によって、軽減される。前記ドリフトエラーの程度は、前記ベースレイヤの受信されたサブバンドグループの数に、プログレッシブに（漸次的に）依存するであろう。

更に、フレーム全体の全ブロックからのＤＣＴ係数の、同様の空間周波数のサブバンドへの再グループ化は、連続的に送信される係数値の間の相関性を高めるであろう。この高くされた相関性は、前記可変長符号化によって使用されることができ、より高度な無損失圧縮を提供するので、同一のビデオ品質に対して、より低いデータレートを実現する。

いくつかの実施例において、前記送信機は、ビットプレーンスキャンニングを、付加的に又は代替的に、使用する。例えば、前記第１サブバンドグループの全係数のうちの最上位ビット全てが最初に送信され、次いで、該第１サブバンドグループの全係数のうちの、２番目の上位ビット全てが送信され、…等、でも良い。前記第１サブバンドグループの前記係数のビットの全て又はほとんどが通信されたときに、前記第２サブバンドグループの全係数のうちの最上位ビットが通信される等でも良い。

いくつかの実施例においては、受信されたビデオフレーム自体が、圧縮されたビデオフレームである。従って、エンコーダは、いくつかの実施例において、特に、トランスコーダである。好ましくは、これら実施例のいくつかにおける前記エンコーダは、受信されたビデオ信号と、生成されたビデオ信号との間のデータレート、又は非スケーラブルからスケーラブルに圧縮されたストリームへトランスコードに変化を与える。特に、ビデオエンコーダは、受信された圧縮されたビデオフレームをピクセル領域にデコードするのではなく、周波数領域において演算することができる。従って、前記ビデオエンコーダは、この場合、周波数変換、又は該周波数変換の間の関数関係を含まないかもしれず、他の処理ユニットが変更されるかもしれない。

ＭＰＥＧ−２方式の前記好適実施例において、イントラ（Ｉ）フレーム、予測（Ｐ）フレーム、及び双方向（Ｂ）フレームを含む複数の異なる種類のフレームが、送信されることもできる。この実施例において、前記相対フレームは、Ｐフレームの場合には、前記予測フレームを、前記受信されたビデオフレームから減算し、これによって残差フレームを作成することにより、決定される。Ｂフレームの場合には、２つの予測フレームが、使用されることができる、即ち前記予測フレームは、２つのフレームを含む、又は２つのフレームの合成であることができる。従って、前記相対フレームは、少なくとも１つ、できればそれ以上のフレームに関する情報を有する残差フレームである。前記Ｉフレームの場合には、前記相対フレームは、前記受信されたフレームに等しく、予測フレームの減算は、実施されない。言いかえれば、Ｉフレームの場合、前記相対フレームは、ブランクの（即ち、ヌルデータを有する）前記予測フレームに対応する空の予測フレームに関する。従って、前記好適実施例において、前記相対フレームは、例えば、ＭＰＥＧ−２のＩフレーム、Ｐフレーム又はＢフレームであることができる。

本発明は、全てのフレーム、又は前記フレームのサブセットに適用されることができる。本発明は、構成された態様又は他のいかなる適切な仕方によって、フレームに、任意に適用されることもできる。特に、前記ＭＰＥＧ−２ビデオエンコード方式において、イントラ（Ｉ）フレーム、予測（Ｐ）フレーム、及び双方向（Ｂ）フレームを含む複数の異なる種類のフレームが、送信されることもできる。前記相対フレームを２つ以上のサブセットに分割することは、これらのフレームの全て、又は前記フレームの種類のうちの１つ若しくは２つのみに対して実施されることができ、又は異なる前記フレームの種類のフレームのサブセットのみに適用されることもできる。

例えば、従来のビデオエンコードは、データサブセットへの前記分割を前記Ｉフレームの全て又はいくつかに適用するだけで、全てのＰフレーム及び／又はＢフレームを供給すすることができる。

本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの何らかの組み合わせを含む何らかの適切な形態において、実施されることができる。しかしながら、本発明は、１つ以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で走るコンピュータソフトウェアとして実施されるのが好ましい。本発明の実施例のエレメント及び構成要素は、何らかの適切な仕方で、物理的に、機能的に、及び論理的に実施され
てもよい。確かに、上述の機能は、単一のユニット、複数のユニット又は他の機能ユニットの一部として、実施されてもよい。このように、本発明は、単一のユニットで実施されることができ、又は種々のユニット及びプロセッサの間に物理的に及び機能的に分散されることもできる。

本発明は、前記好適実施例と共に記載されているが、本明細書に記載された特定の形態に限定されるものではない。というよりむしろ、本発明の範囲は、添付請求項によってのみ限定される。

本発明の実施例によるビデオエンコーダを示している。 本発明の実施例によるＤＣＴ係数ブロックの分割の例を示している。 本発明の実施例によるＤＣＴ係数の再グループ化の例を示している。

Claims (14)

1. ビデオフレームをエンコードするビデオエンコーダであって、
   ― 前記ビデオオフレームを受信する受信機、
   ― 受信された前記ビデオフレームと予測フレームとから、相対フレームを得るプロセッサ；
   ― 前記相対フレームのデータを、第１データサブセット及び第２データサブセットに分割するスプリッタ；
   ― 前記受信されたビデオフレームと、前記第１及び第２データサブセットのうちの前記第１データサブセットのみとに応じて、動き補償パラメータを生成する動き補償プロセッサ；
   ― 前記予測フレームを、前記動き補償パラメータと、前記第１データサブセットと、前記受信されたビデオフレームとに応じて生成する、予測フレームプロセッサ；及び
   ― 前記動き補償パラメータと、前記第１データサブセットと、前記第２データサブセットとを含むビデオ信号を送信する送信機；
   を有するビデオエンコーダ。
2. 前記分割の前に、前記相対フレームに対する周波数変換を実施する周波数変換プロセッサと、前記動き補償パラメータの生成の前に、前記第１データサブセットに対する逆周波数変換を実施する逆周波数変換プロセッサとを更に有する、請求項１に記載のビデオエンコーダ。
3. 前記分割の前に、前記相対フレームを量子化する量子化器と、前記動き補償パラメータの生成の前に、前記第１データサブセットに対する逆量子化を実施する逆量子化器とを更に有する、請求項１に記載のビデオエンコーダ。
4. 前記送信機が、前記動き補償パラメータ及び前記第１データサブセットをベースレイヤとして、且つ、前記第２データサブセットを少なくとも１つの拡張レイヤとして、送信することができる、請求項１に記載のビデオエンコーダ。
5. 前記第１データサブセットが、前記第２データサブセットのデータよりも、比較的に高い品質の重要度のデータを有する、請求項１に記載のビデオエンコーダ。
6. 前記第１データサブセットが、前記第２データサブセットのデータよりも、低い空間周波数に対応するデータを有する、請求項５に記載のビデオエンコーダ。
7. 前記スプリッタが、閾値未満の空間周波数を有する前記相対フレームのデータを前記第１データサブセットに、前記閾値以上の空間周波数を有する前記相対フレームのデータを前記第２データサブセットに、分割することができる、請求項６に記載のビデオエンコーダ。
8. 前記送信機が、前記第１及び第２データサブセットのうちの少なくとも一方に関するプログレッシブにスケーラブルなデータストリームを、生成し、送信することができる、請求項１に記載のビデオエンコーダ。
9. 前記送信機が、前記第１及び第２データサブセットのうちの少なくとも一方のデータを、ビデオの品質の重要度が下がる順に、送信することができる、請求項１に記載のビデオエンコーダ。
10. 前記送信機が、関連する空間周波数が増加する順に、前記第１及び第２データサブセットのうちの前記少なくとも一方のデータを送信することができる、請求項９に記載のビデオエンコーダ。
11. 前記送信機が、前記第１及び第２データサブセットのうちの前記少なくとも一方のデータを、ほぼ同一の関連する空間周波数を持つ少なくとも一方の前記相対フレームのデータ値の全てを有するサブバンドグループにアレンジし、関連する空間周波数が増加する順に、各サブバンドグループを、順次に送信する、請求項１０に記載のビデオエンコーダ。
12. 前記ビデオエンコーダが、ビデオトランスコーダであって、前記受信されたビデオフレームが、圧縮されたビデオフレームである、請求項１に記載のビデオエンコーダ。
13. ビデオフレームをビデオエンコードする方法であって、
    ― 前記ビデオフレームを受信するステップ；
    ― 受信された前記ビデオフレームと予測フレームとから、相対フレームを得るステップ；
    ― 前記相対フレームのデータを、第１データサブセット及び第２データサブセットに分割するステップ；
    ― 前記受信されたビデオフレームと、前記第１及び第２データサブセットのうちの前記第１データサブセットのみとに応じて、動き補償パラメータを生成するステップ；
    ― 前記動き補償パラメータと、前記第１データサブセットと、前記受信されたビデオフレームとに応じて、前記予測フレームを生成するステップ；並びに
    ― 前記動き補償パラメータ、前記第１データサブセット及び前記第２データサブセットを含むビデオ信号を送信するステップ；
    を有する、ビデオフレームをビデオエンコードする方法。
14. 請求項１３に記載の方法の実行を可能にする、コンピュータプログラム。

Images