JP2006295913A - 空間的スケーラブルコーディングのためのアダプティブアップサンプリング方法および装置 - Google Patents

Abstract

【課題】同じフレーム内の異なる画像ブロックを正確にアップサンプリングできるようにする。
【解決手段】低解像度下方レイヤのビデオ（または画像）２２から高解像度（エンハンスされたレイヤ）ビデオ（または画像）４６をより効果的に予測することにより、適応アップサンプルフィルタリングを使用して、空間的にスケーラブルな符号化システムの圧縮効率を改善する。低解像度フレーム２８の異なる部分に対し、局部的画像特性に適応した異なるアップサンプルフィルタを選択して、良好なアップサンプリングされた画像３８を生成する。異なるアップサンプルフィルタのどれを選択するかは、符号化器および復号器の双方に利用可能な情報によって決定される。
【選択図】図１

Description

本発明は、空間的スケーラブルコーディングのためのアダプティブアップサンプリング方法および装置に関する。

近年、スケーラブルなビデオ符号化へ大きな関心が寄せられる結果、ＪＶＴ（共同ビデオチーム）、国際標準化機構および国際電気標準会議（ＩＳＯ／ＩＥＣ）動画エキスパートグループ（ＭＰＥＧ）並びに国際電気通信連合の通信標準化部門（ＩＴＵ−Ｔ）ビデオ符号化エキスパートグループ（ＶＣＥＧ）により、スケーラブルなビデオ符号化（ＳＶＣ）規格が現在開発されている。このＳＶＣ規格は時間的、空間的および画質のスケーラビリティの異なる組み合わせを含む異なるスケーラビリティをサポートするものである。

空間的スケーラビリティは、通常、階層的アプローチを使用することによって達成される。フル解像度のオリジナルのビデオシーケンスは低解像度のビデオシーケンスに空間的にダウンサンプリングされ、フル解像度および低解像度のビデオシーケンスは２つのパラレルなビデオ符号化器を通過し、エンハンスされたレイヤ（高解像度）の符号化されたビットストリームとベースレイヤ（低解像度）の符号化されたビットストリームとして出力される。

良好な符号化効率を達成するために、インターレイヤ予測が使用される。２つの種類の予測としてインターレイヤイントラテクスチャ予測と、インターレイヤ動き予測とがある。インターレイヤイントラテクスチャ予測は、再構成されたより下方のレイヤ（すなわち、ベースレイヤ）のフレームからアップサンプリングされたブロックにより、一般的には対応する低解像度の再構成された画像ブロックから、上方のレイヤ（すなわち、エンハンスされたレイヤ）のイントラブロックを予測できるエクストラオプションを提供できる。

アップサンプリングプロセスにおいては、一般に、固定の補間フィルタが使用される。例えば開発中のＳＶＣ規格のための現在のＪＳＶＭ（組み合わされたスケーラブルなベリフィケーションモデル）では、アップサンプリングプロセスのために固定された６タップフィルタが使用される。しかしながら、単一の固定されたアップサンプリング補間フィルタは同じフレーム内の異なる画像ブロックを正確にアップサンプリングできない。このことによってインターレイヤ予測プロセスの有効性が限られている。
本発明は、従来技術に関連した上記およびそれ以外の問題を解決するものである。

本発明は、上記課題を解決するために、低解像度の下方レイヤビデオ（または画像）から高解像度（エンハンスされたレイヤ）のビデオ（または画像）をより効率的に予測することにより、空間的にスケーラブルな符号化システムの圧縮効率を改善するのに、適応アップサンプルフィルタリングが使用され、より良好なアップサンプリングされた画像を生成するために、低解像度のフレームの異なる部分に対し、局部的画像特性に適応的な異なるアップサンプルフィルタを選択的に適用するようにしたものである。

第１の発明は、低解像度レイヤからの異なる画像ブロックを、高解像度レイヤにおける対応する高解像度画像ブロックを予測するためのアップサンプリングされた高解像度ブロックへアップサンプリングするよう、多数の利用可能なアップサンプルフィルタから適応的に選択するプロセッサを備えたものである。

第２の発明は、個々の画像ブロックをアップサンプリングするために多数の利用可能なアップサンプルフィルタから適応的に選択するステップと、選択されたアップサンプルフィルタを使用し、関連する低解像度画像ブロックをアップサンプリングされた高解像度画像ブロックに変換するステップと、アップサンプリングされた高解像度画像ブロックを使用し、高解像度画像を符号化または復号するステップからなるものである。

第３の発明は、画像シーケンスを符号化する際に、個々の低解像度画像ブロックをアップサンプリングするためのアップサンプルフィルタの異なる組み合わせから選択する符号化器と、符号化された画像シーケンスを復号する際に、個々の低解像度画像ブロックをアップサンプリングするためのアップサンプルフィルタの異なる組み合わせから選択する復号器とを備えたものである。

添付図面を参照し、本発明の好ましい実施例についての以下の詳細な説明を読めば、本発明の上記およびそれ以外の目的、特徴および利点がより容易に明らかとなろう。

図１は、適応空間アップサンプリングを行う符号化器１２を示している。１つ以上のフレーム１４は符号化する必要があり得る任意の種類の画像データを含むことができる。任意のデータ符号化アプリケーションでは、下記の適応アップサンプルフィルタリングを使用できる。例えばフレーム１４は無線通信システムを通してトランスポートする前に符号化しなければならないことがある。別の実施例では、パケット交換ネットワーク、例えばインターネットを通してトランスポートするためにパケットへフォーマット化する前にフレーム１４を符号化できる。特定の、あるアプリケーションでは、高品位及び標準品位双方のテレビ信号を符号化するのに符号化器１２が使用される。別の例では、記憶メディアに記憶する前にフレーム１４を符号化できる。この例では、ビデオカメラによりフレーム１４を生成し、デジタルビデオディスク（ＤＶＤ）、磁気テープ、集積回路（ＩＣ）メモリなどに記憶する前にフレームを符号化する。

以下、フレーム１４をエンハンスされたレイヤフレームまたは高解像度フレームと称す。これらフレーム１４は、符号化器１２によりブロック毎およびフレーム毎に処理される。個々の画像ブロック１６は所定の数の画像サンプル（ピクセル）を含み、図１に示された例では画像ブロック１６は４×４配列の画像サンプル１８を含む。当然ながら、これは１つの例に過ぎず、画像ブロック１６の実際のサイズは符号化器１２が使用する符号化方式のタイプに応じて変わり得る。画像ブロック１６は画像ブロックのサイズに応じ、かつ画像ブロック１６がサブブロックを含むかどうかに応じて、マイクロブロック、マクロブロックまたはサブブロックとも称される。例えば多数のサブブロックを含む画像ブロック１６をマクロブロックと称すことができる。

高解像度符号化器４２は、図３でより詳細に説明するような種々の予測、変換および量子化オペレーションを高解像度フレーム１４に対して行う。符号化されてエンハンスされたレイヤフレーム４６は伝送メディアを通して出力されるか、または記憶メディア内に記憶される。符号化器１２には、再構成された高解像度フレーム４４が記憶され、異なる予測オペレーションを行うために高解像度符号化器４２へフィードバックされる。

ベースレイヤ（低解像度）の符号化は、高解像度画像ブロック１６内のサンプル数を少なくする空間ダウンサンプルオペレーション２０からスタートする。この例では、空間ダウンサンプルオペレーション２０が４×４の画像ブロック１６を２×２のダウンサンプリングされた低解像度の画像ブロック２２へ縮小する。低解像度画像ブロック２２内の画像サンプル２４は、低解像度符号化器２６により、種々の予測、変換、量子化などのオペレーションを使用して符号化される。これらオペレーションについても後により詳細に説明する。符号化されたベースレイヤ（低解像度）フレーム３２も伝送メディアを通して出力されるか、記憶メディアへ出力される。再構成された低解像度フレーム２８はメモリに記憶され、低解像度予測符号化オペレーションを行うために、低解像度符号化器２６へフィードバックされる。

適応空間アップサンプリング
特に重要なのは、低解像度の画像ブロック２２を復号したブロックをアップサンプリングするための異なるアップサンプルフィルタを選択する適応アップサンプルフィルタ生成器３１である。適応空間アップサンプラ３０は再構成された低解像度フレーム２８からの画像ブロックを異なるアップサンプリングされた予測ブロック３８へ変換するために、フィルタバンク３６からの異なるアップサンプルフィルタを使用する。アップサンプリングされた予測ブロック３８は、コンパレータ４１において、高解像度符号化器４２が提供する対応する高解像度画像ブロックと比較される。

この例では、適応空間アップサンプラ３０は、高解像度画像ブロックとアップサンプリングされた予測ブロック３８との比較から生じた残留データ４０を考慮する。例えば、最小の残留データ４０を発生したアップサンプルフィルタ３６を、対応する高解像度ブロックを予測するための最適なアップサンプルフィルタと決定できる。次に、関連する画像ブロックに対し、選択された最適なアップサンプルフィルタ３６を識別する識別子３４が、符号化されたビットストリーム４６として復号器へ送られる。好ましい実施例では、サイド情報３４は符号化されたエンハンスメントビットストリーム４６の一部と見なされ、符号化されたベースレイヤ３２の一部ではない。しかしながら、このサイド情報３４は符号化された伝送情報４６または３２の他の部分で符号化できる。次に、同じフレーム１４内の他の画像ブロック１６に対し、最適なアップサンプルフィルタ３６を識別するための同じプロセスを実行する。

図２は、アップサンプルフィルタ選択プロセスをより詳細に説明するためのフローチャートである。図１および図２を参照すると、オペレーション５０において、符号化器はデータシーケンス１４を受信する。ダウンサンプルオペレーション５２において低解像度フレームが生成され、オペレーション５４において低解像度フレームが符号化される。次に、オペレーション５６において、符号化された低解像度データから低解像度フレームが再構成される。オペレーション５８において、適応空間アップサンプラ３０はフィルタバンク３６内のアップサンプルフィルタのうちの１つを選択し、オペレーション６０において、選択されたアップサンプルフィルタを再構成されたフレーム内の低解像度画像ブロックへ適用する。

オペレーション６２で、高解像度イントラ予測符号化オペレーションにアップサンプリングされた画像ブロックが使用され、オペレーション６４で残留データが識別される。オペレーション６６において、適応空間アップサンプラ３０（図１）はフィルタバンク３６内の多数の利用できるアップサンプルフィルタのためのイントラ予測オペレーションを繰り返す。一実施例では、空間アップサンプラ３０は、オペレーション６８において、関連するブロックに対し、最小のブロックコストを発生するアップサンプルフィルタを識別する。

一実施例では、コストファクタを表示した場合、次のようになる。すなわち、コスト＝Ｄ＋λＲ（ここで、Ｄは符号化プロセス中に生じる歪みであり、Ｒは残留データを送り、アップサンプルフィルタを識別するために必要なビットレートであり、λはある係数である）となる。当然どのアップサンプルフィルタを使用するかを決定するコスト基準として他のコスト基準を（もしあれば）使用することもできる。

選択されたアップサンプルフィルタが対応する高解像度画像ブロック内の画像値を正確に予測するときは、残留データ４０はより小さくなるはずである。これとは異なり、選択されたアップサンプルフィルタが関連する高解像度画像ブロック内の画像値を正確には予測しないときは、イントラ予測符号化オペレーションから生じる残留データはより多くなる。従って、対応する高解像度ブロックを予測するための最良のアップサンプルフィルタを決定する際に、残留値を考慮することができる。

しかしながら、あるアップサンプルフィルタが最小の残留値を発生したとしても、そのアップサンプルフィルタを使用した場合に生じる画像ブロック内の歪みが相対的に高くなることがある。このような状況では、多くの残留データを発生するが、歪みが大幅に少ないアップサンプルフィルタが適応空間アップサンプラ３０によって選択される。

別の状況では、画像ブロックは比較的大きい量の歪みＤまたは残留データＲを発生する。例えば、空間ダウンサンプリングオペレーション２０または符号化オペレーション中にかなりの量の画像情報が失われている場合がある。これらの状況では、オペレーション７０において、コストファクタが所定のスレッショルドよりも上回る場合、関連する画像ブロックに対し、アップサンプルフィルタは識別されない。コストがスレッショルドを下回る場合、オペレーション７０において、最小コストのアップサンプルフィルタの識別情報が符号化された画像シーケンスと共に符号化器に伝送されるか、または記憶される。

図３は、適応空間アップサンプル符号化器１２をより詳細に示す図で、前に図１を参照して説明したように、空間ダウンサンプルオペレーション２０によりフル解像度のビデオシーケンス１４が処理され、低解像度ビデオシーケンス２２を生成する。動き補償された時間フィルタリング（ＭＣＴＦ）またはインター予測オペレーション９２はフレーム予測を生成するために、時間的に隣接する高解像度フレーム間の類似性を識別する。低解像度ビデオシーケンス２２に対し、同様なオペレーション１０２が実行される。

イントラ予測オペレーション９４は、高解像度ビデオシーケンス１４に対するブロック予測を更に符号化し、提供するために、空間的に隣接する画像ブロック間の類似性を識別する。低解像度ビデオシーケンス２２に対しても同様なイントラ予測オペレーション１０４が実行される。高解像度ビデオシーケンスおよび低解像度ビデオシーケンスにおける最終符号化オペレーション９６および１０６は、それぞれ予測オペレーション後に残る残留データを変換し、量子化し、エントロピー符号化する。

適応空間アップサンプラ３０はフィルタバンク３６からのアップサンプルフィルタを使ってアップサンプルされた画像ブロックを生成する。このアップサンプルされた画像ブロックは高解像度ビデオシーケンス１４のためのイントラ予測オペレーション９４で使用される。例えばアップサンプリングされた画像ブロック３８は、イントラ予測オペレーション９４において対応する高解像度画像ブロックとよく一致する場合、対応する符号化された低解像度画像ブロックおよび任意の残留データだけが符号化され、符号化されたビットストリーム４６および３２として伝送される。

適応アップサンプルフィルタ情報の伝送
図４は、符号化器１２によって選択されたアップサンプルフィルタをどのように復号器２００へ伝えるかのいくつかの例を示す図である。一実施例では、符号化器１２は符号化されたビットストリーム１５０を復号器２００へ送る。符号化されたビットストリーム１５０は画像シーケンス１４内の異なる画像ブロックに関連した、符号化された高解像度データ４６および符号化された低解像度データ３２の双方を含む（図１）。サイド情報１５６は符号化器１２が選択したアップサンプルフィルタを識別する。

復号器２００へ伝送する必要があるサイド情報１５６の量を少なくするために、別の圧縮方式を使用してもよい。使用できる圧縮方式として、差分符号化、予測符号化、コンテクストに基づくエントロピー符号化およびコンテクストに基づく予測符号化などを挙げることができる。これら圧縮方式のほとんどは、サイド情報１５６内の隠された冗長性を少なくするために、符号化器１２および復号器２００の双方において利用できる現在の情報を利用しようとするものである。

１つのブロックよりも大きいグラニュラリティ（粒度）で、アップサンプルフィルタを制御することにより、サイドチャンネルビット１５６の更なる低減を達成できる。例えば、サイド情報１５６は画像ブロックの全シーケンス、フレームのピクチャまたはスライスに対し、分類規則および／またはアップサンプルフィルタを選択できる。このことは、符号化されたビットストリーム１５０として示されており、このビットストリームでは符号化された画像ブロック１５１Ａがアップサンプルフィルタ「１」を識別できる。しかしながら、その後の符号化された画像ブロック１５１Ｂは関連するアップサンプルフィルタ識別子１５６を有することはできない。

この場合、復号器２００内の適応空間アップサンプラ２０８はアップサンプリング画像ブロック１５１Ｂのための前の符号化された画像ブロック１５１Ａに対して識別された同じフィルタ「１」を使用できる。第２の例として、復号器２００内の適応空間アップサンプラ２０８は関連するアップサンプルフィルタ識別子１５６を含まない、符号化された画像ブロック、例えば符号化されたブロック１５１Ｂに対するフィルタバンク２１６内に含まれるデフォルトアップサンプルフィルタを使用できる。このデフォルトフィルタは、予め定義されたものでも良いし、またはサイドチャンネルビットを使用して伝送／転送されたものでも良い。

任意のサイド情報１５６を送ることを回避することも可能である。符号化器１２および復号器２００は、選択時において符号化器１２および復号器２００の双方で利用できる情報に基づき、各々の画像ブロックのためのアップサンプルフィルタを各々が選択できる。例えばフル解像度レイヤおよび低解像度レイヤ３２内の画像ブロックを再構成する。これら再構成された画像ブロックは再構成された画像ピクセルだけでなく、ブロックを構成するために復号器２００へ伝送される追加情報、例えば量子化インターバルおよびモード情報も含むことができる。符号化器１２および復号器２００の双方は、通常、符号化された画像ブロックと共に含まれる、既に提供された符号化された情報を使用するアップサンプルフィルタを別々に選択できる。

多数の異なるアップサンプルフィルタ識別子と、異なる画像ブロックサイズおよび異なるクロマ並びにルミナデータとを関連付けできる。例えば符号化されたビットストリーム１５０内のマクロブロック１６０は、予測データ１６２と、アップサンプルデータ１６４と、残留データ１６６とを含むことができる。アップサンプルデータ１６４は同じマクロブロック１６０に関連付けされた異なるルミナ（輝度）およびクロマサブブロックに対するアップサンプルフィルタ識別子１７０および１７２を含むことができる。例えば符号化された画像内のルミナデータを４×４画像ブロックに符号化し、クロマデータを８×８画像ブロックに符号化できる。次に、これら異なるルミナブロックおよびクロマブロックに対し、異なるアップサンプルフィルタ１７０および１７２を識別できる。

別の実施例では、復号器２００は符号化器１２からの明瞭なサイドバンド信号１５６を受信することなく、利用可能な符号化されたデータストリーム１５０からアップサンプルフィルタを予測できる。しかしながら、符号化器１２は必要に応じて、予測を補正できる。例えば符号化器１２は特定のアップサンプルフィルタを使用することを復号器２００に命令する符号化されたビットストリーム１５０を通して、明瞭な無効信号を送ることができる。別の実施例では、符号化器１２は符号化されたビットストリーム１５０により補正信号を送る。このビットストリーム１５０はアップサンプルフィルタを明瞭に識別できないが、復号器２００に対し、信号値だけ予測されたアップサンプルフィルタをインクリメン／デクリメントすることを命令できる。

符号化器１２は異なるグループの画像ブロックに対し、異なる組のアップサンプルフィルタを指定することもできる。例えば復号器２００内のフィルタバンク２１６はアップサンプルフィルタの多数の異なる組を記憶できる。符号化器は画像ブロックの特定のグループに対し、フィルタバンク２１６内のどの組のアップサンプルフィルタがアクティブであるかを示す信号を送る。例えば符号化器１２は最初のルミナフレームに対し第１の組のフィルタをアクティブにし、クロマフレームに対し第２の組のアップサンプルフィルタをアクティブにすることができる。符号化器１２は同じフレームのうちの異なるサブ部分に対し、復号器２００によって使用されるアクティブな組のアップサンプルフィルタをスイッチングすることもできる。

適応アップサンプル復号
図４を参照し続ける。符号化されたビットストリーム１５０内の高解像度データ４６は高解像度復号器２１０によって復号され、低解像度データ３２は復号器２００内の低解像度復号器２０２によって復号される。低解像度復号器２０２は、低解像度に符号化されたデータ３２を再構成された低解像度ビデオシーケンス２１４に変換する。再構成された低解像度フレーム２１４は適応空間アップサンプラ２０８にも供給される。画像ブロックに関連するフィルタ識別子１５６がある場合、空間アップサンプラ２０８はフィルタバンク２１６内の対応するフィルタを使用し、アップサンプリングされた画像ブロック２１８を生成する。次に、このアップサンプリングされたブロック２１８は高解像度復号器２１０で使用され、対応する高解像度ビデオシーケンス２１２を再構成する。

図５は、図４の復号器２００によって実行されるオペレーションをより詳細に示す図で、復号器はオペレーション２２０において符号化されたビットストリームを受信する。オペレーション２２２において、次の低解像度フレームが復号され、オペレーション２２４において再構成された低解像度フレームから画像ブロックが抽出される。

オペレーション２２６において、復号器は画像ブロックが関連するアップサンプルフィルタ識別子を有するかどうか判断する。フィルタ識別子がなければ、オペレーション２３４において復号器はデフォルトアップサンプルフィルタを使用できる。これとは異なり、適応空間アップサンプラは、一定の基準、例えばイントラブロック符号化のタイプ、識別されるブロックエネルギーなどに基づき、フィルタバンク２１６内のアップサンプルフィルタのどれを使用するかを独立して決定できる。更に別の実施例では、オペレーション２２６において画像ブロックのためのアップサンプルフィルタ識別子１５６がない場合、復号器２００は関連する高解像度画像ブロックを再構成するのに、低解像度画像ブロックを使用することはできない。

画像ブロックがオペレーション２２６において関連するアップサンプルフィルタ識別子を有する場合、オペレーション２２８においてフィルタバンク２１６から関連するアップサンプルフィルタが選択される。この選択されたアップサンプルフィルタはオペレーション２３０において低解像度画像ブロックをアップサンプリングするのに使用され、その結果生じるアップサンプリングされた画像ブロックはオペレーション２３２において対応する高解像度画像ブロックを再構成するのに使用される。オペレーション２４２において、同じフレーム内に他の残りの画像ブロックがある場合、復号器はオペレーション２２６に戻り、フレーム内の次の画像ブロックが関連するアップサンプルフィルタ識別子を有するかどうか判断する。上記プロセスはオペレーション２４２で繰り返される。

図６は、復号器２００をより詳細に示す図で、符号化されたベースレイヤのビットストリーム３２は低解像度復号器２０２により受信される。残留復号オペレーション２６４は、まずベースレイヤのデータ３２を処理し、このオペレーションはエントロピー復号、逆変換および逆量子化オペレーションを含むことができる。残留復号オペレーション２６４の結果には、同じフレーム内の空間的に隣接するブロックから画像ブロックを予測するイントラフレーム予測オペレーション２６２から入手できる任意の結果が追加される。逆動き補償オペレーション２６６は時間的に隣接するフレームから画像ブロックを予測し、再構成された低解像度ビデオ２１４を生成する。再構成されたフレーム２６０は記憶され、次にイントラブロック予測オペレーション２６２および逆動き補償オペレーション２６６へフィードバックされる。

再構成されたフレーム２６０は、適応空間アップサンプラ２０８へ送られ、高解像度のアップサンプリングされたブロック２１８を生成する。アップサンプリングされたブロック２１８はイントラブロック予測の形態であるので、高解像度復号器２１０内におけるイントラ予測オペレーション２５６へ送られる。

エンハンスされたレイヤビットストリーム４６は高解像度復号器２１０へ送られる。残留復号オペレーション２５０はエントロピー復号、逆変換および逆量子化を実行する。次に復号オペレーション２５０からの復号された残留データには、イントラ予測オペレーション２５６からの結果、および逆動き補償オペレーション２５２からのインターフレーム予測の結果が追加される。再構成された高解像度ビデオ２１２が出力され、再構成された高解像度フレーム２５８が記憶され、次にイントラ予測オペレーション２５６およびインターフレーム予測オペレーション２５２へフィードバックされる。

一実施例において、受信デバイスが標準低解像度ディスプレイシステムを有するとき、受信デバイスのディスプレイスクリーン、例えば標準品位のテレビに表示するのに、再構成された低解像度ビデオ２１４が使用される。これとは異なり、受信デバイスが高品位ビデオに適合している場合、再構成される高解像度ビデオ２１２は受信デバイスの高品位ディスプレイスクリーン、例えば高品位テレビに表示される。

図１〜図４に示された符号化器１２および図４〜図６に示された復号器２００の各々は、メモリおよび可能な場合にはその他の集積回路または組み合わせロジックと組み合わせて、１つ以上のデジタル信号プロセッサ（ＤＳＰ）および中央処理ユニット（ＣＰＵ）を使って実現できる。これら実施例では、符号化器１２および復号器２００内の上記別個の論理機能の一部またはすべてはＤＳＰおよび／またはＣＰＵによって実行されるソフトウェアで実現できる。

アップサンプルフィルタの選択
上記のように、画像ブロック（例えばサイズが４×４のピクセル）を所定の数のクラスに分類するのに、局部的画像特性を使用できる。使用できる局部的画像特性として局部的画像パターンを挙げることができる。例えば画像ブロック１６（図１）は複数のクラス、例えば、１）水平パターン、２）垂直パターン、３）４５度の斜めパターン、４）１３５°の斜めパターン、および、５）その他のパターン、に分類できる。高解像度フレームを再構成するのに使用されるアップサンプルフィルタをこれら局部的画像特性に従って選択できる。

第２の例は、画像ブロックのクラスが「強度スペース内に正の傾きを有する強力な水平の特徴部」または「強度スペース内に負の傾きを有する弱い垂直の特徴部」を有するブロックを含むようパターンの強度およびパターンの配向によりブロックを更に分類するものである。この例では、符号化されたビットストリーム内により多くの垂直残留データが存在する場合、低解像度のブロックをアップサンプリングするのにアップサンプルフィルタの第１グループを使用できる。符号化されたビットストリームがより多くの水平残留データを含む場合、低解像度ブロックをアップサンプリングするのにアップサンプルフィルタの第２グループを使用できる。

一組の所定のスレッショルドに関し、全エネルギーレベルに従って画像ブロックを異なるクラスに分類することもできる。ブロックに対する残留情報が極めて少なく、予測があまりない場合、ピクセルが大幅に変化せず、画像ブロックが比較的スムーズであると見なすことができる。このような状況では、補間アップサンプルフィルタはより複雑な画像ブロック内におけるよりもあまり重要ではなくなる。この例では空間アップサンプラがより複雑でないアップサンプルフィルタを選択できる。

分類されたブロックの集合をトレーニングデータとして使用するとき、各クラスに対する最適フィルタを得ることができる。この最適フィルタは二次元（２Ｄ）に分離できるフィルタおよび／または指定された最大サイズに限定できる。適当なトレーニング方法、例えば最小二乗法、制限付き最小二乗法、および／またはベイズ最大事後方法を使って最適フィルタ設計プロセスを達成し、オフライン（すなわちビデオコーデックではなく）またはリアルタイムのいずれかで、この設計プロセスを実行できる。フィルタをオフラインで設計することによって、サイドチャンネル内でフィルタ係数を復号器へ伝送することが不要にもなる。

イントラ予測モード
Ｈ.２６４（例えばＭＰＥＧ−４パート１０のＡＶＣ）またはＭＰＥＧ ＳＶＣの第１ＷＤ（ワーキングドラフト）では、イントラブロックに対する符号化効率を増すために、イントラ予測モードが使用される。イントラ＿４×４予測、またはイントラ＿８×８予測のいずれかに対して、９個のモードが存在し、これらのモードはそれぞれ８個の異なる指向性予測およびＤＣ予測を代表する。イントラ＿１６×１６予測またはイントラクロマ予測のいずれかに対して４つのモードが存在し、これらのモードはＤＣ、水平、垂直および平面予測モードを含む。

これらイントラ予測モードのほとんどは、最良のアップサンプルフィルタと密接な関係を有する指向性予測モードを表示する。その理由は、多分、最良アップサンプルフィルタが予測方向に整合されていなければならないからである。更に復号器には既にイントラ予測モードの情報が送られているので、符号化器および復号器の双方でこの情報を利用できるようになっている。

適応空間アップサンプラの一実施例は、符号化器１２および復号器２００の双方に対して適当なアップサンプルフィルタを選択するためのパラメータのうちの１つとして、低解像度レイヤのためのイントラ予測オペレーション１０４および２６２（図３および図６）で使用されるイントラ予測モードを使用している。このアプローチの簡単な形態は、符号化器１２および復号器２００の双方において、アップサンプルフィルタを選択するのにイントラ予測モードしか使用しないことである。この実施例では、符号化器１２および復号器２００の双方において既にイントラ予測モードを利用できるので、サイド情報を送る必要はない。

別のアプローチは、アップサンプルフィルタを決定するのに使用される多数のパラメータのうちの１つとしてイントラ予測モード情報を使用する。例えば符号化されたデータで識別されるその他の垂直または水平残留情報と組み合わせてイントラ予測モードを使用できる。

更に別の実施例では、一部の画像ブロックに対し、アップサンプルフィルタを識別するのに残留情報およびイントラ予測情報を使用するが、一方、他の画像ブロックのためのアップサンプルフィルタは明瞭に識別できる。このことは、残留情報およびイントラ予測情報から誘導されたアップサンプルフィルタがアップサンプリングされた画像ブロックを生成するための最適なアップサンプルフィルタではないと符号化器が判断したときに生じ得る。

ＳＶＣのＪＳＶＭ０では、Ｉ＿ＢＬマクロブロックモードでインターレイヤイントラテクスチャ予測（すなわち次に低い空間解像度からの情報を使用するイントラテクスチャ予測）が行われる。更にハイパス画像におけるＩ＿ＢＬモードの利用は、ベースレイヤ３２の対応する８×８ブロックが（実際に復号された空間レイヤのための逆ＭＣＴＦしか必要でないように）イントラ符号化されたマクロブロック内に位置するマクロブロックに対してしか認められない。従って、Ｉ＿ＢＬマクロブロックモードは８×８サイズを有するより低い空間解像度の画像ブロックからのアップサンプリングを実行し、対応する８×８ブロックはアップサンプルフィルタを選択するのにも使用できるイントラ予測モード情報を有することになる。

適応アップサンプルフィルタの例
式（１）は低解像度画像ピクセルのブロックから高解像度画像ピクセルのブロックを推定するための１つの手法を示す。分離可能な多相フィルタを使って低解像度から高解像度へのマッピングが行われ、このマッピングは次のように一次元で示される。

ここで、ｘ％Ｓおよびｘ／ＳはそれぞれＳのモジュロおよび整数除算演算子であり、Ｓはスケールファクタである。Ｓ＝２と仮定する。この場合、式（１）は各フィルタが６つのタップを含む二相フィルタである。当然ながら他のタイプのフィルタも使用できる。

現在のＪＳＶＭ仕様では、式（１）内のフィルタ用の係数は画像フレーム間で変化しない。しかしながら、この例ではフィルタ係数を調節できる。この調節は高解像度画像に対して４×４ブロックベースで実行され、水平方向および垂直方向の各々に対し、予め定めたフィルタバンクから補間フィルタを選択することによって実行される。本例におけるフィルタバンク３６は表１内で下記のように定義される４つのメンバーを含む。フィルタバンクの構造は３つの別の（および計算上より簡単な）補間カーネルにより現在の６タップフィルタを強化する。追加フィルタは、バイリニア補間器の場合と同様、２つのサンプルアンドホールド手順を含む。

表１の係数は５ビットの精度で表される。補間フィルタの選択は符号化器１２で実行され、復号器２００へその信号が通知される。水平フィルタおよび垂直フィルタの信号通知は独立して行うことができ、これら信号はエンハンスメントビットストリーム内に含めることができる。

表１内の４つのフィルタから１６の異なるアップサンプルブロックを生成できる。例えば水平方向および垂直方向に第１フィルタを使用できる。別の組み合わせでは水平方向に第１フィルタを使用し、他のフィルタのうちの１つを垂直方向に使用したりすることができる。コストを最小にする水平方向および垂直方向のフィルタの組み合わせが選択される。

次の記載は図２における上記フィルタ選択プロセスのより詳細な説明である。まず、適応算術コードにより各候補フィルタの信号を通知するコストを推定する。ここではコンテクスト適応符号化を使用することはできないが、サイドチャンネルビットを更に低減することは可能である。次に、各候補フィルタによりブロックを補間し、その結果生じる残留ビットを指定画質Ｑｐにより符号化する。次に、総ビット数を最小にするフィルタを選択する。ここで、総ビットは残留ビットとサイドチャンネルビットの合計として定義される。どの画像ブロックも同じ品質で符号化されるように、利用できるすべてのフィルタにわたり総ビットレートを最小にすることは、次のように表される。

ここで、Ｆは候補フィルタの組であり、Ｄ_ＦおよびＲ_Ｆは、それぞれフィルタＦに対する歪み及び信号レート、及び、指定Ｑｐにより補間残留ビットを符号化する時の歪みおよびレートであり、Ｒ_Ｆは次のように示される。

ここで、Ｓｉｄｅ_Ｆは特定フィルタの信号通知をするコスト（ビット単位）であり、Ｒｅｓｉｄｕａｌ_Ｆはアップサンプリングされた高解像度ブロックとオリジナルの高解像度ブロックとの間の差を伝送するコスト（ビット単位）である。

実験結果
性能を評価するためにＪＳＶＭ１.０符号化器に適応空間アップサンプラを実装した。適応アップサンプラをＩｎｔｒａＢＬ−モードのルミナンスブロックに適用し、別個のサイドチャンネル内で補間フィルタの信号を通知するために符号化器を変更した。表１で定められるフィルタバンクを使用し、ＩｎｔｒａＢＬ−モードのブロックの圧縮効率に関して適応アップサンプリングの影響を測定した。テストビットストリームは表２の条件を使用した。

図７〜図１０は、それぞれ、モバイルおよびカレンダーシーケンス、バスシーケンス、フラワーガーデンシーケンス、およびパリシーケンスからのフレームのレート−歪み性能を示す図であり、レンジ［１５、３５］内にあるＱｐ値と共に、それぞれの画像を適応アップサンプリングした結果が示されている。ＪＳＶＭブロック判断ループ内のビット情報を抽出することにより、エンハンスされた各イントラフレームに対するレート−歪み性能を捕捉する。残留ビットを符号化するのに必要なビットを抽出するだけでなく、ＩｎｔｒａＢＬモードに対するサイドチャンネル情報も抽出した。更に、変更されていないＪＳＶＭに対し、ＩｎｔｒａＢＬ残留ビットを符号化するのに必要なビットも抽出した。いずれのケースにおいても、ルミナチャンネルを符号化するコストしか検討しなかった。図７〜図１０では、（適応アップサンプラを有しない）変更されていないＪＳＶＭの性能を「ＪＳＶＭ（６タップを有する）」データポイントで表示する。

図７〜図１０から判るように、適応空間アップサンプリングは各シーケンスに対するＩｎｔｒａＢＬブロックの性能を改善する。例えばエンハンスメントパワー信号対ノイズ比（ＰＳＮＲ）が３８ｄＢのとき、アップサンプラは図７におけるモバイルおよびカレンダーシーケンスを０.７ｄＢ改善する。図８〜図１０における残りのシーケンスに対しては、エンハンスメントＰＳＮＲが３８ｄＢのとき、適応アップサンプラは０.４ｄＢ改善する。

適応アップサンプラの性能はベースレイヤのデータの質に応じて決まる。適応アップサンプラによって導入される利得はエンハンスメントＰＳＮＲに応じて決まるので、このことは図７〜図１０でも明らかである。図７〜図１０の例はベースレイヤおよびエンハンスメントレイヤの双方に対して同じＱｐを使用するので、２つのレイヤのＰＳＮＲは同様である。例えば適応アップサンプラは４５ｄＢのエンハンスメントポイントでモバイルおよびカレンダーシーケンスを、０.９ｄＢ改善する。その他のシーケンスは追加利得を示す。図８〜図１０におけるバス、フラワーガーデンおよびパリの風景は４５ｄＢのエンハンスメントポイントでそれぞれ０.６ｄＢ、０.５ｄＢおよび０.７ｄＢの改善を示す。

サイドチャンネル信号通知
現在のＪＳＶＭでビットストリームを定めることができる。ビットストリーム内に４つのシンタックス要素を導入できる。upsample＿filter＿luma＿horzおよびupsample＿filter＿luma＿vert要素は現在のマクロブロックにおける各クロマブロックに対するフィルタＩＤを含む配列である。マクロブロックに対し８×８変換サイズの信号が送られると、これら配列はマクロブロック内に４つの８×８ブロックに対するフィルタＩＤを含むことができる。別の実施例では、配列はマクロブロック内の１６の４×４ブロックに対するフィルタＩＤを含むことができる。

upsample＿filter＿chroma＿horzおよびupsample＿filter＿chroma＿vert要素は現在のマクロブロックにおける各クロマブロックに対するフィルタＩＤを含む配列とすることができる。ブロックの数はカラーサンプリング密度に対して変わり得る。図４において、これまで説明したようにルミナおよびクロマ要素に対して異なるアップサンプルフィルタバンクを使用することもできる。ＪＳＶＭシンタックスに対して行わなければならない変更は、下記の表３〜表７（スケーラブルエクステンションシンタックスのマクロブロックレイヤ及びスケーラブルエクステンションにおけるマクロブロック予測シンタックス）に示されている。識別を容易にするために、これら変更については影が付けられていることに留意されたい。

復号器は上で定めたシンタックス要素を受信し、低解像度フレームおよび予め定めたFilterBank[]データストラクチャからまとめられたブロックも受信する。次に復号器は出力として高解像度ブロックを生成する。この高解像度ブロックは補間カーネルＩｎｔｅｒｐＨおよびＩｎｔｅｒｐＶによって低解像度フレームを補間することによって生成される。これらルミナブロックの補間カーネルは次のように定められる。

ここで、transform＿size＿flag＿8×8はビットストリームで定められた二進値であり、ｉは現在のマクロブロック内のブロックインデックスである。クロマブロックの補間カーネルも同じように定められる。

ここで、ｉは現在のマクロブロックのクロマブロック内のブロックインデックスであり、ブロックｉが信号のＣｂ成分に対応するときは、ｉｓＣｂ（ｉ）は（１）を戻し、そうでない場合は（０）を戻す。

上記システムは専用のプロセッサシステム、マイクロコントローラ、プログラマブルロジックデバイス、またはオペレーションの一部またはすべてを実行するマイクロプロセッサを使用できる。上記オペレーションの一部はソフトウェアで実行し、他のオペレーションをハードウェアで実行することができる。

便宜上、オペレーションを種々の相互に接続された機能ブロックまたは別個のソフトウェアモジュールとして記載した。しかしながら、このようなことは不要であり、これら機能ブロックまたはモジュールを境界が不明瞭な状態で単一のロジックデバイス、プログラムまたはオペレーションに等価的に集めたケースもあり得る。いずれの場合においても、機能ブロックおよびフレキシブルなインターフェースのソフトウェアモジュールまたはそれらの特徴はそれら自身、またはハードウェアもしくはソフトウェアのいずれかにおける他のオペレーションと組み合わせて実行できる。

本発明の原理を好ましい実施例で説明し、図示したが、これら発明の原理から逸脱することなく、本発明をその配置および細部について変更できることは明らかである。特許請求の範囲ではこれらすべての変更および変形についても権利を請求するものである。

適応空間アップサンプリングを使用する符号化器を示す図である。 図１に示された符号化器のための作動をより詳細に説明するためのフローチャートである。 図１内の符号化器のより詳細な図である。 符号化器が復号器にアップサンプルフィルタ識別子をどのように送るかを示す図である。 図４に示された復号器がどのように作動するかを示すフローチャートである。 図４内の復号器のより詳細な図である。 異なる画像のうちの１つからの適応アップ空間アップサンプリングからの結果を示す図である。 異なる画像のうちの１つからの適応アップ空間アップサンプリングからの結果を示す図である。 異なる画像のうちの１つからの適応アップ空間アップサンプリングからの結果を示す図である。 異なる画像のうちの１つからの適応アップ空間アップサンプリングからの結果を示す図である。

符号の説明

１２…適応アップサンプル符号化器、１４…フレーム、１６…画像ブロック、１８…画像サンプル、２０…空間ダウンサンプルオペレーション、２２…低解像度画像ブロック、２４…画像サンプル、２６…低解像度符号化器、２８…再構成された低解像度フレーム、３０…適応空間アップサンプラ、３１…適応アップサンプルフィルタ生成器、３２…ベースレイヤ（低解像度）、３４…最良のアップサンプルフィルタのための識別子、３６…アップサンプルフィルタバンク、３８…アップサンプリングされたブロック、４０…残留データ、４１…コンパレータ、４２…高解像度符号化器、４４…再構成された高解像度フレーム、４６…エンハンスされたレイヤ（高解像度）。

Claims (28)

1. 低解像度レイヤからの異なる画像ブロックを、高解像度レイヤにおける対応する高解像度画像ブロックを予測するためのアップサンプリングされた高解像度ブロックへアップサンプリングするよう、多数の利用可能なアップサンプルフィルタから適応的に選択するプロセッサを備えたことを特徴とする画像処理装置。
2. 前記プロセッサは、前記アップサンプルフィルタが対応する高解像度画像ブロックをいかに良好に予測するかに従って、前記多数の利用可能なアップサンプルフィルタから選択することを特徴とする請求項１記載の画像処理装置。
3. 前記プロセッサは、前記選択されたアップサンプルフィルタのための識別子を生成し、該識別子を復号器に伝送し、該復号器は前記識別子を使って対応する符号化されたブロックを復号するために同じアップサンプルフィルタを選択することを特徴とする請求項２記載の画像処理装置。
4. 前記プロセッサは、対応する符号化された高解像度画像ブロック内の歪み量と組み合わせて、前記選択されたアップサンプルフィルタの識別子を伝送することに関連するバンド幅量が所定のスレッショルドを超えたときに、画像ブロックのためのアップサンプルフィルタ識別子を伝送しないことを特徴とする請求項３記載の画像処理装置。
5. 前記プロセッサは、前記画像ブロックに関連する垂直または水平画像特性に従い、前記異なるアップサンプルフィルタから選択することを特徴とする請求項１記載の画像処理装置。
6. 前記プロセッサは、画像ブロックに関連するエネルギー特性に従い、前記異なるアップサンプルフィルタから選択することを特徴とする請求項１記載の画像処理装置。
7. 前記プロセッサは、画像ブロックに関連するイントラ予測モードに従い、前記異なるアップサンプルフィルタから選択することを特徴とする請求項１記載の画像処理装置。
8. 前記プロセッサは、異なるルミナおよびクロマフレームに関連する異なる画像ブロックサイズに対し、異なるアップサンプルフィルタを選択することを特徴とする請求項１記載の画像処理装置。
9. 前記プロセッサは、符号化器内で作動し、該符号化器は、異なるアップサンプルフィルタから異なるアップサンプルされた画像ブロックを生成し、高解像度のイントラブロック予測動作中にアップサンプリングされ、前記生成した異なる画像ブロックを使用し、次に高解像度のイントラブロック予測の結果生じた残留値に従って前記アップサンプルフィルタを選択することを特徴とする請求項１記載の画像処理装置。
10. 前記プロセッサは、復号器内で作動し、該復号器は、自立的に、または符号化器から受信したアップサンプルフィルタ識別子に従い、低解像度の画像ブロックをアップサンプリングするための多数の利用可能なアップサンプルフィルタから適応的に選択し、前記選択したアップサンプルフィルタを使用してアップサンプリングされた高解像度画像ブロックを生成し、高解像度イントラブロック予測動作中に前記アップサンプリングされた高解像度画像ブロックを使用し、符号化された高解像度ビットストリームを復号することを特徴とする請求項１記載の画像処理装置。
11. 異なる低解像度画像ブロックを垂直方向と水平方向の双方においてアップサンプリングするのに、アップサンプルフィルタの異なる組み合わせを適応的に選択することを特徴とする請求項１記載の画像処理装置。
12. 個々の画像ブロックをアップサンプリングするために多数の利用可能なアップサンプルフィルタから適応的に選択するステップと、
    前記選択されたアップサンプルフィルタを使用し、関連する低解像度画像ブロックをアップサンプリングされた高解像度画像ブロックに変換するステップと、
    前記アップサンプリングされた高解像度画像ブロックを使用し、高解像度画像を符号化または復号するステップとを備えたことを特徴とするデータを処理するための方法。
13. 同じ低解像度画像ブロックに対し、アップサンプルフィルタの異なる組み合わせを適用することにより、異なるアップサンプリングされた画像ブロックを生成するステップと、
    高解像度画像シーケンスで前記異なるアップサンプリングされた画像ブロックと対応する高解像度画像ブロックとを比較するステップと、
    前記比較の結果生じる残留データに従い、異なる画像ブロックに対し、前記アップサンプルフィルタの組み合わせを選択するステップとを備えたことを特徴とする請求項１２記載の方法。
14. 前記異なる画像ブロックに対し、どのアップサンプルフィルタが選択されたかを識別するステップと、
    前記異なる画像ブロックに関連した前記アップサンプルフィルタ識別子を復号器に送るステップとを更に備えたことを特徴とする請求項１２記載の方法。
15. 前記アップサンプルフィルタ識別子を前記復号器に送ることに関連するコストを決定するステップと、
    所定のスレッショルドを超える関連するコストを有する画像ブロックのために前記復号器へ前記アップサンプルフィルタ識別子を送らないステップとを備えたことを特徴とする請求項１４記載の方法。
16. 前記識別されたアップサンプルフィルタを使用して前記復号器内の関連する低解像度ブロックをアップサンプリングするステップと、
    関連する画像ブロックに対し、アップサンプルフィルタが識別されない時に、前記復号器内のデフォルトアップサンプルフィルタを使用して低解像度ブロックをアップサンプリングするステップとを備えたことを特徴とする請求項１５記載の方法。
17. 同じアップサンプルフィルタの組み合わせを使用する多数の画像ブロックを識別するステップと、単一のアップサンプルフィルタ識別子を前記識別された多数の画像ブロックの全てについて前記復号器に送るステップとを備えたことを特徴とする請求項１４記載の方法。
18. 前記符号化されたブロックに関連する特性を識別するステップと、
    前記識別された特性に従って前記アップサンプルフィルタを選択するステップとを備えたことを特徴とする請求項１２記載の方法。
19. 前記特性は、
    前記画像ブロックに対して使用されるイントラ予測モードと、
    前記画像ブロックに関連する画像パターンと、
    前記画像ブロックに関連する残留データの量と、
    前記画像ブロックのサイズと、
    前記画像ブロックに関連するルミナまたはクロマとの間の任意の組み合わせを含むことを特徴とする請求項１８記載の方法。
20. 異なる数のフィルタタップを有する多数の異なるアップサンプルフィルタのフィルタバンクを設けるステップと、
    前記低解像度画像ブロックをアップサンプリングするために前記多数の異なるアップサンプルフィルタの異なる組み合わせを選択するステップとを備えたことを特徴とする請求項１２記載の方法。
21. 画像シーケンスを符号化する際に、個々の低解像度画像ブロックをアップサンプリングするためのアップサンプルフィルタの異なる組み合わせから選択する符号化器と、
    前記符号化された画像シーケンスを復号する際に、個々の低解像度画像ブロックをアップサンプリングするためのアップサンプルフィルタの異なる組み合わせから選択する復号器とを備えたことを特徴とするデータを処理するためのシステム。
22. 前記符号化器は、アップサンプリングされた高解像度画像ブロックがどれだけ良好に対応する高解像度ブロックを予測するかに従って、前記異なるアップサンプルフィルタを選択することを特徴とする請求項２１記載のシステム。
23. 前記符号化器によって選択された前記アップサンプルフィルタは、前記復号器に識別され、該復号器は、前記符号化された画像シーケンスで対応する低解像度画像ブロックをアップサンプリングするための、前記符号化器により識別されたアップサンプルフィルタを使用することを特徴とする請求項２２記載のシステム。
24. 前記復号器は、個々の画像ブロックに関連する特性に従い、前記符号化器とは独立して前記アップサンプルフィルタを選択することを特徴とする請求項２１記載のシステム。
25. 前記復号器は、該復号器に他のアップサンプルフィルタを使用することを命令する前記符号化器からの無効信号を前記復号器が受信しなければ、前記符号化器とは独立して前記アップサンプルフィルタを予測することを特徴とする請求項２１記載のシステム。
26. 前記符号化器により送られる前記無効信号は、前記復号器がどのアップサンプルフィルタを使用すべきか明瞭に識別するか、または、異なるアップサンプルフィルタに切り替えることを前記復号器に命令することを特徴とする請求項２５記載のシステム。
27. 前記復号器は、アップサンプルフィルタの多数の異なる組を含み、前記符号化器は、前記復号器が前記アップサンプルフィルタの異なる組のうちのどれを使用すべきかを識別することを特徴とする請求項２１記載のシステム。
28. 前記符号化器は、画像ブロックの異なる組み合わせに対し、または前記符号化された画像シーケンスの異なるルミナおよびクロマブロックに対し、前記復号器に前記アップサンプルフィルタの異なる組を使用する信号を送ることを特徴とする請求項２７記載のシステム。

Images