JP2010507352A - 下層のフィルタリングを備えたスケーラブルビデオ符号化 - Google Patents

Abstract

【解決手段】エンハンスメントレイヤデータのためのビデオデータの予測に用いられる動きベクトルの予測に対する第１の改良が記載されている。ベースレイヤデータおよびエンハンスメントレイヤデータの間での任意のピクセルブロックの分割が、エンハンスメントレイヤの動きベクトルの予測ソースとして用いられるベースレイヤの動きベクトルを識別する際に問題になる。開示されている方法は、ベースレイヤのビデオ画像とエンハンスメントレイヤのビデオ画像との間のサイズ差に従ってベースレイヤピクセルブロックの分割マップをスケーリングした後に、動きベクトル予測が行われるエンハンスメントレイヤのピクセルブロックと同位置のスケーリングされたベースレイヤピクセルブロックを識別することにより、エンハンスメントレイヤの動きベクトルを生成する。スケーリングされた同位置のベースレイヤピクセルブロックからの動きベクトルは、ベースレイヤピクセルブロックとエンハンスメントレイヤピクセルブロックとの間の重複の程度に従って重み付けして平均化される。エンハンスメントレイヤデコーダに供給される前に、復元ベースレイヤ画像データをフィルタリングすることで、別の改良がなされる。特定のフィルタが、ベースレイヤデコーダから利用できる予測領域の外側の画像データを必要とする場合には、予測領域データは、予測領域の境界にあるエンハンスメントレイヤからの以前に復号化されたデータで補完されてもよい。
【選択図】図５（ａ）

Description

本発明は、ビデオデコーダに関し、特に、改良されたマルチレイヤビデオデコーダに関する。

ビデオ符号化は、一般的に、動画情報を、帯域幅の制限されたチャネルを介して伝送するために符号化することを指す。様々なビデオ符号化技術が知られている。最も一般的な技術（ＩＴＵ ＨシリーズおよびＭＰＥＧシリーズの符号化規格において規格化されている技術など）は、動き補償予測を用いて、チャネル帯域幅を低減する。動き補償されたビデオのコーダは、以前に復号化された他のフレームのビデオコンテンツを参照して、現在復号化されている新たなフレームのビデオコンテンツを予測することによって、ビデオシーケンスのフレーム間の時間冗長性を活用する。デコーダで、最初のいくつかのフレームの受信および復号化が完了すると、ビデオデコーダは、以前に復号化されたフレームの復号化されたビデオコンテンツを利用して、他のフレームのコンテンツを生成することができる。

階層化ビデオ符号化システムは、幅広い用途のためにビデオ符号化／復号化動作および符号化ビデオデータを構築する。符号化ビデオデータは、第１のセットのビデオデータ（本明細書では「ベースレイヤ」と呼ぶ）を含んでよく、そのデータからは、ソースビデオデータを第１のレベルの画質で復元することができる。符号化ビデオデータは、他のセットのビデオデータ（本明細書では「エンハンスメントレイヤ」と呼ぶ）を含んでよく、そのデータからは、ベースレイヤデータと共に復号化すると、ベースレイヤデータだけを復号化した場合よりも高レベルの画質でソースビデオデータを復元することができる。

階層化ビデオ符号化システムは、多くの符号化環境で応用される。例えば、階層符号化システムは、様々な異なるビデオデコーダのためのビデオデータを符号化する際に有利であり、それらのデコーダは、比較的少ない処理資源を有する場合もあるし、より多くの処理資源を有する場合もある。シンプルデコーダが、ベースレイヤデータだけを復号化して表示することによって、ソースビデオの基本表現を復元してよい。しかしながら、よりロバストなデコーダが、ベースレイヤデータだけでなく１または複数のエンハンスメントレイヤからのデータをも復号化することによって、よりよい画質を復元してもよい。別の用途においては、階層符号化スキームは、チャネル帯域幅を事前に決定することができない伝送環境において有利な場合がある。利用できるチャネル帯域幅が制限されている場合、符号化データのトランスミッタは、チャネルを通してベースレイヤデータのみを送信してよく、これにより、ビデオデコーダは、少なくともソースビデオの基本表現を表示することが可能になる。トランスミッタは、より大きなチャネルを通して複数レイヤの符号化データを送信してよく、それにより、より良好な画質が実現される。

本願の発明者は、本明細書に記載するように、マルチレイヤビデオ符号化システムに対するいくつかの符号化の改良を提案する。

本発明の一実施形態に従って、マルチレイヤビデオデコーダを示す簡略化したブロック図。 本発明の一実施形態に従って、ベースレイヤ符号化およびエンハンスメントレイヤ符号化のピクセルブロックの分割を示す図。 本発明の一実施形態に従って、ベースレイヤ符号化およびエンハンスメントレイヤ符号化のピクセルブロックの分割を示す図。 本発明の一実施形態に従って、ベースレイヤ符号化およびエンハンスメントレイヤ符号化のピクセルブロックの分割を示す図。 本発明の一実施形態に従って、エンハンスメントレイヤビデオデコーダのための動きベクトル予測方法を示す図。 本発明の別の実施形態に従って、マルチレイヤビデオデコーダを示す簡略化したブロック図。 マルチレイヤビデオデコーダのフロー図。 マルチレイヤビデオデコーダのフロー図。

エンハンスメントレイヤデータのためのビデオデータの予測に用いられる動きベクトルの予測のために、第１の改良がなされている。ベースレイヤデータおよびエンハンスメントレイヤデータの間での任意のピクセルブロックの分割が、エンハンスメントレイヤの動きベクトルの予測ソースとして用いられるベースレイヤの動きベクトルを識別する際に問題になる。発明者は、ベースレイヤのビデオ画像とエンハンスメントレイヤのビデオ画像との間のサイズ差に従ってベースレイヤピクセルブロックの分割マップをスケーリングした後に、そのスケーリングされたマップから、動きベクトル予測が行われるエンハンスメントレイヤのピクセルブロックと同位置の（co-located）スケーリングされたベースレイヤピクセルブロックを識別することにより、動きベクトルを生成することを提案する。スケーリングされた同位置のベースレイヤピクセルブロックからの動きベクトルは、スケーリングされたベースレイヤピクセルブロックとエンハンスメントレイヤピクセルブロックとの間の重複の程度に従って重み付けして平均化される。エンハンスメントレイヤデコーダに供給される前に、復元ベースレイヤ画像データに対してフィルタ処理を施す（フィルタリングする）ことで、別の改良がなされる。特定のフィルタが、ベースレイヤデコーダから利用できる予測領域の外側の画像データを必要とする場合には、予測領域データは、予測領域の境界において、エンハンスメントレイヤからの以前に復号化されたデータで補完されてよい。予測領域画像データおよび境界領域画像データのマージによって得られた合成画像に対して、フィルタリングが実行されてもよい。

動きベクトル予測
図１は、本発明の一実施形態に従って、階層化ビデオデコーダ１００を示す簡略化したブロック図である。図に示したように、ビデオデコーダ１００は、ベースレイヤデコーダ１２０およびエンハンスメントレイヤデコーダ１５０を備えてよく、各デコーダは、チャネル１８０から受信した符号化ビデオデータを受信する。チャネル１８０は、符号化ビデオデータの物理的な伝送を行うものであり、通例、チャネルは、電気的、磁気的、または、光学的なメモリデバイスなどの記憶媒体、または、有線通信回線（光学または電気ケーブル）などの物理的な伝送媒体である。チャネルデータは、ベースレイヤデコーダ１２０による復号化を意図された符号化データを、エンハンスメントレイヤデコーダ１５０による復号化を意図された符号化データから区別する識別子を符号化信号内に備える。特定の実装例において、複数のエンハンスメントレイヤデコーダ（図１では、１つだけが図示されている）を提供することが有利な場合があり、かかる場合、チャネルデータは、受信するデコーダ１００が適切なエンハンスメントレイヤデコーダにデータをルーティングすることを可能にする識別子を備える。

図１に示したように、ベースレイヤデコーダ１２０は、エントロピデコーダ１２２、逆量子化部１２４、逆変換部１２６、動き補償予測部１２８、加算部１３０、および、フレームストア１３２を備えてよい。符号化ビデオデータは、例えば、ランレングス符号化によってエントロピ符号化されたシリアルデータストリームとしてビデオ情報を表すことが多い。エントロピデコーダ１２２は、この符号化処理の逆処理を行い、ベースレイヤデコーダ１２０によるさらなる処理のためにピクセルブロック配列の係数データを構築してよい。逆量子化部１２４は、通例、エンコーダ（図示せず）によって実行された量子化処理の逆処理を行うために、係数データに量子化パラメータを乗じる。デコーダ１２０は、チャネルデータから明示的に、または、チャネルに供給されたデータからの導出によって、量子化パラメータを受信するが、かかる処理は周知である。逆変換部１２６は、離散コサイン変換、ウェーブレット符号化、または、その他の周知の変換などの変換によって、ピクセルブロック係数をピクセル値に変換してよい。逆変換部１２６によって生成されたピクセルデータは、加算部１３０の第１の入力に出力される。

最近のビデオコーダは、しばしば、予測符号化技術を用いて、符号化された信号の帯域幅を低減している。フレームストア１３２は、ベースレイヤデコーダ１２０によって以前に復号化されたピクセルブロックのピクセルデータを格納してよい。ピクセルデータは、現在復号化されているビデオフレームのピクセルブロックに属していてよい。さらに、以前に復号化されたフレーム（しばしば、「参照フレーム」と呼ばれる）のピクセルブロックに属するピクセルデータが、新たに受信したピクセルブロックのビデオデータの予測に利用できてよい。かかる場合には、チャネルデータは、新たに受信したピクセルブロックの動きベクトル１３４を含んでおり、それらの動きベクトルは、新しいピクセルブロックの予測ソースとして用いられる参照フレームからのピクセルデータを識別する。与えられたピクセルブロックに対して、動きベクトル１３４は、チャネルで直接的に供給されてもよいし、ビデオシーケンスの他のピクセルブロックの動きベクトルから導出されてもよい。

動き補償予測部１２８は、動きベクトルデータをレビューしてよく、対応するピクセルブロックのための予測ソースとしてフレームストア１３２からデータを読み出させてよい。用いられる予測モードに応じて、ピクセルデータは、１または２の参照フレームから読み出されてよい。単一の参照フレームから読み出されたピクセルデータが、加算部に直接提供されることが多い（ライン１３６）。一対の参照フレームから読み出されたピクセルデータが、加算部１３０に提供される前に、処理（例えば、平均化）されてもよい。加算部１３０は、ピクセルブロック単位で復元画像データ１３８を生成してよく、そのデータは、出力データとしてベースレイヤデコーダ１２０から出力されてよい。ビデオフレームがビデオシーケンス内の参照フレームとして識別された場合、復元画像データ１３８は、その後の復号化動作に用いるためにフレームストア１３２に格納されてよい。ベースレイヤデコーダからの復元画像データ１３８は、ディスプレイに出力されてもよいし、必要に応じて後で利用するために格納されてもよい。

図１に示したように、エンハンスメントレイヤデコーダ１５０も、エントロピデコーダ１５２、逆量子化部１５４、逆変換部１５６、動き予測部１５８、加算部１６０、および、フレームストア１６２を備えてよい。エントロピデコーダ１５２は、チャネルから受信した符号化エンハンスメントレイヤデータに用いられたエントロピ符号化処理の逆処理を行ってよく、さらなる処理のためにピクセルブロック配列の係数データを構築してよい。逆量子化部１５４は、通例、エンコーダ（図示せず）によってエンハンスメントレイヤデータに実行された量子化処理の逆処理を行うために、係数データに量子化パラメータを乗じてよい。エンハンスメントレイヤデコーダ１５０は、エンハンスメントレイヤチャネルデータから明示的に、または、チャネルに提供されたデータからの導出によって、量子化パラメータを受信するが、かかる処理は周知である。逆変換部１５６は、離散コサイン変換、ウェーブレット符号化、または、その他の周知の変換などの変換によって、ピクセルブロック係数をピクセル値に変換してよい。逆変換部１５６によって生成されたピクセルデータは、加算部１６０の第１の入力に出力される。

フレームストア１６２は、エンハンスメントデコーダ１５０によって以前に復号化されたピクセルブロックのピクセルデータ１６４を格納してよい。ピクセルデータ１６４は、現在復号化されているビデオフレームのピクセルブロックに属していてよい。さらに、エンハンスメントレイヤデコーダ１５０によって以前に復号化された参照フレームのピクセルブロックに属するピクセルデータが、新たに受信されたピクセルブロックのビデオデータの予測に利用できてよい。本発明の一実施形態によると、エンハンスメントレイヤデコーダ１５０のための動きベクトルは、ベースレイヤデコーダ１２０に用いられる動きベクトルから予測されてよい。エンハンスメントレイヤデコーダは、動きベクトル予測の向上を助ける動きベクトル残差１６６（「Δｍｖ」と示されている）を受信する。

一実施形態において、動き補償予測部１５８は、ベースレイヤチャネルデータから動きベクトル１３４を、エンハンスメントレイヤチャネルデータからΔｍｖ１６６を受信する。分割マッピング部１６８は、ベースレイヤ復号化処理とエンハンスメントレイヤ復号化処理の両方のためのピクセルブロック定義を受信してよい。各復号化レイヤは、符号化ビデオに対して、異なるピクセルブロック分割が適用されたものであってよい。動き補償予測部１５８は、本明細書に記載するように、２つのピクセルブロック分割処理の導出として、エンハンスメントレイヤピクセルブロックのための動きベクトルを予測してよい。動き補償予測部１５８は、マルチプレクサ１７０および制御ライン１７２を通して、チャネル１８０に供給された復号化命令によって指示されたように、フレームストア１３２に格納されたベースレイヤ参照フレームから、および／または、フレームストア１６２に格納されたエンハンスメントレイヤ参照フレームから、ビデオデータを予測してよい。エンハンスメントレイヤデコーダからの復元画像データは、ディスプレイに出力されてもよいし、必要に応じて後で利用するために格納されてもよい。

図１は、ビデオデコーダ１００の機能ブロック図である。実際には、コンピュータシステム上で実行されるソフトウエアプログラムとして、または、ハードウエアにおける回路システムとして、ビデオデコーダを提供することが一般的である。本発明の原理は、かかる用途のすべてに適用できる。

図２は、ビデオデータのフレームに適用された２つの代表的なピクセルブロック分割スキームを示した図である。１つの一般的な用途では、符号化ベースレイヤデータは、ある特定の表示サイズのビデオデータを表すが、符号化エンハンスメントレイヤデータは、より大きなサイズの同じビデオデータを表す。図２は、符号化ベースレイヤデータが、４×１２ピクセルのピクセルブロックを用いて１１２×９６ピクセルサイズのビデオフレームを表している一例である（図２（ａ））。この例において、符号化エンハンスメントレイヤデータは、６４×６４ピクセルのピクセルブロックを用いて４４８×３８４ピクセルサイズの同じビデオを表している（図２（ｂ））。したがって、符号化エンハンスメントレイヤが復号化されると、復元ビデオは、符号化ベースレイヤデータだけが復号化された場合に復元されたビデオの４倍のサイズを有する。

チャネル１７０からの符号化ビデオデータは、ベースレイヤとエンハンスメントレイヤの両方に対するピクセルブロックサイズを定義する管理データを含んでいてよい。かかるデータは、エンハンスメントレイヤの動き補償部１５８が利用するために、分割マッピング部１６８によって読み出されてよい（図１）。

図３は、本発明の一実施形態に従って、エンハンスメントレイヤ復号化処理で利用される動きベクトルを予測する方法３００を示す図である。方法３００は、ベースレイヤピクセルブロックおよびそれらの動きベクトルをスケーリングするステップから始まってよい（ステップ３１０）。エンハンスメントレイヤピクセルブロックの動きベクトルを予測するために、方法３００は、それぞれのエンハンスメントレイヤピクセルブロックと同位置のスケーリングされたベースレイヤピクセルブロックを識別してよい（ステップ３２０）。複数のスケーリングされたベースレイヤピクセルブロックが、この処理によって識別されてよい。かかるスケーリングされたベースレイヤピクセルブロックの各々に対して、方法３００は、エンハンスメントレイヤピクセルブロックとスケーリングされたベースレイヤピクセルブロックとの重複の程度に応じて重み付けして、スケーリングされたピクセルブロックに対応するスケーリングされた動きベクトルを平均化してよい（ステップ３３０）。一実施形態においては、スケーリングされたベースレイヤピクセルブロックが、それに関連する動きベクトルを有していない場合（ステップ３４０）、隣接するベースレイヤピクセルブロックの動きベクトルから、動きベクトルが補間されてよい（ステップ３５０）。

図２（ｃ）は、図２の代表的なベースレイヤおよびエンハンスメントレイヤのピクセルブロック分割との関連で、図３の方法の動作を示す図である。上述のように、復元されたエンハンスメントレイヤビデオは、復元されたベースレイヤビデオの４倍のサイズを有する。ベースレイヤピクセルブロックは、４ピクセル×１２ピクセルであり、エンハンスメントレイヤピクセルブロックは、６４ピクセル×６４ピクセルである。ビデオサイズの差によってスケーリングされると、スケーリングされたベースレイヤピクセルブロックは、１６ピクセル×４８ピクセルである。図２（ｃ）は、３つの６４×６４のエンハンスメントレイヤピクセルブロック２１０．１―２１０．３（点線で示されている）、および、２つのレイヤの間のサイズ差（４倍）に従ってスケーリングされた１２のベースレイヤピクセルブロックＢＰＢｌｋ（０、０）−ＢＰＢｌｋ（３、３）の配列を示す図である。図に示したように、スケーリングされたベースレイヤピクセルブロックの間の境界は、エンハンスメントレイヤピクセルブロックの間の境界とそろっていない。例えば、スケーリングされたベースレイヤピクセルブロックＢＰＢｌｋ（０、０）、ＢＰＢｌｋ（０、１）、ＢＰＢｌｋ（０、２）、および、ＢＰＢｌｋ（０、３）は、エンハンスメントレイヤピクセルブロック２１０．１内に完全に含まれているが、スケーリングされたベースレイヤピクセルブロックＢＰＢｌｋ（１、０）、ＢＰＢｌｋ（１、１）、ＢＰＢｌｋ（１、２）、および、ＢＰＢｌｋ（１、３）の各々は、３分の１の領域だけエンハンスメントレイヤピクセルブロック２１０．１と重複している。これらのベースレイヤピクセルブロックの動きベクトルの寄与を平均化する時に、ベースレイヤピクセルブロックＢＰＢｌｋ（１、０）、ＢＰＢｌｋ（１、１）、ＢＰＢｌｋ（１、２）、および、ＢＰＢｌｋ（１、３）からのスケーリングされた動きベクトルには、ベースレイヤピクセルブロックＢＰＢｌｋ（０、０）、ＢＰＢｌｋ（０、１）、ＢＰＢｌｋ（０、２）、および、ＢＰＢｌｋ（０、３）のスケーリングされた動きベクトルよりも小さい重み付けが与えられてよい。

エンハンスメントレイヤ２１０．２に関しては、その領域内に完全に収まっているスケーリングされたベースレイヤピクセルブロックはない。ベースレイヤピクセルブロックＢＰＢｌｋ（１、０）、ＢＰＢｌｋ（１、１）、ＢＰＢｌｋ（１、２）、ＢＰＢｌｋ（１、３）、ＢＰＢｌｋ（２、０）、ＢＰＢｌｋ（２、１）、ＢＰＢｌｋ（２、２）、および、ＢＰＢｌｋ（２、３）はそれぞれ、ピクセルブロック２１０．２と３分の２重複している。各ベースレイヤピクセルブロックの動きベクトルの寄与を平均化する時に、動きベクトルは、重複の程度に対応した重み付けを割り当てられてよい。この例では、重複の程度がたまたま同じ３分の２であるという理由だけで、すべての同位置のベースレイヤピクセルブロックの重み付けが同じになる。

上述のように、本発明の実施形態は、ベースレイヤビデオデータおよびエンハンスメントレイヤビデオデータが符号化の前に任意のピクセルブロック分割を受けるマルチレイヤビデオデコーダのためのエンハンスメントレイヤ動きベクトルを予測する方法を提供する。

合成画像の生成およびフィルタリング
本発明の別の実施形態によると、復号化画像データが復号化レイヤの間で交換される時に、マルチレイヤデコーダが、合成画像の生成およびフィルタリングを提供してよい。発明者は、エンハンスメントレイヤ復号化がビデオフレームの特定の領域（本明細書では「予測領域」と呼ぶ）で実行される符号化環境への応用を想定している。レイヤ間フィルタリングは、ベースレイヤデコーダから得られる予測領域に対応する復元画像データに対して実行されてよい。マルチピクセルフィルタリング動作が、復元ベースレイヤデータに適用される場合、フィルタリング動作は、予測領域の境界において十分に効果的でない場合がある。フィルタリング動作の性能を向上させるために、予測領域データは、エンハンスメントレイヤデコーダのフレームストア内にある利用可能な以前に復号化されたフレームから得られた境界データで補完されてよい。

図４は、本発明の一実施形態に従って、階層化ビデオデコーダ４００を示す簡略化したブロック図である。図に示したように、ビデオデコーダ４００は、ベースレイヤデコーダ４２０およびエンハンスメントレイヤデコーダ４５０を備えてよく、各デコーダは、チャネル４８０から受信した符号化ビデオデータを受信する。チャネル４８０は、符号化ビデオデータの物理的な伝送を行うものであり、一般的に、チャネルは、電気的、磁気的、または、光学的なメモリデバイスなどの記憶媒体、または、有線通信回線（光学または電気ケーブル）などの物理的な伝送媒体である。チャネルデータは、ベースレイヤデコーダ４２０による復号化を意図された符号化データを、エンハンスメントレイヤデコーダ４５０による復号化を意図された符号化データから区別する識別子を符号化信号内に備える。特定の実装例において、複数のエンハンスメントレイヤデコーダ（図４では、１つだけが図示されている）を提供することが有利な場合があり、かかる場合、チャネルデータは、受信するデコーダ４００が適切なエンハンスメントレイヤデコーダにデータをルーティングすることを可能にする識別子を備える。

図４に示したように、ベースレイヤデコーダは、エントロピデコーダ４２２、逆量子化部４２４、逆変換部４２６、動き予測部４２８、加算部４３０、および、フレームストア４３２を備えてよい。符号化ビデオデータは、しばしば、例えば、ランレングス符号化などのエントロピ符号化スキームに従って圧縮されたシリアルデータストリームとしてビデオ情報を表す。エントロピデコーダ４２２は、この符号化処理の逆処理を行い、ベースレイヤデコーダ４２０によるさらなる処理のためにピクセルブロック配列の係数データを構築してよい。逆量子化部４２４は、通例、エンコーダ（図示せず）によって実行された量子化処理の逆処理を行うために、係数データに量子化パラメータを乗じる。デコーダは、チャネルデータから明示的に、または、チャネルに提供されたデータからの導出によって、量子化パラメータを受信するが、かかる処理は周知である。逆変換部４２６は、離散コサイン変換、ウェーブレット符号化、または、その他の周知の変換などの変換によって、ピクセルブロック係数をピクセル値に変換する。逆変換部４２６によって生成されたピクセルデータは、加算部４３０の第１の入力に出力される。

フレームストア４３２は、ベースレイヤデコーダ４２０によって以前に復号化されたピクセルブロックのピクセルデータを格納してよい。ピクセルデータは、現在復号化されているビデオフレームのピクセルブロックに属していてよい。さらに、参照フレームのピクセルブロックに属するピクセルデータは、新たに受信したピクセルブロックのビデオデータの予測に利用できてよい。かかる場合には、チャネルデータは、新たに受信したピクセルブロックの動きベクトル４３４を含んでおり、それらの動きベクトルは、新たに受信したピクセルブロックの予測ソースとして用いられるピクセルデータを識別する。与えられたピクセルブロックに対して、動きベクトル４３４は、チャネルで直接的に供給されてもよいし、ビデオシーケンスの他のピクセルブロックの動きベクトルから導出されてもよい。

動き補償予測部４２８は、動きベクトルデータをレビューしてよく、対応するピクセルブロックのための予測ソースとしてフレームストア４３２からデータを読み出させてよい。用いられる予測モードに応じて、ピクセルデータは、１または２の参照フレームから読み出されてよい。単一の参照フレームから読み出されたピクセルデータが、加算部に直接提供されることが多い（ライン４３６）。一対の参照フレームから読み出されたピクセルデータが、加算部に提供される前に、処理（例えば、平均化）されてもよい。加算部４３０は、ピクセルブロック単位で復元画像データ４３８を生成してよく、そのデータは、出力データとしてベースレイヤデコーダから出力されてよい。ビデオフレームがビデオシーケンス内の参照フレームとして識別された場合、復元ビデオデータは、その後の復号化動作に用いるためにフレームストア４３２に格納されてよい。ベースレイヤデコーダ４２０からの復元画像データは、ディスプレイに出力されてもよいし、必要に応じて後で利用するために格納されてもよい。

一実施形態によると、ビデオデコーダ４００は、合成画像生成・フィルタリング（「ＣＩＧ」）部４４０とフレームストア４４２とを備えてよい。ＣＩＧ部４４０は、予測領域において復元されたベースレイヤビデオデータ４３８を受信してよい。それは、さらに、エンハンスメントレイヤデコーダ４５０から、復号化された画像データを受信してよい。ＣＩＧ部４４０は、図５および６に示すように、予測領域データと、予測領域を縁取る空間領域で生じる復元エンハンスメントレイヤデータとの間のマージによって合成画像データを生成してよい。なお、予測領域は、復元ベースレイヤデータと復元エンハンスメントレイヤデータとの間の画像サイズ決定の差を克服するために必要に応じてスケーリングされている。予測領域データと境界領域データは、ビデオシーケンス内の異なるフレームに由来する。

図４に示したように、エンハンスメントレイヤデコーダ４５０も、エントロピデコーダ４５２、逆量子化部４５４、逆変換部４５６、動き予測部４５８、加算部４６０、および、フレームストア４６２を備えてよい。エントロピデコーダ４５２は、チャネルから受信したエンハンスメントレイヤデータに用いられたエントロピ符号化処理の逆処理を行ってよく、さらなる処理のためにピクセルブロック配列の係数データを構築してよい。逆量子化部４５４は、通例、エンコーダ（図示せず）によってエンハンスメントレイヤデータに実行された量子化処理の逆処理を行うために、係数データに量子化パラメータを乗じてよい。エンハンスメントレイヤデコーダ４５０は、エンハンスメントレイヤチャネルデータから明示的に、または、チャネルに供給されたデータからの導出によって、量子化パラメータを受信するが、かかる処理は周知である。逆変換部４５６は、離散コサイン変換、ウェーブレット符号化、または、その他の周知の変換などの変換によって、ピクセルブロック係数をピクセル値に変換する。逆変換部４５６によって生成されたピクセルデータは、加算部４６０の第１の入力に出力される。

フレームストア４６２は、ベースレイヤデコーダ４５０によって以前に復号化されたピクセルブロックのピクセルデータ４６４を格納してよい。ピクセルデータ４６４は、現在復号化されているビデオフレームのピクセルブロックに属していてよい。さらに、エンハンスメントレイヤデコーダ４５０によって以前に復号化された参照フレームのピクセルブロックに属するピクセルデータが、新たに受信されたピクセルブロックのビデオデータの予測に利用できてよい。本発明の一実施形態によると、エンハンスメントレイヤデコーダ４５０のための動きベクトルは、ベースレイヤデコーダ４２０に用いられる動きベクトルから予測されてよい。エンハンスメントレイヤデコーダは、動きベクトル予測の向上を助ける動きベクトル残差４６６（「Δｍｖ」と示されている）を受信する。

一実施形態において、動き補償予測部４５８は、ベースレイヤチャネルデータから動きベクトル４３４を、エンハンスメントレイヤチャネルデータからΔｍｖ４６６を受信する。動き補償予測部４５８は、マルチプレクサ４６８および制御ラインを通して、チャネル４８０に供給された復号化命令によって指示されたように、フレームストア４４２内の予測データから、および／または、フレームストア４６２に格納されたエンハンスメントレイヤ参照フレームから、ビデオデータを予測してよい。随意的に、図１ないし３に示された処理に従って、動きベクトル予測が実行されてよい。エンハンスメントレイヤデコーダからの復元画像データは、ディスプレイに出力されてもよいし、必要に応じて後で利用するために格納されてもよい。

図５は、マルチレイヤデコーダの合成画像生成・フィルタリング処理の動作を示す図である。図５（ａ）は、チャネルデータ（図示せず）から復元ベースレイヤ画像データ５２２を生成するベースレイヤデコーダ５２０の動作を示している。ベースレイヤ画像データ５２２は、図５（ｂ）に示された予測領域の範囲内に制限される。エンハンスメントレイヤデコーダ５５０は、以前に復号化されたフレームの画像データを（フレームストア５５２内に）格納しており、そのデータから境界領域データが抽出されてよい（図５（ｂ））。図５（ｂ）において、予測領域データは、境界領域と画像サイズが一致するようにスケーリングされていることが示されている。

ＣＩＧ部５３０は、予測領域データおよびエンハンスメントレイヤフレームストア５５２内の利用可能な画像データから合成画像を生成する画像マージ部５３２を備える。具体的には、どのフィルタリング動作が実行されるかを決定すると、画像マージ部５３２は、予測領域内の各ピクセル位置に対して完全にフィルタリング動作を実行するために取得される必要がある境界領域データの量を決定してよい。画像マージ部５３２は、対応する量のデータをフレームストア５３２から取り出して、予測領域画像データ５２２と統合してよい。その後、フィルタリング５３４が、従来の方法で合成画像データに適用されてよい。フィルタリングされた画像データは、その後の復号化動作でエンハンスメントレイヤデコーダ５５０が利用できるように、フレームストア５４０に格納されてよい。

レイヤ間合成画像の生成およびフィルタリング処理は、例えば、デブロックフィルタ、リンギングフィルタ、エッジ検出フィルタなどを含む、様々な周知のフィルタリング動作と共に利用されてよい。フィルタリング動作の種類は、チャネルに供給された管理信号５３６、または、その信号から導出された信号（図４にモード信号４４４として示されている）によって、合成画像生成・フィルタリング部５３０に対して指定されてよい。

一実施形態においては、マージおよびフィルタリング動作は、それぞれのデコーダ４２０、４５０によって出力された復元データよりも早い復号化段階で得られたデータに対して実行されてよい。したがって、ＣＩＧ部４４０は、ライン４３８の代わりに、逆変換部４２６、逆量子化部４２４、および、エントロピデコーダ４２２からの入力（点線）を受けることが図示されている。ＣＩＧ部４４０は、エンハンスメントレイヤデコーダから同様のデータを取得してもよい（図４には示されていない）。かかる場合には、ＣＩＧ部４４０は、それぞれのデコーダ４２０、４５０から取得される複数の種類のデータに対して複数のフィルタリング部（図５、５３０）を備えてよい。

本明細書では、本発明のいくつかの実施形態について詳細に図示および記載している。しかしながら、上述の教示により、本発明の趣旨および意図された範囲を逸脱することなく添付の特許請求の範囲内で、本発明の変形例および変更例が網羅されていることを理解されたい。

Claims (20)

1. マルチレイヤビデオ復号化処理において動きベクトルを予測する方法であって、
   ベースレイヤ復号化処理だけによって得られた復元ビデオデータとエンハンスメントレイヤ復号化処理から得られた復元ビデオデータのサイズ差を決定し、
   前記決定されたサイズ差に従ってベースレイヤピクセルブロック分割マップをスケーリングし、
   前記サイズ差に従ってスケーリングされた時に、どのベースレイヤピクセルブロックが、エンハンスメントレイヤピクセルブロックと同位置にあるかを決定し、
   前記サイズ差に従って前記同位置にあるベースレイヤピクセルブロックの動きベクトルをスケーリングし、
   前記エンハンスメントレイヤピクセルブロックと、それぞれの前記スケーリングされたベースレイヤピクセルブロックとの重複の程度に従って、前記スケーリングされた動きベクトル各々の寄与に重み付けして、前記同位置にあるベースレイヤピクセルブロックの前記スケーリングされた動きベクトルを平均化し、
   エンハンスメントレイヤピクセルブロックの動きベクトルを予測する
   ことを備える、方法。
2. 請求項１に記載の方法であって、さらに、同位置にあるベースレイヤピクセルブロックが、それに関連する動きベクトルを有していない場合に、隣接するベースレイヤピクセルブロックの動きベクトルから、それぞれの前記ベースレイヤピクセルブロックの動きベクトルを補間することを備える、方法。
3. 請求項１に記載の方法であって、さらに、通信チャネルから受信したエンハンスメントレイヤピクセルブロック定義およびベースレイヤピクセルブロックから分割マップを生成することを備える、方法。
4. 請求項１に記載の方法であって、さらに、前記予測された動きベクトルに従って、格納された復号化ベースレイヤ画像データから前記エンハンスメントレイヤピクセルブロックのデータを予測することを備える、方法。
5. 請求項１に記載の方法であって、さらに、前記予測された動きベクトルに従って、格納された復号化エンハンスメントレイヤ画像データから前記エンハンスメントレイヤピクセルブロックのデータを予測することを備える、方法。
6. マルチレイヤビデオデコーダであって、
   時間予測技術に従って、チャネル内に供給されたベースレイヤ符号化ビデオから復元ベースレイヤ画像データを生成するためのベースレイヤデコーダと、
   時間予測技術に従って、チャネル内に供給されたエンハンスメントレイヤ符号化ビデオから復元エンハンスメントレイヤ画像データを生成するためのエンハンスメントレイヤデコーダと、を備え、
   前記エンハンスメントレイヤデコーダは、
   前記ベースレイヤ画像データおよび前記エンハンスメントレイヤ画像データのピクセルブロック分割を表す情報を格納する分割マップと、
   動きベクトルに従って、以前に復号化された画像データから復元エンハンスメントレイヤ画像データを予測する動き補償予測部とを備え、
   少なくとも１つのエンハンスメントレイヤピクセルブロックの動きベクトルは、
   ベースレイヤピクセルブロックとエンハンスメントレイヤピクセルブロックとの間のサイズ差に従ってスケーリングされた時に、どのベースレイヤピクセルブロックが、前記エンハンスメントレイヤピクセルブロックと同位置にあるかを決定し、
   前記サイズ差に従って前記同位置にあるベースレイヤピクセルブロックの動きベクトルをスケーリングし、
   前記エンハンスメントレイヤピクセルブロックと、それぞれの前記スケーリングされたベースレイヤピクセルブロックとの重複の程度に従って、前記スケーリングされた動きベクトル各々の寄与に重み付けし、前記同位置にあるベースレイヤピクセルブロックの前記スケーリングされた動きベクトルを平均化すること、
   に従って予測される、デコーダ。
7. 請求項６に記載のデコーダであって、同位置にあるベースレイヤピクセルブロックが、それに関連する動きベクトルを有していない場合に、前記動き補償予測部は、隣接するベースレイヤピクセルブロックの動きベクトルから、それぞれの前記ベースレイヤピクセルブロックの動きベクトルを補間する、デコーダ。
8. 請求項６に記載のデコーダであって、前記分割マップは、通信チャネルから受信したエンハンスメントレイヤピクセルブロック定義およびベースレイヤピクセルブロックから分割情報を導出する、デコーダ。
9. 請求項６のデコーダであって、前記以前に復号化された画像データは、格納された復号化ベースレイヤ画像データである、デコーダ。
10. 請求項６のデコーダであって、前記以前に復号化された画像データは、格納された復号化エンハンスメントレイヤ画像データである、デコーダ。
11. ビデオ復号化方法であって、
    時間予測技術に従って、チャネルに供給されたベースレイヤ符号化ビデオから復元された予測領域データを復号化し、
    前記復元された予測領域データと以前に復号化された復元エンハンスメントレイヤデータから得られた境界データとの間のマージによって合成画像データを生成し、
    前記合成画像データに対してフィルタ処理を施し、
    前記フィルタ処理が施された合成画像データと、時間予測技術に従って、チャネル内に供給されたエンハンスメントレイヤ符号化ビデオとから、新たな復元エンハンスメントレイヤ画像データを生成する工程と、
    を備える、方法。
12. 請求項１１に記載の方法であって、境界領域として取得されるデータの量が、施されるフィルタ処理の種類から決定される、方法。
13. 請求項１１に記載の方法であって、前記フィルタ処理はデブロックフィルタ処理である、方法。
14. 請求項１１に記載の方法であって、前記フィルタ処理はリンギングフィルタ処理である、方法。
15. 請求項１１に記載の方法であって、前記フィルタフィルタ処理はエッジ検出フィルタ処理である、方法。
16. ビデオデコーダであって、
    時間予測技術に従って、チャネル内に供給されたベースレイヤ符号化ビデオから復元ベースレイヤ画像データを生成するためのベースレイヤデコーダと、
    時間予測技術に従って、チャネル内に供給されたエンハンスメントレイヤ符号化ビデオから復元エンハンスメントレイヤ画像データを生成するためのエンハンスメントレイヤデコーダであって、復元エンハンスメントレイヤ画像データの参照フレームのためのストレージを有する、エンハンスメントレイヤデコーダと、
    復元ベースレイヤ画像データと、復元エンハンスメントレイヤ画像データの参照フレームとのための入力を有し、前記復元ベースレイヤ画像データからの予測領域と、復元エンハンスメントレイヤ画像データの前記参照フレームからの境界領域とをマージする合成画像生成部であって、前記予測領域は、前記復元ベースレイヤデータと前記復元エンハンスメントレイヤ画像データとの間の任意のサイズ差をなくすようにスケーリングされており、前記境界領域は、前記予測領域によって占められる空間領域を縁取る空間領域から得られる、合成画像生成部と、
    前記マージされたデータに画像フィルタ処理を施すためのフィルタであって、前記フィルタの出力は、時間予測のための参照画像データとして前記エンハンスメントレイヤデコーダに入力される、フィルタと、
    を備える、デコーダ。
17. 請求項１６のデコーダであって、前記境界領域の幅は、施される画像フィルタ処理の種類から決定される、デコーダ。
18. 請求項１６に記載のデコーダであって、前記画像フィルタ処理はデブロックフィルタ処理である、デコーダ。
19. 請求項１６に記載のデコーダであって、前記画像フィルタ処理はリンギングフィルタ処理である、デコーダ。
20. 請求項１６に記載のデコーダであって、前記画像フィルタ処理はエッジ検出フィルタ処理である、デコーダ。

Images