JP2018533292A - 予測符号化のための適応シャープニングフィルタ - Google Patents

Abstract

本発明は、参照フレームから得られた予測ブロックに基づく、原フレームの原ブロックの符号化されたビデオビットストリームへの予測符号化のためのビデオコーダ（400、600）に関する。ビデオコーダは、原ブロックを記憶するように構成されるバッファ（401、601）と、予測ブロックを記憶するように構成されるバッファ（408、608）と、予測ブロックに空間適応シャープニングフィルタリングを適用するように構成される適応シャープニングフィルタ（409、609）と、を備える。

Description

本発明は、一般にビデオ処理の分野に関し、具体的には、予測符号化をサポートするためのビデオコーダ及びビデオデコーダに関する。本発明は更に、ビデオを予測符号化する方法と、予測符号化によって得られた符号化されたビデオビットストリームを復号する方法とに関する。最後に、本発明は、該方法を実行するためのプログラムコードを有するコンピュータプログラムに関する。

既知のビデオシステムは、符号化及び復号の効率を高めるために予測符号化を採用する。予測符号化の例としては、スケーラブルビデオ符号化のレイヤ間予測、フレーム間予測が挙げられる。

スケーラブルビデオコーデックは、スマートフォン、タブレット、ノートブックを含むモバイルデバイスや、広範囲の画面サイズとコンピューティング能力を有するその他の機器へのビデオストリーミングの需要の高まりに対する電気通信業界の答えである。更に、インターネット及びモバイルネットワークを使用する現代のビデオ伝送システムは、典型的には、適応型リソース共有メカニズムに依存する広範囲の接続品質によって特徴付けられる。そのような、様々な接続品質と異なる受信デバイスを伴う異種環境では、一度符号化されたコンテンツの柔軟な適応が望ましい。

この点で、スケーラブルビデオコーデックは階層化ビットストリームを生成する。任意のスケーラブルなビデオコンテンツの階層化構造は、ベースレイヤと少なくとも１つの追加の拡張レイヤとの組合わせとして定義することができる。ベースレイヤはサポートされている最低のビデオパフォーマンスに対応し、拡張レイヤは前述のベースレイヤのリファインメントを可能にする。拡張レイヤによって達成可能な改善は、より高い空間分解能での、品質、フレームレート、空間的精細化に関することができる。

図１は、例えばＨ．265／ＳＨＶＣスケーラブルビデオコーディングから知られている従来技術による、一連のビデオフレーム101のレイヤ間予測符号化のためのビデオコーダ100を示す。コーダ100は、ビデオフレーム101を受信し、符号化された拡張レイヤビットストリームを生成するための空間拡張レイヤ102を備える。コーダ100は更に、ビデオフレーム101からダウンサンプリングされたビデオフレーム111を生成するためのダウンサンプリングフィルタ107と、ダウンサンプリングされたビデオフレーム111を受信し、符号化されたベースレイヤビットストリームを生成するための空間ベースレイヤ112とを備える。コーダ100は更に、符号化された拡張レイヤビットストリームと符号化されたベースレイヤビットストリームとを多重化し、符号化されたビデオビットストリームを生成するための多重化ユニット118を備える。

空間ベースレイヤ112は、ダウンサンプリングされたビデオフレーム111を受信する時間スケーラブル符号化ユニット113と、予測ユニット114と、ベースレイヤ符号化ユニット115と、ＳＮＲスケーラブル符号化ユニット116と、アップサンプリングフィルタ117とである連続するユニットを備える。ベースレイヤ符号化ユニット115及びＳＮＲスケーラブル符号化ユニット116の各出力は、多重化ユニット118に供給される。空間拡張レイヤ102は、ビデオフレーム101を受信する時間スケーラブル符号化ユニット103と、予測ユニット104と、ベースレイヤ符号化ユニット105と、ＳＮＲスケーラブル符号化ユニット106とである連続するユニットを備える。ベースレイヤ符号化ユニット105及びＳＮＲスケーラブル符号化ユニット106の各出力は、多重化ユニット118に供給される。

空間ベースレイヤ112のアップサンプリングフィルタ117の出力は、レイヤ間予測のための予測ブロックに対応し、空間拡張レイヤの予測ユニット104に供給される。ベースレイヤからの情報は、拡張レイヤの圧縮率を高めるために用いられる。これは、ビデオ信号のビットレートを低減することができるという効果を有する。

しかしながら、このような空間拡張レイヤのための既知のレイヤ間予測は、ベースレイヤフレームのアップサンプリングを用いる。これにより、アップサンプリングされたベースレイヤフレームは、そのようなディテールがベースレイヤ参照フレームに存在しないため、ぼやけたエッジや低い量の高周波ディテールに悩まされる。更に、アップサンプリングされたフレームの品質は、アップサンプリングフィルタ117の特性によっても異なる。ショートタップフィルタは、高周波数を抑制し、補間されたフレームを更にぼやかすことがある。これとは反対に、ロングタップフィルタは、高い周波数を維持するが、鋭いエッジの近くに何らかのリンギングアーチファクトを生成することがある。

本発明は、上記の欠点や問題を認識して、従来技術の向上を目的とする。特に、本発明の目的は、ビデオストリームの改善された符号化及び復号のためのビデオコーダ、符号化方法、ビデオデコーダ及び復号方法を提供することである。

本発明は、特に、予測符号化の効率を向上させることを意図する。特に、本発明は、局所画像特性により適合することを意図する。本発明の更なる目的は、エッジの鮮鋭度を高め、局所画像コンテンツに適応して予測ブロック内のリンギングアーチファクトを低減することにより、予測符号化を改善することである。

本発明の上記目的は、添付の独立請求項に提供される解決策によって達成される。本発明の有利な実施は、それぞれの従属請求項において更に定義される。

本発明の第１の態様は、参照フレームから得られた予測ブロックに基づく、原フレームの原ブロックの符号化されたビデオビットストリームへの予測符号化のためのビデオコーダを提供する。ビデオコーダは、原ブロックを記憶するように構成されるバッファを備える。ビデオコーダは、予測ブロックを記憶するように構成されるバッファを備える。ビデオコーダは、予測ブロックに空間適応シャープニングフィルタリングを適用するように構成される適応シャープニングフィルタを備える。

よって、空間適応シャープニングフィルタを適用することにより、予測効率が向上し、例えばレイヤ間又はフレーム間の予測効率が向上する。アーチファクトの存在がエッジの存在及びその強度に依存する限り、局所画像コンテンツに適応できるフィルタ、すなわちブロック内のエッジの存在及び強さに適応できるフィルタを提供することが有利である。また、この解決策は、符号化フレームの小さな領域に関して、局所的特徴への適応を可能にする。レイヤ間予測では、エッジの品質を保ちながら、アップサンプリングフィルタに起因するリンギングアーチファクトを低減することができる。より低い解像度のフレームからの予測によって生じるエッジのぼけを低減することができる。また、シグナリングオーバヘッドは、適応係数が１つしかない適切なシャープニングフィルタを使用することで削減できます。既に送信されたベースレイヤ画像から算出されたエッジ強度についての情報を利用することにより、シグナリングオーバヘッドを削減することができる。再構築されたフレームにおいて、エッジの主観的品質を高めることができる。

第１の態様に係るビデオデコーダの実施形式では、参照フレームから得られた複数の予測ブロックにそれぞれ基づく、原フレームの複数の原ブロックの符号化されたビデオビットストリームへの予測符号化に関して、適応シャープニングフィルタは、複数の予測ブロックのそれぞれに異なるシャープニングフィルタリングを適用する可能性を有するように構成される。これにより、フィルタは局所画像コンテンツに適応でき、すなわち、ブロック内のエッジの存在及び強度に適応できる。

第１の態様に係るビデオデコーダの実施形式では、ビデオコーダは、ベースレイヤ及び少なくとも１つの拡張レイヤを含むスケーラブルビデオコンテンツのレイヤ間予測符号化に適する。原フレームは拡張レイヤのフレームである。参照フレームは、再構築されたベースレイヤのフレームである。ビデオコーダは、参照フレームをアップサンプリングするように構成されるアップサンプリングを備え、予測ブロックは、アップサンプリングされた参照フレームのブロックである。これにより、レイヤ間予測効率を向上させることができる。

第１の態様に係るビデオデコーダの実施形式では、ビデオコーダは、後続のフレームを含むビデオコンテンツのフレーム間予測符号化に適する。原フレームは後続のフレームの１つである。参照フレームは、再構築された後続のフレームの１つである。ビデオコーダは、参照フレームの参照ブロックを記憶するように構成されるバッファを備える。ビデオコーダは、参照ブロックと原ブロックとの間の動きを反映する動きベクトルを取得するように構成される動き推定ユニットを備える。ビデオコーダは、動きベクトルに基づいて参照ブロックから予測ブロックを生成するように構成される動き補償ユニットを備える。これにより、フレーム間予測効率を向上させることができる。

第１の態様に係るビデオデコーダの実施形式では、ビデオコーダは、適応シャープニングフィルタの選択的回避と適応シャープニングフィルタの選択的適用とのうち少なくとも１つを制御するように構成される制御ユニットを備える。ビデオコーダは、符号化されたビデオビットストリームに、適応シャープニングフィルタの選択的回避及び選択的適用のうち少なくとも１つを反映するシャープニングフィルタ情報を付加するように構成される符号化ユニットを備える。これにより、制御ユニットにより、シャープニングフィルタを適用又は回避するように決定をなすことができる。決定は、各具体的事例に適合させることができ、例えば、特定の符号化されるビデオストリームに適用することができる。また、適応シャープニングフィルタを回避して、ビデオコーダの計算リソースを節約することができる。一方、例えばアーチファクトの削減を優先する場合、適応シャープニングフィルタを適用することができる。

第１の態様に係るビデオデコーダの実施形式では、符号化ユニットは、コンテキスト適応２進演算符号化（context-adaptive binary arithmetic coding，ＣＡＢＡＣ）を用いて、シャープニングフィルタ情報を符号化するように構成される。ビデオコーダは、予測ブロック又は参照フレームの参照ブロックにおいて、エッジ強度を推定するように構成されるエッジ強度推定ユニットを備える。ビデオコーダは、推定されたエッジ強度に応じて、ＣＡＢＡＣのコンテキストを選択するように構成されるＣＡＢＡＣコンテキストスイッチを備える。

第１の態様に係るビデオデコーダの実施形式では、制御ユニットは、残差ブロック（残差ブロックは、原ブロックと予測ブロックとの差である）の最小化に基づいて、又はレート歪みの最適化のようなコスト基準に基づいて、選択的回避及び選択的適用のうちの少なくとも１つを制御するように構成される。それにより、シャープニングフィルタを回避又は適用する可能性を更に用いて、予測符号化を改善することができる。残差ブロックを最小化する選択肢を選択することにより、それに対応してシャープニングフィルタを適用又は回避することにより、データ量、例えば符号化する変換係数の量を減らすことができる。

第１の態様に係るビデオデコーダの実施形式では、適応シャープニングフィルタは、少なくとも１つの適応パラメータによって制御されるように構成される。ビデオコーダは、適応パラメータのパラメータ値を決定し、決定されたパラメータ値を適応シャープニングフィルタに供給するように構成される制御ユニットを備える。ビデオコーダは、適応パラメータの決定されたパラメータ値についての適応パラメータ情報を、符号化されたビデオビットストリームに付加するように構成される符号化ユニットを備える。これにより、適応シャープニングフィルタを最適化することができ、同じフィルタリングをコーダ及びデコーダによって適用することができる。

第１の態様に係るビデオデコーダの実施形式では、制御ユニットは、残差ブロック（残差ブロックは、原ブロックと予測ブロックとの差である）の最小化に基づいて、又はレート歪みの最適化のようなコスト基準に基づいて、適応パラメータについて異なるパラメータ値を供給し、異なるパラメータのうちの１つを選択するように構成される。これにより、適応シャープニングフィルタを更に最適化することができる。

第１の態様に係るビデオデコーダの実施形式では、適応シャープニングフィルタは、単一の適応パラメータによって制御されるように構成される非線形フィルタである。これにより、シグナリングオーバヘッドを削減することができる。

第１の態様に係るビデオデコーダの実施形式では、適応シャープニングフィルタは、ソースブロックのエッジマップを生成するように適合されるエッジマップ計算ユニットを含む。ソースブロックは、予測ブロック又は参照フレームの参照ブロックである。適応シャープニングフィルタは、ソースブロックのエッジマップをぼかすように適合されるぼかしフィルタを備える。適応シャープニングフィルタは、ぼかされたエッジマップをハイパスフィルタリングすることにより、ソースブロックの各位置の微分ベクトルを生成するように適合されるハイパスフィルタを含む。適応シャープニングフィルタは、シャープニング強度係数を用いて微分ベクトルをスケーリングすることにより、変位ベクトルを生成するように適合されるスケーリングユニットを含む。適応シャープニングフィルタは、変位ベクトルに基づいて予測ブロックをワーピングするように適合されるワーピングユニットを含む。適応パラメータはシャープニング強度係数を含む。これにより、適応シャープニングフィルタのこの構造は、リンギングアーチファクトの除去の点でより良い結果をもたらすことのできる非線形シャープニングフィルタを定義する。また、シャープニング強度係数を適応パラメータとして用いることは、１つの適応パラメータしか必要としないことを意味し、シグナリングオーバヘッドが更に低減される。

第１の態様に係るビデオデコーダの実施形式では、適応パラメータ情報及び／又はシャープニングフィルタ情報は、各予測ブロックのブロックレベルで、フレームの任意又は規則的な領域について、フレームレベルで、ＧＯＰ（group of pictures）レベルで、ＰＰＳ（picture parameter set）レベルで、或いはＳＰＳ（sequence parameter set）レベルで付加される。これにより、シグナリングを最適化できるように、シャープニングフィルタ情報及び／又は適合パラメータ情報を所望の粒度に設定することが可能となる。

本発明の第２の様態は、参照フレームから得られた予測ブロックに基づく原フレームの原ブロックの符号化されたビデオテープストリームへの予測符号化の方法を提供する。本方法は、原ブロックを記憶するステップを含む。本方法は、予測ブロックを記憶するステップを含む。本方法は、予測ブロックに空間適応シャープニングフィルタリングを適用することを含む、適応シャープニングフィルタステップを含む。

本発明の第２の態様に係る方法の更なる特徴又は実施は、本発明の第１の態様及びその異なる実施形式に従って、ビデオコーダの機能を実行することができる。

本発明の第３の態様は、再構築された参照フレームから得られる予測ブロックに基づいて、原フレームの原ブロックの予測符号化により得られた符号化されたビデオビットストリームを復号するためのビデオデコーダを提供する。ビデオデコーダは、符号化されたビデオビットストリームから参照フレームを再構築するように構成される復号ユニットを備える。ビデオデコーダは、再構築された参照フレームから得られた予測ブロックを記憶するように構成されるバッファを備える。ビデオデコーダは、予測ブロックに空間適応シャープニングフィルタリングを適用するように構成される適応シャープニングフィルタを備える。

これにより、第１の態様に係るビデオコーダに関して得られる利点は、第３の態様に係るビデオデコーダに関しても与えられる。

第３の態様に係るビデオデコーダの実施形式では、ベースレイヤ及び少なくとも１つの拡張レイヤを含むスケーラブルビデオコンテンツのレイヤ間予測符号化によって得られた符号化されたビデオビットストリームを復号することに適する。原フレームは拡張レイヤのフレームである。参照フレームは、再構築されたベースレイヤのフレームである。ビデオデコーダは、再構築された参照フレームをアップサンプリングするように構成されるアップサンプリングフィルタを備える。予測ブロックは、アップサンプリングされた参照フレームのブロックである。

第３の態様に係るビデオデコーダの実施形式では、後続のフレームを含むビデオコンテンツのフレーム間予測符号化によって得られた符号化されたビデオビットストリームを復号することに適する。原フレームは後続のフレームの１つである。参照フレームは、再構築された後続のフレームの１つである。ビデオデコーダは、抽出された参照フレームの参照ブロックを記憶するように構成されるバッファを備える。ビデオデコードは、符号化されたビデオビットストリームから、参照ブロックと原ブロックとの間の動きを反映する動きベクトルを抽出するように構成される復号ユニットを備える。ビデオデコーダは、動きベクトルに基づいて参照ブロックから予測ブロックを生成するように構成される動き補償ユニットを備える。

第３の態様に係るビデオデコーダの実施形式では、ビデオデコーダは、符号化されたビデオビットストリームから、予測ブロックに対する適応シャープニングフィルタの選択的回避と適応シャープニングフィルタの選択的適用とのうち少なくとも１つを反映するシャープニングフィルタ情報を抽出するように構成される復号ユニットを備える。ビデオデコーダは、抽出されたシャープニングフィルタ情報に応じて、選択的回避及び選択的適用のうちの少なくとも１つを制御するように構成される制御ユニットを備える。これにより、ビデオコーダとビデオデコードの両方が同一の予測を確実に行うことができる。

第３の態様に係るビデオデコーダの実施形式では、復号ユニットは、コンテキスト適応２進演算符号化（ＣＡＢＡＣ）に従ってシャープニングフィルタ情報を復号するように構成される。ビデオデコーダは、予測ブロック又は参照フレームの参照ブロックにおいてエッジ強度を推定するように構成されるエッジ強度推定ユニットを備える。ビデオデコーダは、推定されたエッジ強度に応じて、ＣＡＢＡＣのコンテキストを選択するように構成されるＣＡＢＡＣコンテキストスイッチを備える。

第３の態様に係るビデオデコーダの実施形式では、適応シャープニングフィルタは、少なくとも１つの適応パラメータによって制御されるように構成される。ビデオデコーダは、符号化されたビデオビットストリームから、適応パラメータのパラメータ値についての適応パラメータ情報を抽出するように構成される復号ユニットを備える。ビデオデコーダは、抽出された適応パラメータ情報に従って、適応シャープニングフィルタを制御するように構成される制御ユニットを備える。これにより、ビデオコーダとビデオデコーダの両方が、シャープニングフィルタの同じ適応を実施し、ビデオデコーダによって得られたビデオがビデオコーダによって符号化されたビデオに対応することを保証することができる。

第３の態様に係るビデオデコーダの実施形式では、適応シャープニングフィルタは、単一の適応パラメータによって制御されるように構成される非線形フィルタである。これにより、シグナリングオーバヘッドを更に低減することができる。

第３の態様に係るビデオデコーダの実施形式では、適応シャープニングフィルタは、ソースブロックのエッジマップを生成するように適合されるエッジマップ計算ユニットを含む。ソースブロックは、予測ブロック又は前参照フレームの参照ブロックである。適応シャープニングフィルタは、ソースブロックのエッジマップをぼかすように適合されたぼかしフィルタを含む。適応シャープニングフィルタは、ぼかされたエッジマップをハイパスフィルタリングすることにより、ソースブロックの各位置の微分ベクトルを生成するように適合されるハイパスフィルタを含む。適応シャープニングフィルタは、シャープニング強度係数を用いて微分ベクトルをスケーリングすることにより、変位ベクトルを生成するように適合されるスケーリングユニットを含む。適応シャープニングフィルタは、変位ベクトルに基づいて予測ブロックをワーピングするように適合されるワーピングユニットを含む。適応パラメータはシャープニング強度係数を含む。これにより、シグナリングオーバヘッドを制限しながら、アーチファクトを低減することができる。

第３の態様に係るビデオデコーダの実施形式では、適応パラメータ情報及び／又はシャープニングフィルタ情報は、各予測ブロックのブロックレベルで、フレームの任意又は規則的な領域について、フレームレベルで、ＧＯＰ（group of pictures）レベルで、ＰＰＳ（picture parameter set）レベルで、或いはＳＰＳ（sequence parameter set）レベルで抽出される。これにより、シグナリングを最適化できるように、シャープニングフィルタ情報及び／又は適合パラメータ情報を所望の粒度に設定することが可能となる。

本発明の第４の様態は、再構築された参照フレームから得られた予測ブロックに基づいて、原フレームの原ブロックの予測符号化によって得られた符号化されたビデオビットストリームを復号する方法を提供する。本方法は、符号化されたビデオビットストリームから参照フレームを再構築することを含む、復号ステップを含む。本方法は、再構築された参照フレームから得られた予測ブロックを記憶するステップを含む。本方法は、予測ブロックに空間適応シャープニングフィルタリングを適用することを含む、適応シャープニングフィルタステップを含む。

本発明の第４の態様に係る方法の更なる特徴又は実施は、本発明の第３の態様及びその異なる実施形式に従って、ビデオデコーダの機能を実行することができる。

本発明の第５の態様は、コンピュータプログラムがコンピューティングデバイス上で作動したときに、係る符号化及び／又は復号方法を実行するためのプログラムコードを有するコンピュータプログラムを提供する。

なお、本願に記載される全てのデバイス、要素、ユニット及び手段は、ソフトウェア又はハードウェア要素或いはそれらの任意の種類の組合わせで実現することができる。本願に記載された様々な実体によって実行される全てのステップは、様々な実体によって実行されるように記載された機能と同様に、それぞれの実体がそれぞれのステップ及び機能を実行するように適合されることを意味することを意図する。以下の特定の実施形態の説明において、その特定のステップ又は機能を実行する実体の特定の詳細の要素の記述に、永久実体によって完全に形成される特定の機能やステップが反映されていないとしても、当業者であれば、これらの方法及び機能性は、それぞれのソフトウェア又はハードウェア要素、或いはそれらの任意の種類の組合わせで実現できることは明らかである。

添付図面に関連して、本発明の上記の態様及び実施形式を以下の具体的な実施形態の説明において説明する。
従来技術に係るレイヤ間予測符号化のためのビデオコーダの概観を示す。 本発明の実施形態に係るレイヤ間予測符号化のためのビデオコーダの概観を示す。 本発明の実施形態に係る適応シャープニングフィルタを示す。 本発明の実施形態に係るレイヤ間予測符号化のためのビデオコーダを示す。 本発明の実施形態に係るレイヤ間予測符号化のためのビデオデコーダを示す。 本発明の実施形態に係るフレーム間予測符号化のためのビデオコーダを示す。 本発明の実施形態に係るフレーム間予測符号化のためのビデオデコーダを示す。 本発明の実施形態に係るビデオコーディング方法を示す。 本発明の実施形態に係るビデオデコーディング方法を示す。

本発明の一般の実施形態によれば、参照フレームから得られた予測ブロックに基づく、原フレームの原ブロックの符号化されたビデオビットストリームへの予測符号化のためのビデオコーダが提案される。ビデオコーダは、原ブロックを記憶するように構成されるバッファと、予測ブロックを記憶するように構成されるバッファと、予測ブロックに空間適応シャープニングフィルタリングを適用するように構成される適応シャープニングフィルタと、を備える。

特に、参照フレームから得られた複数の予測ブロックにそれぞれ基づく、原フレームの複数の原ブロックの符号化されたビデオビットストリームへの予測符号化について、適応シャープニングフィルタは、複数の予測ブロックのそれぞれに異なるシャープニングフィルタリングを適用する可能性を有するように構成される。

本発明の一般の実施形態によれば、再構築された参照フレームから得られた予測ブロックに基づいて、原フレームの原ブロックの予測符号化によって得られた符号化されたビデオビットストリームを復号するためのビデオデコーダが提案される。ビデオデコーダは、符号化されたビデオビットストリームから参照フレームを再構築するように構成される復号ユニットと、再構築された参照フレームから得られる予測ブロックを記憶するように構成されるバッファと、予測ブロックに空間適応シャープニングフィルタリングを適用するように構成される適応シャープニングフィルタと、を備える。

同様に、再構築された参照フレームから得られた複数の予測ブロックにそれぞれ基づく、原フレームの複数の原ブロックの予測復号について、適応シャープニングフィルタは、複数の予測ブロックのそれぞれに異なるシャープニングフィルタリングを適用する可能性を有するように構成される。

図２は、本発明の実施形態に係るビデオコーダ200の概要を示す。特に、図２は、ベースレイヤと少なくとも１つの拡張レイヤとを含むスケーラブルビデオコンテンツのレイヤ間予測符号化のためのビデオコーダ200を示す。

ビデオコーダ200は、ビデオフレーム201を受信し、符号化された拡張レイヤビットストリームを生成するための、空間拡張レイヤ202を備える。コーダ200は更に、ビデオフレーム201からダウンサンプリングされたビデオフレーム211を生成するためのダウンサンプリングフィルタ208と、ダウンサンプリングされたビデオフレーム211を受信し、符号化されたベースレイヤビットストリームを生成するための空間ベースレイヤ212とを備える。コーダ200は更に、符号化された拡張レイヤビットストリームと符号化されたベースレイヤビットストリームとを多重化し、符号化されたビデオビットストリームを生成するための多重化ユニット218を備える。

空間ベースレイヤ212は、ダウンサンプリングされたビデオフレーム211を受信する時間スケーラブル符号化ユニット213を含む。ダウンサンプリングされたビデオフレーム211は、ビデオフレーム201よりも低い解像度を示す。時間スケーラブル符号化ユニット213の出力は、予測ユニット214に供給される。予測ユニット214は、ダウンサンプリングされたビデオフレーム211の時間スケーリングされた符号化バージョンに基づく予測信号を、ベースレイヤ符号化ユニット215に提供する。ベースレイヤ符号化ユニット215の出力は、ＳＮＲスケーラブル符号化ユニット216に提供される。ベースレイヤ符号化ユニット215及びＳＮＲスケーラブル符号化ユニット216の各出力は、多重化ユニット218に提供される。

空間拡張レイヤ202は、ビデオフレーム201を受信する時間スケーラブル符号化ユニット203と、予測ユニット204と、ベースレイヤ符号化ユニット205と、ＳＮＲスケーラブル符号化ユニット206とである連続するユニットを含む。ベースレイヤ符号化ユニット205及びＳＮＲスケーラブル符号化ユニット206の各出力は、多重化ユニット218に提供される。多重化ユニット218は、ベースレイヤ符号化ユニット215、ＳＮＲスケーラブル符号化ユニット216、ベースレイヤ符号化ユニット205及びＳＮＲスケーラブル符号化ユニット206の出力を多重化することにより、符号化されたビデオビットストリームを生成する。

本発明によれば、アップサンプリングフィルタ217によって生成された予測ブロックは、予測ブロックに空間適応シャープニングフィルタリングを適用するように構成される適応シャープニングフィルタ219に供給される。空間ベースレイヤ212のアップサンプリングフィルタ217の出力は、空間拡張レイヤ202のビデオフレーム201のレイヤ間予測符号化のための予測ブロックである。アップサンプリングフィルタ217によって生成された予測ブロックと、適応シャープニングフィルタ219によって生成された鮮鋭化された予測ブロックは、好ましくは両方とも、空間拡張レイヤ202の予測ユニット204に接続されたスイッチ220に送信される。空間拡張レイヤ202のビデオフレーム201の予測符号化は、選択的に、アップサンプリングフィルタ217の出力に基づくことができ、又は適応シャープニングフィルタ219の出力に基づくことができる。

以下、それぞれ本発明の実施形態に係るレイヤ間予測符号化のためのビデオコーダとデコーダを示す図４及び図５に関して、また、それぞれ本発明の実施形態に係るフレーム間予測符号化のためのビデオコーダとデコーダを示す図６及び図７に関して、本発明を説明する。図３は、例えば、図４及び図６のレイヤ間予測符号化のためのビデオコーダ又はフレーム間予測符号化のためのビデオコーダの、適応シャープニングフィルタの実施形態を示す。

図４は、本発明の実施形態に係るビデオコーダ400を示し、特に、ベースレイヤと少なくとも１つの拡張レイヤとを含むスケーラブルビデオコンテンツのレイヤ間予測符号化のためのビデオコーダ400を示す。

ビデオコーダ400は、参照フレームから得られた予測ブロックに基づく、原フレームの原ブロックの符号化されたビデオビットストリームへの予測符号化に適している。ビデオコーダ400は、原ブロックを記憶するように構成されるバッファ401と、予測ブロックを記憶するように構成されるバッファ408と、予測ブロックに空間適応シャープニングフィルタリングを適用するように構成される適応シャープニングフィルタ409とを備える。

レイヤ間予測符号化の文脈において、原フレームは拡張レイヤのフレームであり、参照フレームは、再構築されたベースレイヤのフレームである。ビデオコーダ400は更に、再構築されたベースレイヤをアップサンプリングする、すなわち参照フレームをアップサンプリングするように構成されるアップサンプリングフィルタ407を備える。バッファ408に記憶される予測ブロックは、アップサンプリングされた参照フレームのブロックである。

特に、原フレームは、現在符号化されている拡張レイヤのフレームであり、例えば、図２のビデオコーダ200のビデオフレーム201から得ることができる。一方、参照フレームは、既に符号化され再構築されたベースレイヤのフレームである。再構築されたベースレイヤフレームは、図２のビデオコーダ200において、空間ベースレイヤ212によりダウンサンプリングされたビデオフレーム211から得ることができる。以下、構成「フレーム」への言及はいずれも、構成「ピクチャ」への言及に置き換えられてよい。

バッファ401に記憶される原ブロックと、バッファ408に記憶される予測ブロック、より一般に本発明の全てのブロックは、好ましくはフレームのそれぞれの領域又はサブ領域である。例えば、原ブロックは原フレームの領域又はサブ領域であり、予測ブロックは、アップサンプリングフィルタ407によって生成されたアップサンプリングされた参照フレームの領域又はサブ領域である。このようなブロックは、矩形のような規則形状を有してもよいし、不規則形状を有してもよい。或いは、ブロックは、フレームと同じサイズを有することができる。全てのブロック、特に原ブロックと予測ブロックは、同じサイズを有する。ブロックのサイズは、符号化されたビデオビットストリームのサイド情報又はシグナリングデータとしてデコーダに送信されるブロックモード情報によって定義することができる。ブロックは符号化ユニットに対応することができ、符号化ユニットは、予め定義されたサイズのビデオシーケンスの基本的な符号化構造であり、フレームの一部、例えば６４×６４ピクセルを含む。

特に、ビデオコーダ400は、予測ビデオ符号化をサポートするための更なるユニットを備える。例えば、ビデオコーダ400は、周波数領域への変換を介して変換係数を生成し、その係数を量子化するための変換・量子化ユニット404と、例えばシグナリングデータと共に、量子化された係数をエントロピー符号化するためのエントロピー符号化器又はエントロピー符号化ユニット405とを備える。変換・量子化ユニット404の入力は、専用のバッファ403に記憶することのできる残差ブロックである。残差ブロックは減算ユニット402によって生成され、バッファ401に記憶された原ブロックと、バッファ408に記憶された予測ブロックか、適応シャープニングフィルタ409によって生成された鮮鋭化された予測ブロックのいずれかと差として定義される。

ビデオコーダ400は更に、制御ユニット410及び符号化ユニット414を備える。制御ユニット410は、適応シャープニングフィルタ409の選択的回避と適応シャープニングフィルタ409の選択的適用とのうち少なくとも１つを制御するように構成される。符号化ユニット414は、符号化されたビデオビットストリームに、適応シャープニングフィルタ409の選択的回避及び選択的適用のうちの少なくとも１つを反映するシャープニングフィルタ情報を付加するように構成される。シャープニングフィルタ情報は、好ましくは、シャープニングが適用／回避フラグの形式であってよい。

適応シャープニングフィルタ409は、制御ユニット410によって選択的に回避且つ／又は選択的に適用されることができる。適応シャープニングフィルタ409が適用される場合、適応シャープニングフィルタ409が鮮鋭化された予測ブロックを生成し、残差ブロックは、原ブロックと、適応シャープニングフィルタ409によって出力された鮮鋭化された予測ブロックとの差によって得られる。適応シャープニングフィルタ409が回避される場合、残差ブロックは、原ブロックと、バッファ408に記憶された予測ブロックとの差によって得られる。

特に、制御ユニット410は、残差ブロックの最小化に基づいて、又は、例えばレート歪みの最適化であるコスト基準に基づいて、選択的回避及び選択的適用のうちの少なくとも１つを制御するように構成される。コスト基準は、特に、適応シャープニングフィルタ409によって出力された鮮鋭化された予測ブロックから得られた残差ブロックと、バッファ408に記憶された予測ブロックから得られた残差ブロックとに適用されてよい。コスト関数の結果に応じて、適応シャープニングフィルタ409は適用又は回避されてよい。

適応シャープニングフィルタ409を回避又は適用するという制御ユニット410の決定は、符号化ユニット又はエントロピー符号化ユニット405によって生成された符号化されたビデオビットストリーム内において、シグナリングデータとして送信することができる。制御ユニット410は、符号化ユニット414にシャープニングフィルタ情報を送信する。符号化ユニット414は、符号化ユニット405によって生成された符号化されたビデオビットストリームにおいて、シグナリングデータとしてシャープニングフィルタ情報を付加する。

或いは、適応シャープニングフィルタ409は常に適用することができる。これは、残差ブロックが常に、原ブロックと、適応シャープニングフィルタ409によって出力された鮮鋭化された予測ブロックとの差によって得られることを意味する。この場合、適応シャープニングフィルタの適用又は回避についての追加のシグナリングは不要であることは明らかである。

符号化ユニット414は、特に、コンテキスト適応２進演算符号化（ＣＡＢＡＣ）を用いて、シャープニングフィルタ情報を符号化するように構成される。ビデオコーダ400は更に、予測ブロックにおいてエッジ強度を推定するように構成されるエッジ強度推定ユニット411，412と、推定されたエッジ強度に応じて、ＣＡＢＡＣのコンテキストを選択するように構成されるＣＡＢＡＣコンテキストスイッチ413とを備える。例えば、エッジ強度推定ユニット411，412は、予測ブロックのエッジマップを構築するための第１のユニット411と、エッジマップのエッジ強度を推定するための第２のユニット412とを含む。

更に、適応シャープニングフィルタ409は、少なくとも１つの適応パラメータによって制御されるように構成される。制御ユニット410は、適応パラメータのパラメータ値を決定し、決定されたパラメータ値を適応シャープニングフィルタ409に供給するように構成される。また、ビデオコーダ400は、符号化されたビデオビットストリームに、適応パラメータの決定されたパラメータ値についての適応パラメータ情報を付加するように構成される符号化ユニット415を備える。

特に、制御ユニット410は、適応パラメータについて異なるパラメータ値を供給し、残差ブロックの最小化に基づいて、又はコスト基準（例えばレート歪み最適化など）に基づいて、異なるパラメータのうちの１つを選択するように構成される。

適応シャープニングフィルタ409の適用又は回避についての決定と、シャープニングフィルタを適用する場合の適応パラメータの値についての決定は、シャープニングフィルタ情報及び適応パラメータ情報により、符号化されたビデオビットストリームのデコーダにシグナリングされる。このシグナリングは、異なる部分又はビデオコンテンツに対して行うことができる。したがって、適応パラメータ情報及び／又はシャープニングフィルタ情報は、各予測ブロックのブロックレベルで、フレームの任意又は規則的な領域について、フレームレベルで、ＧＯＰ（group of pictures）レベルで、ＰＰＳ（picture parameter set）レベルで、或いはＳＰＳ（sequence parameter set）レベルで、付加されることができる。適応パラメータ情報及び／又はシャープニングフィルタ情報の粒度は様々であってよい。

適応シャープニングフィルタ409の実施形態を図３に示す。図３に示される適応シャープニングフィルタ300は、好ましくは非線形フィルタである。線形フィルタの代わりに非線形シャープニングフィルタを使用することは、リサンプリングフィルタと参照フレームの量子化によって生じるアーチファクトを除去する上で好ましい。非線形フィルタの選択により、適応シャープニングフィルタ300の適応パラメータの数を減らすことができる。特に、非線形フィルタは１つの適応パラメータしか利用できないので、符号化されたビデオビットストリームのシグナリングオーバヘッドが低減される。本発明では、適応シャープニングフィルタを制御するために複数の適応パラメータを使用することも対象にしているが、１つの適応パラメータのみを利用する適応シャープニングフィルタが特に有利な実施形態である。

特に、適応シャープニングフィルタ300は、エッジマップ計算ユニット301，302と、ぼかしフィルタ304と、ハイパスフィルタ305と、スケーリングユニット306と、ワーピングユニット307とを含む。

エッジマップ計算ユニット301，302は、ソースブロックのエッジマップを生成するように適応される。ソースブロックは、バッファ408に記憶される予測ブロックであり、図３ではアップサンプリングされたベースレイヤブロックとして言及されている。ぼかしフィルタ304は、ソースブロックのエッジマップをぼかすように適合される。ハイパスフィルタ305は、ぼやかされたエッジマップをハイパスフィルタリングすることにより、ソースブロックの各位置について微分ベクトル（d2x，d2y）を生成するように適合される。スケーリングユニット306は、シャープニング強度係数ｋを用いて微分ベクトル（d2x，d2y）をスケーリングすることにより、変位ベクトル（wx，wy）を生成するように適合される。ワーピングユニット307は、変位ベクトル（wx，wy）に基づいて、予測ブロックをワーピングするように適合される。

これにより、適応シャープニングフィルタ300を制御する適応パラメータは、シャープニング強度係数ｋである。図３に示される適応シャープニングフィルタ300は、適応パラメータが１つのみである本発明の実施形態である。

エッジマップ計算ユニット301，302は、ソースブロックの各位置について勾配ベクトル（dx，dy）を生成するように適合される勾配ベクトルユニット301と、各位置の勾配ベクトル（dx，dy）の長さを計算して、ソースブロックのエッジマップを生成するように適合される勾配ベクトル長ユニット302とを備えることができる。これにより、この構造により、ぼかしフィルタ、ハイパスフィルタ及びスケーリングユニットによって更に処理可能なエッジマップが生成されて、ワーピング変位ベクトルが生成される。

勾配ベクトルは、対応するＰｒｅｗｉｔｔフィルタを以下の式に従って適用することにより、ｄｘとｄｙについて別々に（すなわち、ソースブロックの水平方向と垂直方向の両方について別々に）第１の導関数を取ることによって得ることができる。

エッジマップは、勾配ベクトル長ユニット302により、以下の式に従って勾配ベクトル長さを計算することによって得ることができる。

有利には、シャープニングフィルタ300は、ソースブロックのエッジマップをクリップするように適合されるクリッピングユニット303を含む。クリッピングユニット303は、エッジマップ計算ユニット301，302とぼかしフィルタ304との間に位置する。これにより、エッジマップを閾値でクリップすることは、極端に高い値と低い値のワーピングベクトルの処理を防止するという点で有利である。

クリップされたエッジマップのぼかしのステップは、以下のように定義することができるガウスフィルタの形のぼかしフィルタ304によって得ることができる。

ハイパスフィルタは、d2xとd2yについて別々に、例えば以下に従って第２の導関数を得るために用いられる。

第２の微分ベクトル（d2x，d2y）を係数ｋでスケーリングすることによって、変位ベクトル（wx，wy）が得られる。係数ｋは、以下の式に従ってシャープニング強度とみなすことができる。

ワーピングユニット307は、例えば双線形補間フィルタである補間フィルタを含む。ワーピングユニット307は、スケーリングユニット306によって生成された変位ベクトルを用いる。

減算ユニット308は、ワーピングユニット307によって生成された鮮鋭化された予測ブロックと、バッファ401に記憶された原ブロックとの差を構築するように適合される。原ブロックは、符号化対象のブロックに対応する。実際、減算ユニット308は残差ブロックを生成する。適応シャープニングフィルタ300、又は適応シャープニングフィルタ300を制御する制御ユニット410は、残差ブロックを最小化することにより、又は例えばレート‐歪みに基づくコスト基準により、最適なシャープニング強度ｋを発見するように適合される。

図４に戻る。ビデオコーダ400は、最適化の際に、適応シャープニングフィルタ409の最も最適な適応パラメータを選択するように構成される。レイヤ間予測のための適応シャープニングフィルタの適用又は回避についての決定は、予測エラーの最小化又はコスト（レート／歪み）基準によって行うことができる。

ビデオコーダ400は、特に、以下のような処理フローを示す。

― ベースレイヤフレームを再構築及びアップサンプリングすることにより、予測ブロックが得られる。

― 例えば、適応シャープニングフィルタのエッジマップ計算ユニット301，302により、予測ブロックのエッジマップが生成される。或いは、エッジマップは、エッジ強度推定ユニット411，412のユニット411によって生成することができる、ユニット411は、適応シャープニングフィルタ409の外に位置する。

― シャープニングフィルタの適合、すなわち適応パラメータの選択が行われる。有利には、生成されたエッジマップは、フィルタリング適合のために用いることができる。

― 例えば制御ユニット410により、予測タイプについて決定がなされる。予測タイプは、適応シャープニングフィルタ409の適用又は回避にある。決定は、予測品質メトリック（例えば残差エラーの最小値）、又はコスト基準（レート／歪みベースのコスト基準）に基づくことができる。

― 予測ブロックのエッジ強度を推定するために、既に生成されているエッジマップが用いられる。エッジ強度は、例えば、予測ブロックのエッジマップの値を平均化することによって推定される。

― 推定されたエッジ強度は、ＣＡＢＡＣのコンテキストスイッチとして用いられ、適応シャープニングフィルタ409の適用又は回避にある予測タイプは、シャープニングフィルタ情報として符号化される。換言すれば、予測タイプは、エッジ強度によって制御されるコンテキストスイッチを有するＣＡＢＡＣを用いて圧縮される。コンテキストスイッチは、推定されたエッジ強度と所与の閾値との比較によって実行することができる。推定されたエッジ強度が閾値を上回る場合、第１のコンテキストが用いられる。推定されたエッジ強度が閾値よりも低い場合、第２のコンテキストが用いられる。有利な実施形態では、２つ以上のレベルのエッジ強度と、より多くの対応するＣＡＢＡＣコンテキストが用いられてよい。

― 適応シャープニングフィルタ409が適用される場合、シャープニング強度は適応パラメータ情報として符号化される。

― 変換・量子化ユニット404により、残差ブロックについて係数が計算され、符号化ユニット405によって係数が符号化される。

図５は、本発明の実施形態に係るビデオデコーダ、特に、レイヤ間予測復号のためのビデオデコーダ500を示す。

ビデオデコーダ500は、再構築された参照フレームから得られる予測ブロックに基づいて、原フレームの原ブロックの予測符号化によって得られる符号化されたビデオビットストリームを復号するのに適している。ビデオデコーダ500は、符号化されたビデオビットストリームから参照フレームを再構築するように構成される復号ユニットと、再構築された参照フレームから得られる予測ブロックを記憶するように構成されるバッファ514と、予測ブロックに空間適応シャープニングフィルタリングを適用するように構成される適応シャープニングフィルタ507とを備える。

レイヤ間予測復号の文脈において、原フレームは拡張レイヤのフレームであり、参照フレームは、再構築されたベースレイヤのフレームである。ビデオデコーダ500は更に、再構築されたベースレイヤをアップサンプリングする、すなわち参照フレームをアップサンプリングするように構成されるアップサンプリングフィルタ513を備える。バッファ514に記憶される予測ブロックは、アップサンプリングされた参照フレームのブロックである。

ビデオデコーダ500は更に、符号化されたビデオビットストリームから、適応シャープニングフィルタ507の選択的回避及び適応シャープニングフィルタ507の選択的適用のうち少なくとも１つを反映するシャープニングフィルタ情報を抽出するように構成される復号ユニット512を備える。ビデオデコーダ500は、抽出されたシャープニングフィルタ情報に応じて、選択的回避及び選択的適用のうち少なくとも１つを制御するように構成される制御ユニット508を備える。シャープニングフィルタ情報は、シャープニング適用／回避フラグの形式であってよい。或いは、適応シャープニングフィルタ507は常に適用されてよい。

特に、復号ユニット512は、ＣＡＢＡＣに従ってシャープニングフィルタ情報を復号するように構成される。ビデオデコーダは、予測ブロックにおいてエッジ強度を推定するように構成されるエッジ強度推定ユニット510，511を備える。ビデオデコーダは、推定されたエッジ強度に応じて、ＣＡＢＡＣのコンテキストを選択するように構成されるＣＡＢＡＣコンテキストスイッチ509を備える。特に、エッジ強度推定ユニット510，511は、予測ブロックのエッジマップを構築するための第１のユニット511と、エッジマップに基づいてエッジ強度を推定するための第２のユニット510とを含むことができる。

適応シャープニングフィルタ507は、特に、少なくとも１つの適応パラメータによって制御されるように構成される。更に、ビデオデコーダは、符号化されたビデオビットストリームから、特に符号化された拡張レイヤビットストリームから、適応パラメータのパラメータ値についての適応パラメータ情報を抽出するように構成される復号ユニット506を備える。制御ユニット508は、抽出された適応パラメータ情報に従って適応シャープニングフィルタ507を制御するように構成される。

ビデオデコーダ500の適応シャープニングフィルタ507は、好ましくは、図３に示される適応シャープニングフィルタ300と同様の構造及び同様のユニットを示し、以下の違いがある。これらの２つのフィルタの違いは、適応シャープニングフィルタ507が好ましくは減算ユニット308を含まないことである。更に、ビデオデコーダ500では、適応パラメータすなわち係数ｋは、減算ユニット308と、残差ブロックの最小化とによって設定されない。代わりに、好ましくは符号化されたビットストリームからシグナリングデータとして抽出された適応パラメータ情報に応じて、適応パラメータはビデオデコーダ500において設定される。

ビデオデコーダ500は更なるユニットを備えてよく、受信された符号化されたエンハンスメントビデオビットストリームを復号し、それに対応して量子化された残差変換係数を得るための復号ユニット501を備えてよい。量子化された残差変換係数は、逆量子化・逆変換ユニット502に供給されて、バッファ503に記憶される残差ブロックが生成される。残差ブロックは、加算器504によって、制御ユニット508の出力に付加される。抽出されたシャープニングフィルタ情報に応じて、バッファ514に記憶された予測ブロックに、又は、適応シャープニングフィルタ507によって出力された鮮鋭化された予測ブロックに、残差ブロックが付加される。加算器504の出力は、拡張レイヤの再構築されたブロックである。

ビデオデコーダ500は、特に、以下のような処理フローを示す。

― ベースレイヤフレームを再構築及びアップサンプリングすることにより、予測ブロックが得られる。

― 例えば適応シャープニングフィルタのエッジマップ計算ユニット301，302により、予測ブロックのエッジマップが生成される。或いは、エッジマップは、エッジ強度推定ユニット511，512のユニット511によって生成することができる。ユニット511は、適応シャープニングフィルタ509の外に位置する。

― 生成されたエッジマップは、予測ブロックにおいてエッジ強度を推定するために用いられる。例えば予測ブロックのエッジマップの値を平均化することにより、エッジ強度が推定される。

― 推定されたエッジ強度は、ＣＡＢＡＣのコンテキストスイッチとして用いられ、適応シャープニングフィルタ507の適用又は回避にある予測タイプ、すなわちシャープニングフィルタ情報が復号される。コンテキストスイッチは、推定されたエッジ強度と所与の閾値との比較によって実行することができる。推定されたエッジ強度が閾値を上回る場合、第１のコンテキストが用いられる。推定されたエッジ強度が閾値よりも低い場合、第２のコンテキストが用いられる。有利な実施形態では、２つ以上のレベルのエッジ強度と、より多くの対応するＣＡＢＡＣコンテキストが用いられてよい。

― シャープニングフィルタ情報に基づいて、適応シャープニングフィルタ507が適用されると決定された場合、シャープニング強度、すなわち適応パラメータ情報が復号される。適応シャープニングフィルタ507は、復号されたシャープニング強度で適用される。既に生成されたエッジマップを鮮鋭化に用いて、リソースを節約することができる。

― ユニット501，502，503により、残差ブロックが復号される。シャープニングフィルタ情報に応じて、予測ブロック又は鮮鋭化された予測ブロックに残差ブロックが付加されて、拡張レイヤの再構築されたブロックが得られる。

図６は、本発明の実施形態に係るフレーム間予測符号化のためのビデオコーダ600を示す。

ビデオコーダ600は、参照フレームから得られた予測ブロックに基づく、原フレームの原ブロックの符号化されたビデオビットストリームへの予測符号化に適している。ビデオコーダ600は、原ブロックを記憶するように構成されるバッファ601と、予測ブロックを記憶するように構成されるバッファ608と、予測ブロックに空間適応シャープニングフィルタリングを適用するように構成される適応シャープニングフィルタ609とを備える。

後続のフレームを含むビデオコンテンツのフレーム間予測符号化の文脈では、原フレームは後続のフレームの１つであり、参照フレームは、再構築された後続のフレームの１つである。ビデオコーダ600は、参照フレームの参照ブロックを記憶するように構成されるバッファ606を備える。ビデオコーダ600は、参照ブロックと原ブロックとの間の動きを反映する動きベクトルを取得するように構成される動き推定ユニット616と、動きベクトルに基づいて参照ブロックから予測ブロックを生成するように構成される動き補償ユニット607とを備える。

ビデオコーダ600の余の構造及びユニットは、ビデオコーダ400の構造及びユニットと同様である。ビデオコーダ600は、制御ユニット410と同様の制御ユニット610を備える。ビデオコーダ600は、符号化ユニット414と同様の符号化ユニット614を備える。ビデオコーダ600は、エッジ強度推定ユニット411，412と同様のエッジ強度推定ユニット611，612と、ＣＡＢＡＣコンテキストスイッチ413と同様のＣＡＢＡＣコンテキストスイッチ613とを備える。ビデオコーダ600は、符号化ユニット415と同様の符号化ユニット615を備える。また、ビデオは、残差ブロックを生成するための減算ユニット602と、残差ブロックのためのバッファ603と、変換・量子化ユニット604と、量子化された係数を符号化するための符号化ユニット605とを備える。

ビデオコーダ600とビデオコーダ400の違いは、アップサンプリングされたベースレイヤフレームの代わりに、以前に不号化されたフレームが参照フレームとして用いられることである。更に、予測ブロックを取得するために動き補償が適用される。動き補償は有利には動き補間を含む。

ビデオコーダ400の構造に代えて、エッジ強度推定ユニット611，612は、予測ブロックのエッジ強度の推定の代わりに、参照ブロックのエッジ強度を推定することができる。

また、ビデオコーダ600の適応シャープニングフィルタ609として、図３の適応シャープニングフィルタを用いることができる。ビデオコーダ400のエッジマップ計算ユニット301，302は、予測ブロックであるソースブロックのエッジマップを生成するように適合されるが、ビデオコーダ600の適応シャープニングフィルタのソースブロックは、予測ブロック或いは参照ブロックのいずれかであってよい。この代替案によれば、参照ブロックから変位ベクトル（ｗｘ、ｗｙ）が導き出され、得られた変位ベクトルを用いて予測ブロックにワーピングが適用される。これは、符号化側の計算リソースを節約する点で有利である。

ビデオコーダ400，600の間のこれらの相違点及び代替案の他に、ビデオコーダ400を参照して上述した更なる態様は、ビデオコーダ600にも当てはまる。

ビデオコーダ600は、特に、以下のような処理フローを示す。

― 動き推定手続きにより、動きベクトルが得られる。

― 参照ブロックのエッジマップが生成される。

― シャープニングフィルタの適合、すなわち適応パラメータの選択が行われる。有利には、生成されたエッジマップをフィルタリングに用いることができる。

― 例えば制御ユニット610により、予測タイプについて決定がなされる。予測タイプは、適応シャープニングフィルタ609の適用又は回避にある。決定は、予測品質メトリック（例えば残差エラーの最小値）、又はコスト基準（レート／歪みベースのコスト基準）に基づくことができる。

― 参照ブロックのエッジ強度を推定するために、既に生成されているエッジマップが用いられる。エッジ強度は、例えば、参照ブロックのエッジマップの値を平均化することによって推定される。

― 推定されたエッジ強度は、ＣＡＢＡＣのコンテキストスイッチとして用いられ、適応シャープニングフィルタ609の適用又は回避にある予測タイプは、シャープニングフィルタ情報として符号化される。コンテキストスイッチは、推定されたエッジ強度と所与の閾値との比較によって実行することができる。推定されたエッジ強度が閾値を上回る場合、第１のコンテキストが用いられる。推定されたエッジ強度が閾値よりも低い場合、第２のコンテキストが用いられる。有利な実施形態では、２つ以上のレベルのエッジ強度と、より多くの対応するＣＡＢＡＣコンテキストが用いられてよい。

― 適応シャープニングフィルタ609が適用される場合、シャープニング強度は適応パラメータ情報として符号化される。

― 変換・量子化ユニット604により、残差ブロックについて係数が計算され、符号化ユニット605によって係数が符号化される。

図７は、本発明の実施形態に係るビデオデコーダ、特にフレーム間予測復号のためのビデオデコーダ700を示す。

ビデオデコーダ700は、再構築された参照フレームから得られる予測ブロックに基づいて、原フレームの原ブロックの予測符号化によって得られた符号化されたビデオビットストリームを復号するのに適している。ビデオデコーダ700は、符号化されたビデオビットストリームから参照フレームを再構築するように構成される復号ユニットと、再構築された参照フレームから得られる予測ブロックを記憶するように構成されるバッファ714と、予測ブロックに空間適応シャープニングフィルタリングを適用するように構成される適応シャープニングフィルタ707とを備える。

後続のフレームを含むビデオコンテンツのフレーム間予測符号化によって得られた符号化されたビデオビットストリームを復号する文脈において、原フレームは後続のフレームの１つであり、参照フレームは、再構築された後続のフレームのうちの１つである。ビデオデコーダ700は、抽出された参照フレームの参照ブロックを記憶するように構成されるバッファ715と、符号化されたビデオビットストリームから、参照ブロックと原ブロックとの間の動きを反映する動きベクトルを抽出するように構成される復号ユニット716と、動きベクトルに基づいて参照ブロックから予測ブロックを生成するように構成される動き補償ユニット713とを備える。

ビデオデコーダ700は更に、符号化されたビデオビットストリームから、適応シャープニングフィルタ707の選択的回避と適応シャープニングフィルタ707の選択的適用とのうち少なくとも１つを反映するシャープニングフィルタ情報を抽出するように構成される復号ユニット712を備える。ビデオデコーダ700は、抽出されたシャープニングフィルタ情報に応じて、選択的回避及び選択的適用のうち少なくとも１つを制御するように構成される制御ユニット708を備える。シャープニングフィルタ情報は、シャープニング適用／回避フラグの形式であってよい。或いは、適応シャープニングフィルタ707は常に適用されてよい。

特に、復号ユニット712は、ＣＡＢＡＣに従ってシャープニングフィルタ情報を復号するように構成される。ビデオデコーダは、バッファ715に記憶された参照ブロックを用いてユニット711により計算されたエッジマップに基づいて、エッジ強度に推定するように構成されるエッジ強度推定ユニット710を備える。ビデオデコーダは、推定されたエッジ強度に応じて、ＣＡＢＡＣのコンテキストを選択するように構成されるＣＡＢＡＣコンテキストスイッチ709を備える。特に、エッジ強度推定ユニット710，711は、参照ブロックのエッジマップを構築するための第１のユニット711と、エッジマップに基づいてエッジ強度を推定するための第２のユニット710とを有することができる。

適応シャープニングフィルタ707は、特に、少なくとも１つの適応パラメータによって制御されるように構成される。更に、ビデオデコーダは、符号化されたビデオビットストリームから、適応パラメータのパラメータ値についての適応パラメータ情報を抽出するように構成される復号ユニット706を備える。制御ユニット708は、抽出された適応パラメータ情報に従って適応シャープニングフィルタ707を制御するように構成される。

ビデオデコーダ700の適応シャープニングフィルタ707は、好ましくは、ビデオコーダ600の適応シャープニングフィルタ609と同様の構造を示し、以下の違いがある。これらの２つのフィルタの違いは、適応シャープニングフィルタ707が好ましくは減算ユニット308を含まないことである。更に、ビデオデコーダ700では、適応パラメータすなわち係数ｋは、減算ユニット708と、残差ブロックの最小化とによって設定されない。代わりに、好ましくは符号化されたビットストリームからシグナリングデータとして抽出された適応パラメータ情報に応じて、適応パラメータはビデオデコーダ700において設定される。

ビデオデコーダ700は更なるユニットを備えてよく、受信された符号化されたビデオビットストリームを復号し、それに対応して量子化された残差変換係数を得るための復号ユニット701を備えてよい。量子化された残差変換係数は、逆量子化・逆変換ユニット702に供給されて、バッファ703に記憶される残差ブロックが生成される。残差ブロックは、加算器704により、制御ユニット708の出力に付加される。抽出されたシャープニングフィルタ情報に応じて、バッファ714に記憶された予測ブロックに、又は、適応シャープニングフィルタ707によって出力された鮮鋭化された予測ブロックに、残差ブロックが付加される。加算器704の出力は、所与のフレームの再構築されたブロックである。

ビデオデコーダ700は、特に、以下のような処理フローを示す。

― 動きベクトルは、符号化されたビデオビットストリームからシグナリングデータとして得られる。

― 参照ブロックからエッジマップが生成される。

― 生成されたエッジマップは、参照ブロックのエッジ強度を推定するために用いられる。エッジ強度は、エッジマップの値を平均化することによって推定される。

― 推定されたエッジ強度は、ＣＡＢＡＣのコンテキストスイッチとして用いられ、適応シャープニングフィルタ707を適用又は回避することにある予測タイプ、すなわちシャープニングフィルタ情報が復号される。コンテキストスイッチは、推定されたエッジ強度と所与の閾値との比較によって実行することができる。推定されたエッジ強度が閾値を上回る場合、第１のコンテキストが用いられる。推定されたエッジ強度が閾値よりも低い場合、第２のコンテキストが用いられる。有利な実施形態では、２つ以上のレベルのエッジ強度と、より多くの対応するＣＡＢＡＣコンテキストが用いられてよい。

―シャープニングフィルタ情報に基づいて、適応シャープニングフィルタ707が適用されると決定された場合、シャープニング強度、すなわち適応パラメータ情報が復号される。適応シャープニングフィルタ707は、復号されたシャープニング強度で適用される。既に生成されたエッジマップを鮮鋭化に用いて、リソースを節約することができる。

―残差ブロックは、ユニット701，702，703によって復号される。シャープニングフィルタ情報に応じて、予測ブロック又は鮮鋭化された予測ブロックに残差ブロックが付加されて、所与のフレームの再構築されたブロックが得られる。

図８は、本発明の実施形態に係るビデオコーディング方法を示す。

ビデオコーディング方法は、参照フレームから得られた予測ブロックに基づく、原フレームの原ブロックの符号化されたビデオビットストリームへの予測符号化のための方法800である。

本方法は、原ブロックを記憶するステップ801を含む。

本方法は、予測ブロックを記憶するステップ802を含む。

本方法は、予測ブロックに空間適応シャープニングフィルタリングを適用することを含む、適応シャープニングフィルタステップ803を含む。

図９は、本発明の実施形態に係るビデオデコーディング方法を示す。

ビデオコーディング方法は、再構築された参照フレームから得られた予測ブロックに基づいて、原フレームの原ブロックの予測符号化によって得られた符号化されたビデオビットストリームを復号する方法900である。

本方法は、符号化されたビデオビットストリームから参照フレームを再構築することを含む復号ステップ901を含む。

本方法は、再構築された参照フレームから得られた予測ブロックを記憶するステップ902を含む。

本方法は、予測ブロックに空間適応シャープニングフィルタリングを適用することを含む、適応シャープニングフィルタステップ903を含む。

本発明は、実装と同様に例としての様々な実施形態と併せて説明された。しかしながら、図面、本開示及び独立請求項の研究から、当業者及び特許請求の範囲に記載の発明の実施により、他の変形を理解し、達成することができる。特許請求の範囲及び明細書において、「含む（comprising）」という語は他の要素又はステップを排除せず、不定冠詞“a”又は“an”は複数を排除しない。単一の要素又は他のユニットにより、特許請求の範囲に記載されたいくつかの実体又は項目の機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、それらの手段の組合わせが有利な実施において使用できないことを示すものではない。

Claims (24)

1. 参照フレームから得られた予測ブロックに基づく、原フレームの原ブロックの符号化されたビデオビットストリームへの予測符号化のためのビデオコーダであって、
   前記原ブロックを記憶するように構成されるバッファと、
   前記予測ブロックを記憶するように構成されるバッファと、
   前記予測ブロックに空間適応シャープニングフィルタリングを適用するように構成される適応シャープニングフィルタと、
   を備えるビデオコーダ。
2. 前記参照フレームから得られた複数の予測ブロックにそれぞれ基づく、前記原フレームの複数の原ブロックの前記符号化されたビデオビットストリームへの前記予測符号化に関して、前記適応シャープニングフィルタは、前記複数の予測ブロックの各々に対して、異なるシャープニングフィルタリングを適用するように構成される、
   請求項１に記載のビデオコーダ。
3. ベースレイヤ及び少なくとも１つの拡張レイヤを含むスケーラブルビデオコンテンツのレイヤ間予測符号化に関して、
   前記原フレームは拡張レイヤのフレームであり、
   前記参照フレームは、再構築されたベースレイヤのフレームであり、
   前記ビデオコーダは、
   前記参照フレームをアップサンプリングするように構成されるアップサンプリングフィルタであって、前記予測ブロックはアップサンプリングされた前記参照フレームのブロックである、アップサンプリングフィルタ、
   を備える、請求項１又は２に記載のビデオコーダ。
4. 後続のフレームを含むビデオコンテンツのフレーム間予測符号化に関して、
   前記原フレームは前記後続のフレームの１つであり、
   前記参照フレームは、再構築された後続のフレームの１つであり、
   前記ビデオコーダは、
   前記参照フレームの参照ブロックを記憶するように構成されるバッファと、
   前記参照ブロックと前記原ブロックとの間の動きを反映する動きベクトルを取得するように構成される動き推定ユニットと、
   前記動きベクトルに基づいて前記参照ブロックから前記予測ブロックを生成するように構成される動き補償ユニットと、
   を備える、請求項１又は２に記載のビデオコーダ。
5. 前記適応シャープニングフィルタの選択的回避と前記適応シャープニングフィルタの選択的適用とのうち少なくとも１つを制御するように構成される制御ユニットと、
   前記符号化されたビデオビットストリームに、前記適応シャープニングフィルタの前記選択的回避及び前記選択的適用のうちの前記少なくとも１つを反映するシャープニングフィルタ情報を付加するように構成される符号化ユニットと、
   を備える、請求項１乃至４のいずれか一項に記載のビデオコーダ。
6. 前記符号化ユニットは、コンテキスト適応２進演算符号化（context-adaptive binary arithmetic coding，ＣＡＢＡＣ）を用いて、前記シャープニングフィルタ情報を符号化するように構成され、
   前記ビデオコーダは、
   前記予測ブロック又は前記参照フレームの参照ブロックにおいて、エッジ強度を推定するように構成されるエッジ強度推定ユニットと、
   推定された前記エッジ強度に応じて、前記ＣＡＢＡＣのコンテキストを選択するように構成されるＣＡＢＡＣコンテキストスイッチと、
   を備える、請求項５に記載のビデオコーダ。
7. 前記制御ユニットは、残差ブロックの最小化に基づいて、又は例えばレート歪みの最適化であるコスト基準に基づいて、前記選択的回避及び前記選択的適用のうちの前記少なくとも１つを制御するように構成され、前記残差ブロックは、前記原ブロックと前記予測ブロックとの差である、
   請求項５又は６に記載のビデオコーダ。
8. 前記適応シャープニングフィルタは、少なくとも１つの適応パラメータによって制御されるように構成され、
   前記ビデオコーダは、
   前記適応パラメータのパラメータ値を決定し、決定された前記パラメータ値を前記適応シャープニングフィルタに供給するように構成される制御ユニットと、
   前記適応パラメータの決定された前記パラメータ値についての適応パラメータ情報を、前記符号化されたビデオビットストリームに付加するように構成される符号化ユニットと、
   を備える、請求項１乃至７のいずれか一項に記載のビデオコーダ。
9. 前記制御ユニットは、残差ブロックの最小化に基づいて、又はレート歪みの最適化のようなコスト基準に基づいて、前記適応パラメータについて異なるパラメータ値を供給し、前記異なるパラメータのうちの１つを選択するように構成され、前記残差ブロックは、前記原ブロックと前記予測ブロックとの差である、
   請求項８に記載のビデオコーダ。
10. 前記適応シャープニングフィルタは、単一の適応パラメータによって制御されるように構成される非線形フィルタである、
    請求項８又は９に記載のビデオコーダ。
11. 前記適応シャープニングフィルタは、
    ソースブロックのエッジマップを生成するように適合されるエッジマップ計算ユニットであって、前記ソースブロックは、前記予測ブロック又は前記参照フレームの参照ブロックである、エッジマップ計算ユニットと、
    前記ソースブロックの前記エッジマップをぼかすように適合されるぼかしフィルタと、
    ぼかされた前記エッジマップをハイパスフィルタリングすることにより、前記ソースブロックの各位置の微分ベクトルを生成するように適合されるハイパスフィルタと、
    シャープニング強度係数（Ｋ）を用いて前記微分ベクトルをスケーリングすることにより、変位ベクトルを生成するように適合されるスケーリングユニットと、
    前記変位ベクトルに基づいて前記予測ブロックをワーピングするように適合されるワーピングユニットと、
    を含み、
    前記適応パラメータは前記シャープニング強度係数（Ｋ）を含む、
    請求項８乃至１０のいずれか一項に記載のビデオコーダ。
12. 前記適応パラメータ情報及び／又はシャープニングフィルタ情報は、各予測ブロックのブロックレベルで、前記フレームの任意又は規則的な領域について、フレームレベルで、ＧＯＰ（group of pictures）レベルで、ＰＰＳ（picture parameter set）レベルで、又はＳＰＳ（sequence parameter set）レベルで付加される、
    請求項５乃至１１のいずれか一項に記載のビデオコーダ。
13. 参照フレームから得られた予測ブロックに基づく原フレームの原ブロックの符号化されたビデオテープストリームへの予測符号化の方法であって、
    前記原ブロックを記憶するステップと、
    前記予測ブロックを記憶するステップと、
    前記予測ブロックに空間適応シャープニングフィルタリングを適用することを含む、適応シャープニングフィルタステップと、
    を含む方法。
14. 再構築された参照フレームから得られる予測ブロックに基づいて、原フレームの原ブロックの予測符号化により得られた符号化されたビデオビットストリームを復号するためのビデオデコーダであって、
    前記符号化されたビデオビットストリームから前記参照フレームを再構築するように構成される復号ユニットと、
    再構築された前記参照フレームから得られる前記予測ブロックを記憶するように構成されるバッファと、
    前記予測ブロックに空間適応シャープニングフィルタリングを適用するように構成される適応シャープニングフィルタと、
    を備えるビデオデコーダ。
15. ベースレイヤ及び少なくとも１つの拡張レイヤを含むスケーラブルビデオコンテンツのレイヤ間予測符号化によって得られた前記符号化されたビデオビットストリームを復号することに関して、
    前記原フレームは拡張レイヤのフレームであり、
    前記参照フレームは、再構築されたベースレイヤのフレームであり、
    前記ビデオデコーダは、
    前記再構築された参照フレームをアップサンプリングするように構成されるアップサンプリングフィルタであって、前記予測ブロックは、アップサンプリングされた前記参照フレームのブロックである、アップサンプリングフィルタ、
    を備える、請求項１４に記載のビデオデコーダ。
16. 後続のフレームを含むビデオコンテンツのフレーム間予測符号化によって得られた前記符号化されたビデオビットストリームを復号することに関して、
    前記原フレームは前記後続のフレームの１つであり、
    前記参照フレームは、再構築された後続のフレームの１つであり、
    前記ビデオデコーダは、
    抽出された前記参照フレームの参照ブロックを記憶するように構成されるバッファと、
    前記符号化されたビデオビットストリームから、前記参照ブロックと前記原ブロックとの間の動きを反映する動きベクトルを抽出するように構成される復号ユニットと、
    前記動きベクトルに基づいて前記参照ブロックから前記予測ブロックを生成するように構成される動き補償ユニットと、
    を備える、請求項１４に記載のビデオデコーダ。
17. 前記符号化されたビデオビットストリームから、前記適応シャープニングフィルタの選択的回避と前記適応シャープニングフィルタの選択的適用とのうち少なくとも１つを反映するシャープニングフィルタ情報を抽出するように構成される復号ユニットと、
    抽出された前記シャープニングフィルタ情報に応じて、前記選択的回避及び前記選択的適用のうちの前記少なくとも１つを制御するように構成される制御ユニットと、
    を備える、請求項１４乃至１６のいずれか一項に記載のビデオデコーダ。
18. 前記復号ユニットは、コンテキスト適応２進演算符号化（context-adaptive binary arithmetic coding，ＣＡＢＡＣ）に従って前記シャープニングフィルタ情報を復号するように構成され、
    前記ビデオデコーダは、
    前記予測ブロック又は前記参照フレームの参照ブロックにおいてエッジ強度を推定するように構成されるエッジ強度推定ユニットと、
    推定された前記エッジ強度に応じて、前記ＣＡＢＡＣのコンテキストを選択するように構成されるＣＡＢＡＣコンテキストスイッチと、
    を備える、請求項１７に記載のビデオデコーダ。
19. 前記適応シャープニングフィルタは、少なくとも１つの適応パラメータによって制御されるように構成され、
    前記ビデオデコーダは、
    前記符号化されたビデオビットストリームから、前記適応パラメータのパラメータ値についての適応パラメータ情報を抽出するように構成される復号ユニットと、
    抽出された前記適応パラメータ情報に従って前記適応シャープニングフィルタを制御するように構成される制御ユニットと、
    を備える、請求項１４乃至１８のいずれか一項に記載のビデオデコーダ。
20. 前記適応シャープニングフィルタは、単一の適応パラメータによって制御されるように構成される非線形フィルタである、
    請求項１９に記載のビデオデコーダ。
21. 前記適応シャープニングフィルタは、
    ソースブロックのエッジマップを生成するように適合されるエッジマップ計算ユニットであって、前記ソースブロックは、前記予測ブロック又は前記参照フレームの参照ブロックである、エッジマップ計算ユニットと、
    前記ソースブロックの前記エッジマップをぼかすように適合されるぼかしフィルタと、
    ぼかされた前記エッジマップをハイパスフィルタリングすることにより、前記ソースブロックの各位置について微分ベクトルを生成するように適合されるハイパスフィルタと、
    シャープニング強度係数（Ｋ）を用いて前記微分ベクトルをスケーリングすることにより、変位ベクトルを生成するように適合されるスケーリングユニットと、
    前記変位ベクトルに基づいて前記予測ブロックをワーピングするように適合されるワーピングユニットと、
    を備え、
    前記適応パラメータは前記シャープニング強度係数（Ｋ）を含む、
    請求項１９又は２０のいずれか一項に記載のビデオデコーダ。
22. 前記適応パラメータ情報及び／又は前記シャープニングフィルタ情報は、各予測ブロックのブロックレベルで、フレームの任意又は規則的な領域について、フレームレベルで、ＧＯＰ（group of pictures）レベルで、ＰＰＳ（picture parameter set）レベルで、或いはＳＰＳ（sequence parameter set）レベルで抽出される、
    請求項１７乃至２１のいずれか一項に記載のビデオデコーダ。
23. 再構築された参照フレームから得られた予測ブロックに基づいて、原フレームの原ブロックの予測符号化によって得られた符号化されたビデオビットストリームを復号する方法であって、
    前記符号化されたビデオビットストリームから前記参照フレームを再構築することを含む、復号ステップと、
    再構築された前記参照フレームから得られた前記予測ブロックを記憶するステップと、
    前記予測ブロックに空間適応シャープニングフィルタリングを適用することを含む、適応シャープニングフィルタステップと、
    を含む方法。
24. コンピュータプログラムであって、
    前記コンピュータプログラムがコンピューティングデバイス上で作動したときに、請求項１３又は２３に記載の方法を実行するためのプログラムコードを有する、コンピュータプログラム。

Images