JP2014513898A - 適応的フィルタリングを用いる映像の符号化方法及び装置、その復号化方法及び装置 - Google Patents

Abstract

適応的フィルタリングを用いる映像の符号化方法及び装置、その復号化方法及び装置が開示される。本発明による適応的フィルタリングを用いる映像の符号化方法は、符号化される現在ブロックの予測符号化に用いられる参照フレームに適用されるフィルタのサイズ及びフィルタのフィルタ係数を適応的に変化させて、参照フレームに適用されるフィルタを定め、定められたフィルタを用いて参照フレームをフィルタリングし、フィルタリングされた参照フレームを用いて現在ブロックを予測符号化し、予測符号化された現在ブロック及びフィルタに関する情報を出力することを特徴とする。

Description

本発明は、予測符号化のために用いられる参照フレームをフィルタリングするビデオ符号化／復号化に関する。

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）のような映像圧縮方式では、映像を符号化するために一つのピクチャーを映像処理単位、すなわち、マクロブロックに分ける。次いで、インター予測またはイントラ予測を用いてそれぞれのマクロブロックを符号化する。

多視点ビデオ符号化（ｍｕｌｔｉ−ｖｉｅｗ ｖｉｄｅｏ ｃｏｄｉｎｇ：ＭＶＣ）は、複数のカメラから獲得された互いに異なる視点の複数の映像を処理するものであり、多視点映像を時間的相関関係及びカメラ間（ｉｎｔｅｒ−ｖｉｅｗ）の空間的相関関係を用いて圧縮符号化する。

時間的相関関係を用いる時間予測及び空間的相関関係を用いる視点間予測では、一つ以上の参照ピクチャーを用いて現在ピクチャーの動きをブロック単位で予測し、補償して映像を符号化する。時間予測及び視点予測では、現在ブロックと最も類似したブロックを参照ピクチャーの所定の検索範囲で検索し、類似したブロックが検索されれば、現在ブロックと類似したブロック間の残差データ（ｒｅｓｉｄｕａｌ ｄａｔａ）のみ伝送することで、データの圧縮率を高める。

本発明が解決しようとする課題は、参照フレームを用いるインター予測時に参照フレームに対する適応的フィルタリングを行う映像符号化方法及び装置、その復号化方法及び装置を提供することである。

本発明の一実施形態による適応的フィルタリングを用いる映像の符号化方法は、符号化される現在ブロックの予測符号化に用いられる参照フレームに適用されるフィルタのサイズ及び前記フィルタのフィルタ係数を適応的に変化させて、前記参照フレームに適用されるフィルタを定める段階と、前記定められたフィルタを用いて前記参照フレームをフィルタリングする段階と、前記フィルタリングされた参照フレームを用いて前記現在ブロックを予測符号化する段階と、前記予測符号化された現在ブロック及び前記フィルタに関する情報を出力する段階と、を含むことを特徴とする。

本発明の一実施形態による適応的フィルタリングを用いる映像の復号化方法は、受信されたビットストリームをパージングして復号化される現在ブロックと参照フレームの対応ブロックとの差分信号のデータ、及び前記参照フレームに適用されたフィルタに関する情報を抽出する段階と、前記フィルタに関する情報に基づいて、前記参照フレームに適用されるフィルタのサイズ及び前記フィルタのフィルタ係数を適応的に変化させ、前記参照フレームに適用されるフィルタを定める段階と、前記定められたフィルタを用いて前記参照フレームをフィルタリングする段階と、前記フィルタリングされた参照フレームを用いて前記現在ブロックの予測信号を生成する段階と、前記差分信号及び前記現在ブロックの予測信号を加算して前記現在ブロックを復元する段階と、を含むことを特徴とする。

本発明の一実施形態による適応的フィルタリングを用いる映像の符号化装置は、符号化される現在ブロックの予測符号化に用いられる参照フレームに適用されるフィルタのサイズ及び前記フィルタのフィルタ係数を適応的に変化させて、前記参照フレームに適用されるフィルタを定め、前記定められたフィルタを用いて前記参照フレームをフィルタリングするフィルタリング部と、前記フィルタリングされた参照フレームを用いて前記現在ブロックを予測符号化する予測符号化部と、前記現在ブロックの予測符号化されたデータ及び前記フィルタに関する情報を出力する出力部と、を備えることを特徴とする。

本発明の一実施形態による適応的フィルタリングを用いる映像の復号化装置は、受信されたビットストリームをパージングして復号化される現在ブロックと参照フレームの対応ブロックとの差分信号のデータ、及び前記参照フレームに適用されたフィルタに関する情報を抽出するデータ抽出部と、前記フィルタに関する情報に基づいて、前記参照フレームに適用されるフィルタのサイズ及び前記フィルタのフィルタ係数を適応的に変化させて、前記参照フレームに適用されるフィルタを定め、前記定められたフィルタを用いて前記参照フレームをフィルタリングするフィルタリング部と、前記フィルタリングされた参照フレームを用いて前記現在ブロックの予測信号を生成する予測部と、前記抽出された差分信号及び前記現在ブロックの予測信号を加算して前記現在ブロックを復元する復元部と、を備えることを特徴とする。

本発明によれば、映像特性によって適当なフィルタを適用して参照フレームをフィルタリングし、フィルタリングされた参照フレームを用いて予測符号化を行う一方、適用されたフィルタ情報の一部のみを伝送することで映像の圧縮効率を高める。

本発明の一実施形態による映像符号化装置の構成を示すブロック図である。 本発明の他の実施形態による映像符号化装置の構成を示すブロック図である。 図２の本発明の一実施形態による映像符号化装置の具体的な構成を示すブロック図である。 図３の本発明の他の実施形態による映像符号化装置の具体的な構成を示すブロック図である。 本発明の一実施形態によるフィルタの特性を示すグラフである。 本発明の一実施形態によるフィルタの特性を示すグラフである。 本発明の実施形態による５×５フィルタの一例を示す参照図である。 本発明の実施形態による５×５フィルタの一例を示す参照図である。 本発明の一実施形態による３×３フィルタの一例を示す参照図である。 本発明の一実施形態による３×３フィルタの一例を示す参照図である。 本発明の一実施形態による適応的フィルタを示す参照図である。 図９の適応的フィルタの中心フィルタ係数の値の変化による特性を示すグラフである。 本発明の一実施形態による符号化単位の概念を示す図面である。 本発明の一実施形態による深度別符号化単位及びパーティションを示す。 本発明の一実施形態による適応的フィルタリングを用いる映像符号化方法を示すフローチャートである。 本発明の一実施形態による適応的フィルタリングを用いる映像復号化装置を示すブロック図である。 本発明の他の実施形態による適応的フィルタリングを用いる映像復号化装置を示すブロック図である。 図１４の本発明の一実施形態による映像復号化装置の具体的な構成を示すブロック図である。 図１５の本発明の他の実施形態による映像復号化装置の具体的な構成を示すブロック図である。 本発明の一実施形態による適応的フィルタリングを用いる映像復号化方法を示すフローチャートである。

以下、添付した図面を参照して本発明の望ましい実施形態について具体的に説明する。

図１は、本発明の一実施形態による映像符号化装置の構成を示すブロック図である。図１に示された映像符号化装置１００は、単一視点の映像を符号化する装置であり、後述するように以前に符号化された参照フレームをフィルタリングし、フィルタリングされた参照フレームを予測符号化に用いる。

図１を参照すれば、本発明の一実施形態による映像符号化装置１００は、予測符号化部１１０、フィルタリング部１２０及び出力部１３０を備える。

予測符号化部１１０は、一般的な映像コーダーであり、イントラ予測される現在ブロックに対しては、現在ブロック以前に符号化された後で復元された周辺ブロックを用いてイントラ予測符号化を行い、インター予測される現在ブロックに対しては、以前に符号化された後で復元されてから、フィルタリング部１２０でフィルタリングされた参照フレームを用いてインター予測符号化を行う。

フィルタリング部１２０は、符号化される現在ブロックの予測符号化に用いられる参照フレームに適用されるフィルタのサイズ及びフィルタのフィルタ係数を適応的に変化させて、参照フレームに適用されるフィルタを定め、定められたフィルタを用いて参照フレームをフィルタリングする。フィルタリング部１２０でフィルタを定める過程については、後述する。

出力部１３０は、現在ブロックの予測符号化されたデータ及びフィルタに関する情報を出力する。

図２は、本発明の他の実施形態による映像符号化装置の構成を示すブロック図である。図２を参照すれば、本発明の他の実施形態による映像符号化装置２００は、第１予測符号化部２１０、第２予測符号化部２２０、フィルタリング部２３０及び出力部２４０を備える。本発明の他の実施形態による映像符号化装置２００は、入力映像を基本階層と向上階層とにスケーラブルに符号化する装置であるか、または、多視点映像のように互いに異なる視点の映像を符号化する装置である。

もし、スケーラブルに入力映像を符号化する場合、第１予測符号化部２１０は、入力映像を所定解像度及び品質を持つ基本階層ビットストリームに符号化し、第２予測符号化部２２０は、第１予測符号化部２１０で以前に符号化された基本階層の映像及び入力映像を用いて、さらに高品質の向上階層ビットストリームを生成する。すなわち、第２予測符号化部２２０は、以前に符号化された後で復元された第１予測符号化部２１０の出力映像を参照フレームとして向上階層ビットストリームを生成する映像コーダー装置である。フィルタリング部２３０は、このような向上階層ビットストリームの生成に用いられる基本階層の映像に適用されるフィルタのサイズ及びフィルタ係数を適応的に変化させてフィルタを定め、定められたフィルタを用いて基本階層の映像をフィルタリングする。出力部２３０は、スケーラブルに符号化された基本階層及び向上階層のビットストリームと、基本階層の参照フレームとに適用されたフィルタに関する情報を出力する。

もし、多視点映像を符号化する場合、第１予測符号化部２１０は、多視点映像のうち、アンカー映像のように異なる視点の映像の参照映像として用いられる第１視点の映像を、先ず予測符号化する。第１予測符号化部２１０で先ず符号化された後で復元された第１視点の映像は、異なる視点の映像の参照映像に用いられる。第２予測符号化部２２０は、以前に符号化された後で復元された第１視点の映像を参照フレームとして用いて第２視点の映像を符号化する映像コーダー装置でありうる。フィルタリング部２３０は、このような第２視点の映像の利用に用いられる第１視点の映像に適用されるフィルタのサイズ及びフィルタのフィルタ係数を適応的に変化させてフィルタを定め、定められたフィルタを用いて第１視点の映像をフィルタリングする。出力部２３０は、第１視点及び第２視点の符号化されたビットストリーム、及び第１視点の映像に適用されたフィルタに関する情報を出力する。

前述したように、本発明の実施形態によれば、単一視点で異なる映像のインター予測時に用いられる、以前に符号化された後で復元された参照フレーム、スケーラブルコーディングで向上階層の符号化に用いられる基本階層の映像、多視点映像で異なる視点の映像の予測時に用いられる、以前に符号化された後で復元された所定視点の映像に適用されるフィルタのサイズ及びフィルタ係数を変化させて、可変的にフィルタを生成し、生成されたフィルタを用いて参照フレーム映像をフィルタリングし、フィルタリングされた映像を用いて予測符号化を行う。従来には、参照フレームの映像のフィルタリング時に固定されたフィルタ係数を持つ固定フィルタを用いるか、または、ウインナー（ｗｉｅｎｅｒ）フィルタのように最適化されたフィルタ係数をいずれも伝送する場合があった。しかし、固定されたフィルタを用いる場合、映像特性によって効率的な異なるフィルタを選択することが不可能であり、ウインナーフィルタのように最適化されたフィルタ係数をいずれも伝送する場合には、フィルタ係数の伝送に必要なビット量が増加して効率的な映像圧縮の困難な問題点がある。よって、本発明の実施形態によるフィルタリング部１２０、２３０は、固定されたフィルタではない映像特性によってサイズ及びフィルタ係数が変化する可変的なフィルタを用いつつも、適用されたフィルタに関する所定の情報のみを伝送してフィルタを再構成可能にすることで、映像の品質向上及び圧縮効率を改善させる。

図３は、図２の本発明の一実施形態による映像符号化装置の具体的な構成を示すブロック図である。

図３を参照すれば、本発明の一実施形態による映像符号化装置３００は、イントラ予測部３１０、動き予測部３２０、動き補償部３３０、変換及び量子化部３４０、エントロピー符号化部３５０、逆変換及び逆量子化部３６０、フィルタリング部３７０及びフレームメモリ３８０を備える。

イントラ予測部３１０は、現在ブロックに隣接している、以前に符号化された領域に含まれたピクセルを用いて現在ブロックを予測する。動き予測部３２０及び動き補償部３３０は、フレームメモリ３８０に保存されている、少なくとも一つの参照フレームに基づいて現在ブロックを予測する。動き予測部３２０が参照フレームのうち現在ブロックと最も類似したブロックを検索して動きベクトルを生成すれば、動き補償部３３０は、生成された動きベクトルに基づいて現在ブロックを動き補償する。この時、動き予測部３２０及び動き補償部３３０で用いられる参照フレームは、フィルタリング部３７０によってフィルタリングされた参照フレームである。

変換及び量子化部３４０は、残差ブロックを直交変換し、直交変換結果で生成された係数を、所定の量子化パラメータによって量子化する。直交変換は、離散コサイン変換またはアダマール変換（Ｈａｄａｍａｒｄ Ｔｒａｎｓｆｏｒｍ）でありうる。残差ブロックは、イントラ予測部３１０または動き補償部３３０で生成された予測ブロックを現在ブロックから減算して生成されたブロックである。

エントロピー符号化部３５０は、変換及び量子化部３４０から量子化された直交変換係数を受信し、エントロピー符号化する。ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｅ）またはＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ｂａｓｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｅ）によって、直交変換係数をエントロピー符号化する。また、エントロピー符号化部３５０は、フィルタリング部３７０で定められたフィルタに関する情報を加えてビットストリームを生成する。

逆変換及び逆量子化部３６０は、量子化された直交変換係数を受信し、受信された直交変換係数を逆量子化及び逆直交変換して残差ブロックを復元する。復元された残差ブロックを予測ブロックと加算して、現在ブロックを復元する。

フィルタリング部３７０は、以前に符号化された後で復元されて現在ブロックの予測符号化に用いられる参照フレームに適用されるフィルタのサイズ及びフィルタのフィルタ係数を適応的に変化させて、参照フレームに適用されるフィルタを定め、定められたフィルタを用いて参照フレームをフィルタリングする。この時、フィルタリング部３７０は、現在ブロックに対応する参照フレームの対応領域の映像特性、例えば、分散を用いてフィルタのサイズ及びフィルタ係数を定めるか、または既定の複数のフィルタを適用して参照フレームをフィルタリングし、フィルタリングされた参照フレームを用いて予測符号化した結果によるＲＤ（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ）コストを比較して、最小コストを持つフィルタを、参照フレームに適用する最終的なフィルタと定める。

図４は、図３の本発明の他の実施形態による映像符号化装置の具体的な構成を示すブロック図である。前述したように、本発明の他の実施形態による映像符号化装置４００は、第１予測符号化部４１及び第２予測符号化部４２、フィルタリング部４３、及び図２の出力部２４０に対応するエントロピー符号化部４４を備える。第１予測符号化部４１に備えられた第１イントラ予測部４１３、第１動き予測部４１１、第１動き補償部４１２、第１変換及び量子化部４１４、第１逆変換及び逆量子化部４１５は、スケーラブル映像の基本階層や多視点映像の所定視点の映像を予測符号化し、第２予測符号化部４２に備えられた第２イントラ予測部４２３、第２動き予測部４２１、第２動き補償部４２２、第２変換及び量子化部４２４、第２逆変換及び逆量子化部４２５は、スケーラブル映像の向上階層の映像や多視点映像のうち、第１予測符号化部４１で以前に符号化された視点と異なる視点の映像を符号化する。

フィルタリング部４３は、第２予測符号化部４２で符号化される現在ブロックの予測符号化に用いられる参照フレームに適用されるフィルタのサイズ及びフィルタのフィルタ係数を適応的に変化させて、参照フレームに適用されるフィルタを定め、定められたフィルタを用いて参照フレームをフィルタリングする。前述した本発明の一実施形態のように、フィルタリング部４３は、現在ブロックに対応する参照フレームの対応領域の映像特性、例えば、分散を用いてフィルタのサイズ及びフィルタ係数を定めるか、または、既定の複数のフィルタを適用して参照フレームをフィルタリングし、フィルタリングされた参照フレームを用いて予測符号化した結果によるＲＤ（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ）コストを比較し、最小コストを持つフィルタを参照フレームに適用するフィルタとして定める。

エントロピー符号化部４４は、第１予測符号化部４１及び第２予測符号化部４２で符号化されたデータをエントロピー符号化する一方、フィルタリング部４３で定められたフィルタに関する情報を加えてビットストリームを生成する。

以下、本発明のフィルタリング部で適応的にフィルタを定める過程について具体的に説明する。

図５及び図６は、本発明の一実施形態によるフィルタの特性を示すグラフである。

図５を参照すれば、本発明の一実施形態による参照フレームに適用されるフィルタは、基本的に中心部で最大値を持ち、かつ端部へ行くほど値が減少するフィルタ係数を持つガウシアン・フィルタに基づく。図５で、ｘ軸の０は、フィルタの中心部を示し、＋方向や−方向へ行くほどフィルタの端部を示す。このように本発明の一実施形態によるフィルタは、中心部で最大値のフィルタ係数を持ち、端部へ行くほどフィルタ係数の値が減少する形態のガウシアン・フィルタに基づく。図６を参照すれば、本発明の一実施形態によるフィルタが５×５フィルタのサイズを持つフィルタであれば、図示されたように、中心フィルタ係数ｆ３３を中心として端部へ行くほど小さな値のフィルタ係数を持つ。

図７Ａ及び図７Ｂは、本発明の実施形態による５×５フィルタの一例を示す参照図である。図７Ａを参照すれば、５×５フィルタは、中心フィルタ係数は１／２の値を持ち、端部へ行くほど１／４、１／１６、１／３２、０に減少するフィルタ係数を持つ。図７Ａのフィルタ係数を整数に量子化する場合、図７Ｂに示されたように、５×５フィルタは、中心フィルタ係数は１６の値を持ち、端部へ行くほど８、４、２、１、０に減少するフィルタ係数を持つ。本発明に適用されるフィルタのフィルタ係数は、前述した図５及び６に示されたように、中心フィルタ係数が最大値を持ち、端部へ行くほどフィルタ係数が減少するガウシアン・フィルタ形態の条件を満たす範囲内で、図７に示されたフィルタ係数の数値に限定されず、フィルタ係数の値は変更される。

図８Ａ及び図８Ｂは、本発明の一実施形態による３×３フィルタの一例を示す参照図である。図８Ａを参照すれば、３×３フィルタは、中心フィルタ係数は２の値を持ち、中心フィルタ係数に隣接しているフィルタ係数は１の値を持ち、残りの隅側のフィルタ係数は０の値を持つ。図８Ｂを参照すれば、３×３フィルタは、中心フィルタ係数は４の値を持ち、中心フィルタ係数に隣接しているフィルタ係数は２の値を持ち、残りの隅側のフィルタ係数は１の値を持つ。図８Ａ及び図８Ｂの３×３フィルタは、いずれもガウシアン・フィルタに該当する。

図９は、本発明の一実施形態による適応的フィルタを示す参照図である。図９を参照すれば、本発明の一実施形態による適応的フィルタは、中心フィルタ係数ｆ＿ｃｅｎｔｅｒの値が最大値を持つ場合ならば、ガウシアン・フィルタに該当する。図９で、中心フィルタ係数ｆ＿ｃｅｎｔｅｒの値が８より大きい値を持つ場合には、ガウシアン・フィルタに該当する。本発明の一実施形態によるフィルタリング部は、図９に示したようなフィルタで中心フィルタ係数ｆ＿ｃｅｎｔｅｒの値のみを変化させて、参照フレームに適用されるフィルタを変化させる。中心フィルタ係数ｆ＿ｃｅｎｔｅｒの値は、参照フレームの対応領域の分散値が大きいほど大きい値を持ち、参照フレームの対応領域の分散値の小さいほど小さな値を持つ。すなわち、中心フィルタ係数ｆ＿ｃｅｎｔｅｒの値は、参照フレームの対応領域の分散値に比例する値を持つことが望ましい。このように中心フィルタ係数ｆ＿ｃｅｎｔｅｒの値を、参照フレームの対応領域の分散値に比例するように設定する理由は、参照フレームの対応領域のピクセル間の相関度を考慮して、フィルタリングによって参照フレームのピクセル間の差が不明になるブラー（ｂｌｕｒ）現象を防止するためである。

図９に示されたように、所定サイズのフィルタ内で、他のフィルタ係数は固定値を用い、中心フィルタ係数のみを変化させた多様なフィルタを参照フレームに適用する場合、参照フレームの映像特性によって効率的にフィルタリングを行いつつも、フィルタ係数情報として中心フィルタに関する情報のみを伝送すればよいため、効率的な映像圧縮が可能である。

図１０は、図９の適応的フィルタの中心フィルタ係数の値の変化による特性を示すグラフである。

中心フィルタ係数ｆ＿ｃｅｎｔｅｒは、基本フィルタ係数をｆ０、オフセットをｏｆｆｓｅｔ、加重値をＷという時、次の数式；ｆ＿ｃｅｎｔｅｒ＝Ｗ＊ｆ０＋ｏｆｆｓｅｔのように定義する。ｆ０は、既定の値であると仮定する時、Ｗ及びｏｆｆｓｅｔは、参照フレームの分散値に比例する値を持つように設定される。例えば、現在ブロックの予測に用いられる参照フレームの対応領域の分散をＶＡＲとすれば、所定のしきい値Ｔｈ１、Ｔｈ２（Ｔｈ１＜Ｔｈ２）を基準としてＶＡＲ＜Ｔｈ１の場合、図面番号１０２のように、中心フィルタ係数はＷ１＊ｆ０＋ｏｆｆｓｅｔの値を持つように設定され、Ｔｈ１＜Ｖａｒ＜Ｔｈ２の場合、図面番号１０１のグラフのように、中心フィルタ係数は、Ｗ２＊ｆ０＋ｏｆｆｓｅｔの値を持つように設定され、ＶＡＲ＞Ｔｈ２の場合には、図面番号１０３のように、中心フィルタ係数は、Ｗ３＊ｆ０＋ｏｆｆｓｅｔの値を持つように設定される。

本発明によるフィルタリング部は、このような多様なサイズ及び係数を持つガウシアン・フィルタに基づいて、参照フレームを適応的にフィルタリングする。本発明のフィルタリング部で行われる適応的なフィルタリング方式は、ｉ）暗示モード（ｉｍｐｌｉｃｉｔ ｍｏｄｅ）及びｉｉ）明示モード（ｅｘｐｌｉｃｉｔ ｍｏｄｅ）がある。

暗示モードフィルタリング方式は、現在ブロックの予測符号化に用いられる参照フレームの対応領域の映像特性によって、複数のフィルタのうち一つを選択し、選択されたフィルタに関する情報は別に伝送されず、単に暗示モードで参照フレームがフィルタリングされたことを示すフィルタリング方式である。例えば、第２視点の現在ブロックが第１視点の参照フレームの対応領域を用いて予測符号化される時、フィルタリング部は、第１視点の参照フレームの対応領域の分散値を計算し、分散値のサイズによって複数のフィルタのうち適用するフィルタを選択する。前述したように分散値が大きいというのは、参照フレームの対応領域内のピクセル間の相関度が相対的に少ないということを意味するので、複数のフィルタのうち、さらに大きいサイズのフィルタを、現在フレームに適用するフィルタとして定める。また、フィルタリング部は、図９のように中心フィルタの係数のみが変化されるフィルタを用いる場合、参照フレームの対応領域の分散値に比例する中心フィルタ係数を選択して、適用されるフィルタを定める。復号化側では、現在ブロックの参照フレームが暗示モードに定められたというモード情報のみを伝送され、符号化側と同じく参照フレームの対応領域の映像特性を計算し、計算された対応領域の映像特性に基づいてフィルタを定める。

明示モードフィルタリング方式は、現在ブロックの予測符号化に用いられる参照フレームの対応領域の映像特性を考慮せず、予め用意された複数のフィルタをそれぞれ適用して参照フレームをフィルタリングし、各フィルタによってフィルタリングされた参照フレームを用いて予測符号化された結果によるコストを比較し、最小コストを持つ予測映像の生成に用いられたフィルタを、参照フレームに適用されるフィルタと定め、定められたフィルタに関するインデックス情報を別途にビットストリームに加えて伝送する方式である。復号化側では、ビットストリームに備えられたフィルタインデックス情報を用いて、予め用意された複数のフィルタから一つを選択して参照フレームについてのフィルタリングを行う。

図１１は、本発明の一実施形態による符号化単位の概念を示す。

本発明による映像符号化装置は、現在ピクチャーの特性を考慮して定められた最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を定め、ツリー構造による符号化単位を構成する。また、それぞれの最大符号化単位ごとに多様な予測モード、変換方式などで符号化できるため、多様な映像サイズの符号化単位の映像特性を考慮して最適の符号化モードが定められる。

符号化単位の例は、符号化単位のサイズは、幅×高さで表現され、サイズ６４×６４の符号化単位から、３２×３２、１６×１６、８×８を含む。サイズ６４×６４の符号化単位は、サイズ６４×６４、６４×３２、３２×６４、３２×３２のパーティションに分割され、サイズ３２×３２の符号化単位は、サイズ３２×３２、３２×１６、１６×３２、１６×１６のパーティションに、サイズ１６×１６の符号化単位は、サイズ１６×１６、１６×８、８×１６、８×８のパーティションに、サイズ８×８の符号化単位は、サイズ８×８、８×４、４×８、４×４のパーティションに分割される。

ビデオデータ１１１０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が２に設定されている。ビデオデータ１１２０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が３に設定されている。ビデオデータ１１３０については、解像度は３５２×２８８、符号化単位の最大サイズは１６、最大深度が１に設定されている。図１１に示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

解像度が高いか、またはデータ量が多い場合、符号化効率の向上だけではなく映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。よって、ビデオデータ１１３０に比べて、解像度の高いビデオデータ１１１０、１１２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ１１１０の最大深度は２であるため、ビデオデータ１１１０の符号化単位３１５は、長軸サイズ６４の最大符号化単位から、２回分割して深度が２階層深くなって、長軸サイズ３２、１６の符号化単位まで含む。一方、ビデオデータ１１３０の最大深度は１であるため、ビデオデータ１１３０の符号化単位３３５は、長軸サイズ１６の符号化単位から、１回分割して深度が１階層深くなって、長軸サイズ８の符号化単位まで含む。

ビデオデータ１１２０の最大深度は３であるため、ビデオデータ１１２０の符号化単位３２５は、長軸サイズ６４の最大符号化単位から、３回分割して深度が２階層深くなって、長軸サイズ３２、１６、８の符号化単位まで含む。深度が深くなるほど詳細情報の表現能力が向上する。

図１２は、本発明の一実施形態による深度別符号化単位及びパーティションを示す。

一実施形態によるビデオ符号化及び復号化装置は、映像特性を考慮するために階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に定められてもよく、ユーザのニーズに応じて多様に設定されてもよい。既定の符号化単位の最大サイズによって、深度別符号化単位のサイズが定められる。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を図示している。この時、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００うち最大符号化単位であり、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が深くなり、サイズ３２×３２の深度１の符号化単位６２０、サイズ１６×１６の深度２の符号化単位６３０、サイズ８×８の深度３の符号化単位６４０、サイズ４×４の深度４の符号化単位６５０が存在する。サイズ４×４の深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４×６４の符号化単位６１０が予測単位ならば、予測単位は、サイズ６４×６４の符号化単位６１０に含まれるサイズ６４×６４のパーティション６１０、サイズ６４×３２のパーティション６１２、サイズ３２×６４のパーティション６１４、サイズ３２×３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０に含まれるサイズ３２×３２のパーティション６２０、サイズ３２×１６のパーティション６２２、サイズ１６×３２のパーティション６２４、サイズ１６×１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０に含まれるサイズ１６×１６のパーティション６３０、サイズ１６×８のパーティション６３２、サイズ８×１６のパーティション６３４、サイズ８×８のパーティション６３６に分割される。

同様に、深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０に含まれるサイズ８×８のパーティション６４０、サイズ８×４のパーティション６４２、サイズ４×８のパーティション６４４、サイズ４×４のパーティション６４６に分割される。

最後に、深度４のサイズ４×４の符号化単位６５０は、最小符号化単位かつ最下位深度の符号化単位であり、該予測単位も、サイズ４×４のパーティション６５０に設定される。また、深度４のサイズ４×４の符号化単位６５０の予測単位は、サイズ４×２のパーティション６５２、サイズ２×４のパーティション６５４、サイズ２×２のパーティション６５６を含んでもよい。

フィルタリング部で定められたフィルタに関する情報は、このような符号化単位、最大符号化単位に設定されるか、または、スライス、フレーム、ピクチャー及び映像シーケンス単位で設定される。また、フィルタに関する情報として、暗示モードの場合に、参照フレームの対応領域が暗示モードにフィルタリングされたことを示すフィルタリングモード情報がさらに含まれ、明示モードの場合には、明示モードにフィルタリングされたことを示すフィルタリングモード情報以外に、中心フィルタ係数に関する情報がさらに含まれる。ここで、中心フィルタ係数に関する情報としては、基本フィルタ係数ｆｏに乗算される加重値Ｗ及びオフセット情報が含まれる。また、フィルタリング部は、現在ブロックを所定のサブブロックに分け、各サブブロックごとにフィルタリングされた参照フレームを選択的に用いて結果的なビットストリームのＲＤコストを比較し、各サブブロックごとにフィルタリングされた参照フレームを選択的に用いるようにする。この場合、フィルタ情報として、ツリー構造形態に各サブブロックごとにフィルタリングされた参照フレームを用いるかどうかを示すインデックス情報をさらに含む。ツリー構造形態に構成してもよい。

図１３は、本発明の一実施形態による適応的フィルタリングを用いる映像符号化方法を示すフローチャートである。図１３を参照すれば、段階１３１０で符号化される現在ブロックの予測符号化に用いられる参照フレームに適用されるフィルタのサイズ及びフィルタのフィルタ係数を適応的に変化させて、参照フレームに適用されるフィルタを定める。

段階１３２０で、フィルタリング部は、定められたフィルタを用いて参照フレームをフィルタリングする。

段階１３３０で、予測符号化部は、フィルタリングされた参照フレームを用いて現在ブロックを予測符号化する。

段階１３４０で、出力部は、現在ブロックの予測符号化されたデータ及びフィルタに関する情報を出力する。

図１４は、本発明の一実施形態による適応的フィルタリングを用いる映像復号化装置を示すブロック図である。図１４は、図１の映像符号化装置に対応するものであり、本発明の一実施形態による映像復号化装置１４００は、データ抽出部１４１０、フィルタリング部１４２０、予測部１４３０及び復元部１４４０を備える。

データ抽出部１４１０は、受信されたビットストリームをパージングして復号化される現在ブロックと参照フレームの対応ブロックとの差分信号のデータ、及び参照フレームに適用されたフィルタに関する情報を抽出する。

フィルタリング部１４２０は、抽出されたフィルタに関する情報に基づいて、参照フレームに適用されるフィルタのサイズ及びフィルタのフィルタ係数を適応的に変化させて参照フレームに適用されるフィルタを定め、定められたフィルタを用いて参照フレームをフィルタリングする。予測部１４３０は、フィルタリングされた参照フレームを用いて現在ブロックの予測信号を生成する。復元部１４４０は、抽出された差分信号及び現在ブロックの予測信号を加算して現在ブロックを復元する。

図１５は、本発明の他の実施形態による適応的フィルタリングを用いる映像復号化装置を示すブロック図である。図１５は、図２の映像符号化装置に対応するものであり、本発明の他の実施形態による映像復号化装置１５００は、データ抽出部１５１０、第１復号化部１５２０、第２復号化部１５３０及びフィルタリング部１５４０を備える。本発明の他の実施形態による映像復号化装置１５００は、基本階層と向上階層とにスケーラブルに符号化されたビットストリームを復号化する装置であるか、または多視点映像ビットストリームを復号化する装置である。

もし、スケーラブルに符号化されたビットストリームを復号化する場合、第１復号化部１５２０は、ビットストリームに備えられた基本階層の映像を復号化する。その具体的な動作は、図１４の予測部１４３０及び復元部１４４０と類似しているため、具体的な説明は略する。第１復号化部１５２０で復号化された基本階層の映像は、向上階層映像の復号化に用いられる。フィルタリング部１５４０は、データ抽出部１５１０から抽出されたフィルタに関する情報に基づいて、基本階層映像である参照フレームに適用されるフィルタのサイズ及びフィルタのフィルタ係数を適応的に変化させてフィルタを定め、定められたフィルタを用いて参照フレームをフィルタリングする。第２復号化部１５３０は、フィルタリングされた基本階層の映像を用いて向上階層を復号化する。類似して多視点映像を符号化したビットストリームを復号化する場合、第１復号化部１５２０は、先ず第１視点の映像を復号化し、フィルタリング部１５４０は、データ抽出部１５１０から抽出されたフィルタに関する情報に基づいて、基本階層映像である参照フレームに適用されるフィルタのサイズ及びフィルタのフィルタ係数を適応的に変化させてフィルタを定め、定められたフィルタを用いて復号化された第１視点の映像をフィルタリングする。第２復号化部１５３０は、復号化された第１視点の映像を参照して第２視点の映像を復号化する。

図１６は、図１４の本発明の一実施形態による映像復号化装置の具体的な構成を示すブロック図である。図１６を参照すれば、本発明の一実施形態による映像復号化装置１６００は、エントロピー復号化部１６１０、逆変換及び逆量子化部１６２０、動き補償部１６３０、イントラ予測部１６４０、及びフィルタリング部１６６０を備える。

エントロピー復号化部１６１０は、ビットストリームを受信し、受信されたビットストリームをエントロピー復号化して、復号化される現在ブロックと参照フレームの対応ブロックとの差分信号のデータ及び参照フレームに適用されたフィルタに関する情報を抽出する。逆変換及び逆量子化部１６２０は、エントロピー復号化部１６１０から抽出されたデータについての逆直交変換及び逆量子化を行って現在ブロックの残差ブロックを復元する。動き補償部１６３０は、現在ブロックの動きベクトルに基づいてフィルタリング部１６６０でフィルタリングされた参照フレームを用いて、現在ブロックをインター予測する。イントラ予測部１６４０は、現在ブロックに隣接している、以前に復号化された領域に含まれているピクセルを用いて、現在ブロックをイントラ予測する。動き補償部１６３０またはイントラ予測部１６４０で生成された予測ブロックと、逆変換及び逆量子化部１６２０で復元された残差ブロックとを加算すれば、現在ブロックが復元される。

フィルタリング部１６６０は、抽出されたフィルタ情報に基づいて参照フレームに適用されるフィルタを定め、定められたフィルタを用いて参照フレームをフィルタリングする。前述したように、フィルタリング部１６６０は、参照フレームの対応領域の映像特性、例えば、分散を用いてフィルタのサイズ及びフィルタ係数を定めるか、または、既定の複数のフィルタを適用して参照フレームをフィルタリングし、フィルタリングされた参照フレームを用いて予測符号化した結果によるＲＤコストを比較して、最小コストを持つフィルタを参照フレームに適用するフィルタとして定める。

図１７は、図１５の本発明の他の実施形態による映像復号化装置の具体的な構成を示すブロック図である。本発明の他の実施形態による映像復号化装置１７００は、エントロピー復号化部１７１０、第１復号化部１７２０、第２復号化部１７３０及びフィルタリング部１７４０を備える。第１復号化部１７２０に備えられた第１動き補償部１７２２、第１逆変換及び逆量子化部１７２１、第１イントラ予測部１７２３は、スケーラブル映像の基本階層や多視点映像の所定視点の映像を復号化し、第２復号化部１７３０に備えられた第２イントラ予測部１７３３、第２動き補償部１７３２、第２逆変換及び逆量子化部１７３１は、スケーラブル映像の向上階層の映像や多視点映像のうち、第１復号化部１７２０で以前に復号化された視点と異なる視点の映像を復号化する。

フィルタリング部１７４０は、エントロピー復号化部１７１０で抽出されたフィルタ情報に基づいて、第２復号化部１７３０で復号化される現在ブロックの予測のために用いられる参照フレームに適用されるフィルタのサイズ及びフィルタのフィルタ係数を適応的に変化させてフィルタを定め、定められたフィルタを用いて参照フレームをフィルタリングする。

図１８は、本発明の一実施形態による適応的フィルタリングを用いる映像復号化方法を示すフローチャートである。図１８を参照すれば、段階１８１０で、データ抽出部は、受信されたビットストリームをパージングして復号化される現在ブロックと参照フレームの対応ブロックとの差分信号のデータ及び参照フレームに適用されたフィルタに関する情報を抽出する。

段階１８２０で、フィルタリング部は、抽出されたフィルタに関する情報に基づいて、参照フレームに適用されるフィルタのサイズ及びフィルタのフィルタ係数を適応的に変化させて、参照フレームに適用されるフィルタを定める。

段階１８３０で、フィルタリング部は、定められたフィルタを用いて参照フレームをフィルタリングする。

段階１８４０で、予測部は、フィルタリングされた参照フレームを用いて現在ブロックの予測信号を生成する。

段階１８５０で、復元部は、差分信号及び現在ブロックの予測信号を加算して現在ブロックを復元する。

一方、前述した本発明の実施形態は、コンピュータで実行できるプログラムで作成でき、コンピュータで読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。

これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差は、本発明に含まれていると解釈されねばならない。

Claims (15)

1. 適応的フィルタリングを用いる映像の符号化方法において、
   符号化される現在ブロックの予測符号化に用いられる参照フレームに適用されるフィルタのサイズ及び前記フィルタのフィルタ係数を適応的に変化させて、前記参照フレームに適用されるフィルタを定める段階と、
   前記定められたフィルタを用いて前記参照フレームをフィルタリングする段階と、
   前記フィルタリングされた参照フレームを用いて前記現在ブロックを予測符号化する段階と、
   前記予測符号化された現在ブロック及び前記フィルタに関する情報を出力する段階と、を含むことを特徴とする適応的フィルタリングを用いる映像の符号化方法。
2. 前記フィルタを定める段階は、
   前記現在ブロックの予測符号化に用いられる前記参照フレームの対応領域の映像特性によって定められることを特徴とする請求項１に記載の適応的フィルタリングを用いる映像の符号化方法。
3. 前記参照フレームの対応領域の映像特性は、分散であることを特徴とする請求項２に記載の適応的フィルタリングを用いる映像の符号化方法。
4. 前記フィルタを定める段階は、
   前記分散値が大きいほど、予め用意されたフィルタから小さなサイズのフィルタを選択し、前記分散値が小さいほど、予め用意されたフィルタから大きいサイズのフィルタを選択することを特徴とする請求項３に記載の適応的フィルタリングを用いる映像の符号化方法。
5. 前記フィルタを定める段階は、
   前記分散値が大きいほど、前記フィルタの係数のうち中心フィルタ係数を大きい値に設定し、前記分散値が小さいほど、前記中心フィルタ係数を小さな値に設定することを特徴とする請求項３に記載の適応的フィルタリングを用いる映像の符号化方法。
6. 基本フィルタ係数をｆ０、オフセットをｏｆｆｓｅｔ、加重値をＷという時、前記中心フィルタ係数ｆ＿ｃｅｎｔｅｒは、次の数式；ｆ＿ｃｅｎｔｅｒ＝Ｗ＊ｆ０＋ｏｆｆｓｅｔの値を持ち、前記ｆ０及びｏｆｆｓｅｔは、前記分散値に比例する値を持つことを特徴とする請求項５に記載の適応的フィルタリングを用いる映像の符号化方法。
7. 適応的フィルタリングを用いる映像の復号化方法において、
   受信されたビットストリームをパージングして復号化される現在ブロックと参照フレームの対応ブロックとの差分信号のデータ、及び前記参照フレームに適用されたフィルタに関する情報を抽出する段階と、
   前記フィルタに関する情報に基づいて、前記参照フレームに適用されるフィルタのサイズ及び前記フィルタのフィルタ係数を適応的に変化させ、前記参照フレームに適用されるフィルタを定める段階と、
   前記定められたフィルタを用いて前記参照フレームをフィルタリングする段階と、
   前記フィルタリングされた参照フレームを用いて前記現在ブロックの予測信号を生成する段階と、
   前記差分信号及び前記現在ブロックの予測信号を加算して前記現在ブロックを復元する段階と、を含むことを特徴とする適応的フィルタリングを用いる映像の復号化方法。
8. 前記フィルタを定める段階は、
   前記現在ブロックの予測符号化に用いられる前記参照フレームの対応領域の映像特性によって定められることを特徴とする請求項７に記載の適応的フィルタリングを用いる映像の復号化方法。
9. 前記参照フレームの対応領域の映像特性は、分散であることを特徴とする請求項８に記載の適応的フィルタリングを用いる映像の復号化方法。
10. 前記フィルタを定める段階は、
    前記分散値が大きいほど、予め用意されたフィルタから小さなサイズのフィルタを選択し、前記分散値が小さいほど、予め用意されたフィルタから大きいサイズのフィルタを選択することを特徴とする請求項９に記載の適応的フィルタリングを用いる映像の復号化方法。
11. 基本フィルタ係数をｆ０、オフセットをｏｆｆｓｅｔ、加重値をＷという時、前記中心フィルタ係数ｆ＿ｃｅｎｔｅｒは、次の数式；ｆ＿ｃｅｎｔｅｒ＝Ｗ＊ｆ０＋ｏｆｆｓｅｔの値を持ち、前記ｆ０及びｏｆｆｓｅｔは、前記分散値に比例する値を持つことを特徴とする請求項１０に記載の適応的フィルタリングを用いる映像の復号化方法。
12. 前記フィルタに関する情報は、前記参照フレームに適用されたフィルタのサイズ、前記加重値Ｗ及びオフセットｏｆｆｓｅｔに関する情報を含み、
    前記フィルタを定める段階は、
    前記フィルタに関する情報に基づいて、前記中心フィルタ係数ｆ＿ｃｅｎｔｅｒを定めることを特徴とする請求項１１に記載の適応的フィルタリングを用いる映像の復号化方法。
13. 前記フィルタを定める段階は、前記参照フレームの所定データ単位に対して前記フィルタリングを行うかどうかを定める段階を含み、
    前記所定データ単位は、符号化単位、最大符号化単位、スライス、フレーム、ピクチャー及び映像シーケンスのうち少なくとも一つを含み、
    前記フィルタ情報は、前記所定データ単位に対するフィルタリング実行如何を示す情報を含むことを特徴とする請求項７に記載の適応的フィルタリングを用いる映像の復号化方法。
14. 適応的フィルタリングを用いる映像の符号化装置において、
    符号化される現在ブロックの予測符号化に用いられる参照フレームに適用されるフィルタのサイズ及び前記フィルタのフィルタ係数を適応的に変化させて、前記参照フレームに適用されるフィルタを定め、前記定められたフィルタを用いて前記参照フレームをフィルタリングするフィルタリング部と、
    前記フィルタリングされた参照フレームを用いて前記現在ブロックを予測符号化する予測符号化部と、
    前記現在ブロックの予測符号化されたデータ及び前記フィルタに関する情報を出力する出力部と、を備えることを特徴とする適応的フィルタリングを用いる映像の符号化装置。
15. 適応的フィルタリングを用いる映像の復号化装置において、
    受信されたビットストリームをパージングして復号化される現在ブロックと参照フレームの対応ブロックとの差分信号のデータ、及び前記参照フレームに適用されたフィルタに関する情報を抽出するデータ抽出部と、
    前記フィルタに関する情報に基づいて、前記参照フレームに適用されるフィルタのサイズ及び前記フィルタのフィルタ係数を適応的に変化させて、前記参照フレームに適用されるフィルタを定め、前記定められたフィルタを用いて前記参照フレームをフィルタリングするフィルタリング部と、
    前記フィルタリングされた参照フレームを用いて前記現在ブロックの予測信号を生成する予測部と、
    前記抽出された差分信号及び前記現在ブロックの予測信号を加算して前記現在ブロックを復元する復元部と、を備えることを特徴とする適応的フィルタリングを用いる映像の復号化装置。

Images