JP2013530659A - 調節可能なループ・フィルタリングを利用したビデオ符号化方法及びその装置、調節可能なループ・フィルタリングを利用したビデオ復号化方法及びその装置 - Google Patents

Abstract

ビデオのビットストリームを受信してパージングし、符号化情報、及び符号化されたビデオデータを抽出し、符号化情報を利用して、符号化単位ごとにビデオデータを復号化し、ビデオデータについて、ピクセルから符号化単位の境界までの最短距離と、ループ・フィルタのフィルタ長とに基づいて、符号化単位内部のピクセル値を利用して符号化単位に係わるループ・フィルタリングを行い、符号化単位ごとに復号化されたビデオデータ、及びループ・フィルタリングが行われたデータを組み合わせてビデオを復元する、ループ・フィルタリングを利用したビデオ復号化方法である。

Description

本発明は、ビデオの符号化方法及びその装置、並びにビデオ復号化方法及びその装置に関する。

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号化することができるビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式に従って符号化されている。また、既存のビデオコーデックは、マクロブロックを同一サイズのブロックを利用して変換及び逆変換を行ってビデオデータを符号化／復号化する。

本発明は、調節可能なループ・フィルタリングを利用したビデオ符号化方法及びその装置、調節可能なループ・フィルタリングを利用したビデオ復号化方法及びその装置を提供するところにある。

本発明の一実施形態によって、ビデオデコーディング・プロセッサを利用して、ビデオを復号化する方法は、ビデオのビットストリームを受信してパージングし、符号化情報及び符号化されたビデオデータを抽出する段階と、前記符号化情報を利用して、前記ビデオデータを復号化するためのデータ単位である符号化単位ごとに、前記符号化されたビデオデータを復号化する段階と、前記復号化されたビデオデータについて、ループ・フィルタリングが行われるピクセルから前記符号化単位の境界までの最短距離と、ループ・フィルタのフィルタ長とに基づいて、前記符号化単位内部のピクセル値を利用して、前記符号化単位に係わるループ・フィルタリングを行う段階と、前記符号化単位ごとに、前記復号化されたビデオデータ、及び前記ループ・フィルタリングが行われたデータを組み合わせ、前記ビデオを復元する段階と、を含む。

一実施形態によるループ・フィルタリングを利用したビデオ符号化装置のブロック図である。 本発明の一実施形態によるループ・フィルタリングを利用したビデオ復号化装置のブロック図である。 サイズ６４ｘ６４のブロックに係わるループ・フィルタリングのフィルタリング領域を図示する図面である。 一実施形態によって決定されたループ・フィルタリング領域を図示する図面である。 現在符号化単位のデブロッキング・フィルタリング及びループ・フィルタリングのために利用されるラインメモリ領域を図示する図面である。 一実施形態によるループ・フィルタの決定方式を図示する図面である。 一実施形態によるデブロッキング・フィルタリングとループ・フィルタリングとの関係によって、現在符号化単位に係わるデブロッキング・フィルタリング及びループ・フィルタリングの遂行方法を示すフローチャートである。 一実施形態によるデブロッキング・フィルタリングとループ・フィルタリングとの関係によって、現在符号化単位に係わるデブロッキング・フィルタリング及びループ・フィルタリングの遂行方法を示すフローチャートである。 他の実施形態によって決定されたループ・フィルタリング領域と、現在符号化単位に係わるループ・フィルタリング領域とを図示する図面である。 他の実施形態によって決定されたループ・フィルタリング領域と、現在符号化単位に係わるループ・フィルタリング領域とを図示する図面である。 本発明の一実施形態によるループ・フィルタリングを利用したビデオ符号化方法のフローチャートである。 本発明の一実施形態によるループ・フィルタリングを利用したビデオ復号化方法のフローチャートである。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態によって、深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。

本発明の一実施形態によって、ビデオデコーディング・プロセッサを利用して、ビデオを復号化する方法は、ビデオのビットストリームを受信してパージングし、符号化情報及び符号化されたビデオデータを抽出する段階と、前記符号化情報を利用して、前記ビデオデータを復号化するためのデータ単位である符号化単位ごとに、前記符号化されたビデオデータを復号化する段階と、前記復号化されたビデオデータについて、ループ・フィルタリングが行われるピクセルから前記符号化単位の境界までの最短距離と、ループ・フィルタのフィルタ長とに基づいて、前記符号化単位内部のピクセル値を利用して、前記符号化単位に係わるループ・フィルタリングを行う段階と、前記符号化単位ごとに、前記復号化されたビデオデータ、及び前記ループ・フィルタリングが行われたデータを組み合わせ、前記ビデオを復元する段階と、を含む。

一実施形態による前記ループ・フィルタリング遂行段階は、前記ピクセルから前記符号化単位の境界までの最短距離と、前記ループ・フィルタのフィルタ長とに基づいて、ループ・フィルタリング方式を変更する段階と、前記変更されたループ・フィルタリング方式に基づいて、前記符号化単位についてループ・フィルタリングを行う段階と、を含み、前記ループ・フィルタリング方式は、前記符号化単位の少なくとも１つの境界から所定距離ほど離れた内部領域内で、ループ・フィルタリングの中心ピクセルを含むループ・フィルタリング領域を決定する方式、及び前記ループ・フィルタのフィルタ長が、前記ピクセルから前記符号化単位の境界までの最短距離より短いか、あるいは同じになるように、前記ループ・フィルタを決定する方式のうち少なくとも一つを含んでもよい。

一実施形態による前記ループ・フィルタリング遂行段階は、前記ピクセルから前記符号化単位の境界までの最短距離と、前記ループ・フィルタのフィルタ長とに基づいて、前記符号化単位の少なくとも１つの境界から所定距離ほど離れた内部領域内で、ループ・フィルタリングの中心ピクセルを含むループ・フィルタリング領域を決定する段階を含んでもよい。一実施形態によって、前記符号化単位の少なくとも１つの境界から前記内部領域までの前記所定距離は、前記フィルタ長より長いか、あるいは同じである。

一実施形態による前記ループ・フィルタリング遂行段階は、前記ループ・フィルタのフィルタ長が、前記ピクセルから前記符号化単位の境界までの最短距離より短いか、あるいは同じになるように、前記ループ・フィルタを決定する段階と、前記決定されたループ・フィルタを利用して、前記符号化単位に係わるループ・フィルタリングを行う段階と、を含んでもよい。

本発明の一実施形態によって、ビデオエンコーディング・プロセッサを利用して、ビデオを符号化する方法は、ビデオデータを空間領域別に分割した符号化単位に基づいて、前記ビデオデータを符号化する段階と、前記符号化単位のビデオデータのうち、ループ・フィルタリングが行われるピクセルから前記符号化単位の境界までの最短距離と、前記ループ・フィルタのフィルタ長とに基づいて、前記符号化単位内部のピクセルを利用して、前記符号化単位に係わるループ・フィルタリングを行う段階と、前記符号化単位ごとに、前記符号化単位に基づいた符号化方式と係わる符号化情報、及び前記符号化されたビデオデータを出力する段階と、を含む。

一実施形態による前記ループ・フィルタリング遂行段階は、前記ピクセルから前記符号化単位の境界までの最短距離と、前記フィルタ長とに基づいて、前記符号化単位に係わるループ・フィルタリング方式を変更する段階と、前記変更されたループ・フィルタリング方式に基づいて、前記符号化単位についてループ・フィルタリングを行う段階と、前記ループ・フィルタリングが行われた符号化単位のビデオデータを符号化する段階と、を含み、前記ループ・フィルタリング方式は、前記符号化単位の少なくとも１つの境界から所定距離ほど離れた内部領域内で、ループ・フィルタリングの中心ピクセルを含むループ・フィルタリング領域を決定する方式、及び前記ループ・フィルタのフィルタ長が、前記ピクセルから前記符号化単位の境界までの最短距離より短いか、あるいは同じになるように、前記ループ・フィルタを決定する方式のうち少なくとも一つを含んでもよい。

本発明の一実施形態によるビデオデコーディング・プロセッサと連動されたビデオ復号化装置は、ビデオのビットストリームを受信してパージングし、符号化情報及び符号化されたビデオデータを抽出する受信部；前記符号化情報を利用して、前記ビデオデータを復号化するためのデータ単位である符号化単位ごとに、前記符号化されたビデオデータを復号化して、前記復号化されたビデオデータについて、ループ・フィルタリングが行われるピクセルから前記符号化単位の境界までの最短距離と、前記ループ・フィルタのフィルタ長とに基づいて、前記符号化単位内部のピクセル値を利用して、前記符号化単位に係わるループ・フィルタリングを行うＡＬＦ復号化部；及び前記符号化単位ごとに、前記復号化されたビデオデータ、及び前記ループ・フィルタリングが行われたデータを組み合わせ、前記ビデオを復元する復元部；を含む。

本発明の一実施形態によって、ビデオエンコーディング・プロセッサと連動されたビデオ符号化装置は、ビデオデータを空間領域別に分割した符号化単位に基づいて、前記符号化単位のビデオデータのうち、ループ・フィルタリングが行われるピクセルから前記符号化単位の境界までの最短距離と、前記ループ・フィルタのフィルタ長とに基づいて、前記符号化単位内部のピクセルを利用して、前記符号化単位に係わるループ・フィルタリングを行い、前記符号化単位ごとに、前記ビデオデータを符号化するＡＬＦ符号化部；及び前記符号化単位ごとに、前記符号化単位に基づいた符号化方式と係わる符号化情報、及び符号化されたビデオデータを出力する出力部；を含む。

本発明は、本発明の一実施形態によるループ・フィルタリングを利用した復号化方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

本発明は、本発明の一実施形態によるループ・フィルタリングを利用した符号化方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

以下、本明細書に記載した本発明の多様な実施形態で、「映像」は、静止映像だけではなく、ビデオのような動画を含んで包括的に指すことができる。以下、本明細書に記載した本発明の多様な実施形態で、「データ単位」は、ビデオを構成するデータのうち所定範囲のデータの集合を指す。

以下、図１ないし図１２を参照して、一実施形態によるループ・フィルタリングを利用したビデオの符号化及び復号化について開示する。以下、図１３ないし図２３を参照して、一実施形態によるツリー構造による符号化単位などのデータ単位に基づいたビデオ符号化／復号化について開示する。図１ないし図１２を参照して説明するフィルタリングが行われるデータ領域を決定するために、図１３ないし図２３を参照して開示するデータ単位が利用されてもよい。

図１は、本発明の一実施形態によるループ・フィルタリングを利用したビデオ符号化装置のブロック図を図示している。

一実施形態によるループ・フィルタリングを利用したビデオ符号化装置１０は、ＡＬＦ（adaptive loop filter）符号化部１１及び出力部１２を含む。説明の便宜のために、ループ・フィルタリングを利用したビデオ符号化装置１０を、以下、「一実施形態によるビデオ符号化装置１０」と縮約して呼ぶ。

一実施形態によるビデオ符号化装置１０は、ビデオ符号化の結果を出力するために、内部に搭載されたビデオエンコーディング・プロセッサ、ＡＬＦ符号化部１１及び出力部１２が連携して作動したり、あるいは外部ビデオエンコーディング・プロセッサと連動して作動することにより、一実施形態によるループ・フィルタリングを含み、ビデオ符号化動作を遂行することができる。一実施形態によるビデオ符号化装置１０の内部ビデオエンコーディング・プロセッサは、別個のプロセッサだけではなく、ＡＬＦ符号化部１１または中央演算装置、グラフィック演算装置が、ビデオエンコード・プロセッシング・モジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も含んでもよい。

一実施形態によるＡＬＦ符号化部１１は、ビデオデータを空間領域別に分割した符号化単位に基づいて入力されたビデオを符号化することができる。一実施形態による符号化単位は、固定的に決定された形態のマクロブロックだけではなく、一実施形態によるツリー構造による符号化単位を含んでもよい。一実施形態によるツリー構造による符号化単位は、以下、図１３ないし図２３を参照して説明する。

一実施形態によるＡＬＦ符号化部１１は、符号化によって生じる誤差を低減させるために、ループ・フィルタリングを行うことができる。ＡＬＦ符号化部１１は、符号化単位に基づいて、ループ・フィルタリングを行うことができる。

一実施形態によるＡＬＦ符号化部１１は、空間領域のビデオデータについて、動き推定、変換、量子化を行って生成された量子化された変換係数について、さらに逆量子化、逆変換、動き推定を経て復元した空間領域のビデオデータについて、ループ・フィルタリングを行うことができる。一実施形態によるＡＬＦ符号化部１１は、ループ・フィルタリングを介してフィルタリングされたビデオデータについて、さらに動き推定、変換、量子化を行って符号化することができる。また、量子化された変換係数は、可変長符号化を経た後で出力されてもよい。

一実施形態によるＡＬＦ符号化部１１は、符号化単位のビデオデータのうち、ループ・フィルタリングが行われるピクセルから符号化単位の境界までの最短距離に基づいて、一実施形態によるループ・フィルタリング方式を決定することができる。ループ・フィルタのフィルタ長に基づいて、一実施形態によるループ・フィルタリング方式が決定される。

また、一実施形態によるＡＬＦ符号化部１１は、符号化単位のビデオデータのうち、ループ・フィルタリングが行われるピクセルから符号化単位の境界までの最短距離と、ループ・フィルタリングのためのフィルタ長とに基づいて、一実施形態によるループ・フィルタリング方式を決定することができる。

一実施形態によるループ・フィルタリング方式は、１つのループ・フィルタリングが行われるピクセル、すなわち、ループ・フィルタリングの中心ピクセルを含むループ・フィルタリング領域を決定する方式と、ループ・フィルタ形態を決定する方式とを含んでもよい。

現在符号化単位内のピクセルについてフィルタリングを行う過程で、フィルタ形態によって、隣接ピクセルを利用したり、あるいは参照することができる。隣接ピクセルが、現在符号化関連処理中であるデータが保存されているデータ保存空間ではないデータ保存空間に保存されている場合、データを呼び出すために、演算遅延が発生したり、あるいは演算負担量が増加することがある。

一実施形態によるＡＬＦ符号化部１１は、フィルタリングのために、隣接ピクセルを利用しながら生じる演算遅延または演算負担量が最小化されるように、ループ・フィルタリング領域とループ・フィルタのうち少なくとも一つを決定することができる。

ループ・フィルタのフィルタ長に沿って、現在符号化単位内のピクセルのフィルタリングのために利用される隣接ピクセルの位置が決定される。例えば、ループ・フィルタのフィルタ長が長ければ、現在符号化単位内のピクセルに係わるループ・フィルタリングに利用される隣接ピクセルが、現在符号化単位外部に位置することができる。現在符号化単位内のピクセルに係わるフィルタリングが行われるとき、フィルタリングに利用される隣接ピクセルが、現在符号化単位外部に位置する場合、フィルタリングのための演算遅延が発生したり、あるいは演算負担量が増加する可能性が高い。

従って、一実施形態によるＡＬＦ符号化部１１は、現在符号化単位のピクセルに係わるループ・フィルタリングが符号化単位の内部のピクセルを利用するように、一実施形態によるループ・フィルタリング方式を決定することができる。一実施形態によるＡＬＦ符号化部１１は、符号化単位のビデオデータのうち、ループ・フィルタリングが行われるピクセルから、符号化単位の境界のうち一番近くの境界までの距離、すなわち、最短距離と、ループ・フィルタのフィルタ長とに基づいて、一実施形態によるループ・フィルタリング方式を決定することができる。

例えば、一実施形態によるＡＬＦ符号化部１１は、符号化単位のビデオデータのうち、ループ・フィルタリングが行われるピクセルから、符号化単位の上下端境界のうち、さらに近い境界までの距離、すなわち、垂直最短距離と、ループ・フィルタのフィルタリングのためのフィルタ垂直長とに基づいて、一実施形態によるループ・フィルタリング方式を決定することができる。ループ・フィルタのフィルタ垂直長は、現在フィルタリング領域に適用されるループ・フィルタの垂直方向フィルタ係数のうち、最長軸のフィルタ係数の個数を示すことができる。

同様に、一実施形態によるＡＬＦ符号化部１１は、符号化単位のビデオデータのうち、ループ・フィルタリングが行われるピクセルから、符号化単位の左右側境界のうち、さらに近い境界までの水平最短距離と、ループ・フィルタの水平方向フィルタリングのためのフィルタ水平長とに基づいて、一実施形態によるループ・フィルタリング方式を決定することもできる。ループ・フィルタのフィルタ水平長は、現在フィルタリング領域に適用されるループ・フィルタの水平方向フィルタ係数のうち、最長軸のフィルタ係数の個数を示すことができる。

一実施形態によってループ・フィルタが決定されるために、ループ・フィルタ形態、ループ・フィルタのフィルタ長などが調節されてもよい。ループ・フィルタのフィルタ水平長とフィルタ垂直長は、それぞれ決定される。ループ・フィルタのフィルタ垂直長は、フィルタ水平長より短く決定される。これは、符号化単位に係わる垂直方向のループ・フィルタリングで、符号化単位の外部データを利用する場合、演算遅延または演算負担量が顕著に増加するからである。

一実施形態によるＡＬＦ符号化部１１は、フィルタリング対象ピクセルから符号化単位の境界までの最短距離と、ループ・フィルタのフィルタ長とに基づいて、符号化単位の少なくとも１つの境界から所定距離ほど離れた内部領域内で、ループ・フィルタリング領域を決定することができる。例えば、符号化単位の少なくとも１つの境界から内部領域までの所定距離は、ループ・フィルタのフィルタ長より長いが、あるいは同じになるように決定される。

一実施形態によるループ・フィルタリング領域は、符号化単位内のピクセルにおいて、ループ・フィルタリングのフィルタリング対象であるピクセルを含む領域に決定される。

一実施形態によるループ・フィルタリングのフィルタリング領域は、符号化単位の境界から所定距離ほど離れた第１内部領域、符号化単位の上下端境界から所定距離ほど離れた第２内部領域、符号化単位の下端境界から所定距離ほど離れた第３内部領域のうち少なくとも一つを含んでもよい。

選択的に、一実施形態によるループ・フィルタリングのフィルタリング領域は、符号化単位の上端境界及び下端境界のうち少なくとも一つから第１距離ほど離れ、左側境界及び右側境界のうち少なくとも一つから、第２距離ほど離れた第４内部領域をさらに含んでもよい。

一実施形態によるＡＬＦ符号化部１１は、ループ・フィルタのフィルタ長が、フィルタリング対象ピクセルから符号化単位の境界までの最短距離より短いか、あるいは同じになるように、ループ・フィルタを決定することができる。

一実施形態によるＡＬＦ符号化部１１は、フィルタリング対象ピクセルから符号化単位の境界までの最短距離に基づいてループ・フィルタリング領域を決定し、決定されたループ・フィルタリング領域のピクセルから符号化単位の境界までの最短距離に基づいて、ループ・フィルタのフィルタ長を決定することができる。

例えば、ＡＬＦ符号化部１１は、現在フィルタから、現在符号化単位の上端境界または下端境界までの垂直最短距離に基づいて、ループ・フィルタリング領域を決定し、ループ・フィルタリング領域のピクセルから、符号化単位の上端境界または下端境界までの垂直最短距離に基づいて、ループ・フィルタのフィルタ垂直長を決定することができる。

一実施形態によるＡＬＦ符号化部１１は、フィルタリング対象ピクセルから符号化単位の境界までの最短距離に基づいて、ループ・フィルタを決定し、符号化単位の少なくとも１つの境界から先に決定されたループ・フィルタのフィルタ長ほど離れた内部領域内で、ループ・フィルタリング領域を決定することができる。

例えば、ＡＬＦ符号化部１１は、現在符号化単位のピクセルから、現在符号化単位の上端境界または下端境界までの垂直最短距離に基づいて、ループ・フィルタのフィルタ垂直長を決定し、符号化単位の少なくとも１つの境界からループ・フィルタの垂直フィルタ長ほど離れた内部領域内で、ループ・フィルタリング領域を決定することができる。

一実施形態によるＡＬＦ符号化部１１は、フィルタリング対象ピクセルから符号化単位の境界までの最短距離に基づいて決定されたループ・フィルタリング領域と、ループ・フィルタとを利用して、現在符号化単位についてループ・フィルタリングを行うことができる。

一実施形態によるＡＬＦ符号化部１１は、デブロッキング・フィルタリング及びループ・フィルタリングを関連させ、デブロッキング・フィルタリング領域を考慮して、ループ・フィルタリング方式を決定することができる。一実施形態によるＡＬＦ符号化部１１は、現在符号化単位のピクセルにおいて、将来のデブロッキング・フィルタリングによってデータが変更されるデブロッキング・フィルタリング領域を考慮して、現在符号化単位に係わるループ・フィルタリング方式を決定することができる。

一実施形態によるＡＬＦ符号化部１１は、現在符号化単位のピクセルについて、デブロッキング・フィルタリング及びループ・フィルタリングが重複されて遂行されないように、ループ・フィルタリング領域またはループ・フィルタを決定することができる。従って、ＡＬＦ符号化部１１は、現在符号化単位内のピクセルから符号化単位の境界までの最短距離、ループ・フィルタのフィルタ長及びデブロッキング・フィルタリング領域の高さに基づいて、ループ・フィルタリング領域またはループ・フィルタを決定することができる。デブロッキング・フィルタリング領域は、現在符号化単位の内部領域において、将来のデブロッキング・フィルタリングによってデータが変更されるピクセルの領域を示す。

例えば、ＡＬＦ符号化部１１は、現在符号化単位内のピクセルから符号化単位の上下端境界までの最短距離、ループ・フィルタのフィルタ垂直長、及びデブロッキング・フィルタリング領域の高さに基づいて、ループ・フィルタリング領域を決定することができる。また、ＡＬＦ符号化部１１は、現在符号化単位内のピクセルから符号化単位の上下端境界までの最短距離、及びデブロッキング・フィルタリング領域の高さに基づいて、ループ・フィルタのフィルタ垂直長を決定することができる。

例えば、一実施形態によるＡＬＦ符号化部１１は、現在符号化単位内で、デブロッキング・フィルタリングによってデータが変更されるデブロッキング・フィルタリング領域を除いた領域で、ループ・フィルタリング領域を決定することもできる。

また、一実施形態によるＡＬＦ符号化部１１は、現在符号化単位内のピクセルのフィルタリングのために符号化単位境界外部のピクセルを利用するにしても、演算遅延または演算負担量が生じないのであれば、現在符号化単位の外部ピクセルを利用するように、ループ・フィルタのフィルタリング領域またはフィルタ長を決定することもできる。

例えば、現在符号化単位の上端境界または下端境界外部のピクセルにおいて、所定符号化単位に係わるデブロッキング・フィルタリングのためにアクセス可能なピクセルを利用して、ループ・フィルタリングが行われる。従って、一実施形態によるＡＬＦ符号化部１１は、現在符号化単位に係わるデブロッキング・フィルタリングのために利用された隣接ピクセルの垂直方向での個数に基づいて、ループ・フィルタリング領域、及び決定されたループ・フィルタのフィルタ垂直長のうち少なくとも一つを拡張させて決定することができる。

現在符号化単位に係わるデブロッキング・フィルタリングのために利用された隣接ピクセルの垂直方向での個数は、デブロッキング・フィルタの垂直長に基づいて決定されるので、ループ・フィルタリング領域、及び決定されたループ・フィルタのフィルタ垂直長のうち少なくとも一つは、デブロッキング・フィルタの垂直長に基づいて拡張されてもよい。

一実施形態によるＡＬＦ符号化部１１は、現在符号化単位内で、１つのループ・フィルタを決定することができる。または、ＡＬＦ符号化部１１は、符号化単位内で、ピクセル別位置に基づいて、ピクセルに係わるルーフピクセルを決定することもできる。ピクセル別位置は、ピクセルと符号化単位の所定境界との距離に基づいて分類される。例えば、現在ピクセルから符号化単位の上下端境界までの最短距離に基づいて、境界までの距離が近いほど、フィルタ垂直長が短くなり、境界までの距離が遠いほど、フィルタ垂直長が長くなるように決定される。また、他の例として、ＡＬＦ符号化部１１は、ループ・フィルタリングのために必要なデータの伝送帯域幅を調節するために、所定データ単位内で、２以上のループ・フィルタを決定することができる。ＡＬＦ符号化部１１は、符号化単位ごとに２以上のループ・フィルタを決定することができる。また、ＡＬＦ符号化部１１は、フレーム全体の特性を考慮して、２以上のループ・フィルタを決定することもできる。

一実施形態によるループ・フィルタの決定によって、ループ・フィルタ形態が変更されたり、あるいはループ・フィルタのフィルタ長が変更される。例えば、正方形フィルタ、ダイアモンド形フィルタ、多角形フィルタ、一次元フィルタなどに、ループ・フィルタ形態が選択的に決定されたり、あるいは９タップ、７タップ、５タップ、３タップなどに、ループ・フィルタのフィルタ長が選択的に決定される。

ＡＬＦ符号化部１１は、所定データ単位ごとに、ループ・フィルタ形態及びフィルタ長のうち少なくとも一つが互いに異なるループ・フィルタが組み合わせられるように、２以上のループ・フィルタを決定することができる。

ＡＬＦ符号化部１１は、現在データ単位に係わるループ・フィルタリングのために、ループ・フィルタ形態だけ互いに異なる複数個のループ・フィルタを決定することができる。例えば、現在データ単位のためのループ・フィルタとして、正方形フィルタとダイアモンド形フィルタとが決定されたり、あるいはダイアモンド形フィルタと多角形フィルタと一次元フィルタとの３種のループ・フィルタが同時に使用されるように決定される。

また、ＡＬＦ符号化部１１は、現在データ単位に係わるループ・フィルタリングのために、ループ・フィルタのフィルタ長だけ互いに異なる複数個のループ・フィルタを決定することができる。例えば、現在データ単位のためのループ・フィルタとして、データ単位の境界領域または内部領域によって、３タップのループ・フィルタと７タップのループ・フィルタとが、選択的に使用されるように決定される。また、他の例として、境界領域であるとしても、境界方向によって、３タップ、５タップのループ・フィルタが選択的に決定されながら、内部領域では、９タップのループ・フィルタが使用されるように、３種のループ・フィルタが同時に決定される。

また、ＡＬＦ符号化部１１は、現在データ単位に係わるループ・フィルタリングのために、ループ・フィルタ形態とフィルタ長とがいずれも異なる複数個のループ・フィルタを決定することができる。例えば、現在データ単位のためのループ・フィルタとして、符号化単位の内部領域では、５タップのループ・フィルタが使用されながら、境界領域では、フィルタ垂直長及び水平長がそれぞれ７，９タップであるダイアモンド形ループ・フィルタが使用されるように、２種のループ・フィルタが決定される。

前述のループ・フィルタ決定方式と同様に、ＡＬＦ符号化部１１が、現在データ単位に係わるループ・フィルタリングのために、複数個のループ・フィルタを決定する場合、フィルタリング領域の位置に基づいて、それぞれ異なるループ・フィルタを決定することもできる。

一実施形態による出力部１２は、符号化単位ごとに符号化されたビデオデータと、符号化単位に基づいた符号化方式と係わる符号化情報とを出力する。符号化情報は、符号化単位に基づいて符号化されたビデオデータを復号化するための符号化モード情報を含んでもよい。符号化されたビデオデータと符号化情報のビット列とが、一つ以上のビットストリームに含まれて出力される。

一実施形態による出力部１２は、ループ・フィルタリングのためのフィルタ係数を符号化情報として伝送することもできる。また、一実施形態による出力部１２は、一実施形態によるループ・フィルタリングと係わって、ループ・フィルタリングの許容いかん、ループ・フィルタリング領域の変更許容いかん、ループ・フィルタの変更許容いかん、ループ・フィルタリング方式自体の変更許容いかん、デブロッキング・フィルタリングとの重複許容いかんなどに係わるシグナリングのために、ループ・フィルタリング方式に係わる符号化情報を伝送することもできる。

一実施形態によるビデオ符号化装置１０が、一実施形態によるツリー構造による符号化単位を基に符号化された場合、ＡＬＦ符号化部１１は、１つのピクチャを符号化するための最大サイズのデータ単位である最大符号化単位に分割し、最大符号化単位ごとに、最大符号化単位を含むツリー構造による符号化単位を決定し、符号化単位ごとに符号化されたビデオデータを出力することができる。

ＡＬＦ符号化部１１は、ツリー構造による符号化単位に含まれた所定符号化単位について、ループ・フィルタリングを行うことができる。例えば、最大符号化単位についてループ・フィルタリングが行われる。または、ツリー構造による符号化単位のうち所定サイズ以上の符号化単位について、ループ・フィルタリングが行われもする。

一実施形態によるビデオ符号化装置１０が、一実施形態によるツリー構造による符号化単位を基に符号化された場合、出力部１２は、符号化単位別に符号化されたデータと共に、符号化単位の最大サイズに係わる情報、深度の可変範囲についての情報、ツリー構造による符号化単位を決定するための構造情報、符号化されたビデオデータを復号化するための符号化モードについての符号化情報、そしてループ・フィルタリングについての情報を出力することができる。

図２は、本発明の一実施形態によるループ・フィルタリングを利用したビデオ復号化装置のブロック図を図示している。一実施形態によるループ・フィルタリングを利用したビデオ復号化装置２０は、受信部２１、ＡＬＦ復号化部２２及び復元部２３を含む。説明の便宜のために、ループ・フィルタリングを利用したビデオ復号化装置２０を以下、「一実施形態によるビデオ復号化装置２０」と縮約して呼ぶ。

一実施形態によるビデオ復号化装置２０は、符号化されたビデオを復号化して復元するために、内部に搭載されたビデオデコーディング・プロセッサ、受信部２１、ＡＬＦ復号化部２２及び復元部２３が連携して作動したり、あるいは外部ビデオデコーディング・プロセッサと連動して作動することにより、一実施形態によるループ・フィルタリングを含み、ビデオ復号化動作を遂行することができる。一実施形態によるビデオ復号化装置２０の内部ビデオデコーディング・プロセッサは、別個のビデオデコーディング・プロセッサだけではなく、ＡＬＦ復号化部２２、中央演算装置またはグラフィック演算装置が、ビデオデコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ復号化動作を具現する場合も含んでもよい。

一実施形態による受信部２１は、ビデオのビットストリームを受信してパージングし、符号化されたビデオデータを復号化するための符号化モードに係わる情報を含む符号化情報、及び符号化されたビデオデータを抽出する。

一実施形態によるビデオ復号化装置２０は、ビデオデータが空間領域別に分割した符号化単位に基づいて符号化されたビデオのビットストリームを受信することができる。一実施形態による符号化単位は、固定的に決定された形態のマクロブロックだけではなく、以下図１３ないし図２３を参照して後述するツリー構造による符号化単位を含んでもよい。

一実施形態によるビデオ復号化装置２０が、ツリー構造による符号化単位に基づいて符号化されたビデオのビットストリームを受信した場合、一実施形態による受信部２１は、ビットストリームから、符号化されたビデオデータ、符号化単位の最大サイズに係わる情報、深度の可変範囲についての情報、ツリー構造による符号化単位を決定するための構造情報、及びツリー構造による符号化単位に基づいて符号化されたビデオを復号化するための符号化モードについての符号化情報をパージングして抽出することができる。

一実施形態によるＡＬＦ復号化部２２は、受信部２１から抽出された符号化情報と、ビデオデータを受信し、符号化情報を利用して、符号化単位ごとに符号化されたビデオデータを復号化することができる。

一実施形態によるＡＬＦ復号化部２２は、符号化情報から読み取った符号化モードを利用して符号化されたビデオデータについて、可変長復号化、逆量子化、逆変換及び動き補償を行い、空間領域のビデオデータを生成することができる。可変長復号化を介して、量子化された変換係数が出力され、量子化された変換係数は、逆量子化及び逆変換を介して、原本ビデオの動きデータが復元されて出力される。原本ビデオの動きデータは、動き補償を介して、空間領域のビデオデータに復元される。

復元部２３は、復号化された空間領域のビデオデータを組み合わせてピクチャを復元し、ビデオを復元することができる。

一実施形態によるＡＬＦ復号化部２２は、符号化／復号化によって生じる誤差を低減させるために、復号化された空間領域のビデオデータについて、ループ・フィルタリングを行うことができる。ＡＬＦ復号化部２２は、復号化されたビデオデータの符号化単位に基づいて、ループ・フィルタリングを行うことができる。

一実施形態によるＡＬＦ復号化部２２は、ループ・フィルタリングが行われるピクセルから符号化単位の境界までの最短距離と、ループ・フィルタのフィルタ長とに基づいて、符号化単位内部のピクセル値を利用するように、ループ・フィルタリング方式を決定することができる。

例えば、ＡＬＦ復号化部２２は、ピクセルから符号化単位の上下境界までの垂直最短距離と、ループ・フィルタのフィルタ垂直長とに基づいて、ループ・フィルタリング方式を決定することができる。同様に、ＡＬＦ復号化部２２は、ピクセルから符号化単位の左右境界までの水平最短距離と、ループ・フィルタのフィルタ水平長とに基づいて、ループ・フィルタリング方式を決定することもできる。

ループ・フィルタリング方式として、ループ・フィルタリング領域及びループ・フィルタが決定される。一実施形態によるＡＬＦ復号化部２２は、ループ・フィルタリングが行われるピクセルから符号化単位の境界までの最短距離と、ループ・フィルタのフィルタ長とに基づいて、決定されたループ・フィルタリング領域またはループ・フィルタを利用して、符号化単位について、ループ・フィルタリングを行うことができる。

一実施形態によるＡＬＦ復号化部２２は、現在符号化単位内のピクセルから符号化単位の境界までの最短距離と、ループ・フィルタのフィルタ長とに基づいて、符号化単位の少なくとも１つの境界から所定距離ほど離れた内部領域内で、ループ・フィルタリング領域を決定することができる。

例えば、ＡＬＦ復号化部２２は、符号化単位の上端境界または下端境界までの最短距離とフィルタ垂直長とに基づいて、符号化単位の少なくとも１つの境界から所定距離ほど離れた内部領域内で、ループ・フィルタリング領域を決定することができる。一実施形態によって、符号化単位の少なくとも１つの境界から内部領域までの所定距離は、フィルタ垂直長より長いか、あるいは同じである。

一実施形態によって決定されたループ・フィルタリング領域は、符号化単位の境界から所定距離ほど離れた第１内部領域、符号化単位の上下端境界から所定距離ほど離れた第２内部領域、及び符号化単位の下端境界から所定距離ほど離れた第３内部領域のうち少なくとも一つを含んでもよい。

また、一実施形態によるＡＬＦ復号化部２２は、ループ・フィルタリングのためのフィルタ長がピクセルから符号化単位の境界までの最短距離より短いか、あるいは同じになるように、ループ・フィルタを決定することができる。例えば、ＡＬＦ復号化部２２は、ループ・フィルタの垂直方向フィルタリングのためのフィルタ垂直長が、符号化単位内のピクセルから符号化単位の上下端境界までの垂直最短距離より短いか、あるいは同じになるように、ループ・フィルタを決定することができる。

また、一実施形態によるループ・フィルタのフィルタ垂直長は、フィルタ水平長より短く決定される。

一実施形態によるＡＬＦ復号化部２２は、現在符号化単位のピクセルから符号化単位の境界までの最短距離に基づいて、ループ・フィルタリング領域を決定した後、決定されたループ・フィルタリング領域のピクセルから符号化単位の境界までの最短距離に基づいて、ループ・フィルタのフィルタ長を決定することもできる。

例えば、ＡＬＦ復号化部２２は、現在符号化単位のピクセルから符号化単位の上下境界までの垂直最短距離に基づいて、ループ・フィルタリング領域を決定した後、ループ・フィルタリング領域のピクセルから符号化単位の境界までの垂直最短距離に基づいて、ループ・フィルタのフィルタ垂直長を決定することができる。

一実施形態によるＡＬＦ復号化部２２は、符号化単位内のピクセルから符号化単位の境界までの最短距離に基づいて、ループ・フィルタのフィルタ長を決定し、符号化単位の少なくとも１つの境界から、先に決定されたフィルタ長ほど離れた内部領域内で、ループ・フィルタリング領域を決定することができる。

例えば、ＡＬＦ復号化部２２は、符号化単位内のピクセルから符号化単位の上下境界までの垂直最短距離に基づいて、ループ・フィルタのフィルタ垂直長を決定した後、符号化単位の少なくとも１つの境界から、先に決定されたフィルタ垂直長ほど離れた内部領域内で、ループ・フィルタリング領域を決定することができる。

一実施形態によるＡＬＦ復号化部２２は、現在符号化単位のピクセルから符号化単位の境界までの最短距離に基づいて共に調節されたループ・フィルタリング領域と、ループ・フィルタとを利用して、ループ・フィルタリングを行うことができる。

一実施形態によるＡＬＦ復号化部２２は、現在符号化単位のピクセルにおいて、デブロッキング・フィルタリング領域を考慮して、現在符号化単位に係わるループ・フィルタリング方式を決定することができる。

ＡＬＦ復号化部２２は、現在符号化単位のピクセルから符号化単位の上下境界までの垂直最短距離、ループ・フィルタのフィルタ垂直長、及びデブロッキング・フィルタリング領域の高さに基づいて、ループ・フィルタリング領域またはループ・フィルタのフィルタ垂直長が決定される。デブロッキング・フィルタリング領域は、現在符号化単位内で、将来のデブロッキング・フィルタリングによってデータが変更されるピクセルの領域を示す。

一実施形態によるＡＬＦ復号化部２２は、符号化単位内で、デブロッキング・フィルタリング領域を除いた領域で、ループ・フィルタリング領域を決定することができる。

例えば、ＡＬＦ復号化部２２は、現在符号化単位のピクセルから符号化単位の上下境界までの垂直最短距離と、ループ・フィルタのフィルタ垂直長とに基づいて、ループ・フィルタリング領域を決定しながら、符号化単位内部のピクセルのうち、符号化単位の上下境界に接したデブロッキング・フィルタリング領域を除くことができる。

一実施形態によるＡＬＦ復号化部２２は、現在符号化単位に係わるデブロッキング・フィルタリングのための隣接ピクセルを利用して、ループ・フィルタリング領域またはループ・フィルタのフィルタ長を拡張させることもできる。

例えば、ＡＬＦ復号化部２２は、現在符号化単位のピクセルから、符号化単位の上端境界または下端境界までの垂直最短距離に基づいて、符号化単位内部のピクセルを利用しながら、符号化単位外部のピクセルのうち、現在アクセス可能なピクセルを利用するように、ループ・フィルタリング領域またはループ・フィルタのフィルタ垂直長を拡張させることができる。符号化単位外部のピクセルのうち、現在アクセス可能なピクセルは、所定符号化単位のデブロッキング・フィルタのフィルタ垂直長に基づいて決定されるので、ループ・フィルタリング領域またはループ・フィルタのフィルタ垂直長は、所定符号化単位のデブロッキング・フィルタのフィルタ垂直長に基づいて拡張されて決定される。

一実施形態によるＡＬＦ復号化部２２は、現在符号化単位内で、１つのループ・フィルタを決定することができる。または、ＡＬＦ復号化部２２は、符号化単位内で、ピクセル別位置に基づいて、ピクセルに係わるルーフピクセルを決定することもできる。ピクセル別位置は、ピクセルと符号化単位の所定境界との距離に基づいて分類される。例えば、現在ピクセルから符号化単位の上下端境界までの最短距離に基づいて、境界までの距離が近いほど、フィルタ垂直長が短くなり、境界までの距離が遠いほど、フィルタ垂直長が長くなるように決定される。

他の例として、ＡＬＦ復号化部２２は、所定データ単位内で、２以上のループ・フィルタを決定することができる。ＡＬＦ復号化部２２は、符号化単位ごとに２以上のループ・フィルタを決定したり、あるいはフレーム全体に対して、２以上のループ・フィルタを決定する。

ＡＬＦ復号化部２２は、所定データ単位ごとに、ループ・フィルタ形態及びフィルタ長のうち少なくとも一つが互いに異なるループ・フィルタが組み合わせられるように、２以上のループ・フィルタを決定することができる。

例えば、ＡＬＦ復号化部２２は、現在データ単位に係わるループ・フィルタリングのために、ループ・フィルタ形態だけ互いに異なる複数個のループ・フィルタを決定することができる。また、ＡＬＦ復号化部２２は、現在データ単位に係わるループ・フィルタリングのために、ループ・フィルタのフィルタ長だけ互いに異なる複数個のループ・フィルタを決定することもできる。また、ＡＬＦ復号化部２２は、現在データ単位に係わるループ・フィルタリングのために、ループ・フィルタ形態とフィルタ長とがいずれも異なる複数個のループ・フィルタを決定することができる。前述のループ・フィルタ決定方式と同様に、ＡＬＦ復号化部２２が、現在データ単位に係わるループ・フィルタリングのために、複数個のループ・フィルタを決定する場合、フィルタリング領域の位置に基づいて、それぞれ異なるループ・フィルタを決定することもできる。

一実施形態によるＡＬＦ復号化部２２は、受信部２１から抽出されたループ・フィルタリングのためのフィルタ係数を利用して、ループ・フィルタを決定することができる。また、一実施形態によるＡＬＦ復号化部２２は、受信部２１から抽出されたループ・フィルタリング方式に係わる符号化情報に基づいて、ループ・フィルタリングの許容いかん、ループ・フィルタリング領域の変更許容いかん、ループ・フィルタの変更許容いかん、ループ・フィルタリング方式自体の変更許容いかん、デブロッキング・フィルタリングとの重複許容いかんなどを読み取って決定し、ループ・フィルタリングの遂行いかん及びループ・フィルタリング方式を決定することもできる。

前述のように、一実施形態によるＡＬＦ復号化部２２は、現在符号化単位のピクセルの復号化過程で、符号化単位の境界までの最短距離及びループ・フィルタの長さに基づいて、ループ・フィルタリング方式を直接決定することができる。

他の実施形態によれば、符号化情報として抽出されるループ・フィルタリング方式に係わる情報が、符号化単位別に決定されたループ・フィルタリング方式情報を含む場合、ＡＬＦ復号化部２２は、符号化情報から判読された現在符号化単位に係わるループ・フィルタリング方式情報に基づいて、ループ・フィルタリング領域またはループ・フィルタを決定することもできる。

一実施形態による復元部２３は、ＡＬＦ復号化部２２によって符号化単位ごとに復号化されたビデオデータと、ループ・フィルタリングが行われたデータとを組み合わせ、ビデオを復元して出力することができる。

従って、一実施形態によるビデオ復号化装置２０は、演算遅延または演算負担量を最小化させながら、アクセスが容易な最大限のデータを利用するように、ループ・フィルタリングのフィルタリング領域またはフィルタ形態を決定し、これによって、符号化単位に基づいたループ・フィルタリングを行うことにより、符号化誤差を減少させることができる。

図３は、サイズ６４ｘ６４のブロックに係わるループ・フィルタリングのフィルタリング領域を図示している。

ブロック単位のビデオ符号化／復号化のために、サイズ６４ｘ６４ブロック３０に分割された空間領域のビデオデータについて、ブロックごとにフィルタリングが行われる。

既存ループ・フィルタリング方式に従ったブロック単位のフィルタリングのために、フィルタ垂直長（Ｌ１）及び水平長（Ｌ２）であるフィルタを利用する場合、フィルタリング結果として、高さ（ＭＯ）及び幅（ＮＯ）のブロックが出力されるためには、入力ブロックの高さ（ＭＩ）が出力ブロックの高さ（ＭＯ）及びフィルタのフィルタ垂直長の半分（Ｌ１／２）の和（ＭＩ＝ＭＯ＋Ｌ１／２）であり、入力ブロックの幅（ＮＩ）は、出力ブロックの幅（ＮＯ）及びフィルタのフィルタ水平長の半分（Ｌ２／２）の和（ＮＩ＝ＮＯ＋Ｌ２／２）でなければならない。

例えば、サイズ６４ｘ６４の現在ブロック３１のループ・フィルタリングのために、サイズ９ｘ９のフィルタが利用される場合、既存ループ・フィルタリングの入力ブロック３２がサイズ６８ｘ６８のブロックであるとき、ループ・フィルタリングの結果として、サイズ６４ｘ６４のブロックが出力される。

従って、現在ブロック３１の符号化過程で、入力ブロック３２のうち、サイズ６４ｘ６４の現在ブロック３１を除いた領域３３のデータは、現在ブロック３１外部のデータになる。すなわち、現在ブロック３１のループ・フィルタリングのために、外部データ領域３３のデータが利用される。

一般的に、現在ブロック３１の符号化過程で、現在ブロック３１のデータは、現在アクセスが容易なメモリまたはバッファなどのデータ保存空間に保存されている。データ保存空間のデータに係わるアクセス容易性は、データを呼び出すために、演算遅延が生じるか否か、あるいは演算負担量が大きいか否かに基づいて判断される。

現在ブロック３１のフィルタリングのために必要な外部データ領域３３のデータが、現在アクセスが容易なデータ保存空間の可能なメモリまたはバッファに保存されていないのであれば、現在ブロック３１のフィルタリングのために演算遅延が発生したり、あるいは演算負担量が大きく増加することがある。

図４は、一実施形態によって決定されたループ・フィルタリング領域を図示している。一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０は、それぞれ符号化単位４０に基づいて、ループ・フィルタリングを行うことができる。

一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０は、それぞれ現在符号化単位のピクセルから符号化単位の境界までの最短距離と、ループ・フィルタのフィルタ長とに基づいて、符号化単位の内部領域において、ループ・フィルタリング領域を決定することができる。一実施形態によるループ・フィルタリング領域は、符号化単位の内部ピクセルにおいて、符号化単位の少なくとも１つの境界から所定長さほど離れたピクセルを含む領域に決定される。所定長は、ループ・フィルタのフィルタ長より長いか、あるいは同じである。

例えば、現在符号化単位４１が、サイズ６４ｘ６４の符号化単位で、ループ・フィルタのフィルタ長が、垂直方向、水平方向にいずれも９である場合、一実施形態によるループ・フィルタリング領域４２は、現在符号化単位４１の内部ピクセルにおいて、現在符号化単位４１のそれぞれの境界から最小限フィルタ長の半分である４（９／２）ほど離れたピクセルを含む領域に決定される。

現在符号化単位４１に係わるループ・フィルタリングによって、実質的に、一実施形態によるループ・フィルタリング領域４２のフィルタリングされたピクセルが出力されながら、現在符号化単位４１がループ・フィルタリングを介して更新される。

図５は、現在符号化単位のデブロッキング・フィルタリング及びループ・フィルタリングのために利用されるラインメモリ領域を図示している。

現在フレーム５０が符号化／復号化されるとき、一実施形態によって、現在符号化単位５１において、ピクセル５４と同一ライン上のピクセルは、現在ループ・フィルタリング領域５２に係わるループ・フィルタリングを介して更新され、ピクセル５５と同一ライン上のピクセルは、将来のデブロッキング・フィルタリングを介して更新されるのである。

現在復号化されたデータ領域５２のループ・フィルタリングのために、ピクセル５４，５５が属したラインを含み、ループ・フィルタリングに参照される隣接ピクセルと同一ライン上のピクセルが保存されたラインメモリ５３が全て呼び出されなければならない。従って、ループ・フィルタリングのために、現在アクセスが容易なデータ保存空間以外のラインメモリに保存されたデータが利用される場合、演算遅延が発生したり、あるいは演算負担量が大きく増加する。

図６は、一実施形態によるループ・フィルタの決定方式を図示している。一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０は、それぞれ符号化単位６１のループ・フィルタリングのためのループ・フィルタ６２を決定するために、ループ・フィルタ６２の形態またはループ・フィルタ６２のフィルタ長などを調節することができる。

一実施形態によるループ・フィルタ６２は、フィルタのフィルタ垂直長及び水平長が同一である正方形フィルタだけではなく、長方形フィルタ、ダイアモンド形フィルタ、ひし形フィルタなど多様な多角形フィルタとして決定される。

また、一実施形態によるループ・フィルタ６２のフィルタ垂直長６４と、フィルタ水平長６５とがそれぞれ決定される。例えば、ループ・フィルタ６２のフィルタ垂直長６４が、フィルタ水平長６５より短く決定される。

一実施形態によって決定されたループ・フィルタ６２の形態に基づいて、符号化単位６１内部で、ループ・フィルタリング領域６３が決定される。ループ・フィルタ６２のフィルタ垂直長６４またはフィルタ水平長６５によって、現在符号化単位の外部ピクセルを利用して、ループ・フィルタリングが行われる場合、外部ピクセルが保存されたメモリからデータを呼び出すために生じうる追加演算量が最小化されるように、ループ・フィルタリング領域６３が決定される。

類似した目的で、現在符号化単位内にループ・フィルタリング領域６３がまず決定されている場合、ループ・フィルタリング領域６３に基づいて、ループ・フィルタ６２のフィルタ垂直長６４またはフィルタ水平長６５が決定される。

現在符号化単位６１に係わるループ・フィルタリングのために、外部ピクセルが利用される場合、現在符号化単位６１の左右境界の外部ピクセルは、現在符号化単位６１のピクセルと同一のラインメモリに保存される一方、現在符号化単位６１の上下境界の外部ピクセルは、別途ラインメモリに保存されている。従って、現在符号化単位６１の左右境界外部ピクセルよりは、上下境界外部ピクセルにアクセスするために遅延が生じる可能性が高いので、ループ・フィルタ６２のフィルタ垂直長６４がフィルタ水平長６５より短く決定されることが有利である。

水平方向へのループ・フィルタリングで、現在符号化単位６１の外部ピクセルを利用するのに生じる追加演算量が多くないので、他の実施形態によるループ・フィルタリング方式の決定方式に従えば、現在符号化単位６１のループ・フィルタリングと係わって、ループ・フィルタ６２のフィルタ水平長６５またはループ・フィルタリング領域６３の幅の調節は、省略されもする。すなわち、選択的に、現在符号化単位６１のループ・フィルタリングのために、現在符号化単位６１のピクセルから上下境界までの垂直最短距離を基にして、ループ・フィルタ６２のフィルタ垂直長６４だけが調節されるか、あるいはループ・フィルタリング領域６３の高さだけが調節される。

図７及び図８は、一実施形態によるデブロッキング・フィルタリングとループ・フィルタリングとの関係によって、現在符号化単位に係わるデブロッキング・フィルタリング及びループ・フィルタリングを行う方法のフローチャートを図示している。

一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０は、予測符号化、量子化、動き推定などの符号化／復号化過程によって生じうる各種誤差を低減させるために、ループ・フィルタリングを行いながら、符号化単位のようなブロック単位のビデオ符号化／復号化によって生じうるブロック現象（blocky artifact）を低減させるためのデブロッキング・フィルタリングを行うことができる。

一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０は、現在符号化単位のピクセルについてデブロッキング・フィルタリングとループ・フィルタリングとが重複的に行われないように、フィルタリング方式を選択することができる。

一実施形態による、ツリー構造による符号化単位は、それぞれ予測及び変換のための予測単位と変換単位とを含んでもよい。ツリー構造による符号化単位、予測単位及び変換単位の関係は、図１３ないし図２３を参照して後述する。

一実施形態によるデブロッキング・フィルタリングは、符号化単位の境界だけではなく、符号化単位に含まれた予測単位及び変換単位の境界に対して行われる。ただし、符号化単位に含まれた予測単位及び変換単位の境界に対してデブロッキング・フィルタリングが行われる場合、符号化単位内部のループ・フィルタリング領域に係わるループ・フィルタリングと重複されてもよいので、デブロッキング・フィルタリング方式とループ・フィルタリング方式とが選択的に決定される。

図７のフローチャートを参照して、一実施形態によるビデオ復号化装置２０が、符号化単位別にフィルタリング方式を決定する過程について開示され、図８を参照して、段階別フィルタリングの詳細方式について説明する。

Ｓ７０で、現在符号化単位（ＣＵ）８１に係わるフィルタリングが始まる。Ｓ７１で、ビットストリームをパージングして抽出したループ・フィルタリング関連情報のうち、現在符号化単位８１に係わるループ・フィルタリングの許容いかんを示すフラグ（ＡＬＦ flag）が判読され、現在符号化単位８１に対してループ・フィルタリングを行うか否かが決定される。現在符号化単位８１に係わるループ・フィルタリングが許容されれば、Ｓ７２に、ループ・フィルタリングが許容されなければ、Ｓ７４に進む。

Ｓ７２で、デブロッキング・フィルタリングは、現在符号化単位８１の境界でのみ行われ、Ｓ７３で、現在符号化単位８１に係わるループ・フィルタリングが行われる。

例えば、最小限サイズ１６ｘ１６のデータ単位の境界で、一実施形態によるデブロッキング・フィルタリングが行われる。Ｓ７２で、サイズ６４ｘ６４の現在符号化単位８１の境界でのみ、一実施形態によるデブロッキング・フィルタリングが行われる。

Ｓ７３では、一実施形態によるループ・フィルタのフィルタ垂直長及び水平長が９である場合、現在符号化単位８１の上下左右境界からそれぞれ４ピクセルずつ離れたサイズ５６ｘ５６の内部領域がループ・フィルタリング領域８３に決定される。また、一実施形態によるループ・フィルタリングは、現在符号化単位８１の内部領域において、境界に接したピクセルのうち、符号化単位内でデブロッキング・フィルタリングによって値が変更されるピクセルを除いた領域で行われる。

一実施形態による現在符号化単位８１の境界に係わるデブロッキング・フィルタリングによって、境界ピクセルから垂直方向に、最大４ピクセルずつ内部ピクセルが変更されるのであるならば、現在ループ・フィルタ長に沿って決定されたサイズ５６ｘ５６のループ・フィルタリング領域８３が維持される。もしデブロッキング・フィルタリングによって、境界ピクセルから垂直方向に５ピクセル以上の内部ピクセルが変更されるのであるならば、ループ・フィルタリング領域８３の大きさは、５６ｘ５６より小くなる。

Ｓ７４で、現在符号化単位８１に対して、符号化単位の境界だけではなく、符号化単位に含まれた予測単位及び変換単位の境界に対して、デブロッキング・フィルタリングが行われる。

例えば、一実施形態によるデブロッキング・フィルタリングは、最小限サイズ１６ｘ１６のデータ単位の境界で行われるので、現在符号化単位８１の境界に係わるデブロッキング・フィルタリングと共に、現在符号化単位８１に含まれた予測単位及び変換単位のうち、サイズ１６ｘ１６以上の予測単位及び変換単位の境界に対して、デブロッキング・フィルタリングも行われる。ただし、その場合、現在符号化単位８１の内部ピクセルに係わるループ・フィルタリングは、省略される。

図９及び図１０は、他の実施形態によって決定されたループ・フィルタリング領域と、現在符号化単位に係わるループ・フィルタリング領域とを図示している。図９及び図１０を参照して、現在符号化単位９１の左右境界の外部ピクセルが保存されたラインメモリに係わるアクセス性に比べ、上下境界の外部ピクセルが保存されたラインメモリに係わるアクセス性が困難であるという点を考慮し、垂直方向へのループ・フィルタリングが調節される。すなわち、一実施形態によって、ループ・フィルタリング領域９２の高さが調節され、ループ・フィルタ９６のフィルタ垂直長が、フィルタ水平長より短いように決定される。例えば、ループ・フィルタ９６のフィルタ垂直長とフィルタ水平長は、それぞれ７、９である多角形状である。

また、現在符号化単位９１内部のループ・フィルタリング領域９２の上下端境界のピクセルについて、ループ・フィルタリングが行われるとき、ループ・フィルタ９６のフィルタ垂直長に沿って、ループ・フィルタリング領域９２の境界に垂直する方向に、３ピクセルずつ外部ピクセルを参照する。

その場合、現在符号化単位９１の上端境界外部の３ピクセルは、現在符号化単位９１に係わるデブロッキング・フィルタリングのために必要な隣接符号化単位Ｂの下端ピクセルのうち一つである。現在符号化単位９１の上端境界に係わるデブロッキング・フィルタリングのために必要な外部ピクセル個数は、デブロッキング・フィルタの垂直長に基づいて決定される。

現在符号化単位９１に係わる復号化処理周期中に、隣接符号化単位Ｂは、すでに復号化されたデータ単位であり、現在符号化単位９１の上端境界に係わるデブロッキング・フィルタリングのために必要な隣接符号化単位Ｂの下端ピクセルは、すでに呼び出されて所定データ保存空間に保存されているので、ループ・フィルタリングの遂行時、データアクセスが容易である。

もしループ・フィルタリングの遂行時に、データアクセスが容易なデータ保存空間に、デブロッキング・フィルタリングのために、現在符号化単位９１の上端境界から外部３ピクセルずつ保存されているのであれば、現在符号化単位９１のループ・フィルタリングのために必要な上端境界外部ピクセルは、いずれもアクセスが容易であるので、一実施形態によるループ・フィルタリングは、現在符号化単位９１の上端境界に接する内部ピクセルまで行われるように、ループ・フィルタリング領域９２が拡張されて決定される。

ただし、現在符号化単位９１の下端境界に係わるループ・フィルタリングと係わり、復号化処理の手順上、現在符号化単位９１の下端の外部データは、まだ復号化されていない状態であるので、現在符号化単位９１の下端境界外部のピクセルは、利用されない。また、現在符号化単位９１の下端境界の一部ピクセル群９５は、将来のデブロッキング・フィルタリングを介して変更されるデータである。

従って、将来のデブロッキング・フィルタリングを介してデータが変更されるピクセル群９５は、ループ・フィルタリング領域９２から除外される。また、将来のデブロッキング・フィルタリングを介してデータが変更されるピクセル群９５を、ループ・フィルタリングの隣接ピクセルとして参照しないように、ループ・フィルタリング領域９２が決定される。デブロッキング・フィルタリングを介してデータが変更されるピクセル群９５を利用して、ループ・フィルタリングが行われるピクセル群９４が、ループ・フィルタ９６のフィルタ垂直長に基づいて決定され、ループ・フィルタリング領域９２から、ピクセル群９５と共に、ピクセル群９４も除外されるように決定される。

具体的な例示として、現在符号化単位９１の境界ピクセルに係わるデブロッキング・フィルタリングのために、境界外部の３個の隣接ピクセルが利用され、ループ・フィルタ９６のフィルタ垂直長が７である場合、一実施形態によって、現在符号化単位９１のループ・フィルタリング領域９２を決定する。

現在符号化単位９１のループ・フィルタリング領域９２は、現在符号化単位９１のデブロッキング・フィルタリングによって、現代符号化単位９１の上端境界に接した内部領域まで含んでもよい。また、ループ・フィルタリング領域９２の下端境界は、将来のデブロッキング・フィルタリングによってデータが変更されるピクセル群９５を考慮し、現在符号化単位９１の下端境界から内部に３ピクセルずつ縮小されもする。

また、将来のデブロッキング・フィルタリングによってデータが変更されるピクセル群９５を、隣接ピクセルとして利用して、ループ・フィルタリングが行われるピクセル群９４を考慮し、ループ・フィルタリング領域９２の下端境界は、ループ・フィルタのフィルタ垂直長の半分に該当する３ピクセルずつ追加して縮小されもする。結果として、現在符号化単位９１の下端境界のピクセルから垂直方向に６ピクセルが含まれた領域９３については、ループ・フィルタリングが行われず、現在符号化単位９１のうち下端境界に接した領域９３を除外した残りの領域が、ループ・フィルタリング領域９２に決定される。

現在フレーム１００の符号化単位Ａ，Ｂ，Ｃ，Ｄ，Ｘに係わるループ・フィルタリングのために、それぞれの符号化単位の下端境界ピクセルから垂直方向に６ピクセルずつ含む領域１１０については、一実施形態によるループ・フィルタリングが行われないことにより、ループ・フィルタリングのための隣接ピクセルのデータ呼び出しによって追加して生じうる演算遅延が最小化される。

また、それぞれの符号化単位の上端境界外部のピクセルのうち、デブロッキング・フィルタリングのためにデータアクセスの容易なデータは、最大限参照してループ・フィルタリングが行われるので、ループ・フィルタリングを介した符号化誤差の低減効果が増大される。

図１１は、本発明の一実施形態によるループ・フィルタリングを利用したビデオ符号化方法のフローチャートを図示している。一実施形態によるループ・フィルタリングを利用したビデオ符号化方法は、ビデオエンコーディング・プロセッサと連動して基本的なビデオ符号化動作を遂行しながら、一実施形態によるループ・フィルタリングを行う。

段階１１１で、ビデオデータを空間領域別に分割した符号化単位に基づいて、ビデオデータが符号化される。段階１１２で、符号化単位のビデオデータのうち、ループ・フィルタリングが行われるピクセルから符号化単位の境界までの最短距離と、ループ・フィルタのフィルタ垂直長とに基づいて、符号化単位に係わるループ・フィルタリングが行われる。一実施形態による符号化単位に係わるループ・フィルタリングが符号化単位内部のピクセルを利用して行われるように、ループ・フィルタリング領域及びループ・フィルタのうち少なくとも一つが決定される。ループ・フィルタリングが行われた空間領域のデータは、さらに動き推定、変換、量子化を経て符号化される。

一実施形態によって、符号化単位内のピクセルから符号化単位の境界までの最短距離とフィルタ長とに基づいて、符号化単位の少なくとも１つの境界から所定距離ほど離れた内部領域内で、ループ・フィルタリング領域が決定される。符号化単位の少なくとも１つの境界から、最小限フィルタ垂直長ほど離れた内部領域で、ループ・フィルタリング領域が決定される。

一実施形態によって、ループ・フィルタのフィルタ長が、符号化単位内のピクセルから符号化単位の境界までの最短距離より短いか、あるいは同じになるように、ループ・フィルタが決定される。

例えば、符号化単位の境界に係わる垂直最短距離と、ループ・フィルタのフィルタ垂直長とに基づいて、ループ・フィルタリング領域及びループ・フィルタのうち、少なくとも一つが決定される。追加して、符号化単位の境界に係わる水平最短距離と、ループ・フィルタのフィルタ水平長とに基づいて、ループ・フィルタリング方式が決定される。一実施形態によるフィルタ垂直長は、フィルタ水平長より短く決定される。

また、一実施形態によって、符号化単位内のピクセルから符号化単位の境界までの最短距離に基づいて、ループ・フィルタリング領域が決定され、決定されたループ・フィルタリング領域のピクセルから符号化単位の境界までの最短距離に基づいて、ループ・フィルタのフィルタ長が決定される。

また、一実施形態によって、符号化単位内のピクセルから符号化単位の境界までの距離と、ループ・フィルタのフィルタ長とによって決定され、符号化単位の少なくとも１つの境界から、先に決定されたフィルタ長ほど離れた内部領域内で、ループ・フィルタリング領域が決定される。

一実施形態によって、符号化単位のピクセルから符号化単位の境界までの最短距離、フィルタ長、及び符号化単位のデブロッキング・フィルタリング領域の高さに基づいて、ループ・フィルタリング領域が決定される。符号化単位のピクセルから符号化単位の境界までの最短距離、フィルタ長、及び符号化単位のデブロッキング・フィルタリング領域の高さに基づいて、ループ・フィルタのフィルタ長が決定される。

一実施形態によって、符号化単位内部領域において、将来のデブロッキング・フィルタリングによってデータが変更される領域、すなわち、デブロッキング・フィルタリング領域を除外した残りの領域で、ループ・フィルタリング領域が決定される。

一実施形態によって、符号化単位の上端境界外部のピクセルにおいて、符号化単位に係わるデブロッキング・フィルタリングのために利用されたピクセルの個数、すなわち、デブロッキング・フィルタリングの垂直長に基づいて、ループ・フィルタリング領域及びループ・フィルタのフィルタ垂直長のうち少なくとも一つが拡張される。

一実施形態によって、符号化単位またはフレームごとに、２種以上のループ・フィルタが決定される。例えば、現在符号化単位に係わるループ・フィルタリングのために、２以上のループ・フィルタが決定される。その場合、決定されたループ・フィルタ形態及びフィルタ長のうち少なくとも一つが互いに異なるように決定される。

段階１１３で、符号化単位ごとに、符号化単位に基づいた符号化方式と係わる符号化情報、及び符号化されたビデオデータが出力される。一実施形態による符号化情報は、符号化単位別ループ・フィルタリング遂行と係わって、ループ・フィルタリングの許容いかんについての情報、ループ・フィルタリング方式の決定と係わる情報、及びループ・フィルタの係数についての情報などを含んでもよい。符号化されたビデオデータを復号化するための符号化モードについての符号化情報と、符号化単位ごとに符号化されたビデオデータとを含むビットストリームが出力される。

図１２は、本発明の一実施形態によるループ・フィルタリングを利用したビデオ復号化方法のフローチャートを図示している。

段階１２１で、ビデオのビットストリームが受信されてパージングされ、符号化情報、及び符号化されたビデオデータが抽出される。段階１２２では、段階１２１で抽出された符号化情報を利用して、符号化単位ごとに符号化されたビデオデータが、可変長復号化、逆量子化、逆変換を介して、空間領域のデータに復号化される。一実施形態によるループ・フィルタリングを利用したビデオ復号化方法は、ビデオデコーディング・プロセッサと連動し、符号化単位ごとに、基本的なビデオ復号化動作を遂行することができる。

符号化単位内で、ループ・フィルタリングが行われるピクセルから符号化単位の境界までの最短距離と、ループ・フィルタのフィルタ長とに基づいて、符号化単位内部のピクセル値を利用して、ループ・フィルタリングが行われるように、ループ・フィルタリング方式が決定される。

一実施形態によって、符号化単位内のピクセルから符号化単位の境界までの最短距離とフィルタ長とに基づいて、符号化単位の少なくとも１つの境界から、最小限フィルタ垂直長ほど離れた内部領域で、ループ・フィルタリング領域が決定される。一実施形態によって、ループ・フィルタのフィルタ長が、符号化単位内のピクセルから符号化単位の境界までの最短距離より短いか、あるいは同じになるように決定される。

例えば、符号化単位の境界に係わる垂直最短距離と、ループ・フィルタのフィルタ垂直長とに基づいて、ループ・フィルタリング領域及びループ・フィルタのうち、少なくとも一つが決定される。追加して、符号化単位の境界に係わる水平最短距離と、ループ・フィルタのフィルタ水平長とに基づいて、ループ・フィルタリング領域及びループ・フィルタのうち少なくとも一つが決定される。一実施形態によるフィルタ垂直長は、フィルタ水平長より短く決定される。

また、一実施形態によって、符号化単位内のピクセルから符号化単位の境界までの最短距離に基づいて、ループ・フィルタリング領域が決定され、決定されたループ・フィルタリング領域のピクセルから符号化単位の境界までの最短距離に基づいて、ループ・フィルタのフィルタ長が決定される。また、一実施形態によって、符号化単位内のピクセルから符号化単位の境界までの距離と、ループ・フィルタのフィルタ長とよって決定され、符号化単位の少なくとも１つの境界から、先に決定されたフィルタ長ほど離れた内部領域内で、ループ・フィルタリング領域が決定される。

一実施形態によって、符号化単位のピクセルから符号化単位の境界までの最短距離及び符号化単位のデブロッキング・フィルタリング領域の高さに基づいて、ループ・フィルタリング領域及びループ・フィルタのフィルタ長のうち少なくとも一つが決定される。

例えば、一実施形態によるループ・フィルタリングは、符号化単位内部領域において、将来のデブロッキング・フィルタリングによってデータが変更される領域を除外した残りの領域で、ループ・フィルタリング領域が決定される。

一実施形態によって、符号化単位の上端境界外部のピクセルにおいて、符号化単位に係わるデブロッキング・フィルタリングのために利用されたピクセルの個数、すなわち、デブロッキング・フィルタの垂直長に基づいて、ループ・フィルタリング領域及びループ・フィルタのフィルタ垂直長のうち少なくとも一つが拡張される。

一実施形態によって、符号化単位またはフレームごとに、フィルタ形態及びフィルタ長のうち少なくとも一つが互いに異なる２種以上のループ・フィルタが決定される。

段階１２３では、段階１２２を介して復号化されたビデオデータについて、符号化単位内部ピクセルを利用して、符号化単位に係わるループ・フィルタリングが行われる。一実施形態によって、符号化単位ごとに、復号化されたビデオデータ及びループ・フィルタリングが行われたデータを組み合わせてビデオが復元される。

以下、一実施形態によるビデオ符号化装置１０が、一実施形態によって、ツリー構造の符号化単位を基にして、ループ・フィルタリングを行う場合、一実施例によるツリー構造による符号化単位を決定する方法について説明する。

ＡＬＦ符号化部１１は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横に大きさが２の自乗である正方形のデータ単位である。映像データは、少なくとも１つの最大符号化単位別に、ＡＬＦ符号化部１１に出力される。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位に定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズが、あらかじめ設定されている。

ＡＬＦ符号化部１１は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化の結果が出力される深度を決定することができる。すなわち、ＡＬＦ符号化部１１は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が生じる深度を選択して、符号化深度に決定することができる。決定された符号化深度及び最大符号化単位別映像データは、出力部１２に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化の結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれて、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定されてもよく、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

従って、一実施形態によるＡＬＦ符号化部１１は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度が２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、最大深度は、４に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。一実施形態によって、ビデオ符号化のために行う変換は、周波数変換、直交変換、整数変換などを含んでもよい。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位について、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置１０は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一のデータ単位が使用されもし、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１０は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になる、それ以上分割されない符号化単位を「予測単位」と呼ぶ。予測単位が分割されたパーティションは、予測単位、及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ，２ｎｘｎ，Ｎｘ２Ｎ，ｎｘｎなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インタモード及びスキップモードのうち少なくとも一つである。例えば、イントラモード及びインタモードは、２Ｎｘ２Ｎ，２ｎｘｎ，Ｎｘ２Ｎ，ｎｘｎサイズのパーティションについて行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ行われる。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１０は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。

符号化単位の変換のためには、符号化単位より小さいか、あるいは同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインタモードのための変換単位を含んでもよい。

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがｎｘｎであるならば、変換深度１、変換単位の大きさがＮ／２ｘｎ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、ＡＬＦ符号化部１１は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図１３ないし図２３を参照して詳述する。

ＡＬＦ符号化部１１は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

一実施形態によるＡＬＦ符号化部１１は、ツリー構造による符号化単位のうち、所定符号化単位の量子化された変換係数について、さらに逆量子化、逆変換及び動き推定を経て復元された空間領域のビデオデータについて、ループ・フィルタリングを行うことができる。

一実施形態によるＡＬＦ符号化部１１は、ループ・フィルタリングを介してフィルタリングされたビデオデータについて、さらに動き推定、変換、量子化を行い、量子化された変換係数を出力することができる。また、量子化された変換係数は、可変長符号化を経た後で出力される。

一実施形態によるＡＬＦ符号化部１１は、符号化単位の内部ピクセルのうち、ループ・フィルタリングが行われるピクセルから符号化単位の境界までの最短距離に基づいて、一実施形態によるループ・フィルタリング方式を決定することができる。ループ・フィルタのフィルタ長に基づいて、一実施形態によるループ・フィルタリング方式が決定される。一実施形態によるループ・フィルタリングの決定方式は、図１ないし図１２を参照して説明した通りである。

出力部１２は、ＡＬＦ符号化部１１で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードについての情報を、ビットストリーム形態で出力することができる。

符号化された映像データは、映像の残差データの符号化結果である。深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。

符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が、符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上に下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同一の深度の符号化単位ごとに再帰的（recursive）符号化が行われる。

１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあるので、データについて、符号化深度及び符号化モードについての情報が設定される。

従って、一実施形態による出力部１２は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てる。一実施形態による出力部１２は、ビデオの符号化されたデータを伝送するためのビットストリームのヘッダ、ＳＰＳ（sequence parameter set）及びＰＰＳ（picture parameter set）などに、一実施形態による当該符号化深度及び符号化モードに係わる情報を挿入して出力することができる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位である。

例えば、出力部１２を介して出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティション大きさ情報を含んでもよい。予測単位別に伝送される符号化情報は、インタモードの推定方向についての情報、インタモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。

また、ピクチャ、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズについての情報、及び深度の可変範囲についての情報など、ツリー構造による符号化単位を決定するための構造情報が、ビットストリームのヘッダ、ＳＰＳ、ＰＰＳなどに挿入される。

また、出力部１２を介して出力される符号化情報は、変換インデックスを含んでもよい。一実施形態による変換インデックス情報は、現在符号化単位を変換するのに利用された変換単位の構造に係わる情報を示すことができる。例えば、一実施形態による変換インデックス情報は、現在符号化単位から最終レベルの変換単位まで分割した回数、変換単位の大きさ及び形態に係わる情報を含んでもよい。

一実施形態による変換インデックス情報は、現在変換単位が下位レベルの変換単位に分割されるか否かを示すことができる。例えば、一実施形態による変換インデックス情報として、変換単位が下位レベルの変換単位に分割されるか否かを示す１ビットのデータである変換単位分割ビットが利用される。

また、出力部１２を介して出力される符号化情報は、ループ・フィルタリングのためのフィルタ係数を符号化情報として伝送することもできる。また、一実施形態による出力部１２は、一実施形態によるループ・フィルタリングと係わり、ループ・フィルタリングの許容いかん、ループ・フィルタリング領域の変更許容いかん、ループ・フィルタの変更許容いかん、ループ・フィルタリング方式自体の変更許容いかん、デブロッキング・フィルタリングとの重複許容いかんなどに係わるシグナリングのために、ループ・フィルタリング方式に係わる符号化情報を伝送することもできる。

ビデオ符号化装置１０の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが、２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ｎｘｎである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ｎｘｎサイズの下位深度符号化単位を最大４個含んでもよい。

従って、ビデオ符号化装置１０は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化しるのであるならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下するという傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が上昇する。

以下、一実施形態によるビデオ復号化装置２０において、ツリー構造の符号化単位を基にしてループ・フィルタリングを行うために、一実施形態によって、ツリー構造の符号化単位を基にしてビデオを復号化する方法について説明する。

一実施形態によるビデオ復号化装置２０の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、ビデオ符号化装置１０を参照して説明したところと同様である。

受信部２１は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）することができる。受信部２１は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって符号化単位ごとに符号化された映像データを抽出し、ＡＬＦ復号化部２２に出力することができる。受信部２１は受信されたビットストリームから、現在ピクチャに係わるヘッダ、ＳＰＳ、ＰＰＳのうち少なくとも一つから、現在ピクチャの符号化単位の最大サイズ及び深度の可変範囲についての情報など、ツリー構造による符号化単位を決定するための構造情報をパージングして抽出することができる。

また、受信部２１は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出することができる。抽出された符号化深度及び符号化モードについての情報は、ＡＬＦ復号化部２２に出力される。すなわち、ビット列の映像データを、最大符号化単位に分割し、ＡＬＦ復号化部２２が、最大符号化単位ごとに映像データを復号化する。

最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定されてもよいし、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

また、ＡＬＦ復号化部２２がパージングされたビットストリームから抽出した符号化モード情報から、符号化情報から変換インデックスに係わる情報が判読される。ＡＬＦ復号化部２２は、受信部２１によって抽出された変換インデックス情報に基づいて、現在符号化単位の変換単位を構成し、変換単位に基づいて、現在符号化単位の逆変換を行いながら、符号化されたデータを復号化することができる。

また、一実施形態による受信部２１によって抽出される符号化情報は、ループ・フィルタリングのためのフィルタ係数を含んでもよい。また、一実施形態による受信部２１は、ビットストリームから、一実施形態によるループ・フィルタリングについての符号化情報を抽出することができ、これにより、ループ・フィルタリングの許容いかん、ループ・フィルタリング領域の変更許容いかん、ループ・フィルタの変更許容いかん、ループ・フィルタリング方式自体の変更許容いかん、デブロッキング・フィルタリングとの重複許容いかんなどが判読されもする。

ＡＬＦ復号化部２２で、符号化単位に基づいて、空間領域のビデオデータを復号化した結果、復元部２３は、ビデオのピクチャを復元することができる。

受信部２１が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１０のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２０は、最小符号化誤差を発生させる符号化方式に従ってデータを復号化し、映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位について割り当てられているので、受信部２１は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているのであれば、同一の符号化深度及び符号化モードについての情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。

ＡＬＦ復号化部２２は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元することができる。すなわち、ＡＬＦ復号化部２２は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、判読されたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程及び逆変換過程を含んでもよい。

ＡＬＦ復号化部２２は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、ＡＬＦ復号化部２２は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位の大きさ情報を含み、ツリー構造による変換単位を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。

ＡＬＦ復号化部２２は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないということを示しているのであれば、現在深度が符号化深度である。従って、ＡＬＦ復号化部２２は、現在最大符号化単位の映像データについて、現在深度の符号化単位を予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、ＡＬＦ復号化部２２によって同一の符号化モードに復号化する１つのデータ単位と見なされる。

一実施形態によるＡＬＦ復号化部２２は、ツリー構造による符号化単位について、可変長復号化、逆量子化、逆変換及び動き補償を経て復元した空間領域のビデオデータについて、ループ・フィルタリングを行うことができる。

一実施形態によるＡＬＦ復号化部２２は、符号化単位の内部ピクセルのうち、ループ・フィルタリングが行われるピクセルから符号化単位の境界までの最短距離に基づいて、一実施形態によるループ・フィルタリング方式を決定することができる。ループ・フィルタのフィルタ長に基づいて、一実施形態によるループ・フィルタリング方式が決定される。一実施形態によるループ・フィルタリングの決定方式は、図１ないし図１２を参照して説明した通りである。

ビデオ復号化装置２０は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位で決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用し、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

以下、図１３ないし図２３を参照して、一実施形態によるツリー構造による符号化単位など、データ単位に基づいたビデオ符号化／復号化について開示する。

図１３は、本発明の一実施形態による符号化単位の概念を図示している。

符号化単位の例は、符号化単位の大きさが幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割されてもよく、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションであり、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションであり、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図示されている最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べて、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能が向上するのである。

図１４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を図示している。

一実施形態による映像符号化部４００は、一実施形態によるビデオ符号化装置１０のＡＬＦ符号化部１１で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インタモードの現在フレーム４０５及び参照フレーム４９５を利用して、インタ推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１０に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位において、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位において、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。

図１５は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て空、間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インタモードの符号化単位について動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

一実施形態によるビデオ復号化装置２０のＡＬＦ復号化部２２で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２０に適用されるためには、映像復号化部４００の構成要素である、パージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を行わなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとに、パーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。

図１６は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０は、映像特性を考慮するために、階層的な符号化単位を使用することができる。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって、適応的に決定されもし、ユーザの要求によって、多様に設定されもする。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が３である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ８ｘ８である深度３の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

最後に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、大きさ４ｘ８のパーティション６４４、大きさ４ｘ４のパーティション６４６に分割される。

一実施形態によるビデオ符号化装置１０のＡＬＦ符号化部１１は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

同一の範囲及び大きさのデータを含めるための深度別符号化単位の個数は、深度が深くなるほど深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化の結果を深度別に比べるために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別の代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が生じる深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

図１７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１０、または一実施形態によるビデオ復号化装置２０は、最大符号化単位ごとに最大符号化単位より小さいか、あるいは同じ大きさの符号化単位で、映像を符号化したり復号化することができる。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１０、または一実施形態によるビデオ復号化装置２０で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図１８は、本発明の一実施形態によって、深度別符号化情報を図示している。

一実施形態によるビデオ符号化装置１０の出力部１２は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティション形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ｎｘｎのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズｎｘｎのパーティション８０８のうち、いずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ｎｘｎのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズｎｘｎのパーティション８０８のうち一つを示すように設定される。

予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００の示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで、予測符号化が行われるかが設定される。

また、変換単位サイズについての情報８２０は、現在符号化単位を、いなかる変換単位を基に変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２０の受信部２１は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出して復号化に利用することができる。

図１９は、本発明の一実施形態による深度別符号化単位を図示している。深度の変化を示すために分割情報が利用される。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０ｘ２ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘｎ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘｎ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率で分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘｎ＿０サイズのパーティション、２つのＮ＿０ｘ２ｎ＿０サイズのパーティション、４つのＮ＿０ｘｎ＿０サイズのパーティションごとに、反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２ｎ＿０、サイズＮ＿０ｘ２ｎ＿０及びサイズ２Ｎ＿０ｘｎ＿０及びサイズＮ＿０ｘｎ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２ｎ＿０，２Ｎ＿０ｘｎ＿０及びＮ＿０ｘ２ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘｎ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しながら分割し（９２０）、深度１及びサイズＮ＿０ｘｎ＿０のパーティションタイプの符号化単位９３０について反復して符号化を行い、最小符号化誤差を検索して行くことができる。

深度１及びサイズ２Ｎ＿１ｘ２ｎ＿１（＝Ｎ＿０ｘｎ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘｎ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘｎ＿１のパーティションタイプ９４８を含んでもよい。

また、サイズＮ＿１ｘｎ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘｎ＿２の符号化単位９６０について反復して符号化を行い、最小符号化誤差を検索して行くことができる。

最大深度がｄ−１である場合、深度別符号化単位は、深度ｄ−１になるまで分割され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘｎ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘｎ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

パーティションタイプにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘｎ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘｎ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が生じるパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘｎ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄ−１であるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘｎ＿（ｄ−１）に決定される。また、最大深度がｄ−１であるので、深度ｄ−１の符号化単位９８０について、分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」であると呼ばれる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１０は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が生じる深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。

このように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択されて符号化深度に決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで、符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除外した深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２０の受信部２１は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２０は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用して復号化に利用することができる。

図２０、図２１及び図２２は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１０が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるならば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部のパーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ｎｘｎのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ｎｘｎのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいは同じである。

変換単位１０７０において、一部（１０５２）の映像データについては、符号化単位に比べて小サイズのデータ単位で、変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。

これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下の表１は、一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０で設定することができる一例を示している。

ビデオ符号化装置１０の出力部１２は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２０の受信部２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率で分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ｎｘｎ，Ｎｘ２Ｎ及びｎｘｎと、非対称的な比率で分割された非対称的パーティションタイプ２ｎｘｎｕ，２ｎｘｎｄ，ｎｌｘ２ｎ，ｎｒｘ２ｎとを示すことができる。非対称的パーティションタイプ２ｎｘｎｕ及び２ｎｘｎｄは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎｌｘ２ｎ及びｎｒｘ２ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種の大きさ、インターモードで２種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ｎｘｎ、非対称形パーティションタイプであるならば、Ｎ／２ｘｎ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。

図２３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２、２ｎｘｎ １３２４、Ｎｘ２Ｎ １３２６、ｎｘｎ １３２８、２ｎｘｎｕ １３３２、２ｎｘｎｄ １３３４、ｎｌｘ２ｎ １３３６及びｎｒｘ２ｎ １３３８のうち一つに設定される。

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２、２ｎｘｎ １３２４、Ｎｘ２Ｎ １３２６及びｎｘｎ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズｎｘｎの変換単位１３４４が設定される。

パーティションタイプ情報が、非対称形パーティションタイプ２ｎｘｎｕ １３３２、２ｎｘｎｄ １３３４、ｎｌｘ２ｎ １３３６及びｎｒｘ２ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘｎ／２の変換単位１３５４が設定される。

図２３を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が１ビットのフラグに限定されるものではなく、設定によって０，１，２，３，…などに増加して変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１０は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２０は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさが１６ｘ１６、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさが８ｘ８に設定される。

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さくはないので、それ以上の変換単位分割情報が設定されない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されない。

従って、最大変換単位分割情報を、「ＭａｘTransformSizeIndex」、最小変換単位サイズを’ＭｉｎTransformSize」、変換単位分割情報が０である場合の変換単位サイズを、「RootＴｕSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」は、以下の式（１）のように定義される。

ＣｕｒｒＭｉｎｔｕSize
＝ｍａｘ（ＭｉｎTransformSize，RootＴｕSize／（２＾ＭａｘTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、システム上、採択可能な最大変換単位サイズを示すことができる。すなわち、式（１）によれば、「RootＴｕSize／（２＾ＭａｘTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が現在現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」である。

一実施形態による最大変換単位サイズ「RootＴｕSize」は、予測モードによって変わることもある。

例えば、現在予測モードがインターモードであるならば、「RootＴｕSize」は、以下の式（２）によって決定される。式（２）で、「ＭａｘTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。

RootＴｕSize＝Ｍｉｎ（ＭａｘTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードがイントラモードであるならば、「RootＴｕSize」は、以下の式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootＴｕSize＝Ｍｉｎ（ＭａｘTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一施形態による現在最大変換単位サイズ「RootＴｕSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がこれに限定されるものではないということに留意しなければならない。

従って、一実施形態によって、符号化単位に基づいて行われるループ・フィルタリングのために、符号化単位内部のピクセルと境界までの最短距離、及びループ・フィルタのフィルタ長を考慮し、ループ・フィルタリング領域またはループ・フィルタが決定されることにより、ループ・フィルタリングのために必要なデータを呼び出すための演算遅延または演算負担量が最小化される。

また、現在符号化単位について、デブロッキング・フィルタリング及びループ・フィルタリングが重複的に行われないように、ループ・フィルタリングが設定され、重複的な演算が最小化される。また、現在符号化単位の外部ピクセルであるとしても、すでに呼び出されてアクセスが容易なピクセルを利用して、ループ・フィルタリングが行われるように、ループ・フィルタリング領域またはループ・フィルタのフィルタ垂直長が拡張され、ループ・フィルタリングに利用されるピクセルが拡充される。ループ・フィルタリングに利用されるピクセルが増加すれば、ループ・フィルタリングによる符号化誤差低減効果が増大される。

これにより、符号化単位に基づいたループ・フィルタリングによって生じる演算遅延または演算負担量の増加は最小化させながら、最大限多くのピクセルを利用して、ループ・フィルタリングが行われることにより、効果的なループ・フィルタリングが可能である。

本発明で開示されたブロック図は、本発明の原理を具現するための回路を概念的に表現した形態であると当業者に解釈されるであろう。同様に、任意のフローチャート、工程図、状態転移図、疑似コードなどは、コンピュータで読み取り可能な媒体で実質的に表現され、コンピュータまたはプロセッサが明示的に図示されていようが、図示されていまいが、かようなコンピュータまたはプロセッサによって実行される多様なプロセスを示すということが当業者に認識されるであろう。従って、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

図面に図示された多様な要素の機能は、適切なソフトウェアと係わってソフトウェアを実行することができるハードウェアだけではなく、専用ハードウェアの利用を介して提供される。プロセッサによって提供されるとき、かような機能は、単一専用プロセッサ、単一共有プロセッサ、または一部が共有される複数の個別プロセッサによって提供される。また、用語「プロセッサ」または「制御部」の明示的な利用は、ソフトウェアを実行することができるハードウェアを排他的に指し示すものであると解釈されるものではなく、制限なしに、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを保存するための判読専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性保存装置を暗黙的に含んでもよい。

本明細書の請求項で、特定機能を行うための手段として表現された要素は、特定機能を遂行する任意の方式を包括し、かような要素は、特定機能を遂行する回路要素の組み合わせ、または特定機能を遂行するためのソフトウェアを実行するために適する回路と結み合わされた、ファームウエア、マイクロコードなどを含む任意の形態のソフトウェアを含んでもよい。

本明細書で、本発明の原理の「一実施形態」、及びかような表現の多様な変形の指称は、この実施形態と係わって、特定特徴、構造、特性などが、本発明の原理の少なくとも１つの実施形態に含まれるということを意味する。従って、表現「一実施形態で」と、本明細書全体を通じて開示された任意の他の変形例は、必ずしもいずれも同一の実施形態を指し示すものではない。

本明細書で、「ＡおよびＢのうち少なくとも一つ」の場合で、「〜のうち少なくとも一つ」の表現は、第一のオプション（Ａ）の選択のみ、または第二に列挙されたオプション（Ｂ）の選択のみ、または双方のオプション（Ａ及びＢ）の選択を包括するために使用される。追加的な例として、「Ａ、Ｂ、及びＣのうち少なくとも一つ」の場合は、第一に列挙されたオプション（Ａ）の選択のみ、または第二に列挙されたオプション（Ｂ）の選択のみ、または第三に列挙されたオプション（Ｃ）の選択のみ、または第一及び第二に列挙されたオプション（Ａ及びＢ）の選択のみ、または第二及び第三に列挙されたオプション（Ｂ及びＣ）の選択のみ、または全３個のオプションの選択（Ａ、Ｂ及びＣ）を包括することができる。さらに多くの項目が列挙される場合にも、当業者に明白に拡張解釈される。

以上、本発明についてその望ましい実施形態を中心に説明した。

本明細書を通じて開示された全ての実施形態と条件付き例示は、本発明の技術分野で通常の知識を有した当業者が本発明の原理と概念を理解するように一助とするための意図で記述されたものであり、当業者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるものであるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それらと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならない。

Claims (15)

1. ビデオデコーディング・プロセッサを利用して、ビデオを復号化する方法において、
   ビデオのビットストリームを受信してパージングし、符号化情報、及び符号化されたビデオデータを抽出する段階と、
   前記符号化情報を利用して、前記ビデオデータを復号化するためのデータ単位である符号化単位ごとに、前記符号化されたビデオデータを復号化する段階と、
   前記復号化されたビデオデータについて、ループ・フィルタリングが行われるピクセルから前記符号化単位の境界までの最短距離と、ループ・フィルタのフィルタ長とに基づいて、前記符号化単位内部のピクセル値を利用して、前記符号化単位に係わるループ・フィルタリングを行う段階と、
   前記符号化単位ごとに、前記復号化されたビデオデータ、及び前記ループ・フィルタリングが行われたデータを組み合わせ、前記ビデオを復元する段階と、を含むことを特徴とするループ・フィルタリングを利用したビデオ復号化方法。
2. 前記ループ・フィルタリング遂行段階は、
   前記ピクセルから前記符号化単位の境界までの最短距離と、前記ループ・フィルタのフィルタ長とに基づいて、ループ・フィルタリング方式を変更する段階と、
   前記変更されたループ・フィルタリング方式に基づいて、前記符号化単位について、ループ・フィルタリングを行う段階と、を含み、
   前記ループ・フィルタリング方式は、前記符号化単位の少なくとも１つの境界から所定距離ほど離れた内部領域内で、ループ・フィルタリングの中心ピクセルを含むループ・フィルタリング領域を決定する方式、及び前記ループ・フィルタのフィルタ長が、前記ピクセルから前記符号化単位の境界までの最短距離より短いか、あるいは同じになるように、前記ループ・フィルタを決定する方式のうち少なくとも一つを含み、
   前記符号化単位の少なくとも１つの境界から前記内部領域までの前記所定距離は、前記フィルタ長より長いか、あるいは同じであることを特徴とする請求項１に記載のループ・フィルタリングを利用したビデオ復号化方法。
3. 前記ループ・フィルタリング遂行段階は、
   前記符号化単位の境界のうち、上下端境界までの垂直最短距離と、前記ループ・フィルタの垂直方向フィルタリングのためのフィルタ垂直長とに基づいて、前記ループ・フィルタリング方式を決定する段階を含み、
   前記フィルタ垂直長は、前記ループ・フィルタの水平方向フィルタリングのためのフィルタ水平長より短く決定されることを特徴とする請求項２に記載のループ・フィルタリングを利用したビデオ復号化方法。
4. 前記ループ・フィルタリング遂行段階は、
   前記符号化単位のうち、デブロッキング・フィルタリングによってデータが変更される領域を除外した領域で、前記ループ・フィルタリング領域を決定する段階を含むことを特徴とする請求項２に記載のループ・フィルタリングを利用したビデオ復号化方法。
5. 前記ループ・フィルタリング遂行段階は、
   前記符号化単位のデブロッキング・フィルタのフィルタ垂直長に基づいて、前記決定されたループ・フィルタリング領域、及び前記ループ・フィルタのフィルタ垂直長のうち少なくとも一つを拡張させる段階をさらに含むことを特徴とする請求項２に記載のループ・フィルタリングを利用したビデオ復号化方法。
6. 前記符号化単位は、最大符号化単位に含まれるツリー構造による符号化単位に含まれ、
   前記ツリー構造による符号化単位は、前記最大符号化単位内で、同一領域では、深度によって階層的であり、他の領域については、独立的な符号化深度の符号化単位であり、
   前記符号化深度の符号化単位は、前記最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される深度別符号化単位のうち、それぞれの深度別符号化単位ごとに独立して符号化の結果を出力されるように決定された符号化単位であることを特徴とする請求項１に記載のループ・フィルタリングを利用したビデオ復号化方法。
7. ビデオエンコーディング・プロセッサを利用して、ビデオを符号化する方法において、
   ビデオデータを空間領域別に分割した符号化単位に基づいて、前記ビデオデータを符号化する段階と、
   前記符号化単位のビデオデータのうち、ループ・フィルタリングが行われるピクセルから前記符号化単位の境界までの最短距離と、前記ループ・フィルタのフィルタ長とに基づいて、前記符号化単位内部のピクセルを利用して、前記符号化単位に係わるループ・フィルタリングを行う段階と、
   前記符号化単位ごとに、前記符号化単位に基づいた符号化方式と係わる符号化情報、及び前記符号化されたビデオデータを出力する段階と、を含むことを特徴とするループ・フィルタリングを利用したビデオ符号化方法。
8. 前記ループ・フィルタリング遂行段階は、
   前記ピクセルから前記符号化単位の境界までの最短距離と、前記フィルタ長とに基づいて、前記符号化単位に係わるループ・フィルタリング方式を変更する段階と、
   前記変更されたループ・フィルタリング方式に基づいて、前記符号化単位について、ループ・フィルタリングを行う段階と、
   前記ループ・フィルタリングが行われた符号化単位のビデオデータを符号化する段階と、を含み、
   前記ループ・フィルタリング方式は、前記符号化単位の少なくとも１つの境界から所定距離ほど離れた内部領域内で、ループ・フィルタリングの中心ピクセルを含むループ・フィルタリング領域を決定する方式、及び前記ループ・フィルタのフィルタ長が、前記ピクセルから前記符号化単位の境界までの最短距離より短いか、あるいは同じになるように、前記ループ・フィルタを決定する方式のうち少なくとも一つを含み、
   前記符号化単位の少なくとも１つの境界から前記内部領域までの前記所定距離は、前記フィルタ垂直長より長いか、あるいは同じであることを特徴とする請求項７に記載のループ・フィルタリングを利用したビデオ符号化方法。
9. 前記ループ・フィルタリング遂行段階は、
   前記符号化単位の境界のうち、上下端境界までの垂直最短距離と、前記ループ・フィルタの垂直方向フィルタリングのためのフィルタ垂直長とに基づいて、前記ループ・フィルタリング方式を決定する段階を含み、
   前記フィルタ垂直長は、前記ループ・フィルタの水平方向フィルタリングのためのフィルタ水平長より短く決定されることを特徴とする請求項８に記載のループ・フィルタリングを利用したビデオ符号化方法。
10. 前記ループ・フィルタリング遂行段階は、
    前記符号化単位内で、デブロッキング・フィルタリングによってデータが変更される領域を除外した領域で、前記ループ・フィルタリング領域を決定する段階と、
    前記符号化単位に係わるデブロッキング・フィルタのフィルタ垂直長に基づいて、前記決定されたループ・フィルタリング領域、及び前記決定されたループ・フィルタのフィルタ垂直長のうち少なくとも一つを拡張させる段階をさらに含むことを特徴とする請求項８に記載のループ・フィルタリングを利用したビデオ符号化方法。
11. 前記ビデオ符号化方法は、
    １つのピクチャを符号化するための最大サイズのデータ単位である最大符号化単位に分割する段階と、
    前記最大符号化単位の空間的分割回数を示す深度によって階層的に構成される深度別符号化単位のうち、それぞれの深度別符号化単位ごとに符号化の結果を出力する符号化深度の符号化単位を独立して決定し、前記最大符号化単位内で、同一領域では、深度によって階層的であり、他の領域については、独立的な符号化深度の符号化単位で構成される、ツリー構造による符号化単位を決定する段階と、を含み、
    前記ループ・フィルタリング段階は、前記ツリー構造による符号化単位に含まれた符号化単位について、ループ・フィルタリングを行うことを特徴とする請求項７に記載のループ・フィルタリングを利用したビデオ符号化方法。
12. ビデオデコーディング・プロセッサと連動されたビデオ復号化装置において、
    ビデオのビットストリームを受信してパージングし、符号化情報、及び符号化されたビデオデータを抽出する受信部と、
    前記符号化情報を利用して、前記ビデオデータを復号化するためのデータ単位である符号化単位ごとに、前記符号化されたビデオデータを復号化し、前記復号化されたビデオデータについて、ループ・フィルタリングが行われるピクセルから前記符号化単位の境界までの最短距離と、前記ループ・フィルタのフィルタ長とに基づいて、前記符号化単位内部のピクセル値を利用して、前記符号化単位に係わるループ・フィルタリングを行うＡＬＦ（adaptive loop filter）復号化部と、
    前記符号化単位ごとに、前記復号化されたビデオデータ、及び前記ループ・フィルタリングが行われたデータを組み合わせ、前記ビデオを復元する復元部と、を含むことを特徴とするループ・フィルタリングを利用したビデオ復号化装置。
13. ビデオエンコーディング・プロセッサと連動されたビデオ符号化装置において、
    ビデオデータを空間領域別に分割した符号化単位に基づいて、前記符号化単位のビデオデータのうち、ループ・フィルタリングが行われるピクセルから前記符号化単位の境界までの最短距離と、前記ループ・フィルタのフィルタ長とに基づいて、前記符号化単位内部のピクセルを利用して、前記符号化単位に係わるループ・フィルタリングを行い、前記符号化単位ごとに、前記ビデオデータを符号化するＡＬＦ（adaptive loop filter）符号化部と、
    前記符号化単位ごとに、前記符号化単位に基づいた符号化方式と係わる符号化情報、及び符号化されたビデオデータを出力する出力部と、を含むことを特徴とするループ・フィルタリングを利用したビデオ符号化装置。
14. 請求項１に記載のループ・フィルタリングを利用した復号化方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
15. 請求項７に記載のループ・フィルタリングを利用した符号化方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

Images