JP2013502133A - 適応的なループフィルタリングを利用したビデオ符号化方法及び装置、ビデオ復号化方法及び装置 - Google Patents

Abstract

本発明は、符号化されたビデオについてのビットストリームを受信してパージングし、ビットストリームから、最大サイズの符号化単位である最大符号化単位に割り当てられる現在のピクチャーの映像データ、最大符号化単位別の符号化深度及び符号化モードについての情報、及び現在のピクチャーのループフィルタリングのためのフィルタ係数情報を抽出して、最大符号化単位別の符号化深度及び符号化モードについての情報に基づいて、最大符号化単位別の符号化された映像データを復号化し、現在のピクチャーの復号化された映像データに対してデブロッキングを行って、デブロッキングされたデータに対して、連続的な一次元フィルタリングによるループフィルタリングを行うことで、現在のピクチャーを復元するビデオ復号化方法を提供する。

Description

本発明は、ビデオ符号化及び復号化に関する。

高解像度または高画質のビデオコンテンツを再生及び保存できるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化または復号化するビデオコーデックの必要性が高くなっている。既存のビデオコーデックによれば、ビデオは、所定のサイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。また、既存のビデオコーデックは、復元された映像データの画質改善のためにループフィルタリングを利用することもある。

本発明の目的は、連続的な一次元フィルタリングによる適応的なループフィルタリングを利用するビデオ符号化及び復号化を提供することである。

本発明の一実施形態によって、連続的な一次元フィルタリングによるループフィルタリングを利用するビデオ復号化方法は、符号化されたビデオについてのビットストリームを受信してパージングするステップと、前記ビットストリームから、最大サイズの符号化単位である最大符号化単位に割り当てられる現在のピクチャーの映像データ、前記最大符号化単位別の符号化深度及び符号化モードについての情報、及び前記現在のピクチャーのループフィルタリングのためのフィルタ係数情報を抽出するステップと、前記最大符号化単位別の符号化深度及び符号化モードについての情報に基づいて、前記最大符号化単位別の符号化された映像データを復号化するステップと、前記現在のピクチャーの復号化された映像データに対してデブロッキングを行い、デブロッキングされたデータに対して、連続的な一次元フィルタリングによるループフィルタリングを行うステップと、を含む。

本発明の一実施形態によるビデオ符号化装置を示すブロック図である。 本発明の一実施形態によるビデオ復号化装置を示すブロック図である。 本発明の一実施形態による符号化単位の概念を示す図である。 本発明の一実施形態による符号化単位に基づいた映像符号化部を示すブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部を示すブロック図である。 本発明の一実施形態による深度別の符号化単位及びパーティションを示す図面である。 本発明の一実施形態による符号化単位及び変換単位の関係を示す図である。 本発明の一実施形態による深度別の符号化情報を示す図である。 本発明の一実施形態による深度別の符号化単位を示す図である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す図である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す図である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す図である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す図である。 本発明の一実施形態によるビデオ符号化方法を示すフローチャートである。 本発明の一実施形態によるビデオ復号化方法を示すフローチャートである。 本発明の一実施形態によって、連続的な一次元フィルタリングによるループフィルタリングを利用するビデオ符号化装置を示す図である。 本発明の一実施形態によって、連続的な一次元フィルタリングによるループフィルタリングを利用するビデオ復号化装置を示す図である。 本発明の一実施形態による連続的な一次元フィルタリングを示すフローチャートである。 本発明の他の実施形態によるループフィルタリングを示すフローチャートである。 本発明の一実施形態によって、連続的な一次元フィルタリングによるループフィルタリングを利用するビデオ符号化方法を示す図である。 本発明の一実施形態によって、連続的な一次元フィルタリングによるループフィルタリングを利用するビデオ復号化方法を示す図である。

本発明の一実施形態によって、連続的な一次元フィルタリングによるループフィルタリングを利用するビデオ復号化方法は、符号化されたビデオについてのビットストリームを受信してパージングするステップと、前記ビットストリームから、最大サイズの符号化単位である最大符号化単位に割り当てられる現在のピクチャーの映像データ、前記最大符号化単位別の符号化深度及び符号化モードについての情報、及び前記現在のピクチャーのループフィルタリングのためのフィルタ係数情報を抽出するステップと、前記最大符号化単位別の符号化深度及び符号化モードについての情報に基づいて、前記最大符号化単位別の符号化された映像データを復号化するステップと、前記現在のピクチャーの復号化された映像データに対してデブロッキングを行い、デブロッキングされたデータに対して、連続的な一次元フィルタリングによるループフィルタリングを行うステップと、を含む。

一実施形態による符号化単位は、最大サイズ及び深度により特徴づけられてもよい。

深度とは、符号化単位が階層的に分割される段階を表し、深度が深くなるほど、深度別の符号化単位は、最大符号化単位から最小符号化単位まで分割される。本明細書では、高い深度または上位深度から低い深度または下位深度の方向に‘深度が深くなる’と定義する。深度が深くなるにつれて、最大符号化単位の分割回数が増加し、最大符号化単位の分割可能な総回数が‘最大深度’に対応する。符号化単位の最大サイズ及び最大深度が既定であってもよい。

一実施形態による前記フィルタ係数情報抽出ステップは、複数の一次元フィルタのうちそれぞれの一次元フィルタに対して、連続的なフィルタ係数間の差値についての残差情報を抽出するステップを含む。

一実施形態による前記ループフィルタリング実行ステップは、水平方向の一次元フィルタリング及び垂直方向の一次元フィルタリングを連続的に行って、前記現在のピクチャーを復元する。

一実施形態による前記ループフィルタリング実行ステップは、前記抽出されたフィルタ係数の残差情報を利用して、前記それぞれの一次元フィルタのフィルタ係数を誘導するステップと、前記誘導されたそれぞれの一次元フィルタのフィルタ係数を利用して、前記連続的な一次元フィルタリングを行うステップと、を含む。

一実施形態による前記フィルタ係数誘導ステップは、前記それぞれの一次元フィルタごとに、現在のフィルタ係数と以前のフィルタ係数との差値を前記以前のフィルタ係数に加えて現在のフィルタ係数が計算されることで、前記連続的なフィルタ係数を誘導する。

一実施形態による前記ループフィルタリング実行ステップは、前記デブロッキングされた映像データのうち、水平方向の９個の連続的なデータに対して、５個の水平方向の一次元フィルタ係数でフィルタリングするステップと、前記デブロッキングされた映像データのうち、垂直方向の９個の連続的なデータに対して、５個の垂直方向の一次元フィルタ係数でフィルタリングするステップと、を含む。

本発明の一実施形態によって、連続的な一次元フィルタリングによるループフィルタリングを利用するビデオ符号化方法は、現在のピクチャーを最大サイズの符号化単位である少なくとも一つの最大符号化単位に分割するステップと、前記最大符号化単位の領域を分割する回数が増加するにつれて深くなる深度に基づいて、前記深度ごとに、前記最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化して、前記少なくとも一つの分割領域別に最終符号化結果が出力される深度を決定するステップと、前記最大符号化単位ごとに、前記少なくとも一つの分割領域別の最終符号化結果である映像データ、深度及び予測モードについての符号化情報、及び前記現在のピクチャーの符号化のうち、デブロッキング以後に連続的な一次元フィルタリングにより行われるループフィルタリングのフィルタ係数情報を符号化して出力するステップと、を含む。

一実施形態による前記ループフィルタリングのフィルタ係数情報出力ステップは、前記それぞれの一次元フィルタごとに、前記残差情報として、現在のフィルタ係数と以前のフィルタ係数との差値を符号化するステップを含む。

一実施形態によって、前記最大符号化単位は、少なくとも一つの深度による階層的に分化された前記深度別の符号化単位を含み、それぞれの下位深度の符号化単位は、複数の上位深度の符号化単位を含み、前記符号化深度は、前記最大符号化単位から階層的に分化された少なくとも一つの深度別の符号化単位のうち、符号化誤差が最も小さい深度を表す。

本発明の一実施形態によって、連続的な一次元フィルタリングによるループフィルタリングを利用するビデオ復号化装置は、符号化されたビデオについてのビットストリームを受信してパージングする受信部と、前記ビットストリームから、最大サイズの符号化単位である最大符号化単位に割り当てられる現在のピクチャーの映像データ、前記最大符号化単位別の符号化深度及び符号化モードについての情報、及び前記現在のピクチャーのループフィルタリングのためのフィルタ係数情報を抽出する抽出部と、前記最大符号化単位別の符号化深度及び符号化モードについての情報に基づいて、前記最大符号化単位別の符号化された映像データを復号化する映像データ復号化部と、前記現在のピクチャーの復号化された映像データに対してデブロッキングを行い、デブロッキングされたデータに対して、連続的な一次元フィルタリングによるループフィルタリングを行うループフィルタリング実行部と、を備える。

本発明の一実施形態によって、連続的な一次元フィルタリングによるループフィルタリングを利用するビデオ符号化装置は、現在のピクチャーを最大サイズの符号化単位である少なくとも一つの最大符号化単位に分割する最大符号化単位分割部と、前記最大符号化単位の領域を分割する回数が増加するにつれて深くなる深度に基づいて、前記深度ごとに、前記最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化して、前記少なくとも一つの分割領域別に最終符号化結果が出力される深度を決定する符号化深度決定部と、前記最大符号化単位ごとに、前記少なくとも一つの分割領域別の最終符号化結果である映像データ、深度及び予測モードについての符号化情報、及び前記現在のピクチャーの符号化のうち、デブロッキング以後に連続的な一次元フィルタリングにより行われるループフィルタリングのフィルタ係数情報を符号化して出力する出力部と、を備える。

本発明は、一実施形態によるビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。また、本発明は、一実施形態によるビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

以下、図１ないし図２１を参照して、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について述べる。図１ないし図１５を参照して、本発明の一実施形態によって、空間的に階層的なデータ単位に基づいたビデオ符号化及びビデオ復号化について述べ、図１６ないし図２１を参照して、本発明の一実施形態による空間的に階層的なデータ単位に基づいて、適応的なループフィルタリングを利用するビデオ符号化及びビデオ復号化について述べる。

以下、本明細書に記載された本発明の多様な実施形態において、‘映像’は、静止映像だけでなく、ビデオのような動画を含んで包括的に指してもよい。

以下、図１ないし図１５を参照して、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について述べる。

図１は、本発明の一実施形態によるビデオ符号化装置を示すブロック図である。

一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を備える。

最大符号化単位分割部１１０は、映像の現在のピクチャーのための最大サイズの符号化単位である最大符号化単位に基づいて、現在のピクチャーを区画する。現在のピクチャーが最大符号化単位より大きければ、現在のピクチャーの映像データは、少なくとも一つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２×３２、６４×６４、１２８×１２８、２５６×２５６などのデータ単位であって、横及び縦サイズが２の二乗である正方形のデータ単位である。映像データは、少なくとも一つの最大符号化単位別に符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度により特徴づけられてもよい。深度とは、最大符号化単位から、符号化単位が空間的に分割した回数を表し、深度が深くなるほど、深度別の符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位として定義される。最大符号化単位は、深度が深くなるにつれて、深度別の符号化単位のサイズは縮小するので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。

前述したように、符号化単位の最大サイズによって、現在のピクチャーの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域(spatial domain)の映像データが深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割できる総回数を制限する最大深度及び符号化単位の最大サイズが既定であってもよい。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化して、少なくとも一つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在のピクチャーの最大符号化単位ごとに、深度別の符号化単位で映像データを符号化して、最も小さい符号化誤差が発生する深度を選択して、符号化深度として決定する。決定された符号化深度及び最大符号化単位別の映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも一つの深度によって、深度別の符号化単位に基づいて符号化され、それぞれの深度別の符号化単位に基づいた符号化結果が比較される。深度別の符号化単位の符号化誤差の比較結果、符号化誤差の最も小さい深度が選択される。それぞれの最大符号化単位ごとに、少なくとも一つの符号化深度が決定される。

最大符号化単位のサイズは、深度が深くなるにつれて、符号化単位が階層的に分割され、符号化単位の個数は増加する。また、一つの最大符号化単位に含まれる同じ深度の符号化単位であるとしても、それぞれのデータについての符号化誤差を測定し、下位深度への分割如何が決定される。したがって、一つの最大符号化単位に含まれるデータであるとしても、位置によって深度別の符号化誤差が異なるので、位置によって符号化深度が異なって決定されてもよい。したがって、一つの最大符号化単位に対して符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

したがって、一実施形態による符号化単位決定部１２０は、現在の最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による‘ツリー構造による符号化単位’は、現在の最大符号化単位に含まれるあらゆる深度別の符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同じ領域では深度によって階層的に決定され、他の領域に対しては独立的に決定される。同様に、現在の領域についての符号化深度は、他の領域についての符号化深度と独立的に決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と関連した指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を表す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を表す。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は１に設定され、２回分割された符号化単位の深度が２に設定される。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であれば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

最大符号化単位の予測符号化及び周波数変換が行われる。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに深度別の符号化単位に基づいて行われる。

最大符号化単位が深度別に分割される度に、深度別の符号化単位の個数が増加するので、深度が深くなるにつれて生成されるあらゆる深度別の符号化単位に対して、予測符号化及び周波数変換を含む符号化が行わねばならない。以下、説明の便宜上、少なくとも一つの最大符号化単位のうち、現在の深度の符号化単位に基づいて、予測符号化及び周波数変換を説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択する。映像データの符号化のためには、予測符号化、周波数変換、エントロピー符号化などの段階を経るが、あらゆる段階にわたって、同じデータ単位が使われ、段階別にデータ単位が変更されてもよい。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択する。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位に基づいて、予測符号化が行われる。以下、予測符号化の基盤となるそれ以上分割されない符号化単位を‘予測単位’と称する。予測単位が分割されたパーティションは、予測単位、または予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含む。

例えば、サイズ２Ｎ×２Ｎ（ただし、Ｎは、正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎ×２Ｎの予測単位となり、パーティションのサイズは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的割合で分割された対称的パーティションだけでなく、１：ｎまたはｎ：１のように非対称的割合で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つである。例えば、イントラモード及びインターモードは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎサイズのパーティションに対して行われる。また、スキップモードは、２Ｎ×２Ｎサイズのパーティションのみに対して行われる。符号化単位以内の一つの予測単位ごとに独立的に符号化が行われて、符号化誤差の最も小さい予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位に基づいて、符号化単位の映像データの周波数変換を行える。

符号化単位の周波数変換のためには、符号化単位より小さいか、またはそれと同じサイズのデータ単位に基づいて、周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位及びインターモードのためのデータ単位を含む。

以下、周波数変換の基盤となるデータ単位は、‘変換単位’と称する。符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小さいサイズの変換単位に分割されつつ、符号化単位の残差データが、変換深度によってツリー構造による変換単位によって区画される。

一実施形態による変換単位に対しても、符号化単位の高さ及び幅が分割され、変換単位に達するまでの分割回数を表す変換深度が設定される。例えば、サイズ２Ｎ×２Ｎの現在の符号化単位の変換単位のサイズが２Ｎ×２Ｎであれば、変換深度０、変換単位のサイズがＮ×Ｎであれば、変換深度１、変換単位のサイズがＮ／２×Ｎ／２であれば、変換深度２に設定される。すなわち、変換単位に対しても、変換深度によってツリー構造による変換単位が設定される。

符号化深度別の符号化情報は、符号化深度だけでなく、予測関連情報及び周波数変換関連情報が必要である。したがって、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけでなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別の予測モード、周波数変換のための変換単位のサイズなどを決定する。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１２を参照して後述する。

符号化単位決定部１２０は、深度別の符号化単位の符号化誤差を、ラグランジュの乗数(Lagrangian Multiplier)基盤の率−歪曲最適化技法(Rate-Distortion Optimization)を利用して測定する。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも一つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別の符号化モードについての情報をビットストリーム形態で出力する。

符号化された映像データは、映像の残差データの符号化結果である。

深度別の符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。

符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かを表す深度別の分割情報を利用して定義される。現在の符号化単位の現在深度が符号化深度であれば、現在の符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。逆に、現在の符号化単位の現在深度が符号化深度でなければ、下位深度の符号化単位を利用した符号化を試みねばならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度でなければ、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われて、同じ深度の符号化単位ごとに再帰的な(recursive)符号化が行われる。

一つの最大符号化単位内にツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも一つの符号化モードについての情報が決定されねばならないので、一つの最大符号化単位については、少なくとも一つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画されて、位置別に符号化深度が異なるので、データに対して符号化深度及び符号化モードについての情報が設定される。

したがって、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、該符号化深度及び符号化モードについての符号化情報が割り当てられる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるあらゆる符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形のデータ単位である。

例えば、出力部１３０を通じて出力される符号化情報は、深度別の符号化単位別の符号化情報と、予測単位別の符号化情報とに分類される。深度別の符号化単位別の符号化情報は、予測モード情報及びパーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含む。また、ピクチャー、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズについての情報及び最大深度についての情報は、ビットストリームのヘッダに挿入される。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別の符号化単位は、一つの階層の上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが２Ｎ×２Ｎであれば、下位深度の符号化単位のサイズは、Ｎ×Ｎである。また、２Ｎ×２Ｎサイズの現在の符号化単位は、Ｎ×Ｎサイズの下位深度の符号化単位を最大四つ含む。

したがって、一実施形態によるビデオ復号化装置１００は、現在のピクチャーの特性を考慮して決定された最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を決定して、ツリー構造による符号化単位を構成する。また、それぞれの最大符号化単位ごとに多様な予測モード、周波数変換方式などで符号化するので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

したがって、映像の解像度が非常に高いか、またはデータ量が非常に大きい映像を既存のマクロブロック単位で符号化すれば、ピクチャー当たりマクロブロックの数が過度に多くなる。これによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。したがって、一実施形態によるビデオ符号化装置は、映像のサイズを考慮して符号化単位の最大サイズを増大させつつ、映像特性を考慮して符号化単位を調節するので、映像圧縮効率が向上する。

図２は、本発明の一実施形態によるビデオ復号化装置を示すブロック図である。一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０、及び映像データ復号化部２３０を備える。一実施形態によるビデオ復号化装置２００の各種のプロセシングのための符号化単位、深度、予測単位、変換単位、各種の符号化モードについての情報など各種の用語の定義は、図１及びビデオ符号化装置１００を参照して前述した通りである。

受信部２０５は、符号化されたビデオについてのビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出して、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在のピクチャーについてのヘッダから、現在のピクチャーの符号化単位の最大サイズについての情報を抽出する。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位についての符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割して、映像データ復号化部２３０が最大符号化単位ごとに映像データを復号化するようにする。

最大符号化単位別の符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別の符号化モードについての情報は、該符号化単位のパーティションタイプ情報、予測モード情報、及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別の分割情報が抽出されもする。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別の符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で最大符号化単位別の深度別の符号化単位ごとに反復的に符号化を行って、最小符号化誤差を発生させるものとして決定された符号化深度及び符号化モードについての情報である。したがって、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によって、データを復号化して映像を復元する。

一実施形態による符号化深度及び符号化モードについての符号化情報は、該符号化単位、予測単位及び最小単位のうち、所定のデータ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定のデータ単位別に符号化深度及び符号化モードについての情報を抽出する。所定のデータ単位別に、該最大符号化単位の符号化深度及び符号化モードについての情報が記録されていれば、同じ符号化深度及び符号化モードについての情報を有している所定のデータ単位は、同じ最大符号化単位に含まれるデータ単位として類推される。

映像データ復号化部２３０は、最大符号化単位別の符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化して、現在のピクチャーを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて、符号化された映像データを復号化する。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び周波数逆変換過程を含む。

映像データ復号化部２３０は、符号化深度別の符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行う。

また、映像データ復号化部２３０は、最大符号化単位別の周波数逆変換のために、符号化深度別の符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとにそれぞれの変換単位によって周波数逆変換を行う。

映像データ復号化部２３０は、深度別分割情報を利用して、現在の最大符号化単位の符号化深度を決定する。もし、分割情報が現在深度でそれ以上分割されないことを表せば、現在深度が符号化深度である。したがって、映像データ復号化部２３０は、現在の最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化する。

すなわち、符号化単位、予測単位及び最小単位のうち、所定のデータ単位に対して設定されている符号化情報を観察して、同じ分割情報を含む符号化情報を保有しているデータ単位が集まって、映像データ復号化部２３０により同じ符号化モードに復号化する一つのデータ単位として見なされる。

一実施形態によるビデオ復号化装置２００は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って、最小符号化誤差を発生させた符号化単位についての情報を獲得して、現在のピクチャーに対する復号化に利用する。すなわち、最大符号化単位ごとに最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

したがって、高い解像度の映像またはデータ量が多すぎる映像であっても、符号化端から伝送された最適符号化モードについての情報を利用して、映像の特性に適応的に決定された符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元する。

以下、図３ないし図１５を参照して、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について述べる。

図３は、階層的符号化単位の概念を示す。

符号化単位の例は、符号化単位のサイズが幅×高さで表現され、サイズ６４×６４の符号化単位から、３２×３２、１６×１６、８×８を含む。サイズ６４×６４の符号化単位は、サイズ６４×６４、６４×３２、３２×６４、３２×３２のパーティションに、サイズ３２×３２の符号化単位は、サイズ３２×３２、３２×１６、１６×３２、１６×１６のパーティションに、サイズ１６×１６の符号化単位は、サイズ１６×１６、１６×８、８×１６、８×８のパーティションに、サイズ８×８の符号化単位は、サイズ８×８、８×４、４×８、４×４のパーティションに分割される。

ビデオデータ３１０に対しては、解像度が１９２０×１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０に対しては、解像度が１９２０×１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０に対しては、解像度が３５２×２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に示す最大深度は、最大符号化単位から最小符号化単位までの総分割回数を表す。

解像度が高いか、またはデータ量が多い場合、符号化効率の向上だけでなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。したがって、ビデオデータ３３０に比べて、解像度の高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４として選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から２回分割し、深度が二階層深くなって、長軸サイズが３２，１６である符号化単位まで含む。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から１回分割し、深度が一階層深くなって、長軸サイズが８である符号化単位まで含む。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から３回分割し、深度が三階層深くなって、長軸サイズが３２，１６，８である符号化単位まで含む。深度が深くなるほど、細部情報の表現能力が向上する。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部を示すブロック図である。一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在のフレーム４０５のうち、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在のフレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０及び周波数逆変換部４７０を通じて空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理されて、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経てビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０が、いずれも最大符号化単位ごとに最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わねばならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在の最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位のサイズを決定せねばならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部を示すブロック図である。ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されて、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別の作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わねばならない。

特に、イントラ予測部５５０及び動き補償部５６０は、ツリー構造による符号化単位ごとにパーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに変換単位のサイズを決定せねばならない。

図６は、本発明の一実施形態による深度別の符号化単位及びパーティションを示す。一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために階層的な符号化単位を使用する。符号化単位の最大高及び幅、最大深度は、映像の特性によって適応的に決定されてもよく、ユーザーの要求によって多様に設定されてもよい。既定された符号化単位の最大サイズによって、深度別の符号化単位のサイズが決定されてもよい。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び幅が６４であり、最大深度が４である場合を示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別の符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別の符号化単位の予測符号化の基盤となる予測単位及びパーティションが示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち、最大符号化単位として深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が深くなり、サイズ３２×３２である深度１の符号化単位６２０、サイズ１６×１６である深度２の符号化単位６３０、サイズ８×８である深度３の符号化単位６４０、サイズ４×４である深度４の符号化単位６５０が存在する。サイズ４×４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４×６４の符号化単位６１０が予測単位であれば、予測単位は、サイズ６４×６４の符号化単位６１０に含まれるサイズ６４×６４のパーティション６１０、サイズ６４×３２のパーティション６１２、サイズ３２×６４のパーティション６１４、サイズ３２×３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０に含まれるサイズ３２×３２のパーティション６２０、サイズ３２×１６のパーティション６２２、サイズ１６×３２のパーティション６２４、サイズ１６×１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０に含まれるサイズ１６×１６のパーティション６３０、サイズ１６×８のパーティション６３２、サイズ８×１６のパーティション６３４、サイズ８×８のパーティション６３６に分割される。

同様に、深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０に含まれるサイズ８×８のパーティション６４０、サイズ８×４のパーティション６４２、サイズ４×８のパーティション６４４、サイズ４×４のパーティション６４６に分割される。

最後に、深度４のサイズ４×４の符号化単位６５０は、最小符号化単位であり、かつ最下位深度の符号化単位であり、該予測単位も、サイズ４×４のパーティション６５０のみに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。

同じ範囲及び大きさのデータを含むための深度別の符号化単位の個数は、深度が深くなるほど、深度別の符号化単位の個数も増加する。例えば、深度１の一つの符号化単位が含むデータに対して、深度２の符号化単位は、四つ必要である。したがって、同じデータの符号化結果を深度別に比較するために、一つの深度１の符号化単位及び四つの深度２の符号化単位を利用してそれぞれ符号化されねばならない。

それぞれの深度別の符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別の符号化単位の予測単位ごとに符号化を行って、該深度から最も小さい符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行って、深度別の代表符号化誤差を比較して、最小符号化誤差が検索される。最大符号化単位６１０のうち、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択される。

図７は、本発明の一実施形態による符号化単位及び変換単位の関係を示す。一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、またはそれと同じサイズの符号化単位で映像を符号化または復号化する。符号化過程中で、周波数変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位に基づいて選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００において、現在の符号化単位７１０が６４×６４サイズであるとき、３２×３２サイズの変換単位７２０を利用して周波数変換が行われる。

また、６４×６４サイズの符号化単位７１０のデータを、６４×６４サイズ以下の３２×３２、１６×１６、８×８、４×４サイズの変換単位にそれぞれ周波数変換を行って符号化した後、原本との誤差が最も少ない変換単位が選択される。

図８は、本発明の一実施形態による深度別の符号化情報を示す。一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を符号化して伝送する。

パーティションタイプについての情報８００は、現在の符号化単位の予測符号化のためのデータ単位であって、現在の符号化単位の予測単位が分割されたパーティションの形態についての情報を表す。例えば、サイズ２Ｎ×２Ｎの現在の符号化単位ＣＵ＿０は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、サイズＮ×Ｎのパーティション８０８のうちいずれか一つのタイプに分割されて利用される。この場合、現在の符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、及びサイズＮ×Ｎのパーティション８０８のうち一つを表すように設定される。

予測モードについての情報８１０は、それぞれのパーティションの予測モードを表す。例えば、予測モードについての情報８１０を通じて、パーティションタイプについての情報８００が指すパーティションが、イントラモード８１２、インターモード８１４、及びスキップモード８１６のうち一つで予測符号化が行われるかが設定される。

また、変換単位サイズについての情報８２０は、現在の符号化単位をいかなる変換単位に基づいて周波数変換を行うかを表す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、及び第２イントラ変換単位サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を抽出して復号化に利用する。

図９は、本発明の一実施形態による深度別の符号化単位を示す。

深度の変化を表すために、分割情報が利用される。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かを表す。

深度０及び２Ｎ＿０×２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１４、Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１８を含む。予測単位が対称的割合で分割されたパーティション９１２，９１４，９１６，９１８のみが例示されているが、前述したように、パーティションタイプは、これらに限定されず、非対称的なパーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、一つの２Ｎ＿０×２Ｎ＿０サイズのパーティション、二つの２Ｎ＿０×Ｎ＿０サイズのパーティション、二つのＮ＿０×２Ｎ＿０サイズのパーティション、四つのＮ＿０×Ｎ＿０サイズのパーティションごとに反復的に予測符号化が行われねばならない。サイズ２Ｎ＿０×２Ｎ＿０、サイズＮ＿０×２Ｎ＿０、サイズ２Ｎ＿０×Ｎ＿０、及びサイズＮ＿０×Ｎ＿０のパーティションに対しては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０×２Ｎ＿０のパーティションのみに対して予測符号化が行われる。

サイズ２Ｎ＿０×２Ｎ＿０、２Ｎ＿０×Ｎ＿０及びＮ＿０×２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要がない。

サイズＮ＿０×Ｎ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更して分割し（９２０）、深度２及びサイズＮ＿０×Ｎ＿０のパーティションタイプの符号化単位９３０に対して反復的に符号化を行って、最小符号化誤差を検索する。

深度１及びサイズ２Ｎ＿１×２Ｎ＿１（＝Ｎ＿０×Ｎ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１×２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１×Ｎ＿１のパーティションタイプ９４４、サイズＮ＿１×２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１×Ｎ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１×Ｎ＿１のパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更して分割し（９５０）、深度２及びサイズＮ＿２×Ｎ＿２の符号化単位９６０に対して反復的に符号化を行って、最小符号化誤差を検索する。

最大深度がｄである場合、深度別の分割情報は、深度ｄ−１であるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割されて（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプのうち、一つのサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、二つのサイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティション、二つのサイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、四つのサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションごとに反復的に予測符号化を通じた符号化が行われて、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在の最大符号化単位９００についての符号化深度が深度ｄ−１として決定され、パーティションタイプは、Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）として決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して分割情報は設定されない。

データ単位９９９は、現在の最大符号化単位についての‘最小単位’と称する。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。かかる反復的な符号化過程を通じて、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別の符号化誤差を比較して、最も小さい符号化誤差が発生する深度を選択して、符号化深度を決定し、該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。

かかる方法で、深度０，１，…，ｄ−１，ｄのあらゆる深度別の最小符号化誤差を比較して、誤差の最も小さい深度が選択されて、符号化深度として決定される。符号化深度、予測単位のパーティションタイプ、及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に達するまで符号化単位が分割されねばならないので、符号化深度の分割情報のみが‘０’に設定され、符号化深度を除いた深度別の分割情報は、‘１’に設定されねばならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００についての符号化深度、及び予測単位についての情報を抽出して、符号化単位９１２を復号化するのに利用する。一実施形態によるビデオ復号化装置２００は、深度別の分割情報を利用して、分割情報が‘０’である深度を符号化深度として把握し、該深度についての符号化モードに関する情報を利用して復号化に利用する。

図１０、図１１及び図１２は、本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す。

符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した符号化深度別の符号化単位である。予測単位１０６０は、符号化単位１０１０のうち、それぞれの符号化深度別の符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別の符号化単位の変換単位である。

深度別の符号化単位１０１０は、最大符号化単位の深度が０とすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０のうち、一部のパーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２Ｎ×Ｎのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎ×２Ｎのパーティションタイプ、パーティション１０３２は、Ｎ×Ｎのパーティションタイプである。深度別の符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、またはそれと同じである。

変換単位１０７０のうち、符号化単位１０５２の映像データに対しては、符号化単位に比べて小さいデータ単位で周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち、該予測単位及びパーティションと比較すれば、相異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同じ符号化単位に対するイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるとしても、それぞれのデータ単位に基づいて行う。

これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われて、最適符号化単位が決定されることで、再帰的なツリー構造による符号化単位が構成される。符号化情報は、符号化単位についての分割情報、パーティションタイプ情報、予測モード情報、及び変換単位サイズ情報を含む。以下、表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定できる一例を示す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位についての符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位についての符号化情報を抽出する。

分割情報は、現在の符号化単位が下位深度の符号化単位に分割されるか否かを表す。現在深度ｄの分割情報が０であれば、現在の符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、一段階さらに分割されねばならない場合には、分割された四つの下位深度の符号化単位ごとに独立的に符号化が行われねばならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで表す。イントラモード及びインターモードは、あらゆるパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎ×２Ｎのみで定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な割合で分割された対称的なパーティションタイプ２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、及び非対称的な割合で分割された非対称的なパーティションタイプ２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎを表す。非対称的なパーティションタイプ２Ｎ×ｎＵ及び２Ｎ×ｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的なパーティションタイプｎＬ×２Ｎ及びｎＲ×２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を表す。

変換単位のサイズは、イントラモードで二つのサイズ、インターモードで二つのサイズに設定される。すなわち、変換単位の分割情報が０であれば、変換単位のサイズが現在の符号化単位のサイズ２Ｎ×２Ｎに設定される。変換単位の分割情報が１であれば、現在の符号化単位が分割されたサイズの変換単位に設定される。また、サイズ２Ｎ×２Ｎである現在の符号化単位についてのパーティションタイプが対称形のパーティションタイプであれば、変換単位のサイズはＮ×Ｎ、非対称型のパーティションタイプであれば、Ｎ／２×Ｎ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位、及び最小単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を一つ以上含む。

したがって、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、該符号化深度の符号化単位を確認できるので、最大符号化単位内の符号化深度の分布が類推される。

したがって、この場合、現在の符号化単位が周辺のデータ単位を参照して予測する場合、現在の符号化単位に隣接する深度別の符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態として、現在の符号化単位が周辺の符号化単位を参照して予測符号化が行われる場合、隣接する深度別の符号化単位の符号化情報を利用して、深度別の符号化単位内で現在の符号化単位に隣接するデータが検索されることで、周辺の符号化単位が参照されてもよい。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す。最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち一つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎ×２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎ×２Ｎ １３２２，２Ｎ×Ｎ １３２４，Ｎ×２Ｎ １３２６，Ｎ×Ｎ １３２８，２Ｎ×ｎＵ １３３２，２Ｎ×ｎＤ １３３４，ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち一つに設定される。

パーティションタイプ情報が対称形のパーティションタイプ２Ｎ×２Ｎ １３２２，２Ｎ×Ｎ １３２４，Ｎ×２Ｎ １３２６及びＮ×Ｎ
１３２８のうち一つに設定されている場合、変換単位の分割情報(TU size flag)が０であれば、サイズ２Ｎ×２Ｎの変換単位１３４２が設定され、変換単位の分割情報が１であれば、サイズＮ×Ｎの変換単位１３４４が設定される。

パーティションタイプ情報が非対称型のパーティションタイプ２Ｎ×ｎＵ １３３２，２Ｎ×ｎＤ １３３４，ｎＬ×２Ｎ
１３３６及びｎＲ×２Ｎ １３３８のうち一つに設定された場合、変換単位の分割情報が０であれば、サイズ２Ｎ×２Ｎの変換単位１３５２が設定され、変換単位の分割情報が１であれば、サイズＮ／２×Ｎ／２の変換単位１３５４が設定される。

図１５を参照して前述した変換単位の分割情報は、０または１の値を有するフラグであるが、一実施形態による変換単位の分割情報が１ビットのフラグに限定されるものではなく、設定によって０，１，２，３…などに増加して、変換単位が階層的に分割されてもよい。

この場合、一実施形態による変換単位の分割情報を変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位のサイズが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報、及び最大変換単位分割情報を符号化する。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報、及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報、及び最大変換単位分割情報を利用して、ビデオ復号化に利用する。

例えば、（ａ）現在の符号化単位のサイズが６４×６４であり、最大変換単位のサイズが３２×３２であれば、（ａ−１）変換単位の分割情報が０であるとき、変換単位のサイズが３２×３２、（ａ−２）変換単位の分割情報が１であるとき、変換単位のサイズが１６×１６、（ａ−３）変換単位の分割情報が２であるとき、変換単位のサイズが８×８に設定される。

他の例として、（ｂ）現在の符号化単位のサイズが３２×３２であり、最小変換単位のサイズが３２×３２であれば、（ｂ−１）変換単位の分割情報が０であるとき、変換単位のサイズが３２×３２に設定され、変換単位のサイズが３２×３２より小さくないので、それ以上の変換単位の分割情報が設定されない。

さらに他の例として、（ｃ）現在の符号化単位のサイズが６４×６４であり、最大変換単位の分割情報が１であれば、変換単位の分割情報は０または１であり、他の変換単位の分割情報が設定されない。

したがって、最大変換単位の分割情報を‘MaxTransformSizeIndex’、最小変換単位サイズを‘MinTransformSize’、変換単位の分割情報が０である場合の変換単位サイズを‘RootTuSize’と定義するとき、現在の符号化単位で可能な最小変換単位サイズ‘CurrMinTuSize’は、下記（関係式１）のように定義される。

CurrMinTuSize
=max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex)) （関係式１）
現在の符号化単位で可能な最小変換単位サイズ‘CurrMinTuSize’と比較して、変換単位の分割情報が０である場合の変換単位サイズ‘RootTuSize’は、システム上、採択可能な最大変換単位サイズを表す。すなわち、（関係式１）によれば、‘RootTuSize/(2^MaxTransformSizeIndex)’は、変換単位の分割情報が０である場合の変換単位サイズ‘RootTuSize’を最大変換単位の分割情報に相応する回数ほど分割した変換単位サイズであり、‘MinTransformSize’は、最小変換単位サイズであるので、それらのうち小さい値が、現在の符号化単位で可能な最小変換単位サイズ‘CurrMinTuSize’である。

一実施形態による最大変換単位サイズRootTuSizeは、予測モードによって変わってもよい。

例えば、現在の予測モードがインターモードであれば、RootTuSizeは、下記（関係式２）によって決定される。（関係式２）で、‘MaxTransformSize’は、最大変換単位サイズ、‘PUSize’は、現在の予測単位サイズを表す。

RootTuSize=min(MaxTransformSize,PUSize) （関係式２）
すなわち、現在の予測モードがインターモードであれば、変換単位の分割情報が０である場合の変換単位サイズ‘RootTuSize’は、最大変換単位サイズ及び現在の予測単位サイズのうち小さい値に設定される。

現在のパーティション単位の予測モードがイントラモードであれば、‘RootTuSize’は、下記（関係式３）によって決定される。‘PartitionSize’は、現在のパーティション単位のサイズを表す。

RootTuSize=min(MaxTransformSize,PartitionSize) （関係式３）
すなわち、現在の予測モードがイントラモードであれば、変換単位の分割情報が０である場合の変換単位サイズ‘RootTuSize’は、最大変換単位サイズ及び現在のパーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在の最大変換単位サイズ‘RootTuSize’は、一実施形態であるのみ、現在の最大変換単位サイズを決定する要因がこれに限定されるものではないことに留意せねばならない。

図１４は、本発明の一実施形態によるビデオ符号化方法のフローチャートを示す。

ステップ１２１０で、現在のピクチャーは、少なくとも一つの最大符号化単位に分割される。また、可能な総分割回数を表す最大深度が既定であってもよい。

ステップ１２２０で、深度ごとに最大符号化単位の領域が分割された少なくとも一つの分割領域が符号化されて、少なくとも一つの分割領域別に最終符号化結果が出力される深度が決定され、ツリー構造による符号化単位が決定される。

最大符号化単位は、深度が深くなる度に空間的に分割されて、下位深度の符号化単位に分割される。それぞれの符号化単位は、隣接する他の符号化単位と独立的に、空間的に分割されつつ、再び下位深度の符号化単位に分割される。深度別に符号化単位ごとに反復的に符号化が行われねばならない。

また、深度別の符号化単位ごとに、符号化誤差の最も小さいパーティションタイプ別の変換単位が決定されねばならない。符号化単位の最小符号化誤差を発生させる符号化深度が決定されるために、あらゆる深度別の符号化単位ごとに符号化誤差が測定されて比較される。

ステップ１２３０で、最大符号化単位ごとに少なくとも一つの分割領域別の最終符号化結果である映像データと、符号化深度及び符号化モードについての情報とが出力される。符号化モードについての情報は、符号化深度についての情報または分割情報、予測単位のパーティションタイプ情報、予測モード情報、及び変換単位サイズ情報などを含む。符号化された符号化モードについての情報は、符号化された映像データと共に復号化端へ伝送される。

図１５は、本発明の一実施形態によるビデオ復号化方法のフローチャートを示す。

ステップ１３１０で、符号化されたビデオについてのビットストリームが受信されてパージングされる。

ステップ１３２０で、パージングされたビットストリームから、最大サイズの最大符号化単位に割り当てられる現在のピクチャーの映像データと、最大符号化単位別の符号化深度及び符号化モードについての情報とが抽出される。最大符号化単位別の符号化深度は、現在のピクチャーの符号化過程で、最大符号化単位別に符号化誤差が最も小さい深度として選択された深度である。最大符号化単位別の符号化は、最大符号化単位を深度別に階層的に分割した少なくとも一つのデータ単位に基づいて、映像データが符号化されたのである。

一実施形態による符号化深度及び符号化モードについての情報によれば、最大符号化単位がツリー構造による符号化単位に分割される。ツリー構造による符号化単位による符号化単位は、それぞれ符号化深度の符号化単位である。したがって、符号化単位別の符号化深度を把握した後、それぞれの映像データを復号化することで、映像の符復号化の効率性が向上する。

ステップ１３３０で、最大符号化単位別の符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データが復号化される。復号化された映像データは、再生装置により再生されるか、または記録媒体に保存されるか、またはネットワークを通じて伝送される。

以下、図１６ないし図２１を参照して、本発明の一実施形態によって、空間的に階層的なデータ単位に基づいて、適応的なループフィルタリングを利用するビデオ符号化及びビデオ復号化について述べる。

図１６は、本発明の一実施形態によって、連続的な一次元フィルタリングによるループフィルタリングを利用するビデオ符号化装置を示す。

一実施形態によるビデオ符号化装置１４００は、最大符号化単位分割部１４１０、符号化単位決定部１４２０、及び出力部１４６０を備える。出力部１４６０は、符号化された映像データ出力部１４３０、符号化情報出力部１４４０、及びループフィルタ係数情報出力部１４５０を備える。

最大符号化単位分割部１４１０及び符号化単位決定部１４２０は、図１を参照して前述したビデオ符号化装置１００の最大符号化単位分割部１１０及び符号化単位決定部１２０と同じ機能の構成要素である。また、符号化された映像データ出力部１４３０及び符号化情報出力部１４４０は、図１を参照して前述したビデオ符号化装置１００の出力部１３０の一部の機能を行う。

ただし、ビデオ符号化装置１４００のビデオ符号化は、一実施形態によって、連続的な一次元フィルタリングにより行われるループフィルタリングを含む。一実施形態によるビデオ符号化装置１４００のループフィルタリングによる特徴を後述する。

一実施形態によって、最大符号化単位分割部１４１０は、映像の現在のピクチャーのための最大サイズの符号化単位である最大符号化単位に基づいて、現在のピクチャーを区画し、符号化単位決定部１４２０は、最大符号化単位ごとに深度別の符号化単位で映像データを符号化して、少なくとも一つの分割領域別に最終符号化結果が出力される深度を決定する。

一実施形態によって符号化された映像データ出力部１４３０は、符号化深度に基づいて符号化された最大符号化単位の映像データのビットストリームを出力する。符号化情報出力部１４４０は、最大符号化単位ごとに深度別の符号化モードについての情報を符号化して出力する。

一実施形態によるループフィルタ係数情報出力部１４５０は、現在のピクチャーの符号化中、デブロッキング以後に連続的な一次元フィルタリングにより行われるループフィルタリングのフィルタ係数情報を符号化して出力する。一実施形態によるループフィルタリングは、複数の一次元フィルタの連続的なフィルタリングによる。ループフィルタリングは、ルマ成分及びクロマ成分に対して別個に行われる。

一実施形態によるビデオ符号化装置１４００が映像符号化部４００に対応する場合、量子化された変換係数が、逆量子化部４６０及び周波数逆変換部４７０を通じて時間領域のデータに復元され、復元された時間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て、参照フレーム４９５が生成される。一実施形態によるループフィルタ係数情報出力部１４５０は、ループフィルタリング部４９０で利用されるフィルタ係数を符号化して出力する。

符号化されるフィルタ係数情報は、それぞれの一次元フィルタに対するフィルタ係数についての情報を含み、各一次元フィルタのフィルタ係数の情報は、連続的なフィルタ係数間の差値についての情報を含む。すなわち、それぞれの一次元フィルタのフィルタ係数の残差成分が符号化される。具体的に、ループフィルタ係数情報出力部１４５０は、それぞれの一次元フィルタごとに、残差情報として、現在のフィルタ係数と以前のフィルタ係数との差値を符号化する。

連続的な一次元フィルタリングは、水平方向の一次元フィルタ、及び垂直方向の一次元フィルタの連続的なフィルタリングである。詳しくは、水平方向の９個の連続的なデブロッキングされたデータに対して、水平方向の一次元フィルタリングを行い、連続的に垂直方向の９個の連続的なデブロッキングされたデータに対して、垂直方向の一次元フィルタリングを行う。この場合、水平方向の一次元フィルタ及び垂直方向の一次元フィルタは、対称形のフィルタであり、フィルタ係数の個数は、それぞれ５個ずつである。

一次元フィルタのフィルタ係数は、ウィナーフィルタ方式(Wiener filter approach)により決定される。

一実施形態によるビデオ符号化装置１４００は、それぞれの一次元フィルタの種類、個数、サイズ、量子化ビット、係数、フィルタリング方向、フィルタリング実行如何、及びランニングフィルタリング実行如何などを設定して、フィルタ係数情報以外に、ループフィルタリングの一次元フィルタセットについての情報を符号化して伝送してもよい。

一次元フィルタセットについての情報は、ピクチャー、スライス、シーケンスなどのデータ単位で設定されている。

例えば、それぞれの一次元フィルタの種類は、ウィナーフィルタであるか、対称または非対称なフィルタなどを含む所定のフィルタとして決定される。一次元フィルタがウィナーフィルタである場合、フィルタ係数がフィルタ間の相互相関マトリックスにより決定されるので、フィルタ係数情報は、個別的な係数の代わりに、相互相関マトリックスについての情報を含む。

それぞれの一次元フィルタのフィルタリング方向は、所定の角度の一直線上に位置したピクセルについてのフィルタリング方向として決定される。例えば、垂直（±９０゜）、水平（０゜，１８０゜）、対角線（±４５゜，±１３５゜）など±０ないし１８０゜の所定の角度のフィルタリング方向による一次元フィルタリングが行われる。

または、それぞれの一次元フィルタのフィルタリング方向が、映像データのうちローカル映像の特性に適応的に決定される。例えば、映像データのうち、ローカル映像のエッジを検出して、検出されたエッジの方向によるフィルタリング方向に沿って、一次元フィルタリングが行われるようにフィルタが決定される。

複数の一次元フィルタセットを、一つ以上の連続的な一次元フィルタを含むサブフィルタセットに分類して、それぞれのサブフィルタセット別に一次元フィルタリングを行うか否かが決定される。すなわち、同じサブフィルタセットのフィルタは、いずれもフィルタリングが行われるか、いずれも行われないかが決定されもする。

以前のピクセルの一次元フィルタリングの結果が、現在のピクセルの一次元フィルタリングに影響を与えるランニングフィルタリング方式であるか否かが決定される。ランニングフィルタリング方式による一次元フィルタリングによれば、以前のピクセルのフィルタリング結果が更新されることで、連続的に以前のピクセルのフィルタリングされたデータを入力されて、現在のピクセルのフィルタリングが行われる。

図１７は、本発明の一実施形態によって、連続的な一次元フィルタリングによるループフィルタリングを利用するビデオ復号化装置を示す。

一実施形態によるビデオ復号化装置１５００は、受信部１５０１、抽出部１５０５、及び映像データ復号化部１５４０を備える。抽出部１５０５は、映像データ獲得部１５１０、符号化情報抽出部１５２０、及びループフィルタ係数情報抽出部１５３０を備える。映像データ復号化部１５４０は、図２を参照して前述したビデオ復号化装置２００の映像データ復号化部２３０にそれぞれ対応し、映像データ獲得部１５１０及び符号化情報抽出部１５２０は、ビデオ復号化装置２００の抽出部２２０の一部の機能を行う。

ただし、映像データ復号化部１５４０は、連続的な一次元フィルタリングによるループフィルタリングを行うループフィルタリング実行部１５５０を備える。一実施形態によるビデオ復号化装置１５００の連続的な一次元フィルタリングにより、適応的なループフィルタリングを行って復号化する特徴を後述する。

受信部１５０１は、符号化されたビデオについてのビットストリームを受信してパージングし、抽出部１５０５は、パージングされた受信したビットストリームから、各種の符号化された情報を抽出する。映像データ獲得部１５１０は、パージングされた受信したビットストリームから、最大符号化単位別に符号化された映像データを獲得する。符号化情報抽出部１５２０は、受信したビットストリームをパージングして、現在のピクチャーについてのヘッダから、最大符号化単位別の符号化深度及び符号化モードについての情報を抽出する。

ループフィルタ係数情報抽出部１５３０は、現在のピクチャーのループフィルタリングのためのフィルタ係数情報を抽出する。符号化単位パターン情報抽出部１５３０は、ループフィルタリングが連続的な一次元フィルタリングによる場合、複数の一次元フィルタのフィルタ係数を抽出する。

ループフィルタ係数情報抽出部１５３０は、連続的な一次元フィルタリングの複数の一次元フィルタのうち、それぞれの一次元フィルタに対して、連続的なフィルタ係数間の差値についての残差情報を抽出する。

映像データ復号化部１５４０は、最大符号化単位別の符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の符号化された映像データを復号化して、現在のピクチャーを復元する。映像データ復号化部１５４０は、時間領域の映像データに復号化された現在のピクチャーのデータに対してデブロッキングを行い、デブロッキングされたデータに対して、ループフィルタ係数情報抽出部１５３０で抽出されたフィルタ係数を利用して、ループフィルタリングを行う。ループフィルタリングは、ルマ成分及びクロマ成分に対して別個に行われる。

一実施形態による映像データ復号化部１５４０が映像復号化部５００に対応する場合、映像データ復号化部１５４０のループフィルタリング部１５５０は、ループフィルタリング部５８０に対応し、デブロッキング部５７０によりデブロッキングされたデータに対して、連続的な一次元フィルタリングを行う。デブロッキングされてループフィルタリングが行われたデータは、バッファに保存され、次のピクチャーの動き補償のための参照映像として利用される。

ループフィルタリング実行部１５５０は、水平方向の一次元フィルタリング及び垂直方向の一次元フィルタリングを連続的に行って、現在のピクチャーを復元する。ループフィルタリング実行部１５５０は、ループフィルタ係数情報抽出部１５３０から抽出されたフィルタ係数の残差情報を利用して、それぞれの一次元フィルタのフィルタ係数を誘導する。

例えば、それぞれの一次元フィルタごとに、現在のフィルタ係数と以前のフィルタ係数との差値を以前のフィルタ係数に加えることで、現在のフィルタ係数が誘導される。誘導されたそれぞれの一次元フィルタのフィルタ係数を利用して、デブロッキングされたデータに対して、連続的な一次元フィルタリングが行われる。デブロッキングは、復号化されたデータのブロック効果を低下させ、ループフィルタリングは、復元された映像と原本映像との誤差を最小化させる。

発明の具体的な理解のために、水平方向及び垂直方向の連続的な一次元フィルタリングによるループフィルタリングを、以下数式を参照して述べる。

現在のフィルタ係数は、式（１）によって誘導される。

c[i][j]=adaptive_loop_filter_prev[i][j]+adaptive_loop_filter[i][j] （１）
ここで、ｉは、一次元フィルタのインデックスを表し、ｊは、各一次元フィルタのフィルタ係数のインデックスを表す。c[i][j]は、現在のフィルタ係数、adaptive_loop_filter_prev[i][j]は、以前のフィルタ係数、adaptive_loop_filter[i][j]は、フィルタ係数情報として伝送されたフィルタ係数の残差成分を表す。

すなわち、現在のフィルタ係数は、以前のフィルタ係数と残差成分との和として誘導される。現在のフィルタ係数を誘導した後、次のフィルタ係数を誘導するために、現在のフィルタ係数c[i][j]がadaptive_loop_filter_prev[i][j]に更新される。

連続的な一次元フィルタリングによるループフィルタリングは、式（２）及び（３）によって行われる。式（２）及び（３）で、ｉは、現在のピクチャーの幅方向のインデックス、ｊは、現在のピクチャーの高さ方向のインデックスを表す。

q_i,j=(p_i,j-4*c[0][4]+p_i,j-3*c[0][3]+p_i,j-2*c[0][2]+p_i,j-1*c[0][1]+p_i,j*c[0][0]+p_i,j+1*c[0][1]+p_i,j+2*c[0][2]+p_i,j+3*c[0][3]+p_i,j+4*c[0][4]) （２）
ｐ_ｉ，ｊは、現在のピクチャーのデブロッキングされたデータを表し、ｑ_ｉ，ｊは、デブロッキングされたデータに対して、水平方向の一次元フィルタリングされたデータを表す。対称形のフィルタのフィルタ係数ｃを利用して、９個のデブロッキングされたデータに対して、５個のフィルタ係数を利用して対称的にフィルタリングされる。

f_i,j=(q_i,j-4*c[1][4]+q_i,j-3*c[1][3]+q_i,j-2*c[1][2]+q_i,j-1*c[1][1]+q_i,j*c[1][0]+q_i,j+1*c[1][1]+q_i,j+2*c[1][2]+q_i,j+3*c[1][3]+q_i,j+4*c[1][4]) （３）
ｆ_ｉ，ｊは、ｑ_ｉ，ｊに対して垂直方向の一次元フィルタリングしたデータを表す。フィルタ係数ｃは、ランニングフィルタリング方式によるので、水平方向の一次元フィルタリングされたデータに対して、連続的に垂直方向の一次元フィルタリングが行われる。

対称形のフィルタの場合、二次元フィルタに比べて、一次元フィルタが少量の係数のみでも、あらゆるフィルタの係数が設定されるという長所がある。したがって、二次元フィルタに比べて、複数の一次元フィルタセットが、伝送ビットストリームに挿入されるフィルタ特性と関連したビットが相対的に少なく必要である。

また、フィルタリングの間に臨時データを保存するためのメモリの容量も、二次元フィルタに比べて一次元フィルタが少ない。二次元フィルタによるフィルタリングの演算量は、一次元フィルタリングに比べて顕著に大きい。ランニングフィルタリングの場合、二次元では複数のフィルタリングによる併行処理が不可能であるが、一次元フィルタによっては併行処理が可能である。

しかし、一実施形態によるループフィルタリングは、水平方向及び垂直方向の連続的な一次元フィルタリングに限定されるものではない。一実施形態によるループフィルタリングは、任意の個数の一次元フィルタの連続的なフィルタリングで具現され、それぞれの一次元フィルタリングは、任意の方向に行われる。

一実施形態によるビデオ復号化装置１５００は、フィルタ係数情報以外に、ループフィルタリングの一次元フィルタセットについての情報を受信されて、それぞれの一次元フィルタの種類、個数、サイズ、量子化ビット、係数、フィルタリング方向、フィルタリング実行如何、及びランニングフィルタリング実行如何などを確認できる。これによって、ループフィルタリング実行部１５５０は、多様な一次元フィルタの組み合わせによるループフィルタリングを行う。

ループフィルタリングによる後処理は、複雑な損失圧縮により発生する原本映像と復元映像との歪曲を減少させる。また、ループフィルタリングされた映像を参照映像として利用することで、予測または動き補償の結果映像の画質が向上する。

多様な特徴の一次元フィルタの組み合わせを通じて、映像の特徴、システム環境またはユーザー要求などを考慮した適応的なループフィルタリングが可能である。また、二次元フィルタの代わりに、連続的な一次元フィルタが利用されるので、二次元フィルタに比べて、メモリー、演算量、伝送ビットなどの多様な方面で有利である。さらに、フィルタ係数の残差成分が符号化されて伝送されるので、フィルタ係数を伝送するのに発生する負担が低減する。

図１８は、本発明の一実施形態による連続的な一次元フィルタリングのフローチャートを示す。

複数の一次元フィルタが連続的にフィルタリングされることで、ループフィルタリングが行われる。ステップ１６１０で、デブロッキングされた復元映像が入力され、ステップ１６２０で、第１フィルタ、第２フィルタないし第Ｎフィルタのあらゆるフィルタの使用如何が決定され、いずれも使用しないと決定されれば、保存または再生（ステップ１６６０）に直ちに進む。ステップ１６２０で、あらゆるフィルタによるフィルタリングを行うと決定されれば、フィルタリング順序によって、ステップ１６３０で、第１フィルタを利用した第１フィルタリング方向の一次元フィルタリング、ステップ１６４０で、第２フィルタを利用した第２フィルタリング方向の一次元フィルタリング、ステップ１６５０で、第Ｎフィルタを利用した第Ｎフィルタリング方向の一次元フィルタリングまで順次に行われる。

ステップ１６６０では、デブロッキングされた復元映像データ、または連続的に一次元フィルタリングされたデータがバッファに保存されるか、または再生装置で再生される。

図１９は、本発明の他の実施形態によるループフィルタリングのフローチャートを示す。

一実施形態の一次元フィルタのフィルタリング方向は、映像特性の分析を通じてローカル映像の特性に適応的に決定される。例えば、映像のエッジを保存するために、ローカル映像のエッジ方向に適応的にフィルタリング方向が決定される。

ステップ１７１０で、復元された映像データが入力されれば、ステップ１７２０では、復元された映像データのそれぞれのピクセルごとにエッジが検出される。ステップ１７３０では、検出されたエッジ方向によって、一次元フィルタリングが行われ、ステップ１７４０で、フィルタリングされたデータは、保存されるか、または再生装置で再生される。

ビデオ符号化過程で、エッジ方向によって決定されたフィルタリング方向を含む１次フィルタセットについての情報は、符号化されて復号化端に提供される。ビデオ復号化過程では、受信されたデータからループフィルタについての情報を読み取って、所定の一次元フィルタのエッジ方向などのフィルタリング方向による一次元フィルタリングが行われる。

図２０は、本発明の一実施形態によって、連続的な一次元フィルタリングによるループフィルタリングを利用するビデオ符号化方法を示す。

ステップ１８１０で、現在のピクチャーは、最大サイズの符号化単位である少なくとも一つの最大符号化単位に分割され、ステップ１８２０で、深度ごとに最大符号化単位の領域が分割された少なくとも一つの分割領域が符号化されて、少なくとも一つの分割領域別に最終符号化結果が出力される深度が決定される。

ステップ１８３０では、それぞれの最大符号化単位ごとに、一つの符号化深度で符号化された映像データと、符号化深度及び符号化モードについての情報とが符号化されて出力される。また、現在のピクチャーの符号化中、デブロッキング以後に連続的な一次元フィルタリングにより行われるループフィルタリングのフィルタ係数情報が符号化されて出力される。フィルタ係数情報は、連続的なフィルタ係数間の残差成分についての情報を含む。水平方向の一次元フィルタ及び垂直方向の一次元フィルタの連続的なフィルタリングにより、ループフィルタリングが行われる。一次元フィルタは、対称形のフィルタであり、一次元フィルタのフィルタ係数は、ウィナーフィルタ方式による。

図２１は、本発明の一実施形態によって、連続的な一次元フィルタリングによるループフィルタリングを利用するビデオ復号化方法を示す。

ステップ１９１０で、符号化されたビデオについてのビットストリームが受信されてパージングされる。

ステップ１９２０で、パージングされたビットストリームから、最大サイズの最大符号化単位に割り当てられる現在のピクチャーの映像データと、最大符号化単位別の符号化深度及び符号化モードについての情報とが抽出される。また、現在のピクチャーのループフィルタリングのためのフィルタ係数情報が抽出される。フィルタ係数情報は、それぞれの一次元フィルタのフィルタ係数間の残差成分についての情報を含む。抽出されたフィルタ係数情報は、水平方向の一次元フィルタ及び垂直方向の一次元フィルタの係数である。

ステップ１９３０で、最大符号化単位別の符号化深度及び符号化モードについての情報と、符号化単位パターン情報とに基づいて、最大符号化単位の符号化された映像データが復号化される。

ステップ１９４０で、現在のピクチャーの復号化された映像データに対してデブロッキングが行われ、デブロッキングされたデータに対して、連続的な一次元フィルタリングによるループフィルタリングが行われる。フィルタ係数情報として、フィルタ係数の残差成分が抽出された場合、フィルタ係数の残差成分と以前のフィルタ係数とを加えることで、現在のフィルタ係数が誘導される。それぞれの一次元フィルタごとに誘導されたフィルタ係数を利用して、連続的な一次元フィルタリングが行われる。ループフィルタリングは、ルマ成分及びクロマ成分に対して別個に行われる。

大容量の映像または高解像度の映像の大きいデータ量のため、相対的に小さいマクロブロックで映像を符復号化する場合、演算量が非常に負担となる。本発明は、映像サイズに適して選択されたサイズの符号化単位を利用し、最大サイズの符号化単位内でも、映像の細部情報によって、符号化単位のサイズを階層的に分化する。階層的構造の符号化単位に基づいて、最大符号化単位ごとに、最小限の符号化誤差を有する符号化単位が決定される。すなわち、階層的構造の符号化単位に基づいて、効率的な符復号化が図られる。

また、大容量の映像または高解像度の映像に対して、ポストプロセシングの演算量の負担を減らすために、デブロッキングした後で行うループフィルタリングとして、二次元フィルタリングの代わりに、連続的な一次元フィルタリングを導入する。これによって、演算量だけでなく、フィルタ係数の伝送ビットも減少する。また、フィルタ係数の代わりに、フィルタ係数の残差成分を伝送することで、伝送効率がさらに向上する。

一方、前述した本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、磁気記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的読み取り媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。

以上、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が本質的な特性から逸脱しない範囲で、変形された形態に具現可能であるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる相違点は、本発明に含まれていると解釈されねばならない。

Claims (15)

1. 符号化されたビデオについてのビットストリームを受信してパージングするステップと、
   前記ビットストリームから、最大サイズの符号化単位である最大符号化単位に割り当てられる現在のピクチャーの映像データ、前記最大符号化単位別の符号化深度及び符号化モードについての情報、及び前記現在のピクチャーのループフィルタリングのためのフィルタ係数情報を抽出するステップと、
   前記最大符号化単位別の符号化深度及び符号化モードについての情報に基づいて、前記最大符号化単位別の符号化された映像データを復号化するステップと、
   前記現在のピクチャーの復号化された映像データに対してデブロッキングを行い、デブロッキングされたデータに対して、連続的な一次元フィルタリングによるループフィルタリングを行うステップと、を含むことを特徴とするビデオ復号化方法。
2. 前記抽出ステップは、
   複数の一次元フィルタのうちそれぞれの一次元フィルタに対して、連続的なフィルタ係数間の差値についての残差情報を抽出するステップを含むことを特徴とする請求項１に記載のビデオ復号化方法。
3. 前記ループフィルタリング実行ステップは、
   水平方向の一次元フィルタリング及び垂直方向の一次元フィルタリングを連続的に行って、前記現在のピクチャーを復元することを特徴とする請求項１に記載のビデオ復号化方法。
4. 前記ループフィルタリング実行ステップは、
   前記抽出されたフィルタ係数の残差情報を利用して、前記それぞれの一次元フィルタのフィルタ係数を誘導するステップと、
   前記誘導されたそれぞれの一次元フィルタのフィルタ係数を利用して、前記連続的な一次元フィルタリングを行うステップと、を含むことを特徴とする請求項２に記載のビデオ復号化方法。
5. 前記フィルタ係数誘導ステップは、
   前記それぞれの一次元フィルタごとに、現在のフィルタ係数と以前のフィルタ係数との差値を前記以前のフィルタ係数に加えて現在のフィルタ係数が計算されることで、前記連続的なフィルタ係数を誘導することを特徴とする請求項４に記載のビデオ復号化方法。
6. 前記深度は、前記最大符号化単位の領域を分割する回数が増加するにつれて深くなり、前記最大符号化単位別の符号化深度は、前記現在のピクチャーの符号化過程で、前記最大符号化単位別に、前記深度ごとに前記最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化して、前記少なくとも一つの分割領域別に最終符号化結果が出力された深度として決定されたことを特徴とする請求項１に記載のビデオ復号化方法。
7. 現在のピクチャーを最大サイズの符号化単位である少なくとも一つの最大符号化単位に分割するステップと、
   前記最大符号化単位の領域を分割する回数が増加するにつれて深くなる深度に基づいて、前記深度ごとに前記最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化して、前記少なくとも一つの分割領域別に最終符号化結果が出力される深度を決定するステップと、
   前記最大符号化単位ごとに前記少なくとも一つの分割領域特別の最終符号化結果である映像データ、深度及び予測モードについての符号化情報、及び前記現在のピクチャーの符号化のうち、デブロッキング以後に連続的な一次元フィルタリングにより行われるループフィルタリングのフィルタ係数情報を符号化して出力するステップと、を含むことを特徴とするビデオ符号化方法。
8. 複数の一次元フィルタのうちそれぞれの一次元フィルタのフィルタ係数情報は、連続的なフィルタ係数間の差値についての残差情報を含むことを特徴とする請求項７に記載のビデオ符号化方法。
9. 前記ループフィルタリングのフィルタ係数情報出力ステップは、
   前記それぞれの一次元フィルタごとに、前記残差情報として、現在のフィルタ係数と以前のフィルタ係数との差値を符号化するステップを含むことを特徴とする請求項８に記載のビデオ符号化方法。
10. 前記ループフィルタリングは、水平方向の一次元フィルタ及び垂直方向の一次元フィルタの連続的なフィルタリングであることを特徴とする請求項７に記載のビデオ符号化方法。
11. 前記最大符号化単位は、少なくとも一つの深度による階層的に分化された前記深度別の符号化単位を含み、それぞれの上位深度の符号化単位は、複数の下位深度の符号化単位を含み、
    前記符号化深度は、前記最大符号化単位から階層的に分化された少なくとも一つの深度別の符号化単位のうち、符号化誤差が最も小さい深度を表すことを特徴とする請求項７に記載のビデオ符号化方法。
12. 符号化されたビデオについてのビットストリームを受信してパージングする受信部と、
    前記ビットストリームから、最大サイズの符号化単位である最大符号化単位に割り当てられる現在のピクチャーの映像データ、前記最大符号化単位別の符号化深度及び符号化モードについての情報、及び前記現在のピクチャーのループフィルタリングのためのフィルタ係数情報を抽出する抽出部と、
    前記最大符号化単位別の符号化深度及び符号化モードについての情報に基づいて、前記最大符号化単位別の符号化された映像データを復号化する映像データ復号化部と、
    前記現在のピクチャーの復号化された映像データに対してデブロッキングを行い、デブロッキングされたデータに対して、連続的な一次元フィルタリングによるループフィルタリングを行うループフィルタリング実行部と、を備えることを特徴とするビデオ復号化装置。
13. 現在のピクチャーを最大サイズの符号化単位である少なくとも一つの最大符号化単位に分割する最大符号化単位分割部と、
    前記最大符号化単位の領域を分割する回数が増加するにつれて深くなる深度に基づいて、前記深度ごとに前記最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化して、前記少なくとも一つの分割領域別に最終符号化結果が出力される深度を決定する符号化深度決定部と、
    前記最大符号化単位ごとに、前記少なくとも一つの分割領域別の最終符号化結果である映像データ、深度及び予測モードについての符号化情報、及び前記現在のピクチャーの符号化のうち、デブロッキング以後に連続的な一次元フィルタリングにより行われるループフィルタリングのフィルタ係数情報を符号化して出力する出力部と、を備えることを特徴とするビデオ符号化装置。
14. 請求項１に記載のビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
15. 請求項７に記載のビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

Images