JP2015111900A - 適応的フィルタリング方法 - Google Patents

Abstract

【課題】圧縮された後で復元されるビデオから、ブロッキング効果を除去することにより、ビデオの品質を大きく改善することができるフィルタリング方法及びその装置を提供する。【解決手段】デブロッキングフィルタリングの適応的フィルタリング方法は、ブロック境界周辺に位置したピクセルのピクセル値が、所定のラインに近い程度を示すパラメータを獲得し、獲得されたパラメータに基づいて、ブロック境界でのフィルタリング強度を決定し、決定されたフィルタリング強度に基づいてフィルタリングを行う。【選択図】図１

Description

本発明は、ビデオの符号化及び復号化に係り、特に、ビデオ符号化時及びビデオ復号化時に発生するブロッキング効果（blocking artifact）を効果的に除去するための適応的フィルタリング方法及びその装置等に関する。

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。
マクロブロックに基づいた予測符号化方式は、ブロック間の境界で、ピクセル値の不連続によって、ブロッキング効果（ｂlocking effect）を誘発することがある。従って、ビデオコーデックでは、ビデオ圧縮率を向上させて復元映像の画質を向上させるために、デブロッキング・フィルタリングを行う。

本発明が解決しようとする技術的課題は、ブロックの境界領域で発生するブロッキング効果を低減させるデブロッキング・フィルタリングを行う方法及びその装置を提供することである。

本発明の一実施形態による適応的フィルタリング方法は、ブロック境界周辺に位置したピクセルのピクセル値に基づいて獲得されたパラメータに基づいて、フィルタリング強度を決定してフィルタリングを行うのである。

本発明の実施形態によれば、圧縮された後で復元されるビデオから、ブロッキング効果を除去することにより、ビデオの品質を大きく改善することができる。

本発明のデブロッキング・フィルタリングを行うビデオ符号化装置のブロック図である。 本発明の一実施形態によるデブロッキング・フィルタリングを行うビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及び予測単位を図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態によって、最大符号化単位、各最大符号化単位を細分したツリー構造による符号化単位、各符号化単位を細分した予測単位、及び変換単位を含むデータ単位を図示する図面である。 図１４のデータ単位について、所定サイズ以上のデータ単位が有する境界を基に決定されたフィルタリング境界を図示する図面である。 図１４のデータ単位について、所定サイズ以上のデータ単位が有する境界を基に決定されたフィルタリング境界を図示する図面である。 図１４のデータ単位について、所定サイズ以上のデータ単位が有する境界を基に決定されたフィルタリング境界を図示する図面である。 本発明の一実施形態による適応的フィルタリング装置の構成を示したブロック図である。 本発明の一実施形態によるデブロッキング・フィルタリングについて説明するためのフィルタリング境界に位置したピクセルを図示した図面である。 本発明の一実施形態によるデブロッキング・フィルタリングについて説明するためのフィルタリング境界に位置したピクセルを図示した図面である。 本発明の一実施形態によって、ブロック境界周辺のピクセルのピクセル値を利用したパラメータ獲得過程について説明するための参照図である。図２１は本発明の一実施形態による適応的フィルタリング方法を示したフローチャートである。 本発明の一実施形態によって、ブロック境界周辺のピクセルのピクセル値を利用したパラメータ獲得過程について説明するための参照図である。 本発明の一実施形態による適応的フィルタリング方法を示したフローチャートである。 本発明の他の実施形態による適応的フィルタリング方法について説明するための参照図である。 本発明の他の実施形態による適応的フィルタリング方法について説明するための参照図である。

本発明の一実施形態による適応的フィルタリング方法は、ブロック境界周辺に位置したピクセルのピクセル値が、所定のライン（line）に近い程度を示すパラメータ（parameter）を獲得する段階と、前記獲得されたパラメータに基づいて、前記ブロック境界でのフィルタリング強度を決定する段階と、前記決定されたフィルタリング強度に基づいてフィルタリングを行う段階と、を含む。

本発明の一実施形態による適応的フィルタリング装置は、ブロック境界周辺に位置したピクセルのピクセル値が所定のラインに近い程度を示すパラメータを獲得するパラメータ獲得部；前記獲得されたパラメータに基づいて、前記ブロック境界でのフィルタリング強度を決定するフィルタリング強度決定部；及び前記決定されたフィルタリング強度に基づいてフィルタリングを行うフィルタリング遂行部；を含む。

本発明の一実施形態による適応的フィルタリング方法は、受信されたビットストリームをパージングし、現在ピクチャが分割された最大符号化単位のうち、それぞれの最大符号化単位に含まれるツリー構造による符号化単位によって、符号化単位別に符号化された映像データ、前記ツリー構造による符号化単位に係わる符号化モード情報、及び前記最大符号化単位のデブロッキング・フィルタリングについての情報を抽出する段階と、前記ツリー構造による符号化単位に係わる符号化モード情報に基づいて、前記符号化単位別に、予測及び変換のための予測単位及び変換単位を決定し、符号化された映像データを復号化する段階と、前記デブロッキング・フィルタリングについての情報を利用して、前記ツリー構造による符号化単位、前記予測単位及び変換単位のうち少なくとも１つのデータ単位の境界のうち、デブロッキング・フィルタリングを行うフィルタリング境界を決定する段階と、前記決定されたフィルタリング境界を基に、前記フィルタリング境界周辺に位置したピクセルのピクセル値が、所定のラインに近い程度を示すパラメータを獲得する段階と、前記獲得されたパラメータに基づいて、前記ブロック境界でのフィルタリング強度を決定する段階と、前記決定されたフィルタリング強度に基づいてフィルタリングを行う段階と、を含む。

図１は、本発明の一実施形態によるデブロッキング・フィルタリングを行うビデオ符号化装置のブロック図を図示している。

一実施形態によるデブロッキングを行うビデオ符号化装置１００（以下、「ビデオ符号化装置１００」とする）は、符号化単位決定部１１０、デブロッキング・フィルタリング部１３０及び伝送部１２０を含む。

一実施形態による符号化単位決定部１１０は、ビデオの１枚のピクチャの映像データを入力され、最大サイズのデータ単位である最大符号化単位に分割する。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが８より大きい２の自乗である正方形のデータ単位であってもよい。

一実施形態による符号化単位決定部１１０は、それぞれの最大符号化単位ごとに、空間的に分割された領域別に、階層的構造の符号化単位を決定する。最大符号化単位の階層的構造の符号化単位は、最大符号化単位の空間的分割回数を示す深度に基づいて表現される。望ましくは、ツリー構造による符号化単位は、最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。

一実施形態による符号化単位決定部１１０は、現在最大符号化単位に含まれる深度別符号化単位をそれぞれ符号化し、領域別に、上位深度及び下位深度の符号化単位に係わる符号化結果を比較し、最適の符号化結果を出力する符号化単位、及び当該深度である符号化深度を決定することができる。また、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

従って、一実施形態による符号化単位決定部１１０は、最大符号化単位ごとに、領域別に独立して決定された符号化深度の符号化単位によって構成されたツリー構造による符号化単位を決定することができる。また、一実施形態による符号化単位決定部１１０は、符号化深度の符号化単位を決定する過程で予測符号化を行う。一実施形態による符号化単位決定部１１０は、符号化深度の符号化単位が、最適の符号化結果を出力するための予測符号化が行われるデータ単位である予測単位またはパーティションを決定することができる。例えば、サイズ２Ｎｘ２Ｎの符号化単位に係わるパーティションタイプは、サイズ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮのパーティションを含んでもよい。一実施形態によるパーティションタイプは、符号化単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１にように非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。また、パーティションタイプの予測モードは、インターモード、イントラモード、スキップモードなどを含んでもよい。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、符号化単位が最大符号化単位から階層的に分割される回数による指標であり、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１３を参照して詳細に説明する。

一実施形態によるデブロッキング・フィルタリング部１３０は、符号化単位、予測単位及び変換単位のうち、少なくとも１つのデータ単位に基づいてデブロッキング・フィルタリングを行うフィルタリング境界を決定し、決定されたフィルタリング境界に隣接したピクセルのピクセル値に基づいて、フィルタリング境界でのフィルタリング強度を決定し、決定されたフィルタリング強度に基づいて、デブロッキング・フィルタリングを行う。例えば、デブロッキング・フィルタリング部１３０は、後述するように、符号化単位、予測単位及び変換単位が決定されれば、それら符号化単位、予測単位及び変換単位の大きさなどを基に、所定サイズ以上を有するデータ単位の境界を、デブロッキング・フィルタリングを行うフィルタリング境界と決定し、フィルタリング境界に隣接したピクセル値に係わるデブロッキング・フィルタリングを行うことができる
一実施形態による伝送部１２０は、デブロッキング・フィルタリング部１３０によって決定されたデブロッキング・フィルタリングについての情報を符号化し、ピクチャの符号化されたデータ、及び最大符号化単位のツリー構造による符号化単位に係わる符号化モード情報と共に伝送することができる。デブロッキング・フィルタリングについての情報は、ツリー構造による符号化単位、予測単位及び変換単位などのデータ単位が有する境界のうち、デブロッキング・フィルタリングが行われるデータ単位を決定するためのデータ単位サイズのようなフィルタリング境界決定情報を含んでもよい。

一実施形態による伝送部１２０は、デブロッキング・フィルタリングについての情報を、ピクチャのＳＰＳ（sequence parameter set）またはＰＰＳ（picture parameter set）に挿入して伝送することができる。

一実施形態によるデブロッキング・フィルタリングのためのフィルタリング境界の決定及びデブロッキング・フィルタリングの過程については、図１４ないし図２２を参照して後述する。

一実施形態による符号化単位決定部１１０は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式を適用して符号化を行うことができるので、多様な映像サイズの符号化単位の映像特性を考慮した最適の符号化モードが決定される。

映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、大きさが１６ｘ１６または８ｘ８に固定されている既存マクロブロック単位に符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態による符号化単位決定部１１０は、映像の大きさを考慮して、符号化単位の最大サイズを増大させながら、映像特性を考慮して、符号化単位を調節することができるので、ビデオに係わる最終的な圧縮効率が上昇する。

また、一実施形態によるツリー構造による符号化単位に基づいたデブロッキング・フィルタリングを介して、デブロッキング・フィルタリングが行われた参照ピクチャを利用することにより、原本ピクチャとの誤差を低減させる予測符号化が行われる。

図２は、一実施形態によるツリー構造による符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化装置のブロック図を図示している。

一実施形態によるツリー構造による符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化装置２００（以下、「ビデオ復号化装置２００」とする）は、受信及び抽出部２１０、復号化部２２０及びデブロッキング・フィルタリング部２３０を含む。
一実施形態による受信部及び抽出部２１０は、ビデオに係わるビットストリームを受信してパージングし、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位別に符号化された映像データ、ツリー構造による符号化単位に係わる符号化モード情報、及びデブロッキング・フィルタリングについての情報を抽出する。一実施形態による受信部及び抽出部２１０は、デブロッキング・フィルタリングについての情報を、ピクチャのＳＰＳまたはＰＰＳから抽出することもできる。
一実施形態による復号化部２２０は、受信部及び抽出部２１０によって抽出されたツリー構造による符号化単位に係わる符号化モード情報に基づいて、符号化単位別に符号化された映像データを復号化する。

一実施形態による復号化部２２０は、最大符号化単位別ツリー構造による符号化単位に係わる符号化モード情報に基づいて、最大符号化単位内に含まれる符号化深度の符号化単位、当該符号化単位のパーティションタイプ、予測モード、変換単位などを決定することができる。

一実施形態による復号化部２２０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、決定されたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することにより、最大符号化単位の符号化された映像データを復号化することができる。

復号化部２２０によって復号化された映像データ、並びに受信部及び抽出部２１０によって抽出されたデブロッキング・フィルタリングについての情報が、一実施形態によるデブロッキング・フィルタリング部２３０に入力される。

一実施形態によるデブロッキング・フィルタリング部２３０は、デブロッキング・フィルタリングについての情報を利用して、ツリー構造による符号化単位、予測単位及び変換単位のうち、少なくとも１つのデータ単位の境界のうち、デブロッキング・フィルタリングを行うフィルタリング境界を決定し、決定されたフィルタリング境界を基に、フィルタリング境界に隣接したピクセルのピクセル値に基づいて、フィルタリング境界でのフィルタリング強度を決定し、決定されたフィルタリング強度に基づいて、復号化された映像データについてデブロッキング・フィルタリングを行う。

一実施形態によるデブロッキング・フィルタリング部２３０を介して、デブロッキング・フィルタリングが行われた参照ピクチャを参照し、次のピクチャに係わる予測復号化が行われるので、復元映像と原本映像との誤差が低減される。

図３は、本発明の一実施形態による符号化単位の概念を図示している。符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２の予測単位に分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６の予測単位に、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８の予測単位に、大きさ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４の予測単位に分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけでなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べて、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。また、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能力が向上するのである。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を図示している。一実施形態による映像符号化部４００は、一実施形態によるビデオ符号化装置１００に対応する。イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆周波数変換部４７０を介して空間領域のデータとして復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５に出力される。

一実施形態による映像符号化部４００の、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０及び量子化部４４０、逆量子化部４６０、逆周波数変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０は、最大符号化単位別に、ツリー構造による符号化単位を考慮して動作することができる。

特に、デブロッキング・フィルタリング部４８０は、符号化単位の最大サイズ、及びツリー構造による符号化単位に基づいて、デブロッキング・フィルタリングを行うフィルタリング境界を決定し、決定されたフィルタリング境界を基に、隣接したピクセルのピクセル値に基づいて、フィルタリング境界でのフィルタリング強度を決定し、決定されたフィルタリング強度に基づいて、デブロッキング・フィルタリングを行う。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。ビットストリーム５０５がパージング部５１０を経て復号化対象である符号化されたビデオデータ、及び復号化のために必要な符号化に関する情報がパージングされる。符号化されたビデオデータは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆周波数変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

一実施形態によるビデオ復号化装置２００の復号化部２２０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別動作が行われる。

一実施形態による映像復号化部５００は、一実施形態によるビデオ復号化装置２００に相応するので、映像復号化部５００のパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、逆周波数変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。

特に、デブロッキング部５７０は、パージングされたデブロッキング・フィルタリングについての情報を利用して、ツリー構造による符号化単位、予測単位及び変換単位のうち、少なくとも１つのデータ単位の境界のうち、デブロッキング・フィルタリングを行うフィルタリング境界を決定し、決定されたフィルタリング境界を基に、隣接したピクセルのピクセル値に基づいて、フィルタリング境界でのフィルタリング強度を決定し、決定されたフィルタリング強度に基づいて、復号化された映像データについて、デブロッキング・フィルタリングを行う。デブロッキング・フィルタリングについての具体的な動作は、図１４以下で後述する。

図６は、本発明の一実施形態による深度別符号化単位及び予測単位を図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、領域別に独立して決定されたツリー構造による符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定されもする。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が５である場合を図示している。図６に図示された最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示す。

一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる部分的データ単位である予測単位（またはパーティション）が図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深図１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位として、パーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０の予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６であってもよい。反対に見れば、符号化単位は、予測単位６１０，６１２，６１４，６１６を含む最小サイズの正方形のデータ単位であってもよい。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６である。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６である。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６である。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、サイズ４ｘ４の符号化単位６５０の予測単位は、サイズ４ｘ４のパーティション６５０、サイズ４ｘ２のパーティション６５２、サイズ２ｘ４のパーティション６５４、サイズ２ｘ２のパーティション６５６である。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１１０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど増加する。例えば、深度１の符号化単位一つが含むデータに、深度２の符号化単位は、四つが含まれる。従って、同一のデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及び予測単位が、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同じ大きさの符号化単位で映像を符号化したり復号化する。符号化過程において、周波数変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して周波数変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位で、それぞれ周波数変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図８は、本発明の一実施形態による深度別符号化モード情報を図示している。一実施形態によるビデオ符号化装置１００は、ツリー構造による符号化単位に係わる符号化モード情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を符号化して伝送することができる。

パーティションタイプについての情報８００は、現在符号化単位の予測符号化のために予測単位（パーティション）として、現在符号化単位が分割されたタイプについての情報を示す。例えば、深度０及びサイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎの予測単位８０２、サイズ２ＮｘＮの予測単位８０４、サイズＮｘ２Ｎの予測単位８０６、サイズＮｘＮの予測単位８０８のうちいずれか１つのタイプに分割されて予測単位に利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎの予測単位８０２、サイズ２ＮｘＮの予測単位８０４、サイズＮｘ２Ｎの予測単位８０６及びサイズＮｘＮの予測単位８０８のうち一つを示すように設定される。

予測モードについての情報８１０は、それぞれの予測単位の予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が示す予測単位がイントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかが設定される。

また、変換単位サイズについての情報８２０は、現在符号化単位をいかなる変換単位を基に周波数変換を行うかを示す。例えば、変換単位は、イントラモードの第１サイズ８２２及び第２サイズ８２４、インターモードの第１サイズ８２６及び第２サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２００の受信部及び抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を抽出し、復号化部２２０が、該情報８００，８１０，８２０を復号化に利用することができる。

図９は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。符号化単位が対称的な比率に分割されたパーティション（９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではない。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズの予測単位、２つの２Ｎ＿０ｘＮ＿０サイズの予測単位、２つのＮ＿０ｘ２Ｎ＿０サイズの予測単位、４つのＮ＿０ｘＮ＿０サイズの予測単位ごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０の予測単位については、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０の予測単位につてのみ予測符号化が行われることができる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要はない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０について反復的に符号化を行い、最小符号化誤差を検索していくことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０について反復的に符号化を行い、最小符号化誤差を検索していくことができる。
最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の予測単位、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）の予測単位、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の予測単位、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）の予測単位ごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２について、分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」と指称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化深度の符号化単位、予測単位及び変換単位に含まれる最大サイズの正方形データ単位であってもよい。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較して、最小の符号化誤差が発生する深度を選択して符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。

かように深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較して、誤差が最小である深度が選択されて符号化深度に決定される。符号化深度及び当該深度の予測単位は、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで、符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の受信部及び抽出部２１０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９００を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用して、当該符号化単位の符号化されたデータを復号化することができる。

図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。

符号化単位グループ１０１０は、現在最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定したツリー構造による符号化単位である。予測単位グループ１０６０は、符号化単位グループ１０１０において、それぞれの符号化深度の符号化単位の予測単位であり、変換単位グループ１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

符号化単位グループ１０１０は、最大符号化単位の深度が０であるとすれば、深度１の符号化単位１０１２，１０５４、深度２の符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２、深度３の符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８、深度４の符号化単位１０４０，１０４２，１０４４，１０４６を含む。

予測単位１０６０のうち一部（１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４）は、それぞれの符号化単位が分割されたタイプである。すなわち、予測単位１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、予測単位１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、予測単位１０３２は、ＮｘＮのパーティションタイプである。すなわち、予測単位は、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１０７０のうち一部（１０５２）の映像データについては、符号化単位に比べて小サイズのデータ単位であり、周波数変換または逆周波数変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、当該符号化単位の予測単位と互いに異なる大きさまたは形態のデータ単位である。すなわち、１つの符号化単位の変換単位及び予測単位は、それぞれ独立して決定される。従って、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。

これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。

符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で利用される符号化モード情報の一例を図示している。

一実施形態によるビデオ符号化装置１００の伝送部１３０は、ツリー構造による符号化単位に係わる符号化モード情報を出力し、一実施形態によるビデオ復号化装置２００の受信部及び抽出部２１０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化モード情報を抽出することができる。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、それ以上分割されない符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報が１であるならば、下位深度に１段階さらに分割されるので、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モード情報は、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプ情報で定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、符号化単位の高さまたは幅が非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズ情報は、変換単位分割情報によって、２種類の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位のサイズ２Ｎｘ２Ｎが、現在符号化単位の大きさに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割されたサイズの変換単位が設定される。また、現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮ、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化モード情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。従って、隣接したデータ単位同士それぞれ割り当てられた符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位に割り当てられた符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が、周辺データ単位を参照して予測符号化するために、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータを検索することにより、周辺符号化単位が参照されもする。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８の予測単位のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６、ＮｘＮ １３２８、２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報ＴＵ size flagが０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報ＴＵ size flagが０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

図１４は、本発明の一実施形態によって、最大符号化単位、各最大符号化単位を細分したツリー構造による符号化単位、各符号化単位を細分した予測単位及び変換単位を含むデータ単位を図示している。すなわち、図１４は、前述の図１０ないし図１２に図示されたような符号化単位、予測単位及び変換単位を全部含むデータ単位をオーバーラッピングして一つに表示したものである。図１４で、最大符号化単位の大きさは、３２ｘ３２であると仮定し、符号化深度の符号化単位は、実線で図示され、符号化深度の符号化単位が分割された形態の予測単位及び変換単位は、符号化単位内で点線に図示される。また、ツリー構造の符号化単位の符号化深度は、０，１，２であり、最大深度は、３に設定されていると仮定する。

図１４を参照すれば、データ単位グループ１４００は、サイズ３２ｘ３２の９個の最大符号化単位の符号化深度の符号化単位を含んでいる。前述のように、最大符号化単位ごとに、深度によって区別される階層的な構造の符号化単位を利用して、再帰的に符号化が行われ、最適符号化単位が決定される一方、各符号化単位の予測及び変換のための最適の予測単位及び変換単位が決定される。一実施形態によるデブロッキング・フィルタリング部１２０は、図１４に図示されたような符号化単位、予測単位及び変換単位のうち、少なくとも１つのデータ単位に基づいて、デブロッキング・フィルタリングを行うフィルタリング境界を決定する。

具体的には、デブロッキング・フィルタリング部１２０は、符号化単位、予測単位及び変換単位のうち、所定サイズ以上のデータ単位が有する境界に基づいて、フィルタリング境界を決定することができる。言い替えれば、図１４を参照すれば、現在ピクチャが３２ｘ３２サイズの最大符号化単位に分割され、各最大符号化単位は、さらに深度によって区別される階層的な構造の符号化単位に分割され、各符号化単位は、予測及び変換のために深度別符号化単位よりもさらに小サイズの予測単位及び変換単位に分割されるとするとき、そのような符号化単位、予測単位及び変換単位それぞれが有する境界のうち、所定サイズ以上のデータ単位が有する境界のみを、デブロッキング・フィルタリングが行われるフィルタリング境界と決定することができる。

図１５ないし図１７は、それぞれ図１４のデータ単位について、所定サイズ以上のデータ単位が有する境界を基に決定されたフィルタリング境界を図示している。

図１４及び図１５を参照すれば、図１４の符号化単位、予測単位及び変換単位が決定されれば、デブロッキング・フィルタリング部１２０は、符号化単位、予測単位及び変換単位それぞれの境界のうち、所定サイズ以上のデータ単位が有する境界のみをデブロッキング・フィルタリングが行われるフィルタリング境界と決定することができる。例えば、デブロッキング・フィルタリング部１２０は、図１５に図示されたように、３２ｘ３２以上の大きさを有する符号化単位、予測単位及び変換単位の境界のみをデブロッキング・フィルタリングが行われるフィルタリング境界と決定するか、あるいは、図１６に図示されたように、１６ｘ１６以上の大きさを有する符号化単位、予測単位及び変換単位の境界のみをデブロッキング・フィルタリングが行われるフィルタリング境界と決定するか、あるいは図１７に図示されたように、８ｘ８以上の大きさを有する符号化単位、予測単位及び変換単位の境界のみをデブロッキング・フィルタリングが行われるフィルタリング境界と決定することができる。このように、所定サイズ以上のデータ単位が有する境界のみを、デブロッキング・フィルタリングが行われるフィルタリング境界と決定すれば、同一の分割形態についても、フィルタリングが行われるフィルタリング境界は変化する。例えば、図１５に図示されたように、３２ｘ３２以上の大きさを有するデータ単位の境界についてのみ、デブロッキング・フィルタリングが行われると仮定したとき、３２ｘ３２サイズの最大符号化単位１５１０を分割した符号化単位、変換単位及び分割単位の境界のうち、３２ｘ３２サイズの最大符号化単位１５１０と重複する境界部分は除き、内部境界は、フィルタリング境界で考慮されない。これに反して、図１６に図示されたように１６ｘ１６以上の大きさを有するデータ単位の境界についてのみデブロッキング・フィルタリングが行われる場合には、図１５の最大符号化単位１５１０に対応する最大符号化単位１６１０を分割した符号化単位１６１１ないし１６１４が有する内部境界も、フィルタリング境界と決定される。

一方、デブロッキング・フィルタリング部１２０は、所定サイズ以上のデータ単位が有する境界でも、フレーム境界にあたる場合には当該境界をフィルタリング境界で決めない。すなわち、ピクチャの端に該当する最外郭の境界については、本発明の実施形態によるデブロッキング・フィルタリングが行われない。

デブロッキング・フィルタリング部１２０は、前述のように、所定サイズ以上のデータ単位が有する境界を基に、フィルタリング境界を決定するものだけではなく、符号化単位別、ピクチャ単位別またはスライス単位別に、任意の大きさのデータ単位が有する境界で、フィルタリングを行うか否かを示す所定のシンタックスに基づいて、デブロッキング・フィルタリングを行うフィルタリング境界を決定することもできる。また、図２のデブロッキング・フィルタリング部２３０も、図１のデブロッキング・フィルタリング部１３０と同様に、所定サイズ以上のデータ単位が有する境界に基づいて、フィルタリング境界を決定したり、あるいは受信されたビットストリームに含まれた符号化単位別、ピクチャ単位別またはスライス単位別に設定されたデブロッキングについてのシンタックス情報に基づいて、デブロッキング・フィルタリングを行うフィルタリング境界を決定することができる。

符号化単位（以下、「ブロック」とする）に基づいた符号化方式では、ブロック境界で発生した歪曲が含まれた映像が、他の映像の符号化時に参照されて画質劣化がそのまま伝えられるという問題点が生じることがある。従って、前述のように、デブロッキング・フィルタリング部１３０，２３０では、ブロック欠陥（block artifact）を低減させるためのデブロッキング・フィルタリングを行う。しかし、このようなデブロッキング・フィルタリング過程は演算過程が膨大であるので符号化器や復号化器の資源をたくさん消耗する問題点がある。従って、一般的に、デブロッキング・フィルタリングは、所定の判断基準に従って、選択されたブロック境界についてのみ行われる。一例として、従来Ｈ．２６４などの符号化方式では、ブロック境界周辺のピクセルが属したブロックの予測モード、及び境界周辺のピクセルが属したブロック内の変換係数値に基づいて、境界強度（boundary strength）を決定し、かような境界強度に基づいて、デブロッキング・フィルタリングのon／offを決定する。

本発明の一実施形態によれば、デブロッキング・フィルタリングの遂行いかん、またはフィルタリング強度は、フィルタリング境界周辺のピクセルが有するピクセル値に基づいて決定される。具体的には、本発明の一実施形態によれば、デブロッキング・フィルタリング遂行いかん、またはフィルタリング強度は、フィルタリング境界周辺のピクセルのピクセル値が所定のラインにいかほど近いかを示すパラメータを利用して決定される。以下、図１８ないし図２１を参照して、本発明の一実施形態による適応的フィルタリング方式について具体的に説明する。

図１８は、本発明の一実施形態による適応的フィルタリング装置の構成を示したブロック図である。図１８の適応的フィルタリング装置１８００は、図１のビデオ符号化装置１００のデブロッキング・フィルタリング部１３０、及び図２のビデオ復号化装置２００のデブロッキング・フィルタリング部２３０に対応する。

図１８を参照すれば、本発明の一実施形態による適応的フィルタリング装置１８００は、パラメータ獲得部１８１０、フィルタリング強度決定部１８２０及びフィルタリング遂行部１８３０を含む。

パラメータ獲得部１８１０は、ブロック境界周辺に位置したピクセルのピクセル値が、所定のカーブライン（line curve）に近い程度を示すパラメータを獲得する。かようなカーブは、多項式（polynomial）のような任意の関数でに表現され、最も簡単な例として、かようなカーブは、ラインになりもする。以下の説明では、カーブとしてラインを仮定して説明するが、本発明による思想は、ラインに限定されるものではなく、任意のカーブにいずれも適用可能であろう。一例として、ブロック境界周辺に位置したピクセルのピクセル値が、単調増加したり、あるいは単調減少する場合、ブロック境界周辺に位置したピクセルのピクセル値は、直線上に位置したものであると仮定することができる。このように、パラメータ獲得部１８１０は、ブロック境界周辺に位置したピクセルのピクセル値の変化を考慮して、ブロック境界周辺に位置したピクセルのピクセル値が所定のラインに近いか否かを示すパラメータを獲得する。具体的には、パラメータ獲得部１８１０は、ブロック境界を中心に、所定個数の対称となる位置のピクセル間のピクセル値差と、対称になる位置のピクセル間の距離によって決定される勾配の差値とに基づいて、パラメータを獲得することができる。パラメータ獲得部１８１０の動作及びパラメータについては、図１９及び図２０を参照して具体的に後述する。

フィルタリング強度決定部１８２０は、パラメータ獲得部１８１０で獲得されたパラメータに基づいて、ブロック境界でのフィルタリング強度を決定する。フィルタリング強度決定部１８２０は、パラメータと所定の臨界値とを比較した結果に基づいて、ブロック境界周辺に位置したピクセルのピクセル値が、所定のラインに近い場合には、弱い強度のデブロッキング・フィルタリングを適用するか、あるいはデブロッキング・フィルタリング動作がoff、すなわち、スキップされるようにフィルタリング強度を決定する。

フィルタリング遂行部１８３０は、フィルタリング強度決定部１８２０で決定されたフィルタリング強度に基づいて、ブロック境界に隣接したピクセルに係わるデブロッキング・フィルタリングを行う。

図１９Ａ及び図１９Ｂは、本発明の一実施形態によるデブロッキング・フィルタリングについて説明するためのフィルタリング境界に位置したピクセルを図示したものである。

図１９Ａを参照すれば、水平方向フィルタリング境界を基に、デブロッキング・フィルタリングを適用する前の水平方向フィルタリング境界の上側及び下側に隣接したピクセルのピクセル値を、ｐ０ないしｐ４、及びｑ０ないしｑ４ １９１０と定義する。また、デブロッキング・フィルタリングを適用した後、水平方向フィルタリング境界の上側及び下側に隣接したピクセルのピクセル値を、ｐ０’ないしｐ４’、及びｑ０’ないしｑ４’ １９２０と定義する。同様に、図１９Ｂを参照すれば、垂直方向フィルタリング境界を基に、デブロッキング・フィルタリングを適用する前の垂直方向フィルタリング境界の左側及び右側に隣接したピクセルのピクセル値を、ｐ０ないしｐ４、及びｑ０ないしｑ４ １９３０と定義する。また、デブロッキング・フィルタリングを適用した後、垂直方向フィルタリング境界の左側及び右側に隣接したピクセルのピクセル値を、ｐ０’ないしｐ４’、及びｑ０’ないしｑ４’ １９４０と定義する。水平方向及び垂直方向のフィルタリング境界を基準にしたデブロッキング・フィルタリング動作は、方向の違いがあるのみで、同一に動作する。以下、図１９Ａ及び図１９Ｂに図示されたようなブロック境界周辺のピクセルのピクセル値が、所定のラインにいかほど近いかを示すパラメータを獲得する過程について具体的に説明する。

図２０Ａ及び図２０Ｂは、本発明の一実施形態によって、ブロック境界周辺のピクセルのピクセル値を利用したパラメータ獲得過程について説明するための参照図である。

図１９Ａ及び１９Ｂに図示されたようなフィルタリング境界周辺のピクセルを、図２０Ａ及び図２０Ｂに図示されたように、ピクセル値を基に配列する場合、ピクセル値の差値に従って、フィルタリング境界周辺のピクセルが、所定のライン２０１０にいかほど近いかが決定される。例えば、図２０Ｂに図示されたように、所定のラインを、直線２０２０と仮定する。また、ピクセル間の距離をｄ（ｄは、正の整数）と仮定すれば、フィルタリング境界に最近接に隣接したピクセルのピクセル値ｐ０及びｑ０間の勾配は、（ｑ０−ｐ０）／ｄであり、次の隣接ピクセルのピクセル値ｐ１及びｑ１間の勾配は、（ｑ１−ｐ１）／３ｄである。フィルタリング境界に隣接したピクセルのピクセル値が図２０Ｂに図示されたような仮想の直線２０２０上に近いか否かということは、かようなｐ０及びｑ間の勾配と、ｐ１及びｑ１間の勾配とが互いにいかほど類似しているかということを決定することによって判断される。従って、パラメータ獲得部１８１０は、フィルタリング境界を中心に対称になる位置のピクセル間のピクセル値差と、対称になる位置のピクセル間の距離によって決定される勾配の差値とに基づいて、フィルタリング境界周辺のピクセルのピクセル値が、所定の直線２０２０にいかほど近いかを示すパラメータを獲得することができる。

具体的には、パラメータ獲得部１８１０は、ｐ０及びｑ０間の勾配（ｑ０−ｐ０）／ｄと、ｐ１及びｑ１間の勾配（ｑ１−ｐ１）／３ｄとの差値を獲得する。ｄ＝１であると仮定すれば、勾配間の差値は｛（ｑ０−ｐ０−（ｑ１−ｐ１）／３｝になる。パラメータ獲得部１８１０は、かような差値に、所定の定数値、例えば、９／１６を乗じた｛９＊（ｑ０−ｐ０−３＊（ｑ１−ｐ１）｝／１６を、前述のフィルタリング境界周辺のピクセルが、所定のラインに近いか否かを示すパラメータ△に決定する。パラメータ△の絶対値が小さいということは、ｐ０及びｑ０間の直線の勾配と、ｐ１及びｑ１間の直線の勾配が相互類似しているということで、言い替えればｐ０、ｐ１、ｑ０及びｑ１が、所定の直線２０２０に近いということを意味する。従って、パラメータ△の絶対値サイズに基づいて、フィルタリング境界周辺のピクセルのピクセル値がいかほど所定の直線に近いかということが決定される。

このように、パラメータ獲得部１８１０からパラメータ△が獲得されれば、フィルタリング強度決定部１８２０は、パラメータ△の絶対値と、所定の臨界値ｔｈｒ１とを比較した結果に従って、フィルタリング強度を決定する。ここで、所定の臨界値ｔｈｒ１は、ｐ０及びｑ０の属するブロックの量子化時に利用された量子化パラメータＱＰ（quantization parameter）に基づいた既定値であってもよい。フィルタリング強度決定部１８２０は、パラメータ△の絶対値が、所定の臨界値ｔｈｒ１より小さい場合、弱い強度のデブロッキング・フィルタリングが行われるように、フィルタリング強度を決定するか、あるいはデブロッキング・フィルタリングが行われないように決定することができる。また、フィルタリング強度決定部１８２０は、パラメータ△の絶対値が所定の臨界値ｔｈｒ１より小さい場合、弱い強度のデブロッキング・フィルタリングが行われるように決定し、パラメータ△の絶対値が所定の臨界値ｔｈｒ１より大きい場合には、デブロッキング・フィルタリングを行わないように決定することができる。パラメータ△の絶対値と、所定の臨界値ｔｈｒ１とを比較した結果によって、いかなる場合に弱い強度のフィルタリングを適用するか、あるいはデブロッキング・フィルタリング自体をスキップするか否かということは、必要によって設定することができる事項である。本発明の一実施形態による思想は、前述の所定のライン及びパラメータ△を、デブロッキングのフィルタリング強度及びスキップいかんを判断するための指標として利用することができるということにある。

フィルタリング遂行部１８３０は、フィルタリング強度決定部１８２０で決定されたフィルタリング強度に基づいて、デブロッキング・フィルタリングを行う。例えば、ブロック境界を中心に、第１側面に位置するピクセルのピクセル値を、ｐ０及びｐ１、ブロック境界を中心に第２側面に位置するピクセルのピクセル値を、ｑ０及びｑ１、ｐ０及びｑ０のピクセル値を有するピクセルが、ブロック境界に隣接したピクセルであると仮定するとき、パラメータ△が、所定臨界値ｔｈｒ１より小さい場合、フィルタリング遂行部１８３０は、次のようなアルゴリズムに従って、デブロッキング・フィルタリングを行うことができる。

｛
ｐ０’＝ｐ０＋△；
ｑ０’＝ｑ０−△；
△ｐ１＝（ｐ０−２＊ｐ１＋ｐ２＋２＊△）／４；
ｐ１’＝ｐ１＋△ｐ１；
△ｑ１＝（ｑ０−２＊ｑ１＋ｑ２−２＊△）／４；
ｑ１’＝ｑ１＋△ｑ１
｝
図２１は、本発明の一実施形態による適応的フィルタリング方法を示したフローチャートである。図２１を参照すれば、段階２１１０でパラメータ獲得部１８１０は、ブロック境界周辺に位置したピクセルのピクセル値が、所定のラインに近い程度を示すパラメータを獲得する。前述のように、所定のラインとして直線を利用することができる。また、所定のラインとして直線を利用する場合、パラメータ獲得部１８１０は、ブロック境界を中心に対称になる位置のピクセル間の勾配の差値に基づいてパラメータを獲得する。前述のように、ブロック境界を中心に、第１側面に位置するピクセルのピクセル値を、ｐ０及びｐ１、前記ブロック境界を中心に第２側面に位置するピクセルのピクセル値を、ｑ０及びｑ１、前記ｐ０及びｑ０のピクセル値を有するピクセルがブロック境界に隣接したピクセルであり、パラメータを△と仮定するとき、パラメータ獲得部１８１０は、次の数学式：△＝（９＊（ｑ０−ｐ０−３＊（ｑ１−ｐ１））／１６を介して、パラメータ△を獲得することができる。

段階２１２０で、フィルタリング強度決定部１８２０は、獲得されたパラメータに基づいて、ブロック境界でのフィルタリング強度を決定する。前述のように、フィルタリング強度決定部１８２０は、パラメータの絶対値と所定の臨界値とを比較して、パラメータの絶対値が所定臨界値より小さい場合、弱い強度のデブロッキング・フィルタリングを行ったり、あるいはデブロッキング・フィルタリングがoffになるように決定することができる。

段階２１３０で、フィルタリング遂行部１８３０は、決定されたフィルタリング強度に基づいてフィルタリングを行う。

一方、前述の本発明の一実施形態による適応的フィルタリング方式では、ブロック境界に隣接した４個のピクセルのピクセル値を利用してパラメータを決定したが、パラメータ決定に利用されるピクセルの個数は、必要によって変更される。

このように、本発明の一実施形態による適応的フィルタリング装置及び方法によれば、ブロック境界周辺に位置したピクセルのピクセル値が、所定のラインに近い場合には、不要なフィルタリング処理によって、画質が劣化されることを防止するために、弱い強度のデブロッキング・フィルタリングを適用したり、あるいはデブロッキング・フィルタリング自体を行わない。

図２２Ａ及び図２２Ｂは、本発明の他の実施形態による適応的フィルタリング方法について説明するための参照図である。

前述の本発明の一実施形態による適応的フィルタリング方式で、ブロック境界周辺のピクセルのピクセル値が、所定のラインにいかほど近いかを示すパラメータに基づいて、デブロッキング・フィルタリングの強度、またはデブロッキング・フィルタリングのスキップいかんを判断した。本発明の他の実施形態による適応的フィルタリング方式では、ブロック境界を中心に、両側面に位置した隣接ピクセルの最大値と最小値とを比較して、強い強度のデブロッキング・フィルタリング遂行いかんを決定する。

図２２Ａ及び図２２Ｂを参照すれば、デブロッキング・フィルタリング部１３０，２３０は、ブロック境界を中心に、両側面に位置した所定個数の周辺ピクセルのピクセル値の最大値と最小値とを計算する。図２２Ａ及び図２２Ｂに図示されたように、ブロック境界を中心に左右に４個ずつ、全８個の周辺ピクセルを利用する場合、左側の周辺ピクセルのピクセル値ｐ０ないしｐ３のうち、最大値をｐＭａｘ、最小値をｐＭｉｎと定義し、右側の周辺ピクセルのピクセル値ｑ０ないしｑ３のうち、最大値をｑＭａｘ、最小値をｑＭｉｎと定義する。このとき、デブロッキング・フィルタリング部１３０，２３０は、ｐＭａｘとｑＭｉｎとを、ｑＭａｘとｐＭｉｎとを比較し、図２２Ａに図示されたように、ｐＭａｘ＜ｑＭｉｎを満足するか、あるいは図２２Ｂに図示されたように、ｑＭａｘ＜ｐＭｉｎを満足する場合、すなわち、ブロック境界を中心に、いずれか一方のピクセル値がいずれも他の一方の全てのピクセル値より小さい場合には、強い強度のデブロッキング・フィルタリングを行うと決定することができる。

デブロッキング・フィルタリング部１３０，２３０は、強い強度のデブロッキング・フィルタリング適用条件が満足されない場合には、前述の本発明の一実施形態によるパラメータ△を決定し、弱い強度のデブロッキングを適用するか、あるいはデブロッキング・フィルタリングをスキップか否かを決定することができる。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）フロッピー（登録商標）ディスク、ハードディスクなど）及び光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。
以下、実施の形態を例示的に列挙する。
（付記１）
適応的フィルタリング方法において、
ブロック境界周辺に位置したピクセルのピクセル値が、所定のラインに近い程度を示すパラメータを獲得する段階と、
前記獲得されたパラメータに基づいて、前記ブロック境界でのフィルタリング強度を決定する段階と、
前記決定されたフィルタリング強度に基づいてフィルタリングを行う段階と、を含むことを特徴とする適応的フィルタリング方法。
（付記２）
前記ラインは、前記ピクセル値に基づいた多項式 、任意のカーブ、関数及び直線のうち一つであることを特徴とする付記１に記載の適応的フィルタリング方法。
（付記３）
前記パラメータを獲得する段階は、
前記ブロック境界を中心に対称になる位置のピクセルのピクセル値差に基づいて、前記パラメータを獲得することを特徴とする付記１に記載の適応的フィルタリング方法。
（付記４）
前記パラメータを獲得する段階は、
前記ブロック境界を中心に、所定個数の対称になる位置のピクセル間のピクセル値差と、前記対称になる位置のピクセル間の距離によって決定される勾配の差値とに基づいて、前記パラメータを獲得することを特徴とする付記１に記載の適応的フィルタリング方法。
（付記５）
前記パラメータを獲得する段階は、
ブロック境界を中心に、第１側面に位置するピクセルのピクセル値をｐ０及びｐ１、前記ブロック境界を中心に、第２側面に位置するピクセルのピクセル値をｑ０及びｑ１、前記ｐ０及びｑ０のピクセル値を有するピクセルがブロック境界に隣接したピクセルであり、前記パラメータを△と仮定するとき、
次の数学式：△＝（９＊（ｑ０−ｐ０−３＊（ｑ１−ｐ１））／１６を介して、前記パラメータ△を獲得することを特徴とする付記１に記載の適応的フィルタリング方法。
（付記６）
前記フィルタリング強度を決定する段階は、
前記獲得されたパラメータの絶対値と所定の臨界値とを比較した結果に基づいて、前記フィルタリング強度を決定することを特徴とする付記１に記載の適応的フィルタリング方法。
（付記７）
前記臨界値は、前記ブロック境界周辺のブロックを量子化するときに利用される量子化パラメータに基づいて決定されることを特徴とする付記６に記載の適応的フィルタリング方法。
（付記８）
前記獲得されたパラメータの絶対値が前記臨界値より大きい場合、前記フィルタリングを行わないことを特徴とする付記６に記載の適応的フィルタリング方法。
（付記９）
前記フィルタリングを行う段階は、
ブロック境界を中心に第１側面に位置するピクセルのピクセル値をｐ０、ｐ１及びｐ２、前記ブロック境界を中心に第２側面に位置するピクセルのピクセル値をｑ０、ｑ１及びｑ２、前記ｐ０及びｑ０のピクセル値を有するピクセルがブロック境界に隣接したピクセルであり、前記パラメータを△と仮定するとき、次の数学式：△＝（９＊（ｑ０−ｐ０−３＊（ｑ１−ｐ１））／１６を介して獲得された前記パラメータ△が、所定臨界値より小さい場合、次のアルゴリズム：
｛
ｐ０’＝ｐ０＋△；
ｑ０’＝ｑ０−△；
△ｐ１＝（ｐ０−２＊ｐ１＋ｐ２＋２＊△）／４；
ｐ１’＝ｐ１＋△ｐ１；
△ｑ１＝（ｑ０−２＊ｑ１＋ｑ２−２＊△）／４；
ｑ１’＝ｑ１＋△ｑ１
｝
によって、前記ピクセル値ｐ０，ｐ１，ｑ０及びｑ１をそれぞれｐ０’、ｐ１’、ｑ０’及びｑ１’に代替するフィルタリングを行うことを特徴とする付記１に記載の適応的フィルタリング方法。
（付記１０）
適応的フィルタリング装置において、
ブロック境界周辺に位置したピクセルのピクセル値が、所定のラインに近い程度を示すパラメータを獲得するパラメータ獲得部と、
前記獲得されたパラメータに基づいて、前記ブロック境界でのフィルタリング強度を決定するフィルタリング強度決定部と、
前記決定されたフィルタリング強度に基づいてフィルタリングを行うフィルタリング遂行部と、を含むことを特徴とする適応的フィルタリング装置。
（付記１１）
前記ラインは、前記ピクセル値に基づいた多項式、任意のカーブ、関数及び直線のうち一つであることを特徴とする付記１０に記載の適応的フィルタリング装置。
（付記１２）
前記パラメータ獲得部は、
前記ブロック境界を中心に対称になる位置のピクセルのピクセル値差に基づいて、前記パラメータを獲得することを特徴とする付記１０に記載の適応的フィルタリング装置。
（付記１３）
前記パラメータ獲得部は、
前記ブロック境界を中心に、所定個数の対称になる位置のピクセル間のピクセル値差と、前記対称になる位置のピクセル間の距離によって決定される勾配の差値とに基づいて、前記パラメータを獲得することを特徴とする付記１０に記載の適応的フィルタリング装置。
（付記１４）
前記パラメータ獲得部は、
ブロック境界を中心に、第１側面に位置するピクセルのピクセル値をｐ０及びｐ１、前記ブロック境界を中心に、第２側面に位置するピクセルのピクセル値をｑ０及びｑ１、前記ｐ０及びｑ０のピクセル値を有するピクセルが、ブロック境界に隣接したピクセルであり、前記パラメータを△と仮定するとき、
次の数学式：△＝（９＊（ｑ０−ｐ０−３＊（ｑ１−ｐ１））／１６を介して、前記パラメータ△を獲得することを特徴とする付記１０に記載の適応的フィルタリング装置。
（付記１５）
前記フィルタリング遂行部は、
ブロック境界を中心に、第１側面に位置するピクセルのピクセル値をｐ０、ｐ１及びｐ２、前記ブロック境界を中心に、第２側面に位置するピクセルのピクセル値をｑ０、ｑ１及びｑ２、前記ｐ０及びｑ０のピクセル値を有するピクセルがブロック境界に隣接したピクセルであり、前記パラメータを△と仮定するとき、次の数学式：△＝（９＊（ｑ０−ｐ０−３＊（ｑ１−ｐ１））／１６を介して獲得された前記パラメータ△が、所定臨界値より小さい場合、次のアルゴリズム：
｛
ｐ０’＝ｐ０＋△；
ｑ０’＝ｑ０−△；
△ｐ１＝（ｐ０−２＊ｐ１＋ｐ２＋２＊△）／４；
ｐ１’＝ｐ１＋△ｐ１；
△ｑ１＝（ｑ０−２＊ｑ１＋ｑ２−２＊△）／４；
ｑ１’＝ｑ１＋△ｑ１
｝
によって、前記ピクセル値ｐ０、ｐ１、ｑ０及びｑ１を、それぞれｐ０’、ｐ１’、ｑ０’及びｑ１’に代替するフィルタリングを行うことを特徴とする付記１０に記載の適応的フィルタリング装置。

国際公開第２０１１／９６８６９号

Norkin, A., et al,Development of HEVC deblocking filter, Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 JCTVC-D377, ２０１１年１月２４日 Norkin, A. et al, CE12:Ericsson’s and MediaTek’s deblocking filter, Joint Collaborative Team on VideoCoding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 JCTVC-F118, ２０１１年８月９日 Norkin, A, et al, CE12:Ericsson’s and MediaTek’s deblocking filter, Joint Collaborative Team on VideoCoding (JCT-VC) of ITU-T SG16 WP3 and ISO/PEC JTC1/SC29/WG11, ２０１１年８月１５日 Norkin, A, et al, CE12:Ericsson deblocking filter, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-E276_r1，２０１１年３月１９日

Claims (5)

1. 適応的フィルタリング方法において、
   ブロック境界の周辺に位置した少なくとも四つのピクセルのピクセル値間の差値に基づき、前記少なくとも四つのピクセルのピクセル値が直線に近い程度を示すパラメータ(parameter)を獲得する段階と、
   前記獲得されたパラメータに基づき、前記ブロック境界におけるフィルタリング強度を決定する段階と、
   前記決定されたフィルタリング強度に基づきフィルタリングを行う段階と、を含むことを特徴とする適応的フィルタリング方法。
2. 前記パラメータを獲得する段階は、
   前記ブロック境界を中心に対称位置のピクセルのピクセル値差に基づき、前記パラメータを獲得することを特徴とする請求項１に記載の適応的フィルタリング方法。
3. 前記パラメータを獲得する段階は、
   前記ブロック境界を中心に対称位置のピクセル間のピクセル値差と前記対称位置のピクセルとの距離によって決定される勾配の差値に基づき、前記パラメータを獲得することを特徴とする請求項１に記載の適応的フィルタリング方法。
4. 前記パラメータを獲得する段階は、
   ブロック境界を中心に第１側面に位置するピクセルのピクセル値をｐ0及びｐ1、前記ブロック境界を中心に第２側面に位置するピクセルのピクセル値をｐ0及びｑ1、前記ｐ0 及びｑ0のピクセル値を有するピクセルがブロック境界に隣接したピクセルであり、前記パラメータを△と仮定する時、
   次の数式; △=(9*(q0-p0)-3*(q1-p1))/16を通じて前記パラメータ(△)を獲得することを特徴とする請求項１に記載の適応的フィルタリング方法。
5. 前記フィルタリング強度を決定する段階は、
   前記獲得されたパラメータの絶対値と所定の臨界値とを比較した結果に基づき、前記フィルタリング強度を決定することを特徴とする請求項１に記載の適応的フィルタリング方法。
   

Images