JP2018057030A - イントラ予測モードにおける映像復号化方法 - Google Patents

Abstract

【課題】 高い映像品質を維持しつつ、低いデータレートで動画像信号を符号化するための動画像符号化方法が開始される。
【解決手段】 残差ブロックにかかるビット数を最小化するために、現在ブロックに隣接した有効でない参照画素を前記現在ブロックに隣接した、復元された有効な少なくとも１つ以上の参照画素を用いて生成する。また、前記現在ブロックに隣接した有効な参照画素と、前記生成された参照画素をフィルタリングした後、前記フィルタリングされた参照画素を用いて現在ブロックのイントラ予測モードを決定する。したがって、現在ブロックと最も類似した参照ブロックを生成することにより、現在ブロックの残差ブロックにかかるデータ量を最小化できるという効果がある。
【選択図】図１

Description

本発明は、イントラ予測モードにおける映像復号化方法に関し、より詳細には、現在ブ
ロックの参照画素を適応的に生成し、フィルタリングして原本映像に近い予測ブロックを
生成する映像復号化方法に関する。

高い映像品質を維持しつつ、低いデータレートで動画像信号を効率的に伝送するために
、様々なデジタル動画像圧縮技術が提案されてきた。このような動画像圧縮技術としては
、Ｈ．２６１、ＭＰＥＧ−２／Ｈ．２６２、Ｈ．２６３、ＭＰＥＧ−４、ＡＶＣ／Ｈ．２
６４などがある。前記した圧縮技術は、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ
Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）技法、動き補償（ＭＣ：Ｍｏｔｉｏｎ Ｃｏｍｐｅ
ｎｓａｔｉｏｎ）技法、量子化（Ｑｕａｎｔｉｚａｔｉｏｎ）技法、エントロピ符号化（
Ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）技法などを含んでいる。

高い映像品質を維持するためには、動画像符号化の際に、多くの量のデータを求めるよ
うになる。しかし、動画像データを伝達するために許容される帯域幅は限定されており、
符号化データの伝送時に適用できるデータレートを制限することができる。例えば、衛星
放送システムのデータチャネルやデジタルケーブルテレビジョンネットワークのデータチ
ャネルは、一般に固定ビットレート（ＣＢＲ：Ｃｏｎｓｔａｎｔ Ｂｉｔ Ｒａｔｅ）で
データを送っている。

したがって、動画像符号化は、なるべく処理方式の複雑度と伝送データ率を減らしなが
らも、高画質を得るようにするための動画像符号化方式が提案されている。

例えば、Ｈ．２６４／ＡＶＣ標準は、イントラ符号化の際に、周辺画素値を用いて空間
領域におけるイントラ予測符号化を行う。周辺のある画素値を用いるのか決定することが
符号化効率の向上に重要であるが、このために、最適のイントラ予測方向を決め、この方
向に該当する周辺画素値を用いて符号化する画素の予測値を計算する。

しかし、予測ブロックのサイズが大きくなり多様化すれば、現在ブロックに隣接した参
照ブロックの数が複数個存在する可能性が高まるようになる。この場合には、前記参照ブ
ロックの両方境界に位置する参照画素間には段差が発生できるようになる。段差が生じ、
前記参照画素を用いてイントラ予測を行う場合、予測ブロック生成後の残差ブロックは、
高周波成分を多く含有する可能性が高くなり、符号化効率を低下させるという問題がある
。

本発明が解決しようとする技術的課題は、原本映像に近いイントラ予測ブロックを復元
する方法を提供することにある。これにより、イントラ予測モードにおける復元ブロック
生成時の復元すべき残差信号の符号化量を最小化して映像の画質を高めながら、データ量
を減らす方法を提供することにある。

上記技術的課題を解決し、本発明の目的を達成するための本発明に係るイントラ予測モ
ードにおける映像復号化方法は、現在ブロックのイントラ予測モードを復元するステップ
と、現在ブロックの利用可能でない参照画素が存在すれば、利用可能な参照画素を用いて
利用可能でない参照画素を生成するステップと、現在ブロックの前記復元されたイントラ
予測モード及び現在ブロックのサイズに基づいて、前記参照画素を適応的にフィルタリン
グするステップと、現在ブロックのイントラ予測モード及び前記参照画素またはフィルタ
リングされた参照画素を用いて現在ブロックの予測ブロックを生成するステップとを含み
、前記利用可能でない参照画素の位置から予め決められた方向に最も近い位置の利用可能
な参照画素の画素値を利用可能でない参照画素の画素値として設定する。

また、上記技術的課題を解決するために、本発明は、前記利用可能でない参照画素の位
置から予め決められた方向に最も近い位置の利用可能な参照画素が存在しなければ、反対
方向の最も近い位置の利用可能な参照画素の画素値を利用可能でない参照画素の画素値と
して設定する。

また、上記技術的課題を解決するために、本発明は、現在ブロックのサイズが大きくな
るほど、参照画素をフィルタリングするイントラ予測モードの数を同じであるか、大きく
設定する。

本発明によれば、利用可能でない参照画素を利用可能な参照画素から生成し、参照画素
を現在ブロックのサイズ及びイントラ予測モードにしたがって適応的にフィルタリングし
た後に予測ブロックを生成することにより、原本映像と類似した予測ブロックを生成でき
るという効果がある。また、予測ブロックを原本映像と類似して予測することにより、符
号化及び復号化時の残差信号を最小化して映像の圧縮性能を高めるだけでなく、符号化及
び復号化の効率を極大化することができるという効果がある。

図１は、本発明の実施形態に係る動画像符号化装置を示したブロック図である。

図２は、本発明の実施形態に係るイントラ予測部の動作を示したブロック図である。

図３は、本発明の実施形態に係るプラナーモード予測を説明するための図である。

図４は、本発明の実施形態に係る動画像復号化装置を示したブロック図である。

図５は、本発明の実施形態に係るイントラブロックを復元するための順序図である。

以下、本発明の様々な実施形態を例示的な図面を介して詳細に説明する。本発明は、様
々な変更を加えることができ、様々な実施形態を有することができるところ、本発明を特
定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含ま
れる全ての変更、均等物ないし代替物を含むものと理解されなければならない。各図面を
説明しながら、類似した参照符号を類似した構成要素に対して使用した。

図１は、本発明の実施形態に係る動画像符号化装置を示したブロック図である。

図１に示すように、動画像符号化装置は、符号化モード決定部１１０、イントラ予測部
１２０、動き補償部１３０、動き推定部１３１、変換符号化・量子化部１４０、エントロ
ピ符号化部１５０、逆量子化・変換復号化部１４１、デブロッキングフィルタリング部１
６０、ピクチャー保存部１７０、減算部１８０、及び加算部１９０を備える。

符号化モード決定部１１０は、入力されるビデオ信号を分析してピクチャーを所定サイ
ズの符号化ブロックに分割し、分割された所定サイズの符号化ブロックに対する符号化モ
ードを決定する。前記符号化モードは、イントラ予測符号化及びインター予測符号化を含
む。

ピクチャーは、複数のスライスで構成され、スライスは、複数個の最大符号化単位（Ｌ
ａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ：ＬＣＵ）で構成される。前記ＬＣＵは、複数個
の符号化単位（ＣＵ）に分割されることができ、符号器は、分割可否を表す情報（ｆｌａ
ｇ）をビットストリームに追加することができる。復号器は、ＬＣＵの位置をアドレス（
ＬｃｕＡｄｄｒ）を用いて認識することができる。分割が許容されない場合の符号化単位
（ＣＵ）は、予測単位（Ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ：ＰＵ）としてみなされ、復号
器は、ＰＵの位置をＰＵインデックスを用いて認識することができる。

予測単位（ＰＵ）は、複数個のパーティションに分けられることができる。また、予測
単位（ＰＵ）は、複数個の変換単位（Ｔｒａｎｓｆｏｒｍ ｕｎｉｔ：ＴＵ）で構成され
得る。

符号化モード決定部１１０は、決定された符号化モードによる所定サイズのブロック単
位（例えば、ＰＵ単位またはＴＵ単位）で映像データを減算器１８０に送る。

変換符号化・量子化部１４０は、減算器１８０により算出された残差ブロックを空間領
域から周波数領域に変換する。例えば、残差ブロックに対して２次元の離散コサイン変換
（ＤＣＴ）または離散サイン変換（ＤＳＴ）基盤の変換を実行する。また、変換符号化・
量子化部１４０は、変換係数を量子化するための量子化ステップサイズを決定し、決定さ
れた量子化ステップサイズを用いて変換係数を量子化する。決定された量子化ステップサ
イズ及び符号化モードによって量子化マトリックスが決定され得る。

量子化された２次元の変換係数は、予め決められたスキャニング方法のうち、１つによ
り１次元の量子化変換係数に変換される。前記変換された１次元の量子化変換係数のシー
ケンスは、エントロピ符号化部１５０に供給される。

逆量子化・変換復号化部１４１は、変換符号化・量子化部１４０により量子化された量
子化係数を逆量子化する。また、逆量子化により得られる逆量子化係数を逆変換する。こ
れにより、周波数領域に変換された残差ブロックを空間領域の残差ブロックに復元するこ
とができる。

デブロッキングフィルタリング部１６０は、逆量子化・変換復号化部１４１から逆量子
化及び逆変換された映像データを受信してブロッキング（ｂｌｏｃｋｉｎｇ）効果を除去
するためのフィルタリングを行う。

ピクチャー保存部１７０は、フィルタリングされた映像データをデブロッキングフィル
タリング部１６０から受信してピクチャー（ｐｉｃｔｕｒｅ）単位に映像を復元して保存
する。ピクチャーは、フレーム単位の映像であるか、フィールド単位の映像でありうる。
ピクチャー保存部１７０は、複数のピクチャーを保存できるバッファ（図示せず）を備え
る。バッファに保存された複数のピクチャーは、イントラ予測及び動き推定のために提供
される。イントラ予測または動き推定のために提供される前記ピクチャーは参照ピクチャ
ーと呼ばれる。

動き推定部１３１は、前記ピクチャー保存部１７０に保存された少なくとも１つの参照
ピクチャーが提供されて、動き推定を行って動きベクトル、参照ピクチャーを表すインデ
ックス、及びブロックモードを含むモーションデータ（Ｍｏｔｉｏｎ Ｄａｔａ）を出力
する。

予測精度を最適化するために、少数画素精度、例えば、１／２または１／４画素精度で
動きベクトルを決定する。動きベクトルが少数画素精度を有し得るので、動き補償部１３
０は、少数画素位置の画素値を算出するための補間フィルタを参照ピクチャーに適用する
ことにより、整数画素位置の画素値から少数画素位置の画素値を算出する。

動き補償部１３０は、動き推定部１３１から入力されたモーションデータによって、ピ
クチャー復元部１３５に保存された複数の参照ピクチャーのうち、動き推定に用いられた
参照ピクチャーから、符号化しようとするブロックに対応する予測ブロックを抽出して出
力する。

動き補償部１３０は、少数精度の動き補償に必要な適応的補間フィルタのフィルタ特性
を決定する。フィルタ特性は、例えば、適応的補間フィルタのフィルタタイプを表す情報
及び適応的補間フィルタのサイズを表す情報などである。フィルタのサイズは、例えば、
適応的補間フィルタのフィルタ係数の数であるタブ数などである。

具体的に、動き補償部１３０は、適応的補間フィルタとして、分離型及び非分離型適応
的フィルタのうち、いずれか１つを決定することができる。次いで、決定された適応的補
間フィルタのタブ数及び各フィルタ係数の値を決定する。フィルタ係数の値は、整数画素
との相対的な少数画素の位置ごとに異なるように決定され得る。また、動き補償部１３０
は、フィルタ係数が固定である複数個の非適応的補間フィルタを用いることもできる。

動き補償部１３０は、補間フィルタの特性を所定の処理単位に設定することができる。
例えば、少数画素単位、符号化基本単位（符号化ユニット）、スライス単位、ピクチャー
単位、またはシーケンス単位に設定することができる。また、１個の映像データに対して
、１個の特性を設定してもよい。したがって、所定の処理単位内では、同じフィルタ特性
を利用するので、動き補償部１３０は、フィルタ特性を一時的に維持するメモリを備える
。このメモリは必要に応じて、フィルタ特性及びフィルタ係数などを維持する。例えば、
動き補償部１３０は、Ｉピクチャーごとにフィルタ特性を決定し、スライス単位にフィル
タ係数を決定することができる。

動き補償部１３０は、ピクチャー保存部１７０から参照ピクチャーを受信し、決定され
た適応的補間フィルタを用いてフィルタ処理を適用することにより、少数精度の予測参照
画像を生成する。

そして、生成された参照画像と、動き推定部１３１により決定された動きベクトルとに
基づいて少数画素精度の動き補償を行うことにより、予測ブロックを生成する。

減算部１８０は、符号化しようとする入力ブロックをピクチャー間予測符号化する場合
、動き補償予測部１３７から入力ブロックに対応する参照ピクチャー内のブロックを受信
して入力マクロブロックとの差分演算を行って残差信号（ｒｅｓｉｄｕｅ ｓｉｇｎａｌ
）を出力する。

イントラ予測部１２０は、予測が行われるピクチャー内部の再構成された画素値を用い
てイントラ予測符号化を行う。イントラ予測部は、予測符号化する現在ブロックを受信し
て現在ブロックのサイズによって予め設定された複数個のイントラ予測モードのうち、１
つを選択してイントラ予測を行う。イントラ予測部１２０は、現在ブロックに隣接した以
前に符号化された画素を用いて現在ブロックのイントラ予測モードを決定し、前記決定さ
れたモードに対応する予測ブロックを生成する。

現在ピクチャーに含まれた領域のうち、以前に符号化された領域は、イントラ予測部１
２０が利用できるように再度復号化されてピクチャー保存部１７０に保存されている。イ
ントラ予測部１２０は、ピクチャー保存部１７０に保存されている現在ピクチャーの以前
に符号化された領域で現在ブロックに隣接した画素または隣接しないが、適用可能な画素
を用いて現在ブロックの予測ブロックを生成する。

イントラ予測部１２０は、イントラブロックを予測するために隣接画素を適応的にフィ
ルタリングすることができる。復号器における同じ動作のために、符号器でフィルタリン
グ可否を報知する情報を伝送することができる。または、現在ブロックのイントラ予測モ
ード及び現在ブロックのサイズ情報に基づいてフィルタリング可否を決定することができ
る。

映像符号化装置により使用される予測タイプは、前記符号化モード決定部により入力ブ
ロックがイントラモードまたはインターモードに符号化されるか否かに依存する。

イントラモードとインターモードとの切換は、イントラ・インター切換スイッチにより
制御される。

エントロピ符号化部１５０は、変換符号化・量子化部１４０により量子化された量子化
係数と動き推定部１３１により生成された動き情報とをエントロピ符号化する。また、イ
ントラ予測モード、制御データ（例えば、量子化ステップサイズ等）等も符号化され得る
。さらに、動き補償部１３０により決定されたフィルタ係数も符号化されてビットストリ
ームとして出力する。

図２は、本発明に係るイントラ予測部１２０の動作を示したブロック図である。

まず、符号化モード決定部１１０により予測モード情報及び予測ブロックのサイズを受
信する（Ｓ１１０）。予測モード情報は、イントラモードを表す。予測ブロックのサイズ
は、６４×６４、３２×３２、１６×１６、８×８、４×４等の正方形でありうるが、こ
れに限定しない。すなわち、前記予測ブロックのサイズが正方形でない非正方形でありう
る。

次に、予測ブロックのイントラ予測モードを決定するために、参照画素をピクチャー保
存部１７０から読み込む。前記利用可能でない参照画素が存在するか否かを検討して参照
画素生成可否を判断する（Ｓ１２０）。前記参照画素は、現在ブロックのイントラ予測モ
ードを決定するのに使用される。

現在ブロックが現在ピクチャーの上側境界に位置する場合には、現在ブロックの上側に
隣接した画素が定義されない。また、現在ブロックが現在ピクチャーの左側境界に位置す
る場合には、現在ブロックの左側に隣接した画素が定義されない。このような画素は、利
用可能な画素でないものと判断する。さらに、現在ブロックがスライス境界に位置して、
スライスの上側または左側に隣接する画素が先に符号化されて復元される画素でない場合
にも、利用可能な画素でないものと判断する。

上記のように、現在ブロックの左側または上側に隣接した画素が存在しないか、予め符
号化されて復元された画素が存在しない場合には、利用可能な画素のみを用いて現在ブロ
ックのイントラ予測モードを決定することもできる。

しかし、現在ブロックの利用可能な参照画素を用いて利用可能でない位置の参照画素を
生成することもできる（Ｓ１３０）。例えば、上側ブロックの画素が利用可能でない場合
には、左側画素の一部または全部を用いて上側画素を生成することができ、その逆にも可
能である。すなわち、利用可能でない位置の参照画素から予め決められた方向に最も近い
位置の利用可能な参照画素を複写して参照画素として生成することができる。予め決めら
れた方向に利用可能な参照画素が存在しない場合には、反対方向の最も近い位置の利用可
能な参照画素を複写して参照画素として生成することができる。

一方、現在ブロックの上側または左側画素が存在する場合にも、前記画素が属するブロ
ックの符号化モードによって利用可能でない参照画素として決定され得る。例えば、現在
ブロックの上側に隣接した参照画素が属するブロックがインター符号化されて復元された
ブロックである場合には、前記画素を利用可能でない画素として判断することができる。
この場合には、現在ブロックに隣接したブロックがイントラ符号化されて復元されたブロ
ックに属する画素を用いて利用可能な参照画素を生成することができる。この場合には、
符号器で符号化モードによって利用可能な参照画素を判断するという情報を復号器に伝送
しなければならない。

次に、前記参照画素を用いて現在ブロックのイントラ予測モードを決定する（Ｓ１４０
）。現在ブロックに許容可能なイントラ予測モードの数は、ブロックのサイズによって変
わることができる。例えば、現在ブロックのサイズが８×８、１６×１６、３２×３２で
ある場合には、３４個のイントラ予測モードが存在でき、現在ブロックのサイズが４×４
である場合には、１７個のイントラ予測モードが存在できる。前記３４個または１７個の
イントラ予測モードは、少なくとも１つ以上の非方向性モード（ｎｏｎ−ｄｉｒｅｃｔｉ
ｏｎａｌ ｍｏｄｅ）と複数個の方向性モード（ｄｉｒｅｃｔｉｏｎａｌ ｍｏｄｅｓ）
とで構成され得る。１つ以上の非方向性モードは、ＤＣモード及び／又はプラナー（ｐｌ
ａｎａｒ）モードでありうる。ＤＣモード及びプラナーモードが非方向性モードに含まれ
る場合には、現在ブロックのサイズに関係なく、３５個のイントラ予測モードが存在する
こともできる。このときには、２個の非方向性モード（ＤＣモード及びプラナーモード）
と３３個の方向性モードとを含むことができる。

プラナーモードは、現在ブロックの右下側（ｂｏｔｔｏｍ−ｒｉｇｈｔ）に位置する少
なくとも１つの画素値（または前記画素値の予測値、以下、第１の参照値とする）と参照
画素とを用いて現在ブロックの予測ブロックを生成する。

図３を参照してプラナーモードを説明する。図３は、現在ブロックが８×８ブロックで
ある場合のプラナーモード予測を説明するための図である。

現在ブロックの右下側（ｂｏｔｔｏｍ−ｒｉｇｈｔ）に位置する第１の参照値Ｄと現在
ブロックの左側に隣接する現在ブロックの最も下方の画素に隣接する画素値Ｃとを用いて
、その間に位置する画素に対応する予測画素を生成する。同様に、前記第１の参照値Ｄと
現在ブロックの上側に隣接する画素とのうち、現在ブロックの最も右側の画素と隣接する
画素値Ｂを用いて、その間に位置する画素に対応する予測画素を生成する。前記予測画素
を生成するために、線形結合を使用することができる。しかし、画素の配置が線形でない
場合には、予め決められた非線形結合で前記予測画素を生成することができる。

次に、生成された予測画素（すなわち、画素ＣとＤとの間の画素及び画素ＢとＤとの間
の画素）及び現在ブロックに隣接した画素（すなわち、ＡとＢとの間の画素及びＡとＣと
の間の画素）を用いて残りの予測画素を生成する。前記予測画素は、上側及び左側に隣接
した２個の画素及び下側及び右側に生成された２個の画素を線形結合して生成することが
できる。また、前記結合は、必ず線形である必要はなく、画素の分布を考慮した非線形結
合でありうる。このように、プラナーモードでは、予測画素を生成するために使用される
参照画素の数が予測画素の位置によって変わり得る。

一方、現在ブロックの左側参照画素は利用可能であるが、上側参照画素が利用可能でな
い場合が生じ得る。このときには、前記第１の参照値または前記左側参照画素のうち、１
つを用いて前記上側参照画素を生成することができる。すなわち、左側参照画素のみ利用
可能な場合には、左側参照画素のうち、最上側に位置した参照画素を複写して上側参照画
素を生成することができ、前記第１の参照値と前記上側画素とに最も近接した位置にある
参照画素を用いてＢとＤとの間の予測画素を生成することができる。

同様に、現在ブロックの上側参照画素は利用可能であるが、左側参照画素が利用可能で
ない場合には、前記上側参照画素のうち、最左側に位置した参照画素を複写して左側参照
画素を生成することができ、前記左側参照画素と第１の参照値とを用いてＣとＤとの間の
予測画素を生成することができる。

一方、前記第１の参照値またはこれを表す情報は、ビットストリームに追加されて復号
器に伝送されるか、復号器が前記第１の参照値を導くこともできる。

前記第１の参照値またはこれを表す情報を復号器に伝送する方法を利用する場合には、
現在ブロックに隣接した、符号化されて復元された画素のうち、少なくとも１つ以上を用
いた第１の参照値の予測値と前記第１の参照値との差分値を伝送することがビット数を減
らし得る。このために、前記第１の参照値の予測値は、（１）現在ブロックに隣接した参
照画素の平均値、（２）Ａ、Ｂ、Ｃの平均値、（３）ＢとＣの平均値のうち、いずれか１
つでありうる。もう１つの方法では、ＡとＣの差分値とＡとＢの差分値とを比較して、差
分値が小さい方向を表すいずれか１つ（ＢまたはＣ）に決定することもできる。

前記第１の参照値を符号器と復号器が導く場合には、符号器と復号器が同じ参照値を導
くことができなければならない。このために、符号器では、第１の参照値を生成するため
に参照画素Ａ、Ｂ、Ｃを用いることができる。画面が平坦に変わるという仮定下では、（
１）ＢとＡとの差分値をＣに足した値またはＣとＡとの差分値をＢに足した値、すなわち
（Ｂ＋Ｃ−Ａ）、（２）ＢとＣとの平均値のうち、いずれか１つを第１の参照値として設
定することができる。この場合、Ｂ、Ｃの代りに、Ｂの隣接参照画素及びＣの隣接参照画
素を用いることもできる。このように、符号器と復号器とが同様に第１の参照値を復元で
きるので、第１の参照値またはこれを表す情報を復号器に伝送する必要がなく、伝送ビッ
ト数を減らすことができる。

次に、現在ブロックのイントラ予測モードが決定されれば、予測ブロックを生成する（
Ｓ１５０）。前記予測ブロックは、現在ブロックのイントラ予測モードに基づいて参照画
素（生成された画素を含む）またはこれらの線形結合を用いて生成する。ＤＣモードは、
現在ブロックに隣接した参照画素の平均値を用いて現在ブロックの予測ブロックを生成す
る。前記参照画素は、利用可能な参照画素及び生成された参照画素を全て含むことができ
る。

次に、現在ブロックのイントラ予測モードが決定されれば、前記イントラ予測モードを
符号化する（Ｓ１６０）。前記イントラ予測モードの符号化は、イントラ予測部１２０で
行われることができ、別のイントラ予測モード符号化装置（図示せず）またはエントロピ
符号化部１５０で行われることもできる。

一方、現在ブロックに隣接した参照ブロックの数が様々な場合には、前記参照ブロック
の境界に位置する参照画素間に段差が生じ得る。この場合、予測ブロック生成後の残差ブ
ロックは、高周波成分を多く含有する可能性が高くなる。したがって、参照ブロック間の
ブロッキングアーティファクト（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔ）が現在のブロッ
クにも影響を及ぼすという問題が生じる。このような問題は、現在ブロックのサイズが大
きいほど頻度数が高まるようになる。逆に、参照ブロックのサイズが現在ブロックのサイ
ズより大きい場合には、このような問題が生じない可能性もある。

したがって、上記の問題点を克服するための１つの方法は、前記参照画素を適応的にフ
ィルタリングして新しい参照画素を生成することである。これは、イントラ予測モードを
決定する前に行うこともできる。イントラ予測モード及び予測ブロックのサイズによって
予め前記参照画素を適応的にフィルタリングして新しい参照画素を生成し、元の参照画素
及び前記生成された新しい参照画素を用いて現在ブロックのイントラ予測モードを決定す
ることもできる。しかし、現在ブロックのイントラ予測モードを決定した後に上記の方法
を行うこともできる。ブロッキングアーティファクトの問題は、ブロックのサイズが大き
くなるほど大きくなるので、特定サイズのブロックの範囲では、ブロックのサイズが大き
くなるほど参照画素をフィルタリングする予測モードの数を同じあるか、大きくすること
ができる。

前記利用可能な参照画素のフィルタリングが必要な場合には、前記した参照画素間の段
差の程度によって２個以上のフィルタを適応的に適用することもできる。前記フィルタは
、低域通過フィルタであることが好ましい。例えば、２個のフィルタを用いる場合、第１
のフィルタは３−ｔａｐフィルタ、第２のフィルタは５−ｔａｐフィルタでありうる。第
２のフィルタは、第１のフィルタを２回適用するフィルタでありうる。前記フィルタのフ
ィルタ係数は、対称的なことが好ましい。または、複雑度の減少のために、１個のフィル
タのみを使用することもできる。

また、前記したフィルタが、現在ブロック（イントラ予測が行われるブロック）のサイ
ズによって適応的に適用されることが好ましい。すなわち、フィルタを適用する場合、現
在ブロックのサイズが第１のサイズより小さい場合には、帯域幅が狭いフィルタを適用す
るか、フィルタを適用しないこともありうるし、第１のサイズ〜第２のサイズの現在ブロ
ックに対しては、フィルタを適用するイントラ予測モードの数を増加させることが好まし
い。前記イントラ予測が行われる現在ブロックは、変換ブロックのサイズでありうる。

ＤＣモードの場合には、参照画素の平均値で予測ブロックが生成されるので、フィルタ
を適用する必要がない。すなわち、フィルタを適用する場合、不要な演算量のみが多くな
る。また、映像が垂直方向に連関性（ｃｏｒｒｅｌａｔｉｏｎ）のある垂直モードでは、
参照画素にフィルタを適用する必要がない。映像が水平方向に連関性のある水平モードで
も、参照画素にフィルタを適用する必要がない。このように、フィルタリングの適用可否
は、現在ブロックのイントラ予測モードとも連関性があるので、現在ブロックのイントラ
予測モード及びイントラ予測が行われるブロックのサイズに基づいて参照画素を適応的に
フィルタリングすることができる。イントラ予測が行われるブロックのサイズが予め決め
られたサイズ（例えば、４×４）より小さい場合には、参照画素をフィルタリングしない
。または、複雑度の減少のために、予め決められたサイズより大きい場合にも、参照画素
をフィルタリングしないこともありうる。前記ブロックのサイズが予め決められたサイズ
範囲内に属する場合には、対角線方向のイントラ予測モード（水平または垂直モードと４
５度角度の方向性を有するモード）と水平方向のイントラ予測モードとの間のイントラ予
測モードのうち、いずれか１つのモードで参照画素がフィルタリングされれば、前記モー
ドと対角線方向のイントラ予測モード間の方向性モードでは、参照画素をフィルタリング
する。

上記の問題点を克服するためのさらに他の方法は、前記参照画素を用いて生成された予
測ブロックの一部画素を適応的にフィルタリングして新しい予測ブロックを生成すること
である。現在ブロックのイントラ予測モードによって予測ブロックの予測画素のうち、参
照画素と接する予測画素を少なくとも１つ以上の参照画素を用いて補正することができる
。これは、予測ブロック生成時に共に適用されることもできる。

例えば、ＤＣモードでは、予測画素のうち、参照画素と接する予測画素は、前記予測画
素と接する参照画素を用いてフィルタリングする。したがって、予測画素の位置によって
１個または２個の参照画素を用いて予測画素をフィルタリングする。ＤＣモードにおける
予測画素のフィルタリングは、全てのサイズの予測ブロックに適用することができる。

垂直モードでは、予測ブロックの予測画素のうち、左側参照画素と接する予測画素は、
前記予測ブロックを生成するのに用いられる上側画素以外の参照画素を用いて変更され得
る。同様に、水平モードでは、生成された予測画素のうち、上側参照画素と接する予測画
素は、前記予測ブロックを生成するのに用いられる左側画素以外の参照画素を用いて変更
され得る。

一方、現在ブロックと前記イントラ予測部１２０により生成された予測ブロックとの残
差ブロックは、変換符号化・量子化部１４０及びエントロピ符号化部１５０を介して符号
化される。

前記残差ブロックは、先に変換符号化される。効果的なエネルギー圧縮のために、前記
残差ブロックに適用する変換符号化のための変換ブロックのサイズを先に決定し、決定さ
れたサイズのブロック単位で変換符号化する。または、変換のサイズは予め決定されてい
ることもありうる。この場合、イントラ予測を行う現在ブロックのサイズが変換ブロック
のサイズでありうる。イントラ予測モード値によって互いに異なる変換符号化方式が適用
され得る。例えば、ＤＣ ｍｏｄｅにイントラ予測された残差ブロックに対しては、水平
及び垂直方向に整数基盤ＤＣＴ（Ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ
）を、プラナーモード（ｐｌａｎａｒ ｍｏｄｅ）に対しては水平及び垂直方向に整数基
盤ＤＳＴ（Ｄｉｓｃｒｅｔｅ ｓｉｎｅ ｔｒａｎｓｆｏｒｍ）を適用することもできる
。これは、所定サイズより小さいか、同じブロックに対して適用することができる。しか
し、所定サイズより大きい変換ブロックに対しては、イントラ予測モードに関係なく、整
数基盤ＤＣＴのみを適用することもできる。水平及び垂直方向ＤＣＴ方式とＤＳＴ方式が
予測モードによって適応的に適用されることもできる。

次に、変換符号化された残差ブロックが量子化する。残差ブロックのサイズによって互
いに異なる量子化マトリックスが適用される。また、同じサイズの残差ブロックの場合に
も、互いに異なる量子化マトリックスが適用され得る。すなわち、変換符号化された残差
ブロックの係数の分布に基づいて、少なくとも２個以上の量子化マトリックスのうち、最
も効果的な量子化マトリックスを適用することができる。この場合には、前記量子化マト
リックスを表す情報を復号器に伝送する。また、イントラ予測モードによって互いに異な
る量子化マトリックスを変換符号化された残差ブロックに適用することもできる。

次に、前記２次元の量子化された係数を予め決められた複数個のスキャンパターンのう
ち、１つを選択して１次元の量子化係数シーケンスに変更した後、エントロピ符号化する
。前記スキャンパターンは、イントラ予測モードによって決定されることができ、イント
ラ予測モードと変換ブロックとのサイズによって決定されることもできる。

図４は、本発明の実施形態に係る動画像復号化装置を示したブロック図である。

図４に示すように、本発明に係る動画像復号化装置は、エントロピ復号化部２１０、逆
量子化・逆変換部２２０、加算器２７０、デブロッキングフィルタリング部２５０、ピク
チャー保存部２６０、イントラ予測部２３０、動き補償予測部２４０、及びイントラ・イ
ンター切換スイッチ２８０を備える。

エントロピ復号化部２１０は、動画像符号化装置から伝送される符号化ビットストリー
ムを復号して、イントラ予測モードインデックス、動き情報、量子化係数シーケンスなど
に分離する。エントロピ復号化部２１０は、復号された動き情報を動き補償予測部２４０
に供給する。エントロピ復号化部２１０は、前記イントラ予測モードインデックスを前記
イントラ予測部２３０、逆量子化・逆変換部２２０に供給する。また、前記エントロピ復
号部２１０は、前記逆量子化係数シーケンスを逆量子化・逆変換部２２０に供給する。

逆量子化・逆変換部２２０は、前記量子化係数シーケンスを２次元配列の逆量子化係数
に変換する。前記変換のために、複数個のスキャニングパターンのうち、１つを選択する
。現在ブロックの予測モード（すなわち、イントラ予測及びインター予測のうち、いずれ
か１つ）とイントラ予測モードと変換ブロックとのサイズに基づいて複数個のスキャニン
グパターンのうち、１つを選択する。前記イントラ予測モードは、イントラ予測部または
エントロピ復号化部から受信する。

逆量子化・逆変換部２２０は、前記２次元配列の逆量子化係数に複数個の量子化マトリ
ックスのうち、選択された量子化マトリックスを用いて量子化係数を復元する。前記量子
化マトリックスは、符号器から受信された情報を利用して決定されることもできる。復元
しようとする現在ブロック（変換ブロック）のサイズによって互いに異なる量子化マトリ
ックスが適用され、同一サイズのブロックに対しても、前記現在ブロックの予測モード及
びイントラ予測モードのうち、少なくとも１つに基づいて量子化マトリックスを選択する
ことができる。そして、前記復元された量子化係数を逆変換して残差ブロックを復元する
。

加算器２７０は、逆量子化・逆変換部２２０により復元された残差ブロックとイントラ
予測部２３０または動き補償予測部２４０により生成される予測ブロックとを加算するこ
とにより、映像ブロックを復元する。

デブロッキングフィルタリング部２５０は、加算器２７０により生成された復元映像に
デブロッキングフィルタ処理を実行する。これにより、量子化過程による映像損失に基づ
くデブロッキングアーティファクトを減らすことができる。

ピクチャー保存部２６０は、デブロッキングフィルタリング部２５０によりデブロッキ
ングフィルタ処理が実行されたローカル復号映像を維持するフレームメモリである。

イントラ予測部２３０は、エントロピ復号化部２１０から受信されたイントラ予測モー
ドインデックスに基づいて現在ブロックのイントラ予測モードを復元する。そして、復元
されたイントラ予測モードによって予測ブロックを生成する。

動き補償予測部２４０は、動きベクトル情報に基づいてピクチャー保存部２４０に保存
されたピクチャーから現在ブロックに対する予測ブロックを生成する。少数精度の動き補
償が適用される場合には、選択された補間フィルタを適用して予測ブロックを生成する。

イントラ・インター切換スイッチ２８０は、符号化モードに基づいてイントラ予測部２
５０と動き補償予測部２６０とのうち、いずれか１つで生成された予測ブロックを加算器
２７０に提供する。

以下、前記図４を参照して、現在ブロックをイントラ予測を介して復元する過程を説明
する。図５は、本発明の実施形態に係るイントラブロックを復元するための順序図である
。

まず、受信されたビットストリームから現在ブロックのイントラ予測モードを復号する
（Ｓ３１０）。

このために、エントロピ復号化部２１０は、複数個のイントラ予測モードテーブルのう
ち１つを参照して現在ブロックの第１のイントラ予測モードインデックスを復元する。

前記複数個のイントラ予測モードテーブルは、符号器と復号器が共有するテーブルであ
って、現在ブロックに隣接した複数個のブロックのイントラ予測モードの分布によって選
択されたいずれか１つのテーブルが適用され得る。一例として、現在ブロックの左側ブロ
ックのイントラ予測モードと現在ブロックの上側ブロックのイントラ予測モードとが同じ
であれば、第１のイントラ予測モードテーブルを適用して現在ブロックの第１のイントラ
予測モードインデックスを復元し、同じでなければ、第２のイントラ予測モードテーブル
を適用して現在ブロックの第１のイントラ予測モードインデックスを復元することができ
る。さらに他の例として、現在ブロックの上側ブロックと左側ブロックのイントラ予測モ
ードが共に方向性予測モード（ｄｉｒｅｃｔｉｏｎａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉ
ｏｎ ｍｏｄｅ）である場合には、前記上側ブロックのイントラ予測モードの方向と前記
左側ブロックのイントラ予測モードの方向とが所定角度以内であれば、第１のイントラ予
測モードテーブルを適用して現在ブロックの第１のイントラ予測モードインデックスを復
元し、所定角度を外れれば、第２のイントラ予測モードテーブルを適用して現在ブロック
の第１のイントラ予測モードインデックスを復元することもできる。

エントロピ復号化部２１０は、復元された現在ブロックの第１のイントラ予測モードイ
ンデックスをイントラ予測部２３０に伝送する。前記第１のイントラ予測モードインデッ
クスを受信したイントラ予測部２３０は、前記インデックスが最小値を有する場合（すな
わち、０）には、現在ブロックの最大可能モードを現在ブロックのイントラ予測モードと
して決定する。しかし、前記インデックスが０以外の値を有する場合には、現在ブロック
の最大可能モードが表すインデックスと前記第１のイントラ予測モードインデックスとを
比較する。比較の結果、前記第１のイントラ予測モードインデックスが前記現在ブロック
の最大可能モードが表すインデックスより小さくなければ、前記第１のイントラ予測モー
ドインデックスに１を足した第２のイントラ予測モードインデックスに対応するイントラ
予測モードを現在ブロックのイントラ予測モードとして決定し、それとも、前記第１のイ
ントラ予測モードインデックスに対応するイントラ予測モードを現在ブロックのイントラ
予測モードとして決定する。

現在ブロックに許容可能なイントラ予測モードは、少なくとも１つ以上の非方向性モー
ド（ｎｏｎ−ｄｉｒｅｃｔｉｏｎａｌ ｍｏｄｅ）と複数個の方向性モード（ｄｉｒｅｃ
ｔｉｏｎａｌ ｍｏｄｅｓ）とで構成され得る。１つ以上の非方向性モードは、ＤＣモー
ド及び／又はプラナー（ｐｌａｎａｒ）モードでありうる。また、ＤＣモードとプラナー
モードのうち、いずれか１つが適応的に前記許容可能なイントラ予測モードセットに含ま
れ得る。このために、ピクチャーヘッダまたはスライスヘッダに前記許容可能なイントラ
予測モードセットに含まれる非方向性モードを特定する情報が含まれ得る。

次に、イントラ予測部２３０は、イントラ予測ブロックを生成するために、参照画素を
ピクチャー保存部２６０から読み込み、利用可能でない参照画素が存在するか否かを判断
する（Ｓ３２０）。前記判断は、現在ブロックの復号されたイントラ予測モードを適用し
てイントラ予測ブロックを生成するのに用いられる参照画素の存在可否によって行なわれ
ることもできる。

次に、イントラ予測部２３０は、参照画素を生成する必要がある場合には、予め復元さ
れた利用可能な参照画素を用いて利用可能でない位置の参照画素を生成する（Ｓ３２５）
。利用可能でない参照画素に対する定義及び参照画素の生成方法は、図２によるイントラ
予測部１２０における動作と同様である。ただし、現在ブロックの復号されたイントラ予
測モードによってイントラ予測ブロックを生成するのに用いられる参照画素のみを選択的
に復元することもできる。

次に、イントラ予測部２３０は、予測ブロックを生成するために、参照画素にフィルタ
を適用するか否かを判断する（Ｓ３３０）。すなわち、イントラ予測部２３０は、現在ブ
ロックのイントラ予測ブロックを生成するために、参照画素に対してフィルタリングを適
用するか否かを前記復号されたイントラ予測モード及び現在予測ブロックのサイズに基づ
いて決定する。ブロッキングアーティファクトの問題は、ブロックのサイズが大きくなる
ほど大きくなるので、ブロックのサイズが大きくなるほど参照画素をフィルタリングする
予測モードの数を増加させることができる。しかし、ブロックが所定サイズより大きくな
る場合には、平坦な領域とみなすことができるので、複雑度の減少のために参照画素をフ
ィルタリングしないこともありうる。

前記参照画素にフィルタ適用が必要であると判断された場合には、フィルタを用いて前
記参照画素をフィルタリングする（Ｓ３３５）。

前記した参照画素間の段差の程度によって少なくとも２個以上のフィルタを適応的に適
用することもできる。前記フィルタのフィルタ係数は対称的であることが好ましい。

また、前記した２個以上のフィルタが現在ブロックのサイズによって適応的に適用され
ることもできる。すなわち、フィルタを適用する場合、サイズが小さいブロックに対して
は帯域幅が狭いフィルタを、サイズが大きいブロックに対しては帯域幅が広いフィルタを
適用することもできる。

ＤＣモードの場合には、参照画素の平均値で予測ブロックが生成されるので、フィルタ
を適用する必要がない。すなわち、フィルタを適用する場合、不要な演算量のみが多くな
る。また、映像が垂直方向に連関性（ｃｏｒｒｅｌａｔｉｏｎ）のある垂直モードでは、
参照画素にフィルタを適用する必要がない。映像が水平方向に連関性のある水平モードで
も、参照画素にフィルタを適用する必要がない。このように、フィルタリングの適用可否
は、現在ブロックのイントラ予測モードとも連関性があるので、現在ブロックのイントラ
予測モード及び予測ブロックのサイズに基づいて参照画素を適応的にフィルタリングする
ことができる。

次に、前記復元されたイントラ予測モードによって、前記参照画素または前記フィルタ
リングされた参照画素を用いて予測ブロックを生成する（Ｓ３４０）。前記予測ブロック
の生成は、図２の符号器における動作と同じであるため、省略する。プラナーモードの場
合にも、図２の符号器における動作と同じであるため、省略する。

次に、前記生成された予測ブロックをフィルタリングするか否かを判断する（Ｓ３５０
）。前記フィルタリング可否の判断は、スライスヘッダまたは符号化ユニットヘッダに含
まれた情報を利用することができる。また、現在ブロックのイントラ予測モードによって
決定されることもできる。

前記生成された予測ブロックをフィルタリングするものと判断する場合、生成された予
測ブロックをフィルタリングする（Ｓ３３５）。具体的に、現在ブロックに隣接した利用
可能な参照画素を用いて生成された予測ブロックの特定位置の画素をフィルタリングして
新しい画素を生成する。これは、予測ブロック生成時に共に適用されることもできる。例
えば、ＤＣモードでは、予測画素のうち、参照画素と接する予測画素は、前記予測画素と
接する参照画素を用いてフィルタリングする。したがって、予測画素の位置によって１個
または２個の参照画素を用いて予測画素をフィルタリングする。ＤＣモードにおける予測
画素のフィルタリングは、全てのサイズの予測ブロックに適用することができる。垂直モ
ードでは、予測ブロックの予測画素のうち、左側参照画素と接する予測画素は、前記予測
ブロックを生成するのに用いられる上側画素以外の参照画素を用いて変更され得る。同様
に、水平モードでは、生成された予測画素のうち、上側参照画素と接する予測画素は、前
記予測ブロックを生成するのに用いられる左側画素以外の参照画素を用いて変更され得る
。

このような方式で復元された現在ブロックの予測ブロックと復号化した現在ブロックの
残差ブロックとを用いて現在ブロックが復元される。

上記では、本発明の好ましい実施形態を参照して説明したが、当該技術分野の熟練され
た当業者は、下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範
囲内で本発明を様々に修正及び変更させることができるということが理解できるであろう
。

Claims (8)

1. 映像復号化方法において、
   イントラ予測モードを復元するステップと、
   現在ブロックの利用可能でない参照画素が存在すれば、利用可能な参照画素を用いて、
   参照画素を生成するステップと、
   前記イントラ予測モードと、現在ブロックのサイズに基づいて、現在ブロックの参照画素をフィルタリングするかどうかを判断するステップと、
   現在ブロックの参照画素をフィルタリングすると判断すると、現在ブロックのサイズと参照画素間の段差情報を用いて、フィルタを選択し、サイズが大きいブロックに対しては帯域幅が広いフィルタを適用されている方法で、２個以上のフィルタを用して、現在ブロックの参照画素をフィルタリングするステップと、
   前記イントラ予測モードに応じて、予測ブロックを生成するステップと、を含み、
   DCモードの場合、現在のブロックの参照画素は、フィルタが適用されないことを特徴とする映像復号化方法。
2. 前記イントラ予測モードは、あらかじめ決められた数の方向性イントラ予測モードと２つの非方向性イントラ予測モードの中から選択されることを特徴とする、請求項１に記載の映像復号化方法。
3. 前記現在ブロックのサイズが大きくなるほど参照画素をフィルタリングするイントラ予測モードの数が増加することを特徴とする、請求項１に記載の映像復号化方法
4. 前記予め定められた方向に利用可能な参照画素が存在しない場合、逆方向の最も近い位置の利用可能の参照画素をコピーして、参照画素を生成することを特徴とする、請求項１に記載の映像復号化方法。
5. インター符号化されて復元されたブロックに属する現在ブロックの参照画素を利用できないように設定することを特徴とする、請求項１に記載の映像復号化方法。
6. 対角線方向のイントラ予測モードと水平方向のイントラ予測モードとの間の第１イントラ予測モードで参照画素がフィルタリングされると、前記第１イントラ予測モードと前記対角線方向のイントラ予測モードの間の方向性イントラ予測モードでも参照画素をフィルタリングすることを特徴とする、請求項１に記載の映像復号化方法。
7. 前記２つの非方向性モードは、ＤＣモードとプラナーモードであることを特徴とする、請求項２に記載の映像復号化方法。
8. 前記復元されたイントラ予測モードが垂直モードであれば、前記予測ブロックの予測画素は、予測ブロックの生成に利用される参照画素の以外の参照画素を用いて、変更されたことを特徴とする、請求項１に記載の映像復号化方法。

Images