JP2005512419A - 画像ブロックの指向性予測方法 - Google Patents

Abstract

画像ブロック（Ｃ′）の指向性の予測のため、すでに予測された隣接画像ブロック（Ａ′，Ｂ′）の周縁画素（Ａ，Ｂ，Ｃ，Ｄ；Ｅ，Ｆ，Ｇ，Ｈ；Ｉ）を利用する。予測アーチファクトを抑圧する目的で、予測に利用される画素を予測方向に依存して現在予測すべき画像ブロック（Ｃ′）のブロック周縁部に沿って予備フィルタリングする。

Description

従来の技術
本発明は複数の画素から成る画像ブロックの指向性予測方法に関し、たとえば４×４の画素よりも多くの画素数をもつ画像ブロックのイントラ予測のための方法に関する。

文献［１］http://standard.pictel.com/ftp/video-site/0109＿San/ のたとえば９頁〜１１頁から、ビデオ符号化標準Ｈ．２６Ｌのために４×４ピクセル（画素）ブロックまたは１６×１６ピクセルブロックにおけるイントラ予測を実施することが知られている。イントラ予測とは、現在の画像における伝送された情報だけが予測信号生成に利用されることを意味する（たとえばビデオシーケンスの第１の画像が常に「イントラ」符号化される）。４×４の予測のために文献［１］の場合には６個のモードを利用することができ、これらのモードは予測の行われる方向の点で異なっている。この場合、すでに予測された（符号化された）周辺画像ブロックの周辺画素が予測に利用される。

請求項１の構成によれば、現在の画像ブロックの予測のためにやはりすでに予測された少なくとも１つの隣接画像ブロックの周辺画素が利用される。しかしこれに加えて、現在予測すべき画像ブロックのブロック周辺部に沿った予測方向に依存して、予測に利用される各画素がまえもってフィルタリングされる。このような予備フィルタリングによって予測特性が改善されることになり、殊に周辺長の大きいブロックすなわち４つの画素よりも大きい周辺長をもつブロックについて改善されるようになる。

本発明の基礎とする認識は、４×４の画素よりも大きいブロックサイズたとえば４×８、８×４、８×８、１６×８〜１６×１６のブロックサイズに対して指向性の予測を用いると、予測される画像ブロックに非常に目立つ構造が発生し、それによって再構成された画像において過度に強いアーチファクトが引き起こされることである。本発明による予備フィルタリングによれば予測信号が平滑化されてこのようなアーチファクトが回避され、そのことでこの種の予測画像ブロックを伝送するための符号化プロセスが主観的かつ客観的に改善されることになる。

請求項２に記載の構成により、予測に利用される隣接画像ブロックの画素が１つの予測ベクトルにまとめられ、この予測ベクトルの方向に沿ってローパスフィルタリングが行われることになる。この構成によって、個別にフィルタリングする場合よりも処理の手間が簡単になる。

請求項３に記載されているように、ゼロポジションすなわち現在予測すべき画素のポジションにおいてローパスフィルタリングを最も強く重み付けることにより予測ベクトルの経過特性が維持され続けるが、フィルタリングによってベクトルの平滑化が行われることになる。隣接する予測値が現在のポジションに及ぼす影響は、その予測値が現在ポジションから隔たっていればいるほど僅かになる。このことによって、ブロックサイズが大きくなったときに殊に効果的にアーチファクトが減衰する。

請求項４に記載の構成もアーチファクト抑圧に有利にはたらく。

請求項５〜７にはブロック周辺部処理の有利な構成が示されている。殊に予測ベクトルをその周辺値によって続けることによって処理や記憶の手間が簡単になり、その結果、符号化効率が高まる。

図面
次に、図面を参照しながら本発明の実施例について説明する。

図１には、予測すべき画像ブロックがその隣接ブロックとともに示されている。

図２には、現在予測すべき画像ブロックがその個別画素およびエッジにおける隣接ブロックの画素とともに示されている。

図３には、種々の予測モードにおける予測方向が示されている。

図４には、４×４画素のサイズをもつ画像ブロックがすでに予測された隣接ブロックの画素を利用して予測された画素とともに示されている。

図５には、フィルタリングされていない予測による８×８画素のサイズの画像ブロックが示されている。

図６には、図５と同じ画像ブロックであるが本発明に従って予備フィルタリングされた画像ブロックが示されている。

実施例の説明
本来の説明に立ち入る前に、理解を深める目的で文献［１］により知られている方向依存型のイントラ予測について詳しく説明する。文献［１］によるイントラ予測は、４×４画素ブロックまたは１６×１６画素ブロックにおいて実行される。４×４予測に対して６つのモードを用いることができ、それらのモードは予測の行われる方向の点で異なっている。この場合、すでに符号化された隣接画像ブロックの周辺画素（周辺ピクセル）が予測に利用される。図１には、現在予測すべき画像ブロックＣ′に対し考えられる隣接ブロックＡ′およびＢ′が描かれている。図２には現在の画像ブロックＣ′が自身の画素ａ，ｂ，ｃ〜ｐおよび隣接画像ブロックの周辺画素とともに示されており、詳しくは上方で接する画像ブロックＡ′の画素Ａ，Ｂ，Ｃ，Ｄと、左側で接する隣接画像ブロックＢ′の画素Ｅ，Ｆ，Ｇ，Ｈと、左上部のコーナーで接する隣接画像ブロック（図１では破線で示す）の画素Ｉとともに示されている。

ＤＣ（直流成分）予測においては、画像ブロックＣ′のすべての画素に対する平均値としてポジションＡ〜Ｈの平均値が利用されるが、このようなＤＣ予測のほかに、それぞれ異なる予測方向をもつ５つのモードを使用することができる。水平方向と垂直方向の予測のほかにも３つの予測方向が可能である。これらの予測方向は図３に示されている。図４にはモード１による予測の例が示されている。このモードの場合、画素Ａ〜Ｄだけが予測に用いられる。モード１の場合には以下のようにして予測が行われる：

１６×１６画素ブロックをベースとする予測はアクティビティの僅かな画像領域において用いられる。この場合、ＤＣ予測、水平方向および垂直方向の予測、ならびにいくらか煩雑になる「平面的な」予測を用いることができる。イントラ予測法の完全な説明についてはH.26L-Test-Modell (TML) [1] を参照されたい。

４×４予測のために示された方法を他のブロックサイズにそのまま拡張することができる。このために予測が相応に続けられる。

４×４画像ブロックのために先に定義した形式の指向性予測を、４×４画素よりも大きい画像ブロックたとえば４×８，８×４，８×８，１６×８，．．．，１６×１６の画素をもつ画像ブロックのために使用すべき場合、予測された画像ブロックにおいて著しく目立つ構造の発生する可能性があり、これにより再構成された画像において強いアーチファクトが引き起こされてしまう。本発明による措置によればこのようなアーチファクトが回避され、それによって符号化プロセスが主観的にも客観的に改善される。

ここでの説明は、ＴＭＬ［１］において４×４画像ブロックのイントラ符号化に使用される指向性の予測モードを前提とする。この場合、４×８，８×４，８×８，８×１６，１６×８，１６×１６というサイズの画像ブロックが考察される。４画素よりも長いエッジにおいて、つまり８画素または１６画素のエッジにおいてフィルタリングが行われる。この方法を他のブロックサイズならびに予測方向に使用することができる。

以下ではＭ行およびＮ列のサイズをもつ現在の画像ブロックの画素を
Ｐ（ｉ，ｊ）， ｉ＝０，．．．，Ｎ−１， ｊ＝０，．．．，Ｍ−１
として表す。予測に利用される隣接画像ブロックの画素はポジションＰ（−１，ｊ）とＰ（ｉ，−１）に位置する。これらは以下では長さＮ_ｆの予測ベクトルＶ（ｎ）にまとめられる。したがって先に示した４×４ブロックに対するモード１の予測はＮ_ｆ＝４である：
Ｖ（ｎ）＝Ｐ（ｎ，−１）＝［Ａ，Ｂ，Ｃ，Ｄ］， ｎ＝０，．．．３
画像ブロックの予測のためにはＶ（ｎ）ではなく、フィルタリングされたバージョンＶ_ｆ（ｎ）が用いられる。フィルタリングのために、適切な長さＬの（ローパス）フィルタが利用される。以下に例を示す：

予備フィルタリングは予測方向に依存する。先に示したモード１では、現在予測すべき画像ブロックＣ′のブロック上縁に沿って行われる。予備フィルタリングは予測ベクトルＶ（ｎ）の方向に沿って行われる。

ローパスフィルタリングにより予測信号の平滑化が行われる。周縁部処理のために複数の可能性が存在する。すなわち、
−右側および下方の周縁部に対して、ブロック周縁領域を越えている符号化済みの画素が利用され、たとえばＶ（ｎ）＝Ｐ（ｎ，−１）ただしｎ＝Ｎ，．．．Ｎ_ｆ−１である。
−左側および上方の周縁部に対して、エッジに沿って予測ベクトルが継続され、たとえば、
Ｖ（ｎ）＝Ｐ（ｎ，−１）、この場合ｎ＝０，．．．Ｎ_ｆ−１
Ｖ（ｎ）＝Ｐ（−１，−（ｎ＋２））、この場合ｎ＝−ｉｎｔ（Ｌ／２），．．．，−１
ただしｉｎｔ（ｘ）は "rounding by truncation"（切り捨てによる丸め込み）を意味する。

図５には、予備フィルタリングの作用がモード１による予測において８×８画像ブロックについて例示されている。図５にはフィルタリングされていない予測が示されており、図６には、８画素のエッジ長に対して先に挙げた長さ３のフィルタによる予備フィルタリングにおいて予測された画像ブロックが示されている。

次に、想定可能な予備フィルタリングの実施について述べる。

この場合、８×８ブロックでありＰ（ｉ，ｊ），ｉ，ｊ＝０，．．．，７，予測ベクトルはＶ（ｎ），ｎ＝０，．．．，７とする。

ここではエッジ長８の画像ブロックに対し３タップフィルタによりフィルタリングが行われ、ここでフィルタ係数ｈ（ｎ）＝（７ １８ ７）／３２である。

周縁部において一定に継続される予備フィルタリングにより以下のようになる：
Ｖ_ｆ（０）＝（７*Ｖ（０）＋１８*Ｖ（０）＋７*Ｖ（１））／３２
Ｖ_ｆ（１）＝（７*Ｖ（０）＋１８*Ｖ（２）＋７*Ｖ（３））／３２
Ｖ_ｆ（２）＝（７*Ｖ（１）＋１８*Ｖ（３）＋７*Ｖ（４））／３２
．．．
Ｖ_ｆ（７）＝（７*Ｖ（６）＋１８*Ｖ（７）＋７*Ｖ（７））／３２
ついでベクトルＶ_ｆ（ｎ），ｎ＝０，．．．，７が現在の画像ブロックＣ′の予測に用いられる。

図５に示されているように粗い量子化の場合、本発明による方法を用いなければ予測による強いアーチファクトが見えてしまう。本発明による方法を用いると、その代わりに（ローパスフィルタによるフィルタリングにおいて）柔らかい経過が生じようになる。すべてのＡＣ（交流成分）係数がゼロまで量子化されている画像ブロックの場合、予測モードおよび使用されているフィルタの情報があれば、隣接画像ブロックの周縁画素からダイレクトに画像ブロックを求めることができる。

文献
［１］G. Bjontegaard, Thomas Wiegand (eds.), 'H.26L Test Model Long-Term (TML) 8', Doc. VCEG-N10, ITU-T Q6/SG16 VCEG, 14. Meeting, Santa Barbara, CA, September 2001

予測すべき画像ブロックをその隣接ブロックとともに示す図である。 現在予測すべき画像ブロックをその個別画素およびエッジにおける隣接ブロックの画素とともに示す図である。 種々の予測モードにおける予測方向を示す図である。 ４×４画素のサイズをもつ画像ブロックをすでに予測された隣接ブロックの画素を利用して予測された画素とともに示す図である。 フィルタリングされていない予測による８×８画素のサイズの画像ブロックを示す図である。 図５と同じ画像ブロックであるが本発明に従って予備フィルタリングされた画像ブロックを示す図である。

Claims (7)

1. 画像ブロック（Ｃ′）の画素（ａ，ｂ，．．．，ｐ）の指向性予測方法たとえば４×４よりも多くの画素から成るサイズをもつ画像ブロックのイントラ予測のための指向性予測方法において、
   すでに予測された少なくとも１つの隣接画像ブロック（Ａ′，Ｂ′）の周囲画素（Ａ，Ｂ，Ｃ，Ｄ；Ｅ，Ｆ，Ｇ，Ｈ）を現在の画像ブロック（Ｃ′）の予測に利用し、
   予測方向に依存して予測に利用される画素を、予測すべき現在の画像ブロック（Ｃ′）のブロック周縁部に沿って予備フィルタリングすることを特徴とする、
   指向性予測方法。
2. 少なくとも１つの隣接画像ブロックにおいて現在の画像ブロックの予測に利用される画素を１つの予測ベクトルにまとめ、該予測ベクトルの方向に沿って予測に利用される画素のローパスフィルタリングを行う、請求項１記載の方法。
3. ローパスフィルタリングにおいてゼロポジションを最も強く重み付ける、請求項２記載の方法。
4. ローパスフィルタリングのために現在の画像ブロックのブロック周縁領域を越えている画素も利用する、請求項１から３のいずれか１項記載の方法。
5. 予測のためブロック周縁領域を越えている画素を、前記予測ベクトルをブロック周縁部において延長することによって取得する、請求項４記載の方法。
6. 前記予測ベクトルの延長のため、該予測ベクトルの始端または終端におけるベクトル成分値を用いる、請求項５記載の方法。
7. 前記予測ベクトルの延長のため、隣接画像ブロックにおいて現在予測すべき画像ブロックと共通のブロック周縁部をもたない予測済みの画素を利用する、請求項５記載の方法。

Images