JP2006513634A - 符号化ストリーム中で伝送されたイントラ予測モードに基づく空間的誤り隠蔽 - Google Patents

Abstract

マクロブロックのストリームからなるイントラ画像における誤りの空間的隠蔽が、近隣ブロックで指定されているイントラ予測モードに基づいて、マクロブロック中の欠けているデータを予測することによって実現される。実用上は、ストリーム中のマクロブロックが、ＩＳＯ／ＩＴＵ Ｈ．２６４規格で規定される符号化技術のようなブロックをベースとする符号化技術によって符号化されるときに、マクロブロックは符号化のために当該符号化技術によって規定されている近隣のイントラ予測モードに基づいて予測することができる。本技術は符号化において通常使われているイントラ予測モードの情報を空間的誤り隠蔽のために用いる。ある特定のマクロブロックに関与する符号化されたデータが失われたとき、近隣マクロブロックからのイントラ予測モードによって、隠蔽のためにどの方向に補間を行うのかが最善かについての重要な情報が得られる。

Description

本出願は、２００３年１月１０日に出願された米国特許仮出願６０／４３９，１８９について、米国法典第３５編第１１９条（ｅ）項に基づく優先権を主張するものであり、前記仮出願の思想はここに組み込まれる。
この発明は、符号化されたビデオストリーム中の符号化された画像に現れる誤りを訂正する技術に関するものである。

多くの例において、ビデオストリームは保存や伝送を容易にするために圧縮（符号化）が行われる。そのような符号化されたビデオストリームが、チャンネル誤りやネットワーク輻輳のために伝送中にデータ損失をこうむったり、変質してしまったりすることも少なくない。復号すると、データの損失や変質はピクセル値が欠ける形で現れる。そのような乱れを減らすため、デコーダは、同じ画像中の他のマクロブロックから、あるいは他の画像から値を推定することによってそのような欠失ピクセル値を「隠蔽」する。実際にはデコーダは欠けたり変質したりしたピクセル値誤りを隠すわけではないので、隠蔽という用語はあまり適切な名称ではない。空間的な隠蔽は、空間領域において近隣の区域間で類似性があることを利用して画像中の別の部分からのピクセル値を使うことで、欠失・変質したピクセル値を導出しようとするものである。典型的には、計算量が同程度なら、空間的隠蔽技術は、伝送された他の画像からの情報を利用する時間的誤り隠蔽技術よりも性能は劣る。

誤り隠蔽アルゴリズムが空間的補間に頼るのは、時間的隠蔽の選択肢が利用できない場合にのみ、すなわち、損失がイントラ符号化画像、イントラリフレッシュ画像に影響していたり、時間的な情報が利用できなかったりする場合のみとするべきである。隠蔽された画像を基準とする将来のインター符号化フレームの画質は、空間的隠蔽の品質に依存する。空間的隠蔽によって得られるイントラ符号化画像が比較的低画質であれば、それから導かれるインター符号化画像も同様に低品質となるであろう。

空間的誤り隠蔽のためには現在いくつかの技術が存在しており、次のようなものがある。
・ブロックコピー（ＢＣ：ｂｌｏｃｋ ｃｏｐｙ）
この方法では、欠失・変質マクロブロックの代替物が正しく復号された近接マクロブロックから得られる。
・ピクセル領域補間（ＰＤＩ：ｐｉｘｅｌ ｄｏｍａｉｎ ｉｎｔｅｒｐｏｌａｔｉｏｎ）
欠失・変質マクロブロックデータは、正しく復号された近接マクロブロックの境界におけるピクセル値から補間される。ＰＤＩを実現するには二つの異なる手法が存在する。たとえば、マクロブロック内の全ピクセルが共通の平均値に補間されるようにしてもよい。あるいはまた、各ピクセル値がマクロブロックの境界からのピクセル距離に基づく重み付き予測によって得られるようにしてもよい。
・多方向補間（ＭＤＩ：ｍｕｌｔｉ−ｄｉｒｅｃｔｉｏｎａｌ ｉｎｔｅｒｐｏｌａｔｉｏｎ）
多方向補間技術は縁方向に沿った補間を提供するので、ＰＤＩ技術の改良版となる。ＭＤＩを実現するには、方向性補間に先立って、欠失・変質ピクセル値の近傍での主たる輪郭の方向を見積もっておくことが必要になる。縁検出と限られた数の方向上での量子化が難題として残っている。
・極大平滑復元（ＭＳＲ：ｍａｘｉｍａｌｌｙ ｓｍｏｏｔｈ ｒｅｃｏｖｅｒｙ）
離散コサイン変換（ＤＣＴ）係数領域において、低周波成分を誤り隠蔽に使って隣接ピクセルとの間のなめらかな接続を実現する。データ分割（ｄａｔａ ｐａｒｔｉｔｉｏｎｉｎｇ）符号化が用いられるときには、ＭＳＲ技術は変質したマクロブロックやブロック内のデータをすべて捨てるのではなく、正しく受信されたＤＣＴ係数を利用する。
・凸集合上への射影（ＰＯＣＳ：ｐｒｏｊｅｃｔｉｏｎ ｏｎ ｃｏｎｖｅｘ ｓｅｔｓ）
この技術によれば、高速フーリエ変換（ＦＦＴ）係数領域において、欠失・変質したピクセル値のあるマクロブロックを取り巻くより大きな領域の分類に基づいて適応フィルタリングが実行される。そのような適応フィルタリングは、なめらかな領域では低域フィルタリングを適用する一方、変化の急峻な領域ではエッジフィルタを適用することを含む。この手続きは、フィルタ処理の反復を含み、扱われる画像にはいくつかの前提となる制約条件が課される。
表１は、空間的隠蔽を実現するための既知のさまざまな手法の計算量と画質のかねあいを対照させたものである。

空間的誤り隠蔽に関しては、ビデオデコーダは手ごろな計算量と復元された画像の望ましい品質のかねあいという難しい問題に直面する。典型的には、たいていのビデオでコーダはリアルタイムでの実用にはＢＣやＰＤＩアルゴリズムといった速いアルゴリズムを実装するだけである。上述したように、これらのアルゴリズムは、近隣の値をコピーしたり平均したりすることで失われたり変質したりした領域を大まかにカバーする。そのような方針では、たとえ高フレームレートで表示したとしても乱れが見える低画質の画像となる。

このように、低ないし中程度の計算量でも縁に対して高品質の隠蔽となる、上述のような不都合を克服する空間的誤り隠蔽技術が必要とされている。

手短に言うと、本発明の原理により、マクロブロックのストリームからなる符号化された画像における誤りの空間的隠蔽の技術が提供される。その方法では、まず、欠失・変質したピクセル値があるマクロブロックの形で誤りを同定することから始まる。同定された各マクロブロックに対し、近隣のマクロブロックから少なくとも一つのイントラ予測モードが導出される。当該画像がＩＳＯ／ＩＴＵ Ｈ．２６４ビデオ圧縮規格に従って符号化されている場合には、各マクロブロックの符号化には二種類のイントラ符号化が利用できる：（１）イントラ１６×１６型では、単一のイントラ予測モードが当該マクロブロック全体について導出される。（２）イントラ４×４型では、当該マクロブロック内の４×４ピクセルのサブ・マクロブロックのそれぞれについてイントラ予測モードが導出される。（この場合、符号化されたマクロブロックあたり１６のイントラ予測モードがある。）最後に、導出されたイントラ予測モードが欠失ピクセル値を生成するのに適用される。導出されたイントラ予測モードが欠失または変質したピクセル値を推定するのに適用される過程は、符号化の労を軽減するために符号化された値を推定する（予測する）ために復号の際に用いられる導出過程に相当するものになっている。換言すれば、本技術は、空間的誤り隠蔽の目的のために、符号化で通常使われているイントラ予測モードの情報を用いているのである。ある特定のマクロブロックに関与する符号化されたデータが欠失または変質した場合、近隣マクロブロックから導出されたイントラ予測モードによって、空間的誤り隠蔽のための補間方向としてどの方向が最良かについての重要な情報が得られる。空間的誤り隠蔽のためにイントラ予測モードを使うことによって、計算量が同程度の古典的な空間的誤り隠蔽技術よりも著しく改善された性能が実現される。

提案されているＩＳＯ／ＩＴＵ Ｈ．２６４ビデオ圧縮規格に具体化されるようなブロックをベースとする圧縮技術は、画像をスライスに分割することによって動作する。各スライスは一組のマクロブロックまたはマクロブロック対からなり、各マクロブロックがその規格に従って符号化される。マクロブロックは典型的には１６×１６ピクセルの正方形領域として定義される。符号化の目的のために、マクロブロックはさらにサブ・マクロブロックに分割されるが、このサブ・マクロブロックは必ずしも正方形ではない。マクロブロックを符号化する際に、各サブ・マクロブロックは異なる符号化モードを使うことができる。便宜上、４×４ピクセルのサブ・マクロブロックのことをブロックと呼ぶことにする。図１は符号化された画像１００のマクロブロック１１０への分割、各マクロブロック１１０のブロック１２０への分割、そして各ブロックのピクセル１３０への分割を示している。図１の分割された画像１００は、ｎ行ｍ列に並んだマクロブロック１１０からなっている。ここでｎ、ｍは整数である。マクロブロック内のブロックの数が一定であるのに対し、一枚の画像中のマクロブロックの数は画像の大きさによって変わることに注意しておく。

分割された画像１００内のマクロブロック１１０それぞれを個別に符号化するコストを軽減するため、すでに伝送されているマクロブロックからの情報を利用して、個々のマクロブロックの符号化の予測を得ることができる。この場合、伝送する必要があるのは予測誤差と予測モードだけである。画像の符号化に用いられるビデオ符号化規格は、エンコーダ（図示せず）およびデコーダ（図示せず）の両者が同じ推定を得ることを保証するために、予測ピクセル値を導出する手順を規定するはずである。ＩＳＯ／ＩＴＵ Ｈ．２６４規格によれば、個々のマクロブロックのイントラ予測は、１６×１６ピクセルの単一区画として（イントラ１６×１６型）、あるいは４×４ピクセルの１６ブロックに分割された形として（イントラ４×４型）行うことができる。イントラ１６×１６型の符号化については、ＩＳＯ／ＩＴＵ Ｈ．２６４規格は４つのイントラ予測モードを規定している：モード０は縦予測、モード１は横予測、モード２はＤＣ予測、モード３は平面予測である。イントラ４×４型の符号化については、ＩＳＯ／ＩＴＵ Ｈ．２６４規格は９つのイントラ予測モードを規定している。そのそれぞれは、そのモードを予測に使うときにブロック内の各ピクセルの予測値を導出するための補間フィルタと結びついている：モード０は縦予測、モード１は横予測、モード２はＤＣ予測、モード３は斜め左下予測、モード４は斜め右下予測、モード５は縦右予測、モード６は横下予測、モード７は縦左予測、モード８は横上予測である。

図２ＡはＩＳＯ／ＩＴＵ Ｈ．２６４規格によって規定されているイントラ予測モード０〜８のそれぞれの方向をベクトルで表示した図である。（ＤＣモードに対応するモード２は、近隣から一様に値を拾ってブロックの内容を均質な領域として予測するため、方向をもたないことに注意。）他のモード０〜１および３〜８はマクロブロックの内容を８つの量子化された方向の一つに沿って予測する。エンコーダ（図示せず）で符号化されると、各イントラ符号化されたマクロブロックに付随するモード予測方向が符号化されたストリームに埋め込まれて送られる。デコーダ（図示せず）はそのイントラモード予測方向を補間フィルタと共に用いて、あるブロックの内容をすでに復号された近隣ブロックのピクセル値から予測する。各補間フィルタは、図２Ｂ〜２Ｊのそれぞれに見られるようなイントラ予測モードに結びついた方向に情報を伝搬させる適切な重み付け因子を定義している。

本発明の原理によれば、復号のために通常用いられているイントラ予測モードは、空間的誤り隠蔽を実現するためにマクロブロック中で欠失または変質したピクセル値を推定するための非常によい機構を提供することができる。ある特定のマクロブロックに関連する符号化データが失われたり欠けていたりしているようであれば、近隣のブロックの内容を推定するためにすでに使われたイントラ予測モードが、空間的誤り隠蔽を実現するために欠失ピクセル値を推定する上でどの方向に補間するのが最良かについての重要な情報を提供しうるのである。

図１の分割された画像１００内の近隣ブロック１２０のうち、欠失または変質したピクセルがあるブロックのための予測因子として役立てるものはいくつでもよい。実用上は、ブロック１２０の数は、欠失または変質したピクセルがあるブロックの近傍のものに限定すると計算量が減らせる。その目的に向け、空間的隠蔽のために考慮される近隣ブロック１２０の数を制限する、図３に示すような支援ウィンドウ１４０が定義される。支援ウィンドウ１４０の大きさが大きいほど（したがって近隣ブロックの数が多いほど）、欠失ブロックを予測するためのイントラモードの選択はより信頼できるものになるが、その反面、計算量が増すことは理解されよう。イントラモード予測によって関心のあるブロックを隠蔽する上では、図３で定義されている支援ウィンドウ１４０内のブロック全部が必要なわけではない。支援ウィンドウ１４０内の一つ以上のブロック１２０がやはり隠蔽を必要としている（すなわち、そのブロックについての情報がない）ということもあるかもしれない。あるいは単にイントラモード選択基準に関して重要でないということもあるかもしれない。最も単純な場合では、イントラ予測モードは、隠蔽を必要としている当該ブロックの上と左のブロックに依存するとすることができる。

図３を参照しつつ、支援ウィンドウ１４０内の近隣ブロックを定義するのに役立つ記号を次の通り導入する。支援ウィンドウ１４０内にあり隠蔽を必要としているブロックＢの座標は（ｐ０，ｑ０）である。したがって、支援ウィンドウ１４０はこのようにブロックＢを中心とした長方形の領域となり、左上の座標が（ｐ０−Ｐ，ｑ０−Ｑ）、右下の座標が（ｐ０＋Ｐ，ｑ０＋Ｑ）となる。ここでＰおよびＱはそれぞれ支援ウィンドウの列と行の数を指定する整数である。図３で描かれている例解用の実施例では、Ｐ＝Ｑ＝２となり、ブロックＢを中心として５×５ブロックの正方形の近傍を定義している。

実際の実装に対しては、前記支援ウィンドウ内で利用可能な候補のうちからイントラモード予測を選択する基準を定義しなければならない。本発明の原理によれば、支援ウィンドウ１４０内でのイントラ予測モードの相対位置がイントラモード選択基準への入力となる。各イントラ予測モードは補間の方向を定義するのであるから、そのようなモードを有するマクロブロックは、支援ウィンドウ１４０内である相対位置に現れる場合にのみ隠蔽の目的のために重要となる。

支援ウィンドウ１４０内で明確にブロックを指定するために、ブロック１２０は図３に示したようにラスタ走査の順番に名前が付けられる。提案される基準によれば、支援ウィンドウ１４０内の中心ブロックＢの隠蔽ためにあるモードが選択されるのは、そのモードが図２Ａで図示した関連する空間方向上に現れる場合であり、かつその場合に限られる。たとえば、ブロックＢを図３の斜め左下方向に沿って得られるデータによって隠蔽するのは、ブロック＃９またはブロック＃１６における予測が斜め左下方向に行われている場合に限られる。前記基準に他のブロックを含めたのは、符号化されたストリームにおいてたまたまあるモードが使われていたことによって該選択基準が影響されることを低減させるためである。これらの条件は支援ウィンドウ１４０内で正しく受信されたかすでに隠蔽された隣接ブロックに対してのみ適用されることを注意しておく。さらに、前記定義された支援ウィンドウ１４０内にあるすべての近隣ブロックが現在空間的隠蔽を受けているブロックのためのイントラモードの選択に関わるわけではない。

表２に、隠蔽しようとしているブロックを中心とする５×５ブロックの支援ウィンドウ１４０についての選択基準の実施例を示す。

ある好ましい実施形態においては、空間的な誤り隠蔽は典型的には、復号の際に、図４でフローチャートの形で示した仕方で行われる。図４で示されている復号過程は、まずステップ４００における、はいってくる（入力）符号化ビデオストリームの、制御パラメータおよび入力データに従ったマクロブロックのエントロピー復号をもって始まる。そのような復号と関連して、ステップ４０２において、符号化された画像がイントラ符号化画像であるかどうかの判定が行われる。もしそうであれば、ステップ４０４において、符号化の差（予測誤り）がイントラ予測によって得られるが、そうでなければ予測誤りはステップ４０６におけるインター予測によって確立される。ステップ４０４、４０６に続いて、ステップ４０８における誤り検出が行われ、それによりステップ４１０においてあるマクロブロックに欠失または変質したピクセル値があるかどうかの判定ができる。図３の確立された支援ウィンドウ１４０内の近隣マクロブロックについての予測値がイントラ予測から確立されていたら、空間的誤りはイントラ予測モードを選択することによって隠蔽を受け、ステップ４０２が再び実行される。近隣マクロブロックにおける予測値の決定がイントラ予測ではなくインター予測によって行われていた場合には、欠けたり失われたりしているピクセル値はイントラ予測以外の方法で推定することが求められる。

Ｈ．２６４規格の参照ソフトウェア（ＪＭ５０バージョン）によって提供されるイントラ予測モードを入力データとして使っての経験的な試験によって、計算量が同程度の古典的な空間的隠蔽技術に比べて優れた結果が得られている。欠けている部分における輪郭の良好な予測のおかげで、信号対雑音比のピーク値はすべてのテスト画像について上昇し、画質の改善が見られた。

以上は、符号化されたビデオストリームにおける空間的な誤りを、符号化予測と関連して通常使われているイントラ予測モードを使って隠蔽する技術を記述している。

符号化された画像がマクロブロックに分割され、各マクロブロックがブロックに、各ブロックがピクセルに分割されている様子を示す図である。 符号化のための予測誤り値を確立するためのイントラ予測モードの方向をベクトルで表示した図である。 図２Ａで示されたイントラモード予測方向の一つに対応する４×４サブ・マクロブロックを示した図である。 図２Ａで示されたイントラモード予測方向の一つに対応する４×４サブ・マクロブロックを示した図である。 図２Ａで示されたイントラモード予測方向の一つに対応する４×４サブ・マクロブロックを示した図である。 図２Ａで示されたイントラモード予測方向の一つに対応する４×４サブ・マクロブロックを示した図である。 図２Ａで示されたイントラモード予測方向の一つに対応する４×４サブ・マクロブロックを示した図である。 図２Ａで示されたイントラモード予測方向の一つに対応する４×４サブ・マクロブロックを示した図である。 図２Ａで示されたイントラモード予測方向の一つに対応する４×４サブ・マクロブロックを示した図である。 図２Ａで示されたイントラモード予測方向の一つに対応する４×４サブ・マクロブロックを示した図である。 図２Ａで示されたイントラモード予測方向の一つに対応する４×４サブ・マクロブロックを示した図である。 本発明の原理に基づいてイントラ予測モードを使って空間的誤り隠蔽を実現する上で使う支援ウィンドウを示す図である。 本発明の原理に基づく空間的誤り隠蔽を含む、符号化画像復号のためのプロセスをフローチャートの形で示す図である。

Claims (12)

1. マクロブロックのストリームからなる符号化された画像における誤りを空間的に隠蔽する方法であって、
   各マクロブロックにピクセルデータの誤りがあるかどうかを調べ、もしそのような誤りが存在すれば、
   近隣ブロックから少なくとも一つのイントラ予測モードを確立し、
   前記ピクセルデータの誤りを訂正するために、前記少なくとも一つの確立されたイントラ予測モードに従ってピクセルデータの推定値を導出するステップを有することを特徴とする方法。
2. 前記符号化された画像が所定の符号化規格に従って符号化されており、前記イントラ予測モードが該所定の符号化規格によって規定されていることを特徴とする、請求項１記載の方法。
3. 前記符号化された画像がＩＳＯ／ＩＴＵ Ｈ．２６４符号化規格に従って符号化されており、前記イントラ予測モードが該ＩＳＯ／ＩＴＵ Ｈ．２６４符号化規格によって規定されていることを特徴とする、請求項２記載の方法。
4. 前記少なくとも一つのイントラ予測モードを確立するのが、欠失ピクセルデータのあるブロックを中心とする方形のブロック配列内の情報に限られることを特徴とする、請求項１記載の方法。
5. 前記少なくとも一つのイントラ予測モードを確立するのが、ピクセルデータの誤りのある当該マクロブロックに近接するマクロブロックのイントラ予測モードの相対位置に従って行われることを特徴とする、請求項３記載の方法。
6. ＩＳＯ／ＩＴＵ Ｈ．２６４規格に従って符号化されたマクロブロックのストリームからなる符号化された画像における誤りを空間的に隠蔽する方法であって、
   各マクロブロックにピクセルデータの誤りがあるかどうかを調べ、もしあれば、
   近隣ブロックから少なくとも一つのＩＳＯ／ＩＴＵ Ｈ．２６４規格によって規定されているイントラ予測モードを導出し、
   前記ピクセルデータの誤りを訂正するために、前記少なくとも一つの導出されたイントラ予測モードに対応する少なくとも一つの補間フィルタを適用してピクセルデータを推定するステップを有することを特徴とする方法。
7. 前記少なくとも一つのイントラ予測モードを確立するのが、欠失ピクセルデータのあるブロックを中心とする方形のブロック配列内の情報に限られることを特徴とする、請求項６記載の方法。
8. 前記少なくとも一つのイントラ予測モードを確立するのが、欠失ピクセルデータのあるブロックに近接するブロックのイントラ予測モードの相対位置に従って行われることを特徴とする、請求項７記載の方法。
9. 個々のマクロブロックのイントラ予測が、１６×１６ピクセルの単一区画として（イントラ１６×１６型）、あるいは４×４ピクセルの１６ブロックに分割された形として（イントラ４×４型）行われることを特徴とする、請求項６記載の方法。
10. 前記イントラ１６×１６型の符号化について、イントラ予測モードに（ａ）モード０の縦予測、（ｂ）モード１の横予測、（ｃ）モード２のＤＣ予測、（ｄ）モード３の平面予測があることを特徴とする、請求項９記載の方法。
11. 前記イントラ４×４型の符号化について、イントラ予測モードのそれぞれが、ブロック内の各ピクセルの予測値を導出するための補間フィルタと結びついていることを特徴とする、請求項９記載の方法。
12. 前記予測モードに、（ａ）モード０の縦予測、（ｂ）モード１の横予測、（ｃ）モード２のＤＣ予測、（ｄ）モード３の斜め左下予測、（ｅ）モード４の斜め右下予測、（ｆ）モード５の縦右予測、（ｇ）モード６の横下予測、（ｈ）モード７の縦左予測、および（ｉ）モード８の横上予測があることを特徴とする、請求項９記載の方法。

Images