JP2006513643A - エラー伝播を極小化する隠蔽順を規定する技術 - Google Patents

Abstract

方形配列（１３０）のマクロブロック（１１０）の隠蔽は、当該配列の大きいほうの辺の方向に進行することでマクロブロックの連続する行を隠蔽することにより有利に現れる。このように隠蔽を実行することで、先行する行又は列の隠蔽からの情報が、垂直、水平又は斜めのいずれの方向にも輪郭の予測を容易にするように伝えられ、その結果、隠蔽の品質が改善する。

Description

本発明は喪失データ及び／又は被破壊データを有するマクロブロックの隠蔽順を構築する技術に関する。

多くの事例において、ビデオストリームは記憶及び伝送を容易にするために圧縮（符号化）される。しばしば、当該符号化されたビデオストリームはデータの喪失を被り、或いはチャネルエラー及び／又はネットワークの混雑により伝送中に破壊される。復号の際に、データの喪失／被破壊は、復号された画像内の１又は２以上のマクロブロックにおける欠落ピクセル値として明白になる。係る欠落／被破壊ピクセル値に起因する悪影響を低減するため、デコーダは同一画像或いは別画像の他のマクロブロックから値を推定することにより当該欠落／被破壊ピクセル値を“隠蔽”する。用語“隠蔽”は、デコーダが実際に欠落／被破壊ピクセル値を隠しているわけではないので、多少誤った名称ではある。

空間的な隠蔽は、当該空間領域にある隣接領域間の類似性を信頼して同一画像の他の区域のピクセル値を使用して欠落／被破壊ピクセル値を導き出そうとする。空間的なエラー隠蔽とは対照的に、一時的な隠蔽は符号化されたモーション情報、すなわち参照画像指標及びモーションベクトルの復旧を試み、欠落したピクセル値を事前に伝送されたマクロブロックのうちの少なくとも１つから推定しようとする。孤立したマクロブロックではなく近接するマクロブロック群に対しエラーが影響する場合には、エラーの隠蔽は、既に隠蔽されたブロックからの情報の使用を要求し得る。ビデオ圧縮に関するＩＳＯ／ＩＴＵ Ｈ．２６４標準のメインプロファイルに規定される喪失したスライスの隠蔽は、事前に隠蔽されたマクロブロックからの情報の使用を要求する典型的な状況を例示する。しかし、係る方法はエラーを伝播し、復元された画像の品質を落とす傾向にある。

この問題を克服する１つの取り組みでは、マクロブロックの列全体の隠蔽であり、画像の境界から中央へ中に向かって進行する隠蔽を提案する。左側のマクロブロック及び右側のマクロブロックは、相互に独立して隠蔽が行われる。同様に、それぞれの列内の隠蔽は上下に独立して進行し、隠蔽されたマクロブロックが中央で出会うまで行われる。この取り組みは、概して予測が困難だが視覚的に重要である画像の中心をプロセスの最後に隠蔽することでエラーの伝播を低減する。しかし、この方法による隠蔽の実現は、左から右或いはその逆方向で意味のある情報を伝えにくくする。画像の左側のマクロブロックは右側から得られる情報なしに予測され、或いはその逆も同じである。係る振る舞いは、欠落領域を横切る斜め模様の輪郭を伝えることを困難にする。

従って、上述の欠点を克服しながらエラー隠蔽を実現する技術が必要とされる。

手短に言うと、本発明に従って、方形配列中のマクロブロックの隠蔽は、配列の２つの大きいほうの辺のうちの１つの方向に進行することで、欠落／被破壊の値を有するマクロブロックを隠蔽することにより出現する。従って、例えば、高さよりも広い幅を持つ方形配列では、隠蔽が行毎に進行する。反対に、幅より高い高さを持つ方形配列では、隠蔽が列毎に進行する（正方形配列では、隠蔽は適宜、行毎或いは列毎に進行し得る。）。配列の２つの大きいほうの辺のうちの１つの方向に進行することによるマクロブロックの隠蔽は、垂直方向、水平方向或いは斜め方向の何れの輪郭の予測をも容易にし、その結果、配列の寸法に関係なく所与の方向に徐々に隠蔽するところの従来技術の隠蔽手法と比較して、隠蔽の品質を改善する。

ＩＳＯ／ＩＴＵ Ｈ．２６４ビデオ圧縮標準案に具体化されるようなブロックベースのビデオ圧縮技術が画像を分割してスライスにすることで機能する。それぞれのスライスは１組のマクロブロック又はマクロブロック対を構成し、それぞれのマクロブロックは当該標準に準拠して符号化される。マクロブロックは典型的には１６×１６ピクセルの方眼領域から構成される。符号化目的のため、マクロブロックはさらにサブマクロブロックに区分化される。当該サブマクロブロックは必ずしも方眼である必要はない。サブマクロブロックのそれぞれは、マクロブロックが符号化される際に異なる符号化モードを有することができる。図１は原画像１００のマクロブロック１１０への区分化を表現する。画像１００内のマクロブロックの数はそのサイズに応じて変わることに留意する。

図解された実施例では、画像１００が該画像の左上隅から右下隅に対角線上に延びる黒のストリップ１２０を有する。画像１００の残りの部分は図解の目的でグレーレベルとなっている。伝送を容易にするため、一般的に画像１００は、典型的にはＩＳＯ／ＩＴＵ Ｈ．２６４標準案に記載される技術のようないくつかの良く知られたブロックベースコーディング技術の何れかにより符号化される。符号化された画像１００の伝送中に、１又は２以上のマクロブロック１１０が破壊され得る。言い換えると、係るマクロブロック１１０により伝えられるピクセル値が失われ或いは損なわれる。係る状況の例が復号後の画像１００を図解する図２に現れる。図２の復号された画像１００は、ピクセル値が欠落したマクロブロックのいくつかの行を有し、それらのすべてが方形のエラー領域１３０に位置する。図解の単純化のため、ピクセル値が欠落したマクロブロック１１０は図２で白く表され、欠落のないピクセル値を持つマクロブロックと対比されるようにする。当該欠落のないピクセル値を持つマクロブロックは、該マクロブロックがストリップ１２０を構成する対角線の輪郭内に位置するか或いはストリップの外に位置するかに応じてそれぞれ暗く或いはグレーで表される。

図２の画像１００におけるエラー領域１３０内のマクロブロック毎の欠落したピクセル値の存在は、ビジュアル画像の欠陥を生じさせる。被破壊ピクセル値もまた欠陥を生じさせる。図２のエラー領域に位置するマクロブロック１１０の欠落したピクセル値は、図１のものと比較すると図２のストリップ１２０の外観を変えてしまう。特に、図２のストリップ１２０は画像の左上隅から中心までしか延びていないように見える。図２における復号された画像１００を図１に表現されるその原状に復元することを目指して、欠落した値を有するエラー領域１３０のマクロブロック１１０は、復号処理の一部においてエラー隠蔽を行う。当該エラー隠蔽は、欠落した或いは破壊されたピクセル値を同一の画像にある他のマクロブロックから或いは他の画像から予測することを必要とする。

エラー隠蔽処理を実現する取り組みの１つでは、図３に示すように画像１００の境界から中心に向かって内側に進むことによりマクロブロックの列全体を垂直に隠蔽する。Ｈ．２６４標準のリファレンスソフトウェアで実現されるこの取り組みは、隠蔽情報を水平方向或いは対角線方向に増殖させるという問題を招く。図３に示すように、外側の列から内側の列に列毎に隠蔽が進む際に、ストリップ１２０の欠落した部分に関する情報は、画像１００の中心に到達するまで未検出のままである。結果として、続く隠蔽で暗いストリップ１２０の輪郭に一致させるべき欠落したピクセル値を持つ画像の右下部分のマクロブロック１１０は既に誤ったピクセル値（黒ではなくグレー）により隠蔽されてしまっている。

上述の不利点を克服するために、本発明に従って、エラー隠蔽は図４に示すように、代わりに水平に行毎に進行する。エラー隠蔽をこのように実行することは、エラー領域１３０におけるマクロブロック１１０の最上行の隠蔽中にストリップ１２０についての情報の検出を可能にする。図４に見られるように、エラー領域１３０の最上行にあるマクロブロック１１０は、少なくとも１つの隣接した行（例えばエラー領域１３０のすぐ上にある行）で正しく受信されたマクロブロックにより伝えられるピクセル値に従って隠蔽される。エラー領域１３０におけるマクロブロック１１０の最上行の隠蔽の後に続いて、ピクセル値からの情報はその後、そこから下にあるマクロブロックの隣接する行のそれぞれに徐々に伝わる。言い換えると、エラー領域１３０におけるマクロブロック１１０の最上行を隠蔽することにより得られるピクセル値は、次の下の行にあるマクロブロックのピクセル値を、その行の隠蔽に際し、予測する参照としての役目を果たす。エラー領域１３０におけるマクロブロック１１０の下の行のそれぞれを引き続き隠蔽する際も、当該ピクセル値はエラー領域などにおける次の下の行にあるマクロブロックを予測する参照値としての役目を果たす。隠蔽はトップダウン及びボトムアップに同時に進行する場合もあり、エラー領域１３０内の最上行及び最下行の双方がそれぞれ正しく受信されたマクロブロック１１０の行に隣接して位置するときはいつでも、情報がトップダウン及びボトムアップでそれぞれ伝えられるようにする。

図解された実施例では、エラー領域１３０の幅がその高さより広く、マクロブロックを水平に行毎に隠蔽することが、必ずしも完全ではないにしろ改善されたストリップ１２０の復元を実現する。水平に進行することによりマクロブロック１１０の行の隠蔽に着手することは、水平方向／対角線方向に情報を伝播させることを可能にし、その結果隠蔽の品質を改善する。水平方向へのエラー伝播を極小化するために、隠蔽は左から右及び右から左への交互の走査方法で生じる。言い換えると、エラー領域１３０におけるマクロブロック１１０では一行おきに隠蔽が左から右に行われ、一方、その間に入る行にあるマクロブロックでは隠蔽が右から左に行われる。係る交互の走査を実現するための単純な枠組みでは、偶数行及び奇数行を逆方向で走査するようにする。

図４のマクロブロック１１０を上述のように水平に行毎に隠蔽することは、画像１００がその幅より高い高さを有するエラー領域を含む場合を除き、垂直に列毎に隠蔽を実現する場合と比較して改善された性能を実現する。ほとんどすべての例において、符号化された画像１００内のエラー領域１３０の幅は、高さより広い幅を有する。画像１００が実際に幅より高い高さを有するまれな状況の場合では、マクロブロック隠蔽は垂直に列ごとに進行すべきである。垂直方向へのエラー伝播を極小化するために、隠蔽は上から下及び下から上への交互の走査方法で生じる。言い換えると、一列おきのマクロブロックで隠蔽が上から下に行われ、一方、その間の列にあるマクロブロックでは隠蔽が下から上に行われる。係る交互の走査を実現するための単純な枠組みでは、偶数列及び奇数列を逆方向で走査するようにする。

このように、本発明に従って、エラー隠蔽はマクロブロック配列の２つの長いほうの辺のうちの１つの方向に進行する。この点において、画像１００の相対配向を構築することが重要となる。実際には、画像１００の配向性は復号中に明白となる。

最適性能を保証するために、非方形エラー領域は、隠蔽の実行に先立って方形のサブ領域に分割される。本発明に従って、図４のエラー領域１３０のような方形エラー領域でのエラー隠蔽に着手することは、最上行及び最下行（同等に最左列及び最右列）からの対称的な進行を確実にする。エラー領域が高さより広い幅を有する場合には、方形サブ領域への分割は、それぞれのサブ領域が正しく受信した行に隣接する最上行及び最下行を有するように行われる。エラー領域が幅より高い高さを有する場合には、方形サブ領域への分割は、それぞれのサブ領域が正しく受信した列に隣接する最左列及び最右列を有するように行われる。

非方形エラー領域の区分化のプロセスをより十分に理解するために、図５を参照する。図５は、合成誤差を引き起こす、エラーの起こり易いチャネルを介し、画像が復号に先立って伝送されたときの復号後の図１の画像１００を表す。当該エラーは、図５の画像１００において非方形エラー領域１３０’の形で明白になる。本発明に従って、非方形エラー領域１３０’は、図５のサブ領域１３５_１及び１３５_２で表現されるように２以上の方形サブ領域に区分化され、それぞれのサブ領域は、正しく受信されたマクロブロックの行に境を接するその最上行及び最下行を有する。その後、サブ領域１３５_１及び１３５_２のそれぞれにあるマクロブロックは、それぞれのサブ領域内で曲がりくねった矢印で表されるように逆方向に、それぞれのサブ領域にあるマクロブロックの行を交互に走査することにより、隠蔽される。

上述の記載は、方形配列にあるマクロブロックの隠蔽順を構築する技術を説明する。当該方形配列は、垂直方向、水平方向又は斜め方向のいずれにおいても、輪郭の予測を容易にする。その結果、隠蔽の品質が向上する。

マクロブロックに区分化された画像を示す図である。 画像が事前に符号化されかつエラーの起こり易いチャネルを介して伝送されたときの復号後の図１の画像を示す図である。当該チャネルでのエラーはマクロブロックにおける方形配列の欠落を生じさせる。 従来技術の教えに従い画像の外端から中心に列毎に垂直に進行するエラー隠蔽を行う図２の画像を示す図である。 本発明に従い行毎に水平に進行するエラー隠蔽を行う図２の画像を示す図である。 画像が事前に符号化されかつエラーの起こり易いチャネルを介して伝送されたときの復号後の図１の画像を示す図である。当該チャネルでのエラーはマクロブロックにおける非方形配列の欠落を生じさせる。 図５の欠落したマクロブロックの非方形配列を２つの方形サブ領域に区分化し、本発明に従ったエラー隠蔽を可能とする区分化を示す図である。

Claims (15)

1. 向かい合う辺を有する方形配列のマクロブロックの隠蔽順を構築する方法であって：
   前記配列の大きいほうの前記辺の１つの方向に進行して欠落／被破壊ピクセル値を有する前記マクロブロックを隠蔽するステップ、
   を有することを特徴とする方法。
2. 前記配列の大きいほうの２つの前記辺のそれぞれに向かって、向かい合う方向に前記配列の中央部分に達するまで漸次隠蔽するステップ、
   を有することを特徴とする請求項１に記載の方法。
3. ＮがＭより大きいＮ行Ｍ列の方形配列のマクロブロックの隠蔽を行う方法であって：
   トップダウンおよびボトムアップのうちの少なくとも１つの方向に行毎に水平に進行して欠落／被破壊ピクセル値を有するマクロブロックを隠蔽するステップ、
   を有することを特徴とする方法。
4. 前記隠蔽がトップダウン方向及びボトムアップ方向に同時に、水平に、行毎に進行することを特徴とする請求項３に記載の方法。
5. 隠蔽がもっぱらトップダウン方向に、水平に、行毎に進行することを特徴とする請求項３に記載の方法。
6. 隠蔽がもっぱらボトムアップ方向に、水平に、行毎に進行することを特徴とする請求項３に記載の方法。
7. マクロブロックが各行で、左から右の方向及び右から左の方向のうちの１つの方向に走査されることを特徴とする請求項３に記載の方法。
8. 前記マクロブロックが連続する行で、左から右或いは右から左に交互に走査されることを特徴とする請求項７に記載の方法。
9. 前記マクロブロックがすべての行で、左から右に隠蔽されることを特徴とする請求項３に記載の方法。
10. 前記マクロブロックがすべての行で、右から左に隠蔽されることを特徴とする請求項３に記載の方法。
11. マクロブロックが偶数行で左から右に隠蔽されることを特徴とする請求項５に記載の方法。
12. マクロブロックが奇数行で右から左に隠蔽されることを特徴とする請求項５に記載の方法。
13. マクロブロックが偶数行で右から左に隠蔽されることを特徴とする請求項５に記載の方法。
14. マクロブロックが奇数行で左から右に隠蔽されることを特徴とする請求項５に記載の方法。
15. 隠蔽の開始に先立って欠落／被破壊ピクセル値を有する非方形配列のマクロブロックをマクロブロックの少なくとも２つの方形サブ配列に整え、かつ、
    サブ配列のそれぞれを独立に隠蔽する、
    ステップをさらに有することを特徴とする特徴とする請求項３に記載の方法。

Images