JP2007525908A - 重み付け予測を用いたエラー隠蔽技術 - Google Patents

Abstract

デコーダ（１０）は、ピクセル・エラーがないかどうか各マクロブロックを検査することによって、マクロブロックのストリームで構成された符号化画像中の空間的エラーを隠蔽する。そのようなエラーが存在する場合には、２つの異なるピクチャそれぞれの少なくとも２つのマクロブロック・ピクチャにそれぞれ重み付けして、ピクセル・エラーを有することが判明したマクロブロックを隠蔽するための欠落／破損値を推定する重み付け予測（ＷＰ）を生成する。

Description

本発明は、マクロブロック・アレイで構成された符号化画像中のエラーを隠蔽する技術に関する。

多くの場合、格納および伝送を容易にするために、ビデオ・ストリームは圧縮（符号化）される。現在では、提案されているＩＳＯ／ＩＴＵ Ｈ．２．６４符号化技術などブロック・ベースの符号化方式も含めて、様々な符号化方式がある。このような符号化されたビデオ・ストリームでは、チャネル・エラーおよび／またはネットワークの輻輳によって伝送中にデータの損失が起きたり、またはビデオ・ストリーム自体が破損したりすることも珍しくない。こうしたデータの損失／破損は、復号時にピクセル値の欠落／破損という形で現れ、これにより画像のアーチファクトが生じる。こうしたアーチファクトを低減するために、デコーダは、これらの欠落／破損したピクセル値を、同じピクチャ画像のその他のマクロブロック、または他のピクチャから推定することによって、「隠蔽」する。デコーダは欠落／破損したピクセル値を実際に隠すわけではないので、「エラー隠蔽」という表現には多少不正確な部分もある。

空間的隠蔽は、空間領域内の隣接する区間の間の類似性に依拠して、欠落／破損したピクセル値を、同じ画像内のその他のエリアのピクセル値から導出（推定）しようとするものである。時間的隠蔽は、時間的冗長性を有するその他の画像から欠落／破損したピクセル値を導出しようとするものである。一般に、エラー隠蔽された画像は、オリジナルの画像に近い。しかし、エラー隠蔽された画像を基準として使用すると、エラーが伝播することになる。ピクチャのシーケンスまたはグループがフェードまたはディゾルブ（ｄｉｓｓｏｌｖｅ）を含むときには、現在のピクチャは、参照ピクチャ自体との相関より、重み係数でスケーリングした参照ピクチャとの相関が強くなる。このような場合には、動き補償にのみ依拠する一般に使用される時間的隠蔽技術では、十分な結果が得られない。

従って、エラーの伝搬を有利に低減することができる隠蔽技術が必要とされている。

（発明の概要）
簡単に述べると、本発明の原理の好ましい実施形態によれば、マクロブロックのストリームで構成された符号化画像中のエラーを隠蔽する技術が提供される。この方法は、まず、ピクセル・エラーがないかどうか各マクロブロックを検査することから始まる。ピクセル・エラーが存在する場合には、少なくとも１つのピクチャの少なくとも１つのマクロブロックに重み付けして、欠落／破損した値を推定するための重み付け予測（ＷＰ）を生成し、ピクセル・エラーを有することが判明したマクロブロックを隠蔽する。

導入
本発明の原理による、符号化されたマクロブロックのストリームで構成された画像中のエラーを重み付け予測によって隠蔽する技術を完全に理解するためには、ビデオ圧縮のＪＶＴ規格について簡単に触れておくことが有用であろう。ＪＶＴ規格（Ｈ．２６４およびＭＰＥＧ ＡＶＣとも呼ばれる）は、重み付け予測（ＷＰ）を採用するための第１のビデオ圧縮規格を含んでいる。ＭＰＥＧ−１、２および４によって規定されるビデオ圧縮技術など、ＪＶＴ以前のビデオ圧縮技術では、単一の参照ピクチャを予測に使用する（すなわちＰピクチャ）ことにより、スケーリングは起こらなかった。双方向予測を用いる（Ｂピクチャ）場合には、２つの異なるピクチャから予測値が生成され、等しい重み係数（１／２、１／２）を用いてこれら２つの予測値を平均して、１つの平均予測値を生成する。ＪＶＴ規格では、複数の参照ピクチャをフレーム間予測に使用することができる。その際には、参照ピクチャのインデックスを符号化して、これら複数の参照ピクチャのうち特定の１つが使用されていることを示す。Ｐピクチャ（またはＰスライス）では、単方向予測のみを使用し、許容参照ピクチャは第１のリスト（リスト０）において管理される。Ｂピクチャ（またはＢスライス）では、参照ピクチャの２つのリスト、リスト０およびリスト１を管理する。このＢピクチャ（またはＢスライス）に対しては、ＪＶＴ規格では、リスト０またはリスト１を用いた単方向予測だけでなく、リスト０およびリスト１の両方を用いた双方向予測も行うことができる。双方向予測を用いるときには、リスト０およびリスト１の予測子の平均をとって、これを最終的な予測子とする。パラメータｎａｌ＿ｒｅｆ＿ｉｄｃは、デコーダ・バッファにおいてＢピクチャを参照ピクチャとして使用していることを示す。便宜上、Ｂ＿ｓｔｏｒｅｄという用語は、参照ピクチャとして使用されるＢピクチャを指し、Ｂ＿ｄｉｓｐｏｓａｂｌｅという用語は、参照ピクチャとして使用されないＢピクチャを指す。ＪＶＴのＷＰツールでは、任意の乗法的重み係数（ｍｕｌｔｉｐｌｉｃａｔｉｖｅ ｗｅｉｇｈｔｉｎｇ ｆａｃｔｏｒ）および加法オフセット（ａｄｄｉｔｉｖｅ ｏｆｆｓｅｔ）をＰピクチャおよびＢピクチャの両方の参照ピクチャ予測に適用することができる。

このＷＰツールは、フェード／ディゾルブ・シーケンスを符号化するのに特に有利である。Ｐピクチャの場合など単方向予測に適用した場合には、ＷＰにより、以前になされたエラー回復のための提案であるリーキー予測（ｌｅａｋｙ ｐｒｅｄｉｃｔｉｏｎ）と同様の結果が得られる。リーキー予測は、スケーリング・ファクタを０≦α≦１の範囲に限定した、特殊なケースのＷＰとなる。ＪＶＴのＷＰでは、負のスケーリング・ファクタおよび１より大きいスケーリング・ファクタを用いることができる。

ＪＶＴ規格のメイン・プロファイル（Ｍａｉｎ ｐｒｏｆｉｌｅ）および拡張プロファイル（Ｅｘｔｅｎｄｅｄ ｐｒｏｆｉｌｅ）は、重み付け予測（ＷＰ）をサポートする。ＰスライスおよびＳＰスライスに対して設定されるシーケンス・パラメータは、ＷＰが使用されることを示す。ＷＰモードは２つのモードがある。（ａ）Ｐスライス、ＢスライスおよびＳＰスライスをサポートする明示（ｅｘｐｌｉｃｉｔ）モードと、（ｂ）Ｂスライスのみをサポートする暗示（ｉｍｐｌｉｃｉｔ）モードである。明示モードおよび暗示モードについて、以下で述べる。

明示モード
明示モードでは、ＷＰパラメータはスライス・ヘッダ中に符号化される。各色成分ごとの乗法的重み係数および加法オフセットは、ＰスライスおよびＢスライスのリスト０の許容参照ピクチャのそれぞれについて符号化される。同じピクチャ内のすべてのスライスは同じＷＰパラメータを使用しなければならないが、それらはエラー回復のために各スライスで再送される。しかし、同じ参照ピクチャ・ストアから予測されるときでも、同一ピクチャ内の異なるマクロブロックは異なる重み係数を使用することができる。これは、メモリ管理制御動作（ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｃｏｎｔｒｏｌ ｏｐｅｒａｔｉｏｎ）（ＭＭＣＯ）コマンドを用いて、複数の参照ピクチャ・インデックスを特定の参照ピクチャ・ストアと関連付けることによって可能となる。

双方向予測では、単方向予測で用いたのと同じ重み付けパラメータを組み合わせて使用する。最終的なフレーム間予測値は、使用する予測タイプに基づいて、各マクロブロックまたはマクロブロック区画のピクセルに対して生成される。リスト０からの単方向予測では、重み付けされた予測子ＳａｍｐｌｅＰは、以下の数式（１）で与えられる。

リスト１からの単方向予測では、ＳａｍｐｌｅＰの値は以下の数式（２）で与えられる。

双方向予測では、以下のようになる。

ここで、Ｃｌｉｐ１（）は、範囲［０、２５５］にクリッピングする演算子であり、Ｗ_０およびＯ_０は、それぞれリスト０の参照ピクチャの重み係数およびオフセットであり、Ｗ_１およびＯ_１は、それぞれリスト１の参照ピクチャの重み係数およびオフセットであり、ＬＷＤは対数重みデノミネータ丸め係数（ｌｏｇ ｗｅｉｇｈｔ ｄｅｎｏｍｉｎａｔｏｒ ｒｏｕｎｄｉｎｇ ｆａｃｔｏｒ）である。ＳａｍｐｌｅＰ０およびＳａｍｐｌｅＰ１は、リスト０およびリスト１の初期予測子であり、ＳａｍｐｌｅＰは重み付けされた予測子である。

暗示モード
ＷＰの暗示モードでは、重み係数は明示的にスライス・ヘッダに含めて伝送されることはなく、その代わりに現在のピクチャと参照ピクチャの間の相対距離に基づいて導出される。暗示モードは、直接モードを用いたものも含めて、Ｂスライス中の双方向予測符号化されたマクロブロックおよびマクロブロック区画に対してのみ使用される。オフセット値Ｏ_０およびＯ_１がゼロに等しく、重み係数Ｗ_０およびＷ_１が以下の数式を用いて導出されることを除けば、前述の明示モードの項で双方向予測に関して与えたのと同じ双方向予測に関する数式が用いられる。

これは、以下の数式の除算を行わない１６ビット・セーフな演算を実施したものである。

ここで、ＴＤ_Ｂは、範囲［−１２８、１２７］にクリッピングされたリスト１の参照ピクチャとリスト０の参照ピクチャの間の時間差であり、ＴＤ_Ｂは、範囲［−１２８、１２７］にクリッピングされた現在のピクチャとリスト０の参照ピクチャの差である。

従来は、エラー隠蔽のためのＷＰツールは存在しなかった。ＷＰ（リーキー予測）はエラー回復には適用されるようになったが、複数の参照フレームの使用に対応するようにはなっていない。本発明の原理によれば、余分な費用をかけずにＷＰを実施することができるＪＶＴ規格などの圧縮規格に準拠した任意のビデオ・デコーダで実施することができる、重み付け予測（ＷＰ）をエラー隠蔽に用いる方法が提供される。

ＷＰ隠蔽のためのＪＶＴ準拠デコーダの説明
図１は、本発明の原理による重み付け予測エラー隠蔽を可能にするＷＰを実施するＪＶＴ準拠ビデオ・デコーダ１０を示す概略ブロック図である。デコーダ１０は、ＪＶＴ規格に従って符号化された入来符号化ビデオ・ストリームに対してエントロピ復号を行う可変長デコーダ・ブロック１２を含んでいる。デコーダ・ブロック１２から出力されたエントロピ復号されたビデオ・ストリームは、ブロック１４で逆量子化され、その後ブロック１６で逆変換された後で、加算器１８の第１の入力で受信される。

図１のデコーダ１０は、デコーダの出力（すなわち加算器１８の出力）で生成された連続的なピクチャを、後続のピクチャの予測に使用するために記憶しておく参照ピクチャ・ストア（メモリ）２０を含んでいる。参照ピクチャ・インデックス値は、参照ピクチャ・ストア２０に記憶された個々の参照ピクチャを識別する働きをする。動き補償ブロック２２は、参照ピクチャ・ストア２０から取り出されたフレーム間予測のための参照ピクチャ（１つまたは複数）の動き補償を行う。乗算器２４は、動き補償された参照ピクチャ（１つまたは複数）を、参照ピクチャ重み係数参照テーブル２６から得た重み係数でスケーリングする。可変長デコーダ・ブロック１２が生成する復号されたビデオ・ストリーム内には、画像内のマクロブロックのフレーム間予測に使用される参照ピクチャ（１つまたは複数）を識別する参照ピクチャ・インデックスがある。参照ピクチャ・インデックスは、テーブル２６から適当な重み係数およびオフセット値を探すためのキーとして働く。乗算器２４によって生成された重み付けされた参照ピクチャ・データは、加算器２８で、参照ピクチャ重み係数参照テーブル２６から得たオフセット値と加算される。加算器２８における加算で得られた参照ピクチャとオフセット値の組合せは、加算器１８の第２の入力となり、加算器１８の出力はデコーダ１０の出力となる。

本発明の原理によれば、デコーダ１０は、連続的な復号マクロブロックを予測するための重み付け予測を行うだけではなく、ＷＰを用いたエラー隠蔽も実施する。この目的のために、可変長デコーダ・ブロック１２は、入来する符号化されたマクロブロックを復号する働きだけでなく、ピクセル・エラーがないかどうか各マクロブロックを検査する働きもする。可変長デコーダ・ブロック１２は、検出されたピクセル・エラーに応じてエラー検出信号を生成し、これがエラー隠蔽パラメータ生成器３０で受信される。図３Ａおよび図３Ｂを参照して詳細に述べるが、生成器３０は、それぞれ乗算器２４および加算器２８で受信される、ピクセル・エラーを隠蔽するための重み係数およびオフセット値の両方を生成する。

図２は、本発明の原理による、図１のデコーダ１０などのＪＶＴ（Ｈ．２６４）デコーダにおいて重み付け予測を用いてエラーを隠蔽する方法の各ステップを示す図である。この方法は、デコーダ１０をリセットする初期化（ステップ１００）から始まる。ステップ１００に続いて、図２のステップ１１０において、デコーダ１０が受信する各入来マクロブロックは、図１の可変長デコーダ・ブロック１２でエントロピ復号される。次いで、図２のステップ１２０で、復号されたマクロブロックが最初にフレーム間符号化されていたかどうか（すなわち別のピクチャを参照して符号化されたかどうか）を判定する。最初にフレーム間符号化されていない場合には、ステップ１３０が実行され、復号されたマクロブロックに対してフレーム内予測、すなわち同じピクチャ内の１つまたは複数のマクロブロックを用いた予測が行われる。

フレーム間符号化されたマクロブロックの場合には、ステップ１２０に続いてステップ１４０が実行される。ステップ１４０では、フレーム間符号化されたマクロブロックが重み付け予測を用いて符号化されたかどうかを確認する。重み付け予測を用いて符号化されていない場合には、ステップ１５０で、このマクロブロックに対してデフォルトのフレーム間予測が行われる（すなわち、このマクロブロックに対してデフォルト値を用いたフレーム間予測が行われる）。そうでない場合には、ステップ１６０で、このマクロブロックに対してＷＰフレーム間予測が行われる。ステップ１３０、１５０または１６０を実行した後で、ステップ１７０でエラー検出を行い（図１の可変長デコーダ・ブロック１２が行う）、欠落または破損によるピクセル・エラーの有無を判定する。エラーが存在する場合には、ステップ１９０を行い、適当なＷＰモード（暗示モードまたは明示モード）を選択し、図１の発生器３０が対応するＷＰパラメータを選択する。その後、プログラムの実行はステップ１６０に進む。そうでない場合、すなわちエラーが存在しない場合には、このプロセスは終了する（ステップ２００）。

上述のように、ＪＶＴビデオ復号規格は、（ａ）Ｐスライス、ＳＰスライスおよびＢスライスに対応した明示モード、および（ｂ）Ｂスライスのみに対応した暗示モードという、２つのＷＰモードを規定している。図１のデコーダ１０は、後述するモード選択プロセスのためのいくつかの方法のうちの１つに従って、明示モードまたは暗示モードを選択する。その後、選択したＷＰモード（暗示または明示）に応じて、ＷＰパラメータ（重み係数およびオフセット）を設定する。参照ピクチャは、リスト０またはリスト１に含まれるそれ以前に復号されたピクチャであれば何れでもよいが、隠蔽のための参照ピクチャとしては、最後に記憶された復号ピクチャを用いるものとする。

ＷＰモードの選択
現在のピクチャおよび／または参照ピクチャのエンコードされたビット・ストリームにおいてＷＰが使用されているか否かに応じて、様々な基準を用いて、どちらのＷＰモードをエラー隠蔽に使用するかを決定することができる。現在のピクチャまたは近傍のピクチャでＷＰが使用されている場合には、エラー隠蔽にもＷＰを使用することになる。ＷＰは、１つのピクチャ内のすべてのスライスに適用するか、あるいはまったく適用しないかの何れかでなければならないので、図１のデコーダ１０は、ＷＰが適用されているかどうか不明のスライスがあったとしても、伝送エラーを生じずに受信された当該ピクチャ内のその他のスライスを検査することにより、現在のピクチャでＷＰが使用されているかどうかを判定することができる。本発明の原理によるエラー隠蔽のためのＷＰは、暗示モードまたは明示モードを用いて、あるいは両方のモードを用いて行うことができる。

図３Ａは、暗示ＷＰモードおよび明示ＷＰモードの一方をアプリオリに、すなわちエラー隠蔽を実施する前に選択するために利用される方法の各ステップを示す図である。図３Ａに示すモード選択方法は、ステップ２００で、必要なすべてのパラメータを入力することから始まる。その後、ステップ２１０でエラー検出を行い、現在のピクチャ／スライス中にエラーが存在するかどうかを確認する。次に、ステップ２２０で、ステップ２１０でエラーが発見されたかどうかを確認する。エラーが発見されなかった場合には、エラー隠蔽は不要であり、ステップ２３０でフレーム間予測復号を行った後に、ステップ２４０で、このデータが出力される。

ステップ２２０でエラーが発見されると、ステップ２５０で、現在のピクチャまたは以前に符号化された任意のピクチャの符号化で使用されるピクチャ・パラメータ・セットにおいて暗示モードが指示されているかどうかを確認する。暗示モードが指示されていない場合には、ステップ２６０を行い、ＷＰ明示モードが選択され、図１の生成器３０はこのモードのＷＰパラメータ（重み係数およびオフセット）を設定する。そうでない場合、暗示モードが選択されている場合には、ステップ２７０で、現在のピクチャと参照ピクチャの間の相対距離に基づいて、ＷＰパラメータ（重み係数およびオフセット）が得られる。ステップ２６０または２７０に続いて、ステップ２８０でフレーム間予測モードの復号およびエラー隠蔽が行われた後に、ステップ２４０でデータ出力が行われる。

図３Ｂは、フレーム間予測復号およびエラー隠蔽を実行した後で得られた最良の結果を用いてアポステリオリに暗示ＷＰモードおよび明示ＷＰモードの一方を選択するために利用される方法の各ステップを示す図である。図３Ｂに示すモード選択方法は、ステップ３００で、必要なすべてのパラメータを入力することから始まる。その後、ステップ３１０でエラー検出を行い、現在のマクロブロック中にエラーが存在するかどうかを確認する。次に、ステップ３２０で、ステップ３１０でエラーが発見されたかどうかを確認する。エラーが発見されなかった場合には、エラー隠蔽は不要であり、ステップ３３０でフレーム間予測復号を行った後に、ステップ３４０で、このデータが出力される。

ステップ３２０でエラーが発見されると、ステップ３４０および３５０の両方が行われる。これらのステップでは、図１のデコーダ１０は、暗示モードを用いたＷＰおよび明示モードを用いたＷＰをそれぞれ開始する。次に、ステップ３６０および３７０が行われ、それぞれステップ３４０および３５０で得られたＷＰパラメータを用いて、フレーム間予測復号およびエラー隠蔽が行われる。ステップ３８０で、ステップ３６０で得られた隠蔽結果とステップ３７０で得られた隠蔽結果とが比較され、最良の結果が選択されて、ステップ３４０で出力される。例えば、空間的連続性の尺度を利用して、どちらのモードでより良好な隠蔽が行われたかを判定することもできる。

図３Ａの方法によるアプリオリなモード決定に進むという決定は、現在のピクチャ内の破損エリアの空間的近傍にある正常に受信されたスライスのモード、または参照ピクチャ内の時間的に同じ位置にあるスライスのモードを考慮することによって下すことができる。ＪＶＴでは、同一のピクチャ内のすべてのスライスに対して同じモードを使用しなければならないが、時間的近傍（または時間的に同じ位置にあるスライス）とはモードが異なっていてもよい。エラー隠蔽では、このような制限はないが、空間的近傍が利用できる場合には、それらのモードを使用することが好ましい。時間的近傍のモードは、空間的近傍が利用できない場合にのみ使用される。この手法では、デコーダ１０で元のＷＰ関数を変更する必要がない。また、後述のように、空間的近傍を使用することは、時間的近傍を使用するより簡単である。

別の方法では、現在のスライスの符号化タイプを使用して、アプリオリなモード決定に進む決定を下す。Ｂスライスでは、暗示モードを使用する。Ｐスライスでは、明示モードを使用する。暗示モードは、Ｂスライス中の双方向予測されたマクロブロックのみをサポートし、Ｐスライスはサポートしない。後述するように、一般に、ＷＰパラメータの推定は、明示モードより暗示モードの方が簡単である。

図３Ｂを参照して述べたアポステリオリなモード選択では、図１のデコーダ１０は、元のデータの知識を用いることなくエラー隠蔽の質を測るために使用される基準として、実質的にどのような基準を適用することもできる。例えば、デコーダ１０は、両方のＷＰモードを計算し、隠蔽したブロックとその隣接するブロックとの間の境界が最も滑らかに遷移するＷＰモードを採用することもできる。

以下の基準は、現在のピクチャまたは近傍のピクチャでＷＰが使用されていない場合であってもＷＰがエラー隠蔽の性能を改善することができるときにケース・バイ・ケースでモード決定を行うために利用される。第１のケースでは、ＷＰ暗示モードを使用して、不等の時間的距離で双方向予測補償に重み付けを行うことができる。一般性は失われないので、ピクチャの相関は近傍のピクチャが近い方が強く、また、この相関をモデリングする最も簡単な方法は、数式（４）に示すように現在のピクチャと参照ピクチャの間の時間的相対距離に基づいてＷＰパラメータを推定する、ＷＰ暗示モードに一致する線形モデルを使用することである、と想定することができる。本発明の原理の好ましい実施形態によれば、双方向予測補償を用いている場合には、ＷＰ暗示モードを用いて時間的エラー隠蔽を行う。ＷＰ暗示モードを用いることにより、シーンの移行を検出することなく、フェード／ディゾルブ・シーケンスの隠蔽された画像の画質が改善されるという利点が得られる。

第２のケースでは、ＷＰ明示モードを使用して、ピクチャ／スライスのタイプを考慮して双方向予測補償に重み付けを行うことができる。符号化されたビデオ・ストリームでは、符号化の質は、ピクチャ／スライスのタイプによって異なる可能性がある。一般に、Ｉピクチャは、他のタイプより符号化の質が高く、Ｐ＿ｓｔｏｒｅｄまたはＢ＿ｓｔｏｒｅｄはＢ＿ｄｉｓｐｏｓａｂｌｅより質が高い。双方向予測符号化されたブロックの時間的エラー隠蔽では、ＷＰを使用し、重み付けでピクチャ／スライスのタイプを考慮に入れている場合に、隠蔽された画像の質を高くすることができる。本発明の原理によれば、ピクチャ／スライスの符号化タイプに従ってＷＰパラメータを適用する場合には、双方向予測時間的エラー隠蔽では、明示モードを使用する。

第３のケースでは、隠蔽が行われた画像が基準として使用されるときに、ＷＰ明示モードを使用して、エラーの伝播を制限することができる。一般に、隠蔽が行われた画像は元の画像の近似であり、質が不安定になる可能性がある。隠蔽が行われた画像を後のピクチャの基準として使用すると、エラーを伝搬する恐れがある。時間的隠蔽では、隠蔽が行われた参照ピクチャ自体についてはあまり重み付けを行わないことで、エラーの伝播を制限する。本発明の原理によれば、双方向予測時間的エラー隠蔽にＷＰ明示モードを適用することで、エラーの伝播を制限する。

また、フェード／ディゾルブを検出した際にも、ＷＰをエラー隠蔽に使用することができる。ＷＰは、フェード／ディゾルブ・シーケンスの符号化に特に有用であるので、これらのシーケンスのエラー隠蔽の質も改善することができる。従って、本発明の原理によれば、フェード／ディゾルブが検出されたときには、ＷＰを使用するものとする。そのために、デコーダ１０は、フェード／ディゾルブ検出器（図示せず）を含んでいる。暗示モードを選択するか明示モードを選択するかの決定については、アプリオリな基準またはアポステリオリな基準の何れかを使用することができる。アプリオリな決定の場合には、双方向予測を使用する場合に暗示モードが採用される。逆に、単方向予測を使用する場合には、明示モードが採用される。アポステリオリな基準の場合には、デコーダ１０は、元のデータの知識を用いることなくエラー隠蔽の質を測るために使用される基準として、どのような基準を適用することもできる。暗示モードでは、デコーダ１０は、数式（４）を用いて、時間的距離に基づいてＷＰパラメータを導出する。しかし、明示モードでは、数式（１）〜（３）で使用されるＷＰパラメータを決定する必要がある。

ＷＰ明示モードのパラメータ推定
現在のピクチャまたは近傍のピクチャにおいてＷＰを使用する場合には、空間的近傍が利用可能であれば（すなわち空間的近傍が伝送エラーなしで受信された場合には）空間的近傍からＷＰパラメータを推定する、時間的近傍から推定する、あるいはその両者を用いて推定することができる。上側および下側両方の近傍のピクチャを利用する場合には、重み係数についてもオフセットについても、ＷＰパラメータは２つの値の平均値となる。近傍が１つしか利用可能でない場合には、ＷＰパラメータはこの利用できる近傍のパラメータと同じである。

時間的近傍からのＷＰパラメータの推定値は、オフセットを０に設定し、単方向予測の重み付け予測を次のように表し、

両方向予測の重み付け予測を次のように表すことによって得ることができる。

ここで、ｗ_ｉは重み係数である。

現在のピクチャをｆ、リスト０から得た参照ピクチャをｆ_０、リスト１から得た参照ピクチャをｆ_１と表すと、重み係数は以下のように推定することができる。

ここで、ピクチャ全体のａｖｇは平均強度（または色成分）値（ａｖｇで表される）である。別法として、数式（８）は、ピクチャ全体を用いなくてもよく、ａｖｇ（）の計算において破損エリアと同じ位置にある区域だけを使用すればよい。

数式（８）では、現在のピクチャｆのいくつかの区域が破損しているので、重み係数を計算するためには、ａｖｇ（ｆ）の推定値が必要となる。２つの手法がある。第１の手法は、図４に示すように、曲線の当てはめを使用して、ａｖｇ（ｆ）の値を求めるものである。横座標は時間を表し、縦座標はピクチャ全体の平均強度（または色成分）値（ａｖｇで表される）、または現在のピクチャの破損エリアと同じ位置にある区域の平均強度値を表す。

第２の手法は、図５に示すように、現在のピクチャにおいて、線形フェード／ディゾルブによる段階的移行が起きるものと想定する。数学的には、この状態は、次のように表すことができる。

ここで、下付き文字は時刻であり、ｎ_０は現在のピクチャを示し、ｎ_１は参照ピクチャを示し、ｎ_２およびｎ_３は、ｎ_１と同じかまたはｎ_１より前の以前に復号されたピクチャを示し、ｎ_２≠ｎ_３である。数式（９）により、ａｖｇ（ｆ）の計算が可能になる。数式（８）により、重み係数の推定値の計算が可能になる。実際のフェード／ディゾルブが線形でない場合には、異なるｎ_２およびｎ_３を用いると、異なるｗが得られる。これより少しだけ複雑にした方法では、ｎ_２およびｎ_３についていくつかの選択肢を調べた後で、すべての選択肢のｗの平均値を求める。

アプリオリな基準を用いて空間的近傍または時間的近傍からＷＰパラメータを選択する際には、空間的近傍の方が優先度が高い。時間的推定は、空間的近傍が利用できない場合にのみ使用される。これは、フェード／ディゾルブがピクチャ全体にわたって均一に適用され、空間的近傍を用いてＷＰパラメータを計算する方が、時間的近傍を用いる場合より複雑さが低いことを想定している。アポステリオリな基準では、デコーダ１０は、元のデータの知識を用いることなくエラー隠蔽の質を測るために使用される基準として、どのような基準を適用することもできる。

現在のピクチャまたは近傍のピクチャのエンコードにＷＰを使用しない場合には、その他の方法でＷＰパラメータを推定することができる。ピクチャ／スライスのタイプを考慮に入れて重み付け双方向予測補償を調整することによってＷＰ明示モードを使用する場合には、ＷＰオフセットを０に設定し、リスト０およびリスト１の参照ピクチャ内の時間的に同じ位置にあるブロックのスライスのタイプに基づいて重み係数を決定する。それらが同じである場合には、ｗ_０＝ｗ_１と設定する。それらが異なる場合には、スライス・タイプＩの重み係数はＰの重み係数より大きく、Ｐの重み係数はＢ＿ｓｔｏｒｅｄの重み係数より大きく、Ｂ＿ｓｔｏｒｅｄの重み係数はＢ＿ｄｉｓｐｏｓａｂｌｅの重み係数より大きい。例えば、リスト０内の時間的に同じ位置にあるスライスがＩであり、リスト１内の時間的に同じ位置にあるスライスがＰである場合には、ｗ_０＞ｗ_１となる。重み係数を決定する際には、数式（７）において（ｗ_０＋ｗ_１）／２＝１という条件を満たさなければならない。

隠蔽された画像を使用するときにエラー伝播を制限するためにＷＰ明示モードを使用する場合には、以下の例は、予測されるブロックと、そのブロック以前の、そのブロックに最も近いエラーを有するブロックとの間のエラー隠蔽距離に基づいて重み付けを計算する方法を示すものである。エラー隠蔽距離は、現在のブロックから、そのブロック以前の、そのブロックに最も近いエラーを有するブロックまでの、動き補償の反復回数として定義される。例えば、画像ブロックｆ_ｎ（下付き文字ｎは時間的指標）をｆ_ｎ−２から予測し、ｆ_ｎ−２をｆ_ｎ−５から予測し、ｆ_ｎ−５を隠蔽する場合には、エラー隠蔽距離は２となる。

分かりやすいように、ＷＰオフセットを０に設定し、重み付け予測を次のように表す。

ここで、次のように定義する。

ここで、０≦α、β≦１であり、ｎ０およびｎ１はＳａｍｐｌｅＰ０およびＳａｍｐｌｅＰ１のエラー隠蔽距離である。表索引を使用して、エラー隠蔽距離の記録をとっておくこともできる。イントラ・ブロック／ピクチャの場合には、エラー隠蔽距離は無限大になると考えられる。

明示モードでフェード／ディゾルブとしてピクチャ／スライスが検出された場合には、現在のピクチャでＷＰが使用されていないので、利用可能な空間的情報はない。この状況では、数式（６）〜（９）により、時間的近傍からＷＰパラメータを導出することができる。

以上、マクロブロックのアレイで構成された符号化画像中のエラーを重み付け予測を用いて隠蔽する技術について説明した。

ＷＰを実施するビデオ・デコーダを示す概略ブロック図である。 本発明の原理によって実行される、ＷＰを用いてエラーを隠蔽する方法の各ステップを示す図である。 エラー隠蔽のためのＷＰモードのアプリオリな選択に関連する各ステップを示す図である。 エラー隠蔽のためのＷＰモードのアポステリオリな選択に関連する各ステップを示す図である。 欠落ピクセル・データの平均を求めるための曲線の当てはめのプロセスを示すグラフである。 線形フェード／ディゾルブが起きるマクロブロックについての曲線の当てはめを示す図である。

Claims (34)

1. 符号化されたマクロブロックのストリームで構成された画像中の空間的エラーを隠蔽する方法であって、
   ピクセル・データ・エラーがないかどうか各マクロブロックを検査するステップと、そのようなエラーが存在する場合に、
   少なくとも１つの参照ピクチャから少なくとも１つのマクロブロックに重み付けし、ピクセル・エラーを有することが判明したマクロブロックを隠蔽するための重み付け予測を生成するステップとを含む方法。
2. ＪＶＴビデオ符号化規格に従って暗示モードの重み付け予測を用いて少なくとも１つのマクロブロックに重み付けするステップをさらに含む、請求項１に記載の方法。
3. ＪＶＴビデオ符号化規格に従って明示モードの重み付け予測を用いて少なくとも１つのマクロブロックに重み付けするステップをさらに含む、請求項１に記載の方法。
4. 双方向予測補償を用いた時間的隠蔽に暗示モードを用いるステップをさらに含む、請求項２に記載の方法。
5. 前記参照ピクチャのタイプに従って双方向予測補償を用いて少なくとも１つのマクロブロックに重み付けするステップをさらに含む、請求項１に記載の方法。
6. 前記少なくとも１つの参照ピクチャの少なくとも一部分が以前に隠蔽されている場合に、エラーの伝播を制限するために、少なくとも１つのマクロブロックに重み付けするステップをさらに含む、請求項１に記載の方法。
7. 前記少なくとも１つの参照ピクチャの少なくとも一部分が繰り返し隠蔽されている場合に、エラーの伝播を制限するために、少なくとも１つのマクロブロックに重み付けするステップをさらに含む、請求項６に記載の方法。
8. 異なる参照ピクチャから少なくとも２つの異なるマクロブロックのそれぞれに重み付けして、ピクセル・エラーを有することが判明したマクロブロックを隠蔽するための重み付け予測を生成するステップをさらに含む、請求項１に記載の方法。
9. 現在のピクチャおよび近傍のピクチャの前記少なくとも１つのマクロブロックに重み付けするステップをさらに含む、請求項８に記載の方法。
10. フェードまたはディゾルブの一方が検出されたときに、前記少なくとも１つのマクロブロックに重み付けするステップをさらに含む、請求項１に記載の方法。
11. 規定の基準に従って暗示モードおよび明示モードの一方を用いて前記少なくとも１つのマクロブロックに重み付けするステップをさらに含む、請求項１に記載の方法。
12. 空間的近傍のマクロブロックおよび時間的近傍のマクロブロックの一方と関連する基準に従って、それぞれ暗示モードおよび明示モードの一方を用いて、前記少なくとも１つのマクロブロックに重み付けするステップをさらに含む、請求項１１に記載の方法。
13. 正常に受信された空間的近傍のマクロブロックおよび時間的近傍のマクロブロックの一方と関連する基準に従って、それぞれ暗示モードおよび明示モードの一方を用いて、前記少なくとも１つのマクロブロックに重み付けするステップをさらに含む、請求項１２に記載の方法。
14. 参照ピクチャのタイプに関連する基準に従って暗示モードおよび明示モードの一方を用いて、前記少なくとも１つのマクロブロックに重み付けするステップをさらに含む、請求項１１に記載の方法。
15. 時間的近傍のマクロブロックから前記少なくとも１つのマクロブロックに重み付けするための重み付け値を推定するステップをさらに含む、請求項３に記載の方法。
16. 曲線の当てはめを行って推定重み付け値が導出される平均強度値を求めることにより、前記時間的近傍のマクロブロックから重み付け値を推定するステップをさらに含む、請求項１５に記載の方法。
17. 前記参照ピクチャ中の線形フェード／ディゾルブに基づいて時間的近傍のマクロブロックから前記重み付け値を推定するステップをさらに含む、請求項１５に記載の方法。
18. 少なくとも１つの空間的近傍のマクロブロックから前記少なくとも１つのマクロブロックに重み付けするための重み付け値を推定するステップをさらに含む、請求項７に記載の方法。
19. 規定の基準に従って空間的近傍のマクロブロックおよび時間的近傍のマクロブロックの少なくとも一方から、前記少なくとも１つの異なるマクロブロックに重み付けするための重み付け値を推定するステップをさらに含む、請求項９に記載の方法。
20. 前記規定の基準が、前記少なくとも１つの空間的近傍のマクロブロックにより高い優先度を割り当てることを含む、請求項１９に記載の方法。
21. 最近記憶されたピクチャの集合から前記参照ピクチャを選択するステップをさらに含む、請求項１に記載の方法。
22. 符号化されたマクロブロックのストリームで構成された画像中の空間的エラーを隠蔽する方法であって、
    ピクセル・データ・エラーがないかどうか各マクロブロックを検査するステップと、そのようなエラーが存在する場合に、
    少なくとも２つの異なる参照ピクチャから少なくとも２つの異なるマクロブロックのそれぞれに重み付けし、ピクセル・エラーを有することが判明したマクロブロックを隠蔽するための重み付け予測を生成するステップとを含む方法。
23. 符号化されたマクロブロックのストリームで構成された画像中の空間的エラーを隠蔽するデコーダであって、
    ピクセル・データ・エラーがないかどうか各マクロブロックを検査する検出器と、
    ピクセル・エラーを有することが判明したマクロブロックを隠蔽するために、参照ピクチャから少なくとも１つのマクロブロックを重み付けするための値を生成するエラー隠蔽パラメータ生成器とを含む、デコーダ。
24. 前記検出器が、可変長デコーダ・ブロックを含む、請求項２３に記載のデコーダ。
25. 前記エラー隠蔽パラメータ生成器が、ＪＶＴビデオ符号化規格に従って暗示モードの重み付け予測を用いて前記少なくとも１つのマクロブロックを重み付けする値を生成する、請求項２３に記載のデコーダ。
26. 前記エラー隠蔽パラメータ生成器が、ＪＶＴビデオ符号化規格に従って明示モードの重み付け予測を用いて前記少なくとも１つのマクロブロックに重み付けする値を生成する、請求項２３に記載のデコーダ。
27. 前記エラー隠蔽パラメータ生成器が、前記参照ピクチャの少なくとも一部分が以前に隠蔽されている場合にエラーの伝播を制限するために前記少なくとも１つのマクロブロックに重み付けする値を生成する、請求項２３に記載のデコーダ。
28. 前記エラー隠蔽パラメータ生成器が、フェードまたはディゾルブの一方が検出されたときに前記少なくとも１つのマクロブロックに重み付けする値を生成する、請求項２３に記載のデコーダ。
29. 前記エラー隠蔽パラメータ生成器が、規定の基準に従って暗示モードおよび明示モードの一方を用いて前記少なくとも１つのマクロブロックに重み付けする値を生成する、請求項２３に記載のデコーダ。
30. 前記エラー隠蔽パラメータ生成器が、空間的近傍のマクロブロックおよび時間的近傍のマクロブロックの一方と関連する基準に従って前記少なくとも１つのマクロブロックに重み付けする値を生成する、請求項２９に記載のデコーダ。
31. 正常に受信された空間的近傍のマクロブロックおよび時間的近傍のマクロブロックの一方と関連する基準に従って前記エラー隠蔽パラメータ生成器が、前記少なくとも１つのマクロブロックに重み付けする値を生成する、請求項２９に記載のデコーダ。
32. 前記エラー隠蔽パラメータ生成器が、参照ピクチャのタイプに関連する基準に従って前記少なくとも１つのマクロブロックに重み付けする値を生成する、請求項２９に記載のデコーダ。
33. 前記エラー隠蔽パラメータ生成器が、時間的近傍のマクロブロックから前記値と推定することによって、前記少なくとも１つのマクロブロックを重み付けする値を生成する、請求項２３に記載のデコーダ。
34. 符号化されたマクロブロックのストリームで構成された画像中の空間的エラーを隠蔽するデコーダであって、
    ピクセル・データ・エラーがないかどうか各マクロブロックを検査する検出器と、
    少なくとも２つの異なる参照ピクチャから少なくとも２つの異なるマクロブロックのそれぞれを重み付けするための値を生成して、ピクセル・エラーを有することが判明したマクロブロックを隠蔽するための重み付け予測を生成するエラー隠蔽パラメータ生成器とを含む、デコーダ。

Images