JP2008508787A

JP2008508787A - インター符号化系列向けのエラー隠蔽技術

Info

Publication number: JP2008508787A
Application number: JP2007523521A
Authority: JP
Inventors: ゴミラ，クリスティーナ; ボイス，ジル，マクドナルド
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2004-07-29
Filing date: 2004-07-29
Publication date: 2008-03-21
Also published as: US20090225832A1; DE112004002932T5; CN1993997A; WO2006022665A1

Abstract

本発明は、表示する符号化ピクチャ及びリファレンスピクチャとして記憶する符号化ピクチャのための異なるエラー隠蔽技術を使用することで、エラー隠蔽の品質を改善する。リアルタイムでの使用のために最適化される隠蔽技術は、表示されるピクチャについて最良の視覚品質を提供し、失われたデータを回復するために最適化される隠蔽技術は記憶されたリファレンス画像の品質を改善する。

Description

本発明は、本発明は、符号化ピクチャにおけるエラーの隠蔽の技術に関する。

多くの場合、記憶及び伝送を容易にするためにビデオストリームは圧縮（符号化）を受ける。現在、提案されるＩＳＯ／ＩＴＵＨ．２．６４符号化技術のようなブロックベースのスキームを含めて、様々な符号化スキームが存在する。まれにではなく、かかる符号化ビデオストリームは、データ損失を受けるか、又は、チャネルエラー及び／又はネットワークの混雑のために伝送の間に破壊される。復号化に応じて、データの損失／破壊は、ピクチャのアーチファクトを生じる亡失／破壊された画素値として現れる。かかるアーチファクトを低減するため、デコーダは、同じピクチャの他のマクロブロックから、又は他のピクチャからの値を予測することで、かかる亡失／破壊された画素値を「隠蔽」する。フレーズエラー隠蔽は、デコーダが亡失／破壊された画素値を実際に隠さないために幾分誤った呼び方である。

空間的な隠蔽は、空間領域における隣接領域間の類似性に依存して、亡失／破壊された画素値を同じピクチャにおける他のエリアからの画素値から導出（予測）しようとする。時間的な隠蔽は、時間的な冗長度を有する他の画素から亡失／破壊された画素値を導出しようとする。一般に、エラー隠蔽されたピクチャは、オリジナルのピクチャを近似する。しかし、エラー隠蔽されたピクチャを基準として使用することは、エラーを伝播させる。今日のリアルタイムアプリケーションは、エラー隠蔽について２つの厳しい制約を課している。
・時間的な制約として、破壊されたフレームのエラー検出と表示との間のインターバルを定義する時間窓での隠蔽の計算を強制する。
・因果関係の制約として、隠蔽について潜在的に関連するビットストリームにおける到来情報にもかかわらず、以前に伝送された情報に基づいてピクチャの隠蔽を強制する。
両方の制約は、隠蔽アルゴリズムの性能を強く制限し、エラーの伝播を増加させる。

エラー伝播の問題は、後続するリファレンスと同様に、ディスプレイの隠蔽されたピクチャの使用に依存して異なる。隠蔽されたピクチャがリファレンスとして使用されず、表示可能なピクチャであるとき、隠蔽の不正確さは、他のインター符号化ピクチャ（ｉｎｔｅｒ−ｃｏｄｅｄｐｉｃｔｕｒｅ）の品質を決して妥協させない。しかし、結果はリアルタイムで必要とされる。隠蔽されたピクチャがリファレンスピクチャとして使用されるとき、エラーはしばしば伝播し、それらの時間の持続性のために目に見ることができる。しかし、リアルタイムの制約は、隠蔽されたピクチャからリファレンスピクチャを導出することに関連するアルゴリズムの複雑さを制限しない。エラー伝播を低減することは、典型的に、エラーの回復力の問題として対処される。最も一般的なエラーの回復技術は、送信されたストリームにおける冗長ビットの包含を必要とし、符号化効率及び増加する時間遅延を犠牲にして、失われた又は損なわれたパケットの再送信のためにフィードバックチャネルを利用する。

時間的な制約と因果関係の制約をサポートしないアプリケーションについて、エラー隠蔽アルゴリズムは、デコーダでの送信エラーを訂正するために必要となる。かかる状況下では、エラー伝播は、リファレンスピクチャに関する隠蔽の品質に依存する。以前は、エラー伝播を防止することは、リファレンスとして前に隠蔽されたブロックの使用を回避することを必要とした。しかし、かかる技術は、破壊されたピクチャがリファレンスとしての役割を果たすか、表示のためにのみ必要とされるかに依存して、エラー伝播の問題に対処していない。

したがって、上述された問題点を克服しつつ、エラー隠蔽の品質を改善する技術が必要とされている。

要するに、本発明の好適な実施の形態によれば、符号化されたピクチャにおけるエラーを隠蔽する方法が提供される。本方法は、符号化ピクチャがエラーを有するかをはじめに識別することで始動される。符号化ピクチャがエラーを有する場合、表示のための第一の隠蔽技術を使用してピクチャが隠蔽される。エラーを有するとして識別されたピクチャについて、そのピクチャがリファレンスピクチャとしての役割を果たすかに関する判定が行われる。そのピクチャがリファレンスピクチャとして役割を果たす場合、そのピクチャは第二の隠蔽技術を使用して隠蔽される。

図１は、符号化されたピクチャを復号化するためのデコーダアレンジメント１０のブロック図を示す。デコーダアレンジメント１０は、スケーリング及び逆変換ブロック１２への入力のためのデコードされたビットストリームを生成するエントロピーデコーダ１１を含む。到来する符号化ビットストリームによれば、エントロピーデコーダ１１は、動きベクトルのセット、インター予測モードの行き先、及び動き補償ブロック１４への入力のための１以上のリファレンスピクチャの選択を提供し、動き補償ブロック１４は、リファレンスピクチャストア１６で記憶される、１以上の以前に記憶されたリファレンスピクチャを使用して、動き補償を実行する。サミングブロック１８は、動き補償ブロック１４により生成された動き補償されたピクチャをスケーリング及び逆変換ブロック１２からのピクチャと合計する。デブロッキング（ｄｅ−ｂｌｏｃｋｉｎｇ）フィルタ２０は、サミングブロック１８により出力されたピクチャをデブロックし、表示のためにデコードされた画像を生成する。また、デブロッキングフィルタ２０により出力されたデコードされた画像は、リファレンスピクチャとしての後の可能性のある使用のためにリファレンスピクチャストア１６において記憶される。

デコーダアレンジメント１０に入力される全ての符号化されたピクチャは、最終的に表示されるが、それらのうちの幾つかのみがリファレンス（参照）のために使用される。エントロピーデコーダ１１により受信された到来するビデオストリームがＨ．２６４圧縮規格を使用して圧縮されているとき、符号化されたそれぞれのピクチャのＮＡＬヘッダにおけるｎａｌ＿ｒｅｆ＿ｉｄｃフィールドは、ピクチャがリファレンスピクチャとしての役割を果たすか否かを示す。エントロピーデコーダ１１は、かかる情報を使用して、特定のピクチャがリファレンスピクチャとしての役割を果たすか否かを判定する。ｎａｌ＿ｒｅｆ＿ｉｄｃがゼロである場合、ピクチャはリファレンスとしての役割を果たさない。ｎａｌ＿ｒｅｆ＿ｉｄｃが０に等しくない場合、ピクチャはリファレンスピクチャとしての役割を果たす。

図２，図３及び図５は、本発明の原理に係るエラー隠蔽を実行する代替的な方法をフローチャートでそれぞれ示している。以下に更に詳細に説明されるように、図２，図３及び図５に示されるエラー隠蔽方法は、ピクチャを表示するためにある技術を利用し、リファレンスピクチャとして選択されるピクチャについて異なる技術を利用する。ピクチャの表示に固有のエラー隠蔽技術を使用することで、リアルタイムの制約下での最良の視覚的な品質が提供され、リファレンスピクチャに固有のエラー隠蔽技術を使用することで、失われたデータのより正確な回復が可能である。全ての符号化されたピクチャは表示されるので、かかるピクチャは、表示のために特別の技術を使用して隠蔽を受けることができ、リファレンスピクチャとして選択されたピクチャのみが、リファレンスピクチャのために特別の技術を使用して隠蔽を受ける。図２は、本発明の原理に係る第一の隠蔽方法を示しており、表示ピクチャのエラー隠蔽は、第一の技術により行われ、リファレンスピクチャのエラー隠蔽は、第一の技術を第二の隠蔽技術と結合する（すなわち連結させる）ことで行われる。図２の隠蔽方法は、初期化ステップ（１００）の実行に応じて始動され、この初期化ステップの間、各種のプロセスパラメータが初期化を受ける。つぎに、ステップ１０２が行われ、この間に、到来するマクロブロックは、失われた画素値又は破壊された画素値の形式でエラーが存在するかを検出するための検査を受ける。エラーを含むマクロブロックの発見に応じて、エラー隠蔽は、第一の隠蔽技術を使用してステップ１０４の間に行われ、表示のために隠蔽された画像１０６を生じる。ステップ１０８の間、ステップ１０４の間に隠蔽されたマクロブロックがリファレンスピクチャとして役割を果たすピクチャの一部を表すかに関する判定が行われる。ピクチャの一部を表す場合、ステップ１０４の間に前に隠蔽された画像１０６は、第二の隠蔽技術を介してステップ１０９の間に更なる隠蔽を受け、その後のリファレンスのために記憶を受ける隠蔽された画像を生成する。ステップ１０８の間に実行される判定が、到来するマクロブロックにより部分的に表現されたピクチャがリファレンスピクチャとして役割を果たさないことを発見した場合、ステップ１１２でプロセスが終了する。

図２に示される隠蔽プロセスは、ステップ１０９の間に行われる隠蔽への入力として、ステップ１０４の間の隠蔽の後に得られる画像１０６を利用する。このようにして、ステップ１０９の間に実行される隠蔽は、ステップ１０４の間に実行された隠蔽に連結される“ｃｈａｉｎｅｄ”。図２の方法は、隠蔽された画像１０６のリアルタイム表示のためのシンプルかつ高速なソリューションを提供するものであり、更なる隠蔽を受け、記憶されたリファレンスピクチャのための良好な予測を生成する。

ステップ１０４及び１０９の間に実行される隠蔽技術の選択は、時間的又は空間的なエラー隠蔽を達成するための願望に依存する。たとえば、時間的なエラー隠蔽について、ステップ１０４の間に実行されるエラー隠蔽は、低減された数の動きベクトルのなかで最良の整合をサーチすることで、失われた領域／破壊された領域を発見し、ステップ１０９の間に実行された隠蔽は、サーチエリア又はテストされるディスプレースメントの数を拡大する。類似のアプローチは、空間的なエラー隠蔽について実現される。かかる状況下では、ステップ１０４の間に実行されるエラー隠蔽は、最も使用されたイントラ予測モードのみをテストし、ステップ１０９の間に実行された隠蔽は、残りのモードを整合させて、再構成されたデータの品質を改善する。

図３は、本発明の原理に係る第二の隠蔽方法を示し、エラーを含むマクロブロックの隠蔽は、ピクチャ及び記憶された（リファレンス）ピクチャをパラレルに表示するための異なるエラー隠蔽技術の使用により行われる。最良の主題となる視覚的な品質を得るために実行されるエラー隠蔽技術は後のピクチャのインター予測について最良のリファレンスピクチャを常に提供しないため、明らかな利益は、２つの異なる隠蔽方式を利用することにある。

図３の隠蔽方法は、初期化ステップ（ステップ２００）の実行に応じて始動し、この初期化ステップの間に各種のプロセスパラメータは初期化を受ける。つぎに、ステップ２０２が行われ、その間に、到来するマクロブロックはエラーを検出するための検査を受ける。エラーを含むマクロブロックの発見に応じて、エラー隠蔽は、第一の隠蔽技術を使用してステップ２０４の間に行われ、表示のために隠蔽された画像２０６を得る。ステップ２０８の間、同じ到来するマクロブロックがリファレンスとしての役割を果たすピクチャの一部を表すかに関する判定が行われる。ピクチャの一部を表すと判定された場合、到来するマクロブロックは、第二の隠蔽方法を使用してステップ２０９の間に隠蔽を受け、その後のリファレンスのために記憶されるエラー隠蔽された画像２１０を生成する。ステップ２０８の間に実行される判定が、到来するマクロブロックに関連されるピクチャがリファレンスピクチャとしての役割を果たさないことを発見した場合、プロセスは、ステップ２１２で終了する。

図３に示される隠蔽プロセスは、個別の隠蔽技術をパラレルに利用する。たとえば、大規模な失われた領域のケースでは、表示されたピクチャは、送信での目に見えるアーチファクトを回避するために正しき受信されたマクロブロックを廃棄しつつ、ピクチャ全体を隠蔽することで知覚的に良好であるように見える。しかし、リファレンスとして隠蔽されたピクチャを使用するインター符号化マクロブロック（ｉｎｔｅｒ−ｃｏｄｅｄｍａｃｒｏｂｌｏｃｋ）の予測は、マクロブロックのエッジで形成されたアーチファクトが僅かな重要性を有するか、又は重要性をもたない一方で、正確なデータの再構成を必要とする。かかる状況下で、表示ピクチャに特別の隠蔽技術を使用することで、表示の品質が増加され、リファレンスピクチャに特別な隠蔽技術を使用することで、インター予測のエラー伝播が低減される。

前の例は、表示ピクチャ及びリファレンスピクチャについて異なる隠蔽方式を有する利益を説明したが、異なる複雑さの隠蔽技術を利用することにも存在する。前に送信されたデータの使用に関して、リアルタイムの制約及び因果関係の制約は、表示可能なピクチャの隠蔽を主に影響を及ぼし、より少ない範囲に対して、リファレンスのために記憶されたピクチャの隠蔽に影響を及ぼす。なお、リファレンスのために記憶されたピクチャを処理するとき、隠蔽を実行するための時間窓は、表示のために時間よりも典型的に長い、記憶されたピクチャがリファレンスとして使用されるようになる時間に延長される。

以下に更に詳細に記載されるように、後に送信されるピクチャを利用することで、再帰的なエラー隠蔽は、前にデコードされたピクチャの品質を増加する。かかる技術の利点を例示するため、説明のために、図４に示されるようなピクチャ系列を生じるエラーが存在することを想定し、このピクチャ系列は、符号化オーダＩ_１Ｐ_２Ｐ_３Ｂ_４Ｂ_５Ｂ_６Ｂ_７Ｂ_８Ｂ_９を有し、表示オーダＩ_１Ｂ_５Ｂ_４Ｂ_６Ｐ_２Ｂ_８Ｂ_７Ｂ_９Ｐ_３を有する。破壊されたマクロブロックがピクチャＰ_２で発見された場合、このピクチャの復号化の間にリアルタイムでかかるマクロブロックに適用されるエラー隠蔽は、ピクチャＩ_１からの情報に頼る。しかし、ピクチャＰ_２は表示において５番目に現れ、２番目ではないので、エラー隠蔽は、たとえば来るべきピクチャＰ_３からの情報を使用することで予測される結果を改善する。破壊されたブロックがＢフレームで発見された場合、この技術は、表示がデコードの直後に行われなかった場合にのみ有効である。

図５は、図２又は図３の方法を使用して以前に隠蔽された画像の品質改善を得るために時間再帰型の技術を利用する隠蔽方法を示している。図５の方法は、初期化ステップ（ステップ３００）の実行に応じて始動し、この初期化の間、各種のプロセスパラメータが初期化を受ける。ステップ３０２の間、到来するマクロブロック３０４に含まれるピクチャの復号化が行われ、これによりデコードされた画像３０８が生成される。ステップ３１２の間のエラーの発見に応じて、現在のピクチャにおけるかかるエラーを隠蔽すべきかに関する判定がステップ３１２の間に行われる。かかるエラーを隠蔽すべきであると判定された場合、ステップ３１４の間にエラー隠蔽が行われ、隠蔽された画像３１６が得られる。エラー隠蔽が望まれないと判定された場合、ステップ３１８が行われ、何れか前のピクチャのエラー隠蔽を改善すべきかに関する判定が行われる。エラー隠蔽が改善されるべきであると判定された場合、隠蔽プロセスへの入力として前の隠蔽されたピクチャ３２２を使用して、ステップ３２０の間に、かかる前のピクチャのエラー隠蔽が更新される。ステップ３２０に続いて、又はステップ３１８に続いて、前のピクチャの隠蔽に関する改善が必要ではない場合、プロセスはステップ３２４の間に終了される。なお、ステップ３１８及び３２０は、エラー隠蔽を連続的に改善するために時間を通して再帰的に実行される。

上述した内容は、表示ピクチャ及び参照ピクチャについて異なる隠蔽技術を利用することで、インター符号化系列の品質を改善するための技術を説明するものである。

本発明の原理に係るエラー隠蔽を実行するデコーダのブロック図である。表示可能であって記憶される（リファレンス）ピクチャを隠蔽するための本発明の原理の第一の好適な実施の形態に係る方法のステップを説明するフローチャートである。表示可能かつ記憶されるピクチャを隠蔽するための本発明の原理の第二の好適な実施の形態に係る方法のステップを例示するフローチャートである。時間再帰型の隠蔽（ｔｉｍｅ−ｒｅｃｕｒｓｉｖｅｃｏｎｃｅａｌｍｅｎｔ）がインター予測の品質をどのように改善するかを説明するピクチャのグループを示す図である。表示可能かつ記憶されるピクチャを隠蔽するための本発明の原理の第三の好適な実施の形態に係る方法のステップを例示するフローチャートである。

Claims

復号化に応じて符号化されたピクチャにおけるエラーを隠蔽する方法であって、
前記ピクチャがエラーを有するかを識別するステップと、
前記ピクチャがエラーを有すると識別した場合、表示用の第一の隠蔽技術を使用して前記ピクチャを隠蔽するステップと、
エラーを有する前記ピクチャがリファレンスピクチャとしての役割を果たすかを判定するステップと、
前記ピクチャがリファレンスピクチャとしての役割を果たすと判定した場合、第二の隠蔽技術を使用して前記ピクチャを隠蔽するステップと、
を含む方法。
前記第二の隠蔽技術を使用して前記ピクチャを隠蔽する前記ステップは、前記第一の隠蔽技術により達成される隠蔽を改善する、
請求項１記載の方法。
前記第二の隠蔽技術は、前に復号化されたピクチャの品質を改善するために時間を通して再帰的に実行される、
請求項２記載の方法。
前記第二の隠蔽技術は、前に復号化されたピクチャの品質を改善するために時間を通して再帰的に実行される、
請求項１記載の方法。
前記第一及び第二の隠蔽技術はパラレルに実行される、
請求項１記載の方法。
前記第一及び第二の隠蔽技術は、時間的な隠蔽をそれぞれ達成する、
請求項１記載の方法。
前記第一及び第二の隠蔽技術は、空間的な隠蔽をそれぞれ達成する、
請求項１記載の方法。
前記第一の隠蔽技術を使用して前記ピクチャを隠蔽する前記ステップは、ピクチャ復号化の間に得られる動きベクトルの低減されたセットのうちで最良の整合をサーチするステップを更に含む、
請求項６記載の方法。
前記第二の隠蔽技術を使用して前記ピクチャを隠蔽する前記ステップは、サーチエリアを拡大して、動きベクトルの増加されたセットのうちでサーチするステップを更に含む、
請求項８記載の方法。
前記第一の隠蔽技術を使用して前記ピクチャを隠蔽する前記ステップは、ピクチャ復号化の間に得られる最も使用されるイントラ予測モードのセットのみをテストするステップを更に含む、
請求項７記載の方法。
前記第二の隠蔽技術を使用して前記ピクチャを隠蔽する前記ステップは、全てのテストされていないイントラ予測モードを整合させるステップを更に含む、
請求項１１記載の方法。
デコードされる符号化ピクチャにおけるエラーを隠蔽する方法であって、
前記ピクチャがエラーを有するかを識別するステップと、
前記識別するステップで前記ピクチャがエラーを有すると識別した場合、エラーを有する前記ピクチャがリファレンスピクチャとしての役割を果たすかを判定するステップと、
前記判定するステップで前記ピクチャがリファレンスピクチャとしての役割を果たすと判定した場合、リファレンスピクチャにとって固有な技術を使用して前記ピクチャを隠蔽するステップと、
表示されるピクチャに固有な技術を使用してリファレンスピクチャとしての役割を果たさないピクチャを隠蔽するステップと、
を含む方法。
前記第一及び第二の隠蔽技術は、時間的な隠蔽をそれぞれ達成する、
請求項１２記載の方法。
前記第一及び第二の隠蔽技術は、空間的な隠蔽をそれぞれ達成する、
請求項１２記載の方法。
前記第一の隠蔽技術を使用して前記ピクチャを隠蔽する前記ステップは、ピクチャ復号化の間に得られる動きベクトルの低減されたセットのうちで最良の整合をサーチするステップを更に含む、
請求項１３記載の方法。
前記第二の隠蔽技術を使用して前記ピクチャを隠蔽する前記ステップは、サーチエリアを拡大して、動きベクトルの増加されたセットのうちでサーチするステップを更に含む、
請求項１５記載の方法。
前記第一の隠蔽技術を使用して前記ピクチャを隠蔽する前記ステップは、ピクチャ復号化の間に規定される最も使用されるイントラ予測モードのセットのみをテストするステップを更に含む、
請求項１４記載の方法。
前記第二の隠蔽技術を使用して前記ピクチャを隠蔽する前記ステップは、全てのテストされていないイントラ予測モードを整合させるステップを更に含む、
請求項１７記載の方法。
ピクチャ復号化の間に符号化されたピクチャにおけるエラーを隠蔽する方法であって、
前記ピクチャにエラーが存在するかを検出するステップと、
検出されたエラーに基づいて、エラー隠蔽を実行すべきかを判定するステップと、
前記エラー隠蔽を実行すべきであると判定した場合、第一の隠蔽技術を使用してエラーの隠蔽を実行するステップと、
前記ピクチャのエラー隠蔽が改善されるべきかを判定するステップと、
前記ピクチャのエラー隠蔽が改善されるべきであると判定した場合、少なくとも１つの前に隠蔽されたピクチャを使用して前記ピクチャのエラー隠蔽を更新するステップと、
を含む方法。
復号化に応じて符号化されたピクチャにおけるエラーを隠蔽する方法であって、
前記ピクチャがエラーを有するかを識別するステップと、
前記ピクチャがエラーを有すると識別した場合、エラーを有する前記ピクチャがリファレンスピクチャとしての役割を果たすかを判定するステップと、
エラーを有する前記ピクチャがリファレンスピクチャとしての役割を果たすと判定した場合、リファレンスピクチャに固有な隠蔽技術を使用して前記ピクチャを隠蔽するステップと、
を含む方法。