JP2006196970A - 動画像エラー隠蔽方法および装置 - Google Patents

Abstract

【課題】 時間的に見た場合の画像品質の変化による画質劣化を低減できる動画像エラー隠蔽方法および装置を提供することにある。
【解決手段】 エラーブロック特定部２は、前記ブロック復号情報ｂに基づいて、マクロブロック単位で正しく復号できなかった領域を特定する。該正しく復号できなかったと特定されたマクロブロックは、エラー隠蔽部８においてエラー画像の隠蔽処理が行われる。信頼度判定部９は、マクロブロック単位でのエラーの判別結果を基に信頼度を決定する。フィルタ強度決定部１０は、信頼度判定部９で得られたマクロブロック単位での信頼度に基づき、空間的および時間的に隣接するＭＢ間では画質品質の差を一定以下に収めるように、再生画像ｇに対して適用するフィルタ強度を決定する。フィルタ適用部１１は、再生画像ｇに対して、前記決定されたフィルタ強度のフィルタを適用する。
【選択図】 図１

Description

この発明は動画像エラー隠蔽方法および装置に関し、特に符号化データの復号時に再生画品質に急激な変動が起きないようにして、主観的な画像品質の劣化を軽減するようにした動画像エラー隠蔽方法および装置に関する。

符号化動画像の復号画像の画質の劣化を軽減する従来技術としては、例えば下記の特許文献１に示されているものがある。この特許文献１には、次のような技術が開示されている。例えば１ラスタ上の画像信号入力において、インター画像データ部分とイントラ画像データ部分とが混在して発生した場合、その変化部分で高い周波数成分が発生する。このため、イントラ部分に対するフィルタリング出力がインター部分に対するフィルタリング出力と同じ量子化特性で量子化されると、大きな量子化歪みが生じ、復号画像の画質を劣化させる。そこで、この発明では、イントラ領域の周囲からイントラ領域にかけて高い周波数が含まれなくするようなフィルタリング処理を実行することによって、ウェーブレット変換などの非ブロック直交変換処理を実行した時に、イントラ領域への急激な変化に伴う高周波成分の発生を少なくし、復号後の出力データの劣化を回避するようにしている。

また、他の従来技術として、下記の特許文献２に記されているものがある。この特許文献２に記されている発明は次のようなものである。例えば、符号化レートが低いシステムにおいて、動きの激しい画像やシーンチェンジを起こした画像を復号すると、ブロック歪み等の符号化雑音を発生し、復号画像の劣化が目立つ。そこで、復号化装置において、受信した符号化データを可変長復号化してイントラマクロブロックの発生数を算出し、該発生数に基づいて低域通過フィルタの特性を定め、復号画像信号をフィルタ処理することにより、画質の劣化を低減するようにしている。
特開平８−２８８８５６号公報 特開平１０−５６６４６号公報

上記した特許文献１の従来技術は、１画像内にインター画像データ部分とイントラ画像データ部分とが混在して発生した場合の画質劣化を隠蔽するものであり、特許文献２の従来技術は、符号化レートが低いシステムにおいて、動きの激しい画像やシーンチェンジを起こした画像の画質劣化を隠蔽することを提案するものであるが、空間的または時間的に見た場合の画像品質の変化による画質劣化については、何らの検討もされていないという課題があった。

例えば、ある１フレームの符号化画像が伝送障害などによりエラーを発生し、図７(a)に示されているように、復号画像５０の一部５０ａ（斜線部分）にエラーが生じ、従来技術によりエラー隠蔽処理が行われたとする。そうすると、後続のフレームの画像にはこのエラー隠蔽処理の影響が伝搬し、例えば同図(b)に示されているように、復号画像５１に拡散されたエラー伝搬領域５１ａが生ずる。このエラー伝搬による画質劣化の増大を低減するために、後続のフレームの画像５２に、同図(c)に示すように横一列のマクロブロックをイントラ符号化して、エラー伝搬領域５２ａ中にイントラリフレッシュ領域５２ｂを生成すると、該イントラリフレッシュ領域５２ｂにはエラーがなくなる。次に、復号再生画像がＧＯＰ（group of pictures）の先頭に来ると、同図(d)に示されているようにイントラピクチャの画像５３が到来する。このイントラピクチャの画像５３は他の画像を参照しない画像であるので、高品質の画像である。

上記のような場合、エラー領域はエラー隠蔽処理により画像品質の劣化は抑制されるが、エラー領域５０ａ、５１ａ、５２ａと非エラー領域（イントラリフレッシュ領域５２ｂを含む）との境界は画像品質の差が大きいので、この空間的な画像品質の差は、主観的には画像品質の劣化になる。また図７(c)の画像から急に同図(d)のイントラピクチャの画像に変わると、エラーでぼやけた画像から急にエラーのない、すなわち品質劣化のない画像に変わることになり、この急激な時間的変化は主観的には画像品質の劣化になる。

換言すれば、従来技術は、エラー画像の隠蔽については種々の提案がされているが、エラーでぼやけた画像から急にエラーのない画像に変わることによる画像品質の劣化についての対策には格別の配慮がされていないという課題があった。

本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、空間的および／または時間的に見た場合の画像品質の変化による画質劣化を低減できる動画像エラー隠蔽方法および装置を提供することにある。

前記した目的を達成するために、本発明は、可変長復号により得られたブロック復号情報に基づいてエラーブロックを特定し、エラーブロックでないブロックに対しては、エラーブロックに対してより高い信頼度を付与し、該信頼度に基づいてフィルタ強度を決定し、空間的および時間的の少なくとも１方の隣接ブロック間のフィルタ強度差が予め定められた閾値以上の場合には、前記フィルタ強度差が該閾値未満になるような大きさのフィルタ強度に修正し、前記フィルタ強度で復号再生画像をフィルタリングするようにした点に第１の特徴がある。

また、符号化された動画像データを可変長復号する可変長復号部と、該可変長復号部からのブロック復号情報により、エラーブロックを特定するエラーブロック特定部と、前記エラーブロックの有無に応じて、各ブロックの信頼度を判定する信頼度判定部と、該信頼度判定部で判定された信頼度を基にフィルタ強度を求め、空間的および時間的の少なくとも１方の隣接ブロック間のフィルタ強度差が予め定められた閾値以上の場合には、該フィルタ強度差が該閾値以下になるように前記フィルタ強度を修正するフィルタ強度決定部と、該フィルタ強度決定部で決定されたフィルタ強度で復号再生画像をフィルタリングするフィルタ適用部とを具備した点に第２の特徴がある。

本発明によれば、ブロックの信頼度を基にフィルタ強度を求め、空間的および時間的の少なくとも１方の隣接ブロック間のフィルタ強度差が予め定められた閾値以上の場合には、該フィルタ強度差が該閾値以下になるようにフィルタ強度を修正し、該フィルタ強度で復号再生画像をフィルタリングするようにしたので、時間的なエラーブロックの回復が緩やかになり、主観的な画像品質の劣化を大きく低減することができるようになる。

また、空間的に隣接するブロック間のフィルタ強度差が予め定められた閾値以上の場合にも、該フィルタ強度差が該閾値以下になるようにフィルタ強度を修正するようにしたので、空間的なエラーブロックの回復が緩やかになり、主観的な画像品質の劣化を大きく低減することができるようになる。

また、エラー領域に対するエラー隠蔽が適切に行われていて、主観的にあまりエラーを感知することがないような場合にも、その後イントラピクチャの出現により画質が急激に変わることで、その前にエラーがあったことが後から観察者に認識されるような問題についても解消することができる。

以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明を含む復号器の構成を示すブロック図である。

ＭＰＥＧまたはＨ．２６Ｘ等により符号化された動画像データは、可変長復号部１に入力される。該可変長復号部１では、入力されてきた動画像データａを可変長復号し、画像のマクロブロック単位での符号化モード、動きベクトル、量子化直交変換係数等を復元する。

前記符号化モード、マクロブロック単位での復号が適切に行われたかあるいはエラー等により適切に復号できなかったかを示す情報は、ブロック復号情報ｂとしてエラーブロック特定部２に送られる。また、動きベクトル情報ｃは、動き補償部３へ送られる。また、量子化直交変換係数ｄは、逆量子化部４へ送られる。

逆量子化部４では、前記量子化直交変換係数ｄの逆符号化を行い、直交変換係数ｅを得る。該直交変換係数ｅは、逆直交変換部５で逆直交変換され画像情報ｆになる。

動き補償部３では、可変長復号部１より送られてきた動きベクトル情報ｃに基づき、フレームメモリ６から画像の当該領域を取り出す。該取り出された当該領域の画像は、再生画像生成のために加算手段７により前記画像情報ｆに加算される。

エラーブロック特定部２は、前記ブロック復号情報ｂに基づいて、マクロブロック単位で正しく復号できなかった領域を特定する。該エラーブロック特定部２において正しく復号できなかったと判定されたマクロブロックを含む画像は、エラー隠蔽部８において例えばフレーム単位でのエラー画像の隠蔽処理が行われる。このエラー隠蔽処理は従来公知の方法で行うことができる。例えば、前記特許文献１、２等に示されているようなフィルタ処理により行うことができる。

再生画像ｇは、前記動き補償により得られる画像と、逆直交変換により得られる画像ｆと、エラーのある場合には前記エラー隠蔽部８により生成されたエラー隠蔽画像ｈとにより生成される。該再生画像ｇは、以降の画像の符号化の参照として利用されるために、フレームメモリ６に蓄積されると共に、フィルタ適用部１１に送られる。

信頼度判定部９では、マクロブロック単位でエラーのない復号がされているか否かを判別し、その判別結果を基に信頼度を決定する。フィルタ強度決定部１０では、信頼度判定部９で得られたマクロブロック単位での信頼度に基づき、再生画像ｇに対して適用するフィルタ強度を決定する。フィルタ適用部１１は、再生画像ｇに対して、フィルタ強度決定部１０で決定されたフィルタ強度でのフィルタを適用する。フィルタを適用された画像ｊは、表示等のために出力される。

次に、本発明の要部である前記エラーブロック特定部２、信頼度判定部９、およびフィルタ強度決定部１０の機能を、それぞれ図２、図３および図５のフローチャートを参照して説明する。

前記エラーブロック特定部２は、図２のステップＳ１において、前記ブロック復号情報ｂに基づいて、ブロック復号エラーがあるか否かの判断をする。この判断が否定の時にはステップＳ５に進んで１フレームの最後のマクロブロック（以下、ＭＢと記す）になったか否かの判断をする。この判断が否定の時にはステップＳ６に進んで、ＭＢを更新する。

ステップＳ１の判断が肯定になると、すなわちＭＢに復号エラーがあると判断されると、ステップＳ２に進み、正しく復号ができないＭＢの開始点が特定される。次に、ステップＳ３に進んで復号を再開できるＭＢを検出し、ステップＳ４にて、復号ができないＭＢの終点が特定される。以上の動作が繰り返し行われ、ステップＳ５の判断が肯定になると、前記した一連の処理は終了する。

以上のことから明らかなように、エラーブロック特定部２では、正しく復号できないＭＢの開始点から終点までが特定されることになる。

次に、前記信頼度判定部９は、エラーブロック特定部２からの情報により、図３のステップＳ１１において、当該ＭＢがエラーブロックであるか否かの判断をする。この判断が肯定の場合には、ステップＳ１２に進んで、ブロック信頼度を下げる。例えば、エラーのないＭＢの信頼度を「１０」とすると、９以下の信頼度に下げる。

一方、ステップＳ１１の判断が否定の時には、ステップＳ１３に進んで、当該ＭＢがイントラブロックであるか否かの判断がなされる。この判断が肯定の場合には、ステップＳ１４に進んで、ブロック信頼度を最高にする。例えば、該信頼度を、「１０」にする。前記ステップＳ１３の判断が否定の時には、ステップＳ１５に進んで、符号化参照元を特定する。例えば、Ｐピクチャの場合は、Ｉ（イントラ）ピクチャか、他のＰピクチャであるかを特定する。また、Ｂピクチャの場合には、時間的に前後にあるＩまたはＰピクチャを特定する。

ステップＳ１６では、ステップＳ１５で特定された参照元ブロックの信頼度をコピーする。ステップＳ１７では、前記ステップＳ１２、Ｓ１４およびＳ１６の結果に基づいて、フレーム中の全てのＭＢのブロック信頼度が決定される。

図３の動作の一具体例を図４を参照して説明する。図４は、信頼度レベルを、最低１〜最高１０の１０段階とした場合のものである。なお、図中の斜線を施されたマクロブロックは、対象ＭＢであるとする。

図４(a)に示されているように、対象ＭＢがフレーム間またはフレーム内予測を利用しないイントラ符号化された場合については、該対象ＭＢの信頼度を最高の１０とする（前記ステップＳ１４）。

同図(b)のように、対象ＭＢがフレーム内予測符号化を利用しているＭＢでは、予測に利用した領域を特定し、そのＭＢのもつ信頼度情報に基づいて現ＭＢの信頼度とする。参照領域に基づく現ＭＢの信頼度決定では、最も参照領域を多く含むＭＢの信頼度を利用する場合や、領域の割合に基づく重み付け平均等が利用可能である（前記ステップＳ１６）。

同図(c)のように、対象ＭＢがＰピクチャにおけるフレーム間予測符号化を利用しているＭＢでは、予測に利用した領域を特定し、そのＭＢのもつ信頼度情報に基づいて現ＭＢの信頼度とする（前記ステップＳ１６）。参照領域に基づく現ＭＢの信頼度決定では、最も参照領域を多く含むＭＢの信頼度を利用する場合や、領域の割合に基づく重み付け平均等が利用可能である。

さらに、同図(d)に示されているように、対象ＭＢがＢピクチャにおけるフレーム間予測符号化を利用しているＭＢでは、予測に利用した２つの領域を特定し、そのＭＢのもつ信頼度情報に基づいて現ＭＢの信頼度とする（前記ステップＳ１６）。参照領域に基づく現ＭＢの信頼度決定では、それぞれの方向における予測において、最も参照領域を多く含むＭＢの信頼度の平均値を利用する場合や、双方向における参照領域の割合に基づく重み付け平均等が利用可能である。

次に、前記フィルタ強度決定部１０の動作を、図５を参照して説明する。フィルタ強度決定部１０は、前記信頼度判定部９からのブロック信頼度を基に、ステップＳ２１において、対象ＭＢの信頼度を確認する。ステップＳ２２では、信頼度に反比例するまたは信頼度が大きい程小さなフィルタ強度に決定する。次いで、ステップＳ２３では、空間的隣接ブロックとのフィルタ強度レベル差が閾値以上であるか否かの判断がなされる。この判断が肯定の場合にはステップＳ２４に進んで、前記フィルタ強度は前記フィルタ強度レベル差が予め定められた閾値未満になるような大きさに強制的に定められる。

前記ステップＳ２３の判断が否定の時、あるいはステップＳ２４の処理が実施された後にはステップＳ２５に進んで、時間的隣接ブロックとのフィルタ強度レベル差が閾値以上か否かの判断がなされる。この判断が肯定の場合にはステップＳ２６に進んで、前記フィルタ強度は前記フィルタ強度レベル差が予め定められた閾値未満になるような大きさに強制的に定められる。前記ステップＳ２５の判断が否定の時、あるいはステップＳ２６の処理が実施された後はステップＳ２７に進む。ステップＳ２７では、フィルタ強度が決定される。

前記ステップＳ２３〜Ｓ２６の処理は、空間的および時間的に隣接するＭＢ間では画質品質の差を一定以下に収めるためである。なお、前記ステップＳ２３〜Ｓ２６を具備することは好ましい実施形態であるが、本発明はこれに限定されず、ステップＳ２３とＳ２４、あるいはステップＳ２５とＳ２６のいずれか一方であっても良い。

前記フィルタ強度決定部１０は、例えば、フィルタ強度についても１０段階を設定した場合には、次のように設定することが可能である。

フィルタ強度＝信頼度最高値−信頼度・・・(1)

または、

フィルタ強度＝信頼度最高値／信頼度

図６は、信頼度からフィルタ強度を決定する一具体例の説明図であり、ＭＢ単位での信頼度（左図）から上記の計算式(1)によりフィルタ強度を決定する（中央図）。ただし、時間的空間的に隣接するＭＢのフィルタ強度差を隣接するＭＢ間で比較し、該フィルタ強度差が一定（閾値）以上の絶対差をもつ場合には、絶対差を小さくする方向への修正をフィルタ強度に対して行う。図の例においては、対象ＭＢ（斜線部）と右隣接ＭＢとのフィルタ強度差が「４」であるため、例えば閾値の「３」以上となる。そこで、該フィルタ強度差を小さくし閾値未満にするために対象ＭＢのフィルタ強度を「２」と修正する（右図）。また、該フィルタ強度は、ＭＢ単位での設定の外に、ピクチャ単位、あるいは画素単位で決定することも可能である。

次に、前記フィルタ適用部１１（図１参照）では、復号再生された画像に対してフィルタを適用する。具体的には、画素単位での空間３×３画素や、空間５×５画素領域に対して適用する。

本発明が適用される復号器の構成を示すブロック図である。 図１のエラーブロック特定部の動作例を示すフローチャートである。 図１の信頼度判定部の動作例を示すフローチャートである。 信頼度判定部の動作の一具体例の説明図である。 図１のフィルタ強度決定部の動作例を示すフローチャートである。 フィルタ強度決定部の動作の一具体例の説明図である。 時間的に急激に変化する画像品質差が、主観的には画像品質の劣化になることの説明図である。

符号の説明

１・・・可変長復号部、２・・・エラーブロック特定部、３・・・動き補償部、４・・・逆量子化部、５・・・逆直交変換部、８・・・エラー隠蔽部、９・・・信頼度判定部、１０・・・フィルタ強度決定部、１１・・・フィルタ適用部。

Claims (6)

1. 可変長復号により得られたブロック復号情報に基づいてエラーブロックを特定し、
   エラーブロックでないブロックに対しては、エラーブロックに対してより高い信頼度を付与し、
   該信頼度に基づいてブロックのフィルタ強度を決定し、空間的および時間的の少なくとも１方の隣接ブロック間のフィルタ強度差が予め定められた閾値以上の場合には、前記フィルタ強度差が該閾値未満になるような大きさのフィルタ強度に修正し、
   前記フィルタ強度で復号再生画像をフィルタリングすることを特徴とする動画像エラー隠蔽方法。
2. 請求項１に記載の動画像エラー隠蔽方法において、
   前記ブロックの信頼度は、エラーブロックでないブロックに対しては参照元ブロックの信頼度と同じにし、エラーブロックに対しては該参照元ブロックの信頼度より低くすることを特徴とする動画像エラー隠蔽方法。
3. 符号化された動画像データを可変長復号する可変長復号部と、
   該可変長復号部からのブロック復号情報により、エラーブロックを特定するエラーブロック特定部と、
   前記エラーブロックの有無に応じて、各ブロックの信頼度を判定する信頼度判定部と、
   該信頼度判定部で判定された信頼度を基にブロックのフィルタ強度を求め、空間的および時間的の少なくとも１方の隣接ブロック間のフィルタ強度差が予め定められた閾値以上の場合には、該フィルタ強度差が該閾値以下になるように前記フィルタ強度を修正するフィルタ強度決定部と、
   該フィルタ強度決定部で決定されたフィルタ強度で復号再生画像をフィルタリングするフィルタ適用部とを具備したことを特徴とする動画像エラー隠蔽装置。
4. 請求項３に記載の動画像エラー隠蔽装置において、
   前記信頼度判定部は、エラーブロックでないブロックに対しては参照元ブロックの信頼度と同じにし、エラーブロックに対しては該参照元ブロックの信頼度より低くすることを特徴とする動画像エラー隠蔽装置。
5. 請求項４に記載の動画像エラー隠蔽装置において、
   前記符号化された動画像データがＭＰＥＧまたはＨ．２６Ｘにより符号化された動画像データである場合、前記信頼度判定部は、イントラ符号化ブロックの信頼度を最高にすることを特徴とする動画像エラー隠蔽装置。
6. 請求項３に記載の動画像エラー隠蔽装置において、
   前記復号再生画像は、前記エラーブロック特定部でエラーブロックと特定された領域に対してエラー隠蔽処理を施されたものであることを特徴とする動画像エラー隠蔽装置。
   

Images