JP2008519480A - ビデオデコード処理においてエラーを隠蔽する方法及び装置 - Google Patents

Abstract

本発明によるビデオデコード処理においてエラーを隠蔽する方法は、エラーが存在する画像エリア及び隣接する画像エリアを有するビデオ画像のフレームを受信するステップと、前記ビデオ画像の基準画像のフレームにおいて、所定の条件により、前記隣接するエリアが対応する類似する画像エリアを検索するステップと、前記類似する画像エリアが見出されない場合、前記ビデオ画像中の情報を利用することにより前記存在するエラーを隠蔽するステップ又は前記類似する画像エリアが見出された場合、前記基準画像中の情報を利用することにより前記存在するエラーを隠蔽するステップとを有する。

Description

本発明は、ビデオ画像においてエラーを隠蔽する方法及び装置に関し、更に詳細には、ビデオデコード処理におけるエラーを隠蔽する方法及び装置に関する。

ビデオ画像は通常、Ｉフレームピクチャ（Intra-coded picture）、Ｐフレームピクチャ（Predicted Picture）及びＢフレームピクチャ（Bidirectional or bi-directionally predicted picture）を有する。ここでＩフレームピクチャは、他のピクチャを参照することなくエンコードされ、自身をデコードし再構成するために必要とされる情報を有するため、圧縮率は非常に低い。Ｐフレームピクチャは、動き補償された予測手法によりＰフレームピクチャ又はＩフレームピクチャをエンコードすることにより得られ、圧縮率はＩフレームピクチャのものよりもかなり高い。Ｂフレームピクチャは、ＰフレームピクチャとＩフレームピクチャとの間の双方向的な補間エンコードにより得られ、最も高い圧縮率を持ち、Ｂフレームピクチャにおけるエンコードエラーは他のピクチャには広がらない。

ビデオデコード処理の間、ビデオ画像中にエラーが存在する画像エリア（たとえばエラーのあるマクロブロック、エラーのあるスライス（Slice））が多すぎると、ビデオ出力の品質が低下し、観測に対するユーザの関心にも影響を与える。それ故、ビデオ画像においてエラーが出現した場合に、エラーが存在する画像エリアにおけるエラーを隠蔽し、それによりビデオ出力品質を向上させ、観測に対するユーザの関心を改善することが極めて必要である。

既存のエラー隠蔽手法は主に、Sofia Tsekeridouらによる論文「MPEG-2 Error Concealment Based on Block-Matching Principle」（「IEEE Transactions on Circuits and Systems for Technology」、Vol. 10、2000年６月４日）において言及されているような空間エラー隠蔽手法及び時間エラー隠蔽手法である。

空間エラー隠蔽手法は、画像のフレームにおいてエラーのある画像エリアがある場合に、画像のフレームにおける情報がエラーを隠蔽するために利用されることを意味する。例えば、エラーのある画像エリアにおけるエラーは、該画像のフレームにおける該エラーのある画像エリアと同一のサイズの正常な（エラーのない）隣接する画像エリアを利用することにより隠蔽される。時間エラー隠蔽手法は、画像のフレームにおいてエラーがある画像エリアがある場合に、画像のフレームの基準画像における情報がエラーを隠蔽するために利用されることを意味する。

基準画像は、エラーのある画像の前の１フレーム若しくは複数の画像のフレームのうちの１フレーム、又はエラーのある画像の後の１フレーム若しくは複数の画像のフレームのうちの１フレームであっても良く、これら基準画像はバッファに保存されている。

上述した２種類のエラー隠蔽手法において、時間手法を利用することによるエラー隠蔽の効果は、空間手法を利用することによるエラー隠蔽の効果よりも僅かに優れているが、これら手法は対応する欠点をそれぞれ持つ。

それ故、上述した論文「MPEG-2 Error Concealment Based on Block-Matching Principle」においては、単一のエラー隠蔽方法に存在する欠点を可能な限り低減するように、エラーのある画像エリアを隠蔽するためこれら２種類の方法が組み合わせられることも言及されている。

エラーのある画像エリアを隠蔽するために２種類の方法を組み合わせる方法は、時間情報が比較的アクティブである場合にはエラーのある画像エリア中のエラーを隠蔽するために空間手法が利用され、空間情報が比較的アクティブである場合にはエラーのある画像エリア中のエラーを隠蔽するために時間手法が利用されることを意味する。しかしながら、該組み合わせは、時間ドメインと空間ドメインとのどちらがアクティブであるかに基づくものに限られ、エラーを隠蔽するために時間手法が利用されるべきである場合に空間手法が利用されることに導く傾向があり、かくしてエラー隠蔽の効果が減少する。

それ故、ビデオデコード処理においてビデオ画像中のエラーを隠蔽するため時間手法と空間手法とがより効果的に組み合わせられるような、ビデオデコード処理においてエラーを隠蔽するための新たな装置及び方法を提供するニーズが存在する。

本発明の目的は、ビデオデコード処理においてビデオ画像中のエラーを隠蔽するため時間手法と空間手法とをより効果的に組み合わせるための、ビデオデコード処理においてエラーを隠蔽する装置及び方法を提供することにある。

本発明によるビデオデコード処理においてエラーを隠蔽する方法は、エラーが存在する画像エリア及び隣接する画像エリアを有するビデオ画像のフレームを受信するステップと、前記ビデオ画像の基準画像のフレームにおいて、所定の条件により、前記隣接するエリアが対応する類似する画像エリアを検索するステップと、前記類似する画像エリアが見出されない場合、前記ビデオ画像中の情報を利用することにより前記存在するエラーを隠蔽するステップとを有する。

本方法は更に、前記類似する画像エリアが見出された場合、前記基準画像中の情報を利用することにより前記存在するエラーを隠蔽するステップを有する。

本発明によるビデオデコード処理においてエラーを隠蔽する装置は、受信手段と、検索手段と、空間エラー隠蔽手段とを有する。受信手段は、エラーが存在する画像エリア及び隣接する画像エリアを有するビデオ画像のフレームを受信するために利用される。検索手段は、前記ビデオ画像の基準画像のフレームにおいて、所定の条件により、前記隣接するエリアが対応する類似する画像エリアを検索するために利用される。空間エラー隠蔽手段は、前記類似する画像エリアが見出されない場合、前記ビデオ画像中の情報を利用することにより前記存在するエラーを隠蔽するために利用される。

本装置はまた、前記類似する画像エリアが見出された場合、前記基準画像中の情報を利用することにより前記存在するエラーを隠蔽するために利用される、時間エラー隠蔽手段を有する。

本発明によるビデオデコード処理においてエラーを隠蔽する方法及び装置は、最初に、ビデオ画像におけるエラーのある画像エリアを隠蔽するための情報を、ビデオ画像の基準画像において検索し、所定の条件に従う情報が見つからない場合には、ビデオ画像中の情報を利用してエラーを隠蔽し、所定の条件に従う情報が見出された場合には、ビデオ画像の基準画像中の情報を利用してエラーを隠蔽するものである。

それ故、本発明は、時間手法がエラーを隠蔽するために利用されるべき場合に、空間手法がエラーを隠蔽するために利用されるという欠点を回避する。本発明の方法を用いると、時間ドメインがアクティブであっても（例えば場面の切換えや、基準画像中の情報とエラーが存在するビデオ画像中の情報との間の差分が大き過ぎる場合等）、エラーを隠蔽するための情報が基準画像中に見出される限り、時間手法を利用することによりエラーが隠蔽されることができる。例えば、砂漠から大草原へと変化する背景を伴った２つの連続する画像のフレームにおいて同一人物が居る。場面は完全に変化するが（時間ドメインがアクティブである）、人物の衣服が同じであれば、人物の衣服にエラーのある画像エリアが出現する場合には、エラーを隠蔽するための情報は依然として基準画像に見出され得る（時間エラー隠蔽の態様で）。

図面と関連して為される以下の説明及び請求項を参照しながら、本発明の他の目的及び効果は明らかとなり、本発明はより良く理解されるであろう。

本発明は、図面を参照しながら、例として詳細に説明される。

全ての図面において、同一の参照番号は、類似する又は同一の特徴及び機能を表す。

図１は、本発明の実施例による、ビデオデコード処理においてエラーを隠蔽するための装置の模式的な図である。装置１００は、受信されたビデオ画像情報のエラーを隠蔽するために利用される。

装置１００は、受信手段１１０、検索手段１２０及び実行手段１４０を有する。

受信手段１１０は、１以上のエラーが存在する画像エリアと、該エラーが存在する画像エリアのそれぞれの１以上の隣接する画像エリアとを有する、ビデオ画像のフレームを受信するために利用される。

前記隣接する画像エリアは、前記エラーのある画像エリアの上、下、左又は右において直接に隣接する画像エリアであっても良い。エラーのある画像エリアのサイズは１６＊１６であるとすると、隣接する画像エリアもまた１６＊１６であり、該隣接する画像エリアは正常な隣接画像エリアである。ここで「正常」なる語は、エラーが無いことを意味する。

検索手段１２０は、所定の条件に従って、ビデオ画像の基準画像の１フレームにおいて、隣接する画像エリアに類似する画像を検索するために利用される。

検索手段１２０は、位置決め手段１２２、取得手段１２４、比較手段１２６及び決定手段１２８を有する。

位置決め手段１２２は、基準画像において、隣接する画像エリアの対応する画像エリアを決定するために利用される。

取得手段１２４は、該対応する画像エリアを含む所定の画像領域におけるそれぞれの個々の画像エリアと前記隣接する画像エリアとの間の画素差分の絶対値の合計を取得するために利用される。該個々の画像エリアは、前記隣接する画像エリアのサイズと同サイズのものである。

比較手段１２６は、前記絶対値の合計の全てのうち最も小さい絶対値の合計を、予め設定された閾値と比較するために利用される。

決定手段１２８は、前記比較の結果及び所定の条件に基づいて、前記絶対値の合計を持つ個々の画像エリアが、類似する画像エリアであるか否かを決定するために利用される。

ここで前記所定の条件は、絶対値の最も小さな合計が前記予め設定された閾値よりも大きい場合には、個々の画像エリアのうち最小の絶対値の合計を持つものは類似の画像エリアではなく、絶対値の最も小さな合計が前記予め設定された閾値よりも小さい場合には、個々の画像エリアのうち最小の絶対値の合計を持つものは類似の画像エリアであるとするものであっても良い。

前記予め設定された閾値は、テストを通して供給者により前もって提供されても良く、通常はエラーが存在する画像エリアのサイズに従って設定される。例えば、エラーのある画像エリアのサイズが１６＊１６であり、予め設定される閾値は４＊１６＊１６であっても良い。

ここで、所定の画像領域は、前記対応する画像エリアを中心とし周囲に広がる所定の領域であり、該領域のサイズは供給者により予め設定されても良く、通常１２８＊１２８であり得る。対応するサイズの所定の領域は、エラーが存在する画像エリアのサイズによって選択されても良い。例えば、１６＊１６のサイズを持つエラーのあるエリアに対して、該所定の領域が１２８＊１２８に設定されても良い。該所定の領域は、基準画像全体から検索されても良いが、該検索は時間が掛かり過ぎる。

基準画像は、エラーがある画像の前の１フレーム若しくは複数の画像のフレームのうちの１フレーム、又はエラーがある画像の後の１フレーム若しくは複数の画像のフレームのうちの１フレームであっても良く、主にＩフレーム又はＰフレームであり、これら基準画像はバッファに保存されている。

実行手段１４０は、空間エラー隠蔽手段１４１及び時間エラー隠蔽手段１４２を有する。空間エラー隠蔽手段１４１は、上述した類似する画像が見出されない場合に、エラーのあるビデオ画像における情報を利用して存在するエラーを隠蔽するために利用される。時間エラー隠蔽手段１４２は、上述した類似する画像が見出された場合に、基準画像における情報を利用して存在するエラーを隠蔽するために利用される。

ここで、空間エラー隠蔽手法は、該画像のフレームにエラーのある画像エリアがある場合に、エラーを隠蔽するために画像のフレーム中の情報が利用されることを意味する。例えば、エラーのある画像エリア中のエラーは、該画像のフレーム中の、該エラーのある画像エリアと同じサイズの正常な（エラーのない）隣接する画像エリアを利用することにより隠蔽される。時間エラー隠蔽手法は、画像のフレームにおいてエラーのある画像エリアがある場合に、該画像の基準画像における情報がエラーを隠蔽するために利用されることを意味する。

空間エラー隠蔽手段１４１及び時間エラー隠蔽手段１４２の詳細なエラー隠蔽処理については、上述した論文「MPEG-2 Error Concealment Based on Block-Matching Principle」及び以下の図４の説明をそれぞれ参照されたい。

装置１００はまた、エラー隠蔽の後にビデオ画像をデコードするためのデコード手段１５０を有する。デコード手段１５０は、既存のデコード手段の一種であっても良い。

図２は、本発明の実施例による、ビデオデコード処理においてエラーを隠蔽するための方法のフロー図である。最初にビデオ画像が受信され、該ビデオ画像は、エラーが存在する画像エリアと、隣接する画像エリアとを有する（ステップＳ１２０）。ここで、該ビデオ画像は、１以上のエラーのある画像エリアと、エラーが存在する画像エリアのそれぞれの１以上の隣接する画像エリアとを有しても良い。

隣接する画像エリアは、エラーのある画像エリアの上、下、左又は右に直接隣接する画像エリアであっても良い。勿論、隣接する画像エリアは、他の態様のエラーのある画像エリアの近隣のものであっても良い。エラーのある画像エリアのサイズが１６＊１６であると仮定すると、隣接するエリアもまた１６＊１６であり、隣接する画像エリアは正常な隣接画像エリアであり、ここで「正常」なる語はエラーがないことを意味する。

更に、隣接する画像エリアは、エラーのある画像エリアとサイズが異なっていても良い。本実施例においては、隣接する画像エリアは、エラーのある画像エリアの直ぐ上に隣接する１６＊１６のマクロブロックである。

第２に、所定の条件に従って、ビデオ画像の基準画像のフレームにおいて、隣接する画像エリアに類似する画像エリアが検索される（ステップＳ２２０。詳細な処理及び所定の条件については図３の説明を参照されたい）。基準画像は、エラーがある画像の前の１フレーム若しくは複数の画像のフレームのうちの１フレーム、又はエラーがある画像の後の１フレーム若しくは複数の画像のフレームのうちの１フレームであっても良く、主にＩフレーム又はＰフレームであり、これら基準画像はバッファに保存されている。

次いで、類似する画像エリアが上述したステップにおいて見出されたか否かが決定される（ステップＳ２３０。どのように該決定が為されるかの詳細については図３の説明を参照されたい）。

ステップＳ２３０の結果が否である場合、即ち類似する画像エリアが見出されない場合は、存在するエラーを隠蔽するためにビデオ画像中の情報が利用される（ステップＳ２５０）。例えば、エラーのある画像エリアにおけるエラーは、前記画像のフレームにおける該エラーのある画像エリアと同じサイズの正常な（エラーのない）隣接する画像エリアを利用することにより隠蔽される。

ステップＳ２３０の結果が真である場合、即ち類似する画像エリアが見出された場合は、存在するエラーを隠蔽するために基準画像中の情報が利用される（ステップＳ２４０）。ここで、類似する画像エリアは一般に、エラーが存在する画像エリアと隣接する画像エリアとの間の隣接関係に従って、基準画像における類似の画像エリアに対応するエラー訂正画像エリアを見出すために利用される。エラー訂正画像エリアにおける情報は、存在するエラーを隠蔽するために利用される。エラーを隠蔽する詳細な処理については、図４の説明を参照されたい。

最後に、エラーが隠蔽されたビデオ画像がデコードされ、出力される（ステップＳ２６０）。

図３は、本発明の実施例による、類似する画像エリアを検索する処理のフロー図である。該フロー図は、図２における類似する画像エリアを検索するステップＳ２２０の分解されたフロー図である。

最初に、基準画像において、隣接する画像エリアの対応する画像エリアが決定される（ステップＳ２２１）。対応する画像エリアは、以前の基準ビデオ画像における対応する位置に配置され、該位置に、ビデオ画像中の隣接する画像エリアの位置がシフトされる。

本実施例においては、隣接する画像エリア、対応する画像エリア、個々の画像エリア及び類似する画像エリアのサイズは、全てエラーのある画像エリアのサイズと等しく、例えば全て１６＊１６である等する。

次いで、隣接する画像エリアに応じて、所定の条件に従って、対応する画像エリアを含む所定の画像領域において、類似する画像エリアが検索される（ステップＳ２２２）。

ここで、所定の画像領域は、対応する画像エリアを中心とし周囲に広がる所定の領域であり、該領域のサイズは供給者により予め設定されても良く、通常１２８＊１２８であり得る。対応するサイズの所定の領域は、エラーが存在する画像エリアのサイズによって選択されても良い。例えば、１６＊１６のサイズを持つエラーが存在するエリアに対して、該所定の領域が１２８＊１２８に設定されても良い。該所定の領域は、基準画像全体から検索されても良いが、該検索は時間が掛かり過ぎる。本実施例においては、該所定の領域は１２８＊１２８である。

その後、所定の画像領域におけるぞれぞれの個々の画像エリアと隣接する画像エリアとの間の画素差分の絶対値の合計が得られ、該個々のエリアのサイズは、隣接する画像エリアのサイズと等しい（ステップＳ２３３）。ここで、該個々のエリアは、前記所定の画像領域を、隣接するエリアと等しいサイズを持つ幾つかのエリアに分割することにより形成される。

上述したステップに従って、隣接する画像エリアとそれぞれの個々の画像エリアとの間の画素差分の絶対値の合計をどのように取得するかを説明するための例として、Ｙ（輝度）、Ｕ（色情報におけるクロマティック情報）及びＶ（色情報におけるクロマティック収差情報）フォーマットのうちのＹをとる。例えば、隣接する画像エリアのサイズが１６＊１６であり、個々の画像エリアのサイズもまた１６＊１６である場合、２つのエリア間の全ての画素差分の絶対値の合計は、以下のように取得される。隣接する画像エリアにおいて２５６個の画素のそれぞれの画素値から、類似する画像エリアにおける２５６個の画素の１つの対応する画素値を減算することにより差分値を取得する。次いで、それぞれの差分値の絶対値をとることにより、２５６個の絶対値を取得する。該２５６個の絶対値を加算すると、ＤＩＦＦ（上述した差分の絶対値の合計）が得られる。

上述のステップＳ２２２及びステップＳ２２３は全て、動き推定アルゴリズムの支援により実現される。動き推定においては、以下の式において、ＤＩＦＦはＳＡＤ（差分の絶対値の合計）により表現される。

ＤＩＦＦは、全ての画素差分の二乗値の合計によっても表現され得る。

上述した動き推定アルゴリズムの詳細については、Lexis M. Tourapis、Oscar C. Au及びMing L. Liouによる論文「Highly Efficient Predictive Zonal Algorithms for Fast Block-Matching Motion Estimation」（「IEEE Transactions on Circuits and Systems for Technology」、Vol. 12、No. 10、2002年10月）を参照されたい。

それぞれの個々の画像エリアに対応する取得されたＤＩＦＦに従って、全てのＤＩＦＦ値のうち最小のＤＩＦＦが、予め設定された閾値と比較される（ステップＳ２２４）。該予め設定された閾値は、テストを通して供給者により前もって提供されても良く、通常はエラーの存在する画像エリアのサイズによって設定される。例えば、１６＊１６のサイズを持つエラーのある画像エリアに対しては、該予め設定された閾値は４＊１６＊１６であっても良い。ここで４は平均輝度（Ｙフォーマットにおける）差分である。

最後に、該比較の結果に応じて、ＤＩＦＦが対応する個々のエリアが、隣接する画像エリアの類似する画像エリアであるか否かが決定される（ステップＳ２２５）。

上述したステップにおいて、絶対値ＤＩＦＦの最小の合計が前記予め設定された閾値よりも大きい場合には、個々の画像エリアのうち最小の絶対値の合計を持つものは類似する画像エリアではない。最小の絶対値の合計ＤＩＦＦが前記予め設定された閾値よりも小さい場合には、個々の画像エリアのうち絶対値の最小の合計を持つものは類似する画像エリアである。

それ故、前記所定の条件は、絶対値の最小の合計が前記予め設定された閾値よりも大きい場合には、個々の画像エリアのうち最小の絶対値の合計を持つものは類似する画像エリアではなく、絶対値の最小の合計が前記予め設定された閾値よりも小さい場合には、個々の画像エリアのうち最小の絶対値の合計を持つものは類似する画像エリアであるというものであっても良い。

最小の絶対値の合計ＤＩＦＦが前記予め設定された閾値よりも小さい場合には、類似する画像エリアと対応する隣接する画像エリアとの間で、ベクトル及び位置関係が得られる。これにより、存在するエラーを隠蔽するために時間エラー隠蔽手法が利用される場合に、エラーのある画像エリアと隣接する画像エリアとの間のベクトル、位置関係及び隣接関係により、エラー訂正画像エリアが見出される。存在するエラーは、該エラー訂正画像エリアにおける情報により隠蔽される。

本発明によるビデオデコード処理においてエラーを隠蔽するための方法及び装置は、最初に、ビデオ画像中のエラーのある画像エリアを隠蔽するための情報を、ビデオ画像の基準画像中で検索し、所定の条件に従う該情報が見出されなかった場合には、ビデオ画像中の情報を利用することによりエラーを隠蔽し、所定の条件に従う該情報が見出された場合には、ビデオ画像の基準画像中の情報を利用することによりエラーを隠蔽する。

それ故、本発明は、時間手法がエラーを隠蔽するために利用されるべき場合に、空間手法がエラーを隠蔽するために利用されるという欠点を回避する。本発明の方法を用いると、時間ドメインがアクティブであっても（例えば場面の切換えや、基準画像中の情報とエラーが存在するビデオ画像中の情報との間の差分が大き過ぎる場合等）、エラーを隠蔽するための情報が基準画像中に見出される限り、時間手法を利用することによりエラーが隠蔽されることができる。例えば、砂漠から大草原へと変化する背景を伴った２つの連続する画像のフレームにおいて同一人物が居る。場面は完全に変化するが（時間ドメインがアクティブである）、人物の衣服が同じであれば、人物の衣服にエラーのある画像エリアが出現する場合には、エラーを隠蔽するための情報は依然として基準画像に見出され得る（時間エラー隠蔽の態様で）。

図４は、本発明の実施例のビデオデコード処理における空間手法を利用することによるエラーのある画像の隠蔽の模式的な図である。本図は、図２におけるステップＳ２２０、ステップＳ２３０及びステップＳ２４０をどのように実行するかを、グラフィカルな態様で模式的に説明する。以下の説明は、基準画像としてＰピクチャをとることにより為される。

エラーのあるＩフレームビデオ画像４０１のフレームにおいて、エラーが存在する画像エリアは４０１Ａである。エラーのある画像エリアの隣接する画像エリアは、４０１Ｂである。エラーのあるＩフレームビデオ画像４０１のＰフレーム基準画像４０２において、隣接する画像エリアに対応する類似する画像エリア４０１Ｂ'が、基準画像の対応する画像エリアを中心とする所定の領域に見出される。該領域に、隣接する画像エリア４０１Ｂがシフトされる。次いで、対応する画像エリアと類似する画像エリア４０１Ｂ'との間の位置関係から、動きベクトルｍｖが決定される。

ここで、所定の領域において類似する画像エリア４０１Ｂ'を検索する処理は、以下のように実現される。最初に、該所定の領域が、隣接する画像エリアと同じサイズの複数の個々の画像エリアに分割される。次いで、それぞれの個々の画像エリアと隣接する画像エリアとの間の画素差分の絶対値の合計が得られる。その後、絶対値の合計から絶対値の最小の合計が選択され、予め設定された閾値と比較される。該比較の後、該絶対の最小の合計が該予め設定された閾値よりも小さい場合、個々の画像エリアのうち絶対値の最小の合計が対応するものが、類似する画像エリア４０１Ｂ'である。

エラー訂正画像エリア４０１Ａ'は、動きベクトル、及びエラーが存在する画像エリア４０１Ａと隣接する画像エリア４０１Ｂとの間の隣接位置関係により決定される。エラー訂正画像エリア４０１Ａ'は、エラーが存在する画像エリア４０１Ａを隠蔽するために複製される。

本発明において、エラーが存在する画像エリアの上、下、左及び右の画像エリアのような、１、２又はそれ以上の正常な隣接するエリアが存在し得る。上述の説明は、１つの隣接する画像エリアのみを例としてとって為された。検索のために２以上の隣接する画像エリアが利用され、それぞれの隣接する画像エリアに１対１の対応を持つ１よりも多い類似する画像エリアが検索処理において見出された場合には、画素差分の絶対値の最小の合計を持つ類似する画像エリアが、最終的なエラー訂正画像エリアを決定するために利用され、また対応する動きベクトルの平均値又は中央値が対応する類似する画像エリアが、最終的なエラー訂正画像エリアを決定するために利用されても良い。

隣接する画像エリアと上述した対応する類似する画像エリアとの間の画素差分の絶対値の合計は、画素差分の二乗の合計により置き換えられても良い。

複数の隣接する画素エリアが上述したように得られる場合には、得られる類似する画像エリアの数が、検索のために利用される隣接する画像エリアの数と余りにも異なる場合（例えば、対応する類似する画像エリアが、検索のために利用される４つの隣接する画像エリアのうち１つの隣接する画像エリアのみについて見出された場合）には通常、基準画像とエラーのある画像とが余りにも異なると考えられ、従って空間手法がエラーを隠蔽するために選択される。反対に、見出された類似する画像エリアの数が、検索のために利用される隣接する画像の数と近い場合（例えば、４つのうち３つが見出された場合）には通常、基準画像とエラーのある画像とが類似していると考えられ、時間手法がエラーを隠蔽するために選択される。

本発明は特定の実施例に関連して説明されたが、以上の説明による多くの代替、変更及び変形が当業者には明らかである。それ故、斯かる代替、変更及び変形は、これらが
添付する請求項の精神及び範囲内である場合、本発明に含まれるべきである。

本発明によるビデオデコード処理においてエラーを隠蔽するための装置の模式的な図である。 本発明の実施例によるビデオデコード処理においてエラーを隠蔽するための方法のフロー図である。 本発明の実施例による類似する画像エリアを検索するフロー図である。 本発明の実施例による時間手法を利用することによるエラーのある画像エリアの隠蔽の模式的な図である。

Claims (12)

1. ビデオデコード処理においてエラーを隠蔽する方法であって、
   （ａ）エラーが存在する画像エリア及び隣接する画像エリアを有するビデオ画像のフレームを受信するステップと、
   （ｂ）前記ビデオ画像の基準画像のフレームにおいて、所定の条件により、前記隣接するエリアが対応する類似する画像エリアを検索するステップと、
   （ｃ）前記類似する画像エリアが見出されない場合、前記ビデオ画像中の情報を利用することにより前記存在するエラーを隠蔽するステップと、
   を有する方法。
2. （ｄ）前記類似する画像エリアが見出された場合、前記基準画像中の情報を利用することにより前記存在するエラーを隠蔽するステップ
   を更に有する、請求項１に記載の方法。
3. 前記ステップ（ｄ）は、前記エラーが存在する画像エリアと前記隣接する画像エリアとの間の隣接関係により、前記基準画像において、前記類似する画像に対応するエラー訂正画像エリアを見出すステップと、
   前記エラー訂正画像エリアにおける情報により前記存在するエラーを隠蔽するステップと、
   を有する、請求項２に記載の方法。
4. 前記ステップ（ｂ）は、
   （ｉ）前記基準画像における、前記隣接する画像エリアの対応する画像エリアを決定するステップと、
   （ii）前記所定の条件により、前記対応する画像エリアを含む所定の画像領域において、前記類似する画像エリアを検索するステップと、
   を有する、請求項１に記載の方法。
5. 前記ステップ（ii）は、
   （iii）前記所定の画像領域におけるそれぞれの個々の画像エリアと前記隣接する画像エリアとの間の画素差分の絶対値の合計を取得するステップ
   を有し、前記個々の画像エリアのサイズは、前記隣接する画像エリアのサイズと同一であり、前記ステップ（ii）は更に、
   （iv）前記絶対値の最小の合計を、予め設定された閾値と比較するステップと、
   （ｖ）前記比較の結果及び前記所定の条件により、前記個々の画像エリアのうち前記絶対値の最小の合計を持つものが、前記類似する画像エリアであるか否かを決定するステップと、
   を有する、請求項４に記載の方法。
6. 前記所定の条件は、前記絶対値の最小の合計が前記予め設定された閾値よりも大きい場合、前記個々の画像エリアのうち前記絶対値の最小の合計を持つものは、前記類似する画像エリアではないことである、請求項５に記載の方法。
7. 前記所定の条件は、前記絶対値の最小の合計が前記予め設定された閾値よりも小さい場合、前記個々の画像エリアのうち前記絶対値の最小の合計を持つものは、前記類似する画像エリアであることである、請求項５に記載の方法。
8. ビデオデコード処理においてエラーを隠蔽する装置であって、
   エラーが存在する画像エリア及び隣接する画像エリアを有するビデオ画像のフレームを受信するための受信手段と、
   前記ビデオ画像の基準画像のフレームにおいて、所定の条件により、前記隣接するエリアが対応する類似する画像エリアを検索するための検索手段と、
   前記類似する画像エリアが見出されない場合、前記ビデオ画像中の情報を利用することにより前記存在するエラーを隠蔽するための空間エラー隠蔽手段と、
   を有する装置。
9. 前記類似する画像エリアが見出された場合、前記基準画像中の情報を利用することにより前記存在するエラーを隠蔽するための時間エラー隠蔽手段を更に有する、請求項８に記載の装置。
10. 請求項８に記載の装置であって、前記装置は、
    前記基準画像において、前記隣接する画像エリアの対応する画像エリアを決定するための位置決め手段と、
    前記対応する画像エリアを含む所定の画像領域におけるそれぞれの個々の画像エリアと前記隣接する画像エリアとの間の画素差分の絶対値の合計を取得するための取得手段と、
    を有し、前記個々の画像エリアのサイズは前記隣接する画像エリアのサイズと同一であり、前記装置は更に、
    前記絶対値の最小の合計を予め設定された閾値と比較するための比較手段と、
    前記比較の結果及び前記所定の条件により、前記個々の画像エリアのうち前記絶対値の最小の合計を持つものが、前記類似する画像エリアであるか否かを決定するための決定手段と、
    を有する装置。
11. 前記所定の条件は、前記絶対値の最小の合計が前記予め設定された閾値よりも大きい場合、前記個々の画像エリアのうち前記絶対値の最小の合計を持つものは、前記類似する画像エリアではないことである、請求項１０に記載の装置。
12. 前記所定の条件は、前記絶対値の最小の合計が前記予め設定された閾値よりも小さい場合、前記個々の画像エリアのうち前記絶対値の最小の合計を持つものは、前記類似する画像エリアであることである、請求項１１に記載の装置。

Images