JP2006504175A - フォールバックを用いる画像処理装置 - Google Patents

Abstract

入力画像のシーケンスに基づいて出力画像のシーケンスを計算する画像処理ユニット（１００，２００，３００）は、前記入力画像に基づいて動きベクトル場を計算する動き推定ユニット（１０２）と、前記動きベクトル場に対する品質測定の値を計算する品質測定ユニット（１０４）と、前記動きベクトル場に基づく前記入力画像の画素値の補間によって前記出力画像を計算する補間ユニット（１０６）と、前記品質測定に基づいて補間ユニット（１０６）を制御する制御手段（１０８）とを有する。品質測定ユニット（１０４）は、隣接した動きベクトルの間の最大の差に基づいて前記品質測定の値を計算するように構成される。前記品質測定の値が所定の閾値より低い場合に、動き補償補間が実行され、そうでなければ非動き補償補間が実行される。

Description

本発明は、入力画像のシーケンスに基づいて出力画像のシーケンスを計算する画像処理ユニットにおいて、
前記入力画像に基づいて、第１画素グループに属する第１動きベクトル及び第２画素グループに属する第２動きベクトルを有する動きベクトル場を計算する動き推定ユニットと、
前記動きベクトル場に対する品質測定の値を計算する品質測定ユニットと、
前記動きベクトル場に基づく前記入力画像の画素値の補間によって前記出力画像の第１画像を計算する補間ユニットと、
前記品質測定に基づいて前記補間ユニットを制御する制御手段と、
を有する画像処理ユニットに関する。

本発明は更に、
入力画像のシーケンスに対応する信号を受信する受信手段と、
前記入力画像のシーケンスに基づいて出力画像のシーケンスを計算する当該画像処理ユニットと、
を有する画像処理装置に関する。

本発明は更に、入力画像のシーケンスに基づいて出力画像のシーケンスを計算する方法において、
前記入力画像に基づいて、第１画素グループに属する第１動きベクトル及び第２画素グループに属する第２動きベクトルを有する動きベクトル場を計算するステップと、
前記動きベクトル場に対する品質測定の値を計算するステップと、
前記動きベクトル場に基づく前記入力画像の画素値の補間によって前記出力画像の第１画像を計算するステップと、
前記品質測定に基づいて前記画素値の補間を制御するステップと、
を有する方法に関する。

動き推定は、多くのビデオ信号処理アプリケーションにおいて重要な役割を果たす。ピクチャレート・アップコンバージョン、インターレース解除及びビデオ圧縮のようなアプリケーションの結果として生じる画質は、動きベクトルを使用することにより大幅に向上されることができる。ビデオ圧縮、即ち符号化に対して、動き推定は、記憶及び伝送の必要条件を最小化するために重要である。特にピクチャレート・アップコンバージョン、インターレース解除及びビデオフォーマット変換全般に対して使用される動き推定ユニットに対して、前記動き推定ユニットが結果として“真の”動きベクトル場を生じることは重要である。前記“真の”動きベクトル場は、画像内の実際の動きを正確に記述する。通常は、符号化に対する動き推定ユニットは、この厳密な条件を持たない。この場合、不正確な動きベクトル場の影響は、追加の記憶及び伝送の必要条件である。

多数の異なる動き推定アルゴリズムが、文献に記載されている。概観については、書籍“Digital Signal Processing”, 著者A. Tekalp, Prentice Hall, 1995年, ISBN 0-13-190075-7を参照する。多くの動き推定ユニットは、民生用アプリケーションに対して計算的に複雑すぎるか、又は民生用アプリケーションに対して必要な品質レベルに達していない。G. de Haanによる“Motion estimation and compensation”, 博士論文, Technical University Delft, 1992年に記載されている３次元再帰検索のような動き推定アルゴリズム、又はProceedings of ICCE, 頁230-231, IEEE, 2000年6月のR. Wittebrood及びG. de Haanによる“Second generation DSP software for picture rate conversion”に記載されているオブジェクトベースの推定器は、真の動きを推定することを試み、多数のビデオシーケンスに対して成功している。しかしながら、前記動き推定ユニットが真の動きを推定するのに失敗するビデオシーケンスが残る。これが生じる可能性がある典型的なビデオシーケンスは、非常に大きな動き、大きな一様な領域、又は繰り返し構造を持つシーケンス、及び大きな加速度又は小さな動いているオブジェクトを持つシーケンスである。前記動き推定ユニットが、正しい動きを推定するのに失敗する場合には、これらの正しくない不正確な動きベクトルの使用は、動き補償された結果において迷惑なアーチファクトを与える可能性がある。これらのアーチファクトは、同様な結果を目的とする複雑性の低い補償アルゴリズムにより生成されたアーチファクトより更に大きくなる可能性がある。したがって、前記動き推定ユニットが良い仕事を行ったか否か、即ち結果として生じる動きベクトル場が正しく且つ正確であるか否かを検出することが必要である。

誤りのある動きベクトル場を検出する多数の異なるアルゴリズムが、文献から既知であり、及び／又は既存の電子装置で実施される。以下に、多数のこれらのアプローチが検討される。これは、動きベクトル場に対する多数の品質測定が記載されることを意味する。動き推定ユニットは、通常は、画像内に大きな速度が存在する場合に失敗する。これは、ある動き推定ユニットが動きベクトルに対して定める限定された範囲により生じる。これは、ブロック照合器（block matchers）（引用書籍“Digital Signal Processing”を参照）において見られることができる。他の理由は、動き推定ユニットの裏にある仮定が、小さな動きに対してのみ有効であり、動きが増大するとますます不正確になるからである。これは、画素再帰推定器又はオプティカルフロー推定器（引用書籍“Digital Signal Processing”を参照）に対して真実である。したがって、動きベクトル場の品質に対するたくさん使用されたインジケータは、ビデオシーケンス内に存在するオブジェクトの動きの大きさの特定の測定である。フォールバック・アルゴリズムは、オブジェクト、セグメント、画像領域、又はブロックの動きが所定の閾値を超える場合にオンに切り替えられる。フォールバック・アルゴリズムを使用する概念は、欧州特許公開公報EP0648046において開示されている。これは、例えば以下のように実施されることができる。

であり、ここでＮは、フォールバック処理がオンに切り替えられるべきか否か、決定が行われなければならない領域Ｒにおける位置

における動きベクトル

の数である。Ｔ₁は、局所的に画像コンテンツに対して適合されることができる閾値である。

一般に、動き推定は、最適化問題である。画像内のオブジェクト、セグメント、画像領域又はブロックごとに、照合誤差（match error）は、候補動きベクトルのセット上で最小化される。例えば、この照合誤差は、絶対差の和（ＳＡＤ）であることができる。

他の照合基準は、相互相関及び平均二乗誤差である。このアイデアは明白であり、動きベクトルが良いほど、照合誤差は小さくなる。したがって、照合誤差は、動きベクトルの品質のインジケータであり、誤差のある動きベクトルを検出するのに使用されることができる。オブジェクトに対する照合誤差が所定の閾値を超える場合には、動きベクトルが不正確である確率が大きい。この型のフォールバック検出は、米国特許公開公報US5940145及びUS5546130において開示されている。例として、

であり、ここで動き補償された差は、領域Ｒにおける全ての位置

にわたり合計される。

及び

は、現在の画像の輝度値及び以前の画像の輝度値であり、

は、位置

における動きベクトルである。

一般に、自然画像シーケンスの真の動きベクトル場は、空間的及び時間的の両方で整合している。空間的及び時間的な不整合性の測定は、動きベクトル場の正しさの相対的に良いインジケータであることが知られている。G. de Haanの博士論文“Motion estimation and compensation”, Technical University Delft, 1992年を参照する。動きベクトル場が、空間的又は時間的に、不整合すぎる場合には、フォールバック・アルゴリズムがオンに切り替えられなければならない。例えば、時間的な不整合性の場合には、

であり、ここで、連続した画像の対応する動きベクトルの間の全ての差は合計される。空間的な不整合性の場合には、

であり、ここで、

は、

の隣接した全ての位置を含むセットである。

例えば上述の型の複数の品質測定の組み合わせを使用することも可能である。前記組み合わせは、個々の測定単独よりロバストな結果を与える。この組み合わされた測定に応じて、この場合、フォールバック・アルゴリズムがオンに切り替えられなければならないかどうかが決定されることができる。このアプローチは、米国特許公開広報US5546130において開示されている。

フォールバック又はフォールバック無しを選択する代わりに、補間アルゴリズムの間のより緩やかな遷移を行う品質測定が使用されることもできる。この場合、前記品質測定は混合パラメータとして使用され、フォールバック補間及び動き補償補間の結果は、前記混合パラメータ、即ち前記動きベクトル場に対する前記品質測定により決定される比で一緒に混合される。

一般に、上述の品質測定は、前記動きベクトル場の全体的な品質の相対的に良いインジケータである。このようなものとして、これらは、フォールバック処理に対する検出器として利用することができる。しかしながら、これらのインジケータが失敗する状況が存在する。典型的な例は、近傍と比較して相対的に高い速度を持つ相対的に小さなオブジェクトである。これは例を用いて説明される。山の背景に対して飛んでいる飛行機の画像シーケンスを仮定する。前記飛行機はカメラにより追跡されており、前記背景は左から右に移動する。前記飛行機の平均輝度値は、前記背景の平均輝度値よりわずかに低く、前記飛行機の大きさは、８×８画素を有するブロックで５ブロックのオーダーである。前記背景の速度は高いが、動き推定ユニットにより正しく推定されることができる。問題は、相対的に小さな飛行機と共にある。前記動き推定ユニットは、前記飛行機の動きを推定するのに失敗する。多数のブロックが正しい動きに割り当てられるが、他のブロックは、前記背景の速度に割り当てられる。前記飛行機の動きと前記背景の動きとの間の相対的に大きな差のため、多量のアーチファクトが、これらの動きベクトルを使用する結果として生じる可能性がある。ピクチャレート・アップコンバージョンの場合には、前記飛行機は、正しい動きにより記述されるものと、前記背景の速度により記述される他のものとに、断片に分解される。一般に、前記飛行機は前記カメラにより追跡されるオブジェクトであるので、観測者の目は、前記飛行機に焦点を合わせられる。前記飛行機の正しくないレンダリングは、非常に迷惑である。

本発明の目的は、誤差のある動きベクトル場の向上された検出を持つ、冒頭の段落に記載された種類の画像処理ユニットを提供することである。

本発明のこの目的は、品質測定ユニットが、第１動きベクトルと第２動きベクトルとの間の最大の差に基づいて品質測定の値を計算するように構成されることにより達成される。好ましくは、第１画素グループは、第２画素グループの隣接した画素グループである。典型的には、前記画素グループは、画素のブロックである。好ましくは、補間ユニットは、前記品質測定の値が所定の閾値より低い場合に、動きベクトル場に基づいて入力画像の画素値の動き補償補間（motion compensated interpolation）を実行するように構成され、前記品質測定の値が前記所定の閾値より高い場合には、前記入力画像の画素値の代替補間を実行するように構成される。

重要な観測結果は、上述のアーチファクト、即ち断片に分解されたオブジェクトは、正しい動きと割り当てられた動きとの間の差が増大すると、より見ることができるようになり、迷惑になる。もし前記正しい動きと前記割り当てられた動きとの間の差を検出することが可能であれば、この差が所定の閾値を超える場合にフォールバックを始めることが可能である。前記正しい動きは既知でないので、ヒューリスティック・アプローチが必要とされる。前述の種類の最も明らかなアーチファクトは、動いている背景に対して小さなオブジェクトが追跡される場合に生じる。前記オブジェクトは追跡されるので、前記オブジェクトの速度はゼロに近い。速度ゼロが、動き推定ユニットが照合誤差を最小化する、動きベクトル候補セットに含まれる場合に、前記追跡されるオブジェクト内の多数のブロックが正しい動きベクトル、即ちゼロ運動に割り当てられる可能性は高い。明らかに、前記追跡されるオブジェクトの他のブロックは、間違った動きベクトル、前記背景の動きベクトルに割り当てられることになる。結果として、前記間違った動きベクトル及び前記正しい動きベクトルは前記追跡されるオブジェクト内に存在し、このオブジェクト内のどこかで前記正しいベクトル及び前記間違ったベクトルは隣接したブロック上にある。したがって、２つの隣接した画素グループの動きベクトルの間の差又は絶対差は、追跡されるオブジェクトにおける前記割り当てられた動きと前記正しい動きとの間の差の適切な近似である。局所的な動きベクトルコントラスト（local motion vector contrast）と称される、これらの差の最大値は、フォールバック検出に対する良い基準である。

上で述べられた他の品質測定、即ち式１、３〜５に指定された品質測定は、このアーチファクトを検出することができない。前記オブジェクトの速度が途方もなく高いわけではない場合に、式１を適用することにより、この問題は検出されない。完全な背景の動きは正しく推定されるので、平均照合誤差は低い。前記飛行機の輝度値及び前記背景の輝度値は相対的に似ているので、局所照合誤差も低い。したがって、式３も十分ではない。前記動きベクトル場は、非常に高い空間的整合性及び非常に高い空間的整合性を示す。したがって、式４及び式５は、前記フォールバック処理を開始しない。

説明の焦点を、小さなオブジェクトがカメラにより追跡される場合に合わせているが、隣接したブロックの間の動きベクトルの差は、多くの場合において良い基準である。以下の理由がこれをもっともらしくする。第一に、ブロック境界は、本物のオブジェクト境界とは一致せず、これは、それぞれのブロックの動きベクトルが正しい場合でさえ、アーチファクトを与える。一般に、これらのアーチファクトは、隣接したブロックの動きベクトルの間の差がより大きい場合に、より目立つ。第二に、既存の動き推定ユニットは、オクルージョン領域において失敗する。これらの領域において、ハロー（halo）と称される典型的なアーチファクトが生じる。ハローは、既存の動き推定ユニットの主要な問題の１つである。このハローは、前記オクルージョン領域における隣接した速度が類似している場合には小さいが、前記差が大きいと、前記ハローが大きくなり、前記ハローがより見えるようになり、迷惑である。第三に、真の動きベクトル場は、時間的及び空間的の両方で整合している。実際には、ほとんど全ての動き推定ユニットは、前記動きベクトル場においてこの整合性を強要する。最後に、前記動き推定ユニットがプログラム可能な装置上で実施される場合に、隣接した速度の大きな差は、ビデオデータが効率的にキャッシュされることができる可能性が低いことを意味する。これは、性能問題及びフレームの飛び（skipping frame）のようなこれらの性能問題から生じるアーチファクトを生じる可能性がある。

式５に指定されるような空間的な不整合性測定と、式６に指定されるような局所的な動きベクトルコントラストとの間に重要な差がある。前記空間的な不整合性が、前記動きベクトル場の全体的な品質を示す基準を決定する場合に、前記局所的な動きベクトルコントラストは、目立つアーチファクトが画像内で見られる確率を示す。したがって、前記局所的な動きベクトルコントラストは、非常に厳密な基準であり、特に、観測者がアーチファクトに非常に厳しい場合、及び動きベクトルの使用が不可欠ではない場合に使用されるべきである。前記空間的な不整合性の基準は、動きベクトルが除外されることができない場合、及び結果として生じるアーチファクトが、他の様式、例えばビデオ圧縮でカバーされることができる場合に、使用されるべきである。

前記補間ユニットが代替補間を実行するように構成される、本発明による前記画像処理ユニットの実施例において、前記代替補間は、非動き補償補間（non-motion compensated interpolation）を含む。これは、ゼロに等しい動きベクトルを有する動きベクトル場を前記補間ユニットに提供することにより達成されることができる。代替的に、前記動き推定ユニットにより計算された動きベクトルには対応しないが、これらの動きベクトルから、例えば前記動きベクトルの長さを係数により除算することにより得られる動きベクトルが、前記補間ユニットに提供される。これを行うことにより、本発明による前記画像処理ユニットの実施例は、実質的に正しい動き補償補間から全く動き補償の無い状態まで緩やかにフェードする（fade）ように構成される。

本発明による前記画像処理ユニットの他の実施例において、前記代替補間は、前記入力画像の画素値の複製を含む。これは、多数の入力画像が、直接的に複製されて多数の出力画像を形成することを意味する。この実施例の利点は単純性である。

本発明による前記画像処理ユニットの他の実施例において、前記品質測定ユニットは、前記第１動きベクトルの水平成分と前記第２動きベクトルの水平成分との間の最大の差に基づいて前記品質測定の値を計算するように構成される。ほとんどの画像シーケンスにおいて、前記オブジェクト、例えば俳優又は乗り物は、水平方向に移動している。水平運動に焦点を合わせることは有利である。同じ理由のため、前記第１動きベクトルに対応する第１画素グループは、前記第２動きベクトルに対応する第２画素グループから水平に位置することが好ましい。

本発明による前記画像処理ユニットの他の例において、前記所定の閾値は、適合可能な閾値である。好ましくは、前記適合可能な閾値は、前記動きベクトルに対して計算される照合誤差に基づく。前記照合誤差が相対的に低い場合、前記動きベクトルが正しい確率は相対的に高いので、前記適合可能な閾値の値は、相対的に高くあるべきである。本発明による本実施例の利点は、よりロバストなフォールバック決定ストラテジである。

本発明の更に他の目的は、誤差のある動きベクトル場の向上された検出を持つ、冒頭の段落に記載された種類の画像処理装置を提供することである。

本発明のこの目的は、前記品質測定ユニットが、前記第１動きベクトルと前記第２動きベクトルとの間の最大の差に基づいて前記品質測定の値を計算するように構成されることにより達成される。前記画像処理装置は、追加の要素、例えば前記出力画像を表示する表示装置を有することができる。前記画像処理ユニットは、１つ又は複数の以下の型の画像処理をサポートすることができる。

−インターレース解除。インターレースは、奇数又は偶数番号の画像ラインを交互に送信する一般のビデオ放送手順である。インターレース解除は、完全な縦の解像度を修復する、即ち各画像に対して奇数ライン及び偶数ラインを同時に利用することができるようにすることを試みる。

−アップコンバージョン。元の入力画像の系列から、出力画像のより大きな系列が計算される。出力画像は、時間的に２つの元の入力画像の間に位置する。

−時間的なノイズ低減。これは、空間的な処理を含むこともでき、空間−時間的なノイズ低減を結果として生じる。

−ビデオ圧縮、即ち、例えばＭＰＥＧ規格による符号化又は復号。

本発明の更に他の目的は、誤差のある動きベクトル場の向上された検出を持つ、冒頭の段落に記載された種類の方法を提供することである。

本発明のこの目的は、前記品質測定の値が、前記第１動きベクトルと前記第２動きベクトルとの間の最大の差に基づいて計算されることにより達成される。

前記画像処理ユニットの修正例及び変更例は、記載される前記方法及び前記画像処理装置の修正例及び変形例に対応することができる。

本発明による前記画像処理ユニット、前記方法及び前記画像処理装置のこれら及び他の態様は、以下に記載される実施例及び具体例に関して、且つ添付図面を参照して説明され、明らかになるであろう。

同じ参照符号は、図面を通して同様な部分を示すために使用される。

図１は、本発明による画像処理ユニット１００の実施例を概略的に示す。この場合、画像処理ユニット１００は、スキャンレート・アップコンバータに対応する。画像処理ユニット１００は、入力コネクタ１１０において入力画像のシーケンスを表す信号を供給され、出力コネクタ１１２において出力画像のシーケンスを表す信号を供給する。出力画像の数は、入力画像の数より高い。前記出力画像の幾つかは、時間的に２つの元の入力画像の間に位置する。画像処理ユニット１００は、以下のものを有する。

−前記入力画像に基づいて動きベクトル場を計算する動き推定ユニット１０２。前記動きベクトル場は、動きベクトルを有する。動き推定ユニット１０２は、例えば、IEEE Transactions on circuits and systems for video technology, vol.3, no.5, 1993年10月, 頁368-379のG. de Haan et. al.による記事“True-Motion Estimation with 3-D Recursive Search Block Matching”に記されるようなものである。

−前記動きベクトル場に対する品質測定の値を計算する品質測定ユニット１０４。前記品質測定は、式６に指定されるように、前記動きベクトル場の隣接した動きベクトルの間の最大の差に基づいて計算される。この計算の他に、例えば式１、３〜５に指定されるような他の計算が、前記動きベクトル場の品質を推定するために実行される。

−前記入力画像の画素値の補間によって前記出力画像の第１画像を計算する補間ユニット１０６。前記補間ユニットは、動き補償ユニット１０２により供給されるような動きベクトル場に基づいている動き補償補間から、前記出力画像を生じる元の画像の画素値の複製までの範囲に及ぶ様々なタイプの補間をサポートするように設計される。図２及び３に関連して様々な補間が記載される。

−前記計算された品質測定に基づいて前記補間ユニットを制御する制御ユニット１０８。

画像処理ユニット１００の動作は、以下のとおりである。連続した入力画像の各対に対して、動きベクトル場が計算される。各動きベクトル場の品質は、品質測定を計算することにより決定される。この品質測定は、制御ユニット１０８によって所定の閾値と比較される。前記動きベクトル場の品質が十分であるように見える場合、前記制御ユニットは、補間ユニット１０６を始動させ、前記動きベクトル場に基づいて動き補償された出力画像を計算する。典型的には、前記出力画像のシーケンスは、前記入力画像のそのままの複製と複数の入力画像に基づく補間された画像との両方を有する。しかしながら、前記動きベクトル場の品質が、大域的に、しかし特には局所的に、十分でない場合、補間のタイプは、非動き補償補間に徐々に変化する。

本発明による前記品質測定が、他の品質測定、例えば式１，３〜５に指定されるような品質測定と組み合わされることができることは、明らかであろう。

動き推定ユニット１０２、品質測定ユニット１０４、補間ユニット１０６及び制御ユニット１０８は、１つのプロセッサを使用して実施されることができる。通常は、これらの機能は、ソフトウェアプログラムプロダクトの制御下で実行される。実行中に、通常は、前記ソフトウェアプログラムプロダクトは、ＲＡＭのようなメモリにロードされ、前記メモリから実行される。前記プログラムは、ＲＯＭ、ハードディスク、又は磁気及び／若しくは光学記憶部のようなバックグラウンドメモリからロードされることができるか、又はインターネットのようなネットワークを介してロードされることができる。オプションとしては、特定用途向け集積回路が、開示された機能を提供する。

図２は、動き補償補間器２０２と非動き補償補間器２０４との間で切り替わるように構成された画像処理ユニット２００の実施例を概略的に示す。前記補間ユニットは、制御ユニット１０８によって制御されるスイッチ２０６を有する。制御ユニット１０８が、前記動きベクトル場の品質が良いと決定した場合に、動き補償補間器２０２により計算される画像は、出力コネクタ１１２に供給される。しかしながら、制御ユニット１０８が、前記動きベクトル場の品質が良くないと決定した場合に、非動き補償補間器２０４により計算される画像は、出力コネクタ１１２に供給される。したがって、補間ユニット１０６は、動き補償モード又は非動き補償モードである。

オプションとして、補間ユニット１０６は、追加のモードをサポートする。例えば、制御手段１０８が、前記動きベクトル場の品質が不十分であると決定したが、スイッチ２０６は、動き補償補間器２０２からの画像の移送に対応する状態のままである。しかしながら、動き推定ユニット１０４により計算されるように、前記動きベクトル場を直接的に使用することにより補間された画像を計算する代わりに、ここで前記補間は、修正された動きベクトル場に基づく。修正のタイプは、１．０から０．７５、０．５、０．２５を介して０．０までの範囲に及ぶ重み係数との前記動きベクトルの乗算であってもよい。

図３は、動き補償補間器２０２及び非動き補償補間器２０４から中間画像を混合するように構成された画像処理ユニット３００の他の実施例を概略的に示す。前記補間ユニットは、制御ユニット１０８によって制御される２つの乗算器３０２及び３０４と、それぞれ動き補償補間器２０２及び非動き補償補間器２０４により供給される重み付けされた中間画像の２つのシーケンスを加算する加算ユニット３０６とを有する。乗算器３０２及び３０４は、前記中間画像の２つのシーケンスに、それぞれ第１乗算係数ｋ及び第２乗算係数１−ｋを乗算するように構成される。ｋの値は、前記品質測定の値に関係している。前記動きベクトル場の品質が相対的に高い場合に、ｋの値は１．０に等しく、前記動きベクトル場の品質が相対的に低い場合には、ｋの値は０．０に等しい。

オプションとして、制御手段１０８は、前記動きベクトル場の照合誤差を提供される。これらの照合誤差は、式６に指定されるように前記所定の閾値を適合するために加えられる。これは、この場合、前記所定の閾値が適合可能な閾値であることを意味する。前記照合誤差が相対的に低い場合には、前記動きベクトルが正しい確率は相対的に高いので、前記適合可能な閾値の値は相対的に高くあるべきである。

図４は、本発明による画像処理装置４００の実施例を概略的に示し、画像処理装置４００は以下のものを有する。

−入力画像を表す信号を受信する受信手段４０２。前記信号は、アンテナ又はケーブルを介して受信された放送信号であってもよいが、ＶＣＲ（ビデオカセットレコーダ）又はデジタル多用途ディスク（ＤＶＤ）のような記憶装置からの信号であることもできる。前記信号は、入力コネクタ４０８に供給される。

−図１、２又は３の何れかに関連して記載される画像処理ユニット４０４。

−画像処理ユニット２００の出力画像を表示する表示装置４０６。この表示装置４０６はオプションである。

画像処理装置４００は、例えばテレビであってもよい。代替的に、画像処理装置４００は、オプションの表示装置を有さないが、表示装置４０６を有する装置に前記出力画像を供給する。この場合、画像処理装置４００は、例えばセットトップボックス、衛星チューナ、ＶＣＲプレーヤ又はＤＶＤプレーヤであってもよい。しかしながら、これは、映画スタジオ又は放送局により使用されるシステムであってもよい。

上述の実施例は、本発明を限定するのではなく説明し、当業者は、添付の請求項の範囲から外れることなく代替実施例を設計することができることに注意すべきである。請求項において、括弧の間の参照符号は、前記請求項を限定するように解釈されるべきではない。単語“有する”は、請求項に列挙されていない要素又はステップの存在を除外しない。要素に先行する単語“１つの”は、複数のこのような要素の存在を除外しない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切なプログラムされたコンピュータによって実施されることができる。幾つかの手段を挙げるユニット請求項において、これらの手段の幾つかは、ハードウェアの同一アイテムにより実施されることができる。

画像処理ユニットの実施例を概略的に示す。 動き補償補間器と非動き補償補間器との間で切り替わるように構成された画像処理ユニットの実施例を概略的に示す。 動き補償補間器及び非動き補償補間器からの中間画像を混合するように構成された画像処理ユニットの実施例を概略的に示す。 本発明による画像処理装置の実施例を示す。

Claims (13)

1. 入力画像のシーケンスに基づいて出力画像のシーケンスを計算する画像処理ユニットであって、
   前記入力画像に基づいて、第１画素グループに属する第１動きベクトル及び第２画素グループに属する第２動きベクトルを有する動きベクトル場を計算する動き推定ユニットと、
   前記動きベクトル場に対する品質測定の値を計算する品質測定ユニットと、
   前記動きベクトル場に基づく前記入力画像の画素値の補間によって前記出力画像の第１画像を計算する補間ユニットと、
   前記品質測定に基づいて前記補間ユニットを制御する制御手段と、
   を有する画像処理ユニットにおいて、前記品質測定ユニットが、前記第１動きベクトルと前記第２動きベクトルとの間の最大の差に基づいて前記品質測定の値を計算するように構成されることを特徴とする、画像処理ユニット。
2. 前記第１画素グループが、前記第２画素グループの隣接した画素グループであることを特徴とする、請求項１に記載の画像処理ユニット。
3. 前記補間ユニットは、前記品質測定の値が所定の閾値より低い場合に、前記動きベクトル場に基づいて前記入力画像の画素値の動き補償補間を実行するように構成され、前記品質測定の値が前記所定の閾値より高い場合に、前記入力画像の画素値の代替補間を実行するように構成されることを特徴とする、請求項１又は２に記載の画像処理ユニット。
4. 前記代替補間が、非動き補償補間を含むことを特徴とする、請求項３に記載の画像処理ユニット。
5. 前記代替補間が、前記入力画像の画素値の複製を含むことを特徴とする、請求項３に記載の画像処理ユニット。
6. 前記品質測定ユニットが、前記第１動きベクトルの水平成分と、前記第２動きベクトルの水平成分との間の最大の差に基づいて前記品質測定の値を計算するように構成されることを特徴とする、請求項２に記載の画像処理ユニット。
7. 前記第１画素グループが、前記第２画素グループから水平に位置することを特徴とする、請求項２に記載の画像処理ユニット。
8. 前記所定の閾値が、適合可能な閾値であることを特徴とする、請求項３に記載の画像処理ユニット。
9. 前記適合可能な閾値が、前記第１動きベクトル及び前記第２動きベクトルに対して計算される照合誤差に基づくことを特徴とする、請求項８に記載の画像処理ユニット。
10. 入力画像のシーケンスに対応する信号を受信する受信手段と、
    請求項１に記載の前記入力画像のシーケンスに基づいて出力画像のシーケンスを計算する画像処理ユニットと、
    を有する画像処理装置。
11. 前記出力画像を表示する表示装置を有することを特徴とする、請求項１０に記載の画像処理装置。
12. テレビであることを特徴とする、請求項１１に記載の画像処理装置。
13. 入力画像のシーケンスに基づいて出力画像のシーケンスを計算する方法であって、
    前記入力画像に基づいて、第１画素グループに属する第１動きベクトル及び第２画素グループに属する第２動きベクトルを有する動きベクトル場を計算するステップと、
    前記動きベクトル場に対する品質測定の値を計算するステップと、
    前記動きベクトル場に基づく前記入力画像の画素値の補間によって前記出力画像を計算するステップと、
    前記品質測定に基づいて前記画素値の補間を制御するステップと、
    を有する方法において、前記品質測定の値が、前記第１動きベクトルと前記第２動きベクトルとの間の最大の差に基づいて計算されることを特徴とする方法。
    

Images