JP2005528709A

JP2005528709A - 現動きベクトルを推定するユニット及び方法

Info

Publication number: JP2005528709A
Application number: JP2004509883A
Authority: JP
Inventors: リムメルトビーウィッテブロード; ハーンヘラルドデ
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-05-30
Filing date: 2003-05-19
Publication date: 2005-09-22
Also published as: WO2003102872A3; EP1514241A2; AU2003228054A8; WO2003102872A2; US20050226462A1; KR20050012768A; CN1656514A; AU2003228054A1

Abstract

ピクセルの第１群（２１２）に関する現動きベクトルを推定するように構成されている動き推定ユニット（１００）は、ピクセルの第１群（２１２）に関する候補動きベクトルの集合を発生する発生手段（１０６）であって、該候補動きベクトルの集合は、事前に推定された動きベクトルの集合から抽出される発生手段と；各候補動きベクトルの整合エラーを計算する整合エラーユニット（１０２）と；前記候補動きベクトルから現動きベクトルを選択する選択ユニット（１０４）とを有する。動き推定ユニット（１００）は、第１画像のピクセルのセグメントへの分割の結果に基づいて、前記整合エラーを調整するように構成されており、ここで該分割の結果は、ピクセルの第１群と、ピクセルの第２群（これに基づいて候補動きベクトルが決定される）との両方が、同一のセグメントに対応する確率に関連しているものである。

Description

本発明は、画像のピクセルの群に関する現動きベクトルを推定する動き推定ユニットに関するものであって、該動き推定ユニットは、
‐ ピクセルの第１群に関する候補動きベクトルの集合を発生する発生手段であって、前記候補動きベクトルは、事前に推定された動きベクトルの集合から抽出される発生手段、
‐ 各候補動きベクトルの整合エラーを計算する整合エラーユニットであって、前記候補動きベクトルの第１のものの整合エラーは、第１コンポーネント及び第２コンポーネントに基づいており、該第１コンポーネントは、ピクセルの前記第１群のピクセル値と、第２画像のピクセルの第２群のピクセルの値との比較に対応し、該第２コンポーネントは、ピクセルの前記第１群と、事前に推定された動きベクトルの第１のものが推定されているピクセルの第３群との間の関係に依存しており、前記候補動きベクトルの第１のものは、前記事前に推定された動きベクトルの第１のものに基づいている、整合エラーユニット、及び
‐ 各候補動きベクトルの整合エラーを比較することによって、候補動きベクトルから現動きベクトルを選択する選択ユニット、
を有する動き推定ユニットである。

本発明は、更に、画像のピクセルの群に関する現動きベクトルを推定する方法に関するものであって、該方法は
‐ ピクセルの第１群に関する候補動きベクトルの集合を発生するステップであって、該候補動きベクトルは、事前に推定された動きベクトルの集合から抽出されるステップ、
‐ 各候補動きベクトルの整合エラーを計算するステップであって、候補動きベクトルの第１のものの整合エラーは、第１コンポーネント及び第２コンポーネントに基づいており、該第１コンポーネントは、ピクセルの前記第１群のピクセル値と、第２画像のピクセルの第２群のピクセル値との比較に対応し、該第２コンポーネントは、ピクセルの前記第１群と、事前に推定された動きベクトルの第１のものが推定されているピクセルの第３群との間の関係に依存しており、前記候補動きベクトルの第１のものは、前記事前に推定された動きベクトルの第１のものに基づいているステップ、及び
‐ 各候補動きベクトルの整合エラーを比較することによって、候補動きベクトルから現動きベクトルを選択するステップ、
を有する方法である。

本発明は、更に、
‐ 画像の系列を表す信号を受信する受信手段、
‐ 前記のような動き推定ユニット、及び
‐ 前記画像と現動きベクトルとに基づいて、処理された画像を決定する動き補償された画像処理ユニット、
を有する画像処理装置に関する。

冒頭段落に記載した種類の動き推定ユニットの実施例は、論文、Ｇ．デ・ハーン他著「３Ｄ回帰検索ブロック整合による真の動きの推定」ビデオ技術のための回路及びシステムについてのＩＥＥＥ会報第３巻・第５号・３６８-３７９頁（１９９３年１０月）で知られている。

ビデオ信号処理における多くのアプリケーションに関して、画像の系列の見かけ速度場を知ることが必要であり、これはオプティカルフローとして知られている。このオプティカルフローは、経時変化する動きベクトル場、即ち画像対ごとの１つの動きベクトル場として与えられる。画像とは、複数の画像対の部分であり得ることに、留意されたい。前記引用した論文において、この動きベクトル場は、画像をブロックに分割することによって推定されている。各ブロックの候補動きベクトルの集合に関して、整合エラーが計算され、該ブロックの候補動きベクトルの集合から最適な動きベクトルを発見する最小化プロシージャにおいて使用される。

前記引用した動き推定ユニットは、２つの基本的な仮定に頼るものである。第１に、オブジェクトは、ブロックよりも大きい。これは、ブロックの近傍において推定される動きベクトルは、このブロックの実動きベクトルと高い相関関係を持つので、いわゆる空間予測、即ちこの動きベクトルに関する空間候補動きベクトルとして使用されることができることを意味する。第２に、オブジェクトは、慣性を有する。このことは、オブジェクトの動きは、画像から画像まで不規則的に変化することはなく、現ブロックに関する実動きベクトルは、先行画像の対応するブロックの動きベクトルと、高い相関関係を持つことを意味する。これらのブロックからの動きベクトルは、現ブロックの動きベクトルに関して、いわゆる時間予測、即ち時間候補動きベクトルとして使用されることができる。動きベクトルのアップデートを可能にするためには、ランダム予測と呼ばれる追加予測、即ち小さいノイズ動きベクトルがこれらに付加された前記空間候補動きベクトルに等しいランダム候補動きベクトルが追加される。

ある候補動きベクトルが、他の候補動きベクトルよりも、現ブロックの動きベクトルと高い相関を有するので、低い相関関係を有する候補動きベクトルにペナルティが割り当てられる。これらのペナルティは、候補動きベクトルの整合エラー（通常は、絶対差の和）に付加され、該候補動きベクトルが、最良の整合している動きベクトルとして選択されにくくする。ランダム候補動きベクトルが、最も高いペナルティを付与され、空間候補動きベクトルは最も低いペナルティを、時間候補動きベクトルは、空間及びランダム候補動きベクトルのペナルティの間であるペナルティを持つ。

この動き推定ユニットに関する問題の１つは、空間候補動きベクトルを使用することができるという前記仮定が、オブジェクト境界において破綻することである。別のオブジェクト内に位置される空間候補動きベクトルは、現ブロックの動きベクトルと、全く相関関係を持たない。

本発明の目的は、より正確な動きベクトル場を供給する冒頭段落に記載した種類の動き推定ユニットを提供することにある。

この目的は、前記動き推定ユニットが、第１画像に関するピクセルのセグメントへの分割の結果に基づいて、第２コンポーネントを調整するように構成されることで達成され、ここで、該分割の結果は、ピクセルの第１群の第１部分と、ピクセルの第３群の第１部分との両方が、前記セグメントの特定の１つに対応する確率に関連づけられている。画像分割が、上述の問題への解決策として適用されている。画像分割の目的は、画像を、あるフィーチャが一定である又は所定のしきい値の間にあるセグメントに分割することにある。前記画像のピクセル又はピクセルの群に関して、前記セグメントの何らかに属する確率を表す値が計算される。前記フィーチャは、単純なグレー値から、カラー情報と組み合わされた複雑なテクスチャ尺度まで、いかなるものでもあることができる。選択されたフィーチャに基づく分割方法、即ちセグメントを抽出する方法は、単純なしきい値処理から分水界（Ｗａｔｅｒｓｈｅｄ）アルゴリズムまで、いかなるものでもあることができる。当該画像内のオブジェクトのエッジが、セグメントエッジの部分集合であると仮定すると、前記動き推定は、この情報を使用することによって品質が改善される。他のオブジェクトからの候補動きベクトル、即ち他のオブジェクトに属する事前に推定された動きベクトルは、ピクセルの現（第１）群に対して、前記同一のオブジェクトからの候補動きベクトルよりも少ない相関関係を有するので、ピクセルの現群の他のセグメントの候補動きベクトルのペナルティは、上昇されるべきである。又は、言い換えれば、ピクセルの現群の他のセグメントの動きベクトル候補の第２コンポーネントは、増加されるべきである。

動き補償に関する分割の結果の利用は、新規なものではない。例えば、欧州特許出願第０１２０２６１５．９号（代理人整理番号ＰＨＮＬ０１０４４５）においては、階層型分割方法が、動き推定と組み合わされている。しかしながら、前記第２コンポーネントが、前記分割の結果に基づいて調整されるという、本発明による分割の結果の利用は、新規なものである。結果として生じる整合エラーは、第１及び第２コンポーネントに基づいている。従って、ピクセルの第１群のピクセル値と第２画像のピクセルの第２群のピクセル値との比較、及び前記分割の結果の両方が、整合エラーを計算するために利用される。本発明による動き推定ユニットの利点は、整合エラーの品質である。

本発明による動き推定ユニットの実施例は、前記確率の大きさに基づいて、第２コンポーネントを調整するように構成される。前記分割は、バイナリであり得て、結果として、そのピクセルが特定のセグメントに属するか、属さないかを示すピクセルごとのラベルであり得る。しかしながら、好ましくは、前記分割方法は、ピクセル、又はピクセルの群に関して、特定のセグメントに属する確率を設ける。ピクセルに関する複数の確率も可能であって、例えば、セグメントＡに属することに関する２０％の第１確率、及びセグメントＢに属することに関する８０％の第２確率である。本発明によるこの実施例は、実際の確率を、前記第２コンポーネントを調整するために利用するように構成されている。例えば、同一のオブジェクトに属さない確率が、比較的高い場合、前記第２コンポーネントも比較的高くなるはずであり、その逆も成り立つ。この取り組み方の利点は、より正確な第２コンポーネント、即ちより正確な整合エラーである。

本発明による動き推定ユニットの他の実施例は、ピクセルの第１群の第１部分のピクセルの第１数と、ピクセルの第１群のピクセルの第２数とに基づいて、前記第２コンポーネントを調整するように構成されている。分割及び動き推定は、強く相関づけられ得る。これは、例えば、前記分割がピクセルの群に関して行われ、動き推定が、ピクセルの同一の群上で行われるということを意味する。しかしながら、分割及び動き推定は、独立して実行され得る。この場合、前記分割は、例えば、ピクセルベースで実行され、前記動き推定はブロックベースで行われる。結果として、動き推定に使用されるべき、ピクセルの群のピクセルの第１部分が、セグメントＡに属するものとして分類され、ピクセルの他の部分が、セグメントＢに属するものとして分類されることがあり得る。後者の場合、「セグメントＡに属するという全体の確率」は、ピクセルの前記群に関して、前記第１部分のピクセルの数と、ピクセルの全群のピクセルの数との比に基づいて、算出されることができる。この取り組み方の利点は、より正確な第２コンポーネント、即ちより正確な整合エラーである。

本発明による動き推定ユニットの実施例において、ピクセルの第１群は、ピクセルのブロックである。基本的に、ピクセルの群は、不規則であってさえ、いかなる形状を有する。ブロック型の形状は、当該動き推定ユニットの設計の複雑性を低減するので、好ましい。

本発明による動き推定ユニットの他の実施例において、選択ユニットは、対応する整合エラーが整合エラーの最小のものである場合、候補動きベクトルの集合から、この特定の動きベクトルを、現動きベクトルとして選択するように構成される。これは、現動きベクトルを、候補動きベクトルの集合から選択するための比較的簡単な取り組み方である。

本発明の動き推定ユニットの他の実施例において、整合エラーユニットは、第２画像のピクセルの第２群のピクセルの輝度値から、ピクセルの第１群の輝度値を減算することによって、候補動きベクトルの第１のものの整合エラーを計算するように設計されている。好ましくは、絶対輝度差の和（ＳＡＤ）が計算される、ＳＡＤは、相関に関して比較的信頼できる尺度であって、比較的早く計算されることができる。

本発明の更なる目的は、冒頭段落に記載した種類の方法であって、より正確な動きベクトル場を設ける方法を提供することにある。

本発明のこの目的は、第１画像に関するピクセルのセグメントへの分割の結果に基づいて、第２コンポーネントを調整することによって達成され、該分割の結果は、ピクセルの第１群の第１部分と、ピクセルの第３群の第１部分との両方が、セグメントの特定の１つに対応する確率に関連している。

本発明による動き推定ユニットの実施例を、冒頭段落で記載した画像処理装置に利用することは有利である。前記画像処理装置は、処理された画像を表示する表示装置、又は処理された画像を記憶する記憶手段のような付加的なコンポーネントを有することができる。動き補償された画像処理ユニットは、以下のタイプの画像処理の１つ以上に対応することができる。
‐ デインターレース：インターレースは、奇数又は偶数番目の画像ラインを交互に送信する共通ビデオ放送手順である。デインターレースは、完全な垂直解像度を再生しようと試みる、即ち各画像に関して偶数又は奇数ラインを同時に使用可能にする；
‐ アップコンバージョン：元の入力画像の系列から、出力画像のより大きい系列が計算される。出力画像は、時間的に、２つの元の入力画像の間に位置される；
‐ 一時的ノイズ低減。これは、空間処理も含むことができ、結果として空間一時的ノイズ低減となる；及び
‐ ビデオ圧縮、即ちエンコード又はデコードであって、ＭＰＥＧ規格又はＨ２６Ｌ規格によるもののようなものである。

前記画像処理装置の変形及びこれらの変更は、上述の動き推定ユニットの変形又はこれらの変更に対応する。

本発明による動き推定ユニット、方法、及び画像処理装置のこれら及び他の見地は、添付図面を参照して本明細書に記載された実施及び実施例から明らかになると共に、これらによって説明されるであろう。

全ての図において、対応する符号は、同一の意味を持つ。

図１は、動き推定ユニット１００を、画像分割ユニット１０８及び画像を記憶するメモリ装置１１０と共に模式的に示している。動き推定ユニット１００は、第１画像のピクセルの第１群２１２に関する現動きベクトルを推定するように構成されており、該動き推定ユニット１００は、
‐ ピクセルの第１群２１２に関する候補動きベクトルの集合を発生する発生ユニット１０６であって、該候補動きベクトルは、事前に推定された動きベクトルの集合から抽出される発生ユニット１０６、
‐ 各候補動きベクトルの整合エラーを計算する整合エラーユニット１０２であって、該候補動きベクトルの第１のものの整合エラーは、第１コンポーネント及び第２コンポーネントに基づく、整合エラーユニット１０２、並びに
‐ 各候補動きベクトルの整合エラーの比較によって、前記候補動きベクトルから現動きベクトルを選択する選択ユニット１０４、
を有する。

整合エラーの第１コンポーネントは、ピクセルの第１群２１２のピクセル値を、第２画像のピクセルの第２群のピクセル値と比較することで計算される。この場合、整合エラーの第１コンポーネントは、ＳＡＤに対応し、ＳＡＤとは、第１画像のブロック内のピクセルと、参照画像、即ち候補動きベクトルによってシフトされた第２画像との間の絶対輝度差の和である。前記参照画像及び第１画像が、互いに直接的に続いている場合、前記ＳＡＤは、以下の数式によって計算されることができる。

ここで、（ｘ，ｙ）は前記ブロックの位置、（ｄ_ｘ，ｄ_ｙ）は動きベクトル、ｎは画像番号、Ｎ及びＭは、該ブロックの幅及び高さ、並びにＹ（ｘ，ｙ，ｎ）は、画像ｎ内の位置（ｘ，ｙ）におけるピクセルの輝度値である。

動き推定ユニット１００は、第２コンポーネントを、第１画像のピクセルのセグメントへの分割の結果に基づいて調整するように構成されている。先ず、分割ユニット１０８は、ブロックベースで分割を実行するように構成されていると仮定する。画像分割の間、全てのブロックＢ（ｘ，ｙ）が、自身が属するセグメントＳ_ｋに対応するラベルｌ_ｋを割当てられる。この情報は、画像分割マスクＭ（ｘ，ｙ）内に記憶される。オブジェクト境界上での動き推定ユニットの空間一貫性を減少するために、第２コンポーネントＣ_２が以下の式によって調整される。

ここでＣ_ｌｏｗは、空間一貫性を強いるために小さい値であり、Ｃ_ｈｉｇｈは、複数のオブジェクトに渡る一貫性を防止するために高い値である。（ｘ，ｙ）は、現ブロックの位置であって、（ｘ_Ｐ，ｙ_Ｐ）は、ピクセルの他のブロック、即ちこれに関する動きベクトルが推定されており、動きベクトル候補がこれに基づいているピクセルのブロックの位置である。この場合、第２コンポーネントＣ_２に関して以下の２つの異なる値がある。
‐ Ｃ_ｈｉｇｈ前記分割の結果により、現ブロック及び他のブロックの両方が、同一のセグメントＳ_ｋに属する場合；及び
‐ Ｃ_ｌｏｗ前記分割の結果により、現ブロック及び他のブロックが、同一のセグメントＳ_ｋに属さない場合。

特定の動きベクトル候補の整合エラーＭＥ（ｘ，ｙ，ｄ_ｘ，ｄ_ｙ，ｎ）は、該特定の動きベクトル候補の第１コンポーネント及び第２コンポーネントの和によって計算される。

次に、分割ユニット１０８は、分割をピクセルベースで実行するように構成されていると仮定する。これは、各ピクセルに、セグメントＳ_ｋに属しているという確率が割り当てられることを意味する。動き推定ユニットは、やはりブロックベースであって、即ち動きベクトルは、ピクセルのブロックに関して推定される。前記第２コンポーネントは、現ブロックのピクセルと、他のブロックのピクセルとが、同一のセグメントＳ_ｋ（ｋ∈Ｋ）に属する確率に基づく。Ｓ_ｋは、セグメントの集合のうちの１つである。前記第２コンポーネントＣ_２は、定数Ｃを用いて、式４によって計算されることができる。

現ブロックのピクセルがセグメントＳ_ｋに属する確率、即ち

と、他のブロックのピクセルがセグメントＳ_ｋに属する確率、即ち

とが、比較的に高い場合、前記第２コンポーネントＣ_２は比較的低い。

ピクセルごとの特定のセグメントＳ_ｋに属する確率の値と、特定の確率を有するピクセルの数の両方が関係していることが、明らかになるであろう。バイナリ分割の場合、ブロックのセグメントＳ_ｋ内に位置される部分のピクセルの数だけがカウントされるべきである、なぜなら、これらのピクセルに関して特定のセグメントＳ_ｋに属する確率は、等しい、即ち１００％だからである。

図１において、動き推定ユニット１００の出力１１４から分割ユニット１０８までの接続部１１６が、描かれている。この接続部１１６はオプションである。この接続部１１６によって、動きベクトル場のような動き推定の結果が、ピクセルのセグメントへの画像の分割に利用されることができる。これは、動き推定が実行される同一の画像に関して、又は画像の当該系列の別の画像に関するものであることができる。これに加えて、特定の画像の分割の結果は、前記特定の画像ではなく、画像の当該系列の別の画像を有する画像対の動き推定に使用されることも可能である。

動き推定ユニット１００の整合エラーユニット１０２、選択ユニット１０４、及び発生ユニット１０６は、１つのプロセッサを用いて実行され得る。通常、これらの機能は、ソフトウェアプログラムの制御の下で実行される。抽出の間、通常、前記ソフトウェアプログラムは、ＲＡＭのようなメモリにロードされ、そこから実行される。前記プログラムは、ＲＯＭ、ハードディスク、又は磁気的及び／又は光学的記憶装置のようなバックグラウンドメモリからロードされることができる、又はインターネットのようなネットワークを介してロードされることができる。オプションとして、専用集積回路によって、上述した機能を設けるようにしても良い。

図２は、動きベクトル場２００の一部、即ち作成中の動きベクトル場を模式的に示しており、これは、白色の背景を有し、該背景の前でボール２０２が背景と相対的に逆の方向に動いている場面を表す画像のものである。複数のピクセルのブロック２０４‐２１０に関して、動きベクトル２１４‐２２６が推定されており、ピクセルの現ブロック２１２に関して、動きベクトルが推定されるべきであると仮定する。この推定に関して、候補動きベクトル２１４‐２２０の集合が、ピクセルのブロック２０４‐２１０に関して、事前に計算された動きベクトル２１４‐２２６に基づいて作成される。図１において、ピクセルの現ブロック２１２は、ボール２０２に対応するセグメント内に位置されているのがわかる。同様に、ピクセルのブロック２０４は、ボール２０２に対応するセグメント内に位置されている。しかしながら、ピクセルのブロック２１０は、背景に対応し、ブロック２０６及び２０８は、部分的にボール２０２に属し、部分的に背景に属する。各候補動きベクトルに関する第２コンポーネントは、分割によって、ボール２０２を表すセグメントに属するものとしてラベルを付けられたブロック２０４‐２１０のピクセルの各数に依存する。結果として、ピクセルのブロック２０４から得られる候補動きベクトル２２０の整合エラーの第２コンポーネントが最も低く、ピクセルのブロック２１０から得られる候補動きベクトル２１８の整合エラーの第２コンポーネントが最も高い。

図３は、画像処理装置３００のエレメントを模式的に示しており、これは、
‐ 何らかの処理が実行された後に表示されるように、画像を表す信号を受信する受信ユニット３０２。前記信号は、アンテナ又はケーブルを介して受信される放送信号であり得るが、ＶＣＲ（ビデオカセットレコーダ）又はデジタル多用途ディスク（ＤＶＤ）のような記憶装置からの信号であっても良い。前記信号は、入力コネクタ３１０において供給される；
‐ 図１と関連して描かれている、動き推定ユニット１００及び分割ユニット１０８を有する処理ユニット３０４；
‐ 動き補償された画像処理ユニット３０６；及び
‐ 処理された画像を表示する表示装置３０８。この表示装置３０８は、オプションである；
を有する。

動き補償された画像処理ユニット３０６は、画像及び動きベクトルを自身の入力として必要とする。動き補償された画像処理ユニット３０６は、デインターレース、アップコンバート、一時的ノイズ低減、及びビデオ圧縮のタイプの画像処理の１つ以上に対応することができる。

上述の実施例は、本発明を限定するよりは解説するものであること、及び当業者であれば添付請求項の範囲から逸脱することなしに、代替的な実施例を設計できることに留意されたい。前記請求項において、括弧内に置かれた如何なる符号も、請求項を限定するようにみなしてはならない。「有する」という語は、請求項に記載されていない構成要素又はステップの存在を排除するものではない。単数形の構成要素は、複数のこのような構成要素を排除するものではない。本発明は、幾つか別個の構成要素を有するハードウェアによって、及び適当にプログラムされたコンピュータによって実施化することができる。いくつかの手段を列挙している装置請求項において、これらの手段のいくつかは１つの同じハードウェアの項目によって、実施化することができる。

図１は、画像分割ユニットと共に動き推定ユニットを模式的に示している。図２は、動きベクトル場を模式的に示している。図３は、本発明による動き推定ユニットを有する画像処理装置のエレメントを模式的に示している。

Claims

第１画像のピクセルの第１群に関する現動きベクトルを推定する動き推定ユニットであって、
‐ ピクセルの第１群に関する候補動きベクトルの集合を発生する発生手段であって、前記候補動きベクトルは、事前に推定された動きベクトルの集合から抽出される発生手段、
‐ 各候補動きベクトルの整合エラーを計算する整合エラーユニットであって、前記候補動きベクトルの第１のものの前記整合エラーは、第１コンポーネント及び第２コンポーネントに基づいており、前記第１コンポーネントは、ピクセルの前記第１群のピクセル値と、第２画像のピクセルの第２群のピクセル値との比較に対応しており、前記第２コンポーネントは、ピクセルの前記第１群と、前記事前に推定された動きベクトルの第１のものが推定されているピクセルの第３群との間の関係に依存し、前記候補動きベクトルの前記第１のものは、前記事前に推定された動きベクトルの前記第１のものに基づいている、整合エラーユニット、及び
‐ 前記各候補動きベクトルの前記整合エラーを比較することによって、前記候補動きベクトルから前記現動きベクトルを選択する選択ユニット、
を有する動き推定ユニットにおいて、前記動き推定ユニットが、前記第２コンポーネントを、前記第１画像のピクセルのセグメントへの分割の結果に基づいて調整するように構成され、前記分割の結果は、ピクセルの前記第１群の第１部分と、ピクセルの前記第３群の第１部分との両方が、前記セグメントの特定の１つに対応する確率に関連していることを特徴とする、動き推定ユニット。
前記動き推定ユニットが、前記確率の大きさに基づいて、前記第２コンポーネントを調整するように構成されていることを特徴とする、請求項1に記載の動き推定ユニット。
前記動き推定ユニットが、前記第２コンポーネントを、ピクセルの前記第１群の前記第１部分のピクセルの第１数と、ピクセルの前記第１群のピクセルの第２数との比に基づいて調整されるように構成されていることを特徴とする、請求項1に記載の動き推定ユニット。
前記ピクセルの第１群が、ピクセルのブロックであることを特徴とする、請求項１に記載の動き推定ユニット。
前記選択ユニットが、対応する整合エラーが前記整合エラーの最小のものである場合、前記候補動きベクトルの集合から、特定の動きベクトルを前記現動きベクトルとして選択するように構成されていることを特徴とする、請求項１に記載の動き推定ユニット。
前記整合エラー計算ユニットが、前記第２画像のピクセルの前記第２群のピクセルの輝度値から、ピクセルの前記第１群のピクセルの輝度値を減算することによって、前記候補動きベクトルの前記第１のものの前記整合エラーを計算するように設計されていることを特徴とする、請求項１に記載の動き推定ユニット。
第１画像のピクセルの第１群に関する現動きベクトルを推定する方法であって、
‐ ピクセルの前記第１群に関する候補動きベクトルの集合を発生するステップであって、前記候補動きベクトルは、事前に推定された動きベクトルの集合から抽出されるステップ、
‐ 各候補動きベクトルの整合エラーを計算するステップであって、前記候補動きベクトルの第１のものの前記整合エラーは、第１コンポーネント及び第２コンポーネントに基づいており、前記第１コンポーネントは、ピクセルの前記第１群のピクセル値と、第２画像のピクセルの第２群のピクセル値との比較に対応しており、前記第２コンポーネントは、ピクセルの前記第１群と、前記事前に推定された動きベクトルの第１のものが推定されているピクセルの第３群との間の関係に依存し、前記候補動きベクトルの前記第１のものは、前記事前に推定された動きベクトルの前記第１のものに基づいているステップ、及び
‐ 前記各候補動きベクトルの前記整合エラーを比較することによって前記候補動きベクトルから前記現動きベクトルを選択するステップ、
を有する方法において、前記第２コンポーネントを、前記第１画像に関するピクセルのセグメントへの分割の結果に基づいて調整し、前記分割の結果は、ピクセルの前記第１群の第１部分と、ピクセルの前記第３群の第１部分との両方が、前記セグメントの特定の１つに対応する確率に関連していることを特徴とする、方法。
画像処理装置であって、
‐ 第１画像を含む画像の系列を表す信号を受信する受信手段、
‐ 前記第１画像のピクセルの第１群に関する現動きベクトルを推定する、請求項1に記載の動き推定ユニット、
‐ 処理された画像を、前記画像と前記現動きベクトルとに基づいて決定する、動き補償された画像処理ユニット、
を有する画像処理装置。
前記動き補償された画像処理ユニットが、ビデオ圧縮を実行するように設計されていることを特徴とする、請求項８に記載の画像処理装置。
前記動き補償された画像処理ユニットが、前記画像の系列におけるノイズを低減するように設計されていることを特徴とする、請求項８に記載の画像処理装置。
前記動き補償された画像処理ユニットが、前記画像の系列をデインターレースするように設計されていることを特徴とする、請求項８に記載の画像処理装置。
前記動き補償された画像処理ユニットが、アップコンバージョンを実行するように設計されていることを特徴とする、請求項８に記載の画像処置装置。