JP2009533887A - 動きベクトル場修正装置及び方法 - Google Patents

Abstract

画像中のそれぞれの領域の動きベクトルから成る動きベクトル場を修正する動きベクトル修正装置(200)を開示する。この動きベクトル修正装置は、上記画像中のオクルージョン領域の画像内容、及びこのオクルージョン領域の近傍にある複数の非オクルージョン領域の画像内容を分析するように構成された分析器(210)と、このオクルージョン領域の画像特性値、及びそれぞれの非オクルージョン領域の画像特性値に基づく類似値を評価するように構成された評価器(220)と、対応する類似値に基づいて、上記複数の非オクルージョン領域から特定の非オクルージョン領域を選択する選択器(230)と、上記オクルージョン領域の動きベクトルを、選択した特定の非オクルージョン領域の動きベクトルに置き換えるベクトル置換器(240)とを具えている。この動きベクトル修正装置は、画像シーケンス中の連続する２つの画像を用いることによって動きベクトル場を修正することができる。

Description

本発明は、画像のそれぞれの領域の動きベクトルから成る動きベクトル場を修正する動きベクトル修正装置に関するものである。

本発明はさらに、こうした動きベクトル修正装置を具えた画像処理装置、画像のそれぞれの領域の動きベクトルから成る動きベクトル場を修正する方法、及び画像のそれぞれの領域の動きベクトルから成る動きベクトル場を修正する命令を具えた、コンピュータ装置にロードされるコンピュータプログラム製品に関するものである。

領域の動きベクトルは一般に、１つの画像から次の画像への、あるいは次の画像から前の画像への、当該領域の移動の向き及び大きさを示すものである。一組の動きベクトルから成る動きベクトル場を用いて、入力画像中のすべての動きをほぼ規定することができる。動きベクトル場は、例えばビデオ・シーケンスのような、シーン中にオブジェクトの動きを含む画像シーケンスにおいて、前の画像から次の画像を予測するに当たり有用である。バックグラウンド（背景）に対してよりカメラに近いフォアグラウンド（前景）オブジェクトの動きが存在する際に、バックグラウンド・オブジェクトの一部の領域はカバーされ（覆い隠され）、バックグラウンド・オブジェクトの他の一部の領域は出現する。こうしたカバーされる領域及び出現する領域を総称してオクルージョン領域と称する。

G. de. Haan et al, "True-motion estimation with 3D-recursive Search Block Matching", IEEE Transactions on Circuits and System for Video Technology, Vol. 3, No. 5, 1993年10月、368〜379頁

画像対の画素値どうしを比較することに基づいて動きベクトルを推定するように設計された動き推定装置による動きベクトルの推定は、文献：G. de. Haan et al, “True-motion estimation with 3D-recursive Search Block Matching”, IEEE Transactions on Circuits and System for Video Technology, Vol. 3, No. 5, 1993年10月、368〜379頁より知られる。他の動きベクトル推定装置も可能である。ビデオ・シーケンスの連続する２つの画像間の動きを推定する動き推定装置は、オクルージョン領域では良好に動作しない、というのは、これらの領域については、２つの画像のいずれにおいても、バックグラウンド情報の一部が利用可能であるからである。従って、推定された動きベクトル場は、領域のカバー及び／または出現によって生じる誤った動きベクトルを含み得る。

正しい動きベクトルを推定してオクルージョン領域に割り当てること、即ち、画像の動きベクトル場を修正することは、研究が盛んな領域である。動きベクトルの正しい割当ては、バックグラウンド・オブジェクトの動きベクトルを前の画像中のカバーされる領域に割り当て、バックグラウンド・オブジェクトの動きベクトルを、次の画像中の出現する領域に割り当てることを意味する。フォアグラウンド・オブジェクトの動きベクトルを前の画像中の出現する領域に割り当てること、及びフォアグラウンド・オブジェクトの動きベクトルを次の画像中のカバーされる領域に割り当てることも、「正しい割当て」と考えられる。前の画像から次の画像を予測する際に、あるいは、例えば時間的アップコンバージョンにおいて、連続する２つの画像から画像を補間する際に、誤って割り当てられた動きベクトルは、オブジェクトの境界における「ハロー・アーティファクト」のようなアーティファクト（歪像）を生じさせ得る。

国際公開第０３／０６７５２３号パンフレット

現在画像から前の画像への推定、及び現在画像から次の画像への推定による適切な動きベクトルを選定することによって、現在画像のオクルージョン領域内の正しい動きベクトルを決定する方法及び装置は現在技術において既知である。こうした方法の具体例は、国際公開第０３／０６７５２３号として公開されている特許出願に記載されている。この特許出願では、現在画像から前の画像への推定による動きベクトルを現在画像中のカバーされる領域に割り当て、現在画像から次の画像への推定による動きベクトルを現在画像中の出現する領域に割り当てる方法が記載されている。従って、正しい動きベクトルを画像のオクルージョン領域に割り当てるために、連続する３つの画像を必要とし、連続する２つの画像での動き推定及び修正に比べてより大きいレイテンシが生じる。より大きいレイテンシは一部の民生用途、例えば音声をビデオストリームに同期させなければならないテレビジョンにおいて不所望である。

本発明の目的は、上述した従来技術に比べてレイテンシを低減した、冒頭段落で述べた動きベクトル修正装置を提供することにある。

この目的は、本発明による動きベクトル修正装置によって達成され、この動きベクトル修正装置は：
画像中のオクルージョン領域の画像内容、及びこのオクルージョン領域の近傍にある複数の非オクルージョン領域の画像内容を分析して、これらのオクルージョン領域及び非オクルージョン領域のそれぞれの画像特性値を得るように構成された分析器（アナライザ）と；
上記オクルージョン領域の画像特性値、及び上記非オクルージョン領域のそれぞれの画像特性値に基づく類似値を評価するように構成された評価器と；
対応する類似値に基づいて、上記複数の非オクルージョン領域から特定の非オクルージョン領域を選択するように構成された選択器（セレクタ）と；
上記オクルージョン領域の動きベクトルを、上記選択した特定の非オクルージョン領域の動きベクトルに置き換えるベクトル置換器と
を具えている。

G. de. Haan et al, "Video processing for multimedia systems", University Press Eindhoven, 2000 ISBN 90-9014015-8, Chapter 4

本発明による動きベクトル修正ユニットは、連続する２つの画像を用いることによって、推定した動きベクトル場を修正することができる。動きベクトルを修正するとは、前にオクルージョン領域に割り当てた誤った動きベクトルを、正しい可能性が最も高い動きベクトルに置き換えることを意味する。換言すれば、動きベクトル場を修正することは、カバーされる領域の動きベクトルを、前の画像中のバックグラウンド・オブジェクトの動きベクトルに置き換え、出現する領域の動きベクトルを、現在画像中のバックグラウンド・オブジェクトの動きベクトルに置き換えることを意味する。現在画像中に生じるカバーされる領域の場合には、フォアグラウンド・オブジェクトの動きベクトルを割り当てなければならない。検出したオクルージョン領域で推定した動きベクトル場は、本発明による動きベクトル修正装置の入力において利用可能になる。書籍：G. de. Haan et al, “Video processing for multimedia systems”, University Press Eindhoven, 2000 ISBN 90-9014015-8, Chapter 4は、好適に利用される、オクルージョン領域の検出、及びカバー／出現の分類の方法を記載している。しかし、文献に開示されている、連続する２つの画像からの動きベクトル推定の他の方法も用いることができる。

オクルージョン領域について計算した動きベクトルは一般に、フォアグラウンドの移動に対応する動きベクトル、即ちフォアグラウンド動きベクトル、及びバックグラウンドの移動に対応する動きベクトル、即ちバックグラウンド動きベクトルから成る。しかし、どの動きベクトルがバックグラウンド・オブジェクトに対応するかフォアグラウンド・オブジェクトに対応するかについては、最初は未知である。本発明は、画像中のオクルージョン領域の画像内容、及びこのオクルージョン領域の近傍にある複数の非オクルージョン領域の画像内容を分析して、各領域の画像特性値を抽出する分析器を提供することによって、この問題に対する解決法を提供する。評価器は、オクルージョン領域及び各々の非オクルージョン領域の画像特性値に基づいて類似値を計算する。選択器は、これらの類似値に基づいて、最良に一致する非オクルージョン領域を選択する。ベクトル置換器は、オクルージョン領域の誤った動きベクトルを、選択器によって選択した特定の非オクルージョン領域の動きベクトルに置き換える。

本発明は、画像中のカバーされる領域の画像内容が、前の画像のバックグラウンド・オブジェクトの画像内容にほぼ一致し、出現する領域の画像特性値が現在画像のバックグラウンド領域の画像特性値にほぼ一致する、という見識に基づく。従って、オクルージョン領域の所定近傍内の非オクルージョン領域に最良に一致する非オクルージョン領域を選択することが可能である。ベクトル置換器は、オクルージョン領域の動きベクトルを、選択した非オクルージョン領域の動きベクトルに置き換える。このようにして、本発明による動きベクトル修正装置は、バックグラウンド動きベクトルを前の画像中のカバーされる領域に正しく割り当て、バックグラウンド動きベクトルを現在画像中の出現する領域に正しく割り当てる。動きベクトル推定、オクルージョン検出、及び分類は一対の画像上で行うことができる。従って、この動きベクトル修正装置は一般に、画像シーケンス中の連続する２つの画像を必要とし、従って、連続する３つの画像を必要とする従来技術の装置に比べて低減されたレイテンシで動作する。

本発明による動きベクトル修正装置の好適例では、上記分析器が、上記画像特性値としてテクスチャ・パラメータを得るように構成されている。

領域のテクスチャ尺度を示す画像特性値は、領域の内容を分析することによって得ることができる。画像のテクスチャ内容に基づく類似値は、最良に一致する領域を選択する目的で領域を比較するための有用な尺度である。ＤＣＴ係数、アダマール変換係数のようなテクスチャ特性尺度、あるいは平均値、分散、分布密度のピークのような統計尺度、及び／または、検出したエッジ（稜線）の向き及び／または強度のいずれも、類似値として好適に用いられる。

本発明による動きベクトル修正装置の好適例では、上記分析器が、輝度パラメータを画像特性値として得るように構成されている。

画素の輝度値に基づく画像特性値は領域から容易に計算することができる。ＲＧＢ、ＨＩＳまたはＹＵＶのような既知のフォーマットの１つで表現される画素の輝度値を比較に用いることができる。単純かつ有用な領域の輝度特性値は、色相及び／または彩度の平均値である。

本発明による動きベクトル修正装置の好適例では、上記近傍が空間的近傍である。

オクルージョン領域の近傍にある一組の非オクルージョン領域を、正しい動きベクトルに寄与する候補領域として選択する。最も類似した非オクルージョン領域は、オクルージョン領域の空間的近傍内で見つけることができる可能性が非常に高い。

本発明による動きベクトル修正装置の好適例では、この動きベクトル修正装置が、オクルージョン領域の動きベクトルと、このオクルージョン領域の別な動きベクトルとの結合に基づいて、このオクルージョン領域の空間的近傍にある複数の非オクルージョン領域の１つの位置を定めて、画像内容を分析し、類似値評価し、そして特定の非オクルージョン領域を選択するように構成されている。

オクルージョン領域に対するものと考えられる動きベクトルの選択は、バックグラウンド動きベクトルＶ₁及びフォアグラウンド動きベクトルＶ₂から成る。本発明による動きベクトル修正装置は、これらの動きベクトルを用いて、上記近傍にある複数の非オクルージョン領域を選択するように構成されている。オクルージョン領域から始めて、バックグラウンド動きベクトルとフォアグラウンド動きベクトルとの結合を投影し、例えばＶ_c1＝Ｖ₁−Ｖ₂を第１結合とし、Ｖ_c2＝Ｖ₂−Ｖ₁を第２結合とし、一般に、画像内容のさらなる分析用に２つの非オクルージョン領域を選択することができる。これらの動きベクトルを結合して画像に投影することは、オクルージョン領域外の近傍を容易に識別することを有利に手助けする。

本発明による動きベクトル修正装置の好適例では、上記近傍が時間的近傍である。

時間的近傍とは、画像中で、考慮中の画像に時間的に隣接しているものと考えられる近傍を意味する。これは、画像シーケンスからの前の画像または次の画像を意味する。時間的に隣接する画像から複数の非オクルージョン領域を考える。これらの非オクルージョン領域は、一部の座標では利用可能でないことがあるが、動きによる時間的な画像の空間的近傍にあることは明らかである。こうした領域の画像特性は、考慮中の領域に非常に近いものと予期される。

本発明による動きベクトル修正装置の好適例では、この動きベクトル修正装置が、オクルージョン領域の動きベクトルに基づいて、１つの画像及び他の画像に含まれる時間的近傍にある複数の非オクルージョン領域の１つの位置を定めて、画像内容を分析し、類似値を評価し、そして特定の非オクルージョン領域を選択するように構成され、上記画像及び他の画像は画像シーケンス中に連続する画像である。

バックグラウンド動きベクトルＶ₁及びフォアグラウンド動きベクトルＶ₂は一般に、オクルージョン領域について計算し、時間的に隣接する画像に投影して時間的近傍を選択する。こうして、オクルージョン領域の時間的近傍にあるオクルージョン領域外の領域を選択する要求が満たされる。選択した領域は一般に、上記一時的な画像の空間的近傍に見出すことができる。

本発明による動きベクトル修正装置の好適例では、上記評価器が、上記選択器からの要求に基づいて、オクルージョン領域の第２の画像特性値、及びこれに対応する、非オクルージョン領域のそれぞれの画像特性値に基づく第２の類似値を評価するように構成されている。

２つ以上の類似値がほぼ等しく、上記選択器が最良に一致する非オクルージョン領域を選択することができない状況が生じ得る。画像特徴値に基づく一組の類似値が、特定の非オクルージョン領域を区別して選択するために不十分である場合には、上記選択器は上記評価器に、第２の画像特性値に基づいて第２組の類似値を計算するための信号を送信する。この方法の利点は、一組の類似値がほぼ等しい値であることにより、特定の非オクルージョン領域を選択するために不十分である場合には、システムが第２組の類似値を計算し、これにより、特定の非オクルージョン領域の選択のあいまい性を回避する。

本発明の他の目的は、低減されたレイテンシで、推定した動きベクトル場におけるオクルージョン領域の動きベクトルを修正する動きベクトル修正装置を具えた、冒頭段落に記載した種類の画像処理装置を提供することにある。本発明のこの目的は、本発明による画像処理装置によって達成され、この画像処理装置は：
１つの画像を含む画像シーケンスを表現する信号を受信する受信機と；
この画像の動きベクトル場を推定する動き推定器と；
この画像中のオクルージョン領域を検出するオクルージョン検出器と；
本発明による、推定した動きベクトル場を修正する動きベクトル修正装置と；
修正した動きベクトル場に基づいて、上記画像を動き補償する動き補償画像処理装置とを具えている。

本発明による動きベクトル修正装置は、画像シーケンス中に連続する２つの画像を受信し、オクルージョン領域の近傍の非オクルージョン領域の画像内容を分析し、画像特性値を抽出し、この画像特性値から計算した類似値に基づいて非オクルージョン領域を選択する。選択した非オクルージョン領域の動きベクトルをオクルージョン領域に割り当て、これにより、上記推定した動きベクトル場を修正する。この画像処理装置は、修正した動きベクトルフィールドに基づいて画像シーケンスの動き補償処理を実行するように構成されている。

上記画像処理装置は、次の種類の画像処理の１つ以上をサポートするように構成することができる：
インターレースの非インターレース化：インターレース（飛越し走査）は、奇数番目の画像ラインと偶数番目の画像ラインとを交互に伝送する一般的なビデオ放送フォーマットを意味する。非インターレース化は、完全な垂直解像度を復元しようとすることを意味し、即ち、画像毎に、同時に得られる奇数番目と偶数番目のラインを計算する。
画像レートのアップコンバージョン：入力原画像の列から、より多数の出力画像の列を計算する。出力画像は、２つの入力原画像の間に時間的に位置する。画像シーケンスの時間的アップコンバージョンが行われる。
マルチビュー（多画面）画像変換：入力２Ｄ画像シーケンスから、３Ｄ画像シーケンスを計算する。これらの３Ｄ画像は補間された画像であり、入力画像シーケンスによって表現される３Ｄシーンにおける複数の配向されたカメラ位置に対応する。
ノイズリダクション（雑音低減）：ノイズリダクションの処理は、入力原画像シーケンスに対して実行される。これらの画像は、空間−時間ノイズリダクションについて処理される。

上記画像処理装置は、例えば出力画像を表示する表示装置のような追加的構成要素を具えることができ、あるいは、接続されたディスプレイに画像を供給することができる。上記画像処理装置は、追加的手段を内蔵することによって、次の種類の民生（コンシューマ）用及び業務（プロフェッショナル）用装置：即ちＴＶ，セットトップボックス、ＶＣＲ（ビデオカセットレコーダ）／ＶＣＰ（ビデオカセットプレーヤ）、衛星放送チューナ、ＤＶＤプレーヤ／レコーダの１つ以上をサポートすることができる。随意的に、上記画像処理装置は、ハードディスクのような記憶手段、あるいは光ディスクのようなリムーバブル（着脱式）媒体上の記憶手段を具える。上記画像処理装置は、映画スタジオまたは放送事業者または再送信者によって適用されるシステムとすることもできる。

本発明の他の目的は、低減されたレイテンシで動きベクトル場を修正する方法を提供することにある。本発明のこの目的は、画像中のそれぞれの領域の動きベクトルから成る画像の動きベクトル場を修正する方法によって達成され、この方法は：
画像中のオクルージョン領域の画像内容、及びこのオクルージョン領域の近傍にある複数の非オクルージョン領域の画像内容を分析して、これらのオクルージョン領域及び非オクルージョン領域のそれぞれの画像特性値を得るステップと；
上記オクルージョン領域の画像特性値、及び上記非オクルージョン領域のそれぞれの画像特性値に基づく類似値を評価するステップと；
対応する類似値に基づいて、上記複数の非オクルージョン領域から特定の非オクルージョン領域を選択するステップと；
上記オクルージョン領域の動きベクトルを、上記選択した特定の非オクルージョン領域の動きベクトルに置き換えるステップとを具えている。

本発明による方法は、考慮中の画像から動きベクトル場を修正する。動きベクトル場を推定し、オクルージョン領域を見出して分類するために、一般に、連続する２つの画像を用いることができる。従って、本発明の方法は、一般に２つの画像を用いることによって動きベクトル修正処理を実行することができ、従って、従来技術の方法に比べて低減されたレイテンシで動作する。

本発明の他の目的は、画像中のそれぞれの領域の動きベクトルから成る動きベクトル場を修正する命令を含む、冒頭段落に記載した種類のコンピュータプログラム製品を提供することにあり、このコンピュータプログラム製品は、処理手段にロードされた後に、この処理手段に次のステップを実行する能力を提供する：
画像中のオクルージョン領域の画像内容、及びこのオクルージョン領域の近傍にある複数の非オクルージョン領域の画像内容を分析して、これらのオクルージョン領域及び非オクルージョン領域のそれぞれの画像特性値を得るステップ；
上記オクルージョン領域の画像特性値、及び上記非オクルージョン領域のそれぞれの画像特性値に基づく類似値を評価するステップ；
対応する類似値に基づいて、上記複数の非オクルージョン領域から特定の非オクルージョン領域を選択するステップ；及び、
上記オクルージョン領域の動きベクトルを、上記選択した特定の非オクルージョン領域の動きベクトルに置き換えるステップ。

上記動きベクトル修正装置の変更及び変形は、上述した上記画像処理装置、上記方法、及び上記コンピュータ製品の変更及び変形に対応させることができる。

本発明による動きベクトル修正装置、方法、画像処理装置、及びコンピュータプログラム製品のこれら及び他の態様は、以下の図面を参照した実現及び実施例についての説明より明らかになる。

図１Ａに、移動中のオブジェクト１０４を含む連続する一対の画像１００、１０２を概略的に示す。連続する２つの入力画像１００及び１０２は、それぞれ第１時点ｎ−１及び後続する時点ｎにおける楕円形のオブジェクト１０４を示す。垂直座標は軸１１０に対応し、水平座標は軸１３０に対応する。時刻に対応する時間軸１２０も示している。楕円形オブジェクト１０４は、軌跡１２４で示すように、フォアグラウンド中を左から右に移動する。同時に、バックグラウンドは、矢印１２６によって示す軌跡で逆向きに移動する。

図１Ｂに、図１Ａに示す状況の２Ｄ表現を概略的に示す。図１Ｂは、時間軸１２０及び水平軸１３０が見えるように回転したものである。移動中のフォアグラウンド・オブジェクトは画像１００及び１０２中に黒色の長方形として示す。バックグラウンド・オブジェクトベクトル１２６には速度Ｖ₁が割り当てられ、フォアグラウンド・オブジェクト１２４には速度Ｖ₂が割り当てられている。動きベクトル場Ｍ_n及びＭ_n-1は、画像１００及び１０２のそれぞれについて計算されている。グレー色の三角形として示すオクルージョン領域は、バックグラウンド・オブジェクト及びフォアグラウンド・オブジェクトの移動により出現する。これらの領域内では、動きベクトルは一般に正しくない、というのは、これら２つの画像の一方には情報が存在しないからである。出現する領域Ｒ_uの場合は、時刻ｎにおける画像１０２中に新たな情報が出現し、この情報は時刻ｎ−１における画像１００中には存在しない。カバーされる領域Ｒ_cの場合は、時刻ｎ−１において画像１００中に存在する情報は、時刻ｎにおける画像１０２中では隠れる。両方の場合において、動きベクトル場Ｍ_nはオクルージョン領域内では誤ったものである。オクルージョン領域は、カバーされる領域及び出現する領域として検出され分類されている。

図２に、本発明による動きベクトル修正装置の実施例を概略的に示す。動きベクトル修正装置２００は、分析器２１０、評価器２２０、選択器２３０、及び動きベクトル置換器２４０を具えている。入力コネクタ２０１には画像シーケンスが供給される。動きベクトル場、及び分類されたオクルージョン領域も、それぞれの領域について、入力コネクタ２０１に供給される。一般に、動きベクトル場は、２つの画像の領域どうしを比較することによって、画素または領域のグループについて推定することができる。こうした動き推定装置の１つは、文献：G. de. Haan et al, “True-motion estimation with 3D-recursive Search Block Matching”, IEEE Transactions on Circuits and System for Video Technology, Vol. 3, No. 5, 1993年10月、368〜379頁に記載されている。動きベクトルは、考慮中の領域または画素のブロックに属する。

書籍：G. de. Haan et al, “Video processing for multimedia systems”, University Press Eindhoven, 2000 ISBN 90-9014015-8, Chapter 4は、オクルージョン領域の検出、及び領域のカバー／出現の分類の方法を記載している。オクルージョン領域毎に、一般に、例えばフォアグラウンド動きベクトル及びバックグラウンド動きベクトルから成る一組の動きベクトルが計算される。しかし、この一組のうちのどれがフォアグラウンドまたはバックグラウンドに相当するかは直接知ることができない。本発明による動きベクトル修正装置は、バックグラウンド動きベクトルを検出して対応する領域、例えば前の画像中のカバーされる領域に割り当て、バックグラウンド動きベクトルを検出して対応する領域、例えば現在画像中の出現する領域に割り当てるように提供される。推定した動きベクトル場及び分類したオクルージョン領域は、本発明による動きベクトル修正装置への入力として利用可能にされる。一部の場合には、動きベクトルを推定する反復的探索において、一部の領域は特定の動きベクトルに収束しないことがある。本発明は、こうした場合において、正しい可能性が最も高い割り当てを決定するに当たり有用であり得る。

分析器２１０は、オクルージョン領域、及びこのオクルージョン領域の近傍にある複数の非オクルージョン領域の画像内容を分析して、それぞれの領域の画像特性値を計算するように構成されている。画像特性値は、空間領域内、あるいは周波数領域のような変換された領域内の画素値から計算される。画像特徴値は、テクスチャ・パラメータまたは輝度パラメータとすることができる。輝度パラメータは、例えばＲＧＢ、ＨＩＳ、またはＹＵＶのようないくつかの標準フォーマットで表現される領域の画素の強度値の１つ以上の成分から導出することができる。画像特徴値の尺度は、Ｙ、Ｕ及びＶ成分の１つ以上の平均値、Ｙ、Ｕ及びＶ成分の分散のように、上記強度値の１つ以上から導出することができる。同様に、テクスチャに基づく値は、ＹまたはＹＵＶのヒストグラム比較、ディスクリート（離散）コサイン変換係数、またはフーリエ変換係数から得ることができる。テクスチャ・パラメータを計算する他の方法は、確率モデルを用いて領域内のテクスチャをモデル化し、このモデルのパラメータを推定することによるものである。

評価器２２０は、それぞれの領域の画像特性値を受信し、オクルージョン領域の画像特性値と各々の非オクルージョン領域との類似性尺度を計算するように構成されている。評価器２２０は、整合法または差分法を用いて類似値を得ることができる。領域の類似値を評価するに当たり、領域毎の複数の画像特性値の選択を用いることができる。２つ以上の画像特性値を類似値の計算に用いる場合には、例えば絶対値差の総和または二乗差の総和が優位な方策であり得る。

選択器２３０は、対応する類似値に基づいて、オクルージョン領域と最良に一致する特定の非オクルージョン領域を選択するように構成されている。類似値が誤差尺度に基づく場合には、類似値の最小値が最良に一致する非オクルージョン領域に対応する。類似性尺度が、ベクトルのドット積（内積、点乗積）のような一致スコアである場合には、最大値が最良に一致する非オクルージョン領域に対応する。選択器が、利用可能な類似値によって最良に一致する非オクルージョン領域を見出すことができない場合には、選択器は、別な画像特性尺度に基づいて新たな類似値の組を再計算する要求２５０を評価器に送信する。

ベクトル置換器２４０は、オクルージョン領域の動きベクトルを、選択した特定の非オクルージョン領域の動きベクトルに置き換える。この動きベクトルは、考慮中の領域または画素のブロックに属する。入力画像の修正したベクトル場は、さらなる処理の制御用に出力コネクタ２４１に供給される。

図３に、オクルージョン領域の空間的近傍にある非オクルージョン領域の例示を概略的に示す。それぞれ瞬時ｎ−１及びｎにおける画像１００及び１０２を、移動中のオブジェクト１０４と共に示す。フォアグラウンド・オブジェクトの速度（ベクトル）１２４をＶ₂として示し、バックグラウンド・オブジェクトの速度１２６をＶ₁として示す。オクルージョン領域を検出した後に、オクルージョン領域の１つ、例えばＲ₀がこれに割り当てられたベクトルＶ₂を有することができるか、あるいは、領域Ｒ₀は候補ベクトルＶ₁及びＶ₂からの一方のベクトルをまだ割り当てられていない。一般に、動きベクトルを推定する間に、２つの動きベクトルが単一領域（への割り当て）について強く競合し、反復的処理が収束しないことがある。本発明は、こうした衝突の状況に適用可能である。オクルージョン領域に対する空間的近傍を選択し、この近傍は、明らかに、オクルージョン領域Ｒ₀外にあり、かつ画像境界内にある領域から成る。こうした空間的近傍を選択する１つの方法は、オクルージョン領域Ｒ₀について得られる２つの動きベクトルＶ₁及びＶ₂を結合し、この結合を、２つの非オクルージョン領域を内容を分析するための候補領域として選択した画像に投影することである。換言すれば、ベクトルＶ₂を、画像１００中のバックグラウンド領域Ｒ₃に達するように投影し、このバックグラウンド領域から、他のベクトルＶ₁を識別する。ベクトルＶ₁を用いることによって、領域Ｒ₂が候補領域の１つとして識別され、この候補領域の動きベクトルを用いて、領域Ｒ₀の誤って割り当てられたベクトルを置き換えることができる。ベクトルを結合して画像１０２中の２つの異なる領域に達する２つの可能性が存在し、これらを次式で示す：
Ｖ_c1＝Ｖ₁−Ｖ₂ (1)
Ｖ_c2＝Ｖ₂−Ｖ₁ (2)

図３に示すように、例えば結合Ｖ₁−Ｖ₂がさらなる分析用の領域Ｒ₂を識別し、結合Ｖ₂−Ｖ₁がさらなる分析用の領域Ｒ₁を識別する。この例では、Ｒ₁はたまたまフォアグラウンド領域である。これらの領域を共に分析して画像特性値を計算し、オクルージョン領域に最良に一致する領域を選択する。この例では、最良に一致する領域は例えば領域Ｒ₂とすることができる。従って、バックグラウンド動きベクトルである領域Ｒ₂の動きベクトルが、出現する領域Ｒ₀の誤った動きベクトルに置き換わる。この例示を通して、画像１０２中の出現する領域の動きベクトルの修正を示し、同一の方法を適用して、画像１００中のカバーされる領域の動きベクトルを修正することもできる。当業者は、同じ手順に従うことによって、正しい、例えばバックグラウンド動きベクトルを前の画像中のカバーされる領域に割り当てることができる。また、現在画像中に生じるカバーされる領域の場合には、正しい可能性が最も高い、例えばフォアグラウンド動きベクトルを同様の方法で割り当てることができる、ということになる。

図４に、オクルージョン領域の時間的近傍に位置する非オクルージョン領域の例示を概略的に示す。それぞれ瞬時ｎ−１及びｎにおける、移動中のオブジェクト１０４を有する画像１０２及び１００を示す。時間的近傍にある非オクルージョン領域を、画像内容の分析用に考えることができる。領域Ｒ₀はオクルージョン領域である。最初に、領域Ｒ₀はベクトルＶ₂を誤って割り当てられているか、あるいは、推定時に、２つの候補ベクトルＶ₁及びＶ₂を識別することができるが、これら２つの一方は不確実性により割り当てることができない。Ｖ₁及びＶ₂を用いることによって、画像１００中の候補領域を識別することができる。動きベクトルＶ₁及びＶ₂は画像１００に投影されて、時間的近傍にある２つの領域、即ちＲ₁及びＲ₂が識別される。画像は時間的であるが、これらの領域は空間的に隣接する。Ｒ₀、Ｒ₁及びＲ₂の画像内容を分析し、それぞれの画像特性値を計算し、類似値を計算して、出現する領域Ｒ₀に（良好に）一致する非オクルージョン領域を選択する。領域Ｒ₂の画像特性値がＲ₀の特性値に良好に一致するものと期待される。従って、候補領域を識別する代わりの具体例を実現することができる。

オクルージョン領域が、空間的または時間的近傍にある非オクルージョン領域に非常に類似している際に、誤った非オクルージョン領域が選択器によって選択される可能性が存在する。一部の場合には、類似値が互いに等しくなることがあり、選択器が特定の非オクルージョン領域を選択するに当たり問題に遭遇し得る。本発明の動きベクトル修正装置は、こうしたあいまいな状況を解決する２つの方法を提供する。第１の方法では、選択器は、オクルージョン領域及び非オクルージョン領域の各々の別な画像特性尺度に基づいて新たな類似値の組を評価するためのフィードバック信号を、評価器２２０に送信する。この新たな評価値の組は、最良に一致する非オクルージョン領域を決定するためのより良好な区別を有することが期待される。第２の方法では、フォアグラウンド・ベクトル及びバックグラウンド・ベクトルを延長することによって、新たな非オクルージョン領域の組を選択することができる。各ベクトルを、当該ベクトルの値の予め定めた割合だけ増加させる。このベクトルの増加は、候補領域として選択される非オクルージョン領域の異なる組を生じさせる。この増加は可能な限り小さくして空間的相互関係を保存するが、新たな非オクルージョン領域を識別することができ、この非オクルージョン領域について計算される画像特性値がより良好な区別及び選択を与えることが期待されるように十分大きくする。上記ベクトルは、区別される類似値が得られるまで反復的に増加させることができる。増加の回数が事前に割り当てた数を超えた場合には、オクルージョン領域の動きベクトルを置き換えるベクトル修正器（置換器）２４０は、事前に選択した非オクルージョン領域を用いることができる。同様に、現在画像中に生じるカバーされる領域の場合には、同様の手順に従うことによって、正しい可能性が最も高い、例えばフォアグラウンド動きベクトルの割当てを実行することができる。

図５に、本発明による画像処理装置５００を概略的に示し、この画像処理装置は：
１つの画像を含む画像シーケンスを表現する信号を受信する受信機５１０と；
この画像の動きベクトル場を推定する動き推定器５２０と；
この画像のオクルージョン領域を検出するオクルージョン検出器５３０と；
このオクルージョン領域及び非オクルージョン領域の画像内容の分析、画像特性値に基づく類似値の評価、これらの類似値に基づく特定の非オクルージョン領域の選択、及び上記オクルージョン領域の誤った動きベクトルの、上記特定の非オクルージョン領域の動きベクトルへの置き換えに基づいて、推定した動きベクトル場を修正する動きベクトル修正装置５４０と；
修正した動きベクトル場に基づいて、動き補償画像処理装置５５０とを具えている。
画像シーケンスを画像処理装置５００の入力として入力コネクタ５０１に供給することができ、そして出力コネクタ５５１からは出力が得られ、さらに利用することができる。

図６に、本発明による方法を概略的に示す。この方法６００において、分析ステップ６１０では、画像シーケンスをその動きベクトル場と共に受信し、オクルージョン領域に分類する。分析ステップ６１０の出力は、それぞれのオクルージョン領域及び非オクルージョン領域の特性値から成り、評価ステップ６２０ではこれらの値を用いて類似値を計算する。選択ステップ６３０では、これらの類似値に基づいて、最良に一致する非オクルージョン領域を選択する。ベクトル置換ステップ６４０では、選択した特定の非オクルージョン領域の動きベクトルが、オクルージョン領域の動きベクトルを置き換える。特定値を選択するための十分な区別を有しない類似値の場合には、選択ステップ６３０において、それぞれの領域の第２の画像特性値に基づく第２組の類似値を評価することの要求６５０を、評価ステップ６２０に送る。

本発明のコンピュータプログラム製品は、標準装備または着脱可能な記憶装置、例えばフラッシュメモリまたはハードディスク内で取り扱うことができる。このコンピュータプログラム製品は、集積回路または計算機のような装置内に、組込みソフトウェアとして組み込むことができ、あるいは標準的な記憶装置またはメモリデバイスの１つから事前にロードしたままにしておくか、ロードすることができる。このコンピュータプログラム製品は、マシン（機械語）レベルのコードまたはアセンブリ言語または高級言語のような既知のコードのいずれでも提供することができ、そして、ハンドヘルド装置またはパーソナルコンピュータまたはサーバーのような利用可能ないずれのプラットフォーム上でも動作させることができる。

なお、上述した実施例は本発明を限定するものではなく例示するものであり、当業者は、請求項の範囲から逸脱することなしに代案実施例を設計することができる。「具えている」等は、請求項中に挙げた以外の要素またはステップの存在を排除するものではない。各構成要素は複数存在し得る。本発明は、適切にプログラムされたコンピュータによって実現することができる。いくつかの手段を挙げた装置の請求項では、これらの手段のいくつかは同一のハードウェアアイテムによって具体化することができる。

移動オブジェクトを含む一対の連続画像を概略的に示す図である。 図１Ａに示す状況を２Ｄ表現で概略的に示す図である。 本発明による動きベクトル修正装置の実施例を概略的に示す図である。 オクルージョン領域の空間的近傍にある非オクルージョン領域の例示を概略的に示す図である。 オクルージョン領域の時間的近傍にある非オクルージョン領域の例示を概略的に示す図である。 本発明による方法の概念を示す図である。 本発明による画像処理装置の実施例を概略的に示す図である。

Claims (16)

1. 画像中のそれぞれの領域の動きベクトルから成る動きベクトル場を修正する動きベクトル修正装置において、
   前記画像中のオクルージョン領域の画像内容、及び前記オクルージョン領域の近傍にある非オクルージョン領域の画像内容を分析して、前記オクルージョン領域及び前記非オクルージョン領域のそれぞれの画像特性値を得るように構成された分析器と；
   前記オクルージョン領域の前記画像特性値、及び前記非オクルージョン領域のそれぞれの前記画像特性値に基づく類似値を評価するように構成された評価器と；
   対応する前記類似値に基づいて、前記複数の非オクルージョン領域から特定の非オクルージョン領域を選択するように構成された選択器と；
   前記オクルージョン領域の動きベクトルを、前記選択した特定の非オクルージョン領域の動きベクトルに置き換えるように構成されたベクトル置換器と
   を具えていることを特徴とする動きベクトル修正装置。
2. 前記分析器が、前記画像特性値としてテクスチャ・パラメータを得るように構成されていることを特徴とする請求項１に記載の動きベクトル修正装置。
3. 前記分析器が、前記画像特性値として輝度パラメータを得るように構成されていることを特徴とする請求項１に記載の動きベクトル修正装置。
4. 前記近傍が空間的近傍であることを特徴とする請求項１に記載の動きベクトル修正装置。
5. 前記オクルージョン領域の動きベクトルと、前記オクルージョン領域の他の動きベクトルとの結合に基づいて、前記オクルージョン領域の空間的近傍にある前記複数の非オクルージョン領域の１つの位置を定めて、前記画像内容を分析し、前記類似値を評価し、前記特定の非オクルージョン領域を選択するように構成されていることを特徴とする請求項４に記載の動きベクトル修正装置。
6. 前記近傍が時間的近傍であることを特徴とする請求項１に記載の動きベクトル修正装置。
7. 前記オクルージョン領域の動きベクトルに基づいて、前記画像及び他の画像に含まれる時間的近傍にある複数の非オクルージョン領域のうち１つの非オクルージョン領域の位置を定めて、前記画像内容を分析し、前記類似値を評価し、前記特定の非オクルージョン領域を選択するように構成され、前記画像及び前記他の画像は画像シーケンス中の連続する画像であることを特徴とする請求項６に記載の動きベクトル修正装置。
8. 前記評価器が、前記選択器からの要求に基づいて、前記オクルージョン領域の第２の画像特性値、及び前記第２の画像特性値に対応する、前記非オクルージョン領域のそれぞれの画像特性値に基づく他の類似値を評価するように構成されていることを特徴とする請求項１に記載の動きベクトル修正装置。
9. １つの画像を含む画像シーケンスを表現する信号を受信する受信機と；
   前記１つの画像の動きベクトル場を推定する動き推定器と；
   前記１つの画像中のオクルージョン領域を検出するオクルージョン検出器と；
   前記推定した動きベクトル場を修正する、請求項１〜８のいずれかに記載の動きベクトル修正装置と；
   前記修正した動きベクトル場に基づいて、前記１つの画像を動き補償する動き補償画像処理装置と
   を具えていることを特徴とする画像処理装置。
10. 前記動き補償画像処理装置が、前記修正した動きベクトル場に基づいて、前記受信した画像シーケンスを非インターレース化するように構成されていることを特徴とする請求項９に記載の画像処理装置。
11. 前記動き補償画像処理装置が、前記修正した動きベクトル場に基づいて、前記受信した画像シーケンスをアップコンバートするように構成されていることを特徴とする請求項９に記載の画像処理装置。
12. 前記動き補償画像処理装置が、前記修正した動きベクトル場に基づいて、前記画像シーケンスをマルチビュー画像シーケンスに変換するように構成されていることを特徴とする請求項９に記載の画像処理装置。
13. 前記動き補償画像処理装置が、前記修正した動きベクトル場に基づいて、前記受信した画像シーケンス中のノイズを低減するように構成されていることを特徴とする請求項９に記載の画像処理装置。
14. さらに、前記動き補償された画像を表示する表示装置を具えていることを特徴とする請求項９〜１３のいずれかに記載の画像処理装置。
15. 画像中のそれぞれの領域の動きベクトルから成る、画像の動きベクトル場を修正する方法において、
    前記画像中のオクルージョン領域の画像内容、及び前記オクルージョン領域の近傍にある複数の非オクルージョン領域の画像内容を分析して、前記オクルージョン領域及び前記非オクルージョン領域のそれぞれの画像特性値を得るステップと；
    前記オクルージョン領域の前記画像特性値、及び前記非オクルージョン領域のそれぞれの前記画像特性値に基づく類似値を評価するステップと；
    対応する前記類似値に基づいて、前記複数の非オクルージョン領域から特定の非オクルージョン領域を選択するステップと；
    前記オクルージョン領域の動きベクトルを、前記選択した特定の非オクルージョン領域の動きベクトルに置き換えるステップと
    を具えていることを特徴とする動きベクトル場の修正方法。
16. コンピュータ装置にロードされるコンピュータプログラム製品であって、画像中のそれぞれの領域の動きベクトルから成る動きベクトル場を修正するための命令を具え、前記コンピュータ装置にロードされた後に、前記コンピュータ装置の処理手段に、
    前記画像中のオクルージョン領域の画像内容、及び前記オクルージョン領域の近傍にある複数の非オクルージョン領域の画像内容を分析して、前記オクルージョン領域及び前記非オクルージョン領域のそれぞれの画像特性値を得るステップと；
    前記オクルージョン領域の前記画像特性値、及び前記非オクルージョン領域のそれぞれの前記画像特性値に基づく類似値を評価するステップと；
    対応する前記類似値に基づいて、前記複数の非オクルージョン領域から特定の非オクルージョン領域を選択するステップと；
    前記オクルージョン領域の動きベクトルを、前記選択した特定の非オクルージョン領域の動きベクトルに置き換えるステップと
    を具えた方法を実行する能力を与えることを特徴とするコンピュータプログラム製品。

Images