JP2006513661A - バックグラウンド動きベクトル検出方法及び装置 - Google Patents

Abstract

画像について計算される動きベクトルの集合から、前記画像のオクルージョン領域における画素に対するバックグラウンド動きベクトルを選択するためのセレクタ（５０２）は、前記画像の動きベクトルフィールド（４００）の一部（４０２乃至４３６）に基づいて決定される動きモデルに基づく画素のためにモデルベースの動きベクトルを計算するための計算手段（５１０）と、前記の動きベクトルの集合の各々の動きベクトルと前記のモデルベースの動きベクトルを比較するための比較手段（５１１）と、前記比較に基づいて動きベクトルの集合の特定の動きベクトルを選択し、前記バックグラウンド動きベクトルとして特定の動きベクトルを割り当てるための選択手段（５１２）とを有する。

Description

本発明は、画像に対して計算される動きベクトルの集合からオクルージョン領域における画素に対してバックグラウンド動きベクトルを選択するためのセレクタに関する。

本発明は、一連の入力画像に基づいて、出力画像のオクルージョン領域において画素値を計算するためのアップコンバージョンユニットであって：
− 画像の動きベクトルを推定するための動き推定ユニットであって、動きベクトルが動きベクトルフィールドを形成する、動き推定ユニット；
− 動きベクトルに基づいて、画像におけるオクルージョン領域を決定するための検出ユニット；
− バックグラウンド動きベクトルに基づいて、時間補間により画素値を計算するための補間ユニット；及び
− 上記のように、画素に対してバックグラウンド動きベクトルを選択するためのセレクタ；
を有するアップコンバージョンユニットに関する。

本発明は、画像処理装置であって：
− 一連の入力画像に対応する信号を受信するための受信手段；及び
− 上記のようなアップコンバージョンユニット；
を有する画像処理装置に更に関する。

本発明は、画像に対して計算される動きベクトルの集合から、画像のオクルージョン領域における画素に対するバックグラウンド動きベクトルを選択する方法に更に関する。

本発明は、画像に対して計算される動きベクトルの集合から、画像のオクルージョン領域における画素に対するバックグラウンド動きベクトルを選択するために命令を有するコンピュータ構成によりロードされるコンピュータプログラムプロダクトに更に関する。

動き補償画像レート変換からもたらされる画像においては、アーティファクトは、バックグラウンドのカバリング又はアンカバリングが生じる、動いているオブジェクトの境界において見える。それらのアーティファクトは、通常、ハローと呼ばれている。それらのハローには２つの理由がある。第１の理由は、やや取るに足らないが、動きベクトルフィールドの分解能である。通常、動きベクトルが利用可能であるグリッドの密度は、画素グリッドの密度よりかなり小さい。例えば、動きベクトルが８ｘ８の画素のブロックに対して利用可能である場合、動いているオブジェクトの境界は、ブロッキーなハローの影響をもたらすベクトルグリッドにおいて単に粗く近似されるのみである。第２には、非常に取るに足らない理由は、映像シーケンスの２つの連続画像の間の動きを推定する動き推定ユニットが、バックグラウンド情報が２つの画像のどちらかにおいてのみ生じる領域に対して典型的であるため、カバリング又はアンカバリングが生じる領域においてうまく実行することができないことである。

更に、アップコンバージョンユニットは、通常、アップコンバート画像を生成するために、間違って推定された動きベクトルを用いて、両方の画像からの情報を結合させる、即ち、双方向補間を実行する。それらの画像の１つは、オクルージョンのために、正確な情報を有しないために、アップコンバートされた画像はオクルージョン領域に対して不適当である。

それらの問題を解決するために、アップコンバージョンユニットは、オクルージョン領域を検出し、それらの領域（カバリング又はアンカバリング）にあるオクルージョンのタイプを検出し、それらの領域に対する正確な動きベクトルを決定し、アップコンバージョンを実行することができる。文献“Ｖｉｄｅｏ ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ ｍｕｌｔｉｍｅｄｉａ ｓｙｓｔｅｍｓ”，ｂｙ Ｇ．ｄｅ Ｈａａｎ，Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ Ｅｉｎｄｈｏｖｅｎ，２０００，ＩＳＢＮ ９０−９０１４０１５−８， ｃｈａｐｔｅｒ ４において、オクルージョン領域の検出及びカバリング／アンカバリング分類についての方法について記載されている。それ故、オクルージョン領域において正確な動きベクトルを決定するための要求が尚も存在する。

本発明の目的は、オクルージョン領域における近似動きベクトルを容易に決定するためのセレクタを提供することである。

本発明のこの目的は、セレクタが：
− 画像の動きベクトルフィールドの一部に基づいて決定される動きモデルに基づく画素に対するモデルベースの動きベクトルを計算するための計算手段；
− 動きベクトルの集合の動きベクトルの各々とモデルベースの動きベクトルを比較するための比較手段；並びに
− その比較に基づいて動きベクトルの集合の特定の動きベクトルを選択するため及びバックグラウンド動きベクトルとして特定の動きベクトルを割り当てるための選択手段；
を有することにより達成される。

典型的には、オクルージョン領域に対して計算される動きベクトルの集合は、フォアグラウンドの動きと対応する動きベクトルと、バックグラウンドの動き、即ち、バックグラウンド動きベクトルと対応する動きベクトルとを有する。しかしながら、その集合の動きベクトルのどの１つがバックグラウンドに対応するかについては、直接分からない。このバックグラウンド動きベクトルは、零化ベクトル、即ち動きがないことに対応することが可能である。しかしながら、多くの場合、カメラはシーンの主対象物を追跡するように動くことに留意する必要がある。それは、フォアグラウンド動きベクトルが零化ベクトルに対応し、バックグラウンド動きベクトルが零化ベクトルに等しくないことを意味する。

動きベクトルの集合からバックグラウンド動きベクトルを選択するために、画像のバックグラウンドのグローバル動きモデルが使用される。そのモデルに基づいて、モデルベースの動きベクトルが、特定の画素に対して決定される。その集合の動きベクトルはモデルベースの動きベクトルと比較される。最もよく一致する動きベクトルがバックグラウンド動きベクトルとして選択される。

好適には、グローバル動きモデルは、動きベクトルフィールドの境界の動きベクトルに基づいている。換言すれば、動きモデルを決定するために適用される動きベクトルフィールドの一部は、画像の境界の近接における画素の群に対して推定される動きベクトルに対応する。それらの動きベクトルがバックグラウンドと対応する確率は比較的大きい。

本発明に従ったセレクタの実施形態においては、比較ユニットは、モデルベースの動きベクトルと動きベクトルの集合のそれぞれの動きベクトルとの間の差分を計算するように備えられ、対応する差分が差分の中の最小の差分である場合に、特定の動きベクトルを選択するように備えられている。差分は、Ｌ_１基準、即ち、比較される動きベクトルの成分の絶対差分の合計であることが可能である。代替として、差分は、Ｌ_２基準、即ち、比較される動きベクトルの成分の平方差分の合計である。

本発明に従ったセレクタの実施形態においては、動きモデルは平行移動及びズームを有する。そのようなモデルのパラメータは、計算するためには比較的容易である一方、モデルはローバストである。そのようなパン−ズームモデルを用いて、映像画像における最も頻度の高い幾何学的操作について説明することができる。このパン−ズームモデルを用いて、特定の画素に対するモデルベースの動きベクトル

は

により決定され、ここで、ｔ_ｘ及びｔ_ｙは平行移動を規定し、ｚ_ｘ及びｚ_ｙは画像における位置のｘ座標、ｙ座標及びズームを規定する。米国特許第６，２７８，７３６号明細書及び文献“Ａｎ ｅｆｆｉｃｉｅｎｔ ｔｒｕｅ−ｍｏｔｉｏｎ ｅｓｔｉｍａｔｏｒ ｕｓｉｎｇ ｃａｎｄｉｄａｔｅ ｖｅｃｔｏｒｓ ｆｒｏｍ ａ ｐａｒａｍｅｔｏｒｉｃ ｍｏｔｉｏｎ ｍｏｄｅｌ”，Ｇ．ｄｅ Ｈａａｎ， ｅｔ ａｌ．，ｉｎ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ ｓｙｓｔｅｍｓ ｆｏｒ ｖｉｄｅｏ ｔｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．８，ｎｏ．１，ｐｐ．８５−９１，Ｍａｒｃｈ １９９８において、動きモデルがどのように動きベクトルフィールドの一部に基づいているかについて記載されている。

本発明の目的は、更に、オクルージョン領域における適切な動きベクトルを容易に決定するためのセレクタを有する、冒頭の段落において説明した種類のアップコンバージョンユニットを提供することである。

この本発明の目的は、画素に対するバックグラウンド動きベクトルを選択するためのセレクタが請求項１に記載しているように実現される。

本発明の目的は、更に、オクルージョン領域において適切な動きベクトルを容易に決定するためのセレクタを有する、冒頭の段落において説明した種類の画像処理装置を提供することである。

この本発明の目的は、画素に対するバックグラウンド動きベクトルを選択するためのセレクタが請求項１に記載しているように実現される。

画像処理装置は、付加構成要素であって、例えば、出力画像を表示するための表示器を有することが可能である。画像処理装置は、１つ又はそれ以上次のタイプの画像処理であって：
− 映像圧縮であって、即ち、例えば、ＭＰＥＧ規格に従った符号化又は復号化；
− デインターレーシング：インターレーシングは、奇数又は偶数に番号付けられている画像ラインを交互に伝送するための共通映像ブロードキャスト手法である。デインターレーシングは、垂直フル解像度を回復するように、即ち、各々の画像に対して奇数及び偶数ラインが同時に利用可能になるようにする。
− 画像レート変換：一連のオリジナルの入力画像から、より大きい一連の出力画像が計算される。出力画像は、２つのオリジナルの入力画像の間に時間的に位置付けられる。
− 時間的ノイズ削減：これは又、空間的−時間的ノイズ削減をもたらす空間的処理を有することができる。
画像処理装置は、例えば、テレビジョン、セットトップボックス、ＶＣＲ（ビデオカセットレコーダ）プレーヤ、衛星放送チューナ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）プレーヤ又はレコーダであることが可能である。

本発明の目的は、更に、オクルージョン領域における適切な動きベクトルを容易に決定する方法を提供することである。

本発明の目的は、方法であって：
− 画像の動きベクトルフィールドの一部に基づいて決定される動きモデルに基づいて画素に対するモデルベースの動きベクトルを計算する段階；
− 動きベクトルの集合の動きベクトルの各々とモデルベースの動きベクトルを比較する段階；
− その比較に基づいて動きベクトルの集合の特定の動きベクトルを選択し、バックグラウンド動きベクトルとして特定の動きベクトルを割り当てる段階；
を有する方法において実現される。

本発明の目的は、更に、オクルージョン領域において適切な動きベクトルを容易に決定するための、冒頭の段落において説明した種類のコンピュータプログラムプロダクトの集合を提供することである。

このような本発明の目的は、ロードされた後に、次のようなことであって：
− 画像の動きベクトルフィールドの一部に基づいて決定される動きモデルに基づいて画素に対するモデルベースの動きベクトルを計算すること；
− 動きベクトルの集合の動きベクトルの各々とモデルベースの動きベクトルを比較すること；
− その比較に基づいて動きベクトルの集合の特定の動きベクトルを選択し、バックグラウンド動きベクトルとして特定の動きベクトルを割り当てること；
を実行するための能力を有する処理手段を提供することにより実現される。
セレクタの修正及びセレクタの変形は、上記の方法、アップコンバージョンユニット、画像処理装置及びコンピュータプログラムプロダクトにおけるセレクタの修正及びセレクタの変形に対応することが可能である。

本発明に従った、方法、アップコンバージョンユニット、画像処理装置及びコンピュータプログラムプロダクトにおける、以上の及び他のセレクタの特徴は、添付図面を参照して以下に説明する実施形態及び実行に関して明らかになり、理解されることであろう。

同じ参照番号は一連の図を通して対して使用し、同様の部分を示している。

図１における状態について考慮する。２つの連続するオリジナルの、即ち、入力画像１００及び１０４が、時間ｎ−１における第１ポイント及び時間ｎにおける第２ポイントにおいて与えられる。それらの画像１００及び１０４は、左から右に動くボール１０６を模式的に示している。中間的画像１０２は、ｎ−αにおいて生成され、ここで、０＜α＜１である。この中間的画像１０２は、両方のオリジナルの画像１００及び１０４から構成される。その定量的時間は軸１０８と対応している。垂直方向の座標は軸１１０に対応し、水平方向の座標は軸１１２に対応している。ボールは速度

を有し、バックグラウンドは静止している、即ち、

であると仮定されている。

図２は、図１に示す状態の二次元表示を模式的に示している。図２は図１に対して回転されていることに留意されたい。時間軸１０８及び垂直方向軸１１２のみが示されている。ボール１０６は、ここでは、灰色の矩形で表されている。ボール１０６及びバックグラウンドの動きの軌道は、矢印１１４及び１１６それぞれにより示されている。出力画像１０２は、ｎ−αにおいて推定される動きベクトルを用いて、動き補償補間により生成される。ハローをもたらす従来技術に従った補間器及び動き推定ユニットにおける問題については、下で説明する。

一般に、動き推定ユニットは、候補の動きベクトルの集合から最良のマッチング動きベクトルを選択することにより画素の群に対して動きベクトルを決定する。マッチングエラーは、通常、候補の動きベクトル、即ち、

を用いて、ｎ−１において入力画像から画素をフェッチし、ｎにおいて入力画像からフェッチされた画素とそれらの画素を比較することにより得られる絶対差分合計（ＳＡＤ）であり、ここで、

は動きベクトルであり、

はブロック位置

に位置付けられたブロックであり、

は画素位置であり、

は輝度フレームであり、ｎは画像数であり、そしてαは相対位置である。例を図３Ａに示す。動きベクトル

は両方の画像において同じ情報の方を向き、それ故、それ故、マッチングエラーは小さい。動きベクトル

は、時間ｎにおいて画像１０４における情報とは異なる、時間ｎ−１における画像１００における情報の方を向いている。大きいマッチングエラーがもたらされる。

問題がオクルージョン領域において生じる。それらの領域においては、情報は２つのフレームの１つには存在しないため、適正なマッチングをもたらす動きベクトルはない。アンカバーする場合、新しい情報が現れ、それ故、時間ｎ−１において画像１００には存在しない。カバリングの場合、情報は消え、それ故、時間ｎにおいて画像１０４には存在しない。この結果は、動きベクトルフィールドはオクルージョン領域においては誤っていることである。図３Ｂにおいては、それらの問題領域１１８及び１２０を灰色で示している。黒色のドット１２２及び１２４は、動きベクトルが推定される必要がある画素を表している。黒色のドット１２２及び１２４はバックグラウンドにおいて位置付けられているが、バックグラウンドは、時間ｎ−１の画像１００か又は時間ｎのる画像１０４のどちらかにおいてカバーされるため、それらの画像の部分について示す動きベクトルは存在しない。

既知のアップコンバージョンユニットにおいては、通常、両方の画像Ｆ（ｎ）及びＦ（ｎ−１）からの画素値情報は補間のために用いられる。例えば、動き補償平均化は、次式のように、時間ｎ−１において画像１００からの及び時間ｎにおいて画像１０４からの動き補償画素を用いる。

たとえ、補正動きベクトルが用いられたとしても、時間ｎ−１における画像からの画素又は時間ｎにおける画像１０４からの画素のどちらかが誤っているために、オクルージョン領域における結果は誤ったものである。

ハローの問題の解決方法は少なくとも２つの動作を有する。第１に、補正動きベクトルがアップコンバージョンにおいて用いられるようなオクルージョン領域において、恐らく誤っている動きベクトルを適合化させる。第２に、補正動きベクトルを用いて、補正画像からの画素値情報をフェッチする、即ち、双方向フェッチに代えて、一方方向のフェッチを用いる。

しかしながら、幾つかの困難が存在している。第１動作を実行するためには、オクルージョン領域がどこにあるかを知る必要がある。それ故、オクルージョン検出及びフォアグラウンド／バックグラウンド動き検出が必要とされる。

第２動作を実行するために、どのタイプのオクルージョンが存在するかを知る必要がある。カバリングの場合、時間ｎ−１における画像からの画素値情報はフェッチされる必要がある。アンカバリングの場合、時間ｎにおける画像からの画素値情報はフェッチされる必要がある。それ故、カバリング／アンカバリング検出が必要とされる。文献“Ｖｉｄｅｏ ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ ｍｕｌｔｉｍｅｄｉａ ｓｙｓｔｅｍｓ”，ｂｙ Ｇ．ｄｅ Ｈａａｎ，Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ Ｅｉｎｄｈｏｖｅｎ，２０００，ＩＳＢＮ ９０−９０１４１５−８，ｃｈａｐｔｅｒ ４において、オクルージョン領域の検出及びカバリング／アンカバリング分類のための方法について記載されている。

次に、本発明に従ったフォアグラウンド／バックグラウンド動き検出について説明する。図４は、本発明に従って、バックグラウンドのグローバル動きモデルを決定するために、動きベクトルフィールド４００のどの部分が使用されるかを模式的に示している。バックグラウンド動きは画像の境界に存在すると仮定される。それ故、画像の境界、即ち、動きベクトルフィールドの境界に位置付けられている画素のブロックに属する多くの動きベクトルは、画像のバックグラウンドの動きベクトルを決定するために用いられる。動きモデルを決定するための方法については、米国特許第６，２７８，７３６号明細書及び文献“Ａｎ ｅｆｆｉｃｉｅｎｔ ｔｒｕｅ−ｍｏｔｉｏｎ ｅｓｔｉｍａｔｏｒ ｕｓｉｎｇ ｃａｎｄｉｄａｔｅ ｖｅｃｔｏｒｓ ｆｒｏｍ ａ ｐａｒａｍｅｔｒｉｃ ｍｏｔｉｏｎ ｍｏｄｅｌ”，ｂｙ Ｇ．ｄｅ Ｈａａｎ，ｅｔ ａｌ．，ｉｎ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｃｉｒｃｕｉｔｓ ａｎｄ ｓｙｓｔｅｍｓ ｆｏｒ ｖｉｄｅｏ ｔｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．８，ｎｏ．１，ｐｐ８５−９１，Ｍａｒｃｈ １９９８に詳細に記載されている。この方法は、ブロックの対の動きベクトルからパン−ズームモデルを決定し、グローバルパン−ズームモデルとして成分におけるメジアンをとる。本発明に従った方法と上記引用文献において記載されている方法との間の違いはブロックの選択である。本発明に従った方法においては、画像の境界からのブロックを用いる。好適には、上部の境界から５つのブロック４０２乃至４１０の、下部の境界から５つのブロック４１２乃至４２０の、左側の境界から４つのブロック４２２乃至４２８の及び右側の境界から４つのブロック４３０乃至４３６が用いられる。それは、合計１８ブロックであることを意味している。このようなパン−ズームモデルを用いて、特定の画素についてのモデルベースの動きベクトル

が式（１）により決定される。

オクルージョン領域における位置

のバックグラウンド動きベクトルを決定するために、動き推定ユニットにより決定される動きベクトルの集合が必要とされる。典型的には、この動きベクトルの集合は２つの動きベクトルを有する。第１のベクトルは、動き推定ユニット５０２により位置

に対して推定されたベクトル

であり、動きベクトルにおける代替の動きベクトル

は、近接において位置

に対して決定される。一般に、それらの動きベクトルの１つはフォアグラウンド動きベクトルに対応し、他の動きベクトルはバックグラウンド動きベクトルに対応する。代替の動きベクトル

を決定するために、多くの画素（典型的には、δ＝１６）の位置から現在の位置の左まで及び右までの動きベクトル

及び

が計算される。現在のベクトルと最も異なる動きベクトル

は、代替の動きベクトル

であって、

として選択され、ここで、

はベクトルフィールドである。（又、米国特許第５，７７７，６８２号明細書を参照されたい。）
動きベクトル

及び

をフォアグラウンド及びバックグラウンドに分類するために、それらの動きベクトルは、画像のバックグラウンドのための動きモデルに基づいて計算される動きベクトル

と比較される。実際のバックグラウンドベクトルは、

までの最小距離を有する動きベクトル、即ち、

及び

である。

図５は、本発明に従ったアップコンバージョンユニット５００を模式的に示している。アップコンバージョンユニットは、一連の入力画像に基づいて出力画像のオクルージョン領域における画素値を計算するように備えられている。アップコンバージョンユニットは次のようなものを有する。
− 画像の動きベクトルを推定するための動き推定ユニット５０４。その動きベクトルは動きベクトルフィールドを構成する。動き推定ユニットは、例えば、文献“Ｔｒｕｅ−Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ ３−Ｄ Ｒｅｃｕｒｓｉｖｅ Ｓｅａｒｃｈ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ”ｂｙ Ｇ．ｄｅ Ｈａａｎ ｅｔ ａｌ．，ｉｎ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ ｓｙｓｔｅｍｓ ｆｏｒ ｖｉｄｅｏ ｔｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．３，ｎｏ．５，Ｏｃｔｏｂｅｒ １９９３，ｐｐ３６８−３７９に記載されているようなものである。
− 動きベクトルに基づいて画像におけるオクルージョン領域を決定するための検出ユニット。この検出ユニット５０８については、文献“Ｖｉｄｅｏ ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ ｍｕｌｔｉｍｅｄｉａ ｓｙｓｔｅｍｓ”，ｂｙ Ｇ．ｄｅ Ｈａａｎ，Ｕｎｉｖｅｒｓｉｔｙ Ｅｎｄｈｏｖｅｎ，２０００，ＩＳＢＮ ９０−９０１４０１５−８， ｃｈａｐｔｅｒ ４に更に詳細に記載されており、
− 動きベクトルフィールドの一部に基づいて動きモデルを決定するための動きモデル決定ユニット５０５。この動きモデル決定ユニット５０５は図４に関連して述べたようなものである。
− バックグラウンド動きベクトルに基づいて、時間的補間により出力画像１０２の画素値を計算するための補間ユニット５０６。
− 上記のような、画素のためにバックグラウンド動きベクトルを選択するためのセレクタ５０２。このセレクタは：
− 画像の動きベクトルフィールド４００の一部４０２乃至４３６に基づいて決定される動きモデルに基づいて画素に対してモデルベースの動きベクトル

を計算するための動きベクトル計算ユニット５１０；
− 動きベクトルの集合の各々の動きベクトル

及び

とモデルベースの動きベクトル

を比較するための比較ユニット５１１；並びに
− その比較に基づいて動きベクトルの集合の特定の動きベクトルを選択するため及びバックグラウンド動きベクトルとして特定の動きベクトルを割り当てるためのセレクタユニット５１２；
を有する。
動き推定ユニット５０４、検出ユニット５０８、動きモデル決定ユニット５０５、補間ユニット５０６及びセレクタ５０２は、処理器を用いて実行されることが可能である。特に、それらの機能は、ソフトウェアプログラムプロダクトの制御下で実行される。実行中、特に、ソフトウェアプログラムプロダクトは、ＲＡＭのようなメモリにロードされ、それから実行される。そのプログラムは、ＲＯＭ、ハードディスク又は磁気記憶装置及び／又は光記憶装置のようなバックグラウンドメモリからロードされることが可能であり、若しくは、インターネットのようなネットワークによりロードされることが可能である。任意に、特定用途向け集積回路（ＡＳＩＣ）が開示した機能性を備える。

アップコンバージョンユニット５００の作用は次のようである。入力コネクタ５１４において、一連の入力画像１００及び１０４を表す信号を備えている。アップコンバージョンユニット５００は、入力画像１００及び１０４並びに中間的画像を有する、出力コネクタ５１６において一連の出力画像を与えるように備えられている。動き推定ユニット５０４は、入力画像１００及び１０４に基づいて中間的画像のために動きベクトルフィールド４００を計算するように備えられている。入力画像１００及び１０４の画素値５２４に基づいて並びに動きベクトル５２２に基づいて、補間ユニット５０６は、中間的画像102の画素値を計算するように備えられている。原理的には、これは、画素値の双方向フェッチによりなされる。しかしながら、上記のように、これは、オクルージョン領域におけるアーティファクトをもたらす。そのために、本発明に従ったアップコンバージョンユニット５００は、それらのオクルージョン領域のための代替の補間を実行するように備えられている。

アップコンバージョンユニット５００は、画像におけるオクルージョン領域を検出するため及び補間ユニット５０６の制御のための検出ユニット５０８を有する。検出ユニット５０８は、欧州特許第１０４８１７０号明細書に記載されているようなオクルージョンのタイプを分類するように備えられている。その分類は隣接動きベクトルを比較することに基づいている。その分類は次のようである。

ここで、Ｄ_ｌ，ｘは左の動きベクトルのｘ成分であり、Ｄ_ｒ，ｘは比較される右の動きベクトルのｘ成分である。検出ユニット５０８は、動きベクトル５１８の集合をセレクタ５０２に与える。典型的には、この動きベクトルの集合は２つの動きベクトルを有する。セレクタ５０２は、それらの動きベクトルのどれがバックグラウンドの動きに対応し、それらの動きベクトルのどれがフォアグラウンドの動きに対応するかを決定するように備えられている。バックグラウンド動きベクトルに基づいて、補間ユニット５０６は、適切な画像において対応する画素値をフェッチするように備えられている。即ち、
− カバリングの場合に、バックグラウンド動きベクトルが時間ｎ−１に画像において画素値をフェッチするように適用され、
− アンカバリングの場合に、バックグラウンド動きベクトルが時間ｎに画像において画素値をフェッチするように適用され、
任意の付加的画素値は、他の動きベクトルに基づいて前の画像及び後の画像の両方においてフェッチされる。フィルタリング操作、例えば、メジアンのような一次元の静的操作により、中間的画像の結果としての画素値が計算される。

要約すると、ハロー削減は次のようである。ハロー削減はオクルージョン領域を決定することにより開始する。オクルージョン領域においてのみ、アップコンバージョンは、式（３）で規定されるように、“通常の”アップコンバージョン、即ち、動き補償平均化からはずれる。オクルージョン領域においては、動きベクトルは不正確である。それ故、代替の動きベクトル

は、現在の画素に対する動き推定ユニット５０４により推定された動きベクトル

より良好であるか否かが調べられる。それらの2つの動きベクトル、即ち、現在の動きベクトル

及び代替の動きベクトル

が、バックグラウンド動きベクトルを決定するように備えられるセレクタ５０２に与えられる。適切な動きベクトルを用いて、適切な画素値が前の画像又は後の画像からフェッチされる。

図６は、本発明に従った画像処理装置６００の実施形態であって：
− 入力画像を表す信号を受信するための受信手段６０２。信号は、アンテナ又はケーブルにより受信されるブロードキャスト信号であることが可能であり、又は、ＶＣＲ（ビデオカセットレコーダ）又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）のような記憶装置からの信号であることが又、可能である。その信号は、入力コネクタ６０８であって：
− 図５に関連して説明したアップコンバージョンユニット５００；及び
− アップコンバージョンユニット５００の出力画像を表示するための表示装置６０６；
において与えられる。画像処理装置６００は、例えば、テレビジョンであることが可能である。代替として、画像処理装置６００は任意の表示装置６０６を有しないが、表示装置６０６を有する装置に出力画像を与えることができる。それ故、画像処理装置６００は、例えば、セットトップボックス、衛星放送チューナ、ＶＣＲプレーヤ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）プレーヤ又はレコーダであることが可能である。任意に、画像処理装置６００は、ハードディスクのような記憶手段、又は、例えば、光ディスクのような取り外し可能媒体への記憶のための手段を有する。画像処理装置６００は又、映画スタジオ又は放送局により使用されるシステムであることが可能である。

上記の実施形態は本発明を制限するのではなく、例示的であり、そして同時提出の特許請求の範囲における範囲から逸脱することなく、当業者は代替の実施形態をデザインすることができることに留意する必要がある。用語‘を有する’は請求項において列挙されていない要素又は段階を排除するものではない。本発明については、適切にプログラムされたコンピュータにより及び幾つかの別個の要素を有するハードウェアにより実行することができる。幾つかの手段を列挙している装置請求項においては、それらの手段の幾つかを、全く同一のハードウェアのアイテムにより具現化することができる。

動いているボールを有する画像シーケンスを模式的に示す図である。 図１に示す状態の二次元表示を模式的に示す図である。 従来技術の動き推定を用いる双方向マッチングを模式的に示す図である。 従来技術の動き推定を用いる双方向マッチングを模式的に示す図である。 本発明に従って、動きモデルを決定するために動きベクトルフィールドのどの部分が用いられるかを模式的に示す図である。 本発明に従ったアップコンバージョンユニットを模式的に示す図である。 本発明に従った画像処理装置の実施形態を模式的に示す図である。

Claims (10)

1. 画像について計算される動きベクトルの集合から、前記画像のオクルージョン領域における画素に対するバックグラウンド動きベクトルを選択するためのセレクタであって：
   前記画像の動きベクトルフィールドの一部に基づいて決定される動きモデルに基づく画素のためにモデルベースの動きベクトルを計算するための計算手段；
   前記の動きベクトルの集合の各々の動きベクトルと前記のモデルベースの動きベクトルを比較するための比較手段；並びに
   前記比較に基づいて動きベクトルの集合の特定の動きベクトルを選択し、前記バックグラウンド動きベクトルとして特定の動きベクトルを割り当てるための選択手段；
   を有することを特徴とするセレクタ。
2. 請求項１に記載のセレクタであって、前記の動きベクトルフィールドの一部は、前記画像の境界の近接における画素の群を推定される前記動きベクトルを有する、ことを特徴とするセレクタ。
3. 請求項１に記載のセレクタであって、前記計算ユニットは、前記のモデルベースの動きベクトルと前記の動きベクトルの集合のそれぞれの動きベクトルとの間の差分を計算するように備えられ、そして前記選択ユニットは、対応する差分が前記差分の最小差分である場合に前記の特定の動きベクトルを選択するように備えられている、ことを特徴とするセレクタ。
4. 請求項１に記載のセレクタであって、前記動きモデルは平行移動及びズームを有する、
   ことを特徴とするセレクタ。
5. 一連の入力画像に基づいて、出力画像のオクルージョン領域における画素値を計算するためのアップコンバージョンユニットであって：
   前記画像の動きベクトルを予測するための動き推定ユニットであって、前記動きベクトルは動きベクトルフィールドを構成する、動き推定ユニット；
   前記動きベクトルに基づいて、前記画像における前記オクルージョン領域を決定するための検出ユニット；
   前記動きベクトルフィールドの一部に基づいて、動きモデルを決定するための動きモデル決定ユニット；
   バックグラウンド動きベクトルに基づいて、時間的補間により前記画素値を計算するための補間ユニット;並びに
   請求項１に記載の、前記画素のために前記バックグラウンド動きベクトルを選択するためのセレクタ；
   を有することを特徴とするアップコンバージョンユニット。
6. 一連の入力画像に対応する信号を受信するための受信手段；及び
   請求項５に記載の、出力画像のオクルージョン領域における画素値を計算するためのアップコンバージョンユニット；
   を有することを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置であって、前記出力画像を表示するための表示装置を更に有する、ことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置であって、該画像処理装置はテレビジョンである、ことを特徴とする画像処理装置。
9. 画像に対して計算される動きベクトルの集合から、前記画像のオクルージョン領域における画素に対するバックグラウンド動きベクトルを選択する方法であって：
   前記画像の動きベクトルフィールドの一部に基づいて決定される動きモデルに基づく画素のためにモデルベースの動きベクトルを計算する段階；
   前記の動きベクトルの集合の各々の動きベクトルと前記のモデルベースの動きベクトルを比較する段階；並びに
   前記比較に基づいて動きベクトルの集合の特定の動きベクトルを選択し、前記バックグラウンド動きベクトルのような特定の動きベクトルを割り当てる段階；
   を有することを特徴とする方法。
10. 画像のために計算される動きベクトルの集合から、画像のオクルージョン領域における画素に対するバックグラウンド動きベクトルを選択するための命令を有するコンピュータ構成によりロードされるコンピュータプログラムであって、前記コンピュータ構成は、処理手段とメモリとを有し、前記コンピュータプログラムは、ロードされた後に、次のような段階であって：
    前記画像の動きベクトルフィールドの一部に基づいて決定される動きモデルに基づく画素のためにモデルベースの動きベクトルを計算する段階；
    前記の動きベクトルの集合の各々の動きベクトルと前記のモデルベースの動きベクトルを比較する段階；並びに
    前記比較に基づいて動きベクトルの集合の特定の動きベクトルを選択し、前記バックグラウンド動きベクトルのような特定の動きベクトルを割り当てる段階；
    を実行する能力を前記処理手段に与えることを特徴とするコンピュータプログラム。

Images