JP2005509230A - オクルージョン領域を検出するオクルージョン検出器および方法 - Google Patents
オクルージョン領域を検出するオクルージョン検出器および方法 Download PDFInfo
- Publication number
- JP2005509230A JP2005509230A JP2003543324A JP2003543324A JP2005509230A JP 2005509230 A JP2005509230 A JP 2005509230A JP 2003543324 A JP2003543324 A JP 2003543324A JP 2003543324 A JP2003543324 A JP 2003543324A JP 2005509230 A JP2005509230 A JP 2005509230A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- motion vector
- image
- value
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/553—Motion estimation dealing with occlusions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Cable Accessories (AREA)
- Microscoopes, Condenser (AREA)
Abstract
【課題】実質的にピクセル精度である、第一パラグラフに記載されている種類のオクルージョン検出器と、実質的にピクセル精度で検出されたオクルージョン領域となる、第一パラグラフに記載されている種類の、オクルージョン領域を検出する方法と、そのオクルージョン検出器が実質的にピクセル精度である、第一パラグラフに記載されている種類のオクルージョン検出器を有する動き推定器と、そのオクルージョン検出器が実質的にピクセル精度である、第一パラグラフに記載されている種類のオクルージョン検出器を有する動き推定器を有する画像処理装置とを提供すること。
【解決手段】画像(100)におけるオクルージョン領域(108、110)を検出するためのオクルージョン検出器(200、201、203、205、207)は、動きベクトルの組から、少なくとも2つの動きベクトル(118、120)を選択するための動きベクトル・セレクタ(202)を有する。それは、画像(100)の特定のピクセル(112)の特定の値と更なる画像(102)の第2のピクセル(116)の第2の値および第3のピクセル(114)の第3の値との間の第1および第2のピクセル値の差を計算するためのピクセル値コンパレータ(206)を更に有する。オクルージョン検出器(200、201、203、205、207)は、第1および第2のピクセル値の差が、第1の既定のしきい値および第2の既定のしきい値より、それぞれ、大きいか否かをチェックすることによって、特定のピクセル(112)がオクルージョン領域(108、110)の1つに属するか否かを判定するための判断ユニット(204)を更に有する。
【解決手段】画像(100)におけるオクルージョン領域(108、110)を検出するためのオクルージョン検出器(200、201、203、205、207)は、動きベクトルの組から、少なくとも2つの動きベクトル(118、120)を選択するための動きベクトル・セレクタ(202)を有する。それは、画像(100)の特定のピクセル(112)の特定の値と更なる画像(102)の第2のピクセル(116)の第2の値および第3のピクセル(114)の第3の値との間の第1および第2のピクセル値の差を計算するためのピクセル値コンパレータ(206)を更に有する。オクルージョン検出器(200、201、203、205、207)は、第1および第2のピクセル値の差が、第1の既定のしきい値および第2の既定のしきい値より、それぞれ、大きいか否かをチェックすることによって、特定のピクセル(112)がオクルージョン領域(108、110)の1つに属するか否かを判定するための判断ユニット(204)を更に有する。
Description
本発明は、一連の連続画像に属する第1の画像を用いて、動きベクトルの組に基づき、第1の画像のオクルージョン領域を検出するためのオクルージョン検出器に関する。
本発明は、更に、一連の連続画像に属する第1の画像を用いて、動きベクトルの組に基づき、第1の画像のオクルージョン領域を検出する方法に関する。
本発明は、更に、
- 動きベクトルの組を計算するための動きベクトル推定器と、
- 一連の連続画像に属する第1の画像を用いて、動きベクトルの組に基づき、第1の画像のオクルージョン領域を検出するためのオクルージョン検出器と、
- オクルージョン検出器の出力に基づき、特定のピクセルに特定の動きベクトルを割り当てるための動きベクトル割り当てユニットとを有する動き推定器に関する。
- 動きベクトルの組を計算するための動きベクトル推定器と、
- 一連の連続画像に属する第1の画像を用いて、動きベクトルの組に基づき、第1の画像のオクルージョン領域を検出するためのオクルージョン検出器と、
- オクルージョン検出器の出力に基づき、特定のピクセルに特定の動きベクトルを割り当てるための動きベクトル割り当てユニットとを有する動き推定器に関する。
本発明は、更に、
- 表示される第1の画像を表している信号を受信するための受信手段と、
- 一連の連続画像に属する第1の画像を用いて、動きベクトルの組に基づき、第1の画像のオクルージョン領域を検出するためのオクルージョン検出器を有する動き推定器と、
- 動き補償画像処理ユニットとを有する画像処理装置に関する。
- 表示される第1の画像を表している信号を受信するための受信手段と、
- 一連の連続画像に属する第1の画像を用いて、動きベクトルの組に基づき、第1の画像のオクルージョン領域を検出するためのオクルージョン検出器を有する動き推定器と、
- 動き補償画像処理ユニットとを有する画像処理装置に関する。
オクルージョン領域とは、一連の連続画像のある画像内では見えるが、次の画像または前の画像内では見えない、取り込まれつつあるシーンの一部に対応する領域を意味する。これは、背景オブジェクトよりカメラの近くに位置するシーン内の前景オブジェクトが、背景オブジェクトの部分を覆う可能性があるという事実によって生じる。例えば、前景オブジェクトが動く場合、背景オブジェクトのある部分は、隠れ、一方、背景オブジェクトのそれ以外の部分は、覆われない。
オクルージョン領域は、時間的補間の際、アーティファクトの原因となる可能性がある。例えば、アップ・コンバージョン(up-conversion)の場合、オクルージョン領域は、いわゆるハローとなる可能性がある。この場合、アップコンバーターで変換された出力画像を時間的補間によって計算するために、動きベクトルが、推定される。時間的補間のために、全く同一のオブジェクトに関連していることが好ましい多くのピクセルが、連続画像から取り込まれる。これは、オクルージョン領域の場合、関連したピクセルを連続画像において見つけることが出来ないので、直接行うことは出来ない。他の補間戦略が、必要とされる。
第一パラグラフに記載されている種類のオクルージョン検出器の一実施例は、WO0011863により公知である。WO0011863で明記されたオクルージョン検出器は、問題領域、すなわち、ある画像のオクルージョン領域を、その画像に対して計算されている動きベクトル場において検出される輪郭に基づき、識別するように設計される。しかしながら、結果は、非常に粗悪である。第一に、この粗悪さは、前景オブジェクトの輪郭のポジションは、通常、知られるであろうが、ハロー領域の範囲は知られないという事実に起因する。第二に、動きベクトル場が、それ自身、変位する可能性がある。この変位は、存在しないかつ偽りのオクルージョン輪郭が発生し得るほど大きくなる可能性さえある。
本発明の第1の目的は、実質的にピクセル精度である、第一パラグラフに記載されている種類のオクルージョン検出器を提供することである。
本発明の第2の目的は、実質的にピクセル精度で検出されたオクルージョン領域となる、第一パラグラフに記載されている種類の、オクルージョン領域を検出する方法を提供することである。
本発明の第3の目的は、そのオクルージョン検出器が、実質的にピクセル精度である、第一パラグラフに記載されている種類のオクルージョン検出器を有する動き推定器を提供することである。
本発明の第4の目的は、そのオクルージョン検出器が、実質的にピクセル精度である、第一パラグラフに記載されている種類のオクルージョン検出器を有する動き推定器を有する画像処理装置を提供することである。
本発明の第1の目的は、オクルージョン検出器が、
- 第1の動きベクトルと第2の動きベクトルを、前記第1の動きベクトルと前記第2動きベクトルとの間の実質的なベクトル差に基づき、前記動きベクトルの組から選択するための動きベクトル・セレクタと、
-第1のピクセルと前記第1の動きベクトルにより与えられる第2のピクセルとの間の第1の関係を用いて、第2の画像の前記第1のピクセルの第1の値と第3の画像の前記第2のピクセルの第2の値との間の第1のピクセル値の差を計算し、かつ、第3のピクセルと前記第2の動きベクトルにより与えられる第4のピクセルとの間の第2の関係を用いて、前記第2の画像の前記第3のピクセルの第3の値と前記第3の画像の前記第4のピクセルの第4の値との間の第2のピクセル値の差を計算するためのピクセル値コンパレータと、
- 前記 第1のピクセル値の差が第1の既定のしきい値より大きいか否か、かつ、前記第2のピクセル値の差が第2の既定のしきい値より大きいか否かをチェックすることによって、前記第1の動きベクトルと前記第2の動きベクトルとの交点に対応する前記第1の画像の特定のピクセルが前記オクルージョン領域の一つに属するか否かを、判断するための判断ユニットとを有することにより達成される。
- 第1の動きベクトルと第2の動きベクトルを、前記第1の動きベクトルと前記第2動きベクトルとの間の実質的なベクトル差に基づき、前記動きベクトルの組から選択するための動きベクトル・セレクタと、
-第1のピクセルと前記第1の動きベクトルにより与えられる第2のピクセルとの間の第1の関係を用いて、第2の画像の前記第1のピクセルの第1の値と第3の画像の前記第2のピクセルの第2の値との間の第1のピクセル値の差を計算し、かつ、第3のピクセルと前記第2の動きベクトルにより与えられる第4のピクセルとの間の第2の関係を用いて、前記第2の画像の前記第3のピクセルの第3の値と前記第3の画像の前記第4のピクセルの第4の値との間の第2のピクセル値の差を計算するためのピクセル値コンパレータと、
- 前記 第1のピクセル値の差が第1の既定のしきい値より大きいか否か、かつ、前記第2のピクセル値の差が第2の既定のしきい値より大きいか否かをチェックすることによって、前記第1の動きベクトルと前記第2の動きベクトルとの交点に対応する前記第1の画像の特定のピクセルが前記オクルージョン領域の一つに属するか否かを、判断するための判断ユニットとを有することにより達成される。
動き推定の分野において、一致基準は、非常に頻繁に、逐次的画像の対応するピクセルの値の間の差を最小にすることに基づく。対応するピクセル間の関係は、動きベクトルにより与えられる。差を計算するために、ある画像のピクセルのグループは、更なる画像のピクセルのグループと比較される。ピクセルの値の間の差を最小にする代わりに、本発明によるオクルージョン検出器は、ピクセル値の間の差が、既定のしきい値より大きいか否か、すなわち、第1のピクセル値の差が第1の既定のしきい値より大きいか否か、かつ、第2のピクセル値の差が第2の既定のしきい値より大きいか否かを判断する。その領域が隠されている、すなわち、覆われている画像のピクセルのグループを、その領域が覆われていない別の画像のピクセルのグループと比較することによって、オクルージョン領域に対して、正しい動きベクトルを、直接計算することは、不可能である。言い換えると、それが他の画像において見えない場合、その画像において見える何かとマッチングをとること、およびその逆も、不可能である。それ故に、部分的または実質的にオクルージョン領域に対応している、ピクセルのグループに対して推定された動きベクトルが誤っている確率は、高い。本発明によるオクルージョン検出器は、１つの特定のピクセルのために少なくとも2つの推定された関連する動きベクトルをチェックするように設計されている。チェックすることは、ピクセル値の差を既定のしきい値と比較することを意味する。この差がしきい値より大きい場合、動きベクトルは、その特定のピクセルに対して不正確であるとみなされ、その特定のピクセルは、あるオクルージョン領域の一部であると分類される。第1の既定のしきい値と第2の既定のしきい値は、互いに等しくさせることが出来る。
本発明によるオクルージョン検出器を用いると、計算された画像のオクルージョン領域を検出すること、またはカメラによって得られる画像に基づき時間的補間によって計算される画像のオクルージョン領域を検出することが、可能となる。例えば、第2の画像が、最初に得られ、その後、第3の画像が続く。第1の画像は、第2と第3の画像の時間的補間によって計算されなければならない。しかしながら、本発明によるオクルージョン検出器を用いると、カメラによって得られた画像内のオクルージョン領域を検出することも、さらに可能である。その場合、第1および第2の画像は、全く同一の画像であり、かつその特定のピクセルは、第1のピクセルおよび第3のピクセルに対応する。以下、本例は、本発明によるオクルージョン検出器の働きを説明するために使用されるであろう。
本発明によるオクルージョン検出器の働きは、監視アプリケーションの簡単な具体例によって示すことが可能である。ある画像は、部屋の中の第1の位置に人がいる部屋を示し、次の画像は、第2の位置に同じ人がいる同じ部屋を示すと仮定しよう。2つの画像を取り込んだカメラは移動せず、ズームはこの2つの画像を取り込む期間で調整されなかった。この場合、適用可能な2つの動きベクトルのみが存在する、すなわち、動きベクトルの組は、2つの動きベクトルのみ、部屋のピクセルに関連した背景の動きベクトルと人のピクセルに関連した前景の動きベクトルを有すると仮定することは、合理的である。しかしながら、オクルージョン領域に位置するピクセルに関して、これらの動きベクトルのいずれも、正しくない。ピクセル値の差は、相対的に大きいであろう。
上記の具体例において、2つの動きベクトルのみが存在すると仮定される。しかしながら、例えば、ノイズのため、複数の前景の動きベクトルが動きベクトルの組にあると仮定しよう。この場合、第1および第２の動きベクトルは、ベクトル差、すなわち、この組の動きベクトル間の長さおよび方向の差を比較することによって選択されなければならない。これらの差は、第1および第2の動きベクトルを選択するために、相対的に大きいことが、好ましい。一方、1つのオブジェクト、例えば、具体例における人に対応する2つの動きベクトルを、選択することが出来る。第1の動きベクトルは、背景の前面に位置するオブジェクトに対応し、かつ、第2の動きベクトルは、背景に対応すること、または、その逆が好ましい。
本発明のオクルージョン検出器の主要な利点は、それがアップ・コンバージョンにおけるピクセル精度のハロー低減を可能にするということである。しかしながら、画像強調をコントロールするためにオクルージョン領域を検出することは、さらに興味深い。例えば、オクルージョンが検出される領域の画像強調のレベルを減らすためにである。
本発明によるオクルージョン検出器の一実施例の場合、前記動きベクトル・セレクタが、前記特定のピクセルおよび前記第1の動きベクトルが対応するピクセルの特定のグループに属する別なピクセルとの間の距離に基づき、前記第1の動きベクトルを選択するように設計されている。1つのグループのピクセルは、ピクセルブロックを構成することが出来る、または、それらは、任意の形成されたオブジェクトに対応することが出来る。部屋と人とを伴う上記の具体例において、動きベクトルの組は、2つの要素を有する、すなわち、2つの動きベクトルを有する。しかしながら、動きベクトルの組が2つより多い動きベクトルを備える場合、第1および第2の動きベクトルを選択するための基準を備えることは、重要である。特定のピクセルと別のピクセルとの間の空間的距離は、この種の基準である。特定のピクセルと別のピクセルとの間の相対的に小さい空間距離は、別のピクセルが属するピクセルの特定のグループに対応する動きベクトルが関連することを意味する。動きベクトルは、特定のピクセルが属するピクセルのグループの近傍である、ピクセルのグループから選択されることが好ましい。さらに、特定のピクセルが属するピクセルのグループの動きベクトルも、選択のための良好な一つの候補である。
本発明によるオクルージョン検出器の一実施例の場合、前記動きベクトル・セレクタが、前記動きベクトルの組の動きベクトルに関する出現の頻度を判断し、かつ前記出現の前記頻度に基づき前記第1の動きベクトルを選択するように設計されている。第1の動きベクトルと第2の動きベクトルを選択するための一つの基準は、出現の頻度である。ある画像のピクセルの相対的に多くのグループに対して、動きベクトルが、特定の値、すなわち長さと方向によって推定された場合、この種の動きベクトルが関連し、かつ選択されるべきであるという確率は、相対的に高い。ある画像の動きベクトルのあるヒストグラム、またはその画像のある部分の動きベクトルのあるヒストグラムを求めることは、可能である。後者の場合、画像のその部分が特定のピクセルの近くに位置することが好ましい。
本発明によるオクルージョン検出器の一実施例の場合、前記ピクセル値コンパレータは、前記第1の値と前記第2の値との間で絶対差を計算するように設計されている。例えば、二乗の差を計算することも、可能である。絶対差を計算することの利点は、それが相対的に扱いやすい計算であるということである。
本発明によるオクルージョン検出器の一実施例の場合、前記動きベクトル・セレクタが、前記第1の画像および前記第3の画像のピクセルのそれぞれのグループに対して推定される動きベクトルを有する前記組を用いて、前記動きベクトルの組から前記第1の動きベクトルを選択するように設計されている。動きベクトルの組は、第1の画像のピクセルのグループに対して推定された動きベクトルを有することが可能である。しかしながら、動きベクトルの組は、さらに他の画像、例えば第3の画像の、ピクセルのグループに対して推定される動きベクトルを有することも可能である。
本発明によるオクルージョン検出器の一実施例の場合、前記オクルージョン検出器が、前記第1の既定のしきい値を判断するために、測定ユニットを有する。この実施例の利点は、オクルージョンの検出が画像内容に合うよう調整することが出来ることである。
オクルージョン検出器の修正とそれの変更は、ここで記載される動き推定器、オクルージョン領域を検出する方法、並びに画像処理装置の修正および変更に対応するであろう。画像処理装置は、更なるコンポーネント、例えば、処理された画像を表示するための表示デバイスを有することも出来る。動き補償画像処理ユニットは、以下のタイプの画像処理の一つ以上をサポートすることが出来る。
- デインタレーシング(de-interlacing)
インタレースは、奇数と偶数の番号をつけられた画像ラインを交替に送信するための一般のビデオ放送手続きである。デインタレーシングは、全垂直解像度を回復することを試みる、すなわち、奇数と偶数のラインを各画像に対して同時に利用可能にする。
インタレースは、奇数と偶数の番号をつけられた画像ラインを交替に送信するための一般のビデオ放送手続きである。デインタレーシングは、全垂直解像度を回復することを試みる、すなわち、奇数と偶数のラインを各画像に対して同時に利用可能にする。
- アップ・コンバージョン
一連のオリジナルの入力画像から、より大きな一連の出力画像が、計算される。出力画像は、2つのオリジナルの入力画像の間に時間的に位置する。
一連のオリジナルの入力画像から、より大きな一連の出力画像が、計算される。出力画像は、2つのオリジナルの入力画像の間に時間的に位置する。
- 時間的雑音除去
これは、更に、空間処理も含むことが出来、空間的と時間的の雑音を除去する。
これは、更に、空間処理も含むことが出来、空間的と時間的の雑音を除去する。
高品質の動きベクトルとオクルージョン検出は、さらに画像圧縮の分野においても重要である。それ故、オクルージョン領域を検出することは、さらに画像圧縮アプリケーションにも関連する。
本発明のオクルージョン検出器、動き推定器、オクルージョン領域を検出する方法および画像表示装置の上記および上記以外の観点は、以下に記載する実施態様と実施例に関して、および添付の図面を参照して明らかになり、かつ解明されるであろう。
一致している参照符号は、図の全てにおいて同じ意味を持つ。
図1Aは、本発明のオクルージョン検出器200の働きを線図的に示すために、オクルージョン領域108、110を備えた2つの画像100、102を示す。画像100は、部屋の中の第1の位置に人104がいる部屋を示し、他の画像102は、第2の位置に同じ人104がいる同じ部屋を示す。2つの画像100、102を取り込んだカメラは移動せず、ズームは調整されなかった。適用可能な2つの動きベクトル118、120のみがある、すなわち、動きベクトルの組は、2つの動きベクトルのみ、部屋のピクセルに関連した背景の動きベクトル120と人104のピクセルに関連した前景の動きベクトル118を有する。背景の動きベクトル120を計算するために、ピクセルのグループ122が、使用される。表された矢印の長さは、ゼロに等しい背景の動きベクトル120の長さと関係ないことに留意されたい。オクルージョン領域108、110に位置するピクセルに関して、これらの動きベクトル118、120のいずれも正しくない。このことは、以下のテストが実行されたあと、断定される。最初に、ピクセル111の輝度値とピクセル114の輝度値との間の差が、第1の既定のしきい値と比較される。適用された動きベクトルがゼロに等しい背景の動きベクトル120であるので、ピクセル111と114のピクセル座標は、互いに等しい。輝度差が第1の既定のしきい値より大きい確率が、高い（ピクセル111は、部屋に属し、ピクセル114は、人104に属する）。次に、ピクセル111の輝度値とピクセル116の輝度値との間の差が、第2の既定のしきい値と比較される。ピクセル111と114のピクセル座標は、異なり、適用された動きベクトルは、前景の動きベクトル118であり、それは人の第１および第２の位置の間の空間的距離に関係する。この輝度差が、第２の既定のしきい値より大きい確率が、高い（ピクセル111は、部屋に属し、ピクセル116は、部屋の別の一部に属する）。これらの比較に基づき、ピクセル111がオクルージョン領域に位置すると考えられる。第1の既定のしきい値と第2に既定のしきい値は、互いに等しくすることが出来る。
図1Bは、図1Aより示される動きベクトル118、120と、ピクセル111、114および116との間の1次元での関係を示す。図1Cは、3つの画像100、101、102、すなわち、2つの取り込まれた画像100、102と、補間された画像101の場合、動きベクトル118、120と、ピクセル112〜116との間の1次元の関係を示す。図1Bを図1Cと比較するときに、図1Aと関連して記載されている具体例が特例であることは明らかになる。第1の画像101と第2の画像100は、全く同一である。ピクセル111、113および115も、全く同一のピクセルである。図2Aにおいて、さらにこの種の場合に対しても機能するオクルージョン検出器200が記載されている。
図1Cにおいて、次の画像からのピクセル間の関係が、線図的に示されている。それは、アップ・コンバージョンの場合と一致する。補間された画像101は、少なくとも2つのオリジナルの画像100、102に基づき、時間的補間によって計算されている。本発明によるオクルージョン検出器200は、補間されたこの種の画像101のピクセルに対して、それらがオクルージョン領域に位置するか否かを判断するように設計される。オクルージョン検出器200は、
- 第1の動きベクトル118と第2動きベクトル120との間の実質的なベクトル差に基づき、動きベクトルの組から、第1の動きベクトル118と第2の動きベクトル120を選択するための動きベクトル・セレクタ202と、
- 第1のピクセル115から第2のピクセル116までの第1の動きベクトル118を用いて、第1のオリジナルの画像100の第1のピクセル115の第1の値と第２のオリジナルの画像102の第2のピクセル116の第2の値との間の第1のピクセル値の差を計算し、かつ、第3のピクセル113から第4のピクセル114までの第2の動きベクトル120を用いて、第1のオリジナルの画像100の第3のピクセル113の第3の値と第2のオリジナルの画像102の第4のピクセル114の第4の値との間の第2のピクセル値の差を計算するためのピクセル値コンパレータ206と、
- 第1のピクセル値の差が、第1の既定のしきい値より大きいか否か、かつ、第2のピクセル値の差が第2の既定のしきい値より大きいか否かをチェックすることにより、第1の動きベクトル118と第2の動きベクトル120との交点に対応する補間された画像101の特定のピクセル112がオクルージョン領域の一つに属するか否かを、判断するための判断ユニット204とを有する。ピクセル112〜116間の関係は、第1の動きベクトル118と第2の動きベクトル120により与えられる。第1のオリジナルの画像100と補間された画像101との間の時間差T１と第2にオリジナルの画像102と補間された画像101との間の時間差T2は、極めて重要である。例えば、第1の動きベクトル118は、第1のオリジナルの画像100の画素と第２のオリジナルの画像102との間の垂直のオフ組Vy(T１+T2)および水平のオフ組V x (T１+T2)、即ち、時間T１+T2の間の動きを示す。T１=T2と仮定する。すると、第1のオリジナルの画像100の画素と補間された画像101との間の垂直のオフ組V y (T１)および水平のオフ組V x (T１)を、容易に計算することが出来る。V y (T１)=V y (T１+T2)/2 ; V x (T１)=V x (T１+T2)/2 。T１とT2の他の値に対して、同様の計算を、実行することが出来る。それ故、ある画像におけるピクセル座標が与えられると、別の画像における別のピクセルの座標を、動きベクトルと時間差によって計算することが出来る。これは、動きベクトルを直接に適用することによって、または部分的なオフ組を計算することにより、可能となる。例えば、
- 第1のピクセル115から第2のピクセル116までの第1の動きベクトル118を用いて、第1のオリジナルの画像100の第1のピクセル115の第1の値と第２のオリジナルの画像102の第2のピクセル116の第2の値との間の第1のピクセル値の差を計算し、かつ、第3のピクセル113から第4のピクセル114までの第2の動きベクトル120を用いて、第1のオリジナルの画像100の第3のピクセル113の第3の値と第2のオリジナルの画像102の第4のピクセル114の第4の値との間の第2のピクセル値の差を計算するためのピクセル値コンパレータ206と、
- 第1のピクセル値の差が、第1の既定のしきい値より大きいか否か、かつ、第2のピクセル値の差が第2の既定のしきい値より大きいか否かをチェックすることにより、第1の動きベクトル118と第2の動きベクトル120との交点に対応する補間された画像101の特定のピクセル112がオクルージョン領域の一つに属するか否かを、判断するための判断ユニット204とを有する。ピクセル112〜116間の関係は、第1の動きベクトル118と第2の動きベクトル120により与えられる。第1のオリジナルの画像100と補間された画像101との間の時間差T１と第2にオリジナルの画像102と補間された画像101との間の時間差T2は、極めて重要である。例えば、第1の動きベクトル118は、第1のオリジナルの画像100の画素と第２のオリジナルの画像102との間の垂直のオフ組Vy(T１+T2)および水平のオフ組V x (T１+T2)、即ち、時間T１+T2の間の動きを示す。T１=T2と仮定する。すると、第1のオリジナルの画像100の画素と補間された画像101との間の垂直のオフ組V y (T１)および水平のオフ組V x (T１)を、容易に計算することが出来る。V y (T１)=V y (T１+T2)/2 ; V x (T１)=V x (T１+T2)/2 。T１とT2の他の値に対して、同様の計算を、実行することが出来る。それ故、ある画像におけるピクセル座標が与えられると、別の画像における別のピクセルの座標を、動きベクトルと時間差によって計算することが出来る。これは、動きベクトルを直接に適用することによって、または部分的なオフ組を計算することにより、可能となる。例えば、
- 第1のオリジナルの画像100のピクセル115に動きベクトル118を適用することによって、第２のオリジナルの画像102のピクセル116を、直接、見い出すことが出来;
- 第２のオリジナルの画像102のピクセル116に動きベクトル118の逆を適用することにより、第1のオリジナルの画像100のピクセル115を、直接、見い出すことが出来;
- 補間された画像101のピクセル112が与えられた場合、動きベクトル118と時間差T１、T2とに基づき部分的なオフ組を計算することになり、第1のオリジナルの画像100のピクセル115を、計算することが出来;
- 補間された画像101のピクセル112が与えられた場合、動きベクトル118と時間差T１、T2とに基づき部分的なオフ組を計算することによって、第2のオリジナルの画像102のピクセル116を、計算することが出来る;
動きベクトルは、ピクセルから始まり、そのピクセルで終了、または、交差する。2つの動きベクトルが、１つのピクセルから始まる、または１つのピクセルで終了する場合、これは、交点として理解することも出来る。適切なピクセルの座標が計算された場合、対応しているピクセル値は、第1のピクセル値の差と第2のピクセル値の差を計算するためにフェッチすることが出来る。次に、これらの差は、既定のしきい値と比較される。
- 第２のオリジナルの画像102のピクセル116に動きベクトル118の逆を適用することにより、第1のオリジナルの画像100のピクセル115を、直接、見い出すことが出来;
- 補間された画像101のピクセル112が与えられた場合、動きベクトル118と時間差T１、T2とに基づき部分的なオフ組を計算することになり、第1のオリジナルの画像100のピクセル115を、計算することが出来;
- 補間された画像101のピクセル112が与えられた場合、動きベクトル118と時間差T１、T2とに基づき部分的なオフ組を計算することによって、第2のオリジナルの画像102のピクセル116を、計算することが出来る;
動きベクトルは、ピクセルから始まり、そのピクセルで終了、または、交差する。2つの動きベクトルが、１つのピクセルから始まる、または１つのピクセルで終了する場合、これは、交点として理解することも出来る。適切なピクセルの座標が計算された場合、対応しているピクセル値は、第1のピクセル値の差と第2のピクセル値の差を計算するためにフェッチすることが出来る。次に、これらの差は、既定のしきい値と比較される。
図2Aは、
- 第1の動きベクトル118と第2の動きベクトル120を、第1の動きベクトル118と第2動きベクトル120との間の実質的なベクトル差に基づき、動きベクトルの組から選択するための動きベクトル・セレクタ202と、
- 特定のピクセル111と第1の動きベクトル118により与えられる第2のピクセル116との間の第1の関係を用いて、 画像100の特定のピクセル111の特定の値と別の画像102の第2のピクセル116の第2の値との間の第1のピクセル値の差を計算し、かつ、特定のピクセル111と第2の動きベクトル120により与えられる第3のピクセル114との間の第2の関係を用いて、特定の値と他の画像102の第3のピクセル114の第3の値との間の第2のピクセル値の差を計算するためのピクセル値コンパレータ206と、
- 第1のピクセル値の差が第1の既定のしきい値より大きいか否か、かつ、第2のピクセル値の差が第２の既定のしきい値より大きいか否かをチェックすることによって、特定のピクセル111がオクルージョン領域108、110の1つに属するか否かを判断するための判断ユニット204とを有するオクルージョン検出器200の一実施例を線図的に示す。画像、例えば、100、102は、第1の入力コネクタ210で提供される。動きベクトル、例えば118、120は、動き推定器（図3を参照）によって、第2の入力コネクタ208で提供される。画像100の各ピクセルに対し、それがオクルージョン領域、例えば108に属するか否か、または、それがこの種のオクルージョン領域に属していないか否かを示すバイナリマスクが、オクルージョン検出器によって、出力コネクタ212に設けられる。オクルージョン検出器200の働きは、図1Aと関連して記載された通りである。
- 第1の動きベクトル118と第2の動きベクトル120を、第1の動きベクトル118と第2動きベクトル120との間の実質的なベクトル差に基づき、動きベクトルの組から選択するための動きベクトル・セレクタ202と、
- 特定のピクセル111と第1の動きベクトル118により与えられる第2のピクセル116との間の第1の関係を用いて、 画像100の特定のピクセル111の特定の値と別の画像102の第2のピクセル116の第2の値との間の第1のピクセル値の差を計算し、かつ、特定のピクセル111と第2の動きベクトル120により与えられる第3のピクセル114との間の第2の関係を用いて、特定の値と他の画像102の第3のピクセル114の第3の値との間の第2のピクセル値の差を計算するためのピクセル値コンパレータ206と、
- 第1のピクセル値の差が第1の既定のしきい値より大きいか否か、かつ、第2のピクセル値の差が第２の既定のしきい値より大きいか否かをチェックすることによって、特定のピクセル111がオクルージョン領域108、110の1つに属するか否かを判断するための判断ユニット204とを有するオクルージョン検出器200の一実施例を線図的に示す。画像、例えば、100、102は、第1の入力コネクタ210で提供される。動きベクトル、例えば118、120は、動き推定器（図3を参照）によって、第2の入力コネクタ208で提供される。画像100の各ピクセルに対し、それがオクルージョン領域、例えば108に属するか否か、または、それがこの種のオクルージョン領域に属していないか否かを示すバイナリマスクが、オクルージョン検出器によって、出力コネクタ212に設けられる。オクルージョン検出器200の働きは、図1Aと関連して記載された通りである。
図2Bは、ピクセル間の距離を計算するための手段214を有するオクルージョン検出器201の実施例を線図的に示す。動きベクトル・セレクタ202は、特定のピクセル111、112と第1の動きベクトル118が対応するピクセルの特定のグループ123に属する別のピクセル117との間の距離に基づき、第1の動きベクトル118を選択するように設計されている。第2の動きベクトル120の選択は、同様の基準に基づき行われる。動きベクトルの提供された組が、いくつかの動きベクトルを備える場合、第1の動きベクトル118と第2の動きベクトル120の選択のための基準を有することは、重要である。特定のピクセル111、112と別のピクセル117との間の空間的距離は、この種の基準である。特定のピクセル111、112と別のピクセル117との間の相対的に小さい空間的距離は、ピクセルの特定のグループ123と対応する動きベクトル118が関連していることを意味する。多くの動き推定器、例えば、300は、ブロック・ベースである。つまり、画像100は、例えば、8×8ピクセルの多数のブロックに分けられる。これらのブロックの各々に対して、それぞれの動きベクトルが、推定される。ブロックベースの動き推定器がオクルージョン検出器201に動き推定器の組を提供する場合には、第1の動きベクトル118および／または第2の動きベクトル120は、特定のピクセル111、112が属するブロックの近傍であるブロックから選択される。特定のピクセル111、112が属するブロックの動きベクトルも、また選択される確率が、極めて高い。
図2Cは、動きベクトル、例えば、118、120の出現の頻度を計算するための手段216を有するオクルージョン検出器203の一実施例を線図的に示す。オクルージョン検出器203は、動きベクトルの組の動きベクトルに対する出現の頻度を判断し、かつ、出現の頻度に基づき第1の動きベクトル118を選択するように設計される。さらに、第2の動きベクトル120も、同様の基準に基づき選択される。出現の頻度を計算するための手段216は、第1の方向、例えば、水平方向の並進運動に対応する一方の次元と第1の方向に交差する第2の方向の並進運動に対応する他方の次元を用いて、二次元での動きベクトル・ヒストグラムを計算する。二次元での動きベクトル・ヒストグラムの第1の極大は、第1の動きベクトル118に対応し、かつ、二次元での動きベクトル・ヒストグラムの第2の極大は、第2の動きベクトル120に対応する。ピクセル間の距離を計算するための手段214は、オプションであるが、ピクセルのグループに対応するピクセル間の距離は、考慮されることが好ましい。二次元の動きベクトル・ヒストグラムが、2つより多い極大値を有する場合、これは、特に重要である。ある極大と対応する動きベクトルが、選択されるのではなく、ある極大と対応する動きベクトルの値に近い値を有する動きベクトルが、選択されることも、また、可能である。
図2Dは、第1の既定のしきい値を判断するために測定ユニット218を有するオクルージョン検出器205の一実施例を線図的に示す。第1の既定のしきい値と第２の既定のしきい値は、オクルージョン検出器218の感度に影響を及ぼす。第２の入力コネクタ208で提供される動きベクトルは、ピクセルの輝度値に基づき計算され、かつ、輝度値の範囲は、0と255の間であると仮定する。すると、第1の既定のしきい値も、0〜255の範囲にある。第1の既定のしきい値が、相対的に小さい場合には、オクルージョン領域108、110に位置しないピクセルが、オクルージョン領域108、110に位置するとして、誤って分類される確率が、高い。一方、第1の既定のしきい値が、相対的に大きい場合には、オクルージョン領域に位置しないピクセルが、オクルージョン領域に位置するものとして、誤って分類されない確率が、高い。例えば、ノイズまたはコントラストのレベル、または画像100の周波数特性を測定することによって、第1の既定のしきい値の適切な値を、得ることが出来る。同様に、第２の既定のしきい値の適切な値を、得ることが出来る。測定は、オクルージョン領域108、110が検出されなければならない画像100に基づくことが出来る。他の画像、例えば、102に関して、これらの測定を実行することも、さらに可能である。ピクセル値の標準偏差、または高速フーリエ変換を計算することは、第１および第２の既定のしきい値を提供するために適用することも出来る。出現の頻度を計算するための手段216とピクセル間の距離を計算するための手段214は、オプションである。
図2Eは、ギャップ-クローズ・フィルタ220を有するオクルージョン検出器207の一実施例を線図的に示す。判断ユニット204の出力は、画像100の各ピクセルに対して、それがオクルージョン領域、例えば、108に属するか否か、または、それがこの種のオクルージョン領域に属していないか否かを示すバイナリマスクである。マスクされるこの２値は、ギャップ-クローズ・フィルタ220により後処理される。ギャップ-クローズ・フィルタ220は、次のように機能する。オクルージョン領域に属するピクセルは、1と評価され、オクルージョン領域に属していないピクセルは、0と評価される。1と評価されたピクセルは、ギャップ-クローズ・フィルタ220によって保留される。高さHと幅Ｗの寸法を有する関心領域において、「0と評価された」ピクセルの右側および左側に値1を有する少なくともPピクセルがある場合、ギャップ-クローズ・フィルタ220は、「0と評価された」ピクセルを「1」に変更する。
図3は、
- 画像、例えば、100のピクセルのそれぞれのグループに対して、動きベクトルの組を計算するための動きベクトル推定器302と、
- 動きベクトルの組に基づき画像100のオクルージョン領域を検出するためのオクルージョン検出器314と、
- オクルージョン検出器200、201、203、205、207の出力に基づき特定のピクセル111、112に特定の動きベクトルを割り当てるための動きベクトル割り当てユニット304とを有する本発明による動き推定器300の一実施例を線図的に示す。動きベクトル推定器302は、例えば、論文「三次元帰納的検索ブロック・マッチングを備えた真の動き推定(True-Motion Estimation with 3-D Recursive Search Block Matching)」(by G. de Haan et. al.)( IEEE Transactions on circuits and systems for video technology, vol.3, no.5, October 1993, pages 368-379)に記載されているように、機能する。他の動き推定器も、可能である。オクルージョン検出器314は、それぞれ、図2A、2B、2C、2D、2Eと関連して記載したように、機能する。動きベクトル割り当てユニット304は、例えば、出願番号EP 0104647（社内整理番号PHNL010095EPP）の下で出願された国際特許出願のドキュメントまたは、論文「適応背景の推定のための新しいプログラム用算法言語」（by D. Gao, J. Zhou and L. Xin）( Proceedings ICIP 2001 pp. 395-398)に記載されている様な、前景／背景の検出器を有する。動きベクトル割り当てユニット304は、オクルージョン領域108、110の一部であるとして分類されたピクセル対して、それらが次の画像102において覆われるであろう領域108に位置するか否か、または、それらが次の画像102において覆われないであろう領域110に位置するか否かを判断する。これは、それぞれ、背景または前景に属することと対応する。この後者のタイプの分類に従い、動きベクトル割り当てユニット304は、オクルージョン領域108、110の一部であるとして分類されたピクセルに、動きベクトルを割り当てる。これは、例えば第1の動きベクトル118、または第2の動きベクトル120に可能である。第1の動きベクトル118と第2の動きベクトル120は、不正確であると判断されたにもかかわらず、それらは更なる処理のために適切である可能性があることに留意されたい。それらは、実際の物理的なイベント、すなわち、何か他のものによって置き換えられる何かを表現しないので、それらは不正確である。動きベクトルは、全く同一のオブジェクトの動きの表現である。例えばアップ・コンバージョンの場合、これらの動きベクトルの1つを適用することによって、実質的に正しい時間調整された(re-timed)ピクセルを、計算することが出来るので、第1の動きベクトル118または第2の動きベクトル120は、適切となり得る。
- 画像、例えば、100のピクセルのそれぞれのグループに対して、動きベクトルの組を計算するための動きベクトル推定器302と、
- 動きベクトルの組に基づき画像100のオクルージョン領域を検出するためのオクルージョン検出器314と、
- オクルージョン検出器200、201、203、205、207の出力に基づき特定のピクセル111、112に特定の動きベクトルを割り当てるための動きベクトル割り当てユニット304とを有する本発明による動き推定器300の一実施例を線図的に示す。動きベクトル推定器302は、例えば、論文「三次元帰納的検索ブロック・マッチングを備えた真の動き推定(True-Motion Estimation with 3-D Recursive Search Block Matching)」(by G. de Haan et. al.)( IEEE Transactions on circuits and systems for video technology, vol.3, no.5, October 1993, pages 368-379)に記載されているように、機能する。他の動き推定器も、可能である。オクルージョン検出器314は、それぞれ、図2A、2B、2C、2D、2Eと関連して記載したように、機能する。動きベクトル割り当てユニット304は、例えば、出願番号EP 0104647（社内整理番号PHNL010095EPP）の下で出願された国際特許出願のドキュメントまたは、論文「適応背景の推定のための新しいプログラム用算法言語」（by D. Gao, J. Zhou and L. Xin）( Proceedings ICIP 2001 pp. 395-398)に記載されている様な、前景／背景の検出器を有する。動きベクトル割り当てユニット304は、オクルージョン領域108、110の一部であるとして分類されたピクセル対して、それらが次の画像102において覆われるであろう領域108に位置するか否か、または、それらが次の画像102において覆われないであろう領域110に位置するか否かを判断する。これは、それぞれ、背景または前景に属することと対応する。この後者のタイプの分類に従い、動きベクトル割り当てユニット304は、オクルージョン領域108、110の一部であるとして分類されたピクセルに、動きベクトルを割り当てる。これは、例えば第1の動きベクトル118、または第2の動きベクトル120に可能である。第1の動きベクトル118と第2の動きベクトル120は、不正確であると判断されたにもかかわらず、それらは更なる処理のために適切である可能性があることに留意されたい。それらは、実際の物理的なイベント、すなわち、何か他のものによって置き換えられる何かを表現しないので、それらは不正確である。動きベクトルは、全く同一のオブジェクトの動きの表現である。例えばアップ・コンバージョンの場合、これらの動きベクトルの1つを適用することによって、実質的に正しい時間調整された(re-timed)ピクセルを、計算することが出来るので、第1の動きベクトル118または第2の動きベクトル120は、適切となり得る。
図4は、
- ある処理が実行された後で表示される画像を表現している信号を受信するための受信手段401と、
- 図3と関連して記載された動き推定器ユニット300と、
- 動き補償画像処理ユニット403と、
- 処理された画像を表示するための表示デバイス405とを有する画像処理装置400の要素を線図的に示す。この信号は、アンテナまたはケーブルを経て受信される放送信号であるかもしれないが、しかし、VCR(Video Cassette Recorder)またはDVD(Digital Versatile Disk)のような記憶デバイスからの信号であるかもしれない。この信号は、入力コネクタ407で提供される。この表示デバイスは、オプションである。動き補償画像処理ユニット403は、その入力として画像および動きベクトルを必要とする。
- ある処理が実行された後で表示される画像を表現している信号を受信するための受信手段401と、
- 図3と関連して記載された動き推定器ユニット300と、
- 動き補償画像処理ユニット403と、
- 処理された画像を表示するための表示デバイス405とを有する画像処理装置400の要素を線図的に示す。この信号は、アンテナまたはケーブルを経て受信される放送信号であるかもしれないが、しかし、VCR(Video Cassette Recorder)またはDVD(Digital Versatile Disk)のような記憶デバイスからの信号であるかもしれない。この信号は、入力コネクタ407で提供される。この表示デバイスは、オプションである。動き補償画像処理ユニット403は、その入力として画像および動きベクトルを必要とする。
上述の実施例は、本発明を制限するのではなく例示し、かつ、当業者は、添付した請求項の範囲から逸脱することなく代替の実施例を設計することが可能であろうことに留意する必要がある。請求項において、請求項を制限するように、括弧の間で配置される任意の参照符号は作成されない。単語「有する(comprising)」は、請求項に記載されない要素またはステップの存在を除外しない。要素に先行する単語「a」または「an」の使用は、複数のこのような要素の存在を除外しない。本発明は、異なったいくつかの要素を有するハードウエアによって、および適切なプログラムされたコンピュータによって、実施することが出来る。いくつかの手段を列挙しているユニット請求項において、これらの手段のいくつかは、ハードウエアの全く同一のアイテムによって具体化することが出来る。一部の機能がいくつかの手段にわたって分散されることも、さらに可能である。例えば、１つに代わりに2つのピクセル値コンパレータとすることが可能である。
100、102 画像
104 人
108、110 オクルージョン領域
111、114、116 ピクセル
118、120 動きベクトル
122、123 ピクセルのグループ
200、201、203、205、207 オクリルージョン検出器
20２ 動きベクトル・セレクタ
判断ユニット
206 ピクセル値コンパレータ
300 動き推定器
302 動きベクトル推定器
400 画像処理装置
403 動き補償画像処理ユニット
104 人
108、110 オクルージョン領域
111、114、116 ピクセル
118、120 動きベクトル
122、123 ピクセルのグループ
200、201、203、205、207 オクリルージョン検出器
20２ 動きベクトル・セレクタ
判断ユニット
206 ピクセル値コンパレータ
300 動き推定器
302 動きベクトル推定器
400 画像処理装置
403 動き補償画像処理ユニット
Claims (9)
- 一連の連続画像に属する第1の画像を用いて、動きベクトルの組に基づき、前記第1の画像のオクルージョン領域を検出するためのオクルージョン検出器において、前記オクルージョン検出器が、
- 第1の動きベクトルと第2の動きベクトルを、前記第1の動きベクトルと前記第2の動きベクトルとの間の実質的なベクトル差に基づき、前記動きベクトルの組から選択するための動きベクトル・セレクタと、
- 第1のピクセルと前記第1の動きベクトルにより与えられる第2のピクセルとの間の第1の関係を用いて、第2の画像の前記第1のピクセルの第1の値と第3の画像の前記第2のピクセルの第2の値との間の第1のピクセル値の差を計算し、かつ、第3のピクセル(113)と前記第2の動きベクトルにより与えられる第4のピクセルとの間の第2の関係を用いて、前記第2の画像の前記第3のピクセルの第3の値と前記第3の画像の第4のピクセルの前記第4の値との間の第2のピクセル値の差を計算するためのピクセル値コンパレータと、
- 前記 第1のピクセル値の差が第1の既定のしきい値より大きいか否か、かつ、前記第2のピクセル値の差が第2の既定のしきい値より大きいか否かをチェックすることによって、前記第1の動きベクトルと前記第2の動きベクトルとの交点に対応する前記第1の画像の特定のピクセルが前記オクルージョン領域の一つに属するか否かを、判断するための判断ユニットとを有することを特徴とするオクルージョン検出器。 - 前記動きベクトル・セレクタが、前記特定のピクセルおよび前記第1の動きベクトルが対応するピクセルの特定のグループに属する別なピクセルとの間の距離に基づき、前記第1の動きベクトルを選択するように設計されていることを特徴とする請求項1に記載のオクルージョン検出器。
- 前記動きベクトル・セレクタが、前記動きベクトルの組の動きベクトルに対する出現の頻度を判断し、かつ前記出現の前記頻度に基づき前記第1の動きベクトルを選択するように設計されていることを特徴とする請求項1に記載のオクルージョン検出器。
- 前記ピクセル値コンパレータが、前記第1の値と前記第2の値との間で絶対差を計算するように設計されていることを特徴とする請求項1に記載のオクルージョン検出器。
- 前記動きベクトル・セレクタが、前記第1の画像および前記第3の画像のピクセルのそれぞれのグループに対して推定される動きベクトルを有する前記組を用いて、前記動きベクトルの組から前記第1の動きベクトルを選択するように設計されていることを特徴とする請求項1に記載のオクルージョン検出器。
- 前記オクルージョン検出器が、前記第1の既定のしきい値を判断するために、測定ユニットを有することを特徴とする請求項1に記載のオクルージョン検出器。
- オクルージョン領域を検出する方法であって、一連の連続画像に属する第1の画像を用いて、動きベクトルの組に基づき前記第1の画像のオクルージョン領域を検出する方法において、前記方法が、
- 第1の動きベクトルと第2の動きベクトルとの間の実質的なベクトル差に基づき、前記動きベクトルの組から前記第1の動きベクトルおよび前記第2の動きベクトルを選択するための動きベクトル選択ステップと、
- 第1のピクセルと前記第1の動きベクトルにより与えられる第2のピクセルとの間の第1の関係を用いて、第2の画像の前記第1のピクセルの第1の値と第3の画像の前記第2のピクセルの第2の値との間の第1のピクセル値の差を計算し、かつ、第3のピクセルと前記第2の動きベクトルにより与えられる第4のピクセルとの間の第2の関係を用いて、前記第2の画像の前記第3のピクセルの第3の値と前記第3の画像の前記第4のピクセルの第4の値との間の第2のピクセル値の差を計算するためのピクセル値比較ステップと、
- 前記第1のピクセル値の差が第1の既定のしきい値より大きいか否か、かつ、前記第2のピクセル値の差が第2の既定のしきい値より大きいか否かをチェックすることによって、前記第1の動きベクトルと前記第2の動きベクトルの交点に対応する前記第1の画像の特定のピクセルが、前記オクルージョン領域の１つに属するか否かを判断するための判断ステップとを有することを特徴とする方法。 - - 動きベクトルの組を計算するための動きベクトル推定器、
- 前記動きベクトルの組に基づき、第1の画像のオクルージョン領域を検出するためのオクルージョン検出器、および
- 前記オクルージョン検出器の出力に基づき、特定のピクセルに特定の動きベクトルを割り当てるための動きベクトル割り当てユニットにおいて、前記オクルージョン検出器が、
- 第1の動きベクトルと第2の動きベクトルとの間の実質的なベクトル差に基づき、前記動きベクトルの組から、前記第1の動きベクトルおよび前記第2の動きベクトルを選択するための動きベクトル・セレクタと、
- 第1のピクセルと前記第1の動きベクトルにより与えられる第2のピクセルとの間の第1の関係を用いて、第2の画像の前記第1のピクセルの第1の値と第3の画像の前記第2のピクセルの第2の値との間の第1のピクセル値の差を計算し、かつ、第3のピクセルと前記第2の動きベクトルにより与えられる第4のピクセルとの間の第2の関係を用いて、前記第2の画像の前記第3のピクセルの第3の値と前記第3の画像の前記第4のピクセルの第4の値との間の第2のピクセル値の差を計算するためのピクセル値コンパレータと、
- 前記第1のピクセル値の差が第1の既定のしきい値より大きいか否か、かつ、前記第2のピクセル値の差が、第2の既定のしきい値より大きいか否かをチェックすることによって、前記第1の動きベクトルと前記第2の動きベクトルの交点に対応する前記第1の画像の特定のピクセルが、前記オクルージョン領域の１つに属するか否かを判断するための判断ユニットとを有することを特徴とする動き割り当てユニットを有する動き推定器。 - - 表示される第1の画像を表現している信号を受信するための受信手段、
- 一連の連続画像に属する前記第1の画像を用いて、動きベクトルの組に基づき、前記第1の画像のオクルージョン領域を検出するためのオクルージョン検出器を有する動き推定器、および
- 動き補償画像処理ユニットであって、
前記オクルージョン検出器が、
- 第1の動きベクトルと第2の動きベクトルとの間の実質的なベクトル差に基づき、前記動きベクトルの組から、前記第1の動きベクトルおよび前記第2の動きベクトルを選択するための動きベクトル・セレクタと、
- 第1のピクセルと前記第1の動きベクトルにより与えられる第2のピクセルとの間の第1の関係を用いて、第2の画像の前記第1のピクセルの第1の値と第3の画像の前記第2のピクセルの第2の値との間の第1のピクセル値の差を計算し、かつ、第3のピクセルと前記第2の動きベクトルにより与えられる第4のピクセルとの間の第2の関係を用いて、前記第2の画像の前記第3のピクセルの第3の値と前記第3の画像の前記第4のピクセルの第4の値との間の第2のピクセル値の差を計算するためのピクセル値コンパレータと、
- 前記第1のピクセル値の差が第1の既定のしきい値より大きいか否か、かつ、前記第2のピクセル値の差が、第2の既定のしきい値より大きいか否かをチェックすることによって、前記第1の動きベクトルと前記第2の動きベクトルの交点に対応する前記第1の画像の特定のピクセルが、前記オクルージョン領域の１つに属するか否かを判断するための判断ユニットとを有することを特徴とする動き補償画像ユニットを有する画像処理装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01204272 | 2001-11-07 | ||
| PCT/IB2002/004448 WO2003041416A1 (en) | 2001-11-07 | 2002-10-24 | Occlusion detector for and method of detecting occlusion areas |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005509230A true JP2005509230A (ja) | 2005-04-07 |
| JP4213035B2 JP4213035B2 (ja) | 2009-01-21 |
Family
ID=8181202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003543324A Expired - Fee Related JP4213035B2 (ja) | 2001-11-07 | 2002-10-24 | オクルージョン領域を検出するオクルージョン検出器および方法 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7995793B2 (ja) |
| EP (1) | EP1444837B1 (ja) |
| JP (1) | JP4213035B2 (ja) |
| KR (1) | KR100924906B1 (ja) |
| CN (1) | CN1266948C (ja) |
| AT (1) | ATE320143T1 (ja) |
| DE (1) | DE60209773T2 (ja) |
| WO (1) | WO2003041416A1 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100924906B1 (ko) | 2001-11-07 | 2009-11-03 | 엔엑스피 비 브이 | 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치 |
| JP2005519498A (ja) * | 2002-02-28 | 2005-06-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | フィールドレートをアップコンバージョンするための方法及び装置 |
| AU2003285682A1 (en) * | 2003-01-23 | 2004-08-13 | Koninklijke Philips Electronics N.V. | Background motion vector detection |
| WO2005022922A1 (en) * | 2003-09-02 | 2005-03-10 | Koninklijke Philips Electronics N.V. | Temporal interpolation of a pixel on basis of occlusion detection |
| EP1589763A2 (en) | 2004-04-20 | 2005-10-26 | Sony Corporation | Image processing apparatus, method and program |
| US8086036B2 (en) * | 2007-03-26 | 2011-12-27 | International Business Machines Corporation | Approach for resolving occlusions, splits and merges in video images |
| US20080278633A1 (en) * | 2007-05-09 | 2008-11-13 | Mikhail Tsoupko-Sitnikov | Image processing method and image processing apparatus |
| US8254444B2 (en) * | 2007-05-14 | 2012-08-28 | Samsung Electronics Co., Ltd. | System and method for phase adaptive occlusion detection based on motion vector field in digital video |
| US7990476B2 (en) * | 2007-09-19 | 2011-08-02 | Samsung Electronics Co., Ltd. | System and method for detecting visual occlusion based on motion vector density |
| US8724022B2 (en) * | 2009-11-09 | 2014-05-13 | Intel Corporation | Frame rate conversion using motion estimation and compensation |
| US9220549B2 (en) | 2011-09-27 | 2015-12-29 | Steven Glickel | Distal radius volar locking plate with extension for ulnar volar fragment |
| KR101908388B1 (ko) | 2012-07-19 | 2018-10-17 | 삼성전자 주식회사 | 폐색 영역 복원 장치, 폐색 영역을 복원하는 비디오 디코딩 장치 및 폐색 영역 복원 방법 |
| KR101977802B1 (ko) * | 2012-10-10 | 2019-05-13 | 삼성전자주식회사 | 영상 시스템에서 움직임 추정 장치 및 방법 |
| KR101975206B1 (ko) * | 2012-11-23 | 2019-05-07 | 삼성전자주식회사 | 시간상 연속하는 물체의 움직임들에 대응하는 이미지 데이터들을 프로세싱하는 방법 및 장치 |
| US9917988B2 (en) * | 2014-04-09 | 2018-03-13 | Mediatek Inc. | Method for detecting occlusion areas |
| US9563960B2 (en) | 2014-04-09 | 2017-02-07 | Mediatek Inc | Method for detecting foreground |
| CN112929778B (zh) * | 2021-02-10 | 2022-11-22 | 歌尔科技有限公司 | 一种无线耳机控制方法、装置、电子设备及无线耳机 |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4944082A (en) | 1989-04-27 | 1990-07-31 | Hewlett Packard Co. | Method of providing a sheet metal housing with precisely positioned mounting references |
| SK399692A3 (en) | 1990-09-20 | 1995-01-05 | British Broadcasting Corp | Method of determination of suitable motion vector |
| US5353119A (en) * | 1990-11-15 | 1994-10-04 | Sony United Kingdom Limited | Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images |
| US5990941A (en) * | 1991-05-13 | 1999-11-23 | Interactive Pictures Corporation | Method and apparatus for the interactive display of any portion of a spherical image |
| US5262856A (en) * | 1992-06-04 | 1993-11-16 | Massachusetts Institute Of Technology | Video image compositing techniques |
| GB9321372D0 (en) * | 1993-10-15 | 1993-12-08 | Avt Communications Ltd | Video signal processing |
| US5550685A (en) * | 1993-10-22 | 1996-08-27 | Syquest Technology, Inc. | Applying an adaptive feed-forward algorithm as a frequency selective filter in a closed loop disk drive servo system in order to compensate for periodic perturbations which otherwise appear in the servo system position error signal |
| US5471252A (en) * | 1993-11-03 | 1995-11-28 | Matsushita Electric Industrial Corporation Of America | Method and apparatus for estimating motion vector fields by rejecting local outliers |
| US5442407A (en) * | 1994-03-22 | 1995-08-15 | Matsushita Electric Corporation Of America | Video signal noise reduction system using time-varying filter coefficients |
| JP3266416B2 (ja) * | 1994-04-18 | 2002-03-18 | ケイディーディーアイ株式会社 | 動き補償フレーム間符号化復号装置 |
| US5500689A (en) | 1994-10-26 | 1996-03-19 | Thomson Consumer Electronics, Inc. | System for detecting a video signal image intensity gradient |
| US5612745A (en) * | 1995-07-24 | 1997-03-18 | Motorola, Inc. | Method and apparatus for detecting occlusion |
| DE19548452C1 (de) * | 1995-12-22 | 1997-02-20 | Siemens Ag | Verfahren zur rechnergestützten Bewegungsschätzung für Bildpunkte zeitlich aufeinander folgender Bilder einer Videosequenz |
| US6111582A (en) * | 1996-12-20 | 2000-08-29 | Jenkins; Barry L. | System and method of image generation and encoding using primitive reprojection |
| DE69811631T2 (de) | 1997-10-29 | 2003-10-30 | Koninkl Philips Electronics Nv | Bewegungsvektorschätzung und detektion von bedeckten/unbedeckten bildteilen |
| US6298144B1 (en) * | 1998-05-20 | 2001-10-02 | The United States Of America As Represented By The National Security Agency | Device for and method of detecting motion in an image |
| JP2002523985A (ja) | 1998-08-21 | 2002-07-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像信号における問題領域位置決め |
| US6628715B1 (en) * | 1999-01-15 | 2003-09-30 | Digital Video Express, L.P. | Method and apparatus for estimating optical flow |
| US6480615B1 (en) * | 1999-06-15 | 2002-11-12 | University Of Washington | Motion estimation within a sequence of data frames using optical flow with adaptive gradients |
| US6674877B1 (en) * | 2000-02-03 | 2004-01-06 | Microsoft Corporation | System and method for visually tracking occluded objects in real time |
| CN1381025A (zh) | 2000-05-18 | 2002-11-20 | 皇家菲利浦电子有限公司 | 前景/背景检测装置 |
| EP1287492A2 (en) * | 2000-05-18 | 2003-03-05 | Koninklijke Philips Electronics N.V. | Motion estimator for reduced halos in motion compensated picture rate up-conversion |
| US6810081B2 (en) * | 2000-12-15 | 2004-10-26 | Koninklijke Philips Electronics N.V. | Method for improving accuracy of block based motion compensation |
| CN1266944C (zh) * | 2001-09-07 | 2006-07-26 | 皇家飞利浦电子股份有限公司 | 图像处理器和配有这种图像处理器的图像显示设备 |
| KR100924906B1 (ko) | 2001-11-07 | 2009-11-03 | 엔엑스피 비 브이 | 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치 |
| KR100474848B1 (ko) * | 2002-07-19 | 2005-03-10 | 삼성전자주식회사 | 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법 |
| JP2007525132A (ja) * | 2004-02-23 | 2007-08-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像の補間および外挿を組み合わせることによる、画像信号の走査レート変換におけるアーチファクトの低減 |
-
2002
- 2002-10-24 KR KR1020047006984A patent/KR100924906B1/ko not_active IP Right Cessation
- 2002-10-24 AT AT02777651T patent/ATE320143T1/de not_active IP Right Cessation
- 2002-10-24 JP JP2003543324A patent/JP4213035B2/ja not_active Expired - Fee Related
- 2002-10-24 EP EP02777651A patent/EP1444837B1/en not_active Expired - Lifetime
- 2002-10-24 WO PCT/IB2002/004448 patent/WO2003041416A1/en active IP Right Grant
- 2002-10-24 CN CNB028220307A patent/CN1266948C/zh not_active Expired - Fee Related
- 2002-10-24 DE DE60209773T patent/DE60209773T2/de not_active Expired - Lifetime
- 2002-10-24 US US10/494,503 patent/US7995793B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| ATE320143T1 (de) | 2006-03-15 |
| CN1582582A (zh) | 2005-02-16 |
| JP4213035B2 (ja) | 2009-01-21 |
| US20040252763A1 (en) | 2004-12-16 |
| DE60209773T2 (de) | 2006-11-30 |
| EP1444837B1 (en) | 2006-03-08 |
| US7995793B2 (en) | 2011-08-09 |
| CN1266948C (zh) | 2006-07-26 |
| KR100924906B1 (ko) | 2009-11-03 |
| KR20040058271A (ko) | 2004-07-03 |
| EP1444837A1 (en) | 2004-08-11 |
| DE60209773D1 (de) | 2006-05-04 |
| WO2003041416A1 (en) | 2003-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4213035B2 (ja) | オクルージョン領域を検出するオクルージョン検出器および方法 | |
| EP0948865B1 (en) | Motion vector estimation and detection of covered/uncovered image parts | |
| KR101135454B1 (ko) | 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체 | |
| US9444977B2 (en) | Method and device for adaptive noise measurement of a video signal | |
| KR100973429B1 (ko) | 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| JP2005503085A (ja) | 動き推定および／または補償 | |
| JP2002523985A (ja) | 画像信号における問題領域位置決め | |
| JPH04234276A (ja) | 動き検出方法 | |
| US20050180506A1 (en) | Unit for and method of estimating a current motion vector | |
| US7382899B2 (en) | System and method for segmenting | |
| WO2004039074A1 (en) | Image processing unit with fall-back | |
| KR20040050906A (ko) | 모션 추정을 위한 장치 및 방법 | |
| EP1958451B1 (en) | Motion vector field correction | |
| US20050226462A1 (en) | Unit for and method of estimating a motion vector | |
| KR100217485B1 (ko) | 동영상 부호기 또는 복호기에서 이동보상방법 | |
| JP2005517251A (ja) | ピクセル群の動きベクトルを推定する方法及びユニット | |
| US8350966B2 (en) | Method and system for motion compensated noise level detection and measurement | |
| Gangal et al. | An improved motion-compensated restoration method for damaged color motion picture films | |
| US8102915B2 (en) | Motion vector fields refinement to track small fast moving objects | |
| JP2004533073A (ja) | 特徴点選択 | |
| JP2743763B2 (ja) | 動画像の動き推定方法 | |
| KR20050023122A (ko) | 세그멘팅을 위한 시스템 및 방법 | |
| JPH0429488A (ja) | 動き検出回路およびこの動き検出回路を用いた画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050930 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080228 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080312 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080528 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080604 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080930 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081029 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131107 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |