JP2003534742A - 方法、システム及び装置 - Google Patents

Abstract

(57)【要約】 ブロックに基づく動き又は深さ推定において、ブロックに、候補値の限られた集合に対する整合エラーの最小化の結果として動き又は深さの値が割り当てられる。上記集合の各要素に関する整合エラーは、第１画像（１０）のブロックと第２画像（１１）の領域との間の光度差を計算することにより得られる。或るオブジェクト（１２）が他のオブジェクト（１５）により部分的に妨害される場合が生じ得、その結果、他のピクセル（１６）が或るピクセル（１４）に重なるため、上記ブロックにおける該ピクセル（１４）が対応する上記領域に存在しなくなる場合がある。本発明による方法及びシステムは、何のピクセルが第２画像（１１）において見えないかを決定し、見えるピクセルに対してのみ整合エラーを計算する。ビデオ信号（４０）を適合させる装置は、選択された候補値を使用して、該ビデオ信号（４０）の向上された信号を生成する。

Description

【発明の詳細な説明】

【０００１】

【技術分野】

本発明は、第１画像のブロックを第２画像の領域と突き合わせるために使用さ
れるべき最適な候補値を選択する方法に係り、該方法が、 （ａ）第２画像の突き合わされるべき領域を決定するための候補値の集合を作成
し、 （ｂ）上記集合の各候補値に関して、第２画像の突き合わされるべき領域を当該
候補値に基づいて決定すると共に、第１画像の上記ブロックを該領域と突き合わ
せて整合エラーを算出し、 （ｃ）前記集合から上記の算出された整合エラーに基づいて前記最適な候補値を
選択する、 各ステップを有するような方法に関する。

【０００２】 同様に、本発明は第１画像のブロックを第２画像の領域と突き合わせるために
使用されるべき最適な候補値を選択するシステムに係り、該システムが、 − 第２画像の突き合わされるべき領域を決定するための候補値の集合を作成す
るように構成された収集器と、 − 上記集合の各候補値に関して、第２画像の突き合わされるべき領域を当該候
補値に基づいて決定すると共に、第１画像の上記ブロックを該領域と突き合わせ
て整合エラーを算出するように構成された整合器と、 − 前記集合から上記の算出された整合エラーに基づいて前記最適な候補値を選
択するように構成された選択器と、 を有するようなシステムにも関する。

【０００３】 本発明は、更に、種々の画像を有するビデオ信号を処理する装置にも関する。

【０００４】

【背景技術】

冒頭に記載したような型式の方法は、本出願人による国際特許出願公開第WO99
/40726号（出願人整理番号：PHN17017）から既知である。画像における動き及び
深さを決定するためのブロックに基づく技術によれば、該画像は例えば等しい寸
法の長方形のような多数のブロックに分割される。次いで、該画像は他の画像に
おける個々のブロックを突き合わせることにより該他の画像と比較される。

【０００５】 ブロックの第２画像との突き合わせは、動きベクトル及び深さに関する多数の
候補値を選択し、次いで、各候補値に関して当該ブロックが第２画像における領
域にどの程度対応するかについて決定することにより実行される。この突き合わ
せにおけるズレの程度が計算される。このズレは、上記候補値に属する整合エラ
ーと呼ばれる。最適な候補値は、相対的に小さな整合エラーを有する候補値であ
る。適した候補値は、なかでも、第１画像の隣接するブロックの深さ又は動きベ
クトルである。何故なら、これらは現ブロックと略同一の特徴を有する傾向にあ
るからである。ブロックはピクセルを有しているので、上記整合エラーは、第１
画像のブロックにおける及び第２画像内の領域における対応するピクセルに基づ
いて決定することができる。この目的のためには、平均二乗誤差（ＭＳＥ）を決
定する等の数学的技法が適している。

【０００６】 或るオブジェクトの点が第１画像においては確かに見えるが、第２画像では見
えないことが起こり得る。第２のオブジェクトが、第２画像から見て、該第２オ
ブジェクトが第１オブジェクトを部分的に又は完全に覆うような位置を有するこ
とがあり得る。このことは、第１画像のブロックが、該ブロックの多数のピクセ
ルが整合されるべき領域において見えないために、第２画像において完全には見
付けることができないことを意味する。

【０００７】 前記既知の方法の欠点は、上記整合エラーが第１画像の当該ブロックの全ピク
セルにわたって、及び突き合わされるべき領域において見えないピクセルに対し
ても計算されるということである。この場合、これらのピクセルは他の点に対応
するピクセルと比較されてしまう。これらが非常に相違する場合（例えば、輝度
が変化するため）、このことは非常に大きな整合エラーを生じさせるであろう。
この場合、余り大きな整合エラーのために候補値が拒絶されても、この候補値が
当該ブロックの可視領域に関する最適な候補値を確かに形成しているというよう
なことが起こり得る。

【０００８】

【発明の開示】

本発明の目的は、冒頭に述べたような型式の方法であって、最適な候補値に対
する一層良好な選択がなされるような方法を提供することにある。

【０００９】 この目的は、本発明によれば、前記ブロックがピクセルにより形成され、前記
第１画像のブロックにおける、前記第２画像の突き合わされるべき領域において
見えるピクセルの選択が実行され、整合エラーの算出が該選択に基づくものであ
ることにより達成される。上記整合エラーの算出に関して見えないピクセルを使
用しないことにより、不整合による大きな整合エラーが発生するのを防止するこ
とができる。

【００１０】 上記方法の一実施例においては、上記選択は、前記第１画像の前記ブロックの
ピクセルに関して、これらピクセルの位置が前記第２画像の前記突き合わされる
べき領域において何の位置であるかを決定すると共に、前記第１画像の前記ブロ
ックのうちの前記第２画像の前記突き合わされるべき領域において同一の位置で
見付けられる他のピクセルとの比較に基づいてピクセルを選択することにより実
行される。

【００１１】 本方法の他の実施例においては、上記選択は深さに基づいて実行される。この
実施例は、上記比較が簡単且つ高速に実行することができる点で有利である。

【００１２】 また、本発明の目的は導入部で述べたような型式のシステムであって、最適候
補値の一層良好な選択がなされるようなシステムを提供することにもある。

【００１３】 この目的は、本発明によるシステムによれば、前記ブロックがピクセルにより
形成され、前記整合器が前記第１画像のブロックにおける前記第２画像の前記突
き合わされるべき領域において見えるピクセルの選択を実行するように構成され
、該整合器が該選択に基づいて整合エラーを算出するように構成されることによ
り達成される。

【００１４】 該システムの一実施例においては、上記整合器は、前記第１画像の前記ブロッ
クのピクセルに関して、これらピクセルが前記第２画像の前記突き合わされるべ
き領域内において何の位置を有するかを決定すると共に、前記第１画像の前記ブ
ロックのうちの前記第２画像の前記突き合わされるべき領域において同一の位置
を有する他のピクセルとの比較に基づいてピクセルを選択するように構成される
。

【００１５】 該システムの他の実施例においては、上記比較は深さに基づいて実行される。

【００１６】 また、本発明の目的は、導入部に記載したような型式の装置であって、ビデオ
信号の一層良好な処理が得られるような装置を提供することにもある。

【００１７】 この目的は、本発明による装置によれば、該装置が、 − 第１画像のブロックを第２画像の領域と突き合わせるために使用されるべき
最適候補値を選択する前記発明によるシステムであって、前記種々の画像のブロ
ックに対して最適候補値を選択するように構成されたシステムと、 − 前記ビデオ信号を処理し、前記システムにより決定された得られた最適候補
値に基づいて、向上されたビデオ信号を得る画像プロセッサと、 を有することにより達成される。

【００１８】 上記画像プロセッサは、前記発明によるシステムにより選択された最適候補値
に基づいて上記画像を向上させる。このシステムによれば、最適候補値の一層良
好な選択がなされるので、これは、他の装置によるよりも良好な向上された画像
に繋がる。

【００１９】 或る実施例においては、当該装置は上記の向上されたビデオ信号を表示する表
示システムを更に含む。

【００２０】 本発明の、これら及び他の態様は以下に記載される実施例（又は複数の実施例
）から明らかとなり、斯かる実施例を参照して解説されるであろう。

【００２１】

【発明を実施するための最良の形態】

第１画像における動き及び深さを決定するための、ブロックに基づく技術にお
いては、当該画像が多数のブロックに副分割される。これらのブロックは長方形
であって等しい寸法とすることができるので、上記分割は簡単且つ高速に実施す
ることができる（もっとも、他の例として任意の他の形状を使用するとこも可能
である）。非長方形ブロックの使用は、この場合には任意のオブジェクトを一群
のブロックにより覆うことができ、従って斯様なオブジェクトの動き又は深さを
決定することができる点で有利である。当該画像をブロックに分割することによ
り、該画像を第２画像と、該第１画像のブロックを第２画像の領域と突き合わせ
ることにより比較することが可能となる。これらブロックが十分に小さく選定さ
れるなら、各ブロックが一様に移動し、且つ、或るブロックの深さは何処でも同
一であると仮定することができる。この場合、第１の画像の或るブロックに対応
するような第２画像の領域を探すことが可能である。これが見付かった場合、こ
のブロックの上記２つの画像の間のズレ、従って該ブロックの動きを決定するこ
とができる。上記２つの画像が共に静止オブジェクトに関するものであれば、こ
れは、該オブジェクトの深さを決定するために要する情報を提供する。

【００２２】 第１画像のブロックが第２画像の領域と完全に整合することはまれであろう。
この問題は、深さに関する又は動きベクトルに関する候補値に基づいて、第１画
像のブロックが第２画像において何処に位置されなければならないかを決定する
ことにより解決することができる。次いで、これに対応する第２画像の領域が第
１ブロックと突き合わされて、整合のズレの程度を計算することができる。この
ズレは、当該候補値の整合エラーと呼ばれる。最適候補値とは、相対的に小さな
整合エラー、好ましくは最小の整合エラーを有する候補値である。

【００２３】 ブロックはピクセルからなるので、整合エラーは２つのブロック内の対応する
ピクセルに基づいて決定することができる。この目的のためには、平均二乗誤差
（ＭＳＥ）の決定のような数学的技法が好適である。この技法によれば、動きベ
クトル（dx, dy）に関する整合エラーは、下記のように算出することができる。

【数１】 ここで、Ｍ及びＮはブロックのピクセルでの寸法であり、Ｕ_ｉ(m,n)は位置（ｍ
，ｎ）における画像ｉでのピクセル輝度である。深さｄに関する整合エラーの算
出も、同様な態様で行われる。

【００２４】 他の好適な数学的技法は、絶対差分の和（ＳＡＤ）を算出することである。こ
れによれば、深さｄに関する整合エラーは下記のように算出することができる。

【数２】 ここで、（ｘ，ｙ）はブロックＢにおけるピクセルであり、Δｘ(d)は深さｄに
関する候補値に基づくｘの変化である。

【００２５】 深さ又は動きベクトルに対する候補値の整合エラーの算出に関しては、上記平
均二乗誤差及び絶対差分の和に加えて、平均絶対差分又は二乗誤差の和のような
他の数学的技法も使用することができる。

【００２６】 実用上の理由、なかでも、ビデオ信号処理の間においては別個の画像を処理す
るには僅かな時間しかないので、通常は限られた数の候補値の集合が作成され、
次いで、これら候補値が上述したように第２画像の領域を決定するために使用さ
れ、その後、第１画像のブロックが該領域と突き合わされる。隣接する他のブロ
ックの深さ又は見付かった動きベクトルに関する値が選択され、多分、ランダム
値又はこのブロック用の深さ若しくは動きベクトルに関する先に算出された値に
より加算される。当該集合の要素の整合エラーが算出された後、最適な候補値が
最小の整合エラーを有する候補値として選択される。

【００２７】 上記の集合を作成するステップ、この集合の要素の整合エラーを算出するステ
ップ及び最適候補値を選択するステップは、３つの別個のステップとして実行す
ることもできるが、組み合わせで実行することもできる。選択された各候補値に
関して上記整合エラーを直接算出することができ、その後、この整合エラーを“
ランニングミニマム”と比較することができる。算出された整合エラーが、この
ランニングミニマムより小さいことが分かった場合、現候補値が仮の最適候補値
として選択され、その整合エラーが新たなランニングミニマムとして選択される
。当該集合内の全ての候補値が選択された後、斯様にして決定された仮の最適候
補値が実際の最適候補値となる。

【００２８】 上述した方法は、何回も繰り返して、最適候補値の可能な最良の選択に到るよ
うにすることができる。当該画像内で深さが決定される場合、該深さは最初はラ
ンダムに選択される。次いで、各繰り返しにおいて隣接するブロックの値が使用
され、これらの値は先行する繰り返しの値とは異なり得る。最小の整合エラーを
有するような新たに見付かった値が、次いで、他のブロックの整合エラーを計算
するために使用される。これら値が最早変化しない場合、最終値が決定され、繰
り返しが停止される。各繰り返しにより、最適候補用の現在値及び整合エラーは
、各ブロックに関して保存されねばならない。

【００２９】 図１は、第１画像１０及び第２画像１１を示し、両者は第１オブジェクト１２
及び第２オブジェクト１５の表現を含んでいる。オブジェクト１２及び１５の点
は、第１画像１０及び第２画像１１においてピクセルとして見ることができる。
可視度の程度は、第１画像１０又は第２画像１１を見る看者によって見られる、
これらオブジェクトの深度によっても影響される。オブジェクト１２の点１３は
、第１画像１０においても及び第２画像１１においても見ることができる。しか
しながら、オブジェクト１２の点１４は、第１画像１０においてしか見ることが
できない。何故なら、第２画像１１から見ると、オブジェクト１５の点１６が、
第２画像１１において該点１４と一致するからである。

【００３０】 第１画像１０のブロックが、第２画像１１の領域と突き合わされるべき場合に
、第１画像の当該ブロック内に位置を有すると想定される点１４は、第２画像１
１の上記領域ではたどることができないであろう。ブロックは、当該画像におい
て見ることができるオブジェクトの点に対応するようなピクセルからなる。第１
画像１０のブロックの第２画像１１の領域との突き合わせは、どれが、第１画像
１０のブロック及び第２画像１１の領域において対応するピクセルであるかを決
定することにより実行される。

【００３１】 図１において、点１４に対応する第１画像１０のブロックのピクセル１８が突
き合わされる場合、その意図は、このピクセルが第２画像１１の領域の点１４に
対応するピクセルと突き合わされるというものである。このピクセルはピクセル
２０であるべきである。しかしながら、第２画像１１においては点１６も見える
。点１６に対応するピクセルはピクセル２０である。該点１６は第２画像１１か
ら見て点１４よりも短い距離を有しているから、ピクセル２０は点１６に対応し
、点１４は見ることができない。

【００３２】 第１画像１０のブロックが第２画像１１の領域と突き合わされる場合、点１４
に対応する第１画像１０の該ブロックのピクセル１８は、点１６に対応するよう
な第２画像１１の領域のピクセル２０と突き合わされる。それらが非常に異なる
場合（例えば点１４が暗く、点１６が明るい故に）、その結果は大きな整合エラ
ーとなるであろう。

【００３３】 本発明による方法においては、第１画像１０のブロックの、第２画像１１の突
き合わされるべき領域において見えるピクセルの選択がなされる。次いで、整合
エラーは、この選択に基づいて計算される。点１４に対応するピクセルは第１画
像１０のブロックでは見えるが、第２画像１１の突き合わされるべき領域では見
えないから、このピクセルは選択されず、かくして整合エラーは、この点１４が
破棄されている間に計算される。

【００３４】 これを可能にするために、上述した整合エラーの計算は、第１画像１０におけ
るピクセル（ｘ，ｙ）に対応する点が第２画像１１の突き合わされるべき領域で
見える場合は値１を生成し、それ以外では値０を生成するような関数ｖ(x,y)を
導入することにより適応化される。この場合、例えば絶対差分の和（ＳＡＤ）を
計算する数学的技法による整合エラーの計算は、以下のようになされる。

【数３】 ここで、v(x,y)は上述した関数である。この関数は可視度マップとも呼ばれる。
他の数学的技法に関しては、対比し得る修正を簡単に実現することができる。

【００３５】 ブロックＢの整合エラーは、該ブロックＢの全ての点(x,y)にわたって計算さ
れる。各点(x,y)に対して、第１及び第２画像１０及び１１における差分が計算
される。この差分を当該点(x,y)用の可視度マップの値により乗算することによ
り、可視度マップが値１を示すような点(x,y)のみに対し整合エラーが計算され
る。

【００３６】 可視度マップを決定するために、第１画像１０のブロックのピクセルに関して
、これらピクセルが第２画像１１の突き合わされるべき領域において何の位置を
有するかが決定される。先ず、各ピクセルが三次元空間における何の点に対応す
るかが決定される。図１の例において、ピクセル１７に関しては該ピクセルが点
１３に対応することが、ピクセル１８に関しては該ピクセルが点１４に対応する
ことが、ピクセル１９に関しては該ピクセルが点１６に対応することが決定され
る。

【００３７】 例えば上記の決定された候補値に基づいて、第２画像１１におけるこれらのピ
クセルの位置が決定される。この目的のため、例えば、深さ又は動きベクトルに
対して前もって決定された候補値を使用することができる。最適候補値を選択す
る方法を、先ず、整合エラーを計算するための前記関数の修正無しに適用するこ
とができ、これにより最適候補値が決定される。かくして、点１４及び点１６に
関しては、これら点が第２画像１１の突き合わされるべき領域において同一の位
置、即ちピクセル２０を有することが分かる。

【００３８】 ピクセル１８及び１９、又はこれらに対応する点１４及び１６を比較すること
により、これらピクセル又は点のどれが、突き合わされるべき領域において見え
るかを決定することができる。この比較は、好ましくは、深さに基づいて実施さ
れる。何故なら、近い点は離れた点を覆うので見えるからである。しかしながら
、それにも拘わらず、遠くのピクセルが見えるほど、近くに位置するピクセルよ
りも該遠くのピクセルが明るいこともあり得る。近くのピクセルの代わりに遠く
のピクセルが見えるように、該近くに位置するピクセルが透明であることもあり
得る。図１においては、第２画像１１から見て、点１６は点１４よりも近くに位
置し、従って点１６が選択されると思われる。次いで、この選択は、ピクセル１
９に対する可視度マップの値を１に設定し、ピクセル１８に対するものを零に設
定することにより確立される。

【００３９】 深さ又は動きベクトルに関する上記候補値は、確定的値の代わりに確立密度関
数に関する特定の関数を有する確率的変数と考えることもできる。その場合、上
述した方法は僅かに変更される。深さ又は動きの確立密度関数は、例えば、整合
エラーを計算する前記関数を変更しないで上述した方法を実施することにより決
定される。次いで、各ピクセルが上記三次元空間における何の点に最も対応しそ
うかが決定される。例えば、見いだされた候補値に基づいて、これらの点に関し
、これら点が第２画像１１において何の位置を有するかが決定される。次いで、
各ピクセルに関して、当該ピクセルが第２画像１１において見える確率が、例え
ば深さを規準として計算される。ここで、この確率に基づいて選択が実行される
。この場合、見えるであろう最高の確率を有するピクセルが選択される。

【００４０】 この選択は可視度マップに配置される。第１の可能性は、或るピクセルが最高
の確率を有する場合に該ピクセルの値を１に設定し、それ以外は０に設定するこ
とである。第２の可能性は、見えるピクセルの確率を可視度マップに含めること
である。

【００４１】 該方法が何回か実行される場合、第１画像１０のブロックのピクセルが何の点
と一致するかを決定する最初の反復においては未だ何の情報も得られない。従っ
て、この反復では当該可視度マップの値は全てのピクセルに関して１に設定する
ことができる。

【００４２】 図２は、種々の画像を有するようなビデオ信号４０を処理する装置を表してい
る。該装置は画像プロセッサ４１を有し、該プロセッサはビデオ信号４０を処理
して、向上されたビデオ信号を得るように構成されている。この向上されたビデ
オ信号は、次いで、表示スクリーン４２上に表示される。図２は、表示スクリー
ン４２を、画像プロセッサ４１を含むのと同一の装置の一部として示しているが
、該表示スクリーン４２は当該装置とは独立に配置されてもよく、当該装置から
ネットワークを介して上記の向上されたビデオ信号を受信することができること
は明らかであろう。

【００４３】 画像プロセッサ４１は、上記ビデオ信号４０内の個々の画像の動き及び深さに
関する情報に基づいて該ビデオ信号４０を向上させることができる。例えば、画
像プロセッサ４１はビデオ信号４０を処理し、これによりユーザが、一群のブロ
ックにより決定される個々のオブジェクトを深さ情報に基づいて個別に回転し、
かくして他の角度からの正しい再生を発生させることにより、他の角度から当該
画像を見ることができるようにすることもできる。これは、例えば立体的な再生
を提供することができる。例えば自動監視カメラ用に使用されるように、動き情
報を移動物体を検出し及び印すために使用することもできる。このようにして得
られた印を付けられたオブジェクトを持つビデオ信号は、これらのカメラのユー
ザにとり拡張性を提供する。何故なら、これらカメラは画像変化を一層速く検出
することができるからである。

【００４４】 他の可能性のある用途においては、画像プロセッサ４１は、一層効率よく圧縮
されたビデオ信号を生成することにより、例えばＭＰＥＧ等の圧縮フォーマット
で供給されるビデオ信号４０を向上させる。この場合、一群のブロックを介して
決定される、当該ビデオ信号４０の多数の画像内で発生する個々のオブジェクト
は、該オブジェクトに関するピクセル情報を１回だけ記憶すると共に、このオブ
ジェクトが発生する他の画像に対しても該オブジェクトの動きベクトル及び深さ
の情報のみを記憶することにより圧縮することができる。この情報は完全なオブ
ジェクトのピクセル情報よりも少ない記憶容量しか必要としないので、斯かる方
法のような方法は、大幅に向上された圧縮ビデオ信号を提供することができる。

【００４５】 明瞭化のために、下記の説明は第１ブロックの深さが決定される場合のみの当
該システムの構成要素の機能についてのものであるが、上記のことから第１ブロ
ックの動きは同様の方法においても決定することができることは明らかであろう
。

【００４６】 当該装置は、更に、収集器４３、整合器４６及び選択器４７を含んでいる。収
集器４３は、第２画像の突き合わされるべき領域を決定するための候補値の集合
４５を作成するように構成されている。収集器４３により作成された集合４５は
、なかでも、第１ブロックに隣接するブロックの先に決定された深さ含んでいる
。通常、隣接するブロックの深さは殆ど相互差分を示さない。従って、第１ブロ
ックに隣接するブロックの深さは、該第１ブロックの深さを決定するための良い
開始点を形成し、依って該深さ用の候補値として使用される。この目的のため記
憶システム４４が存在し、該記憶システムには該深さ及び以前に決定された深さ
を記憶することができ、かくして、収集器４３は候補値の集合４５を作成する際
に、これら深さを使用することができる。

【００４７】 収集器４３は整合器４６に上記候補値の集合４５を伝送する。整合器４６は、
該集合の各候補値に関して、該候補値に基づいて第２画像の突き合わされるべき
領域を決定する。次いで、整合器４６は第１画像の当該ブロックと、この領域と
を突き合わせる。そして、該整合器４６は、上述したようにして、関連する突き
合わせ領域を計算する。この目的のため、平均二乗誤差、平均絶対差分、絶対差
分の和又は二乗誤差の和のような前述した方法を実施することができる。

【００４８】 この実施例における整合器４６は、第１画像のブロックの、第２画像の突き合
わされるべき領域において見えるピクセルの選択を実行するよう構成されている
。当該装置の他の部分も該作業のために構成することができることは明らかであ
ろう。

【００４９】 整合器４６は上記選択を、第１画像のブロックのピクセルに関して、これらピ
クセルが第２画像の突き合わされるべき領域において何の位置を有するかを決定
することにより実行する。次いで、整合器４６は、第２画像の突き合わされる領
域において同じ位置を有するピクセル、又はこれらピクセルに対応する点を比較
する。そのようにして、該整合器４６は、これらピクセル又は点のうちのどれが
、突き合わされるべき領域において見えるかを決定することができる。この比較
は、最も近い点は一層遠くの点を覆うために見ることができるという理由で、好
ましくは深さに基づいて実行される。次いで、前記選択が、見えるピクセルに対
する可視度マップの値を１に設定し、見えないピクセル又は複数のピクセルに対
しては０に設定することにより実行される。整合器４６は、図１を参照して説明
したように、該可視度マップに基づいて整合エラーを計算する。

【００５０】 前記集合４５の候補値の整合エラーが算出された後、選択器４７は上記集合４
５から、該算出された整合エラーに基づいて最適候補値４８を選択する。該最適
候補値４８は、相対的に小さな整合エラーを有するような候補値である。次いで
、選択器４７は該最適候補値４８を画像プロセッサ４１に送る。この処理の画像
の種々のブロックに対する繰り返しは、この画像に関する深さ情報を提供する。
このようにして提供された深さ情報に基づいて、画像プロセッサ４１はビデオ信
号４０を処理して、向上されたビデオ信号を得ることができる。この向上された
ビデオ信号は、次いで、表示スクリーン４２上に表示することができる。

【図面の簡単な説明】

【図１】 図１は、多数のオブジェクトの複数の画像の概念図である。

【図２】 図２は、ビデオ信号を処理するための本発明による装置の概念図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 エルンスト ファビアン イー オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ (72)発明者 ヴァン オーヴァーヴェルド コーネリア ス ダブリュー エイ エム オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ (72)発明者 ウィリンスキ ピオトロ オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ Ｆターム(参考） 5C059 MA00 NN01 NN28 【要約の続き】

Claims (8)

【特許請求の範囲】
1. 【請求項１】 第１画像のブロックを第２画像の領域と突き合わせるために
   使用されるべき最適候補値を選択する方法であって、該方法が、 （ａ）前記第２画像の突き合わされるべき領域を決定するための候補値の集合を
   作成するステップと、 （ｂ）前記集合の各候補値に関して、前記候補値に基づいて前記第２画像の突き
   合わされるべき領域を決定すると共に、前記第１画像のブロックを該領域と突き
   合わせて整合エラーを算出するステップと、 （ｃ）該算出された整合エラーに基づいて、前記集合から前記最適候補値を選択
   するステップと、 を有するような方法において、 前記ブロックはピクセルにより形成され、前記第１画像のブロックにおける、
   前記第２画像の前記突き合わされるべき領域において見えるピクセルの選択が実
   行され、前記整合エラーの算出が該選択に基づくものであることを特徴とする方
   法。
2. 【請求項２】 請求項１に記載の方法において、前記選択は、前記第１画像
   の前記ブロックのピクセルに関して、これらピクセルの位置が前記第２画像の前
   記突き合わされるべき領域において何処であるかを決定すると共に、前記第１画
   像の前記ブロックのうちの前記第２画像の前記突き合わされるべき領域において
   同一の位置で見付けられる他のピクセルとの比較に基づいてピクセルを選択する
   ことにより実行されることを特徴とする方法。
3. 【請求項３】 請求項２に記載の方法において、前記選択が深さに基づいて
   実行されることを特徴とする方法。
4. 【請求項４】 第１画像のブロックを第２画像の領域と突き合わせるために
   使用されるべき最適候補値を選択するシステムであって、該システムが、 − 前記第２画像の突き合わされるべき領域を決定するための候補値の集合を作
   成するよう構成された収集器と、 − 前記集合の各候補値に関して、前記候補値に基づいて前記第２画像の突き合
   わされるべき領域を決定すると共に、前記第１画像のブロックを該領域と突き合
   わせて整合エラーを算出するように構成された整合器と、 − 該算出された整合エラーに基づいて、前記集合から前記最適候補値を選択す
   るよう構成された選択器と、 を有するようなシステムにおいて、 前記ブロックはピクセルにより形成され、前記整合器は前記第１画像のブロッ
   クにおける前記第２画像の前記突き合わされるべき領域において見えるピクセル
   の選択を実行するように構成され、該整合器は該選択に基づいて整合エラーを算
   出するように構成されていることを特徴とするシステム。
5. 【請求項５】 請求項４に記載のシステムにおいて、前記整合器は、前記第
   １画像の前記ブロックのピクセルに関して、これらピクセルが前記第２画像の前
   記突き合わされるべき領域内において何の位置を有するかを決定すると共に、前
   記第１画像の前記ブロックのうちの前記第２画像の前記突き合わされるべき領域
   において同一の位置を有する他のピクセルとの比較に基づいてピクセルを選択す
   るように構成されていることを特徴とするシステム。
6. 【請求項６】 請求項５に記載のシステムにおいて、前記比較が深さに基づ
   いてなされることを特徴とするシステム。
7. 【請求項７】 種々の画像からなるビデオ信号を処理する装置において、該
   装置が、 第１画像のブロックを第２画像の領域と突き合わせるために使用されるべき最
   適候補値を選択する請求項４、５又は６に記載のシステムであって、前記種々の
   画像のブロックに対して最適候補値を選択するように構成されたシステムと、 前記ビデオ信号を処理し、前記システムにより決定された得られた最適候補値
   に基づいて、向上されたビデオ信号を得る画像プロセッサと、 を有していることを特徴とする装置。
8. 【請求項８】 請求項７に記載の装置において、該装置が前記向上されたビ
   デオ信号を表示する表示システムを更に有していることを特徴とする装置。