JP2007520822A - 奥行きマップの生成 - Google Patents

Abstract

画像（１００）の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップ（１０６）を生成する方法。該方法は：画像（１００）を第一のセグメント（１１０）と第二のセグメント（１０８）にセグメント分割し；前記第一のセグメント（１１０）の第一の大きさに基づいて、前記第一のセグメント（１１０）のピクセルの第一のものに対応する奥行き値の第一のものを割り当て、前記第二のセグメント（１０８）の第二の大きさに基づいて、前記第二のセグメント（１０８）のピクセルの第二のものに対応する奥行き値の第二のものを割り当て、前記第一の大きさが前記第二の大きさよりも小さければ前記奥行き値の第一のものが前記奥行き値の第二のものよりも小さいようにする、ことを含む。

Description

本発明は、画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成する方法に関する。

本発明はさらに、画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成する奥行きマップ生成ユニットに関する。

本発明はさらに：
・画像に対応する信号を受け取る受領手段と、
・奥行きマップを生成するような奥行きマップ生成ユニット、
とを有する画像処理装置に関する。

本発明はさらに、画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成するための命令を有する、処理手段とメモリとを有するコンピュータ装置によって読み込まれるコンピュータプログラムプロダクトに関する。

マルチビューディスプレイ装置上で３Ｄの印象を生成するためには、異なる仮想視点からの画像をレンダリングする必要がある。これは複数の入力ビューか、何らかの３Ｄもしくは奥行き情報かのどちらかが存在していることを要求する。この奥行き情報は、記録されていることもできるし、マルチビューカメラシステムから生成されるか従来式の２Ｄビデオ素材から生成されるかすることもできる。２Ｄビデオから奥行き情報を生成するためには、いくつかの種類の奥行き情報が適用できる：運動からの構造復元（structure from motion）、ピント情報、幾何学形状および動的隠蔽（dynamic occlusion）などである。そのねらいは密な奥行きマップ、すなわちピクセルごとの奥行き値を生成することである。この奥行きマップはその後、マルチビュー画像をレンダリングして観察者に奥行きの印象を与えるのに使われる。P. A. Redert, E. A. Hendriks, and J. Biemondによる論文“Synthesis of multi viewpoint images at non-intermediate positions”, Proceedings of International Conference on Acoustics, Speech, and Signal Processing, Vol. IV, ISBN0-8186-7919-0, pp.2749-2752, IEEE Computer Society, Los Alamitos, California, 1997では、入力画像および奥行きマップに基づいて奥行き情報を抽出し、マルチビュー画像をレンダリングする方法が開示されている。

本発明の一つの目的は、冒頭で述べた種類の方法であって新しい奥行き情報に基づくものを提供することである。

本発明のこの目的は、当該方法が：
・画像を第一のセグメントと第二のセグメントにセグメント分割し、
・前記第一のセグメントの第一の大きさに基づいて、前記第一のセグメントのピクセルの第一のものに対応する奥行き値の第一のものを割り当て、前記第二のセグメントの第二の大きさに基づいて、前記第二のセグメントのピクセルの第二のものに対応する奥行き値の第二のものを割り当て、前記第一の大きさが前記第二の大きさよりも小さければ前記奥行き値の第一のものが前記奥行き値の第二のものよりも小さいようにする、
ことを有することにおいて達成される。

本発明は、次のような観察に基づいている。オブジェクトは画像中で何らかの二次元的な大きさを有する。すなわち、ある場面中の各オブジェクトに対応する画像セグメントはある大きさをもつ。二次元の意味でより大きなオブジェクトが二次元の意味でより小さなオブジェクトを隠蔽する確率は、その逆の確率よりも大きい。したがって、大きなオブジェクトの背景により小さなオブジェクトがある場合、その小さなオブジェクトは見えなくなるが、前景にあれば見える。よって、小さなオブジェクトは前景のオブジェクトである可能性がより高い。換言すれば、ある第一のオブジェクトに対応する第一のセグメントの第一の大きさがある第二のオブジェクトに対応する第二のセグメントの第二の大きさよりも小さければ、前記第一のセグメントについての奥行き値は前記第二のセグメントについての奥行き値よりも小さい。背景もまた一つまたは複数のオブジェクト、たとえば空や森、草原をなしていることを注意しておくべきだろう。

大きさに関係した奥行き情報としてはもう一つ既知のものがあることを注意しておくべきだろう。その既知の奥行き情報は、「相対大きさ情報」または「遠近法情報」と呼ばれる。しかし、その既知の奥行き情報は別の想定に基づいており、逆の奥行き値を与える。「相対大きさ情報」は、より遠くにあるオブジェクトはより小さいという事実に基づいている。これに対し、本発明による奥行き情報では、より小さなオブジェクトが観察者により近いものと想定される。「相対大きさ情報」は、たとえば二人の人物や二台の車など、同じような種類のオブジェクトを比較して奥行き値を割り当てるのにしか適用できない。「相対大きさ情報」の使用は、画像セグメントを所定の種別のオブジェクトに分類する、より高度な認知プロセスを要求する。本発明に基づく奥行き情報を使うことの利点は、この複雑な種類の分類が必要とされないことである。

本発明に基づく方法の一つのステップはセグメント分割である。セグメント分割は、ピクセル値とピクセルの座標とに基づいてピクセルを分類するプロセスである。ピクセル値は色および／または輝度を表しうる。セグメント分割は、ある画像の諸ピクセルに対して、ピクセルどうしの連結性、すなわち２つのピクセルがつながっているか否かに関する値が割り当てられることを意味する。セグメント分割についてはいくつかのアルゴリズムがある。たとえばエッジ検出に基づくもの、均質性計算に基づくものなどである。

大きさについては、一次元または二次元の幾何学的量が意味されている。たとえば、長さ、高さ、幅、面積、周長、極値径すなわちあるセグメントの輪郭線内に収まるか該セグメントを包接する円の最小または最大の直径などである。代替的には、大きさはこれらの量の二つの組み合わせに基づいている。

計算された大きさに基づく奥行き値は、マルチビュー画像をレンダリングするための奥行き値として直接使用できる。これはたとえば前記で引用された論文で記載されている。好ましくは、本発明に基づく奥行き値は、上述したような代替的な奥行き情報に基づく他の奥行き値と組み合わされる。

本発明に基づく方法のある実施形態では、前記第一の大きさは、第一のセグメントのある第一の側から該第一のセグメントのある第二の側に伸びる線上に位置する隣接ピクセルの第一の数を決定することによって計算される。第二の大きさも同様にして、すなわち一次元でピクセル数を数えることによって計算される。この計算の利点は実装が比較的簡単であることである。

本発明に基づく方法のもう一つの実施形態では、前記第一の大きさは、第一のセグメントのエッジ上に位置する輪郭線内に位置するピクセルの第二の数を数えることによって計算される。換言すれば、第一のセグメントの面積が決定されるのである。第一のセグメントに属すると想定される全ピクセルが累積される。この計算は、セグメント分割がエッジ検出に基づいている場合で、第一のセグメントと第二のセグメントとの間の明瞭なエッジが見出されるときには有利である。

残念ながら、画像によっては絶対的な確実さをもってすべてのピクセルを分類することはできない。すなわち、ある特定のピクセルが第一のセグメントに属するが、その特定のピクセルが第二のセグメントにも属する確率があるのである。第一のセグメントの大きさを決定するためにこの特定のピクセルを考慮に入れることができるが、第二のセグメントの大きさを決定するためにもこの特定のピクセルを考慮に入れることができる。そこで、本発明に基づく方法のもう一つの実施形態では、前記第一の大きさは確率値の集合を蓄積することによって計算される。確率値は個々のピクセルが第一のセグメントに属する確率を表す。代替的に、確率値は二つのピクセルが同じセグメントに属する確率を表す。さらなる代替では、確率値の第一のものは、第一のセグメントのピクセルの第一のものと第一のセグメントのエッジ上に位置する輪郭との間のさらなる距離に基づく。

確率値を考慮に入れることによる第一のセグメントの大きさの計算は、一次元または二次元のピクセルのグループに基づく。たとえば、前記確率値の集合は第一のセグメントのある第一の側から該第一のセグメントのある第二の側に伸びる直線上に位置するピクセルに対応する。

本発明のあるさらなる目的は、冒頭で述べた種類の奥行きマップ生成ユニットであって新しい奥行き情報に基づくものを提供することである。

本発明のこの目的は、当該生成ユニットが：
・画像を第一のセグメントと第二のセグメントにセグメント分割するセグメント分割手段と、
・前記第一のセグメントの第一の大きさに基づいて、前記第一のセグメントのピクセルの第一のものに対応する奥行き値の第一のものを割り当て、前記第二のセグメントの第二の大きさに基づいて、前記第二のセグメントのピクセルの第二のものに対応する奥行き値の第二のものを割り当て、前記第一の大きさが前記第二の大きさよりも小さければ前記奥行き値の第一のものが前記奥行き値の第二のものよりも小さいようにする割り当て手段、
とを有することにおいて達成される。

本発明のあるさらなる目的は、冒頭で述べた種類の奥行きマップ生成ユニットを有する画像処理装置であって新しい奥行き情報に基づく奥行きマップを生成するよう構成されているものを提供することである。

本発明のこの目的は、当該生成ユニットが：
・画像を第一のセグメントと第二のセグメントにセグメント分割するセグメント分割手段と、
・前記第一のセグメントの第一の大きさに基づいて、前記第一のセグメントのピクセルの第一のものに対応する奥行き値の第一のものを割り当て、前記第二のセグメントの第二の大きさに基づいて、前記第二のセグメントのピクセルの第二のものに対応する奥行き値の第二のものを割り当て、前記第一の大きさが前記第二の大きさよりも小さければ前記奥行き値の第一のものが前記奥行き値の第二のものよりも小さいようにする割り当て手段、
とを有することにおいて達成される。

本発明のあるさらなる目的は、冒頭で述べた種類のコンピュータプログラムプロダクトであって新しい奥行き情報に基づくものを提供することである。

本発明のこの目的は、当該コンピュータプログラムプロダクトが、読み込まれたのちに、前記処理手段に：
・画像を第一のセグメントと第二のセグメントにセグメント分割し、
・前記第一のセグメントの第一の大きさに基づいて、前記第一のセグメントのピクセルの第一のものに対応する奥行き値の第一のものを割り当て、前記第二のセグメントの第二の大きさに基づいて、前記第二のセグメントのピクセルの第二のものに対応する奥行き値の第二のものを割り当て、前記第一の大きさが前記第二の大きさよりも小さければ前記奥行き値の第一のものが前記奥行き値の第二のものよりも小さいようにする、
こと実行する機能を与えることにおいて達成される。

奥行きマップ生成ユニットの修正およびその変形は、記載されている画像処理装置、方法およびコンピュータプログラムプロダクトの修正およびその変形に対応しうる。

本発明に基づく奥行きマップ生成ユニット、画像処理装置、方法およびコンピュータプログラムプロダクトについてこれらのことを含むさまざまな側面は、以下に付属の図面を参照しつつ述べる実装および実施形態に関連して明らかとなり、明快にされるであろう。

図面を通じて同じ参照符号は同様の部分を表すのに用いられる。

図１は、本発明に基づく方法を概略的に示している。図１は、第一のオブジェクト１１０および該第一のオブジェクト１１０の背後に位置する第二のオブジェクト１０８を表す画像１００を示している。本発明に基づく本方法の第一のステップＡはセグメント分割である。セグメント分割の結果１０２は、第一のセグメント１１４、すなわち連結したピクセルの第一のグループを含み、第二のセグメント１１２、すなわち連結したピクセルの第二のグループを含む。第一のセグメント１１４が第一のオブジェクト１１０に対応し、第二のセグメント１１２が第二のオブジェクト１０８に対応することは明らかであろう。本発明に基づく本方法の第二のステップＢは、第一のセグメント１１４および第二のセグメント１１２の大きさを確立することである。図１は、本発明に基づく本方法の中間結果１０４、すなわちセグメント１１４および１１２について計算された大きさを表す値の二次元マトリクス１０４を示している。二次元マトリクス１０４の要素の第一の集合１１８は大きさ値３が割り当てられている。要素のこの第一の集合１１８は第一のオブジェクト１１０に対応する。二次元マトリクス１０４の要素の第二の集合１１６は大きさ値１０が割り当てられている。要素のこの第二の集合１１６は第二のオブジェクト１０８に対応する。本発明に基づく本方法の第三のステップＣは、奥行き値を決定することである。図１は奥行きマップ１０６を示している。奥行きマップ１０６は、第一のオブジェクト１１０に対応する奥行き値の第一のグループ１２２と、第二のオブジェクト１０８に対応する奥行き値の第二のグループ１２０とを有している。奥行き値の第一のグループ１２２の奥行き値は、奥行き値の第二のグループ１２０の奥行き値よりも小さい。これは第一のオブジェクト１１０が第二のオブジェクト１０８よりも画像１００または該画像１００に基づくマルチビュー画像の観察者により近いことを意味している。

図２は、ある画像の、ある特定のセグメントに属するいくつかのピクセル２００〜２１８を概略的に示している。この特定のセグメントの大きさを決定するにはいくつかの方法がある。第一の方法は、最小の長さの水平線上のピクセルの数を数えることに基づく。この場合、結果として得られる大きさ値は2に等しい。たとえば、参照符号２００および２０２で、あるいは２１６および２１８で示される２つのピクセルを数えたものである。第二の方法は、最大の長さの水平線上のピクセルの数を数えることに基づく。この場合、結果として得られる大きさ値は3に等しい。たとえば、参照符号２０４〜２０８で、あるいは２１０〜２１４で示される３つのピクセルを数えたものである。第三の方法は、最小の長さの垂直線上のピクセルの数を数えることに基づく。この場合、結果として得られる大きさ値は2に等しい。すなわち、参照符号２０４および２１０で示される２つのピクセルを数えたものである。第四の方法は、最大の長さの垂直線上のピクセルの数を数えることに基づく。この場合、結果として得られる大きさ値は4に等しい。たとえば、参照符号２００、２０６、２１２、２１６で示される４つのピクセルを数えたものである。代替的には、前記特定のセグメント１１４の大きさは、幅と高さの積に基づく。たとえば、3×4＝12や2×4＝8などとなる。さらなる代替は、参照符号２００〜２１８で示されるピクセルの総数を数えることに基づくもので、結果として得られる大きさ値は10となる。

図３は、特定のセグメントに属する確率を表すいくつかのピクセルの確率値を概略的に示している。好ましくは、確率値はこの特定のセグメントの大きさを決定するために考慮に入れられる。この特定のセグメントの大きさを確率値を考慮に入れることによって決定する第一の方法は、第一の水平線上のピクセルに対応する確率値の積分または累計に基づく。たとえば、それぞれ参照符号２０４、２０６、２０８で示されるピクセルに対応する値0.5、0.9、0.7を累計することによる。図２との関連で述べたのと同様に、特定のセグメントの大きさを決定するにはいくつかの方法がある。これは、他のピクセルに対応する、確率値の他の組み合わせも使用しうることを意味している。

図４Ａおよび４Ｂは、画像および画像中のエッジ検出に基づいて見出される輪郭を概略的に示している。エッジの検出は個別の画像の空間的な高域通過フィルタ処理などに基づいてできる。しかし、エッジは好ましくは複数の画像を相互に比較すること、特にビデオ画像のシーケンスの相続く画像のピクセル値差分を計算することに基づいて検出される。ピクセル値差分E(x,y,n)の計算の第一の例は式（１）で与えられる：
E(x,y,n)＝｜I(x,y,n)−I(x,y,n−1)｜ （１）
ここで、I(x,y,n)は時刻nにおける画像の座標x,yをもつピクセルの輝度値である。代替的には、ピクセル値差分E(x,y,n)は色値に基づいて計算される：
E(x,y,n)＝｜C(x,y,n)−C(x,y,n−1)｜ （２）
ここで、C(x,y,n)は時刻nにおける画像の座標x,yをもつピクセルの色値である。式（３）では、３つの異なる色成分R（赤）、G（緑）、B（青）に基づくピクセル値差分E(x,y,n)の計算のためのさらなる代替が与えられている。

E(x,y,n)＝max（｜R(x,y,n)−R(x,y,n−1)｜, ｜G(x,y,n)−G(x,y,n−1)｜,
｜B(x,y,n)−B(x,y,n−1)｜） （３）
任意的に、ピクセル値差分信号Eはフィルタ処理をして、所定の閾値に満たないあらゆるピクセル値差分をある定数、たとえば0に制限する。任意的に、空間的に小さなエッジをすべて除去するために形態フィルタ（morphologic filter）操作が適用される。形態フィルタは一般的な非線形画像処理ユニットである。たとえばP. W. Verbeek, H. A. Vrooman and L. J. van Vlietによる論文“Low-level image processing by max-min filters” Signal Processing, vol. 15, no. 3. pp. 249-258, 1988を参照。

エッジ検出は動きベクトル場にも基づいていてもよい。これは、動きベクトル場において比較的大きな動きベクトルコントラストをもつ領域が検出されることを意味する。これらの領域は対応する画像におけるエッジと一致する。任意的に、エッジ検出ユニットはピクセル値、すなわちビデオ画像の色および／または輝度値も与えられる。動きベクトル場は、たとえばG. de Haan et al.による論文“True-Motion Estimation with 3-D Recursive Search Block Matching” IEEE Transactions on circuits and systems for video technology, vol. 3, no. 5, October 1993, pp. 368-379で規定される動き推定ユニットによって与えられる。

図４Ａは、閉じた輪郭線４０２が描かれた画像４００を示している。この輪郭線は第一のセグメントのエッジ上に、すなわち第一のセグメントと第二のセグメントとの間の境界上に位置している。閉じた輪郭線の場合、どのピクセルが第一のセグメントに属するか、どのピクセルが第一のセグメントに属さないかを決定するのは比較的簡単である。輪郭線４０２の内部にあるピクセルのグループ４０３は第一のセグメントに属している。輪郭線４０２の外部に位置するその他のピクセルのグループ４０４は第一のセグメントに属さない。閉じた輪郭線の場合、図２との関連で述べた大きさ計算の方法はストレートに適用できる。

図４Ｂは、開いた輪郭線４０８が描かれた画像４０６を示している。この輪郭線は第一のセグメントのエッジ上に、すなわち第一のセグメントと第二のセグメントとの間の境界上に位置している。残念ながら、第一のセグメントに属すると想定されるピクセルのグループと第一のセグメントに属さないと想定されるピクセルのもう一つのグループとの間には明確なエッジはない。よって、開いた輪郭線の場合、どのピクセルが第一のセグメントに属するか、どのピクセルが第一のセグメントに属さないかを決定するのはストレートにはいかない。この問題に対処する一つの選択肢は、開いた輪郭線の端点どうしをつなぐことによってエッジ検出に基づいて見出された輪郭線を閉じることである。図４では、これは参照符号４１０の線分で示されている。あるいはまた、ピクセル値のそれぞれに対して、ある特定のセグメント、たとえば第一のセグメントに属する確率を表す確率値が割り当てられる。これらの確率値に基づいて、図３との関連で説明したようにセグメントの大きさを決定することができる。

図５は、本発明に基づく奥行きマップ生成ユニット５０１を有するマルチビュー画像生成ユニット５００を概略的に示している。マルチビュー画像生成ユニット５００は、ビデオ画像のシーケンスに基づいてマルチビュー画像のシーケンスを生成するよう構成される。マルチビュー画像生成ユニット５００は、入力コネクタ５０８においてビデオ画像のストリームを与えられ、出力コネクタ５１０および５１２においてそれぞれビデオ画像の二つの相関したストリームを出力する。ビデオ画像のこれら二つの相関したストリームはマルチビューディスプレイ装置に与えられるものである。マルチビューディスプレイ装置は、ビデオ画像の相関したストリームの第一のものに基づいて第一の系列のビューを視覚化し、ビデオ画像の相関したストリームの第二のものに基づいて第二の系列のビューを視覚化するよう構成されている。ユーザー、すなわち観察者が第一の系列のビューを左目で、第二の系列のビューを右目で観察すると、３Ｄ印象を知覚する。ビデオ画像の相関したストリームの第一のものが受領されたままのビデオ画像のシーケンスに対応して、ビデオ画像の相関したストリームの第二のものが受領されたままのビデオ画像の前記シーケンスに基づいてレンダリングされるというのでもよい。好ましくは、ビデオ画像の両方のストリームが受領されたままのビデオ画像のシーケンスに基づいてレンダリングされる。そのレンダリングは、たとえばP. A. Redert, E. A. Hendriks, and J. Biemondによる論文“Synthesis of multi viewpoint images at non-intermediate positions”, Proceedings of International Conference on Acoustics, Speech, and Signal Processing, Vol. IV, ISBN0-8186-7919-0, pp.2749-2752, IEEE Computer Society, Los Alamitos, California, 1997に記載されている。あるいはまた、前記レンダリングはR. P. Berretty and F. E. Ernstによる“High-quality images from 2.5D video”, Proceedings Eurographics, Granada, 2003, Short Note 124に記載されている。

マルチビュー画像生成ユニット５００は：
・検出されたエッジに基づいて個別の入力画像についての奥行きマップを生成する奥行きマップ生成ユニット５０１、ならびに、
・前記入力画像と、前記奥行きマップ生成ユニットによって与えられる前記個別の奥行きマップとに基づいてマルチビュー画像をレンダリングするレンダリングユニット５０６、
を有する。

画像の各ピクセルについて観察者への距離を表す奥行き値を有する奥行きマップを生成する前記奥行きマップ生成ユニット５０１は：
・図４Ａとの関連で述べたようなアルゴリズムの一つに基づいてエッジを検出するよう構成されている、入力画像中のエッジを検出するエッジ検出ユニット５０２と、
・図２または図３との関連で述べたようなアルゴリズムの一つに基づいてセグメントの大きさを計算するよう構成されている、検出されたエッジに基づいて見出されるさまざまなセグメントの大きさを計算するセグメント大きさ計算ユニット５０３と、
・検出されたセグメントの大きさに基づいてピクセルに対応する奥行き値を割り当てる奥行き値割り当てユニット５０４、
とを有する。

奥行き値の割り当ては、比較的小さなセグメントに属するピクセルが比較的小さな奥行き値を割り当てられるように行われる。比較的小さな奥行き値は、対応するピクセルが、マルチビュー画像生成ユニット５００によって生成されるマルチビュー画像の観察者に比較的近いということを意味する。

ある特定のセグメントの諸ピクセルは、互いに等しい大きさ値を割り当てられることができる。それぞれが同じ計算されたセグメントの大きさを表すのである。代替的には、ある特定のセグメントの諸ピクセルは異なる大きさ値を有する。ある特定のピクセルについての割り当てられた大きさ値を制御するパラメータは、その特定のピクセルが当該セグメントに属する確率に関係している。たとえば、その特定のピクセルが比較的小さなセグメントに属する確率が比較的高い場合、その大きさ値は比較的小さい。ある特定のピクセルについての割り当てられた大きさ値を制御する代替的なパラメータは、その特定のピクセルと輪郭線との間の距離に関係している。たとえば、その特定のピクセルと輪郭線上に位置するピクセルとの間の平均距離が比較的大きい場合、その特定のピクセルが当該セグメントに属する確率も比較的高い。セグメントの大きさ計算ユニット５０３は、時刻nにおける画像の座標x,yをもつ大きさ信号S_F＝S(x,y,n)を提供するよう構成される。これはピクセルごとに該ピクセルが属するセグメントの大きさを表す。

大きさ信号S_Fの計算後、奥行きマップが決定される。これは式（４）で規定される：
D(x,y,n)＝F(S_F(x,y,n)) （４）
ここで、D(x,y,n)は時刻nにおける画像の座標x,yをもつピクセルの奥行き値であり、関数F(j)は大きさ値S_F(x,y,n)から奥行き値D(x,y,n)への線形または非線形変換である。関数F(j)は、大きさ値S_F(x,y,n)に所定の定数をかける簡単なかけ算でもよい：
D(x,y,n)＝αS_F(x,y,n) （５）
あるいはまた、関数F(j)は大きさ値S_F(x,y,n)に重み因子W(i)をかけるかけ算に対応する。この重み因子W(i)は好ましくは、考えているピクセルと該考えているピクセルの空間的近傍にある極大値をもつある第二のピクセルとの間の空間的な距離iに関係している。前記第二のピクセルはセグメントの中心に位置していると想定される。

D(x′,y′,n)＝W(x′,y′,x,y)S_F(x,y,n) （６）
エッジ検出ユニット５０２、セグメント大きさ計算ユニット５０３、奥行き値割り当てユニット５０４およびレンダリングユニット５０６は、一つのプロセッサを使って実装されてもよい。通常、これらの機能はソフトウェアプログラムプロダクトの制御のもとで実行される。実行の間、通常はソフトウェアプログラムプロダクトはRAMのようなメモリに読み込まれ、そこから実行される。プログラムはROM、ハードディスクまたは磁気的および／もしくは光学式記憶のようなバックグラウンドメモリから読み込まれてもよいし、あるいはインターネットのようなネットワークを介して読み込まれてもよい。任意的に、特定用途向けIC（application specific integrated circuit）が開示されている機能性を提供する。

図５との関連で述べたマルチビュー画像生成ユニット５００はビデオ画像を扱うよう設計されているが、本発明に基づく奥行きマップ生成ユニットの代替的な諸実施形態は個別の画像、すなわちスチール映像に基づいて奥行きマップを生成するよう構成される。

図６は、本発明に基づく画像処理装置６００であって：
・入力画像を表すビデオ信号を受け取る受領ユニット６０２と、
・図５との関連で述べた、受け取った入力信号に基づいてマルチビュー画像を生成するマルチビュー画像生成ユニット５０１と、
・前記マルチビュー画像生成ユニット５０１によって与えられるマルチビュー画像を表示するマルチビューディスプレイ装置６０６、
とを有する装置の実施形態を概略的に示している。

ビデオ信号はアンテナまたはケーブルを介して受信される放送信号であってもよいが、VCR（Video Cassette Recorder［ビデオカセットレコーダー］）またはデジタル多用途ディスク（DVD: Digital Versatile Disk）のような記憶装置からの信号であってもよい。信号は入力コネクタ６１０にて与えられる。画像処理装置６００はたとえばテレビでありうる。代替的に、画像処理装置６００は、任意的なディスプレイ装置は含まず、出力画像をディスプレイ装置６０６を有する装置に提供する。その際、画像処理装置６００はたとえばセットトップボックス、衛星チューナー、VCRプレーヤー、DVDプレーヤーまたはレコーダーなどでありうる。任意的に、画像処理装置６００は、ハードディスクのような記憶手段または光ディスクなどのリムーバブル媒体上の記憶のための手段を有している。画像処理装置６００は映画スタジオまたは放送事業者によって利用されるシステムであってもよい。

上述した実施形態が本発明を解説するものであって限定するものではなく、当業者は付属の請求項の範囲から外れることなく代替的な実施形態を設計できるであろうことを注意しておくべきであろう。請求項においては、括弧内に置かれた参照符号があったとしてもそれは請求項を限定するものと解釈してはならない。「有する」の語は請求項に挙げられていない要素またはステップの存在を排除しない。要素の単数形の表現はそのような要素の複数の存在を排除しない。本発明は、いくつかの相異なる要素を有するハードウェアによって、および好適にプログラミングされたコンピュータによって実装できる。いくつかの手段を列挙するユニット請求項においては、これらの手段のいくつかが同一のハードウェア項目によって具現されることもできる。第一、第二、第三などの語の使用は、いかなる順序も示さない。これらの語は名辞として解釈されるものとする。

本発明に基づく方法を示す概略図である。 ある特定のセグメントに属するいくつかのピクセルを示す概略図である。 いくつかのピクセルについて、ある特定のセグメントに属する確率を表す確率値を示す概略図である。 ４Ａおよび４Ｂは、画像および画像中のエッジ検出に基づいて見出される輪郭を示す概略図である。 本発明に基づく奥行きマップ生成ユニットを有するマルチビュー画像生成ユニットを示す概略図である。 本発明に基づく画像処理装置の実施形態を概略的に示す図である。

Claims (11)

1. 画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成する方法であって：
   ・画像を第一のセグメントと第二のセグメントにセグメント分割し、
   ・前記第一のセグメントの第一の大きさに基づいて、前記第一のセグメントのピクセルの第一のものに対応する奥行き値の第一のものを割り当て、前記第二のセグメントの第二の大きさに基づいて、前記第二のセグメントのピクセルの第二のものに対応する奥行き値の第二のものを割り当て、前記第一の大きさが前記第二の大きさよりも小さければ前記奥行き値の第一のものが前記奥行き値の第二のものよりも小さいようにする、
   ことを有することを特徴とする方法。
2. 前記第一の大きさが、前記第一のセグメントのある第一の側から該第一のセグメントのある第二の側に伸びる線上に位置する隣接するピクセル（２０４〜２０８）の第一の数を決定することによって計算されることを特徴とする、請求項１記載の方法。
3. 前記第一の大きさが、前記第一のセグメントのエッジ上に位置する輪郭線内に位置するピクセルの第二の数を数えることによって計算されることを特徴とする、請求項１記載の方法。
4. 前記第一の大きさが確率値の集合を累積することによって計算されることを特徴とする、請求項１記載の方法。
5. 前記確率値が、各ピクセルが前記第一のセグメントに属する確率を表すことを特徴とする、請求項４記載の方法。
6. 前記集合が、前記第一のセグメントのある第一の側から該第一のセグメントのある第二の側に伸びる線上に位置する諸ピクセルに対応することを特徴とする、請求項５記載の方法。
7. 前記確率値が、当該諸ピクセルの第一のものおよび当該諸ピクセルの第三のものが前記第一のセグメントに属する確率を表すことを特徴とする、請求項４記載の方法。
8. 前記確率値の第一のものが、前記第一のセグメントの諸ピクセルのある第一のものと前記第一のセグメントのエッジ上に位置する輪郭線との間のさらなる距離に基づくことを特徴とする、請求項４記載の方法。
9. 画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成する奥行きマップ生成ユニットであって：
   ・画像を第一のセグメントと第二のセグメントにセグメント分割するセグメント分割手段と、
   ・前記第一のセグメントの第一の大きさに基づいて、前記第一のセグメントのピクセルの第一のものに対応する奥行き値の第一のものを割り当て、前記第二のセグメントの第二の大きさに基づいて、前記第二のセグメントのピクセルの第二のものに対応する奥行き値の第二のものを割り当て、前記第一の大きさが前記第二の大きさよりも小さければ前記奥行き値の第一のものが前記奥行き値の第二のものよりも小さいようにする割り当て手段、
   とを有することを特徴とするユニット。
10. ・画像に対応する信号を受け取る受領手段と、
    ・請求項１に記載のような奥行きマップを生成する奥行きマップ生成ユニット、
    とを有することを特徴とする画像処理装置。
11. 画像の各ピクセルについて観察者への距離を表す奥行き値を含む奥行きマップを生成するための命令を有する、処理手段とメモリとを有するコンピュータ装置によって読み込まれるコンピュータプログラムであって、読み込まれたのちに、前記処理手段に：
    ・画像を第一のセグメントと第二のセグメントにセグメント分割し、
    ・前記第一のセグメントの第一の大きさに基づいて、前記第一のセグメントのピクセルの第一のものに対応する奥行き値の第一のものを割り当て、前記第二のセグメントの第二の大きさに基づいて、前記第二のセグメントのピクセルの第二のものに対応する奥行き値の第二のものを割り当て、前記第一の大きさが前記第二の大きさよりも小さければ前記奥行き値の第一のものが前記奥行き値の第二のものよりも小さいようにする、
    こと実行する機能を与えることを特徴とする、コンピュータプログラム。

Images