JP2007502454A

JP2007502454A - マルチビュー画像の生成

Info

Publication number: JP2007502454A
Application number: JP2006522460A
Authority: JP
Inventors: デベークマルクジェイアールオプ; ファビアンイーアーンスト
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2003-08-05
Filing date: 2004-07-28
Publication date: 2007-02-08
Anticipated expiration: 2024-07-28
Also published as: CN1830217A; US20060232666A1; US7764827B2; JP4644669B2; EP1654884A1; WO2005013623A1; KR20060119864A; CN1830217B; KR101038452B1

Abstract

入力画像に基づいてマルチビュー画像を生成するマルチビュー画像生成ユニット（１００）が開示される。生成ユニット（１００）は、前記入力画像におけるエッジを検出するエッジ検出手段（１０２）と、前記エッジに基づいて前記入力画像についての深度マップを生成する深度マップ生成手段（１０４）とを有し、前記深度マップの要素の第１の群が、前記マルチビュー画像の観測者に関して、第１の深度値を持つエッジに対応し、前記エッジの近隣に位置する前記入力画像の領域に対応する深度マップの要素の第２の群が、前記マルチビュー画像の観測者に関して、第２の深度値を持ち、前記第１の深度値が前記第２の深度値よりも小さく、前記生成ユニットは更に、前記入力画像及び前記深度マップに基づいて前記マルチビュー画像をレンダリングするレンダリング手段（１０６）を有する。

Description

本発明は、入力画像に基づいてマルチビュー画像を生成するマルチビュー画像生成ユニットに関する。

本発明は更に、
−入力画像に対応する信号を受信する受信手段と、
−前記入力画像に基づいてマルチビュー画像を生成する、かようなマルチビュー画像生成ユニットと、
を有する画像処理機器に関する。

本発明は更に、入力画像に基づいてマルチビュー画像を生成する方法に関する。

本発明は更に、コンピュータ装置によってロードされるコンピュータプログラムであって、入力画像に基づいてマルチビュー画像を生成する命令を有し、前記コンピュータ装置は処理手段及びメモリを有するコンピュータプログラムに関する。

マルチビュー（multi-view）表示装置において３次元の印象を生成するためには、異なる仮想的な視点からの画像がレンダリングされる必要がある。このことは、複数の入力ビュー又は何らかの３次元（３Ｄ）即ち深度情報が存在することが必要とされる。該深度情報は、マルチビューカメラシステムから生成され記録されても良いし、又は従来の２次元（２Ｄ）ビデオマテリアルから生成され記録されても良い。２Ｄビデオから深度情報を生成するために、動きからの構造、フォーカス情報、幾何的な形状及び動的な咬合のような幾つかのタイプの深度の手掛かりが利用されることができる。密な深度マップ、即ち画素毎に１つの深度値を持つ深度マップを生成することが目的となる。該深度マップは次いで、観測者に奥行の印象を与えるために、マルチビュー画像のレンダリングの際に利用される。P. A. Redert、E. A. Hendriks及びJ.Biemondによる論文「Synthesis of multi viewpoint images at non-intermediate positions」（「International Conference on Acoustics, Speech and Signal Processing」のプロシーディング、Vol. IV、ISBN0-8186-7919-0、2749-2752頁、「IEEE Computer Society」、Los Alamitos、California、1997年）において、深度情報を抽出し、入力画像及び深度マップに基づいてマルチビュー画像をレンダリングする方法が開示されている。

引用した方法の不利な点は、深度マップの生成がしばしば適切な結果に帰着せず、最終的に満足できない奥行の印象に帰着することである。

本発明の目的は、比較的限られた深度情報に基づいて、知覚的に納得できる奥行の印象を伴うマルチビュー画像をレンダリングするように構成された、最初のパラグラフに記載された種類のマルチビュー画像生成ユニットを提供することにある。

本発明の本目的は、マルチビュー画像生成ユニットであって、
前記入力画像におけるエッジを検出するエッジ検出手段と、
前記エッジに基づいて前記入力画像についての深度マップを生成する深度マップ生成手段と、
を有し、前記深度マップの要素の第１の群が、前記マルチビュー画像の観測者に関して、第１の深度値を持つエッジに対応し、前記エッジの近隣に位置する前記入力画像の領域に対応する深度マップの要素の第２の群が、前記マルチビュー画像の観測者に関して、第２の深度値を持ち、前記第１の深度値が前記第２の深度値よりも小さく、前記生成ユニットは更に、
前記入力画像及び前記深度マップに基づいて前記マルチビュー画像をレンダリングするレンダリング手段を有するマルチビュー画像生成ユニットによって達成される。その結果、実行されるマルチビュー画像のレンダリングは、エッジが周囲のエリアよりも観測者に近くに知覚されるように、即ちエッジにおいて深度差が生成されるように為される。人間の知覚の観点からは、エッジが前景のオブジェクトに属するように見える。従って局所的に、深度の順序が、前景のオブジェクトが実際に背景の前にあるように見える。本発明者は、人間の知覚がこのとき、この非常に限られた部分的な深度情報を、完全な奥行の印象へと統合することを認識した。

エッジとは、必ずしも１画素幅の変わり目を意味するものではないことは留意されるべきである。エッジは、幾つかの画素に亘って延在するソフトエッジ（soft-edge）であっても良い。

本発明によるマルチビュー画像生成ユニットの実施例においては、前記エッジ検出手段は、前記入力画像の第１の画素値と、第２の入力画像の対応する第２の画素値との間の画素値の差を計算することにより、前記エッジを検出するように構成され、前記入力画像及び前記第２の入力画像はビデオ画像のシーケンスに属する。ビデオ画像のシーケンスの後続する画像の減算に基づくエッジの検出は、比較的容易である。本実施例の利点は、比較的単純な計算リソースを用いてリアルタイムの実装が実現されることができる点である。画素値は、色又は輝度のような可視の情報を表す。

画素値の差を計算することによりエッジを検出するように構成された、本発明によるマルチビュー画像生成ユニットの実施例においては、前記第１の深度値は、前記画素値の差の第１のものの関数である。換言すれば、前記計算された画素値の差が、深度値を決定するために利用される。好ましくは、前記計算された画素値の差は、前記深度値に比例する。任意に、前記画素値の差の計算の中間結果に対してフィルタリングが適用される。前記フィルタリングは、空間的、時間的又は空間−時間的なローパスフィルタリングを含んでも良い。代替として、比較的低い前記画素値の差をフィルタリングにより除去するため、閾値が利用される。これら比較的低い画素値の差は、このときノイズとして解釈される。

本発明によるマルチビュー画像生成ユニットの実施例においては、前記エッジ検出手段は、前記入力画像及び前記第２の入力画像に基づいて計算された動きベクトル場に基づいて前記エッジを検出するように構成され、前記入力画像及び前記第２の入力画像はビデオ画像のシーケンスに属する。好ましくは、前記エッジ検出手段は、前記動きベクトル場の隣接する動きベクトルの動きベクトル差を計算することにより前記エッジを検出するように構成される。動きベクトル場を計算することは、例えばビデオ圧縮、デインタレーシング（de-interlacing）又は時間的な上方変換について知られた、一般的な手法である。一般に、動きベクトル場における不連続、即ち前記動きベクトル場の隣接する動きベクトル間の比較的大きな差は、捕捉された場面における移動するオブジェクトの境界、それ故関連するエッジに対応する。本発明による本実施例の利点は、異なるタイプのエッジ間を区別する、即ち略静的なオブジェクトに属するエッジと、移動するオブジェクトに属するエッジとの間を区別するように構成された点である。特に、後者のタイプのエッジは重要である。なぜなら、これらのエッジは一般に前景のオブジェクトに対応するからである。

動きベクトル場に基づいてエッジを検出するように構成された、本発明によるマルチビュー画像生成ユニットの実施例においては、前記第１の深度値は、前記動きベクトル差の第１のものの関数である。換言すれば、計算された動きベクトルの差が、深度値を決定するために利用される。好ましくは、前記計算された動きベクトルの差は、前記深度値に比例する。

本発明の更なる目的は、比較的限られた深度情報に基づいて、知覚的に納得できる奥行の印象を伴うマルチビュー画像をレンダリングするように構成された、最初のパラグラフに記載された種類のマルチビュー画像生成ユニットを有する画像処理機器を提供することにある。

本発明の本目的は、マルチビュー画像生成ユニットであって、
前記入力画像におけるエッジを検出するエッジ検出手段と、
前記エッジに基づいて前記入力画像についての深度マップを生成する深度マップ生成手段と、
を有し、前記深度マップの要素の第１の群が、前記マルチビュー画像の観測者に関して、第１の深度値を持つエッジに対応し、前記エッジの近隣に位置する前記入力画像の領域に対応する深度マップの要素の第２の群が、前記マルチビュー画像の観測者に関して、第２の深度値を持ち、前記第１の深度値が前記第２の深度値よりも小さく、前記生成ユニットは更に、
前記入力画像及び前記深度マップに基づいて前記マルチビュー画像をレンダリングするレンダリング手段を有する、マルチビュー画像生成ユニットによって達成される。

任意に、前記画像処理機器は、前記マルチビュー画像を表示するためのマルチビュー表示装置を更に有する。

本発明の更なる目的は、比較的限られた深度情報に基づいて、知覚的に納得できる奥行の印象を伴うマルチビュー画像をレンダリングする、最初のパラグラフに記載された種類の方法を提供することにある。

本発明の本目的は、前記入力画像におけるエッジを検出するステップと、
前記エッジに基づいて前記入力画像についての深度マップを生成するステップと、
を有する方法であって、前記深度マップの要素の第１の群が、前記マルチビュー画像の観測者に関して、第１の深度値を持つエッジに対応し、前記エッジの近隣に位置する前記入力画像の領域に対応する深度マップの要素の第２の群が、前記マルチビュー画像の観測者に関して、第２の深度値を持ち、前記第１の深度値が前記第２の深度値よりも小さく、前記方法は更に、
前記入力画像及び深度マップに基づいて前記マルチビュー画像をレンダリングするステップを有する方法によって達成される。

本発明の更なる目的は、比較的限られた深度情報に基づいて、知覚的に納得できる奥行の印象を伴うマルチビュー画像をレンダリングする、最初のパラグラフに記載された種類のコンピュータプログラムを提供することにある。

本発明の本目的は、前記入力画像におけるエッジを検出するステップと、
前記エッジに基づいて前記入力画像についての深度マップを生成するステップと、
を実行する機能を前記処理手段に備えさせるコンピュータプログラムであって、前記深度マップの要素の第１の群が、前記マルチビュー画像の観測者に関して、第１の深度値を持つエッジに対応し、前記エッジの近隣に位置する前記入力画像の領域に対応する深度マップの要素の第２の群が、前記マルチビュー画像の観測者に関して、第２の深度値を持ち、前記第１の深度値が前記第２の深度値よりも小さく、前記コンピュータプログラムは更に、ロードされた後に、
前記入力画像及び深度マップに基づいて前記マルチビュー画像をレンダリングするステップを実行する機能を前記処理手段に備えさせるコンピュータプログラムによって達成される。

マルチビュー画像生成ユニットの変更及び変形例は、記載された画像処理機器、方法及びコンピュータプログラムの変更及び変形例に対応しても良い。

本発明によるマルチビュー画像生成ユニット、画像処理機器、方法及びコンピュータプログラムのこれらの及び他の態様は、以下に説明される実装及び実施例に関して、及び添付する図を参照しながら説明され、明らかとなるであろう。

図を通して、同一の参照番号が類似の部分を示すために利用される。

図１は、本発明によるマルチビュー画像生成ユニット１００の実施例を模式的に示す。マルチビュー画像生成ユニット１００は、ビデオ画像のシーケンスに基づいて、マルチビュー画像のシーケンスを生成するように構成される。図３は、前記ビデオ画像のシーケンスの入力画像を模式的に示す。マルチビュー画像生成ユニット１００は、入力コネクタ１０８においてビデオ画像のストリームを供給され、出力コネクタ１１０及び１１２において２つの関連付けられたビデオ画像のストリームを供給する。これら２つの関連付けられたビデオ画像のストリームは、前記関連付けられたビデオ画像のストリームのうちの第１のものに基づいて第１の一連のビューを視覚化し、前記関連付けられたビデオ画像のストリームの第２のものに基づいて第２の一連のビューを視覚化するように構成された、マルチビュー表示装置に供給される。ユーザが左目で前記第１の一連のビューを観測し、右目で前記第２の一連のビューを観測すると、該ユーザは３次元の印象を認識する。前記関連付けられたビデオ画像のストリームの第１のものが、受信されたビデオ画像のシーケンスに対応し、前記関連付けられたビデオ画像のストリームの第２のものが、前記受信されたビデオ画像のシーケンスに基づいてレンダリングされるものであっても良い。好ましくは、両方の前記ビデオ画像のストリームが、受信されたビデオ画像のシーケンスに基づいてレンダリングされる。前記レンダリングは、例えばP. A. Redert、E. A. Hendriks及びJ.Biemondによる論文「Synthesis of multi viewpoint images at non-intermediate positions」（「International Conference on Acoustics, Speech and Signal Processing」のプロシーディング、Vol. IV、ISBN0-8186-7919-0、2749-2752頁、「IEEE Computer Society」、Los Alamitos、California、1997年）に記載されたようなものである。代替としては、前記レンダリングは、R. P. Berretty及びF. E. Ernstによる「High-quality images from 2.5D video」（「Proceedings Eurographics」、Granada、2003年、Short Note 124）に記載されたようなものである。

マルチビュー画像生成ユニット１００は、
−入力画像におけるエッジを検出するエッジ検出ユニット１０２と、
−前記検出されたエッジに基づいてそれぞれの前記入力画像について深度マップを生成する深度マップ生成ユニット１０４と、
−前記入力画像及びそれぞれの前記深度マップに基づいて、マルチビュー画像をレンダリングするレンダリングユニット１０６と、
を有する。

エッジの検出は、個々の入力画像の空間的なハイパスフィルタリングに基づくものであっても良い。しかしながら、前記エッジは好ましくは、複数の入力画像の相互の比較、とりわけビデオ画像のシーケンスの連続する画像の画素値の差の計算に基づいて検出される。画素値の差Ｓ（ｘ，ｙ，ｎ）の計算の第１の例は、式１に与えられる。
Ｓ（ｘ，ｙ，ｎ）＝｜Ｉ（ｘ，ｙ，ｎ）−Ｉ（ｘ，ｙ，ｎ−１）｜・・・（１）
ここでＩ（ｘ，ｙ，ｎ）は、時間ｎにおける画像の座標ｘ及びｙを持つ画素の輝度値である。代替としては、画素値の差Ｓ（ｘ，ｙ，ｎ）は色値に基づいて計算される。
Ｓ（ｘ，ｙ，ｎ）＝｜Ｃ（ｘ，ｙ，ｎ）−Ｃ（ｘ，ｙ，ｎ−１）｜・・・（２）
ここでＣ（ｘ，ｙ，ｎ）は、時間ｎにおける画像の座標ｘ及びｙを持つ画素の色値である。式３において、３つの異なる色成分Ｒ（赤）、Ｇ（緑）及びＢ（青）に基づく、画素値の差Ｓ（ｘ，ｙ，ｎ）の計算のための更なる代替が与えられる。
Ｓ（ｘ，ｙ，ｎ）＝ｍａｘ（｜Ｒ（ｘ，ｙ，ｎ）−Ｒ（ｘ，ｙ，ｎ−１）｜，｜Ｇ（ｘ，ｙ，ｎ）−Ｇ（ｘ，ｙ，ｎ−１）｜，｜Ｂ（ｘ，ｙ，ｎ）−Ｂ（ｘ，ｙ，ｎ−１）｜）・・・（３）

任意に、画素の値の差信号

が、所定の閾値を下回る全ての画素値の差を、例えばゼロのような一定値にクリッピングすることにより、フィルタリングされる。任意に、全ての空間的に小さなエッジを除去するため、モルフォロジック（morphologic）フィルタ操作が適用される。モルフォロジックフィルタは、一般的な非線形画像処理ユニットである。例えばP. W. Verbeek、H. A. Vrooman及びL. J. van Vlietによる論文「Low-level image processing by max-min filters」（「Signal Processing」、vol.15、no.3、249-258頁、1988年）を参照されたい。

前記フィルタリングされた画素値の差信号

の計算の後、深度マップが決定される。このことは式４において規定される。
Ｄ（ｘ，ｙ，ｎ）＝Ｆ（Ｓ_Ｆ（ｘ，ｙ，ｎ））・・・（４）
ここでＤ（ｘ，ｙ，ｎ）は、時間ｎにおける画像の座標ｘ及びｙを持つ画素の深度値である。関数Ｆ（ｊ）は、画素値の差Ｓ_Ｆ（ｘ，ｙ，ｎ）の深度値Ｄ（ｘ，ｙ，ｎ）への線形又は非線形の変換である。該関数Ｆ（ｊ）は、所定の定数による画素値の差Ｓ_Ｆ（ｘ，ｙ，ｎ）の単純な乗算であっても良い。即ち、
Ｄ（ｘ，ｙ，ｎ）＝α・Ｓ_Ｆ（ｘ，ｙ，ｎ）・・・（５）
代替としては、関数Ｆ（ｊ）は、重み因子Ｗ（ｉ）による画素値の差Ｓ_Ｆ（ｘ，ｙ，ｎ）の乗算に対応する。ここで重み因子Ｗ（ｉ）は、対象となる画素と、該対象となる画素の空間的な近隣における第２の画素との間の空間的な距離ｉに関連する。重み因子Ｗ（ｉ）は、局所的な最大値を持つ。前記第２の画素は、前記エッジの中央に位置することが仮定される。
Ｄ（ｘ’，ｙ’，ｎ）＝Ｗ（ｘ，ｙ，ｘ’，ｙ’）＊Ｓ_Ｆ（ｘ，ｙ，ｎ）・・・（６）
図５Ａは、エッジに対する深度割り当てのための適切な関数、即ち空間的な距離ｉの関数としての重み因子Ｗ（ｉ）を模式的に示す。

上述した演算の結果は、前記エッジに対応する特定の深度マップの要素の第１の群が、マルチビュー画像の観測者に関して、第１の深度値を持つこと、及び前記エッジの近隣に位置する特定の入力画像の領域に対応する深度マップの要素の第２の群が、前記マルチビュー画像の観測者に関して、第２の深度値を持つこと、並びに前記第１の値が前記第２の値よりも小さいことである。又は換言すれば、前記エッジに対応する深度マップの要素は、前記深度マップの他の要素よりも前記観測者への近い距離を表す値を持つ。

図４Ａは、連続する入力画像の間の色差に基づく深度マップの例を模式的に示す。該深度マップは、上述の式２及び５において示されたように決定されるが、フィルタリングを用いない。

エッジ検出ユニット１０２、深度マップ生成ユニット１０４及びレンダリングユニット１０６は、１つのプロセッサを利用して実装されても良い。通常、これらの機能は、ソフトウェアプログラムの制御下で実行される。実行の間、通常前記ソフトウェアプログラムは、ＲＡＭのようなメモリにロードされ、該メモリから実行される。前記プログラムは、ＲＯＭ、ハードディスク又は磁気及び／又は光記憶装置のようなバックグラウンドメモリからロードされても良いし、又はインターネットのようなネットワークを介してロードされても良い。任意に、特定用途向け集積回路が、開示される機能を提供する。

図２は、本発明によるマルチビュー画像生成ユニット２００の他の実施例を模式的に示す。マルチビュー画像生成ユニット２００は、ビデオ画像のシーケンスに基づきマルチビュー画像のシーケンスを生成するように構成される。マルチビュー画像生成ユニット２００は、入力コネクタ１０８においてビデオ画像のストリームを供給され、出力コネクタ１１０及び１１２において２つの関連付けされたビデオ画像のストリームを供給する。マルチビュー画像生成ユニット２００は、
−入力画像の動きベクトル場を計算する動き推定ユニット２０２と、
−それぞれの前記動きベクトル場に基づいて入力画像におけるエッジを検出するエッジ検出ユニット１０２と、
−前記検出されたエッジに基づいてそれぞれの前記入力画像について深度マップを生成する深度マップ生成ユニット１０４と、
−前記入力画像及び前記それぞれの深度マップに基づいてマルチビュー画像をレンダリングするレンダリングユニット１０６と、
を有する。

動き推定ユニット２０２は例えば、G. de Haanらによる論文「True-Motion Estimation with 3-D Recursive Search Block Matching」（「IEEE Transactions on circuits and systems for video technology」、vol.3、no.5、1993年10月、368-379頁）において記載されたようなものである。

エッジ検出ユニット１０２は、動き推定ユニット２０２によって計算された動きベクトル場を供給される。エッジ検出ユニット１０２は、動きベクトル場の不連続を決定するように構成される。このことは、該エッジ検出ユニット１０２が、比較的大きな動きベクトルのコントラストを持つ動きベクトル場における領域を検出するように構成されることを意味する。これらの領域は、対応する画像におけるエッジに対応する。任意にエッジ検出ユニット１０２は、前記入力画像の画素値、即ち色及び輝度値をも供給される。種々の入力を適切に組み合わせることにより、前記画像におけるセグメントが実現される。該処理はまた、F. Ernstによる「2D-to-3D video conversion based on time-consistent segmentation」（ICOB (Immersive Communication and Broadcast Systems)ワークショップのプロシーディング、Heinrich-Herz-Institut、Berlin、2003年１月）に記載されている。前記画像におけるセグメントの検出されたエッジの座標に加えて、前記セグメントのトポロジ情報もがエッジ検出ユニット１０２によって供給されても良い。それ故、前記エッジのどちらの側が前景のオブジェクトに属し、どちらの側が背景に属するかが知られ得る。

エッジ検出の後、深度値の割り当てが実行される。好ましくは、前記深度値の割り当ては、図５Ｂ及び５Ｃに示されたような重み因子Ｗ（ｉ）に基づく。これらの図５Ｂ及び５Ｃにおいては、左部が前景に対応することが仮定されている。図５Ｂは非対称の割り当てを示し、深度ジャンプが前景に方向に偏りをつけられている。図５Ｃは歪んだ割り当てを示し、深度ジャンプが背景において、より急速に降下している。一方、エッジの周囲の深度の図５Ａにおいて示されたような対称の割り当ては、適切な知覚のために十分であるように見える。他の何らかの深度の手掛かりから、付加的な深度情報がある場合には、該情報がエッジに対する深度値の割り当てに適用されることが好ましい。深度値の割り当ては好ましくは、前記エッジの前景側が、前記エッジの背景側よりも幾分前方にレンダリングされるように、僅かに偏りをつけられる。上述したように、エッジ検出ユニット１０２は、前記セグメントのトポロジについての情報を提供するように構成される。それ故、前記エッジのどちらの側が前景に属し、どちらの側が背景に属するかが知られる。図４Ｂは、本発明による本実施例の深度マップ生成ユニット１０４によって提供される動きの不連続に基づく深度マップを模式的に示す。

動き推定ユニット２０２、エッジ検出ユニット１０２、深度マップ生成ユニット１０４及びレンダリングユニット１０６は、１つのプロセッサを利用して実装されても良い。

要約すると、マルチビュー画像生成ユニット１００及び２００は、深度の不連続の優れた候補である、入力画像におけるエッジを検出し、前記エッジが周囲のエリアよりも観測者に近くに知覚されるようにこれらの画像をレンダリングすることにより、マルチビュー画像をレンダリングするように構成される。

深度の割り当ては主にエッジ検出に基づくため、実装が容易であり安定性がある。特に、色、輝度、テクスチャ又は動きに基づいて、エッジ検出が比較的容易であるからである。好ましくは、例えば前記エッジは、エッジごとの深度割り当てを時間経過に対して安定性のあるものに保つため、例えば時間不変なセグメンテーションによって、時間とともに追跡される。

図６は、本発明による画像処理機器６００の実施例を模式的に示す。該画像処理機器６００は、
−入力画像を表すビデオ信号を受信する受信ユニット６０２と、
−図１及び２のいずれかと共に説明されたような、前記受信された入力画像に基づいてマルチビュー画像を生成するマルチビュー画像生成ユニット６０４と、
−マルチビュー画像生成ユニット６０４によって供給された前記マルチビュー画像を表示するマルチビュー表示装置６０６と、
を有する。

前記ビデオ信号は、アンテナ又はケーブルを介して受信される放送信号であっても良いが、ＶＣＲ（Video Cassette Recorder）又はディジタル・バーサタイル・ディスク（ＤＶＤ）のような記憶装置からの信号であっても良い。前記信号は入力コネクタ６１０において供給される。画像処理機器６００は、例えばＴＶであっても良い。代替として、画像処理機器６００は、任意の表示装置を有しないが、表示装置６０６を有する機器に前記出力画像を供給する。このとき画像処理機器６００は、例えばセットトップボックス、衛星チューナ、ＶＣＲプレイヤ、ＤＶＤプレイヤ又はレコーダであっても良い。任意に、画像処理機器６００は、ハードディスクのような記憶手段、又は例えば光ディスクのような着脱可能な媒体に記憶するための手段を有する。画像処理機器６００は、映画スタジオ又は放送局によって利用されるシステムであっても良い。

上述の実施例は、本発明を限定するものではなく説明するものであって、当業者は添付される請求の範囲から逸脱することなく代替の実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する（comprising）」なる語は、請求項に列挙されていない要素又はステップの存在を除外するものではない。要素に先行する「１つの（a又はan）」なる語は、複数のかような要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記するユニット請求項において、これらの手段の幾つかは、同一のハードウェアのアイテムによって実施化されても良い。

本発明によるマルチビュー画像生成ユニットの実施例を模式的に示す。本発明によるマルチビュー画像生成ユニットの他の実施例を模式的に示す。ビデオ画像のシーケンスの入力画像を模式的に示す。連続する入力画像間の色差に基づく深度マップを模式的に示す。動きの不連続に基づく深度マップを模式的に示す。エッジに対する深度の割り当てのための第１の関数を模式的に示す。エッジに対する深度の割り当てのための第２の関数を模式的に示す。エッジに対する深度の割り当てのための第３の関数を模式的に示す。本発明による画像処理機器の実施例を模式的に示す。

Claims

入力画像に基づいてマルチビュー画像を生成するマルチビュー画像生成ユニットであって、前記生成ユニットは、
前記入力画像におけるエッジを検出するエッジ検出手段と、
前記エッジに基づいて前記入力画像についての深度マップを生成する深度マップ生成手段と、
を有し、前記深度マップの要素の第１の群が、前記マルチビュー画像の観測者に関して、第１の深度値を持つエッジに対応し、前記エッジの近隣に位置する前記入力画像の領域に対応する深度マップの要素の第２の群が、前記マルチビュー画像の観測者に関して、第２の深度値を持ち、前記第１の深度値が前記第２の深度値よりも小さく、前記生成ユニットは更に、
前記入力画像及び前記深度マップに基づいて前記マルチビュー画像をレンダリングするレンダリング手段を有する、マルチビュー画像生成ユニット。
前記エッジ検出手段は、前記入力画像の第１の画素値と、第２の入力画像の対応する第２の画素値との間の画素値の差を計算することにより、前記エッジを検出するように構成され、前記入力画像及び前記第２の入力画像はビデオ画像のシーケンスに属する、請求項１に記載のマルチビュー画像生成ユニット。
前記第１の画素値は、色及び輝度のうちの一方を表す、請求項２に記載のマルチビュー画像生成ユニット。
前記第１の深度値は、前記画素値の差の第１のものの関数である、請求項２に記載のマルチビュー画像生成ユニット。
前記エッジ検出手段は、前記入力画像及び前記第２の入力画像に基づいて計算された動きベクトル場に基づいて前記エッジを検出するように構成され、前記入力画像及び前記第２の入力画像はビデオ画像のシーケンスに属する、請求項１に記載のマルチビュー画像生成ユニット。
前記エッジ検出手段は、前記動きベクトル場の隣接する動きベクトルの動きベクトル差を計算することにより前記エッジを検出するように構成された、請求項５に記載のマルチビュー画像生成ユニット。
前記第１の深度値は、前記動きベクトル差の第１のものの関数である、請求項６に記載のマルチビュー画像生成ユニット。
入力画像に対応する信号を受信する受信手段と、
請求項１に記載の、前記入力画像に基づいてマルチビュー画像を生成するマルチビュー画像生成ユニットと、
を有する、画像処理機器。
前記マルチビュー画像を表示するマルチビュー表示装置を更に有する、請求項８に記載の画像処理機器。
入力画像に基づいてマルチビュー画像を生成する方法であって、前記方法は、
前記入力画像におけるエッジを検出するステップと、
前記エッジに基づいて前記入力画像についての深度マップを生成するステップと、
を有し、前記深度マップの要素の第１の群が、前記マルチビュー画像の観測者に関して、第１の深度値を持つエッジに対応し、前記エッジの近隣に位置する前記入力画像の領域に対応する深度マップの要素の第２の群が、前記マルチビュー画像の観測者に関して、第２の深度値を持ち、前記第１の深度値が前記第２の深度値よりも小さく、前記方法は更に、
前記入力画像及び深度マップに基づいて前記マルチビュー画像をレンダリングするステップを有する方法。
入力画像に基づいてマルチビュー画像を生成する命令を有する、コンピュータ装置によってロードされるコンピュータプログラムであって、前記コンピュータ装置は処理手段及びメモリを有し、前記コンピュータプログラムは、ロードされた後に、
前記入力画像におけるエッジを検出するステップと、
前記エッジに基づいて前記入力画像についての深度マップを生成するステップと、
を実行する機能を前記処理手段に備えさせ、前記深度マップの要素の第１の群が、前記マルチビュー画像の観測者に関して、第１の深度値を持つエッジに対応し、前記エッジの近隣に位置する前記入力画像の領域に対応する深度マップの要素の第２の群が、前記マルチビュー画像の観測者に関して、第２の深度値を持ち、前記第１の深度値が前記第２の深度値よりも小さく、前記コンピュータプログラムは更に、ロードされた後に、
前記入力画像及び深度マップに基づいて前記マルチビュー画像をレンダリングするステップを実行する機能を前記処理手段に備えさせるコンピュータプログラム。