JP2009517951A - 立体画像表示方法、２次元画像データの入力から３次元画像データを生成する方法及び装置 - Google Patents

Abstract

２次元画像データは３次元画像データに変換される。画像は、焦点の特徴に基づいて２以上の領域に分割され、どの領域に２つの領域を分離するエッジが属するかが判定される。領域は、エッジを含む領域が隣接する領域よりも見る人に近いというルールに従って深さについて順序付けされ、領域の確定された深さの順序に従って３次元の深さ情報が領域に割り当てられる。好ましくは、領域のそれぞれに対して、領域の平均又は中間の焦点の特性に依存して深さが割り当てられる。

Description

本発明は、２次元画像データが３次元画像データに変換され、焦点情報が２次元画像データから抽出され、３次元画像データを生成するために使用される立体画像表示方法に関する。

また、本発明は、２次元画像データの入力と、入力された２次元画像データを３次元画像データに変換するコンバータとを有する立体画像表示装置に関し、コンバータは、２次元画像データから焦点情報を抽出するフォーカス情報抽出手段を有する。

また、本発明は、画像表示データ変換方法に関し、２次元画像データは、３次元画像データに変換され、焦点情報は、２次元画像データから抽出され、３次元画像データを生成するために使用される。

さらに、本発明は、３次元画像信号に関する。
さらに、本発明は、コンピュータアレンジメントによりロードされるコンピュータプログラムプロダクトに関し、このプロダクトは、２次元画像データの入力に基づいて３次元画像データを生成する命令を含み、コンピュータアレンジメントは、処理手段を有する。

開始節で記載される類の立体画像表示方法及び装置は、ＥＰ１０２１０４９に開示されている。このＥＰ１０２１０４９では、３次元ビデオ画像は、２次元ビデオ入力から生成される。公知の装置及び方法は、２次元ビデオ入力から抽出された焦点情報に基づいて判別するフォアグランド／バックグランドの判別回路を使用する。視差の制御信号は、エッジ検出に基づいて出力され、シャープなエッジは、３次原画像のフォアグランドに配置される。

公知の方法及び装置は、比較的シンプルな装置及び方法を提供するものであるが、レンダリングされた３次原画像は、混乱させられる画像であり、ビジョンの深さ、すなわち３次元の効果は区別することが困難であることが分かっている。

本発明の目的は、２次元画像の入力に基づいて３次元画像のレンダリングを改善することにある。

上記目的を達成するため、本発明に係る方法は、焦点の特徴に基づいて、画像が２以上の領域に分割されることを特徴とする。画像のどの領域に対して２つの領域を分離するエッジが属するかが判定される。エッジを含む領域が隣接する領域よりも見る人に近いというルールに従って領域間で深さのオーダが確定される。３次元の深さ情報は、領域の確立された深さのオーダに従って領域に割り当てられる。

ＥＰ１０２１０４９の従来技術の方法では、エッジの検出が実行される。シャープなエッジは、フォアグランドで配置される。しかし、このスキームは、混乱させる結果を与える。それは、バンクグランドの焦点が合っており、フォアグランドの焦点が合ってないケースで、現実にフォアグランドにある画像の部分はバックグランドのパララックスにあり、逆も然りであるためである。これは、混乱させる画像を与え、パララックス情報は、見る人に、３次元画像の所定の部分がフォアグランドにあり、他の部分がバックグランドにあるという手掛かりを与えるが、画像の現実の内容は、見る人に完全に反対の手掛かりを与え、すなわちパララックスの手掛かりに従うフォアグランドであるものは、実際に内容に従ってバックグランドである。

３次元の感覚は、せいぜい混乱させるものであり、特に公知の方法により与えられる深さの手掛かりは通常制限されたものであるので失われることがある。人間の脳は不完全な深さの手掛かりから立体的な感覚を再構成可能とされる。従来技術の方法及び装置における深さの手掛かりは、互いに一致しないことがあり、シーンからシーンに変化する場合さえあり、すなわちあるシーンでは、深さの手掛かりは正しく、コンフリクトする深さの手掛かりへの突然のシフトが続き、フォアグランドの図がバックグランドの木に隠れる。深さの感覚は、失われるか、少なくとも、深さの手掛かり間の非常に悩ましいコンフリンクトが見る人により知覚される。

本発明に係る方法は、この問題を解決するか、少なくとも低減する。画像は、たとえばぼやけた半径といったフォーカス情報に基づいて領域に分割される。画像の画素又はブロックは、類似のフォーカス特性を有する多数の領域にクラスタリングされる。たとえばブロック当たりの平均のぼやけといったフォーカス情報に基づいて、画像は２以上の領域に分割され、それぞれの領域は、平均されたフォーカス特性を有する。どの領域に対して２つの領域を分離するエッジが属するかが判定される。これは、たとえば検出されたエッジのシャープネス（ぼやけ）をエッジの何れかの再度を境界付けている領域の平均のぼやけに比較することで行われる場合がある。ぼやけたエッジは、高いぼやけを有する境界付けする領域に属し、シャープなエッジは、低いぼやけを有する領域に属する。深さのオーダリングは、複数の領域で実行され、エッジを含む領域が隣接する領域よりも見る人に近いというルールに従う。３次元情報は、深さのオーダリングに従って領域に割り当てられる。様々な画像の領域は、深さのレイヤを形成する。画像を領域に分割することは、画素又はブロックを領域にクラスタリングすることで実行される。このクラスタリングは、画素毎に行われるが、画像の領域への分割の前に、フォーカス特性が画素のブロック当たり決定され、ブロックが領域にクラスタリングされるときに、よりロバストな結果が得られる。ブロックは、ｎ及びｍが典型的に２，４，８又は１６として、ｎ×ｍ画素、通常はｍ×ｍ画素を有する画像の小さな部分である。

公知の方法に比較した方法の利点は、たとえば人がフラワーアレンジメントの背後に部分的に座っている画像について明らかである。人は焦点が合っており、フラワーアレンジメントは焦点が合っていない。公知の方法を使用して、焦点が合い、シャープな画像のエッジを有する人にはパララックスが与えられ、ぼやけたエッジを有するフォアグランド及びフラワーアレンジメントを示す画像部分において、バックグランドに対応するパララックスが与えられる。これは、人はフラワーアレンジメントの部分的に背後にあり、逆ではないので、真の状況と矛盾する。公知の方法及び装置は、２つの矛盾する、実際に調停できない深さの手掛かりで見る人と直面する。フラワーアレンジメントの前のフォアグランドに人を配置するパララックスの深さの手掛かりは、フラワーアレンジメントの背後に座っている人を示す、画像情報の深さの手掛かりに矛盾する。

本発明に係る方法は、矛盾する深さの手掛かりを提供しない。画像は複数の領域に分割され、たとえば人を含む焦点の合った領域とフラワーアレンジメントを含む焦点が外れた領域といった少なくとも２つの領域を有する。フラワーアレンジメントを含む領域と人を含む領域とを分離するエッジは、フラワーアレンジメントのぼやけたエッジにより形成される。したがって、フラワーアレンジメントを有するエッジの領域は、２つの領域を分離するエッジを含む領域が他の領域よりも見る人に近いというルールに従って、フォアグランドに配置される。ぼやけたエッジにより境界付けされるアウトオブフォーカスのフォアグランド領域は、焦点の合ったバックグランド領域の前に配置される。したがって、焦点が合った人の前の焦点が外れたフォアグランドのフラワーアレンジメントといった２つの領域が存在する場合、正しいパララックスは、両方の領域に割り当てられる。焦点が外れたフォアグランドのフラワーアレンジメント、焦点が合った人及び焦点が外れたバックグランドといった３つの領域が存在する場合、正しい３次元情報は、３つの領域について提供される。本発明に係る方法の結果は、この例では、深さのオーダリングがシャープなエッジをフォアグランドに配置することで行われることを説明する、ＥＰ０１２１０４９の教示の真のコアに対する結果を提供することが強調される。

好ましくは、３次元の深さ情報は、複数の領域のフォーカス情報に依存して割り当てられる。この平均のフォーカス特性は、複数の領域間で深さにおける差に関する手掛かりを与える。これは、３次元の効果を改善するために使用される。

好適な実施の形態では、領域の数は３又は２である。画像の画素又はブロックを２又は３の領域にクラスタリングすることで、制限された計算能力のみを必要としつつ、良好な結果が与えられることが分かっている。全ての画像の大部分が焦点の合った部分及び焦点の合っていない部分を有し、焦点の合っていない部分はときにフォアグランドであり、ときにバックグランドであり、これにより、２つの領域で十分である。時々、焦点が合っていない部分は、フォアグランド及びバックグランドの部分を含み、たとえばフォアグランドの木及びバックグランドの森並びに中間の焦点の合った領域であり、このケースでは、３つの領域で通常は十分である。

好適な実施の形態では、画像の画素又はブロックの焦点の特性の統計的な分布が行われ、領域の数は、統計的な分布に依存して決定される。

ぼかし半径のような焦点の特性は、制限されたピーク数の周りでクラスタリングされ、一方は、小さなぼかし半径、すなわち焦点の合った又はほぼ焦点の合った部分に対応し、別又は他方は、大きなぼかし半径、すなわち画像の焦点が外れた部分に対応する。これらの統計的なデータを使用することで、領域を分割することができる領域数の迅速な決定が可能となる。

本発明に係る画像表示装置は、本発明に係る方法を実行する手段を有する。
また、本発明は、本発明に係る方法のステップを実行する手段を有する送信機で実施される。
本発明のこれらの目的及び他の目的は、以下に記載される実施の形態を参照して明らかにされるであろう。

図面はスケーリングされて描かれていない。一般に、同一のコンポーネントは、図面において同じ参照符号により示される。

凸薄型レンズのようなシンプルな光システムでは、レンズから特定の距離にある対象物は、画像平面で明確に描かれ（対象物は焦点が合っており）、他の距離にある対象物は、焦点面からのそれらの距離に比例してぼやけてマッピングされる（対象物は焦点が合っていない）。ポイントソースについて後者の状況は、図１に示される。

ぼやけの挙動は、薄型レンズの式に従う。

ここでｆはレンズの焦点距離を表し、ｕは対象物の距離であり、ｖは画像の距離である。図１における幾何学的な関係及びレンズの式から、距離ｕの式を導出することができる。

ここでｕ₀はポイントの焦点が合っている距離を示す。パラメータｓは、レンズの距離に対する画像平面であり、パラメータｋは、レンズシステムの特性により決定される定数である。パラメータｆ，ｓ及びｋは、カメラパラメータであり、カメラのキャリブレーションから決定することができる。したがって、対象物の距離ｕの推定は、カメラパラメータを決定し、ぼかし半径（blur radius）σを推定することを含む。したがって、画像のぼやけの間の関係、すなわち焦点の特性及び距離が存在する。

２次元から３次元への変換について、たとえばレンダリングされたビューのパララックスが不均衡さにおいてリニアであるので、不均衡さ（逆の深さ）は、深さそれ自身よりも更に関連のある量である。先の表現を使用して、焦点の合っているポイントと焦点の合っていないポイントとの間の不均衡の差（disparity difference）とぼかし半径σとの間の関係を発見することができる。

言い換えれば、焦点面への不均衡の差は、ぼかし半径に比例する。さらに、レンダリングされたビューの不均衡の量はユーザの好み及び／又はディスプレイの能力を収容するために通常変化するので、カメラに関連する定数ｋ／ｓの正確な決定は必要ではなく、必要なことはぼかし半径σ、すなわち焦点の特性の決定である。以下の説明では、距離とぼかし半径との間のシンプルな関係が存在するシンプルな理由のため、ぼかし半径は、焦点の特性について必要とされる。しかし、焦点の特性としてぼかし半径を決定することは好ましいが、ぼかし半径と距離との間のシンプルな関係のため、他のぼやけの測定値は、本発明の概念のなかで決定される。

図２Ａ〜図２Ｃは、ぼかし半径σを決定する可能な方法を概念的に例示する。図２Ａでは、ぼかし半径σを持つぼやけエッジが示される。水平軸は位置を示し、垂直軸は輝度を示す。図２Ｂでは、幅ｓを持つガウス曲線フィルタの２次導関数であるフィルタリング関数が示されている。図２Ａと図２Ｂの畳み込みは、２つのピークを有する関数を提供する。ピーク間の距離ｄ_hは、適度に測定することができ、ぼかし半径σ、フィルタ幅ｓ及びピーク距離ｄ_hとの間の関係は、以下に示される。

この例示的なアルゴリズムはロバストであり、様々なタイプのコンテンツについて得られる結果は良好である。それぞれのフィルタについてそれぞれの画素の様々なフィルタの幅ｓを取ることで、ぼかし半径σの値が発見される。画素当たりσの平均又は中間値を取り、次いで、あるブロックを通してσの平均又は中間値を決定することで、図２Ｃの部分的に大きな高さを有する更に強調されるエッジには、ロバストな結果を与える大きな重みが与えられる。焦点が合った領域と焦点が合わない領域との間のσの決定された値における適度な良好な区別が発見される。

ｕとぼかし半径σとの間の関係は、図３に概念的に示され、式（４）に従う。

パラメータｋ及びｓがキャリブレーションから知られている場合、ぼかし半径σがひとたび既知であると、焦点面までの絶対距離の真の推定が行われる。ぼやけた対象物が焦点面の前又はその後ろにある場合に明らかにしないので、異なる焦点距離について少なくとも２つの画像は、ぼかし半径σからの真の深さ推定について知られる必要がある。しかし、これらの要件の何れも、通常既知でないか、たとえばビデオのような任意の外部の所与の画像データについて取得可能ではない。しかしながら、良好の区別は、画像の焦点が合わない領域と画像の焦点が合った領域との間で行われ、より多くの領域が存在する場合、様々な領域の間で良好の区別が行われる。

不均衡の差とぼかし半径との間の式は不均衡の差の絶対値とぼかしの半径との間の関係を与えるので、式は２つの個別の解を有する。ぼかし半径σの２つの異なる値の判定は、σの同じ値は遠く離れた対象物から得られるので、深さのオーダリング（depth ordering）を可能にしない。図４では、これは、ぼかし半径σ（σ₁及びσ₂）について２つの異なる値について概念的に示される。原理的に、画像平面の４つの異なる可能な組み合わせが存在する。

図４は、画像内のブロックのぼかし半径の典型的な分布を示し、水平軸は、所定のぼかし半径をもつブロックのパーセンテージを示す。σ₁及びσ₂の値をもつピークにセンタリングされる２つのモードは、画像の焦点が合った部分と焦点が外れた部分とこの例では対応して区別される。係る分布のみでは、２つの理由のために正確な深さのオーダリングを提供することはできない。はじめに、図３に関連して説明されるように、１を超えるソリューションが可能であるので、図３におけるピークに対応する画像平面の実際の相対的な位置に関して不明確さが存在する。第二に、σの分布におけるピークは、かなり広い。これは、実際のぼやけた値は高い数値的な不確かさを有し、深さのオーダリング情報を導出するのに適さない場合があることを示す。（たとえば焦点が合わない領域）それぞれのモードにおけるぼかし半径の差（図３におけるピークの広がり）は、モード間でぼかし半径の差を超える場合がある。したがって、ぼかし半径の実際の数値的な値のみを使用して深さのオーダリングを決定すること、及びそれぞれのブロックの深さのオーダリングは、大量の雑音が導入される。

しかしながら、信頼できる深さのオーダリングを得るため、本発明に係る方法及び装置は、２つのステップを実行する。

第一のステップでは、画像の画素又はブロックは、それらの焦点の特性に基づいてクラスタリングされ、これにより画像内で領域が形成される。本発明の最も広い範囲で、画素もクラスタリングされる。しかし、画素についてσの値における広がりは、ブロックについてよりも更に大きい。ぼかし半径σの平均又は中間値がブロック毎に割り当てられ、ブロックがσのブロック値に基づいて領域にクラスタリングされるとき、与えられた例において、焦点の特性をクラスタリングする前に、よりロバストな結果が得られる。それぞれの領域に対して、平均又は中間のぼかし半径が割り当てられる。クラスタリングは、様々なやり方で行われる。

発見に役立つ初期のクラスタリングから開始して画像を２以上のクラスタに常に分割するシンプルな繰り返しクラスタリングアルゴリズムが使用される。１つ、２つ以上のクラスタを有するかに関する判定は、クラスタの特性の類似性に基づく。

図５Ａ及び図５Ｂは、係る方法を例示する。２つの大きな領域が存在することが想定され、１つは焦点が合って多かれ少なかれ中央にあり、焦点が合わない領域により囲まれている。初期のクラスタリングは、左、上及び右の境界（すなわち画像の１／４）のブロックを「バックグランド」クラスタＣ₂に割り当て、他の画素を「フォアグランド」クラスタＣ₁に割り当てる（図５Ａ参照）。この選択は、バックグランド動きモデル推定についてブロックの選択から生じる。発見的に、（通常フォアグランドにある）関心のある対象物は、画像の中央における何処かにあることが期待され、画像の境界は、関心のある対象物を含まない。バックグランドの動きモデル推定について、中央における関心のある対象物はフォアグランドにあることが想定される。しかし、クラスタリングステージにおいて係る想定を行う必要がない。しかし、時間の大部分で中央のクラスタは焦点が合っている。

初期のクラスタリングはむしろ粗く、発見に基づいているので、それぞれのクラスタについてぼかし半径の最初の推定値に到達するロバストな方法は以下に示される。
クラスタ内に規則的に分散される多数の特徴点（このケースでは２８）が選択される。クラスタの最初のぼかし半径σ₁及びσ₂のそれぞれは、全てのそれらの特徴点のぼかし半径σの中間である。

次いで、反復的な手順がこのクラスタをリファインするために実行される。

ステップ１：ブロックを再び割り当てる。画像を通して掃引（sweep）が行われ、クラスタの境界のそれぞれのブロックＢは、その平均の焦点の推定に対して最小の逸脱を有するクラスタに割り当てられる。

ステップ２：σ₁及びσ₂の値を更新する。ブロックは、クラスタＣ₁及びＣ₂に再び割り当てられており、したがって、新たな平均又は中間のクラスタのぼかし半径σ₁及びσ₂は、２つ（又は２以上）のクラスタのそれぞれについて計算される。

ステップ３：繰り返し。新たな掃引が行われる。ステップ１参照。
このプロセスは、幾つか（典型的には４）の繰り返しの後に集束する。

図５Ｂは、係る繰り返しの結果を示す。２つの領域が形成され、フォアグランドの領域Ｃ₁は、中間のぼかし半径σ₁をもち、バックグランドＣ₂は、中間のぼかし半径σ₂をもつ。

典型的に、この方法は、焦点の合った領域と焦点の外れた領域といった２つの領域を与える。これらの領域は、接続される必要がなく、たとえば、焦点が合った領域は、焦点が外れた領域であるように、２つの個別のサブ領域を有する。統計量が３つの領域の証拠を示すとき、すなわちσ分散における３つのピークを示すとき、３つの領域で開始することができる。最初のクラスタリングは、σダイアグラムにおけるピークを決定し、そのピークへのそれぞれのブロックを最良に整合するσにシンプルに割り当てることで発見される。

ひとたび画像が領域Ｃ₁，Ｃ₂及びＣ₃に分割されると、ぼかし半径σ_iをそれぞれの領域に割り当てることができる。本発明に係る方法及び装置における次のステップでは、領域の相互の位置、すなわちどの領域がどの領域の前にあるか、が判定される。深さのオーダリングに関する判定が行われる必要がある。それを行うため、エッジが最も前にある対象物に属するという原理が使用される。図６は、水平軸に沿ってｘ又はｙ座標のような位置パラメータを示し、又は２つの領域間に遷移に垂直な座標を示す。垂直にぼかし半径が示される。図６では、ぼかし半径σの低い値をもつ焦点の合った領域とσの高い値をもつ焦点の外れた領域との間の遷移が示される。幅Ｗは、エッジのぼやけを概念的に示す。焦点が外れたエッジは、焦点が合ったエッジよりも大きな幅Ｗを有する。概念的に、これは、図６の上部で示され、小さなＷ及び従ってシャープな遷移を有し、下の部分では、大きな幅及び従ってぼやけた遷移を示す。したがって、上部では、領域Ｃ₁及びＣ₂を分離するエッジは、低いぼかし半径σ₁を持つ領域Ｃ₁に属する。したがって、領域Ｃ₁はフォアグランドであり、Ｃ₁（Ｆ）により図で示される。領域Ｃ₂はバックグランドであり、Ｃ₂（Ｂ）により示される。下部分では、幅Ｗは大きい。領域Ｃ₁とＣ₂を分離するエッジは、高いぼかし半径σ₂をもつ領域Ｃ₂に属する。したがって、「ぼやけた」領域Ｃ₂はフォアグランドであり、Ｃ₂（Ｆ）により図６で示される。領域Ｃ₁は、バックグランドであり、Ｃ₁（Ｂ）により示される。領域間の遷移ラインに垂直なラインに沿って様々な測定ポイントを取り、平均を取るか、又はどの領域にエッジが属するようであるかをそれぞれの測定について判定し、次いで、異なる測定間で投票することで、焦点の合った領域が焦点の外れた領域の前にあるケースにおいて、エッジが焦点の合った領域に属するか、又は、焦点の合った領域が焦点の外れた領域の前にあるケースにおいて、エッジが焦点の合った領域に属するかが容易に発見される。それを異なって配置するため、幅Ｗは、領域のうちのある領域のσにのみ依存するか、他の領域のσに少なくとも殆ど依存しない。この特性は、どの領域に２つの領域を分離するエッジが属するかを判定するために使用される。

これは、どの領域にエッジが属するかを確定する方法の１つの例である。
異なる方法は、たとえば画像をセグメント化することであり、すなわち、先行するクラスタリングステップから、以下のように、領域間の遷移の近くの画像における輝度又はカラーエッジを発見し、それらを領域間のエッジに比較することである。

輝度のセグメント化を使用して、異なる方法は、どのエッジがどの領域に属するかを発見するために使用される。１つのやり方は、領域間の遷移の近くの様々な領域におけるルミナンスエッジの方向を探すことである。領域間の遷移に対応するルミナンスエッジは、フォアグランド画像により単に決定され、フォアグランド画像に属する１以上のエッジは、遷移に従うことがあり、すなわち１以上のエッジは、遷移に平行である。バックグランドにおけるルミナンスエッジは、遷移に対する関係を有さない。

更に別の方法は以下に示される。画像は焦点に基づいてセグメント化され、上述されたように、ルミナンスエッジは、領域間の遷移に近くで発見される。ルミナンスのセグメント化及びぼかし半径に基づくクラスタリングといった、２つの異なるやり方で領域間のエッジを決定することで、どの領域にエッジが属するかが確定される場合がある。理想的に、２つの決定が完全に一致するが、そうとも限らない。エッジ全体又はエッジの少なくとも主要な部分がフォアグランドの対象物に属するエッジのぼかし半径に割り当てられるため、ブロックのクラスタリングが平均でエッジが属する領域をルミナンスエッジに僅かに拡張する傾向があることが分かっている。したがって、前記クラスタに属するエッジを含むようにクラスタリングされた領域を拡張するクラスタリングにおける僅かなバイアスが存在する。このバイアスは、ルミナンスのセグメント化において、領域間の遷移は領域を分離するエッジの中央において描かれるため、輝度に於ける単なる差が関与されるときエッジの決定のために生じない。したがって、エッジの決定された位置において小さな差が存在する。これは、上述されたぼかし半径の決定に基づいたクラスタリング方法は、前記領域に属するエッジを、ある領域に含むように、クラスタリングされたフォアグランド領域の境界を拡張し過ぎる傾向があり、係る拡張し過ぎる傾向は、ルミナンスのセグメント化に基づいて決定されるエッジについて存在しない。言い換えれば、ルミナンスのセグメント化は、ルミナンスの遷移の中央に正確にエッジを配置し、クラスタリングのセグメント化は、フォアグランドの領域のサイズを過剰に評価する。この作用は、形態学的膨張とも呼ばれ、すなわち、上述された対象物の形態をクラスタリングが僅かに膨張させ、すなわちサイズ的に増加させる。クラスタリング方法のこのバイアスは、フォアグランドの対象物のエッジをフォアグランドのクラスタに引き出す。この一見してネガティブな作用は、ぼかし半径のセグメント化により決定されるのと同じエッジに、ルミナンスのセグメント化により決定されたエッジを比較することで良好な使用にもたらされる。これにより、どの領域にエッジが属するかを確定することが可能である。ぼかしの半径の決定、又は特に焦点の特性の決定は、代替的なアルゴリズムを使用して行われる。クラスタリングのための代替的なアルゴリズムを使用することもできる。使用されたアルゴリズムに依存して、そのように決定されたフォアグランドの領域は、輝度のエッジにより決定されたエッジに関して過大な拡張又は過小な拡張となる。両方のケースで、ルミナンスのセグメント化により決定された領域を、焦点の特性の決定及びクラスタリングにより決定された領域に比較することで、どの領域にエッジが属するかを判定することができる。

深さのオーダリングは、どの領域がフォアグランドでどの領域がバックグランドであるかに基づいてシンプルに行われ、すなわち、パララックスにおける固定された差は、実際の値σ_iとは独立に、フォアグランド及びバックグランドの領域、第一に、中間レンジ及びバックグランド領域を区別するために使用される。

好ましくは、領域のぼかしの半径の推定値は、深さ又は逆の深さの値に変換される。深さのオーダリング及びσが与えられると、焦点の対象物の不均衡としてぼやけた対象物の不均衡をとり、すなわち、最も低いσを持つ領域、プラス一定の時間でフォアグランドとバックグランドとの間のぼかし半径となる。

Δσはσにおける差であり、Ｋは定数であり、ｕ₀は焦点面である。σは非常に小さく、Δσは焦点から外れた面のσに等しい。最も低いぼかしの値をもつクラスタには、深さｕ₀が割り当てられ、全ての他のクラスタには、最も低い半径の値をもつクラスタに関してそれらの深さのオーダリングに基づいて深さの値が割り当てられる。焦点の合ったクラスタと焦点が外れたクラスタとの２つのクラスタのみを有する場合、焦点が合わされている領域がフォアグランドである場合にＫは正であり、焦点が外れた領域がフォアグランドである場合にＫは負である。

単一画像のぼかし半径の推定について、定数ｕ₀及びＫは回復することができず、このため、異なる焦点の設定を持つ複数の画像を必要とする。しかし、レンダリングのために深さのマップのみを使用する場合、時間の大部分で、スクリーンの機能とユーザの好みをどうにかして整合させるため、深さマップが変換され、スケーリングされる。自動立体表示装置について、たとえば、焦点が合った領域が最大のシャープな画像を有するためにスクリーンの平面でレンダリングされるやり方でｕ₀を取る。次いで、焦点から外れた領域は、深さのオーダリングに依存して、スクリーンの後又は前でレンダリングされる。

図７は、本発明に係る方法を示す。ステップ２で、入力された２次元信号から、画像ブロックが形成され、ステップ３で、たとえばブロックのぼかし半径σ_Bといったブロックの焦点特性が決定され、ステップ４で、これらのブロックは、２以上のクラスタにクラスタリングされる。ステップ６では、エッジと領域との間の関係が決定される。これは、焦点の特性から直接に行われるか（図６参照）、並行して、画像はルミナンスのセグメント化がなされ、ルミナンスのセグメント化（ステップ５）により取得された画像エッジは、ステップ６で、クラスタリングにより決定されるエッジに比較され、結果を比較することは、どのエッジがどの領域に属するか、これによりどの領域がどの領域の前に位置されるか、すなわち領域の深さのオーダリング（ステップ）という判定につながる。深さは、好適な実施の形態によれば、与えられる例ではぼかし半径である焦点の特性（ステップ８）から決定され、結果的に３次元の出力信号が供給される（ステップ９）。

図８は、本発明に係る画像装置を示す。画像装置は、本方法の全てのステップを実行する手段を有し、すなわち、２次元の入力信号を受ける入力１、画像ブロックの形成のために形成手段２、ブロックの焦点特性を計算する計算手段３、焦点に基づいて画像領域をクラスタリングするクラスタ４。画像エッジ検出手段５。エッジ領域関係決定手段６、深さ順序付け手段７及び深さ情報割り当て手段８を有する。画像装置は、３次元信号を３次元のディスプレイスクリーン１０に出力する出力９を更に有する。係る表示装置は、たとえば自動立体表示装置である場合がある。

図９は、本発明に係る送信器を示す。図８との違いは、ディスプレイスクリーンそれ自身は、装置の統合した部分ではないことである。かかる送信機は、たとえば、２次元信号を有するＤＶＤを読取り、個別に販売されている３次元表示装置における使用向けに３次元信号に２次元信号を変換する。また、送信機は、２次元信号を有するＤＶＤから３次元信号を有するＤＶＤを作成する装置である場合があり、３次元信号は、ＤＶＤに供給されるか、たとえば別のロケーションに送出される。３次元信号は、画像の領域への分割に関する情報と領域の深さのオーダに関する情報を含み、好適な実施の形態では、様々な領域の焦点の特性は、本発明の実施の形態を形成する。情報は、信号におけるヘッダで与えられ、このヘッダはどのブロックが領域に属するかを規定するか、領域間の分割ライン、領域のオーダ、及び好ましくは領域のぼかし半径である領域の焦点の特性を規定する。従来の方法及び装置で作られる３次元信号は、係る情報を含まない。本発明に係る３次元信号は、たとえば以下のように生成される。カスタマは、３次元表示装置を有するが、通常の２次元デジタルカメラを有さない。ユーザは、インターネット再度に２次元ホームビデオ又はデジタル画像を送出する。オリジナルの２次元信号は、３次元信号に変換され、この３次元信号は、彼の３次元ディスプレイにビデオ又は画像を表示することができるユーザに送出される。

要するに、本発明は、以下のように記載される。
２次元画像データは、３次元画像データに変換される。画像は、焦点の特性に基づいて、２以上の領域に分割され、どの領域に２つの領域を分離するエッジが属するかが判定される。領域は、エッジを含む領域は隣接する領域よりも見る人に近いというルールに従って深さの順序付けされ、この領域に、３次元の深さ情報は、領域の確立された深さの順序に従って割り当てられる。好ましくは、領域のそれぞれに対して、領域の平均又は中間の焦点の特性に依存して、ある深さが割り当てられる。

また、本発明は、本発明に係る方法又は装置についてコンピュータプログラムプロダクトで実施される。コンピュータプログラムプロダクトは、汎用コンピュータ又は特定用途プロセッサをイネーブルにするコマンドの集合の物理的な実現であると理解され、（中間的な言語及び最終的なプロセッサ言語への変換のような中間的な変換ステップを含む）一連のロードステップの後、プロセッサにコマンドを取得させ、本発明の特徴となる機能の何れかを実行させるものである。特に、コンピュータプログラムプロダクトは、たとえばディスク又はテープのようなキャリア上のデータ、メモリに存在するデータ、有線又は無線のネットワークコネクションを通して伝播するデータ、又は紙上のプログラムコードとして実現される。プログラムコードとは別に、プログラムについて必要とされる特性データは、コンピュータプログラムプロダクトとしても実現される。本方法の機能のために必要とされるステップの幾つかは、データ入力及び出力ステップのようなコンピュータプログラムプロダクトで記載される代わりに、プロセッサの機能に既に存在する場合がある。

なお、上述された実施の形態は、本発明を限定するよりはむしろ例示するものであり、当業者は、特許請求の範囲から逸脱することなしに多数の代替的な実施の形態を設計することができる。

請求項では、括弧間に配置される参照符号は、請求項を限定するものとして解釈されるべきではない。

単語「有する“comprising”」は、請求項で列挙されるエレメント又はステップ以外の存在を排除するものではない。本発明は、幾つかの個別のエレメントを有するハードウェアにより、適切にプログラムされたコンピュータにより実現される。幾つかの手段を列挙する装置では、これらの手段の幾つかは同一アイテムのハードウェアにより実現される。本発明は、上述された様々な異なる好適な実施の形態の特徴の組み合わせにより実現される。特に、符号化方法又はエンコーダに関して図示又は特許請求される実施の形態は、示唆されないか又は不可能でない場合、復号化方法又はデコーダの対応する実施の形態を有し、係る復号化方法及びデコーダは、本発明の実施の形態及び特許請求されることが記載される。

薄型レンズモデルを例示する図である。 図２Ａ〜図２Ｃは、ぼかし半径を決定する可能な方法を例示する図である。 ぼかし半径と焦点面との間の関係を例示する図である。 ぼかし半径の統計的な分布を例示する図である。 図５Ａ及び図５Ｂは、領域を決定する方法を例示する図である。 どの領域にエッジが属するかを判定する方法を例示する図である。 本発明に係る方法を例示する図である。 本発明に係る表示装置を例示する図である。 本発明に係る送信機を例示する図である。

Claims (13)

1. ２次元画像データが３次元画像データに変換される立体画像表示方法であって、
   前記２次元画像データから焦点情報が抽出され、前記３次元画像データを生成するために使用され、
   前記焦点情報に基づいて、前記画像は焦点の特性を有する２以上の領域に分割され、
   前記画像のどの領域に２つの領域を分離するエッジが属するかが判定され、
   エッジを含む領域は隣接する領域よりも見る人に近いというルールに従って、前記領域間で深さの順序が確定され、
   前記領域の確定された深さの順序に従って３次元の深さ情報が前記領域に割り当てられる、
   ことを特徴とする方法。
2. 前記画像の領域への分割の前に、焦点の特性はブロック毎に割り当てられ、
   前記ブロックは、領域にクラスタリングされる、
   請求項１記載の立体画像表示方法。
3. 前記３次元の深さ情報は、前記領域の焦点の特性に依存して割り当てられる、
   請求項１記載の立体画像表示方法。
4. 前記画像は、２つの領域に分割される、
   請求項１記載の立体画像表示方法。
5. 前記画像は、３つの領域に分割される、
   請求項１記載の立体画像表示方法。
6. ２次元画像データを入力する入力手段と、入力された２次元画像データを３次元画像データに変換する変換手段とを有する立体画像表示装置であって、
   前記コンバータは、前記２次元画像データから焦点情報を抽出する焦点情報抽出手段を有し、
   当該装置は、前記焦点情報に基づいて、前記画像を焦点の特性を有する２以上の領域にクラスタリングするクラスタ手段と、
   前記画像のどの領域に領域を分離するエッジが属するかを判定する判定手段と、
   エッジを含む領域は隣接する領域よりも見る人に近いというルールに従って、前記領域間で深さの順序付けを行う深さ順序付け手段と、
   前記画像を表示する表示手段とを有し、
   前記領域の見かけの深さは、前記深さの順序付けに従う、
   ことを特徴とする立体画像表示装置。
7. 当該装置は、領域の遷移近くの輝度のエッジを検出する検出手段を有する、
   請求項６記載の立体画像表示装置。
8. 当該装置は、領域の焦点の特性に基づいて領域の深さ情報を割り当てる深さ情報割り当て手段を含む、
   請求項６記載の立体画像表示装置。
9. ２次元画像データが３次元画像データに変換される画像表示データ変換方法であって、
   前記２次元画像データから焦点情報が抽出され、前記３次元画像データを生成するために使用され、
   前記焦点情報に基づいて、前記画像は焦点の特性を有する２以上の領域に分割され、
   前記画像のどの領域に２つの領域を分離するエッジが属するかが判定され、
   エッジを含む領域は隣接する領域よりも見る人に近いというルールに従って、前記領域間で深さの順序が確定され、
   前記領域の確定された深さの順序に従って３次元の深さ情報が前記領域に割り当てられる、
   ことを特徴とする方法。
10. 前記３次元の深さ情報は、領域の焦点の特性に依存して割り当てられる、
    請求項１０記載の画像表示データ変換方法。
11. 画像の２以上の領域への分割、前記領域の深さの順序付け及び前記領域のそれぞれについて平均の焦点の特性に関する情報を含む３次元画像信号。
12. ２次元画像データを受ける入力と、入力された２次元画像を３次元画像データに変換する変換手段とを有する送信機であって、
    前記変換手段は、前記２次元画像データから焦点情報を抽出する焦点情報抽出手段を有し、
    当該装置は、前記焦点情報に基づいて、前記画像を焦点の特性を有する２以上の領域にクラスタリングするクラスタ手段と、
    前記画像のどの領域に２つの領域を分離するエッジが属するかを判定する判定手段と、
    エッジを含む領域は隣接する領域よりも見る人に近いというルールに従って、前記領域の深さの順序付けを行う深さ順序付け手段と、
    前記３次元画像信号を出力する出力手段とを有し、
    ３次元の深さ情報は、前記領域の確立された深さの順序に従って前記領域に割り当てられる、
    ことを特徴とする送信機。
13. 入力される２次元画像データに基づいて３次元画像データを生成する命令を含む、コンピュータアレンジメントによりロードされるコンピュータプログラムプロダクトであって、
    前記コンピュータアレンジメントは処理手段を有し、
    前記命令は、請求項１乃至５又は請求項１０乃至１１の何れか記載の方法を実行するために構成される、
    ことを特徴とするコンピュータプログラムプロダクト。

Images