JP2007528049A - 3次元モデルをスケーリングする方法及びスケーリングユニット - Google Patents

3次元モデルをスケーリングする方法及びスケーリングユニット Download PDF

Info

Publication number
JP2007528049A
JP2007528049A JP2006518475A JP2006518475A JP2007528049A JP 2007528049 A JP2007528049 A JP 2007528049A JP 2006518475 A JP2006518475 A JP 2006518475A JP 2006518475 A JP2006518475 A JP 2006518475A JP 2007528049 A JP2007528049 A JP 2007528049A
Authority
JP
Japan
Prior art keywords
dimensional
scaled
model
input model
scaling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006518475A
Other languages
English (en)
Other versions
JP4625805B2 (ja
Inventor
ペテル−アンドレ レデルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2007528049A publication Critical patent/JP2007528049A/ja
Application granted granted Critical
Publication of JP4625805B2 publication Critical patent/JP4625805B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

3次元入力モデル(200乃至208)を、スケーリングされた3次元出力モデル(210乃至214)にスケーリングする方法が開示される。本方法は、3次元入力モデルを、スケーリングされた3次元出力モデルにスケーリングする方法であって、前記方法は、前記3次元入力モデルの各部分について、前記スケーリングされた3次元出力モデルの対応する部分が、前記スケーリングされた3次元出力モデルの2次元のビューにおいて可視であるそれぞれの確率を決定するステップと、前記それぞれの確率に基づいて、前記3次元入力モデルの各部分を、前記スケーリングされた3次元出力モデルのそれぞれの部分に幾何的に変換するステップとを有する。可視性の確率の決定は、ビュー方向における前記3次元入力モデルの投射に基づく。可視でない幾つかの部分を考慮に入れることにより、深度範囲が無駄にされない。

Description

本発明は、3次元入力モデルを、スケーリングされた3次元出力モデルにスケーリングする方法に関する。
本発明は更に、3次元入力モデルを、スケーリングされた3次元出力モデルにスケーリングするスケーリングユニットに関する。
本発明は更に、
3次元入力モデルを表す信号を受信する受信手段と、
前記3次元入力モデルを、スケーリングされた3次元出力モデルにスケーリングするスケーリングユニットと、
前記スケーリングされた3次元出力モデルのビューを可視化する表示手段と、
を有する画像表示装置に関する。
3次元の場面のサイズが画像表示装置の表示能力と合致しない可能性は、高い。それ故、スケーリング(scaling)操作が必要とされる。スケーリングが必要とされる他の理由は、3次元の場面を表す3次元モデル(three-dimensional model)の幾何配置を伝送チャネルに適合させること、及び3次元モデルを観測者の好みに適合させることである。
3次元の場面を表す3次元モデルに対する線形のスケーリング操作は、良く知られている。最初のパラグラフにおいて記載された種類の画像表示装置の例は、米国特許US6,313,866より知られている。該画像表示装置は、第1の画像信号から深度(depth)情報最大値を取得するための回路を有する。前記画像表示装置は更に、前記第1の画像信号及び第2の画像信号に含まれる深度情報に基づき、前記第2の画像信号の視差の量を制御する視差制御回路を有する。これにより、前記第2の画像信号に対応する画像が、前記第1の画像信号に対応する画像の前に、3次元的に表示されることができる。3次元画像合成器は、各前記画像信号の視差の量に基づき、前記視差制御回路によって制御された前記第1及び第2の画像信号を合成し、画像が3次元表示空間における当該第1及び第2の画像信号に対応するようにする。深度情報のスケーリングは、表示能力の限界を超えた深度情報を除いて、原則的に深度情報の線形の適合によって実行される。後者の値は切り落とされる。
深度の適合又はスケーリングの不利な点は、深度の印象の減少に帰着し得る点である。特に線形の深度のスケーリングは、スケーリングされた3次元モデルの深度の印象に対して不利になり得る。
本発明の目的は、最初のパラグラフにおいて記載された種類の方法であって、知覚的に3次元入力モデルを類似し、快適な3次元の印象を持つ、スケーリングされた3次元出力モデルに帰着する方法を提供することにある。
本発明の本目的は、本方法が、
前記3次元入力モデルの各部分について、前記スケーリングされた3次元出力モデルの対応する部分が、前記スケーリングされた3次元出力モデルの2次元のビューにおいて可視であるそれぞれの確率を決定するステップを有し、該決定は、ビュー方向における前記3次元入力モデルの投射に基づき、前記方法が更に、
前記それぞれの確率に基づいて、前記3次元入力モデルの各部分を、前記スケーリングされた3次元出力モデルのそれぞれの部分に幾何的に変換するステップを有することによって達成される。上述したように、スケーリングは、3次元入力モデルを、例えば表示装置の表示能力に適合させるために必要とされる。3次元入力モデルの、スケーリングされた3次元出力モデルへのスケーリングの後、前記スケーリングされた3次元出力モデルに基づき、複数のビユーが生成される。着想は、前記スケーリングされた3次元出力モデルの最終的に可視でない部分についてのスケーリングにおいて、例えば表示装置のどの深度範囲も無駄にされるべきではないということである。このことは、ビューの1つにおいて可視とならない前記スケーリングされた3次元出力モデルの部分に対応する、3次元入力モデルの部分が、スケーリングについて無視されるべきであることを意味する。ビュー方向に3次元入力モデルを投射することによって、表示装置により適用される3次元入力モデルの特定のビューを作成することにより、当該特定のビューにおける3次元入力モデルの前記部分の可視性(visibility)を決定することが可能となる。このことに基づき、前記スケーリングされた3次元出力モデルの部分の可視性の確率を決定することが可能となる。特定のビューにおいて可視である3次元入力モデルの部分に対応する、スケーリングされた3次元出力のモデルの部分も、前記スケーリングされた3次元出力モデルに基づくビユーにおいて一般に可視である。特定のビューにおいて可視でない3次元入力モデルの他の部分に対応する、スケーリングされた3次元出力モデルの他の部分は、前記スケーリングされた3次元出力モデルに基づくビューにおいて可視である比較的低い可能性を持つ。それぞれビュー方向に対応する方向に3次元入力モデルの複数の投射を作成することにより、可視となる確率が適合されることができる。しかしながら、これらの投射を実際に作成しなくても、例えば表示装置の既知の能力に関するパラメータのような他のパラメータに基づいて、可視性の確率が決定されることができる。代替として、前記確率は、伝送チャネルのパラメータに基づいて決定される。
本発明による方法の実施例においては、前記部分のうちの第1のものが可視である確率の決定が、前記部分のうちの第1のものの第1の座標の第1の値と、前記部分の第2のものの第1の座標の第2の値との比較に基づく。3次元入力モデルの部分が、ビューの方向において互いを遮るか否かの決定は、3次元入力の前記部分の座標の値を比較することにより、容易に為され得る。好ましくは、第1の座標がビユー方向に対応する。
本発明による方法の実施例においては、前記部分のうちの第1のものが可視である確率の決定が、前記スケーリングされた3次元出力モデルが表示される表示装置の能力に基づく。前記表示装置の能力は、前記表示装置の最大視野角及び深度範囲に対応しても良い。表示装置のこれらのプロパティが、どのビューが生成され得るか、即ち異なるビュー間の最大の差を決定する。適切なビュー即ち3次元入力の投射と組み合わせ、表示装置のこれらのプロパティに基づいて、いずれのとり得るビューにおける部分の可視性の確率もが、容易に決定されることができる。
本発明による方法の実施例においては、前記3次元入力モデルの各部分を、前記スケーリングされた3次元出力モデルのそれぞれの部分に幾何的に変換するステップは、平行移動、回転又は変形のうちの1つを有する。これらの幾何配置の変換のため、前記部分のトポロジは変更されない。
本発明の他の目的は、最初のパラグラフにおいて記載された種類のスケーリングユニットであって、知覚的に3次元入力モデルと類似し、快適な3次元の印象を持つ、スケーリングされた3次元出力モデルを提供するスケーリングユニットを提供することにある。
本発明の本目的は、スケーリングユニットが、
前記3次元入力モデルの各部分について、前記スケーリングされた3次元出力モデルの対応する部分が、前記スケーリングされた3次元出力モデルの2次元のビューにおいて可視であるそれぞれの確率を決定する確率決定手段を有し、該決定は、ビュー方向における前記3次元入力モデルの投射に基づき、前記スケーリングユニットは更に、
前記それぞれの確率に基づいて、前記3次元入力モデルの各部分を、前記スケーリングされた3次元出力モデルのそれぞれの部分に幾何的に変換する変換手段を有することによって達成される。
本発明の他の目的は、最初のパラグラフにおいて記載された種類の画像表示装置であって、知覚的に3次元入力モデルと類似し、快適な3次元の印象を持つ、スケーリングされた3次元出力モデルを提供する画像表示装置を提供することにある。
本発明の本目的は、スケーリングユニットが、
前記3次元入力モデルの各部分について、前記スケーリングされた3次元出力モデルの対応する部分が、前記スケーリングされた3次元出力モデルの2次元のビューにおいて可視であるそれぞれの確率を決定する確率決定手段を有し、該決定は、ビュー方向における前記3次元入力モデルの投射に基づき、前記スケーリングユニットは更に、
前記それぞれの確率に基づいて、前記3次元入力モデルの各部分を、前記スケーリングされた3次元出力モデルのそれぞれの部分に幾何的に変換する変換手段を有することによって達成される。
前記スケーリングユニット及び前記画像表示装置の変更、並びにそれらの変形例は、説明される方法の変更及び変形例に対応し得る。
本発明による方法、スケーリングユニット及び画像表示装置のこれらの及び他の態様は、以下に説明される実装及び実施例により並びに添付する図を参照しながら説明され、明らかとなるであろう。図を通して、同一の参照番号は類似の部分を示すために利用される。
3次元情報の記憶のための幾つかのタイプのモデルがある。
−例えばVRML用に規定されるような、ワイヤフレーム。これらのモデルは、線と面との構造を有する。
−体積データ構造即ちボクセルマップ(ボクセルは体積要素を意味する)。これらの体積データ構造は、3次元の要素の配列を有する。各要素は3つの次元を持ち、プロパティの値を表す。例えば、CT(computer tomography)データは、各要素がそれぞれのハウンズフィールド値に対応するような体積データ構造として保存される。
−深度マップを持つ2次元画像。例えば、RGBZ値を持つ2次元画像。このことは、各画素が、3つの色コンポーネント値と深度値とを有することを意味する。3つのカラーコンポーネント値はまた、輝度値を表す。
−画像ベースのモデル。例えば、立体画像対又はマルチビュー画像。3つのタイプの画像はライトフィールド(light field)とも呼ばれる。
或るタイプの3次元モデルにより表されたデータの、他の3次元モデルへの変換が可能である。例えば、ワイヤフレームを用いて表されたデータ又は深度マップを持つ2次元画像は、レンダリングによって、体積データ構造を用いて表されたデータ又は画像ベースのモデルに変換されることができる。
3次元画像表示装置によって実現されることができる深度の量は、表示装置のタイプに依存する。体積表示装置を用いては、深度の量は、該表示装置の大きさによって完全に決定される。例えば眼鏡を用いる立体ディスプレイは、観測者に依存する、深度の量についての柔軟な限界を持つ。レンズ調節と相互の眼の集束との間の「不一致」によって引き起こされる深度の量が大き過ぎると、観測者は疲労し得る。例えば複数のビューのためのレンチキュラ画面を持つLCDに基づくような自動立体表示装置は、ビューに量によって決定される、理論的に最大の深度範囲dを持つ。図1は、自動立体表示装置100を模式的に示す。物理的な表示装置100の外側で且つ仮想的な四辺形102の内部に、特定の深度範囲内のオブジェクトを、特定の視野角α内の観測者に呈示することができる。これら2つは合わせて、画素における定数kを定義する。定数kは、表示装置100における水平方向の画素の数Nの百分率である。該kは、前記表示装置が呈示することができる最大の視差に等しい。最大の深度範囲が超過されシャープネスの損失に帰着し得る。
図2(A)は、3次元入力モデルの上面図を模式的に示す。前記3次元入力モデルは、サイズ及び形状の異なる幾つかのオブジェクト200乃至208を有する。図2(B)は、図2(A)の3次元入力モデルの前面図を模式的に示す。幾つかのオブジェクトが、完全に又は部分的に、他のオブジェクトを遮っていることが明らかに分かる。このことは、前記3次元入力モデルの幾つかの部分が、前面図において可視でないことを意味する。例えば、前記オブジェクトの1つ、即ちオブジェクト200が、前記前面図において完全に不可視である。
図2(C)は、図2(A)の3次元入力モデルに基づく、スケーリングされた3次元出力モデルの上面図を模式的に示す。前記3次元入力モデルのオブジェクトのうちの第1のもの200に対応する、前記スケーリングされた3次元入力モデルのオブジェクトのうちの第1のものは、深度範囲の境界に切り落とされている。前記3次元入力モデルのオブジェクトのうちの第2のもの208に対応する、前記スケーリングされた3次元入力モデルのオブジェクトのうちの第2のもの224は、深度範囲の他方の境界の近傍に位置している。前記3次元入力モデルのオブジェクトのうちの第3のもの202に対応する、前記スケーリングされた3次元入力モデルのオブジェクトのうちの第3のものは、3つの部分210乃至214を有する。該3つの部分のうちの2つは可視であり、第3のもの212はいずれのとり得るビューにおいても可視でない。前記3次元入力モデルのオブジェクトのうちの第4のもの204に対応する、前記スケーリングされた3次元入力モデルのオブジェクトのうちの第4のものは、2つの部分216及び218を有する。該2つの部分のうちの第1のもの216は可視であり、第2のもの218はいずれのとり得るビューにおいても可視でない。前記3次元入力モデルのオブジェクトのうちの第5のもの206に対応する、前記スケーリングされた3次元入力モデルのオブジェクトのうちの第5のものは、2つの部分220及び222を有する。該2つの部分のうちの第1のもの210は可視であり、第2のもの222はいずれのとり得るビューにおいても可視でない。
図3(A)乃至3(C)と関連して、幾つかのオブジェクト1乃至8を有する3次元入力モデルの各部分について、どのように可視性の確率が決定されるかが説明される。このことは、
z−バッファスタックにより前記3次元入力モデルの投射を計算するステップと、
相互に等しいx値及び相互に等しいy値を持つ前記z−バッファスタックのエレメントの対のz値を比較することにより、前記投射において前記z−バッファスタックのエレメントのうちどれが可視であるかを示すステップと、
前記z−バッファスタックのエレメントのセグメンテーションにより、z−バッファスタックのエレメントのどの群が、前記3次元入力モデルのそれぞれの部分を形成するかを決定するステップと、
表示装置の能力に基づき、可視である別のz−バッファスタックのエレメントを有するz−バッファスタックのエレメントの群の一部である、z−バッファスタックの各エレメントの可視性の可能性を示すステップと、
を有する本発明による方法に基づく。本例においては、z−バッファスタックは、3次元入力モデルの一部に対応する。
図3(A)は、前記3次元入力モデルに基づくビュー302の計算の後のz−バッファスタック300の内容を模式的に示す。z−バッファスタック300は、前記3次元入力モデルの各部分を表すデータを保存するための幾つかのデータセル304乃至322を有する。該z−バッファスタック300は、3つのレベルi=1、i=2及びi=3を有する。z−バッファスタック300のデータセル304乃至322において示される数字1乃至8は、3次元入力モデルの種々のオブジェクト1乃至8に対応する。例えば、第1のデータセル312には、第2のオブジェクト2の一部に関連するデータが保存されている。z−バッファスタック300においては、3次元入力モデルの各部分のz値即ち深度値が保存される。加えて、対応する色及び輝度値が保存される。図3(A)乃至3(C)においては、y軸の1つの値についてのみ、幾つかのデータセル304乃至322が図示されている。
z−バッファスタック300に基づく投射の生成は、先行技術において良く知られている。z−バッファスタックの性質のため、どのz−バッファスタックのエレメントがビュー302において可視であるかを決定することは非常に容易である。本例においては、最高のレベル即ちi=3を持つものである。かくして、ビュー302においては、例えば最高のレベルi=3の304乃至310のようなデータセル中にデータが保存された部分のみが存在する。図3(A)において、当該ビューにおいて可視である部分に対応するデータセルが網掛けされている。本例において、第2のオブジェクト2の一部だけが可視であり、第8のオブジェクト8の一部だけが可視であることが分かる。第4のオブジェクトの大部分は可視であるが、第5のオブジェクト5によって遮られた部分を除く。
図3(B)は、セグメンテーションの後の、図3(A)のz−バッファスタックの内容を模式的に示す。セグメンテーションは、z−バッファスタックのエレメントのうちのどれが、3次元入力モデルのそれぞれのオブジェクト1乃至8を形成するかを決定するために適用される。この目的のため、データセルのどの群が、3次元入力モデルの種々のオブジェクトに属するデータを保存するかを決定するために、z−バッファスタック300のデータセル304乃至322の内容が分析される。該セグメンテーション、即ちオブジェクト抽出は、z−バッファスタック300の種々のデータセル304乃至322間の距離と組み合わせた、例えば色、輝度及び深度のような保存された値に基づくものである。図3(B)においては、データセルの種々の群は、端に点を持つ曲線によって示されている。
輝度、色及び深度に加えて、可視性の確率もまたメモリに保存される。データセル毎に、該量の値が保存される。典型的には、以下のタイプが区別され得る。
1:投射の1つにおいて、確実に可視である。
2:投射の1つにおいて、おそらく可視である。
3:投射の1つにおいて、おそらく可視でない。
4:投射の1つにおいて、確実に可視でない。
第1の投射の後、幾つかのz−バッファスタックのエレメント(例えば304及び306)にタイプ1が割り当てられる。他のz−バッファスタックのエレメントは、タイプ4又は3で初期化される。
セグメンテーションの後、幾つかのz−バッファスタックのエレメントの可視性の確率は、表示装置の能力に基づいて更新される。典型的には、可視である(タイプ1)別のz−バッファスタックのエレメントを有するz−バッファスタックのエレメントの群の一部である、各z−バッファスタックのエレメントの可視性の確率が適合される。例えば、第1のデータセル312において、第2のオブジェクト2の一部に関するデータが保存されている。セグメンテーションの後、第1のデータセル312が、第2のデータセル304もが属するデータセルの群に属することが明らかとなった。第2のデータセル304は、可視であるオブジェクト2の一部に属するデータを保存していることが既知である。このことに基づき、及び既知の視野角及び深度範囲に基づき、第2のデータセル312の可視性の確率をタイプ2に更新することが決定される。図3(C)において、矢印324により、該z−バッファスタックのエレメントが、他のビューにおいて可視であり得ることが示される。他のデータセル314乃至322の可視性の確率も、同様に更新される。図3(C)は、可視性の確率を更新した後の、図3(B)のz−バッファスタックの内容を模式的に示す。タイプ1又は2の可視性の確率が割り当てられているz−バッファスタックのエレメントが網掛けされている。
図3(A)乃至3(C)に関して説明された例においては、全てのオブジェクトが透明ではなく不透明である。本発明による方法は、透明なオブジェクトに対しても適用され得ることは留意されるべきである。その場合には、z−バッファスタックのエレメントのそれぞれ、即ち3次元入力モデルの各部分の透明度を表す値も、それぞれのデータセル304乃至322に保存されるべきである。
図4は、3次元入力モデルを、スケーリングされた3次元出力モデルにスケーリングする、本発明によるスケーリングユニット400を模式的に示す。スケーリングユニット400は、
前記3次元入力モデルの各部分について、前記スケーリングされた3次元出力モデルの対応する部分が、前記スケーリングされた3次元出力モデルの2次元のビューにおいて可視であるそれぞれの確率を決定する確率決定ユニット402と、
前記それぞれの確率に基づいて、前記3次元入力モデルの各部分を、前記スケーリングされた3次元出力モデルのそれぞれの部分に幾何的に変換する幾何変換ユニット408を有する。3次元入力モデルを表すデータは、スケーリングユニット400の入力コネクタ410に供給される。スケーリングユニット400は、スケーリングされた3次元出力モデルを表すデータを、出力コネクタ412において供給する。制御インタフェース414を介して、例えば深度範囲及び最大視野角のような、表示装置に関連する制御データが供給される。
確率決定ユニット402の動作が、図3(A)乃至3(C)と共に説明される。幾何変換ユニット408は、最小及び最大検出ユニット404と、ゲイン制御ユニット406とを有する。最小及び最大検出ユニット404は、相互に等しいx値及び相互に等しいy値を持つz−バッファスタックのエレメントの各配列について、対応する最小z値及び最大z値を決定するように構成される。ゲイン制御ユニット406は、それぞれの最小z値及び最大z値と、表示装置の深度範囲とに基づいて、前記z−バッファスタックのエレメントについてのスケーリングされたz値を計算するように構成される。本発明による幾何変換ユニット408の動作は、図4と共により詳細に説明される。
確率決定ユニット402、最小及び最大検出ユニット404並びにゲイン制御ユニット406は、1つのプロセッサを用い実装されても良い。通常、これらの機能は、ソフトウェアプログラムの制御の下で実行される。実行の間、前記ソフトウェアプログラムは通常RAMのようなメモリにロードされ、該メモリから実行される。前記プログラムは、ROMのようなバックグラウンドメモリ、ハードディスク、又は磁気及び/又は光記憶装置からロードされても良いし、又はインターネットのようなネットワークを介してロードされても良い。任意に、特定アプリケーション向け集積回路が、開示された機能を提供する。
図5は、本発明によるスケーリングユニット400の幾何変換ユニット408を模式的に示す。幾何変換ユニット408は、図3と共に説明されたようなz−バッファスタック300中のデータを処理するように設計される。
z−バッファスタック300に保存されているデータは、各x,y対について供給される。図3(C)と共に説明された例においては、配列毎に3つのレベルi=1、i=2又はi=3がある。前記レベルのそれぞれについてz値及び可視性の確率が供給される。該z−バッファのエレメントがタイプ4のものである場合、即ち投射の1つにおいて確実に可視でない場合、対応するデータがクリッピングユニット518に供給される。そうでなければ、前記データは最大検出器502及び最小検出器504に供給される。最大検出器502は、x,y座標毎に最大のz値を抽出するように構成され、最小検出器504は、x,y座標毎に最小のz値を抽出するように構成される。各x,y座標についての最大z値は、第1のフィルタユニット506に供給される。各x,y座標についての最小z値は、第2のフィルタユニット508に供給される。好ましくは、第1のフィルタユニット506及び第2のフィルタユニット508は、モルフォロジック(morphologic)フィルタである。モルフォロジックフィルタは、一般的な非線形画像処理ユニットである。例えば、P.W. Verbeek、H.A. Vrooman及びL.J. van Vlietによる「Low-level image processing by max-min filters」(「Signal Processing」vol. 15、no. 3、249-258頁、1988年)と題された論文を参照されたい。第1のフィルタユニット506及び第2のフィルタユニット508として、例えばローパスフィルタのような他のタイプのフィルタが利用されても良い。第1のフィルタユニット506の出力は、最大z値の一種のレリーフ(relief)であり、第2のフィルタユニット508の出力は、最小z値の一種のレリーフである。
第1のフィルタユニット506及び第2のフィルタユニット508の出力は、第1の結合手段510によって組み合わせられる。第1の結合手段510は、2つの信号を加算し、合計を2で除算する。第1の結合手段510の出力は、一種の平均値、即ち平均のレリーフである。該出力は、減算ユニット514によって入力データから減算される。該減算は、一種のオフセット訂正として解釈され得る。
第1のフィルタユニット506及び第2のフィルタユニット508の出力はまた、第2の結合手段512によって組み合わせられる。第2の結合手段512は、2つの信号を減算し、合計を2で除算する。第2の結合手段512の出力は、減算ユニット514の出力データを正規化するために利用される、一種の範囲値である。該正規化は、正規化ユニット516によって実行される。正規化ユニット516の出力は、乗算器520に供給される。乗算器520は、データを利用可能な深度範囲に、又は任意に好適な深度範囲にマッピングする。本例においては、kは利用可能な表示深度範囲と視野角との関数である。
図6は、3次元入力モデルの、スケーリングされた3次元出力モデルへのスケーリングを模式的に示す。前記スケーリングは、図5と共に説明されたような伸張方法によって実行される。前記3次元入力モデルは、表示装置に利用可能な投射に対応するビューにおいて可視である、3つのオブジェクト602乃至606を有する。前記表示装置は、深度範囲dを持つ。伸張は、利用可能な深度範囲の利用が最適となるようにされる。このことは、特定のx,y対について2つのオブジェクトだけがある場合には、該オブジェクトのうちの一方又はその一部が深度範囲dの前の境界まで移動させられ、他方のオブジェクト又はその一部が深度範囲dの後の境界まで移動させられることを意味する。例えば、第1の入力オブジェクト602は、第2の入力オブジェクト604と部分的にオーバラップする。即ち、第1の入力オブジェクト602は、第2の入力オブジェクト604によって部分的に遮られる。結果として、第1の入力オブジェクト602に対応する第1の部分612が深度範囲dの後の境界にマッピングされ、第2の入力オブジェクト604に対応する第1の部分614が深度範囲dの前の境界にマッピングされる。
特定のx,y対について1つのオブジェクトだけがある場合には、該オブジェクト又はその一部が、深度範囲dの中央に移動させられる。例えば、第3の入力オブジェクト606に対応する第1の部分620が、深度範囲dの中央にマッピングされる。同様に、第2の入力オブジェクト604に対応する第2の部分618が深度範囲dの中央にマッピングされ、第1の入力オブジェクト602に対応する第2の部分608が深度範囲dの中央にマッピングされる。
同一の入力オブジェクトの部分からのマッピングをスムーズにするため、遷移部分がある。このスムージングは、第1のフィルタユニット506及び第2のフィルタユニット508によって引き起こされる。例えば、第1の入力オブジェクト602に対応する第3の部分610は、深度範囲dの中央から後の境界まで遷移部分を形成し、第1の入力オブジェクト602に対応する第1の部分612と第2の部分とを接続する。同様に、第2の入力オブジェクト604に対応する第3の部分616は、深度範囲dの中央から前の境界まで遷移部分を形成し、第2のオブジェクト604に対応する第1の部分614と第2の部分618とを接続する。
図7は、
3次元入力モデルを表す信号を受信する受信器702と、
前記3次元入力モデルを、スケーリングされた3次元出力モデルにスケーリングする、図4と共に説明されたようなスケーリングユニット400と、
前記スケーリングされた3次元出力モデルのビューを可視化する表示装置100と、
を有する、本発明による画像表示装置700を模式的に示す。前記信号は、アンテナ又はケーブルを介して受信された放送信号であっても良いが、VCR(Video Cassette Recorder)又はDVD(Digital Versatile Dick)のような記憶装置からの信号であっても良い。前記信号は、入力コネクタ710に供給される。画像表示装置700は、例えばTVであっても良い。任意に、画像表示装置700は、ハードディスクのような記憶手段、又は例えば光ディスクのような着脱可能な媒体への記憶のための手段を有する。画像表示装置700は、映画スタジオ又は放送会社によって利用されるシステムであっても良い。
上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付される請求項の範囲から逸脱することなく代替の実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧の間に配置されたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する(comprising)」なる語は、請求項に列記されていない要素又はステップの存在を除外するものではない。要素に先行する「1つの(a又はan)」なる語は、複数のかような要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記しているユニットの請求項において、これらの手段の幾つかは、同一のハードウェアのアイテムによって実施化されても良い。
先行技術による自動立体表示装置を模式的に示す。 3次元入力モデル上面図を模式的に示す。 図2(A)の3次元入力モデルの前面図を模式的に示す。 図2(A)の3次元入力モデルに基づく、スケーリングされた3次元出力モデルの上面図を模式的に示す。 3次元入力モデルに基づくビューの計算の後の、z−バッファスタックの内容を模式的に示す。 セグメンテーションの後の、図3(A)のz−バッファスタックの内容を模式的に示す。 可視性の確率を更新した後の、図3(B)のz−バッファスタックの内容を模式的に示す。 本発明によるスケーリングユニットを模式的に示す。 本発明によるスケーリングユニットの幾何配置変換ユニットを模式的に示す。 3次元入力モデルの、スケーリングされた3次元出力モデルへのスケーリングを模式的に示す。 本発明による画像表示装置を模式的に示す。

Claims (10)

  1. 3次元入力モデルを、スケーリングされた3次元出力モデルにスケーリングする方法であって、前記方法は、
    前記3次元入力モデルの各部分について、前記スケーリングされた3次元出力モデルの対応する部分が、前記スケーリングされた3次元出力モデルの2次元のビューにおいて可視であるそれぞれの確率を決定するステップを有し、該決定は、ビュー方向における前記3次元入力モデルの投射に基づき、前記方法は更に、
    前記それぞれの確率に基づいて、前記3次元入力モデルの各部分を、前記スケーリングされた3次元出力モデルのそれぞれの部分に幾何的に変換するステップを有する方法。
  2. 前記部分のうちの第1のものが可視である確率の決定が、前記部分のうちの第1のものの第1の座標の第1の値と、前記部分の第2のものの第1の座標の第2の値との比較に基づく、請求項1に記載の3次元入力モデルをスケーリングする方法。
  3. 前記部分のうちの第1のものが可視である確率の決定が、前記スケーリングされた3次元出力モデルが表示される表示装置の能力に基づく、請求項2に記載の3次元入力モデルをスケーリングする方法。
  4. 前記表示装置の能力は、前記表示装置の最大視野角及び深度範囲に対応する、請求項3に記載の3次元入力モデルをスケーリングする方法。
  5. 前記それぞれの確率に基づいて、前記3次元入力モデルの各部分を、前記スケーリングされた3次元出力モデルのそれぞれの部分に幾何的に変換するステップは、平行移動、回転又は変形のうちの1つを有する、請求項1に記載の3次元入力モデルをスケーリングする方法。
  6. z−バッファスタックにより前記3次元入力モデルの投射を計算するステップと、
    相互に等しいx値及び相互に等しいy値を持つ前記z−バッファスタックのエレメントの対のz値を比較することにより、前記投射において前記z−バッファスタックのエレメントのうちどれが可視であるかを示すステップと、
    前記z−バッファスタックのエレメントのセグメンテーションにより、z−バッファスタックのエレメントのどの群が、前記3次元入力モデルのそれぞれの部分を形成するかを決定するステップと、
    可視である別のz−バッファスタックのエレメントを有するz−バッファスタックのエレメントの群の一部である、z−バッファスタックの各エレメントの可視性の可能性を示すステップと、
    を有する、請求項1に記載の3次元入力モデルをスケーリングする方法。
  7. 相互に等しいx値及び相互に等しいy値を持つz−バッファスタックのエレメントの各配列について、対応する最小z値及び最大z値を決定するステップと、
    それぞれの前記最小z値及び最大z値、並びに表示装置の深度範囲に基づいて、前記z−バッファスタックのエレメントについてスケーリングされたz値を計算するステップと、
    を更に有する、請求項6に記載の3次元入力モデルをスケーリングする方法。
  8. 前記最小z値の決定はモルフォロジック演算に基づく、請求項7に記載の3次元入力モデルをスケーリングする方法。
  9. 3次元入力モデルを、スケーリングされた3次元出力モデルにスケーリングするスケーリングユニットであって、前記スケーリングユニットは、
    前記3次元入力モデルの各部分について、前記スケーリングされた3次元出力モデルの対応する部分が、前記スケーリングされた3次元出力モデルの2次元のビューにおいて可視であるそれぞれの確率を決定する確率決定手段を有し、該決定は、ビュー方向における前記3次元入力モデルの投射に基づき、前記スケーリングユニットは更に、
    前記それぞれの確率に基づいて、前記3次元入力モデルの各部分を、前記スケーリングされた3次元出力モデルのそれぞれの部分に幾何的に変換する変換手段を有するスケーリングユニット。
  10. 3次元入力モデルを表す信号を受信する受信手段と、
    前記3次元入力モデルを、スケーリングされた3次元出力モデルにスケーリングする、請求項9に記載のスケーリングユニットと、
    前記スケーリングされた3次元出力モデルのビューを可視化する表示手段と、
    を有する画像表示装置。
JP2006518475A 2003-07-11 2004-07-05 3次元モデルをスケーリングする方法及びスケーリングユニット Expired - Fee Related JP4625805B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03102126 2003-07-11
PCT/IB2004/051124 WO2005006181A2 (en) 2003-07-11 2004-07-05 Method of and scaling unit for scaling a three-dimensional model

Publications (2)

Publication Number Publication Date
JP2007528049A true JP2007528049A (ja) 2007-10-04
JP4625805B2 JP4625805B2 (ja) 2011-02-02

Family

ID=34042949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006518475A Expired - Fee Related JP4625805B2 (ja) 2003-07-11 2004-07-05 3次元モデルをスケーリングする方法及びスケーリングユニット

Country Status (9)

Country Link
US (1) US7388583B2 (ja)
EP (1) EP1658558B1 (ja)
JP (1) JP4625805B2 (ja)
KR (1) KR101035103B1 (ja)
CN (1) CN1973304B (ja)
AT (1) ATE407412T1 (ja)
DE (1) DE602004016347D1 (ja)
ES (1) ES2313035T3 (ja)
WO (1) WO2005006181A2 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1697902A1 (en) * 2003-12-19 2006-09-06 Koninklijke Philips Electronics N.V. Method of and scaling unit for scaling a three-dimensional model
US20110115041A1 (en) * 2009-11-19 2011-05-19 Zena Technologies, Inc. Nanowire core-shell light pipes
US8889455B2 (en) * 2009-12-08 2014-11-18 Zena Technologies, Inc. Manufacturing nanowire photo-detector grown on a back-side illuminated image sensor
JP5575778B2 (ja) * 2008-10-10 2014-08-20 コーニンクレッカ フィリップス エヌ ヴェ 信号に含まれる視差情報を処理する方法
USD603445S1 (en) 2009-03-13 2009-11-03 X6D Limited 3D glasses
USRE45394E1 (en) 2008-10-20 2015-03-03 X6D Limited 3D glasses
USD624952S1 (en) 2008-10-20 2010-10-05 X6D Ltd. 3D glasses
USD666663S1 (en) 2008-10-20 2012-09-04 X6D Limited 3D glasses
KR101502597B1 (ko) * 2008-11-13 2015-03-13 삼성전자주식회사 고심도 입체 영상 표시가 가능한 디스플레이 장치 및 방법
US8542326B2 (en) 2008-11-17 2013-09-24 X6D Limited 3D shutter glasses for use with LCD displays
CA2684513A1 (en) 2008-11-17 2010-05-17 X6D Limited Improved performance 3d glasses
US20100245999A1 (en) * 2009-03-30 2010-09-30 Carlow Richard A Cart For 3D Glasses
USD646451S1 (en) 2009-03-30 2011-10-04 X6D Limited Cart for 3D glasses
USD650956S1 (en) 2009-05-13 2011-12-20 X6D Limited Cart for 3D glasses
USD672804S1 (en) 2009-05-13 2012-12-18 X6D Limited 3D glasses
USD692941S1 (en) 2009-11-16 2013-11-05 X6D Limited 3D glasses
USD669522S1 (en) 2010-08-27 2012-10-23 X6D Limited 3D glasses
USD671590S1 (en) 2010-09-10 2012-11-27 X6D Limited 3D glasses
USD662965S1 (en) 2010-02-04 2012-07-03 X6D Limited 3D glasses
GB2479784B (en) 2010-04-23 2012-11-07 Nds Ltd Image scaling
USD664183S1 (en) 2010-08-27 2012-07-24 X6D Limited 3D glasses
JP5681588B2 (ja) * 2010-09-30 2015-03-11 富士フイルム株式会社 立体画像編集装置および立体画像編集方法
WO2012060182A1 (ja) * 2010-11-05 2012-05-10 富士フイルム株式会社 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体
JP5050094B2 (ja) * 2010-12-21 2012-10-17 株式会社東芝 映像処理装置及び映像処理方法
JP5909055B2 (ja) * 2011-06-13 2016-04-26 株式会社東芝 画像処理システム、装置、方法及びプログラム
FR2968108A1 (fr) 2011-06-20 2012-06-01 Thomson Licensing Procede de reduction de la taille d’une image stereoscopique
EP2555166B1 (en) * 2011-08-01 2019-10-16 Harman Becker Automotive Systems GmbH Space error parameter for 3D buildings and terrain
USD711959S1 (en) 2012-08-10 2014-08-26 X6D Limited Glasses for amblyopia treatment
CN107038682B (zh) * 2016-02-03 2020-06-26 上海源胜文化传播有限公司 一种三维人体模型的缩放系统及方法
CN109359380B (zh) 2018-10-16 2020-06-09 上海莉莉丝科技股份有限公司 缩放方法、装置、设备及介质
US12087007B2 (en) * 2021-03-31 2024-09-10 Auris Health, Inc. Vision-based 6DOF camera pose estimation in bronchoscopy

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1083460A (ja) * 1996-06-27 1998-03-31 Toshiba Corp 立体視システム、立体視方法、及び、異なる2つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp 3次元映像表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0817123B1 (en) * 1996-06-27 2001-09-12 Kabushiki Kaisha Toshiba Stereoscopic display system and method
US6466185B2 (en) * 1998-04-20 2002-10-15 Alan Sullivan Multi-planar volumetric display system and method of operation using psychological vision cues
US6456285B2 (en) * 1998-05-06 2002-09-24 Microsoft Corporation Occlusion culling for complex transparent scenes in computer generated graphics
AUPQ691100A0 (en) * 2000-04-14 2000-05-11 Lim, Dr Hong Lip Improvements to 3d graphics
JP4322121B2 (ja) * 2002-01-07 2009-08-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元モデルをスケーリングする方法およびスケーリングユニット並びに表示装置
US7113183B1 (en) * 2002-04-25 2006-09-26 Anark Corporation Methods and systems for real-time, interactive image composition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1083460A (ja) * 1996-06-27 1998-03-31 Toshiba Corp 立体視システム、立体視方法、及び、異なる2つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp 3次元映像表示装置

Also Published As

Publication number Publication date
JP4625805B2 (ja) 2011-02-02
EP1658558A2 (en) 2006-05-24
ES2313035T3 (es) 2009-03-01
ATE407412T1 (de) 2008-09-15
EP1658558B1 (en) 2008-09-03
WO2005006181A3 (en) 2006-12-07
KR101035103B1 (ko) 2011-05-19
KR20060029287A (ko) 2006-04-05
US20060197783A1 (en) 2006-09-07
CN1973304B (zh) 2010-12-08
DE602004016347D1 (de) 2008-10-16
US7388583B2 (en) 2008-06-17
CN1973304A (zh) 2007-05-30
WO2005006181A2 (en) 2005-01-20

Similar Documents

Publication Publication Date Title
JP4625805B2 (ja) 3次元モデルをスケーリングする方法及びスケーリングユニット
US20200066026A1 (en) Fusing, texturing, and rendering views of dynamic three-dimensional models
US8711204B2 (en) Stereoscopic editing for video production, post-production and display adaptation
Chang et al. Content-aware display adaptation and interactive editing for stereoscopic images
Daribo et al. A novel inpainting-based layered depth video for 3DTV
US9445072B2 (en) Synthesizing views based on image domain warping
US8405708B2 (en) Blur enhancement of stereoscopic images
US9621869B2 (en) System and method for rendering affected pixels
US10095953B2 (en) Depth modification for display applications
US20150022631A1 (en) Content-aware display adaptation methods and editing interfaces and methods for stereoscopic images
JP2003044870A (ja) 信頼度データ生成方法及び装置
JP2015522198A (ja) 画像に対する深度マップの生成
AU2018211217A1 (en) Virtual reality parallax correction
KR20040071775A (ko) 3차원 모델의 스케일링 방법, 스케일링 유닛 및 화상디스플레이 장치
Jung A modified model of the just noticeable depth difference and its application to depth sensation enhancement
Devernay et al. Adapting stereoscopic movies to the viewing conditions using depth-preserving and artifact-free novel view synthesis
EP1668919A1 (en) Stereoscopic imaging
JP4722055B2 (ja) 3次元モデルを縮尺変更する方法及び縮尺変更ユニット
KR20230022153A (ko) 소프트 레이어링 및 깊이 인식 복원을 사용한 단일 이미지 3d 사진
CN112565623A (zh) 一种动态图像显示系统
Lin et al. Depth similarity enhanced image summarization algorithm for hole-filling in depth image-based rendering
Marrinan et al. Image Synthesis from a Collection of Depth Enhanced Panoramas: Creating Interactive Extended Reality Experiences from Static Images
Kao Design and Implementation of Stereoscopic Image Generation
Smirnov et al. Real-time depth image-based rendering with layered dis-occlusion compensation and aliasing-free composition
CN118678217A (zh) 图像的处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100325

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100623

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101014

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101108

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees