JP2006508467A - コンピュータを用いて画像を生成する方法、コンピュータ可読メモリ、および、画像生成システム - Google Patents

コンピュータを用いて画像を生成する方法、コンピュータ可読メモリ、および、画像生成システム Download PDF

Info

Publication number
JP2006508467A
JP2006508467A JP2004557186A JP2004557186A JP2006508467A JP 2006508467 A JP2006508467 A JP 2006508467A JP 2004557186 A JP2004557186 A JP 2004557186A JP 2004557186 A JP2004557186 A JP 2004557186A JP 2006508467 A JP2006508467 A JP 2006508467A
Authority
JP
Japan
Prior art keywords
parallax
computer
scene
image
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004557186A
Other languages
English (en)
Other versions
JP4766877B2 (ja
Inventor
ビー.マーティン マイケル
Original Assignee
ビジョン サード イメージング,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ビジョン サード イメージング,インコーポレイテッド filed Critical ビジョン サード イメージング,インコーポレイテッド
Publication of JP2006508467A publication Critical patent/JP2006508467A/ja
Application granted granted Critical
Publication of JP4766877B2 publication Critical patent/JP4766877B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本発明の一態様は、コンピュータを使用して仮想オートステレオスコピック画像を生成する方法を含む。この方法は、仮想3次元空間内に少なくとも1つのオブジェクトを定義する工程と、仮想視点を定義する工程とを含むことができる。画像は、その少なくとも1つのオブジェクトについての視差スキャン動作をシミュレートすることによって生成することができる。生成された画像を表示し、格納することができる。

Description

本発明は、シーンオブジェクトの位置操作による視差スキャンを用いたビジュアルアート分野に関し、より詳細には、視差スキャンを使用してオートステレオスコピック3Dコンピュータグラフィック画像を生成し表示するシステムおよび方法に関する。
なお、本出願は、2002年11月27日に出願の米国特許仮出願第60/429358号明細書の利益を主張するものであり、その特許を参照により本明細書に組み込む。
3次元錯覚を生ずるように表示できる2次元画像の生成は、ビジュアルアート分野の長年にわたる目標であった。このような3次元錯覚を生成するための方法および装置は、ある程度、人間の奥行知覚の生理機能についての理解の深まり、ならびにアナログ/デジタル信号処理およびコンピュータ画像生成ソフトウェアによる画像操作の発展と並行して進展してきた。
両眼(すなわち、立体)視には、同一の方向を見る、視野が一部重なった2つの眼が必要である。各々の目は、少し異なった角度からシーンを眺め、網膜上に像を結ぶ。網膜は、神経細胞またはニューロンが並んだ眼底の陥凹面である。各々の眼からの2次元網膜像は、視神経に沿って脳の視覚中枢に送られ、そこで立体視と呼ばれるプロセスで組み合わされて、そのシーンの知覚された3次元モデルが形成される。
3次元空間の知覚は、例えば、単眼キュー(monocular cue)、両眼キュー(binocular cue)などで確認される、シーン中の様々な種類の情報に依存する。単眼キューには、相対サイズ、線遠近(linear perspective)、干渉、照明、陰影などの要素が含まれる。また、両眼キューには、両眼視差(retinal disparity)、調節、収束(convergence)、学習キュー(例えば、対象の熟知度)などが含まれる。あるシーンにおける3次元知覚の生成には、これらすべての要素が寄与するが、両眼視差は、3次元知覚を生成するための最も重要な情報源の一つになり得る。詳細には、両眼視差は、脳に提供される視差情報(すなわち、異なる観測位置に起因する、オブジェクトの位置、運動の方向、他の視覚特性などについての視覚認識可能な変化)である。各々の眼は異なる観測位置を有するので、それらは同じシーンの僅かに異なる光景を提供することができる。各光景間の差は、脳がそのシーンの3次元様相を知覚するために使用できる視差情報を表す。
単眼の奥行キューと受け取った視覚情報の視差情報の間には差異が存在する。どちらの眼も本質的には同一の単眼奥行キューを提供するが、各々が異なる視差奥行情報を提供し、その差は真の3次元ビューを生成するために不可欠のものである。
奥行情報は、ある程度までは、2次元画像中で知覚できる。例えば、スチール写真、絵画、標準のテレビや映画を見たとき、あるいは片目をつぶって景色を見たときなどに、単眼の奥行を知覚することができる。単眼の奥行は、両眼視差奥行情報の助けなしに知覚される。単眼の奥行関係は、相対サイズ、重なり、遠近感、陰影などの単眼奥行キューから脳によって解釈される。2次元画像から単眼奥行情報を解釈する(すなわち、単眼キューを使用して、2次元平面上に3次元空間を表示する)ために、観察者は、実際に幼児期に学習したプロセスを通して奥行情報を画像へ読み取る。
真の3次元画像は、3Dまたは3次元と一般に呼ばれているコンピュータ生成画像とは異なることがある。詳細には、3次元(3D)という用語は、過去数年に渡り、コンピュータ画像産業によって、遠近法、陰影、反射、および動きを利用した奥行キューを使用して生成される画像を含むように拡張されてきた。これらの画像は、驚くほど素晴らしい結果を生成できるが、それでもやはり2次元である。なぜならば、本当の3次元画像に含まれる視差奥行情報を欠くからである。
真の3次元画像を生成し、かつ/または表示するシステムおよび方法がいくつか存在する。これらの方法は、2つの主要なカテゴリーに分類できる。すなわち、ステレオスコピック表示法とオートステレオスコピック表示法である。ステレオスコープ、偏光、アナグリフ(anaglyphic)、プルフリッヒ(Pulfrich)、シャッタなどの技術を含めたステレオスコピック技術では、観測者は、例えば眼鏡などの特殊な観賞用装置を装着する必要がある。ホログラフィ、レンティキュラスクリーン(lenticular screen)、視差バリアなどのオートステレオスコピック技術では、特殊な眼鏡の使用なしに3次元錯覚を有する画像を生成できるが、これらの方法では、一般に特殊なスクリーンを使用する必要がある。
他のいくつかのシステムおよび方法では、視差スキャン情報を使用して、オートステレオスコピック表示の生成を可能にしている。オートステレオスコピック表示は、観測者が、従来の表示器上で見たときでも画像を3次元として知覚できるようにするものである。例えば、単一のカメラが、視差スキャン動作を実施しながら画像を記録する少なくとも1つの方法が提案されている。したがって、単一のカメラの光軸を繰り返しパターンで移動させて、カメラの光軸を基準の静止軸からオフセットさせることができる。このオフセットにより視差情報が生成される。このカメラ光軸の動きは、視差スキャン動作と呼ばれている。動作がパターンとして繰り返されると、動作は振動的になる。どの時点においても、動作は視差スキャン角によって記述できる。
視差情報に基づいてオートステレオスコピック表示を生成するために、スキャン動作中に取り込んだデータを順次表示することができる。これらの画像は、例えば、約3Hzから約6Hzの表示サイクル速度で表示することができる。この周波数は、視差画像表示が順次切り換わる速度を表わす。表示される一連の視差画像により、3次元情報を観測者に伝えるオートステレオスコピック表示を提供することができる。
視差情報はコンピュータ生成画像に組み込むこともできる。例えば、参照により本明細書に組み込まれた特許文献1(「‘347号特許」)は、コンピュータが、仮想レンズを有する仮想カメラを使用して視差画像を生成する方法を開示している。視差画像は、レンズ開口部の所望の視差スキャンパターンをシミュレートすることによって生成することができる。また、例えば、レイトレーシング(ray tracing)アルゴリズムを使用して視差画像を生成することもできる。画像は、フレーム単位でコンピュータメモリに格納することができる。格納された画像をメモリから取り出して、コンピュータモニタ上に表示すること、ビデオテープに記録してTV画面上に表示すること、および/またはフィルムに記録してスクリーン上に映写することができる。
米国特許第6,324,347号明細書
したがって、‘347号特許の方法では、カメラの視点(例えば、レンズ開口部)を移動させて視差スキャン情報を生成する。画像生成のレイトレーシング法は、‘347号特許の方法の一実施形態で使用できるものであるが、この方法を使用して、映画の特殊効果に使用されるような高品質のコンピュータ画像を生成することもできる。
しかし、レイトレーシング法を使用して、被写界深度の変化などの視覚的効果をシミュレートするためには、大量の計算が必要であり、処理リソースに重い負荷をかける可能性がある。したがって、このようなレイトレーシング法は、3Dコンピュータゲーム、アニメーション、他のグラフィックアプリケーションなど、迅速な応答を必要とするある種の用途には向かないこともある。
仮想レンズの動きをシミュレートして視差画像情報を生成することは、状況によっては、表示される視差画像を不安定にすることがある。図1Aおよび1Bは、‘347号特許において、視差情報を生成するために使用される方法の一実施形態を示す。図1Aは、3つのオブジェクトA、B、Cがカメラ11の光軸20上に存在する状況を示す。‘347号特許の方法は、カメラ11の視点(例えば、レンズ位置)を移動させて視差情報を生成することを含む。例えば、図1Bに示したように、カメラ11を図1Aの元の位置から移動させる。その結果、収束平面10上にある収束点12の前方、および後方のオブジェクトは、光軸20に対して移動したように見えることになる。詳細には、収束点12の前方にあるオブジェクトAは、ある方向に移動したように見え、オブジェクトCは、光軸20に対してオブジェクトAの移動方向とは逆の方向に移動したように見えることになる。
視点が移動する‘347号特許の方法では、オブジェクトAおよびCが移動したように見える量は、それぞれのオブジェクトのレンズからの距離に線形に依存する。図2Aに示したように、収束点12を越えた位置にあるオブジェクトは、視点からの距離が増大するにつれて、視差オフセットの量が線形に増加する。
しかし、この特性は、表示された視差画像を不安定にする可能性がある。詳細には、表示された視差画像において、視点から遠くの位置にあるオブジェクトは、視点により近いオブジェクトに比べて長い距離分移動したように見える。視点から遠いオブジェクトは、視点により近いオブジェクトに比べて奥行情報への寄与は少ないので、遠くのオブジェクトの移動はそれほど重要でないにもかかわらず、画像の不安定(例えば、連続する視差画像フレーム間のオブジェクトの移動によって引き起こされるジッタ効果など)を引き起こす可能性がある。‘347号特許の方法を使用すること(すなわち、仮想視点を移動させて、視差情報を生成すること)は、ある状況下では、極端に深度の深いところでオブジェクトの安定性を直接制御することであり、非実用的な場合もある。
本発明は、上記従来技術に関する1つまたは複数の問題点を克服することを目的とするものである。
本発明の一態様は、コンピュータを使用して、仮想オートステレオスコピック画像を生成する方法を含む。本発明の方法は、仮想3次元空間内に少なくとも1つのオブジェクトを定義する工程と、仮想視点を定義する工程とを含むことができる。画像は、少なくとも1つのオブジェクトについての視差スキャン動作をシミュレートすることによって生成できる。生成された画像は、表示し、格納することができる。
本発明の他の態様は、画像を生成する方法を含む。この方法は、画像化されるシーンに関する少なくとも1つのシーンパラメータを自動的に監視する工程と、その少なくとも1つのシーンパラメータに基づいて視差スキャンパラメータを決定する工程と、その視差スキャンパラメータをシーン中の少なくとも1つのオブジェクトに適用する工程と、その少なくとも1つのオブジェクトを含む画像を生成する工程とを含むことができる。
本発明は、視差スキャンを使用してオートステレオスコピック3Dコンピュータグラフィック画像を生成し表示するためのシステムおよび方法を含む。すなわち、視差情報をコンピュータグラフィック画像に組み込むことによって、それらの画像を、3次元特性を有するものとして知覚することができる。本発明は、少なくとも2つの方法で従来技術の方法を改善する。第1に、自動スキャン制御アルゴリズムにより、3D仮想シーン情報に基づいて適切な視差スキャンパラメータを計算する。第2に、シーンの幾何学的配置を固定したままでカメラを移動して、3D仮想シーンに視差スキャンを適用する代わりに、本発明の方法は、カメラを固定したままで各シーンオブジェクトを移動することによって視差スキャンを適用する。
コンピュータ画像生成に適用される、以前の視差スキャン方法は、カメラのアイリスを画像化されるシーンオブジェクトに対して移動させることによって視差情報をシーン画像に組み込んでいた。本発明は、この方法を逆にして、カメラを通常の位置に固定したまま、シーンオブジェクトに視差オフセットを適用する。この方法は、各オブジェクトが受ける視差の量を変更する手段を提供することによって、視差スキャン処理のより優れた制御を可能にする。いくつかの従来技術の方法では、すべてのオブジェクトを収束点からの距離に比例する量だけ移動させることができるが、本発明の方法は潜在的に、距離に対するオフセットの任意のマッピングを可能にする。このようなマッピングにより、非常に遠い、および非常に近いオブジェクトに対する比例オフセットを縮小することが可能になり、その結果、生成および/または記録された画像内に望ましくない不安定性を示す極端に近いまたは極端に遠いオブジェクトが含まれる場合を、最小に、または防止することができる。
本発明の方法は、MOE(moving optical element)レンズの非線系な挙動をより厳密に近似する結果を提供することもできる。MOEレンズを近似することは、例えば、コンピュータ生成画像をライブの動画像と合成する際に、両方の種類の画像が視差スキャンを含むような場合に有用になる。
本発明に従ってシーンオブジェクトを移動させることの効果は、例えば、図1Cに示される。図1Bに示した従来技術の方法で実施されるようにカメラ11の位置を変更するのではなく、カメラ11の位置は固定されたままである。その代わりに、オブジェクトA、B、およびCの位置は、収束平面10から各オブジェクトまでの距離に基づいて調整される。例えば、オブジェクトA、B、およびCを含む仮想のシーンにおいて、コンピュータは、オブジェクトAがカメラ11と収束平面10の間にあることを判断することができる。次に、コンピュータは、オブジェクトAの位置を光軸20に対して第1の方向にオフセットすることができる。同様に、コンピュータは、オブジェクトCが、視点から収束平面10よりさらに遠い距離にあると判断することができる。したがって、オブジェクトCは、オブジェクトAが移動したのと反対の方向に移動することになる。オブジェクトBの位置は、オブジェクトBが収束平面10上に位置するので、固定されたままである。シーン中の各オブジェクトを、視差オフセット量にしたがって、例えば、オブジェクトが存在するx−y平面上の任意の方向に移動させることができることに留意されたい。さらに、必要ならば、シーン中の各オブジェクトに、ある量の回転を加えることもできる。
図1Bおよび図1Cを観察すると、カメラ11の位置を移動させることによっても(図1B)、オブジェクトA、B、Cの位置を移動させることによっても(図1C)、同一の視差スキャン情報が生成できることが分かる。詳細には、図1Bに示されたカメラの動きに応答して、オブジェクトAは、光軸20に対して上方に移動したように見え、オブジェクトBは固定したままであり、オブジェクトCは光軸20に対して下方に移動したように見える。図Cでは、カメラ11は固定位置に置いたままであるが、同一の相対的動作をシミュレートすることができる。図Cにおいて、オブジェクトAは、光軸20に対して上方に移動したように見え、オブジェクトBは固定したままであり、オブジェクトCは光軸20に対して下方に移動したように見える。
図1Bに示した従来技術の方法の一実施形態では、各オブジェクトに適用される視差オフセットの量は、収束平面に対するオブジェクトの位置に依存する線形関数によって提供することができる。上記のように、この手法は一連の視差画像のオートステレオスコピック表示において不安定になることがある。従来技術の方法のいくつかの実施形態では、オブジェクトの位置をオフセットするために回転を利用しており、オブジェクトの位置は、収束平面からオブジェクトまでの距離と適用される視差オフセットの量とを関連付ける線形関数によって定められた位置から外れることができなかった。
本発明の方法では、各オブジェクトに適用されるオフセットの量を制御することができる。視点ではなく、シーン中のオブジェクトを動かすことによって視差画像が生成されるので、各オブジェクトに適用される動きの量は完全に調整可能である。この特性に基づくと、オブジェクトに適用される移動量は、線形関数を満たす値に限定されることはない。むしろ、所望する任意の移動量をオブジェクトに適用することができる。この特徴は、視点から遠く離れたオブジェクトの望ましくない動きを最小に、または防止するうえで特に有用である。詳細には、あるシーンオブジェクトに適用される動きの量は、非線形の距離−マッピング曲線に従うことが可能であり、したがって収束平面から閾値距離を越えてより遠くにあるオブジェクトには、低減された視差オフセット量を適用する。
図2A〜2Cは、本発明の方法と併せて使用できる、いくつかの距離−マッピング曲線を示す。図2Aは、線形の距離−マッピング曲線を示す。本発明は、図2Aの線形の距離−マッピング曲線に従って、シーン中のオブジェクトに視差オフセット値を適用することもできるが、この曲線は、ある状況下では、オートステレオスコピック表示を不安定にする恐れがある。例えば、線形の距離−マッピング曲線では、シーン中の遠くのオブジェクトに適用される視差オフセットが大きくなりすぎることがある。
図2Bは、本発明に適合するアプリケーションで使用できる非線系の距離−マッピング曲線を示す。図示のように、シーン中のオブジェクトに適用される視差オフセット量は、収束点12ではゼロであり、ある閾値距離32まではリニアに増加する。閾値距離を越えると適用される視差オフセットの量は一定に保たれる。閾値距離32は、任意の距離に選択することができる。第2の閾値距離32’を、収束点12に対して、より視点に近い距離に実装することもできる。
図2Cは、本発明に適合するアプリケーションで使用できる、もう1つの非線系の距離−マッピング曲線を示す。図示のように、シーン中のオブジェクトに適用される視差オフセットの量は、収束点12ではゼロであり、ある閾値距離32までは増加する。閾値距離を越えると適用される視差オフセットの量は一定に保たれる。ただし、収束点12と閾値距離32の間はリニアに増加するのではなく、図2Cの距離−マッピング曲線は、任意の所定の非線形関数(例えば、双曲正接関数)の経路に従う。図2A〜2Cのいずれかに示された距離−マッピング曲線の実装は、例えば、「バーテックスプログラム(vertex programs)」または「バーテックスシェーダ(vertex shaders)」をサポートする、コンピュータハードウェアベースの3Dアクセラレータを使用して、実時間でオブジェクトごとに実施することができる。バーテックスシェーダを使用して、例えば、1つまたは複数の距離−マッピング曲線を計算することもできる。
本発明に適合する方法は、図3に記載したように進めることができる。図3に示した方法は、フレームベースで実施することができる。すなわち、この処理は、3Dグラフィックアプリケーションによって生成され、表示される新たなフレームごとに実施することができる。さらに、本発明の処理は、3Dグラフィックアプリケーションによって生成されるフレームの任意の部分が視差オフセット情報を含むように選択的に実施することもできる。
コンピュータシミュレーション(例えば、3Dコンピュータゲーム)に与える効果を最大にするために、コンピュータは、シーン情報を監視し、そのシーン情報に基づき、適切な視差スキャンパラメータを自動的に決定することができる。コンピュータの意思決定過程において、入力またはユーザフィードバックを使用してもしなくてもよい。詳細には、オートスキャン制御アルゴリズムにより、記録されるシーンに関する情報を収集し使用して、視差角や収束距離などの各パラメータの最適設定を決定することができる。視差スキャン設定の決定に使用できる適切なシーン情報には、例えば、観測者の動き、速度、シーン中の様々なオブジェクトへの距離、視野(FOV)角、表示器の画面サイズなどがある。最適な視差スキャン設定が決定された後で、それらの設定は、次のフレーム、またはコンピュータによって生成される一組のフレーム中で使用することができる。このように、視差スキャンの3D効果は、各シーンごとに、そのシーンの特性に従って合わせ込むことができる。
ステップ100において、コンピュータが画像フレームを生成する方法が開始される。ステップ110で、オブジェクトおよびオブジェクトの動きが3次元空間内で定義される。またステップ120で、オブジェクトを含むシーンも3次元空間内に定義される。画像化装置またはカメラ、カメラ位置(視点)、照明、レンジなどがステップ130で定義される。カメラ定義には、画像化平面、レンズパラメータ(例えば、サイズ、形状)、およびレンズ口径パラメータ(例えば、サイズ、形状)などのシミュレーションを含めることができる。各フレームを生成する前に、ステップ140で、視差スキャン角がコンピュータによって、シーン情報および前回の視差スキャン角に基づいて計算される。ステップ150で、オブジェクトの点位置が計算される(例えば、シーンオブジェクトのある部分を表わすために、多角形上の点または頂点の位置が使用される)。ステップ160で、視差オフセットが計算され、ステップ150で計算された点位置に適用される。ステップ150および160は、シーン中の各オブジェクトの各点ごとに繰り返すことができる。各点が計算され、オフセットが適用された後で、ステップ170でオブジェクトが生成される。生成された画像は、ステップ180でフレームごとにコンピュータメモリに格納することができる。次に、格納された画像をメモリから取り出して、コンピュータモニタ上に表示すること、ビデオテープに記録してTV画面上に表示すること、および/またはフィルム上に記録してスクリーン上に映写することができる(ステップ190)。
例示的一実施形態では、バーテックスシェーダなど様々なソフトウェアルーチンを使用して、図3に記載した1つまたは複数のステップを達成することができる。例えば、オブジェクト位置計算ソフトウェアルーチンによって、視差スキャンパラメータを計算することができ、また同一のまたは他のソフトウェアルーチンによって三角関数計算を実施して、シーン中の各点の位置を決定することができる。しかし、これらの情報だけに基づいてシーンを生成する代わりに、バーテックスシェーダを選択し、計算された視差スキャンおよびオブジェクト位置パラメータをロードすることもできる。シーン中の各点ごとにバーテックスシェーダをコールして、計算された視差スキャンパラメータに基づき、計算されたオブジェクトの位置を適切な量だけオフセットさせることができる。このプロセスの間に、バーテックスシェーダを使用して、任意の所望の距離−マッピング曲線を、計算されたオブジェクト位置に適用することもできる。
バーテックスシェーダは、シーン中のオブジェクトの位置をオンザフライで修正することができる。例えば、カメラの位置を固定したままで、シーンオブジェクトを光軸に垂直な平面内で移動させることができる。移動量は、光軸に沿って測定された、オブジェクトの平面から収束平面までの距離に基づいて決まる。バーテックスシェーダ方式は、安定性を改善し、明確に定義された収束平面を提示する。この挙動は、視差スキャン時のMOEレンズ光学系の挙動により近づくものである。
視差オフセットを含まない状況を示す概略図である。 画像中に視差オフセット情報を生成する従来技術の方法を示す概略図である。 本発明の例示的一実施形態による、視差オフセット情報を生成する方法を示す概略図である。 本発明の例示的一方法によって使用できる、視差オフセット対距離の様々なプロファイルを示す図である。 本発明の例示的一方法によって使用できる、視差オフセット対距離の様々なプロファイルを示す図である。 本発明の例示的一方法によって使用できる、視差オフセット対距離の様々なプロファイルを示す図である。 本発明の例示的一実施形態によって実施される方法の代表的な構成を示す図である。

Claims (17)

  1. コンピュータを使用して仮想オートステレオスコピック画像を生成する方法であって、
    仮想3次元空間内に少なくとも1つのオブジェクトを定義する工程と、
    仮想視点を定義する工程と、
    前記少なくとも1つのオブジェクトについての視差スキャン動作をシミュレートして画像を生成する工程と、
    前記生成された画像を格納する工程と、
    前記生成された画像を表示する工程と
    を具えたことを特徴とする方法。
  2. 前記生成のステップは、前記少なくとも1つのオブジェクトの位置に視差オフセットを適用することをさらに具えたことを特徴とする請求項1記載の方法。
  3. 前記視差オフセットは、前記少なくとも1つのオブジェクトと収束平面との間の距離に応じて変化することを特徴とする請求項2記載の方法。
  4. 前記視差オフセットは、前記収束平面ではゼロであり、所定の閾値距離値で最大値をとることを特徴とする請求項3記載の方法。
  5. 前記視差オフセットは、前記収束平面と前記閾値距離値との間で線形に変化することを特徴とする請求項4記載の方法。
  6. 前記視差オフセットは、前記収束平面と前記閾値距離値との間で非線形関数に従って変化することを特徴とする請求項4記載の方法。
  7. 前記生成のステップは、バーテックスシェーダを使用して前記少なくとも1つのオブジェクトの位置をオフセットすることをさらに含むことを特徴とする請求項1記載の方法。
  8. 前記仮想視点を固定位置に維持することをさらに含むことを特徴とする請求項1記載の方法。
  9. 画像を生成する方法であって、
    画像化されるシーンに関連する少なくとも1つのシーンパラメータを自動的に監視する工程と、
    前記少なくとも一つのシーンパラメータに基づいて視差スキャンパラメータを決定する工程と、
    前記視差スキャンパラメータを前記シーン内の少なくとも1つのオブジェクトに適用する工程と、
    前記少なくとも1つのオブジェクトを含む画像を生成する工程と
    を具えたことを特徴とする方法。
  10. 前記視差スキャンパラメータは、視差角と収束距離の少なくとも一方を含むことを特徴とする請求項9記載の方法。
  11. 前記シーンパラメータは、観測者運動速度を含むことを特徴とする請求項9記載の方法。
  12. 前記シーンパラメータは、観測者とシーン内のオブジェクトとの間の距離を含むことを特徴とする請求項9記載の方法。
  13. 前記シーンパラメータは、シーンの視野と表示器の画面サイズの少なくとも一方を含むことを特徴とする請求項9記載の方法。
  14. マシン可読コードを格納するコンピュータ可読メモリであって、前記マシン可読コードは、
    仮想3次元空間内に少なくとも1つのオブジェクトを定義する工程と、
    仮想視点を定義する工程と、
    前記少なくとも1つのオブジェクトについての視差スキャン動作をシミュレートして画像を生成する工程と、
    前記生成された画像を格納する工程と、
    前記生成された画像を表示する工程と
    を具えた方法を実施するためのコンピュータ命令を含むことを特徴とするコンピュータ可読メモリ。
  15. 前記マシン可読コードは、前記仮想視点を固定位置に維持するための前記コンピュータ命令を含むことを特徴とする請求項14記載のコンピュータ可読メモリ。
  16. コンピュータを用いた画像生成システムであって、
    3次元空間内に少なくとも1つのオブジェクトを定義する命令と、仮想視点を定義する命令と、前記少なくとも1つのオブジェクトについての視差スキャン動作をシミュレートして画像を生成する命令とを含むマシン可読コードを格納するコンピュータ可読メモリと、
    前記コンピュータ可読メモリに格納された前記命令を実行するプロセッサと、
    1つまたは複数の前記生成された画像を格納するデータ格納位置と、
    前記生成された画像を表示する表示器と
    を具えたことを特徴とする画像生成システム。
  17. 前記コンピュータ可読メモリは、前記仮想視点を固定位置に維持する命令を含むことを特徴とする請求項16記載のコンピュータを用いた画像生成システム。
JP2004557186A 2002-11-27 2003-11-26 コンピュータを用いて画像を生成する方法、コンピュータ可読メモリ、および、画像生成システム Expired - Fee Related JP4766877B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US42935802P 2002-11-27 2002-11-27
US60/429,358 2002-11-27
PCT/US2003/035980 WO2004051577A1 (en) 2002-11-27 2003-11-26 Parallax scanning through scene object position manipulation

Publications (2)

Publication Number Publication Date
JP2006508467A true JP2006508467A (ja) 2006-03-09
JP4766877B2 JP4766877B2 (ja) 2011-09-07

Family

ID=32469310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004557186A Expired - Fee Related JP4766877B2 (ja) 2002-11-27 2003-11-26 コンピュータを用いて画像を生成する方法、コンピュータ可読メモリ、および、画像生成システム

Country Status (9)

Country Link
US (2) US7463257B2 (ja)
EP (1) EP1570436B1 (ja)
JP (1) JP4766877B2 (ja)
KR (1) KR101013086B1 (ja)
AT (1) ATE433590T1 (ja)
AU (2) AU2003290739A1 (ja)
CA (1) CA2507213C (ja)
DE (1) DE60327943D1 (ja)
WO (1) WO2004051577A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1587329B1 (en) * 2003-01-20 2015-04-15 Sanyo Electric Co., Ltd. Three-dimensional video providing method and three-dimensional video display device
CN1998153A (zh) * 2004-05-10 2007-07-11 辉达公司 用于视频数据的处理器
WO2008093167A2 (en) * 2006-09-19 2008-08-07 Bracco Imaging S.P.A. Methods and systems for interacting with a 3d visualization system using a 2d interface
TW200925866A (en) * 2007-09-21 2009-06-16 Silverbrook Res Pty Ltd Printer driver for interactive printer
WO2010085549A1 (en) 2009-01-21 2010-07-29 Vision Iii Imaging, Inc. System and method for three-dimensional visualization of geographical data
GB2470759A (en) * 2009-06-03 2010-12-08 Sony Comp Entertainment Europe Displaying videogame on 3D display by generating stereoscopic version of game without modifying source code
CN101961555B (zh) * 2009-07-21 2014-01-29 科乐美数码娱乐株式会社 视频游戏装置、游戏图像显示控制方法和显示模式切换控制方法
US8730301B2 (en) * 2010-03-12 2014-05-20 Sony Corporation Service linkage to caption disparity data transport
WO2011127273A1 (en) 2010-04-07 2011-10-13 Vision Iii Imaging, Inc. Parallax scanning methods for stereoscopic three-dimensional imaging
JP5449535B2 (ja) * 2010-04-28 2014-03-19 富士フイルム株式会社 立体撮像装置及びその制御方法
US20110304618A1 (en) * 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images
WO2011162209A1 (ja) * 2010-06-25 2011-12-29 富士フイルム株式会社 画像出力装置、方法およびプログラム
KR20120007289A (ko) * 2010-07-14 2012-01-20 삼성전자주식회사 디스플레이 장치 및 그 입체감 설정 방법
US9113074B2 (en) * 2010-12-22 2015-08-18 Olympus Corporation Imaging apparatus, imaging method, and computer readable storage medium for applying special effects processing to an automatically set region of a stereoscopic image
CN103329549B (zh) 2011-01-25 2016-03-09 富士胶片株式会社 立体视频处理器、立体成像装置和立体视频处理方法
JP2012204852A (ja) * 2011-03-23 2012-10-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP5789793B2 (ja) * 2011-08-23 2015-10-07 パナソニックIpマネジメント株式会社 3次元撮像装置、レンズ制御装置、およびプログラム
CN102508651B (zh) * 2011-09-29 2015-04-15 深圳超多维光电子有限公司 用户界面的实现方法及系统、电子设备
DE112011105927T5 (de) * 2011-12-07 2014-09-11 Intel Corporation Grafik-Renderingverfahren für autostereoskopisches dreidimensionales Display
EP2627093A3 (en) * 2012-02-13 2013-10-02 Thomson Licensing Method and device for inserting a 3D graphics animation in a 3D stereo content
JP6092525B2 (ja) * 2012-05-14 2017-03-08 サターン ライセンシング エルエルシーSaturn Licensing LLC 画像処理装置、情報処理システム、画像処理方法およびプログラム
WO2016149446A1 (en) * 2015-03-17 2016-09-22 Blue Sky Studios, Inc. Methods, systems and tools for 3d animation
JP6582805B2 (ja) * 2015-09-25 2019-10-02 富士通株式会社 符号化装置、符号化システム、符号化方法、及びプログラム
US10424295B2 (en) * 2016-02-03 2019-09-24 Disney Enterprises, Inc. Calibration of virtual image displays
WO2017218834A1 (en) * 2016-06-17 2017-12-21 Kerstein Dustin System and method for capturing and viewing panoramic images having motion parralax depth perception without images stitching
GB2553293B (en) * 2016-08-25 2022-06-01 Advanced Risc Mach Ltd Graphics processing systems and graphics processors

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331607A (ja) * 1995-03-29 1996-12-13 Sanyo Electric Co Ltd 三次元表示画像生成方法
JPH11514502A (ja) * 1993-11-05 1999-12-07 ビジョン サード イメージング,インコーポレイテッド パララックス走査レンズ・アパーチャを用いた自己立体視映像化装置および方法
JP2000209614A (ja) * 1999-01-14 2000-07-28 Sony Corp 立体映像システム
JP2001103514A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 2次元映像を3次元映像に変換する方法
WO2002013143A1 (en) * 2000-08-04 2002-02-14 Dynamic Digital Depth Research Pty Ltd. Image conversion and encoding technique

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5014126A (en) * 1989-10-23 1991-05-07 Vision Iii Imaging, Inc. Method and apparatus for recording images with a single image receiver for autostereoscopic display
US5142357A (en) * 1990-10-11 1992-08-25 Stereographics Corp. Stereoscopic video camera with image sensors having variable effective position
KR100414629B1 (ko) 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
US6005607A (en) * 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US6707487B1 (en) * 1998-11-20 2004-03-16 In The Play, Inc. Method for representing real-time motion
GB2354389A (en) * 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
US6853377B2 (en) * 2002-06-26 2005-02-08 Nvidia Corporation System and method of improved calculation of diffusely reflected light

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11514502A (ja) * 1993-11-05 1999-12-07 ビジョン サード イメージング,インコーポレイテッド パララックス走査レンズ・アパーチャを用いた自己立体視映像化装置および方法
JPH08331607A (ja) * 1995-03-29 1996-12-13 Sanyo Electric Co Ltd 三次元表示画像生成方法
JP2000209614A (ja) * 1999-01-14 2000-07-28 Sony Corp 立体映像システム
JP2001103514A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 2次元映像を3次元映像に変換する方法
WO2002013143A1 (en) * 2000-08-04 2002-02-14 Dynamic Digital Depth Research Pty Ltd. Image conversion and encoding technique

Also Published As

Publication number Publication date
AU2010202382A1 (en) 2010-07-01
KR101013086B1 (ko) 2011-02-14
US20050270284A1 (en) 2005-12-08
JP4766877B2 (ja) 2011-09-07
EP1570436A1 (en) 2005-09-07
EP1570436B1 (en) 2009-06-10
CA2507213C (en) 2013-01-22
WO2004051577A1 (en) 2004-06-17
US7463257B2 (en) 2008-12-09
AU2010202382B2 (en) 2014-08-07
AU2003290739A1 (en) 2004-06-23
US20090174705A1 (en) 2009-07-09
KR20050087803A (ko) 2005-08-31
DE60327943D1 (de) 2009-07-23
ATE433590T1 (de) 2009-06-15
CA2507213A1 (en) 2004-06-17

Similar Documents

Publication Publication Date Title
JP4766877B2 (ja) コンピュータを用いて画像を生成する方法、コンピュータ可読メモリ、および、画像生成システム
US9251621B2 (en) Point reposition depth mapping
EP3035681B1 (en) Image processing method and apparatus
US8400496B2 (en) Optimal depth mapping
US9684946B2 (en) Image making
US20050253924A1 (en) Method and apparatus for processing three-dimensional images
JP2007531951A (ja) 水平遠近法ディスプレイ
US20150187132A1 (en) System and method for three-dimensional visualization of geographical data
JP2012079291A (ja) プログラム、情報記憶媒体及び画像生成システム
CN105959664A (zh) 基于场景内容的预定三维视频设置的动态调整
Moreau Visual immersion issues in Virtual Reality: a survey
Yoshida fVisiOn: glasses-free tabletop 3D display to provide virtual 3D media naturally alongside real media
EP2409279B1 (en) Point reposition depth mapping
WO2009018557A1 (en) Method and software for transforming images
Richter et al. New approaches for multi-view displays by circular display
GB2548080A (en) A method for image transformation
Kellnhofer et al. Improving perception of binocular stereo motion on 3D display devices
US9609313B2 (en) Enhanced 3D display method and system
Laldin Perceived Acceleration in Stereoscopic Animation
Flack et al. Optimizing 3D image quality and performance for stereoscopic gaming
Dipert w rks how it

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090520

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090527

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090619

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090626

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090721

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100702

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101004

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101012

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101102

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101110

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101202

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110614

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees