JP2000353250A - ３次元映画を生成し再生するシステムおよび方法 - Google Patents

３次元映画を生成し再生するシステムおよび方法

Info

Publication number
JP2000353250A
JP2000353250A JP2000071781A JP2000071781A JP2000353250A JP 2000353250 A JP2000353250 A JP 2000353250A JP 2000071781 A JP2000071781 A JP 2000071781A JP 2000071781 A JP2000071781 A JP 2000071781A JP 2000353250 A JP2000353250 A JP 2000353250A
Authority
JP
Japan
Prior art keywords
viewpoint
micropolygons
frames
carrier medium
viewer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000071781A
Other languages
English (en)
Inventor
Michael F Deering
マイケル・エフ・ディアリング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Microsystems Inc
Original Assignee
Sun Microsystems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Microsystems Inc filed Critical Sun Microsystems Inc
Publication of JP2000353250A publication Critical patent/JP2000353250A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/334—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

(57)【要約】 【課題】 ３次元（３Ｄ）映画を生成し再生するシステ
ムおよび方法を提供すること。 【解決手段】 正確な視点情報に依存せずにフレームを
部分レンダリングする。部分レンダリングされたフレー
ムは、視点依存の処理を実行せずにできる範囲までレン
ダリングでき、次いで圧縮し、キャリア媒体に記憶す
る。記憶するデータ量を減らすために、（例えば視点制
限ボリュームまたは領域を定義することによって）視聴
者の視点を制限する。生成された部分レンダリングされ
た形状データは圧縮される。再生中に、圧縮フレームは
ストリームとして読み取られ、圧縮解除される。次い
で、最終的な視点依存のレンダリング操作を実行する
（例えば何らかの照明計算、雰囲気効果、何らかのぼか
し、鏡面ハイライト、反射）。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は一般にコンピュータ
・グラフィックスの分野に関し、より詳細には、３次元
（３Ｄ）映画に関する。
【０００２】
【従来の技術】従来の動画は、いわゆる「２次元」体験
を観客や視聴者に提供する。ほとんどの動画は平板なス
クリーンに映し出され、観客がその映画を遠くから眺め
る。音声再生の進歩およびフィルム／スクリーン形式の
拡大を別とすれば、映画を見に行く体験は何年にもわた
って大きく変化していない。
【０００３】ビジュアル・ステレオで制作されたフィル
ム、例えば観客が赤と青のまたは偏光性の眼鏡を装着し
て見るフィルムがいくつかあった。同様に、頭部搭載型
の表示装置によっても、視聴者はビジュアル・ステレオ
の画像およびフィルムを見ることができるようになっ
た。しかし、ビジュアル・ステレオは、標準的な動画に
比べて幅広い成功をおさめていない。これは、ステレオ
効果が一般に、ごくわずかの被写体が次元を有する、す
なわち観客の方に「飛び出す」ように見えるという、わ
ずかな特別効果に限定されているからであろう。単純な
ビジュアル・ステレオがもたらす効果は、画像を見るた
めの眼鏡の装着または頭部搭載型の表示装置にかかる追
加の製造コスト、およびそれに伴う混乱を補ってあまり
あるものとは考えにくい。
【０００４】しかし、コンピュータ・グラフィックスや
表示技術の最近の進歩によって、映画を見に行く人々が
よりリアルな体験をする可能性へのヒントが提示され
た。ヘッド・トラッキングなどの新しい感知技術は、単
純なビジュアル・ステレオから真の３次元（３Ｄ）視覚
体験へと現実性を高めることができる。
【０００５】「ビジュアル・ステレオ」という語は、本
明細書で使用される場合、２つの画像（すなわち、１つ
は視聴者の左目用、もう１つは視聴者の右目用）を生成
する処理のことを言う。これらの画像は、本明細書中で
はステレオ・コンポーネント画像と呼ばれる場合もあ
る。単純なビジュアル・ステレオとは対照的に、３Ｄの
画像および映画は、（理想的にはフレームごとに）２つ
のステレオ・コンポーネント画像のそれぞれに対して動
的に視点を転換することによって、さらに一歩前進する
ものである。このようにして、３Ｄで見られるオブジェ
クト、すなわち見る対象物、被写体などはスクリーンか
ら飛び出すように見えるだけでなく、視聴者がそのオブ
ジェクトの周囲の異なる位置に視点を変えると、その背
後のオブジェクトもぼんやりしたり、はっきりしたりす
ることになる。言い換えれば、従来のステレオ画像にお
ける球体は奥行きがあるように見えることになるが、３
次元画像における球体では、視聴者が球体の周りを廻っ
て、その１面より多くの面を見ることができることにな
る。
【０００６】すなわち、ヘッド・トラッキング・センサ
は、視聴者が表示デバイスに対してどのような位置にい
るかに応じて、グラフィックス・システムにコンポーネ
ント画像を再計算させることができる。ヘッド・トラッ
キングは、小型テーブル状の表示装置に、視聴者が希望
するあらゆる角度（例えば上方からまっすぐ見下ろした
鳥瞰図として、または５０ヤード・ラインのサイドか
ら）から３Ｄのフットボール試合を表示させることがで
きる。視聴者の視点を変えるには、ただ小型テーブルの
周りを廻るだけでよい。ヘッド・トラッキング・センサ
は、視聴者がどこにいるかを決定し、それに応じて異な
る構成要素の画像を表示することになる。頭部搭載型の
表示装置と接続して使用される場合、ヘッド・トラッキ
ングは、視聴者を物理的に囲む大きな映写スクリーンを
必要とせずに、視聴者を「包み込む」パノラマ式の場面
を可能にする。このようなヘッド・トラッキングによる
ステレオ・システムは、旧型の固定画像表示装置とは質
的に異なり、廻って見ることのできるホログラフィの質
感を生み出す。
【０００７】しかし、これらの新システムは、映画再生
デバイスとしてまだ広く受け入れられていない。その一
つの理由は、これらのシステムが一般的に、視聴者が視
点を変える度に各場面を再レンダリングすることに依拠
するからである。例えば、視聴者の頭部が位置（または
いくつかのシステムでは方位）を変える時、表示される
場面は新しい視点を使用しているスクラッチから再レン
ダリングされる。リアルなコンピュータ生成画像を作成
するためには、膨大な数の計算を行わなければならな
い。マイクロ・プロセッサの現在の発達をもってしても
なお、ほとんどのシステムは、リアルタイムで詳細かつ
リアルな場面をレンダリングできるようになるにはまだ
かなりの不足がある。映画のように滑らかな動画に対す
る高いフレーム・レートの必要性を考えれば、処理力
が、既存の動画に十分匹敵するほど高いフレーム・レー
トで（例えば映画「トイ・ストーリー」のような）複雑
な画像を完全にレンダリングするのに必要なレベルに近
づくのには何年もかかるかもしれない。
【０００８】
【発明が解決しようとする課題】したがって、視聴者の
リアルタイムでの視点の変化に応じてリアルに３Ｄ映画
を生成および再生するための、効率的なシステムおよび
方法が望まれている。特に、３Ｄ映画のリアルタイム再
生のために行われる計算の数を減らすことのできるシス
テムおよび方法が望まれている。
【０００９】
【課題を解決するための手段】上に概説した問題は、正
確な視点情報に依存せずに部分的にフレームをレンダリ
ングすることのできるシステムによって、少なくとも一
部解決される。部分的にレンダリングされるフレーム
は、視点に依存する処理を行わずに可能な限りレンダリ
ングされ、次いで圧縮されてキャリア媒体に記憶され
る。記憶されるデータ量を減らすために、（例えば視点
を制限するボリュームまたは領域を定義することによっ
て）視聴者に可能な視点を制限することができる。
【００１０】再生中に、圧縮されたフレームはストリー
ムとして読み取られ、圧縮解除され、次いで表示用にラ
スタライズされる。ラスタライズ処理の一部として視聴
者の視点を決定でき、それは、いくつかの照明効果およ
び雰囲気効果（例えばぼかし、鏡面ハイライト、反射な
ど）などの、視点依存の効果を実行するのに使用でき
る。
【００１１】「リアルタイム」という語は、本明細書で
使用される場合、視聴者がタスクを実行するのに要する
時間の長さによって実質上注意をそらされないくらい十
分に速く、動作、タスク、または処理を実行することに
ついて言う。「含む」という語は、本明細書で使用され
る場合、「含むがそれだけに限定されない」という意味
である。
【００１２】映画は、直線的な物語と考えることができ
る。したがって、３Ｄ映画では、視聴者はスクルージ
（すなわち、クリスマスの幽霊によって過去、現在、未
来に連れて行かれる）のようになれる。視聴者は、部分
的なまたは完全な３次元で何でも見ることができるが、
一般にいずれとも対話関係を持たない（いくつかの実施
態様では対話関係が許容される場合もある）。さらに、
視聴者は、幽霊が行く所にしか行くことができない。こ
れは、事前に筋が決められた直線的な物語だけでなく、
ほとんどの形態の遠隔視聴（例えばスポーツ・イベント
の生放送）にも当てはまることに留意されたい。
【００１３】別の見方では、既存の汎用コンピュータが
トリビアルでない形状を配置し、生成するには、専用レ
ンダリング・ハードウェアがレンダリングのためにそう
するよりも多くの時間がかかる（単純化されたハードワ
イヤー化されたサーフェイス・シェーダを使用したとし
ても）。この傾向は、しばらくのうちに良くなるどころ
か悪くなるように思われる。しかし、事前に筋の決めら
れた直線的な物語の場合は、ほぼ全ての形状の生成およ
び多くのサーフェイス・シェーディングが事前にコンピ
ュータ処理できる。すなわち、時間のかかる主要なタス
クは、多量の色付きマイクロポリゴンのレンダリングで
ある。したがって、３Ｄ映画は、圧縮された形状のスト
リームを（リアルタイムで、またはそれに近い形で）レ
ンダリングすることによって、製作し、見ることができ
る（例えばヘッド・トラッキングによるステレオ視聴環
境で）。
【００１４】直線的な物語は、再生時まで延期される視
点依存の画像レンダリング以外の、自由に複合されたア
ニメーション、動作物理学、シャドーイング、テクスチ
ャリング、およびサーフェイス・モデリング技術を使用
して、事前にコンピュータ処理できる。形状は、マイク
ロポリゴンをリアル・レンダリング・パッケージ（例え
ばピクサー（Ｐｉｘａｒ）のレンダーマン（Ｒｅｎｄｅ
ｒＭａｎ））中のプログラム可能シェーダを介してワー
ルド空間に出力する形状シェーダによって作成できる。
この技術は、エンターテイメント、学術的視覚化、およ
び生放送３Ｄテレビジョンを含めた、いくつかの異なる
アプリケーションに使用できる。
【００１５】一実施態様では、３次元映画を作成する方
法は、場面を表す３次元グラフィック・データを受け取
ることを含む。その場面には、視点制限（すなわち、方
向制限を伴う場合とそうでない場合の、ボリュームまた
は２次元領域）が指定される。次に、その場面を表す１
つまたは複数のフレームが、部分的にレンダリングされ
る。次いで、これらの部分レンダリングされたフレーム
は圧縮され、記憶または伝送のためにキャリア媒体に出
力される。
【００１６】「部分レンダリング」は、いくつかの照明
計算（例えば視点独立の反射、視点独立の影、視点独立
の被写界深度効果、視点独立のバンプ・マッピング、お
よび視点独立の変位マッピング）などの、視点に依存し
ない（すなわち視点独立の）１つまたは複数の計算を実
行すること、および、１つまたは複数の所定の基準を満
たすように３次元グラフィック・データをマイクロポリ
ゴンに分割することを含む。これらの所定の基準には、
滑らかさおよびワールド空間でのマイクロポリゴンのサ
イズが含まれることがある。他の実施形態では、これら
に、スクリーン空間での推定される最悪の場合のマイク
ロポリゴンのサイズが含まれる場合もある。このスクリ
ーン空間での推定される最悪の場合のマイクロポリゴン
のサイズは、各マイクロポリゴンに許容される最も近い
視点からの距離、および／またはマイクロポリゴンに許
容される全ての視点からの最悪の場合のアングルを使用
して見積もることができる。
【００１７】形状圧縮に加えて、いくつかの実施態様で
は、マイクロポリゴンは、どんな有効な視点からも（す
なわち特定の視点制限を満たすどんな視点からも）見え
ないマイクロポリゴンを削除することによってカリング
（つみ取る）できる。圧縮されたフレームは、視点依存
の照明効果を適用することによってリアルタイムでラス
タライズされるように構成される。フレームは別々に記
憶される場合もあり、補間のためのベースとして再利用
される場合もある。指定の視点制限情報もまた、再生中
に利用するためにフレームと共に記憶することができ
る。
【００１８】３Ｄ映画を再生する方法についてもまた考
察する。一実施態様では、この方法は、キャリア媒体か
ら複数の圧縮フレームを読み取り、次いで、圧縮フレー
ムを複数のワールド空間マイクロポリゴンに圧縮解除す
るステップを含むことができる。次いで視聴者は、（例
えばヘッド・トラッカーを介して）視点がどこであるべ
きかについての入力を与えることができる。この視点を
利用して、マイクロポリゴンはスクリーン空間に変換で
き、次いで、表示デバイス上に表示されるフレームを生
成するためにラスタライズできる。
【００１９】一実施態様では、再生ユニットはまた、視
点依存の照明、テクスチャリング、雰囲気、被写界深
度、およびその他の効果をマイクロポリゴンに適用する
こともできる。ラスタライズは、ヘッド・トラッカーか
らのリアルタイムの視聴者視点情報によって、リアルタ
イムで実行できる。圧縮されたオーディオもまた、圧縮
３Ｄ映画フレームと共に読み取ることができ、オーディ
オは、（例えばヘッド・トラッカーによって提供され
る）視聴者の耳の位置情報を反映するように操作でき
る。
【００２０】３次元映画を生成するように構成されるソ
フトウェア・プログラムおよびコンピュータ・システム
についてもまた考察する。ソフトウェア・プログラム
は、上記の３Ｄ映画を生成する方法を実行するように構
成された複数の命令を含むことが可能である。同様に、
３Ｄ映画を再生するように構成されるソフトウェア・プ
ログラムおよび再生システムもまた考察される。
【００２１】
【発明の実施の形態】本発明の前述の、ならびに他の目
的、特徴および利点は、添付の図面と共に読まれる後続
の詳細な記述を参照すれば、より完全に理解することが
できる。
【００２２】本発明は、様々な修正および代替の形態が
可能であるが、その具体的な実施形態は図面中に例示的
なものとして示し、本明細書で詳細に記述する。しか
し、この図面および詳細な記述は、開示される特定の形
態に本発明を限定するものではなく、逆に、添付の特許
請求の範囲によって定義される本発明の趣旨および目的
を逸脱しない限りの全ての変更、同等物、代替を含むも
のである。
【００２３】３Ｄ映画を生成する方法−図１ 図１は、３Ｄ映画を生成する方法の一実施形態を示す流
れ図である。まず、映画の一場面を表す３次元（３Ｄ）
グラフィックス・データが受け取られる（ステップ１０
０）。この３Ｄグラフィックス・データは、いくつかの
異なる形式のデータを含むことがある。例えば、場面の
一部である３次元オブジェクトは、ボリューム、サーフ
ェイス、または、複数のポリゴン（例えば三角形または
四辺形）に分割された３Ｄオブジェクトとして表される
ことがある。３Ｄグラフィックス・データはまた、ＮＵ
ＲＢＳ（ｎｏｎ−ｕｎｉｆｏｒｍ ｒａｔｉｏｎａｌ
Ｂ−ｓｐｌｉｎｅｓ）、ボリューム・エレメント、サブ
ディビジョン・サーフェイス、メッシュおよびその他の
技術によってモデリングされたオブジェクトを含むこと
もある。３Ｄデータは、コンピュータ・アニメータ、３
Ｄ走査デバイス、３Ｄカメラ、３Ｄディジタイザ、また
はその他の技術によって生成できる。３Ｄグラフィック
ス・データは、３Ｄ映画に変換される前に、受取り時の
フォーマットに応じて操作し、変換することができる。
【００２４】データが受け取られると、リアルタイムの
視点制限が指定できる（ステップ１０２）。例えば、映
画の場面がカー・チェイスである場合、視聴者の視点
は、犯罪場面から逃走する犯人を追うパトカー内の位置
に限定される。視点制限は、いくつかの異なるやり方で
指定できる。可能な方法の１つは、視点制限ボリューム
を指定することである。特定の場面に対するどんなユー
ザ指定の視点も、有効なものとして処理されるであろ
う。しかし、視聴者が、指定の制限ボリューム外の位置
に視点を変えようとする場合は、再生システムは、視点
を所定の視点ボリューム内に留めさせることになる（再
生システムについては以下により詳細に記述する）。こ
れによって、ユーザが現在の場面の限界を越えて（例え
ば壁を通り抜けて）移動することが防止できる。また、
これによって、マイクロポリゴンの量および分割も制約
され、再生の精細度レベルに関するいくつかの問題も回
避できる。
【００２５】位置（すなわち、視聴者がどこにいるか）
によって視聴者の視点を制限するのに加えて、視点の方
向（すなわち、視聴者がどの方向を向いているか）の制
限もまた、指定できる。カー・チェイスを再び例に取る
と、犯人を追うパトカー内の視点にユーザが制限される
場合、視聴者は、パトカーのフロントガラスから向けら
れた方向の視点に限定されることが可能である。これに
よって視聴者は、パトカーの後部ガラスから外を見てい
たために、車をガソリンスタンドに激突させた犯人によ
って引き起こされた爆発を見逃がすということがなくな
るであろう。
【００２６】次に、３Ｄグラフィックス・データが部分
的にレンダリングできる（ステップ１０４）。図に示す
ように、３Ｄグラフィックス・データの部分レンダリン
グの一部として、いくつかの異なる処理が実行できる。
最初に、３Ｄグラフィックス・データは、オブジェクト
空間に位置決めされる「マイクロポリゴン」に分割され
る（ステップ１０４Ａ）。従来のマイクロポリゴンは、
スクリーン空間のおよそ１ピクセルまたはそれより少な
いピクセルのサイズのポリゴンである。しかし、正確な
視点が分からない状態でマイクロポリゴンへの分割が行
われるため、いくつかの見積もりがポリゴン分割時に行
われることがある。例えば、マイクロポリゴンのサイズ
が視点からマイクロポリゴンへの距離に関係するため、
最悪の場合の（例えば最も近い）視点がポリゴン分割時
に使用されることがある。同様に、マイクロポリゴンの
サイズは、視点からマイクロポリゴンへのアングルに関
係する場合もある。したがって、最悪の場合のアングル
が、ポリゴン分割中に使用されることもある。距離およ
びアングルは、所望のポリゴン分割を達成するために別
々に使用することもでき、組み合わせて使用することも
できる。適したサイズにしたマイクロポリゴンを使用す
れば、多数のピクセルをカバーするエリアを有する大き
な三角形を使用する場合に比べ、作成される最終的な画
像のリアル度を高めることができる。いくつかの実施形
態では、部分レンダリングは、以下により詳しく記述す
る特殊化された「形状シェーダ」を使用して実行でき
る。
【００２７】ステップ１０２中で指定された視点制限に
基づいて、ある種のマイクロポリゴンは、それらが最終
画像の可視ピクセルに影響を与える能力を持たない場合
に、３Ｄグラフィックス・データから削除することがで
きる（ステップ１０４Ｂ）。例えば、３Ｄグラフィック
ス・データが木を含み、視聴者の視点が木から遠く離れ
た位置および方向に制限される場合に、指定の視点制限
ボリューム内から木の低い位置にある枝の葉を見ること
が視聴者に不可能ならば、それらは削除できる（すなわ
ちカリングできる）。
【００２８】次に、有効な視点から見える選択されたマ
イクロポリゴンが「ほぼ照明を適用され」、彩色される
（ステップ１０４Ｃ）。マイクロポリゴンは、視点依存
の照明を適用し、次いでマイクロポリゴンの各頂点の色
情報を計算することによって「ほぼ照明を適用され
る」。この段階では、最終的ないくつかの視点依存の照
明が適用されていないため、マイクロポリゴンは「ほぼ
照明を適用される」と言い表される。その代わりに、最
終的な視点に依存した照明要素（例えば反射や鏡面ハイ
ライト）は、再生中に適用できる。これは、フレームご
とに変化することがある。例えば、いくつかのフレーム
または場面に、視点依存の照明コンポーネントが何もな
い場合がある。その他のフレームまたは場面には、視点
依存の照明コンポーネントが多数ある場合がある。いく
つかの実施形態では、照明および彩色の計算は、ワール
ド空間で実行される場合がある（オブジェクト空間など
の他の空間が使用されることもある）。照明および彩色
の計算には、テクスチャ・マッピング、ほとんどのシャ
ドーイング、いくつかの雰囲気効果、いくつかの被写界
深度効果などの、視点独立の処理局面が含まれる（ステ
ップ１０４Ｄ）。例えば、オブジェクトの落とす影は、
一般に視点独立である。したがって、いくつかの実施形
態では、照明計算において特定の光源が完全にまたは部
分的に関与するか、あるいは全くしないかの判断は、こ
の段階で実行できる。鏡面要素などの視点依存の要素
は、再生時まで延期することができる。
【００２９】本明細書で使用される場合、計算は、視聴
者が場面を見るのに使用する特定の視点に関係なく実行
できる時、または、場面に対して定義される視点制限だ
けを使用して実行できる時は「視点独立」である。例え
ば、視点が車の内部に限定される場合、遠くの背景にあ
る木々は、部分レンダリング中に適用される被写界深度
効果を有することができる。これは、許容される視点の
範囲が、木々に対して可能な全ての視点からの距離と比
較して小さいからである。
【００３０】部分レンダリング（ステップ１０４）が完
了すると、（まだワールド空間にある）マイクロポリゴ
ンの個別のフレームのそれぞれは圧縮できる（ステップ
１０６）。いくつかの異なるタイプの圧縮が可能だが、
マイクロポリゴンに必要な記憶域を縮小するには、形状
圧縮が特に効果的である。このような形状圧縮方法の１
つは、１９９８年８月１１日発行の「Ｍｅｔｈｏｄ ａ
ｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｇｅｏｍｅｔｒｉ
ｃ Ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ Ｔｈｒｅｅ−Ｄｉ
ｍｅｎｓｉｏｎａｌ Ｇｒａｐｈｉｃｓ Ｄａｔａ」と
いう名称の米国特許第５７９３３７１号に記載されてい
る。
【００３１】膨大な量のマイクロポリゴンが各フレーム
によって生成されるが、形状圧縮は、フレームに必要な
記憶域を縮小することができる点で有用である。また、
再生中に圧縮を利用することによって、リアルタイムで
ディスクからフレームを転送するのに必要なバンド幅も
著しく縮小される。圧縮された形状をリアルタイムでレ
ンダリングするには、ハードウェアによる圧縮解除をサ
ポートする圧縮形式が特に有用である。
【００３２】最後に、圧縮フレームはキャリア媒体に出
力できる（ステップ１０６）。いくつかの実施形態で
は、圧縮フレームは、ＲＡＭ、ＲＯＭ、フラッシュ・メ
モリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、磁気ディスクな
どの、コンピュータ読取可能媒体に記憶できる。一実施
形態では、フレームは、（例えばＲＡＩＤ構成で）ＤＶ
Ｄ−ＲＯＭレコーダのアレイにストリーミングできる。
他の実施形態では、圧縮フレームは、インターネットま
たは放送（例えばＶＨＦまたはＵＨＦ）に結合された、
コンピュータ・ネットワーク回線または無線／衛星リン
クなどの送信媒体にストリーミングできる。
【００３３】記憶されるデータ量および再生ハードウェ
アの速度によって、各フレームは、完全に別々のマイク
ロポリゴン・セットとして記憶できる。別の実施形態で
は、いくつかのフレームの一部は再利用できる。他の実
施形態では、（キー・フレームからの再生中に中間フレ
ームが補間され、）キー・フレームだけが完全に記憶さ
れることが可能である。
【００３４】図１に示す流れ図は例示のためのものであ
り、限定するものではないことに留意されたい。いくつ
かの実施形態では、これらのステップは異なる順番で、
または平行して（例えばステップ１０２および１０４
Ａ）実行される、またはいくつかのステップが削除され
る（例えばステップ１０４Ａまたはステップ１０４Ｄの
シャドーイング）ことがある。また、追加のステップを
実行することもできる。
【００３５】いくつかの実施形態では、各フレームは、
別々の圧縮オブジェクトとして別々のファイルに記憶す
ることができる（例えば３メガバイトのサイズで）。次
いで、再生時にこれらの個別ファイルはメイン・メモリ
にロードでき、順次レンダリングできる。厳密な実施形
態に応じて、各フレームは、それに関連付けられる以下
のうちの１つまたは複数を有する場合がある。（ｉ）鏡
面光源のリスト、（ｉｉ）許容される視点を制約する視
点制限ボリューム、（ｉｉｉ）鏡面材料のリスト、（ｉ
ｖ）圧縮形状オブジェクトのアレイ、（ｖ）鏡面材料と
圧縮形状オブジェクトに対する光源との結合のリスト。
【００３６】先に述べたように、いくつかの実施形態で
は、監督／カメラマンは、視聴者が仮想セットの周りを
無作為に歩き回るのを防止するために、視聴者を特定の
範囲に制約できる。所望の効果に応じて、この範囲に
は、効果的なステレオ表示のために視聴者の体の動きが
何フィートかのボリューム内で見込まれる場合もある。
マイクロポリゴンの生成は、ワールド空間で均一である
必要はない（例えばそれは、限定された視覚アングルに
対する許容範囲内で均一である場合がある）。これによ
り、ずっと遠くのオブジェクトが、より大きい対応マイ
クロポリゴンに分割されることが可能になる。また、所
与のフレーム上で許容されるどの視界アングルからも見
えないオブジェクトまたはオブジェクトの一部分に対し
てバックフェイス・カリングおよび閉塞カリングを行う
こともできる。これは、物理世界からマイクロポリゴン
をキャプチャリングする際にも有用なことがある。３Ｄ
カメラは、可能な全てのサーフェイスをキャプチャリン
グする必要はない。代わりに、可能な視覚アングルから
見える可能性のあるものだけをキャプチャリングすれば
よい。
【００３７】形状シェーダ 例えばピクサーのレンダーマンというアプリケーション
のサーフェイス・シェーダのような、多くのプログラム
可能なシェーダは、上記のような３Ｄ映画の部分レンダ
リングに必要な処理のスーパー・セットである。これら
のプログラム可能シェーダでは、サーフェイスは一般
に、表面曲率、スクリーン空間でのサイズ、ワールド空
間でのサイズなどの指定基準を満たすポリゴン（例えば
四辺形または三角形）に分割される。再生時の視点およ
びスクリーンの解像度に関する明確な制約が与えられれ
ば、制御されるスクリーン空間サイズのポリゴンを再生
時に生成するために、レンダリングするスクリーン空間
サイズの基準も選択できる。次いで、一般的なシェーダ
・プログラムは、テクスチャおよびシャドー・マップ・
ルックアップ、周囲照明計算または拡散照明計算、さら
にはラジオシティ計算を含めた照明モデルおよびシェー
ディング・モデルを、これらのマイクロポリゴンに適用
する。変位シェーダなどの効果がサポートされる場合、
これらの計算は一般に、ワールド空間に適用される。通
常は、最終ステップとして、マイクロポリゴンがスクリ
ーン空間に映写され、次いで、Ｚバッファリングによる
フレーム・バッファにラスタライズされる。
【００３８】しかし、いくつかのシェーディング言語は
形状シェーダの概念を明確にサポートし、そこでは最終
的な映写およびラスタライズのステップが適用されな
い。その代わり、照明処理されたマイクロポリゴンが出
力される。例えば、ピクサーのレンダーマンのバージョ
ン３．８中のプリント・コマンドは、照明を適用された
マイクロポリゴンを抽出するのに使用できる。レンダー
マンは本質的に、最終的なメッシュの連結をラスタライ
ズの段階まで延期するため、このプリント・コマンドに
よって生成されるワールド空間のマイクロポリゴンは、
より高次の命令のサーフェイス・ポリゴン分割によるス
テッチされない方形メッシュ（ｕｎｓｔｉｔｃｈｅｄ
ｑｕａｄ ｍｅｓｈ）となる。後の処理として、連結性
情報が再コンピュータ処理でき、ステッチング・ストリ
ップが割れ目を埋めるために追加できる。これによっ
て、マイクロポリゴンの数は大幅に（例えば２倍に）増
加することになる。インテリジェントなポリゴン再分割
機構が、そのオーバヘッドを減らすために使用できる。
【００３９】鏡面照明を再生時まで延期する操作には、
鏡面計算を排除するカスタム・シェーダが使用できる。
閉塞カリングの度が強すぎないように、全ての不透明な
サーフェイスは、ごくわずかに透明度を持つように（例
えば０．９９９９）設定できる。別法としては、カスタ
ム・シェーダは、より旧型のレンダーマン・シェーダと
ほとんど変わらないものとすることができる。マイクロ
ポリゴンが抽出された後に適用される効果（例えばモー
ション・ブラーや最終的なアンチ・エイリアシング）
は、圧縮された三角形のストリームには表れない。反射
や環境マッピング、雰囲気シェーダなどの、いくつかの
視点依存の効果は、排除されるか、注意深く使用される
ことがある。透明度にも、特定の注意が必要なことがあ
る。
【００４０】別法としては、彩色されるマイクロポリゴ
ンは、３Ｄスキャナまたはカメラを使用して、現実世界
の場面から抽出することができる。最終的に、リアルタ
イムの３Ｄキャプチャ、形状への転換、圧縮、伝送は、
３Ｄテレビジョンの形態をサポートすることができる。
このような形状の獲得は技術的に難しいが、本明細書に
述べられるのと同じ方法は、再生にも利用することがで
きる。
【００４１】レンダーマンによって生成されたマイクロ
ポリゴンのストリーム上への出力プロセッサとして、形
状圧縮機構が追加できる。一実施形態では、三角形は個
別の頂点平均値およびカラー・コンポーネントを有する
ことがある。鏡面カラーおよび鏡面パワーの変化は、ラ
ンタイムで使用するためにより高いオブジェクト・レベ
ルに符号化できる。鏡面光源の色および配置に対して
も、同様にできる。鏡面光からのオブジェクトのシャド
ーイングは、使用される光源によって各オブジェクトを
分割することによって達成される。頂点ごとの色と存在
する平均値との両方を利用するいくつかの実施形態で
は、圧縮された形状は、三角形ごとに７バイトの平均値
を取ることがある。その他のサイズおよび圧縮率もまた
可能であり、検討される。例えば、より特殊化されたマ
イクロトライアングル圧縮技術は、標準的なマイクロト
ライアングルに必要な２バイトまたは３バイトの記憶域
を縮小できる可能性を有することがある。
【００４２】可能なレンダリング構成の１つによれば、
１フレームにつき２５万個の三角形、および毎秒２４フ
レームの再生率の「予算」が可能である。例えば１フレ
ームにつき４０万個の三角形、および１５ヘルツの再生
率といった、その他の値および率も考察される。各三角
形が７バイトの情報を含むと仮定すると、毎秒およそ４
２メガバイトに維持されるデータ転送率がこのような実
施形態に有用であることがある。この転送率を実現する
ことの可能な方法の１つには、３ウェイ・インタリーブ
・ファイバー・チャネル・ディスク・ドライブがあり、
コンシューマ５ＸのＤＶＤドライブの８ウェイ・インタ
リーブ・アレイも可能である。１サイドにつき８．５メ
ガバイトの記憶容量がある場合、ＤＶＤディスクは１７
分の連続再生をサポートすることになる。より速い３Ｄ
レンダリング・ハードウェアの場合は当然、これらの数
字が変わることになるが、より高度な圧縮技術の場合で
も同様となる。その他の構成およびデータ率もまた可能
であり、検討される。
【００４３】本明細書に記載の各方法は、単独でソフト
ウェアに、単独でハードウェアに、または、ソフトウェ
アとハードウェアの組み合わせとして実装できることに
留意されたい。
【００４４】３Ｄ映画を再生する方法−図２ 図２は、図１の方法を使用して生成した３次元（３Ｄ）
映画を再生する方法の一実施形態を示す流れ図である。
まず、圧縮フレームのストリームがキャリア媒体から読
み取られ、圧縮解除される（ステップ１２０）。前述の
ように、キャリア媒体は、伝送媒体の場合もあり、コン
ピュータ読取可能媒体の場合もある。一実施形態では、
３Ｄ映画はインターネットを介して配信できる。別の実
施形態では、３Ｄ映画はＲＡＩＤ構成でＤＶＤ−ＲＯＭ
プレイヤーのアレイを使用して同時再生されるように構
成されたＤＶＤ−ＲＯＭのセットとして配布できる。
【００４５】再生中に、再生システムは、視聴者が自分
の視点をどこに置きたいか、および（任意選択で）どの
方向で見たいかに関する、視聴者の入力を受け取るよう
に構成することができる（ステップ１２４）。この情報
は、いくつかの異なるやり方で受け取ることができる。
例えば、表示デバイスに対応する視聴者の位置を決定す
るのに、ヘッド・トラッキング・センサを使用すること
ができる。同様に、データ・グローブ、ワンド、ジョイ
スティック、またはキーボードも、視聴者が視点を置き
たいと希望する位置に関する情報を受け取るのに使用で
きる。その他の代替方法には、ユーザの額に配置され
る、赤外線反射ドットを使用したヘッド・トラッキング
や、ヘッド・トラッキング・センサおよびアイ・トラッ
キング・センサが備え付けられた眼鏡を使用したヘッド
・トラッキングが含まれる。ヘッド・トラッキング・セ
ンサおよびアイ・トラッキング・センサを使用した一方
法は、（１９９５年８月２９日発行のＭｉｃｈｅａｌ
Ｄｅｅｒｉｎｇの「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒ
ａｔｕｓ ｆｏｒ Ｈｉｇｈ ＲｅｓｏｌｕｔｉｏｎＶ
ｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｓｙｓｔｅｍｓ Ｕｓ
ｉｎｇ ＨｅａｄＴｒａｃｋｅｄ Ｄｉｓｐｌａｙ」と
いう名称の）米国特許第５４４６８３４号に開示されて
いる。他のヘッド・トラッキング方法もまた可能であ
り、検討される（例えば赤外線センサ、電磁センサ、容
量性センサ、ビデオ・カメラ、音波および超音波検出
器、衣服ベース・センサ、ビデオ・トラッキング・デバ
イス、導電性インク、ひずみゲージ、力フィードバック
検出器、光ファイバ・センサ、空気圧センサ、磁気トラ
ッキング・デバイス、および機械スイッチ）。この、視
聴者の視点に依存する情報は、リアルタイムで（例えば
フレーム再生レートで、またはそれに近いレートで）、
またはリアルタイムに近い形で受け取ることができる。
【００４６】各々のフレーム毎に、視聴者の視点情報は
以前の視点情報と共に処理でき、視点制限はキャリア媒
体から読み取ることができる。例えば、視聴者の頭部
（視点情報にヘッド・トラッカーを利用する実施形態
で）の微妙な動きが視点に「ジッタ（震え）」を引き起
こさないように、ヒステリシスを導入することができ
る。この処理の一部として、再生システムは、計算され
た視点を視点制限情報と比較するように構成することが
できる（ステップ１２６）。特定のフレームに対する視
聴者指定の視点がその特定のフレームの視点制限ボリュ
ーム外にある場合、システムは、現在の視点を、フレー
ム指定の視点制限を満たす視聴者指定の視点に最も近い
視点にさせる、またはそれに制限するように構成される
ことが可能である（ステップ１２８）。
【００４７】次に、フレームに対する視点が決定される
と、再生システムは、視点依存の照明および他の視点依
存の視覚効果、例えば雰囲気効果、鏡面ハイライト、反
射、被写界深度効果を適用するように構成できる（ステ
ップ１３０）。所望のフレーム・レートを最小限に維持
するために、処理量はフレームによって様々となること
がある。いくつかの実施形態では、３Ｄ映画の製作者は
また、再生時に最小限のフレーム・レートを維持するの
に必要な視点依存の処理の量を動的に調整することもで
きる（例えば特定の最小再生システム構成に基づい
て）。再生システムの他の実施形態は、所定の最小フレ
ーム・レートが与えられれば可能な限り多くの視点依存
の処理を実行するように構成できる。フレーム・レート
が最小値より下がりそうな場合に、再生システムは、あ
る種の視点依存の効果を削減または削除する（例えばい
ずれかの反射を削除する）ように構成できる。
【００４８】次に、マイクロポリゴンは、特定のフレー
ムに対する視点に基づいて、ワールド空間からスクリー
ン空間に変換できる（ステップ１３２）。次いで、スク
リーン空間のマイクロポリゴンは、最終的な表示のため
に、バッファ（例えばフレーム・バッファやサンプル・
バッファ）にラスタライズできる（ステップ１３６）。
【００４９】再生システムには、いくつかの異なる表示
装置が使用できる。例えば、頭部搭載型表示装置、従来
のＣＲＴ表示装置、ガス・プラズマ・ディスプレイ、Ｌ
ＣＤ（液晶表示装置）、従来のプロジェクタ（ＣＲＴ、
ＬＣＤ、またはデジタル・マイクロミラー）、視聴者の
網膜に直接的に画像を映写する眼球プロジェクタなどは
全て使用できる。表示デバイスが頭部搭載型でない場
合、視聴者は、左右それぞれの目で感知する画像を分け
るために眼鏡を掛けることができる。眼鏡は、受動的な
カラー・フィルタ（例えば赤と青、または赤と緑）、受
動偏光型、能動型（例えばＬＣＤシャッタ型）のものが
使用できる。頭部搭載型でない表示装置を使用するいく
つかの実施形態では、このような眼鏡が任意選択で使用
できる。
【００５０】いくつかの実施形態では、マイクロポリゴ
ンは、１表示ピクセルにつき複数のサンプルを記憶する
サンプル・バッファにラスタライズすることができる。
次いでこれらのサンプルは、アンチ・エイリアシングに
よる見やすい画像を生成するためにフィルタリングを施
すことができる。加えて、いくつかの実施形態は、複数
の視聴者を同時にサポートできるように構成されてい
る。各視聴者は、自分自身の視点および表示装置を持つ
ことができる。再生システムは、各視聴者の特定の視点
に基づいて、各視聴者に異なるステレオ画像をレンダリ
ングするように構成できる。
【００５１】より複雑ないくつかの実施形態では、再生
システムは、深度の複雑性を緩和するために、いくつか
の視点依存の閉塞カリング操作を実行できる。オブジェ
クトが複数のレベル・オブ・ディテールに圧縮され、視
点依存の方法で復号化される場合、許容される視点位置
に対する制約は縮小できる（各フレームに記憶され転送
されるデータ量が増加するのと引き換えに）。フレーム
間で変化せず、鏡面シェーディングを伴わないオブジェ
クト（例えば背景オブジェクト）は、ファイルのキー・
フレームだけに伝送され記憶されるだけでよい（例えば
ＭＰＥＧ２圧縮のＩフレームと同様に）。他の実施形態
では、追加のインタラクション・レベルを加えるため
に、いくつかの動的アニメーション化オブジェクトがフ
レームに含まれることがある。異なるアニメーションお
よび映画シーケンスの分岐点も、（例えばＣＤ−１に使
用される分岐点のように）追加することができる。圧縮
オーディオも、圧縮３Ｄ映画フレームと共に読み取るこ
とができ、オーディオは、（ヘッド・トラッカーによっ
て提供される）視聴者の耳の位置を反映してリアル度を
高めるように操作することができる。
【００５２】再生システム−図３〜６ 次に図３を参照すると、再生３Ｄ映画を再生するように
構成された再生システム８０の一実施形態が例示されて
いる。再生システムは、コンピュータ・システム、ネッ
トワークＰＣ、インターネット機器、ＨＤＴＶ（高品
位）システムおよび対話型テレビジョン・システムを含
めたテレビジョン、携帯情報端末（ＰＤＡ）、ビデオ・
ディスプレイ・グラス、および、圧縮フレームを受け取
って３Ｄグラフィックスを表示することのできるその他
のデバイスを含めた、いくつかの異なるシステムのいず
れかとして実装できる。
【００５３】図に示されるように、再生システム８０
は、圧縮３Ｄ映画を読み取り、圧縮解除し、ラスタライ
ズするシステム・ユニット８２、および、システム・ユ
ニット８２に結合されたビデオ・モニタまたは表示デバ
イス８４を備える。前述のように、表示デバイス８４
は、様々なタイプの表示モニタ（頭部搭載型またはそう
でないもの）のいずれでもよい。任意選択の眼鏡９０
は、頭部搭載型でない表示装置と共に使用できる。前述
のように、眼鏡は受動型でも能動型でもよい。キーボー
ド８６および／またはマウス８８、またはその他の入力
デバイス（例えばトラック・ボール、ディジタイザ、タ
ブレット、６段階自由度の入力デバイス、ヘッド・トラ
ッカー、アイ・トラッカー、データ・グローブ、ボディ
・センサなど）を含めた様々な入力デバイスが、コンピ
ュータ・システムに接続できる。アプリケーション・ソ
フトウェアは、コンピュータ・システム８０が３Ｄ映画
を読み取り、圧縮解除し、表示デバイス８４上に表示す
ることによって実行できる。一実施形態では、再生シス
テム８０は、コンピュータ読取可能媒体から圧縮３Ｄ映
画を読み取るように構成された記憶デバイスのアレイ
（例えばＲＡＩＤ構成で結合された８ウェイ５ＸＤＶＤ
−ＲＯＭのアレイ）を含むことができる。その他の実施
形態も可能であり、検討される。
【００５４】図４には、３Ｄ映画再生システム７０の別
の実施形態が例示されている。この実施形態では、シス
テムは、頭部搭載型表示デバイス７２、ヘッド・トラッ
キング・センサ７４、データ・グローブ７６を備える。
頭部搭載型表示装置７２は、光ファイバ・リンク９４、
または次のうちの１つまたは複数、すなわち導電性リン
ク、赤外線リンク、無線（例えばＲＦ（無線周波））リ
ンクを介してシステム・ユニット８２に結合できる。こ
の実施形態では、システム・ユニット８２はストレージ
・アレイを利用しない。代わりに、システム・ユニット
８２は、放送、インターネット・リンク、衛星リンクを
介して（例えば毎秒４２メガバイトのレートで）圧縮３
Ｄ映画を受信する。他の実施形態も可能であり、検討さ
れる。
【００５５】図５には、３Ｄ映画再生システム６０の別
の実施形態が例示されている。この実施形態では、デジ
タル・プロジェクタ６２は、３Ｄ映画を読み取り、圧縮
解除し、ラスタライズするように構成される。プロジェ
クタ６２は、表示スクリーン６４に３Ｄ映画を映写する
ように構成される。視聴者は、任意選択のカラー・フィ
ルタ眼鏡６８を使用して、または使用せずに、表示スク
リーン６４を見ることができる。ヘッド・トラッキング
・センサ６６は、表示スクリーン６４に対する複数の視
聴者の頭部の位置を決定するように構成される。例え
ば、ヘッド・トラッキング・センサ６６は、各視聴者の
額（または任意選択の眼鏡６８）に配置される赤外線反
射ドットによって視聴者の位置を検出できる。複数視聴
者の実施形態では、プロジェクタ６２は、スクリーン６
４に映写される画像の多重化を実行するように構成でき
る。例えば、視聴者が２人の場合、４通りの多重化が実
行できる（例えば、視聴者１の左目、視聴者１の右目、
視聴者２の左目、視聴者２の右目）。
【００５６】図６には、再生システム５０の別の実施形
態が例示されている。この実施形態では、再生システム
５０は小型テーブルとして実装される。３Ｄ画像５４
は、（例えばガス・プラズマ・ディスプレイによって）
頂面５２から映写される。視聴者がテーブルの周りを廻
ると、３Ｄ映画は、インテグラルＩＲ（赤外線）ヘッド
・トラッキング・センサ５６によって検出される視聴者
の現在置を反映するように変化する。画像５４の描写
は、視点５８から知覚されたものとして例示されている
（すなわち、一般的なガス・プラズマ・ディスプレイは
画像を実際に空間に映写することができないため、画像
５８は、頂面５２を覗くことによって上から見られるも
のである。）
【００５７】システム・ブロック図−図７〜８ 次に図７を参照すると、図１の再生システムを例示する
簡略化したブロック図が示されている。本発明の理解に
必要でないシステム構成要素は、便宜上、示されていな
い。図示されるように、再生システム８０は、ホスト・
バス１０４とも呼ばれる高速メモリ・バスまたはシステ
ム・バス１０４に結合された中央処理装置（ＣＰＵ）１
０２を備える。システム・メモリ１０６も、高速バス１
０４に結合できる。
【００５８】ホスト・プロセッサ１０２は、例えばマイ
クロ・プロセッサ、マルチ・プロセッサ、ＣＰＵなど
の、１つまたは複数の異なるタイプのプロセッサを含む
ことがある。システム・メモリ１０６は、ランダム・ア
クセス・メモリ（ＲＡＭ）（例えば特に、「ＳＲＡＭ」
（スタティックＲＡＭ）、「ＳＤＲＡＭ」（ｓｙｎｃｈ
ｒｏｎｏｕｓ ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃ
ｅｓｓ ｍｅｍｏｒｙ）、「ＲＤＲＡＭ」（Ｒａｍｂｕ
ｓ ｄｙｎａｍｉｃ ａｃｃｅｓｓ ｍｅｍｏｒ
ｙ））、および大容量記憶装置（例えばＤＶＤ−ＲＯＭ
アレイ、ハード・ディスク・アレイなど）を含めた異な
るタイプのメモリ・サブシステムのいずれかの組み合わ
せを含むことがある。システム・バスまたはホスト・バ
ス１０４は、（ホスト・プロセッサ、ＣＰＵ、メモリ・
サブシステム間の通信用の）１つまたは複数の通信コン
ピュータ・バスまたはホスト・コンピュータ・バス、な
らびに専用サブシステム・バスを含むことがある。
【００５９】３Ｄグラフィックス・システムすなわちグ
ラフィックス・システム１１２は、高速メモリ・バス１
０４に結合できる。３Ｄグラフィックス・システム１１
２は、例えばクロスバ・スイッチや他のバス接続理論に
よって、バス１０４に結合できる。他の様々な周辺装置
または他のバスも、高速メモリ・バス１０４に結合でき
ることが想定される。任意選択のヘッド・トラッカー１
１４は、メモリ・バス１０４にまたは直接グラフィック
ス・システム１１２に結合できる。任意選択のネットワ
ーク・アダプタ／通信デバイス１１６も、バス１０４に
または直接グラフィックス・システム１１２に結合でき
る。３Ｄグラフィックス・システムは、再生システム８
０中の１つまたは複数のバスに結合する、かつ／または
様々なタイプのバスに結合することができることに留意
されたい。加えて、３Ｄグラフィックス・システムは、
通信ポートにも結合でき、それによって、外部送信元、
例えばインターネットやネットワークから直接３Ｄグラ
フィックス・データを受信できる。図示されるように、
表示デバイス８４は再生システム８０に含まれる３Ｄグ
ラフィックス・システム１１２に接続されている。
【００６０】ホストＣＰＵ１０２は、プログラミングさ
れた入出力プロトコルに基づいて、ホスト・バス１０４
を介してグラフィックス・システム１１２との間で情報
を転送できる。あるいは、グラフィックス・システム１
１２は、ダイレクト・メモリ・アクセス（ＤＭＡ）プロ
トコルに基づいて、またはインテリジェント・バス・マ
スタリングを通して、メモリ・サブシステム１０６にア
クセスできる。
【００６１】グラフィックス・システムは、ホストＣＰ
Ｕ１０２および／またはシステム・メモリ１０６、その
他のメモリまたはコンピュータ読取可能媒体（例えばＤ
ＶＤ−ＲＯＭアレイ）を含めた様々な送信元のいずれか
から、または、伝送媒体などの外部送信元、例えばネッ
トワーク、インターネット、３Ｄテレビジョン放送か
ら、グラフィックス・データを受け取ることができる。
【００６２】グラフィックス・システム１１２がコンピ
ュータ・システム８０の一部として述べられるが、グラ
フィックス・システム１１２はまた、スタンドアロン・
デバイス（例えばそれ自体に内蔵の表示装置、または、
プロジェクタおよび頭部搭載型表示装置へのリンク）と
して構成することもできることに留意されたい。グラフ
ィックス・システム１１２はまた、シングル・チップ・
デバイスとして、またはシステム・オン・チップもしく
はマルチチップ・モジュールの一部として構成すること
もできる。
【００６３】図８には、３Ｄ映画再生システム８０の別
の実施形態が例示されている。この実施形態では、再生
システム８０は、ネットワーク接続、バス・アダプタ、
バス・インタフェース理論、またはデータを受け取るた
めのその他の入力機構とすることのできる入力ユニット
２１０を備える。入力ユニット２１０は、ネットワー
ク、モデム、またはその他の記憶装置もしくは伝送デバ
イスから圧縮３Ｄ映画のフレームのストリームを受取る
ように構成することができる。入力ユニット２１０によ
って受取られたフレームは、圧縮解除されるために圧縮
解除機構に送られる。圧縮解除機構２１２は、ハードウ
ェア圧縮解除機構（好ましい）でも、またはソフトウェ
ア圧縮解除機構でもよい。次いで、圧縮解除されたフレ
ームは、圧縮解除フレームの構成要素のマイクロポリゴ
ンをワールド空間からスクリーン空間に変換するように
構成されたグラフィック・プロセッサ２１４に送られ
る。これは、ヘッド・トラッキング・センサ２１８によ
って与えられる情報から決定される視点を利用して実行
できる。マイクロポリゴンがスクリーン空間に変換され
ると、グラフィックス・プロセッサは、視点依存の照明
効果のいずれかをそれに適用する。次いで、完全に照明
を適用されたマイクロポリゴンは、グラフィックス・プ
ロセッサ２１４によって、サンプル／フレーム・バッフ
ァ２１６にラスタライズされる。表示デバイス８４は、
サンプル／フレーム・バッファ２１６からリフレッシュ
される。
【００６４】上記の実施形態が多くの詳細にわたり述べ
られたが、他のバージョンもまた可能である。多くの変
形および修正は、上記の開示が完全に理解されれば当業
者には明らかとなろう。頭記の特許請求の範囲は、この
ような全ての変形および修正がそれに包含されると解釈
されることが意図される。本明細書に使用される見出し
は、構成の目的上だけのものであり、本明細書および添
付の特許請求の範囲で提供される記述を限定するもので
はないことに留意されたい。
【図面の簡単な説明】
【図１】３次元（３Ｄ）映画を生成する方法に関する本
発明の一実施形態を例示する流れ図である。
【図２】図１の方法を利用して生成される３次元（３
Ｄ）映画を再生するための一実施形態を例示する流れ図
である。
【図３】図１の方法を利用して生成される３Ｄ映画を生
成し再生することのできるコンピュータ・システムの一
実施形態を例示する図である。
【図４】３Ｄ映画再生システムの一実施形態の図であ
る。
【図５】３Ｄ映画再生システムの別の実施形態の図であ
る。
【図６】３Ｄ映画再生システムの別の実施形態の図であ
る。
【図７】図４の再生システムの一実施形態をより詳細に
例示するブロック図である。
【図８】３Ｄ映画再生システムの別の実施形態を例示す
るブロック図である。
【符号の説明】
８０ コンピュータ・システム ８２ システム・ユニット ８４ ビデオ・モニタまたは表示デバイス ９０ 任意選択の眼鏡 ８６ キーボード ８８ マウス ７０ ３Ｄ映画再生システム ７２ 頭部搭載型表示デバイス ７４ ヘッド・トラッキング・センサ ７６ データ・グローブ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 13/02 Ｈ０４Ｎ 13/04 13/04 7/13 Ｚ (71)出願人 591064003 901 ＳＡＮ ＡＮＴＯＮＩＯ ＲＯＡＤ ＰＡＬＯ ＡＬＴＯ，ＣＡ 94303，Ｕ. Ｓ．Ａ. (72)発明者 マイケル・エフ・ディアリング アメリカ合衆国・94024・カリフォルニア 州・ロス アルトス・クェスタ ドライ ブ・657

Claims (41)

    【特許請求の範囲】
  1. 【請求項１】 ３次元映画を生成する方法であって、 場面を表す３次元グラフィックス・データを受け取るス
    テップと、 前記場面に視点制限を指定するステップと、 視点とは独立に、前記場面を表す１つまたは複数のフレ
    ームを部分的にレンダリングするステップと、 前記部分的にレンダリングされた１つまたは複数のフレ
    ームを圧縮するステップと、 前記圧縮フレームをキャリア媒体に出力するステップと
    を含む方法。
  2. 【請求項２】 前記部分レンダリングが、前記３次元グ
    ラフィックス・データを１つまたは複数の所定の基準を
    満たすマイクロポリゴンに分割するステップを含む請求
    項１に記載の方法。
  3. 【請求項３】 前記１つまたは複数の所定の基準が、滑
    らかさ、および、ワールド空間のマイクロポリゴン・サ
    イズに対する所定のサイズ関数を含む請求項２に記載の
    方法。
  4. 【請求項４】 前記１つまたは複数の所定の基準が、ス
    クリーン空間において推定される最悪の場合のマイクロ
    ポリゴン・サイズを含む請求項２に記載の方法。
  5. 【請求項５】 前記スクリーン空間において推定される
    最悪の場合のマイクロポリゴン・サイズが、許容される
    最も近い視点から所与のマイクロポリゴンまでの距離を
    使用して推定される請求項４に記載の方法。
  6. 【請求項６】 前記スクリーン空間において推定される
    最悪の場合のサイズが、許容される最も近い視点から所
    与のマイクロポリゴンまでの最悪の場合の距離と、前記
    視点から所与のマイクロポリゴンまでの最悪の場合の視
    覚アングルとの組み合わせを使用して推定される請求項
    ４に記載の方法。
  7. 【請求項７】 前記部分レンダリングが、前記視点制限
    にしたがって視点から見えるマイクロポリゴンを選択す
    るステップを含む請求項１に記載の方法。
  8. 【請求項８】 前記部分レンダリングが、前記選択され
    たマイクロポリゴンに対して、ほぼ視点に独立である照
    明計算のサブセットを実行するステップを含む請求項１
    に記載の方法。
  9. 【請求項９】 前記照明計算のサブセットが視点独立の
    シャドーイングを含む請求項８に記載の方法。
  10. 【請求項１０】 前記照明計算のサブセットが、視点独
    立の反射、視点独立の被写界深度効果、視点独立のバン
    プ・マッピング、視点独立の変位マッピングを含むグル
    ープから選択される請求項８に記載の方法。
  11. 【請求項１１】 前記視点制限の指定が、視点制限ボリ
    ュームを指定するステップを含む請求項１に記載の方
    法。
  12. 【請求項１２】 前記視点制限ボリュームが、深度０を
    有し、視点制限サーフェイスである請求項１１に記載の
    方法。
  13. 【請求項１３】 前記視点制限の指定が、有効視点のセ
    ットおよび有効視点方向のセットを指定するステップを
    含む請求項１に記載の方法。
  14. 【請求項１４】 １つまたは複数の３次元グラフィック
    ス・オブジェクトを表す前記グラフィックス・データを
    ワールド空間の複数のマイクロポリゴンに分割するステ
    ップをさらに含む請求項１に記載の方法。
  15. 【請求項１５】 前記レンダリングが、視点独立である
    １つまたは複数の照明効果を前記マイクロポリゴンに適
    用するステップをさらに含む請求項１に記載の方法。
  16. 【請求項１６】 前記キャリア媒体が、伝送媒体および
    コンピュータ読取可能媒体を含むグループから選択され
    る請求項１に記載の方法。
  17. 【請求項１７】 前記圧縮フレームが、ストリーム中で
    読み取られ、ユーザによって制御される視点情報を利用
    してリアルタイムでラスタライズされるように構成され
    る請求項１に記載の方法。
  18. 【請求項１８】 前記圧縮フレームが、視点依存の照明
    効果を適用することによってリアルタイムでラスタライ
    ズされるように構成される請求項１に記載の方法。
  19. 【請求項１９】 各圧縮フレームが別々のデータを含む
    請求項１に記載の方法。
  20. 【請求項２０】 前記視点制限を前記キャリア媒体に出
    力するステップをさらに含む請求項１に記載の方法。
  21. 【請求項２１】 いつ、特定のフレームの１つまたは複
    数の部分が後続のフレームで再利用できるかを示すステ
    ップをさらに含む請求項１に記載の方法。
  22. 【請求項２２】 キー・フレームだけが記憶され、中間
    フレームがそこから補間される請求項１に記載の方法。
  23. 【請求項２３】 ３次元映画を再生する方法であって、 キャリア媒体から複数の圧縮フレームを読み取るステッ
    プと、 前記圧縮フレームを複数のワールド空間マイクロポリゴ
    ンに圧縮解除するステップと、 視聴者によって制御される視点情報を入力するステップ
    と、 前記マイクロポリゴンをスクリーン空間に変換するステ
    ップと、 フレームを生成するために前記マイクロポリゴンをラス
    タライズするステップと、 前記フレームを表示デバイスに表示するステップとを含
    む方法。
  24. 【請求項２４】 前記マイクロポリゴンに視点依存の照
    明効果を適用するステップと、 前記マイクロポリゴンに視点依存の雰囲気効果を適用す
    るステップとをさらに含む請求項２３に記載の方法。
  25. 【請求項２５】 前記マイクロポリゴンに視点依存のテ
    クスチャ効果を適用するステップをさらに含む請求項２
    ３に記載の方法。
  26. 【請求項２６】 前記マイクロポリゴンに視点依存の反
    射効果を適用するステップをさらに含む請求項２３に記
    載の方法。
  27. 【請求項２７】 前記視聴者によって制御される視点情
    報を前記キャリア媒体から読み取られる視点制限と比較
    するステップをさらに含む請求項２３に記載の方法。
  28. 【請求項２８】 前記視聴者によって制御される視点情
    報を、前記キャリア媒体から読み取られる視点制限に適
    合させるステップをさらに含む請求項２３に記載の方
    法。
  29. 【請求項２９】 前記変換、ラスタライズ、表示がリア
    ルタイムで実行される請求項２３に記載の方法。
  30. 【請求項３０】 各圧縮解除されたフレームが、ビジュ
    アル・ステレオでスクリーン空間に変換され、ラスタラ
    イズされ、表示される請求項２３に記載の方法。
  31. 【請求項３１】 圧縮オーディオのストリームを前記キ
    ャリア媒体から読み取るステップと、 前記圧縮オーディオのストリームを圧縮解除するステッ
    プと、 前記圧縮解除されたオーディオを、前記リアルタイムの
    視聴者制御による耳の位置情報を反映するように処理す
    るステップと、 前記圧縮解除され処理されたオーディオを再生するステ
    ップとをさらに含む請求項２３に記載の方法。
  32. 【請求項３２】 ３次元映画を生成するように構成さ
    れ、複数の命令を含み、第１のキャリア媒体に埋め込ん
    だソフトウェア・プログラムであって、前記複数の命令
    が、 場面を表す３次元グラフィックス・データを受取り、 視聴者の入力に基づいて、前記場面に対する視点制限を
    指定し、 前記場面を表す１つまたは複数のフレームを部分レンダ
    リングし、 前記部分レンダリングされた１つまたは複数のフレーム
    を圧縮し、 前記圧縮フレームを第２のキャリア媒体に出力するよう
    に構成される、ソフトウェア・プログラム。
  33. 【請求項３３】 前記第１のキャリア媒体および第２の
    キャリア媒体が、（ｉ）コンピュータ読取可能媒体、お
    よび（ｉｉ）伝送媒体からなるグループから選択される
    請求項３２に記載のソフトウェア・プログラム。
  34. 【請求項３４】 ３次元映画を再生するように構成さ
    れ、複数の命令を含み、第１のキャリア媒体で実施され
    るソフトウェア・プログラムであって、前記複数の命令
    が、 複数の圧縮フレームを第２のキャリア媒体から読み取
    り、 前記圧縮フレームを複数のワールド空間マイクロポリゴ
    ンに圧縮解除し、 視聴者によって制御される視点情報を入力し、 前記マイクロポリゴンをスクリーン空間に変換し、 フレームを生成するために前記マイクロポリゴンをラス
    タライズし、 前記フレームを表示デバイスに表示するように構成され
    る、ソフトウェア・プログラム。
  35. 【請求項３５】 前記第１のキャリア媒体および前記第
    ２のキャリア媒体が、（ｉ）コンピュータ読取可能媒
    体、および（ｉｉ）伝送媒体を含むグループから選択さ
    れる同一のキャリア媒体である請求項３４に記載のソフ
    トウェア・プログラム。
  36. 【請求項３６】 以前に作成された３次元映画を再生す
    るように構成されるグラフィック・システムであって、 圧縮フレームのストリームをキャリア媒体から読み取る
    入力手段と、 前記圧縮フレームを受け取り、部分レンダリングされた
    複数のワールド空間マイクロポリゴンに圧縮解除するよ
    うに結合される圧縮解除機構と、 前記部分レンダリングされたワールド空間マイクロポリ
    ゴンを受け取るように結合されるグラフィックス・プロ
    セッサと、 前記グラフィックス・プロセッサに視聴者の視点情報を
    与えるように結合されるセンサとを含み、前記グラフィ
    ックス・プロセッサが、前記視聴者の視点情報を利用し
    て前記ワールド空間マイクロポリゴンをスクリーン空間
    に変換するように構成され、１つまたは複数の３Ｄフレ
    ームをステレオで生成するために、前記スクリーン空間
    マイクロポリゴンをラスタライズするように構成される
    グラフィックス・システム。
  37. 【請求項３７】 前記入力手段がさらに、前記圧縮フレ
    ームと共に視点制限情報を受け取るように構成され、前
    記グラフィックス・プロセッサが、前記視聴者の視点情
    報を前記視点制限情報に適合させるように構成される請
    求項３６に記載のシステム。
  38. 【請求項３８】 表示デバイスとサンプル・バッファを
    さらに含み、前記サンプル・バッファが、前記グラフィ
    ックス・プロセッサと前記表示デバイスの間に結合さ
    れ、前記表示デバイスによって表示できるピクセル数に
    応じてスーパー・サンプリングされる請求項３６に記載
    のシステム。
  39. 【請求項３９】 前記グラフィックス・プロセッサがさ
    らに、前記部分レンダリングされたワールド空間マイク
    ロポリゴンに対して照明計算のサブセットを実行するよ
    うに構成される請求項３６に記載のシステム。
  40. 【請求項４０】 前記照明計算のサブセットが、全ての
    視点依存の照明計算を含む請求項３９に記載のシステ
    ム。
  41. 【請求項４１】 前記視点依存の計算が、視点依存の反
    射および視点依存の被写界深度効果を含むグループから
    選択される請求項３９に記載のシステム。
JP2000071781A 1999-03-15 2000-03-15 ３次元映画を生成し再生するシステムおよび方法 Pending JP2000353250A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/268,397 US6429867B1 (en) 1999-03-15 1999-03-15 System and method for generating and playback of three-dimensional movies
US09/268397 1999-03-15

Publications (1)

Publication Number Publication Date
JP2000353250A true JP2000353250A (ja) 2000-12-19

Family

ID=23022826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000071781A Pending JP2000353250A (ja) 1999-03-15 2000-03-15 ３次元映画を生成し再生するシステムおよび方法

Country Status (7)

Country Link
US (1) US6429867B1 (ja)
EP (1) EP1037167B1 (ja)
JP (1) JP2000353250A (ja)
AT (1) ATE319144T1 (ja)
AU (1) AU769478B2 (ja)
CA (1) CA2300529A1 (ja)
DE (1) DE60026233D1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319819A (ja) * 2005-05-13 2006-11-24 Victor Co Of Japan Ltd 複数視点映像表示方法及び複数視点映像表示装置並びに複数視点映像表示プログラム
JP2007026036A (ja) * 2005-07-15 2007-02-01 Dainippon Printing Co Ltd 物体の三次元形状データの削減装置および削減方法
JP2010171991A (ja) * 2008-09-30 2010-08-05 Panasonic Corp ３ｄ映像を再生する再生装置、および配信装置
JP2011238213A (ja) * 2010-04-07 2011-11-24 Intel Corp 配置されたパラメトリック曲線の階層的バウンディング

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907793B1 (en) 2001-05-04 2011-03-15 Legend Films Inc. Image sequence depth enhancement system and method
US8396328B2 (en) 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
US6677981B1 (en) * 1999-12-31 2004-01-13 Stmicroelectronics, Inc. Motion play-back of still pictures comprising a panoramic view for simulating perspective
US7274383B1 (en) 2000-07-28 2007-09-25 Clairvoyante, Inc Arrangement of color pixels for full color imaging devices with simplified addressing
CN100401359C (zh) * 2000-07-28 2008-07-09 克雷沃耶提公司 用于具有简化寻址的全彩色成像装置的彩色像素的排列
US6760772B2 (en) 2000-12-15 2004-07-06 Qualcomm, Inc. Generating and implementing a communication protocol and interface for high data rate signal transfer
GB2374778B (en) 2001-04-20 2005-11-02 Discreet Logic Inc Processing image data
GB2374779B (en) * 2001-04-20 2005-11-02 Discreet Logic Inc Processing image data
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US7184066B2 (en) 2001-05-09 2007-02-27 Clairvoyante, Inc Methods and systems for sub-pixel rendering with adaptive filtering
US7123277B2 (en) 2001-05-09 2006-10-17 Clairvoyante, Inc. Conversion of a sub-pixel format data to another sub-pixel data format
US6894690B2 (en) * 2001-06-20 2005-05-17 Engineering Technology Associates, Inc. Method and apparatus for capturing and viewing a sequence of 3-D images
US8812706B1 (en) 2001-09-06 2014-08-19 Qualcomm Incorporated Method and apparatus for compensating for mismatched delays in signals of a mobile display interface (MDDI) system
US7755652B2 (en) 2002-01-07 2010-07-13 Samsung Electronics Co., Ltd. Color flat panel display sub-pixel rendering and driver configuration for sub-pixel arrangements with split sub-pixels
US7417648B2 (en) 2002-01-07 2008-08-26 Samsung Electronics Co. Ltd., Color flat panel display sub-pixel arrangements and layouts for sub-pixel rendering with split blue sub-pixels
US6853377B2 (en) 2002-06-26 2005-02-08 Nvidia Corporation System and method of improved calculation of diffusely reflected light
US7680322B2 (en) * 2002-11-12 2010-03-16 Namco Bandai Games Inc. Method of fabricating printed material for stereoscopic viewing, and printed material for stereoscopic viewing
US7321682B2 (en) * 2002-11-12 2008-01-22 Namco Bandai Games, Inc. Image generation system, image generation method, program, and information storage medium
US20040095348A1 (en) * 2002-11-19 2004-05-20 Bleiweiss Avi I. Shading language interface and method
US6917368B2 (en) * 2003-03-04 2005-07-12 Clairvoyante, Inc. Sub-pixel rendering system and method for improved display viewing angles
US7167186B2 (en) 2003-03-04 2007-01-23 Clairvoyante, Inc Systems and methods for motion adaptive filtering
US20040196302A1 (en) 2003-03-04 2004-10-07 Im Moon Hwan Systems and methods for temporal subpixel rendering of image data
CN101938493B (zh) 2003-06-02 2013-10-16 高通股份有限公司 生成并实施一用于更高数据率的讯号协议和接口
US7290895B2 (en) * 2003-08-08 2007-11-06 Production Resource Group, L.L.C. File system for a stage lighting array system
CN101194482B (zh) 2003-08-13 2015-11-25 高通股份有限公司 一种使通信系统中的主机与客户机间读写至少一个寄存器的方法与系统
TWI345404B (en) 2003-09-10 2011-07-11 Qualcomm Inc High data rate interface
CN1894931A (zh) 2003-10-15 2007-01-10 高通股份有限公司 高数据速率接口
AU2004307162A1 (en) 2003-10-29 2005-05-12 Qualcomm Incorporated High data rate interface
EP2242231A1 (en) 2003-11-12 2010-10-20 Qualcomm Incorporated High data rate interface with improved link control
WO2005053272A1 (en) 2003-11-25 2005-06-09 Qualcomm Incorporated High data rate interface with improved link synchronization
EP2247068B1 (en) 2003-12-08 2013-09-25 Qualcomm Incorporated High data rate interface with improved link synchronization
US7224326B2 (en) * 2004-03-03 2007-05-29 Volo, Llc Virtual reality system
BRPI0508582A (pt) * 2004-03-10 2007-08-14 Qualcomm Inc equipamento e método de interface de alta taxa de dados
WO2005091593A1 (en) 2004-03-17 2005-09-29 Qualcomm Incorporated High data rate interface apparatus and method
US8645566B2 (en) 2004-03-24 2014-02-04 Qualcomm Incorporated High data rate interface apparatus and method
ATE518343T1 (de) 2004-06-04 2011-08-15 Qualcomm Inc Schnittstellenvorrichtung und -verfahren für hohe datenraten
US8650304B2 (en) 2004-06-04 2014-02-11 Qualcomm Incorporated Determining a pre skew and post skew calibration data rate in a mobile display digital interface (MDDI) communication system
US8300043B2 (en) 2004-06-24 2012-10-30 Sony Ericsson Mobile Communications AG Proximity assisted 3D rendering
US8159526B2 (en) * 2004-09-17 2012-04-17 Seiko Epson Corporation Stereoscopic image display system
US8723705B2 (en) 2004-11-24 2014-05-13 Qualcomm Incorporated Low output skew double data rate serial encoder
US8667363B2 (en) 2004-11-24 2014-03-04 Qualcomm Incorporated Systems and methods for implementing cyclic redundancy checks
US8539119B2 (en) 2004-11-24 2013-09-17 Qualcomm Incorporated Methods and apparatus for exchanging messages having a digital data interface device message format
US8873584B2 (en) 2004-11-24 2014-10-28 Qualcomm Incorporated Digital data interface device
US8699330B2 (en) 2004-11-24 2014-04-15 Qualcomm Incorporated Systems and methods for digital data transmission rate control
US8692838B2 (en) 2004-11-24 2014-04-08 Qualcomm Incorporated Methods and systems for updating a buffer
US8692839B2 (en) 2005-11-23 2014-04-08 Qualcomm Incorporated Methods and systems for updating a buffer
US8730069B2 (en) 2005-11-23 2014-05-20 Qualcomm Incorporated Double data rate serial encoder
WO2007117485A2 (en) * 2006-04-03 2007-10-18 Sony Computer Entertainment Inc. Screen sharing method and apparatus
US8982181B2 (en) * 2006-06-13 2015-03-17 Newbery Revocable Trust Indenture Digital stereo photographic system
US8284204B2 (en) * 2006-06-30 2012-10-09 Nokia Corporation Apparatus, method and a computer program product for providing a unified graphics pipeline for stereoscopic rendering
US7990381B2 (en) * 2006-08-31 2011-08-02 Corel Corporation Re-coloring a color image
US9667954B2 (en) * 2006-10-13 2017-05-30 Apple Inc. Enhanced image display in head-mounted displays
US20080147488A1 (en) * 2006-10-20 2008-06-19 Tunick James A System and method for monitoring viewer attention with respect to a display and determining associated charges
US8223192B2 (en) * 2007-10-31 2012-07-17 Technion Research And Development Foundation Ltd. Free viewpoint video
US8395660B2 (en) * 2007-12-13 2013-03-12 Apple Inc. Three-dimensional movie browser or editor
US20090219383A1 (en) * 2007-12-21 2009-09-03 Charles Gregory Passmore Image depth augmentation system and method
US8170048B1 (en) 2008-01-30 2012-05-01 Google Inc. Dynamic spectrum allocation and access for user device
KR20120005328A (ko) * 2010-07-08 2012-01-16 삼성전자주식회사 입체 안경 및 이를 포함하는 디스플레이장치
US8704879B1 (en) 2010-08-31 2014-04-22 Nintendo Co., Ltd. Eye tracking enabling 3D viewing on conventional 2D display
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9113130B2 (en) 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
CN102510504B (zh) * 2011-09-27 2015-04-15 深圳超多维光电子有限公司 裸眼立体显示系统的显示范围确定及显示方法及装置
US9035955B2 (en) 2012-05-16 2015-05-19 Microsoft Technology Licensing, Llc Synchronizing virtual actor's performances to a speaker's voice
US9105210B2 (en) 2012-06-29 2015-08-11 Microsoft Technology Licensing, Llc Multi-node poster location
US9384737B2 (en) 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
US9317971B2 (en) 2012-06-29 2016-04-19 Microsoft Technology Licensing, Llc Mechanism to give holographic objects saliency in multiple spaces
US9035970B2 (en) 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
US9179232B2 (en) 2012-09-17 2015-11-03 Nokia Technologies Oy Method and apparatus for associating audio objects with content and geo-location
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
DE102015007245B4 (de) * 2015-06-05 2024-09-19 Audi Ag Verfahren zum Betreiben einer Datenbrilleneinrichtung und Datenbrilleneinrichtung
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
US20170140570A1 (en) * 2015-11-13 2017-05-18 Intel Corporation Facilitating efficeint centralized rendering of viewpoint-agnostic graphics workloads at computing devices
US10486060B2 (en) * 2016-11-23 2019-11-26 Microsoft Technology Licensing, Llc Tracking core for providing input to peripherals in mixed reality environments
JP6963399B2 (ja) * 2017-03-16 2021-11-10 株式会社スクウェア・エニックス プログラム、記録媒体、画像生成装置、画像生成方法
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10867414B2 (en) 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
CN113424096A (zh) * 2019-02-12 2021-09-21 赛伊视觉公司 全息平视显示装置
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
US11450030B2 (en) 2019-09-24 2022-09-20 Apple Inc. Three-dimensional mesh compression using a video encoder
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
CN112044062B (zh) * 2020-08-27 2022-11-08 腾讯科技（深圳）有限公司 游戏画面渲染方法、装置、终端和存储介质
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
AU2022257980A1 (en) * 2021-04-16 2023-10-19 Bae Systems Australia Limited Rendering motion of objects in virtual environments
US11948339B2 (en) * 2021-06-04 2024-04-02 Apple Inc. Encoding and decoding visual content

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3318680B2 (ja) 1992-04-28 2002-08-26 サン・マイクロシステムズ・インコーポレーテッド 画像生成方法及び画像生成装置
US5287437A (en) * 1992-06-02 1994-02-15 Sun Microsystems, Inc. Method and apparatus for head tracked display of precomputed stereo images
CA2144253C (en) * 1994-04-01 1999-09-21 Bruce F. Naylor System and method of generating compressed video graphics images
US5805733A (en) * 1994-12-12 1998-09-08 Apple Computer, Inc. Method and system for detecting scenes and summarizing video sequences
US5793371A (en) 1995-08-04 1998-08-11 Sun Microsystems, Inc. Method and apparatus for geometric compression of three-dimensional graphics data
US5842004A (en) 1995-08-04 1998-11-24 Sun Microsystems, Inc. Method and apparatus for decompression of compressed geometric three-dimensional graphics data
US6009208A (en) * 1995-08-21 1999-12-28 Lucent Technologies Inc. System and method for processing space-time images

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319819A (ja) * 2005-05-13 2006-11-24 Victor Co Of Japan Ltd 複数視点映像表示方法及び複数視点映像表示装置並びに複数視点映像表示プログラム
JP4513645B2 (ja) * 2005-05-13 2010-07-28 日本ビクター株式会社 複数視点映像表示方法及び複数視点映像表示装置並びに複数視点映像表示プログラム
JP2007026036A (ja) * 2005-07-15 2007-02-01 Dainippon Printing Co Ltd 物体の三次元形状データの削減装置および削減方法
JP2010171991A (ja) * 2008-09-30 2010-08-05 Panasonic Corp ３ｄ映像を再生する再生装置、および配信装置
JP2011238213A (ja) * 2010-04-07 2011-11-24 Intel Corp 配置されたパラメトリック曲線の階層的バウンディング

Also Published As

Publication number Publication date
AU2082800A (en) 2000-09-21
DE60026233D1 (de) 2006-04-27
EP1037167A2 (en) 2000-09-20
CA2300529A1 (en) 2000-09-15
EP1037167A3 (en) 2002-12-11
EP1037167B1 (en) 2006-03-01
US6429867B1 (en) 2002-08-06
ATE319144T1 (de) 2006-03-15
AU769478B2 (en) 2004-01-29

Similar Documents

Publication Publication Date Title
US6429867B1 (en) System and method for generating and playback of three-dimensional movies
US10636220B2 (en) Methods and systems for generating a merged reality scene based on a real-world object and a virtual object
US11127214B2 (en) Cross layer traffic optimization for split XR
KR100549358B1 (ko) Ｚ-버퍼 이미지 데이터 및 알파 융합을 사용하는 필드심도를 갖는 이미지
JP3177221B2 (ja) 興味深いシーンのイメージを表示するための方法及び装置
JP4548413B2 (ja) 表示システム、動画化方法およびコントローラ
Jones et al. Rendering for an interactive 360 light field display
TW201921921A (zh) 基於紋理圖與網格之３ｄ影像資訊的處理
CA2599483A1 (en) Automatic scene modeling for the 3d camera and 3d video
US10115227B2 (en) Digital video rendering
JP2020522801A (ja) バーチャル・リアリティ・メディア・コンテンツ内に含める目的での現実世界シーンのカスタマイズされるビューの仮想化プロジェクションを生成するための方法及びシステム
KR20170013704A (ko) 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템
US6559844B1 (en) Method and apparatus for generating multiple views using a graphics engine
JP7054351B2 (ja) 自由視点映像のリプレイ映像を再生するシステム
TW202141429A (zh) 使用陰影資訊進行渲染
CN114788287A (zh) 对体积图像数据上的视图进行编码和解码
JP2021015417A (ja) 画像処理装置、画像配信システム、および画像処理方法
JP2009064355A (ja) プログラム、情報記憶媒体及び画像生成システム
Popescu et al. Three-dimensional display rendering acceleration using occlusion camera reference images
WO2024105281A1 (en) A method and a process for displaying video files for immersive experience without real-time rendering
WO2008064352A2 (en) Systems for immersive environments with mulitple points of view
Kamboj et al. IMAGE-BASED RENDERING: A NEW RENDERING PARADIGM