JP2004537082A - 仮想現実環境における実時間バーチャル・ビューポイント - Google Patents
仮想現実環境における実時間バーチャル・ビューポイント Download PDFInfo
- Publication number
- JP2004537082A JP2004537082A JP2002568313A JP2002568313A JP2004537082A JP 2004537082 A JP2004537082 A JP 2004537082A JP 2002568313 A JP2002568313 A JP 2002568313A JP 2002568313 A JP2002568313 A JP 2002568313A JP 2004537082 A JP2004537082 A JP 2004537082A
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- camera
- image
- viewpoint
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本発明のシステムは、人間、動物等の生物やその生態、更に、それに付帯する服飾類又は物のビデオ画像を、仮想環境へはめ込むことができ、該環境にいる他の参加者は、ある人間を、そのまま、実時間で、どの視点からでも見ることができる。また、本発明のシステムは、実際の物体又は相互作用している物体の集合（非生命体）の情報をキャプチャし記憶する能力を持ち、キャプチャされた対象物は、後で仮想環境にはめ込まれる。該環境にいる参加者は、物体（或いは、動きのあるもの）を、実際の世界で見ている通りに、どの視点からでも眺めることができる。該システムは、完全にモジュラー化され、複数の物体を結合して、合成された情景を生成する。物体は、所望であれば、機械的な動作をする人間とすることもできる。これらの機械的な動作が結合されることもできる。
Description
【技術分野】
【０００１】
本発明は、仮想現実と拡大現実に関するものであり、特に、コンピュータ上で創られた仮想現実環境に組み込まれて動かされた対象物又は動かされない対象物に対して、オブザーバーの視点を、実時間でシミュレーションすることに関する。
【背景技術】
【０００２】
仮想現実（ＶＲ）とは、あたかもユーザがコンピュータで創られた環境の中に本当に入り込んでしまったかの如く、その環境と相互に作用することのできる人工の環境のことをいう。仮想現実の装置は、ユーザにコンピュータで創られた環境を三次元（３Ｄ）で見せることができ、そして、その環境の中で動くことを可能にしている。この仮想現実には、広義に、拡大現実（Augmented Reality：ＡＲ）の技術も含まれる。拡大現実とは、ユーザが見たり、感じたりすることができるコンピュータ上での仮想の世界を現実の世界に融合させる技術である。「現実の世界」とは、ユーザが自らの五感（視聴覚、味覚、臭覚）で体験する環境と定義する。「仮想の世界」とは、記憶媒体に格納され、若しくは、プロセッサを用いて創り上げられた環境をいう。人の目で捉えた風景の上に、コンピュータで生成された情報を重ね合わせるやり方の方がより有利となる場合が数多くみられる。例えば、機械の複雑な部品を扱う機械工にとっては、その機械を実際に見ながら、その場で部品関連の保守マニュアルを見て仕事を進めることができれば、大変素晴らしいことである。このような機能を持つ画像システムは、多くの場合に、「拡大現実」システムと呼ばれている。一般的に、この種のシステムでは、ユーザの現実世界の視野に、コンピュータで創られた注釈（annotation）や物体を「投射」することによって、増強され、又は、加えられることができるヘッド・マウンテッド・ディスプレイを使用する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
いくつかの市場で、実際の世界や実時間仮想環境に、人間や高度に現実味を帯びた静止もしく動的な人工物を組み込むという、未だに満たされていない要求がある。それは、軍事訓練、コンピュータゲーム他、多くの拡大現実を含めた仮想現実を適用する市場のことである。物体のテクスチヤ・マップ化された三次元モデルを作成するシステムは、多々ある。これは、特に、Ｅ−コマースで使用されている。このようシステムには、手で作られた、又は、ＣＡＤで作成されたモデルを使うもの、或いは、三次元センシング技術を使っているものも含む。現在において、物体を組み込む技術の最前線といわれるものには、多くの欠陥がみられる。
（ａ）データキャプチャ時間が遅い（モデルは、手で構築されるか、速度が遅い自動システムを使用している）。
（ｂ）動きを効果的に処理できない（大部分のシステムは、静止状態か、制限のある動きのみしか扱えない）。
（ｃ）現実味に乏しい（大半のシステムが、平坦な画像であるか、細部の描写を欠く）。
（ｄ）撮影できる物体の大きさに制限がある。
【０００４】
現在使用されている、実際の人間を仮想現実に組み込むシステムには、ビデオゲーム関連会社、映画のスタジオが使用している動作キャプチャシステムがあり、アメリ力合衆国陸軍のＳＴＲＩＣＯＭが行った先端の研究もある。この現在の最先端を進む人間を組み込むシステムには、次のような問題がある。
（ａ）ほとんどのシステムで、何らかのマーカが必要であり、特別注文の服を着ることが要求される。
（ｂ）ほとんどのシステムで、仮想環境に組み込まれた人間の描写が粗くなっている。
（ｃ）ほとんどのシステムが、実時間では動かなく、動く場合でも、必然的に制限される。
【０００５】
既存の実際の人間を組み込むシステムでは、仮想環境に、静的、動的物体、人間、又他の生き物を組み込んで行く能力は無い。そして、ユーザが、実時間であらゆる視点から、その物体又は人間を、現在眺めているかのように見ることのできる能力も持たない。
【課題を解決するための手段】
【０００６】
本発明は、仮想現実システムとその基本構造とアーキテクチャに関するものである。これ等は既存の仮想現実システムの欠陥を補うものである（このシステムを「バーチャル・ビューポイント」と呼ぶことにする）。本発明の一側面は、この発明によるシステムが、人、動物、他の動きのある生物、動きの無い生物、及び、これらに付帯するあらゆる服装、物体などのビデオ映像を、仮想環境に組み込む能力がある。その環境に参加している人々は、実時間で、今その人を見ているように、映像内の人を全ての視点から眺めることが可能である。本発明の別の側面では、開発された新しいシステムは、実際の物体、相互に作用し合う物体の集合（例、無生物の形状）についての情報をキャプチャし、それを記憶することも可能である。これらの物体は、後に仮想環境に差し込まれる。参加している人々は、この環境内で動く人工物を、実際の世界でそれを眺めているように、すべての視点から見ることができる。このシステムは、完全にモジュール化されているため、多数の人工物を組み合わせて、合成された風景を作り出すことが可能である。必要があれば、その人工物は、当たり前の動作をする人間ということもある。このような当たり前の動作を、組み合せることも可能である。
【０００７】
本発明では、生き物の例として、人間又はそれに類するものを参照して記載される。これ以降、人間、人、若しくはそれに類したものを論議する際には、動物を含めた他の生き物のが、除外されるものではない。更に、以降において、本発明の様々に論議される概念は、人間（それに類するもの）及び人工物にも同様に適用されるものである。人工物についての論議、言及、例示も、同様に、人間に対しても適用され、又、その反対の場合も同様である。従って、本発明の意図する範囲内においては、一方に関するこの種の議論が、他方に対する技術適応を除外するものではない。本特許出願では、生き物と人工物は、まとめて「対象物」と称することにする。
【０００８】
本発明のシステムの基本的概念は、映像作成の対象である人工物の周囲に、若しくは、仮想環境に組み込む予定の人間の周囲に、いくつものカメラを配置することである。人工物や人の三次元構造は、特にそれに動きがある場合に、実時間で素早く決定される。任意の視点から、その人工物や人を眺めようとする場合に（その視点は、実際の世界では、捉えるカメラがそこに無い場合もあるが）、本システムでは、三次元情報と画像を使って、その任意の視点から、物体や人がどのように見えるかという仮想画像を作成する。
【０００９】
バーチャル・ビューポイント・システムには、概ね、次のような要素と機能がある。
（ａ）空間に配置された複数のビデオカメラ
（ｂ）画像のデジタルキャプチャ
（ｃ）カメラキャリブレーション
（ｄ）実時間の三次元モデル化
（ｅ）三次元モデルとその画像の符号化と変換
（ｆ）各ビューワーに関する仮想視野の計算
（ｇ）仮想画像を仮想空間の中に組み込む
【発明を実施するための最良の形態】
【００１０】
本発明に係る内容、利点、及び、好適な使用方法の充分な理解を深めるために、以下の詳細な説明と関連する添付した図を参照する。各図において、参照番号は、図示された部分と同様な部分を指し示している。
【００１１】
ここで説明される本発明は、実現される最良の実施形態である。この実施形態は、本発明の基本的原理を説明する目的に使用されるものであって、それに制限されるものではない。本発明の範囲は、本明細書の最後に記載されているように決定されることが最も望ましい。
ここで述べる全ての参考出版資料は、全て参考文献として扱われている。
【００１２】
本発明は、発明の基本をなす原理の理解からも明らかなように、本発明の範囲と精神から逸脱することなくして、様々な実現方法で利用ができる。本発明におけるバーチャル・ビューポイントの概念は、エンターテイメント、スポーツ、軍事訓練、ビジネス、コンピュータゲーム、教育、研究等において、情報交換ネットワーク環境（例えば、ビデオ会議）であるか、又は、その他のものに拘わらず、広く適用される。
【００１３】
〔情報交換ネット〕
以下における詳細な説明は、本発明の方法若しくはプロセスと、操作の記号による描写と、機能性及び特徴とに関わるものである。ここでの方法の説明及び記述は、この分野に係る当業者が、最も有効的な方法で、その仕事内容を、同様に当業者に伝達する際に使われる方法である。ソフトウエアの実行方法、若しくは、プロセスがそれであり、一般に、意図した結果を導く一連の矛盾の無い手順で出来上がっている。これ等の手順では、実際の物体を、実際に操作する必要がある。多くの場合、必ずということではないが、この実際の物体は、記憶されること、転送されること、統合されこと、比較されること、さもなければ操作することが可能な電気信号若しくは電磁信号という形式となっている。
【００１４】
本発明での実現されたソフトウエア操作を実行するのに有効な装置には、必ずしもこれのみに制限されるわけではないが、汎用又は特殊なデジタル処理装置、或いは、コンピュータが含まれる。これらは、独立した装置か、又は、大きなシステムの中の一部である。この装置は、装置内に格納されたプログラム、ルーチン及び／又は命令の手順及び／又はロジックによって、選択的に作動され、又は、変更される。簡単に説明すると、ここで説明され、提示された方法に関する使用は、特殊な処理構成に限定されるものではない。
【００１５】
本発明によるバーチャル・ビューポイントのプラットフォームは、以下に限定されはしないが、単独のコンピュータネットワーク、即ち、公共及び私用コンピュータネットワーク（例えば、インターネット、イントラネット、ＷＡＮ、ＬＡＮ等）、付加価値付きネットワーク、通信ネットワーク（有線又は無線ネットワーク）、放送ネットワーク、更には、以上のようなネットワークを、同種のもので又は異種のもので結合したネットワークである。これらの当業者達に理解されるように、このネットワークは、ハードウエアとソフトウエアとを共に含むが、固有の目的に最も適切な説明である場合、どちらか一方若しくは双方共に考慮されることもある。例を挙げると、ネットワークは、通信装置で繋がれた一式のハードウエアノードということが言えるし、一方、通信設備そのものであれば、ノードが有るか、無いかということも言える。この技術の当業者には、以下の説明が明確であると期待する。即ち、このようなネットワークと通信設備は、ソフトウエアとハードウエアの側面を持つと理解され、ハードウエアとソフトウエア間の区別は、必ずしも明瞭にはなっていない。
【００１６】
インターネットは、本発明を実行できるコンピュータネットワークを含む情報交換ネットワークの一例である。多くのサーバは、インターネット・ネットワーク経由で多数のクライアントに結合されており、このインターネット・ネットワークが結合された統一体として作用する、多数の統合された情報ネットネットワークを包括する。インターネット・ネットワークを構成する種々のハードウエア、ソフトウエアの構成要素は、この分野の技術で遍く知られているように、サーバ、ルーター、ゲイトウエイ等である。更に、サーバとクライアントによるインターネットヘのアクセスは、同軸ケーブル、電話線、無線ＲＦリンク等の適切な伝達媒体を通じてされることを前提とする。サーバとクライアントとの間の通信は、既定のプロトコルにより行われる。下記に示す如く、本発明に係るバーチャル・ビューポイント・システムは、サーバの中に、或いは、サーバとして形成される。そのサーバに、ユーザが、クライアント経由でアクセスできるのである。
【００１７】
〔全般的なシステムデザイン〕
バーチャル・ビューポイント・システムでは、参加者をボディマーカ、識別子、特別な着装品のようなものを一切使わずに実時間仮想現実に引き入れる。バーチャル・ビューポイントは、参加者の表情、しぐさ、行動、衣服、装飾品を含めて、全ての外見を仮想の世界へ引き入れる。バーチャル・ビューポイント・システムは、実際に、その人間がどこにいるかは関係なく、兵隊、仕事仲間、同僚達が、共に訓練、働き、協力できる場を設定する。
【００１８】
バーチャル・ビューポイントは、コンピュータ・グラフィック・アニメとは異なり、現実世界の動いている物体の完全な三次元形状、質感、色彩、音をビデオに記録するというものである。バーチャル・ビューポイントでは、視聴者があたかもその情景に実際にいるかの如く、その情景に入りこみ、また、どのような視点をも選択することを可能にするため、三次元対話型ビデオとコンテンツを創りだすことができる。視聴者は、各自、限りない数のカメラアングルを操るカメラマンとなる。受身である放送又はビデオの視聴者が、動的にその情景へと参加することとなる。
【００１９】
バーチャル・ビューポイント遠隔共同作業は、参加者の行動を記録する複数のカメラを備えた一連のシミュレーションブースから構成される。これ等のカメラが撮るビデオを、実時間でキャプチャし、処理し、それぞれの参加者の三次元形状に関する情報が生成される。この三次元情報から、バーチャル・ビューポイントの技術は、実時間で、廉価なＰＣハードウエアを使い、空間内のいずれもの視点からでも、無限の視野を合成できる。幾何学モデルを、新しい仮想環境に移転することもできる。視聴者は、もともとカメラが設置された視点からの視野のみならず、いかなる視点からも生成されるデータストリームと対話することが可能である。
【００２０】
〔システムアーキテクチャとプロセス〕
図１では、仮想視点からビデオを作成するための、三次元モデルの生成、及び、イメージベースレンダリング技術を基にしたバーチャル・ビューポイント・システムのシステムアーキテクチャを説明する。対象物の三次元ビデオ画像（人間又は物体）をキャプチャするため、複数のカメラ（２台、４台、８台、１６台、若しくは、画像の質によりこの数以上の台数）を必要とする。一隅にあるカメラ（複数）からの再構築が、複数のビデオストリームと三次元モデル抽出（例えば、下記で説明する「シルエットから作る形状」）により得た三次元モデルシーケンスを生成する。この情報は記憶され、ビデオ描画技術を使い斬新な視点を生成されることに使われていく。この画像キャプチャ及び三次元モデル情報の生成は、スタジオで行い、三次元画像描画はユーザ側で行うことができる。三次元モデルの情報は、ギガビット・イーサネット・リンク経由で、スタジオからユーザに伝送さられる。
【００２１】
図２に関しては、バーチャル・ビューポイント・システムでは、基本的に下記の構成要素、プロセス機能より成る。
（ａ）人間又は物体を囲むように設置された複数のカメラは、その中の対象物に向けられている。実際に、カメラは、少ない場合、４台でも可能である。その台数は、コスト、場所、必要な計算能力を考えに入れずに設定する場合は、その台数の上限は無い。カメラの数を増やすほど、画像の質は向上する。
（ｂ）画像をデジタル技術でキャプチャし、このデジタル画像をコンピュータのワーキングメモリに伝送する方法。
（ｃ）カメラをキャリブレートする方法。カメラの位置、方向、レンズの焦点距離等の内部変数は、正確さを必要とする。これが、現実世界と、カメラからの画像に現われている三次元の各点との間の数学的マッピングを確立する。質の悪いキャリブレーションは、出力された仮想画像に関するデジタル化した画像の品質を損なうことになる。
（ｄ）実時間で、人間又は対象物の三次元構造を決定する方法。これには数多くの方法がある。このシステムのコストを抑えるため、三次元構造を決定するカメラからの画像利用という幾つかの方法が開発されている。他の選択として、特殊用途の走査型距離探索デバイス、若しくは構造化照明（structured light）と呼ばれる方法がある。本発明が採択した実現方法は下記で詳細に説明する。
（ｅ）この三次元構造並びに画像の記号化とそれを仮想環境で使う形に換える方法。この方法は、関連する膨大なデータを扱うための圧縮、ネットワークプロトコル、データをシステムに挿入するユーザインタフェースワークを含む。
（ｆ）選ばれた記号化の方法によっては、新しい視点から、人、物体を見るため、仮想視界を計算するソフトウエア・モジュールが必要になる。
（ｇ）仕上がった人間や物体の仮想画像を残りの仮想空間の情景に統合させるためには、更なる処理が必要になる。
【００２２】
〔三次元モデル生成〕
このシステムが有効に動作するためには、人間若しくは任意の対象物の三次元構造を決定する方法が必要となる。これを遂行するには、市場に出廻っている多くの製品を利用することを含め、多様な方法がある。一般的に言えば、ステレオビジョン技術では、速度が遅く、市場に出す製品として不可欠な強靭性に欠けている。
【００２３】
上記二つの問題の解決として、「シルエットから作る形状」技術、又は、「ビジュアルハル構築」（visual hull construction）技術と呼ぶ方法が開発される。シルエットから形状を作る方法として、少なくとも３種類の方法がある。
【００２４】
（ａ）シルエットそのものを三次元モデルとして使用する。この技術は、ＭＩＴグラフィックス・ラボラトリーで開発された技術の改良であり、以下に説明する。
（MIT Graphical Lab web site：http：//graphics.lcs.mit.edu/〜wojciech/vh/）
（ｂ）ボクセルを使用して形状をかたどる方法。この技術は、本発明の譲受人であるZaxel Systems. Inc. により完全に実現され、下記に記す報告書に記載されている。『ボクセルを基にしたイマーシブ環境（Immersive Environment）』（２０００年５月３１日）：（Defense Advanced Research Projects Agency（ＤＯＤ）（ＩＯＳ）ＡＲＰＡ Order D611/70；アメリカ合衆国航空、ミサイル指令部下の契約No．DAAHO1-00-C-R058-unclassified、公表および無制限の一般公開を是認する。この文書は、ここで参照され、叩き台とされる。ここで明らかにするこの発明の概念は、すでに特許申請中である。）。この技術に関連する多量な記憶装置への要求は、オクトツリーによるモデルを使用することにより、いくらかの軽減が可能である。
（ｃ）シルエットからポリゴンのモデルを直接生成する。これは、かなり複雑な方法ではあるが、現在でのグラフィックスのハードウエアの利点を最大限に利用できることも含め、この方法には、いくつかの有利な点がある。また、この方法は、仮想環境へと統合する上で、最も容易なシステムである。ドイツのカールスルーエ（Karlsruhe）大学で開発された類似した技術を参照のために、ここに提示する。
（http://i31www.ira.uka.de/diplomarbeiten/da martin loehlein/Reconstruction．html）
【００２５】
〔カメラキャリブレーション〕
三次元再構築と描画では、各画像の間での共通の三次元座標軸へのマッピングが必要とされる。このマッピングを推測するプロセスを、カメラキャリブレーションと呼ぶ。複数のカメラシステムにおける各々のカメラは、複数カメラのキャリブレーションプロセスを使い、キャリブレーションする。一台のカメラと三次元世界との間のマッピングは、１１個のパラメータよりなるカメラモデルで近似計算される。その内訳は、カメラの位置パラメータ（３個）、方向パラメータ（３個）、焦点距離パラメータ（１個）、画像サイズ（１個）、画像の中心（２個）とレンズの歪（１個）である。カメラキャリブレーションは、各々のカメラ１１個のパラメータを推測する。
【００２６】
この推測過程そのものは、非線形極小技術を画像三次元マッピッングのサンプルに適用する。この画像サンプルを得るためには、物体を、座標が分かっているいくつかの三次元位置に正確に配置し、各々の画像における物体の位置を計算する。この過程では、キャリブレーション物体が必要である。これは、その情景の中で正確に物体を位置づける方法であり、各画像の中でその物体を求める方法である。キャリブレーション物体としては、おおよそ２．５ｍ四方のキャリブレーション平面が設計されて作られ、それが正確に５つの異なる高さに上昇される。この平面には、６４個のＬＥＤが、８×８の格子状に、互いの間隔を３０ｃｍにして敷き詰められてある。ＬＥＤは、一回に一つずつ、電気が通るように設計されていて、キャリブレーション平面のビデオの各画像に、一つの明るい点として撮影される。各々のカメラから、それぞれ６４の画像をキャプチャすることで、各々のＬＥＤは、各カメラによりー回撮影されることになる。決まった順番で、一つずつＬＥＤに電気を通じることにより、ソフトウエアがＬＥＤの正確な三次元位置を決定していく。最後に、キャリブレーション平面を異なる高さに上昇させることにより、三次元での点集合を得ることができる。全ての画像のキャプチャが終了すると、このために特別に作られたソフトウエアシステムが、全画像内におけるすべてのＬＥＤの位置を抽出し、その後、キャリブレーションアルゴリズムを適用する。オペレータがカメラのモデルの正確さを確認し、それぞれのカメラを比較することができる。また、オペレータは、自動化されたシステムでは適当に発見できなかったＬＥＤを排除できる（三次元空間地点と二次元画素のペアを使った実際の数学的プロセスから１１個のパラメータモデルを求める方法は、Roger Y.Tsaiによる［“A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-Shelf TV cameras and lenses”；IEEE Journal of Robotics and Automation RA-3(4):323-344, August 1987］で説明されている。）。
【００２７】
もう一つの、カメラキャリブレーション方式は、本発明の実現の一つとして、任意のバーチャル・ビューポイントをビデオ会議に適用する例の中で説明される。
【００２８】
〔シルエットをインプリシットな三次元モデルとして利用するイメージベース描画法〕
下記に示すアルゴリズムの目的は、固定された少数のカメラ（５台から２０台）からの画像より、任意の視点での画像を生み出すことである。これを実時間で実行すると、視聴者が任意の視点を選べるという３Ｄテレビの経験が得られる。
【００２９】
ここに記す手法は、イメージベース描画法（Image-Based Rendering：ＩＢＲ）の概念を基にするものである。
［例えば、E．Chen and L．Williams．View interpolation for image Synthesis. SIGGRAPH'93, PP.279-288; S. Laveau and O.D.Faugeras. “3-D Scene Representation as a Collection of images、”In Proc. of 12th IAPR Intl. Conf. on Pattern Recognition, volume 1, pages 689-691, Jerusalem Israel, October 1994;M.Levoy and P. Hanrahan. Light Field Rendering. SIGGRAPH'96, August 1996; W. R. Mark. “Post-Rendering 3D Image Warping：Visibility, Reconstruction, and Performance for Dept-Image Warping,” Ph. D. Dissertation, University of North Carolina, April 21, 1999. （Also UNC Computer Science Technical Report TR99-022); L. McMillan. “An Image-Based Approach to Three-Dimensional Computer Graphics,” Ph. D. Dissertation, University of North Carolina、April 1997. （Also UNC Computer Science Technical Report TR97-013）を参照] 過去二、三年でのＩＢＲに関する研究は、いくつかの完成したシステムを生みだした。［例えば、W. R. Mark. “Post-Rendering 3D Image Warping：Visibility, Reconstruction, and Performance for Depth-Image Warping,” Ph. D. Dissertation, University of North Carolina, April 21, 1999. (Also UNC Computer Science Technical Report TR99-022)；L. McMillan. “An Image-Based Approach to Three-Dimensional Computer Graphics,”Ph. D. Dissertation, University of North Carolina, April 1997. （Also UNC Computer Science Technical Report TR97-013)、を参照］ ＩＢＲの背景にある概念は、眺められている情景の幾何学的三次元モデルがあり、その情景のいくつかの画像が与えられている場合に、他の視点からではどのように見えるのかということの推測が可能になる。ほとんどの最前線でのＩＢＲの研究では、基本的三次元モデルデータとしてレンジマップ（range maps）を取り上げている。レンジマップは、それぞれの画素から、対象となる三次元物体まで距離を示している。
【００３０】
シルエットからの形状生成法（別名、ボクセル・インタセクション）は、長年、最小限の計算により、画像から比較的正確な三次元モデルを創り出す方法として知られて来た。[例、T. H. Hong and M. Schneier, “Describing a Robot's Workspace Using a Sequence of Views from a Moving Camera, “IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 7, pp. 721-726, 1985]。シルエットから形状を作るという概念のアイディアは、現実世界の全空間は完全占有されているという仮説から出発している。その環境に配置された各カメラは、その背景がどんなものであるかというモデルを持っている。与えられた画像中の画素が背景のように見える場合には、その画素への光線沿いには、カメラと背景との間には、物体は何も無いとの推測が成り立つ。このように物体の「シルエット」（既知の背景の前面に見える二次元の形）は、三次元形状情報を提供する。複数の視野と多数の画素がある場合、彫刻家が石を削るが如くに、物体の周囲の背景画素で示された空間を「切り取る」ことにより、前景の物体の適当なモデルを残すことができる。
【００３１】
シルエットからの形状生成法は、普通、ボククセル・モデルの生成に使われる。このモデルとは、空間が、三次元格子で区切られた三次元データ構造であり、空間でのそれぞれの位置は、それに対応するメモリ位置を保持している。メモリ位置には、対応する空間での位置が埋まっているか、空白かを示す値がある。何人かの研究者は、シルエットからの形状生成法でボククセル・モデルを生成しており、このボクセル・モデルからＩＢＲの基礎となるレンジマップを作り出している。ボクセル・モデルからレンジマップを作り出す方法は、複雑且つ多大な時間を費やし、正確さを欠くものである。その不正確さは、三次元格子が限定された解像度精度を持つことと、並びに、この格子がある固定された座標軸に平行であることに由来する。ここで示す方法は、仲介となるボクセル・モデルを生成しなで、シルエットマスクのみを利用して、ＩＢＲに関する深度と画素の値を計算する方法である。この方法にはいくつかの利点があるが、その中で最も注目できる利点は、これがより正確な結果をもたらということである。というのは、ボクセル・モデルは、ただ単にシルエットに含まれる情報の近似計算であるからである。別の似かよった取り組みとしては、空間切り取り法、ボクセル彩色法がある。
【００３２】
〔アルゴリズムの概念〕
ボクセル・インターセクション法を用いた三次元再構築法は、占有されてはいないとみられる三次元空間の離散した部分を切り取っていくやり方である。あるカメラが背景の画素をとらえると、カメラと背景の間の空間は占有されていないと推測するのは安全である。この空間は、実際に、その先端がカメラの焦点であり、背景に交差するまでに拡がっている、長方形ピラミッドのような形をしている。
【００３３】
ここでの核心となる概念は、例えば、空間のある三次元位置がある一台のカメラから、占有されていないとみなされる場合、その位置が残りのカメラでは、どう映るかということには関係なく、この位置は占有されていないとみなされるということである。
【００３４】
図３で示されるように、仮想画像中の各々の画素では、テストポイントは、その画素に対応する光線に沿って動く。光線上の各ポイントでは、それぞれの画像内の対応する画素が、その画素が背景であるかどうかの評価がなされる。図３の例でいうと、ここでの光線はポイント（仮想視点）、或いは仮想カメラＶから、外側に沿ってたどって行く。いずれかのカメラが任意のポイントで背景を確認した場合、そのポイントは占有されていないと考えられる。そのため、次の段階は、光線に沿いに更に外にすすむ。この経過が繰り返されていく。例の中で、ＡとＢ間のそれぞれのポイントでは、どのカメラも、これ等のポイントが占有されていとはみていない。ＢからＣでは、右側のカメラＣ１は、物体Ｘを見ているが、左側のカメラＣ２には何の物体も見ていない。ＣからＤでは、再びどのカメラにも何も見ていない。ＤからＥでは、左側のカメラＣ２には物体Ｚを見るが、右側のカメラＣ１は何も見ていない。ＥからＦの間では、再びどのカメラにも何も見ていない。最後に、ポイントＦで、双方のカメラがこのポイントが物体Ｙで占有されていると認めて、この探索は中止となる。
【００３５】
全てのカメラが占有されていると合意する三次元ポイントが発見されると、その画素の深度が判明し、且つ全ての画像でのポイントの位置が解明される。この画素を描画するためには、実際の画像からの画素が統合される。
【００３６】
〔アルゴリズムの説明〕
この節では、擬似コードを使い、アルゴリズムの高度な説明が含まれる。それに続く節では、アルゴリズムを実現しようとするための詳細な説明がなされる。仮想カメラの中でのポイントと距離が与えられたとすると、対応するポイントが、実際の各カメラの中でどこに出現するかを計算ができるように、このアルゴリズムでは、カメラの幾何学的情報が十分必要とされる。後は、各カメラからのシルエットのマスクの集合に関する情報のみが必要となるだけである。
【００３７】
【数１】
【００３８】
通常の光線ラスター化アルゴリズムは、１９６５年にBresenhamにより開発されたが、その他の光線ラスター化アルゴリズムも利用できる。Bresenhamのアルゴリズムは、Foleyの本に詳しい。
[Foley、Van Dam, Feiner, and Hughes, “Computer Graphics Principles and Practice,” Second Edition、Addison Wesley, 1990を参照]
【００３９】
〔アルゴリズムの実行：シルエットのマスク画像からの深度〕
このアルゴリズムの説明は、いくつかのコンピュータ・ビジョン、コンピュータ・グラフィックスの概念、即ち、ピンホール・カメラ・モデルと均一座標軸を使う行列表示、を熟知していることを前提としている。これに関する数学の有益な参考文献として、FoIeyの本の第５章、第６章をあげる［Foley、van Dam, Feiner, and Hughes, “Computer Graphics Principles and Practice,” Second Edition, Addison Wesley, 1990を参照］。
【００４０】
入力
１．各々のカメラに、既知のカメラキャリブレーションが必要となる。これは、４×４の投影行列Ａｃａｍである。この行列は、空間の三次元均一座標軸を使い、画像を中心にした座標軸に変換される。画像平面への投影はｘとｙのそれぞれの座標をｚ座標で割ることにより遂行される。
２．仮想カメラ投影行列Ａｖｉｒｔ
３．マスク画像
【００４１】
出力
１．仮想カメラにおける各画素の深度値。この深度値とは仮想カメラ投影の中心から、その画素の光線に沿った最も近くにある物体のポイントまでを示す値である。
【００４２】
〔アルゴリズム擬似コード〕
【数２】
【００４３】
説明
（ａ）仮想画像内の全ての画素は空間の光線と対応している。空間にあるこの光線はそれぞれの実物のカメラでは、一本の線として見える。この光線は、しばしばエピポーラ光線と呼ばれる。均一座標軸では、この光線の端点は、２つの変数、「変数epipole」と、「変数infinity_point」である。この２つのポイント間の、いずれのポイントも２つの均一座標軸の線形組み合せで見つけることができる。
（ｂ）このプログラムを繰り返し実行している間は、０から「変数distance」までの光線に沿って、ポイントは占有されていない。全てのカメラが「変数distance」でのポイントが占有されていると一致したとすると、繰り返しのループは終了し、「変数distance」は（x、y）での距離となる。
（ｃ）「関数clip_to_image（）」は、探索光線を（cx、cy）から（fx、fy）までを「clipping」することによって、探索光線が、全て画像内に含まれるようにして、端点が画像の座標内に位置するようにする。
（ｄ）「関数search_line（）は、マスクの中で占有されている画素を発見するまで光線上を動く。これは画素内の変数（0x、Oy）という値を関数の値とする。
（ｅ）「関数compute_distance ()」は、与えられた変数（0x、Oy）への距離を計算するため、「変数close_point」を得るための式を変換する。
（ｆ）副産物として、各カメラの最終ポイントの変数（0x、Oy）は、仮想カメラの画素変数（x、y）を描画するための統合に必要なピクセルを表す。下記の節ではこの統合の方法を論ずる。
【００４４】
〔視点の妨害問題〕
仮想カメラ内に描画される画素集合があると、その画素集合は、それぞれの仮想カメラにおける画素の色彩を選び出すために使われる。起こり得る最大の問題の一つは、殆どのカメラは、描画されるポイントに向けられているわけではない。多くのカメラでは、これは、明らかなことである。カメラは違う方角に向けられていたり、物体の背景に向けられていたりする。しかし、仮想カメラが同一方向に向いているように、例え実際の各カメラが仮想カメラとほぼ同方向に向けられているような場合においても、視点の妨害問題が存在するので、この問題が起こり得る。この場合、視点の妨害ということは、もう一つの物体が、描画されるべき物体の表面を遮っている状況をいう。この場合、仮想カメラは、実際には後ろ側にある物体を見るべきであり、前面にある物体の画素の使用を避けることが望ましい。
【００４５】
この視点の妨害問題を発見するには、図４に示す次のような方法が使われる。仮想カメラＶと同じ方向にむけられているカメラでは、前節で論じたアルゴリズムを使って、深度マップが事前に計算されている。既知のカメラ（Ｃ１とＣ２）からの画素が仮想画像で妨害されているかどうかを決定するには、計算された深度を使い、仮想カメラＶの中で、仮想画素を実際のカメラの視野に変換する。例えば、仮想画像（ＨＦ）からの画素深度が、実際の画像（ＨＧ）の計算された深度と合致する場合、画素は、妨害されてはおらず、実際のカメラを描画に使うことができる。そうでない場合は、別のカメラのピクセルを使って描画しなければならない。ということは、仮想カメラ（ＨＦ）の深度と、実際のカメラ（ＨＧ）の深度が閾値よりも高い場合は、その実際のカメラを仮想画素の描画に使うことはできない。
【００４６】
〔物体の形についての情報の引き出し方〕
ある仮想画素の三次元位置を計算し、視点の妨害問題を考えて、どのカメラがこの画素を見ることができるかを決定した後でも、一般的に、多くのカメラからどのカメラを選ぶかの問題が残る。例えば、物体の表面を狭い角度で映すカメラを選ぶと、カメラからの一つの画素が、物体の表面の多大な部分を覆うことができる。一方、表面に垂直に近い方向で映すカメラの場合、各々の画素が物体表面の比較的小さい部分をカバーすることになる。後者の場合では、表面の詳細に関する最大限の情報を提供するので、この方法は、推奨に価する方法である。
【００４７】
ある画素の光線上を動くポイントが離れていくように動かす最後のカメラ（これは、アルゴリズムで、可変距離を変える最後のカメラである）は、この状況の情報のいくばくかを提供する。このカメラが、この画素から最後の表面物体のブロックを切り取るものなので、このカメラは表面の部分的方向についての情報を提供する。最適なカメラの方向（表面に対して最も垂直な方向）は、最後のカメラの表面を定義するマスク中の画素方向に垂直にならねばいけない。これは最適視線方向に一つの拘束を与える。その結果、可能な最適カメラ方向の二次元空間を与える。もう一つの拘束を求めるためには、非占有から占有へと変換する場所の近くにあるマスクの形状を見る必要がある。マスクの中でみられる表面の端を垂直方向から映すカメラを見つけることが望ましい。この方向は、マスクより計算することができる。端の方向を与えられたら、どのカメラが最適方向に近い方向から表面を見ているかが決定できる。
【００４８】
〔色彩制約を使用してより正確度の高い物体形状を求める〕
シルエットから形状を作るという方法には、例え無制限の数のカメラを使用した場合であっても、正確にモデルすることが不可能な形があるという限界が知られている［例えば、A Laurentini. How Far 3D Shapes Can Be Understood from2D Silhouettes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 17(2)：188-195, 1995を参照］。この問題は、少数のカメラが使用される際には、更に難解になる。例を挙げると、シルエットから作る形状が、実際の表面が曲面である場合でさえも、直線を含むからである。
【００４９】
表面モデルの正確度を高くするため、ここで述べるアルゴリズムに、色彩整合性制約（color consistency constraint）を加えることが可能である。基本約な概念は、ある画素が観察されている表面に関する正しい三次元情報をもっているとすると、そのポイントを捉えている全てのカメラは、そのポイントの色彩について一致しているというものである。複数のカメラが、そのポイントの色彩について、かなり大幅に異なる結果を出したとすると、それはモデルに問題があるためである。視点の妨害問題や、表面に近い視角効果が無いとすると、最も適当な説明は、表面への計算した距離が誤りであることがあげられる。アルゴリズムは、常に、全てのシルエットについて矛盾の無い、表面への最小距離を選択するため、物体を外側に、カメラの方向に拡げる傾向がある。
【００５０】
ある画素について、シルエット法を使って物体への正しい距離を求めた後、その画素に対する光線上を外に向け、そのポイントを見るカメラの全てが色彩について合致する迄、動く。すべてのカメラが一致する色彩が仮想画素の正しい色彩なのである。
【００５１】
仮想画素の色彩を決定するには、仮想カメラに最も近い実際のカメラを見つける。その後、それぞれのカメラで視点の妨害問題に関してのテストを行う。視点の妨害問題が無いとされたカメラからの画素が平均化され、画素の色彩が決定される。
【００５２】
〔利点〕
シルエット法の利点を挙げる。
１．シルエットは、ボクセル・モデルとほぼ同じサイズであり、通信コストも同じである。
２．深度情報は、クライアント側から、効率的な計算方法で得られる。
３．得られたモデルは、ボクセル・モデルと較べると、より正確である。
４．無用な計算がいらない。三次元モデルの関連する部分だけが作成され使われる。
５．深度マップと描画は、同時に計算される。
６．仮想カメラからの視点による深度マップが生成される。これは深度順序付け（例、仮想物体を環境に挿入する）に使われる。
７．物体による視点妨害の検知と補償が簡単に処理できる。
【００５３】
〔リモート共同作業〕
バーチャル・ビューポイント（登録商標）システムは、参加者を、身体に付帯するマーカ、固有マーク、特別な服等一切使わずに、実時間仮想現実へと招きいれる。バーチャル・ビューポイントではその参加者の身体全てを、顔の表情、しぐさ、動作、服装および全てのアクセサリも含め、仮想世界に移す。バーチャル・ビューポイント・システムは、兵士、仕ことの同僚や仲間が、それぞれ実際にはどこにいるかは全く関係無く、共に訓練を受け、一緒に仕事をし、互いの顔を見ながら共に協力して働くことを可能にする。例として、図５は、このシステムが、二人の兵隊の三次元ビデオ描画画像を統合している様子を説明している。それぞれの画像は、初めに状況の周囲に配置された４台のビデオカメラの集合で創り出されたものである。
【００５４】
バーチャル・ビューポイント（登録商標）システムの技術を使用する例として、シカゴ在住の参加者とロサンジェルス在住の参加者が、各々街からそれぞれシミュレーションのできるスタジオヘ入ると、即刻共に共同作業をし、訓練を受けられる同じ仮想の部屋に入ることになる。この二人は語り会い、互いの服装やしぐさ、全てを実時間で見ることができる。彼等は、互いの廻りを歩いたり、この仮想の部屋の中を歩き回ったり、互いの姿をどのような角度からでも眺めることができる。参加者は、どのような視点からでも仮想空間に入りこみ、これを体験し、仮想世界に浸ることができる。
【００５５】
数知れない多くの物体、例えば、実時間のバーチャル・ビューポイントのコンテンツ、オフライン・バーチャル・ビューポイントのコンテンツ、他の仮想環境からの物体などでさえも、この情景に組み入れていくことができる。二人の兵隊を全く新しい仮想環境に差し入れて、その環境の中で互いに作用することも可能である。これが、手に入れることができる、分散シミュレーションとしては、最も現実的なものである。
【００５６】
ここでは、本発明のバーチャル・ビューポイントのある特殊な実現として、拡大現実と仮想現実のための実時間三次元対話に適用する方法について述べる。これは、例を示すためであり、これに制限するということではなく、その実現方法が、ビデオ会議の例を使って説明される。この例が、更に上記で説明された原理についての説明になる。
【００５７】
〔バーチャル・ビューポイントを使ったビデオ会議〕
序文
実時間での三次元拡大現実（ＡＲ）ビデオ会議システムが以下で説明されるが、ここで、コンピュータ・グラフィックスが、初めての実時間「立体電話」を作り出している。この技術で、参加者は、現実世界を自分の視点で見ているが、その視点は修正され、離れたところにいる同僚の画像が自分のいる情景の中に描画されている。同僚の画像は、カメラと基準マーカの間での三次元変換で推定されて、実際の世界に登録されている。実時間で、適切な同僚の画像と対応する深度マップを生成する新しいシルエットからの形状を作り出すアルゴリズムを説明する。これは、その同僚を囲む１５台のキャリブレーションされたカメラから同時に出てくる計測を基に作られるのである。この新しい視野は、それから実際の世界に重ね合わされ、適切な三次元音響が付け加えられる。その結果として仮想の同僚は、情景中の真の一部であると言う強い印象を与える。これは、「生きている」完全に三次元になった共同実演者がいる仮想環境での、最初の対話型デモンストレーションが提供される。最後に、実体的（tangible）な拡大現実インタフェースを利用して、実際の世界にいるユーザと、仮想空間にいるその共同実演者の間で行われる対話が考慮されている。
【００５８】
現行の会議技術には、いくつもの限界がある。「聴覚のみを使う会議方法」では、会話のやりとりする際には不可欠な視覚的順序付けが排除されている。この結果、度々の中断及び重複があり［E. Boyle, A. Anderson and A. Newlands. The effects of visibility on dialogue and performance in a co-operative problem solving task. Language and Speech, 37(1): 1-20, January-March 1994］、話し手達の間で、誰が話しているかの識別や、互いに作用し合う意思の有無の認識に困難が生じる［D. Hindus, M. Ackerman, S. Mainwaring and B. Starr. Thunderwire：A field study of an audio-only media space. In Proceedings of CSCW, November 1996］。「従来の二次元ビデオ会議法」では、この問題が改善されてはいるが、参加者の大きな動作やしぐさをとらえることはできず［C. Heath and P. Luff. Disembodied Conduct：Communication through video in a multimedia environment. In Proceedings of CHI91, pages 93-103, ACM Press, 1991］、参加者同士の間での空間順序を認識することは無く［A. Sellen. and B. Buxton. Using Spatial Cues to Improve Videoconferencing. In Proceedings CHI‘92, pages 651-652, ACM：May 1992］、又、参加者が目を使ってコンタクトもできない［A. Sellen, Remote Conversations：The effects of mediating talk with technology. Human Computer Interaction, 10(4)：401-444, 1995］。参加者達は、ただ単に、スクリーンの前面にいるだけで、参加者の数も、モニタの精度で制限されてしまう。これらの制限は、コミュニケーション信頼性を阻害し［S. Whittaker and B. O'Connaill, The Role of Vision in Face-to-Face and Mediated Communication. In Finn, K, Sellen, A. Wilbur, editors, Video-Mediated Communication, pages 23-49. S. Lawerance Erlbaum Associates, New Jersey, 1997］、交互に話を振っていくということに支障をきたしていき［B. O'Conaill, S. Whittaker, and S. Wilbur, Conversations over video conferences：An evaluation of the spoken aspects of video-mediated communication. Human-Computer Interaction, 8：389-428, 1993］、話しの中断や重複が多くなる［B. O'conaill and S. Whittaker, Characterizing, predicting and measuring video-mediated communication：a conversational approach. In K. Finn, A. Sellen, S. Wilbur （Eds.）, Video mediated communication. LEA：NJ, 1997］。「共同作業仮想環境」では、対面での会話に通常伴う、空間での順序付けを復活し［S. Benford, and L. Fahlen, A Spatial Model of Interaction in Virtual Environments. In Proceedings of Third European Conference on Computer Supported Cooperative Work （ECSCW’93）, Milano, Italy, September 1993］、しかし、参加者を実世界から分離させる。更に、通常のビデオ人形を通してでは、言語を使わないで意志の疎通をはかることは難解であり、そこにいるはずの存在がなくなっていく結果になる［A. Singer, D. Hindus, L. Stifelman and S. White, Tangible Progress：Less is more in somewire audio spaces. In Proceedings of CHI 99, pages 104-111, May 1999］。
【００５９】
おそらく、完壁なテレプレゼンスのゴールに一番近いものは、「未来の会社事務」であり［R. Raskar, G. Welch, M. Cutts, A. Lake, L. Stesin and H. Fuchs, The Office of the Future：A unified approach to image based modeling and spatially immersive displays. SIGGRAPH 98 Conference Proceedings, Annual Conference Series, pages 179-188, ACM SIGGRAPH, 1998」、又は、T. Ogiその他の、「仮想ビデオ人形」であろう[T. Ogi, T. Yamada, K. Tamagawa, M. Kano and M. Hirose, Immersive Telecommunication Using Stereo Video Avatar. IEEE VR 2001, pages 45-51, IEEE Press, March 2001]。両者の方法は、複数のカメラを使用して参加者の幾何学的モデルを構築し、このモデルを使って、離れた共同実演者の適切な映像を生成する。これは、素晴らしい考えではあるが、これらのシステムは、二次元半のモデルを生成するにすぎない。というのは、この場合、人は、動きながら仮想ビデオ人形の廻りに行ってみることができないし、また、視点の妨害問題が、伝送を妨げてもいるからである。更に、これらのシステムの画像出力は、立体投影スクリーンとＣＡＶＥを用いて行われるため、画面を持ち運ぶことはできない。
【００６０】
バーチャル・ビューポイントの技術は、三次元複合現実ビデオ会議システムを実現し、上記の問題を解決する（図６では、傍観者が、カメラを前に取り付けたヘッド・マウンテッド・ディスプレイ眼鏡を使って、どのように世界を見るかが示される。本システムはマーカを見つけ、実時間での適切な視点から描画されたライブ・ビデオ・コンテンツを重ね合わせる。）。この実現を可能にする技術は、画像のビデオカメラの映像速度で共同実演者の任意の新しい映像を生成できる新規のアルゴリズムである。また、この方法は、仮想空間におけるコミュニケーションにも応用できる。ユーザの視点からの共同実演者の画像が描画されて、大変自然な相互作用を可能にする。最後に、実体的なユーザインタフェース・メタファーを使用して、ユーザが仮想の共同実演者と実際の空間で対話する新規な方法が開発されたのである。
【００６１】
〔システムの概要〕
拡大現実とは、実際の情景にコンピュータで生成された三次元コンテンツを実時間で挿入していくものである[R. T. Azuma. “A survey of augmented reality.” Presence, 6(4) ：355-385, August 1997, and R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier and B. Maclntyre. Recent Advances in Augmented Reality. IEEE Computer Graphics and Applications, 21(6):34-37, November／December 2001 for reviewsを参照]。一般的に、傍観者は、前面にカメラが取り付けられているヘッド・マウンテッド・ディスプレイを通して世界をみる。ビデオは、キャプチャされ、修正されて、実時間で傍観者へと送られていく。次に記す初期の研究では[S. Feiner, B. Maclntyre, M. Haupt and E. Solomon. Windows on the World：2D Windows for 3D Augmented Reality. In Proceedings of UIST93, pages 145-155, Atlanta, Ga, 3-5 November, 1993]、二次元のテクスチヤ情報を、現実の物体へと重ね合わせていた。しかしながら、現在では、三次元物体を挿入することが普通になっている。
【００６２】
この実現において、離れた共同実演者のライブ画像が視界情景に挿入されている。（図６を参照）。傍観者が頭を動かすと、この共同実演者の映像は適正に変わる。これが、共同実演者は三次元であり、彼は傍観者のいる空間に存在するという、安定したセンシングを生む結果となる。
【００６３】
この目的と達成するため、各々の画像に以下の条件が必要となる。
（ａ）情景に関するＨＭＤカメラの位置を推測する。
（ｂ）共同実演者の適正な映像を生成する。
（ｃ）視点の妨害問題が考慮にいれられ、この映像は情景内へ描画される。
これらの問題を順番に考察する。
【００６４】
〔カメラの方向についての予測〕
情景は、Daeyang Cy-Visor DH-4400VPのヘッド・マウンテッド・ディスプレイ（ＨＭＤ）で見ることができる。これは両眼に、同じ６４０×４８０画素の画像を提供する。PremaCam SCMシリーズ・カラーカメラがヘッド・マウンテッド・ディスプレイの前面に取り付けられる。このカメラは、毎秒２５個の画像を６４０×４８０の精度でキャプチャする。
【００６５】
ここでは、Katoによるマーカ追跡法[H. Kato and M. Billinghurst, Marker tracking and HMD calibration for a video based augmented reality conferencing system, Proc. IWAR 1999, pages 85-94, 1999]を使用している。方向予測の問題は、二次元正方形をした黒と白の補助マーカを、この情景のなかに差しこむことで単純化される。仮想コンテンツは、それぞれのマーカに関連付けられる。このマーカの形と図柄は、既知であるため、このマーカを見つけることと、カメラと相対位置を計算することは共に容易なことである。
【００６６】
簡単に言えば、連結要素アルゴリズムを使い、カメラ映像はスレッシュホールドされ、連続した黒い部分が認識される。輪郭探索技術は、これ等の領域の輪郭を明らかにする。正確に４つの角を持たない輪郭は排除される。角の位置は、それぞれの縁に直線を当てはめて、それらの交差点を求めて予測される。投影変換を使って、囲まれた部分を標準の形に射影する。そのあと、映像内のマーカの種類と方向を定めるため、記憶された図柄と相関関係を求める（図７は、マーカの検出と方向の推測を示す。映像の閾値が取られ、連続部分が認識される。縁の画素を見つけ、角の位置、これは仮想コンテンツの方向を決定するものであるが、正確に測られる。領域の大きさ、角の数、テンプレートの類似性が使われて、情景の中の、他の暗い領域が棄てられる）。キヤリブレートされたカメラでは、マーカの角の映像内での位置から、空間での三次元位置とマーカの方向を単一に求められる。この情報は、カメラとマーカの座標軸間の関連を付けるユークリッド幾何学の変換マトリックとして現され、情景の中に、仮想コンテンツを適切に描画することに使用される。
【００６７】
カメラパラメータの正確な予測を手に入れることが絶対に必要である。三次元物体を現実的に描画して情景に入れ込むため、まず、投影カメラパラメータをシミュレーションする。次に、いずれの放射状歪も、キャプチャされたビデオがユーザに示される時には、補正されていなければならない。
【００６８】
放射状歪が無い場合、実世界での直線は画像中で直線になる。よって、直線が通常の二次元格子位置の画像に当てはめられる。歪パラメータ空間を全て探索し、直線の当てはまりを最大にする。歪の中心点と二次の歪係数は、このようにして推測される。カメラ遠近法投影パラメータ（焦点距離と主要点）は、通常の二次元格子点を使い予測する。格子の原点に対して、各点の正確な位置と対応する画像の位置が与えられれば、線形代数を使い、カメラパラメータが求められる。拡大現実用マーカトラッキング・ソフトウエアとキャリブレーション・ソフトウエアは 「http：//www. Hitl. Washington.edu/artoolkit/」からダウンロードできる。
【００６９】
〔モデル構築〕
仮想の共演実演者を実世界にスムーズに統合していくためには、それぞれのビデオのフレームに適切な情景を生成しなければならない。一つの方法は、共演実演者の完全な三次元深度再構築を開発することであり、この開発したものから任意の映像が生成される。立体深度を使い深度情報がキャプチャされる。立体再構築は、フレームレートで達成されるが［T. Kanade, H. Kano, S. Kimura, A. Yoshida and O. Kazuo, “Development of a Video-Rate Stereo Machine. ”Proceedings of international Robotics and Systems Conference, page s 95-100, Pittsburgh, PA, August 1995］、これには、特別のハードウエアが必要である。しかし乍ら、この結果生成される密度の高い深度マップは強力なものではない。また、現存するシステムでは、カメラを対象物の廻り全てに配置しているものは無い。
【００７０】
関連している方法には、イメージベース描画がある。これは、新しい映像を生み出すために、いくつかのキャプチャされた物体の映像を歪め、深度再構築を回避する。Seitzand Dyer ［S. M. Seitzand C. R. Dyer, View morphing, SIGGRAPH 96 Conference Proceedings, Annual Conference Series, pages 21-30. ACM SIGGRAPH 96, August 1996］が実際に正しい映像を保障する初めての映像の変形方法を提案したが、この実は、カメラのベース光線上のみの変形であるので、新しい視野には制限がある。AvidanとShashua ［S. Avidan and A. Shashua. Novel View Synthesis by Cascading Trilinear Tensors. IEEE Transactions on Visualization and Computer Graphics, 4(4)：293-305, October-December 1998］ は、三焦点テンソルの計算を基本にした任意の新しい画像を一対のステレオ画像から生成する、よりー般約な方法を発表した。深度は、これらの方法で明示的には計算されないが、これらの方法は、複数画像間の密度の高い深度対応計算が依然として必要とされている。そのため、立体からの深度を求めるのと同じ問題が残る。
【００７１】
三次元モデル構築のより魅力的な方法は、シルエットからの形状作成である。複数のカメラが物体の周囲を囲むように配置される。それぞれのカメラにおける各々の画素は、その物体（前景）に属するか、又は背景に属するのかの、いずれかに分けられる。結果として得られる前面マスクをシルエットと呼ぶ。それぞれのカメラの各画素は、三次元空間の非常に狭い多角形を基盤にしたピラミッドの上で光を集めるピラミッドの頂点は、カメラの焦点であり、ピラミッドは、ここから無限に延びている。背景の画素については、この空間は占有されていないと推測される。シルエットから形状を作り出すアルゴリズムでは、最初に、空間が完全に占有されていると仮定し、各カメラのそれぞれの背景画素を使い空間の部分を切り取って、前面の物体の代表物を残す。
【００７２】
再構築されたモデルは、カメラ台数を増加させることで改良されることは明白である。しかしながら、例え無限数のカメラを使用しても、出来上がった再構築深度は、物体の真の形についての全ての面を捕らえていないと言うことが証明される。再構築された形状は、Laurentiniによって「ビジュアル・ハル」と呼ばれている［A．Laurentini, The Visual Hull Concept for Sillhouette Based Image Understanding. IEEE PAMI, 16(2)：150-162, February 1994］。Laurentiniは、この分野での最初の仕事をしている。
【００７３】
このような制限があるにせよ、シルエットから形状を作成する方法には、他の同様な手法と較べて３点の利点がある。第一には、これは、ステレオビジョンよりももっと強靭である。例え、背景の画素がある画像の中での物体の一部と誤って識別されても、他のシルエットが、誤って識別された空間を切り取ってしまう。第二に、ステレオ法であり、これは、相関計算に多大な計算時間を費やし、リフレッシュの頻度が遅いレーザー距離スキャナーよりも著しく速度が速い。第三の利点は、特別使用でのハードウエアを使う他の方法に較べて、この方法は相対的に廉価である。
【００７４】
〔バーチャル・ビューポイント・システムの応用〕
上記の理由で、本発明の実現であるバーチャル・ビューポイント・システムは、シルエットから形状を作る方法に基づいている。このシステムは、三次元モデルとテクスチヤを３０fpsでキャプチャし、任意の視点からそれを表示することのできる最初のシステムである。
【００７５】
このシステムは、Matusik et al. ［W. Matusik, C. Buehler, R. Raskar, S. Gortlerand L. McMillan, Image-Based Visual Hulls, SIGGRAPH OO Conference Proceedings, Annual Conference Series, pages 369-374, 2000」の研究を改良したものである。この研究も、シルエットから形状を作り出す方法に基づく視野生成アルゴリズムを提示している。しかしながら、ここで論じてきた新しい方法のアルゴリズムは、速度が非常に速い。Matusik et al. は、４台のカメラシステムで、３２０×２４０画像を３０fpsで生成するが、新しいシステムでは、１５台のカメラを使った場合、３０fpsで４５０×３４０画像を創り出すことができる。性能向上の最も重要な理由は、我々のアルゴリズムでは、完全なビジュアル・ハルを創り出すことはせず、仮想カメラの視野からのイメージベース距離マップを作り出す計算のみが必要であるからである。
【００７６】
〔バーチャル・ビューポイント・アルゴリズム〕
期待する仮想のカメラを表す、標準の４×４の投影マトリクスが与えられたとすると、仮想画像の各画素の中心は、カメラの中心から発して外側に拡がる空間の光線に結び付けられる。この光線上のいずれの距離も、三次元空間のポイントと対応している。どの色彩をある仮想画素に割り当てるかの決定には、まず（最も近い位置にあり）占有されている可能性のある光線上のポイントを見つけねばならない。この三次元ポイントは、その位置での色彩のサンプルを得るため、それぞれの実際のカメラヘと投影されて返る。このサンプルは、その後、仮想画素の最終色彩を生み出すため、統合される。
【００７７】
アルゴリズムは、それぞれの仮想画素において、三つの操作を行う。
（ａ）仮想カメラで見えている仮想画素の深度の決定。
（ｂ）近くにある実画像に対応する画素を求める。
（ｃ）全ての測定値に基づき画素色彩を決定。
【００７８】
〔（ａ）画素深度の決定〕
それぞれの仮想画素の深度は、明らかな探索で決定する。この探索は、仮想カメラの投影の中心から始まり、画素の中心に対応する光線に沿い、外側に向けて行われる（図８、シルエットから形状を作る方法による仮想視野生成の説明。いずれのカメラでも、背景へと投影されるポイントは拒否される。ＡからＣ間のポイントは、既に処理をされて、双方の画で背景へと投影されているため、これは非占有である（赤紫）と識別される。まだ処理をされていないポイントは、全て黄色で示される。ポイントＤは、カメラ２からのシルエットでは背景にあるため、これは非占有と識別され、探索は線に沿い外に向け進んでいく。）。この光線沿いの、各々の三次元ポイント候補は、占有しているかどうか評価される。いずれかのシルエットに対する投影で、背景として識別される場合に、ポイント候補は非占有とされる。全てのシルエットで前景であると識別されたポイントが見つかると、このポイントは占有されている可能性大とみて、その探索はそこで終了する。
【００７９】
対象物は、どの画像からも完全に見ることができると仮定する。各仮想画素の探索に制限を与えるため、対応する光線は、各画像の領域で切り取られる。この光線は、対応するエピポーラ線を形成するため、各実画像の中へと投影される。これらのエピポーラ線が画像の境界と交叉する場所が見つかり、この境界の点は、光線上へと投影し返される。光線上の、これらの領域の交叉点が、制限された探索空間を定義する。探索が占有されている可能性のある画素を一つも発見せずに領域の端まで到達した場合、仮想画素は、背景として識別される。
【００８０】
結果として得た深度は、推測されたビジュアル・ハルの表面にある光線に沿う最も近いポイントである。しかしながら、ビジュアル・ハルは、必ずしも物体の正確な形状を表しているものではない。そのため、この三次元ポイントは、実際には、物体の表面の外側に存在している（図８参照）。
【００８１】
〔（ｂ）候補カメラの決定〕
発見された三次元ポイントは正確とは言えないため、画素色彩を統合するカメラを選ぶ際には、注意が必要である（図９、ビジュアル・ハルと実際の三次元形状の違いを示す。ビジュアル・ハル上のポイントは、実際の表面上のポイントとは対応していないので、実際のカメラからのどのサンプルも仮想カメラ画素Ｂには適切ではない。この場合、より近い所にある実際のカメラが望ましい。というのは、物体との交叉点のポイントは正しいものにより近い所にあるためである。）。深度の誤差が、実際の各カメラの視界から誤った画素を選択する原因となる。本発明は、この視覚的誤差を最小限に留めることを目指す。
【００８２】
一般に、仮想画素に最も近いところにある、誤った画素を選択する方が良い。最適カメラとは、実際の画素と仮想の画素に対応する光線間の角度を最小限に留めるものをいう。固定の深度誤差では、これが、選択された画素と正しい画素間の距離を最小限にする。カメラの近さは、実際のカメラの軸と仮想のカメラの軸間の角度を元にして、一画像につき一回評定する。
【００８３】
これで、各候補カメラの画像の中で、仮想画素がある所がどこであるか、計算することができる。残念乍ら、実際のカメラでは、空間にあるこのポイントを必ずしも確認できない。というのは、他の物体が、実際のカメラとそのポイントの間に存在していることがあるためである。例えば、このように、実際の画素が妨害されている場合に、仮想画素への色彩を提供することはできない。
【００８４】
基本的手法は、実際のカメラからの画素の深度探索アルゴリズムを走らせることである。例えば、求められた深度が、仮想カメラ画素の三次元ポイントに充分近い所にある場合、実際のカメラ画素は妨害されてはいないと推定でき、この実際の画素の色が、仮想画素の色に貢献することとなる。実際、幾何学的に妨害されていないポイントを見つけるやいなや、そのポイントを受け付けることにより、システムの速度は増加する。
【００８５】
〔（ｃ）仮想色彩画素の決定〕
仮想画素の深度と、どのカメラが妨害されない視界を持つか、決定がなされた後は、残りの作業は、仮想画素の色彩を生み出すために、実際の色彩画素を統合するのみである。最も簡単な方法は、一番近いところにあるカメラから画素を選択することである。しかし、この方法では、しばしば、異なるカメラから採り出された隣接した画素間の顕著な境界線を含む鋭い画像が生じる。いくつかの理由で色彩画素は、カメラ間でかなり異なっている。第一に、カメラには、多少、スペクトル反応の違いがある。第二は、三次元モデルが正確ではないので、異なるカメラからの画素が正確に並んではいない。第三に、双方向反射分布関数が均一でない限り、実際の反射された光は、カメラの異なる視点では変化する。
【００８６】
これらの効果を軽減するため、数個の画素候補の色彩は混ぜ合わされる。最も簡単で時間のかからない方法は、最も近いＮ台のカメラに係る色彩画素の平均値を使うことである。この方法だと、画像中での目に見える境界線は無くなる。しかし、この方法では、例え仮想カメラが実際のカメラと一致している場合でも、ぶれた画像を生むという不利な点がある。そのため、近いところのＮ台のカメラからの画素の重みつき平均値を使い、最も近いところにあるカメラが、最も重要になる様にする。この方法は、前の両方の方法より、より良い結果を得てはいるが、多くの計算を必要とする。
【００８７】
〔システムを構成するハードウエアとソフトウエア〕
１４台の Sony DCX−３９０ビデオカメラが対象物の廻りを等間隔で囲んでおり、もう１台が、対象物を真上から眺めていることにする（図１０は、システム図を示し、シルエットを求めるため、５つのコンピュータが、シルエットを見つけるために画像を前処理し、描画サーバヘとそのデータを伝え、複合現実のコンピュータがヘッド・マウンテッド・ディスプレイからカメラの出力を取り出し、マーカの方向を計算して、この情報が、描画サーバヘと伝えられ、描画サーバは、対象物の適当な映像を作り、それが実時間でユーザの視野へと描画されてくることをここでは説明している。）。５台のビデオ・キャプチャ装置が、それぞれ３台のカメラからデータを得る。各々のビデオ・キャプチャ装置には、１ＧＨｚのPentium III プロセッサ２台と２Ｇバイトのメモリを持つ。ビデオ・キャプチャ装置は、ビデオの各画像を前処理して、それをギガビット・イーサネット・リンク経由で、描画サーバに伝える。描画サーバは、１つの１．７ＧＨｚのPentium III Xeonプロセッサと２Ｇバイトのメモリを備えている。
【００８８】
それぞれのビデオ・キャプチャ装置は、YcrCbフォーマットの３つの６４０×４８０ビデオストリームを３０Ｈｚでキャプチャし、それぞれが次の作業を行う。
（ａ）各々の画素は、これが背景の統計上のモデルに属するかどうかという査定が行われて、前面の物体か背景かという識別がなされる。このモデルは、事前に何もないスタジオで撮ったビデオの一部分から生成される。
（ｂ）変換演算子が、シルエットには属さない小さな領域を取り除くことに応用される。
（ｃ）幾何学放射状レンズの歪は修正される。
【００８９】
前面にある物体は、それぞれ、全てのカメラに完全に映っている必要があるので、各カメラの拡大度が調整され、彼／彼女が動き廻っている場合でも、カメラは対象物を映すことができるようにする。これは、各カメラの制限ある精度は、取りたい画像範囲全てをカバーすることになる。故に、画像の質と撮影空間の体積との間には、トレード・オフの関係ができる。
【００９０】
同様に、システムが必要とする実際の空間の大きさは、撮影したい空間の大きさ、及び使われるレンズの視野範囲により決定される。２．８mmレンズで、一般約には、９０度の視野範囲を提供できる。このレンズでは、高さ２．５ｍ、直径３．３ｍの空間を、カメラを１．２５ｍ離して置いて、撮影することが可能である。
【００９１】
〔カメラのキャリブレーション〕
三次元モデルを正確に計算するためには、画像空間で与えられたポイントが、一つの像の中で一画素若しくはそれ以下の精度で、どこに投影されるのかを知る必要がある。各カメラの内部のパラメータと、カメラ間での空間変換との二つが共に推測される。この方法は、Intel社のOpen CV library サブルーチンに基づくやり方である。このキャリブレーションの結果は、強力な統計方法（RANSAC）を使用して最適化される。
【００９２】
全てのカメラにむけて大きな碁盤の目のあるボードを表示して、キュリプレーションのデータを集める。キャリブレーションを成功に導くには、かなり大きな数の異なる位置で、キャリブレーション対象物を撮影することが必要である。インテルのルーチンで、碁盤の目の全ての角を認識し、これは、各々のカメラの本質的なパラメータの集合と、碁盤の目のボードの座標系を基にしたが、外部的パラメータの集合の双方を計算する。この計算は、碁盤の目のボードが写っている各フレームに対して行われる。２台のカメラが同じフレーム内で、碁盤の目のボードを見つけたとすると、２台のカメラ間の相対的変換が計算される。この変換を繋げて、どのカメラから、他のいずれのカメラヘの変換も求められる。
【００９３】
一対のカメラが、共にフレーム内でキャリブレーションの模様を見る毎に、変換マトリックスが、これらのカメラの位置の間で計算される。これが、本当の変換の一つの推定値と考察できる。多くのフレームが与えられると、多数の推定値が求まり、それらはかなりの違いがあるものも出てくる。これらの値を統合し、より正確な推定を求めることが望ましい。
【００９４】
一つの方法は、単にこれらの推定値の平均値を取るという方法もあるが、より良い結果は、値を平均化する前に、極端な値を取り除くことで達成できる。それぞれ一対のカメラに対して相対変換がランダムに選択され、これはランダムに選ばれた変換に近い値を持つことにもとづいて選択された変換の集合が選ばれる。この集合が平均され、このカメラ対に対する相対変換の推測値として使われる。このように確率的に選択された変換が、参照しているカメラからの全てのカメラの相対的位置を計算するために使われる。
【００９５】
この処理の結果は、初めのランダムに選ばれた変換に著しく左右されるものであるため、キャリブレーションの集合の一群を生成するためには、数回これを繰り返す。このキャリブレーション集合の中で「最良」の集合が選ばれる。それぞれのカメラで、碁盤の目の角が認知された点は、空間の光線に対応する。完壁なキャリブレーションで、碁盤の目のボードの角に対応する光線は、空間の一点で交わる。実際に、キャリブレーションの誤作動ということは、それらの光線が交叉をしないことを意味する。「最良」のキャリブレーションとは、同じ碁盤の目のボードの角を表示する全ての光線が空間のある一点でほぼ交叉するもの、と定義される。
【００９６】
〔拡大現実と仮想現実での三次元対話〕
全システムは、バーチャル・ビューポイントと拡大現実のソフトウエアを統合する（図１０参照）。各々のフレームに対して、拡大現実システムは、マーカとカメラの位置の関係をつける変換マトリックスを識別する。これがバーチャル・ビューポイント・サーバへと、推定されたカメラ・キャリブレーション・マトリックスと共に、伝えられる。サーバは、３７４×２８８画素、２４ビット色彩画像、及び各画素に関連する距離の推定値を戻すことで応答する。この離れた位置にいる共同実演者の仮想視野は、元の画像に重ね合わされて、そしてユーザに示される。
【００９７】
各フレームで完全な２４ビット色彩、３７４×２８８画像、１６ビット距離マップを伝送するため、ギガビット・イーサネット・リンクが使用される。仮想視野描画ルーチンは、この精度では、平均、毎秒３０フレームで動作される。描画の速度は、画像内の画素の数に線形比例するので、フレームレートでやや小さめの画像を描画することは充分に可能である。描画速度はカメラの数に反比例して遅くなり、画像の質はカメラの数を増すことで改善される。
【００９８】
拡大現実ソフトウエアは、フレーム速度で１．３ＧＨｚのＰＣ、ビデオカードnVidia GeForce II GLXで充分スムーズに動く。システムの速度を速めるため、拡大現実のビデオを出力するのに、一フレーム遅延が導入される。それにより、拡大現実システムは、仮想視野サーバがそれより前の視野を生成している間に、拡大現実システムは次のフレームを処理し始めている。その後、交換取替えが起きる。グラフィックスは、拡大現実システムに戻されてディスプレイされ、新しい変換マトリックスが仮想視野描画へと送られる。この遅れは、どちらのコンピュータも、もう一方のコンピュータを待つことにより、かなりの処理時間を消費しないように保障し、高い出力が保たれるようになっている。
【００９９】
〔拡大現実会議〕
ここではデスクトップビデオ会議法の応用について説明する。この応用は、Billing hurstand Kato [M. Billing hurstand H. Kato, Real World Teleconferencing, In Proceedings of CHI’99 Conference Companion ACM, NewYork, 1999]の研究を推し進めたもので、彼等は、基準マーカで二次元ビデオストリームを取り入れている。傍観者はマーカを操り、ビデオスリームの位置を動かして、空間順序を回復する。これは、ユーザの間で遠隔の存在に関して至高の感情を生み出す。
【０１００】
本システムにおいては、参加者１（共同実演者）は、バーチャル・ビューポイントカメラに囲まれて立つ。参加者２（傍観者）は他の場所に座っており、ヘッド・マウンテツド・デバイスを頭に被っている。「共同実演者」、「傍観者」という言葉は、以降の説明でそれぞれの役目を持つ者のことを示す。本システムを利用する場合、共同実演者の描画された画像の列が傍観者に伝えられるので、共同実演者の姿は、実際の世界では基準のマーカ上に置かれて、現われてくる。共同実演者の生成された画像は、ヘッド・マウンテツド・デバイスに取り付けられたカメラと基準のマーカの間の厳密な幾何に依存する。というわけで、傍観者が被の頭を動かしたり、基準マーカを操作したりすると、それに応じて画像に変化が起きる。本システムは、この共同実演者が、傍観者と共に三次元空間に存在している、という認識を創り出すものである。共同実演者からの音の流れも、また、空間に拡がっていくので、この音も基準マーカの上で立つ仮想共同実演者から発せられているように感じられる。
【０１０１】
本応用には、比較的広い（約３×３×２ｍ）の空間を選らんでいる。この空間は、やや低めの精度で示される。これにより、単一の固定化されたカメラでは、まず捉えることができない動作や、しぐさから来る言葉を伴わない情報を捉えられることができる。ここでは、劇に出演するためにオーディションを受ける俳優の例が示される（図１１、デスクトップ三次元拡大現実ビデオ会議、これは身体全体の動きを３ｍ×３ｍ空間で捉え、言葉を伴わない表現による意志の疎通を図るものも捉える。）。この俳優の動作の全ては、このシステムで捉えられ、傍観者のいる拡大現実へと送られる。傍観者達からの報告に基づく印象は、共同実演者は、安定した現実の世界の一部であると述べている。コミュニケーションは、自然にでき、説明も僅かで了解できると述べている。
【０１０２】
〔仮想環境での共同作業〕
仮想環境は、コンピュータを媒介とする共同作業のためにあるワクワクするような新しい伝達手投を意味する。実際、いくつか仕事において明らかに、ビデオ会議［M, Slater, Howell, A. Steed, D-P. Pertaub, M. Garau, S. Springel. Acting in Virtual Reality. ACM Co Laborative Virtual Environments, pages 103-110, 2000]に勝るものである。とはいえ、以前は、環境内で共演者を正確に画像化するということは不可能であり、記号をグラフィック化しての描写（コンピュータ人形）というものが使われていただけであった。共同作業の際には、欠くことのできない要素となる言語を伴わない態度やしぐさを識別する研究努力［J. Casselland K. R. Thorisson. The power of a nod and a glance：Envelope vs. emotional feedback in animated conversational agents. Applied Artificial Intelligence, 13(4-5)：519-539, June 1999］がなされて来ており、コンピュータ人形での表現を制御するための込み入ったユーザインタフェースが開発された。
【０１０３】
本節では、この記号化されたコンピュータ人形が、仮想空間を実時間で探索する、実際の人のシミュレーションに置き換えられている。我々の、現在の位置と方向で見えるように生成される仮想空間における共同実演者の適切な映像が生成される。
【０１０４】
ユーザの一人一人を、仮想環境の中に浸り込ませるためには、彼等の頭の向きや位置を正確に追跡する必要がある。その様にすれば、仮想場面は、正しい視点から描画されることになるからである。これらのパラメータは、Intersense IS900 追跡システムを使って、推測される。これでは、ビデオフレームレートで、距離は１．５ｍｍ以内で、方向は０．０５度以内の精度で、９×３ｍの領域の内側での位置を測ることが可能である。傍観者のために、Intersenseシステムにより生成される位置及び方向の情報が、仮想視野システムに送られて、共同実演者の画像とそれに関連する深度マップを生成する。その後、これが傍観者の情景の視野に書き込まれる。Z−buffer技術を使い、深度マップは、視点の妨害効果を実現させることができる。
【０１０５】
図１２では、傍観者が共同実演者と仮想画廊を見て廻るという連続した情景の中からのいくつかのフレームを示している（図１２は仮想環境の中での相互のやり取りを示す。仮想視点の生成は、仮想環境のためにライブのビデオ人形を作ることに使われる。仮想画廊でのガイドの例が挙げられている。傍観者はこの環境にいる共同実演者にしぐさを示し、言葉を使わないしぐさで情報をやり取りする。最後のフレームでは、いかに描画システムにより生成された深度推定値が、正しい視点の妨害関係を作成するかを示している。この場合、画素精度６４０×４８０、３０fpsで描画されることに注意する。）。仮想視野システムにいる共演実演者が、ここにある絵画に関してユーザと共に画廊を巡りながら話をしている姿を見ることができる。仮想視点の生成は、この美術専門家がこの仮想環境において、ここでの目玉商品を見せたりする動作や、自然に意志の疎通を図ることを可能にしている。これは、生きているような、完全に三次元のコンピュータ人形を使った、仮想環境における初めての共同作業デモンストレーションであると確信できる。
【０１０６】
〔実体的な拡大現実での相互作用〕
ビデオ会議応用法での興味深い一側面は、仮想コンテンツが、実際の世界にある物体に取り付けられていることである。このような物体の操作は、コンピュータ（図６）での「実体的なユーザインタフェース」を創り上げる。我々の行った、前出の応用では、単にユーザが、彼／彼女の環境内でビデオ会議ストリームを置くことしかできなかった。また、これらの技術は、自然に身体を使う方法で、ユーザと相互のコミュニケーションに適用される。例をあげると、Kato et al. ［H. Kato, M. Billinghurst, I. Poupyrev, K. Inamoto and K. Tachibana, Virtual Object Manipulation on a table-top AR environment. Proceedings of international Symposium on Augmented Reality, 2000］等の研究者は、ユーザが仮想の室内で仮想家具を選び、配置し、それを押して動かすインテリアデザインのプロトタイプを作成した。この技術の他の用例は、以下に示されている[I. Poupyrev, D. Tan, M. Billinghurst, H. Kato and H. Regenbrecht. Tiles：A mixed reality authoring interface. Proceedings of interact 2001, 2001, M. Billinghurst, I. Poupyrev, H. Kato and R. May. Mixing realities in shared space：An augmented reality interface for collaborative computing. IEEE International Conference on Multimedia and Expo, New York, July 2000 and M. Billinghurst, I. Poupyrev, H. Kato and R. May, Mixing realities in shared space：An augmented reality interface for collaborative computing, IEEE international Conference on Multimedia and Expo, NewYork, July 2000]。娯楽分野での共同作業応用での実体的な拡大現実の対話技術の適用が研究されて来た。傍観者は、実際の世界における彼の机の上に置かれた仮想環境内で探索する、共同実演者の小型化した姿を眺めている。図１３では、拡大現実にいるユーザと拡大現実にいる共同実演者の間の相互コミュニケーションを示し、実体的な相互コミュニケーションの例を説明している。そのシーケンスは、順に各行に沿って実行される。最初のフレームでは、ユーザは、被のデスクトップコンピュータ上の仮想環境を探索している共同実演者を見ている。共同実演者は、基準マーカの「パドル」（Paddle）と結びついている。これは実体的なインタフェースを作り、このインタフェースが、ユーザに共同実演者をその環境から取り出しているのである。次に、ユーザは、新しいマーカの集合と仮想現実環境が出てくるように、ブックのページをめくる。これが、第二の具体的にできる相互コミュニケ―ションの用例である。ユーザは、共同実演者を新しい環境へと移動させ、その中で、共同実演者は探索を行う。最後の行では、対話型ゲームが示されている。ユーザは、パドルを用いて、仮想兵器庫（virtual arsenal）から大きな岩を選びだす。それから、この岩を共同実演者の頭上へと動かし、岩を彼の頭上から落とそうとする。共同実演者は、頭上の岩を見つけ、これから逃れようとする。傍観者は、仮想「パドル」と連想している。傍観者は、共同実演者を仮想環境内で移動させたり、若しくは、パドルを操作しながら、彼を取りだし、新しい仮想環境の中へと移動させることも可能である。以下の研究[M. Billinghurst, H. Kato and I. Poupyrev. The Magic Book：An interface that moves seamlessly between reality and virtuality. IEEE Computer Graphics and Applications, 21(3)：6-8, May/June 2001,]にならい、インタフェースとしてリアルワールド・ブックを使い、固有の仮想環境が選択される。異なる基準マーカは、各ページにプリントされ、色々な環境と結びつく。傍観者は、ただ適切な仮想環境を求めて、ブックのページをめくるだけである。
【０１０７】
類似する技術が、共同実演者と身体を使っての相互コミュニケーションに用いられている。例として、マンガ風の環境が、図１３で示されている。パドルを使用して、共同実演者の頭上に「かなとこ」（anvil）や爆弾のようなマンガ上の物を落とす。実時間で共同実演者は、これを逃れようとする。仮想視野システムの距離マップを使って、この共同実演者の平均位置を計算することができるので、衝突検知システムを実現することができる。
【０１０８】
傍観者は、パドルを物体のすぐ横に置くことにより、この物体を倉庫からすくいあげることができる。彼は、パドルが共同実演者の真上にある時にパドルを傾けて持つことで、物体を落とす。実世界での傍観者と、仮想環境にいるその共同実演者との間で行われるこの種の共同の作業は、重要なことであり、これ以前においてはなされていない。
【０１０９】
〔結果〕
シルエットから形状を作成するという新しいアルゴリズムの説明をしてきた。このアルゴリズムは、新しい視点からの深度マップと共に、実時間での生きている対象者（物）の新しい視点からの映像の生成が可能である。これは、先に発表された他の研究と較べ、性能の多大な増加を意味する。撮影できる領域の量も、対象になる物体が全てのカメラの映像で捉えられていなければならないという仮定を緩めることで拡大することができる。
【０１１０】
本アルゴリズムの効率がよいので、実時間の共同作業の応用を開発することができる。拡大現実を基にしたビデオ会議システムでは、共同実演者の画像は実世界の三次元マーカに重ね合わされて表現される。ユーザにとっては、この共同実演者はこの同じ状況の中に存在するかのように見える。このシステムが、拡大現実におけるライブ三次元コンテンツの最初の実例である。更に、これは、言語をともなわない意志伝達等、以前のビデオ会議では、制限になっていた幾つかの問題を解決したシステムである。
【０１１１】
バーチャル・ビューポイント・システムは、仮想環境での共同作業のためのライブ三次元ビデオ人形を生成する。これは、実際のコンテンツを仮想環境へと招き入れる拡大現実の用例である。前項で述べたように、傍観者は、常に適正な共同実演者の画像を見ているが、この場合は、両者共に、仮想空間に存在している。共同実演者が映し出されている広い領域は、この仮想空間内での動きや、実世界の側面を見せる動作、しぐさをさせるようになっている。
【０１１２】
最後に、「実体的」（tangible）な相互コミュニケーションを使い、ユーザが三次元世界にいる共同実演者といかに自然に相互コミュニケーションを図ることができるかを示した。共同実演者が、ユーザが落とした物体を避けて、ひらりと身をかわすというゲームの例が挙げられた。実世界での適用となると、インテリアデザインヘの適用がある。この場合、客が実世界に、例え留まっている場合でも、デザイナーは、仮想環境のコンテンツを操るといったものである。この共同作業インタフェースはIshiiの実体的なユーザインタフェース・メタファーの変形である[H. Ishii and B. Ulmer, Tangible bits：towards seamless interfaces between people, bits and atoms, In Proceedings of CHI 197. Atlanta, Georgia, USA, 1997]。
【０１１３】
本発明の処理とシステムは、ブロック図の機能的モジュールとして説明された。断っていない限り、一つ或いはそれ以上の機能は、単一の実際の装置、若しくは、ソフトウエア製品中のソフトウエア・モジュールの中へと統合される、或いは、一つ或いはそれ以上の機能は、別々の複数の実際の装置、若しくは単一の場所でのソフトウエア・モジュール、若しくは、ネットワーク上で分散されて実現されている。
【０１１４】
各モジュールの実際の実現についての詳細な解説は、本発明を理解する上で必要ではないことは、評価されるべきことである。実際の実現は、システムの特質、機能性、及びシステム内の様々な機能に係るモジュールの相互関係のディスクロージャーが行われた場合、プログラマーやシステムエンジニアにとって、充分に彼等の普段における仕事の範囲内といえる。この技術の当業者にとっては、過度の準備実験をせず、通常の技術をもってして、本発明の実現は可能である。
【０１１５】
本発明は、ここで記述された実現に沿って説明がされてきたが、この技術に優れた技術者には、本発明の範囲と意図からは逸脱せずに多様な修正、改善がなされるであろうことは明白である。従って、本発明は記述されている特定の実現に止まるのではなく、ここに添付された特許請求の範囲のみで制限されるものである。
【図面の簡単な説明】
【０１１６】
【図１】本発明の一実現方法であるバーチャル・ビューポイント・システムのシステムアーキテクチャを説明する画像ブロック図である。
【図２】本発明の一実現方法であるバーチャル・ビューポイント・システムの要素、機能、プロセスを説明する図である。
【図３】視野作成過程での実際のカメラと仮想カメラの関連視点を説明する図である。
【図４】視点の妨害問題を解決するための実際のカメラと仮想カメラの関連視点を説明する図である。
【図５】本発明の遠隔共同作業の概念に関する図である。
【図６】本発明の一実現方法により、ビデオ会議でのバーチャル・ビューポイントの概念の適用とユーザインタフェースを説明する図である。
【図７】マーカ（印）の認識と方向予測を説明する図である。
【図８】シルエットから形状を作ることで仮想視点を作る方法を示した図である。
【図９】映像の輪郭と、実際における三次元の形の違いを説明する図である。
【図１０】本発明に係るバーチャル・ビューポイントの概念を導入したビデオ会議システムを説明した図である。
【図１１】デスクトップ三次元拡大現実ビデオ会議の模様を説明した図である。
【図１２】バーチャル・ビューポイントの概念を導入して創られたものであり、参加者が協力者と共に仮想アートギャラリーを探索する流れのいくつかのフレームを説明する図である。
【図１３】この発明によるバーチャル・ビューポイントの概念を導入して創られている拡大現実内にいるユーザと拡大現実内にいる共同実演者の間で、両者の互いに対する作用を示す一連の実体的な対応を説明する図である。
【０００１】
本発明は、仮想現実と拡大現実に関するものであり、特に、コンピュータ上で創られた仮想現実環境に組み込まれて動かされた対象物又は動かされない対象物に対して、オブザーバーの視点を、実時間でシミュレーションすることに関する。
【背景技術】
【０００２】
仮想現実（ＶＲ）とは、あたかもユーザがコンピュータで創られた環境の中に本当に入り込んでしまったかの如く、その環境と相互に作用することのできる人工の環境のことをいう。仮想現実の装置は、ユーザにコンピュータで創られた環境を三次元（３Ｄ）で見せることができ、そして、その環境の中で動くことを可能にしている。この仮想現実には、広義に、拡大現実（Augmented Reality：ＡＲ）の技術も含まれる。拡大現実とは、ユーザが見たり、感じたりすることができるコンピュータ上での仮想の世界を現実の世界に融合させる技術である。「現実の世界」とは、ユーザが自らの五感（視聴覚、味覚、臭覚）で体験する環境と定義する。「仮想の世界」とは、記憶媒体に格納され、若しくは、プロセッサを用いて創り上げられた環境をいう。人の目で捉えた風景の上に、コンピュータで生成された情報を重ね合わせるやり方の方がより有利となる場合が数多くみられる。例えば、機械の複雑な部品を扱う機械工にとっては、その機械を実際に見ながら、その場で部品関連の保守マニュアルを見て仕事を進めることができれば、大変素晴らしいことである。このような機能を持つ画像システムは、多くの場合に、「拡大現実」システムと呼ばれている。一般的に、この種のシステムでは、ユーザの現実世界の視野に、コンピュータで創られた注釈（annotation）や物体を「投射」することによって、増強され、又は、加えられることができるヘッド・マウンテッド・ディスプレイを使用する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
いくつかの市場で、実際の世界や実時間仮想環境に、人間や高度に現実味を帯びた静止もしく動的な人工物を組み込むという、未だに満たされていない要求がある。それは、軍事訓練、コンピュータゲーム他、多くの拡大現実を含めた仮想現実を適用する市場のことである。物体のテクスチヤ・マップ化された三次元モデルを作成するシステムは、多々ある。これは、特に、Ｅ−コマースで使用されている。このようシステムには、手で作られた、又は、ＣＡＤで作成されたモデルを使うもの、或いは、三次元センシング技術を使っているものも含む。現在において、物体を組み込む技術の最前線といわれるものには、多くの欠陥がみられる。
（ａ）データキャプチャ時間が遅い（モデルは、手で構築されるか、速度が遅い自動システムを使用している）。
（ｂ）動きを効果的に処理できない（大部分のシステムは、静止状態か、制限のある動きのみしか扱えない）。
（ｃ）現実味に乏しい（大半のシステムが、平坦な画像であるか、細部の描写を欠く）。
（ｄ）撮影できる物体の大きさに制限がある。
【０００４】
現在使用されている、実際の人間を仮想現実に組み込むシステムには、ビデオゲーム関連会社、映画のスタジオが使用している動作キャプチャシステムがあり、アメリ力合衆国陸軍のＳＴＲＩＣＯＭが行った先端の研究もある。この現在の最先端を進む人間を組み込むシステムには、次のような問題がある。
（ａ）ほとんどのシステムで、何らかのマーカが必要であり、特別注文の服を着ることが要求される。
（ｂ）ほとんどのシステムで、仮想環境に組み込まれた人間の描写が粗くなっている。
（ｃ）ほとんどのシステムが、実時間では動かなく、動く場合でも、必然的に制限される。
【０００５】
既存の実際の人間を組み込むシステムでは、仮想環境に、静的、動的物体、人間、又他の生き物を組み込んで行く能力は無い。そして、ユーザが、実時間であらゆる視点から、その物体又は人間を、現在眺めているかのように見ることのできる能力も持たない。
【課題を解決するための手段】
【０００６】
本発明は、仮想現実システムとその基本構造とアーキテクチャに関するものである。これ等は既存の仮想現実システムの欠陥を補うものである（このシステムを「バーチャル・ビューポイント」と呼ぶことにする）。本発明の一側面は、この発明によるシステムが、人、動物、他の動きのある生物、動きの無い生物、及び、これらに付帯するあらゆる服装、物体などのビデオ映像を、仮想環境に組み込む能力がある。その環境に参加している人々は、実時間で、今その人を見ているように、映像内の人を全ての視点から眺めることが可能である。本発明の別の側面では、開発された新しいシステムは、実際の物体、相互に作用し合う物体の集合（例、無生物の形状）についての情報をキャプチャし、それを記憶することも可能である。これらの物体は、後に仮想環境に差し込まれる。参加している人々は、この環境内で動く人工物を、実際の世界でそれを眺めているように、すべての視点から見ることができる。このシステムは、完全にモジュール化されているため、多数の人工物を組み合わせて、合成された風景を作り出すことが可能である。必要があれば、その人工物は、当たり前の動作をする人間ということもある。このような当たり前の動作を、組み合せることも可能である。
【０００７】
本発明では、生き物の例として、人間又はそれに類するものを参照して記載される。これ以降、人間、人、若しくはそれに類したものを論議する際には、動物を含めた他の生き物のが、除外されるものではない。更に、以降において、本発明の様々に論議される概念は、人間（それに類するもの）及び人工物にも同様に適用されるものである。人工物についての論議、言及、例示も、同様に、人間に対しても適用され、又、その反対の場合も同様である。従って、本発明の意図する範囲内においては、一方に関するこの種の議論が、他方に対する技術適応を除外するものではない。本特許出願では、生き物と人工物は、まとめて「対象物」と称することにする。
【０００８】
本発明のシステムの基本的概念は、映像作成の対象である人工物の周囲に、若しくは、仮想環境に組み込む予定の人間の周囲に、いくつものカメラを配置することである。人工物や人の三次元構造は、特にそれに動きがある場合に、実時間で素早く決定される。任意の視点から、その人工物や人を眺めようとする場合に（その視点は、実際の世界では、捉えるカメラがそこに無い場合もあるが）、本システムでは、三次元情報と画像を使って、その任意の視点から、物体や人がどのように見えるかという仮想画像を作成する。
【０００９】
バーチャル・ビューポイント・システムには、概ね、次のような要素と機能がある。
（ａ）空間に配置された複数のビデオカメラ
（ｂ）画像のデジタルキャプチャ
（ｃ）カメラキャリブレーション
（ｄ）実時間の三次元モデル化
（ｅ）三次元モデルとその画像の符号化と変換
（ｆ）各ビューワーに関する仮想視野の計算
（ｇ）仮想画像を仮想空間の中に組み込む
【発明を実施するための最良の形態】
【００１０】
本発明に係る内容、利点、及び、好適な使用方法の充分な理解を深めるために、以下の詳細な説明と関連する添付した図を参照する。各図において、参照番号は、図示された部分と同様な部分を指し示している。
【００１１】
ここで説明される本発明は、実現される最良の実施形態である。この実施形態は、本発明の基本的原理を説明する目的に使用されるものであって、それに制限されるものではない。本発明の範囲は、本明細書の最後に記載されているように決定されることが最も望ましい。
ここで述べる全ての参考出版資料は、全て参考文献として扱われている。
【００１２】
本発明は、発明の基本をなす原理の理解からも明らかなように、本発明の範囲と精神から逸脱することなくして、様々な実現方法で利用ができる。本発明におけるバーチャル・ビューポイントの概念は、エンターテイメント、スポーツ、軍事訓練、ビジネス、コンピュータゲーム、教育、研究等において、情報交換ネットワーク環境（例えば、ビデオ会議）であるか、又は、その他のものに拘わらず、広く適用される。
【００１３】
〔情報交換ネット〕
以下における詳細な説明は、本発明の方法若しくはプロセスと、操作の記号による描写と、機能性及び特徴とに関わるものである。ここでの方法の説明及び記述は、この分野に係る当業者が、最も有効的な方法で、その仕事内容を、同様に当業者に伝達する際に使われる方法である。ソフトウエアの実行方法、若しくは、プロセスがそれであり、一般に、意図した結果を導く一連の矛盾の無い手順で出来上がっている。これ等の手順では、実際の物体を、実際に操作する必要がある。多くの場合、必ずということではないが、この実際の物体は、記憶されること、転送されること、統合されこと、比較されること、さもなければ操作することが可能な電気信号若しくは電磁信号という形式となっている。
【００１４】
本発明での実現されたソフトウエア操作を実行するのに有効な装置には、必ずしもこれのみに制限されるわけではないが、汎用又は特殊なデジタル処理装置、或いは、コンピュータが含まれる。これらは、独立した装置か、又は、大きなシステムの中の一部である。この装置は、装置内に格納されたプログラム、ルーチン及び／又は命令の手順及び／又はロジックによって、選択的に作動され、又は、変更される。簡単に説明すると、ここで説明され、提示された方法に関する使用は、特殊な処理構成に限定されるものではない。
【００１５】
本発明によるバーチャル・ビューポイントのプラットフォームは、以下に限定されはしないが、単独のコンピュータネットワーク、即ち、公共及び私用コンピュータネットワーク（例えば、インターネット、イントラネット、ＷＡＮ、ＬＡＮ等）、付加価値付きネットワーク、通信ネットワーク（有線又は無線ネットワーク）、放送ネットワーク、更には、以上のようなネットワークを、同種のもので又は異種のもので結合したネットワークである。これらの当業者達に理解されるように、このネットワークは、ハードウエアとソフトウエアとを共に含むが、固有の目的に最も適切な説明である場合、どちらか一方若しくは双方共に考慮されることもある。例を挙げると、ネットワークは、通信装置で繋がれた一式のハードウエアノードということが言えるし、一方、通信設備そのものであれば、ノードが有るか、無いかということも言える。この技術の当業者には、以下の説明が明確であると期待する。即ち、このようなネットワークと通信設備は、ソフトウエアとハードウエアの側面を持つと理解され、ハードウエアとソフトウエア間の区別は、必ずしも明瞭にはなっていない。
【００１６】
インターネットは、本発明を実行できるコンピュータネットワークを含む情報交換ネットワークの一例である。多くのサーバは、インターネット・ネットワーク経由で多数のクライアントに結合されており、このインターネット・ネットワークが結合された統一体として作用する、多数の統合された情報ネットネットワークを包括する。インターネット・ネットワークを構成する種々のハードウエア、ソフトウエアの構成要素は、この分野の技術で遍く知られているように、サーバ、ルーター、ゲイトウエイ等である。更に、サーバとクライアントによるインターネットヘのアクセスは、同軸ケーブル、電話線、無線ＲＦリンク等の適切な伝達媒体を通じてされることを前提とする。サーバとクライアントとの間の通信は、既定のプロトコルにより行われる。下記に示す如く、本発明に係るバーチャル・ビューポイント・システムは、サーバの中に、或いは、サーバとして形成される。そのサーバに、ユーザが、クライアント経由でアクセスできるのである。
【００１７】
〔全般的なシステムデザイン〕
バーチャル・ビューポイント・システムでは、参加者をボディマーカ、識別子、特別な着装品のようなものを一切使わずに実時間仮想現実に引き入れる。バーチャル・ビューポイントは、参加者の表情、しぐさ、行動、衣服、装飾品を含めて、全ての外見を仮想の世界へ引き入れる。バーチャル・ビューポイント・システムは、実際に、その人間がどこにいるかは関係なく、兵隊、仕事仲間、同僚達が、共に訓練、働き、協力できる場を設定する。
【００１８】
バーチャル・ビューポイントは、コンピュータ・グラフィック・アニメとは異なり、現実世界の動いている物体の完全な三次元形状、質感、色彩、音をビデオに記録するというものである。バーチャル・ビューポイントでは、視聴者があたかもその情景に実際にいるかの如く、その情景に入りこみ、また、どのような視点をも選択することを可能にするため、三次元対話型ビデオとコンテンツを創りだすことができる。視聴者は、各自、限りない数のカメラアングルを操るカメラマンとなる。受身である放送又はビデオの視聴者が、動的にその情景へと参加することとなる。
【００１９】
バーチャル・ビューポイント遠隔共同作業は、参加者の行動を記録する複数のカメラを備えた一連のシミュレーションブースから構成される。これ等のカメラが撮るビデオを、実時間でキャプチャし、処理し、それぞれの参加者の三次元形状に関する情報が生成される。この三次元情報から、バーチャル・ビューポイントの技術は、実時間で、廉価なＰＣハードウエアを使い、空間内のいずれもの視点からでも、無限の視野を合成できる。幾何学モデルを、新しい仮想環境に移転することもできる。視聴者は、もともとカメラが設置された視点からの視野のみならず、いかなる視点からも生成されるデータストリームと対話することが可能である。
【００２０】
〔システムアーキテクチャとプロセス〕
図１では、仮想視点からビデオを作成するための、三次元モデルの生成、及び、イメージベースレンダリング技術を基にしたバーチャル・ビューポイント・システムのシステムアーキテクチャを説明する。対象物の三次元ビデオ画像（人間又は物体）をキャプチャするため、複数のカメラ（２台、４台、８台、１６台、若しくは、画像の質によりこの数以上の台数）を必要とする。一隅にあるカメラ（複数）からの再構築が、複数のビデオストリームと三次元モデル抽出（例えば、下記で説明する「シルエットから作る形状」）により得た三次元モデルシーケンスを生成する。この情報は記憶され、ビデオ描画技術を使い斬新な視点を生成されることに使われていく。この画像キャプチャ及び三次元モデル情報の生成は、スタジオで行い、三次元画像描画はユーザ側で行うことができる。三次元モデルの情報は、ギガビット・イーサネット・リンク経由で、スタジオからユーザに伝送さられる。
【００２１】
図２に関しては、バーチャル・ビューポイント・システムでは、基本的に下記の構成要素、プロセス機能より成る。
（ａ）人間又は物体を囲むように設置された複数のカメラは、その中の対象物に向けられている。実際に、カメラは、少ない場合、４台でも可能である。その台数は、コスト、場所、必要な計算能力を考えに入れずに設定する場合は、その台数の上限は無い。カメラの数を増やすほど、画像の質は向上する。
（ｂ）画像をデジタル技術でキャプチャし、このデジタル画像をコンピュータのワーキングメモリに伝送する方法。
（ｃ）カメラをキャリブレートする方法。カメラの位置、方向、レンズの焦点距離等の内部変数は、正確さを必要とする。これが、現実世界と、カメラからの画像に現われている三次元の各点との間の数学的マッピングを確立する。質の悪いキャリブレーションは、出力された仮想画像に関するデジタル化した画像の品質を損なうことになる。
（ｄ）実時間で、人間又は対象物の三次元構造を決定する方法。これには数多くの方法がある。このシステムのコストを抑えるため、三次元構造を決定するカメラからの画像利用という幾つかの方法が開発されている。他の選択として、特殊用途の走査型距離探索デバイス、若しくは構造化照明（structured light）と呼ばれる方法がある。本発明が採択した実現方法は下記で詳細に説明する。
（ｅ）この三次元構造並びに画像の記号化とそれを仮想環境で使う形に換える方法。この方法は、関連する膨大なデータを扱うための圧縮、ネットワークプロトコル、データをシステムに挿入するユーザインタフェースワークを含む。
（ｆ）選ばれた記号化の方法によっては、新しい視点から、人、物体を見るため、仮想視界を計算するソフトウエア・モジュールが必要になる。
（ｇ）仕上がった人間や物体の仮想画像を残りの仮想空間の情景に統合させるためには、更なる処理が必要になる。
【００２２】
〔三次元モデル生成〕
このシステムが有効に動作するためには、人間若しくは任意の対象物の三次元構造を決定する方法が必要となる。これを遂行するには、市場に出廻っている多くの製品を利用することを含め、多様な方法がある。一般的に言えば、ステレオビジョン技術では、速度が遅く、市場に出す製品として不可欠な強靭性に欠けている。
【００２３】
上記二つの問題の解決として、「シルエットから作る形状」技術、又は、「ビジュアルハル構築」（visual hull construction）技術と呼ぶ方法が開発される。シルエットから形状を作る方法として、少なくとも３種類の方法がある。
【００２４】
（ａ）シルエットそのものを三次元モデルとして使用する。この技術は、ＭＩＴグラフィックス・ラボラトリーで開発された技術の改良であり、以下に説明する。
（MIT Graphical Lab web site：http：//graphics.lcs.mit.edu/〜wojciech/vh/）
（ｂ）ボクセルを使用して形状をかたどる方法。この技術は、本発明の譲受人であるZaxel Systems. Inc. により完全に実現され、下記に記す報告書に記載されている。『ボクセルを基にしたイマーシブ環境（Immersive Environment）』（２０００年５月３１日）：（Defense Advanced Research Projects Agency（ＤＯＤ）（ＩＯＳ）ＡＲＰＡ Order D611/70；アメリカ合衆国航空、ミサイル指令部下の契約No．DAAHO1-00-C-R058-unclassified、公表および無制限の一般公開を是認する。この文書は、ここで参照され、叩き台とされる。ここで明らかにするこの発明の概念は、すでに特許申請中である。）。この技術に関連する多量な記憶装置への要求は、オクトツリーによるモデルを使用することにより、いくらかの軽減が可能である。
（ｃ）シルエットからポリゴンのモデルを直接生成する。これは、かなり複雑な方法ではあるが、現在でのグラフィックスのハードウエアの利点を最大限に利用できることも含め、この方法には、いくつかの有利な点がある。また、この方法は、仮想環境へと統合する上で、最も容易なシステムである。ドイツのカールスルーエ（Karlsruhe）大学で開発された類似した技術を参照のために、ここに提示する。
（http://i31www.ira.uka.de/diplomarbeiten/da martin loehlein/Reconstruction．html）
【００２５】
〔カメラキャリブレーション〕
三次元再構築と描画では、各画像の間での共通の三次元座標軸へのマッピングが必要とされる。このマッピングを推測するプロセスを、カメラキャリブレーションと呼ぶ。複数のカメラシステムにおける各々のカメラは、複数カメラのキャリブレーションプロセスを使い、キャリブレーションする。一台のカメラと三次元世界との間のマッピングは、１１個のパラメータよりなるカメラモデルで近似計算される。その内訳は、カメラの位置パラメータ（３個）、方向パラメータ（３個）、焦点距離パラメータ（１個）、画像サイズ（１個）、画像の中心（２個）とレンズの歪（１個）である。カメラキャリブレーションは、各々のカメラ１１個のパラメータを推測する。
【００２６】
この推測過程そのものは、非線形極小技術を画像三次元マッピッングのサンプルに適用する。この画像サンプルを得るためには、物体を、座標が分かっているいくつかの三次元位置に正確に配置し、各々の画像における物体の位置を計算する。この過程では、キャリブレーション物体が必要である。これは、その情景の中で正確に物体を位置づける方法であり、各画像の中でその物体を求める方法である。キャリブレーション物体としては、おおよそ２．５ｍ四方のキャリブレーション平面が設計されて作られ、それが正確に５つの異なる高さに上昇される。この平面には、６４個のＬＥＤが、８×８の格子状に、互いの間隔を３０ｃｍにして敷き詰められてある。ＬＥＤは、一回に一つずつ、電気が通るように設計されていて、キャリブレーション平面のビデオの各画像に、一つの明るい点として撮影される。各々のカメラから、それぞれ６４の画像をキャプチャすることで、各々のＬＥＤは、各カメラによりー回撮影されることになる。決まった順番で、一つずつＬＥＤに電気を通じることにより、ソフトウエアがＬＥＤの正確な三次元位置を決定していく。最後に、キャリブレーション平面を異なる高さに上昇させることにより、三次元での点集合を得ることができる。全ての画像のキャプチャが終了すると、このために特別に作られたソフトウエアシステムが、全画像内におけるすべてのＬＥＤの位置を抽出し、その後、キャリブレーションアルゴリズムを適用する。オペレータがカメラのモデルの正確さを確認し、それぞれのカメラを比較することができる。また、オペレータは、自動化されたシステムでは適当に発見できなかったＬＥＤを排除できる（三次元空間地点と二次元画素のペアを使った実際の数学的プロセスから１１個のパラメータモデルを求める方法は、Roger Y.Tsaiによる［“A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-Shelf TV cameras and lenses”；IEEE Journal of Robotics and Automation RA-3(4):323-344, August 1987］で説明されている。）。
【００２７】
もう一つの、カメラキャリブレーション方式は、本発明の実現の一つとして、任意のバーチャル・ビューポイントをビデオ会議に適用する例の中で説明される。
【００２８】
〔シルエットをインプリシットな三次元モデルとして利用するイメージベース描画法〕
下記に示すアルゴリズムの目的は、固定された少数のカメラ（５台から２０台）からの画像より、任意の視点での画像を生み出すことである。これを実時間で実行すると、視聴者が任意の視点を選べるという３Ｄテレビの経験が得られる。
【００２９】
ここに記す手法は、イメージベース描画法（Image-Based Rendering：ＩＢＲ）の概念を基にするものである。
［例えば、E．Chen and L．Williams．View interpolation for image Synthesis. SIGGRAPH'93, PP.279-288; S. Laveau and O.D.Faugeras. “3-D Scene Representation as a Collection of images、”In Proc. of 12th IAPR Intl. Conf. on Pattern Recognition, volume 1, pages 689-691, Jerusalem Israel, October 1994;M.Levoy and P. Hanrahan. Light Field Rendering. SIGGRAPH'96, August 1996; W. R. Mark. “Post-Rendering 3D Image Warping：Visibility, Reconstruction, and Performance for Dept-Image Warping,” Ph. D. Dissertation, University of North Carolina, April 21, 1999. （Also UNC Computer Science Technical Report TR99-022); L. McMillan. “An Image-Based Approach to Three-Dimensional Computer Graphics,” Ph. D. Dissertation, University of North Carolina、April 1997. （Also UNC Computer Science Technical Report TR97-013）を参照] 過去二、三年でのＩＢＲに関する研究は、いくつかの完成したシステムを生みだした。［例えば、W. R. Mark. “Post-Rendering 3D Image Warping：Visibility, Reconstruction, and Performance for Depth-Image Warping,” Ph. D. Dissertation, University of North Carolina, April 21, 1999. (Also UNC Computer Science Technical Report TR99-022)；L. McMillan. “An Image-Based Approach to Three-Dimensional Computer Graphics,”Ph. D. Dissertation, University of North Carolina, April 1997. （Also UNC Computer Science Technical Report TR97-013)、を参照］ ＩＢＲの背景にある概念は、眺められている情景の幾何学的三次元モデルがあり、その情景のいくつかの画像が与えられている場合に、他の視点からではどのように見えるのかということの推測が可能になる。ほとんどの最前線でのＩＢＲの研究では、基本的三次元モデルデータとしてレンジマップ（range maps）を取り上げている。レンジマップは、それぞれの画素から、対象となる三次元物体まで距離を示している。
【００３０】
シルエットからの形状生成法（別名、ボクセル・インタセクション）は、長年、最小限の計算により、画像から比較的正確な三次元モデルを創り出す方法として知られて来た。[例、T. H. Hong and M. Schneier, “Describing a Robot's Workspace Using a Sequence of Views from a Moving Camera, “IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 7, pp. 721-726, 1985]。シルエットから形状を作るという概念のアイディアは、現実世界の全空間は完全占有されているという仮説から出発している。その環境に配置された各カメラは、その背景がどんなものであるかというモデルを持っている。与えられた画像中の画素が背景のように見える場合には、その画素への光線沿いには、カメラと背景との間には、物体は何も無いとの推測が成り立つ。このように物体の「シルエット」（既知の背景の前面に見える二次元の形）は、三次元形状情報を提供する。複数の視野と多数の画素がある場合、彫刻家が石を削るが如くに、物体の周囲の背景画素で示された空間を「切り取る」ことにより、前景の物体の適当なモデルを残すことができる。
【００３１】
シルエットからの形状生成法は、普通、ボククセル・モデルの生成に使われる。このモデルとは、空間が、三次元格子で区切られた三次元データ構造であり、空間でのそれぞれの位置は、それに対応するメモリ位置を保持している。メモリ位置には、対応する空間での位置が埋まっているか、空白かを示す値がある。何人かの研究者は、シルエットからの形状生成法でボククセル・モデルを生成しており、このボクセル・モデルからＩＢＲの基礎となるレンジマップを作り出している。ボクセル・モデルからレンジマップを作り出す方法は、複雑且つ多大な時間を費やし、正確さを欠くものである。その不正確さは、三次元格子が限定された解像度精度を持つことと、並びに、この格子がある固定された座標軸に平行であることに由来する。ここで示す方法は、仲介となるボクセル・モデルを生成しなで、シルエットマスクのみを利用して、ＩＢＲに関する深度と画素の値を計算する方法である。この方法にはいくつかの利点があるが、その中で最も注目できる利点は、これがより正確な結果をもたらということである。というのは、ボクセル・モデルは、ただ単にシルエットに含まれる情報の近似計算であるからである。別の似かよった取り組みとしては、空間切り取り法、ボクセル彩色法がある。
【００３２】
〔アルゴリズムの概念〕
ボクセル・インターセクション法を用いた三次元再構築法は、占有されてはいないとみられる三次元空間の離散した部分を切り取っていくやり方である。あるカメラが背景の画素をとらえると、カメラと背景の間の空間は占有されていないと推測するのは安全である。この空間は、実際に、その先端がカメラの焦点であり、背景に交差するまでに拡がっている、長方形ピラミッドのような形をしている。
【００３３】
ここでの核心となる概念は、例えば、空間のある三次元位置がある一台のカメラから、占有されていないとみなされる場合、その位置が残りのカメラでは、どう映るかということには関係なく、この位置は占有されていないとみなされるということである。
【００３４】
図３で示されるように、仮想画像中の各々の画素では、テストポイントは、その画素に対応する光線に沿って動く。光線上の各ポイントでは、それぞれの画像内の対応する画素が、その画素が背景であるかどうかの評価がなされる。図３の例でいうと、ここでの光線はポイント（仮想視点）、或いは仮想カメラＶから、外側に沿ってたどって行く。いずれかのカメラが任意のポイントで背景を確認した場合、そのポイントは占有されていないと考えられる。そのため、次の段階は、光線に沿いに更に外にすすむ。この経過が繰り返されていく。例の中で、ＡとＢ間のそれぞれのポイントでは、どのカメラも、これ等のポイントが占有されていとはみていない。ＢからＣでは、右側のカメラＣ１は、物体Ｘを見ているが、左側のカメラＣ２には何の物体も見ていない。ＣからＤでは、再びどのカメラにも何も見ていない。ＤからＥでは、左側のカメラＣ２には物体Ｚを見るが、右側のカメラＣ１は何も見ていない。ＥからＦの間では、再びどのカメラにも何も見ていない。最後に、ポイントＦで、双方のカメラがこのポイントが物体Ｙで占有されていると認めて、この探索は中止となる。
【００３５】
全てのカメラが占有されていると合意する三次元ポイントが発見されると、その画素の深度が判明し、且つ全ての画像でのポイントの位置が解明される。この画素を描画するためには、実際の画像からの画素が統合される。
【００３６】
〔アルゴリズムの説明〕
この節では、擬似コードを使い、アルゴリズムの高度な説明が含まれる。それに続く節では、アルゴリズムを実現しようとするための詳細な説明がなされる。仮想カメラの中でのポイントと距離が与えられたとすると、対応するポイントが、実際の各カメラの中でどこに出現するかを計算ができるように、このアルゴリズムでは、カメラの幾何学的情報が十分必要とされる。後は、各カメラからのシルエットのマスクの集合に関する情報のみが必要となるだけである。
【００３７】
【数１】
通常の光線ラスター化アルゴリズムは、１９６５年にBresenhamにより開発されたが、その他の光線ラスター化アルゴリズムも利用できる。Bresenhamのアルゴリズムは、Foleyの本に詳しい。
[Foley、Van Dam, Feiner, and Hughes, “Computer Graphics Principles and Practice,” Second Edition、Addison Wesley, 1990を参照]
【００３９】
〔アルゴリズムの実行：シルエットのマスク画像からの深度〕
このアルゴリズムの説明は、いくつかのコンピュータ・ビジョン、コンピュータ・グラフィックスの概念、即ち、ピンホール・カメラ・モデルと均一座標軸を使う行列表示、を熟知していることを前提としている。これに関する数学の有益な参考文献として、FoIeyの本の第５章、第６章をあげる［Foley、van Dam, Feiner, and Hughes, “Computer Graphics Principles and Practice,” Second Edition, Addison Wesley, 1990を参照］。
【００４０】
入力
１．各々のカメラに、既知のカメラキャリブレーションが必要となる。これは、４×４の投影行列Ａｃａｍである。この行列は、空間の三次元均一座標軸を使い、画像を中心にした座標軸に変換される。画像平面への投影はｘとｙのそれぞれの座標をｚ座標で割ることにより遂行される。
２．仮想カメラ投影行列Ａｖｉｒｔ
３．マスク画像
【００４１】
出力
１．仮想カメラにおける各画素の深度値。この深度値とは仮想カメラ投影の中心から、その画素の光線に沿った最も近くにある物体のポイントまでを示す値である。
【００４２】
〔アルゴリズム擬似コード〕
【数２】
説明
（ａ）仮想画像内の全ての画素は空間の光線と対応している。空間にあるこの光線はそれぞれの実物のカメラでは、一本の線として見える。この光線は、しばしばエピポーラ光線と呼ばれる。均一座標軸では、この光線の端点は、２つの変数、「変数epipole」と、「変数infinity_point」である。この２つのポイント間の、いずれのポイントも２つの均一座標軸の線形組み合せで見つけることができる。
（ｂ）このプログラムを繰り返し実行している間は、０から「変数distance」までの光線に沿って、ポイントは占有されていない。全てのカメラが「変数distance」でのポイントが占有されていると一致したとすると、繰り返しのループは終了し、「変数distance」は（x、y）での距離となる。
（ｃ）「関数clip_to_image（）」は、探索光線を（cx、cy）から（fx、fy）までを「clipping」することによって、探索光線が、全て画像内に含まれるようにして、端点が画像の座標内に位置するようにする。
（ｄ）「関数search_line（）は、マスクの中で占有されている画素を発見するまで光線上を動く。これは画素内の変数（0x、Oy）という値を関数の値とする。
（ｅ）「関数compute_distance ()」は、与えられた変数（0x、Oy）への距離を計算するため、「変数close_point」を得るための式を変換する。
（ｆ）副産物として、各カメラの最終ポイントの変数（0x、Oy）は、仮想カメラの画素変数（x、y）を描画するための統合に必要なピクセルを表す。下記の節ではこの統合の方法を論ずる。
【００４４】
〔視点の妨害問題〕
仮想カメラ内に描画される画素集合があると、その画素集合は、それぞれの仮想カメラにおける画素の色彩を選び出すために使われる。起こり得る最大の問題の一つは、殆どのカメラは、描画されるポイントに向けられているわけではない。多くのカメラでは、これは、明らかなことである。カメラは違う方角に向けられていたり、物体の背景に向けられていたりする。しかし、仮想カメラが同一方向に向いているように、例え実際の各カメラが仮想カメラとほぼ同方向に向けられているような場合においても、視点の妨害問題が存在するので、この問題が起こり得る。この場合、視点の妨害ということは、もう一つの物体が、描画されるべき物体の表面を遮っている状況をいう。この場合、仮想カメラは、実際には後ろ側にある物体を見るべきであり、前面にある物体の画素の使用を避けることが望ましい。
【００４５】
この視点の妨害問題を発見するには、図４に示す次のような方法が使われる。仮想カメラＶと同じ方向にむけられているカメラでは、前節で論じたアルゴリズムを使って、深度マップが事前に計算されている。既知のカメラ（Ｃ１とＣ２）からの画素が仮想画像で妨害されているかどうかを決定するには、計算された深度を使い、仮想カメラＶの中で、仮想画素を実際のカメラの視野に変換する。例えば、仮想画像（ＨＦ）からの画素深度が、実際の画像（ＨＧ）の計算された深度と合致する場合、画素は、妨害されてはおらず、実際のカメラを描画に使うことができる。そうでない場合は、別のカメラのピクセルを使って描画しなければならない。ということは、仮想カメラ（ＨＦ）の深度と、実際のカメラ（ＨＧ）の深度が閾値よりも高い場合は、その実際のカメラを仮想画素の描画に使うことはできない。
【００４６】
〔物体の形についての情報の引き出し方〕
ある仮想画素の三次元位置を計算し、視点の妨害問題を考えて、どのカメラがこの画素を見ることができるかを決定した後でも、一般的に、多くのカメラからどのカメラを選ぶかの問題が残る。例えば、物体の表面を狭い角度で映すカメラを選ぶと、カメラからの一つの画素が、物体の表面の多大な部分を覆うことができる。一方、表面に垂直に近い方向で映すカメラの場合、各々の画素が物体表面の比較的小さい部分をカバーすることになる。後者の場合では、表面の詳細に関する最大限の情報を提供するので、この方法は、推奨に価する方法である。
【００４７】
ある画素の光線上を動くポイントが離れていくように動かす最後のカメラ（これは、アルゴリズムで、可変距離を変える最後のカメラである）は、この状況の情報のいくばくかを提供する。このカメラが、この画素から最後の表面物体のブロックを切り取るものなので、このカメラは表面の部分的方向についての情報を提供する。最適なカメラの方向（表面に対して最も垂直な方向）は、最後のカメラの表面を定義するマスク中の画素方向に垂直にならねばいけない。これは最適視線方向に一つの拘束を与える。その結果、可能な最適カメラ方向の二次元空間を与える。もう一つの拘束を求めるためには、非占有から占有へと変換する場所の近くにあるマスクの形状を見る必要がある。マスクの中でみられる表面の端を垂直方向から映すカメラを見つけることが望ましい。この方向は、マスクより計算することができる。端の方向を与えられたら、どのカメラが最適方向に近い方向から表面を見ているかが決定できる。
【００４８】
〔色彩制約を使用してより正確度の高い物体形状を求める〕
シルエットから形状を作るという方法には、例え無制限の数のカメラを使用した場合であっても、正確にモデルすることが不可能な形があるという限界が知られている［例えば、A Laurentini. How Far 3D Shapes Can Be Understood from2D Silhouettes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 17(2)：188-195, 1995を参照］。この問題は、少数のカメラが使用される際には、更に難解になる。例を挙げると、シルエットから作る形状が、実際の表面が曲面である場合でさえも、直線を含むからである。
【００４９】
表面モデルの正確度を高くするため、ここで述べるアルゴリズムに、色彩整合性制約（color consistency constraint）を加えることが可能である。基本約な概念は、ある画素が観察されている表面に関する正しい三次元情報をもっているとすると、そのポイントを捉えている全てのカメラは、そのポイントの色彩について一致しているというものである。複数のカメラが、そのポイントの色彩について、かなり大幅に異なる結果を出したとすると、それはモデルに問題があるためである。視点の妨害問題や、表面に近い視角効果が無いとすると、最も適当な説明は、表面への計算した距離が誤りであることがあげられる。アルゴリズムは、常に、全てのシルエットについて矛盾の無い、表面への最小距離を選択するため、物体を外側に、カメラの方向に拡げる傾向がある。
【００５０】
ある画素について、シルエット法を使って物体への正しい距離を求めた後、その画素に対する光線上を外に向け、そのポイントを見るカメラの全てが色彩について合致する迄、動く。すべてのカメラが一致する色彩が仮想画素の正しい色彩なのである。
【００５１】
仮想画素の色彩を決定するには、仮想カメラに最も近い実際のカメラを見つける。その後、それぞれのカメラで視点の妨害問題に関してのテストを行う。視点の妨害問題が無いとされたカメラからの画素が平均化され、画素の色彩が決定される。
【００５２】
〔利点〕
シルエット法の利点を挙げる。
１．シルエットは、ボクセル・モデルとほぼ同じサイズであり、通信コストも同じである。
２．深度情報は、クライアント側から、効率的な計算方法で得られる。
３．得られたモデルは、ボクセル・モデルと較べると、より正確である。
４．無用な計算がいらない。三次元モデルの関連する部分だけが作成され使われる。
５．深度マップと描画は、同時に計算される。
６．仮想カメラからの視点による深度マップが生成される。これは深度順序付け（例、仮想物体を環境に挿入する）に使われる。
７．物体による視点妨害の検知と補償が簡単に処理できる。
【００５３】
〔リモート共同作業〕
バーチャル・ビューポイント（登録商標）システムは、参加者を、身体に付帯するマーカ、固有マーク、特別な服等一切使わずに、実時間仮想現実へと招きいれる。バーチャル・ビューポイントではその参加者の身体全てを、顔の表情、しぐさ、動作、服装および全てのアクセサリも含め、仮想世界に移す。バーチャル・ビューポイント・システムは、兵士、仕ことの同僚や仲間が、それぞれ実際にはどこにいるかは全く関係無く、共に訓練を受け、一緒に仕事をし、互いの顔を見ながら共に協力して働くことを可能にする。例として、図５は、このシステムが、二人の兵隊の三次元ビデオ描画画像を統合している様子を説明している。それぞれの画像は、初めに状況の周囲に配置された４台のビデオカメラの集合で創り出されたものである。
【００５４】
バーチャル・ビューポイント（登録商標）システムの技術を使用する例として、シカゴ在住の参加者とロサンジェルス在住の参加者が、各々街からそれぞれシミュレーションのできるスタジオヘ入ると、即刻共に共同作業をし、訓練を受けられる同じ仮想の部屋に入ることになる。この二人は語り会い、互いの服装やしぐさ、全てを実時間で見ることができる。彼等は、互いの廻りを歩いたり、この仮想の部屋の中を歩き回ったり、互いの姿をどのような角度からでも眺めることができる。参加者は、どのような視点からでも仮想空間に入りこみ、これを体験し、仮想世界に浸ることができる。
【００５５】
数知れない多くの物体、例えば、実時間のバーチャル・ビューポイントのコンテンツ、オフライン・バーチャル・ビューポイントのコンテンツ、他の仮想環境からの物体などでさえも、この情景に組み入れていくことができる。二人の兵隊を全く新しい仮想環境に差し入れて、その環境の中で互いに作用することも可能である。これが、手に入れることができる、分散シミュレーションとしては、最も現実的なものである。
【００５６】
ここでは、本発明のバーチャル・ビューポイントのある特殊な実現として、拡大現実と仮想現実のための実時間三次元対話に適用する方法について述べる。これは、例を示すためであり、これに制限するということではなく、その実現方法が、ビデオ会議の例を使って説明される。この例が、更に上記で説明された原理についての説明になる。
【００５７】
〔バーチャル・ビューポイントを使ったビデオ会議〕
序文
実時間での三次元拡大現実（ＡＲ）ビデオ会議システムが以下で説明されるが、ここで、コンピュータ・グラフィックスが、初めての実時間「立体電話」を作り出している。この技術で、参加者は、現実世界を自分の視点で見ているが、その視点は修正され、離れたところにいる同僚の画像が自分のいる情景の中に描画されている。同僚の画像は、カメラと基準マーカの間での三次元変換で推定されて、実際の世界に登録されている。実時間で、適切な同僚の画像と対応する深度マップを生成する新しいシルエットからの形状を作り出すアルゴリズムを説明する。これは、その同僚を囲む１５台のキャリブレーションされたカメラから同時に出てくる計測を基に作られるのである。この新しい視野は、それから実際の世界に重ね合わされ、適切な三次元音響が付け加えられる。その結果として仮想の同僚は、情景中の真の一部であると言う強い印象を与える。これは、「生きている」完全に三次元になった共同実演者がいる仮想環境での、最初の対話型デモンストレーションが提供される。最後に、実体的（tangible）な拡大現実インタフェースを利用して、実際の世界にいるユーザと、仮想空間にいるその共同実演者の間で行われる対話が考慮されている。
【００５８】
現行の会議技術には、いくつもの限界がある。「聴覚のみを使う会議方法」では、会話のやりとりする際には不可欠な視覚的順序付けが排除されている。この結果、度々の中断及び重複があり［E. Boyle, A. Anderson and A. Newlands. The effects of visibility on dialogue and performance in a co-operative problem solving task. Language and Speech, 37(1): 1-20, January-March 1994］、話し手達の間で、誰が話しているかの識別や、互いに作用し合う意思の有無の認識に困難が生じる［D. Hindus, M. Ackerman, S. Mainwaring and B. Starr. Thunderwire：A field study of an audio-only media space. In Proceedings of CSCW, November 1996］。「従来の二次元ビデオ会議法」では、この問題が改善されてはいるが、参加者の大きな動作やしぐさをとらえることはできず［C. Heath and P. Luff. Disembodied Conduct：Communication through video in a multimedia environment. In Proceedings of CHI91, pages 93-103, ACM Press, 1991］、参加者同士の間での空間順序を認識することは無く［A. Sellen. and B. Buxton. Using Spatial Cues to Improve Videoconferencing. In Proceedings CHI‘92, pages 651-652, ACM：May 1992］、又、参加者が目を使ってコンタクトもできない［A. Sellen, Remote Conversations：The effects of mediating talk with technology. Human Computer Interaction, 10(4)：401-444, 1995］。参加者達は、ただ単に、スクリーンの前面にいるだけで、参加者の数も、モニタの精度で制限されてしまう。これらの制限は、コミュニケーション信頼性を阻害し［S. Whittaker and B. O'Connaill, The Role of Vision in Face-to-Face and Mediated Communication. In Finn, K, Sellen, A. Wilbur, editors, Video-Mediated Communication, pages 23-49. S. Lawerance Erlbaum Associates, New Jersey, 1997］、交互に話を振っていくということに支障をきたしていき［B. O'Conaill, S. Whittaker, and S. Wilbur, Conversations over video conferences：An evaluation of the spoken aspects of video-mediated communication. Human-Computer Interaction, 8：389-428, 1993］、話しの中断や重複が多くなる［B. O'conaill and S. Whittaker, Characterizing, predicting and measuring video-mediated communication：a conversational approach. In K. Finn, A. Sellen, S. Wilbur （Eds.）, Video mediated communication. LEA：NJ, 1997］。「共同作業仮想環境」では、対面での会話に通常伴う、空間での順序付けを復活し［S. Benford, and L. Fahlen, A Spatial Model of Interaction in Virtual Environments. In Proceedings of Third European Conference on Computer Supported Cooperative Work （ECSCW’93）, Milano, Italy, September 1993］、しかし、参加者を実世界から分離させる。更に、通常のビデオ人形を通してでは、言語を使わないで意志の疎通をはかることは難解であり、そこにいるはずの存在がなくなっていく結果になる［A. Singer, D. Hindus, L. Stifelman and S. White, Tangible Progress：Less is more in somewire audio spaces. In Proceedings of CHI 99, pages 104-111, May 1999］。
【００５９】
おそらく、完壁なテレプレゼンスのゴールに一番近いものは、「未来の会社事務」であり［R. Raskar, G. Welch, M. Cutts, A. Lake, L. Stesin and H. Fuchs, The Office of the Future：A unified approach to image based modeling and spatially immersive displays. SIGGRAPH 98 Conference Proceedings, Annual Conference Series, pages 179-188, ACM SIGGRAPH, 1998」、又は、T. Ogiその他の、「仮想ビデオ人形」であろう[T. Ogi, T. Yamada, K. Tamagawa, M. Kano and M. Hirose, Immersive Telecommunication Using Stereo Video Avatar. IEEE VR 2001, pages 45-51, IEEE Press, March 2001]。両者の方法は、複数のカメラを使用して参加者の幾何学的モデルを構築し、このモデルを使って、離れた共同実演者の適切な映像を生成する。これは、素晴らしい考えではあるが、これらのシステムは、二次元半のモデルを生成するにすぎない。というのは、この場合、人は、動きながら仮想ビデオ人形の廻りに行ってみることができないし、また、視点の妨害問題が、伝送を妨げてもいるからである。更に、これらのシステムの画像出力は、立体投影スクリーンとＣＡＶＥを用いて行われるため、画面を持ち運ぶことはできない。
【００６０】
バーチャル・ビューポイントの技術は、三次元複合現実ビデオ会議システムを実現し、上記の問題を解決する（図６では、傍観者が、カメラを前に取り付けたヘッド・マウンテッド・ディスプレイ眼鏡を使って、どのように世界を見るかが示される。本システムはマーカを見つけ、実時間での適切な視点から描画されたライブ・ビデオ・コンテンツを重ね合わせる。）。この実現を可能にする技術は、画像のビデオカメラの映像速度で共同実演者の任意の新しい映像を生成できる新規のアルゴリズムである。また、この方法は、仮想空間におけるコミュニケーションにも応用できる。ユーザの視点からの共同実演者の画像が描画されて、大変自然な相互作用を可能にする。最後に、実体的なユーザインタフェース・メタファーを使用して、ユーザが仮想の共同実演者と実際の空間で対話する新規な方法が開発されたのである。
【００６１】
〔システムの概要〕
拡大現実とは、実際の情景にコンピュータで生成された三次元コンテンツを実時間で挿入していくものである[R. T. Azuma. “A survey of augmented reality.” Presence, 6(4) ：355-385, August 1997, and R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier and B. Maclntyre. Recent Advances in Augmented Reality. IEEE Computer Graphics and Applications, 21(6):34-37, November／December 2001 for reviewsを参照]。一般的に、傍観者は、前面にカメラが取り付けられているヘッド・マウンテッド・ディスプレイを通して世界をみる。ビデオは、キャプチャされ、修正されて、実時間で傍観者へと送られていく。次に記す初期の研究では[S. Feiner, B. Maclntyre, M. Haupt and E. Solomon. Windows on the World：2D Windows for 3D Augmented Reality. In Proceedings of UIST93, pages 145-155, Atlanta, Ga, 3-5 November, 1993]、二次元のテクスチヤ情報を、現実の物体へと重ね合わせていた。しかしながら、現在では、三次元物体を挿入することが普通になっている。
【００６２】
この実現において、離れた共同実演者のライブ画像が視界情景に挿入されている。（図６を参照）。傍観者が頭を動かすと、この共同実演者の映像は適正に変わる。これが、共同実演者は三次元であり、彼は傍観者のいる空間に存在するという、安定したセンシングを生む結果となる。
【００６３】
この目的と達成するため、各々の画像に以下の条件が必要となる。
（ａ）情景に関するＨＭＤカメラの位置を推測する。
（ｂ）共同実演者の適正な映像を生成する。
（ｃ）視点の妨害問題が考慮にいれられ、この映像は情景内へ描画される。
これらの問題を順番に考察する。
【００６４】
〔カメラの方向についての予測〕
情景は、Daeyang Cy-Visor DH-4400VPのヘッド・マウンテッド・ディスプレイ（ＨＭＤ）で見ることができる。これは両眼に、同じ６４０×４８０画素の画像を提供する。PremaCam SCMシリーズ・カラーカメラがヘッド・マウンテッド・ディスプレイの前面に取り付けられる。このカメラは、毎秒２５個の画像を６４０×４８０の精度でキャプチャする。
【００６５】
ここでは、Katoによるマーカ追跡法[H. Kato and M. Billinghurst, Marker tracking and HMD calibration for a video based augmented reality conferencing system, Proc. IWAR 1999, pages 85-94, 1999]を使用している。方向予測の問題は、二次元正方形をした黒と白の補助マーカを、この情景のなかに差しこむことで単純化される。仮想コンテンツは、それぞれのマーカに関連付けられる。このマーカの形と図柄は、既知であるため、このマーカを見つけることと、カメラと相対位置を計算することは共に容易なことである。
【００６６】
簡単に言えば、連結要素アルゴリズムを使い、カメラ映像はスレッシュホールドされ、連続した黒い部分が認識される。輪郭探索技術は、これ等の領域の輪郭を明らかにする。正確に４つの角を持たない輪郭は排除される。角の位置は、それぞれの縁に直線を当てはめて、それらの交差点を求めて予測される。投影変換を使って、囲まれた部分を標準の形に射影する。そのあと、映像内のマーカの種類と方向を定めるため、記憶された図柄と相関関係を求める（図７は、マーカの検出と方向の推測を示す。映像の閾値が取られ、連続部分が認識される。縁の画素を見つけ、角の位置、これは仮想コンテンツの方向を決定するものであるが、正確に測られる。領域の大きさ、角の数、テンプレートの類似性が使われて、情景の中の、他の暗い領域が棄てられる）。キヤリブレートされたカメラでは、マーカの角の映像内での位置から、空間での三次元位置とマーカの方向を単一に求められる。この情報は、カメラとマーカの座標軸間の関連を付けるユークリッド幾何学の変換マトリックとして現され、情景の中に、仮想コンテンツを適切に描画することに使用される。
【００６７】
カメラパラメータの正確な予測を手に入れることが絶対に必要である。三次元物体を現実的に描画して情景に入れ込むため、まず、投影カメラパラメータをシミュレーションする。次に、いずれの放射状歪も、キャプチャされたビデオがユーザに示される時には、補正されていなければならない。
【００６８】
放射状歪が無い場合、実世界での直線は画像中で直線になる。よって、直線が通常の二次元格子位置の画像に当てはめられる。歪パラメータ空間を全て探索し、直線の当てはまりを最大にする。歪の中心点と二次の歪係数は、このようにして推測される。カメラ遠近法投影パラメータ（焦点距離と主要点）は、通常の二次元格子点を使い予測する。格子の原点に対して、各点の正確な位置と対応する画像の位置が与えられれば、線形代数を使い、カメラパラメータが求められる。拡大現実用マーカトラッキング・ソフトウエアとキャリブレーション・ソフトウエアは 「http：//www. Hitl. Washington.edu/artoolkit/」からダウンロードできる。
【００６９】
〔モデル構築〕
仮想の共演実演者を実世界にスムーズに統合していくためには、それぞれのビデオのフレームに適切な情景を生成しなければならない。一つの方法は、共演実演者の完全な三次元深度再構築を開発することであり、この開発したものから任意の映像が生成される。立体深度を使い深度情報がキャプチャされる。立体再構築は、フレームレートで達成されるが［T. Kanade, H. Kano, S. Kimura, A. Yoshida and O. Kazuo, “Development of a Video-Rate Stereo Machine. ”Proceedings of international Robotics and Systems Conference, page s 95-100, Pittsburgh, PA, August 1995］、これには、特別のハードウエアが必要である。しかし乍ら、この結果生成される密度の高い深度マップは強力なものではない。また、現存するシステムでは、カメラを対象物の廻り全てに配置しているものは無い。
【００７０】
関連している方法には、イメージベース描画がある。これは、新しい映像を生み出すために、いくつかのキャプチャされた物体の映像を歪め、深度再構築を回避する。Seitzand Dyer ［S. M. Seitzand C. R. Dyer, View morphing, SIGGRAPH 96 Conference Proceedings, Annual Conference Series, pages 21-30. ACM SIGGRAPH 96, August 1996］が実際に正しい映像を保障する初めての映像の変形方法を提案したが、この実は、カメラのベース光線上のみの変形であるので、新しい視野には制限がある。AvidanとShashua ［S. Avidan and A. Shashua. Novel View Synthesis by Cascading Trilinear Tensors. IEEE Transactions on Visualization and Computer Graphics, 4(4)：293-305, October-December 1998］ は、三焦点テンソルの計算を基本にした任意の新しい画像を一対のステレオ画像から生成する、よりー般約な方法を発表した。深度は、これらの方法で明示的には計算されないが、これらの方法は、複数画像間の密度の高い深度対応計算が依然として必要とされている。そのため、立体からの深度を求めるのと同じ問題が残る。
【００７１】
三次元モデル構築のより魅力的な方法は、シルエットからの形状作成である。複数のカメラが物体の周囲を囲むように配置される。それぞれのカメラにおける各々の画素は、その物体（前景）に属するか、又は背景に属するのかの、いずれかに分けられる。結果として得られる前面マスクをシルエットと呼ぶ。それぞれのカメラの各画素は、三次元空間の非常に狭い多角形を基盤にしたピラミッドの上で光を集めるピラミッドの頂点は、カメラの焦点であり、ピラミッドは、ここから無限に延びている。背景の画素については、この空間は占有されていないと推測される。シルエットから形状を作り出すアルゴリズムでは、最初に、空間が完全に占有されていると仮定し、各カメラのそれぞれの背景画素を使い空間の部分を切り取って、前面の物体の代表物を残す。
【００７２】
再構築されたモデルは、カメラ台数を増加させることで改良されることは明白である。しかしながら、例え無限数のカメラを使用しても、出来上がった再構築深度は、物体の真の形についての全ての面を捕らえていないと言うことが証明される。再構築された形状は、Laurentiniによって「ビジュアル・ハル」と呼ばれている［A．Laurentini, The Visual Hull Concept for Sillhouette Based Image Understanding. IEEE PAMI, 16(2)：150-162, February 1994］。Laurentiniは、この分野での最初の仕事をしている。
【００７３】
このような制限があるにせよ、シルエットから形状を作成する方法には、他の同様な手法と較べて３点の利点がある。第一には、これは、ステレオビジョンよりももっと強靭である。例え、背景の画素がある画像の中での物体の一部と誤って識別されても、他のシルエットが、誤って識別された空間を切り取ってしまう。第二に、ステレオ法であり、これは、相関計算に多大な計算時間を費やし、リフレッシュの頻度が遅いレーザー距離スキャナーよりも著しく速度が速い。第三の利点は、特別使用でのハードウエアを使う他の方法に較べて、この方法は相対的に廉価である。
【００７４】
〔バーチャル・ビューポイント・システムの応用〕
上記の理由で、本発明の実現であるバーチャル・ビューポイント・システムは、シルエットから形状を作る方法に基づいている。このシステムは、三次元モデルとテクスチヤを３０fpsでキャプチャし、任意の視点からそれを表示することのできる最初のシステムである。
【００７５】
このシステムは、Matusik et al. ［W. Matusik, C. Buehler, R. Raskar, S. Gortlerand L. McMillan, Image-Based Visual Hulls, SIGGRAPH OO Conference Proceedings, Annual Conference Series, pages 369-374, 2000」の研究を改良したものである。この研究も、シルエットから形状を作り出す方法に基づく視野生成アルゴリズムを提示している。しかしながら、ここで論じてきた新しい方法のアルゴリズムは、速度が非常に速い。Matusik et al. は、４台のカメラシステムで、３２０×２４０画像を３０fpsで生成するが、新しいシステムでは、１５台のカメラを使った場合、３０fpsで４５０×３４０画像を創り出すことができる。性能向上の最も重要な理由は、我々のアルゴリズムでは、完全なビジュアル・ハルを創り出すことはせず、仮想カメラの視野からのイメージベース距離マップを作り出す計算のみが必要であるからである。
【００７６】
〔バーチャル・ビューポイント・アルゴリズム〕
期待する仮想のカメラを表す、標準の４×４の投影マトリクスが与えられたとすると、仮想画像の各画素の中心は、カメラの中心から発して外側に拡がる空間の光線に結び付けられる。この光線上のいずれの距離も、三次元空間のポイントと対応している。どの色彩をある仮想画素に割り当てるかの決定には、まず（最も近い位置にあり）占有されている可能性のある光線上のポイントを見つけねばならない。この三次元ポイントは、その位置での色彩のサンプルを得るため、それぞれの実際のカメラヘと投影されて返る。このサンプルは、その後、仮想画素の最終色彩を生み出すため、統合される。
【００７７】
アルゴリズムは、それぞれの仮想画素において、三つの操作を行う。
（ａ）仮想カメラで見えている仮想画素の深度の決定。
（ｂ）近くにある実画像に対応する画素を求める。
（ｃ）全ての測定値に基づき画素色彩を決定。
【００７８】
〔（ａ）画素深度の決定〕
それぞれの仮想画素の深度は、明らかな探索で決定する。この探索は、仮想カメラの投影の中心から始まり、画素の中心に対応する光線に沿い、外側に向けて行われる（図８、シルエットから形状を作る方法による仮想視野生成の説明。いずれのカメラでも、背景へと投影されるポイントは拒否される。ＡからＣ間のポイントは、既に処理をされて、双方の画で背景へと投影されているため、これは非占有である（赤紫）と識別される。まだ処理をされていないポイントは、全て黄色で示される。ポイントＤは、カメラ２からのシルエットでは背景にあるため、これは非占有と識別され、探索は線に沿い外に向け進んでいく。）。この光線沿いの、各々の三次元ポイント候補は、占有しているかどうか評価される。いずれかのシルエットに対する投影で、背景として識別される場合に、ポイント候補は非占有とされる。全てのシルエットで前景であると識別されたポイントが見つかると、このポイントは占有されている可能性大とみて、その探索はそこで終了する。
【００７９】
対象物は、どの画像からも完全に見ることができると仮定する。各仮想画素の探索に制限を与えるため、対応する光線は、各画像の領域で切り取られる。この光線は、対応するエピポーラ線を形成するため、各実画像の中へと投影される。これらのエピポーラ線が画像の境界と交叉する場所が見つかり、この境界の点は、光線上へと投影し返される。光線上の、これらの領域の交叉点が、制限された探索空間を定義する。探索が占有されている可能性のある画素を一つも発見せずに領域の端まで到達した場合、仮想画素は、背景として識別される。
【００８０】
結果として得た深度は、推測されたビジュアル・ハルの表面にある光線に沿う最も近いポイントである。しかしながら、ビジュアル・ハルは、必ずしも物体の正確な形状を表しているものではない。そのため、この三次元ポイントは、実際には、物体の表面の外側に存在している（図８参照）。
【００８１】
〔（ｂ）候補カメラの決定〕
発見された三次元ポイントは正確とは言えないため、画素色彩を統合するカメラを選ぶ際には、注意が必要である（図９、ビジュアル・ハルと実際の三次元形状の違いを示す。ビジュアル・ハル上のポイントは、実際の表面上のポイントとは対応していないので、実際のカメラからのどのサンプルも仮想カメラ画素Ｂには適切ではない。この場合、より近い所にある実際のカメラが望ましい。というのは、物体との交叉点のポイントは正しいものにより近い所にあるためである。）。深度の誤差が、実際の各カメラの視界から誤った画素を選択する原因となる。本発明は、この視覚的誤差を最小限に留めることを目指す。
【００８２】
一般に、仮想画素に最も近いところにある、誤った画素を選択する方が良い。最適カメラとは、実際の画素と仮想の画素に対応する光線間の角度を最小限に留めるものをいう。固定の深度誤差では、これが、選択された画素と正しい画素間の距離を最小限にする。カメラの近さは、実際のカメラの軸と仮想のカメラの軸間の角度を元にして、一画像につき一回評定する。
【００８３】
これで、各候補カメラの画像の中で、仮想画素がある所がどこであるか、計算することができる。残念乍ら、実際のカメラでは、空間にあるこのポイントを必ずしも確認できない。というのは、他の物体が、実際のカメラとそのポイントの間に存在していることがあるためである。例えば、このように、実際の画素が妨害されている場合に、仮想画素への色彩を提供することはできない。
【００８４】
基本的手法は、実際のカメラからの画素の深度探索アルゴリズムを走らせることである。例えば、求められた深度が、仮想カメラ画素の三次元ポイントに充分近い所にある場合、実際のカメラ画素は妨害されてはいないと推定でき、この実際の画素の色が、仮想画素の色に貢献することとなる。実際、幾何学的に妨害されていないポイントを見つけるやいなや、そのポイントを受け付けることにより、システムの速度は増加する。
【００８５】
〔（ｃ）仮想色彩画素の決定〕
仮想画素の深度と、どのカメラが妨害されない視界を持つか、決定がなされた後は、残りの作業は、仮想画素の色彩を生み出すために、実際の色彩画素を統合するのみである。最も簡単な方法は、一番近いところにあるカメラから画素を選択することである。しかし、この方法では、しばしば、異なるカメラから採り出された隣接した画素間の顕著な境界線を含む鋭い画像が生じる。いくつかの理由で色彩画素は、カメラ間でかなり異なっている。第一に、カメラには、多少、スペクトル反応の違いがある。第二は、三次元モデルが正確ではないので、異なるカメラからの画素が正確に並んではいない。第三に、双方向反射分布関数が均一でない限り、実際の反射された光は、カメラの異なる視点では変化する。
【００８６】
これらの効果を軽減するため、数個の画素候補の色彩は混ぜ合わされる。最も簡単で時間のかからない方法は、最も近いＮ台のカメラに係る色彩画素の平均値を使うことである。この方法だと、画像中での目に見える境界線は無くなる。しかし、この方法では、例え仮想カメラが実際のカメラと一致している場合でも、ぶれた画像を生むという不利な点がある。そのため、近いところのＮ台のカメラからの画素の重みつき平均値を使い、最も近いところにあるカメラが、最も重要になる様にする。この方法は、前の両方の方法より、より良い結果を得てはいるが、多くの計算を必要とする。
【００８７】
〔システムを構成するハードウエアとソフトウエア〕
１４台の Sony DCX−３９０ビデオカメラが対象物の廻りを等間隔で囲んでおり、もう１台が、対象物を真上から眺めていることにする（図１０は、システム図を示し、シルエットを求めるため、５つのコンピュータが、シルエットを見つけるために画像を前処理し、描画サーバヘとそのデータを伝え、複合現実のコンピュータがヘッド・マウンテッド・ディスプレイからカメラの出力を取り出し、マーカの方向を計算して、この情報が、描画サーバヘと伝えられ、描画サーバは、対象物の適当な映像を作り、それが実時間でユーザの視野へと描画されてくることをここでは説明している。）。５台のビデオ・キャプチャ装置が、それぞれ３台のカメラからデータを得る。各々のビデオ・キャプチャ装置には、１ＧＨｚのPentium III プロセッサ２台と２Ｇバイトのメモリを持つ。ビデオ・キャプチャ装置は、ビデオの各画像を前処理して、それをギガビット・イーサネット・リンク経由で、描画サーバに伝える。描画サーバは、１つの１．７ＧＨｚのPentium III Xeonプロセッサと２Ｇバイトのメモリを備えている。
【００８８】
それぞれのビデオ・キャプチャ装置は、YcrCbフォーマットの３つの６４０×４８０ビデオストリームを３０Ｈｚでキャプチャし、それぞれが次の作業を行う。
（ａ）各々の画素は、これが背景の統計上のモデルに属するかどうかという査定が行われて、前面の物体か背景かという識別がなされる。このモデルは、事前に何もないスタジオで撮ったビデオの一部分から生成される。
（ｂ）変換演算子が、シルエットには属さない小さな領域を取り除くことに応用される。
（ｃ）幾何学放射状レンズの歪は修正される。
【００８９】
前面にある物体は、それぞれ、全てのカメラに完全に映っている必要があるので、各カメラの拡大度が調整され、彼／彼女が動き廻っている場合でも、カメラは対象物を映すことができるようにする。これは、各カメラの制限ある精度は、取りたい画像範囲全てをカバーすることになる。故に、画像の質と撮影空間の体積との間には、トレード・オフの関係ができる。
【００９０】
同様に、システムが必要とする実際の空間の大きさは、撮影したい空間の大きさ、及び使われるレンズの視野範囲により決定される。２．８mmレンズで、一般約には、９０度の視野範囲を提供できる。このレンズでは、高さ２．５ｍ、直径３．３ｍの空間を、カメラを１．２５ｍ離して置いて、撮影することが可能である。
【００９１】
〔カメラのキャリブレーション〕
三次元モデルを正確に計算するためには、画像空間で与えられたポイントが、一つの像の中で一画素若しくはそれ以下の精度で、どこに投影されるのかを知る必要がある。各カメラの内部のパラメータと、カメラ間での空間変換との二つが共に推測される。この方法は、Intel社のOpen CV library サブルーチンに基づくやり方である。このキャリブレーションの結果は、強力な統計方法（RANSAC）を使用して最適化される。
【００９２】
全てのカメラにむけて大きな碁盤の目のあるボードを表示して、キュリプレーションのデータを集める。キャリブレーションを成功に導くには、かなり大きな数の異なる位置で、キャリブレーション対象物を撮影することが必要である。インテルのルーチンで、碁盤の目の全ての角を認識し、これは、各々のカメラの本質的なパラメータの集合と、碁盤の目のボードの座標系を基にしたが、外部的パラメータの集合の双方を計算する。この計算は、碁盤の目のボードが写っている各フレームに対して行われる。２台のカメラが同じフレーム内で、碁盤の目のボードを見つけたとすると、２台のカメラ間の相対的変換が計算される。この変換を繋げて、どのカメラから、他のいずれのカメラヘの変換も求められる。
【００９３】
一対のカメラが、共にフレーム内でキャリブレーションの模様を見る毎に、変換マトリックスが、これらのカメラの位置の間で計算される。これが、本当の変換の一つの推定値と考察できる。多くのフレームが与えられると、多数の推定値が求まり、それらはかなりの違いがあるものも出てくる。これらの値を統合し、より正確な推定を求めることが望ましい。
【００９４】
一つの方法は、単にこれらの推定値の平均値を取るという方法もあるが、より良い結果は、値を平均化する前に、極端な値を取り除くことで達成できる。それぞれ一対のカメラに対して相対変換がランダムに選択され、これはランダムに選ばれた変換に近い値を持つことにもとづいて選択された変換の集合が選ばれる。この集合が平均され、このカメラ対に対する相対変換の推測値として使われる。このように確率的に選択された変換が、参照しているカメラからの全てのカメラの相対的位置を計算するために使われる。
【００９５】
この処理の結果は、初めのランダムに選ばれた変換に著しく左右されるものであるため、キャリブレーションの集合の一群を生成するためには、数回これを繰り返す。このキャリブレーション集合の中で「最良」の集合が選ばれる。それぞれのカメラで、碁盤の目の角が認知された点は、空間の光線に対応する。完壁なキャリブレーションで、碁盤の目のボードの角に対応する光線は、空間の一点で交わる。実際に、キャリブレーションの誤作動ということは、それらの光線が交叉をしないことを意味する。「最良」のキャリブレーションとは、同じ碁盤の目のボードの角を表示する全ての光線が空間のある一点でほぼ交叉するもの、と定義される。
【００９６】
〔拡大現実と仮想現実での三次元対話〕
全システムは、バーチャル・ビューポイントと拡大現実のソフトウエアを統合する（図１０参照）。各々のフレームに対して、拡大現実システムは、マーカとカメラの位置の関係をつける変換マトリックスを識別する。これがバーチャル・ビューポイント・サーバへと、推定されたカメラ・キャリブレーション・マトリックスと共に、伝えられる。サーバは、３７４×２８８画素、２４ビット色彩画像、及び各画素に関連する距離の推定値を戻すことで応答する。この離れた位置にいる共同実演者の仮想視野は、元の画像に重ね合わされて、そしてユーザに示される。
【００９７】
各フレームで完全な２４ビット色彩、３７４×２８８画像、１６ビット距離マップを伝送するため、ギガビット・イーサネット・リンクが使用される。仮想視野描画ルーチンは、この精度では、平均、毎秒３０フレームで動作される。描画の速度は、画像内の画素の数に線形比例するので、フレームレートでやや小さめの画像を描画することは充分に可能である。描画速度はカメラの数に反比例して遅くなり、画像の質はカメラの数を増すことで改善される。
【００９８】
拡大現実ソフトウエアは、フレーム速度で１．３ＧＨｚのＰＣ、ビデオカードnVidia GeForce II GLXで充分スムーズに動く。システムの速度を速めるため、拡大現実のビデオを出力するのに、一フレーム遅延が導入される。それにより、拡大現実システムは、仮想視野サーバがそれより前の視野を生成している間に、拡大現実システムは次のフレームを処理し始めている。その後、交換取替えが起きる。グラフィックスは、拡大現実システムに戻されてディスプレイされ、新しい変換マトリックスが仮想視野描画へと送られる。この遅れは、どちらのコンピュータも、もう一方のコンピュータを待つことにより、かなりの処理時間を消費しないように保障し、高い出力が保たれるようになっている。
【００９９】
〔拡大現実会議〕
ここではデスクトップビデオ会議法の応用について説明する。この応用は、Billing hurstand Kato [M. Billing hurstand H. Kato, Real World Teleconferencing, In Proceedings of CHI’99 Conference Companion ACM, NewYork, 1999]の研究を推し進めたもので、彼等は、基準マーカで二次元ビデオストリームを取り入れている。傍観者はマーカを操り、ビデオスリームの位置を動かして、空間順序を回復する。これは、ユーザの間で遠隔の存在に関して至高の感情を生み出す。
【０１００】
本システムにおいては、参加者１（共同実演者）は、バーチャル・ビューポイントカメラに囲まれて立つ。参加者２（傍観者）は他の場所に座っており、ヘッド・マウンテツド・デバイスを頭に被っている。「共同実演者」、「傍観者」という言葉は、以降の説明でそれぞれの役目を持つ者のことを示す。本システムを利用する場合、共同実演者の描画された画像の列が傍観者に伝えられるので、共同実演者の姿は、実際の世界では基準のマーカ上に置かれて、現われてくる。共同実演者の生成された画像は、ヘッド・マウンテツド・デバイスに取り付けられたカメラと基準のマーカの間の厳密な幾何に依存する。というわけで、傍観者が被の頭を動かしたり、基準マーカを操作したりすると、それに応じて画像に変化が起きる。本システムは、この共同実演者が、傍観者と共に三次元空間に存在している、という認識を創り出すものである。共同実演者からの音の流れも、また、空間に拡がっていくので、この音も基準マーカの上で立つ仮想共同実演者から発せられているように感じられる。
【０１０１】
本応用には、比較的広い（約３×３×２ｍ）の空間を選らんでいる。この空間は、やや低めの精度で示される。これにより、単一の固定化されたカメラでは、まず捉えることができない動作や、しぐさから来る言葉を伴わない情報を捉えられることができる。ここでは、劇に出演するためにオーディションを受ける俳優の例が示される（図１１、デスクトップ三次元拡大現実ビデオ会議、これは身体全体の動きを３ｍ×３ｍ空間で捉え、言葉を伴わない表現による意志の疎通を図るものも捉える。）。この俳優の動作の全ては、このシステムで捉えられ、傍観者のいる拡大現実へと送られる。傍観者達からの報告に基づく印象は、共同実演者は、安定した現実の世界の一部であると述べている。コミュニケーションは、自然にでき、説明も僅かで了解できると述べている。
【０１０２】
〔仮想環境での共同作業〕
仮想環境は、コンピュータを媒介とする共同作業のためにあるワクワクするような新しい伝達手投を意味する。実際、いくつか仕事において明らかに、ビデオ会議［M, Slater, Howell, A. Steed, D-P. Pertaub, M. Garau, S. Springel. Acting in Virtual Reality. ACM Co Laborative Virtual Environments, pages 103-110, 2000]に勝るものである。とはいえ、以前は、環境内で共演者を正確に画像化するということは不可能であり、記号をグラフィック化しての描写（コンピュータ人形）というものが使われていただけであった。共同作業の際には、欠くことのできない要素となる言語を伴わない態度やしぐさを識別する研究努力［J. Casselland K. R. Thorisson. The power of a nod and a glance：Envelope vs. emotional feedback in animated conversational agents. Applied Artificial Intelligence, 13(4-5)：519-539, June 1999］がなされて来ており、コンピュータ人形での表現を制御するための込み入ったユーザインタフェースが開発された。
【０１０３】
本節では、この記号化されたコンピュータ人形が、仮想空間を実時間で探索する、実際の人のシミュレーションに置き換えられている。我々の、現在の位置と方向で見えるように生成される仮想空間における共同実演者の適切な映像が生成される。
【０１０４】
ユーザの一人一人を、仮想環境の中に浸り込ませるためには、彼等の頭の向きや位置を正確に追跡する必要がある。その様にすれば、仮想場面は、正しい視点から描画されることになるからである。これらのパラメータは、Intersense IS900 追跡システムを使って、推測される。これでは、ビデオフレームレートで、距離は１．５ｍｍ以内で、方向は０．０５度以内の精度で、９×３ｍの領域の内側での位置を測ることが可能である。傍観者のために、Intersenseシステムにより生成される位置及び方向の情報が、仮想視野システムに送られて、共同実演者の画像とそれに関連する深度マップを生成する。その後、これが傍観者の情景の視野に書き込まれる。Z−buffer技術を使い、深度マップは、視点の妨害効果を実現させることができる。
【０１０５】
図１２では、傍観者が共同実演者と仮想画廊を見て廻るという連続した情景の中からのいくつかのフレームを示している（図１２は仮想環境の中での相互のやり取りを示す。仮想視点の生成は、仮想環境のためにライブのビデオ人形を作ることに使われる。仮想画廊でのガイドの例が挙げられている。傍観者はこの環境にいる共同実演者にしぐさを示し、言葉を使わないしぐさで情報をやり取りする。最後のフレームでは、いかに描画システムにより生成された深度推定値が、正しい視点の妨害関係を作成するかを示している。この場合、画素精度６４０×４８０、３０fpsで描画されることに注意する。）。仮想視野システムにいる共演実演者が、ここにある絵画に関してユーザと共に画廊を巡りながら話をしている姿を見ることができる。仮想視点の生成は、この美術専門家がこの仮想環境において、ここでの目玉商品を見せたりする動作や、自然に意志の疎通を図ることを可能にしている。これは、生きているような、完全に三次元のコンピュータ人形を使った、仮想環境における初めての共同作業デモンストレーションであると確信できる。
【０１０６】
〔実体的な拡大現実での相互作用〕
ビデオ会議応用法での興味深い一側面は、仮想コンテンツが、実際の世界にある物体に取り付けられていることである。このような物体の操作は、コンピュータ（図６）での「実体的なユーザインタフェース」を創り上げる。我々の行った、前出の応用では、単にユーザが、彼／彼女の環境内でビデオ会議ストリームを置くことしかできなかった。また、これらの技術は、自然に身体を使う方法で、ユーザと相互のコミュニケーションに適用される。例をあげると、Kato et al. ［H. Kato, M. Billinghurst, I. Poupyrev, K. Inamoto and K. Tachibana, Virtual Object Manipulation on a table-top AR environment. Proceedings of international Symposium on Augmented Reality, 2000］等の研究者は、ユーザが仮想の室内で仮想家具を選び、配置し、それを押して動かすインテリアデザインのプロトタイプを作成した。この技術の他の用例は、以下に示されている[I. Poupyrev, D. Tan, M. Billinghurst, H. Kato and H. Regenbrecht. Tiles：A mixed reality authoring interface. Proceedings of interact 2001, 2001, M. Billinghurst, I. Poupyrev, H. Kato and R. May. Mixing realities in shared space：An augmented reality interface for collaborative computing. IEEE International Conference on Multimedia and Expo, New York, July 2000 and M. Billinghurst, I. Poupyrev, H. Kato and R. May, Mixing realities in shared space：An augmented reality interface for collaborative computing, IEEE international Conference on Multimedia and Expo, NewYork, July 2000]。娯楽分野での共同作業応用での実体的な拡大現実の対話技術の適用が研究されて来た。傍観者は、実際の世界における彼の机の上に置かれた仮想環境内で探索する、共同実演者の小型化した姿を眺めている。図１３では、拡大現実にいるユーザと拡大現実にいる共同実演者の間の相互コミュニケーションを示し、実体的な相互コミュニケーションの例を説明している。そのシーケンスは、順に各行に沿って実行される。最初のフレームでは、ユーザは、被のデスクトップコンピュータ上の仮想環境を探索している共同実演者を見ている。共同実演者は、基準マーカの「パドル」（Paddle）と結びついている。これは実体的なインタフェースを作り、このインタフェースが、ユーザに共同実演者をその環境から取り出しているのである。次に、ユーザは、新しいマーカの集合と仮想現実環境が出てくるように、ブックのページをめくる。これが、第二の具体的にできる相互コミュニケ―ションの用例である。ユーザは、共同実演者を新しい環境へと移動させ、その中で、共同実演者は探索を行う。最後の行では、対話型ゲームが示されている。ユーザは、パドルを用いて、仮想兵器庫（virtual arsenal）から大きな岩を選びだす。それから、この岩を共同実演者の頭上へと動かし、岩を彼の頭上から落とそうとする。共同実演者は、頭上の岩を見つけ、これから逃れようとする。傍観者は、仮想「パドル」と連想している。傍観者は、共同実演者を仮想環境内で移動させたり、若しくは、パドルを操作しながら、彼を取りだし、新しい仮想環境の中へと移動させることも可能である。以下の研究[M. Billinghurst, H. Kato and I. Poupyrev. The Magic Book：An interface that moves seamlessly between reality and virtuality. IEEE Computer Graphics and Applications, 21(3)：6-8, May/June 2001,]にならい、インタフェースとしてリアルワールド・ブックを使い、固有の仮想環境が選択される。異なる基準マーカは、各ページにプリントされ、色々な環境と結びつく。傍観者は、ただ適切な仮想環境を求めて、ブックのページをめくるだけである。
【０１０７】
類似する技術が、共同実演者と身体を使っての相互コミュニケーションに用いられている。例として、マンガ風の環境が、図１３で示されている。パドルを使用して、共同実演者の頭上に「かなとこ」（anvil）や爆弾のようなマンガ上の物を落とす。実時間で共同実演者は、これを逃れようとする。仮想視野システムの距離マップを使って、この共同実演者の平均位置を計算することができるので、衝突検知システムを実現することができる。
【０１０８】
傍観者は、パドルを物体のすぐ横に置くことにより、この物体を倉庫からすくいあげることができる。彼は、パドルが共同実演者の真上にある時にパドルを傾けて持つことで、物体を落とす。実世界での傍観者と、仮想環境にいるその共同実演者との間で行われるこの種の共同の作業は、重要なことであり、これ以前においてはなされていない。
【０１０９】
〔結果〕
シルエットから形状を作成するという新しいアルゴリズムの説明をしてきた。このアルゴリズムは、新しい視点からの深度マップと共に、実時間での生きている対象者（物）の新しい視点からの映像の生成が可能である。これは、先に発表された他の研究と較べ、性能の多大な増加を意味する。撮影できる領域の量も、対象になる物体が全てのカメラの映像で捉えられていなければならないという仮定を緩めることで拡大することができる。
【０１１０】
本アルゴリズムの効率がよいので、実時間の共同作業の応用を開発することができる。拡大現実を基にしたビデオ会議システムでは、共同実演者の画像は実世界の三次元マーカに重ね合わされて表現される。ユーザにとっては、この共同実演者はこの同じ状況の中に存在するかのように見える。このシステムが、拡大現実におけるライブ三次元コンテンツの最初の実例である。更に、これは、言語をともなわない意志伝達等、以前のビデオ会議では、制限になっていた幾つかの問題を解決したシステムである。
【０１１１】
バーチャル・ビューポイント・システムは、仮想環境での共同作業のためのライブ三次元ビデオ人形を生成する。これは、実際のコンテンツを仮想環境へと招き入れる拡大現実の用例である。前項で述べたように、傍観者は、常に適正な共同実演者の画像を見ているが、この場合は、両者共に、仮想空間に存在している。共同実演者が映し出されている広い領域は、この仮想空間内での動きや、実世界の側面を見せる動作、しぐさをさせるようになっている。
【０１１２】
最後に、「実体的」（tangible）な相互コミュニケーションを使い、ユーザが三次元世界にいる共同実演者といかに自然に相互コミュニケーションを図ることができるかを示した。共同実演者が、ユーザが落とした物体を避けて、ひらりと身をかわすというゲームの例が挙げられた。実世界での適用となると、インテリアデザインヘの適用がある。この場合、客が実世界に、例え留まっている場合でも、デザイナーは、仮想環境のコンテンツを操るといったものである。この共同作業インタフェースはIshiiの実体的なユーザインタフェース・メタファーの変形である[H. Ishii and B. Ulmer, Tangible bits：towards seamless interfaces between people, bits and atoms, In Proceedings of CHI 197. Atlanta, Georgia, USA, 1997]。
【０１１３】
本発明の処理とシステムは、ブロック図の機能的モジュールとして説明された。断っていない限り、一つ或いはそれ以上の機能は、単一の実際の装置、若しくは、ソフトウエア製品中のソフトウエア・モジュールの中へと統合される、或いは、一つ或いはそれ以上の機能は、別々の複数の実際の装置、若しくは単一の場所でのソフトウエア・モジュール、若しくは、ネットワーク上で分散されて実現されている。
【０１１４】
各モジュールの実際の実現についての詳細な解説は、本発明を理解する上で必要ではないことは、評価されるべきことである。実際の実現は、システムの特質、機能性、及びシステム内の様々な機能に係るモジュールの相互関係のディスクロージャーが行われた場合、プログラマーやシステムエンジニアにとって、充分に彼等の普段における仕事の範囲内といえる。この技術の当業者にとっては、過度の準備実験をせず、通常の技術をもってして、本発明の実現は可能である。
【０１１５】
本発明は、ここで記述された実現に沿って説明がされてきたが、この技術に優れた技術者には、本発明の範囲と意図からは逸脱せずに多様な修正、改善がなされるであろうことは明白である。従って、本発明は記述されている特定の実現に止まるのではなく、ここに添付された特許請求の範囲のみで制限されるものである。
【図面の簡単な説明】
【０１１６】
【図１】本発明の一実現方法であるバーチャル・ビューポイント・システムのシステムアーキテクチャを説明する画像ブロック図である。
【図２】本発明の一実現方法であるバーチャル・ビューポイント・システムの要素、機能、プロセスを説明する図である。
【図３】視野作成過程での実際のカメラと仮想カメラの関連視点を説明する図である。
【図４】視点の妨害問題を解決するための実際のカメラと仮想カメラの関連視点を説明する図である。
【図５】本発明の遠隔共同作業の概念に関する図である。
【図６】本発明の一実現方法により、ビデオ会議でのバーチャル・ビューポイントの概念の適用とユーザインタフェースを説明する図である。
【図７】マーカ（印）の認識と方向予測を説明する図である。
【図８】シルエットから形状を作ることで仮想視点を作る方法を示した図である。
【図９】映像の輪郭と、実際における三次元の形の違いを説明する図である。
【図１０】本発明に係るバーチャル・ビューポイントの概念を導入したビデオ会議システムを説明した図である。
【図１１】デスクトップ三次元拡大現実ビデオ会議の模様を説明した図である。
【図１２】バーチャル・ビューポイントの概念を導入して創られたものであり、参加者が協力者と共に仮想アートギャラリーを探索する流れのいくつかのフレームを説明する図である。
【図１３】この発明によるバーチャル・ビューポイントの概念を導入して創られている拡大現実内にいるユーザと拡大現実内にいる共同実演者の間で、両者の互いに対する作用を示す一連の実体的な対応を説明する図である。
Claims (1)
- 仮想現実環境における仮想視点で、次の各段階により、対象物のビデオ画像を描画する方法。
（ａ）前記対象物を異なる視野でみられるように複数のビデオカメラを配置する段階
（ｂ）前記異なる視野で前記対象物のビデオ画像をデジタル的にキャプチャする段階
（ｃ）実時間で前記対象物の三次元ビデオ画像のモデルを作成する段階
（ｄ）異なる視点で視聴者のための仮想画像を計算する段階
（ｇ）視聴者の視点に従って、前記仮想画像を前記仮想現実環境に組み込む段階
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US26460401P | 2001-01-26 | 2001-01-26 | |
| US26459601P | 2001-01-26 | 2001-01-26 | |
| PCT/US2002/002680 WO2002069272A2 (en) | 2001-01-26 | 2002-01-28 | Real-time virtual viewpoint in simulated reality environment |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004537082A true JP2004537082A (ja) | 2004-12-09 |
Family
ID=26950647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002568313A Pending JP2004537082A (ja) | 2001-01-26 | 2002-01-28 | 仮想現実環境における実時間バーチャル・ビューポイント |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20020158873A1 (ja) |
| EP (1) | EP1371019A2 (ja) |
| JP (1) | JP2004537082A (ja) |
| AU (1) | AU2002303082A1 (ja) |
| WO (1) | WO2002069272A2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006313549A (ja) * | 2005-05-03 | 2006-11-16 | Seac02 Srl | 実マーカオブジェクトを識別する拡張現実システム |
| JP2007141228A (ja) * | 2005-11-15 | 2007-06-07 | Sharp Corp | 自由視点におけるバーチャルビューの特定および合成 |
| JP2012146305A (ja) * | 2011-01-13 | 2012-08-02 | Pantech Co Ltd | ウィンドウ状の拡張現実を提供する装置および方法 |
| JP2015049586A (ja) * | 2013-08-30 | 2015-03-16 | 日本電信電話株式会社 | 計測値分類装置及び方法及びプログラム |
| JP2016515325A (ja) * | 2013-02-20 | 2016-05-26 | マイクロソフト テクノロジー ライセンシング，エルエルシー | 鏡のメタファを使用した遠隔没入型体験の提供 |
| JP2018018212A (ja) * | 2016-07-26 | 2018-02-01 | セコム株式会社 | 仮想カメラ画像生成装置 |
| JP2018042237A (ja) * | 2016-08-31 | 2018-03-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP2018055390A (ja) * | 2016-09-29 | 2018-04-05 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| WO2018070266A1 (ja) * | 2016-10-13 | 2018-04-19 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| JP2018142959A (ja) * | 2018-02-23 | 2018-09-13 | 大日本印刷株式会社 | コンテンツ表示装置、眼鏡、コンテンツ処理システム及びコンテンツ表示プログラム |
| JP2018141970A (ja) * | 2018-02-23 | 2018-09-13 | 大日本印刷株式会社 | 映像コンテンツ表示装置、眼鏡、映像コンテンツ処理システム及び映像コンテンツ表示プログラム |
| US11086927B2 (en) | 2015-10-07 | 2021-08-10 | Google Llc | Displaying objects based on a plurality of models |
Families Citing this family (331)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4649050B2 (ja) * | 2001-03-13 | 2011-03-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び制御プログラム |
| US7301547B2 (en) * | 2002-03-22 | 2007-11-27 | Intel Corporation | Augmented reality system |
| US20030227453A1 (en) * | 2002-04-09 | 2003-12-11 | Klaus-Peter Beier | Method, system and computer program product for automatically creating an animated 3-D scenario from human position and path data |
| US7646372B2 (en) | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
| US7883415B2 (en) | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
| US8797260B2 (en) | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
| US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
| US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
| US8686939B2 (en) | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
| US8313380B2 (en) | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
| US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
| US9682319B2 (en) | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
| US7134080B2 (en) * | 2002-08-23 | 2006-11-07 | International Business Machines Corporation | Method and system for a user-following interface |
| US20040113887A1 (en) * | 2002-08-27 | 2004-06-17 | University Of Southern California | partially real and partially simulated modular interactive environment |
| US8458028B2 (en) * | 2002-10-16 | 2013-06-04 | Barbaro Technologies | System and method for integrating business-related content into an electronic game |
| US7307654B2 (en) | 2002-10-31 | 2007-12-11 | Hewlett-Packard Development Company, L.P. | Image capture and viewing system and method for generating a synthesized image |
| AU2003303111A1 (en) * | 2002-11-29 | 2004-07-29 | Bracco Imaging, S.P.A. | Method and system for scaling control in 3d displays |
| US20040166484A1 (en) * | 2002-12-20 | 2004-08-26 | Mark Alan Budke | System and method for simulating training scenarios |
| US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| US8072470B2 (en) * | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| JP4262011B2 (ja) * | 2003-07-30 | 2009-05-13 | キヤノン株式会社 | 画像提示方法及び装置 |
| JP2005050037A (ja) * | 2003-07-31 | 2005-02-24 | Canon Inc | 画像処理方法および装置 |
| US8323106B2 (en) | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
| US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
| US8287373B2 (en) | 2008-12-05 | 2012-10-16 | Sony Computer Entertainment Inc. | Control device for communicating visual information |
| US9573056B2 (en) | 2005-10-26 | 2017-02-21 | Sony Interactive Entertainment Inc. | Expandable control device via hardware attachment |
| EP1524494A1 (en) * | 2003-10-17 | 2005-04-20 | inos Automationssoftware GmbH | Method for calibrating a camera-laser-unit in respect to a calibration-object |
| US7663689B2 (en) | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
| US7755608B2 (en) * | 2004-01-23 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Systems and methods of interfacing with a machine |
| US7865834B1 (en) * | 2004-06-25 | 2011-01-04 | Apple Inc. | Multi-way video conferencing user interface |
| WO2006014480A2 (en) * | 2004-07-08 | 2006-02-09 | Actuality Systems, Inc. | Architecture for rendering graphics on output devices over diverse connections |
| US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
| GB2417628A (en) * | 2004-08-26 | 2006-03-01 | Sharp Kk | Creating a new image from two images of a scene |
| GB2418827B (en) * | 2004-09-28 | 2010-11-10 | British Broadcasting Corp | Method and system for providing a volumetric representation of a 3-Dimensional object |
| WO2006053271A1 (en) | 2004-11-12 | 2006-05-18 | Mok3, Inc. | Method for inter-scene transitions |
| EP1814101A1 (en) * | 2004-11-19 | 2007-08-01 | Daem Interactive, Sl | Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method |
| DE102005009437A1 (de) * | 2005-03-02 | 2006-09-07 | Kuka Roboter Gmbh | Verfahren und Vorrichtung zum Einblenden von AR-Objekten |
| JP4726194B2 (ja) * | 2005-04-01 | 2011-07-20 | キヤノン株式会社 | キャリブレーション方法及び装置 |
| DE102006025096B4 (de) * | 2006-05-23 | 2012-03-29 | Seereal Technologies S.A. | Verfahren und Einrichtung zum Rendern und Generieren computer-generierter Videohologramme |
| US7768527B2 (en) * | 2006-05-31 | 2010-08-03 | Beihang University | Hardware-in-the-loop simulation system and method for computer vision |
| US8021160B2 (en) * | 2006-07-22 | 2011-09-20 | Industrial Technology Research Institute | Learning assessment method and device using a virtual tutor |
| US8310656B2 (en) | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
| US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
| USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| CA2669409C (en) | 2006-11-13 | 2019-09-17 | Everyscape, Inc. | Method for scripting inter-scene transitions |
| US20100138745A1 (en) * | 2006-11-15 | 2010-06-03 | Depth Analysis Pty Ltd. | Systems and methods for managing the production of a free-viewpoint and video-based animation |
| FR2911707B1 (fr) * | 2007-01-22 | 2009-07-10 | Total Immersion Sa | Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video. |
| KR100893526B1 (ko) * | 2007-01-30 | 2009-04-17 | 삼성전자주식회사 | 시뮬레이션 방법 및 장치 |
| US9003304B2 (en) * | 2007-08-16 | 2015-04-07 | International Business Machines Corporation | Method and apparatus for moving an avatar in a virtual universe |
| US8345049B2 (en) * | 2007-08-16 | 2013-01-01 | International Business Machine Corporation | Method and apparatus for predicting avatar movement in a virtual universe |
| US7990387B2 (en) * | 2007-08-16 | 2011-08-02 | International Business Machines Corporation | Method and apparatus for spawning projected avatars in a virtual universe |
| US20090089685A1 (en) * | 2007-09-28 | 2009-04-02 | Mordecai Nicole Y | System and Method of Communicating Between A Virtual World and Real World |
| US8397168B2 (en) | 2008-04-05 | 2013-03-12 | Social Communications Company | Interfacing with a spatial virtual communication environment |
| US9357025B2 (en) | 2007-10-24 | 2016-05-31 | Social Communications Company | Virtual area based telephony communications |
| US9009603B2 (en) | 2007-10-24 | 2015-04-14 | Social Communications Company | Web browser interface for spatial communication environments |
| US8073190B2 (en) * | 2007-11-16 | 2011-12-06 | Sportvision, Inc. | 3D textured objects for virtual viewpoint animations |
| US8154633B2 (en) * | 2007-11-16 | 2012-04-10 | Sportvision, Inc. | Line removal and object detection in an image |
| US8466913B2 (en) * | 2007-11-16 | 2013-06-18 | Sportvision, Inc. | User interface for accessing virtual viewpoint animations |
| US9041722B2 (en) * | 2007-11-16 | 2015-05-26 | Sportvision, Inc. | Updating background texture for virtual viewpoint animations |
| US8049750B2 (en) * | 2007-11-16 | 2011-11-01 | Sportvision, Inc. | Fading techniques for virtual viewpoint animations |
| US8127235B2 (en) | 2007-11-30 | 2012-02-28 | International Business Machines Corporation | Automatic increasing of capacity of a virtual space in a virtual world |
| US8542907B2 (en) | 2007-12-17 | 2013-09-24 | Sony Computer Entertainment America Llc | Dynamic three-dimensional object mapping for user-defined control device |
| US20090164919A1 (en) | 2007-12-24 | 2009-06-25 | Cary Lee Bates | Generating data for managing encounters in a virtual world environment |
| US20090172557A1 (en) * | 2008-01-02 | 2009-07-02 | International Business Machines Corporation | Gui screen sharing between real pcs in the real world and virtual pcs in the virtual world |
| US9035876B2 (en) | 2008-01-14 | 2015-05-19 | Apple Inc. | Three-dimensional user interface session control |
| US8933876B2 (en) | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
| WO2009108645A1 (en) | 2008-02-27 | 2009-09-03 | Sony Computer Entertainment America Inc. | Methods for capturing depth data of a scene and applying computer actions |
| US8368753B2 (en) | 2008-03-17 | 2013-02-05 | Sony Computer Entertainment America Llc | Controller with an integrated depth camera |
| US8737721B2 (en) | 2008-05-07 | 2014-05-27 | Microsoft Corporation | Procedural authoring |
| US8671349B2 (en) * | 2008-05-15 | 2014-03-11 | International Business Machines Corporation | Virtual universe teleportation suggestion service |
| US8204299B2 (en) * | 2008-06-12 | 2012-06-19 | Microsoft Corporation | 3D content aggregation built into devices |
| WO2009152769A1 (zh) * | 2008-06-17 | 2009-12-23 | 深圳华为通信技术有限公司 | 视频通讯方法、装置及系统 |
| US9291565B2 (en) * | 2008-07-24 | 2016-03-22 | Massachusetts Institute Of Technology | Three dimensional scanning using membrane with optical features |
| US9170200B2 (en) | 2008-07-24 | 2015-10-27 | Massachusetts Institute Of Technology | Inflatable membrane with hazard mitigation |
| US9140649B2 (en) | 2008-07-24 | 2015-09-22 | Massachusetts Institute Of Technology | Inflatable membrane having non-uniform inflation characteristic |
| US9170199B2 (en) | 2008-07-24 | 2015-10-27 | Massachusetts Institute Of Technology | Enhanced sensors in three dimensional scanning system |
| US8106924B2 (en) * | 2008-07-31 | 2012-01-31 | Stmicroelectronics S.R.L. | Method and system for video rendering, computer program product therefor |
| US20100048290A1 (en) * | 2008-08-19 | 2010-02-25 | Sony Computer Entertainment Europe Ltd. | Image combining method, system and apparatus |
| TWI463864B (zh) * | 2008-08-29 | 2014-12-01 | Thomson Licensing | 具試探式視圖融合之視圖合成 |
| US8427424B2 (en) | 2008-09-30 | 2013-04-23 | Microsoft Corporation | Using physical objects in conjunction with an interactive surface |
| KR101468267B1 (ko) | 2008-10-02 | 2014-12-15 | 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 | 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출 |
| US8156054B2 (en) | 2008-12-04 | 2012-04-10 | At&T Intellectual Property I, L.P. | Systems and methods for managing interactions between an individual and an entity |
| US8961313B2 (en) | 2009-05-29 | 2015-02-24 | Sony Computer Entertainment America Llc | Multi-positional three-dimensional controller |
| US8908995B2 (en) | 2009-01-12 | 2014-12-09 | Intermec Ip Corp. | Semi-automatic dimensioning with imager on a portable device |
| EP2389664A1 (en) * | 2009-01-21 | 2011-11-30 | Georgia Tech Research Corporation | Character animation control interface using motion capture |
| US9633465B2 (en) * | 2009-02-28 | 2017-04-25 | International Business Machines Corporation | Altering avatar appearances based on avatar population in a virtual universe |
| US10482428B2 (en) * | 2009-03-10 | 2019-11-19 | Samsung Electronics Co., Ltd. | Systems and methods for presenting metaphors |
| WO2010103482A2 (en) * | 2009-03-13 | 2010-09-16 | Primesense Ltd. | Enhanced 3d interfacing for remote devices |
| US8527657B2 (en) | 2009-03-20 | 2013-09-03 | Sony Computer Entertainment America Llc | Methods and systems for dynamically adjusting update rates in multi-player network gaming |
| US9489039B2 (en) | 2009-03-27 | 2016-11-08 | At&T Intellectual Property I, L.P. | Systems and methods for presenting intermediaries |
| US8342963B2 (en) | 2009-04-10 | 2013-01-01 | Sony Computer Entertainment America Inc. | Methods and systems for enabling control of artificial intelligence game characters |
| US8142288B2 (en) | 2009-05-08 | 2012-03-27 | Sony Computer Entertainment America Llc | Base station movement detection and compensation |
| US8393964B2 (en) | 2009-05-08 | 2013-03-12 | Sony Computer Entertainment America Llc | Base station for position location |
| US8933925B2 (en) * | 2009-06-15 | 2015-01-13 | Microsoft Corporation | Piecewise planar reconstruction of three-dimensional scenes |
| US9129644B2 (en) * | 2009-06-23 | 2015-09-08 | Disney Enterprises, Inc. | System and method for rendering in accordance with location of virtual objects in real-time |
| US8508580B2 (en) | 2009-07-31 | 2013-08-13 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene |
| US9380292B2 (en) | 2009-07-31 | 2016-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene |
| US8436893B2 (en) | 2009-07-31 | 2013-05-07 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images |
| US9179888B2 (en) * | 2009-08-28 | 2015-11-10 | Dartmouth College | System and method for providing patient registration without fiducials |
| US20110065496A1 (en) * | 2009-09-11 | 2011-03-17 | Wms Gaming, Inc. | Augmented reality mechanism for wagering game systems |
| US20110084983A1 (en) * | 2009-09-29 | 2011-04-14 | Wavelength & Resonance LLC | Systems and Methods for Interaction With a Virtual Environment |
| US8564534B2 (en) | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
| US7961910B2 (en) * | 2009-10-07 | 2011-06-14 | Microsoft Corporation | Systems and methods for tracking a model |
| US8963829B2 (en) * | 2009-10-07 | 2015-02-24 | Microsoft Corporation | Methods and systems for determining and tracking extremities of a target |
| US8867820B2 (en) | 2009-10-07 | 2014-10-21 | Microsoft Corporation | Systems and methods for removing a background of an image |
| US8643701B2 (en) | 2009-11-18 | 2014-02-04 | University Of Illinois At Urbana-Champaign | System for executing 3D propagation for depth image-based rendering |
| US9667887B2 (en) * | 2009-11-21 | 2017-05-30 | Disney Enterprises, Inc. | Lens distortion method for broadcast video |
| KR101271460B1 (ko) * | 2009-12-02 | 2013-06-05 | 한국전자통신연구원 | 영상 복원 장치 및 그 방법 |
| KR20110070056A (ko) * | 2009-12-18 | 2011-06-24 | 한국전자통신연구원 | 사용자 맞춤형 고품질 3ｄ 아바타 생성 방법 및 그 장치 |
| DE102009058802B4 (de) * | 2009-12-18 | 2018-03-29 | Airbus Operations Gmbh | Anordnung zur kombinierten Darstellung eines realen und eines virtuellen Modells |
| US20110164032A1 (en) * | 2010-01-07 | 2011-07-07 | Prime Sense Ltd. | Three-Dimensional User Interface |
| US20110175918A1 (en) * | 2010-01-21 | 2011-07-21 | Cheng-Yun Karen Liu | Character animation control interface using motion capure |
| US8730309B2 (en) | 2010-02-23 | 2014-05-20 | Microsoft Corporation | Projectors and depth cameras for deviceless augmented reality and interaction |
| EP2375376B1 (en) * | 2010-03-26 | 2013-09-11 | Alcatel Lucent | Method and arrangement for multi-camera calibration |
| US9628722B2 (en) | 2010-03-30 | 2017-04-18 | Personify, Inc. | Systems and methods for embedding a foreground video into a background feed based on a control input |
| US8818028B2 (en) | 2010-04-09 | 2014-08-26 | Personify, Inc. | Systems and methods for accurate user foreground video extraction |
| KR20110116525A (ko) * | 2010-04-19 | 2011-10-26 | 엘지전자 주식회사 | 3ｄ 오브젝트를 제공하는 영상표시장치, 그 시스템 및 그 동작 제어방법 |
| US9053573B2 (en) * | 2010-04-29 | 2015-06-09 | Personify, Inc. | Systems and methods for generating a virtual camera viewpoint for an image |
| JP4971483B2 (ja) | 2010-05-14 | 2012-07-11 | 任天堂株式会社 | 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法 |
| US9183560B2 (en) * | 2010-05-28 | 2015-11-10 | Daniel H. Abelow | Reality alternate |
| EP2395474A3 (en) * | 2010-06-11 | 2014-03-26 | Nintendo Co., Ltd. | Storage medium having image recognition program stored therein, image recognition apparatus, image recognition system, and image recognition method |
| EP2405402A1 (en) * | 2010-07-06 | 2012-01-11 | EADS Construcciones Aeronauticas, S.A. | Method and system for assembling components |
| US9201501B2 (en) | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
| CN102959616B (zh) | 2010-07-20 | 2015-06-10 | 苹果公司 | 自然交互的交互真实性增强 |
| FR2963470A1 (fr) * | 2010-07-29 | 2012-02-03 | 3Dtv Solutions | Procede et dispositif de montage audiovisuel |
| JP5769392B2 (ja) * | 2010-08-26 | 2015-08-26 | キヤノン株式会社 | 情報処理装置およびその方法 |
| US8649592B2 (en) | 2010-08-30 | 2014-02-11 | University Of Illinois At Urbana-Champaign | System for background subtraction with 3D camera |
| US8959013B2 (en) | 2010-09-27 | 2015-02-17 | Apple Inc. | Virtual keyboard for a non-tactile three dimensional user interface |
| WO2012048252A1 (en) | 2010-10-07 | 2012-04-12 | Aria Glassworks, Inc. | System and method for transitioning between interface modes in virtual and augmented reality applications |
| US9185388B2 (en) | 2010-11-03 | 2015-11-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
| WO2012071466A2 (en) | 2010-11-24 | 2012-05-31 | Aria Glassworks, Inc. | System and method for acquiring virtual and augmented reality scenes by a user |
| US9041743B2 (en) | 2010-11-24 | 2015-05-26 | Aria Glassworks, Inc. | System and method for presenting virtual and augmented reality scenes to a user |
| US9070219B2 (en) | 2010-11-24 | 2015-06-30 | Aria Glassworks, Inc. | System and method for presenting virtual and augmented reality scenes to a user |
| US8872762B2 (en) | 2010-12-08 | 2014-10-28 | Primesense Ltd. | Three dimensional user interface cursor control |
| US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
| US10200671B2 (en) | 2010-12-27 | 2019-02-05 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
| US8274552B2 (en) | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
| WO2012092246A2 (en) | 2010-12-27 | 2012-07-05 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation |
| US8953022B2 (en) * | 2011-01-10 | 2015-02-10 | Aria Glassworks, Inc. | System and method for sharing virtual and augmented reality scenes between users and viewers |
| KR101338700B1 (ko) * | 2011-01-27 | 2013-12-06 | 주식회사 팬택 | 마커를 분할해서 공유하는 증강 현실 시스템 및 그 방법 |
| WO2012107892A2 (en) | 2011-02-09 | 2012-08-16 | Primesense Ltd. | Gaze detection in a 3d mapping environment |
| US9329469B2 (en) | 2011-02-17 | 2016-05-03 | Microsoft Technology Licensing, Llc | Providing an interactive experience using a 3D depth camera and a 3D projector |
| US9480907B2 (en) | 2011-03-02 | 2016-11-01 | Microsoft Technology Licensing, Llc | Immersive display with peripheral illusions |
| US9118970B2 (en) | 2011-03-02 | 2015-08-25 | Aria Glassworks, Inc. | System and method for embedding and viewing media files within a virtual and augmented reality scene |
| US8810598B2 (en) | 2011-04-08 | 2014-08-19 | Nant Holdings Ip, Llc | Interference based augmented reality hosting platforms |
| US9342886B2 (en) * | 2011-04-29 | 2016-05-17 | Qualcomm Incorporated | Devices, methods, and apparatuses for homography evaluation involving a mobile device |
| CA2835120C (en) | 2011-05-06 | 2019-05-28 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
| US8884949B1 (en) | 2011-06-06 | 2014-11-11 | Thibault Lambert | Method and system for real time rendering of objects from a low resolution depth camera |
| US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
| US9459758B2 (en) | 2011-07-05 | 2016-10-04 | Apple Inc. | Gesture-based interface with enhanced features |
| US9377865B2 (en) | 2011-07-05 | 2016-06-28 | Apple Inc. | Zoom-based gesture user interface |
| US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
| EP2546806B1 (en) * | 2011-07-11 | 2019-05-08 | Deutsche Telekom AG | Image based rendering for ar - enabling user generation of 3d content |
| US9030498B2 (en) | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
| US9153195B2 (en) | 2011-08-17 | 2015-10-06 | Microsoft Technology Licensing, Llc | Providing contextual personal information by a mixed reality device |
| US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
| WO2013028908A1 (en) | 2011-08-24 | 2013-02-28 | Microsoft Corporation | Touch and social cues as inputs into a computer |
| US9218063B2 (en) | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
| US9122311B2 (en) | 2011-08-24 | 2015-09-01 | Apple Inc. | Visual feedback for tactile and non-tactile user interfaces |
| CA2883484A1 (en) | 2011-09-08 | 2013-03-14 | Paofit Holdings Pte Ltd | System and method for visualizing synthetic objects withinreal-world video clip |
| US20130101158A1 (en) * | 2011-10-21 | 2013-04-25 | Honeywell International Inc. | Determining dimensions associated with an object |
| US9497501B2 (en) | 2011-12-06 | 2016-11-15 | Microsoft Technology Licensing, Llc | Augmented reality virtual monitor |
| US20130215109A1 (en) * | 2012-02-22 | 2013-08-22 | Silka Miesnieks | Designating Real World Locations for Virtual World Control |
| US9229534B2 (en) | 2012-02-28 | 2016-01-05 | Apple Inc. | Asymmetric mapping for tactile and non-tactile user interfaces |
| NL2008490C2 (nl) * | 2012-03-15 | 2013-09-18 | Ooms Otto Bv | Werkwijze, inrichting en computerprogramma voor het extraheren van informatie over een of meerdere ruimtelijke objecten. |
| WO2013144807A1 (en) | 2012-03-26 | 2013-10-03 | Primesense Ltd. | Enhanced virtual touchpad and touchscreen |
| US9779546B2 (en) | 2012-05-04 | 2017-10-03 | Intermec Ip Corp. | Volume dimensioning systems and methods |
| US10007858B2 (en) | 2012-05-15 | 2018-06-26 | Honeywell International Inc. | Terminals and methods for dimensioning objects |
| US9025860B2 (en) | 2012-08-06 | 2015-05-05 | Microsoft Technology Licensing, Llc | Three-dimensional object browsing in documents |
| US10321127B2 (en) | 2012-08-20 | 2019-06-11 | Intermec Ip Corp. | Volume dimensioning system calibration systems and methods |
| GB201216210D0 (en) | 2012-09-12 | 2012-10-24 | Appeartome Ltd | Augmented reality apparatus and method |
| US8982175B2 (en) * | 2012-09-28 | 2015-03-17 | Tangome, Inc. | Integrating a video with an interactive activity |
| US9626799B2 (en) | 2012-10-02 | 2017-04-18 | Aria Glassworks, Inc. | System and method for dynamically displaying multiple virtual and augmented reality scenes on a single display |
| US9939259B2 (en) | 2012-10-04 | 2018-04-10 | Hand Held Products, Inc. | Measuring object dimensions using mobile computer |
| US9841311B2 (en) | 2012-10-16 | 2017-12-12 | Hand Held Products, Inc. | Dimensioning system |
| GB2499694B8 (en) * | 2012-11-09 | 2017-06-07 | Sony Computer Entertainment Europe Ltd | System and method of image reconstruction |
| US9080856B2 (en) | 2013-03-13 | 2015-07-14 | Intermec Ip Corp. | Systems and methods for enhancing dimensioning, for example volume dimensioning |
| US10769852B2 (en) | 2013-03-14 | 2020-09-08 | Aria Glassworks, Inc. | Method for simulating natural perception in virtual and augmented reality scenes |
| US10228452B2 (en) | 2013-06-07 | 2019-03-12 | Hand Held Products, Inc. | Method of error correction for 3D imaging device |
| US9392248B2 (en) * | 2013-06-11 | 2016-07-12 | Google Inc. | Dynamic POV composite 3D video system |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9464885B2 (en) | 2013-08-30 | 2016-10-11 | Hand Held Products, Inc. | System and method for package dimensioning |
| US9582516B2 (en) | 2013-10-17 | 2017-02-28 | Nant Holdings Ip, Llc | Wide area augmented reality location-based services |
| US9774548B2 (en) | 2013-12-18 | 2017-09-26 | Personify, Inc. | Integrating user personas with chat sessions |
| US9485433B2 (en) | 2013-12-31 | 2016-11-01 | Personify, Inc. | Systems and methods for iterative adjustment of video-capture settings based on identified persona |
| US9414016B2 (en) | 2013-12-31 | 2016-08-09 | Personify, Inc. | System and methods for persona identification using combined probability maps |
| US9386303B2 (en) | 2013-12-31 | 2016-07-05 | Personify, Inc. | Transmitting video and sharing content via a network using multiple encoding techniques |
| US9524588B2 (en) * | 2014-01-24 | 2016-12-20 | Avaya Inc. | Enhanced communication between remote participants using augmented and virtual reality |
| US10977864B2 (en) | 2014-02-21 | 2021-04-13 | Dropbox, Inc. | Techniques for capturing and displaying partial motion in virtual or augmented reality scenes |
| CN103886808B (zh) * | 2014-02-21 | 2016-02-24 | 北京京东方光电科技有限公司 | 显示方法和显示装置 |
| US9883138B2 (en) | 2014-02-26 | 2018-01-30 | Microsoft Technology Licensing, Llc | Telepresence experience |
| US9613448B1 (en) | 2014-03-14 | 2017-04-04 | Google Inc. | Augmented display of information in a device view of a display screen |
| GB201404990D0 (en) | 2014-03-20 | 2014-05-07 | Appeartome Ltd | Augmented reality apparatus and method |
| US10321117B2 (en) * | 2014-04-11 | 2019-06-11 | Lucasfilm Entertainment Company Ltd. | Motion-controlled body capture and reconstruction |
| GB201410285D0 (en) * | 2014-06-10 | 2014-07-23 | Appeartome Ltd | Augmented reality apparatus and method |
| CN104008571B (zh) * | 2014-06-12 | 2017-01-18 | 深圳奥比中光科技有限公司 | 基于深度相机的人体模型获取方法及网络虚拟试衣系统 |
| CN104143212A (zh) * | 2014-07-02 | 2014-11-12 | 惠州Tcl移动通信有限公司 | 基于穿戴设备的增强现实方法及系统 |
| WO2016012041A1 (en) * | 2014-07-23 | 2016-01-28 | Metaio Gmbh | Method and system for presenting at least part of an image of a real object in a view of a real environment, and method and system for selecting a subset of a plurality of images |
| US9823059B2 (en) | 2014-08-06 | 2017-11-21 | Hand Held Products, Inc. | Dimensioning system with guided alignment |
| US10810715B2 (en) | 2014-10-10 | 2020-10-20 | Hand Held Products, Inc | System and method for picking validation |
| US10775165B2 (en) | 2014-10-10 | 2020-09-15 | Hand Held Products, Inc. | Methods for improving the accuracy of dimensioning-system measurements |
| US9779276B2 (en) | 2014-10-10 | 2017-10-03 | Hand Held Products, Inc. | Depth sensor based auto-focus system for an indicia scanner |
| US9557166B2 (en) | 2014-10-21 | 2017-01-31 | Hand Held Products, Inc. | Dimensioning system with multipath interference mitigation |
| US9897434B2 (en) | 2014-10-21 | 2018-02-20 | Hand Held Products, Inc. | Handheld dimensioning system with measurement-conformance feedback |
| US10060729B2 (en) | 2014-10-21 | 2018-08-28 | Hand Held Products, Inc. | Handheld dimensioner with data-quality indication |
| US9752864B2 (en) | 2014-10-21 | 2017-09-05 | Hand Held Products, Inc. | Handheld dimensioning system with feedback |
| US9762793B2 (en) | 2014-10-21 | 2017-09-12 | Hand Held Products, Inc. | System and method for dimensioning |
| US9536320B1 (en) * | 2014-12-23 | 2017-01-03 | John H. Prince | Multiple coordinated detectors for examination and ranging |
| US9671931B2 (en) * | 2015-01-04 | 2017-06-06 | Personify, Inc. | Methods and systems for visually deemphasizing a displayed persona |
| US10404969B2 (en) * | 2015-01-20 | 2019-09-03 | Qualcomm Incorporated | Method and apparatus for multiple technology depth map acquisition and fusion |
| US9756375B2 (en) | 2015-01-22 | 2017-09-05 | Microsoft Technology Licensing, Llc | Predictive server-side rendering of scenes |
| US9786101B2 (en) | 2015-05-19 | 2017-10-10 | Hand Held Products, Inc. | Evaluating image values |
| US9563962B2 (en) | 2015-05-19 | 2017-02-07 | Personify, Inc. | Methods and systems for assigning pixels distance-cost values using a flood fill technique |
| US9916668B2 (en) | 2015-05-19 | 2018-03-13 | Personify, Inc. | Methods and systems for identifying background in video data using geometric primitives |
| US10244224B2 (en) | 2015-05-26 | 2019-03-26 | Personify, Inc. | Methods and systems for classifying pixels as foreground using both short-range depth data and long-range depth data |
| US10066982B2 (en) | 2015-06-16 | 2018-09-04 | Hand Held Products, Inc. | Calibrating a volume dimensioner |
| US10554713B2 (en) | 2015-06-19 | 2020-02-04 | Microsoft Technology Licensing, Llc | Low latency application streaming using temporal frame transformation |
| US20160377414A1 (en) | 2015-06-23 | 2016-12-29 | Hand Held Products, Inc. | Optical pattern projector |
| US9704298B2 (en) * | 2015-06-23 | 2017-07-11 | Paofit Holdings Pte Ltd. | Systems and methods for generating 360 degree mixed reality environments |
| US9857167B2 (en) | 2015-06-23 | 2018-01-02 | Hand Held Products, Inc. | Dual-projector three-dimensional scanner |
| US9835486B2 (en) | 2015-07-07 | 2017-12-05 | Hand Held Products, Inc. | Mobile dimensioner apparatus for use in commerce |
| US10116913B2 (en) * | 2015-07-09 | 2018-10-30 | Doubleme, Inc | 3D virtual reality model sharing and monetization electronic platform system |
| EP3396313B1 (en) | 2015-07-15 | 2020-10-21 | Hand Held Products, Inc. | Mobile dimensioning method and device with dynamic accuracy compatible with nist standard |
| US20170017301A1 (en) | 2015-07-16 | 2017-01-19 | Hand Held Products, Inc. | Adjusting dimensioning results using augmented reality |
| US10094650B2 (en) | 2015-07-16 | 2018-10-09 | Hand Held Products, Inc. | Dimensioning and imaging items |
| CN105874349B (zh) * | 2015-07-31 | 2018-06-12 | 深圳市大疆创新科技有限公司 | 探测装置、探测系统、探测方法，以及可移动设备 |
| US9843766B2 (en) | 2015-08-28 | 2017-12-12 | Samsung Electronics Co., Ltd. | Video communication device and operation thereof |
| US9607397B2 (en) | 2015-09-01 | 2017-03-28 | Personify, Inc. | Methods and systems for generating a user-hair-color model |
| US10249030B2 (en) | 2015-10-30 | 2019-04-02 | Hand Held Products, Inc. | Image transformation for indicia reading |
| US10528021B2 (en) | 2015-10-30 | 2020-01-07 | Rockwell Automation Technologies, Inc. | Automated creation of industrial dashboards and widgets |
| US10225544B2 (en) | 2015-11-19 | 2019-03-05 | Hand Held Products, Inc. | High resolution dot pattern |
| CA2948761A1 (en) * | 2015-11-23 | 2017-05-23 | Wal-Mart Stores, Inc. | Virtual training system |
| US10313281B2 (en) | 2016-01-04 | 2019-06-04 | Rockwell Automation Technologies, Inc. | Delivery of automated notifications by an industrial asset |
| US9569812B1 (en) | 2016-01-07 | 2017-02-14 | Microsoft Technology Licensing, Llc | View rendering from multiple server-side renderings |
| US10025314B2 (en) | 2016-01-27 | 2018-07-17 | Hand Held Products, Inc. | Vehicle positioning and object avoidance |
| EP3223245B1 (en) | 2016-03-24 | 2024-04-24 | Ecole Nationale de l'Aviation Civile | Point of view selection in virtual 3d environment |
| US10551826B2 (en) * | 2016-03-24 | 2020-02-04 | Andrei Popa-Simil | Method and system to increase operator awareness |
| US10150034B2 (en) | 2016-04-11 | 2018-12-11 | Charles Chungyohl Lee | Methods and systems for merging real world media within a virtual world |
| US10257490B2 (en) * | 2016-04-28 | 2019-04-09 | Verizon Patent And Licensing Inc. | Methods and systems for creating and providing a real-time volumetric representation of a real-world event |
| US10339352B2 (en) | 2016-06-03 | 2019-07-02 | Hand Held Products, Inc. | Wearable metrological apparatus |
| US9940721B2 (en) | 2016-06-10 | 2018-04-10 | Hand Held Products, Inc. | Scene change detection in a dimensioner |
| US10218793B2 (en) * | 2016-06-13 | 2019-02-26 | Disney Enterprises, Inc. | System and method for rendering views of a virtual space |
| US9883155B2 (en) | 2016-06-14 | 2018-01-30 | Personify, Inc. | Methods and systems for combining foreground video and background video using chromatic matching |
| US10163216B2 (en) | 2016-06-15 | 2018-12-25 | Hand Held Products, Inc. | Automatic mode switching in a volume dimensioner |
| JP2018005091A (ja) * | 2016-07-06 | 2018-01-11 | 富士通株式会社 | 表示制御プログラム、表示制御方法および表示制御装置 |
| US9906885B2 (en) * | 2016-07-15 | 2018-02-27 | Qualcomm Incorporated | Methods and systems for inserting virtual sounds into an environment |
| US10318570B2 (en) | 2016-08-18 | 2019-06-11 | Rockwell Automation Technologies, Inc. | Multimodal search input for an industrial search platform |
| CN106372591B (zh) * | 2016-08-30 | 2019-05-07 | 湖南强视信息科技有限公司 | 一种面向无人监考的防止虚拟摄像头作弊系统 |
| US10545492B2 (en) | 2016-09-26 | 2020-01-28 | Rockwell Automation Technologies, Inc. | Selective online and offline access to searchable industrial automation data |
| US10401839B2 (en) | 2016-09-26 | 2019-09-03 | Rockwell Automation Technologies, Inc. | Workflow tracking and identification using an industrial monitoring system |
| US10319128B2 (en) | 2016-09-26 | 2019-06-11 | Rockwell Automation Technologies, Inc. | Augmented reality presentation of an industrial environment |
| US9881207B1 (en) | 2016-10-25 | 2018-01-30 | Personify, Inc. | Methods and systems for real-time user extraction using deep learning networks |
| US10388075B2 (en) * | 2016-11-08 | 2019-08-20 | Rockwell Automation Technologies, Inc. | Virtual reality and augmented reality for industrial automation |
| US10735691B2 (en) | 2016-11-08 | 2020-08-04 | Rockwell Automation Technologies, Inc. | Virtual reality and augmented reality for industrial automation |
| US10866631B2 (en) | 2016-11-09 | 2020-12-15 | Rockwell Automation Technologies, Inc. | Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality |
| US10909708B2 (en) | 2016-12-09 | 2021-02-02 | Hand Held Products, Inc. | Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements |
| US10237537B2 (en) | 2017-01-17 | 2019-03-19 | Alexander Sextus Limited | System and method for creating an interactive virtual reality (VR) movie having live action elements |
| WO2018172614A1 (en) | 2017-03-22 | 2018-09-27 | Nokia Technologies Oy | A method and an apparatus and a computer program product for adaptive streaming |
| US11047672B2 (en) | 2017-03-28 | 2021-06-29 | Hand Held Products, Inc. | System for optically dimensioning |
| US10444506B2 (en) * | 2017-04-03 | 2019-10-15 | Microsoft Technology Licensing, Llc | Mixed reality measurement with peripheral tool |
| US10453273B2 (en) * | 2017-04-25 | 2019-10-22 | Microsoft Technology Licensing, Llc | Method and system for providing an object in virtual or semi-virtual space based on a user characteristic |
| GB201709199D0 (en) * | 2017-06-09 | 2017-07-26 | Delamont Dean Lindsay | IR mixed reality and augmented reality gaming system |
| US10733748B2 (en) | 2017-07-24 | 2020-08-04 | Hand Held Products, Inc. | Dual-pattern optical 3D dimensioning |
| US20190066378A1 (en) * | 2017-08-23 | 2019-02-28 | Blueprint Reality Inc. | Personal communication via immersive computing environment |
| US10445944B2 (en) | 2017-11-13 | 2019-10-15 | Rockwell Automation Technologies, Inc. | Augmented reality safety automation zone system and method |
| US10816334B2 (en) | 2017-12-04 | 2020-10-27 | Microsoft Technology Licensing, Llc | Augmented reality measurement and schematic system including tool having relatively movable fiducial markers |
| JP6933727B2 (ja) * | 2017-12-19 | 2021-09-08 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理方法、およびプログラム |
| US10535190B2 (en) | 2017-12-28 | 2020-01-14 | Rovi Guides, Inc. | Systems and methods for changing a users perspective in virtual reality based on a user-selected position |
| US10504274B2 (en) | 2018-01-05 | 2019-12-10 | Microsoft Technology Licensing, Llc | Fusing, texturing, and rendering views of dynamic three-dimensional models |
| US11014242B2 (en) | 2018-01-26 | 2021-05-25 | Microsoft Technology Licensing, Llc | Puppeteering in augmented reality |
| US10584962B2 (en) | 2018-05-01 | 2020-03-10 | Hand Held Products, Inc | System and method for validating physical-item security |
| JP7187182B2 (ja) | 2018-06-11 | 2022-12-12 | キヤノン株式会社 | データ生成装置、方法およびプログラム |
| US11010919B2 (en) | 2018-09-20 | 2021-05-18 | Ford Global Technologies, Llc | Object locator with fiducial marker |
| US10924525B2 (en) | 2018-10-01 | 2021-02-16 | Microsoft Technology Licensing, Llc | Inducing higher input latency in multiplayer programs |
| US11217006B2 (en) * | 2018-10-29 | 2022-01-04 | Verizon Patent And Licensing Inc. | Methods and systems for performing 3D simulation based on a 2D video image |
| JP2020086700A (ja) * | 2018-11-20 | 2020-06-04 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び、表示装置 |
| US10802281B2 (en) | 2018-12-20 | 2020-10-13 | General Electric Company | Periodic lenses systems for augmented reality |
| US10924721B2 (en) * | 2018-12-20 | 2021-02-16 | Intel Corporation | Volumetric video color assignment |
| US10609332B1 (en) | 2018-12-21 | 2020-03-31 | Microsoft Technology Licensing, Llc | Video conferencing supporting a composite video stream |
| US10921878B2 (en) * | 2018-12-27 | 2021-02-16 | Facebook, Inc. | Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration |
| US11516296B2 (en) | 2019-06-18 | 2022-11-29 | THE CALANY Holding S.ÀR.L | Location-based application stream activation |
| CN112102498A (zh) | 2019-06-18 | 2020-12-18 | 明日基金知识产权控股有限公司 | 用于将应用虚拟地附接到动态对象并实现与动态对象的交互的系统和方法 |
| CN112102497A (zh) * | 2019-06-18 | 2020-12-18 | 明日基金知识产权控股有限公司 | 用于将应用和交互附接到静态对象的系统和方法 |
| US11546721B2 (en) | 2019-06-18 | 2023-01-03 | The Calany Holding S.À.R.L. | Location-based application activation |
| US11341727B2 (en) | 2019-06-18 | 2022-05-24 | The Calany Holding S. À R.L. | Location-based platform for multiple 3D engines for delivering location-based 3D content to a user |
| CN110349246B (zh) * | 2019-07-17 | 2023-03-14 | 广西师范大学 | 一种应用于光场绘制中降低视点的重构失真度的方法 |
| US11107184B2 (en) * | 2019-09-17 | 2021-08-31 | Adobe Inc. | Virtual object translation |
| US20210089637A1 (en) * | 2019-09-20 | 2021-03-25 | Micron Technology, Inc. | Methods and apparatus for persistent biometric profiling |
| US11639846B2 (en) | 2019-09-27 | 2023-05-02 | Honeywell International Inc. | Dual-pattern optical 3D dimensioning |
| CN111063034B (zh) * | 2019-12-13 | 2023-08-04 | 四川中绳矩阵技术发展有限公司 | 一种时域交互方法 |
| US20230061935A1 (en) * | 2020-01-02 | 2023-03-02 | Authenitck B.V. | System and method for providing augmented virtuality |
| KR20210123198A (ko) * | 2020-04-02 | 2021-10-13 | 주식회사 제이렙 | 증강 현실 기반의 전기 음향과 건축 음향 통합 시뮬레이션 장치 |
| US11302063B2 (en) * | 2020-07-21 | 2022-04-12 | Facebook Technologies, Llc | 3D conversations in an artificial reality environment |
| US11320896B2 (en) * | 2020-08-03 | 2022-05-03 | Facebook Technologies, Llc. | Systems and methods for object tracking using fused data |
| US11457178B2 (en) | 2020-10-20 | 2022-09-27 | Katmai Tech Inc. | Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof |
| US10979672B1 (en) | 2020-10-20 | 2021-04-13 | Katmai Tech Holdings LLC | Web-based videoconference virtual environment with navigable avatars, and applications thereof |
| US10952006B1 (en) | 2020-10-20 | 2021-03-16 | Katmai Tech Holdings LLC | Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof |
| US11076128B1 (en) | 2020-10-20 | 2021-07-27 | Katmai Tech Holdings LLC | Determining video stream quality based on relative position in a virtual space, and applications thereof |
| US11070768B1 (en) | 2020-10-20 | 2021-07-20 | Katmai Tech Holdings LLC | Volume areas in a three-dimensional virtual conference space, and applications thereof |
| US11095857B1 (en) | 2020-10-20 | 2021-08-17 | Katmai Tech Holdings LLC | Presenter mode in a three-dimensional virtual conference space, and applications thereof |
| US20220139026A1 (en) * | 2020-11-05 | 2022-05-05 | Facebook Technologies, Llc | Latency-Resilient Cloud Rendering |
| US11721064B1 (en) | 2020-12-11 | 2023-08-08 | Meta Platforms Technologies, Llc | Adaptive rate shading using texture atlas |
| US11556172B1 (en) | 2020-12-22 | 2023-01-17 | Meta Platforms Technologies, Llc | Viewpoint coordination on artificial reality models |
| US11800056B2 (en) | 2021-02-11 | 2023-10-24 | Logitech Europe S.A. | Smart webcam system |
| US11800048B2 (en) | 2021-02-24 | 2023-10-24 | Logitech Europe S.A. | Image generating system with background replacement or modification capabilities |
| US11544894B2 (en) | 2021-02-26 | 2023-01-03 | Meta Platforms Technologies, Llc | Latency-resilient cloud rendering |
| US11676324B2 (en) | 2021-03-30 | 2023-06-13 | Meta Platforms Technologies, Llc | Cloud rendering of texture map |
| US11743430B2 (en) | 2021-05-06 | 2023-08-29 | Katmai Tech Inc. | Providing awareness of who can hear audio in a virtual conference, and applications thereof |
| US11184362B1 (en) | 2021-05-06 | 2021-11-23 | Katmai Tech Holdings LLC | Securing private audio in a virtual conference, and applications thereof |
| US11461962B1 (en) | 2021-06-28 | 2022-10-04 | Meta Platforms Technologies, Llc | Holographic calling for artificial reality |
| US11770495B2 (en) * | 2021-08-13 | 2023-09-26 | GM Global Technology Operations LLC | Generating virtual images based on captured image data |
| US11831814B2 (en) | 2021-09-03 | 2023-11-28 | Meta Platforms Technologies, Llc | Parallel video call and artificial reality spaces |
| US11921970B1 (en) | 2021-10-11 | 2024-03-05 | Meta Platforms Technologies, Llc | Coordinating virtual interactions with a mini-map |
| US11676329B1 (en) | 2022-01-07 | 2023-06-13 | Meta Platforms Technologies, Llc | Mobile device holographic calling with front and back camera capture |
| US20230403372A1 (en) * | 2022-06-08 | 2023-12-14 | Realwear, Inc. | Remote annoataion of live video feed |
| US11928774B2 (en) | 2022-07-20 | 2024-03-12 | Katmai Tech Inc. | Multi-screen presentation in a virtual videoconferencing environment |
| US12009938B2 (en) | 2022-07-20 | 2024-06-11 | Katmai Tech Inc. | Access control in zones |
| US11876630B1 (en) | 2022-07-20 | 2024-01-16 | Katmai Tech Inc. | Architecture to control zones |
| US11651108B1 (en) | 2022-07-20 | 2023-05-16 | Katmai Tech Inc. | Time access control in virtual environment application |
| US12022235B2 (en) | 2022-07-20 | 2024-06-25 | Katmai Tech Inc. | Using zones in a three-dimensional virtual environment for limiting audio and video |
| US11700354B1 (en) | 2022-07-21 | 2023-07-11 | Katmai Tech Inc. | Resituating avatars in a virtual environment |
| US11741664B1 (en) | 2022-07-21 | 2023-08-29 | Katmai Tech Inc. | Resituating virtual cameras and avatars in a virtual environment |
| US11593989B1 (en) | 2022-07-28 | 2023-02-28 | Katmai Tech Inc. | Efficient shadows for alpha-mapped models |
| US11776203B1 (en) | 2022-07-28 | 2023-10-03 | Katmai Tech Inc. | Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars |
| US11682164B1 (en) | 2022-07-28 | 2023-06-20 | Katmai Tech Inc. | Sampling shadow maps at an offset |
| US11704864B1 (en) | 2022-07-28 | 2023-07-18 | Katmai Tech Inc. | Static rendering for a combination of background and foreground objects |
| US11562531B1 (en) | 2022-07-28 | 2023-01-24 | Katmai Tech Inc. | Cascading shadow maps in areas of a three-dimensional environment |
| US11711494B1 (en) | 2022-07-28 | 2023-07-25 | Katmai Tech Inc. | Automatic instancing for efficient rendering of three-dimensional virtual environment |
| US11956571B2 (en) | 2022-07-28 | 2024-04-09 | Katmai Tech Inc. | Scene freezing and unfreezing |
| US11748939B1 (en) | 2022-09-13 | 2023-09-05 | Katmai Tech Inc. | Selecting a point to navigate video avatars in a three-dimensional environment |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07325934A (ja) * | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | 仮想世界に向上したグラフィックスを提供する方法および装置 |
| US5495576A (en) * | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
| JPH08163522A (ja) * | 1994-11-30 | 1996-06-21 | Canon Inc | テレビ会議システムおよび端末装置 |
| US5850352A (en) * | 1995-03-31 | 1998-12-15 | The Regents Of The University Of California | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images |
| US5729471A (en) * | 1995-03-31 | 1998-03-17 | The Regents Of The University Of California | Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene |
| US6084979A (en) * | 1996-06-20 | 2000-07-04 | Carnegie Mellon University | Method for creating virtual reality |
| JPH1196374A (ja) * | 1997-07-23 | 1999-04-09 | Sanyo Electric Co Ltd | ３次元モデリング装置、３次元モデリング方法および３次元モデリングプログラムを記録した媒体 |
-
2002
- 2002-01-28 AU AU2002303082A patent/AU2002303082A1/en not_active Abandoned
- 2002-01-28 WO PCT/US2002/002680 patent/WO2002069272A2/en not_active Application Discontinuation
- 2002-01-28 US US10/060,008 patent/US20020158873A1/en not_active Abandoned
- 2002-01-28 JP JP2002568313A patent/JP2004537082A/ja active Pending
- 2002-01-28 EP EP02731083A patent/EP1371019A2/en not_active Withdrawn
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006313549A (ja) * | 2005-05-03 | 2006-11-16 | Seac02 Srl | 実マーカオブジェクトを識別する拡張現実システム |
| JP2007141228A (ja) * | 2005-11-15 | 2007-06-07 | Sharp Corp | 自由視点におけるバーチャルビューの特定および合成 |
| JP2012146305A (ja) * | 2011-01-13 | 2012-08-02 | Pantech Co Ltd | ウィンドウ状の拡張現実を提供する装置および方法 |
| JP2016515325A (ja) * | 2013-02-20 | 2016-05-26 | マイクロソフト テクノロジー ライセンシング，エルエルシー | 鏡のメタファを使用した遠隔没入型体験の提供 |
| JP2015049586A (ja) * | 2013-08-30 | 2015-03-16 | 日本電信電話株式会社 | 計測値分類装置及び方法及びプログラム |
| US11086927B2 (en) | 2015-10-07 | 2021-08-10 | Google Llc | Displaying objects based on a plurality of models |
| US11809487B2 (en) | 2015-10-07 | 2023-11-07 | Google Llc | Displaying objects based on a plurality of models |
| JP2018018212A (ja) * | 2016-07-26 | 2018-02-01 | セコム株式会社 | 仮想カメラ画像生成装置 |
| JP2018042237A (ja) * | 2016-08-31 | 2018-03-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP2018055390A (ja) * | 2016-09-29 | 2018-04-05 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| WO2018070266A1 (ja) * | 2016-10-13 | 2018-04-19 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| US11328379B2 (en) | 2016-10-13 | 2022-05-10 | Sony Corporation | Image processing apparatus and image processing method |
| JP2018142959A (ja) * | 2018-02-23 | 2018-09-13 | 大日本印刷株式会社 | コンテンツ表示装置、眼鏡、コンテンツ処理システム及びコンテンツ表示プログラム |
| JP2018141970A (ja) * | 2018-02-23 | 2018-09-13 | 大日本印刷株式会社 | 映像コンテンツ表示装置、眼鏡、映像コンテンツ処理システム及び映像コンテンツ表示プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2002303082A1 (en) | 2002-09-12 |
| EP1371019A2 (en) | 2003-12-17 |
| WO2002069272A3 (en) | 2003-01-16 |
| WO2002069272A2 (en) | 2002-09-06 |
| US20020158873A1 (en) | 2002-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004537082A (ja) | 仮想現実環境における実時間バーチャル・ビューポイント | |
| US20040104935A1 (en) | Virtual reality immersion system | |
| KR102069964B1 (ko) | 이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법 | |
| US9288476B2 (en) | System and method for real-time depth modification of stereo images of a virtual reality environment | |
| Prince et al. | 3d live: Real time captured content for mixed reality | |
| Alexiadis et al. | Real-time, full 3-D reconstruction of moving foreground objects from multiple consumer depth cameras | |
| US9282321B2 (en) | 3D model multi-reviewer system | |
| Matsuyama et al. | Real-time dynamic 3-D object shape reconstruction and high-fidelity texture mapping for 3-D video | |
| Shen et al. | Virtual mirror rendering with stationary rgb-d cameras and stored 3-d background | |
| WO2004012141A2 (en) | Virtual reality immersion system | |
| JP5833526B2 (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
| Prince et al. | 3-d live: real time interaction for mixed reality | |
| Lin et al. | Extracting 3D facial animation parameters from multiview video clips | |
| Farbiz et al. | Live three-dimensional content for augmented reality | |
| Kurillo et al. | A framework for collaborative real-time 3D teleimmersion in a geographically distributed environment | |
| Vasudevan et al. | A methodology for remote virtual interaction in teleimmersive environments | |
| Rajan et al. | A realistic video avatar system for networked virtual environments | |
| EP3980975B1 (en) | Method of inferring microdetail on skin animation | |
| JPH03296176A (ja) | 高速画像生成表示方法 | |
| Bajcsy et al. | 3D reconstruction of environments for virtual collaboration | |
| Shimamura et al. | Construction and presentation of a virtual environment using panoramic stereo images of a real scene and computer graphics models | |
| Liu et al. | See360: Novel panoramic view interpolation | |
| Jiddi | Photometric registration of indoor real scenes using an RGB-D camera with application to mixed reality | |
| Yamada et al. | Development of a High-Definition Visualization System for Immersion into a Moving Miniature World | |
| De Aguiar | Animation and performance capture using digitized models |