JP2019513310A - ホログラフィックビデオキャプチャー及びテレプレゼンスシステム - Google Patents

ホログラフィックビデオキャプチャー及びテレプレゼンスシステム Download PDF

Info

Publication number
JP2019513310A
JP2019513310A JP2018537819A JP2018537819A JP2019513310A JP 2019513310 A JP2019513310 A JP 2019513310A JP 2018537819 A JP2018537819 A JP 2018537819A JP 2018537819 A JP2018537819 A JP 2018537819A JP 2019513310 A JP2019513310 A JP 2019513310A
Authority
JP
Japan
Prior art keywords
user
face
image
curved screen
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018537819A
Other languages
English (en)
Other versions
JP6855493B2 (ja
JP2019513310A5 (ja
Inventor
ジェラルド ディルク スミッツ
ジェラルド ディルク スミッツ
Original Assignee
ジェラルド ディルク スミッツ
ジェラルド ディルク スミッツ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/411,959 external-priority patent/US9813673B2/en
Application filed by ジェラルド ディルク スミッツ, ジェラルド ディルク スミッツ filed Critical ジェラルド ディルク スミッツ
Publication of JP2019513310A publication Critical patent/JP2019513310A/ja
Publication of JP2019513310A5 publication Critical patent/JP2019513310A5/ja
Application granted granted Critical
Publication of JP6855493B2 publication Critical patent/JP6855493B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本発明は、ユーザの顔面の３次元画像をビデオストリーム内に記録し、送信し、かつ表示することに関する。湾曲スクリーン又は幾何学的に成形されたスクリーンからの反射光は、遠隔に位置付けられた他のユーザに通信される画像に変換されるユーザの顔面の複数の全体像視界を与えるために使用される。ヘッドマウント投影表示システムが、反射光を捕捉するために使用される。システムは、ユーザによって着用された時にユーザの頭部を包んでそれを把持するフレームを含む。同じく、少なくとも２つの別々の画像捕捉モジュールが、フレーム上に含まれ、かつシステムが着用された時にユーザの左右の目の比較的近くにほぼ位置する。各モジュールは、ユーザの前に位置するスクリーンからの少なくとも反射非可視光を検出するように配置されたカメラのような１又は２以上のセンサ構成要素を含む。【選択図】 図１Ｃ

Description

〔関連出願への相互参照〕
この出願は、先の出願である２０１６年１月２０日出願の米国仮特許出願第６２／３８８，３３４号及び２０１６年２月２３日出願の米国仮特許出願第６２／３８９，３７２号に基づく一般特許出願であり、これらの出願日付の利益をこれにより「３５ Ｕ．Ｓ．Ｃ．§１１９（ｅ）」の下で主張し、これらの内容は、更に引用によって全体的に組み込まれている。
本発明は、一般的にビデオ会議システムに関し、限定ではなくより具体的には、非常に小型のレーザベースの投影システム内で３次元追跡システム連続ピクセルビーム走査を提供することに関する。
テレプレゼンスシステムは、典型的に、遠隔に位置付けられた参加者にビデオ会議を提供する。ビデオ会議は、多くの場合に、遠隔に位置付けられた親類、従業員、同僚、又はオンラインゲーマーなどと互いに通信するために使用される。テレプレゼンスシステムは、典型的に、ビデオ会議の各遠隔に位置付けられた参加者に実時間、近実時間、又は事前記録ビデオを提供する。通常は、テレプレゼンスシステムは、参加者を含むシーンのビデオを捕捉するために各遠隔地で少なくとも１つのカメラを使用する。同じく、各捕捉ビデオは、１又は２以上の選択された参加者に対応するビデオの閲覧を選択する各遠隔参加者に同時に表示される。
米国特許第８，２８２，２２２号明細書 米国特許第８，４３０，５１２号明細書 米国特許第８，６９６，１４１号明細書 米国特許第８．７１１，３７０号明細書 米国特許公開第２０１３／０３００，６３７号明細書 米国特許公開第２０１６／００４１２６６号明細書
今日まで、各参加者の３次元ビデオを互いに容易かつ効率的に表示するのに使用することができる遠隔に位置付けられたビデオ会議参加者の各シーンのビデオをテレプレゼンスシステムが捕捉することは困難であった。特に、各遠隔に位置付けられた参加者の複数の閲覧可能全体像を捕捉することの困難性は、信頼性が高く経済的に実現可能な３次元ビデオを提供することに問題を生じている。
例示的ヘッドマウント表示システムの実施形態を示す図である。 本発明の様々な実施形態を実施することができる環境を示す図である。 ３次元ビデオを捕捉して表示するための処理の流れ図である。 図１ａ及び図１ｂに示すもののようなシステムに含めることができる例示的クライアントコンピュータの実施形態を示す図である。 図１ｂに示すもののようなシステムに含めることができる例示的ネットワークコンピュータの実施形態を示す図である。 凹面鏡面と左眼柄及び右眼柄を有するヘッドマウント投影表示システムとを含む例示的テレプレゼンスシステムの２次元俯瞰視界の実施形態を示す図である。 図４Ａのもののような左眼柄によって捕捉された凹面鏡面からの歪曲視界から導出された図４Ａに示すもののようなヘッドマウント投影表示システムの左眼柄の視点からの例示的非歪曲視界の実施形態を示す図である。 図４Ａのもののような右眼柄によって捕捉された凹面鏡面からの歪曲視界から導出された図４Ａに示すもののようなヘッドマウント投影表示システムの右眼柄の視点からの例示的非歪曲視界の実施形態を示す図である。 図４Ａに示すもののようなヘッドマウント投影表示システムの左眼柄によって捕捉された図４Ａのもののような凹面鏡面からの例示的歪曲視界の実施形態を示す図である。 図４Ａに示すもののようなヘッドマウント投影表示システムの右眼柄によって捕捉された図４Ａのもののような凹面鏡面からの例示的歪曲視界の実施形態を示す図である。 図４Ａのもののようなヘッドマウント投影表示システムの左右の眼柄によって捕捉された時に凹面鏡面からの歪曲視界から導出された図４Ａに示すもののようなヘッドマウント投影表示システムの視点からの例示的３次元モデル視界の実施形態を示す図である。 左右の眼柄によって捕捉された三連様式鏡面の各パネルからの視界と共に例示的な凹面的に向けられた三連様式鏡面と左眼柄及び右眼柄を有する例示的ヘッドマウント投影表示システムとに関する２次元論理光線図の実施形態を示す図である。 個人Ａによって着用されたヘッドマウント投影表示システムによって凹面スクリーン上に投影された個人Ｂの例示的仮想画像に関する２次元論理光線図の実施形態を示す図である。 個人Ｂによって着用されたヘッドマウント投影表示システムによって凹面スクリーン上に投影された個人Ａの例示的仮想画像に関する２次元論理光線図の実施形態を示す図である。 図６Ｂのもののような個人Ｂによって着用されたヘッドマウント投影表示システムによって凹面スクリーン上に投影された個人Ａの仮想画像に対する例示的視点変化に関する２次元論理光線図の実施形態を示す図である。 図４Ｅのもののような個人Ｂによって着用されたヘッドマウント投影表示システムの右眼柄によって捕捉された凹面スクリーンからの例示的歪曲視界及びこのヘッドマウント投影表示システムによって凹面スクリーン上に投影された個人Ａの例示的仮想画像に関する２次元論理光線図の実施形態を示す図である。 ３者間ビデオ会議中に個人Ａによって着用されたヘッドマウント投影表示システムによって凹面スクリーン上に投影された個人Ｂ及び個人Ｃの例示的仮想画像に関する２次元論理光線図と個人Ａ及び個人Ｂが視線を合わせている間の個人Ａ及び個人Ｂの視点からの例示的視界との実施形態を示す図である。 複数の層を有する例示的反射不透明表示画面の断面図の実施形態を示す図である。 複数の層を有する例示的反射半透明表示画面に関する２次元論理光線図の実施形態を示す図である。 複数の層を有する例示的反射透明表示画面に関する２次元論理光線図の実施形態を示す図である。 複数の層を有する例示的反射照明表示画面に関する２次元論理光線図の実施形態を示す図である。 例示的仮想円卓会議の２次元論理俯瞰視界の実施形態を示す図である。 図９Ａのもののような仮想円卓会議中の例示的雑談の２次元論理俯瞰視界の実施形態を示す図である。 様々なスクリーン形状によって与えられる視野（ＦＯＶ）の違いを強調するために平坦スクリーン形状、楕円放物面スクリーン形状、及び円筒面スクリーン形状を含む様々な例示的表示スクリーン形状の俯瞰断面図の実施形態を示す図である。 平坦スクリーン形状と比較した楕円放物面スクリーン形状によって与えられる複数次元のＦＯＶ増加を強調するために楕円放物面スクリーン形状及び平坦スクリーン形状を含む様々な例示的表示スクリーン形状の横方向断面図の実施形態を示す図である。 上向きに開く例示的楕円放物面の３次元論理視界の実施形態を示す図である。 例示的凹面スクリーンと凹面スクリーンを使用する時の眼柄のＦＯＶを強調するための眼柄を有する例示的ヘッドマウント投影表示システムとの２次元論理光線図の実施形態を示す図である。 例示的平坦スクリーンと平坦スクリーンを使用する時の眼柄のＦＯＶを強調するための眼柄を有する例示的ヘッドマウント投影表示システムとの２次元論理光線図の実施形態を示す図である。 ユーザが自分の頭部を凹面スクリーンに向けて移動する時の例示的凹面スクリーンの２次元論理光線図の実施形態を示す図である。 ユーザが自分の頭部を凹面スクリーンから離れるように移動する時の例示的凹面スクリーンの２次元論理光線図の実施形態を示す図である。 ４者間ビデオ会議中に個人Ａによって着用されたヘッドマウント投影表示システムによって三連様式スクリーン上に投影された個人Ｂ、個人Ｃ、及び個人Ｄの例示的仮想画像に関する２次元論理光線図の実施形態を示す図である。 ヘッドマウント投影表示システムによって捕捉された時の三連様式スクリーンの各パネルからの例示的視界に関する２次元論理光線図の実施形態を示す図である。 物体の形状又は運動を追跡しながら物体のフルカラー画像を捕捉することを容易にするために原色毎に１又は２以上の狭帯域に対して反射防止性であるフィルタを使用する例示的鏡面に関する２次元論理光線図の実施形態を示す図である。 左眼柄内の光源が鏡面内の点Ａに向けて広帯域光を放出し、鏡面がこの広帯域光のうちの１又は２以上の部分を反射して点Ｂで顔面を照明し、右眼柄が鏡面内の点Ｃから顔面のカラー画像を捕捉する時の図１４Ａのもののような例示的鏡面に関する２次元論理俯瞰光線図の実施形態を示す図である。 右眼柄内の光源が鏡面内の点Ａに向けて広帯域光を放出し、鏡面がこの広帯域光のうちの１又は２以上の部分を反射して点Ｂで顔面を照明し、右眼柄が鏡面内の点Ｃから仮想点Ｂ’での仮想画像で表す顔面のカラー画像を捕捉する時の図１４Ａのもののような例示的鏡面に関する２次元論理側面光線図の実施形態を示す図である。 物体を水平に横断するビームによって照明される例示的物体の２次元全体像視界の実施形態を示す図である。 各々が複数のピクセル行を有し、かつ各々がアクティブピクセル行の数を物体を水平に横断するビームの垂直位置に関連付けられた数に低減する１又は２以上の画像センサによって捕捉された時の鏡面からの図１４Ｄのもののような例示的物体の２次元全体像視界の実施形態を示す図である。 眼柄内の光源が鏡面内の点Ａに向けて走査ビームを放出し、鏡面が走査ビームのうちの１又は２以上の部分を反射して点Ｂで個人Ａの顔面を照明し、光源から垂直にオフセットされたカメラが鏡面内の点Ｃから個人Ａの顔面のカラー画像を捕捉し、個人Ａが点Ａに向けて放出された走査ビームうちの１又は２以上の他の部分を再帰反射する１又は２以上の再帰反射層を有する鏡面に基づいて個人Ｂの仮想画像を知覚する時の例示的走査ビームに関する２次元論理光線図の実施形態を示す図である。 カメラによって物体の画像を捕捉するためにユーザの顔面のような物体を照明し、カメラと光源間のオフセット距離に起因してカメラの視野の外側に留まりながらユーザの視野に重なることができる１又は２以上の再帰反射視界円錐を形成するように走査ビームが鏡面を横断する時の眼柄内の光源からの図１４Ｆのもののような例示的走査ビームに関する３次元論理光線図の実施形態を示す図である。 従来のテレプロンプターに関する２次元論理光線図の実施形態を示す図である。 車両のフロントガラスからの光を反射して狭い視界空間内に仮想画像を提供するために特殊光学系を使用する従来のヘッドアップディスプレイ（ＨＵＤ）に関する２次元論理光線図の実施形態を示す図である。 窓からオフセットされた再帰反射面を使用するウェアラブル投影システムを含む例示的立体投影システムに関する２次元論理側面光線図、この立体投影システムに関する２次元論理俯瞰光線図、及びこの立体投影システムの例示的収束範囲に関する２次元論理俯瞰光線図の実施形態を示す図である。 １又は２以上の物体を部分的又は完全に包む１又は２以上の周辺画像を提供するために１又は２以上の物体から直接に又はユーザと表示システム間に位置することができる鏡面からの１又は２以上の物体の１又は２以上の視界を捕捉する１又は２以上の例示的カメラに関する２次元論理光線図の実施形態を示す図である。 高度運転者支援システム（ＡＤＡＳ）に運転者の顔面又は目の常時視界を与えるための図１５Ｃのもののような１又は２以上の例示的反射面及び例示的立体投影システムに関する２次元論理光線図の実施形態を示す図である。 個人Ｂの１又は２以上の仮想画像を鏡面上に投影し、１又は２以上の物体から直接到着するこれらの物体の１又は２以上の画像又は鏡面からのこれらの物体の１又は２以上の画像を捕捉する例示的ヘッドセットに関する２次元論理光線図の実施形態を示す図である。 １又は２以上の反射コーティングを使用する１又は２以上の例示的空間フィルタによって阻止される１又は２以上の波長範囲を示す例示的グラフの論理図の実施形態を示す図である。 １又は２以上の波長範囲を阻止する１又は２以上の反射コーティングと光照射野の全体部分を通す１又は２以上のピンホールとを有する例示的空間フィルタに関する２次元論理光線図の実施形態を示す図である。 ユーザの目の場所から仮想物体の知覚場所までの距離（輻輳距離）とユーザの目の場所から表示面の場所までの距離（受容距離）との間に相違が存在する例示的混合現実環境に関する２次元論理光線図の実施形態を示してユーザが仮想物体の知覚場所の近くの場所で実在物体のぼやけを体験するか又はユーザがフォーカスを輻輳距離から受容距離に調節して再度元に戻すことで不快感を体験する可能性を強調する図である。 図１７Ｃの相違のような２又は３以上の距離の間の１又は２以上の相違の１又は２以上の効果を軽減するために図１７Ｂのもののうちの１又は２以上のもののような１又は２以上のピンホールを有する１又は２以上のレンズを含む例示的グラス類に関する２次元論理光線図の実施形態を示す図である。 図４Ｂ〜図４Ｅ又は図５のもののうちの１又は２以上のもののような１又は２以上の立体画像対又は１又は２以上の包囲視界のような１又は２以上の物体の１又は２以上の重ね合わせ視界に基づいてこれらの物体の１又は２以上の３次元視界を表す１又は２以上の点クラウドのような１又は２以上のデータセットを提供する例示的データセット発生システムに関する論理流れ図の実施形態を示す図である。 部屋内にある１又は２以上の物体の３６０度包囲画像を捕捉するために鏡面を各壁が有する壁によって定められた部屋内に使用されるパノラマカメラアレイを含む例示的運動及び画像捕捉システムに関する２次元論理光線図の実施形態である。 図１９Ａのもののような運動及び画像捕捉システムによって図１９Ａのもののような１又は２以上の反射面から捕捉された例示的画像の２次元全体像視界の実施形態を示す図である。 凹面空間内の１又は２以上の物体の１又は２以上の歪曲視界を捕捉するのを容易にするために円筒形又はドーナツ形の形状を形成する１又は２以上の鏡面によって囲まれた例示的凹面空間の２次元俯瞰視界の実施形態を示す図である。 図１９Ｅのもののような例示的凹面空間の断面図の実施形態を示す図である。 パノラマカメラアレイの周りの各四分円に対して立体対を有するパノラマカメラアレイを含む例示的運動及び画像捕捉システムに関する２次元光線図の実施形態を示す図である。 ヒト皮膚が１又は２以上の波長範囲の光を１又は２以上の他の波長範囲の光よりも強く反射することを示す例示的グラフの論理図の実施形態を示す図である。 ヒト皮膚の外面上の所与の場所の上に投影された光ビームが皮膚の外面からこの光の１又は２以上の部分の反射を起こす場合があり、この光の１又は２以上の他の部分によって皮膚に侵入することができ、この所与の場所からの様々な距離でこの光の１又は２以上の他の部分の様々な強度の皮下反射を起こしてビームのぼけた反射をもたらす可能性があることを示す例示的グラフの論理図の実施形態を示す図である。 鏡面上にホログラフィック的に投影された王女の例示的仮想画像の３次元視界の実施形態を示す図である。 空間を取り囲む６つの鏡面と、空間の周りに配置されて空間内に集合的ＦＯＶを形成してその中にある１又は２以上の物体の３次元画像捕捉を容易にするように配置された６つのカメラのアレイとを含む例示的テレプレゼンスシステムに関する２次元論理光線図の実施形態を示し、集合的ＦＯＶ内の物体の外面に沿って示すドットがアレイ内の第１及び第２のカメラの視点から直接可視の面部分を示す図である。 図２２Ａのもののような例示的テレプレゼンスシステムの全体像視界の実施形態を示す図である。 図２２Ｂの破線に沿った図２２Ｂのテレプレゼンスシステムに関する２次元論理光線図の実施形態を示す図である。 空間を取り囲む４つの鏡面と、空間の周りに配置されて空間内に集合的ＦＯＶを形成してその中にある１又は２以上の物体の３次元画像捕捉を容易にするように配置された４つのカメラのアレイとを含む例示的テレプレゼンスシステムに関する２次元論理光線図の実施形態を示し、集合的ＦＯＶ内の物体の外面に沿って示す破線がアレイ内の第１及び第２のカメラの視点から直接可視の面部分を示す図である。 図２３Ａのテレプレゼンスシステムのカメラアレイ内の第１及び第２のカメラのようなテレプレゼンスシステムのカメラアレイ内の例示的高所カメラ対に関する２次元論理光線図の実施形態を示す図である。 図２３Ａのテレプレゼンスシステムのカメラアレイ内の第１及び第３のカメラのようなテレプレゼンスシステムのカメラアレイ内の例示的高所カメラ対に関する２次元論理光線図の実施形態を示す図である。 テレプレゼンスシステムのカメラアレイ内の例示的高所カメラ対と図２３Ａのテレプレゼンスシステムのカメラアレイ内の第１及び第２のカメラのようなテレプレゼンスシステムのカメラアレイ内の例示的地表レベルカメラ対とに関する２次元論理光線図の実施形態を示す図である。 テレプレゼンスシステムのカメラアレイ内の例示的高所カメラ対と図２３Ａのテレプレゼンスシステムのカメラアレイ内の第１及び第３のカメラのようなテレプレゼンスシステムのカメラアレイ内の例示的地表レベルカメラ対とに関する２次元論理光線図の実施形態を示す図である。 面Ｓ内の点Ｐに向けて放出され、ボクセル−ピクセル対のストリームを各々が出力する１又は２以上のカメラによって面Ｓから捕捉される例示的光ビームに関する３次元論理光線図の実施形態であって、各ボクセルを対応するピクセル時間の精度に基づく精度で空間内に固定するのを容易にするためにボクセル−ピクセル対の各々が個々のピクセル時間に対応するタイムスタンプに関連付けられる実施形態を示す図である。 図２４Ａの１又は２以上のカメラのような１又は２以上のカメラによって面上の点から捕捉された光に基づいて決定されたボクセルの場所を示す例示的ベクトルの３次元論理全体像視界の実施形態を示す図である。 図２４Ａの１又は２以上のカメラのような１又は２以上のカメラによって面上の点から捕捉された光に基づいて決定されたボクセルの色を表すピクセル値を示す例示的ベクトルの３次元論理全体像視界の実施形態を示す図である。 カメラアレイを含む例示的アクティブビーコン応答システムに関する２次元論理光線図であって、自動カメラ位置発見を容易にするために、アレイ内の第１のカメラが、ｔ3においてアレイ内の第３のカメラからの光を捕捉し、ｔ4においてアレイ内の第４のカメラからの光を捕捉し、ｔ5においてアレイ内の第５のカメラからの光を捕捉し、アレイ内の第２のカメラが、ｔ4においてアレイ内の第４のカメラからの光を捕捉し、ｔ5においてアレイ内の第５のカメラからの光を捕捉し、ｔ6においてアレイ内の第６のカメラからの光を捕捉する場合の光線図の実施形態を示す図である。 図２５Ａのもののようなアクティブビーコン応答システムにおいてカメラによってスナップショットが撮影される時の自動カメラ位置発見処理での例示的段階に関する２次元論理光線図の実施形態を示す図である。 図２５Ｂのもののようなアクティブビーコン応答システムに関する自動カメラ位置発見処理での例示的段階中にカメラによって捕捉される例示的画像の２次元全体像視界の実施形態を示す図である。 図２５Ｃのもののような画像内に捕捉されたカメラの観察高さに対するカメラの既知の高さの比較に基づいて複数のカメラに関して決定される相対距離の２次元論理図式の実施形態を示す図である。 図２５Ｃのもののような画像内に捕捉されたカメラの観察位置に基づいて複数のカメラに関して決定される方位角の２次元論理図式の実施形態を示す図である。 アクティブカメラ及びアクティブカメラによって観察される複数のカメラに関する図２５Ａ〜図２５Ｅのもののような自動カメラ位置発見処理の例示的完了の２次元論理図の実施形態を示す図である。 図２５Ａのもののようなアクティブビーコン応答システムの各カメラに関する図２５Ａ〜図２５Ｆのもののような自動カメラ位置発見処理の例示的完了の２次元論理図の実施形態を示す図である。 ヘッドマウントディスプレイと、鏡面と、３つの地表レベルカメラとを含む例示的テレプレゼンスシステムの３次元全体像視界の実施形態を示す図である。 空間を取り囲む鏡面と、空間の周りに配置されて空間内に集合的ＦＯＶを形成するように配置されたカメラアレイとを含む例示的テレプレゼンスシステムであって、アレイ内の各カメラに関する位置及び視点の発見及びテレプレゼンスシステムの同期を含むテレプレゼンスシステムの自己較正を容易にするために１又は２以上の既知の寸法値を有する基準マーカを集合的ＦＯＶ内で配置又は移動することができる上記テレプレゼンスシステムに関する２次元論理光線図の実施形態を示す図である。 観察位置にある物体の観察高さを示す画像に基づいてテレプレゼンスシステムの自己較正を容易にするために図２７Ａのもののようなテレプレゼンスシステムに含まれるカメラアレイ内の第１のカメラによって捕捉された物体の例示的画像の２次元全体像視界の実施形態を示す図である。 観察位置にある物体の観察高さを示す画像に基づいてテレプレゼンスシステムの自己較正を容易にするために図２７Ａのもののようなテレプレゼンスシステムに含まれるカメラアレイ内の第４のカメラによって捕捉された物体の例示的画像の２次元全体像視界の実施形態を示す図である。 複数のカメラによって捕捉された基準マーカの１又は２以上の寸法の様々な観察大きさ及びこの基準マーカの様々な観察位置に基づいてテレプレゼンスシステムの自己較正を容易にするために図２７Ａのもののようなテレプレゼンスシステムに含まれるカメラアレイ内の複数のカメラによって捕捉された基準マーカの例示的画像の２次元全体像視界の実施形態を示す図である。 テレプレゼンスシステムの較正を容易にするために図２７Ａのもののようなテレプレゼンスシステムに含まれるカメラアレイによって形成された集合的ＦＯＶの周囲を探るために使用される例示的基準ワンドの２次元上部視界の実施形態を示す図である。 テレプレゼンスシステムの較正を容易にするために図２７Ａのもののようなテレプレゼンスシステムに含まれるカメラアレイによって形成された集合的ＦＯＶの周囲を探るために使用される図２７Ｅのもののような例示的基準ワンドの２次元側部視界の実施形態を示す図である。 適合する座標値に関連付けられた部分を各々が含む例示的画像の３次元全体像視界の実施形態を示す図である。 適合する座標値に関連付けられた画像の各々での部分に基づいて互いに貼り合わせられた図２８Ａのもののような例示的画像の３次元全体像視界の実施形態を示す図である。 ２つの行列の両方が同じボクセル面点及び同じ時間値を表すのでこれら２つの行列が互いに等しいことを示す例示的公式の実施形態を示す図である。 １又は２以上のサーバを通して互いに通信的に結合する例示的テレプレゼンスシステムの論理全体像視界の実施形態を示す図である。 ピアツーピア接続によって互いに通信的に結合する例示的テレプレゼンスシステムの３次元論理全体像視界の実施形態を示す図である。 各々が１又は２以上のカメラと１又は２以上のプロジェクタとを有する例示的楔であって、六角形ピラミッド構成で配置され、その時にカメラが六角形ピラミッドから外向きに向き、互いの間に六角形空間を定めるように再配置することができ、その間にカメラが内向きに六角形空間の中心に向く上記楔の３次元論理全体像視界の実施形態を示す図である。 部屋内に配置された図３１Ａのもののような例示的楔に関する３次元論理光線図の実施形態であって、これらの例示的楔が各々１又は２以上のカメラを有し、六角形ピラミッド構成で配置され、カメラが、周辺光照射野を検出するのを容易にするために六角形ピラミッドから外向きに向き、部屋内にある１又は２以上の物体を検出するか又は基準マーカを提供する上記実施形態を示す図である。 面要素に関連付けられたボクセル−ピクセル対に関する角度反射関数を与えるために、所与の位置から放出されたビームによって照明された面要素からの４つの異なる角度反射光を捕捉する２つの３次元画像捕捉デバイスに関する３次元論理光線図の実施形態を示す図である。 面要素に関連付けられたボクセル−ピクセル対に関する角度反射関数を与えるために、別の位置から放出された異なるビームによって照明された図３２Ａの面要素からの４つの異なる角度反射光を捕捉する図３２Ａのもののような２つの３次元画像捕捉デバイスに関する３次元論理光線図の実施形態を示す図である。 当該の各色による照明の各角度に関して予想される面要素からの反射光を表す図３２Ａのもののような面要素に関する例示的色及び角度の応答関数に関する３次元論理光線図の実施形態を示す図である。 長波長ヒト眼円錐（Ｌ円錐）に対応する波長の光に対して中波長ヒト眼円錐（Ｍ円錐）に対応する波長の光に対するものとは異なる反射率値を有し、それによって人間が様々なヒト皮膚の色調に関してＬ円錐に対応する波長でヒト皮膚によって反射された光の量とＭ円錐に対応する波長でヒト皮膚によって反射された光の量との間の差を知覚することが容易になることを示す例示的グラフの論理図の実施形態を示す図である。 Ｌ円錐に対応する波長の光に対する反射率値とＭ円錐に対応する波長の光に対する反射率値とにおいて赤面がない間に赤血球が弱くしか酸素化されていない時よりも赤面中に赤血球が強く酸素化されている時の方が大きい差を示し、それによって人間がヒトＬ円錐に対する信号値とヒトＭ円錐に対する信号値の間の差に基づいて別の人間の赤面を知覚することが容易になることを示す例示的グラフの論理図の実施形態を示す図である。 典型的な相補的金属酸化物半導体（ＣＭＯＳ）Ｂａｙｅｒ−フィルタカメラが赤面に関する波長の光を区別することができないことを示す例示的グラフの論理図の実施形態を示す図である。 ヒト皮膚が、約５７５ｎｍの波長の光に対して赤面がない間に赤血球が弱くしか酸素化されていない時よりも赤面中に赤血球が強く酸素化されている時に低い反射率値を示し、それによって人間が赤面しているか否かを検出するための追加又は代替処理が容易になることを示す例示的グラフの論理図の実施形態を示す図である。
ここで、本明細書の一部を形成し、本発明を実施することを可能にする特定の実施形態を例示的に示す添付図面を参照して様々な実施形態をより完全に以下に説明する。しかし、これらの実施形態は、多くの異なる形態に具現化することができ、本明細書に示す実施形態に限定されるものと解釈すべきではなく、これらの実施形態は、限定ではなく本発明の開示が徹底して完全なものになるように、更に実施形態の範囲を当業者に完全に伝達するように提供するものである。取りわけ、様々な実施形態は、方法、システム、媒体、又はデバイスとすることができる。従って、様々な実施形態は、完全にハードウエアの実施形態、完全にソフトウエアの実施形態、又はソフトウエア態様とハードウエア態様とを組み合わせる実施形態の形態を取ることができる。従って、以下の詳細説明は、限定的な意味で捉えるべきではない。
本明細書及び特許請求の範囲を通して、状況が明確に別途指定しない限り、以下の用語は、本明細書に明示的に関連付けられた意味を取る。本明細書に使用する時に「一実施形態では」という表現は、同じ実施形態を指す場合もあるが、必ずしもそうとは限らない。更に、本明細書に使用する時に「別の実施形態では」という表現は、異なる実施形態を指す場合もあるが、必ずしもそうとは限らない。従って、下記で説明するように、本発明の範囲又は精神から逸脱することなく本発明の様々な実施形態は、容易に組み合わせることができる。
これに加えて、本明細書に使用する時に「又は」という用語は、包含的「ｏｒ」演算子であり、状況が明確に別途指定しない限り、用語「及び／又は」と同等である。「に基づく」という用語は排他的ではなく、状況が明確に別途指定しない限り、記載しない追加のファクタに基づくことを許す。更に、本明細書を通じて、「ａ」、「ａｎ」、及び「ｔｈｅ」は、複数の指示物を含む。「ｉｎ」の意味は、「ｉｎ」及び「ｏｎ」を含む。
本明細書に使用する時に「光子ビーム」、「光ビーム」、「電磁ビーム」、「画像ビーム」、又は「ビーム」という用語は、電磁（ＥＭ）スペクトル内の様々な周波数又は波長の光子又はＥＭ波のある程度局所化した（時間及び空間において）ビーム又はバンドルを指す。
本明細書に使用する時に「光源」、「光子源」、又は「供給源」という用語は、ＥＭスペクトル範囲の１又は２以上の光子又はＥＭ波を放出、供給、伝達、又は発生させることができる様々なデバイスを指す。光又は光子源は、１又は２以上の射出光ビームを伝達することができる。光子源は、レーザ、発光ダイオード（ＬＥＤ）、又は電球などとすることができる。光子源は、原子又は分子の刺激放出、白熱処理、又はＥＭ波又は１又は２以上の光子を発生させる様々な他の機構によって光子を発生させることができる。光子源は、予め決められた周波数又は周波数範囲の連続又はパルス駆動式射出光ビームを供給することができる。射出光ビームは、コヒーレントな光ビームとすることができる。光源によって放出される光子は、様々な波長又は周波数のものである場合がある。
本明細書に使用する時に「光子検出器」、「光検出器」、「検出器」、「光子センサ」、「光センサ」、又は「センサ」という用語は、ＥＭスペクトルの１又は２以上の波長又は周波数の１又は２以上の光子の存在に敏感な様々なデバイスを指す。光子検出器は、複数の光子検出ピクセル又は光子感知ピクセルの配置のような光子検出器アレイを含むことができる。ピクセルのうちの１又は２以上は、１又は２以上の光子の吸収に敏感なフォトセンサとすることができる。光子検出器は、１又は２以上の光子の吸収に応答して信号を発生させることができる。光子検出器は、１次元（１Ｄ）ピクセルアレイを含むことができる。しかし、他の実施形態では、光子検出器は、少なくとも２次元（２Ｄ）のピクセルアレイを含むことができる。ピクセルは、アクティブ−ピクセルセンサ（ＡＰＳ）、電荷結合デバイス（ＣＣＤ）、単一光子アバランシェ検出器（ＳＰＡＤ）（アバランシェモード又はＧｅｉｇｅｒモードで作動される）、光起電力セル、又はフォトトランジスタなどのうちの１又は２以上のような様々な光子感知技術を含むことができる。光子検出器は、１又は２以上の入射光ビームを検出することができる。
本明細書に使用する時に「鏡面」は、入射する光、ＥＭ波、又は光子の少なくとも一部分を反射する１又は２以上の様々な２Ｄ又は３Ｄ本体を指す。例えば、鏡面は、本明細書に開示する様々な実施形態のうちの様々なものによって放出される射出光ビームを反射することができる。本明細書に説明する様々な実施形態では、１又は２以上の光子源は、光子検出器及び／又は１又は２以上の鏡面のうちの１又は２以上に対して相対運動状態にある場合がある。同様に、１又は２以上の光子検出器は、光子源及び／又は１又は２以上の鏡面のうちの１又は２以上に対して相対運動状態にある場合がある。１又は２以上の鏡面は、光子源及び／又は１又は２以上の光子検出器のうちの１又は２以上に対して相対運動状態にある場合がある。
本明細書に使用する時に「反射する」及び「反射」は、（１）鏡面反射が捕捉されている画像及びこれらの画像を構成する光ビームを鏡面反射するために使用されること、（２）光ビームを光ビーム源からの方向と平行であるがこの方向とは反対のベクトルに沿って光ビーム源に最小限の散乱しか伴わずに反射して戻すことを可能にする再帰反射（１又は２以上の実施形態では、再帰反射は、ｕｌｔｒａｌｉｇｈｔに又は立体画像対がユーザの目によって見られるようにされる又は投影される場合に使用することができる）、（３）拡散光ビームによって面を全体的に照明するために拡散反射を使用することができることのうちの１つを指す。１又は２以上の実施形態では、拡散光ビームは、カメラの光学系を用いて画像を作るために使用することができる。
以下では、本発明の一部の態様の基本的な理解を提供するために本発明の実施形態を簡単に説明する。この簡単な説明は、広範囲にわたる概要であるように意図したものではない。この説明は、重要又は決定的な要素を明らかにすること、又は範囲を詳述する又は他に絞り込むように意図したものではない。その目的は、一部の概念を後に提示するより詳細な説明に対する序として簡易形態で単に提示することである。
要約すると、様々な実施形態は、ユーザの顔面の３次元画像を記録し、遠隔に位置付けられた別のユーザに送信して表示することに関する。遠隔に位置付けられた他のユーザに通信される画像に変換されるユーザの顔面の複数の全体像視界を与えるために、湾曲スクリーン又は幾何学的に成形されたスクリーンからの反射光が使用される。この反射光を捕捉するために、ヘッドマウント投影表示システムが使用される。システムは、ユーザによって着用された時にユーザの頭部を包んでそれを把持するフレームを含む。更に、フレーム上に少なくとも２つの別々の画像捕捉モジュールが含まれ、システムが着用されている時に一般的にユーザの左右の目の比較的近くに配置される。各モジュールは、少なくとも、ユーザの前に位置するスクリーンからの反射非可視光を検出するように配置されたカメラのような１又は２以上のセンサ構成要素を含む。任意的に、スクリーンは再帰反射性である。
１又は２以上の実施形態では、ヘッドマウント投影表示システムは、ユーザによって着用された時にユーザの頭部を包んでそれを把持するフレームを含む。更に、フレーム上に少なくとも２つの別々の画像捕捉モジュールが含まれ、これらの画像捕捉モジュールは、システムが着用されている時に一般的にユーザの左右の目の比較的近くに配置することができる。各モジュールは、少なくとも、ユーザの前に位置するスクリーンからの反射非可視光を検出するように配置されたカメラのような１又は２以上のセンサ構成要素を含む。そのようなヘッドマウント投影表示システムの１つの非限定的な例は、ＰｈｏｔｏｎＪｅｔ ＵｌｔｒａＬｉｇｈｔ（登録商標）システムである。
１又は２以上の実施形態では、検出された非可視光は、ヘッドマウント投影表示システムを着用しているユーザの顔面の複数の全体像視界を決定するのに使用される。ユーザの顔面の複数の全体像視界は、後に遠隔に位置付けられた別のユーザに送信されて表示されるユーザの顔面及び頭部の仮想３次元画像（アバター）を再現するのに使用される。１又は２以上の実施形態では、仮想画像はユーザの顔面に限定されず、他のユーザに対する表示に向けて再現されるユーザの身体の他の部分を含むことができる。
１又は２以上の実施形態では、画像捕捉モジュールは、非可視光を１又は２以上のセンサ構成要素に向けて反射して戻すように配置されたスクリーンに向けて発光する赤外線光のような非可視光の１又は２以上のプロジェクタを含むように配置することができる。１又は２以上の実施形態では、非可視光の１又は２以上のプロジェクタは、ユーザの顔面で反射される非可視光をスクリーンに向けて投影するために天井、壁、机、又はユーザの近くのあらゆる他の場所の上に配置することができる。１又は２以上の実施形態では、１又は２以上のプロジェクタは、ユーザの顔面及び非可視光センサの上に反射して戻される非可視光のスクリーンの上へのレーザビームを走査するスキャナである。
同じく、１又は２以上の実施形態では、非可視光ビームの走査中に、スクリーン及び／又はユーザの顔面の上のスポット（ボクセル）から反射する走査非可視光ビームによって個々のピクセルが順次照明される。このようにして、対応するボクセルに対する順次照明された各ピクセルは、画像捕捉モジュールの１又は２以上のセンサ構成要素によって検出することができる。任意的に、可視光ビームの走査中に、個々のピクセルは、対応するボクセルに対して同様に順次照明される。
１又は２以上の実施形態では、スクリーンは、顔面の複数の全体像視界を与えながらユーザの顔面からの非可視光をシステムの受信機構成要素に向けて反射するために曲面であるか又は三連式などのような幾何学形状を有することができる。
１又は２以上の実施形態では、スクリーンの面は、主として非可視光をユーザに向けて反射して戻し、一方で有色光に対して透明であるコーティングを含むか又はそのような材料で構成することができる。このタイプのスクリーンはまた、遠隔に位置付けられたユーザの顔面のような有色光画像をその面を通してユーザの顔面に向けて投影し、一方で非可視光を顔面に向けて反射するように配置することができる。１又は２以上の実施形態では、スクリーンは、再帰反射性である場合がある。
１又は２以上の実施形態では、画像捕捉モジュールはまた、ユーザの顔面に向けて可視光を反射して戻すスクリーンに向けて可視光を投影するように配置された有色光のような可視光の１又は２以上のプロジェクタを含むことができる。１又は２以上の実施形態では、１又は２以上の可視光プロジェクタは、スクリーンの上への可視光のレーザビームを走査するスキャナとして構成することができる。１又は２以上の実施形態では、投影される可視光はまた、１又は２以上の遠隔に位置付けられたユーザに対応する３次元アバターの１又は２以上の有色光画像を含むことができる。同じく、１又は２以上の実施形態では、画像捕捉モジュールはまた、スクリーン及び／又はユーザの顔面からの可視光の反射を検出するためのセンサを含むことができる。
例示的作動環境
図１Ａは、ヘッドマウント投影表示システム１００の上面図である。図示のように、システムは、ユーザによって着用された時にユーザの頭部を包んでそれを把持するフレーム１０３を含む。モジュール１０４は、フレーム１０３によって含められ、かつシステム１００がユーザの頭部上に着用された時に一般的にユーザの左右の目の比較的近くに配置される。各モジュール１０４は、ユーザの顔面の前に位置するスクリーンからの反射非可視光を検出するように配置された１又は２以上の受信機構成要素（図示せず）を含む。１又は２以上の実施形態では、検出された非可視光は、ヘッドマウント投影表示システムを着用しているユーザの顔面の複数の全体像を決定するのに使用される。ユーザの顔面の複数の全体像は、遠隔に位置付けられた別のユーザに対して表示されるユーザの顔面及び頭部の仮想３次元画像を再現するのに使用される。１又は２以上の他の実施形態では、仮想画像はユーザの顔面に限定されず、他のユーザに対する表示に向けて再現されるユーザの身体の他の部分を含むことができる。
１又は２以上の実施形態では、スクリーンの面は、主として非可視光をユーザに向けて反射して戻し、一方で有色光に対して透明であるコーティングを含むか又はそのような材料で構成することができる。同じく、１又は２以上の実施形態では、主として非可視光を反射するスクリーンは、遠隔に位置付けられたユーザの顔面のような有色光画像をこの面を通してユーザの顔面に向けて投影するように配置することができる。
１又は２以上の実施形態では、モジュール１０４は、ユーザの顔面に向けて画像を反射して戻すスクリーンに向けて遠隔地ユーザの顔面のような画像を投影するように配置された有色光のような可視光の１又は２以上のプロジェクタを含むことができる。１又は２以上の実施形態では、可視光のプロジェクタは光スキャナである。
１又は２以上の実施形態では、モジュール１０４は、非可視光を１又は２以上の受信機構成要素に向けて反射して戻すように配置されたスクリーン（図示せず）に向けて赤外線光のような非可視光の１又は２以上のプロジェクタ（図示せず）を含むように配置することができる。１又は２以上の実施形態では、非可視光の１又は２以上のプロジェクタは、非可視光をユーザの顔面に向けて反射されるようにスクリーンに投影するために天井、壁、机、又はユーザに近いあらゆる他の場所に配置することができる。１又は２以上の実施形態では、プロジェクタは光スキャナとすることができる。
１又は２以上の実施形態では、本明細書で解説するシステム１００の構成要素は、少なくとも米国特許第８，２８２，２２２号明細書、米国特許第８，４３０，５１２号明細書、米国特許第８，６９６，１４１号明細書、米国特許第８．７１１，３７０号明細書、米国特許公開第２０１３／０３００，６３７号明細書、及び米国特許公開第２０１６／００４１２６６号明細書に詳細に記載されているそのようなシステムの様々な実施形態を含むことができる。上記に列記した米国特許出願及び米国特許公開の各々は、その全内容が引用によって本明細書に組み込まれていることに注意しなければならない。
１又は２以上の実施形態では、フレーム１０３は、受信した全体像視界をネットワークコンピュータ上のテレプレゼンスサーバアプリケーション及び／又は別のヘッドマウント投影システムに対する別のクライアントコンピュータ上のテレプレゼンスクライアントアプリケーションのうちの１又は２以上に通信される信号に処理するためのクライアントコンピュータとして配置されたコンピュータ１０１を含む。クライアントコンピュータ及びネットワークコンピュータを図１Ｂ、図２、及び図３に関してより詳細に解説する。
図１ｂは、本発明の様々な例示的実施形態を実施することができる例示的環境の一実施形態の例示的構成要素を示している。本発明を実施するのにこれらの構成要素の全てを必要としない場合があり、構成要素の配置及びタイプの変形を本発明の精神又は範囲から逸脱することなく生成することができる。図示のように、図１ｂのシステム１１０は、ネットワーク１０２と、テレプレゼンスサーバコンピュータ１０６と、いくつかのヘッドマウント投影表示システム１００と、スクリーン１０７とを含む。
少なくともユーザの顔面の複数の全体像視界を表すシステム１００の各々からの送信信号に基づいて、テレプレゼンスサーバコンピュータ１０６は、ユーザに対する別の遠隔に位置付けられたシステムによる表示に向けてユーザの顔面の位置、向き、及び表情の仮想画像を再現するためにこれらの視界を使用することができる。テレプレゼンスサーバコンピュータ１０６の機能の１又は２以上の部分をヘッドマウント投影表示システム１００のうちの１又は２以上が実施することができることを理解しなければならない。ヘッドマウント投影表示システム及びテレプレゼンスサーバの様々な実施形態を図２及び図３に関して下記でより詳細に説明する。
ネットワーク１０２は、ネットワークコンピュータをヘッドマウント投影表示システム１００を含む他のコンピュータデバイスと結合するように構成することができる。ネットワーク１０２は、ＵＳＢケーブル、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷｉ−Ｆｉ（登録商標）などであるがこれらに限定されない遠隔地デバイスと通信するための様々な有線及び／又は無線の技術を含むことができる。一部の実施形態では、ネットワーク１０２は、ネットワークコンピュータを他のコンピュータデバイスと結合するように構成されたネットワークとすることができる。様々な実施形態では、デバイス間で通信される情報は、プロセッサ可読命令、遠隔要求、サーバ応答、プログラムモジュール、アプリケーション、生データ、制御データ、システム情報（例えば、ログファイル）、ビデオデータ、音声データ、画像データ、文字データ、又は構造化／非構造化データなどを含むがこれらに限定されない様々なタイプの情報を含むことができる。一部の実施形態では、これらの情報は、デバイス間で１又は２以上の技術及び／又はネットワークプロトコルを用いて通信することができる。
一部の実施形態では、そのようなネットワークは、様々な有線ネットワーク、無線ネットワーク、又はこれらの様々な組合せを含むことができる。様々な実施形態では、ネットワーク１０２には、情報を１つの電子デバイスから別のものに通信するために様々な形態の通信技術、トポロジー、又はコンピュータ可読媒体などを使用する機能を与えることができる。例えば、ネットワーク１０２は、インターネットに加えてＬＡＮ、ＷＡＮ、パーソナルエリアネットワーク（ＰＡＮ）、キャンパスエリアネットワーク、メトロポリタンエリアネットワーク（ＭＡＮ）、又は直接に通信接続（ユニバーサルシリアルバス（ＵＳＢ）ポートを通じたもののような）など又はこれらの様々な組合せを含むことができる。
様々な実施形態では、ネットワーク内及び／又はネットワーク間の通信リンクは、ツイスト線対、光ファイバ、オープンエアレーザ、同軸ケーブル、基本電話サービス（ＰＯＴＳ）、導波管、音響手段、完全又は部分的な専用デジタル線（Ｔ１、Ｔ２、Ｔ３、又はＴ４のような）、Ｅ−搬送波、統合サービスデジタルネットワーク（ＩＳＤＮ）、デジタル加入者線（ＤＳＬ）、無線リンク（衛星リンクを含む）又は他のリンク、又は当業者に公知の他のリンク機構及び／又は搬送波機構を含むことができるがこれらに限定されない。更に、通信リンクは、例えば、ＤＳ−０、ＤＳ−１、ＤＳ−２、ＤＳ−３、ＤＳ−４、ＯＣ−３、ＯＣ−１２、又はＯＣ−４８などを含むがこれらに限定されない様々なデジタル信号伝達技術のうちの様々なものを更に使用することができる。一部の実施形態では、１つのネットワークから別のものに情報を伝達することを可能にするために、ルータ（又は他の中間ネットワークデバイス）が、異なるアーキテクチャ及び／又はプロトコルに基づくものを含む様々なネットワークの間のリンクとして機能することができる。他の実施形態では、遠隔コンピュータ及び／又は他の関連電子デバイスをモデム及び一時的電話リンクを通してネットワークに接続することができる。基本的に、ネットワーク１０２は、情報をコンピュータデバイス間で往来させることを可能にする様々な通信技術を含むことができる。
一部の実施形態では、ネットワーク１０２は、様々な可搬ネットワークデバイス、遠隔コンピュータ、有線ネットワーク、又は他の無線ネットワークなどを結合するように構成することができる様々な無線ネットワークを含むことができる。無線ネットワークは、少なくともクライアントコンピュータ（例えば、ラップトップコンピュータ１１２、スマート電話、又はタブレットコンピュータ１１４）（又は他のモバイルデバイス）に対してインフラストラクチャ志向接続を提供するために、独立型アドホックネットワークなどに更にオーバーレイすることができる様々なサブネットワークのうちの様々なものを含むことができる。そのようなサブネットワークは、メッシュネットワーク、無線ＬＡＮ（ＷＬＡＮ）ネットワーク、又はセルラーネットワークなどを含むことができる。様々な実施形態のうちの少なくとも１つでは、システムは、１よりも多い無線ネットワークを含むことができる。
ネットワーク１０２は、複数の有線及び／又は無線の通信プロトコル及び／又は技術を使用することができる。ネットワークを使用することができる通信プロトコル及び／又は通信技術の様々な製品世代（例えば、第３（３Ｇ）、第４（４Ｇ）、又は第５（５Ｇ））の例は、移動通信のための世界システム（ＧＳＭ（登録商標））、汎用パケット無線サービス（ＧＰＲＳ）、拡張データＧＳＭ環境（ＥＤＧＥ）、符号分割多重アクセス（ＣＤＭＡ）、広帯域符号分割多重アクセス（Ｗ−ＣＤＭＡ）、符号分割多重アクセス２０００（ＣＤＭＡ２０００）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、長期的進化（ＬＴＥ）、ユニバーサル移動電話システム（ＵＭＴＳ）、進化データ最適化（Ｅｖ−ＤＯ）、マイクロ波アクセスに関する世界規模の相互運用性（ＷｉＭａｘ）、時分割多重アクセス（ＴＤＭＡ）、直交周波数分割多重化（ＯＦＤＭ）、超広帯域（ＵＷＢ）、無線アプリケーションプロトコル（ＷＡＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、送信制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、オープンシステム相互接続（ＯＳＩ）モデルプロトコルの様々な部分、セッション開始プロトコル／実時間伝達プロトコル（ＳＩＰ／ＲＴＰ）、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、又は様々な他の通信プロトコル及び／又は通信技術のうちの様々なものを含むことができるがこれらに限定されない。基本的に、ネットワークは、ヘッドマウント投影表示システム１００とテレプレゼンスコンピュータデバイス１０６、並びに例示していない他のコンピュータデバイスとの間で情報が出入りすることを可能にする通信技術を含むことができる。
様々な実施形態では、ネットワーク１０２の少なくとも一部分は、様々な通信リンクが接続することができるノード、リンク、経路、端末、ゲートウェイ、ルータ、スイッチ、ファイアウォール、ロードバランサ、伝達器、リピータ、又は光−電気コンバータなどから構成される自律システムとして配置することができる。これらの自律システムは、現在作動条件及び／又は規則ベースのポリシーに基づいてネットワークのネットワークトポロジーを修正することができるように自己組織化するように構成することができる。
一般化された作動
図１Ｃは、テレプレゼンスシステムの遠隔に位置付けられたユーザに対して仮想３次元アバターを捕捉し、通信し、かつ表示するための処理１２０の流れ図を示している。開始ブロックから進行し、処理はブロック１２２に移り、そこでヘッドマウント投影表示システムが光スキャナを用いてレーザビーム光を非平坦スクリーンに向けて反射する。少なくとも１つの実施形態では、スクリーンは、少なくとも１つの座標軸において凹面、放物面、及び三連式を含む湾曲面又は折り畳み面である。更に、実施形態のうちの少なくとも１つでは、走査光の１又は２以上の部分は非可視のものである。任意的に、走査光の１又は２以上の他の部分は可視のものである。ブロック１２４において、走査光の反射光が、一般的にユーザの左目及び右目に比較的近い２つの場所に配置された１又は２以上のシステムセンサによって実時間で受光される。ブロック１２６に進行し、反射非可視光の１又は２以上の部分が、ユーザの顔面の位置、向き、及び表現の複数の全体像視界を与える。任意的に、ユーザの顔面の色及びコントラストを決定するために反射可視光の１又は２以上の部分が使用される。
処理はブロック１２８に進行し、そこで、テレプレゼンスサーバに提供された複数の全体像視界に基づいてユーザの仮想画像（アバター）が生成される。ブロックにおいて、ユーザのアバターは、テレプレゼンスサーバによってシステムの遠隔に位置付けられたユーザに通信され、このユーザによって表示される。次いで、処理は戻りブロックに移り、他のアクションの処理を続ける。
処理記述の各ブロック及び処理記述でのブロックの組合せは、コンピュータプログラム命令によって実施することができることは理解されるであろう。１又は２以上のプロセッサ内で実行されるこれらのプログラム命令が１又は複数の処理ブロックにおいて指定されたアクションを実施するための手段を生成するような機械を生成するために、これらのプログラム命令を１又は２以上のプロセッサに供給することができる。これらのコンピュータプログラム命令は、コンピュータ実施処理を生成するために１又は２以上のプロセッサによって実施されることになる一連の作動段階をもたらすために１又は２以上のプロセッサ内で実行することができ、それによってこれらの命令は、１又は２以上のプロセッサ内で実行されて１又は複数の処理ブロックにおいて指定されたアクションを実施するための段階を与える。更に、コンピュータプログラム命令は、処理ブロックに示した又は他に説明した作動段階のうちの１又は２以上のものの１又は２以上の部分を１又は２以上のプロセッサ又は１又は２以上のコンピュータに並列又は同時に実施させることができる。更に、段階のうちの一部は、１よりも多いプロセッサ又はコンピュータにわたって実施することができる。更に、処理記述での１又は２以上のブロック又はブロック組合せは、他のブロック又はブロック組合せと同時に実施することができ、又は本発明の技術革新の範囲又は精神から逸脱することなく説明したものとは異なる順番を用いて実施することさえ可能である。
従って、処理記述のブロックは、指定されたアクションを実施するための手段の組合せ、指定されたアクションを実施するための段階の組合せ、及び指定されたアクションを実施するためのプログラム命令手段をサポートする。処理記述の各ブロック及び処理記述でのブロックの組合せは、指定されたアクション又は段階を実施する専用ハードウエアベースのシステムにより、又は専用ハードウエア及びコンピュータ命令の組合せによって実施することができることも理解されるであろう。上述の例は、限定的又は包括的であると解釈すべきではなく、本発明の技術革新の様々な実施形態のうちの１又は２以上のものの実施を示すための例示的使用事例であると解釈しなければならない。
更に、１又は２以上の実施形態（図示せず）では、例示的処理記述での論理部は、１又は２以上のＣＰＵの代わりに、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラム可能アレイ論理チップ（ＰＡＬ）など、又はその組合せのような１又は２以上の埋め込み論理ハードウエアデバイスを用いて実行することができる。１又は２以上の埋め込み論理ハードウエアデバイスは、アクションを実施するために埋め込み論理部を直接に実行することができる。１又は２以上の実施形態では、１又は２以上のマイクロコントローラは、アクションを実施するために自らの局所埋め込み論理部を直接に実行し、本明細書に説明するアクションを実施するために自らの内部メモリ、並びに自らの外部入出力インタフェース（例えば、ハードウエアピン又は無線送受信機）にアクセスするためのシステムオンチップ（ＳＯＣ）として配置することができる。
例示的クライアントコンピュータ
図２は、図１ａ及び図１Ｂに示すもののようなヘッドマウント投影表示システムに含まれる例示的クライアントコンピュータ２００の一実施形態を示している。コンピュータ２００は、図示の例示的構成要素よりも多いか又は少ない構成要素を含むことができる。同じく、コンピュータ２００はまた、ネットワークコンピュータ３００のクライアントである場合がある。
コンピュータ２００は、バス２０６を通してメモリ２０４と通信するプロセッサ２０２を含むことができる。更に、クライアントコンピュータ２００は、電源２０８と、ネットワークインタフェース２１０と、プロセッサ可読固定ストレージデバイス２１２と、プロセッサ可読着脱可能ストレージデバイス２１４と、入力／出力インタフェース２１６と、カメラ２１８と、ビデオインタフェース２２０と、タッチインタフェース２２２と、ハードウエアセキュリティモジュール（ＨＳＭ）２２４と、プロジェクタ２２６と、ディスプレイ２２８と、キーパッド２３０と、照明器２３２と、オーディオインタフェース２３４と、全地球測位システム（ＧＰＳ）送受信機２３６と、屋外動作インタフェース２３８と、温度インタフェース２４０と、触覚インタフェース２４２と、ポインティングデバイスインタフェース２４４とを含むことができる。コンピュータ２００は、任意的に基地局（図示せず）と通信することができ、又は別のコンピュータと直接に通信することができる。更に、一実施形態では、図示してはいないが、コンピュータ２００の向きを測定及び／又は維持するためにクライアントコンピュータ２００内でジャイロスコープを使用することができる。
電源２０８は、コンピュータ２００に電力を供給することができる。電力を供給するのに再充電可能又は再充電不能なバッテリを使用することができる。電力は、ＡＣアダプタのような外部電源又はバッテリを補充及び／又は再充電する充電台によって供給することができる。
ネットワークインタフェース２１０は、コンピュータ２００を１又は２以上のネットワークに結合するための回路を含み、移動通信（ＧＳＭ）に対するＯＳＩモデルの様々な部分を実施するプロトコル及び技術、ＣＤＭＡ、時分割多重アクセス（ＴＤＭＡ）、ＵＤＰ、ＴＣＰ／ＩＰ、ＳＭＳ、ＭＭＳ、ＧＰＲＳ、ＷＡＰ、ＵＷＢ、Ｗｉ−Ｆｉ（登録商標）、ＷｉＭａｘ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＳＩＰ／ＲＴＰ、ＧＰＲＳ、ＥＤＧＥ、ＷＣＤＭＡ（登録商標）、ＬＴＥ、ＵＭＴＳ、ＯＦＤＭ、ＣＤＭＡ２０００、ＥＶ−ＤＯ、ＨＳＤＰＡ、又は様々な他の無線通信プロトコルのうちの様々なものを含むがこれらに限定されない１又は２以上の通信プロトコル及び通信技術との併用に向けて構成される。ネットワークインタフェース２１０は、時として送受信機、送受信デバイス、又はネットワークインタフェースカード（ＮＩＣ）として公知である。
オーディオインタフェース２３４は任意的なものとすることができ、それが含まれる時に、ヒト音声の音のようなオーディオ信号を生成及び受信するように配置することができる。例えば、オーディオインタフェース２３４は、他者との遠距離通信を可能にし、及び／又は何らかのアクションに対するオーディオ承認を生成するためにスピーカ及びマイクロフォン（図示せず）に結合することができる。オーディオインタフェース２３４内のマイクロフォンは、例えば、音声認識を使用する又は音に基づいてタッチを検出するなどを行うクライアントコンピュータ２００への入力又はその制御に向けて使用することができる。
ディスプレイ２２８は任意的なものとすることができ、液晶ディスプレイ（ＬＣＤ）、ガスプラズマ、電子インク、発光ダイオード（ＬＥＤ）、有機ＬＥＤ（ＯＬＥＤ）、又はコンピュータと併用することができる様々な他のタイプの光反射ディスプレイ又は光透過ディスプレイとすることができる。ディスプレイ２２８は、スタイラス又は人間の手からの指のような物体から入力を受け入れるように配置されたタッチインタフェース２２２を含むことができ、抵抗性のもの、容量性のもの、面音響波（ＳＡＷ）、赤外線、レーダー、又はタッチ及び／又は動作を感知するための他の技術を使用することができる。
プロジェクタ２２６は、画像を遠隔地の壁上又は遠隔地のスクリーンのような様々な他の反射物体上に投影することができる遠隔地ハンドヘルドプロジェクタ又は組み込みプロジェクタとすることができる。
ビデオインタフェース２２０は、静止写真、ビデオセグメント、又は赤外線ビデオなどのようなビデオ画像を捕捉するように配置することができる。例えば、ビデオインタフェース２２０は、２又は３以上のデジタルカメラに結合することができる。ビデオインタフェース２２０は、各カメラに対してレンズ、画像センサ、及び他の電子機器を含むことができる。画像センサは、相補的金属酸化物半導体（ＣＭＯＳ）集積回路、電荷結合デバイス（ＣＣＤ）、又は光を感知するための様々な他の集積回路を含むことができる。
キーパッド２３０は任意的なものとすることができ、それが含まれる時に、ユーザからの入力を受け入れるように配置された様々な入力デバイスを含むことができる。例えば、キーパッド２３０は、プッシュボタン数値ダイヤル又はキーボードを含むことができる。キーパッド２３０は、画像を選択及び送信することに関する指令ボタンを含むことができる。
照明器２３２は任意的なものとすることができ、それが含まれる時に、ステータス表示を提供すること及び／又は光を提供することができる。照明器２３２は、特定の期間にわたって又は事象メッセージに応答してアクティブに留まることができる。例えば、照明器２３２は、アクティブである場合に、キーパッド２３０上のボタンを背面照明すること及びクライアントコンピュータが給電されている間に点灯状態に留まることができる。更に、照明器２３２は、別のクライアントコンピュータにダイヤルすることのような特定のアクションが実施されている場合にこれらのボタンを様々なパターンで背面照明することができる。照明器２３２は、アクションに応答してクライアントコンピュータの透明又は半透明のケースに配置された光源に照明させることができる。
更に、コンピュータ２００は、鍵、デジタル証明書、パスワード、パスフレーズ、又は二要素認証などのようなセキュリティ／暗号情報を生成、格納、及び／又は使用するために追加の不正開封防止保護を提供するためのＨＳＭ２２４を任意的に含むことができる。一部の実施形態では、１又は２以上の標準公開鍵インフラストラクチャ（ＰＫＩ）をサポートするためにハードウエアセキュリティモジュールを使用することができ、このモジュールは、鍵対などを生成、管理、及び／又は格納するために使用することができる。一部の実施形態では、ＨＳＭ２２４は、コンピュータに追加することができるハードウエアカードとして配置することができる。
コンピュータ２００は、外部周辺デバイス又は他のクライアントコンピュータ及びネットワークコンピュータのような他のコンピュータと通信するために入力／出力インタフェース２１６を含むことができる。周辺デバイスは、オーディオヘッドセット、仮想現実ヘッドセット、表示スクリーングラス、遠隔スピーカシステム、及び遠隔スピーカ及びマイクロフォンシステムなどを含むことができる。入力／出力インタフェース２１６は、ユニバーサルシリアルバス（ＵＳＢ）、赤外線、Ｗｉ−Ｆｉ（登録商標）、ＷｉＭａｘ、及びＢｌｕｅｔｏｏｔｈ（登録商標）などのような１又は２以上の技術を利用することができる。
入力／出力インタフェース２１６は、地理的場所情報を決定するための１又は２以上のセンサ（例えば、ＧＰＳ）、電力条件をモニタするための１又は２以上のセンサ（例えば、電圧センサ、電流センサ、及び周波数センサ等々）、又は気象をモニタするための１又は２以上のセンサ（例えば、サーモスタット、気圧計、風力計、湿度検出器、又は雨量計など）などを任意的に含むことができる。センサは、コンピュータ２００の外部のデータを収集及び／又は測定する１又は２以上のハードウエアセンサとすることができる。
触覚インタフェース２４２は任意的なものとすることができ、それが含まれる時に、コンピュータ２００のユーザに触覚フィードバックを供給するように配置することができる。例えば、触覚インタフェース２４２は、事象に応答してコンピュータ２００を特定の手法で振動させるために使用することができる。温度インタフェース２４０は任意的なものとすることができ、それが含まれる時に、温度測定値入力を提供するために、及び／又はコンピュータ２００のユーザに温度変化出力を提供するために使用することができる。屋外動作インタフェース２３８は任意的なものとすることができ、それが含まれる時に、例えば、単一ビデオカメラ又は立体ビデオカメラ、レーダー、又はユーザによって把持又は着用されたコンピュータ内のジャイロスコープセンサなどを使用することによってコンピュータ２００のユーザの身体動作を感知することができる。カメラ２１８は、コンピュータ２００のユーザの物理的位置を追跡するために使用することができる。
ＧＰＳ送受信機２３６は任意的であり、それが含まれる時に、地球面上のコンピュータ２００の物理座標を決定するために使用することができ、一般的に場所を緯度値及び経度値として出力する。ＧＰＳ送受信機２３６は、地球面上のコンピュータ２００の物理的場所を更に決定するために、三角測位、補助ＧＰＳ（ＡＧＰＳ）、強化観察時間差法（Ｅ−ＯＴＤ）、セル識別子（ＣＩ）、サービス区域識別子（ＳＡＩ）、強化タイミングアドバンス法（ＥＴＡ）、又は基地局サブシステム（ＢＳＳ）などを含むがこれらに限定されない他の地理的位置決め機構を使用することができる。様々な条件下において、ＧＰＳ送受信機２３６は、コンピュータ２００に関する物理的場所を決定することができることを理解しなければならない。しかし、１又は２以上の実施形態では、コンピュータ２００は、クライアントコンピュータの物理的場所を決定するために使用することができ、例えば、媒体アクセス制御（ＭＡＣ）アドレス、及びＩＰアドレスなどを含む他の情報を他の構成要素によって供給することができる。
ヒューマンインタフェース構成要素は、任意的なものとすることができ、これらの構成要素が含まれる時に、コンピュータ２００とは物理的に別々のものであり、かつコンピュータ２００に対する遠隔入力及び／又は出力を可能にする周辺デバイスとすることができる。例えば、本明細書に説明するように任意的なディスプレイ２２８又は任意的なキーパッド２３０のようなヒューマンインタフェース構成要素を通して経路指定される情報は、代わりにネットワークインタフェース２１０を通して遠隔に位置付けられた適切なヒューマンインタフェース構成要素に経路指定することができる。遠隔に位置付けることができる任意的なヒューマンインタフェース周辺構成要素の例は、オーディオデバイス、ポインティングデバイス、キーパッド、ディスプレイ、カメラ、及びプロジェクタなどを含むことができるがこれらに限定されない。これらの周辺構成要素は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＺｉｇｂｅｅ（登録商標）などのようなＰｉｃｏネットワーク上で通信することができる。そのような周囲ヒューマンインタフェース構成要素の１つの非限定的な例は、ユーザの物理的な位置及び向きを検出する２又は３以上のカメラと共にｐｉｃｏプロジェクタを含むことができ、このｐｉｃｏプロジェクタによってビデオ又は画像をスクリーン又は壁のような反射面上に投影することができる。
メモリ２０４は、ＲＡＭ、ＲＯＭ、及び／又は他のタイプのメモリを含むことができる。メモリ２０４は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータのような情報の格納のためのコンピュータ可読ストレージ媒体（デバイス）の例を示している。メモリ２０４は、クライアントコンピュータ２００の低レベル作動を制御するためのＢＩＯＳ２４６を格納することができる。更に、メモリは、クライアントコンピュータ２００の作動を制御するためのオペレーティングシステム２４８を格納することができる。この構成要素が、ある一定バージョンのＵＮＩＸ（登録商標）又はＬＩＮＵＸ（登録商標）のような汎用オペレーティングシステム又はＷｉｎｄｏｗｓ（登録商標）オペレーティングシステム又はＡｐｐｌｅ ｉＯＳ（登録商標）オペレーティングシステムのような専用クライアントコンピュータ通信オペレーティングシステムを含むことができることは理解されるであろう。オペレーティングシステムは、Ｊａｖａ（登録商標）アプリケーションプログラムによるハードウエア構成要素及び／又はオペレーティングシステム作動の制御を可能にするＪａｖａ仮想機械モジュールを含むか又はそれとインタフェースで接続することができる。
更に、メモリ２０４は、取りわけアプリケーション２５２及び／又は他のデータを格納するためにコンピュータ２００を利用することができる１又は２以上のデータストレージ２５０を任意的に含むことができる。例えば、データストレージ２５０は、コンピュータ２００の様々な機能を記述する情報を格納するために使用することができる。様々な実施形態のうちの１又は２以上では、データストレージ２５０は追跡情報２５１は格納することができる。その後に、情報２５１は、通信中にヘッダの一部として送ること又は要求時に送ることなどを含む様々な方法のうちの様々なものに基づいて別の眼柄（eye stalk）コンピュータ又はネットワークコンピュータに供給することができる。データストレージ２５０は、アドレス帳、友達リスト、別名、又はユーザプロファイル情報などを含むソーシャルネットワーク情報を格納するために使用することができる。更に、データストレージ２５０は、プロセッサ２０２のようなプロセッサによるアクションを実行及び実施するための使用に向けてプログラムコード、データ、及びアルゴリズムなどを含むことができる。一実施形態では、データストレージ２５０の少なくとも一部は、非一時的プロセッサ可読固定ストレージデバイス２１２、プロセッサ可読着脱可能ストレージデバイス２１４を含むがこれらに限定されないコンピュータ２００の別の任意的な構成要素上に格納することができ、又はクライアントコンピュータの外部に格納することさえ可能である。
アプリケーション２５２は、コンピュータ２００によって実行された場合に、命令及びデータを送信、受信、及び／又は他に処理するコンピュータ実行可能命令を含むことができる。アプリケーション２５２は、例えば、テレプレゼンスクライアントエンジン２５４、他のクライアントエンジン２５６、又はウェブブラウザ２５８などを含むことができる。コンピュータ２００は、照会、検索、メッセージ、通知メッセージ、事象メッセージ、警告、パフォーマンスメトリクス、ログデータ、又はＡＰＩコールなど、これらの組合せのような通信をテレプレゼンスアプリケーションサーバ、ネットワークファイルシステムアプリケーション、及び／又はストレージ管理アプリケーションとやり取りするように配置することができる。
任意的なウェブブラウザエンジン２２６は、ウェブページ、ウェブベースのメッセージ、グラフィック、文字、及びマルチメディアなどを送受信するように構成することができる。コンピュータの任意的なブラウザエンジン２２６は、無線アプリケーションプロトコルメッセージ（ＷＡＰ）などを含む事実上様々なプログラミング言語を使用することができる。１又は２以上の実施形態では、ブラウザエンジン２５８は、ハンドヘルドデバイスマークアップ言語（ＨＤＭＬ）、無線マークアップ言語（ＷＭＬ）、ＷＭＬＳｃｒｉｐｔ、ＪａｖａＳｃｒｉｐｔ（登録商標）、標準一般化マークアップ言語（ＳＧＭＬ）、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張可能マークアップ言語（ＸＭＬ）、及びＨＴＭＬ５などを使用することが可能である。
アプリケーションプログラムの他の例は、カレンダー、検索プログラム、電子メールクライアントアプリケーション、ＩＭアプリケーション、ＳＭＳアプリケーション、ボイスオーバーインターネットプロトコル（ＶＯＩＰ）アプリケーション、連絡先マネージャ、タスクマネージャ、トランスコーダ、データベースプログラム、ワード処理プログラム、セキュリティアプリケーション、スプレッドシートプログラム、ゲーム、及び検索プログラム等々を含む。
これに加えて、１又は２以上の実施形態（図示せず）では、コンピュータ２００は、ＣＰＵの代わりに、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラム可能アレイ論理（ＰＡＬ）など、又はその組合せのような埋め込み論理ハードウエアデバイスを含むことができる。埋め込み論理ハードウエアデバイスは、アクションを実施するためにこのデバイスの埋め込み論理部を直接に実行することができる。更に、１又は２以上の実施形態（図示せず）では、コンピュータ２００は、ＣＰＵの代わりにハードウエアマイクロコントローラを含むことができる。１又は２以上の実施形態では、マイクロコントローラは、アクションを実施するために自らの埋め込み論理部を直接に実行し、アクションを実施するためにシステムオンチップ（ＳＯＣ）などのような自らの内部メモリ及び自らの外部入出力インタフェース（例えば、ハードウエアピン及び／又は無線送受信機）にアクセス可能である。
例示的ネットワークコンピュータ
図３は、様々な実施形態のうちの１又は２以上を実施する例示的システムに含めることができる例示的ネットワークコンピュータ３００の一実施形態を示している。ネットワークコンピュータ３００は、図３に示すもののうちの一部、全て、又はそれよりも多い構成要素を含むことができる。しかし、図示の構成要素は、例示的実施形態を開示するのに十分である。ネットワークコンピュータ３００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバコンピュータ、及びクライアントコンピュータなどを含むことができる。ネットワークコンピュータ３００は、図１ｂのシステム１００のテレプレゼンスサーバコンピュータ１０６の一実施形態を表すことができる。
図３に示すように、ネットワークコンピュータ３００は、バス３０６を通してメモリ３０４と通信することができるプロセッサ３０２を含む。一部の実施形態では、プロセッサ３０２は、１又は２以上のハードウエアプロセッサ又は１又は２以上のプロセッサコアから構成されるとすることができる。一部の場合では、１又は２以上のプロセッサのうちの１又は２以上は、本明細書に説明するもののような１又は２以上の特化されたアクションを実施するように設計された専用プロセッサとすることができる。ネットワークコンピュータ３００は、電源３０８と、ネットワークインタフェース３１０と、プロセッサ可読固定ストレージデバイス３１２と、プロセッサ可読着脱可能ストレージデバイス３１４と、入力／出力インタフェース３１６と、ＧＰＳ送受信機３１８と、ディスプレイ３２０と、キーボード３２２と、オーディオインタフェース３２４と、ポインティングデバイスインタフェース３２６と、ＨＳＭ３２８とを含むことができる。電源３０８は、ネットワークコンピュータ３００に電力を供給する。
ネットワークインタフェース３１０は、コンピュータ３００を１又は２以上のネットワークに結合するための回路を含み、かつオープンシステム相互接続モデル（ＯＳＩモデル）の様々な部分を実施するプロトコル及び技術、移動通信のための世界システム（ＧＳＭ）、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、ユーザデータグラムプロトコル（ＵＤＰ）、送信制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、汎用パケット無線サービス（ＧＰＲＳ）、ＷＡＰ、超広帯域（ＵＷＢ）、ＩＥＥＥ ８０２．１６、マイクロ波アクセスに関する世界規模の相互運用性（ＷｉＭａｘ）、セッション開始プロトコル／実時間伝達プロトコル（ＳＩＰ／ＲＴＰ）、又は様々な他の有線及び無線の通信プロトコルのうちの様々なものを含むことができるがこれらに限定されない１又は２以上の通信プロトコル及び通信技術との併用に向けて構成される。ネットワークインタフェース３１０は、時として送受信機、送受信デバイス、又はネットワークインタフェースカード（ＮＩＣ）として公知である。ネットワークコンピュータ３００は、任意的に、基地局（図示せず）と通信するか又は別のコンピュータと直接に通信することができる。
オーディオインタフェース３２４は、ヒト音声の音のようなオーディオ信号を生成及び受信するように配置される。例えば、オーディオインタフェース３２４は、他者との遠距離通信を可能にする及び／又は何らかのアクションに対するオーディオ承認を生成するためにスピーカ及びマイクロフォン（図示せず）に結合することができる。オーディオインタフェース３２４内のマイクロフォンは、例えば、音声認識を使用するネットワークコンピュータ３００への入力又はその制御に向けて使用することができる。
ディスプレイ３２０は、液晶ディスプレイ（ＬＣＤ）、ガスプラズマ、電子インク、発光ダイオード（ＬＥＤ）、有機ＬＥＤ（ＯＬＥＤ）、又はコンピュータと併用することができる様々な他のタイプの光反射ディスプレイ又は光透過ディスプレイとすることができる。ディスプレイ３２０は、画像を壁又は他の物体上に投影することができるハンドヘルドプロジェクタ又はｐｉｃｏプロジェクタとすることができる。
ネットワークコンピュータ３００は、図３に示していない外部デバイス又はコンピュータと通信するために入力／出力インタフェース３１６を含むことができる。入力／出力インタフェース３１６は、ＵＳＢ（登録商標）、Ｆｉｒｅｗｉｒｅ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、ＷｉＭａｘ、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、シリアルポート、及びパラレルポートなどのような１又は２以上の有線又は無線の通信技術を利用することができる。
更に、入力／出力インタフェース３１６は、地理的場所情報を決定するための１又は２以上のセンサ（例えば、ＧＰＳ）、電力条件をモニタするための１又は２以上のセンサ（例えば、電圧センサ、電流センサ、及び周波数センサ等々）、又は気象をモニタするための１又は２以上のセンサ（例えば、サーモスタット、気圧計、風力計、湿度検出器、又は雨量計など）などを含むことができる。センサは、ネットワークコンピュータ３００の外部のデータを収集及び／又は測定する１又は２以上のハードウエアセンサとすることができる。ヒューマンインタフェース構成要素は、ネットワークコンピュータ３００とは物理的に別個とすることができ、かつネットワークコンピュータ３００への遠隔入力及び／又は遠隔出力を可能にする。例えば、本明細書に説明するようにディスプレイ３２０又はキーボード３２２のようなヒューマンインタフェース構成要素を通して経路指定される情報は、代わりにネットワークインタフェース３１０を通してネットワーク上の別の場所に所在する適切なヒューマンインタフェース構成要素に経路指定することができる。ヒューマンインタフェース構成要素は、コンピュータがコンピュータの人間ユーザから入力を取得するか又はこのユーザに出力を送ることを可能にする様々な構成要素を含む。従って、マウス、スタイラス、又はトラックボールなどのようなポインティングデバイスは、ユーザ入力を受け入れるためにポインティングデバイスインタフェース３２６を通して通信することができる。
ＧＰＳ送受信機３１８は、地球面上のネットワークコンピュータ３００の物理座標を決定することができ、一般的に場所を緯度値及び経度値として出力する。ＧＰＳ送受信機３１８は、地球面上のネットワークコンピュータ３００の物理的場所を更に決定するために、三角測位、補助ＧＰＳ（ＡＧＰＳ）、強化観察時間差法（Ｅ−ＯＴＤ）、セル識別子（ＣＩ）、サービス区域識別子（ＳＡＩ）、強化タイミングアドバンス法（ＥＴＡ）、又は基地局サブシステム（ＢＳＳ）などを含むがこれらに限定されない他の地理的位置決め機構を使用することができる。様々な条件下において、ＧＰＳ送受信機３１８は、ネットワークコンピュータ３００に関する物理的場所を決定することができることを理解しなければならない。しかし、１又は２以上の実施形態では、ネットワークコンピュータ３００は、クライアントコンピュータの物理的場所を決定するために使用することができ、例えば、媒体アクセス制御（ＭＡＣ）アドレス、及びＩＰアドレスなどを含む他の情報を他の構成要素によって供給することができる。
メモリ３０４は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、及び／又は他のタイプのメモリを含むことができる。メモリ３０４は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータのような情報の格納のためのコンピュータ可読ストレージ媒体（デバイス）の例を示している。メモリ３０４は、ネットワークコンピュータ３００の低レベル作動を制御するための基本入力／出力システム（ＢＩＯＳ）３３０を格納する。更に、メモリは、ネットワークコンピュータ３００の作動を制御するためのオペレーティングシステム３３２も格納する。この構成要素は、ある一定バージョンのＵＮＩＸ（登録商標）又はＬＩＮＵＸ（登録商標）のような汎用オペレーティングシステム又はＭｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎのＷｉｎｄｏｗｓ（登録商標）オペレーティングシステム又はＡｐｐｌｅ ＣｏｒｐｏｒａｔｉｏｎのｉＯＳ（登録商標）オペレーティングシステムのような専用オペレーティングシステムを含むことができることは理解されるであろう。オペレーティングシステムは、Ｊａｖａアプリケーションプログラムによるハードウエア構成要素及び／又はオペレーティングシステムの作動の制御を可能にするＪａｖａ仮想機械モジュールを含む又はそれとインタフェースで接続することができる。同じく、他の実行時環境を含めることができる。
更に、メモリ３０４は、取りわけアプリケーション３３６及び／又は他のデータを格納するためにネットワークコンピュータ３００を利用することができる１又は２以上のデータストレージ３３４を含むことができる。例えば、データストレージ３３４は、ネットワークコンピュータ３００の様々な機能を記述する情報を格納するために使用することができる。様々な実施形態のうちの１又は２以上では、データストレージ３３４は追跡情報３３５を格納することができる。その後に、追跡情報３３５は、通信中にヘッダの一部として送ること又は要求時に送ることなどを含む様々な方法のうちの様々なものに基づいて別のデバイス又はコンピュータに供給することができる。データストレージ３３４は、アドレス帳、友達リスト、別名、又はユーザプロファイル情報などを含むソーシャルネットワーク情報を格納するために使用することができる。更に、データストレージ３３４は、プロセッサ３０２のような１又は２以上のプロセッサによる下記で説明するアクションのようなアクションを実行及び実施するための使用に向けて、プログラムコード、データ、及びアルゴリズムなどを含むことができる。一実施形態では、データストレージ３３４の少なくとも一部は、非一時的プロセッサ可読固定ストレージデバイス３１２内の非一時的媒体、プロセッサ可読着脱可能ストレージデバイス３１４、又はネットワークコンピュータ３００内の様々な他のコンピュータ可読ストレージデバイスを含むがこれらに限定されないネットワークコンピュータ３００の別の構成要素上に格納することができ、又はネットワークコンピュータ３００の外部に格納することさえ可能である。
アプリケーション３３６は、ネットワークコンピュータ３００によって実行された場合に、メッセージ（例えば、ＳＭＳ、マルチメディアメッセージングサービス（ＭＭＳ）、インスタントメッセージ（ＩＭ）、電子メール、及び／又は他のメッセージ）、オーディオ、ビデオを送信、受信、及び／又は他に処理し、別のモバイルコンピュータの別のユーザとの遠距離通信を可能にするコンピュータ実行可能命令を含むことができる。アプリケーションプログラムの他の例は、カレンダー、検索プログラム、電子メールクライアントアプリケーション、ＩＭアプリケーション、ＳＭＳアプリケーション、ボイスオーバーインターネットプロトコル（ＶＯＩＰ）アプリケーション、連絡先マネージャ、タスクマネージャ、トランスコーダ、データベースプログラム、ワード処理プログラム、セキュリティアプリケーション、スプレッドシートプログラム、ゲーム、及び検索プログラム等々を含む。アプリケーション３３６は、下記でより詳しく説明するアクションを実施する追跡エンジン３４６を含むことができる。様々な実施形態のうちの１又は２以上では、アプリケーションのうちの１又は２以上は、モジュール及び／又は別のアプリケーションの構成要素として実施することができる。更に、様々な実施形態のうちの１又は２以上では、アプリケーションは、オペレーティングシステム拡張部、モジュール、又はプラグインなどとして実施することができる。
更に、様々な実施形態のうちの１又は２以上では、テレプレゼンスエンジン３４６は、クラウドベースのコンピュータ環境内で作動可能にすることができる。様々な実施形態のうちの１又は２以上では、これらのアプリケーション及びその他は、クラウドベースのコンピュータ環境内で管理することができる仮想機械及び／又は仮想サーバ内で実行することができる。この関連において、様々な実施形態のうちの１又は２以上では、アプリケーションは、クラウドベースの環境内の１つの物理的ネットワークコンピュータから別のものにクラウドコンピュータ環境によって自動的に管理される性能要件及びスケーリング要件に依存して流れることができる。同じく、様々な実施形態のうちの１又は２以上では、追跡エンジン３４６に専用の仮想機械及び／又は仮想サーバは、自動的に具備及び廃止することができる。
更に、様々な実施形態のうちの１又は２以上では、テレプレゼンスエンジン３４６などは、１又は２以上の特定の物理的ネットワークコンピュータに結び付けられるのではなく、クラウドベースのコンピュータ環境内で稼働する仮想サーバ内に位置付けることができる。
更に、ネットワークコンピュータ３００は、鍵、デジタル証明書、パスワード、パスフレーズ、又は二要素認証などのようなセキュリティ／暗号情報を生成、格納、及び／又は使用するために追加の不正開封防止保護を提供するためのＨＳＭ３２８を任意的に含むことができる。一部の実施形態では、１又は２以上の標準公開鍵インフラストラクチャ（ＰＫＩ）をサポートするためにハードウエアセキュリティモジュールを使用することができ、このモジュールは、鍵対などを生成、管理、及び／又は格納するために使用することができる。一部の実施形態では、ＨＳＭ３２８は、独立型ネットワークコンピュータとすることができ、他の場合に、ネットワークコンピュータ内に設置することができるハードウエアカードとして配置することができる。
更に、１又は２以上の実施形態（図示せず）では、ネットワークコンピュータは、１又は２以上のＣＰＵの代わりに、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラム可能アレイ論理（ＰＡＬ）など、又はその組合せのような１又は２以上の埋め込み論理ハードウエアデバイスを含むことができる。埋め込み論理ハードウエアデバイスは、アクションを実施するために埋め込み論理部を直接に実行することができる。更に、１又は２以上の実施形態（図示せず）では、ネットワークコンピュータは、ＣＰＵの代わりに１又は２以上のハードウエアマイクロコントローラを含むことができる。１又は２以上の実施形態では、１又は２以上のマイクロコントローラは、アクションを実施するために自らの埋め込み論理部を直接に実行することができ、アクションを実施するためにシステムオンチップ（ＳＯＣ）などのような自らの内部メモリ及び自らの外部入出力インタフェース（例えば、ハードウエアピン及び／又は無線送受信機）にアクセス可能である。
ヘッドマウント投影システムの例示的アーキテクチャ
図４Ａは、３次元ビデオ会議を提供する例示的テレプレゼンスシステム４００の２次元俯瞰視界の実施形態を示している。様々な実施形態の一部では、テレプレゼンスシステム４００は、鏡面４０２と、左眼柄４０６及び右眼柄４０８を備えたフレームを有するヘッドマウント投影表示システム４０４とを含むことができる。様々な実施形態のうちの１又は２以上では、左眼柄４０６と右眼柄４０８は、１又は２以上のウェアラブル支持体４１０によって互いに通信可能又は機械的に結合することができる。
ユーザは、ヘッドマウント投影表示システム４０４のようなヘッドマウント投影表示システムを自分の頭部の上にこのシステムが自分の顔面を掩蔽しないように眉の上方に着用する。そのようなシステムの１つの非限定的な例は、ＰｈｏｔｏｎＪｅｔ ＵｌｔｒａＬｉｇｈｔ（登録商標）システムである。
様々な実施形態のうちの１又は２以上では、鏡面４０２は、ユーザに対して凹面全体像で配置された凹状面又はこれに代えて三連式のような幾何学的な多平面ミラー面を有する投影スクリーンとすることができる。様々な実施形態のうちの１又は２以上では、ユーザは、鏡面４０２がユーザの周りに配置される間は凹面鏡面４０２に対面することができる。
様々な実施形態のうちの１又は２以上では、左眼柄４０６又は右眼柄４０８の一方又は両方は、非可視光を受光するための１又は２以上のカメラを含むことができる。様々な実施形態のうちの一部では、ヘッドマウント投影表示システム４０４のカメラのようなヘッドマウントシステム（ユーザの頭部の上にある）上の１又は２以上のカメラは、鏡面４０２のようなスクリーンの凹状面内で反射された顔面画像を１又は２以上の波長（例えば、８５０ｎｍの光のような近赤外線（ＮＩＲ）光）で見る。
様々な実施形態のうちの１又は２以上では、顔面画像は、鏡面４０２上で反射した後に、ヘッドマウント投影表示システム４０４上に装着されたカメラ又は検出器の地点からカーニバルの面白ミラーの効果と同様に凹面円筒形水平歪みを用いて鏡面４０２にわたって横方向に延伸するように現れることができる（図４Ｄ及び図４Ｅを参照されたい）。
様々な実施形態のうちの１又は２以上では、これらの延伸画像は、左眼柄４０６に関して図４Ｄに示し、右眼柄４０８に関して図４Ｅに示すように延伸されてそれと共に頭部の周りを包む状態で現れるような複数の視点角度からのユーザの顔面の１又は２以上の捕捉視界を含む。左眼柄からのユーザの頭部の非歪曲視界を図４Ｂに示しており、右眼柄からを図４Ｃに示している。更に、基準３次元真正面視界を図４Ｆに示している。
図５は、例示的な凹面的に向けられた三連様式折り畳み鏡面５００及び左眼柄と右眼柄とを有するヘッドマウント投影表示システム５０２に関する２次元論理光線図の実施形態、並びに左眼柄と右眼柄とによって捕捉された三連様式鏡面の各パネルからの視界を示している。
様々な実施形態のうちの１又は２以上では、湾曲又は折り畳みミラー反射記録配置は、そうでなければ立体視広角パノラマビデオ記録であったと考えられるものの歪曲幾何学反転を提供することができる。例えば、この配置は、複数の立体カメラ対が閲覧者の周りで広角円弧状に配置され、表示スクリーン自体の中に埋め込まれたかのようなものである。この仮想カメラアレイは、多くの会議室でスクリーンの前方又は上方に存在するパノラマカメラのように周囲に向けて外向きに視準するのではなく、ほぼユーザの顔面の位置である中心に向けて内向きに見ている。代わりに、本発明の様々な実施形態は、３次元サラウンド様式「自撮り」視点から画像を捕捉する。このようにして、これらの捕捉画像は、ユーザの顔面の周りで左耳から完全な正面視界へ、更に右耳に至るまで掃引される１又は２以上のカメラで撮影されたかのように現れる。
様々な実施形態のうちの１つでは、歪曲除去ソフトウエアを使用するテレプレゼンスサーバコンピュータでのような遠隔地において、捕捉ホログラフィック「自撮り」３次元立体視ビデオ記録を再構成し、３次元視点範囲にわたって表示することができる。画像ストリームの歪曲除去及び視点レンダリング変換は、（任意的に）ユーザの顔面の事前取得３Ｄ走査に基づくユーザの頭部の実際の形状の既知の「ｇｒｏｕｎｄ ｔｒｕｔｈ」モデルに基づく場合がある（図１８及び図４Ｆを参照されたい）。様々な実施形態のうちの１つでは、ユーザの顔面、頭部、及び後頭部の面の高解像度の正確なカラー画像は、既存の手法を用いて予め取得することができる。
様々な実施形態のうちの１つでは、ユーザのｇｒｏｕｎｄ ｔｒｕｔｈ３Ｄ顔面モデルは、例えば、通常の自撮りカメラを用いて顔面の周りでパンすることによって予め取得することができる。例えば、顔面を固定した表情に維持して携帯電話を自分の顔面の周りでパニング運動で回転させながら高解像度自撮りビデオを記録することによって高品質静止顔面３Ｄ記録を完了することができる。様々な実施形態のうちの１又は２以上では、得られる合成（融合）ホログラフィック３次元立体視ビデオストリームは、有色３次元面点クラウドのレンダリングを可能にする。点クラウドは、事前取得の顔面のカラーテクスチャを現在の３次元の顔面形状及び顔面表情を追跡するボクセルの織り目細かい３次元面に当て嵌めることによって生成することができる。様々な実施形態のうちの１又は２以上では、ユーザの頭部の有色３次元立体全体像は、３次元レンダリング仮想環境の中に挿入することができ、それによって複数の同時視野角からのレンダリングが可能になる。
１又は２以上の実施形態では、受信システムは、いずれかの視野角に関してあらゆる適切な立体ストリームをレンダリングして表示するために有色点クラウドストリームを使用することができ、これらの３次元運動立体ビデオストリームを非常に低いレイテンシー又はアーチファクトしか伴わずに実時間で滑らかにパンすることができる。そのような受信システム環境のデータフローアーキテクチャに対しては図１８を参照されたい。様々な実施形態のうちの１つでは、複数のそのような立体対を実行中に標準３次元グラフィック技術、例えば、ビデオゲームにおいてアバターをレンダリングするのに使用されるものを用いて環境内の他者の目の正しい位置に関して自由に動き回る視点でオンザフライでレンダリングすることができる。更に、様々な実施形態のうちの１つでは、他のホログラフィックシステムは、従来のディスプレイを用いて同様に構成することができる。これらのディスプレイは、ユーザの周りに配置され、三連様式で配置された凹面形ディスプレイ又は従来の平面ディスプレイのいずれかであり、かつ面が特殊コーティングを有する追加の反射層などによって改良された（本明細書を通じて及び図８Ａ〜図８Ｄに関して説明するように）従来の多視液晶表示（ＬＣＤ）モニタ又は自動立体視ディスプレイとすることができる。
凹面的に向けられた三連式又は湾曲スクリーンの利益は、２つのヘッドマウントカメラが部分サラウンド全体像を記録することができる点である。最大の効果を達成するためには、カメラ内の広い視野が望ましい。この効果の拡張により、カメラの視野が大きい程、かつ頭部、身体、又は物体の周りの曲率が大きい程、各視野内に捕捉されることになる丸形物体の面積は大きい。メガピクセルカメラのコストは非常に低いことにより、全３６０度アレイパノラマ自撮りシステムを小型と手頃な価格の両方のものにすることができる。
テレプレゼンスシステムの例示的アーキテクチャ
図１９Ａでは、全円３６０度パノラマ視界がヘッドマウント投影表示システムから又はカラーとして提供される。しかし、マルチモーダル反射面を有するＨｏｌｏＣａｖｅ（登録商標）タイプのシステムでは、後頭部、身体、又は物体の面のいずれも描き入れることを必要とすることなく全３６０度ビデオキャプチャーを実施することができる。ユーザを取り囲む全ての側面が移動形状（ボクセル）として有色面コントラスト（ピクセル）で記録されることになり、広範囲にわたる没入視点を最小限の描き入れしか伴わずにレンダリングすることができる（手、腕、又は物体は、ユーザの身体面のいくつかの部分を一時的に遮蔽してしまっている可能性がある）。１又は２以上の実施形態では、このタイプのシステムは、そのようなＨｏｌｏＣａｖｅ（登録商標）の容易な手製式構成に対して良好に機能することができる。１つの利点は、面内の全てを既存の構造上に壁紙貼りする（図１９Ａ）、又はテント状の一時的な構造内に迅速に設定することができる（図１９Ｃ又は図１９Ｄ）点である。３６０度で捕捉された状態で、他のユーザは、捕捉された貴方（貴方のホログラフィック的に投影されたアバター）に近づくことができると考えられ、これら他のユーザは、いずれの方向からも貴方の空間内にアバターとして現れるであろう。そうでなければ膨大なモデル化を必要とすることになるか又は望ましいテレプレゼンス幻影を台なしにすることになる貴方の後頭部又は背中での奇妙な欠損部は存在しないであろう。
これらの実施形態のうちの１又は２以上では、その上に光が投影されてそこから反射されるスクリーンに対して凹面形の層構造マルチモーダル表示面が使用される。投影スクリーンは形状が凹面であるので、典型的には、ユーザの顔面は、スクリーンの半径中心と同じ軸線上に中心が定められた焦点域にある。スクリーンは、各々がスクリーン内の異なる層によって与えられる２つの機能を有する。スクリーンの第１の機能は、ユーザの顔面の画像を（更に任意的にユーザの本体の画像を又は全身の画像さえも）鏡面反射することである。この反射面の凹面形状は、通信リンクの他端において変化した全体像を必要とする時に、欠損したカメラ角度によって引き起こされる開口からのあらゆる間隙を防止するために、顔面の前面だけではなく側面の一部も、更に任意的に顔面の上部及び底部を反射することができるように補助する。より完全な３次元顔面画像ストリームを捕捉することにより、ホログラフィック映像のより高い没入写実性を維持することができる。更に、それは、ホログラフィックビデオ通信システムを用いて、より高い頭部の運動の程度及び参加者に対するより動的な立体視視点を可能にする。
これに加えて、１又は２以上の実施形態では、スクリーンの反射層（面上又はその近くにある）は、１又は２以上の非可視波長に対する反射性と、画像投影に使用される可視光又はこの反射層の下にあるアクティブ発光ディスプレイによって放出される可視光に対する実質的な透明性との両方を同時に有することを必要とする。反射層の一実証例は、スクリーンが鏡面反射性を有する狭い近赤外線スペクトル帯域（ＮＩＲ、例えば、８５０ｎｍ）内の特殊な波長選択反射コーティングである（図８Ａ〜図８Ｄを参照されたい）。面の凹面形状は、面白ミラーの拡大効果を有する（図４Ｄ及び図４Ｅを参照されたい）。波長選択反射性は、例えば、Ｂｒａｇｇ様式コーティングを用いて、薄い表示層を異なる屈折率の変化する層で交替することによって達成することができる。１又は２以上の実施形態では、スクリーンの前面は、可視スペクトル（ＶＩＳ）領域（４５０ｎｍ／青色から６５０ｎｍ／赤色までのスペクトル範囲）内の最適な透明性に向けて反射防止（ＡＲ）コーティングを任意的に有することができる。
１又は２以上の実施形態では、投影スクリーンがヘッドマウント投影表示システムと併用される場合に、スクリーンの第２の機能が再帰反射性を与える。再帰反射は、スクリーンを再帰反射性のものにするために光学微細構造を用いてスクリーンの背面を微細構造化する（最も小さい画素、例えば、１００ミクロンよりも小さい微小立方体ファセットでエンボス加工する）ことのような様々な方法で達成することができる。
１又は２以上の実施形態では、投影スクリーンは、可搬ポップアップスクリーンとして提供される場合がある。固定スクリーンの面ではなく、投影スクリーンの面は、容易に折り畳まれてかつ開かれる軽量凹面可搬スクリーンとして実証化することができる。マルチモーダル反射（すなわち、モーションキャプチャー、すなわち、ボクセルのための鏡面反射狭帯域ＮＩＲ光、撮像、すなわち、ピクセルのための可視領域内の再帰反射性の反射光）は、僅か３００ミクロン厚の薄く延伸可能であるが強力で軽量な材料内で達成することができる。ホログラフィックビデオ通信システムの遍在的モバイル配備を可能にする折り畳み可能超軽量ポップアップスクリーンを構成することができる。二重機能層状材料は、強力な織編裏当て材料上で僅かに弾性を有することができ、従って、傘又は扇のような軽量で折り込み可能又は折り畳み可能なポップアップ様式のスクリーンに対して使用することができる。
１又は２以上の実施形態では、私的又は公的な作業空間内の個室の仕事場又は個人オフィスに向けて、スクリーンは、そのような空間内に丸められたコーナと若干凹面の２次元湾曲とを有して嵌り込むように成形することができる。それによって広角３次元「無限遠視界」私的３次元視界空間が与えられることになる。そのような作業空間３次元無限遠視界拡張は、「テレポーテーションポータル」、すなわち、ある参加者が他のオンライン遠隔遠距離会議参加者をこれらの参加者が隣の個室にいるかのように見ることを可能にする窓としての役割も達成することになる（図１６を参照されたい）。ユーザは、自分自身を仮想会議場所に瞬時に自然な形で置き、そこにいる他者と交流し始めることができるであろう。コンピュータモデル、３次元視覚表現、コンピュータ支援設計（ＣＡＤ）３次元映像、又は中央作業空間に置かれた実在する３次元物体をユーザが見て操作することができ、他の参加者／ユーザが選択することができる。実在物体は、単純にそれをホログラフィック視覚及び捕捉ゾーンに置くことによって「仮想化」することができる。このタイプのシステムは、これらの物体の形状を捕捉する（例えば、ヘッドマウント投影表示システム内に組み込まれた立体視スキャナを用いて）、又はユーザの顔面を捕捉しながら同じ手段によってこれらの物体のライブ運動さえも捕捉することになる。実在物体は反射性を持たないので、観察者に対面する前面は、立体カラースキャナによって記録されることになる。背面は、物体の背後にあるスクリーンの鏡面内で反射された後に捕捉することができる（図１６を参照されたい）。他の箇所でも言及するが、物体の形状を捕捉するためにＮＩＲ光を使用することができ、この物体の色、面のテクスチャ、及びコントラストを捕捉するために可視光が使用される。可視光源は、走査ビーム、ＨＭＤ上の追加のＬＥＤ照明器からのもの、又は単に周囲の自然光源又は屋内光源からのものである場合がある。
様々な実施形態のうちの１つでは、凹面形スクリーンの中央視界ゾーン（ＣＶＺ）をユーザの目（例えば、鼻梁）が存在する場所に置くことができ、カメラが目の近くに配置されること、例えば、小さい「眼柄」上の超小型カメラを前提として、仮想視界内の他者が、広範囲の視野角にわたってホログラムの顔面（顔面の活動的な実時間広角視界可能立体視ビデオ）を見ることができることになる。視覚体験は、窓を通して熟視するのと同様になり、ユーザが凹面スクリーンの中央集中ゾーン内に身体を乗り出す程、この観察者は、仮想会議空間をより良く見回すことができ、他者は、この参加者をより良く見ることになる（参加者の側頭部などを）。知覚体験（例えば、会議内の他者の画像の投影）及び可視度（３次元の顔面及び頭部の露出）を対称に整合するように整えることができ、従って、この体験は、現実世界の対面での社交的交流と整合する完全に自然な体験である。更に、ユーザは、仮想場所を離れようと望む時にはいつでも、単に中央集中ゾーンから離れるように身体を引くだけでよい。ユーザは、中断に応答して、又は水筒から水を飲むためにそうすることができる（図１２Ａ及び図１２Ｂを参照されたい）。このようにして、ホログラフィック協働システムによってオフィス、自宅、又は喫茶店の現実世界を事実上無制限の作業空間及び集合社会に向けて途切れることなく拡張することができる。更に、円卓方式の仮想プレゼンス円座会議又は（仮想）円状に座っている友人の集まりでは、ユーザが身体を乗り出すと、ユーザの顔面の両側面が記録されることになり、ユーザは、参加者のうちの殆どを見ることができることになる。身体を乗り出し、会議円座を見回すことは、最も自然な体験になる。仮想円座内の各参加者が、自分の個人的な凹面投影面を有することになることに注意されたい（図９Ａ及び図９Ｂ）。
１又は２以上の実施形態は、「身体を乗り出す（leaning in）」こと（すなわち、スクリーンに向けて、ＣＶＺ内に、テーブルに向けて、又は進行中の会議に向けて前方に身体を乗り出すこと、図１２Ａを参照されたい）によってホログラフィックビデオ会議に参加することを可能にする。ユーザのスクリーンの凹面性に起因して、スクリーンは、ユーザが身体を乗り出す時に徐々に顔面のより大きい部分を捕捉することになる。このようにして、１又は２以上の実施形態は、ユーザが身体を乗り出した後に初めてユーザを「パッチ接続」することができ、視覚フィードバックキュー、例えば、観察者が簡単な頭部の運動で意識的に「入場」及び「退場」する（身体を引くことでＣＶＺを退場する、図１２Ｂを参照されたい）ことを可能にする半透明のプライバシーカーテンを提供することができる。同じく、ユーザが身体を引いた時に一種の３次元ミュート停止機能を実質的にすることができる。
図９Ａは、８者間仮想円卓会議を示している。各参加者は、凹面ホログラフィック投影像記録スクリーンと共に自分の場所にいる。図９Ｂは、図７の場合と同じく、「雑談」をするために互いに相対することができる２人の出席者を示しており、他者は、主会議テーブルの中心から逸れた雑談者の顔面を見ることになるので、この雑談は、他者に明らかになる。会議内の各出席者は、完全な没入場所で正確な３次元立体全体像を常に維持する。頭部の微動であっても、微妙な全体像変化を生成し、運動相違及び写実的な遮蔽効果のような即時の没入視覚運動フィードバックを与えることになる。例えば、３次元構造物モデルのような会議テーブル上に仮想物体が存在する場合に、全ての参加者が、立体視３次元でレンダリングされ、頭部の移動中にこれらの物体によって動的に遮蔽される他の観察者の顔面を見るので、これらの参加者の没入知覚は強められ、「真にそこにいる」感覚が強められる。この体験は、参加者が事の結果に「着目」したままに留まることになることを更に確実にすることになる。参加者は、遠隔に位置付けられた他の人々のビデオスクリーン画像を見るのではなく友人又は同僚と会議に出席している。
ミラー
殆どの曲面ミラーは、製造することが最も容易であることで球形の断面を有する。残念ながら球面ミラーは球面収差を欠点とする。特に、そのようなミラーから反射された平行光線は、単一点にフォーカスしない。非常に離れた物体から到着するもののような平行光線に対しては、放物面反射器がより良い仕事をすることができる。一般的にそのような放物面ミラーは、入射する平行光線を球面ミラーが類似の条件下で行うよりもかなり小さいスポットにフォーカスすることができる。
ドーナツ形ミラーは、ミラーの角度に依存して異なる焦点距離を有する放物面反射器の一形態である。実際に曲率は、ａ≠ｂである楕円放物面のものである。図１０Ａ、図１０Ｂ、及び図１０Ｃを参照されたい。しかし、ミラーの形状がドーナツ形であった場合に、ミラーはまた、球面収差を示すことになる。一般的にドーナツ形ミラーは、光源及び光検出器がミラーの光学軸上に位置せず、従って、真の回転放物面（ａ＝ｂの時）の使用は歪曲画像をもたらすことになる。様々な実施形態のうちの多くのものにおいて、カメラ及び走査投影デバイスは、頭部の両側面で偏心したものになり（図４Ａを参照されたい）、例えば、左側の「眼柄」と右側の「眼柄」とが互いから約１５ｃｍの距離にあり、この距離は、両眼間距離の約３倍であるので、楕円放物面が望ましい場合がある。
複数の別々のミラー、三連式、円筒面、及び他のほぼ凹面のアセンブリの全てが、カメラのヘッドマウントセットがユーザの頭部の可能な限り大きい部分を捕捉することを可能にする凹面形状の目的に対してある程度まで役立つことになる。
テレプレゼンスに対する例示的アーキテクチャ
様々な実施形態のうちの１又は２以上では、凹面ミラー面は、自撮りビデオ全体像を延伸してユーザの顔面に「巻き付ける」。ユーザの頭部の左右で目の近くに配置された「眼柄」（ＬＥＳ及びＲＥＳと表示している）内に包埋されたカメラ又は走査感知システムは、ユーザの顔面の反射光を記録し、立体ビデオストリーム対を生成する。スクリーンの凹面湾曲に起因して、図４Ｄ及び図４Ｅに示すように鏡面反射画像が歪曲される。図４Ｆに示すユーザの頭部の事前取得３次元形状基準モデルを用い、ＬＥＳセンサ及びＲＥＳセンサの現在の視点の正確な推定に助けられて、これらの画像は、図４Ｂ及び図４Ｃに示す「正常」な右側面及び左側面の視界に歪曲除去される。スクリーンの形状及び頭部の上のヘッドセット位置、並びに２つの眼柄の相対位置は実質的に不変数であり、従って、画像を歪曲除去するための重要なパラメータを予め又は最初の数フレームの間に計算し、次いで、高速実時間変換アルゴリズムに役立てるためにシステムメモリに格納することができることに注意しなければならない。従って、歪曲除去は、僅かな計算リソース、電力、及びレイテンシーしか必要としない。更に、任意的に、ユーザの動いて話す顔面の生歪曲データを背景から切り出し、サーバ又はクラウドベースの計算リソースにストリーミングすることができ、そこで歪曲除去に加えて、仮想テレプレゼンス会議内の多くの双眸の各々に対して正しい全体像を生成することができる。
様々な実施形態のうちの１又は２以上では、背景からユーザの顔面を切り出すために、走査三角形分割投影システムを使用することができ、このシステムは、プロジェクタとは別々の視点を有するセンサが捉える時にユーザの顔面の上の近赤外線（ＮＩＲ）走査ビームのスポットが横方向に変位した（実質的なベースラインオフセットを有する立体Ｔｘ−Ｒｘ送信−受信機対）ことで比較的容易である。ピクセル単位で走査し、観察可能な相違をどのピクセルが顔面に属し（近い＝＞大きい相違）、どのピクセルが背景に属する（遠い＝＞前景にある顔面ピクセルよりも小さい相違）かに関する情報を与える瞬間フィルタ（仕分け機能）として使用することができる。
様々な実施形態のうちの１又は２以上では、「三重立体」三連様式ミラー投影スクリーンを使用することができる。このタイプのスクリーンを使用する時に、画像は、三連式の２つの横方向パネルが、平面ミラースクリーンよりもユーザの頭部の側面をより完全に反射することによってかなり役立つ。ここに示すように、眼柄カメラの各々は、合計で６つのビデオ角度に対して頭部の３つの反射視界を有する。「三重立体」であるこの６つの視界は、顔面の周りの最大１２０度のパンを可能にする。基本的に６つの顔面角度はグラフィック演算によって再構成することができ、多視界多出席者没入会議に対して特に有利な高い回転視点忠実度を有する可変で可視の全体像を生成するように機能する。当然ながら４者間会議では、各参加者は、各々が３人の他者の視界を有するように三連様式のパネルを使用することができる。
図１３Ａ及び図１３Ｂでは、４人の会議参加者Ａ、Ｂ、Ｃ、及びＤが各々、三連様式反射記録投影スクリーンに対面している。４人の参加者の各々は３つの視界を有し、各ヘッドセットがこれら３つの立体ストリームを投影し、記録する。各ヘッドセットは、単一（立体対）の広域走査プロジェクタと、単一（又は立体対）の広角走査検出器とを含み、例えば、ＰｈｏｔｏｎＪｅｔ ＵｌｔｒａＬｉｇｈｔ（登録商標）システムのような近赤外線（ＮＩＲ）走査ピクセル連続レーザヘッドセットである。これに代えて、各ヘッドセットは、十分に広い視野角を確実にするために３又は４以上のプロジェクタと、３又は４以上のカメラとを有することができる。示す状況では、ＡはＣに対面し、会話中にＢ及びＤもＡを注視している。図１３Ａは、Ａのスクリーン（上部視界）と、Ｂ、Ｃ、及びＤのホログラフィック画像（それぞれＢ’、Ｃ’、及びＤ’と印している）を投影しているＡのヘッドセットとを示している。図１３Ｂに示すものは、Ａの顔面の３つの立体自撮り視界である左側面視界（赤色）、右側面視界（青色）、及び中心の前面視界（黒色）を反射している３つの三連式面である。これらの自撮りビデオは、ヘッドセットの眼柄（ＲＥＳ及びＬＥＳ）内の左右のセンサによって捕捉され、これら３つの異なるビデオストリームは、視界に向けて参加者Ｂ、Ｃ、及びＤそれぞれに送られる。
１対１のホログラフィックテレプレゼンス会議に対する１又は２以上の実施形態では、会議内に２人の出席者Ａ及びＢがいる。Ａは、Ｂのヘッドセットによって記録され、送信され、Ａのヘッドセット内の左右の眼柄内に組み込まれた２つのプロジェクタによって投影されたホログラフィックビデオストリームを見る。図６Ａに記載の矢印は、Ａの左目による視界に向けて画像を投影するＡの左眼柄（ＬＥＳＡ）を示している。この左目画像ストリームは、Ｂの右眼柄（ＲＥＳＢ）によって捕捉されたＢの顔面の反射画像を追跡することによるＮＩＲベースのモーションキャプチャーしボクセルストリームと、セッションの開始時にＢのシステムによって供給されたＢの顔面の有色ピクセル面マップとの組合せに基づいて実時間で、数ミリ秒前に計算されたものである。
Ｂの右耳（ＲＥ）がミラー内でＲＥ’として反射し（図６Ｂにおいて）、左側のＡの全体像からＡがＢに現実に対面しているかのようにＲＥ″として投影される（図６Ａにおいて）ことは着目に値する。図６Ｂでは、Ｂの場所で、参加者Ｂは、自分のヘッドセットによって投影されたＡのホログラムを見る。これら全てのことが実時間で僅かな遅延しか伴わずに起こる。眼柄小型カメラは、自然な目の視点に十分に近いが、依然として顔面及び目の視界を遮蔽しない。簡単な幾何学変換を用いて、立体全体像を各場所での正しい立体全体像に対して調節することができる（ユーザの両眼間距離に関して調節される）。図６Ａ及び図６Ｂでは、明瞭化のためにカメラ取得画像の歪曲及び歪曲除去を省略した（図６Ｄも参照されたい）。
図６Ｃは、各参加者のヘッドセットによって完全な「包囲」立体動画を必要とするので、自然な没入通信体験を可能にするのに非常に有利なことである、いずれかの時点でユーザの全体像視界を変更することがどのようにして可能であるかを示している。この図に示すように、ＢはＡの顔面の異なる側面を見ようとすることができ、例えば、Ａの３Ｄホログラム（Ａ’）をかなりの角度（α）だけ回転させる。
図６Ｄに、Ｂの右側眼柄（ＲＥＳＢ）が、凹面ミラー面内で反射した後のＢ自身の顔面のかなりの部分をどのようにして記録することができるかを示している。ＲＥＳＢカメラは、Ｂの左耳（ＬＥ）から右耳（ＲＥ）に至るまでが見えることができ、この捕捉「顔面包囲」動画ストリーム（一般的にＮＩＲセンサを用いて記録される）は、図６ＡにおいてＬＥＳＡ内のプロジェクタによって後に投影される３Ｄ可視画像（図４Ｅに記載の歪曲右側面頭部撮影画像を参照されたい）に関する情報を与える。
ホログラフィック３者間テレプレゼンス会議では、３人の出席者Ａ、Ｂ、及びＣが、互いから１２０度の角度の場所にある仮想場所で互いに対面する。各ユーザは自分の場所を有し、ここでは約６０弧度に示す凹面反射投影スクリーンに対面する。図７を参照されたい。各ユーザは、広い投影スクリーン上に２人の他者を見ることができる。ＡがＢに話し掛ける時に、二人は直接視線を合わせて互いに対面することができる。例えば、ＡはＢに向くことができ、各々は、良好な立体視視線適合状態で相手を差し向かいで見ることになる（完全な前面視界）が、各々は出席者Ｃを側面から見ることになる。Ａは、Ｃの顔面の右側面を見ながらＣを自分の左に見ることになり、Ｂは、Ｃの顔面の左側面を見ながらＣを自分の右に見ることになる。
良好で自然な視線適合状態での多出席者ビデオ会議は、上述の凹面鏡面反射包囲立体画像を記録することなしでは困難である。この３者間構成は、３つのスクリーンの各々の中に２つのカメラ対を埋め込むことを必要とすることになる。凹面又は三連式のスクリーンなしの４者間会議では、４つのスクリーンの各々の中に３つの立体対を埋め込むことが必要になる。更に、多い人数では、カメラの個数及び所要のデータフローは法外になる。例えば、図９Ａに示す円卓テレプレゼンス会議では、この８スクリーンシステムは、スクリーンが曲面ではなかったものとすれば５６個の立体カメラ対を必要とし、更に僅か１６個のカメラフィードの代わりに１１２個のカメラフィードを必要とすることになる。
スクリーンに対する例示的アーキテクチャ
半透明スクリーンでは、ＮＩＲ光は、波長選択狭帯域反射器、例えば、スクリーンの面の近く又はその上にあるＢｒａｇｇ様式コーティングによって鏡面反射される。底背面は、原色レーザからの可視光が各目の位置に向けて再帰反射して戻ることになる（「放出元に戻る」）ような再帰反射回折格子を生成するエンボス加工微細構造とすることができる。任意的に、最上位層を可視光に対してより透明にするようになった反射防止層（ＡＲコーティングとして示す）及び耐擦傷性透明層（図示せず）のような補助的な最上位コーティングを提供することができる。一般的に、スパッタリングされた金属（Ａｕ、Ａｇ、又はＡｌ）及びエポキシ、メッシュ、織物、又は接着層のような構造材料である補助的な反射コーティングをスクリーンの背面上に提供することができる。図８Ａを参照されたい。
透明スクリーンでは、背面での再帰反射性を確実にするために、背面を空気に直接露出させることによって内部全反射（ＴＩＲ）現象を利用することができる。それによって投影画像がユーザの３Ｄ視界空間内で（スクリーンの前と背後の両方で）明るく鮮明に現れるように、ヘッドセットから射出する平行レーザビームを再帰反射する半透明スクリーンを提供する。外側の世界は、光沢のない外観を有する半透明プライバシーパネルを見ることになる。周辺光は、再帰反射構造と、任意的に再帰反射背面の背後で空隙を有するように装着された補助的な散乱背面パネルの両方によって散乱されることになる。図８を参照されたい。
更に、透明スクリーンでは、微小空隙の直近に第２の適合する立方体再帰反射構造を配置することができ、それによって同じく再帰反射する透明面を提供する。薄い部分反射コーティングを付加し、次いで、滑らかで光学透明の背面を生成するために立方体の空所を埋め戻すことによって同じ効果を達成することができる。いかなる手法によってもスクリーンは十分に透明になり、従って、その背後にいるユーザをスクリーンを通して見ることができ、スクリーンは、ユーザの周りの現実世界のユーザ視界を阻害することにはならず、照明を遮蔽することによって影をもたらすことにもならない。図８Ｃを参照されたい。
照明スクリーンでは、スクリーンを背面照明して作業面を照明する拡散光源を生成することができるようにＬＥＤのような光源をスクリーン本体内に結合することができる。スクリーンの背面上の光学微細構造及び前面上の可視ＡＲコーティングは、この照明装置の機能を改善することになる。図８Ｄを参照されたい。
スクリーンは、例えば、６０弧度の円筒面形状（スクリーンの半径中心において１２０度のＦｏＶ角を生成する）のような１次元湾曲のみを有することができるが、２次元の湾曲、例えば、球面（図示せず）又は楕円放物面を有することができる（図１０Ｃ）。楕円放物面は、ａ≠ｂの時に式ｘ2／ａ2＋ｙ2／ｂ2＝ｚ2／ｃによって定められる幾何学面である。このスクリーンは、１つの断面において楕円形であり、２つの他の断面において放物形であるカップのように見えるスクリーンである。ａ及びｂは、ＸＺ平面及びＹＺ平面それぞれでの湾曲の尺度である。図１０Ｃに示すように、示す通りにｃは正であり、従って、カップ形状はその上で開いている。ＸＹ平面と平行な断面は楕円形である。
光を凹面スクリーンの面上に反射する利点は、図１１Ｂに示す平面ミラースクリーンと比較した場合に、図１１Ａに示す凹面スクリーンが、眼柄カメラがユーザの顔面の側面のより大きい部分が見えることを可能にすることである。例えば、図１１Ａでは、左眼柄（ＬＥＳ）カメラは、眼柄によって遮蔽されない完全なユーザの耳を含むユーザの顔面の右側面を鮮明に捉えることができる。しかし、同等に大きいが平面のスクリーン面を有する図１１Ｂではそうはいかない。特に凹面スクリーンは、ユーザの顔面の３次元丸みのうちの非常に大きい部分を捕捉する「包囲」画像又は「逆パノラマ」画像を可能にする。
１又は２以上の実施形態では、ＣＶＺ内で顔面、頭部、又は物体の形状及び運動を追跡するためのスクリーン上のＮＩＲ反射光に加えて、顔面のカラー映像を疑似広帯域スクリーン反射によって捕捉することができる。フルカラー画像が同時に捕捉される場合に、位置（ボクセル内）とカラー（ピクセル内）の両方に関してユーザの顔面のより完全な画像が実時間で供給される。
図１４Ａでは、可視光の９０％超を広帯域方式で反射する特殊反射層が追加されている。除外部、例えば、レーザ光の原色の特定の狭帯域のみが、反射率に対して相補的なフィルタによって達成される。顔面を照明するために広帯域光源が使用される場合に、この光の約９０％が面上で反射し、次いで、顔面に戻ってそれを照明することになり、別の反射では、拡散光の９０％程度が、この鏡面反射歪曲延伸顔面画像が見えるように整合されたカメラに対して利用可能になる。図１４Ｂでは、左眼柄（ＬＥＳ）にある広帯域光源によって光が放出される。このスペクトルの９０パーセントは、点Ａにおいてスクリーン面の波長選択層によって反射される。この光の一部は、点Ｂでユーザの鼻から反射する。Ｂから反射した広帯域光線のうちの１つは、再度スクリーンの面上の点Ｃで反射することになり、右眼柄（ＲＥＳ）にあるカメラによって捕捉される。ＲＥＳにあるカメラは、顔面のカラー画像を捕捉している。可視スペクトルの９０％は取得画像に存在するので、適度に高い色忠実度を達成することができ、任意的に画像内の既知のスペクトルホールを埋めるために事後に小さい色補正を適用することができる。肌の色合いのレンダリングを改善するためにヒト皮膚の検出が使用される図２０Ａ及び図２０Ｂを参照されたい。
エピポーラ照明は、非常に困難な環境内で高速で効率的なぼけのない画像取得を可能にするコンピュータ照明の一形態である。これらの実施形態のうちの１又は２以上では、若干変更された波長を有する原色レーザの追加セットを走査光源として使用することができる。ローリングシャッターカメラを垂直走査進行と同期させることによって強い周辺光を達成することができる。しかし、顔面の反射走査線の高さにずれがある可能性がある（図１４Ｃに記載の点Ｂと図１４Ｄに記載の点Ｂとにおいて）ので、カメラによって捕捉されるミラー画像をこの行と同期させる必要があり、この同期は、シャッター機構での自動ロック同期によって達成することができる。例えば、図１４Ｅでは、最初に視界の大きい部分が開く（カメラ内の行がリセットされ、光を受光する準備が整う）が、ビームのスポットの行の場所がカメラのスマート非同期ピクセル論理部によって検出される時に、連続フレーム内の行露光はより狭いゾーンＺに減幅され、それによって顔面のうちで現在走査照明されている部分のみが記録される。この自動シャッターロック機能は、ミラー面によって引き起こされるあらゆる水平ずれを補正する。
更に、１又は２以上の実施形態は、再帰反射視界円錐の外側の低い光反射が見えるために非エピポーラ同期を使用することができる。図１４Ｆを参照されたい。ヘッドマウント投影表示システムでは、立体視画像はプロジェクタの近くにある狭い視界円錐内で視界可能である。これが、眼柄を可能な限り目の近くに配置する必要がある理由である。画像走査ビームが位置Ａにおいてスクリーンの面上に入射すると、光の一部はＡの鼻の先端である位置Ｂに向けて反射されることになり、一部は再帰反射背面に向けて透過することになり、そこで眼柄及びそれに対応する目に向けて強く再帰反射されて戻される。再帰反射光線は、投影されている出席者Ｂの鼻の一部を構成するピクセルを形成する（鼻Ａ対鼻Ｂ’の対称性は偶発性のものであることに注意されたい）。
更に、走査ビームのうちで点Ａ上に入射する部分は反射して戻り、カラー自撮り画像を捕捉するためにＡの鼻（図１４Ｆに記載の点Ｂにある）を照明するほど十分なものとすることができる。各瞬間での投影混合色、従って、各捕捉ピクセルの照明混合色を捕捉画像の順番及びタイミングを確認することによって推定することができることは既知であるので、この「迷」投影光を使用することによって捕捉される画像を色調節することができる。Ａの鼻の先端（点Ｂにある）を照明している正確な混合色が既知である場合に、カラーカメラによって捕捉される反射光の色相は、鼻の面自体の配色によって達成されるカラーコントラストに関する情報を与える。１又は２以上の実施形態では、カラーカメラは、好ましくは、再帰反射円錐の外側に（すなわち、眼柄投影光源から５ｃｍよりも大きく距離を置いて）装着される。更に、カラーカメラは、スキャナとのエピポーラ配置状態にあるように配置される。カラーカメラは、再帰反射されて戻される直接画像投影光のあらゆるものを除外するために「非エピポーラ」方式でシャッターが切られる。
図１４Ｆでは、Ａの鼻の先端（点Ｂにある）はスクリーン上の点Ｃを通して反射して戻り、従って、カラーカメラの画像視界内では、現在の走査線がスクリーンを照明している点Ａの十分に上方に当たることになる。非エピポーラ捕捉は、点Ａから到着するもののような直接光よりも点Ｃから到着するもののような間接（反射）光に対して非常に有利に働くことで良好に機能する。非エピポーラ露光モードでは、走査線が、ＦｏＶ内の行を横断する間にローリングシャッターは閉じたままに保たれ、直接光が捕捉画像の一部になることが実質的に阻止される（図１４Ｆでは、カラーカメラと眼柄プロジェクタの間に垂直オフセットが存在することでこの行選択シャッター作動は可能であり、従って、Ｂから戻る光は平坦スクリーン上のより高い場所で反射しなければならない）。しかし、提案する湾曲スクリーンを使用すると、カラーカメラのあらゆるオフセット（例えば、厳密なエピポーラ配置の場合は水平）が、非エピポーラ直接光を画像から排除することを可能にすることを示すことができる。更に、光のうちの僅かな部分しか反射して戻らない場合に、顔面のうちで現在照明されている部分のみを捕捉する高感度カメラセットを用いて、顔面のカラーコントラストの少なくとも一部分を観察することができる。任意的に、スクリーン面の反射率をより大きい部分が鏡面反射されるように調整することができる（ブラッグコーティング及び半透明ミラー面など）。
１又は２以上の実施形態では、投影ブランク期間中にフラッシュ露光を提供することができる。殆どのピクセル連続プロジェクタでは、画像プロジェクタは、ミラーが次のフレームを開始するためにＦｏＶの先頭部に戻る時であるブランク期間中に消灯する。ブランク期間中に、白色照明フラッシュ光源が短くストロボ発光することができる。更に、ＮＩＲ取得された３Ｄ面に整合させることができるフルカラー画像を捕捉するために反射光を使用することができる。顔面を遮蔽するプロジェクタ、光源、及び眼柄の望ましくない視界を最終的な顔面アバター点クラウドから除去することができる。
目の中心部である虹彩を除外し、照明を実質的に視認不能にするために、可視走査ビームによる更に別の照明を演出することができる。
ヘッドアップディスプレイに対する例示的アーキテクチャ
１つがディスプレイに関し、追加の１つがカメラに関する２つの別々の面を有するためのシステムがある。例えば、図１５Ａに、観察者が、一般的に聴衆から、プレゼンターの視界から、並びにスタジオカメラの視線のあらゆるものから外れて隠された高輝度ディスプレイを反射する部分鏡面を通して見ている状態にある従来のテレプロンプターを示している。この半分ミラーはディスプレイ光の一部を失うが、ディスプレイ照明レベルはこの損失を補償し、発表者に対して鮮明な画像を発生させるほど十分な輝度を有する。類似の配置は、スクリーンの背後に隠されたカメラが観察者の顔面を捕捉しながらディスプレイを見ることを可能にすることができる。カメラカメラは、ミラーを通って到着する光が見え、一方で観察者は、ミラーから反射する光を見るか、又はその逆も同じく行われる。
図１５Ｂには、投影撮像システムが視界から隠され、画像が部分反射面を通して、多くの場合にコックピットの内部又は自動車の窓を通して観察者（一般的にパイロット又は運転者）に伝達される従来のヘッドアップディスプレイ（ＨＵＤ）を示している。特殊光学系が、ユーザの目の調節疲労を軽減するために仮想表示面を運転者の目から数フィート離れた場所に設定することによって表示する記号を車両の前のある距離に出現させる。このタイプのＨＵＤ光学系は、「アイボックス」と呼ばれる狭い視界空間を生成する傾向を有する。アイボックスは、両方の目が画像を見るほど十分に大きくなければならず、頭部位置が移動するのを可能にしなければならない。
様々な実施形態のうちの１又は２以上では、立体視ＨＵＤに正確な全体像追跡を与えることができる。図１５Ｃを参照されたい。ヘッドマウント投影表示システムを着用しているユーザが、自動車又は飛行機のような車両窓内で反射された立体視画像を見ることができる。実際には、ユーザの左目及び右目は、システムの「眼柄」内に組み込まれた左右の走査レーザプロジェクタによって投影された画像を見る。各プロジェクタから到着する全ての光線が再帰反射してほぼ運転者の左右の目それぞれに戻るように、運転者の視界空間の外側に再帰反射面が存在する。
更に、図１５Ｂに示す従来のＨＵＤとは異なり、新しいシステムは、完全に立体視とすることができる。システム内のセンサは、ディスプレイ視野（ＦｏＶ）に対する運転者の頭部位置を追跡することができる。急激な頭部移動中であっても、システム内に組み込まれた頭部追跡器によって新しい頭部位置が６つの自由度（６ＤｏＦ）で瞬時に通知されて画像を実時間で視点調節することができる。例えば、自動車の窓の中にある簡単な再帰反射基準を使用する光学追跡器（例えば、カメラ又はレーザ走査）が、１ミリ秒毎に非常に正確な頭部位置をもたらすことができる。現実世界の物体（例えば、道路障害物）の距離に対する正しい輻輳に対応するように輻輳斜視を調節することができ、障害物警告は、遠視界にある現実世界の道路障害物の前に平面視近視界画像を挿入することによって道路上にある運転者のフォーカスを取り去らないことになる。
例えば、かなりの距離でヘラジカが道路を横切っている時に、高解像度、高ダイナミックレンジ、又はハイパースペクトル立体カメラがヘラジカを検出することができる。そのような高度なマシンビジョンシステムは、フロントガラス内で観察者の視線の十分に上方に配置するか又は車両の上にある別々のモジュール上に配置することさえ可能である。ヘッドセット内のより小さいカメラは、運転者の視点を自動車のカメラシステムの視点と整合させる。良好な整合は、立体視障害物警報が、正確に観察者の３次元ＦｏＶに配置されることを確実にする。その結果、ヘラジカが横切っている場所に正確に障害物警報である赤色で点滅して横切っているヘラジカを指示する「注意！」３次元ポインタが現れる。緑色から黄色及び赤色までの警報の色が、衝突までの残りの距離を示すことになる。警告は、予想される衝突地点と、可能性としてどれが最良の衝突回避操作であるか（左／右にハンドルを切る／減速する）に関するアドバイスとを示すことができる。
図１５Ｄには、３次元ホログラフィックディスプレイ及び対話型作業空間を示している。１又は２以上の実施形態では、ヘッドマウント投影表示システムは、従来の節で上述したように凹状面の反射器又は三連様式の反射器を使用する。ユーザは、顔面、手、又はユーザが操作する物体の運動を捕捉して高解像度３次元点クラウドに効率的に変換することを可能にする微小カメラ又は走査センサを着用する。そのような凹状面は、上述のように半透明ミラー又は波長選択性ミラー面とすることができ、表示面と観察者の間に配置される。観察者は、曲面反射器を通して高輝度ディスプレイを見る。ディスプレイのユーザの視界は、湾曲面上で反射しないことで非歪曲状態に留まる。ヘッドマウントウェアラブルカメラは、顔面、手、及び／又は操作物体の歪曲「サラウンド」反射光を（立体視）自撮りビデオとして記録する。ディスプレイは、従来のモニタ又はＴＶ、立体視システムに対して最適化された投影面、又はあらゆる他の適切な高輝度表示システムとすることができる。
図１５Ｅには、運転者支援マルチモーダル立体視ＨＵＤ及び運転者モニタシステムの１又は２以上の実施形態を示している。１又は２以上の実施形態では、システムが運転者の顔面及び目の定常的な視界を維持することを可能にするために、追加の構成が、図１５Ｃで説明した立体視ＨＵＤを凹面反射面と組み合わされる。この組合せは、道路障害物を検出しようとする運転者の注意力及び運転者の一般的な警戒状態をモニタするのに有利になる。ユーザの頭部の上に併設されたシステムを有することにより、運転者／ユーザに完全な立体視画像を提供することだけではなく、例えば、赤外線光、走査レーザ、又はストロボＮＩＲフラッシュを用いた運転者の顔面の完全３次元立体視画像と、窓を通じた道路上への運転者の実際の現在視線を正確な視点３次元視界内で密着して追従するための運転者と同じ目線の完全３次元立体視画像の両方が可能になる。上述のように、ユーザの頭部位置及び視線をモニタすることにより、システムは、運転者が警戒しており、予想される回避行動を取る可能性が高いか否か、又は自動衝突回避システムによる介入が確実にされているか否かを検出することができる。
テレプレゼンスシステムに対する改善
オフィス環境では、個室（cubicle）スクリーン及び「テレポーテーション」スクリーンに対して無限遠３次元視界を与えるマルチモーダルスクリーンを有利とすることができる。図１６に示すように、凹面スクリーンを隣接する壁の間に光学投影面が個室空間のコーナで目の高さにくるように嵌め込むことができる。ユーザＡは、実在の物体を操作してＡの無限遠作業視界ホログラフィック表示スクリーン上でホログラムＢ’として３次元表示される遠隔地の同僚Ｂに見せることができる。Ａのヘッドセット眼柄（ＲＥＳ及びＬＥＳ）は、Ａが視界しているホログラムを表示し、それと共にＡの手内の物体及びＡの顔面を記録してこれらを有色点クラウドとして遠隔地の同僚に送る。マルチモーダル表示スクリーンは不透明、半透明、又は透明とすることができる（図８Ａ〜図８Ｄを参照されたい）。
図１７Ｃは、混合現実において仮想画像が近くに保持され、投影面がある程度の距離にある時に、物体を凝視する目の受容距離が物体を知覚する距離（輻輳距離）よりも大きいことを示している。その結果、物体を保持する実在の指がぼけてフォーカスが合わない場合がある。ユーザの視覚は、２つの現実の間でズームイン及びズームアウトを調節しようと試みる。この問題をある程度軽減するために、ピンホールグラス類の概念に基づく特殊空間フィルタを適用することができる。例えば、可視スペクトルの数ナノメートルだけを阻止するために特殊な選択性Ｂｒａｇｇ様式反射コーティングフィルタを使用することができ、この場合、例えば、ヘッドマウント投影表示システムの原色レーザが反射コーティングによって阻止され、４４８〜４５３ｎｍの青色、５１８〜５２３ｎｍの緑色、及び６３７〜６４２ｎｍの赤色が阻止される。図１７Ａを参照されたい。そのような面は、４５０、５２０、６４０ｎｍそれぞれのレーザを阻止することになるが、実質的に透明になり、スペクトルの９０％よりも多い光の残余を通す。更に、このコーティング内に密度の小さいピンホールを製造することができる。そのようなコーティングを担持するレンズを有するグラス類を着用すると、仮想物体画像のレーザ光は、これらのピンホールのみを通して空間的にフィルタリングされることになる。仮想物体の調節は非常に容易になり、そのようなグラス類は、調節輻輳の相反を実質的に軽減する。図１７Ｃ及び図１７Ｄを参照されたい。
これらの実施形態のうちの１又は２以上では、ユーザの顔面、身体、又は物体のある範囲の視界は、凹面画面配置によって１又は２以上のカメラ、一般的に少なくとも部分的に重なる視界を有する立体カメラ対に向けて反射される。これら複数の重ね合わせ視界から、顔面、身体、又は物体の２次元点クラウドが導出される。各観察ピクセルは、いずれか１つの時点で正確なボクセルの場所に固定される。任意的に、一時的に遮蔽される面（すなわち、モーションキャプチャーカメラの範囲になく、例えば、後頭部又は手又は腕の下）を相補するために、顔面、身体、又は物体の事前の形状又はテクスチャのモデルが使用される。
１又は２以上の実施形態では、運動状態にある３次元面の点クラウドは、システムによって実時間で維持されてメモリに格納され、この場合この点クラウドは、移動する３次元面の現在の状態を僅かな遅延（１０〜５０ミリ秒）しか伴わずに表している。任意的に、点クラウドは他の場所に送られる。例えば、２者間会議においてユーザＡの新しい顔面点クラウドデータを生成した後に、ＡのシステムはシステムＢに更新を送信し、その逆も同じく行われる。図１８を参照されたい。この点クラウドから、ユーザの顔面、身体、又は物体の動的な全体像による事実上限りない個数の視界を生成することができる。各観察者の観察角、個人的な両眼間距離、及び現在の頭部の向きに適合された正しい没入全体像をレンダリングすることができ、自然でアーチファクトのない視覚体験を確実にする。宛先での実時間でのこれらの動的な視点のレンダリングは、この宛先での観察者の速くランダムな（本質的に予想不能な）頭部の移動に応答する際の非常に低いレイテンシーを確実にする。高速３次元立体相違計算は、現在、そのような視界がモバイルゲームにおいて３次元グラフィック演算でレンダリングされている方式と同じくローカルデバイスにおいてグラフィックプロセッサを用いて実行することができる。これらの視界は、Ｏｃｕｌｕｓ（登録商標）グラス、ＰｈｏｔｏｎＪｅｔ ＵｌｔｒａＬｉｇｈｔ（登録商標）グラス、又はＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙグラスのような特定の表示システムスクリーン幾何学形状に向けて適応させることができ、ホログラフィック３次元ビデオ取得及びレンダリングシステムが実際に異種ネットワークにおいて機能することができることを確実にする。ヘッドマウント投影表示システム内のレイテンシーを最小にすることは、何らかの種類の「陥凹形成」を必要とする。陥凹形成は、新しい画像光子が中心窩に示されている直前の１ミリ秒以内に間に合わせる注視物体のレンダリングである。各々、最終変形が面点クラウドデータから直接計算される。データを出力システムの可能な限り近く、例えば、実際のレンダリングシステム内のグラフィックプロセッサのバッファ内に保つことにより、僅かなレイテンシーが確実にされる。
１又は２以上の実施形態では、ユーザを全ての側面においてマルチモーダル面で取り囲むことによってホログラフィック空間を提供する。反射面は、パノラマ外向きカメラアレイがユーザの３６０度包囲画像を捕捉することを可能にする。図１９Ａでは、個人が、このユーザを取り囲む４つの壁の各々の上にマルチモーダル面が追加導入された部屋内にいる。ヘッドマウント投影表示システムヘッドセットには、ユーザの背面（ＩＩＩ）及び側面（ＩＩ及びＩＶ）の反射光を捕捉する追加の３つのカメラが装備される。これら３つの追加視界は、ホログラフィックシステムが、ユーザの顔面面の全てを捕捉してユーザの頭部の無欠損の完全な面点クラウドをレンダリングすることを可能にするはずである。図１９Ｂは、これらの追加カメラの各々によって捕捉された３つの追加視界を示している。
図１９Ｃには、捕捉角度を最大にするためにユーザを取り囲む面をドーナツ形に延伸することができる凹面円筒形の部屋を示している。図１９Ｄを参照されたい。月桂冠構成のヘッドマウント投影表示システム（図１９Ｅに記載）のようなウェアラブルデバイスは、３６０度サラウンド視界を捕捉するために後面視界及び側面視界を捕捉するための追加カメラを有する。この構成の視界の例は、部分的に重なる８方向視界（４つの立体対、前面（Ｉａｂ）、背面（ＩＩＩａｂ）、及び２つの側面（ＩＩａｂ及びＩＶａｂ））である。この構成は、全ての方向の運動を同時に捕捉する（「自撮りサラウンドビデオ」を生成する）という効果を有する。
１又は２以上の実施形態では、ＮＩＲ点広がり関数を用いてヒト皮膚を検出することができる。非常に平行なビームが小さいスポット（例えば、直径が＜２５０ミクロン）を照明する時には、ＮＩＲ光の一部は皮下で広がることになり、広めのスポットが観察される。この点の広がりは、ヒト皮膚組織を照明していることの良好なインジケータである。更に、ヒト皮膚は、ＵＶ及び青色において最も低い反射性を有し、この反射性は、６００ｎｍから８００ｎｍの領域（黄色及び赤色）内で最大反射率まで増大するが、再度ＮＩＲにおいて有意に降下し、９７０ｎｍ前後で極小反射率を有する（図２０Ａを参照されたい。８５０ｎｍで始まって９７０ｎｍでピークに達するＮＩＲ光が、皮下層内に最大で１ｍｍまで侵入し、少なくとも部分的に再射出し、従って、高度にフォーカスされた光源によって引かれた鮮明なエッジをぼかす傾向を有することを示す（図２０Ｂを参照されたい））。１又は２以上の実施形態では、第１に明るい皮膚の人々に対して良好に機能する赤色−ＮＩＲ差を探ること、第２に全ての皮膚の色調に対して同等に良好に機能する先に示すＮＩＲ「点広がり関数」を探ることという２つの相補的な方法によってヒト皮膚を検出するためにＮＩＲ走査ビームを使用することができる。
３次元テレプレゼンスシステムにおいてユーザを表すホログラフィックアバター上で再現される正しい皮膚の色調を取得することは有利である。赤色、緑色、青色（ＲＧＢ）の原色である３つの狭帯域だけのパレットを使用する時に、顔面又は他の身体部分において非常に目立つことになる体節状の収差を別途導入する場合がある。ヒューマンビジョンは、「真」の皮膚の色調に対して特に高い感度を有する。従って、ユーザの正確な皮膚の色調の事前モデルを有することは、真に皮膚が検出されているという保証があることを前提としてシステムが正しいＲＧＢ設定に瞬時に切り換わることができることで有利である。
更に、笑顔面、にやけ顔面、しかめ面、及び赤面等は、共感コミュニケーションにおいて重要なものである極度に感情的なフィードバック信号である。取得を仕分けして優先順位付けし、皮膚の色調及び運動の極低レイテンシー送信を確実にする瞬時の手法を有することは、このループを感情的に閉じるのに役立つ。更に、非人間アバター、例えば、アニメーションのグリーントロールを移動する時には、そのような感情的な人間の顔面の知覚表象を瞬時に移入することも、感情的真実の知覚を生成する上で必要不可欠である。
第５世代モバイル通信のための正確な空間−時間光照射野位置合わせによって実時間３Ｄ運動映像を捕捉するホログラフィックビデオキャプチャー及びテレプレゼンスシステム。較正及び構成を行い、３６０度視界可能ホログラフィック生映像を生成する自動的な方法は、プレノプティック走査法を用いて面詳細部を検出し、多スペクトル信号を用いて共感知覚表象を検出する。
図２１は、最初に１９７７年に公開され、それ以来ホログラフィックコミュニケーションによるノンフィクションバージョンを達成しようとする試みを呼び起こした有名な空想科学小説映画内のシーンと同様である人々の助けを懇願する王女の「ホログラム」メッセージを示している。現在まで、話している個人の正確な移動３次元画像を捕捉して送信するのは技術的に困難であることが明らかにされている。このホログラムバージョンは魅力的な創作物であり続けているが、今もなお広く消費者が手に入ることができないままである。
図２２Ａから図２２Ｃは、ユーザの周りに配置されてユーザを複数の視界又は方向から同時に記録する一連の同等で小さい３次元画像捕捉デバイスを示している。画像捕捉デバイスの個数（Ｎ）は増減可能であり、４個から１８個の範囲にわたるとすることができる。しかし、一般的には６個のデバイスを使用することができる。カメラは、円、球、半球、又はあらゆる凹面内向き重ね合わせ視点の組合せで配置することができる。各画像捕捉デバイスは非常に単純なものとすることができ、例えば、走査レーザ投影デバイスと１又は２以上のカメラ様のセンサとで構成される。
１又は２以上の実施形態では、各画像捕捉デバイスの視野（ＦｏＶ）は十分に広く、そのＦｏＶが１又は２以上の他の画像捕捉デバイスとある程度重なるように配置される。これらのデバイスは、それ自体の走査を調整、較正、及び編成し、視界位置を調節する構成中に時に様々な色で明滅する信号発光ダイオード（ＬＥＤ）を有することができる。これらの信号は、初期設定を助けるか、又はホログラフィックコミュニケーションがアクティブにある間にカメラセンサの視界内にユーザを保つことができる（「君はカメラに写っているよ」という合図は、現在の有効な観察者の位置を示す、すなわち、「私はここだよ。君を見てるよ！」という合図である）。
１又は２以上の実施形態では、システムは、１又は２以上のオプションを用いて自動較正を実施することができる。図２５Ａ〜図２５Ｇ及び図２７Ａ〜図２４Ｆを参照されたい。更に、インジケータ信号は、正しい視覚及び捕捉を確認するための緑色点滅ＬＥＤ程度の単純なもの又は設定中に次の画像捕捉デバイスを配置するのに良好な位置を指示するためにレーザスキャナをポインティングデバイス又は３次元注釈デバイスとして使用するレーザポインタ誘導器のようなより高度なものとすることができる。図２５Ａでは、位置１にあるカメラＣ1は、その視界（ＦｏＶ1）内で３つの点滅が見え、ＬＥＤを時点ｔ3、ｔ4、及びｔ5において明滅させることによってカメラ３、４、及び５を識別する。カメラＣ2は、カメラ４、５、及び６が見える。設定時のこの構成の後にカメラの各々が何処にあるのかを知り、システムは、その事前計算された幾何学変換を調節することができる。
図２５Ｂ〜図２５Ｇには、写真測量を用いた処理に関する７つの段階を示している。図２５Ｂ（段階１）において、カメラＣ1が、カメラＣ3、Ｃ4、及びＣ5のスナップショットを撮影する。図２５Ｃ（段階２）に移り、既知の高さ及び既知のカメラ固有パラメータを用いて見かけ（観察）高さｈ3、ｈ4、及びｈ5、及びカメラＣ1のＦｏＶ内の位置が観察される。段階３において、システムは、カメラＣ3、Ｃ4、及びＣ5の各々までの距離ｚ13、ｚ14、及びｚ15それぞれを含む相対３次元位置を確立する。図２５Ｄ（段階４）に進行し、システムは、カメラＣ1センサ内のカメラＣ3、Ｃ4、及びＣ5の画像の位置から計算することができる、カメラＣ3、Ｃ4、及びＣ5の間の方位角の各々を観察する。図２５Ｅ（段階５）において、簡単な幾何学によって角度α３１４及びα４１５が既知であり、次いで、２つの三角形Δ３１４及びΔ４１５の辺（距離ｚ13、ｚ14、及びｚ15）が完全に特徴付けられる。図２５Ｆ（段階６）に進行し、Ｃ1に対する３つのカメラＣ3、Ｃ4、及びＣ5の正確な位置が完全に既知である。更に、図２５Ｇ（段階７）において、この処理が６つのカメラの各々に対して繰り返され、その後に、位置の全てが既知である。
自己較正。例えば、再帰反射基準を用いたアクティブレーザ走査シーケンスによる自動システム幾何学設定。走査タイミング又は立体観察が各基準点に対して瞬時の３Ｄ位置をもたらすことになる。自己較正。固定された較正ターゲットを用いた自動システム幾何学設定。
図２７Ａ〜図２７Ｆ：自己較正。較正された共通３Ｄ基準形状、例えば、小立像、時に「Ｌｅｉａ王女！」又は「マジックワンド」又は跳ねているボールのような移動較正ターゲットを用いた自動システム幾何学設定。既知の高さＨを有するそのような基準形状を全て（図２７Ａ〜図２７Ｃ：示す四角形カメラＴｅｌｅＭａｇｉｃ（登録商標）システムでは４つ）のシステムカメラの視野内のいずれかの場所に配置することにより、各カメラの６つの自由度の正確な向き、位置、及び視点が見出される。運動物体は、システムの同期を達成するのに役立つことになる。例えば、跳ねているボール（球）の中心は、カメラのうちのあらゆるものによってあらゆる観察可能方向から同じ点で観察されることが必要になる（同じボールのＮ個の視界。図８ｄを参照されたい）。
図２７Ｅ（上面図）及び図２７Ｆ（全体図）は、設定中に「中央ステージ」ホログラフィック区域の不可視周囲を探るためにどのように「マジックワンド」が使用されるかを示している。
１又は２以上の実施形態では、画像捕捉デバイスは、走査パターンと、システムの「中央ステージ」内の個人又は物体上で反射した全てのレーザビームを捕捉するようにシステムとして同期（編成）されるカメラとを有する。各捕捉デバイスは、約１０ナノ秒に正確に合わせられた個々のピクセル時点でタイムスタンプを用いて注意深く注釈が付けられたボクセル−ピクセル対を出力するように構成される（例えば、１０ＭＨｚ又は１ＧＨｚのシステムマスタークロックを参照されたい）。
数百万の捕捉ボクセルの各々は、１ｍｍ以内の空間内に固定されるので、これらのボクセルが捕捉する走査個人（又は物体）の面の部分３Ｄ全体像は、時間的及び空間的に正確に位置合わせされ、従って、継ぎ目なく貼り合わせることができる。従って、あらゆる視界を移動面の運動及び構造に関係なく後に合成ボクセル面記述から全く新しい全体像に下流の遠隔地で導出することができる。図２４Ａ〜図２４Ｃを参照されたい。その結果、「ホログラフィックビデオ」を複数の観察者が、あらゆる視点から、あらゆる距離で、あらゆる時点で、立体で、更に運動視点変化及び自然に見える腕、脚、手の影、遮蔽、及び運動相違効果を含む十分な詳描において見ることができる。王女と同じく、ユーザは、部屋の中で「生」で現れることになり、すなわち、移動し、話し、交流する。
図２６には、孫娘のホログラフィックレンダリングと交流する祖父母の画像を示している。ＰｈｏｔｏｎＪｅｔ ＵｌｔｒａＬｉｇｈｔ（登録商標）無遮蔽ヘッドセットのようなヘッドマウント投影表示システムを着用し、２又は３以上の人々が互いの空間内で「ホログラフィック」に集まり、又は集合仮想会議場所に集まり、スタジオ技術者になっていかなる特殊訓練も必要とすることもなく自然に交流することができる。システムは、ホログラフィック画像を場所Ａ、Ｂ、及びＣにある３次元捕捉システムに対する再帰反射スクリーン上に投影する。図３０では、祖父母は、合成３次元データを出席者Ｂ（孫娘）に直接送信し、この場合に、彼女のプロジェクタの表示は、彼女のスクリーン上で運動及び視点に対して調節された祖父母の３次元ホログラフィックバージョンである。それとは逆に、孫娘の画像は、彼女のシステムによって送信され、祖父母は彼女のホログラフィック画像を見る。
本明細書に説明するように、システムは、３ｍｍの距離に高精細で高い忠実度を用いて見られる個人の面上の各全てのボクセルを捕捉することができる。１０ミリ秒毎に（毎秒１００回）、システムは、個人の面上の全ての平方ｍｍを３次元固定ピクセルとして捕捉することになる。３次元固定面要素の場所を「ボクセル」と呼ぶ。この面要素から反射した後に記録された光強度は、従来「ピクセル」と呼ばれるものの３次元均等物である。明瞭化の目的で場所ベクトル（ボクセル）と光強度値（ピクセル）の間の区別を明確にするために、この組合せをボクセル−ピクセル対（ＶＰＰ）と呼ぶ。一般的に、ピクセルは、例えば、２つの隣接ピクセルの間のコントラストだけに関連し、それに対してボクセルは、空間内の３Ｄ面の場所をそこから反射又は放出（又は透過）される光に関係なく定めるだけである。例えば、面上で走査される２つの隣接点は、コーナ又はエッジにおいてピクセルコントラストを持たない可能性があるが、依然として３Ｄ面構造、例えば、散漫で不偏的に塗色され、散漫に照明され、成形された漆喰壁を有する場合がある。面Ｓ上の点Ｐの位置をどのように３次元座標（Ｘ，Ｙ，Ｚ）に精度（Δｘ，Δｙ，Δｚ）で限定するかを示す図２４Ａも参照されたい。面要素の場所が既知であると（図２４Ｂ）、原色照明（Ｒ、Ｇ、及びＢ）の反射光を従来のピクセル値として観察することができる（図２４Ｃ）。
３次元走査及び他のアクティブ照明システムの利点は、これらが、積雪背景に対する薄い霧内の雪玉のような同じ色を有する物体を背景として検出することができる点である。それとは対照的に、パッシブ立体カメラアレイは、ピクセルコントラストがない場合に、基準がなく、適合させることができる立体対がなく、白色の雪玉が見えることができずに白色背景に対して検出不能のままに留めるので、この例での雪玉のような低コントラスト状況では十分に機能しない。本発明のホログラフィック捕捉システムの１又は２以上の実施形態が、機能するのにコントラストを必要とせず、パッシブ立体システム及び他のフレーム連続システムに固有の計算負荷を回避することは着目に値する。
提案するホログラフィック捕捉システムは、面を点クラウドとして追跡するのに、いずれかの面点と３次元捕捉デバイスのうちの１つとの間の１又は２以上の明瞭な視線しか必要としない。ピクセル又はボクセルの基準は必要とされず、滑らかで特徴のない乳児の顔面形状であっても点クラウドとして正確に追跡することができる。１又は２以上の実施形態では、システムは、１０ミリ秒又はそれ未満で少なくとも４百万個のそのような「ボクセル−ピクセル対」（ＶＰＰ）の視界可能面を捕捉してレンダリングすることができる。例えば、１００「３Ｄ運動フレーム」（「３ＤＭＦ」）毎秒でＶＰＰをレンダリングするには、毎秒４００百万個のそのようなＶＰＰを捕捉することが必要である。この捕捉タスクは、４又は５以上の画像捕捉デバイス間で分散される。従って、２０％の重ね合わせを可能にすると、各画像捕捉デバイスは、毎秒１億２千万ＶＰＰよりも低い負荷にしか遭遇しないことが可能であり、データの取得及び処理の負荷を今日の携帯電話において見られる低コスト構成要素を用いて達成することができる（６０ｆｐｓのＨＤビデオは、毎秒１億２千万ピクセルである）。
様々な実施形態のうちの１又は２以上では、画像捕捉デバイスの各々は、ユーザの部分サラウンド視界しか捕捉しない。ユーザの形状の全体像視界から構成される１つの視界可能ホログラムを生成するために、これらの視界は、重ね合わせエッジの３次元座標点を適合させることによって互いに継ぎ目なく貼り合わせられる。取得の精度が高い程、システムに対して、３次元空間内で重ね合わせ断片を互いにどのように適切に嵌め合わせるかに関する解を達成するのが容易である。ユーザは、多くの場合に、踊る、腕を振り回すなどして運動状態にある可能性があるので、各捕捉ＶＰＰに関連付けられたマイクロ秒精度のタイムスタンプは、面の運動が滑らかであり、貼り合わせの継ぎ目でのアーチファクト、すなわち、裂け目、ほころび、折れ目、又は皺がなく、３次元ジャダーがないことを確実にする。
様々な実施形態のうちの１又は２以上では、画像捕捉デバイスは、個々のＶＰＰの品質を査定し、この査定情報を例えば時間空間信頼性ブラケットメトリックとして伝達する機能を有する。重ね合わせは、各カメラの全体像視点を適合させるためにより大きいものとすることができる。１又は２以上の実施形態では、移動する面は、これらの面の形態及び正確な位置を合致させるように点毎及び線毎に実時間で互いに適合させて貼り合わせられる。各ＶＰＰは、他のＶＰＰと時間的及び３次元空間的に適合させることができる正確なタイムスタンプを含むことができる。適合させる段階は、面の運動と、１又は２以上のスキャナ光プロジェクタによる走査中に得られる面連続性とのある程度の把握を必要とする。速度ベクトル及び３次元軌道予想を用いて、任意的にカルマンフィルタリング様の技術を使用することにより、予想、それに続く測定、更に予想誤差測定のサイクルが、適合点の品質に対する信頼性メトリックを生成する。
一部の状況では、ユーザの身体の一部の部位は、毛髪、腕、又は衣服によって一時的に遮蔽されるので、又は望ましい視点が画像捕捉デバイスのうちのいずれかと十分に整合されない場合にシステムが見失う場合がある。これが発生すると、システムは、隣接する新たに捕捉された（真の）ＶＰＰと欠損した面の最も近い直近の観察との間の内挿によってパッチを生成することができ、例えば、システムが、瞬間に対する時間ブラケットを定める「瞬間の面データ」を見失ったと見なした時には、この間隙は、ピクセルパターン、３次元面形状、及び輪郭細部を適合させるために過去のデータを用いて現在の状態を予想し、その形状を嵌め合わせるように貼り込むことによって埋められる（すなわち、「面の運動及び形状嵌め合わせパッチ処理」）。
観察欠損パッチ処理は、一時的な遮蔽に対しても機能する（すなわち、「遮蔽パッチ処理」）。システムは、適合させる際に観察から導出される何らかの種類の物理規則を用いてある一定の面を実際に折るか又は曲げることができ、例えば、織物は、過去数秒内にある一定の方法で折り畳むことができる。システムは、これらの折り畳みと遮蔽区域内で得られるパターンとを適合させ、次いで、この区域をユーザに対する正しい全体像視界にレンダリングすることになる。図２８Ａ〜図２８Ｃは、適合させる「卵のシェル」（図２８Ａ）の２つの面タイルＩ（全体像Ａ）とＩＩ（全体像Ｂ）が、１つの切れ目のない（閉じた／完全な）３Ｄ物体面（図２８Ｂ）に継ぎ目なく貼り合わせられる３次元全体像貼り合わせ図面を示している。貼り合わせ段階は、ｉが１とｎの間にある時に、同じ４つの値を有する面のｎ個の点であるｎ個の適合ボクセル（ｘi，ｙi，ｚi，ｔi）を見つけ出すことによって行われる。図２８Ｃでは、２つのボクセルの面点（ｘ1，ｙ1，ｚ1，ｔ1）と（ｘ2，ｙ2，ｚ2，ｔ2）とが場所的かつ時間的に正確に重なる。従って、これらの面点は、完全な３ｄ運動「合致点」であり、継ぎ目なく貼り合わせることができる。各重ね合わせにおいて多くのそのような点が存在する（ｎは重ね合わせボクセルのうちの大きい％を占める）。３次元面貼り合わせ手順は、（１）両方の視界内で発生するボクセルマーカを見つけ出して適合させ、ピクセル（画像コントラスト）マーカを見つけ出して適合させる段階と、（２）２つの視界を３次元空間内で適合させて全ての面マーカ（ピクセル）が重なるように２次元面を調節する（弾力的に）段階とを含む。
１又は２以上の実施形態では、貼り合わせ及びパッチ処理中に（図２８Ａ〜図２８Ｃを参照されたい）、ボクセル対応（３次元面構造、例えば、リッジ、エッジ、コーナ）とピクセル対応（コントラスト、ストライプ）の両方を基準として使用することができる。レーザ信号自体は、明確な（ナノ秒時間で）対応を生成することができる。隣接する画像捕捉デバイスのレーザによって達成されるレーザスポットは、非同期で、例えば、各検出システム（３次元カメラ、走査センサシステム）の独自のレーザ注釈の同期エピポーラ検出の間で交替する非エピポーラ検出サイクルにおいて認識することができる。例えば、画像捕捉デバイスの通常のエピポーラ走査中に、デバイスのカメラは、レーザビームが現在走査中の平面に収まるセンサの行又は列のみを露光して読み取ることができる（ローリングシャッターカメラを用いて）。しかし、代わりの非エピポーラ検出サイクルでは、同じセンサが、多くの他の列又は行を並列に露光して読み取ることができ、隣接する画像捕捉デバイスによって生成された面上の走査スポットを検出することができる。更に、同じ非エピポーラ読取りサイクルを用いて、デバイスは、システムによって生成されたものではない周辺光を捕捉することができる。
クラウドサーバベースのシステム（図２９を参照されたい）では、クラウド内にバッファに入れられた１枚の完全な画像を多くの観察者に同時配信することができる。３次元運動データ「画像」は、新しい各データ点、新しくアップロードされた各ボクセル−ピクセル対が「捕捉データの新しさ」を表す独特なタイムスタンプを有し、従って、所要の視界可能ＶＰＰの全てが存在するように、運動及び視点をあるローカル時間、時に短い計算遅延、例えば、数ミリ秒と整合させることができる。
例えば、多観察者状況でのある一定の視点に対して、遮蔽及び相違の要件が各視界位置に対して異なることは着目に値する。欠損した面全体像、例えば、腕による本体の一部の一時的遮蔽は、確認し、受信した前のデータから「パッチ処理」することができ、又はこれに代えて、ローカル視界システムが、欠損したＶＰＰに対する優先度データを要求することができる。１又は２以上の実施形態では、スタジオ監督がどの視野角が直ちに使えて待機中であるかを決定するのと同様に、中心のホストコンピュータ又はサーバコンピュータが、走査システムに指示することができる。この場合に、ライブが最も高いデータ処理及び送信の優先度になる。更に、ユーザのシステムは、他端にある別のユーザのシステム上でどのＶＰＰ取得が優先されるかを決定し、従って、異なる場所の間で最も高い優先度及びサービス品質（ＱｏＳ）をこれらのスタジオ監督のカメラ制御信号に向けて確保することができる。
１又は２以上の実施形態では、一方向通信は、例えば、ライブ上演を観賞する世界中の聴衆になる。クラウドサーバは拡張してローカルコピーを可能にすることができ、従って、有意なレイテンシーを追加することなく、又はいずれの現実の計算障害も発生させることなく多数のユーザに配信することができる。１又は２以上の実施形態では、より厳しいレイテンシー制御を必要とすることになる実時間双方向通信を可能にすることができ、局在化されたＱｏＳ方式優先順位付けを含むことができる。２つの群が仮想テレプレゼンスモードで既にオンライン会議を行っている時に、更に２人のユーザの間に１対１の会話を確立することは、会話中の２人のユーザの間のレイテンシーの最小化に役立つことになり、例えば、場所Ａにいる個人が、場所Ｂにいる別の個人との会話を開始すると、これら２人の個人は、より高い顔面ズームイン機能、顔面の運動の細部のような高優先度の互いのデータ及び視界を取得することになり、顔面の運動との正確なオーディオ同期が取りわけ優先されることになることを確実にする。話し手は、話しかけている（申し聞かせている）聞き手の顔面の表情を見ることになる（最も高い優先度で）。聞き手は、自分の視線を向けている相手、すなわち、注意を注いでいる相手の完全と同期された唇及び顔面の表情を見ることになる。
１又は２以上の実施形態では、１対１の会議のためのピアツーピア配信は、最初に視界可能面を伝達することを更に優先し、次いで、視界不能面を埋める。それによって第３のユーザがいつでも会話に参加することが可能になる。更に、ユーザによる事後のこま止め、繰り出し、及び視点変更も可能になる。これは、ホログラフィックシステムがアクションスポーツ又はロックコンサート音楽会場を捕捉するために使用される場合に有利になる。更に、クローズアップに対応することになり、ユーザが望むように精査し、ズームインすることが可能になる。システム帯域幅が許す場合に、そのような細部のズームインをサポートするためにより高い解像度のＶＰＰが利用可能になり、フォワードバッファに入れられ、すなわち、先取り的に伝達される。システムが混雑する時には帯域幅が問題になり、遅延して緩慢なズームイン解像度埋め尽くしが発生する場合がある。ズーム処理はＦｏＶを縮小し、従って、視界ボクセルの合計数はほぼ同であるが、ズームイン処理は、より小さい視界体積中により高い電極解を必要とすることになる。
３次元頭部レーザ投影像及び表示ヘッドセットを用いた双方向ホログラフィックビデオ通信中に、遠隔に位置付けられた他のユーザを同時に知覚するために、捕捉中に各ユーザに対して再帰反射面を必要とする場合がある。取り囲む又は大きい凹面スクリーン又は他の湾曲面は、自然な背景設定の過度に大きい部分を遮蔽する場合がある。遮蔽された背景は、部屋又は自然環境のインストール前走査中に捕捉されたこの背景の完全３次元走査画像を用いて組み入れ戻すことができる。自然な設定を与えるために自然環境を使用することができ、例えば、部屋壁及びいずれかの家具が別個に捕捉され、描き入れ戻されることになる。任意的に、スタジオで生成されたセット又はユーザ又は第３者が生成し、任意的にユーザが修正した空想背景を描き入ることができる。これらの小道具、セット、背景は、注意深く選択することができ、例えば、孫は、いくつかのおとぎ話のセットを有することができ、それを自分達で選択し、仮想絵の具で飾り付け、変更することができ、物体を配置することができ、又はこのセット（３次元テレプレゼンスステージ）に全体の３次元アニメーション特殊効果を追加することができる。景色は、様々な映画及びＴＶ番組に示されているホロデッキと幾分類似の方式で大きい夕日、海等とすることができる。例えば、孫は、「実際」の背景を捕捉することができ、後でそれを確実に「整頓された部屋」に見えるように変更する。
１又は２以上の実施形態では、３次元捕捉システムは、没入３次元生シーンを捕捉することができる。使用事例の例は、ホログラフィックなゲーム及び体験を含む。殺人ミステリーゲームである「Ａｂｂｅｙ ａｎｄ Ｃａｓｔｌｅ」のセット及びその中でのライブアクションでは、観察者は、５０室又はそれよりも多い寝室を有する可能性がある城をウォークスルーすることができ、自分達を取り囲む「ライブアクション」の３次元シーンの中でヒントを探し求める。同じく、ユーザは、他の大きい城、川のクルーズ、ピラミッドなどを訪ねて、過去、現在、又は未来でのシーンセットを体験することができる。
１又は２以上の実施形態では、光は、いずれかのボクセル点（ｘ，ｙ，ｚ）に投影され、面によって反射され、ボクセル面の正確な場所を確立するのに使用される。面上の隣接点の位置の把握情報と、面（例えば、皮膚又は衣類）の３次元連続性、弾性、及び可撓性への要求とに起因してこれらの近く面点に適切な物理的制約条件を課すこととにより、以下の処理を用いて各観察の精度を上げる（「超高解像する」）ことが可能になる。第１に、面の３次元形状の最初の推定を行う。第２に、この３次元形状がどの部分、物体面、又は皮膚の場所に属するかを識別し、ボクセルによって定められた微細構造に関する形状及びリッジと、ピクセルコントラストの配色面画像パターンの両方に基づいて面当て嵌めを行う。第３に、近接性及び既知の動力学を用いて他の観察との相関付けを行い、それに基づいて場所座標の推定を絞り込み、次いで、第４に、このボクセルの観察された最近の軌道のようなボクセルの３次元運動フローをより正確に予想し、更にボクセルのその後の軌道を予想する。
上記で概説した処理は、個々の面要素（ＶＰＰ）に関するより正確な予想を可能にすることになり、全体の運動は、全体を考慮に入れ、次いで、個々の面点を物理モデルを使用することなく独立して観察することによってより的確に予想可能である。例えば、入れ墨で覆われた筋肉質の腕が屈曲される場所を走査し、個々の面点位置を予想又は内挿しようと試みる。これを無構造のＶＰＰ点クラウドとして数学的に処理するのは、下で屈曲する筋肉の上で皮膚がどのように延伸するかに関する根底にあるｇｒｏｕｎｄ ｔｒｕｔｈを見つけ出すこと程には正確ではない。注意深い物理学及び解剖学又は大雑把な観察モデル生成のいずれによっても、数秒にわたって観察される屈曲及び屈曲弛緩は、あらゆる面運動予想の境界に関する情報を十分に与える（皮膚はそこまでしか伸張せず、筋肉はそこまでしか膨らまない）。
光照射野は、空間内の全ての点を通って全ての方向に進行する光の量を説明するベクトル関数である。５次元ホログラムでは、各光線の方向を５次元プレノプティック関数によって与えることができ、各光線の強度を放射輝度によって与えることができる。いずれか１つの時点で、面上のスポットは、いくつかの画像捕捉デバイスによって観察可能にすることができる。従って、いずれかのそのような１つの面ボクセル要素を１よりも多い角度から照明することができ、連続するそのような照明を様々な視点から同時に見ることができる。
図３２Ａ及び図３２Ｂには、１つのそのようなスポットを面上に示しており、この場合に、ｔ＝ｔ1においてビーム１がスポットを照明し、反射光の一部が、観察１及び観察２という２つの異なる視点から記録され、後の時点ｔ2において同じスポットが第２のレーザビームであるビーム２によって照明され、２つの新しい観察が行われる。２つのビーム及び２つの視点は、ある一定の波長の光が被写体又は物体の面上のこの特定のスポットからどのように反射するかに対して４つの異なる観察をもたらす。このようにして同じ面要素上でＭ×Ｎ個の異なる反射光又はＶＰＰ（Ｎ個の視点での各々が別のデバイスから到着するＭ本の照明ビームの反射光の捕捉は合計でＮ×Ｍ個の知覚をもたらす）を捕捉することができることは着目に値する。従って、当該ボクセル−ピクセルに関するある一定量の面応答２次元カラーコントラスト関数（５次元光照射野関数又は角度色吸収率−反射率関数）が、各連続走査横断によって捕捉される。
同じく、先に上述のように、例えば、非エピポーラ捕捉サイクル中に周辺光（すなわち、システム自体の走査光源又は追加の照明（線走査照明又はフラッド／ストロボ照明）によって生成されない）を捕捉することができる。面（皮膚及び衣類）の物理現象は物理的に制約を受け、従って、３次元面区域のある期間にわたる観察が行われた後に、時間的及び空間的な面の起こり達成する形状及び変形、並びに衣類又は皮膚の色及び外観は予想可能である。更に、ある一定のボクセル（例えば、皮膚点）の各追加の観察を行い、それを同じ場所の全ての他の観察と比較することができる場合に、処理は、走査原色である一定の波長に対する入射光が、ある一定の角度においてこの点（脂性肌又は乾燥肌、光沢のないか又は光沢のある織物、なめし革のような）でどのように反射するかに関する情報を与える「面正常色角度応答関数」を構成することができる。図３２Ｃでは、３次元画像捕捉デバイスが同じ面要素を照明して観察し、４つの異なる角度反射光を観察する。一部の場合では、時間と共に発生するＮ個のそのような照明とＭ個の視点との乗算Ｎ×Ｍが、全てのそのようなＶＰＰに関するかなり完全な角度反射関数（面応答関数）をもたらすことができる。
混合現実照明に対して、表示場所にある受信機の「六角円」カメラが自然光を検出することができる。検出された自然光照射野（例えば、窓から到着する日光又は頭部上の照明器具）は、拡張現実方式の特殊効果照明に関する情報を与えることができ、光線及び影のような仮想光効果を追加し、ユーザの目の前に投影されているホログラフィック画像に写実性を追加する。この自然光照射野は、ホログラフィックプレゼンスを状況的に解釈することを可能にするのに役立ち、より現実的に出現させ、それ程幽霊のようには見えなくする。これらの「仮想照明効果」を計算及びレンダリングする段階は、公知のコンピュータ３次元グラフィックレンダリングルーチン（例えば、光線追跡）を用いて達成される。例えば、フラッシュライト又はライトセイバーは、ホログラフィック的に投影された個人の面を「照明」することができ、顔面を横切る自然な見栄えの「影」を追加する（影がない場所への輝度の割増、光補償、割増照明による「影の増幅」、コントラスト加算、及び／又は現コントラストの増強）。更に、「受信機」の場所の自然光を捕捉することができる場合に、この自然光をホログラフィック画像に写実性を追加するために、例えば、ホログラムを空間内でより具体的に「配置」するために祖父母の部屋内の照明に対応する影を孫に落とすために使用することができる。
これに加えて、ホログラフィック投影ヘッドセットは、インストールのためのポインタとして機能してシステム設定中にシステム構成要素に注釈を与えることができ、更に暗い環境内で安全に歩き回るためのスーパースマート終夜灯としての役割を実際に達成することができる。
システムは、画像捕捉デバイスのうちの１つの上のより最適な位置を指示するか又はそこに向う矢印のような簡単な自動発生命令によって自動設定及び瞬時の自己較正を可能にする。例えば、６つの等しい画像捕捉デバイスが箱から現れる。これらを子供がテーブル又は床の上に正しく配置することができなければならない。これらの画像捕捉デバイスは、内部水平化機能を有することができる（ｇセンサを組み込むのが廉価であり、従って、箱から出ると、全てのセンサが垂直に位置合わせすることを確実にすることができ、又は少なくとも正確な自己較正水平傾斜検出を有することができる）。更に、画像捕捉デバイスは互いが見えることができ、従って、例えば、２つのカメラが第３のカメラが見えている時（設定及び自動較正中にパッシブ又はアクティブな基準マーカ、例えば、単純な明滅ＬＥＤライトを用いて）に互いに自動較正し合うのに役立たせることができる。１又は２以上の実施形態では、システムは、アクティブレーザによるビーコン送信を使用することができる。更に、この場合に、各画像捕捉デバイスの互いに対する高さを自動較正中に確立することができる。
１又は２以上の実施形態では、例えば、「六角」システムにおいてセンサ（「カメラ」とも呼ぶ）を有する６つの等しい画像捕捉デバイスが存在する場合に、設定は、他の画像捕捉デバイスに対する各画像捕捉デバイスの距離のみを決定する場合がある。この構成では、センサの各々が他のセンサのうちの少なくとも３つが見えることができると仮定することができ（図２５Ｂを参照されたい）、この場合に、これらの「対抗者」の３つのカメラの相対方位角が６つのカメラの各々によって観察される。更に、カメラの高さ、時にマイクロフォン突出部の形態にある先端を有する尖突起又は上部の特殊基準の高さが事前に既知である場合に、観察実行カメラと３つの観察ターゲットカメラの各々の間の距離と、３つの他のカメラのうちのいずれか２つの間の角相違の両方が既知であることになる。従って、２つの辺（距離）及び１つの角度（角相違）が既知であると、簡単な幾何学によって形状及びサイズにおいて独特な三角形が完全に定められる。従って、この自動較正中に各カメラに対して１つ、合計で６つのスナップショットを撮影するだけで六角配置の形状の全てをほぼ瞬時に見出すことができる（例えば、７段階自動設定及び較正手順、図２５Ｂ〜図２５Ｇを参照されたい）。
１又は２以上の実施形態では、３次元面からピクセルを「剥ぎ取る」ために複数のレーザビームを使用することができる。六角システムでは、６つのレーザが垂直方向に迅速に走査する。各３次元取得システムにおいて、１つのバイナリ非同期カメラが、上方（下方）の延長線からのレーザスポットを記録し、ボクセルの３次元座標をもたらす瞬時の三角形分割を可能にする。第２のより従来型のカメラが、面の場所に誘導された光のＲＧＢ強度を記録する。
このようにして、第１のカメラは、オフセット距離から捉えられた場合の走査スポットの場所の垂直相違のみを記録して走査立体三角形分割を可能にし、１ナノ秒から１０ナノ秒毎に新しい３次元面の場所（新しいボクセル）をもたらす。更に、第２のカメラは、殆どの携帯電話において見られる簡単な低コストローリングシャッターカメラとすることができる。大量生産では、各カメラを約＄１で購入することができ、スキャナは＄１０である場合がある。従って、画像捕捉モジュールの全コストを＄２５よりも低くすることができる。六角システムでは、ハードウエアコストを＄２００程度（中央システム及び例えばスマート電話に接続する接続部に関して６×＄２５＋＄５０）まで抑制することができる。各々が６０度にわたって走査する６本のビーム（図２２Ａ〜図２２Ｃを参照されたい）が、走査個人又は物体を取り囲む。これらのビームは、カメラのローリングシャッターと協働し、従って、全ての時点でこれらのビームのレーザスポット照明はカメラ作動と同期され、ビームは、対向するカメラを「盲目」にしない（これらのカメラを妨害しない）。例えば、画像捕捉モジュールのボクセルプローブビームが面上の反射光を検出していない（すなわち、閾値よりも大きい信号が非同期バイナリカメラによって検出されない）場合に、ＲＧＢカメラによってピクセル値が記録される。
前駆体として機能する第１の非同期カメラによって３次元トリミング機能を与えることができ、画像を整える第２の画像捕捉デバイスの事前選択を可能にする。３次元ボクセルから情報を得たこのトリミング機能は、ＲＧＢピクセルストリームである記録画像データフローを視界内の物体に属するピクセルのみに有意に低減することができ、この物体に属する実際の前景ボクセルと適合させることができる。このようにして、いずれかの背景画像が自動的に除去され、自動クロマキー機能を提供する。それによってデータ出力ストリームが有意に低減され、圧縮の必要がなくなり、非常に可能性が低いシステムレイテンシーを確実にする。
システムは、リンゴ又は他の果物（ナシ、オレンジ、プラム、又はサクランボ）としてパッケージ化することができる。画像捕捉モジュールの各々は、選択される果物の「スライス」として備わる。リンゴの中心芯部（「リンゴ芯部」）は、スライスからの信号を収集する中央サーバとして機能することができ、走査と１つの凝集ＶＰＰストリームへの信号の貼り合わせを編成する中央指令ユニットとして機能する。リンゴが組み立てられるとカメラ及びレーザが外向きに走査する。
図３１Ａ及び図３１Ｂは、六角形底面ピラミッド構成システムを示している。６つの「スライス」の各々は、ホログラフィック記録及び送信される個人の周りに「六角円」で配置することができる。これに代えて、部屋の中心に示すようにピラミッドに組み立てられた時には、システムは、６つの重ね合わせ３Ｄ全体像に分割された中心配置し全体像を与える１又は２以上のカメラによって３６０度の周りを詳描な３Ｄ画像内に記録することになる。図３１Ｂは、ピラミッド内の１又は２以上のプロジェクタから射出し、部屋内にある面及び物体を同時に走査する６つのビームを示している。更に、中心芯部又は脊柱は、基本ユニットを基準の共通基準として使用することができるように、例えば、頂点に基準を有することができる（図示のように）。（図２７Ａ〜図２７Ｆの説明も参照されたい。）
対人関係では、顔面の表情、顔面色によって伝達される感情を正しく読み取ることができることの重要度が明らかである。祖父母−孫コミュニケーションシステムでは、笑い顔面、笑顔面、しかめ面、及びふくれっ面、並びに更に多くの微妙な感情を正しく捕捉することが重要になる。良好な３次元顔面運動検出を有し、これらの顔面感情信号を瞬時に検出して送信するための手法を有することは、「とてつもなく優れた」コミュニケーションに対しては重要である。幼児は、自分の内部感情状態を保育者に伝達することを非常に頼りにしている。母親は、自分の乳児の顔面の表情を見つけるように研ぎ澄まされている。人間の共感知覚システムでの１つの重要な要素は顔面色であり、より具体的には局所的な顔面色の動力学（例えば、赤面）である。
テレビジョン規格、カラーカメラ、及びデジタルセンサは、優れた見栄えの映像を再現するように設計されたものである。広帯域スペクトル光源、並びに信号チェーンでの三帯域（ＲＧＢ）フィルタリング及びかなりのホワイトバランス処理は、今日のスマート電話、並びにＳＬＲディスプレイ、ＬＣＤディスプレイ、及びＯＬＥＤディスプレイにおいて見られる驚異的な画像処理をもたらした。しかし、光子の入力及び出力のチェーンでのｆフィルタは、それらが帯域外光子を除去するので非効率の主原因である。帯域通過が狭い程、損失は大きい。四色システム（Ｒ、Ｇ、Ｙ、及びＢ）が導入されたが、効率損失、並びに計算及び送信のコスト増によって標準になれないままに留まっている。
共感に関する人間の知覚信号を捕捉し、送信し、再現する段階は、現在に至るまで重要とは見なされていなかった。実際に、ルネッサンス以来、教養のあるエリートは、手紙、印刷文字、並びに最近ではかなり短い電子メール及び１４０文字テキストによるコミュニケーションの卓越性を信じるように徐々に慣らされている。コミュニケーションツールとしてのビデオ会議は、今までの場所、話し手達を互いに中断させるレイテンシー、フレーム圧縮遅延、又は不正なカメラ角度に起因するビデオ内の不正視線整列のような多くの感情的及び人的ファクタの欠点に悩まされるままに留まっている。恐らく最も明敏で技術によって目が眩まされていない幼児は、スカイプ上の母親が全く本物の母親ではないことを瞬時に理解する。最新の通信の今日のバルクトラフィックでは、非常に多くの共感コミュニケーションが送信において失われてしまっている。
別の個人による赤面を検出する際の１つの問題は、この人的知覚機能が、重要な３０ｎｍのＭ−Ｌ円錐差信号を再現することに依存することである。図３４は、顔面の赤面中に赤血球に酸素化されたヘモグロビンが充満し、５３５ｎｍのＭ円錐知覚ピークにおいて皮膚の反射率を低減することと、５６２ｎｍにおいてピークを構成するＬ（長く、赤色）円錐において相対反射率を増大させることとによって反射スペクトル中の「Ｗ」形状が強調されていることを示している。差信号（図３４に示す）は２倍よりも大きい（図示の緑色曲線は低酸素化であり、赤色スペクトル応答曲線は高酸素化を示す）。このように人間のカラービジョンでのＭ−Ｌ円錐差知覚は、日焼け、皮膚の色調、又は血液濃度レベルによって変化する絶対レベルではなくこの相対変化に対して高い感度を有し、及び／又はそれを検出するように最適化されている。図３３及び図３４は、これらの重要な知覚手がかりが様々な皮膚の色調に対する赤面の全ての状態にわたって有効であることに注意しなければならない。当然ながら、顔面の化粧が、赤面を隠す場合がある。
図３３は、様々な他のスペクトルと比較した場合に同様である様々なヒト皮膚のデータからの反射率スペクトルを示している。追加したのは、青色４４５ｎｍ、緑色５２２ｎｍ、赤色６３９ｎｍである一般的な走査ダイオードレーザプロジェクタの波長、並びに２つの主要なヒューマンカラービジョン知覚表象である知覚ピーク波長５３５ｎｍ（Ｍ円錐）及び５６２ｎｍ（Ｌ円錐）である。
典型的なＣＭＯＳ Ｂａｙｅｒフィルタカメラ帯域を図３５に示している。明らかに、赤色Ｂａｙｅｒ−フィルタスペクトル遮断は、５６２ｎｍ（黄色）でのヘモグロビン赤面ピーク反射率が見えるには長い波長範囲に向けてあまりにも遠い場所にある。実際に、この重要な波長に対するこの典型的なカメラの感度は、５３５ｎｍ前後で現れる緑色ピクセルのピークに近い。従って、このタイプのカメラは、人間の共感コミュニケーションにおいて最も重要な波長に対して特に色盲である。赤色Ｂａｙｅｒフィルタは、５６２ｎｍ（黄色）においてヘモグロビン赤面ピーク反射性を全く阻止する。実際に、この重要な波長に対するこの典型的なカメラの感度は、５３５ｎｍ前後で現れる緑色ピクセルのピーク（ヒト眼のＭ円錐の最大感度点として発生する）に過度に近い。従って、このタイプの汎用品カメラは、人間の共感コミュニケーションにおいて最も重要な波長に対して特に色盲である
ダイオードレーザは、必然的に狭い波長の発光体である。最近、５６２ｎｍ波長の直接レーザ発光ダイオードレーザが開発されている。５６２ｎｍ原色光源を走査光源の照明に追加することにより、この光源を用いて顔面を選択的に照明することができる。個人の顔面が位置付けられると、顔面の特定の部分を５６２ｎｍ波長レーザ走査ビームによってスポット走査することができる。ＣＭＯＳセンサは、この反射光をあらゆる他の光として捉えることになることに注意しなければならない。特殊な狭帯域通過フィルタが必要である。システムは、５６２ｎｍ黄色光源だけがこの瞬間に（当該ピクセルにおいて）点灯しているという事前把握情報を有するので、特定のピクセルに到着する反射光が５６２ｎｍ光源からの反射光に違いないことを知っている。上述のように、周辺光は、他の手段によって殆ど抑制される。更に、Ｍ円錐に関して５３５ｎｍ及びＬ円錐に関して５６２ｎｍという２つの重要な周波数を空間的又は時間的に多重化（交替）することができる。従って、２つの走査光源の反射光を比較することにより、ピクセル毎の瞬時顔面赤面知覚を検出して送信することができる。
投影像受光システム又は表示システムが、例えば、追加の５６２ｎｍ黄色原色を加えることによってＬピーク波長を送信する機能を有する場合（反射光追跡及び他の用途を有する画像プロジェクタ）、かつ任意的にそのような４つの原色又は５つ以上の原色ではなく第５の原色、例えば、５３５ｎｍ選択的緑色を追加した場合に、走査投影システムは、個人の赤面を忠実に生成することができることになる。黄色ピクセルは、一部の製造業者のＯＬＥＤディスプレイに実際に追加されている。カメラ内とは異なり、ＯＬＥＤディスプレイ内では、有機発光色はレーザのように加算的であり、減算的ではないので、この第４の色の追加は、必ずしも効率損失をもたらすとは限らない。次世代ＯＬＥＤスクリーンは、赤面を再現することができる場合があり、この目的で特定の５３２ｎｍ及び５６２ｎｍの狭帯域発光体を有することができる。
皮膚中の酸素化されたヘモグロビンの代替検出を図３６に示している。５７５ｎｍ前後での選択的照明（走査又はフラッド）は、例えば、赤面中の顔面走査によって検出された酸素化された血液の「Ｗ」スペクトル応答の第２のトラフを捕捉することになる。この照明は、医療用途に同じく役立たせることができる。「Ｗ」内では、Ｗの中心にあるピーク反射率（５６２ｎｍでの、ヒトＬ円錐のピーク感度でもある）が、約５７５ｎｍでの完全に黄色のスペクトルに向う反射率の降下と比較される。この３次元波長での照明は、５３５ｎｍ（ヒトＭ円錐のピーク感度）での反射極小値を捕捉する段階に追加するか又はその代替段階とすることができる。
これに加えて、アバターアニメーション及び／又は拡張現実による見せ方のオプションは、主流のコミュニケーションに近々参入する可能性があるので、人間の顔面色の正確な知覚を有することは、レンダリング側で多くのオプションを生成し、ヒューマン−機械対話の一部とすることさえ可能である。機械は、人間の感情を決して「理解」することができないが、少なくとも人間の感情状態のうちの一部を登録することができる。
赤面検出は、入力側で特殊５６２ｎｍレーザを用いて個人の顔面を走査し、この深黄色反射率を５３５ｎｍでの皮膚の黄緑色反射率と比較することによって首尾良く行えることが分った。この比較は、システムが、いずれか１つの顔面皮膚ピクセルの場所でこの露出的共感信号を瞬時に検出することを可能にする。受け入れ側では、前に解説したように等しい原色を用いて赤面を忠実に再現することができる。残念ながら、この忠実な再現は、色盲の親（Ｍ−Ｌ円錐差知覚が欠如している）には子の本物の赤面として気付くことはできないものになる。これに代えて、信号は、輝度領域に又は知覚障害のある親に対して知覚可能な色信号にシフトさせることができる。
祖父母もある程度の手助けを必要とする場合がある。加齢と共に視覚は有意に劣化する。経年変化する目は、若者とは全く別様に皮膚の色が見える。顔面特徴部を見やすくすること、コントラストを高めること、又は笑顔面にズームインして赤面のようなある一定の重要な知覚マーカを強調することにより、老い行く親が孫と再びつながり合うのに役立たせることができる。これは、人類が再び共感的につながり合うのにある程度役立つことになる。
１２０ 仮想３次元アバターを捕捉し、通信し、かつ表示するための処理
１２２ ユーザの前に位置付けられたスクリーン上に光を向ける段階
１２４ スクリーン及びユーザの顔面からの反射光を捕捉する段階
１２６ 反射光を全体像視界に変換してサーバに提供する段階
１２８ 全体像視界に基づいてアバターを発生させる段階

Claims (21)

  1. ユーザのビデオ画像を捕捉するためのシステムであって、
    湾曲スクリーンと、
    ユーザの頭部の一部分の周りを包むようになったフレーム、
    前記ユーザの左目及び右目に隣接する前記フレームの両端に別々に位置付けられ、前記湾曲スクリーンからそれが該ユーザの顔面の前に位置する時に反射される非可視光を検出する１又は２以上のセンサを各々が含む２又は３以上の画像捕捉モジュール、及び
    前記フレームに結合され、かつ前記ユーザの前記顔面の複数の実時間全体像視界をサーバコンピュータに提供するのに使用される前記非可視光の前記検出された反射を捕捉するように配置されたクライアントコンピュータ、
    を含むヘッドマウント投影表示装置と、
    前記複数の全体像視界に基づいて前記ユーザの前記顔面の実時間３次元ビデオ画像を発生させるのに使用される前記サーバコンピュータであって、該３次元ビデオ画像が、１又は２以上の遠隔に位置付けられたユーザに表示のために提供される前記サーバコンピュータと、
    を含むことを特徴とするシステム。
  2. 各画像捕捉モジュールが、前記ユーザの顔面の前に位置付けられた湾曲スクリーンの上に非可視光を向けるように配置された１又は２以上の光スキャナを含むことを特徴とする請求項１に記載のシステム。
  3. 各画像捕捉モジュールが、前記ユーザの顔面の前に位置付けられた湾曲スクリーンの上に可視光を向ける１又は２以上の光スキャナを含むことを特徴とする請求項１に記載のシステム。
  4. 前記湾曲スクリーンから反射された可視光を検出し、前記２又は３以上の画像捕捉モジュールのうちの１又は２以上に含まれる１又は２以上の他のセンサを更に含むことを特徴とする請求項１に記載のシステム。
  5. 前記湾曲スクリーンは、再帰反射性であることを特徴とする請求項１に記載のシステム。
  6. 前記クライアントコンピュータは、
    前記ユーザの前記顔面が前記湾曲スクリーンの前の会話集中ゾーン内に位置する時に、該ユーザの該顔面の前記複数の実時間全体像視界を前記サーバコンピュータに提供する段階と、
    前記ユーザの前記顔面が前記湾曲スクリーンの前の前記会話集中ゾーンの外側に位置する時に、該ユーザの該顔面の前記複数の実時間全体像視界を前記サーバコンピュータに提供する前記段階を休止する段階と、
    を含む更に別のアクションを実行する、
    ことを特徴とする請求項１に記載のシステム。
  7. 前記湾曲スクリーンは、凹面、楕円放物面、ドーナツ形、又は三連式のうちの１つである形状を更に含むことを特徴とする請求項１に記載のシステム。
  8. ユーザのビデオ画像を捕捉するためのヘッドマウント投影表示装置であって、
    ユーザの頭部の一部分の周りを包むようになったフレームと、
    前記ユーザの左目及び右目に隣接する前記フレームの両端に別々に位置付けられ、湾曲スクリーンからそれが該ユーザの顔面の前に位置する時に反射される非可視光を検出する１又は２以上のセンサを各々が含む２又は３以上の画像捕捉モジュールと、
    前記フレームに結合され、かつ前記ユーザの前記顔面の複数の実時間全体像視界をサーバコンピュータに提供するのに使用される前記非可視光の前記検出された反射を捕捉するように配置されたクライアントコンピュータであって、該サーバコンピュータが、該複数の全体像視界に基づいて該ユーザの該顔面の実時間３次元ビデオ画像を発生させるのに使用され、該３次元ビデオ画像が、１又は２以上の遠隔に位置付けられたユーザに表示のために提供される前記クライアントコンピュータと、
    を含むことを特徴とする装置。
  9. 各画像捕捉モジュールが、前記ユーザの顔面の前に位置付けられた湾曲スクリーンの上に非可視光を向けるように配置された１又は２以上の光スキャナを含むことを特徴とする請求項８に記載の装置。
  10. 各画像捕捉モジュールが、前記ユーザの顔面の前に位置付けられた湾曲スクリーンの上に可視光を向ける１又は２以上の光スキャナを含むことを特徴とする請求項８に記載の装置。
  11. 前記湾曲スクリーンから反射された可視光を検出し、前記２又は３以上の画像捕捉モジュールのうちの１又は２以上に含まれる１又は２以上の他のセンサを更に含むことを特徴とする請求項８に記載の装置。
  12. 前記湾曲スクリーンは、再帰反射性であることを特徴とする請求項８に記載の装置。
  13. 前記クライアントコンピュータは、
    前記ユーザの前記顔面が前記湾曲スクリーンの前の会話集中ゾーン内に位置する時に、該ユーザの該顔面の前記複数の実時間全体像視界を前記サーバコンピュータに提供する段階と、
    前記ユーザの前記顔面が前記湾曲スクリーンの前の前記会話集中ゾーンの外側に位置する時に、該ユーザの該顔面の前記複数の実時間全体像視界を前記サーバコンピュータに提供する前記段階を休止する段階と、
    を含む更に別のアクションを実行する、
    ことを特徴とする請求項８に記載の装置。
  14. 前記湾曲スクリーンは、凹面、楕円放物面、ドーナツ形、又は三連式のうちの１つである形状を更に含むことを特徴とする請求項８に記載の装置。
  15. ユーザのビデオ画像を捕捉する方法であって、
    ユーザの頭部の一部分の周りを包むようになったフレーム、及び
    前記ユーザの左目及び右目に隣接する前記フレームの両端に別々に位置付けられ、湾曲スクリーンからそれが該ユーザの顔面の前に位置する時に反射される非可視光を検出する１又は２以上のセンサを各々が含む２又は３以上の画像捕捉モジュール、
    を含むヘッドマウント投影表示装置を使用して前記ビデオ画像を捕捉する段階と、
    前記フレームに結合され、かつ前記ユーザの前記顔面の複数の実時間全体像視界をサーバコンピュータに提供するのに使用される前記非可視光の前記検出された反射を捕捉するように配置されたクライアントコンピュータを使用する段階と、
    前記サーバコンピュータを使用して前記複数の全体像視界に基づいて前記ユーザの前記顔面の実時間３次元ビデオ画像を発生させる段階であって、該３次元ビデオ画像が、１又は２以上の遠隔に位置付けられたユーザに表示のために提供される前記発生させる段階と、
    を含むことを特徴とする方法。
  16. 各画像捕捉モジュールが、前記ユーザの顔面の前に位置付けられた湾曲スクリーンの上に非可視光を向けるように配置された１又は２以上の光スキャナを含むことを特徴とする請求項１５に記載の方法。
  17. 各画像捕捉モジュールが、前記ユーザの顔面の前に位置付けられた湾曲スクリーンの上に可視光を向ける１又は２以上の光スキャナを含むことを特徴とする請求項１５に記載の方法。
  18. 前記湾曲スクリーンから反射された可視光を検出し、前記２又は３以上の画像捕捉モジュールのうちの１又は２以上に含まれる１又は２以上の他のセンサを更に含むことを特徴とする請求項１５に記載の方法。
  19. 前記湾曲スクリーンは、再帰反射性であることを特徴とする請求項１５に記載の方法。
  20. 前記クライアントコンピュータは、
    前記ユーザの前記顔面が前記湾曲スクリーンの前の会話集中ゾーン内に位置する時に、該ユーザの該顔面の前記複数の実時間全体像視界を前記サーバコンピュータに提供する段階と、
    前記ユーザの前記顔面が前記湾曲スクリーンの前の前記会話集中ゾーンの外側に位置する時に、該ユーザの該顔面の前記複数の実時間全体像視界を前記サーバコンピュータに提供する前記段階を休止する段階と、
    を含む更に別のアクションを実行する、
    ことを特徴とする請求項１５に記載の方法。
  21. 前記湾曲スクリーンは、凹面、楕円放物面、ドーナツ形、又は三連式のうちの１つである形状を更に含むことを特徴とする請求項１５に記載の方法。
JP2018537819A 2016-02-23 2017-01-23 ホログラフィックビデオキャプチャー及びテレプレゼンスシステム Active JP6855493B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662389372P 2016-02-23 2016-02-23
US62/389,372 2016-02-23
US15/411,959 2017-01-20
US15/411,959 US9813673B2 (en) 2016-01-20 2017-01-20 Holographic video capture and telepresence system
PCT/US2017/014616 WO2017127832A1 (en) 2016-01-20 2017-01-23 Holographic video capture and telepresence system

Publications (3)

Publication Number Publication Date
JP2019513310A true JP2019513310A (ja) 2019-05-23
JP2019513310A5 JP2019513310A5 (ja) 2020-02-20
JP6855493B2 JP6855493B2 (ja) 2021-04-07

Family

ID=66628256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018537819A Active JP6855493B2 (ja) 2016-02-23 2017-01-23 ホログラフィックビデオキャプチャー及びテレプレゼンスシステム

Country Status (1)

Country Link
JP (1) JP6855493B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134514A (zh) * 2021-03-29 2022-09-30 北京小米移动软件有限公司 图像采集方法、装置以及存储介质
CN115134514B (zh) * 2021-03-29 2024-05-14 北京小米移动软件有限公司 图像采集方法、装置以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002250896A (ja) * 2000-12-05 2002-09-06 Eastman Kodak Co 自動立体像投影システムおよび立体像投影方法
US6774869B2 (en) * 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
JP2004525560A (ja) * 2001-02-16 2004-08-19 アイマット・インコーポレーテッド 対話式遠隔会議表示システム
JP2005039656A (ja) * 2003-07-17 2005-02-10 Sony Corp 撮像表示装置およびテレビ会議システム
KR20090038843A (ko) * 2008-11-25 2009-04-21 스비아토슬라브 이바노비치 아르세니치 입체 투사 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002250896A (ja) * 2000-12-05 2002-09-06 Eastman Kodak Co 自動立体像投影システムおよび立体像投影方法
US6774869B2 (en) * 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
JP2004525560A (ja) * 2001-02-16 2004-08-19 アイマット・インコーポレーテッド 対話式遠隔会議表示システム
JP2005039656A (ja) * 2003-07-17 2005-02-10 Sony Corp 撮像表示装置およびテレビ会議システム
KR20090038843A (ko) * 2008-11-25 2009-04-21 스비아토슬라브 이바노비치 아르세니치 입체 투사 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134514A (zh) * 2021-03-29 2022-09-30 北京小米移动软件有限公司 图像采集方法、装置以及存储介质
CN115134514B (zh) * 2021-03-29 2024-05-14 北京小米移动软件有限公司 图像采集方法、装置以及存储介质

Also Published As

Publication number Publication date
JP6855493B2 (ja) 2021-04-07

Similar Documents

Publication Publication Date Title
US10477149B2 (en) Holographic video capture and telepresence system
US20230245395A1 (en) Re-creation of virtual environment through a video call
JP7443314B2 (ja) ３ｄテレプレゼンスシステム
CN110226184B (zh) 用于机器感知的系统和方法
US10171792B2 (en) Device and method for three-dimensional video communication
JP7263451B2 (ja) レイヤ化拡張型エンターテインメント体験
US11785200B1 (en) Stage studio for immersive 3-D video capture
JP7452434B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020210937A1 (en) Systems and methods for interpolative three-dimensional imaging within the viewing zone of a display
JP6855493B2 (ja) ホログラフィックビデオキャプチャー及びテレプレゼンスシステム
CN111837161A (zh) 对三维内容系统中的图像进行阴影处理
CN113709439B (zh) 用于渲染视觉对象的方法、装置及系统
KR20130101802A (ko) 3차원 영상 표시 장치 및 그 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210317

R150 Certificate of patent or registration of utility model

Ref document number: 6855493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250