JP2017511615A - 物理的場所間のビデオ対話 - Google Patents

Abstract

【解決手段】 所定の物理的場所間のビデオ対話のシステムおよび方法が開示される。該システムには、複数のビデオカメラを有する第一の部屋および複数の動作検出カメラを有する第二の部屋が含まれる。第二の部屋にあるマーカーは、複数の動作検出カメラによって検出でき、それにより位置座標が該マーカー用に計算できる。その位置座標を用いて、該マーカーの相対位置が決定できる。該マーカーの相対位置に基づき、第一の部屋の視点を提供する第一の部屋からのビデオフィードが識別でき、そのビデオフィードは、第二の部屋にあるディスプレイに提供できる。【選択図】 図１

Description

通信技術の発達により、全世界の人々がほとんど即座に互いに姿を見たり声を聞いたりできるようになっている。音声技術およびビデオ技術を用いて、異なる地理的位置にいる人々の間で会合を持つことができる。例えば、所定の場所にいる企業関係者は、ビデオカメラおよびマイクロフォンを用い、該ビデオカメラおよびマイクロフォンで捉えた音声データおよびビデオデータをコンピューターネットワークを通して送信することにより、地理的に遠隔地にいる取引先と通信できる。該音声データおよびビデオデータはコンピューターで受信することでき、ビデオデータは画面に表示され、音声データはスピーカーを用いて声を聞くことができる。

コンピューターネットワークを通して会合を持つという選択が現在では可能となったので、企業は時間とお金を大幅に節約できる。ネットワークを通して会合を持てるようになる前は、経営者、販売担当者および企業の他の従業員達は取引先のある場所まで行き、飛行機、レンタカーおよび宿泊施設に資金を投じなければならなかった。今では、取引先の場所まで行く代わりにコンピューターネットワークを通して取引先と会合を持つことにより、斯かる出費は回避できる。

本出願開示の特徴は、実施例を用いて本発明の特徴を記載している以下の詳細な説明および添付の図面により、明らかとなるであろう。

図１は、２つの物理的場所間の例示的なビデオ対話システムの図を示している。 図２は、２つの物理的場所間にビデオ対話を提供する例示的システムの構成図を示す。 図３は、周囲にビデオカメラのアレイを有する会議室を示す例示的な図を提供する。 図４は、遠く離れた場所の会議室と対話するのに使用可能な会議室を示す例示的な図を提供する。 図５は、頭に取り付け可能なビデオディスプレイを示す例示的な図を提供する。 図６は、複数の物理的場所間のビデオ対話の例示的方法を示すフローチャートである。 図７は、２つの物理的部屋間における双方向の対話を行うための方法を示す例示的な図を提供する。

図面への参照は例示の実施形態に基づいてなされており、本明細書では該実施形態を記載するのに特定の用語が用いられている。しかし、それにより本発明の範囲が限定されるものではないことは理解されるべきである。

本発明を開示および記載する前に、本開示は本明細書に記載の特定の構造体、処理ステップまたは材料に限定されるものではなく、当業者が認識するような同等物にも拡張し得ることは理解されるべきである。さらに、本明細書で使用されている用語は特定の実施形態のみを記載する目的で使用されているのであり、限定的に解釈されるべきではない。

予備的事項として述べると、本明細書では多くの内容が営業および会議に関連している。しかし、これは例示的目的でそうしているにすぎず、本明細書に記載のシステムおよび方法は、２つの物理的場所間の仮想的対話から恩恵を受ける他の状況にも応用可能である。例えば、本明細書に記載のシステムおよび方法は、友人および家族間との個人的な通信にも有用であろう。加えて、本開示のシステムおよび方法は教室での授業にも応用可能で、その場合、該教室にいない学生でも別の場所から参加でき、まるで実際の教室にいるかのような経験をすることができる。

上記の内容を踏まえて、以下に技術の実施形態の概観をまず記載し、その次に特定の技術の実施形態を詳細に記載する。最初の記載は本技術の基礎的理解を提供するものであるが、技術の全特徴を記載するものでも、特許請求項に記載の主題の範囲を限定する意図を持つものでもない。

コンピューターネットワークを通して会合を持つことにより、参加者達は互いに姿を見たり声を聞いたりすることができるが、テレビモニターなどのディスプレイを見ている参加者達は、同じ部屋に全ての参加者達がいる直接対面の会議と同じような会議を経験するものではない。会議参加者達は、互いに生きた人間と直接話しているのではなく、テレビモニターまたはスピーカーフォンに向かって話しているかのように感じるかもしれない。加えて、ビデオカメラが固定されており、会議参加者の顔に向けられている場合、他の参加者達は、ボディランゲージ（例えば手の動き）および／またはその会議参加者が使っている文書、品目、視覚的実証等が見えないかもしれない。

現在の技術によれば、ネットワークを通して行われる会合の参加者は、遠く離れた場所の部屋にいる他の参加者達を該参加者と類似の視点から見られるようになるだろう。換言すれば、１つの会議室にいる参加者に、遠く離れた場所の会議室にいる経験を提供できるだろう。

本開示の実施形態によれば、２つの物理的場所間のビデオ対話のシステムおよび方法が開示される。例えば、該システムおよび方法によれば、会議の参加者は、遠く離れた会議室および取引先の会議参加者達を、まるでその遠く離れた会議室にいるかのような視点から見ることができるようになる。医療、教育、ビジネスなどの分野、あるいは遠く離れた場所間で会合が持たれる他のあらゆる分野に、本開示のシステムおよび方法が応用可能である。従って、上述のように、ビジネス会合の内容は例示目的のためのみであり、特許請求の範囲に具体的に記載された内容を除き、限定的に解釈されるべきではない。

従って、ネットワークを通して持たれる会議の参加者に遠く離れた会議室にいる経験を提供するため、遠く離れた会議室に配置される２つ以上のビデオカメラから送られるビデオフィードを該参加者が見られるようにするヘッドマウントディスプレイを該参加者に提供するようにしてもよい。２つ以上のビデオカメラからのビデオフィードは、遠く離れた会議室の仮想現実映像（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ ｖｉｅｗ）を作成するのに使用できる。参加者が実際にいる物理的会議室の位置座標が決定され、その位置座標を遠く離れた会議室の相対位置に関連付けることができる。２つ以上のビデオフィードは、遠く離れた会議室の相対位置に基づいて、遠く離れた会議室の相対位置から遠く離れた会議の状況を提供する仮想ビデオフィードの作成に使用できる。次に、該仮想ビデオフィードは、該参加者が装着しているヘッドマウントディスプレイに提供できる。従って、該参加者は、ビデオフィードを見ることにより、物理的会議室にいる該参加者に関連付けられた視点から、遠く離れた場所の会議室を見ることができるようになる。

１つの例示的構成では、遠く離れた会議室を見る目的で会議参加者が使用するヘッドマウントディスプレイは、ヘッドアップディスプレイ（ＨＵＤ）をユーザーに提供する透明なディスプレイを用いてビデオフィードを表示するディスプレイを含んでもよい。別の例示的構成では、ヘッドマウントディスプレイは、右ビデオディスプレイおよび左ビデオディスプレイを含んでリアルタイムに近い立体ビデオ像を作成し得るヘッドマウント立体ディスプレイであってもよい。立体像の使用は立体視の維持を可能にするので、ヘッドマウントディスプレイを装着しているユーザーは、会議室の奥行を感じることができる。本明細書で用いられる「立体視」という用語は、人の目に投影される２つの光学的に離れた世界の投影図を見ることによって奥行き感が与えられる視覚認識過程を意味する。これは、後に詳細に記載するが、頭に取り付け可能な一対のビデオ画面（各々異なる光学的投影図を有する）を使用することにより、あるいは単一のビデオ画面上の２つの光学的投影図を光学的に分離することにより達成できる。

加えて、本明細書に開示のシステムおよび方法により、ネットワークを通して持たれる会議に参加しているあらゆる場所のメンバーが、遠く離れた会議室を見ることができる。例えば、ニューヨーク市で持たれる会議の参加者は、ロサンゼルスで持たれる会議のメンバーを見ることができ、ロサンゼルスで持たれる会議のメンバーは、ニューヨーク市で持たれる会議の参加者を見ることができる。換言すると、両方の場所にいる会議参加者達が、ある参加者が物理的に位置している会議室から離れた場所にある会議室を見ることができる。

本開示の一実施形態によれば、２つの物理的場所間のビデオ対話のためのシステムは、物理的場所にある第一の部屋のビデオフィードを生成するように構成した複数のビデオカメラを有することができる。第二の部屋にある複数の動作検出カメラは、第二の部屋にあるマーカーを検出し、第二の部屋の該マーカーの位置の座標を提供するように構成できる。会議参加者が装着することのできるヘッドマウントディスプレイは、第一の部屋のビデオカメラから受け取るビデオフィードを表示することが可能なビデオ画面を含んでいる。コンピューティング装置は、第一の部屋にあるビデオカメラから複数のビデオフィードを受け取り、第二の部屋の複数の動作検出カメラからマーカー用座標を受け取るように構成できる。該コンピューティング装置は、追跡モジュールおよびビデオモジュールを含んでもよい。該追跡モジュールは、動作検出カメラにより提供される座標を用いて、第一の部屋にあるビデオカメラに対する第二の部屋のマーカーの相対位置を決定するように構成できる。該ビデオモジュールは、第二の部屋のマーカーの相対位置に相関する、第一の部屋のビデオカメラからのビデオフィードを特定し、該ビデオフィードをヘッドマウントディスプレイに提供するように構成できる。

別の実施形態では、２つの物理的場所間のビデオ対話のためのシステムは、ビデオモジュールを有するコンピューティング装置をさらに含むことができ、該ビデオモジュールは、第二の部屋のマーカーの相対位置に相関する、第一の部屋の複数のビデオカメラからの２つのビデオフィードを特定できる。２つのビデオフィードを補間することにより、第二の部屋のマーカーの視点から見た第一の部屋の表示を提供する、仮想現実ビデオフィードが与えられる。

他の実施形態では、２つの物理的場所間のビデオ対話のためのシステムは、ビデオカメラフィードを提供するように構成されるビデオカメラアレイを有することができる。画像処理モジュールは、ｉ）該アレイからビデオカメラフィードを受け取り、ｉｉ）該ビデオカメラフィードの１つまたはそれ以上を幾何学的に変形させて仮想カメラフィードを作成し、並びにｉｉｉ）少なくとも２つのカメラフィードから立体ビデオ画像を生成するように構成できる。

本開示の更に詳細な例を説明するため、以下にいくつかの図面が示される。具体的には、図１を参照して、２つの物理的場所間のビデオ対話の例示的システム１００が示される。システム１００は、第一の部屋１２８の周囲に互いに空間的に離間して配置される複数のビデオカメラ１１８ａ−ｄを含んでもよい。複数のビデオカメラ１１８ａ−ｄは、ネットワーク１１４を通してサーバー１１０に接続できる。サーバー１１０は、複数のビデオカメラ１１８ａ−ｄからビデオフィードを受け取るように構成でき、その場合、サーバー１１０がビデオカメラ１１８ａ−ｄおよび第一の部屋１２８内にあるビデオカメラの場所を特定できるようにする固有のＩＤを、各ビデオカメラに割り当ててもよい。

システム１００は、さらに、第二の部屋１３２の周囲に互いに空間的に離間して配置される複数の動作検出カメラ１２０ａ−ｄを含んでもよい。複数の動作検出カメラ１２０ａ−ｄは、ネットワーク１１４を通してサーバー１１０に接続できる。複数の動作検出カメラ１２０ａ−ｄは、第二の部屋１３２内のマーカー１２４を検出し、第二の部屋１３２内の該マーカー１２４の位置座標を計算し、該マーカー１２４の識別子および位置座標をサーバー１１０に提供できる。一実施形態では、マーカー１２４は、複数の動作検出カメラ１２０ａ−ｄに可視である発光ダイオード（ＬＥＤ）を含む能動マーカーであってもよいし、動作検出カメラ１２０ａ−ｄによって認識および追跡可能な他のマーカーであってもよい。動作検出カメラ１２０ａ−ｄは、部屋内の能動マーカーを追跡しその位置を特定してもよい。能動マーカーは、固有の周波数で変調するＬＥＤを含んでもよく、その結果、固有のデジタルＩＤが該能動マーカーに提供される。さらに、ＬＥＤは可視光を放射してもよいし、あるいは赤外線を放射してもよい。別の実施形態では、マーカー１２４は受動マーカーであってもよく、その場合、該受動マーカーは、光源で照らされて動作検出カメラ１２０ａ−ｄに可視となる再帰反射材でコーティングされてもよい。

複数のビデオカメラ１１８ａ−ｄおよび複数の動作検出器１２０ａ−ｄは、それぞれ４つの場所に配置されていることに注意されたい。特定のアプリケーションに応じて、それよりも多いまたは少ないカメラが用いられてもよいことに注意されたい。例えば、会議室は５〜５０のカメラまたは５〜５０の動作検出器を有してもよいし、２または３のカメラおよび／または２または３の動作検出器を有してもよい。

システム１００には、さらに、サーバー１１０に接続される１若しくはそれ以上のヘッドマウントディスプレイが含まれる。一実施形態では、ヘッドマウントディスプレイ１２２は、ユーザーの１つの目の前に配置される単一のビデオディスプレイを含んでもよいし、あるいは、ビデオディスプレイがユーザーの両方の目の前にあるように、単一のビデオディスプレイの大きさと位置を決めてもよい。別の実施形態では、ヘッドマウントディスプレイ１２２は透明なディスプレイを有してもよい。ビデオフィードは透明なディスプレイ上に投影され、ヘッドアップディスプレイ（ＨＵＤ）をユーザーに提供する。別の実施形態では、ヘッドマウントディスプレイ１２２は、２つのビデオディスプレイを有してもよい。すなわち１つをユーザーの右目の前に、もう１つをユーザーの左目の前に配置してもよい。第一のビデオフィードはヘッドマウントディスプレイ１２２の右ビデオディスプレイ上に表示できるし、第二のビデオフィードはヘッドマウントディスプレイ１２２の左ビデオディスプレイ上に表示できる。右および左ビデオディスプレイはユーザーの右目および左目にそれぞれ投影されるので、立体ビデオ像が提供できる。立体ビデオ像は、２つの目の瞳に投影される僅かに異なる２つのビデオ像から視覚認識ひいては奥行感を与える。斯かる実施形態を組み合わせることにより、例えばＨＵＤで立体像を形成してもよい。

一実施形態では、複数のビデオカメラ１１８ａ−ｄがビデオフィードをサーバー１１０に提供し、サーバー１１０が、部屋１３２内のマーカー１２４の座標位置に最も相関しているビデオフィードを決定するようにしてもよい。次に、サーバーは該ビデオフィードをヘッドマウントディスプレイ１２２に提供できる。別の実施形態では、部屋１２８内のビデオカメラ１１８ａ−ｄから、マーカー１２４の座標位置に最も相関している２つのビデオフィードを特定すれば、該２つのビデオフィードから補間により仮想ビデオフィードが得られる。加えて、２つの仮想ビデオフィードすなわち第一仮想ビデオフィードおよび第二の仮想ビデオフィードが生成できるので、該第一仮想ビデオフィードと第二の仮想ビデオフィードの間の瞳孔距離を真似、並びに該瞳孔距離と光学的に整合する適切な角度を与えれば、立体仮想ビデオ像が得られる。該立体仮想ビデオ像は、次に、立体ヘッドマウントディスプレイ１２２に提供できる。仮想ビデオフィードまたは立体仮想ビデオフィードを形成するにあたり注目すべき点は、これが複数のカメラから得られる実像を用いた発生画像であることであり、斯かるビデオフィードからのデータを補間し、ビデオフィードを、カメラ自体からではなく複数のカメラが提供する情報に基づいて生成することにより、第二の部屋内のマーカーの位置を近似した仮想像が形成される。このようにして、以下にさらに詳細に記載するように、第二の部屋のユーザーは、表示位置および方向を近似した仮想表示を受け取ることができる。１つの仮想像を使うことによりユーザーは二次元像の表示を得ることができるが、２つのビデオモニターから眼鏡内に２つの仮想像を生成しそれをユーザーに提供するならば、第一の部屋の三次元表示が第二の部屋にいるユーザーに提供できる。

従って、さらに詳細に述べると、複数のビデオカメラ１１８ａ−ｄは、複数のペアのビデオカメラがリアルタイムに近い立体ビデオ像を生成できるように調整でき、その場合、複数のペアの各々が、第一の部屋１２８の第一のビデオフィードを生成するように構成された第一のビデオカメラおよび第一の部屋１２８の第二のビデオフィードを生成するように構成された第二のビデオカメラを有することができる。例えば、1つの例では、ビデオカメラ１１８ａおよび１１８ｂが第一のビデオカメラおよび第二のビデオカメラ、２つ目の例では、ビデオカメラ１１８ｃおよび１１８ｄが第一および第二のビデオカメラである。さらに、ビデオカメラは、常に一緒に使用される独立したペアである必要はない。例えば、１１８ａおよび１１８ｃまたは１１８ｄがビデオカメラの第三のペアを形成してもよい。複数のペアのビデオカメラは瞳孔距離だけ互いに空間的に離間していてもよいし、あるいは必ずしも互いに瞳孔距離にはない位置、例えば、瞳孔距離と光学的に整合した適切な角度を持つ模擬的な瞳孔距離、あるいは瞳孔距離と光学系アラインメントにはない一定間隔離れた位置（この場合ふつう信号補正がなされる）に配置してもよい。

複数のビデオカメラ１１８ａ−ｄは、一次元アレイ、例えば、一直線のビデオカメラ（例えば３、４、５、．．．２５）、あるいは二次元アレイ、例えばｘ軸およびｙ軸に沿った配列（例えば３ｘ３、５ｘ５、４ｘ５、１０ｘ１０、２０ｘ２０）カメラ、あるいはさらに三次元アレイなどに配置できる。従って、いずれの実施形態によっても、あらゆる２つの隣接したビデオカメラが、第一のビデオカメラおよび第二のビデオカメラとして使用できる。あるいは、互いに隣接していない２つのビデオカメラをビデオフィードを提供するのに使用してもよい。ビデオカメラ１１８ａ−ｄの選択は、部屋１３２内のマーカー１２４の座標位置に基づいて決めることができる。容易に想到できることであるが、上記システム１００には、ビデオカメラ１１８ａ−ｄを第一の部屋１２８と第二の部屋１３２の両方に配置する場合と、動作検出カメラ１２０ａ−ｄを第一の部屋１２８と第二の部屋１３２の両方に配置する場合が含まれ、そうすることにより、第一の部屋１２８と第二の部屋１３２との間で行われる会議の参加者は、ヘッドマウントディスプレイ１２２を通して、互いに見たり対話したりできる。

図２は、本発明の技術を実行するためのシステム２００の構成部分の例を図示している。システム２００は、１若しくはそれ以上のプロセッサ２２５を有するコンピューティング装置２０２、記憶モジュール２３０および処理モジュールを含んでもよい。一実施形態では、コンピューティング装置２０２は、追跡モジュール２０４、ビデオモジュール２０６、画像処理モジュール２０８、較正モジュール２１４、ズーミングモジュール２１６並びに本明細書では詳細に記載されない他のサービス、プロセス、システム、エンジンまたは機能を有してもよい。コンピューティング装置２０２は、ネットワーク２２８を通して、会議が行われる部屋、例えば会議室などに見られる種々の装置に接続されてもよい。例えば、第一の部屋２３０には数多くのビデオカメラ２３６および１若しくはそれ以上のマイクロフォン２３８が備わっている。第二の部屋２３２には、数多くの動作検出カメラ２４０、マーカー装置２４２、ディスプレイ２４４およびスピーカー２４６が備わっている。

追跡モジュール２０４は、第一の部屋２３０のマーカー装置２４２の位置に対応した、第二の部屋２３２のマーカー装置２４２の相対位置および／または方向を決定するように構成してもよい。具体例として、マーカー装置２４２が第二の部屋２３２の南部分に位置し北向きである場合、第二の部屋２３２のマーカー装置２４２が存在する南位置に相関した相対位置、すなわち第一の部屋２３０の南部分の北に向いた位置が、第一の部屋２３０に特定できる。マーカー装置２４２は、動作検出カメラ２４０が検出可能な能動マーカーまたは受動マーカーであってよい。例えば、能動マーカーは、動作検出カメラ２４０に可視であるＬＥＤを含んでいてもよい。能動マーカーが第二の部屋２３２内を移動すると、動作検出カメラ２４０は能動マーカーの動きを追跡し、該能動マーカーの座標（すなわちｘ、ｙおよびｚデカルト座標および方向）を追跡モジュール２０４に提供する。マーカー２４２の相対位置は、第二の部屋２３２にある動作検出カメラ２４０が提供する座標を用いて決定できる。動作検出カメラ２４０が捉えたデータは、第二の部屋２３２内のマーカー装置２４２の３Ｄ位置を三角測量するのに使用できる。例えば、追跡モジュール２０４は、動作検出カメラ２４０が捉えた座標データを受け取ることができる。追跡モジュール２０４は、座標データを用いて、第二の部屋２３２のマーカー装置２４２の位置を決定し、次に、該マーカー装置２４２の相対位置を第一の部屋２３０に決定してもよい。換言すると、第二の部屋２３２のマーカー装置２４２の位置は、第一の部屋２３０の対応する位置にマッピングできる。

別の実施形態では、追跡モジュール２０４は、場所、人の顔なとの特徴、または他の明瞭な特徴を認識できる画像認識ソフトを含んでもよい。人が第二の部屋２３２内を移動すると、追跡モジュール２０４はその人の動きを追跡し、第二の部屋２３２内のその人の位置座標を決定する。画像認識ソフトは、パターンを認識するようにプログラムしてもよい。例えば、最新のオートフォーカスデジタルカメラに用いられているのと類似の顔認識技術を含むソフト、例えば、デジタル表示画面のボックスが顔の周りに現れ、フォーカスまたは他の目的のために対象の顔が認識されていることをユーザーに知らせるソフトを、本開示のシステムに使用できる。

ビデオモジュール２０６は、追跡モジュール２０４が提供する第二の部屋２３２のマーカー装置２４２の相対位置に相関する、第一の部屋のビデオカメラ２３６からのビデオフィードを特定し、そのビデオフィードを第二の部屋にあるディスプレイ２４４に提供するように構成してもよい。例えば、追跡モジュール２０４は第二の部屋２３２のマーカー装置２４２の相対位置（すなわちｘ、ｙおよびｚデカルト座標および方向座標）をビデオモジュール２０６に提供し、該相対位置の視点を最もよく提供するビデオフィードを特定してもよい。

あるいは、隣接して配置されている２つのビデオカメラ２３６からの２つのビデオフィードが特定でき、その場合、該ビデオフィードは、マーカー装置２４２の相対位置に相関する視点を提供する。該ビデオフィードは画像処理モジュール２０８に提供され、該ビデオフィードに幾何変換が施され、第二の部屋２３２のマーカー装置２４２に相関する視点（すなわちビデオフィード自体から直接得られるのとは異なる視点）を示す仮想ビデオフィードを作成するようにしてもよい。仮想ビデオフィードは、立体ディスプレイ用の立体すなわち３Ｄ信号に多重化してもよいし、あるいはヘッドマウントディスプレイ（例えば右目、左目）に送られて立体ビデオが作成されてもよい。最新のパッケージを含むハードウェアおよびソフトウェアパッケージが、この目的のためにそのまま、あるいは少し修正して用いられてもよい。例えば、ＮＶＩＤＩＡは、ユーザーが複数のカメラフィードを取り込み、それに数学演算を行い、幾何変換されたビデオフィードを出力し、実際のビデオフィードの補間である仮想視点を作成するビデオパイプラインを有している。斯かるビデオ信号は、通常、シリアルデジタルインターフェース（ＳＤＩ）フォーマットである。同様に、斯かる変換を行うのに使われるソフトウェアが、オープンソースとして入手可能である。ＯｐｅｎＣＶ、ＯｐｅｎＧＬおよびＣＵＤＡが、ビデオフィードを操作するのに使用できる。立体視を作成するため、左右の目用に設計されている像あるいは光学的に分けられた単一画面へのビデオフィードは、その表示が仮想であれ実像であれ、通常、瞳孔距離または（必ずしも要求されないが）模擬的な瞳孔距離によって分離されている。この例で示されている画像処理モジュール２０８は、仮想カメラフィードを作成するためのものである。しかし、本実施形態または画像処理から恩恵を得る本明細書内の他の実施形態で使用されるのが好ましい他の種類の画像処理も、画像処理モジュール２０８を含んでもよい。

ディスプレイ２４４は、ユーザーの頭の上に置かれ、直接ユーザーの目の前に配置されるように構成されたビデオディスプレイを有してもよい。一実施形態では、立体ディスプレイは、人の右目が見ることのできる右ビデオディスプレイおよび人の左目が見ることのできる左ビデオディスプレイを有する立体ヘッドマウントディスプレイであってもよい。第一および第二のビデオフィードを右および左ビデオディスプレイに表示することにより、リアルタイムに近い立体ビデオ像が作成できる。あるいは、立体ディスプレイは単一のビデオ画面であってもよく、その場合、第一のビデオフィードと第二のビデオフィードは光学的に分離される（例えば、シャッター分離、偏光分離、色分解等）。立体ディスプレイは、ユーザーが眼鏡などの外部視覚装置を用いて、またはそれを用いないで立体像を見ることができるように構成されてもよい。一実施形態では、シャッター分離、偏光分離、色分解等で用いられる適切な眼鏡が、画面を三次元的に見るのに用いられてもよい。さらに、ビデオディスプレイは、会議の参加者など複数のユーザーがリアルタイムに近い立体ビデオ像を見るためのマルチビデオディスプレイを含んでいてもよい。

較正モジュール２１４は、第一のビデオカメラ２３６からのピクセルが第二のビデオカメラ２３６からのピクセルと整合するように、第一のビデオフィードおよび第二のビデオフィードの水平位置合わせを較正および調整するように構成してもよい。ディスプレイ２４４が右ビデオディスプレイおよび左ビデオディスプレイを含む立体ヘッドマウントディスプレイの場合、像ができるだけ自然に見えるように、２つの像の適切な位置合わせが、ユーザーの目の水平方向に較正されてもよい。像が不自然であればあるほど、それだけ目に負担がかかる。水平位置合わせは、画面上でリアルタイムに近い立体ビデオ像を見る場合に、（眼鏡の助けがある場合もない場合も）より鮮明な像を提供する。ピクセルが適切に配列されている場合には、ピクセルがたとえ僅かでも不整合の場合と比べ、より自然でより鮮明に見える。追加の較正を用いて、第一のビデオカメラおよび第二のビデオカメラの垂直方向の位置合わせを望ましい角度で行い、立体視を与えるようにしてもよい。較正モジュール２１４は、ビデオフィードのペアの水平および／または垂直位置合わせを手動により、および／または自動的に行えるように構成してもよい。

システム２００を最初に設定する場合、あるいは複数のユーザーが同じ装置を使用する場合にも、較正の必要性が生じる。例えば、較正モジュール２１４は、複数のユーザーのために較正を提供できる。従って、該システムは、例えば、第一のユーザーには第一のモードで、第二のユーザーには第二のモードで較正できるように構成できる。該システムは、該システムを第一のユーザーが使っているか第二のユーザーが使っているかにより、自動的にまたは手動で、第一のモードと第二のモードの間を切り替えるように構成してもよい。

ズーミングモジュール２１６は、リアルタイムに近い立体ビデオ像を含むビデオフィードの望ましい拡大を提供するように構成してもよい。ビデオカメラ２３６は会議室の壁に固定されている場合があるので、ビデオカメラが提供するビデオフィードの視点は、（会議室の内部にいるかもしれない）会議参加者の視点に相関している距離にはない場合がある。ズーミングモジュール２１６は、マーカー装置２４２の相対位置座標を受け取り、ビデオフィードの視点が会議参加者の視点にマッチするように、デジタル的にズームインまたはズームアウトしてビデオフィードを調整できる。あるいは、ズーミングモジュール２１６は、ビデオカメラのレンズを制御することにより、望ましい視点までズームインまたはズームアウトしてもよい。

一実施形態では、システム２００は、第一の部屋２３０にある１若しくはそれ以上のマイクロフォン２３８から音声フィードを受け取るように構成された音声モジュール２１８を有していてもよい。例えば、マイクロフォン２３８はビデオカメラ２３６に関連付けられていてもよいので、ビデオフィードを提供するのにあるビデオカメラが選択された場合、該ビデオカメラ２３６に関連付けられているマイクロフォン２３８からの音声フィードも選択される。音声フィードは、第二の部屋２３２にある１若しくはそれ以上のスピーカー２４６に提供できる。一実施形態では、スピーカー２４６は第二の部屋２３２全体に配置されており、従って、その部屋にいる人全員が該音声フィードを聞くことができる。別の実施形態では、ヘッドマウントディスプレイを装着している人が該音声フィードを聞けるように、１若しくはそれ以上のスピーカーがヘッドマウントディスプレイと一体型になっていてもよい。

コンピューティング装置２０２に含まれる様々な処理および／または他の機能は、種々の例において、１若しくはそれ以上の記憶モジュール２４５に接続されている１若しくはそれ以上のプロセッサ２４０上で、実行できる。コンピューティング装置２０２は、例えば、コンピューティング能力を提供するサーバーまたは他のシステムを含んでもよい。あるいは、例えば、１若しくはそれ以上のサーバー列、コンピューター列または他の配列で並べられた複数のコンピューティング装置２０２を使用してもよい。便宜上、コンピューティング装置２０２は単数形で言及されている。しかし、上述したように、複数のコンピューティング装置２０２が様々な配列で使用されてもよい。

ネットワーク２２８は、有用なコンピューティングネットワークを含んでもよく、例えば、イントラネット、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、ワイヤレスデータネットワーク、その他のあらゆる類似のネットワーク、あるいはそれらの組み合わせが含まれる。斯かるシステムに使用される構成要素は、少なくとも部分的には、ネットワークの種類および／または選択した環境に依存する。ネットワークを通したコミュニケーションは、有線接続または無線接続およびその組み合わせにより可能としてもよい。

図２は、特定の処理モジュールが本発明の技術との関連で説明でき、斯かる処理モジュールはコンピューティングサービスとして実行できることを示している。１例としての構成では、モジュールは、サーバーまたは他のコンピューターハードウェア上で実行される１若しくはそれ以上のプロセスを含んだサービスであると考えることができる。斯かるサービスは、中央で提供される機能であってもよいし、要求を受け取り他のサービスまたは消費者装置にアウトプットを提供するサービスアプリケーションであってもよい。例えば、サービスを提供するモジュールは、サーバー、クラウド、グリッドまたはクラスターコンピューティングシステムで提供されるオンデマンドコンピューティングであると考えることもできる。第二のモジュールが第一のモジュールに要求を送りアウトプットを受け取ることができるようにするため、アプリケーションプログラムインターフェース（ＡＰＩ）が各モジュールに提供されてもよい。斯かるＡＰＩは、第三者がモジュールにインターフェースで接続され、モジュールに要求を送ったりアウトプットを受け取ったりするのも可能にする。図２は、上記技術を実行するシステムの１例を示したものであるが、その他多くの類似のまたは異なる環境が可能である。上で記載され説明された例示的な環境は単に代表例に過ぎず、限定的な意味を持つものではない。

図３は、周囲にカメラ３１６のアレイを有する会議室３２０の１例を示している。会議室３２０の周囲に配置されたカメラ３１６のアレイは複数のカメラコレクション３０４で構成されていてもよく、その場合、各カメラコレクション３０４はビデオカメラのグリッド（例えば、２ｘ２、３ｘ５等）を含んでいてもよい。カメラコレクション３０４内のビデオカメラ３０８は、１例では、静的ビデオフィードを提供する固定ビデオカメラであってもよい。別の例では、ビデオカメラ３０８は、光学的にズームインおよびズームアウトする機能を含んでいてもよい。さらに別の例では、ビデオカメラ３０８は、該ビデオカメラ３０８の方向および／またはフォーカスを制御するため、該ビデオカメラに関連付けられている個別のモーターを含んでいてもよい。該モーターは、ビデオカメラ３０８に機械的に連結されていてもよい。例えば、モーターは一連のギアおよび／またはネジで連結され、ビデオカメラ３０８を向ける角度を変更するようになっていてもよい。容易に想到できるように、他の種類の機械的連結も使用できる。ビデオカメラ３０８が向けられる方向をモーターがアップデートできるようにする機械的連結であれば、いずれも、本実施形態の範囲内にあると考えられる。

カメラ３１６のアレイは、会議室３２０の仮想視点を生成するのに使用でき、該仮想視点は、会議室３２０の直交座標空間の特定の方向にカメラ３１６のアレイを配置することにより生じる。例えば、種々のビデオカメラは、互いに対応するように、そして会議室３２０で会議を行っている人々に対応するように配置できる。会議室３２０内の人々の位置は、ハードウェア（例えば動作追跡技術あるいは他の追跡システムまたはモジュール）またはソフトウェアを用い、本明細書記載の追跡方法または当業界で知られている他の方法を使用することにより、知ることができる。

図４は、会議室４０２の例を示しており、会議室４０２内のマーカー４１６を検出するように構成されている複数の動作検出カメラ４０４ａ−ｃを含んでいる。複数の動作検出カメラ４０４ａ−ｃは、上述のように、マーカー４１６の位置座標を決定できるし、該遠く離れた会議室におけるマーカー４１６の相対位置に実質的にマッチするビデオフィードを、該遠く離れた会議室から生成できる。マーカー４１６は会議参加者４１０に取り付けることができ、それにより、会議室４０２内の会議参加者４１０の位置が追跡できる。ビデオフィードは、会議参加者４１０が装着しているヘッドマウントディスプレイ４１２に提供できる。一実施形態では、ビデオフィードは、無線ルーター４０８およびネットワークを通して、ヘッドマウントディスプレイ４１２に送ることができる。ネットワークは、インターネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、ワイヤレスワイドエリアネットワーク（ＷＷＡＮ）などの有線または無線ネットワークであってよい。ＷＬＡＮは、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線規格、米国電気電子学会（ＩＥＥＥ）８０２．１１−２０１２、８０２．１１ａｃ、８０２．１１ａｄ規格、あるいは他のＷＬＡＮ規格を用いて実施してよい。ＷＷＡＮは、ＩＥＥＥ８０２．１６−２００９、第三世代パートナーシッププロジェクト（３ＧＰＰ）、ロングタームエボルーション（ＬＴＥ）リリース８、９、１０または１１等の無線規格を用いて実施してよい。斯かるシステムに使われる構成要素は、少なくとも部分的には、ネットワークの種類および／または選択した環境に依存する。ネットワークを通したコミュニケーションは、有線接続または無線接続およびその組み合わせにより可能としてもよい。

図５は、遠く離れた部屋で生成されたビデオフィードを見るのに使用できるヘッドマウントディスプレイ５００の１例を示したものである。一実施形態では、ヘッドマウントディスプレイ５００は、該ヘッドマウントディスプレイ５００と一体型のマーカー５０４を含んでもよい。例えば、マーカーは、ヘッドマウントディスプレイ５００の枠に一体化されてもよく、それにより、マーカー５０４は動作検出カメラに可視となる。さらに、マーカー５０４がヘッドマウントディスプレイ５００との関係で前方を向くように、ヘッドマウントディスプレイ５００上に配置されてもよい。例えば、マーカー５０４はヘッドマウントディスプレイ５００の前方に配置されてもよく、その場合、ヘッドマウントディスプレイ５００のユーザーが動作検出カメラの方を向いた（すなわちユーザーの顔が動作検出カメラの方向に向けられた）とき、マーカー５０４は動作検出カメラに可視となる。従って、動作検出カメラはマーカー５０４の方向座標を決定できる。方向座標は、実質的に同じ方向を向いたビデオカメラを特定するのに使用できる。さらに、複数のビデオフィードから、方向座標にマッチする視点を提供する仮想ビデオフィードを生成できる。

一実施形態では、ヘッドマウントディスプレイ５００は分割視野を提供するように構成されてもよく、その場合、ディスプレイの下の部分は左目と右目に異なる高品位ディスプレイを提供し、ディスプレイの上の部分では、ユーザーは妨害されていない環境を見ることができる。あるいは、ヘッドマウントディスプレイ５００は分割表示を行うように構成してもよく、その場合、下半分はビデオ像を提供し、ディスプレイの上半分は実質的に透明なので、ユーザーは、ヘッドマウントディスプレイ５００を装着したままで、両方の自然環境を見ることができる。

別の実施形態では、ヘッドマウントディスプレイ５００は第一のビデオフィードおよび第二のビデオフィードをディスプレイシステムに表示でき、該ディスプレイシステムは第一のビデオフィードおよび第二のビデオフィードを光学的に分離してリアルタイムに近い立体ビデオ像を作成する。１例では、第一のビデオフィードはヘッドマウントディスプレイ５００の右ビデオディスプレイに表示でき、第二のビデオフィードはヘッドマウントディスプレイ５００の左ビデオディスプレイに表示できる。右および左ビデオディスプレイは、それぞれユーザーの右目および左目に投影される。立体ビデオ像は、２つの目の瞳に投影される僅かに異なる２つのビデオ像から視覚認識ひいては奥行感を与える。

あるいは、ヘッドマウントディスプレイ５００以外のビデオディスプレイも、リアルタイムに近いビデオフィードを表示するために配置してもよい。例えば、一実施形態では、第一および第二のビデオフィードは単一のディスプレイ画面に表示でき、それぞれのビデオフィードは光学的に分離される。光学的分離の技術としては、シャッター分離、偏光分離および色分解が挙げられる。一実施形態では、ビューアーまたはユーザーは眼鏡を掛けて立体視および奥行感のある分離像を見ることができる。他の実施形態では、複数の立体ビデオ、例えばマルチテレビ画面を表示できる。例えば、立体像をテレビ画面、投射型ディスプレイおよびヘッドマウントディスプレイに同時に表示できる。

ある種の眼鏡、例えばシャッター分離を用いたＬＣＤ眼鏡などはディスプレイ画面と同期化させることができるので、ビューアーは光学的に分離されたリアルタイムに近い立体ビデオ像を見ることができる。ビデオフィードの光学的分離は、２つの目の瞳にそれぞれ投影される僅かに異なる２つのビデオ像から視覚認識ひいては奥行感を与え、立体視を作成する。

上述の実施形態において、ビデオフィードは、デジタルビジュアルインターフェース（ＤＶＩ）ケーブル、高品位マルチメディアインターフェース（ＨＤＭＩ（登録商標））ケーブル、コンポーネントケーブルなどの有線コミュニケーションケーブルを通して、ヘッドマウントディスプレイ５００に送ることができる。あるいは、ビデオフィールドは無線でヘッドマウントディスプレイ５００に送ることができる。例えば、ヘッドマウントディスプレイ５００とビデオフィードを提供するサーバーとの間に無線データリンクを提供するシステムがそれである。

ビデオフィードを無線で送信するために開発された、あるいは現在開発されつつある種々の規格としては、ＷｉｒｅｌｅｓｓＨＤ規格、ワイヤレスギガビットアライアンス（ＷｉＧｉｇ）、ワイヤレスホームデジタルインターフェース（ＷＨＤＩ）、米国電気電子学会（ＩＥＥＥ）８０２．１５規格、ウルトラワイドバンド（ＵＷＢ）コミュニケーションプロトコルなどが挙げられる。別の例としては、ＩＥＥＥ８０２．１１規格が、サーバーからヘッドマウントディスプレイ５００に信号を送るのに使用できる。ビデオフィード情報をサーバーからヘッドマウントディスプレイ５００へ送りリアルタイムに近い表示を可能にする１若しくはそれ以上の無線規格が使用でき、それにより、ワイヤの使用が排除され、ユーザーはより自由に動き回れるようになる。

別の実施形態では、ビデオカメラおよびヘッドマウントディスプレイ５００は、比較的高い解像度で表示するように構成してもよい。例えば、カメラおよびディスプレイは、１２８０ｘ７２０ピクセル（幅ｘ高さ）の７２０Ｐ プログレッシブビデオディスプレイ、１９２０ｘ１０８０ピクセルの１０８０ｉインターレースビデオディスプレイまたは１９２０ｘ１０８０ピクセルの１０８０ｐプログレッシブビデオディスプレイを提供するように構成してもよい。ムーアの法則に従って処理力およびデジタルメモリーが指数関数的に向上しているので、７６８０ｘ４３２０ピクセルの４３２０Ｐプログレッシブビデオディスプレイなど、さらに高い解像度を提供してもよい。解像度が向上すれば、画質を実質的に下げることなく、デジタル拡大を提供するソフトウェア（デジタルズーム）を用いて、画像を拡大できる。従って、ソフトウェアのみを用いて、遠く離れた会議室にいるヘッドマウントディスプレイ５００を装着している人に、所定の視点を提供できる。

図６は、２つの物理的部屋間において対話する方法を例示的に説明するフローチャートである。ステップ６０５では、サーバーが、所定の物理的場所にある第一の部屋に配置された複数のビデオカメラから複数のビデオフィードを受け取る。ここで、該複数のビデオカメラは上記第一の部屋全体に離間して配置されていてもよい。例えば、第一の部屋の周囲に２つ以上のビデオカメラを離間して配置して、第二の部屋にいる人に第一の部屋の視点を提供するビデオフィードを作成するようにしてもよい。一実施形態では、ビデオカメラを第一の部屋の様々な高さに配置し、様々な高さからのビデオフィードを提供するようにしてもよい。従って、第二の部屋にいる人のビデオフィードに実質的にマッチするビデオフィードが提供できる。例えば、第二の部屋の椅子に座っている人と実質的に同じ高さにあるカメラからのビデオフィードを提供できるし、第二の部屋に立っている人のビデオフィードに実質的にマッチする高さにあるカメラからのビデオフィードも提供できる。

ステップ６１０では、所定の物理的場所にある第二の部屋に配置されたマーカーの位置座標が複数の動作検出カメラによって計算され、該位置座標をサーバーが受け取る。位置座標は、第二の部屋におけるマーカーの相対位置を提供する。例えば、マーカーの相対位置は、上述のように、第二の部屋の位置に相関する、第一の部屋の位置であってもよい。複数の動作検出カメラを第二の部屋の周囲に配置することにより、マーカーが第二の部屋で移動しているとき、動作検出カメラがマーカーを追跡することが可能となる。

一実施形態では、マーカーの位置座標は、動作検出カメラからの直交座標空間ｘ、ｙおよびｚ軸距離であってもよいので、動作検出カメラは、第二の部屋のマーカーの経緯度並びに第二の部屋の該マーカーの高さを提供できる。さらに、別の実施形態では、複数の動作検出カメラによりマーカーが向いている方向を決定することができる。例えば、マーカーは、動作検出カメラに可視であるＬＥＤを有する能動マーカーであってもよい。マーカーのＬＥＤが動作検出カメラで特定されると、該マーカーを特定する動作検出カメラにより該マーカーが向いている方向を決定することができる。

一実施形態では、マーカーは、上述のように、ヘッドマウントディスプレイに一体型であってもよい。別の実施形態では、マーカーは人が装着していてもよい。例えば、マーカーは、人の衣服にピン、クリップまたは他の何らかの方法で留めておくことができ、そうすることにより、該個人の第二の部屋での位置が特定および追跡できる。該個人はヘッドマウントディスプレイを装着し、衣服に取り付けられた該マーカーの視点から、第一の部屋の光景を提供するビデオフィードが該ヘッドマウントディスプレイに送信される。さらに、マーカーは、人が装着している物体、例えばリストバンド、ネックレス、ヘッドバンド、ベルト等と一体化されていてもよい。

ステップ６１５では、複数のビデオフィードから、第二の部屋のマーカーの相対位置と相関するビデオフィードが特定される。例えば、第二の部屋にいる人の相対位置の背後に配置された、第一の部屋のビデオカメラからのビデオフィードを特定することができる。従って、第二の部屋のマーカーに関連付けられている人の視点に似た第一の部屋の視点が、該ビデオフィードにより提供される。一実施形態では、第二の部屋のマーカーの相対位置に相関する第一の部屋のビデオカメラからの少なくとも２つのビデオフィードを特定することができる。該２つのビデオフィードを用いることにより、第二の部屋のマーカーの有利な視点に実質的にマッチする仮想ビデオフィードが作成できる。例えば、ビデオ処理を行うのに補間が用いられ、第一のビデオフィードからの第一のビデオフレームと第二のビデオフィードからの第二のビデオフレームの間に、中間のビデオフレームが作成できる。従って、第一の部屋におけるマーカーの相対位置および方向を用いることにより、マーカーの視点に最もよくマッチする第一ビデオフィードおよび第二のビデオフィードを特定することができる。次に、第一および第二のビデオフィードを用いて、第一ビデオフィードまたは第二のビデオフィードにより個別に提供される場合よりも第二の部屋のマーカーの視点により近い仮想ビデオフィードを作成することができる。

一実施形態では、ビデオフィードに加えて、第一の部屋のマイクロフォンから音声フィードを受け取り、それを第二の部屋のスピーカーに提供できる。該音声フィードにより、第二の部屋にいる人は、第一の部屋にいる人の声を聞くことができる。１例では、マイクロフォンはビデオフィードを提供するビデオカメラに関連付けられていてもよく、マイクロフォンからの音声フィードは、該音声フィードに関連付けられているビデオフィードを受け取る第二の部屋の人に提供できる。

ステップ６２０では、該ビデオフィードは、第二の部屋に配置されたマーカーに関連付けられているヘッドマウントディスプレイに提供することができ、該ヘッドマウントディスプレイは、第二の部屋のマーカーの位置に対応する第一の部屋の表示を提供する。従って、ヘッドマウントディスプレイを装着している人は、まるでその人が第一の部屋にいるかのような模擬的視点から第一の部屋を見ることができる。例えば、第二の部屋にいる人は第一の部屋および第一の部屋にいる他の人を見ることができ、第二の部屋を物理的に動き回ると、その動きは第一の部屋の仮想表示に模擬的に示される。

図７は、複数の物理的場所間のビデオ対話の方法を示す図である。図７に示されるように、複数の部屋（すなわち部屋１である７０６および部屋２である７０８）は、多くのビデオカメラおよび動作検出カメラを有するように構成できる。例えば、部屋１である７０６は、複数のビデオカメラ７１２ａ−ｄおよび複数の動作検出カメラ７１６ａ−ｄを含んでもよい。部屋２である７０８は、同様に、複数のビデオカメラ７０３ａ−ｄおよび複数の動作検出カメラ７３４ａ−ｄを含んでもよい。各部屋は、各ビデオカメラからのビデオフィード並びに部屋にある１若しくはそれ以上のマーカー７２２および７３８の位置座標をサーバー７０４に提供できる。上述したように、サーバー７０４は、ビデオフィード（ある実施形態では仮想ビデオフィード）をそれぞれのヘッドマウントディスプレイ７２０および７３６に提供できる。

マーカー７２２および７３８が部屋の周囲を移動する（例えば、該マーカーに関連付けられている人が部屋の周りを歩き回る）場合、該マーカー７２２および７３８の相対位置に最もよく相関している１若しくはそれ以上のビデオフィードが決定できる。ビデオフィードがマーカー７２２および７３８にもはや相関していない場合、そのビデオフィードは終了され、該マーカーの相対位置に相関しているビデオフィードが、ヘッドマウントディスプレイ７２０および７３６に提供される。加えて、１つのビデオフィードから別のビデオフィードへの移行は、ヘッドマウントディスプレイを装着している人にシームレスに見える速度で行ってもよい。

上で本開示のシステムおよび方法を記載するにあたり、実装の独立性を特に強調するため、本明細書記載の多くの機能ユニットが「モジュール」として表示されている。例えば、モジュールは、カスタムＶＬＳＩ回路またはゲートアレイ、既成の半導体、例えば、ロジックチップ、トランジスタまたは他の個別の構成要素を含むハードウェア回路として実装してもよい。モジュールは、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイスなどのプログラマブルハードウェア装置に実装してもよい。

モジュールは、種々のタイプのプロセッサにより実行されるソフトに実装してもよい。実行可能コードが識別されたモジュールは、例えば、オブジェクト、手順または機能としてオーガナイズできる、コンピューター命令の１若しくはそれ以上の物理的ブロックまたは論理ブロックを含んでもよい。しかし、識別されたモジュールの実行ファイルは、物理的に同じ場所に存在する必要はなく、異なる場所に保存された個別の命令を含んでいてもよく、論理的に合わされることにより該モジュールを構成し、該モジュールの一定の目的を達成するものであってもよい。

実行可能コードのモジュールは単一命令であっても多くの命令であってもよいし、いくつかの異なるコードセグメント、異なるプログラムおよびいくつかの記憶装置に分散されていてもよい。同様に、オペレーショナルデータは、本明細書に記載されているように、モジュール内で識別され、適切な形式で組み込まれ、適切なタイプのデータ構造内にオーガナイズされているものであってよい。オペレーショナルデータは、単一のデータセットとして集められていても、異なる場所（異なる記憶装置を含む）に分散されていてもよいし、少なくとも部分的には、単にシステムまたはネットワーク上の電子信号として存在していてもよい。モジュールは、目的の機能を実行するのに操作可能なエージェントを含め、能動的なものであっても受動的なものであってもよい。

上述の例は１若しくはそれ以上の特定のアプリケーションについて本発明の原理を説明したものであり、発明の才を実行することなしに、並びに本発明の原理および概念から逸脱することなしに、形式、使用および実行の詳細に関して数多くの変更が可能であることは、当業者には明白である。従って、以下の特許請求の範囲によるものを除き、本発明は限定的に解釈されるべきではない。

Claims (27)

1. ２つの物理的場所間におけるビデオ対話のためのシステムであって、
   所定の物理的場所にある第一の部屋のビデオフィードを生成するように構成された複数のビデオカメラと、
   第二の部屋に配置された複数の動作検出カメラであって、該第二の部屋に配置されたマーカーの動作を検出し、該マーカーの座標を提供するものである、前記動作検出カメラと、
   前記第一の部屋のビデオフィードを表示するビデオディスプレイを含むヘッドマウントディスプレイと、
   前記複数のビデオカメラからの複数のビデオフィードを受け取り、且つ前記複数の動作検出カメラからのマーカーの座標を受け取るように構成されたコンピューティング装置であって、プロセッサと、前記プロセッサによって実行されると、前記プロセッサに実行を行わせる命令を含む記憶装置とを有するものである、前記コンピューティング装置と、
   前記複数の動作検出カメラに関連付けられた追跡モジュールであって、前記複数の動作検出カメラにより提供された前記マーカーの座標を用いて、前記第二の部屋におけるマーカーの位置を決定し、前記第一の部屋における前記マーカーの相対位置を決定するように構成されているものである、前記追跡モジュールと、
   前記第二の部屋におけるマーカーの相対位置に相関する、前記第一の部屋の複数のビデオカメラのうち１のビデオカメラからのビデオフィードを特定し、前記ビデオフィードを前記ヘッドマウントディスプレイに提供するように構成されたビデオモジュールと
   を有するシステム。
2. 請求項１記載のシステムにおいて、前記ビデオモジュールは、さらに、
   前記第二の部屋におけるマーカーの相対位置に相関する、前記第一の部屋のビデオカメラからの少なくとも２つのビデオフィードを特定し、前記少なくとも２つのビデオフィードを補間して前記第二の部屋のマーカーの視点から見た前記第一の部屋の仮想現実映像（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ ｖｉｅｗ）をレンダリングするものである、システム。
3. 請求項１記載のシステムにおいて、前記ヘッドマウントディスプレイは、さらに、
   ユーザーにヘッドアップディスプレイ（ＨＵＤ）を提供する透明なディスプレイに前記ビデオフィードを組み入れるディスプレイを有するもである、システム。
4. 請求項１記載のシステムにおいて、前記ヘッドマウントディスプレイは、さらに、
   右ビデオディスプレイと左ビデオディスプレイとを含むヘッドマウント立体ディスプレイを有し、第一のビデオフィードおよび第二のビデオフィードからリアルタイムに近い立体ビデオ像を生成するものである、システム。
5. 請求項４記載のシステムにおいて、前記右ビデオディスプレイおよび左ビデオディスプレイは、ユーザーの目の前方に位置する、ヘッドマウントディスプレイの下方部分に配置されて分割表示を提供するものであり、下を向いた場合、前記第一の部屋が可視状態となり、正面を見ているときは、前記第二の部屋が可視状態となるものである、システム。
6. 請求項１記載のシステムにおいて、ビデオカメラは、空間的に互いに瞳孔距離だけ離間しているものである、システム。
7. 請求項１記載のシステムにおいて、前記ビデオモジュールは、さらに、
   空間的に互いに瞳孔距離だけ離間している少なくとも２つのカメラフィードを特定するものである、システム。
8. 請求項１記載のシステムにおいて、前記マーカーは前記ヘッドマウントディスプレイと一体型になっているものである、システム。
9. 請求項１記載のシステムにおいて、さらに、
   前記第一の部屋から音声フィードを生成するように構成されたマイクロフォンを有するものである、システム。
10. 請求項７記載のシステムにおいて、マイクロフォンはビデオカメラに関連付けられているものである、システム。
11. 請求項７記載のシステムにおいて、さらに、
    前記第一の部屋のマイクロフォンからの音声フィードを特定し、前記音声フィードをスピーカーに提供するように構成された音声モジュールを有するものである、システム。
12. 請求項１１記載のシステムにおいて、前記スピーカーは前記ヘッドマウントディスプレイと一体型になっているものである、システム。
13. 請求項１記載のシステムにおいて、前記複数のビデオカメラは、前記第一の部屋の周囲に均等に配置されているものである、システム。
14. 請求項１記載のシステムにおいて、前記複数のビデオカメラは、ビデオカメラのアレイである、システム。
15. 複数の物理的場所間においてビデオ対話を行う方法であって、実行可能な命令を有して構成された１若しくはそれ以上のコンピューターシステムの制御下で、
    所定の物理的場所にある第一の部屋に配置された複数のビデオカメラから複数のビデオフィードを受け取る工程であって、前記複数のビデオカメラは前記第一の部屋全体に離間して配置されるものである、前記複数のビデオフィードを受け取る工程と、
    所定の物理的場所にある第二の部屋に配置されたマーカーの位置座標を受け取る工程であって、前記位置座標は前記第二の部屋における前記マーカーの相対位置を提供するものである、前記位置座標を受け取る工程と、
    前記複数のビデオフィードから前記第二の部屋における前記マーカーの前記相対位置と相関するビデオフィードを特定する工程と、
    前記第二の部屋に配置されたマーカーと関連付けられたヘッドマウントディスプレイに前記ビデオフィードを提供する工程であって、前記ヘッドマウントディスプレイは、前記第二の部屋に配置されたマーカーの位置に対応する前記第一の部屋の映像を提供するものである、前記ビデオフィードを提供する工程と
    を有する方法。
16. 請求項１５記載の方法において、さらに、
    前記複数のビデオフィードから、前記第二の部屋における前記マーカーの相対位置と相関する少なくとも２つのビデオフィードを特定する工程と、
    前記少なくとも２つのビデオフィードを補間して前記マーカーの視点から見た前記第一の部屋の仮想現実映像をレンダリングする工程と
    を有するものである、方法。
17. 請求項１５記載の方法において、前記マーカーの位置座標は、前記第二の部屋の周囲に配置された複数の動作検出カメラにより提供されるものである、方法。
18. 請求項１５記載の方法において、前記マーカーの位置座標は、さらに、
    動作検出カメラからｘ、ｙおよびｚ軸の距離を有するものである、方法。
19. 請求項１５記載の方法において、前記複数のビデオカメラは、前記第一の部屋の周囲内の様々な高さに配置されるものである、方法。
20. 請求項１５記載の方法において、前記マーカーは、動作検出カメラに可視となる少なくとも１つの発光ダイオード（ＬＥＤ）を含む能動マーカーである、方法。
21. 請求項１５記載の方法において、前記マーカーは、光源により照射されると前記マーカーを動作検出カメラに対して可視状態にする再帰反射材でコーティングされている受動マーカーである、方法。
22. 請求項１５記載の方法において、前記マーカーは、さらに、
    ユーザーである人に取り付けられているマーカーを有するものである、方法。
23. 請求項１５記載の方法において、前記マーカーは、前記ヘッドマウントディスプレイ上に配置されるものである、方法。
24. 請求項１５記載の方法において、さらに、
    前記第一の部屋に配置されたマイクロフォンから音声フィードを受け取る工程と、
    前記音声フィードを前記第二の部屋のスピーカーに提供する工程と
    を有するものである、方法。
25. ２つの物理的部屋間において対話を行う方法であって、実行可能な命令を有して構成された１若しくはそれ以上のコンピューターシステムの制御下で、
    第一の部屋に配置された第一の複数ビデオカメラおよび第二の部屋に配置された第二の複数ビデオカメラからビデオフィードを受け取る工程と、
    前記第一の部屋に配置された第一のマーカーおよび前記第二の部屋に配置された第二のマーカーの位置座標を受け取る工程であって、１のマーカーの座標は、１の部屋における該マーカーの相対位置を提供するものである、前記位置座標を受け取る工程と、
    前記第一のマーカーの相対位置に相関する前記第二の部屋からの少なくとも２つのビデオフィードを決定し、該２つのビデオフィードを補間して前記第一のマーカーの視点から見た前記第二の部屋の仮想現実映像をレンダリングし、前記第一のマーカーを含むヘッドマウントディスプレイに前記仮想現実映像を提供する工程と、
    前記第二のマーカーの相対位置に相関する前記第一の部屋からの少なくとも２つのビデオフィードを決定し、前記２つのビデオフィードを補間して前記第二のマーカーの視点から見た前記第一の部屋の仮想現実映像をレンダリングし、前記第二のマーカーを含むヘッドマウントディスプレイに前記仮想現実映像を提供する工程と
    を有する方法。
26. 請求項２５記載の方法において、さらに、
    マーカーが第一の会議室の空間内を移動している場合に、前記第一の会議室内における該マーカーの相対位置に最も相関する少なくとも２つのビデオフィードを決定する工程を有するものである、方法。
27. 請求項２５記載の方法において、さらに、
    ビデオフィードを終了させ、新しいビデオフィードを提供して、１つのビデオフィードから別のビデオフィードへの移行が前記ヘッドマウントディスプレイのユーザーにシームレスに見える速度で補間処理する工程を有するものである、方法。

Images