JP2020035455A - 媒介現実コンテンツの共有 - Google Patents

Abstract

【課題】拡張現実コンテンツや仮想現実コンテンツのような媒介現実コンテンツの共有方法を提供する。【解決手段】デバイスに関連する一つ又は複数のディスプレイに媒介現実コンテンツを表示させることと、媒介現実コンテンツの少なくとも一つの部分を共有する追加デバイスを識別することと、追加デバイスに関連する一つ又は複数のディスプレイを特徴付ける一つ又は複数のパラメータを決定することと、決定された一つ又は複数のパラメータに少なくとも部分的に基づいて、媒介現実コンテンツにおいて追加デバイスと共有される少なくとも一つの部分を決定することと、媒介現実コンテンツの当該部分を追加デバイスと共有することと、を含む。【選択図】図８

Description

本発明の実施形態は、拡張現実コンテンツや仮想現実コンテンツのような媒介現実コンテンツの共有に関する。

背景

本願における媒介現実は、ユーザが完全人工／仮想環境又は半人工／仮想環境を体験することである。

拡張現実は媒介現実の一形態で、ユーザは半人工半現実環境を体験する。仮想現実も媒介現実の一形態で、ユーザは完全人工／完全仮想環境を体験する。

摘要

必ずしも全てではないが本発明の種々の実施形態によれば、デバイスに関連する一つ又は複数のディスプレイに媒介現実コンテンツを表示させることと；媒介現実コンテンツの少なくとも一つの部分を共有する追加デバイスを識別することと；追加デバイスに関連する一つ又は複数のディスプレイを特徴付ける一つ又は複数のパラメータを決定することと；決定された一つ又は複数のパラメータに少なくとも部分的に基づいて、媒介現実コンテンツにおいて追加デバイスと共有される少なくとも一つの部分を決定することと；媒介現実コンテンツの少なくとも一つの部分を追加デバイスと共有することを含む方法が提供される。

必ずしも全てではないが、本発明の様々な実施形態によれば、少なくとも一つのプロセッサで実行されると、少なくとも、デバイスに関連する一つ又は複数のディスプレイに媒介現実コンテンツを表示させることと；媒介現実コンテンツの少なくとも一つの部分を共有する追加デバイスを識別することと；追加デバイスに関連する一つ又は複数のディスプレイを特徴付ける一つ又は複数のパラメータを決定することと；決定された一つ又は複数のパラメータに少なくとも部分的に基づいて、媒介現実コンテンツにおいて追加デバイスと共有される少なくとも一つの部分を決定することと；媒介現実コンテンツの少なくとも一つの部分を追加デバイスと共有することを含む方法が提供される。

一つ又は複数のコンピュータプログラムが前述のコンピュータコードを含んでもよい。一つ又は複数のコンピュータプログラムが、一つ又は複数の非一時的コンピュータ可読媒体に記憶されてもよい。

必ずしも全てではないが本発明の種々の実施形態によれば、デバイスに関連する一つ又は複数のディスプレイに媒介現実コンテンツを表示させる手段と；媒介現実コンテンツの少なくとも一つの部分を共有する追加デバイスを識別する手段と；追加デバイスに関連する一つ又は複数のディスプレイを特徴付ける一つ又は複数のパラメータを決定する手段と；決定された一つ又は複数のパラメータに少なくとも部分的に基づいて、媒介現実コンテンツにおいて追加デバイスと共有される少なくとも一つの部分を決定する手段と；媒介現実コンテンツの少なくとも一つの部分を追加デバイスと共有する手段を備える装置が提供される。

必ずしも全てではないが本発明の種々の実施形態によれば、少なくとも一つのプロセッサと；コンピュータプログラムコードを格納する少なくとも一つのメモリを備える装置であって、コンピュータプログラムコードが、少なくとも一つのプロセッサと協働で、少なくとも装置に、デバイスに関連する一つ又は複数のディスプレイに媒介現実コンテンツを表示させることと；媒介現実コンテンツの少なくとも一つの部分を共有する追加デバイスを識別することと；追加デバイスに関連する一つ又は複数のディスプレイを特徴付ける一つ又は複数のパラメータを決定することと；決定された一つ又は複数のパラメータに少なくとも部分的に基づいて、媒介現実コンテンツにおいて追加デバイスと共有される少なくとも一つの部分を決定することと；媒介現実コンテンツの少なくとも一つの部分を追加デバイスと共有することを含む方法が提供される。

必ずしも全てではないが本発明の種々の実施形態によれば、デバイスに関連する一つ又は複数のディスプレイに媒介現実コンテンツを表示させることと；媒介現実コンテンツの少なくとも一つの部分を追加デバイスと共有することと；媒介現実コンテンツの部分を追加デバイスと共有する前、共有中、又は共有した後、該媒介現実コンテンツの部分をデバイスに関連する一つ又は複数のディスプレイによって区画させることを含む方法が提供される。

必ずしも全てではないが、本発明の様々な実施形態によれば、少なくとも一つのプロセッサで実行されると、少なくとも、デバイスに関連する一つ又は複数のディスプレイに媒介現実コンテンツを表示させることと；媒介現実コンテンツの少なくとも一つの部分を追加デバイスと共有することと；媒介現実コンテンツの部分を追加デバイスと共有する前、共有中、又は共有した後、該媒介現実コンテンツの部分をデバイスに関連する一つ又は複数のディスプレイによって区画させることを遂行するコンピュータプログラムコードが提供される。

一つ又は複数のコンピュータプログラムが前述のコンピュータコードを含んでもよい。一つ又は複数のコンピュータプログラムが、一つ又は複数の非一時的コンピュータ可読媒体に記憶されてもよい。

必ずしも全てではないが本発明の種々の実施形態によれば、デバイスに関連する一つ又は複数のディスプレイに媒介現実コンテンツを表示させる手段と；媒介現実コンテンツの少なくとも一つの部分を追加デバイスと共有する手段と；媒介現実コンテンツの部分を追加デバイスと共有する前、共有中、又は共有した後、該媒介現実コンテンツの部分をデバイスに関連する一つ又は複数のディスプレイによって区画させる手段を備える装置が提供される。

必ずしも全てではないが本発明の種々の実施形態によれば、少なくとも一つのプロセッサと；コンピュータプログラムコードを格納する少なくとも一つのメモリを備える装置であって、コンピュータプログラムコードが、少なくとも一つのプロセッサと協働で、少なくとも装置に、デバイスに関連する一つ又は複数のディスプレイに媒介現実コンテンツを表示させることと；媒介現実コンテンツの少なくとも一つの部分を追加デバイスと共有することと；媒介現実コンテンツの部分を追加デバイスと共有する前、共有中、又は共有した後、該媒介現実コンテンツの部分をデバイスに関連する一つ又は複数のディスプレイによって区画させることを遂行させる、装置が提供される。

必ずしも全てではないが本発明の種々の実施形態によれば、少なくとも一つのプロセッサと；コンピュータプログラムコードを格納する少なくとも一つのメモリを備える装置であって、コンピュータプログラムコードが、少なくとも一つのプロセッサと協働で、少なくとも装置に、デバイスに関連する一つ又は複数のディスプレイに媒介現実コンテンツを表示させることと；媒介現実コンテンツが追加デバイスと共有されるとき、その媒介現実コンテンツを追加デバイスのユーザが最初に見る開始視点をユーザが選択できるようにすることを遂行させる、装置が提供される。

本発明の様々な実施形態（但し必ずしも全ての実施形態ではない）によれば、装置の発明を特定する請求項に特定されるような例が提供される。

前述の詳細な説明を理解するために有用な種々の実施例の理解に資するべく、例として次の添付図面を参照する。
図１Ａ、１Ｂ、１Ｃは、媒介現実の実施例であって、同一の仮想空間と別々の視点を示す。 図２Ａ、２Ｂ、２Ｃは、媒介現実の実施例であって、それぞれの視点から見た仮想シーンを示す。 図３Ａは、実空間の例を示す。図３Ｂは、図１Ｂの仮想空間に部分的に対応する現実シーンの例を示す。 図４Ａは、チップ又はチップセットの形態による装置の概略を示す。図４Ｂは、一つ又は複数の電子デバイスであって、媒介現実、拡張現実、仮想現実の全て又は一部を可能にするように動作できる電子デバイスの形態による装置の概略を示す。 図４Ｂに示す装置の実施例についての透視図例を示す。 図６Ａは、媒介現実、拡張現実、仮想現実の全て又は一部を可能にする方法の実施例を示す。図６Ｂは、拡張現実のための仮想空間モデルを更新する方法の実施例を示す。 図４に示す装置であって、一つ又は複数のデバイスと通信している装置を示す。 方法のフローチャートを示す。 媒介現実コンテンツが表示される概略を示す。 媒介現実コンテンツにおいて共有するための部分が決定される第１の概略を示す。 媒介現実コンテンツにおいて共有するための部分が決定される第２の概略を示す。 媒介現実コンテンツにおいて共有するための部分が決定される第３の概略を示す。 図１１Ａは、あるユーザが、共有媒介現実コンテンツを別のユーザが初めて見る際の視点を選択する状況を示す。図１１Ｂは、媒介現実コンテンツがズームされ、媒介現実コンテンツにおいて共有するための部分が決定される概略を示す。 図１２Ａ及び１２Ｂは、媒介現実コンテンツの一部が、その媒介現実コンテンツ部分の共有前や共有中、共有後に区画さる状況を示す。

説明

本発明の実施形態は、仮想現実コンテンツや拡張現実コンテンツのような媒介現実コンテンツの共有に関する。例えば、媒介現実コンテンツは、デバイスに関連する一つ又は複数のディスプレイで表示されてもよい。媒介現実コンテンツの少なくとも一つの部分を共有する追加デバイスが識別されてもよい。

デバイスは、媒介現実コンテンツにおいて追加デバイスと共有する部分を決定するために、追加デバイスに関連する一つ又は複数のディスプレイを特徴付ける一つ又は複数のパラメータを使用してもよい。

例えばある実施例では、こうしたデバイスが頭部装着型視覚装置に接続されるパーソナルコンピュータやゲームコンソールでもよく、追加デバイスが携帯電話でもよい。ゲームコンソール又はパーソナルコンピュータは、携帯電話に関連する一つ又は複数のディスプレイを特徴付ける一つ又は複数のパラメータを決定し、媒介現実コンテンツにおいて携帯電話と共有するのに適切な部分を決定するために一つ（又は複数）のパラメータを使用する。例えば、こうした一つ（又は複数）のパラメータは解像度やアスペクト比、色表現に関するパラメータ、携帯電話の一つ又は複数のディスプレイのディスプレイタイプを含むことができる。

本発明の実施形態の技術的効果は、デバイス間で媒介現実コンテンツを共有する、改善された、より効果的な方法を提供することである。
［定義］

本願では以下の定義を採用する。

「視野」とは、ある時点においてユーザに見える観察可能な世界の範囲のことである。

「仮想空間」とは完全人工環境又は半人工環境のことであり、三次元であってもよい。

「仮想シーン」とは、仮想空間内の特定の視点からみえる仮想空間の表現のことである。

「現実空間」とは現実環境のことであり、三次元であってもよい。

「現実シーン」とは、現実空間内の特定の視点からみえる実空間の表現のことである。

本願において「媒介現実」とは、コンピュータがユーザに少なくとも部分的に表示する完全人工環境又は半人工環境（仮想空間）を仮想シーンとしてユーザが視覚的に体験することである。仮想シーンは、仮想空間内の視点及び視野によって決定される。仮想シーンの表示は、それをユーザに見える形態で提供することを意味する。

「媒介現実コンテンツ」とは、仮想シーンとして完全人工環境又は半人工環境（仮想空間）をユーザに視覚的に体験させることができるコンテンツのことである。媒介現実コンテンツには、ビデオゲーム等のインタラクティブコンテンツや動きビデオ等の非インタラクティブコンテンツも含まれうる。

本願における「拡張現実」は媒介現実の一形態を言及する。拡張現実では、半人工環境（仮想空間）であって、装置がユーザに表示する一つ又は複数の視覚要素で追加された物理的現実世界環境（現実空間）の現実シーンを含む半人工環境を仮想シーンとしてユーザが視覚的に体験する。

「拡張現実コンテンツ」とは媒介現実コンテンツの一形態のことであり、仮想シーンとして半人工環境（仮想空間）をユーザに視覚的に体験させることができる。拡張現実コンテンツには、ビデオゲーム等のインタラクティブコンテンツや動きビデオ等の非インタラクティブコンテンツも含まれうる。

本願における「仮想現実」は媒介現実の一形態を言及する。仮想現実では、装置が表示する完全人工環境（仮想空間）を仮想シーンとしてユーザが視覚的に体験する。

「仮想現実コンテンツ」とは媒介現実コンテンツの一形態のことであり、仮想シーンとして完全人工環境（仮想空間）をユーザに視覚的に体験させることができる。仮想現実コンテンツには、ビデオゲーム等のインタラクティブコンテンツや動きビデオ等の非インタラクティブコンテンツも含まれうる。

媒介現実や拡張現実、仮想現実に適用される「視点媒介（perspective-mediated）」は、ユーザの動作が仮想空間内の視点を決定し、その視点が仮想シーンを変えることを意味する。

媒介現実や拡張現実、仮想現実に適用される「一人称視点媒介（first person perspective-mediated）」は、ユーザの現実の視点が仮想空間内の視点を決定する追加制約を持つ視点媒介を意味する。

媒介現実や拡張現実、仮想現実に適用される「インタラクティブ媒介（user interactive-mediated）は、仮想空間内で生じたことがユーザの動作によって少なくとも部分的に決定されることを意味する。

「表示（displaying）」は、ユーザによって視覚的に知覚される形態を提供することを意味する。

詳細説明

図１Ａから１Ｃ、２Ａから２Ｃは媒介現実の実施例を示す。媒介現実は拡張現実又は仮想現実でもよい。

図１Ａ、１Ｂ、１Ｃは同一の仮想物体２１を含む同一の仮想空間２０を示しているが、各図はそれぞれ異なる視点２４を示している。視点２４の位置及び向きは独立して変化しうる。図１Ａから図１Ｂで視点２４の位置は同じで向きが変化している。図１Ｂから図１Ｃで視点２４の位置と向きが変化している。

図２Ａ、２Ｂ、２Ｃは、図１Ａ、１Ｂ、１Ｃのそれぞれ異なる視点２４から見える仮想シーン２２を示す。仮想シーン２２は、仮想空間２０内の視点２４及び視野２６によって決定される。仮想シーン２２は、ユーザに対して少なくとも部分的に表示される。

ここで示す仮想シーン２２は、媒介現実シーンや仮想現実シーン、拡張現実シーンでもよい。仮想現実シーンは完全人工仮想空間２０を見せる。拡張現実シーンは半人工半現実空間２０を見せる。

媒介現実や拡張現実、仮想現実はインタラクティブ媒介（user interactive-mediated）でもよい。この場合、ユーザの動作は、仮想空間２０内で起きることを少なくとも部分的に決定する。これにより、仮想空間２０内の視覚要素２８のような仮想物体２１とのインタラクションが可能となる。

媒介現実や拡張現実、仮想現実は視点媒介（perspective-mediated）でもよい。この場合、ユーザの動作は、仮想空間２０内における視点２４を決定し、その視点２４によって仮想シーン２２が変わる。例えば、図１Ａ、１Ｂ、１Ｃに示されるように、仮想空間２０内における視点２４の位置２３が変更されてもよく、仮想空間２０内における視点２４の方向又は向き２５が変更されてもよい。また、この両方が同時に変更されてもよい。仮想空間２０が三次元である場合、視点２４の位置２３の自由度は、例えば上下、前後、左右の３であり、仮想空間２０内の視点２４の方向２５の自由度は、例えばロール、ピッチ、ヨーの３である。視点２４は、位置２３、方向２５の両方又は片方で連続可変でもよく、ユーザ動作が視点２４の位置、方向の両方又は片方を連続的に変える。これとは別に、視点２４には量子化された離散位置２３、量子化された離散方向２５の全て又は一部があってもよく、ユーザ動作が、視点２４に関する許容位置２３，許容方向２５の全て又は一部の間を離散的に移ることによって切り換える。

図３Ａは、現実物体１１を含み、図１Ａの仮想空間２０に一部対応する現実空間１０を示す。この実施例では、現実空間１０における現実物体１１はそれぞれ仮想空間２０において対応する仮想物体２１を持つ。一方、仮想空間２０における仮想物体２１の中には現実空間１０において対応する現実物体１１を持たないものもある。この実施例において、仮想物体２１の一つであるコンピュータ生成視覚要素２８とは、現実空間１０において対応する現実物体１１を持たない人工的な仮想物体２１である。

現実空間１０と仮想空間２０との間には線形写像が存在し、現実空間１０における各現実物体１１と対応する仮想物体２１との間にも同一の線形写像が存在する。したがって、現実空間１０における現実物体１１同士の相対関係は、仮想空間２０において対応する仮想物体２１の間の相対関係と同一である。

図３Ｂは、図１Ｂの仮想空間２０に一部対応する現実空間１０を示す。現実空間１０は現実物体１１を含むが人工仮想物体は含まない。現実シーンは、図１Ａの仮想空間２０における視点２４に対応する視点から見える。現実シーン１２の内容は、それに対応する視点２４及び視野２６によって決定される。

図２Ａは、図３Ｂに示された現実シーン１２に関する拡張現実版の例である。仮想シーン２２は、装置によってユーザに表示された一つ又は複数の視覚要素２８が追加された、現実空間１０の現実シーン１２を含む。視覚要素２８は、コンピュータ生成視覚要素でもよい。シースルー構成では、仮想シーン２２は、一つ（又は複数）の追加視覚要素２８の表示を通して見える実際の現実シーン１２を含む。シービデオ構成では、仮想シーン２２は、表示された現実シーン１２及び表示された一つ（又は複数）の追加視覚要素２８を含む。表示現実シーン１２は単一視点２４からの像に基づいていてもよく、同一時点における別々の視点２４からの複数の像に基づいていてもよい。複数の像は、単一視点からの像を生成するために処理される。

図４Ａは、チップ又はチップセットの形態による装置４を示す。図示された装置４は、少なくとも一つのプロセッサ４０と少なくとも一つのメモリ４６を備える。プロセッサ４０は中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）の全て又は一部でもよく、それらを備えていてもよい。プロセッサ４０は、メモリ４６から読み出し、かつメモリ２４へ書き込むように構成される。プロセッサ４０は出力インタフェースと入力インタフェースを備えてもよい。データおよび／または命令は、プロセッサ４０によって出力インタフェースを介して出力され、入力インタフェースを介してプロセッサ４０に入力される。

メモリ４６はコンピュータプログラム１４８を保存する。コンピュータプログラム１４８は、プロセッサ４０にロードされて装置４／３０の動作を制御するコンピュータプログラム命令（コンピュータプログラムコード）４８を含む。コンピュータプログラム１４８のコンピュータプログラム命令４８は、図６Ａ、６Ｂ、８に示された方法を装置４／３０が実行できるようにするロジック及びルーチンを提供する。プロセッサ４０は、メモリ４６を読み取ることによりコンピュータプログラム４８をロードして実行することができる。

コンピュータプログラム１４８は、任意の適切な配信機構を介して装置４／３０に提供されてもよい。配信機構は、例えば、非一時的コンピュータ可読記憶媒体やコンピュータプログラム製品、メモリデバイス、コンパクトディスク・リードオンリーメモリ（ＣＤ−ＲＯＭ：compact disc read-only memory）又はデジタル多用途ディスク（ＤＶＤ：digital versatile disc）等の記憶媒体、あるいはコンピュータプログラム１４８を有形に具現した製造品であってもよい。配信機構はコンピュータプログラム１４８を確実に伝達するように構成される信号でもよい。信号は、例えば、（無線周波数の通信等）無線通信を介して、または、一以上のプロトコルに準拠した有線回線を介して送信される。装置４／３０は、コンピューターデータ信号としてコンピュータプログラム１４８を送信してもよい。

メモリ４６は単一要素又は回路として示されているが、

一つ又は複数の別々の要素又は回路として実装されてもよく、その一部又は全部が組込み型でも着脱可能型でもよい。あるいは又は加えて、メモリは永久／半永久／ダイナミック／キャッシュのストレージを提供してもよい。

プロセッサ４０は単一要素又は回路として示されているが、一つ又は複数の別々の要素又は回路のような複数のプロセッサとして実装されてもよい。こうした要素の一部または全部は組込み型でも着脱可能型でもよい。一つ（又は複数）のプロセッサ４０はシングルコアでもマルチコアでもよい。

図４Ｂは、媒介現実、拡張現実、仮想現実の全て又は一部を可能にするように動作できる装置３０の概略を示す。

実施形態によっては、装置３０が頭部装着型視覚装置のような単一の電子デバイスでもよい。こうした頭部装着型視覚装置の実施例は図５に示されている。

他の実施形態では、装置３０は複数のデバイスに分配することができ、頭部装着型視覚装置、ゲームコンソール／パーソナルコンピュータ、一つ又は複数の携帯型コントローラの全て又は一部の組合せから形成されてもよい。ゲームコンソール又はパーソナルコンピュータによって装置３０の少なくとも一部が形成される場合、プロセッサ４０及びメモリ４６（あるいは、複数のプロセッサ、複数のメモリの全て又は一部が与えられる場合、その全て又は一部の中から一つ又は複数のもの）は、ゲームコンソール又はパーソナルコンピュータに具備されてもよい。

図示された実施例では、装置３０は図４Ａに示された装置４、一つ又は複数のディスプレイ３２、表示光学系３３、一つ又は複数の送受信機４２、ユーザ入力回路４４を備える。

一つ又は複数のディスプレイ３２は、ユーザの視点から見える形態でそのユーザに仮想シーン２２の少なくとも一部を表示する。こうした仮想シーンは、仮想現実コンテンツや拡張現実コンテンツのような媒介現実コンテンツの一部を形成してもよい。一つ（又は複数）のディスプレイ３２は、仮想シーン２２の少なくとも一部をユーザに表示する光を出す一つ又は複数のビジュアルディスプレイでもよい。ビジュアルディスプレイの例には、液晶ディスプレイや有機発光ダイオードディスプレイ、発光型、反射型、透過型、半透過型の各ディスプレイ、網膜直接投影型ディスプレイ、ニアアイディスプレイ等が含まれる。この実施例では一つ（又は複数）のディスプレイ３２がプロセッサ４０によって制御されているが、全ての実施例がそうである必要はない。

装置３０が頭部装着型視覚装置を備える場合、ユーザが頭部装着型視覚装置を装着するときに、一つ（又は複数）のディスプレイ３２がユーザの両目の近くに配置され、表示光学系３３がユーザの両目と一つ（又は複数）のディスプレイ３２との間に配置されてもよい。

表示光学系３３は、一つ（又は複数）のディスプレイ３２を連動して、一つ（又は複数）のディスプレイ３２によって表示される仮想物体がユーザの両目と一つ（又は複数）のディスプレイ３２自体との間の距離とは異なる距離で配置されているとユーザに知覚させるように構成される。

表示光学系３３は、ユーザの片目ずつ用の魚眼レンズでもよく、それを備えていてもよい。各魚眼レンズは、広範なパノラマイメージ又は半球状イメージを生成するために視覚的歪みを生じさせるように構成されてもよい。

ユーザが頭部装着型視覚装置を装着すると、表示光学系及び一つ（又は複数）のディスプレイ３２は、一つ（又は複数）のディスプレイ３２の第１の表示部分がユーザの第１の目に入りかつ第２の目には入らない像を形成し、一つ（又は複数）のディスプレイ３２の第２の表示部分がユーザの第２の目に入りかつ第１の目には入らない像を形成するようにする。

実施形態によっては、ユーザの両目に対して単一ディスプレイ３２が与えられる。こうした実施形態では、ユーザが頭部装着型視覚装置を装着すると、ディスプレイ３２の特定部分又は半分がユーザの第１の目に見え（かつユーザの第２の目には見えなく）、ディスプレイ３２の他の部分又は残りの半分がユーザの第２の目に見える（かつユーザの第１の目には見えない）。

他の実施形態では、第１の表示部分が第１のディスプレイであり、第２の表示部分がそれとは異なる第２のディスプレイである。こうした実施形態では、ユーザが頭部装着型視覚装置を装着すると、第１のディスプレイ３２がユーザの第１の目に見え（かつユーザの第２の目には見えなく）、かつ、ユーザが頭部装着型視覚装置を装着すると、第２のディスプレイ３２がユーザの第２の目に見える（かつユーザの第１の目には見えない）。

プロセッサ４０は、第１の表示部分にコンテンツを表示することであって、第２の表示部分に表示されるコンテンツに対する空間的相殺となるコンテンツを表示することによって、ユーザに立体視効果を知覚させてもよい。一つ（又は複数）のディスプレイ３２に表示される仮想物体の（例えば、表示光学系３３を用いずに見えていた場合の）幾何学的形状は、ユーザが頭部装着型視覚装置を装着して表示光学系３３を通じて仮想物体が見えるときに知覚される仮想物体の幾何学的形状とは異なっていてもよい。これは、表示光学系３３の光学特性によるためである。

ユーザが頭を動かすと頭部装着型視覚装置も動く。頭部装着型視覚装置は拡張現実用シースルー構成であって、ライブ現実シーン１２を表示可能にしつつ、一つ又は複数の可視要素２８も一つ（又は複数）のディスプレイ３２によってユーザに表示され、組み合わせて仮想シーン２２を提供するシースルー構成でもよい。この場合、バイザーがあれば、ライブ現実シーン１２がバイザーを通して見えるように透明又は半透明である。

頭部装着型視覚装置は拡張現実用シービデオ構成として動作してもよい。この拡張現実では、ユーザに見せる一つ（又は複数）のディスプレイ３２によって現実シーン１２のライブ又は録画を表示可能にしつつ、一つ又は複数の可視要素２８もユーザに見せる一つ（又は複数）のディスプレイ３２によって同時に表示される。表示された現実シーン１２と表示された一つ又は複数の可視要素２８の組合せは、ユーザに仮想シーン２２を表示する。この場合、バイザーは不透明で一つ（又は複数）のディスプレイ３２として使用されてもよい。

一つ又は複数の送受信機４２は、プロセッサ４０から入力を受け取り、プロセッサ４０に出力を与えるように構成される。例えば、一つ又は複数の送受信機４２はプロセッサ４０からデータを受け取ってそれを送信し、プロセッサ４０に受信データを与えてもよい。

一つ又は複数の受信機４２には、一つ又は複数の無線送受信機、一つ又は複数の有線送受信機の全て又は一部が含まれうる。こうした無線受信機には、例えば、一つ又は複数の長距離用セルラー方式送受信機又は短距離用無線送受信機といった形態で無線周波数受信機が含まれうる（これらの受信機は、例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）の無線ＬＡＮネットワークプロトコル８０２．１１や、Bluetooth（登録商標）プロトコルに準拠して動作してもよい）。こうした有線送受信機には、例えば、ユニバーサルシリアルバス（ＵＳＢ）送受信機が含まれうる。

図示された実施例において、ユーザ入力回路４４は、一つ又は複数の触覚センサ４３、一つ又は複数の視点センサ４５、現実空間１０を撮影する一つ又は複数のイメージセンサ４７、一つ又は複数の深度センサ４９を備えてもよい。

一つ又は複数の触覚センサ４３には、例えば一つ又は複数のジョイスティック、一つ又は複数のキー又はボタンが含まれうる。一つ（又は複数）のジョイスティック、一つ（又は複数）のキー／ボタンの全て又は一部は、物理的な携帯セルラーの一部を形成してもよい。装置３０が頭部装着型である場合、一つ又は複数の触覚センサ４３の少なくとも一部は頭部装着型装置に配置されてもよい。

装置３０は、媒介現実、拡張現実、仮想現実の全て又は一部に対してインタラクティブ媒介を可能にしてもよい。ユーザ入力回路４４は、一つ（又は複数）の触覚センサ４３を介するなどしてユーザ入力を用いたユーザ動作を検出する。こうしたユーザ動作は、プロセッサ４０が仮想空間２０内で生じたことを決定するために用いられる。これにより、仮想空間２０内の視覚要素２８とのインタラクションが可能となる。

装置３０は、媒介現実、拡張現実、仮想現実の全て又は一部に対して視点媒介を可能にしてもよい。ユーザ入力回路４４はユーザ動作を検出する。こうしたユーザ動作は、プロセッサ４０が仮想空間２０内での視点２４を決定するために用いられ、その視点が仮想シーン２２を変える。視点２４は、位置、方向の両方又は片方で連続可変でもよく、ユーザ動作が視点２４の位置、方向の両方又は片方を変える。これとは別に、視点２４には量子化された離散位置、量子化された離散方向の両方又は片方があってもよく、ユーザ動作が、視点２４に関する次の位置、方向２５の両方又は片方に移ることによって切り換える。

装置３０は、媒介現実や拡張現実、仮想現実に対する一人称視点を可能にしてもよい。ユーザ入力回路４４は、ユーザ視点センサ４５を用いてユーザの現実の視点１４を検出する。ユーザの現実視点は、プロセッサ４０が仮想空間２０内での視点２４を決定するために用いられ、その視点が仮想シーン２２を変える。図３Ａに戻ると、ユーザ１８には実際の視点（現実視点）１４がある。現実視点は、ユーザ１８によって変化する場合がある。例えば、現実視点１４の実際の位置（現実位置）１３はユーザ１８の位置であり、ユーザ１８の物理的位置１３を変えることで変化しうる。例えば、現実視点１４の実際の方向（現実方向）１５はユーザ１８が見ている方向であり、ユーザ１８の現実方向を変えることで変化しうる。現実方向１５は、例えば、ユーザ１８が頭の向きや視点を変えたり、視線方向を変えたり、あるいはその全てを変えたりすることによって変えることができる。一人称視点媒介を可能にするために、頭部装着型装置３０が使用されてもよい。

装置３０は入力回路４４の一部として、現実視点の変化を決定する視点センサ４５を備えてもよい。

例えば、ユーザ１８の新しい物理的位置１３及び現実視点１４を決定するために、ＧＰＳ等の測位技術、複数受信機への送信と複数送信機からの受信の全て又は一部による三角測量（三辺測量）、加速度検出、及びそれらの統合が用いられてもよい。

また例えば、ユーザの頭の向きや視点の変化、及び結果として生じる現実視点１４の現実方向１５での変化を決定するために、加速度計や電子ジャイロスコープ、電子コンパスが使用されてもよい。

さらに例えば、ユーザの片目又は両目の動きを追跡し、それによってユーザの視線方向及びその結果として生じる現実視点１４の現実方向１５での変化を決定するために、コンピュータビジョン等に基づく瞳孔追跡技術が用いられてもよい。

装置３０は入力回路４４の一部として、現実空間１０を撮像するイメージセンサ４７を備えてもよい。

イメージセンサ４７の一例は、カメラとして動作するように構成されたデジタルイメージセンサである。こうしたカメラは静止画や場合により動画、又はその両方を記録するように動作し得るが、全ての実施形態でそうである必要はない。現実空間１０が様々な視点から見えるように、カメラが立体配置や他の空間分布配置で構成されてもよい。これは、三次元画像の生成、および／または、例えば視差効果を介した、奥行きを設定するための処理を可能する。

必ずしも全てではないが実施形態によっては、入力回路４４が深度センサ４９を備える。深度センサ４９は、トランスミッタおよびレシーバを備えてもよい。トランスミッタは（例えば、超音波または赤外光など人間が検出できない信号などの）信号を送信し、レシーバは反射された信号を受信する。単一のトランスミッタおよび単一のレシーバを用い、送信から受信までの伝搬時間を測定することによっていくらかの奥行き情報を得ることができる。より多くのトランスミッタおよび／またはより多くのレシーバを用いることによってより良好な分解能（空間的ダイバーシチ）が達成できる。一例において、トランスミッタは、光、好ましくは、赤外光など不可視光を使い、空間依存的パターンで、現実空間１０を「描く」ように構成される。レシーバによる特定のパターンの検出は、現実空間１０が空間的に分解されるようにする。現実空間１０が空間的に分解された部分までの距離は、伝搬時間、（レシーバがトランスミッタに対し立体的な位置にある場合）立体視法の全て又は一部で測定できる。

装置３０は、例えば図６Ａに示された方法６０又は同様の方法を用いて、媒介現実、拡張現実、仮想現実の全て又は一部を可能にしてもよい。プロセッサ４０は、仮想空間２０のモデル５０を保存し保持する。モデルはプロセッサ４０に提供されてもよく、プロセッサ４０が決定してもよい。例えば、仮想空間の深度マップの重ね合わせを別々の視点から作成するために入力回路４４のセンサが使用されてもよく、それによって三次元モデルが生成されてもよい。

ブロック６２で、仮想空間２０のモデルが変わったかどうかが決定される。仮想空間２０のモデルが変わった場合、本方法はブロック６６に移る。仮想空間２０のモデルが変わらなかった場合、本方法はブロック６４に移る。

ブロック６４で、仮想空間２０における視点２４が変わったかどうかが決定される。視点２４が変わった場合、本方法はブロック６６に移る。視点２４が変わらなかった場合、本方法はブロック６２に戻る。

ブロック６６で、三次元仮想空間２０の位置２３からの二次元投影が、現在視点２４によって規定される方向２５に取られる。次に、この投影は視野２６によって限定され、仮想シーン２２を生成する。次に、本方法はブロック６２に戻る。

装置３０が拡張現実を可能にする場合、仮想空間２０は現実空間１０からの物体１１に加え、現実空間１０には存在しない可視要素２８も含む。こうした可視要素２８の組合せは、人工仮想空間として参照されてもよい。図５Ｂは、拡張現実のための仮想空間モデルを更新する方法７０を示す。

ブロック７２で、現実空間１０が変わったかどうかが決定される。現実空間１０が変わった場合、本方法はブロック７６に移る。現実空間１０が変わらなかった場合、本方法はブロック７４に移る。現実空間１０における変化の検出は画素レベルの差異を利用して実現されてもよく、物体の動きに合わせてそれを追跡するコンピュータビジョンを利用して物体レベルで実現されてもよい。

ブロック７４で、人工仮想空間が変わったかどうかが決定される。人工仮想空間が変わった場合、本方法はブロック７６に移る。人工仮想空間が変わらなかった場合、本方法はブロック７２に戻る。人工仮想空間はコントローラ４２によって生成されるため、視覚要素２８に対する変化は容易に検出される。

ブロック７６で、仮想空間２０のモデルが更新される。

必ずしも全てではないが実施形態によっては、入力回路４４が一つ又は複数のイメージセンサ４７及び深度センサ４９に加えて、又はそれらの代替として通信回路４１を備えてもよい。こうした通信回路４１は、現実空間１０における一つ又は複数のリモートイメージセンサ４７、現実空間１０におけるリモート深度センサ４９の全て又は一部と通信してもよい。通信回路４１は、一つ（又は複数）の送受信機４２の一部を形成してもよい。

図４Ｂに戻って参照すると、装置３０は、媒介現実、拡張現実、仮想現実の全て又は一部に対してインタラクティブ媒介を可能にしてもよい。ユーザ入力回路４４はユーザ入力からユーザ動作を検出する。こうしたユーザ動作は、プロセッサ４０が仮想空間２０内で生じたことを決定するために用いられる。これにより、仮想空間２０内の視覚要素２８とのインタラクションが可能となる。

検出されたユーザ動作は例えば、現実空間１０で行われたジェスチャでもよい。ジェスチャは様々な方法で検出できる。例えば、ユーザ１８の体の一部の動きを検出するために深度センサ４９が使用されてもよく、ユーザ１８の体の一部の動きを検出するためにイメージセンサ４７が使用されてもよく、手足の動きを検出するためにユーザ１８の手足に装着された位置／動きセンサが使用されてもよい。あるいは、これら全てが使用されてもよい。

物体追跡は、物体又はユーザが何時動くかを決定するために使用されてもよい。例えば、物体を大きなマクロスケールで追跡することで、その物体と共に移動する基準枠を生成することができる。この基準枠は、物体に対する時間差分を用いて物体の形状の時間進展的な変化を追跡するために使うことができる。これは、ジェスチャ、手の動き、顔面の動きなど小規模な人間の動きを検出するために用いることができる。これらは、ユーザに関連する、シーン非依存性のユーザ（のみ）の動きである。

装置３０は、ユーザの体の一つ又は複数の関節等、ユーザの身体に関連する複数の物体、複数のポイントの全て又は一部を追跡してもよい。実施例によっては、装置３０はユーザの身体の全身骨格的な追跡を行ってもよい。

ジェスチャの認識等において、人物の身体に関連する一つ又は複数の物体、複数のポイントの全て又は一部の追跡が装置３０によって使用されてよい。

図７は、一つ又は複数のデバイス３０４，３０５，３０６，３０８と通信する装置３０の概略を示す。例として図７では、装置３０は、ゲームコンソール３０１の形態である第１のデバイス、頭部装着型視覚装置３０２の形態である第２のデバイス３０２、携帯セルラー３０３の形態である第３のデバイス３０３から成る。

この実施例において、装置３０のプロセッサ４０、メモリ４６、一つ（又は複数）の送受信機４２はゲームコンソール３０１に具備され、装置３０の一つ（又は複数）のディスプレイ３２、表示光学系３３は頭部装着型視覚装置３０２に具備され、装置３０の一つ又は複数の触覚センサ４３は携帯セルラー３０３に具備される。

図７は、横向きの第１の携帯電話３０４の形態である第４のデバイス、縦向きの第２の携帯電話３０４の形態である第５のデバイス、パーソナルコンピュータ３０６の形態である第６のデバイス、それに接続された頭部装着型視覚装置３０７、ラップトップコンピュータ３０８の形態である第８のデバイスを示す。ゲームコンソール３０１は、デバイス３０４，３０５，３０７，３０８の全て又は一部と有線接続されてもよく、一つ（又は複数）の送受信機４２を介して無線接続されてもよい。

本発明の実施形態に従う方法を、図８を参照しながら説明する。図８のブロック８０１で、ゲームコンソール３０１のプロセッサ４０は、頭部装着型視覚装置３０２の一つ（又は複数）のディスプレイ３２に媒介現実コンテンツ９０を表示させる。

図９は、頭部装着型視覚装置３０２の一つ（又は複数）のディスプレイ３２によって表示された（視覚的）媒介現実コンテンツ９０を見ているユーザ８２を示す。仮想物体を含む仮想シーンが表示されている。頭部装着型視覚装置３０２は、ユーザ８２が一人称視点媒介法（first person perspective-mediated manner）で媒介現実コンテンツ９０を見ることができるようにする。

これらの図に示された実施例は以降で説明されるが、こうした実施例における媒介現実コンテンツ９０は、ユーザが完全人工環境又完全仮想環境を体験できるようにする（視覚的）仮想現実コンテンツである。別の実施例において、媒介現実コンテンツ９０は、ユーザが半人工半現実環境又は半仮想半現実環境を体験できるようにする拡張現実コンテンツでもよい。

媒介現実コンテンツ９０は、ユーザ８２の周囲にユーザ８２の視野を超えて延在する。これは、如何なる場合においてもユーザ８２は表示された媒介現実コンテンツ９０の全体を同時に見ることはできないということを意味する。媒介現実コンテンツ９０は方位角面及び鉛直面の両方でユーザ８２の周囲３６０度に延在するが、見難さを避けるためにこのことは図９には示されていない。

媒介現実コンテンツ９０全体が同時に表示される必要はない。すなわち、ユーザ８２が頭や目、あるいは両方を動かすことによってユーザに見える媒介現実コンテンツ９０の角度範囲は、特定の時点において一つ（又は複数）のディスプレイ３２が表示する媒介現実コンテンツ９０の角度範囲より大きくてもよい。

ユーザ８２が媒介現実コンテンツ９０を体験すると、プロセッサ４０は、図６Ａに示された方法を通じて持続的にサイクルを繰り返す。拡張現実の場合は図６Ｂの方法が用いられる。

図８のブロック８０２で、ゲームコンソール３０１は、媒介現実コンテンツ９０の少なくとも一つの部分を共有する追加デバイスを識別する。この実施例において追加デバイスは、横向きの第１の携帯電話３０４である。

頭部装着型視覚装置３０２が媒介現実コンテンツ９０の表示を開始した後は、追加デバイスの識別が行われる必要はない。しかしこの識別は、頭部装着型視覚装置３０２が媒介現実コンテンツ９０の表示を開始する前に行われる可能性がある。

状況によっては、共有コンテンツを受け取るために追加デバイスがゲームコンソール３０１にリクエストを送ることもある。共有コンテンツは一つ（又は複数）の送受信機４２が受信し、プロセッサ４０が処理する。こうした状況において、コンテンツはゲームコンソール３０１から「プル」されていることになる。他の状況では、プロセッサ４０は、追加デバイスを識別するために、一つ（又は複数）の送受信機４２に近くのデバイス等をスキャンするよう制御してもよい。ゲームコンソール３０１の一つ（又は複数）の送受信機４２は、プロセッサ４０の制御の下で、追加デバイスとコンテンツを共有するリクエストを送信してもよい。

図８のブロック８０２で行われる追加デバイスの識別は、ゲームコンソール３０１が一つ（又は複数）の送受信機４２を介して接続済みであるデバイスの識別でもよい。例えば、通信リンクが確立済みであるが、図８のブロック８０２まで共有目的で追加デバイスが識別されていなくてもよい。あるいは、共有コンテンツを受け取るリクエストが受信されるまで、追加デバイスがゲームコンソール３０１と未接続であってもよい。こうした状況では、コンテンツはゲームコンソール３０１によって「プッシュ」されていることになる。

ブロック８０３で、ゲームコンソール３０１のプロセッサ４０は、追加デバイスに関連する一つ又は複数のディスプレイを特徴付ける一つ又は複数のパラメータを決定する。この実施例では、追加デバイスは単一ディスプレイを有する第１の携帯電話３０４である。第１の携帯電話３０４のディスプレイは、例えばディスプレイの解像度、ディスプレイのアスペクト比、ディスプレイの色表現に関するパラメータ、ディスプレイのディスプレイタイプの全て又は一部のようなパラメータによって特徴付けられてもよい。こうしたパラメータは前述のようなディスプレイの永久特性を特徴付けてもよく、あるいはディスプレイの現在向きのような一つ又は複数の一時特性を特徴付けてもよい。

例えば、追加デバイスのディスプレイ解像度を規定するパラメータは、ディスプレイの解像度が１２８０×７２０（ＨＤ）や１９２０×１０８０（フルＨＤ）、２５６０×１４４０（ＷＱＨＤ）、その他任意の解像度であることを示してもよい。ディスプレイのアスペクト比を規定するパラメータは、ディスプレイのアスペクト比が１６：９や４：３、その他任意のアスペクト比であることを示してもよい。色表現を規定するパラメータは、ディスプレイがカラーディスプレイであるか（電子インクディスプレイのような）白黒ディスプレイであるかを示してもよい。ディスプレイタイプを規定するパラメータは、ディスプレイが平面ディスプレイや曲面ディスプレイ、非立体ディスプレイ、立体ディスプレイ等であることを示してもよい。

一つ又は複数のパラメータは、第１の携帯電話３０４が有線又は無線でゲームコンソール３０１の一つ（又は複数）の送受信機４２に送信する信号で受信されてもよい。この実施例では、ゲームコンソール３０１のプロセッサ４０はパラメータから、第１の携帯電話３０４のディスプレイが１６：９のアスペクト比、１２８０×７２０の解像度を有し、カラーディスプレイかつ平面ディスプレイであり、現在横向きである（あるいは、第１の携帯電話３０４によって横向きのコンテンツが要求されている）ことを決定する。

図８のブロック８０４で、ゲームコンソール３０１のプロセッサ４０は、決定されたパラメータに基づいて、媒介現実コンテンツ９０において追加デバイスと共有する少なくとも一つの部分を決定する。

この実施例では、媒介現実コンテンツ９０はゲームコンソール３０１のプロセッサ４０によって、頭部装着型視覚装置３０２の一つ（又は複数）のディスプレイ３２が表示できるようにレンダリングされる。このレンダリングは、頭部装着型視覚装置３０２の一つ（又は複数）のディスプレイ３２の一つ（又は複数）の解像度に少なくとも部分的に依存してもよい。

頭部装着型視覚装置３０２の一つ（又は複数）のディスプレイ３２は任意の解像度でもよい。例として、この実施例では、一つ（又は複数）のディスプレイ３２が７６８０×２１６０の解像度を有する単一ディスプレイであると見なされる。ディスプレイ３２の第１の表示部分は３８４０×２１６０の解像度を有し、ユーザ８２の第１の目に見え（ユーザ８２の第２の目には見えなく）、ディスプレイ３２の第２の表示部分は３８４０×２１６０の解像度を有し、ユーザ８２の第２の目に見える（ユーザ８２の第１の目には見えない）。

立体視効果を得るために、ディスプレイ３２の第１の表示部分が表示する像は、ディスプレイ３２の第２の表示部分が表示する像に対して空間的に相殺されている。ディスプレイ３２の第１の表示部分が表示する情報又はコンテンツによっては、第２の表示部分によって表示されない。すなわち、一部の情報又はコンテンツはユーザの第１の目に見えてユーザの第２の目には見えなく、その逆もありうる。

ゲームコンソール３０１のプロセッサ４０は、第１の携帯電話３０４のディスプレイを特徴付けるパラメータに応じて、媒介現実コンテンツ９０において携帯電話３０４と共有される部分を識別するために、媒介現実コンテンツ９０を処理する。例えば、プロセッサ４０は、媒介現実コンテンツ９０において第１の携帯電話３０４の解像度と同じ解像度を持つ部分を識別してもよい。

媒介現実コンテンツにおいて追加デバイスと共有される部分の決定は、装置３０の実装に依存してもよい。実装によっては、プロセッサ４０が、追加デバイスに関連するディスプレイの解像度と同じ解像度である一つ（又は複数）のディスプレイ３２に表示される媒介現実コンテンツ９０の領域を画素単位で決定してもよい。媒介現実コンテンツ９０の選択部分は、ユーザ入力回路４４を介してユーザが与える入力に依存してもよい。

この実施例では、ユーザは携帯コントローラ３０３の触覚ユーザ入力センサ４３を介して入力を与え、こうした入力に基づいて媒介現実コンテンツ９０から部分又は領域を選択する。プロセッサ４０は、第１の携帯電話３０４とコンテンツを共有するために、表示部の一つに表示すべく与えられるコンテンツ又は情報のみを取得してもよい。この実施例では、立体視効果を得るために、ディスプレイ３２の第１の表示部に表示されるコンテンツの分だけがディスプレイ３２の第２の表示部分に複製される。したがって、選択決定されたコンテンツ部分を共有するために、与えられているコンテンツから情報又はコンテンツを取得することのみが必要であってもよい。

実装によっては、プロセッサ４０は、表示光学系３３の光学特性に基づいて（例えば、一つ又は複数の魚眼レンズの歪み効果に基づいて）媒介現実コンテンツ９０を処理してもよい。したがって、媒介現実コンテンツ９０は表示光学系３３を通じて見るのに適切である。

このような場合、媒介現実コンテンツ９０の決定部分は、前述の処理が媒介現実コンテンツ９０に対して行われる前にプロセッサ４０によって取得されてもよい。あるいは、媒介現実コンテンツ９０の選択部分であって、表示光学系３３の光学的影響を受けて一つ（又は複数）のディスプレイ３２に出力される媒介現実コンテンツ９０の選択部分に対して、媒介現実コンテンツ９０の選択部分が第１の携帯電話３０４と共有される前に後処理が行われてもよい。こうした処理を行わないと、例えば、第１の携帯電話３０４で表示光学系３３の助けを得ることができないとすれば、第１の携帯電話３０４のディスプレイ３２が表示する仮想物体は、歪んで見える可能性がある。

図８のブロック８０５で、ゲームコンソール３０１のプロセッサ４０は、媒介現実コンテンツ９０の当該部分を追加デバイスと共有する。例えば、ゲームコンソール３０１のプロセッサ４０は、媒介現実コンテンツ９０の当該部分を直接又はインターネットのような一つ又は複数のネットワーク経由で第１の携帯電話３０４に送信するように一つ（又は複数）の送受信機４２を制御してもよい。

媒介現実コンテンツ９０において追加デバイス又は第１の携帯電話３０４と共有される部分は、ゲームコンソール３０１が頭部装着型視覚装置３０２の表示用にレンダリングする媒介現実コンテンツ９０から得られる。

媒介現実コンテンツ９０の共有部分は、静止画像でもよい。あるいは、インタラクティブビデオゲーム又は非インタラクティブビデオゲームから取り出された動画ビデオでもよい。こうした例では、ゲームコンソール３０１は、所定の時間に亘って媒介現実コンテンツ９０の当該部分を第１の携帯電話３０４に提供し続けてもよい。

実装によっては、頭部装着型視覚装置３０２を介して媒介現実コンテンツ９０を見ているユーザ８２に、媒介現実コンテンツ９０の共有部分を区画する標示１０１が提供されてもよい。こうした標示１０１は、共有前、共有中、共有後の全て又は一部において提供されてもよい。そうした標示は図１０Ａに示される。図１０Ａにおいて、標示１０１は、媒介現実コンテンツ９０において、追加デバイスに関連するディスプレイの解像度に基づいて共有されている、又は共有される／共有された部分に対応する領域を有する。この実施例では、図１０Ａに示す標示１０１は、媒介現実コンテンツ９０において、第１の携帯電話３０４のディスプレイ解像度に基づいて共有されている、又は共有される／共有された部分に対応している。

媒介現実コンテンツ９０の一部を第１の携帯電話３０４と共有することに関連した前述の説明と同様にして、ゲームコンソール３０１が第２の携帯電話３０５、パーソナルコンピュータ３０６、ラップトップコンピュータ３０８の全て又は一部と媒介現実コンテンツ９０の一部を共有可能であることも、本技術分野の当業者であれば理解されよう。

図１０Ｂは、媒介現実コンテンツ９０の一部がラップトップコンピュータ３０８と共有されている実施例に関する。この実施例では、ラップトップコンピュータのディスプレイ解像度は１９２０×１０８０である。媒介現実コンテンツ９０において共有されている部分に関する標示１０２の大きさは、ラップトップコンピュータ３０８のディスプレイ解像度に依存するため、図１０Ｂに示す標示１０２は図１０Ａに示す標示１０１よりも大きい。

図１０Ｃは、ゲームコンソール３０１が媒介現実コンテンツ９０の一部を第２の携帯電話３０５と共有している実施例を示す。第２の携帯電話３０５は縦向きであるため、媒介現実コンテンツ９０において第２の携帯電話３０５と共有されている部分は、図１０Ａに示す標示１０１とは向きが異なる。ただし、この実施例では第１の携帯電話３０４及び第２の携帯電話３０５が同じ解像度を持つため、図１０Ｃに示す標示１０３の大きさと図１０Ａに示す標示１０１の大きさは同じである。

図７に示すパーソナルコンピュータ３０６は頭部装着型視覚装置３０７に関連する（この場合、電気的に接続される）。頭部装着型視覚装置３０７は、ユーザ又は装着者が一人称視点媒介法で媒介現実コンテンツを見ることができるようにする。ゲームコンソール３０１は、例えば、媒介現実コンテンツ９０全体をパーソナルコンピュータ３０６と共有し、頭部装着型視覚装置３０２と同様にして頭部装着型視覚装置３０７が媒介現実コンテンツ９０を表示してもよい。ただし、パーソナルコンピュータ３０６に接続された頭部装着型視覚装置３０７に表示される共有媒介現実コンテンツ９０はゲームコンソール３０１によってレンダリングされる。

図１１Ａには、ゲームコンソール３０１及び頭部装着型視覚装置３０２のユーザ８２がガイドできる十字線１０４が示されている。この十字線１０４は、媒介現実コンテンツ９０が共有されるときにユーザ８２がもう一人のユーザの開始視点を選ぶために、例えば一つ又は複数の触覚センサ４３を使用してガイドされてもよい。これは、媒介現実コンテンツ９０において特定の関心物体を選択することで行うことができる。図１１Ａの実施形態では、媒介現実コンテンツ９０全体が共有されてもよい。

例えば媒介現実コンテンツ９０がパーソナルコンピュータ３０６と共有され、頭部装着型視覚装置３０７によって表示される場合、頭部装着型視覚装置３０７のユーザが最初に持つ媒介現実コンテンツ９０に対する視点は、頭部装着型視覚装置３０２のユーザ８２が選んだ視点である。それ故、頭部装着型視覚装置３０７のユーザは、媒介現実コンテンツ９０においてユーザ８２が選んだ関心物体を最初に見ることができる。

実施形態によっては、ユーザが入力を与えることも可能である。これは例えば、一つ又は複数の触覚センサ４３を介して、媒介現実コンテンツ９０の一部が共有のために選択される前に、プロセッサ４０に媒介現実コンテンツ９０をズームさせることができる。例として、ユーザ８２は、例えば一つ又は複数の触覚センサ４３を使用して、ズームする媒介現実コンテンツ９０の区画を選択してもよい。これにより、媒介現実コンテンツ９０はユーザ８２に対して拡大される。次いで、媒介現実コンテンツ９０の拡大部分が共有のために選択されてもよい。追加デバイスと共有するために媒介現実コンテンツ９０の拡大部分を選択した結果、共有部分の解像度が追加デバイスに関連するディスプレイの解像度よりも低くなってもよい。

図１１Ｂには、追加デバイスに関連するディスプレイの解像度を、媒介現実コンテンツ９０の表示に使用されている一つ（又は複数）のディスプレイ３２に対して相対的に示す破線ボックス１０３がある実施例が描かれている。この実施例では、ユーザは参照番号１０４を付された領域をズームした。プロセッサ４０は、追加デバイスに関連するディスプレイに拡大領域がどのように現れるかをユーザ８２に提示するために、一つ（又は複数）のディスプレイ３２に当該領域１０４の拡大版を表示させる。

プロセッサ４０は、媒介現実コンテンツ９０の当該部分を追加デバイスのディスプレイが別の方法で表示するときにおける当該部分の見え方を提示してもよい。例として、追加デバイスに関連するディスプレイが白黒ディスプレイであった場合、媒介現実コンテンツ９０において共有される、又は共有されている／共有された部分は、ゲームコンソール３０１のプロセッサ４０による制御の下、頭部装着型視覚装置３０２の一つ（又は複数）のディスプレイ３２によってユーザに対して白黒で表示されてもよい。

本発明の実施形態によっては、装置３０が複数の相異なるデバイスと媒介現実コンテンツ９０におけるそれぞれ別々の部分を同時に共有することも可能である。共有されている別々の部分は、一つ（又は複数）のディスプレイ３２によって区画されてもよい。図１２Ａは、媒介現実コンテンツ９０における複数の別々の部分がそれぞれ別々のデバイスと同時に共有されている実施例を示す。参照番号１０６を付された標示子は、媒介現実コンテンツ９０において、「ジム（Jim）」という名のユーザに関連するデバイスと共有されている部分を示す。参照番号107を付された標示子は、媒介現実コンテンツ９０において、「アシュレー（Ashley）」という名のユーザに関連するデバイスと共有されている部分を示す。参照番号108を付された標示子は、媒介現実コンテンツ９０において、「マシュー（Matthew）」という名のユーザに関連するデバイスと共有されている部分を示す。

図１２Ａから分かるように、図１２Ａに示す実施例では、共有されているコンテンツ間で一部重なりがある。

例によっては、媒介現実コンテンツ９０における複数の相異なる部分が、同一ユーザに関連する複数の相異なるデバイスとそれぞれ共有されてもよい。これは図１２Ｂに示されている。ここで、標示子１０８がユーザ「マシュー」に関連する携帯電話と共有されているコンテンツを示し、標示子１０９が同じユーザ「マシュー」に関連するスマートウォッチと共有されているコンテンツ部分を示す。

図６Ａ、６Ｂ、８に示すブロックは、方法のステップ、コンピュータプログラム１４８のコード区分の全て又は一部を表わしてもよい。ブロックを特定の順序で図示することは、必須順序又は推奨順序の存在を必ずしも示唆していない。こうしたブロックの順序や配置構成は変更することができる。また、一部のブロックを省略することも可能である。

「コンピュータ可読記憶媒体」や「コンピュータプログラム製品」や「コンピュータ」、「プロセッサ」等の用語は、様々なアーキテクチャを有するコンピュータだけでなく、特殊回路もカバーものと理解すべきである。こうしたコンピュータのアーキテクチャには、シングル／マルチプロセッサ・アーキテクチャや、直列（ノイマン型）／並列アーキテクチャ等がある。特殊回路にはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）や特定用途向け集積回路（ＡＳＩＣ）、シグナルプロセッシングデバイス、その他の処理回路等がある。コンピュータプログラムや命令，コード等の用語は、プログラマブルプロセッサやファームウェア用のソフトウェアもカバーするものと理解すべきである。こうしたものとして例えば、プロセッサに対する命令や、固定機能デバイス，ゲートアレイ，プログラマブルロジックデバイス等の構成設定といったハードウェアデバイスのプログラマブルコンテンツ等がある。

なお本願において使用される「回路（circuitry）」との語句は、次の全てを表す：
（ａ）ハードウェアのみの回路実装（アナログおよび／またはデジタル回路のみの実装等）；
（ｂ）回路とソフトウェア（および／またはファームウェア）の組合せ、例えば（適用可能である場合）：
（ｉ）一つまたは複数のプロセッサ、又は
（ｉｉ）一つまたは複数のプロセッサ／ソフトウェア（デジタルシグナルプロセッサを含む），ソフトウェア，一つまたは複数のメモリの一部（これらは協働して、携帯電話やサーバなどの装置に様々な機能を実行させる）；
（ｃ）一つまたは複数のマイクロプロセッサやその一部等の回路であって、動作するためにソフトウェアやファームウェアを必要とする回路（ソフトウェアやファームウェアは物理的に存在しなくてもよい）。

この「回路」の定義は、本願において当該用語を使う全ての場合において適用される。特許請求の範囲においても同様である。さらなる例として、本願で使用される場合、「回路（circuitry）」という用語は、単一（または複数）のプロセッサのみの実装やプロセッサの一部と、付随するソフトウェア、ファームウェアの全て又は一部とによる実装も網羅するものである。「回路」という用語はまた、例えば、特許請求の範囲に記載される特定の要素をその範囲に含むことが可能な場合がある。例えば、携帯電話のベースバンド集積回路やアプリケーション処理集積回路を意味してもよく、サーバやセルラネットワークデバイス、その他のネットワークデバイスにおける同様の集積回路を意味してもよい。

構造的特徴が記述されてきたが、こうした構造的特徴は、その構造的特徴における１つ又は複数の機能を実行する手段で置き換えられてもよい。こうした１つ又は複数の機能は明示的に記述されていてもよく、されていなくてもよい。

本願明細書及び図面において、本発明の様々な実施形態が様々な実施例と共に紹介されてきたが、当然のごとく、特許請求の範囲に特定される発明の範囲を逸脱することなく、紹介された実施形態を変形することができる。例えば、前述したようなゲームコンソール３０１、頭部装着型視覚装置３０２、携帯コントローラ３０３の組合せが装置３０に必須ではないことは、本技術分野の当業者であれば理解されよう。例えば、パーソナルコンピュータ及び頭部装着型視覚装置の組合せや、頭部装着型視覚装置のみという場合も可能である。

実施形態によっては、一つ（又は複数）のディスプレイ３２がホログラフィーであってもよい。こうした実施形態では、頭部装着型視覚装置が必要とされなくてもよい。

これまでに記述してきた事項は、明示的に記述された組合せのみならず、それ以外の組合せで用いられてもよい。

特定の事項を参照して種々の機能を記述してきたが、こうした機能は、記述の有無を問わずその他の事項によって遂行可能であってもよい。

特定の実施形態を参照して種々の事項を記述してきたが、こうした事項は、記述の有無を問わずその他の実施形態で用いられてもよい。

前述のように本明細書において、とりわけ重要であると考えられる本発明のこうした事項に注目するように努めてきた。しかし、前述した特許されうる全ての事項およびそれらの組合せに対して、参照された添付の図面にそうした事項が特段強調されていたかどうかにかかわらず、本出願人はその保護を求めるものである点を理解されたい。

Claims (15)

1. 頭部装着型視覚装置の一つ又は複数のディスプレイに媒介現実コンテンツを表示させることであって、該一つ又は複数のディスプレイが該頭部装着型視覚装置の表示光学系を通じて見える、前記表示させることと；
   前記媒介現実コンテンツの部分を共有する追加デバイスを識別することと；
   前記追加デバイスに関連する一つ又は複数のディスプレイを特徴付ける一つ又は複数のパラメータを決定することと；
   前記決定された一つ又は複数のパラメータに少なくとも部分的に基づいて、前記媒介現実コンテンツにおいて前記追加デバイスと共有される部分を決定することと；
   前記媒介現実コンテンツの前記部分を前記追加デバイスと共有することと；
   を含む、方法。
2. 前記頭部装着型視覚装置が、前記媒介現実コンテンツを一人称視点媒介法で見せるようにする、請求項１に記載の方法。
3. 複数の追加デバイスと、それぞれ個別に前記媒介現実コンテンツの部分を共有することを含み、
   前記複数の追加デバイスの各々について、前記頭部装着型視覚装置の前記一つ又は複数のディスプレイに、前記追加デバイスと共有する部分を示す情報と、前記追加デバイスの識別に関する情報とを表示することを含む、請求項１又は２に記載の方法。
4. 前記一つ又は複数のパラメータが前記追加デバイスに関連する一つ又は複数のディスプレイの現在の向きを特徴付け、前記媒介現実コンテンツにおいて前記追加デバイスと共有される部分が、前記追加デバイスに関連する一つ又は複数のディスプレイの前記現在の向きに少なくとも部分的に基づいて決定される、請求項１から３の何れかに記載の方法。
5. 前記媒介現実コンテンツにおいて前記追加デバイスと共有される部分を決定することが、前記一つ又は複数のディスプレイにおける領域を決定することを含む、請求項１から４の何れかに記載の方法。
6. 前記領域が画素である、請求項５に記載の方法。
7. 前記一つ又は複数のパラメータが、前記追加デバイスに関連する一つ又は複数のディスプレイのディスプレイタイプに関する情報を含み、前記ディスプレイタイプに関する情報は、平面ディスプレイ、曲面ディスプレイ、非立体ディスプレイ、立体ディスプレイのいずれかを示す情報を含む、請求項１から６の何れかに記載の方法。
8. 前記媒介現実コンテンツの部分を前記追加デバイスと共有する前、共有中、又は共有した後、該媒介現実コンテンツの部分を前記デバイスに関連する一つ又は複数のディスプレイによって区画させることを更に含む、請求項１から７の何れかに記載の方法。
9. 前記媒介現実コンテンツにおいて前記追加デバイスと共有される部分の決定が、前記頭部装着型視覚装置の表示光学系を通じて前記一つ又は複数のディスプレイに表示される前記媒介現実コンテンツを見るときに行われたユーザ選択に更に基づき、ここで前記ユーザ選択は、一つ又は複数の触覚センサを用いて行われる、請求項１から８の何れかに記載の方法。
10. 前記頭部装着型視覚装置のユーザに、前記媒介現実コンテンツにおいて前記追加デバイスと共有される部分を選択できるようにすることが、該ユーザが選択を行えるよう該媒介現実コンテンツをズームできるようにすることを含む、請求項９に記載の方法。
11. 別のデバイスに関連する一つ又は複数のディスプレイを特徴付ける一つ又は複数のパラメータを決定することと；前記決定された一つ又は複数のパラメータに基づいて、前記媒介現実コンテンツにおいて前記別のデバイスと共有させる追加部分を決定することであって、該媒介現実コンテンツの追加部分を該別のデバイスと共有させる、前記決定することを更に含む、請求項１から１０の何れかに記載の方法。
12. 装置の少なくとも一つのプロセッサによって実行されたとき、前記装置に、請求項１から請求項１１の何れかに記載の方法を遂行させる、コンピュータプログラムコード。
13. 頭部装着型視覚装置の一つ又は複数のディスプレイに媒介現実コンテンツを表示させる手段であって、該一つ又は複数のディスプレイが該頭部装着型視覚装置の表示光学系を通じて見える、前記表示させる手段と；
    前記媒介現実コンテンツの少なくとも一つの部分を共有する追加デバイスを識別する手段と；
    追加デバイスに関連する一つ又は複数のディスプレイを特徴付ける一つ又は複数のパラメータを決定する手段と；
    前記決定された一つ又は複数のパラメータに少なくとも部分的に基づいて、前記媒介現実コンテンツにおいて前記追加デバイスと共有される部分を決定する手段と；
    前記媒介現実コンテンツの前記部分を前記追加デバイスと共有する手段と；
    を備える、装置。
14. 処理手段及び記憶手段を備える装置であって、前記記憶手段はプログラム命令を格納し、前記プログラム命令は、前記処理手段に実行されると、前記装置に、請求項１から請求項１１の何れかに記載の方法を遂行させるように構成される、装置。
15. 前記装置が頭部装着型視覚装置、又は頭部装着型視覚装置に接続されるデバイスである、請求項１３又は１４に記載の装置。

Images