JP2018525721A - コンテンツ閲覧 - Google Patents

Abstract

好適な実施形態は、パノラマ式メニューを表示することであって、該パノラマ式メニューにおいて第１のパノラマ式メニューアイテム及び第２のパノラマ式メニューアイテムが同時に表示される、前記表示することを含む。第１のパノラマ式メニューアイテムは、ユーザの視野外に延在して第１の媒介現実コンテンツに関連し、第２のパノラマ式メニューアイテムは、ユーザの視野外に延在して、第１の媒介現実コンテンツとは異なる第２の媒介現実コンテンツに関連する。
【選択図】図１３

Description

本発明の実施形態はコンテンツ閲覧に関するものであり、具体的には、媒介現実コンテンツの閲覧に関するものである。

背景

媒介現実とは、完全に人工的／仮想的な、又は半人工的／半仮想的な環境をユーザが体験することである。

拡張現実は媒介現実の一形態で、ユーザは半人工／半仮想及び半現実環境を体験する。仮想現実も媒介現実の一形態で、ユーザは完全人工／完全仮想環境を体験する。

摘要

必ずしも全てではないが、本発明の様々な実施形態によれば、パノラマ式メニューを表示することであって、該パノラマ式メニューにおいて第１のパノラマ式メニューアイテム及び第２のパノラマ式メニューアイテムが同時に表示される、前記表示することを含む方法であって、第１のパノラマ式メニューアイテムは、ユーザの視野外に延在して第１の媒介現実コンテンツに関連し、第２のパノラマ式メニューアイテムは、ユーザの視野外に延在して、第１の媒介現実コンテンツとは異なる第２の媒介現実コンテンツに関連する、方法が提供される。

必ずしも全てではないが、本発明の様々な実施形態によれば、少なくとも一つのプロセッサで実行されると、少なくとも、パノラマ式メニューを表示することであって、該パノラマ式メニューにおいて第１のパノラマ式メニューアイテム及び第２のパノラマ式メニューアイテムが同時に表示される、前記表示することを遂行するコンピュータプログラムコードであって、第１のパノラマ式メニューアイテムは、ユーザの視野外に延在して第１の媒介現実コンテンツに関連し、第２のパノラマ式メニューアイテムは、ユーザの視野外に延在して、第１の媒介現実コンテンツとは異なる第２の媒介現実コンテンツに関連する、コンピュータプログラムコードが提供される。

必ずしも全てではないが、本発明の様々な実施形態によれば、パノラマ式メニューを表示する手段であって、該パノラマ式メニューにおいて第１のパノラマ式メニューアイテム及び第２のパノラマ式メニューアイテムが同時に表示される、前記表示する手段を備える装置であって、第１のパノラマ式メニューアイテムは、ユーザの視野外に延在して第１の媒介現実コンテンツに関連し、第２のパノラマ式メニューアイテムは、ユーザの視野外に延在して、第１の媒介現実コンテンツとは異なる第２の媒介現実コンテンツに関連する、装置が提供される。

必ずしも全てではないが、本発明の様々な実施形態によれば、少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも一つのメモリを備える装置であって、コンピュータプログラムコードは、少なくとも一つのプロセッサと協働して、装置に少なくとも、パノラマ式メニューを表示することであって、該パノラマ式メニューにおいて第１のパノラマ式メニューアイテム及び第２のパノラマ式メニューアイテムが同時に表示される、前記表示することを実行させるように構成され、第１のパノラマ式メニューアイテムは、ユーザの視野外に延在して第１の媒介現実コンテンツに関連し、第２のパノラマ式メニューアイテムは、ユーザの視野外に延在して、第１の媒介現実コンテンツとは異なる第２の媒介現実コンテンツに関連する、装置が提供される。

本発明の様々な実施形態（但し必ずしも全ての実施形態ではない）によれば、装置の発明を特定する請求項に特定されるような例が提供される。

前述の詳細な説明を理解するために有用な種々の実施例の理解に資するべく、例として次の添付図面を参照する。
図１Ａ、１Ｂ、１Ｃは、媒介現実の実施例であって、同一の仮想空間と別々の視点を示す。 図２Ａ、２Ｂ、２Ｃは、媒介現実の実施例であって、それぞれの視点から見た仮想シーンを示す。 図３Ａは、実空間の例を示す。図３Ｂは、図１Ｂの仮想空間に部分的に対応する現実シーンの例を示す。 媒介現実、拡張現実、仮想現実の何れか又は全てを可能にするように動作できる装置の実施例を示す。 媒介現実、拡張現実、仮想現実の何れか又は全てを可能にする方法の実施例を示す。 拡張現実のための仮想空間モデルを更新する方法の実施例を示す。 ユーザに仮想シーンの少なくとも一部を見せることができる装置の実施例を示す。 パノラマ式メニューを提供し、再配置する第１の方法を示す。 パノラマ式メニューを提供し、再配置する第２の方法を示す。 媒介現実コンテンツを見ているユーザを示す。 媒介現実コンテンツの中で決定される関心物体を示す。 複数のパノラマ式メニューアイテムを含むパノラマ式メニューを見ているユーザを示す。 パノラマ式メニューであって、決定された関心物体に基づいてパノラマ式メニューの中のパノラマ式メニューアイテムが再配置された後のパノラマ式メニューを示す。 再配置後のパノラマ式メニューを閲覧するユーザを示す。 選択されたパノラマ式メニューアイテムに関連して表示される媒介現実コンテンツを示す。 パノラマ式メニューへの復帰を示す。 更なる関心物体の決定を示す。 決定された更なる関心物体に基づいて再配置されたパノラマ式メニューのパノラマ式メニューアイテムを示す。 決定された更なる関心物体に基づいて再配置されたパノラマ式メニューのパノラマ式メニューアイテムを示す。

詳細説明

本発明の実施形態はコンテンツ閲覧に関するものであり、具体的には、媒介現実環境におけるパノラマ式メニューの提供に関する。

本発明の実施形態において、ユーザの視野外に延在する第１及び第２のパノラマ式メニューアイテムを少なくとも含むパノラマ式メニューが表示される。第１のパノラマ式メニューアイテムは第１の媒介現実コンテンツに関連し、第２のパノラマ式メニューアイテムは第２の媒介現実コンテンツに関連する。

パノラマ式メニューは、識別された関心物体に基づいて再配置されてもよい。

パノラマ式メニューは、媒介現実コンテンツを通じた閲覧とその選択を行う上でとりわけ効率的で直感的な手段を提供する。その詳細は以降で説明される。
［定義］

本願では以下の定義を採用する。

「視野」とは、ある時点においてユーザに見える観察可能な世界の範囲のことである。

「仮想空間」とは完全人工環境又は半人工環境のことであり、三次元であってもよい。

「仮想シーン」とは、仮想空間内の特定の視点からみえる仮想空間の表現のことである。

「現実空間」とは現実環境のことであり、三次元であってもよい。

「現実シーン」とは、現実空間内の特定の視点からみえる実空間の表現のことである。

本願において「媒介現実」とは、コンピュータがユーザに少なくとも一部表示する完全人工環境又は半人工環境（仮想空間）を仮想シーンとしてユーザが視覚的に体験することである。仮想シーンは、仮想空間内の視点及び視野によって決定される。仮想シーンの表示は、それをユーザに見える形態で提供することを意味する。

「媒介現実コンテンツ」とは、仮想シーンとして完全人工環境又は半人工環境（仮想空間）をユーザに視覚的に体験させることができるコンテンツのことである。媒介現実コンテンツには、ビデオゲーム等のインタラクティブコンテンツや動きビデオ等の非インタラクティブコンテンツも含まれうる。

本願における「拡張現実」は媒介現実の一形態を言及する。拡張現実では、半人工環境（仮想空間）であって、装置がユーザに表示する一つ又は複数の視覚要素で追加された物理的現実世界環境（現実空間）の現実シーンを含む半人工環境を仮想シーンとしてユーザが視覚的に体験する。

「拡張現実コンテンツ」とは媒介現実コンテンツの一形態のことであり、仮想シーンとして半人工環境（仮想空間）をユーザに視覚的に体験させることができる。拡張現実コンテンツには、ビデオゲーム等のインタラクティブコンテンツや動きビデオ等の非インタラクティブコンテンツも含まれうる。

本願における「仮想現実」は媒介現実の一形態を言及する。仮想現実では、装置が表示する完全人工環境（仮想空間）を仮想シーンとしてユーザが視覚的に体験する。

「仮想現実コンテンツ」とは媒介現実コンテンツの一形態のことであり、仮想シーンとして完全人工環境（仮想空間）をユーザに視覚的に体験させることができる。仮想現実コンテンツには、ビデオゲーム等のインタラクティブコンテンツや動きビデオ等の非インタラクティブコンテンツも含まれうる。

媒介現実や拡張現実、仮想現実に適用される「視点媒介（perspective-mediated）」は、ユーザの動作が仮想空間内の視点を決定し、その視点が仮想シーンを変えることを意味する。

媒介現実や拡張現実、仮想現実に適用される「一人称視点媒介（first person perspective-mediated）」は、ユーザの現実の視点が仮想空間内の視点を決定する追加制約を持つ視点媒介を意味する。

媒介現実や拡張現実、仮想現実に適用される「インタラクティブ媒介（user interactive-mediated）は、仮想空間内で生じたことをユーザの動作が少なくとも一部決定することを意味する。

「表示（displaying）」は、ユーザによって視覚的に知覚される形態を提供することを意味する。

図１Ａから１Ｃ、２Ａから２Ｃは媒介現実の実施例を示す。媒介現実は拡張現実又は仮想現実でもよい。

図１Ａ、１Ｂ、１Ｃは同一の仮想物体２１を含む同一の仮想空間２０を示しているが、各図はそれぞれ異なる視点２４を示している。視点２４の位置及び向きは独立して変化しうる。図１Ａから図１Ｂで視点２４の位置は同じで向きが変化している。図１Ｂから図１Ｃで視点２４の位置と向きが変化している。

図２Ａ、２Ｂ、２Ｃは、図１Ａ、１Ｂ、１Ｃのそれぞれ異なる視点２４から見える仮想シーン２２を示す。仮想シーン２２は、仮想空間２０内の視点２４及び視野２６によって決定される。仮想シーン２２は、ユーザに対して少なくとも一部表示される。

ここで示す仮想シーン２２は、媒介現実シーンや仮想現実シーン、拡張現実シーンでもよい。仮想現実シーンは完全人工仮想空間２０を見せる。拡張現実シーンは半人工半現実空間２０を見せる。

媒介現実や拡張現実、仮想現実はインタラクティブ媒介（user interactive-mediated）でもよい。この場合、ユーザの動作は、仮想空間２０内で起きることを少なくとも部分的に決定する。これにより、仮想空間２０内の視覚要素２８のような仮想物体２１とのインタラクションが可能となる。

媒介現実や拡張現実、仮想現実は視点媒介（perspective-mediated）でもよい。この場合、ユーザの動作は、仮想空間２０内における視点２４を決定し、その視点２４によって仮想シーン２２が変わる。例えば、図１Ａ、１Ｂ、１Ｃに示されるように、仮想空間２０内における視点２４の位置２３が変更されてもよく、仮想空間２０内における視点２４の方向又は向き２５が変更されてもよい。また、この両方が同時に変更されてもよい。仮想空間２０が三次元である場合、視点２４位置２３の自由度は、例えば上下、前後、左右の３であり、仮想空間２０内の視点２４方向２５の自由度は、例えばロール、ピッチ、ヨーの３である。視点２４は、位置２３、方向２５の何れか又は両方で連続可変でもよく、ユーザ動作が視点２４の位置、方向の何れか又は両方を連続的に変える。これとは別に、視点２４には量子化された離散位置２３、量子化された離散方向２５の何れか又は両方があってもよく、ユーザ動作が、視点２４に関する許容位置２３，許容方向２５の何れか又は両方の間を離散的に移ることによって切り換える。

図３Ａは、現実物体１１を含み、図１Ａの仮想空間２０に一部対応する現実空間１０を示す。この実施例では、現実空間１０における現実物体１１はそれぞれ仮想空間２０において対応する仮想物体２１を持つ。一方、仮想空間２０における仮想物体２１の中には現実空間１０において対応する現実物体１１を持たないものもある。この実施例において、仮想物体２１の一つであるコンピュータ生成視覚要素２８とは、現実空間１０において対応する現実物体１１を持たない人工的な仮想物体２１である。

現実空間１０と仮想空間２０との間には線形写像が存在し、現実空間１０における各現実物体１１と対応する仮想物体２１との間にも同一の線形写像が存在する。したがって、現実空間１０における現実物体１１同士の相対関係は、仮想空間２０において対応する仮想物体２１の間の相対関係と同一である。

図３Ｂは、図１Ｂの仮想空間２０に一部対応する現実空間１０を示す。現実空間１０は現実物体１１を含むが人工仮想物体は含まない。現実シーンは、図１Ａの仮想空間２０における視点２４に対応する視点から見える。現実シーン１２の内容は、それに対応する視点２４及び視野２６によって決定される。

図２Ａは、図３Ｂに示された現実シーン１２に関する拡張現実版の実例である。仮想シーン２２は、装置によってユーザに表示された一つ又は複数の視覚要素２８が追加された、現実空間１０の現実シーン１２を含む。視覚要素２８は、コンピュータ生成視覚要素でもよい。シースルー構成では、仮想シーン２２は、一つ（又は複数）の追加視覚要素２８の表示を通して見える実際の現実シーン１２を含む。シービデオ構成では、仮想シーン２２は、表示された現実シーン１２及び表示された一つ（又は複数）の追加視覚要素２８を含む。表示現実シーン１２は単一視点２４からの像に基づいていてもよく、同一時点における別々の視点２４からの複数の像に基づいていてもよい。複数の像は、単一視点からの像を生成するために処理される。

図４は、媒介現実、拡張現実、仮想現実の何れか又は全てを可能にするように動作できる装置３０の実施例を示す。

装置３０は、ユーザの視点から見える形態でそのユーザに仮想シーン２２の少なくとも一部を表示するディスプレイ３２を備える。ディスプレイ３２は、仮想シーン２２の少なくとも一部をユーザに表示する光を出すビジュアルディスプレイでもよい。ビジュアルディスプレイの例には、液晶ディスプレイや有機発光ダイオードディスプレイ、発光型、反射型、透過型、半透過型の各ディスプレイ、網膜直接投影型ディスプレイ、ニアアイディスプレイ等が含まれる。

この実施例ではディスプレイ３２がコントローラ４２によって制御されているが、全ての実施例がそうである必要はない。

コントローラ４２は、コントローラ回路として実装されてもよい。コントローラ４２はハードウェア単独で実装され、ファームウェアを含むソフトウェア単独での側面を有していてもよい。あるいは、ハードウェアと（ファームウェアを含む）ソフトウェアの組合せも可能である。

図４に描かれるように、コントローラ４２は、ハードウェア機能を実現する命令であって、例えば、汎用プロセッサまたは特定用途向けプロセッサ４０で実行可能なコンピュータプログラム命令４８を用いて実装されてもよい。こうした命令は、プロセッサ４０で実行されうるように、コンピュータ可読記憶媒体（ディスクやメモリ等）に格納されてもよい。

プロセッサ４０は、メモリ４６から読み出し、かつメモリ２４へ書き込むように構成される。プロセッサ４０は出力インタフェースと入力インタフェースを備えてもよい。データおよび／または命令は、プロセッサ４０によって出力インタフェースを介して出力され、入力インタフェースを介してプロセッサ４０に入力される。

メモリ４６はコンピュータプログラム４８を保存する。コンピュータプログラム４８は、プロセッサ４０にロードされて装置３０の動作を制御するコンピュータプログラム命令（コンピュータプログラムコード）を含む。コンピュータプログラム４８のコンピュータプログラム命令は、図５及び６に示された方法を装置が実行できるようにするロジック及びルーチンを提供する。プロセッサ４０は、メモリ４６を読み取ることによりコンピュータプログラム４８をロードして実行することができる。

したがって、装置３０は、少なくとも一つのプロセッサ４０と、コンピュータプログラムコード４８を含む少なくとも一つのメモリ４６とを備え、前記少なくとも一つのメモリ４６及び前記コンピュータプログラムコード４８は、前記少なくとも一つのプロセッサ４０を用いて、前記装置に少なくとも：パノラマ式メニューを表示することであって、該パノラマ式メニューにおいて第１のパノラマ式メニューアイテム及び第２のパノラマ式メニューアイテムが同時に表示される、前記表示することを実行させるように構成され、第１のパノラマ式メニューアイテムは、ユーザの視野外に延在して第１の媒介現実コンテンツに関連し、第２のパノラマ式メニューアイテムは、ユーザの視野外に延在して、第１の媒介現実コンテンツとは異なる第２の媒介現実コンテンツに関連する、装置が提供される。

コンピュータプログラム４８は、任意の適切な配信機構を介して装置30に提供されてもよい。配信機構は、例えば、非一時的コンピュータ可読記憶媒体やコンピュータプログラム製品、メモリデバイス、コンパクトディスク・リードオンリーメモリ（ＣＤ−ＲＯＭ：compact disc read-only memory）又はデジタル多用途ディスク（ＤＶＤ：digital versatile disc）等の記憶媒体、あるいはコンピュータプログラム４８を有形に具現した製造品であってもよい。配信機構はコンピュータプログラム４８を確実に伝達するように構成される信号でもよい。信号は、例えば、（無線周波数の通信等）無線通信を介して、または、一以上のプロトコルに準拠した有線回線を介して送信される。装置３０は、コンピュータデータ信号としてコンピュータプログラム４８を伝達または伝送してもよい。

メモリ４６は単独要素又は回路として示されているが、物理的に異なる複数の要素又は回路として実装されてもよい。こうした要素の一部または全部は組込み型でも着脱可能型でもよく、および／または永久／半永久／動的／キャッシュの記憶方式でもよい。

プロセッサ４０は単独要素又は回路として示されているが、物理的に異なる複数の要素又は回路として実装されてもよい。こうした要素の一部または全部は組込み型でも着脱可能型でもよい。プロセッサ４０はシングルコアのプロセッサでもよいし、マルチコアのプロセッサであってもよい。

「コンピュータ可読記憶媒体」や「コンピュータプログラム製品」，「有形物として具現化されたコンピュータプログラム」等の用語や、「コントローラ」，「コンピュータ」，「プロセッサ」等の用語は、様々なアーキテクチャを有するコンピュータのみならず、特殊回路もカバーものと理解すべきである。こうしたコンピュータのアーキテクチャには、シングル／マルチプロセッサ・アーキテクチャや、直列（ノイマン型）／並列アーキテクチャ等がある。特殊回路にはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）や特定用途向け集積回路（ＡＳＩＣ），シグナルプロセッシングデバイス，その他の処理回路等がある。コンピュータプログラムや命令，コード等の用語は、プログラマブルプロセッサやファームウェア用のソフトウェアもカバーするものと理解すべきである。こうしたものとして例えば、プロセッサに対する命令や、固定機能デバイス，ゲートアレイ，プログラマブルロジックデバイス等の構成設定といったハードウェアデバイスのプログラマブルコンテンツ等がある。

なお本願において使用される「回路（circuitry）」との語句は、次の全てを表す：
（ａ）ハードウェアのみの回路実装（アナログおよび／またはデジタル回路のみの実装等）；
（ｂ）回路とソフトウェア（および／またはファームウェア）の組合せ、例えば（適用可能である場合）：（ｉ）一つまたは複数のプロセッサ、または（ｉｉ）一つまたは複数のプロセッサ／ソフトウェア（デジタルシグナルプロセッサを含む），ソフトウェア，一つまたは複数のメモリの一部（これらは協働して、携帯電話やサーバなどの装置に様々な機能を実行させる）；
（ｃ）一つまたは複数のマイクロプロセッサやその一部等の回路であって、動作するためにソフトウェアやファームウェアを必要とする回路（ソフトウェアやファームウェアは物理的に存在しなくてもよい）。

この「回路」の定義は、本願において当該用語を使う全ての場合において適用される。特許請求の範囲においても同様である。さらなる例として、本願で使用される場合、「回路（circuitry）」という用語は、単独（または複数）のプロセッサのみの実装やプロセッサの一部，付随するソフトウェアおよび／またはファームウェアによる実装も網羅するものである。「回路」という用語はまた、例えば、特許請求の範囲に記載される特定の要素をその範囲に含むことが可能な場合がある。例えば、携帯電話のベースバンド集積回路やアプリケーション処理集積回路を意味してもよく、サーバやセルラネットワークデバイス、その他のネットワークデバイスにおける同様の集積回路を意味してもよい。

図５及び６に示すブロックは、方法のステップ、コンピュータプログラム４８のコード区分の何れか又は全てを表わしてもよい。ブロックを特定の順序で図示することは、必須順序又は推奨順序の存在を必ずしも示唆していない。こうしたブロックの順序や配置構成は変更することができる。また、一部のブロックを省略することも可能である。

装置３０は、例えば図５に示された方法６０又は同様の方法を用いて、媒介現実、拡張現実、仮想現実の何れか又は全てを可能にしてもよい。コントローラ４２は、仮想空間２０のモデル５０を保存し保持する。モデルはコントローラ４２に提供されてもよく、コントローラ４２が決定してもよい。例えば、仮想空間の深度マップの重ね合わせを別々の視点から作成するために入力回路４４のセンサが使用されてもよく、それによって三次元モデルが生成されてもよい。

ブロック６２で、仮想空間２０のモデルが変わったかどうかが決定される。仮想空間２０のモデルが変わった場合、本方法はブロック６６に移る。仮想空間２０のモデルが変わらなかった場合、本方法はブロック６４に移る。

ブロック６４で、仮想空間２０における視点２４が変わったかどうかが決定される。視点２４が変わった場合、本方法はブロック６６に移る。視点２４が変わらなかった場合、本方法はブロック６２に戻る。

ブロック６６で、三次元仮想空間２０の位置２３からの二次元投影が、現在視点２４によって規定される方向２５に取られる。次に、この投影は視野２６によって限定され、仮想シーン２２を生成する。次に、本方法はブロック６２に戻る。

装置３０が拡張現実を可能にする場合、仮想空間２０は現実空間１０からの物体１１に加え、現実空間１０には存在しない可視要素２８も含む。かかる可視要素２８の組合せは、人工仮想空間として参照されてもよい。図６は、拡張現実のための仮想空間２０のモデルを更新する方法７０を示す。

ブロック７２で、現実空間１０が変わったかどうかが決定される。現実空間１０が変わった場合、本方法はブロック７６に移る。現実空間１０が変わらなかった場合、本方法はブロック７４に移る。現実空間１０における変化の検出は画素レベルの差異を利用して実現されてもよく、物体の動きに合わせてそれを追跡するコンピュータビジョンを利用して物体レベルで実現されてもよい。

ブロック７４で、人工仮想空間が変わったかどうかが決定される。人工仮想空間が変わった場合、本方法はブロック７６に移る。人工仮想空間が変わらなかった場合、本方法はブロック７２に戻る。人工仮想空間はコントローラ４２によって生成されるため、視覚要素２８に対する変化は容易に検出される。

ブロック７６で、仮想空間２０のモデルが更新される。

装置３０は、媒介現実、拡張現実、仮想現実の何れか又は全てに対してインタラクティブ媒介を可能にしてもよい。ユーザ入力回路４４はユーザ入力４３を用いてユーザ動作を検出する。こうしたユーザ動作は、仮想空間２０内で生じたことを決定するために用いられる。これにより、仮想空間２０内の視覚要素２８とのインタラクションが可能となる。

装置３０は、媒介現実、拡張現実、仮想現実の何れか又は全てに対して視点媒介を可能にしてもよい。ユーザ入力回路４４はユーザ動作を検出する。こうしたユーザ動作は、仮想空間２０内での視点２４を決定するために用いられ、その視点が仮想シーン２２を変える。視点２４は、位置、方向の何れか又は両方で連続可変でもよく、ユーザ動作が視点２４の位置、方向の何れか又は両方を変える。これとは別に、視点２４には量子化された離散位置、量子化された離散方向の何れか又は両方があってもよく、ユーザ動作が、視点２４に関する次の位置、方向２５の何れか又は両方に移ることによって切り換える。

装置３０は、媒介現実や拡張現実、仮想現実に対する一人称視点を可能にしてもよい。ユーザ入力回路４４は、ユーザ視点センサ４５を用いてユーザの現実の視点１４を検出する。ユーザの実際の視点は、仮想空間２０内での視点２４を決定するために用いられ、その視点が仮想シーン２２を変える。図３Ａに戻ると、ユーザ１８には実際の視点（現実視点）１４がある。現実視点は、ユーザ１８によって変化する場合がある。例えば、現実視点１４の実際の位置（現実位置）１３はユーザ１８の位置であり、ユーザ１８の物理的位置１３を変えることで変化しうる。例えば、現実視点１４の実際の方向（現実方向）１５はユーザ１８が見ている方向であり、ユーザ１８の現実方向を変えることで変化しうる。現実方向１５は、例えば、ユーザ１８が頭の向きや視点を変えたり、視線方向を変えたり、あるいはその全てを変えたりすることによって変えることができる。一人称視点媒介を可能にするために、頭部装着型装置３０が使用されてもよい。

装置３０は入力回路４４の一部として、現実視点の変化を決定する視点センサ４５を備えてもよい。

例えば、ユーザ１８の新しい物理的位置１３及び現実視点１４を決定するために、ＧＰＳ等の測位技術、複数受信機への送信と複数送信機からの受信の何れか又は両方による三角測量（三辺測量）、加速度検出、及びそれらの統合が用いられてもよい。

また例えば、ユーザの頭の向きや視点の変化、及び結果として生じる現実視点１４の現実方向１５での変化を決定するために、加速度計や電子ジャイロスコープ、電子コンパスが使用されてもよい。

さらに例えば、ユーザの片目又は両目の動きを追跡し、それによってユーザの視線方向及びその結果として生じる現実視点１４の現実方向１５での変化を決定するために、コンピュータビジョン等に基づく瞳孔追跡技術が用いられてもよい。

装置３０は入力回路４４の一部として、現実空間１０を撮像するイメージセンサ４７を備えてもよい。

イメージセンサ４７の一例は、カメラとして動作するように構成されたデジタルイメージセンサである。かかるカメラは静止画や場合により動画、又はその両方を記録するように動作し得るが、全ての実施形態でそうである必要はない。現実空間１０が様々な視点から見えるように、カメラが立体配置や他の空間分布配置で構成されてもよい。これは、三次元画像の生成、および／または、例えば視差効果を介した、奥行きを設定するための処理を可能する。

必ずしも全てではないが実施形態によっては、入力回路４４が深度センサ４９を備える。深度センサ４９は、トランスミッタおよびレシーバを備えてもよい。トランスミッタは（例えば、超音波または赤外光など人間が検出できない信号などの）信号を送信し、レシーバは反射された信号を受信する。単一のトランスミッタおよび単一のレシーバを用い、送信から受信までの伝搬時間を測定することによっていくらかの奥行き情報を得ることができる。より多くのトランスミッタおよび／またはより多くのレシーバを用いることによってより良好な分解能（空間的ダイバーシチ）が達成できる。一例において、トランスミッタは、光、好ましくは、赤外光など不可視光を使い、空間依存的パターンで、現実空間１０を「描く」ように構成される。レシーバによる特定のパターンの検出は、現実空間１０が空間的に分解されるようにする。現実空間１０が空間的に分解された部分までの距離は、伝搬時間、（レシーバがトランスミッタに対し立体的な位置にある場合）立体視法の何れか又は両方で測定できる。

必ずしも全てではないが実施形態によっては、入力回路４４が一つ又は複数のイメージセンサ４７及び深度センサ４９に加えて、又はそれらの代替として通信回路４１を備えてもよい。かかる通信回路４１は、現実空間１０における一つ又は複数のリモートイメージセンサ４７、現実空間１０におけるリモート深度センサ４９の何れか又は全てと通信してもよい。

必ずしも全てではないが実施形態によっては、入力回路４４が一つ又は複数のキー又はボタンを備えてもよい。こうしたキー又はボタンの少なくとも一部が、物理的な手持ち式コントローラの一部を形成してもよい。あるいは又は加えて、装置３０が頭部装着型である場合、こうしたキー又はボタンの少なくとも一部を頭部装着型装置に配置することもできる。

図７は、ユーザに映像を表示するディスプレイ３２を備える、頭部装着型装置３３の形態である装置３０の実施例を示す。頭部装着型装置３３は、ユーザの頭が動くときに動かされる。

頭部装着型装置３３は、ライブ現実シーン１２を表示可能にしつつ、一つ又は複数の可視要素２８もユーザに表示され、組み合わせて仮想シーン２２を提供する拡張現実のためのシースルー構成でもよい。この場合、バイザー３４があれば、ライブ現実シーン１２がバイザー３４を通して見えるように透明又は半透明である。

頭部装着型装置３３は拡張現実用シービデオ構成として動作してもよい。この拡張現実では、ユーザに見せるディスプレイ３２によって現実シーン１２のライブ又は録画を表示可能にしつつ、一つ又は複数の可視要素２８もユーザに見せるディスプレイ３２によって同時に表示される。表示された現実シーン１２と表示された一つ又は複数の可視要素２８の組合せは、ユーザに仮想シーン２２を表示する。この場合、バイザー３４は不透明でディスプレイ３２として使用されてもよい。

図４に戻って参照すると、装置３０は、媒介現実、拡張現実、仮想現実の何れか又は全てに対してインタラクティブ媒介を可能にしてもよい。ユーザ入力回路４４はユーザ入力４３を用いてユーザ動作を検出する。こうしたユーザ動作は、仮想空間２０内で生じたことを決定するために用いられる。これにより、仮想空間２０内の視覚要素２８とのインタラクションが可能となる。

検出されたユーザ動作は例えば、現実空間１０で行われたジェスチャでもよい。ジェスチャは様々な方法で検出できる。例えば、ユーザ１８の体の一部の動きを検出するために深度センサ４９が使用されてもよく、ユーザ１８の体の一部の動きを検出するためにイメージセンサ４７が使用されてもよく、手足の動きを検出するためにユーザ１８の手足に装着された位置／動きセンサが使用されてもよい。あるいは、これら全てが使用されてもよい。

物体追跡は、物体又はユーザが何時動くかを決定するために使用されてもよい。例えば、物体を大きなマクロスケールで追跡することで、その物体と共に移動する基準枠を生成することができる。この基準枠は、物体に対する時間差分を用いて物体の形状の時間進展的な変化を追跡するために使うことができる。これは、ジェスチャ、手の動き、顔面の動きなど小規模な人間の動きを検出するために用いることができる。これらは、ユーザに関連する、シーン非依存性のユーザ（のみ）の動きである。

装置３０は、ユーザの体の一つ又は複数の関節等、ユーザの身体に関連する複数の物体、複数のポイントの何れか又は全てを追跡してもよい。実施例によっては、装置３０はユーザの身体の全身骨格的な追跡を行ってもよい。

ジェスチャの認識等において、人物の身体に関連する一つ又は複数の物体、複数のポイントの何れか又は全ての追跡が装置３０によって使用されてよい。

図８Ａは、パノラマ式メニューを表示し、パノラマ式メニューにメニューアイテムを再配置し、ユーザがメニューアイテムを選択できるようにする第１の方法のフロー図を示す。

図９は、装置３０のディスプレイ３２によって表示された（視覚的）媒介現実コンテンツ９０を見ているユーザ８２を示す。これらの図に示された実施例は以降で説明されるが、こうした実施例における媒介現実コンテンツ９０は、ユーザが完全人工環境又完全仮想環境を体験できるようにする（視覚的）仮想現実コンテンツである。別の実施例において、媒介現実コンテンツ９０は、ユーザが半人工半現実環境又は半仮想半現実環境を体験できるようにする拡張現実コンテンツでもよい。

図９は、円柱座標系２００も示している。円柱座標系は、高さ次元ｚ、半径次元ｒ、方位角次元φによって定義される。ユーザの視野は、方位角と高さの次元φ、ｚを用いて定義することができる。

媒介現実コンテンツ９０は、ユーザ８２の身体の周りをユーザ８２の視界を超えて延在し、方位角φの範囲が見えている。これは、如何なる場合においてもユーザ８２は表示された媒介現実コンテンツ９０の全体を同時に見ることはできないということを意味する。媒介現実コンテンツ９０は、方位角φで１８０度以上に延在することもある。実施例によっては、媒介現実コンテンツ９０が方位角φで３６０度に延在することもある。

図９に示された実施例では、ユーザ８２に一人称視点媒介で媒介現実コンテンツ９０を見せることができる頭部装着型装置３３をユーザが装着している。媒介現実コンテンツ９０は方位角φでユーザ８２の周囲３６０度に延在するが、見難さを避けるためにこのことは図９には示されていない。

媒介現実コンテンツ９０全体が同時に表示される必要はない。すなわち、ユーザ８２が頭や目、あるいは両方を動かすことによってユーザに見える媒介現実コンテンツ９０の角度範囲は、特定の時点においてディスプレイ３２が表示する媒介現実コンテンツ９０の角度範囲より大きくてもよい。

ユーザ８２が媒介現実コンテンツ９０を体験すると、プロセッサ４０は、図５に示された方法を通じて持続的にサイクルを繰り返す。拡張現実の場合は図６の方法が用いられる。

図９でクロスハッチングされた参照番号８１の付いた領域は、ユーザの視野の中心部を示す。ユーザの視野中心部８１は、ユーザ８２が（直接）見ている範囲を示す。ユーザ８２が視点を変えると、その視野中心部８１も変わる。図９では、媒介現実コンテンツ９０に（視覚的）物体８０が含まれていることが分かる。この実施例では（視覚的）物体８０は人であるが、他の実施例ではそれ以外でもよい。

図８Ａのブロック８０１で、装置３０のプロセッサ４０は、物体８０がユーザ８２にとって関心のあるものであることを識別する。これは、図１０で示されるように、ユーザ８２が物体８０の方を直視するために視点を変えたという決定に少なくとも一部基づいていてもよく、それによって、ユーザの視野中心部８１が媒介現実コンテンツ９０における物体８０の位置に合わせられる。あるいは又は加えて、プロセッサ４０は、例えば、ユーザの視線を追跡することによってユーザ８２が物体８０の方を直視するために視点を変えたと決定してもよい。視線追跡は例えば、前述の瞳孔追跡技術が用いられる。

あるいは又は加えて、装置３０は、ユーザ入力の代替方法を用いてユーザが物体を選択できるようにすることによって、ユーザに関心物体の識別を可能にしてもよい。例えば、装置３０は、ユーザが一つ又は複数のジョイスティックやキー、ボタンを操作することによって、又はジェスチャを行うことによって、ユーザに物体の選択を可能にしてもよい。

実施形態によっては、媒介現実コンテンツ９０は、媒介現実コンテンツ９０における一つ又は複数の物体の存在及び位置を識別する関連メタデータを有する。すなわち、メタデータは媒介現実コンテンツ９０における一つ又は複数の物体の存在及び位置を予め定義する。メタデータは、所定の期間に亘って媒介現実コンテンツ９０における一つ（又は複数）の物体の存在及び位置を識別し、その期間にこの（これらの）物体の存在及び位置がどのように変化したかを示してもよい。

あるいは別の実施形態によっては、媒介現実コンテンツ９０における一つ（又は複数）の物体を識別するために、メタデータを使用する代わりに例えば、物体８０識別を目的とした媒介現実コンテンツ９０に関するイメージ処理を行ってもよい。装置３０のプロセッサ４０は、図９及び１０に示すような物体８０が、ユーザ８２が媒介現実コンテンツ９０を見るときに視点を変えると自動的に識別されるように、媒介現実コンテンツ９０に関するイメージ処理を持続的に行ってもよい。他の実施形態によっては、イメージ処理がユーザからの入力に応答してのみ行われてもよい。ユーザからの入力は、ユーザの視野内にある物体、あるいはユーザの視野中心部８１（に限定した）の範囲内の物体に関するイメージ処理を行うことの契機として作用する。

物体８０がユーザの関心物体であると識別された後、プロセッサ４０は、識別済み関心物体８０が、図８Ａ及び９でユーザ８２が見ているものとは異なる他の媒介現実コンテンツに存在するかどうかを決定する。この点においてプロセッサ４０が行う処理は、媒介現実コンテンツに関連するメタデータの解析、又は前述のやり方で行うイメージ処理によって実行されてもよい。

プロセッサ４０は続いて、図８Ａのブロック８０２で、パノラマ式メニューをディスプレイ３２に表示する。パノラマ式メニューは、ユーザ８２から一つ又は複数の入力が受け取られた後に表示されてもよい。

この実施例では、識別済み関心物体８０が媒介現実コンテンツアイテムに存在するとプロセッサ４０が決定すると、その媒介現実コンテンツに関するパノラマ式メニューアイテムがパノラマ式メニュー１００に加えられる。

図１１は、ディスプレイ３２に表示されるパノラマ式メニュー１００を示す。この実施例では、パノラマ式メニュー１００には第１、第２、第３それぞれのメニューアイテム１０１、１０２、１０３が含まれ、それらが同時に表示される。パノラマ式メニューアイテム１０１、１０２、１０３の各々は、それぞれ媒介現実コンテンツに関連し（例えば、提示し）、各メニューアイテム１０１、１０２、１０３はユーザの視野外に延在する。

パノラマ式メニュー１００はそれ自体が、仮想現実や拡張現実のような媒介現実に表示される。後者の場合、ユーザ８２は、パノラマ式メニュー１００がディスプレイ３２に表示されている間、そのパノラマ式メニュー１００に加えて一つ又は複数の現実物体を見ることもできる。図１１の実施例では、ユーザ８２は、頭部装着型装置３３を通じて一人称視点媒介方式でパノラマ式メニュー１００を見ることができる。ユーザ８２がパノラマ式メニュー１００を見ると、プロセッサ４０は、図５（パノラマ式メニュー１００が仮想現実で表示される場合）又は図６（パノラマ式メニュー１００が拡張現実で表示される場合）で示される方法を最初から最後まで持続的に繰り返す。

示された実施例では、特定の媒介現実コンテンツアイテムに関するパノラマ式メニューアイテム１０１、１０２、１０３は、ある時点に撮られて媒介現実コンテンツの空間的スライスである静止画像である。各パノラマ式メニューアイテム１０１、１０２、１０３は、実際の媒介現実コンテンツと比べて高さｚが短くなっている。

例えば、媒介現実コンテンツアイテムから導出された静止画像の上部又は下部は、その媒介現実コンテンツアイテムに関するパノラマ式メニューアイテムを形成するために切り取られてもよい。

パノラマ式メニューアイテム１０１、１０２、１０３は、互いに垂直方向に表示され、仮想チューブの少なくとも一部を形成してもよい。仮想チューブは、パノラマ式メニューアイテム１０１、１０２、１０３が方位角方向φで３６０度に延在するような閉じたチューブでもよく、方位角方向φで３６０度未満に延在するような開いたチューブでもよい。仮想チューブの断面は、例えば円や楕円となりうる。仮想チューブの長さは、図の高さ方向ｚに揃えられる。

第２のパノラマ式メニューアイテム１０２は第１のパノラマ式メニューアイテム１０１の上に配置される。第３のパノラマ式メニューアイテム１０３は第２のパノラマ式メニューアイテム１０２の上に配置される。

他の実施例では、パノラマ式メニューアイテム１０１、１０２、１０３は、互いに水平方向に表示され、図に示されたものに対して垂直な仮想チューブの少なくとも一部を形成してもよい。

図１１には三つのパノラマ式メニューアイテム１０１、１０２、１０３が示されているが、他の実施例では、これらのパノラマ式メニューアイテム１０１、１０２、１０３よりも多い又は少ない数であってもよい。

パノラマ式メニューアイテム１０１−１０３は、ユーザ８２が見るときに方位角方向φでユーザ８２の視野外に延在する。これは、如何なる時点においても、パノラマ式メニューアイテム１０１−１０３のどの一つをとってもその全体がユーザ８２には見えないということを意味する。パノラマ式メニューアイテム１０１−１０３の各々は、例えば、方位角方向φで１８０度以上に延在してもよい。実施例によっては、パノラマ式メニューアイテム１０１−１０３が方位角方向φで３６０度に延在してもよい。

図１１では、識別済み関心物体８０が第１及び第２のパノラマ式メニューアイテム１０１、１０２に含まれ、ユーザ８２に見えている。識別済み関心物体８０は、現時点において第３のパノラマ式メニューアイテム１０３の中にはユーザ８２に見えていないが、第３のパノラマ式メニューアイテム１０３において現時点でユーザ８２から見えない別の位置に存在している。

図８Ａのブロック８０３で、パノラマ式メニューアイテム１０１−１０３は、識別済み関心物体８０に基づいて（再）配置される。図１２は、再配置される第１、第２、第３のパノラマ式メニューアイテム１０１、１０２、１０３を示す。示された実施例では、パノラマ式メニューアイテム１０１−１０３は、それぞれのメニューアイテム１０１−１０３におけるユーザの視点に対する関心物体８０の位置に基づいて再配置される。

図１２では、ユーザの視野中心部８１が、高さ方向ｚ及び方位角方向φの両方で第１のパノラマ式メニューアイテム１０１における関心物体８０の位置に合わせられていることが分かる。プロセッサ４０は、第１のパノラマ式メニューアイテム１０１における関心物体８０の位置が方位角方向φでユーザの視野中心部８１に合わせられていると決定し、その結果、再配置が実行されるときに第１のパノラマ式メニューアイテム１０１の移動を抑制する。

プロセッサ４０は、第２のパノラマ式メニューアイテム１０２及び第３のパノラマ式メニューアイテム１０３の両方で関心物体８０が方位角方向φユーザの視野中心部８１に合わせられていないと決定する。それに応じて、プロセッサ４０は、図１２において参照番号１１２を付された矢印で示されるような方位角方向φに回転させることによって第２のパノラマ式メニューアイテム１０２を動かす。また、プロセッサ４０は、図１２において参照番号１１３を付された矢印で示されるような方位角方向φに回転させることによって第３のパノラマ式メニューアイテム１０３を動かす。図１２では、プロセッサ４０が第２及び第３のパノラマ式メニューアイテム１０２、１０３を回転させた後、第１、第２、第３のパノラマ式メニューアイテム１０１−１０３の各々における関心物体８０が方位角方向φに合わせられ（高さ方向ｚで互いに固定され）ることが分かる。

プロセッサ４０は、パノラマ式メニューアイテム１０１−１０３の各々に関連する媒介現実コンテンツに関心物体８０が存在するかどうかに応じて、パノラマ式メニューアイテム１０１−１０３を高さ方向ｚで並べ替えしてもよい。例えば、関心物体８０を含む媒介現実コンテンツに関連するパノラマ式メニューアイテム１０１−１０３は、関心物体８０を含まない媒介現実コンテンツに関連するパノラマ式メニューアイテム１０１−１０３よりもユーザ８２の近くに配置されてもよい。実施形態によっては、関心物体８０を含まない媒介現実コンテンツに関連するパノラマ式メニューアイテム１０１−１０３は、パノラマ式メニュー１００から取り除かれてもよい。

ここで示された実施例では、パノラマ式メニューアイテム１０１−１０３が高さ方向ｚで並び替えられているが、他の実施例ではパノラマ式メニューアイテム１０１−１０３が別の方式で並べ替えられてもよい。

図８Ａのブロック８０４で、プロセッサ４０は、再配置後のパノラマ式メニュー１００をユーザに閲覧させる。図１３は、パノラマ式メニュー１００を閲覧するユーザを示す。参照番号１２１及び１２２を付された矢印は、ユーザが高さ方向ｚで視野を向け直すことによってパノラマ式メニューアイテム１０１、１０２、１０３を閲覧できることを模式的に示す。図１３は、ユーザ８２が視野中心部８１を向け直し、第２のパノラマ式メニューアイテム１０２において視野中心部が関心物体８０に合わせられた状況を示す。

あるいは又は加えて、装置３０は、ユーザ８２が代替となるユーザ入力方法を用いてパノラマ式メニューアイテム１０１、１０２、１０３を閲覧できるようにしてもよい。例えば、装置３０は、ユーザが一つ又は複数のジョイスティックやキー、ボタンを操作することによって、又はジェスチャを行うことによって、ユーザに物体の選択を可能にしてもよい。

次にユーザ８２は、パノラマ式メニューアイテム１０１−１０３の一つを選択する。図８Ａのブロック８０５で、プロセッサ４０は、選択されたパノラマ式メニューアイテムに関連する媒介現実コンテンツ９１をディスプレイ３２に表示させることによって、ユーザの選択に応答する。図１４は、ディスプレイ３２によって表示される媒介現実コンテンツ９１を示す。

装置３０又は３３は、ユーザ８２が様々な方法でユーザ入力を与えることによってパノラマ式メニューアイテム１０１−１０３の一つを選択できるようにしてもよい。例えば、装置３０又は３３は、ユーザが視野中心部８１を特定のパノラマ式メニューアイテム１０１−１０３に閾値時間を超えて合わせることによって、パノラマ式メニューアイテム１０１−１０３を選択できるようにしてもよい。実施例によっては、ユーザ８２は、キー又はボタンの押下や、ジェスチャの実行によって選択確認を要求されてもよい。あるいは、この選択を行うためにユーザの視野中心部８１が全く用いられず、その代わりにユーザ８２はジェスチャ実行、一つ又は複数のキー又はボタンの押下の何れか又は全てを単独で行うことによって選択が行えてもよい。

図８Ｂは、パノラマ式メニューを表示し、パノラマ式メニューにメニューアイテムを再配置し、ユーザがメニューアイテムを選択できるようにする第２の方法のフロー図を示す。

図８Ｂのブロック８０６で、プロセッサ４０は、図８Ａに関して前述したものと同じ方法でディスプレイ３２にパノラマ式メニュー１００を表示させる。

図１５は、表示されたパノラマ式メニュー１００が第４、第５、第６のパノラマ式メニューアイテム１０４−１０６を含み、それらが同時に表示される状況を示す。図１５では、第４、第５、第６のパノラマ式メニューアイテム１０４−１０６が第１の物体８０を含み、第４及び第６のパノラマ式メニューアイテム１０４、１０６が第２の物体８３を含んでいることが分かる。図１５で、ユーザの視野中心部８１は現在、第４のパノラマ式メニューアイテム１０４における第１の物体８０に（図１５の高さ方向ｚ及び方位角方向φで）合わせられている。これは、第１の物体８０が先に関心物体として（例えば、図８Ａのブロック８０５に関して前述したようにユーザ選択の結果として）識別されたためであってもよい。ユーザ８２はパノラマ式メニューアイテム１０４−１０６を閲覧し、前述と同じ方法でパノラマ式メニューアイテム１０４−１０６を選択してもよい。

次にユーザ８２は、図１６に示すように、視野中心部８１が第４のパノラマ式メニューアイテム１０４における第２の関心物体８３に合わせられるように視点を変える。図８Ｂのブロック８０７で、ユーザ８２は、プロセッサ４０が第４のパノラマ式メニューアイテム１０４における第２の物体８３を関心物体として識別するように、第２の物体８３の選択に必要な一つ（又は複数）の入力を与える。第１の物体８０が関心物体として先に識別されている場合、第２の物体８３は関心物体として第１の物体８０を置き換えてもよい。

プロセッサ４０は図８Ｂのブロック８０７におけるユーザ選択に続いて、図８Ｂのブロック８０８で、第２の物体８３を関心物体と識別したことに基づいてパノラマ式メニューアイテム１０４−１０６を再配置する。

図１７は、第２の物体８３を関心物体と識別したことに基づいて並び替えられたパノラマ式メニューアイテム１０４−１０６を示す。この実施例では、パノラマ式メニューアイテム１０４−１０６の順序は、例えば縦方向ｚで変えられ、プロセッサ４０は第６のパノラマ式メニューアイテム１０６と第５のパノラマ式メニューアイテム１０５を入れ替えさせ、第６のパノラマ式メニューアイテム１０６が第５のパノラマ式メニューアイテム１０５の真下に配置される。これは、第６のパノラマ式メニューアイテム１０６に関連する媒介現実コンテンツが識別した（第２の）関心物体８３を含む（この実施例では結果として、第６のパノラマ式メニューアイテム１０６も識別済み関心物体８３を含んでいる）のに対し、第５のパノラマ式メニューアイテム１０５に関連する媒介現実コンテンツは含まない（この実施例では結果として、第５のパノラマ式メニューアイテム１０５も含まない）ということをプロセッサ４０が決定したためである。

第５のパノラマ式メニューアイテム１０５の上への移動は、図１７において参照番号１４１を付した矢印で示されている。また、第６のパノラマ式メニューアイテム１０６の下への移動は、図１７において参照番号１４２を付した矢印で示されている。

第６のパノラマ式メニューアイテム１０６が第５のパノラマ式メニューアイテム１０５よりもユーザ８２に近づけられたのは、第６のパノラマ式メニューアイテム１０６に関連する媒介現実コンテンツが第５のパノラマ式メニューアイテム１０５に関連する媒介現実コンテンツよりもユーザ８２にとってより関心が高い可能性があるとプロセッサ４０が識別したためである。

図１８は、図１２に関して前述したのと同じ方法でユーザが選択した後、
第２の物体８３を関心物体と識別したことに基づいて回転させられたパノラマ式メニューアイテム１０４−１０６を示す。この実施例では、プロセッサ４０は、識別した第２の関心物体８３が方位角方向φでユーザの視野中心部８１に合わせられていないと決定する。それに応じて、プロセッサ４０は、図１８において参照番号１５１を付された矢印で示されるような方位角方向φに回転させることによって第６のパノラマ式メニューアイテム１０６を動かす。図１８では、プロセッサ４０が第６のパノラマ式メニューアイテム１０６を回転させた後、第４及び第６のパノラマ式メニューアイテム１０４、１０６における識別した第２の関心物体８３が、方位角方向φでユーザの視野中心部８１に合わせられ（高さ方向ｚで互いに固定され）ることが分かる。

以上の通り、媒介現実コンテンツを表わすメニューアイテムを提示し閲覧する効率的かつ直感的方法について説明してきた。前述のパノラマ式メニュー１００は特有の没入体験を提供し、その結果、媒介現実コンテンツに対する適切なゲートウェイを表現する。

本願明細書及び図面において、本発明の様々な実施形態が様々な実施例と共に紹介されてきたが、当然のごとく、特許請求の範囲に特定される発明の範囲を逸脱することなく、紹介された実施形態を変形することができる。例えば、本発明の実施形態がこれまで頭部装着型装置３３の文脈で説明されてきたが、頭部装着型装置が必ずしも必要というわけではない。例えば、装置３０が、頭部装着型ではないホログラフィックディスプレイを備えることも可能である。あるいは、媒介現実コンテンツ９０、９１及びパノラマ式メニュー１００が、一つ又は複数の物理的ディスプレイに表示されてもよく、それらの一部又は全てが曲面であってもよい。

これまでに記述してきた事項は、明示的に記述された組合せのみならず、それ以外の組合せで用いられてもよい。

特定の事項を参照して種々の機能を記述してきたが、こうした機能は、記述の有無を問わずその他の事項によって遂行可能であってもよい。

特定の実施形態を参照して種々の事項を記述してきたが、こうした事項は、記述の有無を問わずその他の実施形態で用いられてもよい。

前述のように本明細書において、とりわけ重要であると考えられる本発明のこうした事項に注目するように努めてきた。しかし、前述した特許されうる全ての事項およびそれらの組合せに対して、参照された添付の図面にそうした事項が特段強調されていたかどうかにかかわらず、本出願人はその保護を求めるものである点を理解されたい。

Claims (15)

1. パノラマ式メニューを表示することであって、該パノラマ式メニューにおいて第１のパノラマ式メニューアイテム及び第２のパノラマ式メニューアイテムが同時に表示される、前記表示すること
   を含む方法であって、
   前記第１のパノラマ式メニューアイテムは、ユーザの視野外に延在して第１の媒介現実コンテンツに関連し、
   前記第２のパノラマ式メニューアイテムは、ユーザの視野外に延在して、前記第１の媒介現実コンテンツとは異なる第２の媒介現実コンテンツに関連する、
   方法。
2. 前記メニューは頭部装着型装置のディスプレイによって表示される、請求項１に記載の方法。
3. 前記第１及び第２のパノラマ式メニューアイテムの少なくとも一つは、前記ユーザの身体の周囲に延在する、請求項１又は２に記載の方法。
4. 前記第１及び第２のパノラマ式メニューアイテムの少なくとも一つは、前記ユーザの身体の周囲３６０度に延在する、請求項３に記載の方法。
5. 前記第１のパノラマ式メニューアイテム及び前記第２のパノラマ式メニューアイテムは、互いに垂直方向に表示される、請求項１から４の何れかに記載の方法。
6. 前記第１のパノラマ式メニューアイテム及び前記第２のパノラマ式メニューアイテムは、仮想チューブの少なくとも一部を形成する、請求項１から５の何れかに記載の方法。
7. 媒介現実コンテンツにおける関心物体を識別することと；
   前記第１の媒介現実コンテンツ及び前記第２の媒介現実コンテンツにおける前記関心物体の存在を決定することと；
   前記関心物体が前記第１の媒介現実コンテンツ及び前記第２の媒介現実コンテンツに存在するという決定に基づいて、前記第１の媒介現実コンテンツ及び前記第２の媒介現実コンテンツに関連する前記第１及び第２のパノラマ式メニューアイテムの表示を決定することと；
   を更に含む、請求項１から６の何れかに記載の方法。
8. 前記第１及び第２のパノラマ式メニューアイテムは前記関心物体を含む、請求項７に記載の方法。
9. 前記第１及び第２のパノラマ式メニューアイテムにおける前記関心物体の位置に応じて、前記第１及び第２のパノラマ式メニューアイテムの少なくとも一つを動かすことを更に含む、請求項８に記載の方法。
10. 前記第１及び第２のパノラマ式メニューアイテムは、前記関心物体が前記第１及び第２のパノラマ式メニューアイテムにおいて垂直に揃うように回転させられる、請求項９に記載の方法。
11. 媒介現実コンテンツにおける追加関心物体を識別することと；
    前記追加関心物体を含む一つ又は複数の追加パノラマ式メニューアイテムを表示することと；
    次いで、前記一つ又は複数の追加パノラマ式メニューアイテムにおける前記追加関心物体の位置に応じて、前記一つ又は複数の追加パノラマ式メニューアイテムの少なくとも一つを動かすことと；
    を更に含む、請求項７から１０の何れかに記載の方法。
12. 前記第１のパノラマ式メニューアイテムは、前記第１の媒介現実コンテンツにおける特定時点で撮影された静止画像を含み、
    前記第２のパノラマ式メニューアイテムは、前記第２の媒介現実コンテンツにおける特定時点で撮影された静止画像を含む、
    請求項１から１１の何れかに記載の方法。
13. 装置の少なくとも一つのプロセッサで実行されると、前記装置に、請求項１から１２のいずれかに記載の方法を遂行させる、コンピュータプログラムコード。
14. パノラマ式メニューを表示する手段であって、該パノラマ式メニューにおいて第１のパノラマ式メニューアイテム及び第２のパノラマ式メニューアイテムが同時に表示される、前記表示する手段
    を備える装置であって、
    前記第１のパノラマ式メニューアイテムは、ユーザの視野外に延在して第１の媒介現実コンテンツに関連し、
    前記第２のパノラマ式メニューアイテムは、ユーザの視野外に延在して、前記第１の媒介現実コンテンツとは異なる第２の媒介現実コンテンツに関連する、
    装置。
15. 請求項２から請求項１２に記載のいずれかの方法を遂行する手段を更に備える、請求項１４に記載の装置。

Images