JP2019046291A - 情報処理装置および画像表示方法 - Google Patents

Abstract

【課題】ＶＲ画像またはＡＲ画像を拡大表示させるための現実に即した操作環境を提供する。【解決手段】情報処理装置１０は、仮想空間の画像を生成し、その仮想空間の画像をユーザが装着したヘッドマウントディスプレイ（ＨＭＤ１００）に表示させる。情報処理装置１０は、ユーザが操作を入力するための入力装置１６が、現実空間における所定位置に存在する場合、そのことを検出する。情報処理装置１０は、入力装置１６が上記所定位置に存在する場合、ＨＭＤ１００に表示された画像の一部を拡大表示させる。【選択図】図１

Description

本発明は、ヘッドマウントディスプレイに表示する画像を制御する技術に関する。

ヘッドマウントディスプレイ（ＨＭＤ）はユーザの頭部に装着されて仮想現実（ＶＲ）または拡張現実（ＡＲ）の映像世界をユーザに提供する。最近ではＨＭＤをゲーム装置に接続して、ユーザがＨＭＤに表示されたゲーム画像を見ながら、ゲームコントローラを操作してゲームをプレイすることも行われている。ＨＭＤはユーザの視野全体にＶＲ画像を提供するために、映像世界へのユーザの没入感を高め、ゲーム等のエンタテインメント性を飛躍的に向上させる効果がある。ＨＭＤにヘッドトラッキング機能をもたせ、ユーザの頭部の姿勢と連動して仮想３次元空間の画像を生成することで、映像世界への没入感をさらに高めることができる。

現実世界におけるスポーツ観戦時等、自分から遠く離れた場所の様子を確認するために、双眼鏡等の光学機器が用いられることがある。現実世界と同様に、ＶＲ画像またはＡＲ画像を見るユーザにも、よく見えない領域を拡大して見たいという欲求が生じることが考えられる。

本発明は本発明者の上記着想に基づきなされたものであり、１つの目的は、ＶＲ画像またはＡＲ画像を拡大表示させるための好適な操作環境を提供することにある。

上記課題を解決するために、本発明のある態様の情報処理装置は、ヘッドマウントディスプレイに表示される仮想空間の画像を生成する画像生成部と、仮想空間の画像をヘッドマウントディスプレイに表示させる表示制御部と、本情報処理装置に対してユーザが操作を入力するための入力装置が、現実空間における所定位置に存在する場合、そのことを検出する入力装置検出部と、を備える。表示制御部は、入力装置が所定位置に存在する場合、ヘッドマウントディスプレイに表示された画像の一部を拡大表示させる。

本発明の別の態様は、画像表示方法である。この方法は、情報処理装置が、ヘッドマウントディスプレイに表示される仮想空間の画像を生成するステップと、仮想空間の画像をヘッドマウントディスプレイに表示させるステップと、情報処理装置に対してユーザが操作を入力するための入力装置が、現実空間における所定位置に存在する場合、そのことを検出するステップと、入力装置が所定位置に存在する場合、ヘッドマウントディスプレイに表示された画像の一部を拡大表示させるステップと、を実行する。

なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ＶＲ画像またはＡＲ画像を拡大表示させるための好適な操作環境を提供することができる。

実施例における情報処理システムの構成例を示す図である。 ＨＭＤの外観形状の例を示す図である。 ＨＭＤの機能ブロックを示す図である。 図４（ａ）は入力装置の上面を示す図であり、図４（ｂ）は入力装置の奥側側面を示す図である。 情報処理装置の機能ブロックを示す図である。 ＨＭＤに表示される画像の例を示す図である。 図７（ａ）および図７（ｂ）は、ＨＭＤと入力装置との位置関係の例を示す図である。 ＨＭＤに表示される画像の例を示す図である。 ＨＭＤに表示される画像の例を示す図である。 ＨＭＤに表示される画像の例を示す図である。 図１１（ａ）はＨＭＤと入力装置との位置関係の例を示す図であり、図１１（ｂ）はコンテンツ選択画面の例を示す図である。

実施例の情報処理システムの構成を説明する前に概要を説明する。
ヘッドマウントディスプレイ（ＨＭＤ）において視聴されるＶＲ画像またはＡＲ画像として、実写のコンテンツが今後増えていくと考えられる。これに伴い、ＨＭＤ、もしくはＨＭＤにおける表示内容を制御するＨＭＤの外部装置に対して、スポーツやコンサートの画像（広視野角の映像等）を配信することが考えられる。これらの実写撮影のためのカメラは、ユーザの視点位置に固定されることがあり、ＨＭＤを装着したユーザに、あたかも自分が会場にいるような感覚を抱かせうる。

一方で、カメラからスポーツ選手や演者までの距離が遠い場合、スポーツ選手や演者の顔や衣服、動作等がよく見えず、ユーザに不満が生じうる。このような場合、現実世界では、ユーザは、双眼鏡等の光学機器を覗くことにより所望の対象を拡大して見ることがある。これを踏まえ、実施例の情報処理システムでは、ＨＭＤを装着したユーザが、ゲームコントローラ等の入力機器をＨＭＤの前方近接位置に構えた場合に、ＶＲ画像の一部を拡大表示する。これにより、ＶＲ画像を拡大表示させるための現実に即した操作環境をユーザ提供することができ、言い換えれば、直感的なズーム操作を実現することができる。実施例では、非透過型のＨＭＤにＶＲ画像を表示するが、光学透過型のＨＭＤにＡＲ画像を表示する場合も、実施例における画像表示技術を適用可能である。

図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、ＨＭＤ１００と、ユーザが手指で操作する入力装置１６と、ＨＭＤ１００を装着したユーザを撮影する撮像装置１４と、画像を表示する出力装置１５とを備える。出力装置１５はテレビであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワークに接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。

実施例の情報処理装置１０は、ＡＰ１７を介して、外部のネットワーク上のサーバ３に接続される。サーバ３は、図１に不図示のカメラにより撮影された実写の映像データであり、ＨＭＤ１００に表示するべき複数種類の画像データ（例えばサッカー、野球、コンサート等のライブ映像のデータ）を情報処理装置１０へ送信する。

ＨＭＤ１００は、ユーザの頭部に装着されて、仮想現実（ＶＲ）の映像世界をユーザに提供する。ＨＭＤ１００にヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動して表示画像を更新することで、映像世界への没入感を高められる。

情報処理装置１０は、処理装置１１、出力制御装置１２および記憶装置１３を備える。処理装置１１は、ユーザにより入力装置１６に入力された操作情報を受け付けて、ゲームや動画視聴ソフト等の各種アプリケーションを実行する端末装置である。処理装置１１と入力装置１６とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。なお実施例の処理装置１１は、ＨＭＤ１００の姿勢情報をアプリケーションに対するユーザの操作情報として受け付けて、アプリケーションの動作を制御する。出力制御装置１２は、処理装置１１で生成された画像データをＨＭＤ１００に出力する処理ユニットであり、出力制御装置１２とＨＭＤ１００とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。

撮像装置１４はステレオカメラであって、ＨＭＤ１００を装着したユーザを所定の周期で撮影し、撮影画像を処理装置１１に供給する。後述するがＨＭＤ１００にはユーザ頭部をトラッキングするためのマーカ（トラッキング用ＬＥＤ）が設けられ、処理装置１１は、撮影画像に含まれるマーカの位置にもとづいてＨＭＤ１００の動きを検出する。なおＨＭＤ１００には姿勢センサ（加速度センサおよびジャイロセンサ）が搭載され、処理装置１１は、姿勢センサで検出されたセンサデータをＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、処理装置１１はＨＭＤ１００の動きを検出できるのであれば、どのようなトラッキング手法を採用してもよい。

また後述するが、入力装置１６には、現実空間における入力装置１６の姿勢（例えば位置および向き）を検出するためのマーカ（発光部）が設けられ、処理装置１１は、撮影画像に含まれるマーカの位置・態様に基づいて入力装置１６の位置および向きを検出する。変形例として、入力装置１６には、姿勢センサ（例えば加速度センサおよびジャイロセンサ）が搭載されてもよい。処理装置１１は、姿勢センサで検出されたセンサデータをＨＭＤ１００から取得し、マーカの撮影画像の利用に代えて、または、マーカの撮影画像の利用とあわせて、入力装置１６の存在位置および向きを検出してもよい。なお、入力装置１６の位置および向きを検出できるのであれば他の公知の手法を採用してもよい。

ユーザはＨＭＤ１００で画像を見るため、ＨＭＤ１００を装着したユーザにとって出力装置１５は必ずしも必要ではないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。出力制御装置１２または処理装置１１は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてもよいが、別の画像を表示させてもよい。たとえばＨＭＤを装着したユーザと、別のユーザとが一緒にゲームをプレイするような場合、出力装置１５からは、当該別のユーザのキャラクタ視点からのゲーム画像が表示されてもよい。

ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。なおユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。この光学歪みの補正処理は、処理装置１１、出力制御装置１２のいずれが行ってもよい。

処理装置１１、記憶装置１３、出力装置１５、入力装置１６および撮像装置１４は、従来型のゲームシステムを構築してよい。この場合、処理装置１１はゲームを実行するゲーム装置であり、入力装置１６はゲームコントローラ、キーボード、マウス、ジョイスティックなど処理装置１１にユーザによる操作情報を供給する機器である。記憶装置１３は、システムソフトウェアを記憶し、また、ゲームソフトや動画視聴ソフト等のアプリケーションを記憶している。このゲームシステムの構成要素に、出力制御装置１２およびＨＭＤ１００を追加することで、仮想３次元空間のＶＲ画像をＨＭＤ１００に提供する情報処理システム１が構築される。

なお出力制御装置１２による機能は、処理装置１１に組み込まれてもよい。つまり情報処理装置１０の処理ユニットは、１台の処理装置１１から構成されても、また処理装置１１および出力制御装置１２から構成されてもよい。以下においては、ＶＲ画像をＨＭＤ１００に提供する機能を、まとめて情報処理装置１０の機能として説明する。

実施例の情報処理装置１０は、動画視聴ソフトを実行し、ユーザにより選択された配信チャンネルのコンテンツであり、具体的には、スポーツやコンサート等の仮想３次元空間の映像（ＶＲ画像）をＨＭＤ１００に表示させる。また、情報処理装置１０は、ＨＭＤ１００の姿勢情報に応じてユーザの視線方向を検出し、その視線方向に応じたＶＲ画像をＨＭＤ１００に表示させる。なお、動画視聴アプリケーションに対するユーザの操作情報は、入力装置１６およびＨＭＤ１００のいずれから取得されてもよく、また他のユーザインタフェースから取得されてもよい。

情報処理装置１０は、ユーザのヘッドトラッキング処理を行うことで、ユーザ頭部（実際にはＨＭＤ１００）の位置座標および姿勢を検出する。ここでＨＭＤ１００の位置座標とは、基準位置を原点とした３次元空間における位置座標であり、基準位置はＨＭＤ１００の電源がオンされたときの位置座標（緯度、経度）であってよい。またＨＭＤ１００の姿勢とは、３次元空間における基準姿勢に対する３軸方向の傾きである。なお基準姿勢は、ユーザの視線方向が水平方向となる姿勢であり、ＨＭＤ１００の電源がオンされたときに基準姿勢が設定されてよい。ここで記載した位置座標および姿勢は、後述する入力装置１６の位置座標および姿勢にも適用されてよい。

情報処理装置１０は、ＨＭＤ１００の姿勢センサが検出したセンサデータのみから、ＨＭＤ１００の位置座標および姿勢を検出でき、さらに撮像装置１４で撮影したＨＭＤ１００のマーカ（トラッキング用ＬＥＤ）を画像解析することで、高精度にＨＭＤ１００の位置座標および姿勢を検出できる。

図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

筐体１０８の外面には、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置１４により撮影されて、情報処理装置１０がマーカ位置を画像解析できるものであればよい。発光マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザが撮像装置１４に対して背を向けたときにも撮影できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。

ＨＭＤ１００は、情報処理装置１０にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。ＨＭＤ１００は、姿勢センサが検出したセンサデータを情報処理装置１０に送信し、また情報処理装置１０で生成された画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示する。

図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。

制御部１２０は、画像データや音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータや、マイク１２６からの音声データを、通信制御部１２８から情報処理装置１０に送信させる。

入力装置１６を詳細に説明する。図４（ａ）は、入力装置１６の上面を示す。ユーザは左手で左側把持部７８ｂを把持し、右手で右側把持部７８ａを把持して、入力装置１６を操作する。入力装置１６の筐体上面には、方向ボタン７１、アナログスティック７７ａ、７７ｂと、操作ボタン７６が設けられる。方向ボタン７１は、上ボタン７１ａ、左ボタン７１ｂ、下ボタン７１ｃおよび右ボタン７１ｄを含む。４種の操作ボタン７６には、それぞれを区別するために、異なる色で異なる図形が記されており、○ボタン７２には赤色の丸、×ボタン７３には青色のバツ、□ボタン７４には紫色の四角形、△ボタン７５には緑色の三角形が記されている。

右アナログスティック７７ａおよび左アナログスティック７７ｂは、方向および傾動量を入力するための入力部である。右アナログスティック７７ａおよび左アナログスティック７７ｂは、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。右アナログスティック７７ａを用いた押し込みによるボタン機能をＲ３ボタンと呼び、左アナログスティック７７ｂを用いた押し込みによるボタン機能をＬ３ボタンと呼ぶ。筐体上面において、方向ボタン７１と操作ボタン７６の間の平坦な領域には、タッチパッド７９が設けられる。タッチパッド７９は、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。

右アナログスティック７７ａおよび左アナログスティック７７ｂの間にはホームボタン８０が設けられる。ホームボタン８０は入力装置１６の電源をオンし、同時に情報処理装置１０と無線接続する通信機能をアクティブにするために使用される。入力装置１６が情報処理装置１０と接続した後は、ホームボタン８０は、情報処理装置１０にメニュー画面を表示させるためにも使用される。

ＳＨＡＲＥボタン８１は、タッチパッド７９の左側に設けられる。ＳＨＡＲＥボタン８１は、システムソフトウェアに対するユーザからの指示を入力するために利用される。ＯＰＴＩＯＮＳボタン８２は、タッチパッド７９の右側に設けられる。ＯＰＴＩＯＮＳボタン８２は、ゲームに対するユーザからの指示を入力するために利用される。ＳＨＡＲＥボタン８１およびＯＰＴＩＯＮＳボタン８２は、いずれもプッシュ式ボタンとして形成されてよい。

図４（ｂ）は、入力装置１６の奥側側面を示す。入力装置１６の筐体奥側側面の上側には、タッチパッド７９が筐体上面から折れ曲がって延設されている。筐体奥側側面において、Ｒ１ボタン８３ａ、Ｒ２ボタン８４ａと、Ｌ１ボタン８３ｂ、Ｌ２ボタン８４ｂとが長手方向の左右対称な位置に設けられる。Ｒ１ボタン８３ａ、Ｒ２ボタン８４ａは、それぞれユーザ右手の人差し指、中指により操作され、Ｌ１ボタン８３ｂ、Ｌ２ボタン８４ｂは、それぞれユーザ左手の人差し指、中指により操作される。上側のＲ１ボタン８３ａ、Ｌ１ボタン８３ｂはプッシュ式ボタンとして構成され、下側のＲ２ボタン８４ａ、Ｌ２ボタン８４ｂは回動支持されたトリガー式のボタンとして構成されてよい。

入力装置１６の筐体奥側側面の下側には、横長の第１発光部８５が設けられる。第１発光部８５は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のＬＥＤを有し、情報処理装置１０から送信される発光色情報にしたがって点灯する。不図示だが、入力装置１６の筐体手前側側面（言い換えれば上記の奥側側面に対向する面）には、第２発光部が設けられる。第２発光部も、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のＬＥＤを有し、情報処理装置１０から送信される発光色情報にしたがって点灯する。情報処理装置１０は、第１発光部８５と第２発光部とが識別容易になるように、第１発光部８５と第２発光部とを互いに異なる色で点灯するように制御してもよい。

図５は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、外部との入出力インタフェースとして、センサデータ受信部２０、撮影画像受信部２２、入力データ受信部２４、表示制御部５０および通信部４６を備える。情報処理装置１０は、さらにＨＭＤ情報取得部３０、視線方向検出部３２、受付部３４、画像生成部４０、属性記憶部４２、入力装置検出部４４および課金部４８を備える。

図５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

例えば、図５に示す複数の機能ブロックに対応する複数のモジュールを含むコンピュータプログラムが情報処理装置１０のストレージ（例えば記憶装置１３）にインストールされてもよい。情報処理装置１０のＣＰＵまたはＧＰＵは、そのコンピュータプログラムをメインメモリへ読み出して実行することにより各機能ブロックの機能を発揮してもよい。

実施例の情報処理装置１０は、動画視聴ソフトを実行し、サーバ３から提供されるライブ映像の視聴に関する各種データ処理を実行することとする。

入力データ受信部２４は入力装置１６から、ユーザが入力したキーデータを受信して、受付部３４に供給する。受付部３４はキーデータを、動画視聴アプリケーションに対する操作情報として画像生成部４０に提供する。

実施例の操作情報には、拡大表示における倍率（すなわち拡大率）を指定する操作が含まれる。課金部４８は、ユーザにより指定された拡大率が所定値以上（例えば３倍以上）の場合、ユーザへの課金処理を実行する。例えば、課金部４８は、インターネット等の通信網を介して接続された課金サーバに対してユーザの識別データと課金額とを送信することにより、ユーザへの課金を実行させてもよい。

センサデータ受信部２０は、ユーザが装着したＨＭＤ１００の姿勢センサ１２４から所定の周期でセンサデータを受信して、ＨＭＤ情報取得部３０に供給する。撮影画像受信部２２は、撮像装置１４から所定の周期でＨＭＤ１００を撮影した画像を受信して、ＨＭＤ情報取得部３０に供給する。たとえば撮像装置１４は（１／６０）秒ごとに前方の空間を撮影し、撮影画像受信部２２は、（１／６０）秒ごとに撮影画像を受信する。実施例においてＨＭＤ情報取得部３０は、センサデータおよび撮影画像を、ユーザの頭部に装着されたＨＭＤ１００の姿勢を示す姿勢情報として取得する。ＨＭＤ情報取得部３０は、取得した姿勢情報を、視線方向検出部３２と入力装置検出部４４に供給する。

視線方向検出部３２は、ＨＭＤ１００の姿勢情報に応じてユーザの視線方向を検出し、言い換えれば、ユーザの視線方向を決定する。具体的にＨＭＤ情報取得部３０は、姿勢センサ１２４のセンサデータから、ＨＭＤ１００の姿勢の変化を検出する。このときＨＭＤ情報取得部３０は３軸ジャイロセンサのセンサデータから、ＨＭＤ１００の姿勢変化を特定してよい。なおＨＭＤ情報取得部３０は、トラッキング用の発光マーカ１１０の撮影結果をさらに利用して、姿勢変化の検出精度を高めることが好ましい。視線方向検出部３２は、検出した視線方向を画像生成部４０に提供する。

入力装置検出部４４は、ＨＭＤ１００の姿勢情報に応じて、入力装置１６が現実空間における所定位置に存在する場合、そのことを検出する。具体的には、入力装置検出部４４は、ＨＭＤ１００の姿勢情報に含まれる撮影画像が示すＨＭＤ１００の発光マーカ１１０の位置に基づいて、現実の３次元空間におけるＨＭＤ１００の位置（例えば３次元座標値）を検出する。また、入力装置検出部４４は、ＨＭＤ１００の姿勢情報に含まれる撮影画像が示す入力装置１６の第１発光部８５および第２発光部の位置に基づいて、現実の３次元空間における入力装置１６の位置（例えば３次元座標値）を検出する。

入力装置検出部４４は、ＨＭＤ１００と入力装置１６との相対的な位置関係と、入力装置１６の向きとを検出する。入力装置検出部４４は、撮影画像に入力装置１６の第１発光部８５が撮像され、かつ、ＨＭＤ１００の近接位置に入力装置１６が存在する場合、入力装置１６の姿勢を「拡大操作姿勢」と検出し、拡大操作姿勢を示す入力装置情報を画像生成部４０に提供する。拡大操作姿勢は、入力装置１６の向きが被写体の拡大表示を指示する向きであり、かつ、入力装置１６がＨＭＤ１００の近接位置に存在することを示すものである。被写体の拡大表示を指示する向きは、入力装置１６に対して操作を入力する際の通常の向きであり、順方向とも言える。拡大操作姿勢は、被写体を拡大して見る場合の双眼鏡の姿勢に対応する。近接位置は、ＨＭＤ１００と入力装置１６との距離が予め定められた第１閾値（例えば１０センチ）未満であることでもよい。

また、入力装置検出部４４は、撮影画像に入力装置１６の第２発光部が撮像され、かつ、ＨＭＤ１００の上記近接位置に入力装置１６が存在する場合、入力装置１６の姿勢を「縮小操作姿勢」と検出し、縮小操作姿勢を示す入力装置情報を画像生成部４０に提供する。縮小操作姿勢は、入力装置１６の向きが被写体の縮小表示を指示する向きであり、かつ、入力装置１６がＨＭＤ１００の近接位置に存在することを示すものである。被写体の縮小表示を指示する向きは、入力装置１６に対して操作を入力する際の通常の向きとは反対の向きであり、逆方向ともいえる。縮小操作姿勢は、被写体を縮小して見る場合の双眼鏡の姿勢に対応する。

また、入力装置検出部４４は、撮影画像に入力装置１６の第１発光部８５が撮像され、かつ、ＨＭＤ１００の近傍位置に入力装置１６が存在する場合、入力装置１６の姿勢を「拡大準備姿勢」と検出し、拡大準備姿勢を示す入力装置情報を画像生成部４０に提供する。拡大準備姿勢は、入力装置１６の向きが被写体の拡大表示を指示する向きであり、かつ、入力装置１６がＨＭＤ１００の近傍位置に存在することを示すものである。近傍位置は、ＨＭＤ１００と入力装置１６との距離が、上記の第１閾値以上かつ第２閾値（例えば３０センチ）以下であることでもよい。

また、入力装置検出部４４は、撮影画像に入力装置１６の第２発光部が撮像され、かつ、ＨＭＤ１００の上記近傍位置に入力装置１６が存在する場合、入力装置１６の姿勢を「縮小準備姿勢」と検出し、縮小準備姿勢を示す入力装置情報を画像生成部４０に提供する。縮小準備姿勢は、入力装置１６の向きが被写体の縮小表示を指示する向きであり、かつ、入力装置１６がＨＭＤ１００の近傍位置に存在することを示すものである。

変形例として、入力装置１６には、加速度センサやジャイロセンサ等が搭載されてもよく、情報処理装置１０のセンサデータ受信部２０は、入力装置１６の各種センサからセンサデータを受信してＨＭＤ情報取得部３０に供給してもよい。ＨＭＤ情報取得部３０は、入力装置１６のセンサデータを含む姿勢情報を入力装置検出部４４に供給してもよい。入力装置検出部４４は、姿勢情報に含まれる入力装置１６のセンサデータに基づいて、現実空間における入力装置１６の位置および向きを検出し、その位置および向きに応じた上記４種の入力装置情報のいずれかを画像生成部４０に提供してもよい。

通信部４６は、ＡＰ１７を介して、サーバ３と通信する。実施例の通信部４６は、サーバ３から配信された広角の画像データであり、具体的には、通信部４６は、ユーザが視聴可能な複数種類の画像データ（例えばサッカー、野球、コンサート等のライブ映像のデータ）の中からユーザにより選択された画像データを受信する。通信部４６が受信した画像データを以下「パノラマ画像」とも呼ぶ。

また、通信部４６は、ユーザにより選択されたコンテンツの画像で表示されうる１つ以上のオブジェクトのそれぞれに関する属性データと、各オブジェクトの識別データをサーバ３から受信する。属性データは、表示対象オブジェクトが人の場合、氏名、年齢、趣味等を含んでもよい。各オブジェクトの識別データは、画像上で認識可能な各オブジェクトの特徴データであってもよい。例えば、顔の輪郭等の特徴データでもよく、背番号の数字等でもよい。属性記憶部４２は、１つ以上のオブジェクトそれぞれに関する属性データを、各オブジェクトの識別情報に対応付けて記憶する。

画像生成部４０は、ＨＭＤ１００に表示される仮想空間の画像を生成する。画像生成部４０は、サーバ３からライブ配信され、通信部４６により受信されたパノラマ画像に基づいて、左目用の画像と右目用の画像（以下、総称して「ライブ画像」とも呼ぶ。）を生成する。実施例におけるライブ画像は、実際には遠隔地の空間で行われているサッカー、野球、コンサート等の様子を示す画像（映像）である。画像生成部４０は、レンダリング処理を実行しなくてもよく、サーバ３から配信されたパノラマ画像から、左目用のライブ画像と右目用のライブ画像を抽出してもよい。

画像生成部４０は、視線方向検出部３２から提供される視線方向を、ユーザ（例えばスタジアムで試合を見ていると仮定される仮想のユーザキャラクタ）の視線を定める操作情報として利用する。また、画像生成部４０は、受付部３４から供給されるキーデータを、仮想のユーザキャラクタの動作を定める操作情報として利用する。実施例の動画視聴アプリケーションでは、ユーザが入力装置１６のキー入力によりキャラクタを動作させ、またＨＭＤ１００の向きを動かすことで、仮想のユーザキャラクタの視線方向を変えられる。

画像生成部４０は、ユーザの視線方向（またはユーザキャラクタの視線方向）に応じたライブ画像を生成する。例えば、画像生成部４０は、サーバ３から配信されたパノラマ画像におけるユーザの視線方向に合致する領域をライブ画像として抽出してもよい。また、画像生成部４０は、仮想のユーザキャラクタの位置に、ユーザキャラクタの視線方向を光軸とする仮想カメラを配置して、仮想カメラの画像を取得することで、左目用のライブ画像と右目用のライブ画像を生成してもよい。

表示制御部５０は、画像生成部４０により生成されたライブ画像をＨＭＤ１００に提供して、表示パネル１３０に表示させる。表示制御部５０は、入力装置１６が現実空間における予め定められた位置に存在することが入力装置検出部４４により検出された場合、ＨＭＤ１００に表示された画像の一部を拡大表示させる。実施例では、画像生成部４０と表示制御部５０とが連携して、入力装置１６の位置に応じた拡大画像の表示（言い換えれば視聴コンテンツの拡大表示）を実現する。

以下、ＨＭＤ１００に表示された画像の拡大表示について詳細に説明する。
図６は、ＨＭＤ１００に表示される画像の例を示す。同図は、現在進行中のサッカーの試合を映したライブ画像２００が表示されたＨＭＤ１００の画面を示している。

実施例の情報処理装置１０は、入力装置１６をあたかも双眼鏡であるように使用可能な操作環境をユーザに提供する。言い換えれば、ＨＭＤ１００を装着したユーザは、入力装置１６を双眼鏡であるかのように使用する。図７（ａ）および図７（ｂ）は、ＨＭＤ１００と入力装置１６との位置関係の例を示す。ユーザは、ＨＭＤ１００に表示された画像を拡大して見たいとき、それまで下位置に把持していた入力装置１６を通常操作の向きのままＨＭＤ１００の前方近接位置まで持ち上げる。入力装置１６が図７（ａ）に示す位置にあるとき、その位置が撮像装置１４を介して検出され、入力装置１６の姿勢が拡大準備姿勢であると検出される。その後に、入力装置１６が図７（ｂ）に示す位置に至ると、その位置が撮像装置１４を介して検出され、入力装置１６の姿勢が拡大操作姿勢であると検出される。

図８は、ＨＭＤ１００に表示される画像の例を示す。画像生成部４０は、入力装置１６が拡大準備姿勢（図７（ａ））であることが入力装置検出部４４により検出された場合、双眼鏡の外観を示す双眼鏡画像２０２を生成する。表示制御部５０は、ライブ画像２００の上に重ねて双眼鏡画像２０２を表示させる。

図９は、ＨＭＤ１００に表示される画像の例を示す。画像生成部４０は、入力装置１６が拡大操作姿勢（図７（ｂ））であることが入力装置検出部４４により検出された場合、そのときに表示中のライブ画像２００を分割した複数の領域のうち視線方向の中心に合致する領域を拡大して示す拡大画像２０４を生成する。画像生成部４０は、ユーザの視線方向の中心が画面の中心になるようにライブ画像２００を生成する場合、ライブ画像２００の中心近傍の領域を拡大対象の領域として決定してもよい。なお、画像の拡大には、最近傍補間等、公知の手法を使用してよい。

また、画像生成部４０は、公知の画像解析手法により、ライブ画像２００の拡大対象領域に存在するオブジェクト（人、モノ、キャラクタ等、「対象オブジェクト」とも呼ぶ。）の識別データを取得する。既述したように、識別データは、対象オブジェクトの輪郭等の特徴データでもよく、背番号等の数字でもよい。画像生成部４０は、取得した識別データに対応付けられた対象オブジェクトの属性データを属性記憶部４２から読み出す。画像生成部４０は、対象オブジェクトの属性データを示す属性情報画像２０５を生成する。

表示制御部５０は、ライブ画像２００の上に重ねて拡大画像２０４と属性情報画像２０５とを表示させる。拡大表示を指示したユーザは、拡大対象領域内の人やモノに興味を持っている可能性が高いと言える。そこで、拡大画像２０４を表示する際に拡大画像２０４の中に存在する対象オブジェクトの様々な属性情報を表示することにより、ユーザの利便性を高めることができる。

ユーザが、拡大表示における拡大率を指定するための所定の操作（以下「拡大率指定操作」とも呼ぶ。）を入力装置１６に入力すると、情報処理装置１０の受付部３４は、拡大率指定操作が入力されたこと、および、当該操作で指定された拡大率を示す操作情報を画像生成部４０に提供する。画像生成部４０は、拡大率指定操作で指定された拡大率にしたがって、ユーザの視線方向の中心近傍の領域を拡大した新たな拡大画像２０４を生成する。表示制御部５０は、新たな拡大率を指定する拡大率指定操作が入力された場合、入力前までの拡大率に基づく拡大画像２０４に代えて、新たな拡大率で生成された新たな拡大画像２０４を表示させる。

既述したように、課金部４８は、拡大率指定操作で指定された拡大率が所定値以上の場合、ユーザへの課金処理を実行する。これにより、ライブ映像の配信者、または、ライブ映像配信のためのプラットフォームを提供する事業者に対して、新たな収入の機会を提供することができる。

なお、表示制御部５０は、拡大率指定操作で指定された拡大率が課金対象となる値の場合、課金に対するユーザの同意を求めるメッセージや画像をＨＭＤ１００に表示させてもよい。画像生成部４０は、課金に同意する旨の操作が入力されたことを条件として、拡大率指定操作で指定された拡大率にしたがって拡大画像２０４を生成してもよく、表示制御部５０は、課金に同意する旨の操作が入力されたことを条件として、拡大率指定操作で指定された拡大率で生成された新たな拡大画像２０４を表示させてもよい。

入力装置１６の拡大操作姿勢（図７（ｂ））が維持される間、画像生成部４０は、ユーザの視線方向に応じたライブ画像２００の生成を繰り返すとともに、ユーザの視線方向の中心近傍の領域を拡大した拡大画像２０４の生成を繰り返す。表示制御部５０は、ＨＭＤ１００において、ライブ画像２００の表示を更新するとともに、拡大画像２０４の表示を更新する。

また、ユーザは、入力装置１６を拡大操作姿勢（図７（ｂ））にした状態で、拡大表示の対象となったオブジェクトを追尾して表示するように指示する所定の操作（特定のボタンの押下等、以下「追尾指示操作」）を入力可能である。表示制御部５０は、追尾指示操作が入力されたときに拡大表示対象の領域に存在するオブジェクト（以下「対象オブジェクト」と呼ぶ。）が時間の経過とともに移動する場合、言い換えれば、仮想３次元空間における対象オブジェクトの位置が変化する場合も、対象オブジェクトの拡大表示を継続する。また、表示制御部５０は、追尾指示操作が入力後に入力装置１６の拡大操作姿勢が解除されても、追尾指示操作入力時の対象オブジェクトの追尾および拡大表示を継続する。以下、対象オブジェクトを追尾して表示する画像を「追尾画像」と呼ぶ。

図１０は、ＨＭＤ１００に表示される画像の例を示す。同図の例では、ＨＭＤ１００の画面に、メインウィンドウ２０６と、メインウィンドウ２０６より小さいサブウィンドウ２０８ａおよびサブウィンドウ２０８ｂが設けられている。メインウィンドウ２０６には、ユーザの視線方向に応じて内容が逐次切り替わるライブ画像２００が表示される。サブウィンドウ２０８ａには、１回目の追尾指示操作に基づく追尾画像２１０ａが表示され、サブウィンドウ２０８ｂには、２回目の追尾指示操作に基づく追尾画像２１０ｂが表示される。このように追尾画像を表示することにより、ユーザは、所望の対象オブジェクトが移動する場合も、対象オブジェクトを見続けることが容易になる。

追尾画像を表示するための実施例の構成を説明する。拡大操作姿勢の入力装置１６に対してユーザが追尾指示操作を入力すると、情報処理装置１０の受付部３４は、追尾指示操作が入力されたことを示す操作情報を画像生成部４０に提供する。画像生成部４０は、拡大画像２０４に含まれる対象オブジェクトの特徴データに基づいて、パノラマ画像を分割した複数の領域の中で対象オブジェクトが含まれる領域を拡大対象領域として特定する。画像生成部４０は、公知の手法により、パノラマ画像の中から対象オブジェクトを検索してもよい。例えば、画像生成部４０は、対象オブジェクトが試合中のサッカー選手の場合、サーバ３から配信されたパノラマ画像の中で、上記選手の顔や背番号に関する特徴データが存在する領域を拡大対象領域として特定してもよい。

画像生成部４０は、拡大対象領域の画像を公知の手法で拡大することにより追尾画像２１０ａおよび追尾画像２１０ｂを生成する。表示制御部５０は、ＨＭＤ１００の画面におけるメインウィンドウ２０６にライブ画像２００を表示させ、サブウィンドウ２０８ａに追尾画像２１０ａを表示させ、サブウィンドウ２０８ｂに追尾画像２１０ｂを表示させる。画像生成部４０は、ライブ画像２００、追尾画像２１０ａ、追尾画像２１０ｂを合成した画像データを生成し、表示制御部５０は、その画像データをＨＭＤ１００へ送信して表示させてもよい。

このように、ユーザの視線方向に応じたライブ画像をメインコンテンツとしてメインウィンドウに表示させる一方、ユーザの視線方向には必ずしも対応しない追尾画像をサブコンテンツとしてサブウィンドウに表示させる。これにより、試合等のコンテンツ全体の様子を把握可能にしつつ、ユーザが所望の領域を拡大表示することができる。また、視線方向と表示内容が一致しないことに起因してユーザに酔いを感じさせてしまうことを抑制できる。

また、現実の双眼鏡では、接眼レンズ側から覗くことで遠くにあるものが近くにあるかのように拡大して見ることができるが、逆に、対物レンズ側から覗いた場合、遠くにあるものがさらに遠くにあるかのように見える。言い換えれば、対象物がより離れて見える。このような現実の双眼鏡の性質を踏まえ、実施例の表示制御部５０は、入力装置１６が第１方向に向けられた場合（実施例では拡大操作姿勢）、既述のように拡大表示を実行し、その一方、入力装置１６が第１方向と反対の第２方向に向けられた場合（実施例では縮小操作姿勢）、それまで表示された画面より画面遷移における上位階層の画面を表示させる。これにより、現実に即した直感的な操作環境をユーザへ提供することができる。

実施例では、上位階層の画面として、サッカーの試合等を示すコンテンツ画面をアイコンレベルまで小さくし、複数のコンテンツに対応する複数のアイコンを並べたコンテンツ選択画面を表示させる。なお、コンテンツ画面は、ユーザが選択した特定のチャンネルのコンテンツを表示する画面であってもよい。また、上位階層の画面として、ユーザが視聴可能な複数の放送チャンネルに対応する複数のアイコンを並べたチャンネル選択画面を表示させてもよい。また、上位階層の画面として、ユーザが選択可能な複数のメニュー（言い換えれば機能）に対応する複数のアイコンを並べたメニュー選択画面を表示させてもよい。

図１１（ａ）は、ＨＭＤ１００と入力装置１６との位置関係の例を示す図である。ユーザは、現在視聴しているコンテンツ画面から上位階層のコンテンツ選択画面に遷移させたい場合、入力装置１６を通常操作とは反対方向へ向けつつＨＭＤ１００の前方近接位置まで持ち上げる。図１１（ａ）に示す位置に入力装置１６が至ると、入力装置１６の姿勢が縮小操作姿勢として検出される。

図１１（ｂ）は、コンテンツ選択画面の例を示す。コンテンツ選択画面２１４は、例えば、ユーザが選択可能な複数種類のライブ映像を示す複数のコンテンツアイコン２１６を含む。ユーザは、所望のコンテンツを示すコンテンツアイコン２１６を選択することで所望のコンテンツをＨＭＤ１００で視聴することができる。

画像生成部４０は、入力装置１６が縮小操作姿勢であることが入力装置検出部４４により検出された場合、コンテンツ選択画面のデータを生成する。例えば、画像生成部４０は、通信部４６を介して、サーバ３が現在配信中の複数種類のライブ映像に関する情報を取得してもよい。画像生成部４０は、それら複数のライブ映像を示す複数のコンテンツアイコン２１６を選択可能な態様で並べたコンテンツ選択画面２１４を生成してもよい。画像生成部４０は、入力装置１６が縮小操作姿勢であることが入力装置検出部４４により検出された場合、画像生成部４０により生成されたコンテンツ選択画面２１４を、それまでのライブ画像２００に代えてＨＭＤ１００に表示させる。

なお、画像生成部４０は、入力装置１６が縮小準備姿勢であることが入力装置検出部４４により検出された場合、図８の双眼鏡画像２０２とは逆方向を向いた双眼鏡画像を生成してもよい。表示制御部５０は、図８の双眼鏡画像２０２とは逆方向を向いた双眼鏡画像をライブ画像２００の上に重ねて表示させてもよい。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記実施例では、入力装置１６が縮小操作姿勢になった場合、コンテンツ画面より上位階層のコンテンツ選択画面を表示した。変形例として、表示制御部５０は、入力装置１６が縮小操作姿勢の場合、それまで表示させた画像より広角の画像を表示させるようにコンテンツ画面を更新してもよい。

例えば、画像生成部４０は、入力装置１６が縮小操作姿勢になった場合、サーバ３から配信されたパノラマ画像の中でライブ画像として抽出する領域をそれまでより大きくしてもよい。なお、画像生成部４０は、抽出した領域の画像をＨＭＤ１００の画面サイズ等にあわせて調整することで、ＨＭＤ１００で表示可能な広角のライブ画像を生成してもよい。表示制御部５０は、入力装置１６が縮小操作姿勢になった場合、画像生成部４０により生成された広角のライブ画像をＨＭＤ１００に表示させてもよい。

既述したように、現実の双眼鏡を対物レンズ側から覗いた場合、対象物がより離れて見える。この変形例の態様によると、現実に即した直感的な操作環境をユーザへ提供することができる。

上記実施例では、入力装置１６を用いた画像の拡大操作に際し、ＨＭＤ１００に双眼鏡画像２０２を表示させた（図８）。変形例として、表示制御部５０は、他の種類の光学機器の外観を示す画像を仮想３次元空間内に表示させてもよい。例えば、表示制御部５０は、他の種類の光学機器として、虫眼鏡またはカメラ（スチルカメラ）の画像を表示させてもよい。

入力装置１６を用いた画像の拡大操作に際してカメラの画像を表示させる場合、表示制御部５０は、ユーザによる拡大率指定操作入力時に、当該カメラのレンズを指定された拡大率用のレンズへ交換する内容の画像（動画もしくは静止画）を表示させてもよい。また、カメラのレンズが交換された場合（すなわち拡大率が変更された場合）、もしくは所定の拡大率以上のレンズへ交換された場合、課金部４８は、ユーザへの課金処理を実行してもよい。

上記実施例では言及していないが、変形例として、情報処理装置１０は、画像保存部と保存画像送信部をさらに備えてもよい。画像保存部は、拡大画像２０４または追尾画像の保存を指示する所定の操作（「保存指示操作」と呼ぶ。）が入力された場合に、拡大画像２０４または追尾画像を情報処理装置１０の所定の記憶領域へ保存してもよい。画像保存部により保存された画像を「保存画像」と呼ぶ。保存画像は、動画であってもよく、静止画であってもよく、ユーザによる選択が可能であってもよい。

保存画像送信部は、ユーザの指示に応じて、情報処理装置１０に記憶された保存画像のデータを情報処理装置１０とは別の電子機器へ送信する。例えば、保存画像送信部は、通信部４６を介して、インターネット上の画像共有サーバへ保存画像のデータを送信（アップロード）してもよい。

上記実施例では言及していないが、拡大画像２０４の表示中に、ユーザは、予め定められた継続指示操作を入力可能であってもよい。画像生成部４０は、継続指示操作入力時の拡大対象領域を拡大表示する拡大画像２０４を、ユーザの視線方向の変化にかかわらず、継続して生成ししてもよい。すなわち、画像生成部４０は、入力装置１６が拡大操作姿勢になったときのユーザの視線方向に合致する領域の様子を示す拡大画像２０４を、入力装置１６の拡大操作姿勢が解除された後も継続して生成してもよい。表示制御部５０は、ＨＭＤ１００の画面におけるサブウィンドウに拡大画像２０４を表示させてもよい。

上記実施例では実写の映像をＨＭＤ１００に表示させたが、実写に限らずゲーム（例えばファーストパーソン・シューティングゲーム（First Person shooter））やアニメーション等の映像をＨＭＤ１００に表示させる場合にも、実施例の拡大表示技術を適用可能なことはもちろんである。

上記実施例では、ＨＭＤ１００の画面におけるライブ画像、拡大画像等の表示を情報処理装置１０が制御した。変形例として、ＨＭＤ１００自身が、ライブ画像、拡大画像等の表示を制御してもよい。この場合、ＨＭＤ１００は、実施例（例えば図５）に記載の情報処理装置１０の機能をさらに備えてもよい。

上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

１０ 情報処理装置、 １６ 入力装置、 ３２ 視線方向検出部、 ４０ 画像生成部、 ４２ 属性記憶部、 ４４ 入力装置検出部、 ４８ 課金部、 ５０ 表示制御部。

Claims (11)

1. ヘッドマウントディスプレイに表示される仮想空間の画像を生成する画像生成部と、
   前記仮想空間の画像を前記ヘッドマウントディスプレイに表示させる表示制御部と、
   本情報処理装置に対してユーザが操作を入力するための入力装置が、現実空間における所定位置に存在する場合、そのことを検出する入力装置検出部と、
   を備え、
   前記表示制御部は、前記入力装置が前記所定位置に存在する場合、前記ヘッドマウントディスプレイに表示される画像の一部を拡大表示させることを特徴とする情報処理装置。
2. 前記表示制御部は、前記入力装置がヘッドマウントディスプレイの近接位置に存在する場合、拡大表示を実行することを特徴とする請求項１に記載の情報処理装置。
3. 前記仮想空間の画像に含まれうる１つ以上のオブジェクトのそれぞれに関する属性情報を記憶する記憶部をさらに備え、
   前記表示制御部は、拡大表示対象の領域に存在するオブジェクトに関する属性情報を前記ヘッドマウントディスプレイにさらに表示させることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記表示制御部は、拡大表示対象の領域に存在するオブジェクトが移動する場合も、当該オブジェクトの拡大表示を継続することを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 前記ヘッドマウントディスプレイを装着したユーザの視線方向を検出する視線方向検出部をさらに備え、
   前記表示制御部は、ユーザの視線方向に応じた仮想空間を示す第１画像と、前記オブジェクトを拡大表示した第２画像を別の領域に表示させることを特徴とする請求項４に記載の情報処理装置。
6. 課金部をさらに備え、
   前記表示制御部は、複数種類の拡大率のうちユーザにより指定された拡大率にて拡大表示を実行し、
   前記課金部は、ユーザにより指定された拡大率が所定値以上の場合、ユーザへの課金処理を実行することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
7. 前記表示制御部は、現実空間における前記入力装置の位置に応じて、所定の光学機器を示す画像を仮想空間内に表示させることを特徴とする請求項１から６のいずれかに記載の情報処理装置。
8. 前記表示制御部は、前記入力装置が第１方向に向けられた場合、拡大表示を実行する一方、前記入力装置が前記第１方向とは反対の第２方向に向けられた場合、それまで表示させた画像より広角の画像を表示させることを特徴とする請求項１から７のいずれかに記載の情報処理装置。
9. 前記表示制御部は、前記入力装置が第１方向に向けられた場合、拡大表示を実行する一方、前記入力装置が前記第１方向とは反対の第２方向に向けられた場合、それまで表示された画面より画面遷移における上位階層の画面を表示させる請求項１から７のいずれかに記載の情報処理装置。
10. 情報処理装置が、
    ヘッドマウントディスプレイに表示される仮想空間の画像を生成するステップと、
    前記仮想空間の画像を前記ヘッドマウントディスプレイに表示させるステップと、
    前記情報処理装置に対してユーザが操作を入力するための入力装置が、現実空間における所定位置に存在する場合、そのことを検出するステップと、
    前記入力装置が前記所定位置に存在する場合、前記ヘッドマウントディスプレイに表示される画像の一部を拡大表示させるステップと、
    を実行することを特徴とする画像表示方法。
11. 情報処理装置に、
    ヘッドマウントディスプレイに表示される仮想空間の画像を生成する機能と、
    前記仮想空間の画像を前記ヘッドマウントディスプレイに表示させる機能と、
    前記情報処理装置に対してユーザが操作を入力するための入力装置が、現実空間における所定位置に存在する場合、そのことを検出する機能と、
    前記入力装置が前記所定位置に存在する場合、前記ヘッドマウントディスプレイに表示される画像の一部を拡大表示させる機能と、
    を実現させるためのコンピュータプログラム。

Images