JP2018165985A - 情報処理装置および画像生成方法 - Google Patents

Abstract

【課題】ヘッドマウントディスプレイに適した表示制御を実現する技術を提供する。【解決手段】動き検出部３０は、ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を検出し、視線方向決定部３２は、検出されたヘッドマウントディスプレイの姿勢に応じて視線方向を定める。画像生成部３４は、定めた視線方向にもとづく画像を生成し、画像提供部３６は、生成した画像をヘッドマウントディスプレイに提供する。指示取得部２４は、入力装置６から視線方向の切替指示を取得する。指示取得部２４が切替指示を取得すると、視線方向決定部３２は、視線方向を不連続に変更する。【選択図】図５

Description

本発明は、ヘッドマウントディスプレイに表示する画像を生成する技術に関する。

ヘッドマウントディスプレイ（ＨＭＤ）はユーザの頭部に装着されて仮想現実（ＶＲ）の世界をユーザに提供する。最近ではユーザがＨＭＤに表示された画面を見ながらゲームをプレイできるアプリケーションも登場している。テレビなどの従来型の据え置き型のディスプレイでは画面外側にもユーザの視野範囲が広がるため、ユーザが画面に集中できなかったり、ゲームへの没入感を欠くことがある。その点、ＨＭＤを装着すると、ＨＭＤに表示される映像しかユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。ＨＭＤにヘッドトラッキング機能をもたせ、ユーザの頭部の姿勢と連動して表示画面を更新するようにすると、さらに映像世界への没入感が向上する。

近年、上下左右全方位の３６０度パノラマ写真を撮影する全天球カメラ（全方位カメラ）が普及している。また遠隔操縦可能な無人飛行物体の開発も進められており、このような飛行物体に複数カメラを搭載することで、空中から上下左右全方位のパノラマ写真を撮影できる。このように撮影された全方位パノラマ画像をＨＭＤに表示させ、ヘッドトラッキング機能によりユーザの頭部の姿勢と連動して表示画面を更新することで、現実の場所にいるかのような感覚をユーザに与えられることが期待される。

特開２０１５−９５０４５号公報

映像の臨場感を高めるための最近の動向として、ＨＭＤの視野角を広くする開発が活発化している。視野角が８０度を超えるＨＭＤが既に市販されており、広視野角のＨＭＤは、実世界と遜色ない映像世界をユーザに提供する。

本発明者は、広視野角のＨＭＤにおける画像表示を様々試した結果、画像の見せ方によっては、ユーザが酔うような感覚に陥る可能性があることを認識した。本明細書では、このような感覚を「画像酔い（motion sickness, simulator sickness）」と呼ぶことにする。同じ画像をテレビ画面で見ている場合には画像酔いが生じなくても、ＨＭＤの画面では画像酔いが生じることがあった。また表示画像にメニューなどの情報要素を含ませる場合に、情報要素の提示の仕方によっては、ユーザに違和感を生じさせることも認識した。本発明者は、様々な試行により得られた知見に基づいて、ＨＭＤに適した表示制御を想到するに至った。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ＨＭＤに適した表示制御を実現する技術を提供することにある。

上記課題を解決するために、本発明のある態様の情報処理装置は、ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を検出する検出部と、検出部により検出されたヘッドマウントディスプレイの姿勢に応じて、視線方向を定める視線方向決定部と、定めた視線方向にもとづく画像を生成する画像生成部と、生成した画像をヘッドマウントディスプレイに提供する画像提供部と、入力装置から視線方向の切替指示を取得する指示取得部とを備える。指示取得部が切替指示を取得すると、視線方向決定部は、視線方向を不連続に変更する。

本発明の別の態様は、画像生成方法である。この方法は、ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を検出するステップと、検出したヘッドマウントディスプレイの姿勢に応じて、視線方向を定めるステップと、定めた視線方向にもとづく画像を生成するステップと、入力装置から視線方向の切替指示を取得するステップと、を有する。視線方向を定めるステップは、切替指示が取得されると、視線方向を不連続に変更する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ＨＭＤに適した表示制御を実現する技術を提供できる。

実施例における情報処理システムの構成例を示す図である。 情報処理装置におけるレンダリング処理の説明図である。 ＨＭＤの外観形状の例を示す図である。 ＨＭＤの機能ブロックを示す図である。 情報処理装置の機能ブロックを示す図である。 画像記憶部に記憶されるパノラマ画像データを説明するための図である。 表示画像を示す図である。 表示画像を示す図である。 表示画像を示す図である。 入力装置の上面、奥側側面を示す図である。 表示画像を示す図である。 切替前後の表示画像を示す図である。 表示画像に情報要素を重畳表示した例を示す図である。 情報要素がパノラマ画像とともに動く様子を示す図である。 パノラマ画像に重畳表示される情報要素を示す図である。 パノラマ画像に重畳表示される情報要素を示す図である。

図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は、情報処理装置１０と、ユーザが頭部に装着するヘッドマウントディスプレイ装置（ＨＭＤ）１００と、ユーザが手指で操作する入力装置６と、ＨＭＤ１００を装着したユーザを撮影する撮像装置７と、画像を表示する出力装置４とを備える。

実施例において情報処理装置１０は、処理装置１２、出力制御装置１４を備える。ここで処理装置１２は、ユーザにより操作された入力装置６の操作情報を受けて、ゲームなど様々なアプリケーションを実行する端末装置である。処理装置１２と入力装置６とはケーブルで接続されても、既知の無線通信技術により接続されてもよい。出力制御装置１４はＨＭＤ１００に対して画像データを出力する処理ユニットである。出力制御装置１４とＨＭＤ１００とはケーブルで接続されても、既知の無線通信技術により接続されてもよい。

撮像装置７はＨＭＤ１００を装着したユーザを撮影して、処理装置１２に提供する。撮像装置７はステレオカメラであってよい。後述するがＨＭＤ１００には、ユーザ頭部のトラッキングを実現するためのマーカ（トラッキング用ＬＥＤ）が搭載されており、処理装置１２は、撮影したマーカの位置にもとづいて、ＨＭＤ１００の動きを検出する。なおＨＭＤ１００には姿勢センサ（加速度センサ、ジャイロセンサ）も搭載され、処理装置１２は、姿勢センサで検出されたセンサ情報をＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実現する。

情報処理システム１において、ユーザはＨＭＤ１００に表示された画像を見るため、出力装置４は必ずしも必要ではないが、出力制御装置１４または処理装置１２は、ＨＭＤ１００に表示させる画像と同じ画像を、出力装置４から出力させてもよい。これによりユーザがＨＭＤ１００で見ている画像を、別のユーザが出力装置４で見ることができる。なお後述するがＨＭＤ１００に表示させる画像には、光学レンズの歪み補正が施されているため、歪み補正を行っていない画像が出力装置４から出力される必要がある。

情報処理システム１において、処理装置１２、出力装置４、入力装置６および撮像装置７は、従来型のゲームシステムを構築してよい。この場合、処理装置１２は、ゲームなどのアプリケーションを実行するゲーム装置であり、入力装置６はゲームコントローラ、キーボード、マウス、ジョイスティックなど処理装置１２にユーザの操作情報を供給する機器であってよい。このゲームシステムの構成要素に、出力制御装置１４およびＨＭＤ１００を追加することで、仮想現実（ＶＲ）アプリケーションを実行する情報処理システム１が構成される。

なお出力制御装置１４による機能は、ＶＲアプリケーションの一部の機能として処理装置１２に組み込まれてもよい。つまり情報処理装置１０は、１台の処理装置１２から構成されても、また処理装置１２および出力制御装置１４から構成されてもよい。以下においては、ＶＲアプリケーションの実現に必要な処理装置１２、出力制御装置１４の機能をまとめて、情報処理装置１０の機能として説明する。

情報処理装置１０はＨＭＤ１００に表示させる画像データを生成する。実施例において情報処理装置１０は、全天球カメラで撮影された上下左右全方位の３６０度パノラマ画像を用意し、ユーザの頭部に装着されたＨＭＤ１００の姿勢から定まる視線方向にもとづいて生成した画像をＨＭＤ１００に表示させる。なお表示コンテンツは、静止画または動画のいずれであってもよい。また実撮影された画像に限るものでもなく、ゲームアプリケーションによりリアルタイムで描画されたものであってもよい。

ＨＭＤ１００は、ユーザが頭に装着することによりその眼前に位置する表示パネルに、光学レンズを通して画像を表示する表示装置である。ＨＭＤ１００は、表示パネルの左半分には左目用の画像を、右半分には右目用の画像をそれぞれ独立して表示する。これらの画像は、左右の視点から見た視差画像を形成し、表示パネルを２分割してなる左右の領域にそれぞれ表示させることで、画像を立体視させることができる。なおユーザは光学レンズを通して表示パネルを見るために、情報処理装置１０は、予めレンズによる光学歪みを補正した画像データをＨＭＤ１００に供給する。情報処理装置１０において、この光学歪みの補正処理は、処理装置１２、出力制御装置１４のいずれが行ってもよい。

図２は、情報処理装置１０におけるレンダリング処理の説明図である。実施例のＶＲアプリケーションでは、ユーザが球体の中心に位置し、視線の方向を変更することで、見える画像が変更される仮想環境を実現する。画像素材であるコンテンツ画像は、ユーザが位置する中心点９を中心とする仮想球体の内周面に貼り付けられている。ここでコンテンツ画像は、全天球カメラで撮影された上下左右全方位の３６０度パノラマ画像であり、コンテンツ画像の天地と仮想球体の天地とが一致するように仮想球体の内周面に貼り付けられる。これによりユーザの実世界の天地と、ＨＭＤ１００に提供される映像世界の天地とが揃えられ、リアルな映像世界を再現するＶＲアプリケーションが実現される。

情報処理装置１０は、ユーザのヘッドトラッキング処理を行うことで、ユーザ頭部（実際にはＨＭＤ１００）の回転角度および傾きを検出する。ここでＨＭＤ１００の回転角度とは、水平面の基準方向に対する回転角度であり、基準方向は、たとえばＨＭＤ１００の電源がオンされたときに向いている方向として設定されてよい。またＨＭＤ１００の傾きとは、水平面に対する傾斜角度である。ヘッドトラッキング処理として既知の技術が利用されてよく、情報処理装置１０は、ＨＭＤ１００の姿勢センサが検出したセンサ情報のみから、ＨＭＤ１００の回転角度および傾きを検出でき、さらに撮像装置７で撮影したＨＭＤ１００のマーカ（トラッキング用ＬＥＤ）を画像解析することで、高精度にＨＭＤ１００の回転角度および傾きを検出できる。

情報処理装置１０は、検出したＨＭＤ１００の回転角度および傾きにしたがって、仮想球体における仮想カメラ８の姿勢を定める。仮想カメラ８は、仮想球体の中心点９から仮想球体の内周面を撮影するように配置されており、情報処理装置１０は、検出した回転角度および傾きと、仮想球体における仮想カメラ８の光軸の回転角度および傾きを一致させる。情報処理装置１０は、仮想カメラ８の撮影画像５を取得し、つまりレンダリング処理を行って、光学レンズ用の光学歪み補正を施し、ＨＭＤ１００に画像データを供給する。なお図２においては１つの仮想カメラ８が示されているが、実際には左目用と右目用の２つの仮想カメラ８が配置されて、それぞれの画像データが生成される。

図３は、ＨＭＤ１００の外観形状の例を示す。この例においてＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造とする。

出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する位置に表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどで実現する。筐体１０８内部にはさらに、ＨＭＤ１００装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。

筐体１０８の外面には、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置７により撮影されて、情報処理装置１０が画像解析可能なものであればよい。発光マーカ１１０の数や配置は特に限定されないが、撮影されて画像解析されることで、ＨＭＤ１００の姿勢（回転角度および傾き）が検出されるような数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザが撮像装置７に対して背を向けたときにも撮像できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。

ＨＭＤ１００は、情報処理装置１０にケーブルで接続されても、既知の無線通信技術により接続されてもよい。ＨＭＤ１００は、姿勢センサが検出したセンサ情報を情報処理装置１０に送信し、また情報処理装置１０で生成された画像データを受信して、表示パネルに表示する。

なお図３に示すＨＭＤ１００は、両目を完全に覆う没入型（非透過型）のディスプレイ装置を示すが、透過型のディスプレイ装置であってもよい。また形状としては、図示されるような帽子型であってもよいが、眼鏡型であってもよい。

図４は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサ情報などの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の回転角度や傾きなどの姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。マイク１２６は、ユーザの声を電気信号に変換する。発光マーカ１１０は、ＬＥＤであって、ＨＭＤ１００の装着バンド１０６や筐体１０８に複数取り付けられる。

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から入力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。

制御部１２０は、画像データや音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。また制御部１２０は、姿勢センサ１２４からのセンサ情報や、マイク１２６からの音声データを、通信制御部１２８から情報処理装置１０に送信させる。

図５は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、外部との入力インタフェースとして、センサ情報取得部２０、撮影画像取得部２２および指示取得部２４を備える。センサ情報取得部２０は、ＨＭＤ１００の姿勢センサ１２４から所定の周期でセンサ情報を取得する。撮影画像取得部２２は、撮像装置７から所定の周期でＨＭＤ１００を撮像した撮影画像を取得する。たとえば撮像装置７は（１／６０）秒ごとに撮影し、撮影画像取得部２２は、（１／６０）秒ごとに撮影画像を取得する。指示取得部２４は、入力装置６から、ユーザが入力した指示を取得する。

情報処理装置１０は、さらに動き検出部３０、視線方向決定部３２、画像生成部３４、画像提供部３６を備える。動き検出部３０は、ユーザの頭部に装着されたＨＭＤ１００の姿勢を検出する。視線方向決定部３２は、動き検出部３０により検出されたＨＭＤ１００の姿勢に応じて視線方向を定める。画像生成部３４は、検出されたＨＭＤ１００の姿勢に応じて画像を生成し、具体的には、視線方向決定部３２が定めた視線方向にもとづく画像を生成する。画像提供部３６は、生成した画像をＨＭＤ１００に提供する。

図５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像記憶部４０は、予め撮影された３６０度パノラマ画像データを記憶する。画像記憶部４０は複数のコンテンツ画像を記憶してよく、コンテンツ画像は静止画像であっても、動画像であってもよい。実施例の画像記憶部４０は、上下左右全方位のパノラマ画像データを記憶しており、情報処理装置１０は、ＨＭＤ１００を装着したユーザに、全方位のパノラマ画像を提供する。したがってユーザが首を左または右に回し（ユーザが体ごと左回りまたは右回りに回転してもよい）水平方向の視線を左または右に回転させることで、左方向または右方向のパノラマ画像がＨＭＤ１００の表示パネル１３０に表示され、またユーザが首を上または下に傾けて、垂直方向に視線を傾けることで、上方向または下方向のパノラマ画像がＨＭＤ１００の表示パネル１３０に表示されるようになる。

情報要素記憶部４２は、パノラマ画像に含める情報要素を記憶する。この情報要素はたとえば、コンテンツ画像の輝度などを変更させるためのメニュー項目であったり、または画像素材であるコンテンツ画像を選択するためのメニュー項目であってもよい。ユーザが入力装置６に情報要素の表示指示を入力すると、画像生成部３４が、生成する画像に情報要素を含め、パノラマ画像に重畳された情報要素がＨＭＤ１００の表示パネル１３０に表示される。なお情報要素はユーザに対する通知情報であってもよく、この場合、情報要素はユーザによる入力装置６の操作によらずに、パノラマ画像に重畳されてよい。

図６は、画像記憶部４０に記憶されるパノラマ画像データを説明するための図である。なお説明の便宜上、図６は、上下左右全方位のパノラマ画像データの一部を示し、水平面から下向きの画像の一部、および左右方向の画像の一部を省略している。図２に関して説明したように、ＨＭＤ１００の表示パネル１３０には、仮想球体の内周面に貼り付けられたパノラマ画像をレンダリングした画像が表示され、ユーザがＨＭＤ１００の回転角度および傾きを動かして視線方向を変化させることで、表示されるパノラマ画像が視線方向に応じて動かされる。

ＨＭＤ１００において通信制御部１２８は、所定の周期で、姿勢センサ１２４により取得したセンサ情報を情報処理装置１０に送信する。また撮像装置７は、ＨＭＤ１００を所定の周期で撮像し、撮影画像を情報処理装置１０に送信する。図５を参照して、センサ情報取得部２０は、姿勢センサ１２４のセンサ情報を取得し、動き検出部３０に供給する。また撮影画像取得部２２は、撮影画像を取得し、動き検出部３０に供給する。

動き検出部３０は、ＨＭＤ１００の姿勢を検出することで、ＨＭＤ１００を装着したユーザの頭部の姿勢を検出するヘッドトラッキング処理を行う。このヘッドトラッキング処理は、ユーザの頭部の姿勢に、ＨＭＤ１００の表示パネル１３０に表示する視野を連動させるために行われる。実施例のヘッドトラッキング処理では、ＨＭＤ１００の水平基準方向に対する回転角度と、水平面に対する傾き角度とが検出される。水平基準方向は、たとえばＨＭＤ１００の電源がオンされたときに向いている方向として設定されてよい。

このヘッドトラッキング処理は既知の手法を利用し、動き検出部３０は、姿勢センサ１２４のセンサ情報のみからＨＭＤ１００の水平基準方向に対する回転角度と、水平面に対する傾き角度とを検出してよいが、トラッキング用の発光マーカ１１０の撮影結果をさらに利用して、検出精度を高めることが好ましい。動き検出部３０は、所定の周期で回転角度および傾き角度を検出する。たとえばＨＭＤ１００に供給する画像が６０ｆｐｓであれば、動き検出部３０の検出処理も（１／６０）秒の周期で実行されることが好ましい。

視線方向決定部３２は、動き検出部３０により検出されたＨＭＤ１００の姿勢に応じて、視線方向を定める。この視線方向は、ユーザの視線方向であり、ひいては仮想球体の中心点９に配置される仮想カメラ８の視線方向（光軸方向）である（図２参照）。ここで視線方向決定部３２は、動き検出部３０により検出された回転角度および傾き角度を、そのまま仮想カメラ８の視線方向（光軸方向）として決定してもよく、また何らかの補正処理を行って仮想カメラ８の視線方向を決定してもよい。たとえばセンサ情報にノイズがのるなどして、安定したセンサ情報が動き検出部３０に提供されない場合、動き検出部３０は、ユーザ頭部が動いてないにもかかわらず、振動するような動きを検出する可能性がある。そのような場合、視線方向決定部３２は、動き検出部３０により検出された動きを平滑補正して、視線方向を定めてもよい。

また人間の視野は上下が非対称で、視線の上側より下側が若干広くなっている。そのため視線方向決定部３２は、動き検出部３０により検出された傾き角度を若干下側に傾けて、仮想カメラ８の視線方向を定めてもよい。

画像生成部３４は、動き検出部３０が検出したＨＭＤ１００の姿勢に応じて画像を生成し、具体的には視線方向決定部３２が定めた仮想カメラ８の視線方向にもとづく画像を生成する。画像生成部３４は、視線方向により特定される左目用の視野と右目用の視野とを画定し、左目用と右目用の画像をそれぞれレンダリングして生成する。このとき画像生成部３４は、表示パネルからの画像光が光学レンズを通過することによる歪みを補正したパノラマ画像を生成する。

実施例のＨＭＤ１００は、水平方向に約１００度、垂直方向に約１００度の視野をユーザに提供する。図２を参照して、仮想球体において撮影画像５は、水平方向に約１００度、垂直方向に約１００度の画角で撮影され、ＨＭＤ１００の表示パネル１３０に表示される。なお上記したように人間の視野は、視線の上側より下側が若干広くなっていることから、ＨＭＤ１００において光学レンズおよび表示パネル１３０は、目の正対方向に対して５度傾けられて、上側４５度、下側５５度の垂直視野を、光学レンズおよび表示パネル１３０の配置により実現してもよい。

図７は、画像生成部３４により生成される表示画像２００ａを示す。なお以下の図面においては、パノラマ画像全体の中での表示画像の位置関係の理解を容易にするために、表示画像をパノラマ画像において切り出す画像として表現している。

画像生成部３４は、視線方向決定部３２が定めた視線方向２０２ａにもとづく画像を生成する。なお実際には画像生成部３４は、左目用の表示画像と右目用の表示画像をそれぞれレンダリングして生成し、これらの表示画像は互いに視差を含む異なる画像であるが、以下では両目用の画像をそれぞれ生成することについて特に説明しない。画像提供部３６は、画像生成部３４が生成した表示画像２００ａをＨＭＤ１００に提供する。ＨＭＤ１００において制御部１２０は表示画像２００ａを表示パネル１３０に表示させ、これによりユーザは、表示パネル１３０に表示される表示画像２００ａを見ることができる。

図８は、画像生成部３４により生成される表示画像２００ｂを示す。視線方向決定部３２はＨＭＤ１００の姿勢に応じて視線方向を定め、画像生成部３４は、定めた視線方向にもとづいて画像を生成する。この例では、ユーザが水平方向に首を左回りに回して、視線が視線方向２０２ａから視線方向２０２ｂに連続して変化した様子を示す。ここではユーザが頭部を左回りに約６０度回転し、この回転動作により、画像生成部３４は、表示画像２００ａから左回り方向に連続してパノラマ画像を動かす画像を（１／６０）秒の周期で生成する。画像提供部３６は、生成された画像を（１／６０）秒の周期でＨＭＤ１００に提供する。

図９は、画像生成部３４により生成される表示画像２００ｃを示す。視線方向決定部３２はＨＭＤ１００の姿勢に応じて視線方向を定め、画像生成部３４は、定めた視線方向にもとづいて画像を生成する。この例では、表示画像２００ａが表示パネル１３０に表示された状態からユーザが上向きに首を傾けて、視線が視線方向２０２ａから視線方向２０２ｃに連続して変化した様子を示す。ここではユーザが頭部を上向きに約３０度傾け、この傾斜動作により、画像生成部３４は、表示画像２００ａから上向き方向に連続してパノラマ画像を動かす画像を（１／６０）秒の周期で生成する。画像提供部３６は、生成された画像を（１／６０）秒の周期でＨＭＤ１００に提供する。

このようにユーザは頭部を動かすことで視線方向を変化させ、情報処理装置１０が、見たい方向のパノラマ画像をＨＭＤ１００に提供して、表示パネル１３０に表示させる。頭部を動かすことで視線方向を変化させることは現実世界の動作と同じであり、ユーザの感覚に合致する。このときＨＭＤ１００がユーザに広視野角を提供することで、パノラマ画像に対する没入感をさらに高められる。

一方で、たとえば真後ろのパノラマ画像を見るためには、ユーザは当然のことながら真後ろを向かなければならない。真後ろを向くためには、首を回転するだけでは足りないため、体の向きを変える必要がある。そのためユーザがソファなどの非回転式の椅子に座っていると、ユーザは立ち上がって体の向きを変えなければならない。またＨＭＤ１００が非透過型のディスプレイ装置である場合、ユーザは両目を筐体１０８で覆われており、周囲の環境を見ることができないため、足を動かして体の向きを変えることには若干の抵抗を感じることがある。

そこで実施例では、ユーザが入力装置６から視線方向の切替指示を入力できるようにして、ユーザが頭部を動かさなくても、入力装置６の操作により、視線方向を変更できるようにする。なお実施例では入力装置６を、ＨＭＤ１００とは異なる機器として示すが、入力装置６はＨＭＤ１００に設けられてもよく、すなわちＨＭＤ１００の装着バンド１０６や筐体１０８などにボタンなどの操作入力部として形成されてもよい。

図１０（ａ）は、入力装置６の上面を示す。ユーザは左手で左側把持部７８ｂを把持し、右手で右側把持部７８ａを把持して、入力装置６を操作する。入力装置６の筐体上面には、入力部である方向ボタン７１、アナログスティック７７ａ、７７ｂと、操作ボタン７６が設けられている。方向ボタン７１は、上ボタン７１ａ、左ボタン７１ｂ、下ボタン７１ｃおよび右ボタン７１ｄを含む。右アナログスティック７７ａおよび左アナログスティック７７ｂは、傾動されて方向および傾動量を入力するために用いられる。なお右アナログスティック７７ａおよび左アナログスティック７７ｂは、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。筐体上面上において、方向ボタン７１と操作ボタン７６の間の平坦な領域には、タッチパッド７９が設けられる。タッチパッド７９は、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。

右アナログスティック７７ａおよび左アナログスティック７７ｂの間にはホームボタン８０が設けられる。ホームボタン８０は入力装置６の電源をオンし、同時に情報処理装置１０と無線接続する通信機能をアクティブにするために使用される。ＳＨＡＲＥボタン８１は、タッチパッド７９の左側に設けられる。ＳＨＡＲＥボタン８１は、情報処理装置１０におけるＯＳないしはシステムソフトウェアに対するユーザからの指示を入力するために利用される。ＯＰＴＩＯＮＳボタン８２は、タッチパッド７９の右側に設けられる。ＯＰＴＩＯＮＳボタン８２は、情報処理装置１０において実行されるアプリケーション（ゲーム）に対するユーザからの指示を入力するために利用される。ＳＨＡＲＥボタン８１およびＯＰＴＩＯＮＳボタン８２は、いずれもプッシュ式ボタンとして形成されてよい。

図１０（ｂ）は、入力装置６の奥側側面を示す。入力装置６の筐体奥側側面の上側には、タッチパッド７９が筐体上面から折れ曲がって延設されており、筐体奥側側面の下側には、横長の発光部８５が設けられる。発光部８５は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のＬＥＤを有し、情報処理装置１０から送信される発光色情報にしたがって点灯する。上側のＲ１ボタン８３ａ、Ｌ１ボタン８３ｂはプッシュ式ボタンとして構成され、下側のＲ２ボタン８４ａ、Ｌ２ボタン８４ｂは回動支持されたトリガー式のボタンとして構成されてよい。

実施例では、入力装置６の操作部材のうち、左アナログスティック７７ｂを、視線方向の切替指示の入力に使用する。左アナログスティック７７ｂを左に傾けると、視線方向を左に動かし、また右に傾けると視線方向を右に動かす。このように左アナログスティック７７ｂは、ユーザが直観的に視線方向を変更するのに適している。なお、他の操作部材、たとえば右アナログスティック７７ａ、方向ボタン７１などが、視線方向の切替指示の入力に使用されてもよい。

本発明者は、左アナログスティック７７ｂの操作に対する視線方向の変更処理を様々試した。まず一つの変更処理の手法として、左アナログスティック７７ｂの傾動方向に応じて視線方向を連続的に動かし、パノラマ画像が流れるように動く画像を生成した。これはテレビ画面に表示されるゲームの視線変更手法としては一般的であり、ユーザの感覚にマッチすると考えられる。なお、そのときの画像の移動スピードについても様々試してみた。

その結果、左アナログスティック７７ｂの操作によりパノラマ画像を連続的に動かすと、それを見るユーザが酔うような感じを受けることが分かった。これは画像の移動スピードによらず、ゆっくり動かしても速く動かしても、個人により程度の差こそあれ、画像酔いを生じさせる結果が得られた。

テレビ画面において、表示画像を連続的に一方向に動かすような演出はよく行われており、このときユーザが画像酔いすることは通常ない。この点を検討したところ、本発明者は、視野角の違いが原因の一つであることを突き止めた。

テレビ画面に関して言えば、ユーザは、ある程度離れた位置から見るため、テレビ画面に対するユーザの水平方向の視野角は大きくても数十度である。これに対し、広視野角のＨＭＤにおいてユーザの視野角は９０度近く、ないしは９０度以上である（以下、ＨＭＤ１００の水平方向の視野角を約１００度とする）。つまりＨＭＤ１００では、約１００度の範囲（さらに視野の全てで）画像が連続して動くことで、ユーザに画像酔いを生じさせやすくなり、これはＨＭＤ１００の特有の問題であることが分かった。そこで本発明者は、左アナログスティック７７ｂの操作によりパノラマ画像を連続的に動かすのではなく、不連続に動かすことを試し、その結果、画像酔いの発生を防止できることの知見を得た。そこで実施例では、情報処理装置１０が、左アナログスティック７７ｂの操作を視線方向の切替指示として取得すると、パノラマ画像を不連続に、つまり１回（１ステップ）の切替で所定角度動かすように表示制御する。

ユーザが入力装置６の左アナログスティック７７ｂを倒すと、指示取得部２４は、入力装置６から、倒された方向への視線方向の切替指示を取得する。たとえば左アナログスティック７７ｂが一度倒されて、すぐに戻されると、指示取得部２４は、倒された方向への一回の切替指示を取得する。また左アナログスティック７７ｂが倒され続けている場合には、指示取得部２４は、倒された方向への切替指示を連続して取得する。

指示取得部２４が、左アナログスティック７７ｂの傾動操作を一回の切替指示として取得するか、または連続した切替指示として取得するかは、傾動された時間（倒してから元の位置に戻るまでの時間）が所定時間を超えるか否かによって定まる。具体的に指示取得部２４は、傾動時間が所定時間未満の場合には、一回の切替指示として取得し、傾動時間が所定時間に達すると、所定時間に達した時点で再度の切替指示として取得する。その後、さらに傾動操作が継続した場合には、所定時間より短い時間が経過する毎に、切替指示が取得されてよい。

指示取得部２４が視線方向の切替指示を取得すると、視線方向決定部３２は、視線方向を所定角度変更する。たとえば左アナログスティック７７ｂが左方向に倒されると、指示取得部２４は、視線方向を左に回転させる切替指示を取得し、視線方向決定部３２は、視線方向を左回りに所定角度変更する。以下では、ＨＭＤ１００の表示パネル１３０に、図７に示す表示画像２００ａが表示されている状態で、ユーザが、視線方向を左回転させる切替指示を入力装置６に入力した例について説明する。

図１１は、画像生成部３４により生成される表示画像２００ｄを示す。指示取得部２４が視線方向を左回転させる切替指示を取得すると、視線方向決定部３２は、視線方向を左回りに所定角度変更する。ここで所定角度は、１０度より大きく、ＨＭＤ１００の水平方向の視野角（１００度）よりも小さい角度に設定される。

１ステップで変更する角度が１０度以下に設定されている場合、たとえば真後ろ（１８０度回転）の画像を見るためには、少なくとも１８ステップが必要となり、ステップ数が多くかかって、ユーザに若干もどかしさを感じさせることになる。一方で、１ステップでの変更角度がＨＭＤ１００の視野角以上となると、全く新しい画像（切替前と重複箇所のない画像）が突然表示パネル１３０に表示されることになり、切替前の画像との連続性が担保できない。そこで１ステップでの変更角度は、１０度より大きく、ＨＭＤ１００の視野角よりも小さい角度に設定されることが好ましい。

さらに好ましくは、１ステップでの変更角度は、ＨＭＤ１００の視野角の半分以下に設定される。これにより切替前の画像の少なくとも半分以上が、切替後の画像に含まれることになり、ユーザは、切替前と切替後とで、画像の連続性を認識することができる。なお画像の連続性を、より認識させるためには、１ステップの変更角度は小さい方が好ましい。本発明者が、１ステップあたりの様々な変更角度を試したところ、１ステップあたりの変更角度を１５度以上、３０度以下に設定した場合に、連続的に切り替えたときに所望角度まで到達する時間および画像連続性の観点から最も好ましいとの認識に至った。図１１に示す例は、１ステップでの変更角度を２２．５度とした様子を示している。

また一般に人間の中心視野は４０〜４５度、周辺視野は２００度程度であると言われている。この中心視野に注目して、１ステップあたりの変更角度は、中心視野よりも小さく設定することで、中心視野内に、切替前後で同じ画像が残るようにしてもよい。その点からも、１ステップあたりの変更角度を３０度以下に設定することには意味がある。なお１ステップあたりの変更角度は、３６０度を整数Ｎで割った値に設定されて、ユーザが整数回の切替指示を入力装置６から入力することで、元の表示位置に戻れるようにすることが好ましい。

図１２は、表示パネル１３０に表示される切替前後の表示画像を示す。図１２（ａ）は表示画像２００ａを示し、図１２（ｂ）は表示画像２００ｄを示す。表示画像２００ａを、１ステップの変更角度を２２．５度として左回転したのが表示画像２００ｄである。視野角１００度のうち、変更角度を２２．５度とすることで、切替前後で２２．５％の画像が変更されるが、７７．５％は切替前後の画像に存在している。そのためユーザは、画像の連続性を容易に認識できる。

指示取得部２４が切替指示を連続して取得すると、視線方向決定部３２は、視線方向を所定角度ずつ変更する。この変更周期は、１秒などの固定値であってもよく、また左アナログスティック７７ｂの傾動量に応じて動的に定められてもよい。つまり傾動量が大きいほど、変更周期が短く設定されてもよい。

なお実施例において、入力装置６を利用した切替指示は、左右方向のみに有効とし、上下方向は無効とする。これは人間が椅子に座った姿勢や直立姿勢では水平方向を向いており、上方向または下方向を常時向くような状態は通常なく、そのような現実の感覚をＶＲアプリケーションでも遵守するためである。なお上下方向における切替指示を有効とすることも可能であり、コンテンツ画像に応じて、上下方向の切替指示を有効とするか、無効とするかが設定可能となっていてもよい。天地が気にならないようなコンテンツ画像、たとえば天空の星空の撮影画像などは、上下方向の切替指示を有効としてもよい。

また図１２において、１ステップの変更角度を２２．５度とした場合の切替前後の表示画像２００ａ、２００ｄを示したが、ユーザによっては変更角度を２２．５度よりも大きく、または小さくすることを希望することもある。そこで１ステップあたりの変更角度を選択するための選択肢が表示パネル１３０に表示されて、ユーザが、入力装置６を操作することで、表示パネル１３０に表示された選択肢を選択できるようにしてもよい。実施例において、ユーザには２２．５度以外に、１５度と３０度の選択肢が提供される。

以下では、ＨＭＤ１００の表示パネル１３０に、図１２（ａ）に示す表示画像２００ａが表示されている状態で、１ステップあたりの変更角度の選択肢を表示させる手順を説明する。
ユーザは入力装置６の所定の入力部を操作することで、メニュー項目を表示パネル１３０に表示させることができる。たとえば△ボタン７５（図１０（ａ）参照）がメニュー表示操作に割り当てられてよい。ユーザが△ボタン７５を押下すると、入力装置６は、△ボタン７５が押下されたことを示す操作情報を情報処理装置１０に送信する。情報処理装置１０において指示取得部２４は、△ボタン７５の押下情報を、メニュー項目の表示指示として取得する。

指示取得部２４がメニュー項目の表示指示を取得すると、画像生成部３４は、生成するパノラマ画像にメニュー項目を含める処理を行う。なおメニュー項目は、ユーザに提示する情報要素の一例であり、情報要素は、他の項目や通知情報であってよい。画像生成部３４が、パノラマ画像にメニューなどの情報要素を含めることで、ユーザはＨＭＤ１００の表示パネル１３０で、視線方向にもとづくパノラマ画像を見ながら、提示される情報要素を見ることができる。

情報要素記憶部４２は、パノラマ画像に含める情報要素を記憶する。画像生成部３４は情報要素記憶部４２から、表示指示に応じた情報要素を読み出し、情報要素を並べたウィンドウをパノラマ画像に重畳する。画像提供部３６は、メニュー項目を含んだパノラマ画像をＨＭＤ１００に提供する。

図１３（ａ）は、表示画像２００ａにメニューウィンドウ２０４を重畳表示した例を示す。図１３（ａ）では、メニューウィンドウ２０４により、その背後のパノラマ画像が隠されているが、実際にはメニューウィンドウ２０４が透過表示されて、ユーザが、メニューウィンドウ２０４の背後のパノラマ画像も見られるようにすることが好ましい。

メニューウィンドウ２０４においては、１つの項目を取り囲む選択枠が表示され、ユーザは入力装置６の上ボタン７１ａまたは下ボタン７１ｃを押下することで、選択枠を移動させられる。所望の項目に選択枠を配置し、決定ボタン（たとえば○ボタン７２）を押下することで、選択した項目に対応する下層の情報要素が表示パネル１３０に表示されるようになる。

情報処理装置１０において、指示取得部２４が、方向ボタン７１の操作情報を、項目の選択指示として取得し、また○ボタン７２の操作情報を、項目の決定指示として取得する。画像生成部３４は、項目の選択指示にしたがって選択枠を動かし、また項目の決定指示にしたがって、対応する情報要素を情報要素記憶部４２から読み出して、パノラマ画像に含ませる。

図１３（ｂ）は、表示画像２００ａに選択ウィンドウ２０６を重畳表示した例を示す。図１３（ａ）のメニューウィンドウ２０４において、「１ステップの変更角度を変える」が選択されると、１ステップあたりの変更角度の選択肢を提示する選択ウィンドウ２０６が表示される。メニューウィンドウ２０４と同様、選択ウィンドウ２０６も透過表示されて、背後のパノラマ画像をユーザが見られるようにすることが好ましい。選択ウィンドウ２０６において、ユーザがいずれかの角度を選択して決定すると、１ステップあたりの変更角度が変更されるようになる。

このようにして情報要素がパノラマ画像に重畳され、表示パネル１３０に表示される。情報処理システム１において、表示パネル１３０のパノラマ画像は、ＨＭＤ１００の姿勢の変化（つまり視線方向の動き）や、左アナログスティック７７ｂの操作に応じて変更されるが、本発明者は、パノラマ画像とともに表示する情報要素を、どのように表示制御するのがＨＭＤ１００に適しているか検討した。

まず本発明者は、表示パネル１３０の画面中央に情報要素を常に表示する手法を試した。この場合、視線方向を変更して、情報要素の背景のパノラマ画像が変化しても、情報要素の画面内の表示位置は動かず、常に画面中央の固定された位置に表示される。この表示手法は、パノラマ画像の中で、あたかも情報要素が移動しているような印象を与え、違和感を生じさせることが分かった。

そこで本発明者は、パノラマ画像に情報要素を含めると、その配置位置を変更しない手法を試した。つまりパノラマ画像における情報要素の配置位置を固定とし、そのためユーザが視線方向を変更すると、情報要素がパノラマ画像と一体となって動かされる。情報要素とパノラマ画像との相対的な位置関係を固定することで、情報要素がパノラマ画像の一部を構成するような印象を与え、ユーザに違和感を生じさせないことが分かった。

しかしながら、この場合は情報要素がパノラマ画像と一緒に動くことで、視線方向の動きが大きいと、情報要素が表示画面から外れてしまい、ユーザが情報要素を見失うという問題がある。特にメニュー表示中は入力装置６がメニュー操作に割り当てられているため、メニュー操作を継続する場合であっても、またメニュー操作を終了する場合であっても、ユーザは視線方向を変化させて、見失ったメニューウィンドウを探し出す必要がある。

この問題を解決するために、本発明者は、原則として情報要素とパノラマ画像の相対的な位置関係を固定し、情報要素をパノラマ画像と一緒に動かしつつ、一方で情報要素が画面から外れそうになると、外れる前に、情報要素とパノラマ画像の相対的な位置関係を変更する手法を考え出した。

この手法では、情報要素を表示した時点を基準とし、その時点からＨＭＤ１００の姿勢が変化した場合に、画像生成部３４は、姿勢の変化量が所定の第１角度よりも小さければ、画像とともに動くように情報要素を表示させ、姿勢の変化量が所定の第１角度に達すると、情報要素を、画像中で所定の第２角度分動かした位置に表示させるように、画像を生成する。ＨＭＤ１００の姿勢の変化量は、視線方向の動きの変化量に相当する。

具体的には、視線方向決定部３２が、情報要素を表示した時点からの視線方向の動きの変化を監視し、視線方向の動きが所定の第１角度よりも小さければ、画像生成部３４が、パノラマ画像とともに動くように情報要素を表示させ、一方で視線方向の動きが所定の第１角度に達すると、画像生成部３４が、情報要素を、パノラマ画像中で所定の第２角度分動かした位置に表示させる。以下では、視線方向決定部３２が、視線方向の動きの変化として、水平方向の視線の回転角度を監視することで、画像生成部３４が、情報要素の表示制御を行う例について説明する。

たとえば情報要素の表示を開始した時点から、ユーザが水平方向に首を左回りに回して、視線が左方向に変化した場合を考える。このときパノラマ画像は右方向に流れるように表示され、そのため表示されている情報要素も表示パネル１３０内で右方向に流れていく。情報要素の移動角度、つまりは水平方向の視線の回転角度が所定の第１角度に達すると、画像生成部３４は、情報要素を、パノラマ画像中で所定の第２角度分だけ左回転した位置に動かし、表示させる。この第１角度は、情報要素の全てがユーザ視野から完全に外れない角度に設定され、したがって情報要素は、表示パネル１３０に、少なくとも一部が常に表示されている状態を維持される。以下、この第１角度を「位置変更基準角度」とよび、第２角度を「戻し角度」とよぶこともある。

以下、図１３（ａ）が、メニューウィンドウ２０４を最初に表示した状態を示すものとし、この初期表示状態から、ユーザが視線方向を左回転させる例について説明する。
図１４は、情報要素であるメニューウィンドウ２０４がパノラマ画像とともに動く様子を示す。ユーザが水平方向に首を左回りに回すと、動き検出部３０が、ＨＭＤ１００の姿勢を検出し、視線方向決定部３２が、検出されたＨＭＤ１００の姿勢に応じて、視線方向を左回転させる。図１４（ａ）は、初期表示状態から、２２．５度左回転した表示画像２００ｄを示す。なお既述したように、２２．５度の回転は左アナログスティック７７ｂの操作によっても実現され、ユーザが首を動かすことなく、左アナログスティック７７ｂを左に倒すことで、表示画像２００ｄが表示パネル１３０に表示されてもよい。

メニューウィンドウ２０４とパノラマ画像との相対的な位置関係は固定されているため、メニューウィンドウ２０４はパノラマ画像とともに動き、したがって表示パネル１３０においてユーザは、メニューウィンドウ２０４が右方向に移動する様子を見る。

図１４（ｂ）は、初期表示状態から、４５度左回転した表示画像２００ｅを示す。なお表示画像２００ｅを表示するためには、ユーザが首を４５度左回りに回してもよいが、４５度の左回転は、左アナログスティック７７ｂを左に２回倒す操作によっても実現され、またユーザが首を２２．５度左回りに回し且つ左アナログスティック７７ｂを左に１回倒す操作によっても実現される。図１４（ａ）と比較すると、メニューウィンドウ２０４がさらに右方向に移動している様子が示される。

図１５（ａ）は、初期表示状態から、位置変更基準角度の直前まで左回転した表示画像２００ｆを示す。ここで位置変更基準角度は、情報要素の全てが画面から完全に外れることのない角度に設定される。

そのため位置変更基準角度は、ＨＭＤ１００の視野角よりも小さい角度に設定される必要がある。位置変更基準角度が視野角以上であると、情報要素の全てが完全に画面から外れる状況が発生するためである。水平方向の位置変更基準角度について考えると、ＨＭＤ１００の水平方向の視野角は１００度であるため、位置変更基準角度は、１００度より小さい角度に設定されなければならない。

なお本発明者は、位置変更基準角度を様々設定して見え方を試したところ、位置変更基準角度がＨＭＤ１００の視野角に対して非常に小さく設定されると、結局、表示要素が視線に追従するような印象を与えることが分かった。様々試した結果、位置変更基準角度を、ＨＭＤ１００の視野角の半分程度の角度に設定することで、表示要素と背景のパノラマ画像との一体性を認識させることができ、また表示要素を視認可能とするユーザインタフェースを実現できることを知見により得た。実施例において位置変更基準角度（第１角度）は、ＨＭＤ１００の視野角の半分（５０度）程度の６０度に設定している。

図１５（ｂ）は、初期表示状態から、情報要素をパノラマ画像中で戻し角度である第２角度（６０度）分だけ左回転させた状態とした表示画像２００ｇを示す。このように、初期表示状態から、視線の所定方向の変化が第１角度（６０度）に達すると、画像生成部３４は、情報要素とパノラマ画像との相対位置を、所定方向に第２角度分だけ変更した位置に再配置する。ここで第２角度は、第１角度と同じ角度に設定されている。再配置後は、視線方向決定部３２が、再配置した時点の視線方向を基準として、視線方向の動きの変化を監視する。

図１５（ａ）では、メニューウィンドウ２０４の一部のみが表示されていたが、図１５（ｂ）では、再度全体が表示されるようになり、これによりユーザは、メニューウィンドウ２０４のメニュー操作をしやすくなる。また図１５（ａ）に示すように、メニューウィンドウ２０４の全てが表示外とならないように表示制御を行うことで、ユーザはメニューウィンドウ２０４を見失うことなく、パノラマ画像を楽しみつつ、好きなタイミングでメニューウィンドウ２０４を操作可能となる。

以上は、位置変更基準角度である第１角度と、戻し角度である第２角度とが等しい例について説明した。第１角度と第２角度とを等しくした場合、初期表示状態から第１角度だけ視線方向が変化すると、図１５（ｂ）に示すように、情報要素が、初期表示状態で表示されていた中央位置に再配置される。そのため、ユーザが水平方向に首をさらに左回りに回すと、メニューウィンドウ２０４は、中央から右方向に移動していく。そのためメニューウィンドウ２０４は、中央に対して右寄りに表示されることとなり、若干見づらくなる。

そこで、以下では、位置変更基準角度である第１角度よりも、戻し角度である第２角度を大きく設定する例について説明する。第２角度を６０度とし、第１角度を４５度とする。

ここで図１４（ｂ）が、初期表示状態から第１角度（４５度）の直前まで左回転された表示画像２００ｅを示しているものとする。視線方向がさらに左に動き、視線の所定方向の変化が第１角度（４５度）に達すると、画像生成部３４は、情報要素とパノラマ画像との相対位置を、所定方向に第２角度（６０度）分だけ変更した位置に再配置する。ここで第２角度は第１角度より大きく設定されているため、再配置される情報要素は、初期表示状態の中央位置を超えて戻され、したがって中央位置よりも左寄りに表示される。再配置後は、視線方向決定部３２が、再配置した時点の視線方向を基準として、視線方向の動きの変化を監視する。

図１６は、初期表示状態から、情報要素をパノラマ画像中で第２角度（６０度）左回転させた状態とした表示画像２００ｈを示す。このように初期表示状態から、視線の所定方向の変化が第１角度（４５度）に達すると、画像生成部３４は、情報要素を、パノラマ画像中で所定方向に第２角度（６０度）分だけ戻す方向に変更した位置に再配置する。

第２角度を第１角度よりも大きく設定することで、ユーザが引き続き視線方向を左に動かすと、メニューウィンドウ２０４が徐々に中央に向かって右方向に移動する。そのため表示要素と背景のパノラマ画像との一体性をユーザに認識させつつ、情報要素の視認性を高めることが可能となる。なお第１角度を第２角度の半分よりも大きく設定することで、表示要素を再配置する際に、パノラマ画像中での移動量が大きくなることを防止できる。

以上は、水平方向の視線変化が位置変更基準角度（第１角度）に達したときに、情報要素の水平方向の配置を戻し角度（第２角度）分だけ変更することを説明した。垂直方向についても同様であり、垂直方向の視線変化が、垂直方向に関する位置変更基準角度に達したときに、情報要素の垂直方向の配置を垂直方向に関する戻し角度分だけ変更する表示制御を実行してもよい。なお、垂直方向に関する位置変更基準角度は、水平方向に関する位置変更基準角度よりも小さく設定されてよく、たとえば３０度に設定されてよい。

次に、情報要素を、どの位置に初期表示するか検討する。一つの手法は、図１３（ａ）に示したように、情報要素を表示するタイミングで表示されている画像の中央付近に表示する。この手法は、ユーザの感覚的にも理解しやすく、有効である。

別の手法として、仮想球体において、情報要素の表示位置の候補が予め設定されていてもよい。仮想球体の座標系において、水平面における水平基準方向を０度としたとき、水平方向の６０度、１２０度、１８０度、２４０度、３００度を候補回転角度とし、また垂直方向の０度、±３０度、±６０度を候補傾斜角度とする。ここで情報要素を表示する際に、視線方向が最も近い候補回転角度、候補傾斜角度を抽出し、抽出した回転角度および傾斜角度を中心として情報要素を表示するようにしてもよい。このように初期位置の候補を予め定めておくことで、画像生成部３４は、候補位置の中から初期位置を選択すればよく、表示制御を単純化できる。

以上、本発明を実施例をもとに説明した。実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

図１４（ａ）において、初期表示状態から２２．５度左回転した表示画像２００ｄおよびメニューウィンドウ２０４を示し、２２．５度の左回転が、ユーザの首を回したことで実現されてもよく、また左アナログスティック７７ｂの操作によって実現されてもよいことを説明した。変形例では、左アナログスティック７７ｂの操作がされた場合には、情報要素とパノラマ画像との相対的な位置関係が解除されて、左アナログスティック７７ｂの操作による切替後の画像において情報要素は、図１３（ａ）に示すように中央に表示されるようにしてもよい。これは左アナログスティック７７ｂの操作により画像を切り替える場合には、表示画像がジャンプし、画像の連続性が途切れているためであり、そのような場合には、情報要素とパノラマ画像の相対的な位置関係の固定を解除して、情報要素を表示制御することも可能である。

また実施例では、位置変更基準角度および戻し角度を利用して、情報要素の表示制御を行った。変形例では、情報要素の種類に応じて、情報要素の表示制御を行うようにしてもよい。たとえばユーザに対してシステムから重要な警告をするような場合には、画像生成部３４は、常に表示画像の中央に、情報要素である警告を配置するようにしてもよい。

なおＶＲアプリケーションの一機能として、画像生成部３４は、ミラー機能を実現してもよい。ここでミラー機能は、視線方向の反対向きの画像を表示画像に含める機能である。ここでは、視線方向の正反対の画像を含めるのではなく、視線方向の回転角度のみを反転し、つまり視線方向のうち、回転角度を１８０回転し、傾きは変更しない視線方向の画像を表示画像に含めるようにする。このミラー機能により、ユーザは、同じ高さにある背中側の画像を見ることができるようになる。

１・・・情報処理システム、６・・・入力装置、８・・・仮想カメラ、１０・・・情報処理装置、１２・・・処理装置、１４・・・出力制御装置、２０・・・センサ情報取得部、２２・・・撮影画像取得部、２４・・・指示取得部、３０・・・動き検出部、３２・・・視線方向決定部、３４・・・画像生成部、３６・・・画像提供部、４０・・・画像記憶部、４２・・・情報要素記憶部、１００・・・ＨＭＤ、１０２・・・出力機構部、１０４・・・装着機構部、１０６・・・装着バンド、１０８・・・筐体、１１０・・・発光マーカ、１２０・・・制御部、１２２・・・記憶部、１２４・・・姿勢センサ、１２６・・・マイク、１２８・・・通信制御部、１３０・・・表示パネル、１３２・・・音声出力部。

Claims (7)

1. ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を検出する検出部と、
   前記検出部により検出されたヘッドマウントディスプレイの姿勢に応じて、視線方向を定める視線方向決定部と、
   定めた視線方向にもとづく画像を生成する画像生成部と、
   生成した画像をヘッドマウントディスプレイに提供する画像提供部と、
   入力装置から視線方向の切替指示を取得する指示取得部と、を備え、
   前記指示取得部が切替指示を取得すると、前記視線方向決定部は、視線方向を不連続に変更する、ことを特徴とする情報処理装置。
2. 前記指示取得部が切替指示を取得すると、前記視線方向決定部は、視線方向を水平方向に不連続に変更する、ことを特徴とする請求項１に記載の情報処理装置。
3. 前記視線方向決定部は、１０度より大きく、ヘッドマウントディスプレイの視野角よりも小さい角度で視線方向を変更する、ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記視線方向決定部は、１５度以上、３０度以下の角度で視線方向を変更する、ことを特徴とする請求項３に記載の情報処理装置。
5. 前記視線方向決定部が視線方向を変更する角度は、３６０度を整数Ｎで割った値に設定される、ことを特徴とする請求項１から４のいずれかに記載の情報処理装置。
6. ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を検出するステップと、
   検出したヘッドマウントディスプレイの姿勢に応じて、視線方向を定めるステップと、
   定めた視線方向にもとづく画像を生成するステップと、
   入力装置から視線方向の切替指示を取得するステップと、を有する画像生成方法であって、
   視線方向を定めるステップは、切替指示が取得されると、視線方向を不連続に変更する、
   ことを特徴とする画像生成方法。
7. コンピュータに、
   ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を検出する機能と、
   検出したヘッドマウントディスプレイの姿勢に応じて、視線方向を定める機能と、
   定めた視線方向にもとづく画像を生成する機能と、
   入力装置から視線方向の切替指示を取得する機能と、を実現させるためのプログラムであって、
   視線方向を定める機能は、切替指示が取得されると、視線方向を不連続に変更する機能を含む、ことを特徴とするプログラム。

Images