JP2019113849A - 情報処理装置 - Google Patents

Abstract

【課題】ユーザーが頭部に装着して使用する映像表示装置に平面映像を表示させる場合に、使用状況に適した態様で表示させることができる情報処理装置を提供する。【解決手段】ユーザーが頭部に装着して使用する映像表示装置と接続され、当該映像表示装置の位置及び／又は向きの変化に応じて変化する態様で平面映像を表示させる表示モードで、当該平面映像を映像表示装置に表示させる情報処理装置であって、映像表示装置の向きの変化に応じて、平面映像の形状を変化させる情報処理装置である。【選択図】図４

Description

本発明は、ユーザーが頭部に装着して使用する映像表示装置に映像を表示させる情報処理装置、映像表示装置の制御方法、及びプログラムに関する。

ヘッドマウントディスプレイのように、ユーザーが頭部に装着して使用する映像表示装置がある。このタイプの映像表示装置は、ユーザーの目の前に画像を結像させることで、その画像をユーザーに閲覧させる。

さらに上述した映像表示装置の中には、ユーザーの頭の動きを検出し、その位置や向きの変化に連動して更新される画像を表示するものがある。このような映像表示装置は、臨場感のある映像をユーザーに閲覧させることができるため、バーチャルリアリティ技術などに利用されている。一例として、仮想空間に配置した仮想カメラの向きをユーザーの頭の動きに合わせて変化させながら、この仮想カメラから見た仮想空間の様子を示す映像を映像表示装置に表示させるプログラムが知られている。これにより、ユーザーにあたかも仮想空間内にいるかのような映像を閲覧させることができる。

上述した映像表示装置において、平面映像（従来の表示装置が表示するのと同じ２次元の映像）をどのように表示すべきかについては、十分に検討されていなかった。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、ユーザーが頭部に装着して使用する映像表示装置に平面映像を表示させる場合に、使用状況に適した態様で表示させることができる情報処理装置、映像表示装置の制御方法、及びプログラムを提供することにある。

本発明に係る情報処理装置は、ユーザーが頭部に装着して使用する映像表示装置と接続される情報処理装置であって、前記映像表示装置の位置及び／又は向きの変化によらずユーザーの正面方向に平面映像を表示させる第１表示モードで、当該平面映像を前記映像表示装置に表示させる第１表示制御部と、前記映像表示装置の位置及び／又は向きの変化に応じて変化する態様で平面映像を表示させる第２表示モードで、当該平面映像を前記映像表示装置に表示させる第２表示制御部と、所与の条件に基づいて前記第１表示モードと前記第２表示モードとを切り替える切り替え制御部と、を含むことを特徴とする。

また、本発明に係る映像表示装置の制御方法は、ユーザーが頭部に装着して使用する映像表示装置の制御方法であって、前記映像表示装置の位置及び／又は向きの変化によらずユーザーの正面方向に平面映像を表示させる第１表示モードで、当該平面映像を前記映像表示装置に表示させるステップと、前記映像表示装置の位置及び／又は向きの変化に応じて変化する態様で平面映像を表示させる第２表示モードで、当該平面映像を前記映像表示装置に表示させるステップと、所与の条件に基づいて前記第１表示モードと前記第２表示モードとを切り替える切り替えステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、ユーザーが頭部に装着して使用する映像表示装置と接続されるコンピュータを、前記映像表示装置の位置及び／又は向きの変化によらずユーザーの正面方向に平面映像を表示させる第１表示モードで、当該平面映像を前記映像表示装置に表示させる第１表示制御手段、前記映像表示装置の位置及び／又は向きの変化に応じて変化する態様で平面映像を表示させる第２表示モードで、当該平面映像を前記映像表示装置に表示させる第２表示制御手段、及び、所与の条件に基づいて前記第１表示モードと前記第２表示モードとを切り替える切り替え制御手段、として機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

本発明の実施の形態に係る情報処理装置を含んだ映像表示システムの構成を示す構成ブロック図である。 映像表示装置の外観の一例を示す正面斜視図である。 映像表示装置の外観の一例を示す背面斜視図である。 本実施形態に係る情報処理装置の機能を示す機能ブロック図である。 第２表示モードにおける描画処理の具体例を説明する図である。 第１表示モード、及び第２表示モード双方の初期状態における表示例を示す図である。 第１表示モードの表示例を示す図である。 第２表示モードの表示例を示す図である。 本実施形態に係る情報処理装置が実行する処理の流れの一例を示すフロー図である。

以下、本発明の実施形態について、図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る情報処理装置１０を含む映像表示システム１の構成を示す構成ブロック図である。同図に示されるように、映像表示システム１は、情報処理装置１０と、操作デバイス２０と、カメラ２５と、中継装置３０と、映像表示装置４０と、を含んで構成されている。

情報処理装置１０は、映像表示装置４０が表示すべき映像を供給する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図１に示されるように、情報処理装置１０は、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成される。

制御部１１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。

インタフェース部１３は、操作デバイス２０、カメラ２５、及び中継装置３０との間のデータ通信のためのインタフェースである。情報処理装置１０は、インタフェース部１３を介して有線又は無線のいずれかで操作デバイス２０、カメラ２５及び中継装置３０のそれぞれと接続される。具体的にインタフェース部１３は、情報処理装置１０が供給する映像や音声を中継装置３０に送信するために、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）などのマルチメディアインタフェースを含んでよい。また、インタフェース部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＵＳＢ等のデータ通信インタフェースを含んでいる。情報処理装置１０は、このデータ通信インタフェースを介して、中継装置３０経由で映像表示装置４０から各種の情報を受信したり、制御信号等を送信したりする。また、このデータ通信インタフェースを介して、操作デバイス２０に対するユーザーの操作入力の内容を示す信号や、カメラ２５によって撮像された画像のデータを受信する。

操作デバイス２０は、家庭用ゲーム機のコントローラ等であって、ユーザーが情報処理装置１０に対して各種の指示操作を行うために使用される。操作デバイス２０に対するユーザーの操作入力の内容は、有線又は無線のいずれかにより情報処理装置１０に送信される。なお、操作デバイス２０は情報処理装置１０の筐体表面に配置された操作ボタンやタッチパネル等を含んでもよい。カメラ２５は、本映像表示システム１を利用するユーザーの前方に設置され、ユーザーが装着する映像表示装置４０を含んだ映像を撮像する。

中継装置３０は、有線又は無線のいずれかにより映像表示装置４０と接続されており、情報処理装置１０から供給される映像のデータを受け付けて、受け付けたデータに応じた映像信号を映像表示装置４０に対して出力する。このとき中継装置３０は、必要に応じて、供給された映像データに対して、映像表示装置４０の光学系によって生じる歪みを打ち消す補正処理などを実行し、補正された映像信号を出力してもよい。なお、中継装置３０から映像表示装置４０に供給される映像信号は、左目用映像、及び右目用映像の二つの映像を含んでいる。また、中継装置３０は、映像データ以外にも、音声データや制御信号など、情報処理装置１０と映像表示装置４０との間で送受信される各種の情報を中継する。

映像表示装置４０は、中継装置３０から入力される映像信号に応じた映像を表示し、ユーザーに閲覧させる。映像表示装置４０は、ユーザーが頭部に装着して使用する映像表示装置であって、両目での映像の閲覧に対応している。すなわち映像表示装置４０は、ユーザーの右目及び左目それぞれの目の前に映像を結像させる。また、映像表示装置４０は両眼視差を利用した立体映像を表示可能に構成される。図１に示すように、映像表示装置４０は、映像表示素子４１、光学素子４２、発光素子４３、モーションセンサー４４、近接センサー４５、及び通信インタフェース４６を含んで構成される。また、図２及び図３は映像表示装置４０の外観を示しており、図２が正面側から見た斜視図、図３が背面側から見た斜視図である。

映像表示素子４１は、有機ＥＬ表示パネルや液晶表示パネルなどであって、中継装置３０から供給される映像信号に応じた映像を表示する。映像表示素子４１は、左目用映像、及び右目用映像の２つの映像を表示する。なお、映像表示素子４１は、左目用映像及び右目用映像を並べて表示する１つの表示素子であってもよいし、それぞれの映像を独立に表示する２つの表示素子によって構成されてもよい。また、公知のスマートフォン等を映像表示素子４１として用いてもよい。

光学素子４２は、ホログラムやプリズム、ハーフミラーなどであって、ユーザーの目の前に配置され、映像表示素子４１が表示する映像の光を透過又は屈折させて、ユーザーの左右それぞれの目に入射させる。具体的に、映像表示素子４１が表示する左目用映像は、光学素子４２を経由してユーザーの左目に入射し、右目用映像は光学素子４２を経由してユーザーの右目に入射する。これによりユーザーは、映像表示装置４０を頭部に装着した状態で、左目用映像を左目で、右目用映像を右目で、それぞれ閲覧することができる。なお、本実施形態において映像表示装置４０は、ユーザーが外界の様子を視認することができない非透過型の映像表示装置であるものとする。

発光素子４３は、ＬＥＤ等であって、映像表示装置４０の前面に配置され、情報処理装置１０からの指示に応じて発光する。この発光素子４３の光をカメラ２５で撮影することによって、情報処理装置１０はカメラ２５の視野内における映像表示装置４０の位置を特定することができる。すなわち、情報処理装置１０は発光素子４３の光を利用して映像表示装置４０の位置や傾きの変化をトラッキングすることができる。なお、図２に示すように、本実施形態では発光素子４３は複数配置されている。

モーションセンサー４４は、映像表示装置４０の位置や向き、動きに関する各種の情報を測定する。例えばモーションセンサー４４は、加速度センサー、ジャイロスコープ、又は地磁気センサーなどを含んでよい。モーションセンサー４４の測定結果は、中継装置３０を経由して情報処理装置１０に送信される。情報処理装置１０は、映像表示装置４０の動きや向きの変化を特定するために、このモーションセンサー４４の測定結果を用いることができる。具体的に情報処理装置１０は、加速度センサーの測定結果を用いることで、映像表示装置４０の鉛直方向に対する傾きや平行移動を検出できる。また、ジャイロスコープや地磁気センサーの測定結果を用いることで、映像表示装置４０の回転運動を検出できる。

近接センサー４５は、センサー近傍の検出対象範囲に物体が近づいた場合に、その存在を非接触で検知するセンサーである。近接センサー４５は、例えば赤外線型など、各種の方式のものであってよい。図３に示すように、近接センサー４５は映像表示装置４０本体部分の背面側略中央に配置されている。これにより近接センサー４５は、ユーザーが映像表示装置４０を頭部に装着しようとした場合に、ユーザーの額が近づいたことを検出可能になっている。近接センサー４５の検知結果を利用することで、情報処理装置１０はユーザーが映像表示装置４０を頭部に装着したり外したりしたことを検出できる。

通信インタフェース４６は、中継装置３０との間でデータ通信を行うためのインタフェースである。例えば映像表示装置４０が中継装置３０との間で無線ＬＡＮやＢｌｕｅｔｏｏｔｈなどの無線通信によりデータの送受信を行う場合、通信インタフェース４６は通信用のアンテナ、及び通信モジュールを含む。また、通信インタフェース４６は、中継装置３０との間で有線によるデータ通信を行うためのＨＤＭＩやＵＳＢ等の通信インタフェースを含んでもよい。

次に、情報処理装置１０が実現する機能について図４を用いて説明する。図４に示すように、情報処理装置１０は、機能的に、映像供給部５１と、第１表示制御部５２と、第２表示制御部５３と、切り替え制御部５４と、を含む。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。

映像供給部５１は、映像表示装置４０が表示すべき映像を供給する。本実施形態では、映像供給部５１は、平面映像（２Ｄ映像）Ｍを表示対象の映像として供給することとする。ただし、映像供給部５１は平面映像Ｍだけに限らず視差による立体視が可能な立体映像を映像表示装置４０に供給してもよい。

具体的に、例えば映像供給部５１は、制御部１１がゲームのアプリケーションプログラムを実行することによって実現されてよい。この場合、映像供給部５１はゲームの進行状況を示すゲーム画像を平面映像Ｍとして供給することになる。また、映像供給部５１は、光ディスクやハードディスク等の情報記憶媒体に記憶された映画等の映像データを読み出してレンダリングするレンダリングエンジンであってもよい。

第１表示制御部５２、及び第２表示制御部５３は、いずれも映像供給部５１が供給する平面映像Ｍを中継装置３０に対して出力することによって、映像表示装置４０に表示させる表示制御を実現する。ただし、第１表示制御部５２と第２表示制御部５３とでは、映像表示装置４０に平面映像Ｍを表示させる方式が異なる。以下では、第１表示制御部５２が実現する表示モードを第１表示モード、第２表示制御部５３が実現する表示モードを第２表示モードという。また、第１表示制御部５２及び第２表示制御部５３のそれぞれが中継装置３０に対して出力する、平面映像Ｍを含んだ映像を、表示用映像という。

第１表示モードは、映像表示装置４０の位置及び／又は向きの変化によらずユーザーの正面方向に平面映像Ｍを表示させる表示モードである。この第１表示モードにおいては、映像表示装置４０の位置や向きの変化にかかわらず、映像表示装置４０の表示領域内に常に平面映像Ｍが表示される。具体的に第１表示制御部５２は、映像供給部５１が供給する映像を略中央の所定位置に配置した右目用映像、及び左目用映像を生成する。そして、生成した二つの映像を表示用映像として中継装置３０に対して出力する。これにより、第１表示モードによる表示中は、映像表示装置４０の表示領域内における平面映像Ｍの表示位置は変化せず、常にユーザーから見て正面方向に平面映像Ｍが表示されることになる。すなわち、第１表示モードによる表示中は、映像表示装置４０の表示領域外に平面映像Ｍが移動してしまうことはない。映像表示装置４０はユーザーの頭部に固定されているので、ユーザーが自分の頭を動かして顔の位置や向きを変化させると、ユーザーには自分の動きに合わせて平面映像Ｍを表示するスクリーンが動くように感じられる。

第２表示モードは、映像表示装置４０の位置及び／又は向きの変化に応じて変化する態様で平面映像Ｍを表示させる表示モードである。この第２表示モードにおいては、映像表示装置４０の動きに連動して映像表示装置４０の表示領域内のおける平面映像Ｍの表示位置が変化する。具体的に第２表示制御部５３は、平面映像Ｍの表示位置が仮想的な空間内において固定されるように平面映像Ｍの表示位置を制御する。そのため第２表示モードでは、ユーザーが頭を大きく動かすと、映像表示装置４０の表示領域外まで平面映像Ｍが移動してしまい、平面映像Ｍが表示されなくなる場合がある。このような場合、第２表示制御部５３は、平面映像Ｍを再び表示させるためにどの向きに顔を向ければよいかをユーザーに知らせるために、方向を示すマーカー画像等を表示用映像に含めてもよい。

図５は、第２表示モードにおける表示用映像の描画処理の具体例を説明する図である。この図は、仮想スクリーンＶＳと二つの視点カメラＣ１及びＣ２とが配置された仮想空間を上方から見た様子を示している。同図に示すように、第２表示制御部５３は、仮想空間内に仮想スクリーンＶＳを配置し、この仮想スクリーンＶＳに相対する位置に二つの視点カメラＣ１及びＣ２を配置する。二つの視点カメラＣ１及びＣ２は、左右方向に沿って所定距離離れて並んでいる。そして、仮想スクリーンＶＳの表面に、映像供給部５１が供給する平面映像Ｍをテクスチャーとして貼り付ける。この状態において第２表示制御部５３は、視点カメラＣ１から仮想空間内を見た様子を示す画像を描画して左目用映像を生成する。また、視点カメラＣ２から仮想空間内を見た様子を示す画像を描画して右目用映像を生成する。このようにして生成された表示用映像を映像表示装置４０が表示することで、ユーザーは、自分の前方の離れた位置に存在する仮想スクリーンＶＳに平面映像Ｍが映っている様子を閲覧することできる。

さらに第２表示制御部５３は、映像表示装置４０の向きの変化に応じて、二つの視点カメラＣ１及びＣ２の向き（視線方向）を変化させる。ここで映像表示装置４０の向きは、例えば映像表示装置４０の上下方向、左右方向、及び前後方向のそれぞれの方向に沿った回転軸を中心とした回転角（すなわち、ヨー角、ピッチ角、及びロール角）によって定義されてよい。また、第２表示制御部５３は、映像表示装置４０の平行移動に応じて、二つの視点カメラＣ１及びＣ２の位置を変化させる。前述したように、第２表示制御部５３は、モーションセンサー４４の測定結果を利用したり、カメラ２５が撮像した撮像画像から発光素子４３の光の位置を検出したりすることによって、映像表示装置４０の位置及び向きの変化を特定することができる。第２表示制御部５３は、このようにして特定される映像表示装置４０の位置及び向きの変化に連動するように、視点カメラＣ１及びＣ２の位置及び向きを変化させる。

具体的に、第２表示制御部５３は、映像表示装置４０の向きが変化した場合、その回転と同じ回転方向、及び回転量だけ視点カメラＣ１及びＣ２を回転させる。このとき、視点カメラＣ１及びＣ２は、両者の中心位置を回転中心として、互いの距離を保ったまま仮想空間内で回転する。また、映像表示装置４０が基準位置から平行移動した場合、第２表示制御部５３は、その移動方向及び移動量に応じて視点カメラＣ１及びＣ２の双方を仮想空間内で移動させる。そして、位置及び向きの変化した視点カメラＣ１及びＣ２のそれぞれから仮想スクリーンＶＳを見た様子を描画することによって、左目用映像、及び右目用映像を生成する。このとき、視点カメラの位置や向きは変化するが、仮想スクリーンＶＳの仮想空間内における位置は変化しない。これによりユーザーは、あたかも平面映像Ｍを映すスクリーンが実際に空中に固定されているかのような感覚で、平面映像Ｍを閲覧することができる。さらにユーザーは、例えば平面映像Ｍの外周近傍が視界の中心に来るように顔の向きや位置を変化させることで、初期状態では視認しにくい外周近傍の表示内容に注目して平面映像Ｍを閲覧することができる。

なお、ここでは映像表示装置４０の向き、及び位置の双方の変化に連動して表示用映像を更新することとしたが、第２表示制御部５３は、映像表示装置４０の向き、及び位置のいずれか一方のみに連動するように表示用映像を変化させてもよい。また、以上の説明では、仮想的な３次元空間内に配置された仮想スクリーンＶＳを二つの視点カメラから見た様子を描画することによって、平面的な表示用映像を生成することとした。しかしながら表示用映像の描画処理はこのような方法に限られず、第２表示制御部５３は２次元的な画像処理によって表示用映像を生成してもよい。例えば第２表示制御部５３は、映像表示装置４０の位置の変化に応じて、表示用映像内における平面映像Ｍの配置位置を決定し、決定した位置に平面映像Ｍを配置した右目用映像、及び左目用映像をそれぞれ描画する。このとき第２表示制御部５３は、映像表示装置４０の移動方向と逆方向に移動するように平面映像Ｍの表示用映像内における位置を変化させる。これにより、ユーザーが顔を動かしても平面映像Ｍが元の位置にとどまり続けているようにユーザーに感じさせることができる。さらに第２表示制御部５３は、映像表示装置４０の向きの変化に応じて、平面映像Ｍの表示位置を変化させるとともに、射影変換等によって平面映像Ｍの形状を変化させてもよい。このような制御によれば、３次元的な画像処理を実行せずとも第２表示モードにより平面映像Ｍを表示することができる。

図６Ａ〜図６Ｃは、第１表示モードと第２表示モードによる表示の相違を説明する図である。図６Ａは、初期状態（平面映像Ｍの表示を開始した状態）における表示の一例を示しており、初期状態では第１表示モード、及び第２表示モードのいずれの場合であっても同様の表示となっている。これに対して図６Ｂ及び図６Ｃは、図６Ａの状態からユーザーが顔を傾けた際の表示例を示しており、図６Ｂが第１表示モードにおける表示例を、図６Ｃが第２表示モードにおける表示例を、それぞれ示している。第１表示モードでは、ユーザーが顔を傾けたとしても映像表示装置４０の表示領域内における平面映像Ｍの表示位置が変化しない。そのため、ユーザーが顔を傾けるとそれに合わせて平面映像Ｍも傾けられたように見える。これに対して第２表示モードでは、前述したように仮想的な空間内における平面映像Ｍの表示位置がユーザーの顔の動きにかかわらず変化しないように制御される。そのため図６Ｃに示すように、ユーザーが顔を傾けるとそれに合わせて映像表示装置４０の表示領域内における平面映像Ｍの表示位置が回転し、ユーザーからは平面映像Ｍが図６Ａと同じ向きを保っているように見える。

切り替え制御部５４は、所与の条件に基づいて、これまで説明した第１表示モードと第２表示モードとを切り替える表示切り替え制御を行う。特に本実施形態において、切り替え制御部５４は、ユーザーの直接の操作デバイス２０に対する指示入力に応じて表示モードを切り替えてもよいが、それ以外の各種の条件に基づいて表示モードを切り替えてもよい。以下、切り替え制御部５４が表示モードの切り替えを行う条件のいくつかの具体例について、説明する。

まず切り替え条件の第１の例として、平面映像Ｍの表示サイズに応じて表示モードを切り替える例について説明する。この例において、平面映像Ｍの表示サイズは、ユーザーの操作デバイス２０に対する指示入力に応じて切り替えられてもよいし、平面映像Ｍを供給する映像供給部５１からの制御命令によって切り替えられてもよい。また、デフォルトの表示サイズが予めユーザーによって指定されてもよい。

この例では、切り替え制御部５４は、平面映像Ｍの表示を開始するタイミング、または平面映像Ｍの表示サイズが変更されたタイミングで、これから表示する平面映像Ｍの表示サイズに応じて、第１表示モード、及び第２表示モードのいずれで表示を行うか決定する。そして、第１表示制御部５２または第２表示制御部５３に対して、決定した表示モードで平面映像Ｍを表示するよう指示する。

より具体的に、切り替え制御部５４は、所定の閾値以上の表示サイズで平面映像Ｍを表示すべき場合に、第２表示モードを選択する。逆に所定の閾値より小さな表示サイズで平面映像Ｍを表示すべき場合には、第１表示モードを選択する。表示サイズが大きくなると、映像表示装置４０の表示領域内に平面映像Ｍが収まりきらなくなる場合がある。また、平面映像Ｍが表示領域以下のサイズであっても、表示領域の外周に近い位置では表示される画像に歪みが生じるなどして、ユーザーが外周近傍の画像を視認しづらくなる場合がある。そこで、表示サイズが所定の閾値以上の場合には、第２表示モードで平面映像Ｍを表示することとする。第２表示モードでは、ユーザーの頭の動きに応じて視点カメラの位置や向きが変化する。そのため、ユーザーは平面映像Ｍの外周近傍の部分を映像表示装置４０の表示領域の中心近傍に移動させることで、外周近傍の部分を見やすい状態で平面映像Ｍを閲覧することができる。逆に平面映像Ｍの表示サイズが小さい場合、ユーザーは視点を移動させるまでもなく平面映像Ｍの全体を閲覧することができる。そのため、平面映像Ｍをユーザーの正面方向に表示する第１表示モードで表示を行うことで、ユーザーは常に平面映像Ｍの全体を閲覧することができる。

次に、切り替え条件の第２の例として、ユーザーが映像表示装置４０の使用を開始する際の表示切り替え制御について説明する。この第２の例において情報処理装置１０は、ユーザーが映像表示装置４０の使用を開始しようとした場合に、そのことを近接センサー４５の検出結果を用いて検知する。そして、ユーザーが映像表示装置４０の使用を開始した際に、例えば起動メッセージやシステムメニューなどを含んだ平面映像Ｍを映像表示装置４０に表示させる。

この例において、切り替え制御部５４は、近接センサー４５が最初に物体の存在を検出した時点では、第１表示モードで平面映像Ｍを表示するよう第１表示制御部５２に指示する。そして、近接センサー４５が最初に物体の存在を検出した時点から所定時間が経過したタイミングで、第２表示モードへの切り替えを第２表示制御部５３に指示する。このような切り替え制御を行うのは、以下のような理由による。すなわち、近接センサー４５が最初に物体の存在を検出した時点では、ユーザーはまだ正しい位置に映像表示装置４０を装着できておらず、映像表示装置４０を装着する途中の可能性が高い。そのため、近接センサー４５が物体の存在を検出したタイミングで直ちに平面映像Ｍの表示位置を確定してしまうことは好ましくない。一方で、ユーザーが映像表示装置４０を装着しようとしている間、何も表示しないこととすると、ユーザーが映像表示装置４０を装着する際にその位置を調整することが難しくなる。そこでこの第２の例では、ユーザーが映像表示装置４０を装着し始めた場合に、まず第１表示モードで平面映像Ｍを表示させる。第１表示モードでは映像表示装置４０の表示領域の略中央に平面映像Ｍが常に表示された状態になるため、装着時にユーザーが頭を動かしても平面映像Ｍの表示領域内における表示位置が変化しない。そのため、ユーザーは容易に平面映像Ｍが見やすい位置になるよう映像表示装置４０の位置を調整することができる。その後、ユーザーが映像表示装置４０の装着を終えると想定されるタイミングで第２表示モードに切り替えることで、その時点での映像表示装置４０の位置を基準に、平面映像Ｍの表示位置を制御することができる。

ここで、この第２の例において情報処理装置１０が実行する処理の流れの例について、図７のフロー図を用いて説明する。映像表示装置４０が使用されていない状態において、切り替え制御部５４は、定期的に近接センサー４５の検出結果を取得して（Ｓ１）、物体の存在が検出されていないかを確認する（Ｓ２）。Ｓ２で物体の存在が検出された場合、ユーザーが情報処理装置１０の使用を開始しようとしていると推定されるため、切り替え制御部５４は第１表示制御部５２に対して第１表示モードでの表示開始を指示する。これにより第１表示制御部５２は、第１表示モードでシステムメニューなどの平面映像Ｍを表示する処理を開始する（Ｓ３）。

その後、切り替え制御部５４は、Ｓ３で平面映像Ｍの表示処理が開始されてからの経過時間をカウントし、所定時間が経過したかを判定する（Ｓ４）。所定時間が経過した場合、切り替え制御部５４は、第２表示制御部５３に対して第２表示モードでの表示開始を指示する。これにより第２表示制御部５３は、それまで第１表示モードで表示されていた平面映像Ｍを、第２表示モードで表示する処理を開始する（Ｓ５）。

このとき、第２表示制御部５３は、Ｓ５で表示処理を開始した時点における映像表示装置４０の位置及び向きを映像表示装置４０の基準姿勢として、表示用映像を生成する。すなわち、第１表示モードから第２表示モードへの切り替えが行われた時点における映像表示装置４０の位置及び向きが、仮想空間内における初期の視点カメラの位置及び視線方向に対応づけられ、その視点カメラの視線方向の前方に仮想スクリーンＶＳが配置される。これにより、第２表示モードが開始された時点では、それまで第１表示モードで表示されていたのと同様に、ユーザーの正面方向に平面映像Ｍが表示される。その後、映像表示装置４０の位置や向きが変化すると、その変化に連動して、視点カメラの位置や視線方向が初期の状態から変化していく。こうすれば、ユーザーが映像表示装置４０の装着を開始してから所定時間経過した後の状態（すなわち、ユーザーが映像表示装置４０の装着を終えたと想定される状態）を基準状態として、この基準状態におけるユーザーの正面方向に仮想スクリーンＶＳを固定することができる。

また、この第２の例において、第１表示制御部５２は、第１表示モードから第２表示モードに切り替えられるまでの残り時間をユーザーに知らせる通知映像を表示用映像に含めてもよい。この場合の通知映像は、例えば第１表示モードによる表示開始からの経過時間や切り替えまでの残り時間の値を直接示すタイムカウンタや、時間経過を視覚的に表すゲージ画像などであってよい。

以上説明した第１の例と第２の例は、組み合わせて用いられてもよい。具体的に切り替え制御部５４は、平面映像Ｍの表示サイズが所定閾値以上の場合、第２の例で説明したように、近接センサー４５が物体の存在を最初に検出した時点では第１表示モードで平面映像Ｍを表示させ、所定の時間が経過した後に第２表示モードへの切り替えを行う。一方、平面映像Ｍの表示サイズが所定閾値未満の場合、このような切り替えは行わず、継続して第１表示モードで平面映像Ｍを表示させる。

なお、切り替え制御部５４が表示モードの切り替えを行う契機となる条件は、以上説明したものに限られない。例えば切り替え制御部５４は、映像供給部５１からの明示の指示に応じて表示モードを切り替えてもよい。映像供給部５１は、例えば平面画像内に含まれるコンテンツの性質に応じて、第１表示モードと第２表示モードとを切り替えるよう切り替え制御部５４に対して指示する。これにより、表示されるコンテンツの内容に応じて適した表示モードで平面映像Ｍを表示させることができる。

以上説明した本実施形態に係る情報処理装置１０によれば、第１表示モードと第２表示モードを各種の条件に応じて切り替えることによって、ユーザーの使用状況やコンテンツの内容に適した表示モードで平面映像Ｍを表示させることができる。

なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では、第１表示制御部５２は、自身で左目用映像及び右目用映像を生成することとしたが、これに限らず第１表示制御部５２は映像供給部５１が供給する平面映像Ｍをそのまま表示用映像として中継装置３０に出力してもよい。この場合、中継装置３０、または映像表示装置４０のいずれかが、供給される平面映像Ｍを略中央に配置した左目用映像及び右目用映像を生成する。このような方式によれば、中継装置３０及び映像表示装置４０は、従来の情報処理装置が供給する通常の平面映像Ｍを含んだ映像信号を受け付けて、映像表示素子４１に表示させることができる。

また、第１表示制御部５２は、第２表示制御部５３が第２表示モードの表示用映像を生成するのと類似する処理によって第１表示モードの表示用映像を生成してもよい。具体的には、仮想空間内に仮想スクリーンＶＳと視点カメラＣ１及びＣ２を配置し、各視点カメラＣ１から仮想スクリーンＶＳを見た様子を示す映像を表示用映像として生成する。この場合において、第１表示制御部５２は、映像表示装置４０の向きや位置によらず視点カメラＣ１及びＣ２の位置を常に固定させておけば、常に平面映像Ｍの位置が表示用映像内で変化しないように制御できる。このような制御によれば、第１表示モードと第２表示モードで描画処理のプロセスを切り替えることなく、同様の手順で生成された同様の形式の映像信号として表示用映像を中継装置３０に供給することができる。

また、以上の説明において情報処理装置１０が実行することとした処理の一部、又は全部は、中継装置３０によって実現されてもよい。この場合、情報処理装置１０と中継装置３０を含んだシステム全体、または中継装置３０が単体で本発明における情報処理装置として機能することになる。

１ 映像表示システム、１０ 情報処理装置、１１ 制御部、１２ 記憶部、１３ インタフェース部、２０ 操作デバイス、２５ カメラ、３０ 中継装置、４０ 映像表示装置、４１ 映像表示素子、４２ 光学素子、４３ 発光素子、４４ モーションセンサー、４５ 近接センサー、４６ 通信インタフェース、５１ 映像供給部、５２ 第１表示制御部、５３ 第２表示制御部、５４ 切り替え制御部。

Claims (9)

1. ユーザーが頭部に装着して使用する映像表示装置と接続される情報処理装置であって、
   前記映像表示装置の位置及び／又は向きの変化に応じて変化する態様で平面映像を表示させる表示モードで、当該平面映像を前記映像表示装置に表示させる表示制御部を含み、
   前記表示制御部は、前記映像表示装置の向きの変化に応じて、前記平面映像の形状を変化させる
   ことを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記表示制御部は、射影変換により前記平面映像の形状を変化させる
   ことを特徴とする情報処理装置。
3. 請求項１又は２に記載の情報処理装置において、
   当該情報処理装置は、前記ユーザーからのタッチ操作を受け付ける操作デバイスと接続され、
   前記表示制御部は、前記操作デバイスに対する前記ユーザーの操作に応じて前記平面映像の表示サイズを変化させる
   ことを特徴とする情報処理装置。
4. 請求項１から３のいずれか一項に記載の情報処理装置において、
   前記平面映像は、システムメニューを含む映像である
   ことを特徴とする情報処理装置。
5. 請求項１から４のいずれか一項に記載の情報処理装置において、
   前記表示制御部は、前記映像表示装置の向きの変化に応じて、マーカー画像を表示する
   ことを特徴とする情報処理装置。
6. 請求項５に記載の情報処理装置において、
   前記マーカー画像は、前記映像表示装置の向きを変化させるべき方向を前記ユーザーに示す画像である
   ことを特徴とする情報処理装置。
7. 請求項１から６のいずれか一項に記載の情報処理装置において、
   前記映像表示装置の位置及び／又は向きの変化によらずユーザーの正面方向に平面映像を表示させる前記表示モードとは別の表示モードで、当該平面映像を前記映像表示装置に表示させる別の表示制御部と、
   前記映像表示装置の位置及び／又は向きの変化に応じて変化する態様で平面映像を表示させる表示モードと、前記映像表示装置の位置及び／又は向きの変化によらずユーザーの正面方向に平面映像を表示させる表示モードと、を所与の条件に基づいて切り替える切替制御部と、
   をさらに含むことを特徴とする情報処理装置。
8. ユーザーが頭部に装着して使用する映像表示装置の制御方法であって、
   前記映像表示装置の位置及び／又は向きの変化に応じて変化する態様で平面映像を表示させる表示モードで、当該平面映像を前記映像表示装置に表示させる表示ステップを含み、
   前記表示ステップでは、前記映像表示装置の向きの変化に応じて、前記平面映像の形状を変化させる
   ことを特徴とする映像表示装置の制御方法。
9. ユーザーが頭部に装着して使用する映像表示装置と接続されるコンピュータを、
   前記映像表示装置の位置及び／又は向きの変化に応じて変化する態様で平面映像を表示させる表示モードで、当該平面映像を前記映像表示装置に表示させる表示制御部、
   として機能させるためのプログラムであって、
   前記表示制御部は、前記映像表示装置の向きの変化に応じて、前記平面映像の形状を変化させる
   プログラム。

Images