JP2014115457A - 情報処理装置および記録媒体 - Google Patents

Abstract

【課題】実世界において、ユーザ自身を俯瞰する三人称視点の画像を表示制御することが可能な情報処理装置および記録媒体を提供する。
【解決手段】表示部に第１の撮像部が撮像するユーザ視点の第１の画像を表示する制御、または前記表示部を透過する制御を行う第１の表示制御モードと、ユーザを画角に含む第２の撮像部が撮像する第２の画像を前記表示部に表示する制御を行う第２の表示制御モードとを有する表示制御部と、前記ユーザからの指示に応じて、前記表示制御部による表示制御モードを、前記第１の表示制御モードから前記第２の表示制御モードに切り替えるよう制御する切替制御部と、を備える、情報処理装置。
【選択図】図１

Description

本開示は、情報処理装置および記録媒体に関する。

近年、３次元グラフィックスで表示された仮想空間、すなわち３次元仮想空間に、アバタと称されるユーザ自身を表すオブジェクトを送り込み、仮想空間内を歩き回ったり、他のユーザのアバタと対話（チャット）したりすることができるシステムが提案されている。また、仮想空間を、２次元グラフィックスよりも３次元グラフィックスで描画した方が、ユーザは、自身がその仮想空間にいるかのような感覚を享受することができる。

このような３次元仮想空間においては、現実には想定し難い事象や人間が空想する世界の事象を表現することができる。例えば、下記特許文献１では、３次元仮想空間において、一人称視点（パイロットアバター視点）と三人称視点を切り替えることで、自身が仮想世界にいるかのような感覚および体外離脱をしているかのような感覚の双方をユーザに提供する技術が提案されている。

特開平１１−１６１８１２号公報

しかしながら、特許文献１は、仮想空間における体外離脱感覚を提供する技術であって、現実世界において実際に体外離脱をしているかのような感覚をユーザに提供することについては何ら言及されていない。

そこで、本開示では、実世界において、ユーザ自身を俯瞰する三人称視点の画像を表示制御することが可能な、新規かつ改良された情報処理装置および記録媒体を提案する。

本開示によれば、表示部に第１の撮像部が撮像するユーザ視点の第１の画像を表示する制御、または前記表示部を透過する制御を行う第１の表示制御モードと、ユーザを画角に含む第２の撮像部が撮像する第２の画像を前記表示部に表示する制御を行う第２の表示制御モードとを有する表示制御部と、前記ユーザからの指示に応じて、前記表示制御部による表示制御モードを、前記第１の表示制御モードから前記第２の表示制御モードに切り替えるよう制御する切替制御部と、を備える、情報処理装置を提案する。

本開示によれば、コンピュータに、表示部に第１の撮像部が撮像するユーザ視点の第１の画像を表示する制御、または前記表示部を透過する制御を行う第１の表示制御モードと、ユーザを画角に含む第２の撮像部が撮像する第２の画像を前記表示部に表示する制御を行う第２の表示制御モードとを有する表示制御部と、前記ユーザからの指示に応じて、前記表示制御部による表示制御モードを、前記第１の表示制御モードから前記第２の表示制御モードに切り替えるよう制御する切替制御部、として機能させるためのプログラムが記録された記録媒体を提案する。

以上説明したように本開示によれば、実世界において、ユーザ自身を俯瞰する三人称視点の画像を表示制御することが可能となる。

本開示の一実施形態による表示制御システムの概要を説明するための図である。 本開示の一実施形態によるＨＭＤの外観を示すブロック図である。 本開示の一実施形態によるＨＭＤの内部構成例を示すブロック図である。 本開示の一実施形態による表示制御処理を示すフローチャートである。 第２の撮像画像にユーザの位置を示すインジケータを重畳表示する場合について説明するための図である。 本実施形態による外側表示部に表示する体外離脱中であることを表す画像の一例を示す図である。 本実施形態による外側表示部に表示する体外離脱中であることを表す画像の一例を示す図である。 仮想カメラを想定した場合の表示制御システムについて説明するための図である。 仮想カメラを想定した場合の表示制御システムにおける表示制御処理を示すフローチャートである。 サーバを含む表示制御システムにおける表示制御処理を示すフローチャートである。 サーバを含む表示制御システムにおける他の表示制御処理を示すフローチャートである。 スマートフォンの表示部に体外離脱視点の風景（第２の撮像画像）を表示する第１のシステム構成例について説明するための図である。 スマートフォンの表示部に体外離脱視点の風景（第２の撮像画像）を表示する第２のシステム構成例について説明するための図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による表示制御システムの概要
２．ＨＭＤの構成および動作処理
２−１．ＨＭＤの外観
２−２．ＨＭＤの内部構成
２−３．表示制御処理
２−４．補足
３．他の実施形態
３−１．仮想カメラ
３−２．サーバによる制御処理
３−３．他のデバイス例
４．まとめ

＜＜１．本開示の一実施形態による表示制御システムの概要＞＞
図１は、本開示の一実施形態による表示制御システムの概要を説明するための図である。図１に示すように、本実施形態による表示制御システムは、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１と外部カメラ３２を含む。ＨＭＤ１と外部カメラ３２は、Ｗｉ−Ｆｉ等の無線通信によりデータの送受信を行う。

ＨＭＤ１は、図１に示すようにユーザＰに装着される眼鏡型のウェアラブル装置である。ＨＭＤ１は、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２が配置される構成となっている。

表示部２は透過型であってもよく、ＨＭＤ１により表示部２がスルー状態、即ち透明または半透明の状態とされることで、ユーザＰは、ＨＭＤ１を眼鏡のように常時装着していても通常の生活には支障がない。

したがって、表示部２が透過状態に制御されている場合、ユーザＰは、図１左に示すように表示部２を介してユーザ視点（一人称視点）の風景２−１を視認することができる。若しくは、ＨＭＤ１は、ＨＭＤ１に設けられた、ユーザの視線方向を撮像する撮像部（第１の撮像部）により撮像した撮像画像をリアルタイムで表示部２に表示することで、図１左に示すようにユーザ視点（一人称視点）の風景２−１を実質的に提供することが可能である。このように、表示部２を透過制御、若しくは第１の撮像部で撮像したユーザ視点の第１の撮像画像を表示する制御により、ユーザ視点（一人称視点）の風景を提供するモードを、本明細書では第１の表示制御モードと称する。

ここで、上述した特許文献１では、パイロットアバタの視点から、パイロットアバタを視認する三人称視点に切り替えることで体外離脱感覚を提供しているが、これは仮想空間における人工画像（ＣＧ画像）の提供に過ぎない。これに対し、本開示による表示制御システムでは、現実世界において実際に体外離脱をしているかのような感覚をユーザに提供することが可能である。

具体的には、本実施形態によるＨＭＤ１は、ユーザＰからの視点切替指示（体外離脱指示）に応じて、ユーザ自身を俯瞰する実世界の三人称視点の風景（撮影画像）を表示部２に表示する。このような体外離脱視点（三人称視点）の風景を表示するモードを、本明細書において第２の表示制御モードと称する。

例えば、図１中央および図１右に示すように、ＨＭＤ１は、ユーザＰからの指示に応じて、表示部２に、ユーザＰを画角に含む外部カメラ３２（第２の撮像部）で撮像された第２の撮像画像２−２、２−３をリアルタイムで表示するよう制御する。撮像画像２−２、２−３は、図１に示すように、ユーザＰを画角に含む所定の三人称視点からの映像であって、例えばＨＭＤ１からの指示に応じて、または自動的に外部カメラ３２がズーム制御を行うことで取得され、ＨＭＤ１の表示部２に順次表示される。撮像画像２−２、２−３が順次表示部２にリアルタイムで表示されることで、ユーザＰは、現実世界において実際に体外離脱をして、上空に浮かんでいくような感覚を享受することができる。

以上、本実施形態による表示制御システムの概要について説明した。続いて、本実施形態による表示制御システムに含まれるＨＭＤ１（情報処理装置）の構成および動作処理について、図２〜図４を参照して説明する。

なお、上述した外部カメラ３２（第２の撮像部）は、室内や室外に設置されている防犯・監視用の定点カメラであってもよいし、飛行物体（ラジオコントロールされる小型装置や飛行船等）に搭載されるカメラであってもよい。特に大量のカメラが世界の至るところに配置されている環境においては、どこに居てもＨＭＤ１が周囲に設置されているカメラをサーチして、ユーザＰを画角に含むカメラからユーザＰを撮像した画像（第２の撮像画像）をリアルタイムで取得することができる。

さらに、外部カメラ３２（第２の撮像部）は、ユーザＰの頭部に装着されたＨＭＤ１から伸びたアームの先に取り付けられ、ユーザＰを画角に含めて撮像することが可能なカメラ（潜望鏡型カメラ）であってもよい。

＜＜２．ＨＭＤの構成および動作処理＞＞
＜２−１．ＨＭＤの外観＞
図２は、本実施形態によるＨＭＤ１の外観を説明するための図である。図２に示す眼鏡型のＨＭＤ１は、シースルーＨＭＤとも称され、上述したように表示部２が透過状態に制御され得る。

具体的には、ＨＭＤ１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを有し、図２に示すように両耳殻にかけられることでユーザに装着される。

そしてこのＨＭＤ１は、図２に示すような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２が配置される構成とされている。この表示部２には、例えば液晶パネルが用いられ、ＨＭＤ１は液晶パネルの透過率を制御することで、図２に示すようなスルー状態、即ち透明または半透明の状態（透過状態または半透過状態）にできる。表示部２がスルー状態にされることで、ＨＭＤ１を眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。

表示部２は、撮像レンズ３ａで撮像された現実空間の撮像画像を表示部２に表示することも可能である。また、表示部２は、ＨＭＤ１が外部機器から受信したコンテンツや、ＨＭＤ１の記憶媒体に記憶されるコンテンツを再生表示することも可能である。外部機器とは、図１に示す外部カメラ３２の他、携帯電話端末、スマートフォン、パーソナルコンピュータ、サーバ等の情報処理装置である。

表示部２に再生表示されるコンテンツとしては、上述したような外部カメラ３２で撮像された、ユーザＰを画角に含む三人称視点の撮像画像２−２、２−３の他、映画やビデオクリップなどの動画コンテンツや、電子書籍等のテキストデータであってもよい。また、かかるコンテンツは、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲームプログラムに基づくゲーム画像など、表示対象となるあらゆるデータが想定される。

また、図２に示すように、ユーザＰが装着した状態において、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。さらに、撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により形成される。

また、図２では左耳側しか示されていないが、装着状態でユーザの右耳孔および左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。

また右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ、６ｂが配置される。

なお図１に示すＨＭＤ１の外観は一例であり、ＨＭＤ１をユーザが装着するための構造は多様に考えられる。ＨＭＤ１は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。

またイヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。またマイクロホンも、マイクロホン６ａ、６ｂのうちの一方でもよい。

また、マイクロホン６ａ、６ｂやイヤホンスピーカ５ａを備えない構成も考えられる。また発光部４ａを設けない構成も考えられる。

以上、本実施形態によるＨＭＤ１の外観について説明した。なお、本実施形態では、ユーザＰに装着されるメガネ型のＨＭＤ１の表示部２が表示制御され、ＨＭＤ１において体外離脱視点の風景（第２の撮像画像）を表示する場合について説明しているが、本実施形態はＨＭＤ１に限定されない。例えば、本実施形態による表示制御システムは、スマートフォン、携帯電話端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末、デジタルカメラ、デジタルビデオカメラ、携帯用音楽再生装置、携帯用映像処理装置、または携帯用ゲーム機器等の表示部に、体外離脱視点の風景（第２の撮像画像）を表示するよう制御してもよい。

＜２−２．ＨＭＤの内部構成＞
次に、本実施形態によるＨＭＤ１の内部構成について図３を参照して説明する。図３は、図２に示すＨＭＤ１の内部構成例を示すブロック図である。

図３に示すように、ＨＭＤ１は、表示部２、撮像部３、照明部４、音声出力部５、音声入力部６、システムコントローラ１０、撮像制御部１１、表示画像処理部１２、表示駆動部１３、表示制御部１４、撮像信号処理部１５、音声信号処理部１６、画像解析部１７、照明制御部１８、ＧＰＳ受信部２１、ストレージ部２５、通信部２６、画像入出力コントロール２７、音声入出力コントロール２８、および音声合成部２９を有する。

（システムコントローラ）
システムコントローラ１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、ＨＭＤ１の各構成を制御する。

また、システムコントローラ１０は、図２に示すように、ＨＭＤ１の位置を特定する位置特定部１０ａ、ＨＭＤ１の動作を制御する動作制御部１０ｂとして機能する。

位置特定部１０ａは、ＧＰＳ受信部２１、画像解析部１７、または音声信号処理部１６から出力されるデータに基づいて、ＨＭＤ１の現在位置（現在地）を特定する。具体的には、例えば位置特定部１０ａは、ＧＰＳ受信部２１から実時間で受信される現在位置情報（緯度経度等）を現在位置として特定する。また、位置特定部１０ａは、実時間で撮像部３により撮影され、画像解析部１７により解析された撮影画像を現在位置として特定してもよい。また、位置特定部１０ａは、実時間で音声入力部６により集音され、音声信号処理部１６により処理された音声で示された名称を現在位置として特定してもよい。なお、名称とは、住所、地名、施設名（公園名含む）、または建物名等である。

動作制御部１０ｂは、ＨＭＤ１の各動作を制御する。より具体的には、本実施形態による動作制御部１０ｂは、ユーザからの体外離脱視点への切替指示に応じて、表示制御部１４の表示制御モードを、第１の表示制御モードから第２の表示制御モードに切り替えるよう制御する切替制御部として機能する。上述したように、第１の表示制御モードでは一人称視点の景色がユーザＰに提供され、第２の表示制御モードでは体外離脱視点すなわち三人称視点からユーザＰを撮像した撮像画像がリアルタイムでユーザＰに提供される。

また、動作制御部１０ｂ（切替制御部）は、ユーザからの体外離脱視点への切替指示を、ボタン／スイッチ操作入力、視線入力、音声入力、ジェスチャ入力、筋電入力、または脳波入力により受け付けることができる。

ボタン／スイッチ操作入力とは、ＨＭＤ１に設けられた物理的なボタン／スイッチ（不図示）による操作入力である。ユーザＰは、体外離脱視点への切替を指示するためのボタン／スイッチを押下することで指示を行うことができる。

また、視線入力とは、ユーザＰの眼を撮影するようＨＭＤ１において内側方向に向けて設けられた撮像レンズ（不図示）により撮像された画像に基づいて検出される指示入力の方法である。動作制御部１０ｂは、撮像されたユーザＰの眼の瞳孔の動きを追跡して視線の向きを算出することで、ユーザがどこを見つめているか（視線方向）を特定することができる。ユーザＰは、所定方向に所定時間視線を向けたり、瞬きを所定回数行ったりすることで、体外離脱視点への切替を指示することができる。

また、音声入力とは、音声入力部６により集音され、音声信号処理部１６において音声認識されることで検出され得る指示入力の方法である。例えば、ユーザＰは、「体外離脱」等と発声することで体外離脱視点への切替を指示することができる。

また、ジェスチャ入力とは、ユーザＰの手によるジェスチャを撮像レンズ３ａで撮影し、画像解析部１７で認識され得る指示入力の方法である。なお、ジェスチャ入力は、ＨＭＤ１に設けられる加速度センサやジャイロにより検出され得るユーザＰの頭部の動きによる指示入力の方法であってもよい。

また、筋電入力とは、ユーザＰがウィンク等で左眼、右眼、または両眼を開閉する際に発生する筋電の変化を、ＨＭＤ１に設けられた筋電センサ（不図示）で測定し、その測定結果に基づいて検出される指示入力の方法である。ユーザＰは、例えば、左眼でウィンクすることにより体外離脱視点への切替を指示し、右眼でウィンクすることにより、上空からのようなさらに高い位置への体外離脱視点へ導き、両眼をつぶることで、体外離脱視点を元の視点（一人称視点）に戻すことができる。

さらに、脳波入力とは、ユーザＰがリラックスしたり、集中したりすること等で起こる脳波の変化を、ＨＭＤ１に設けられた脳波センサ（不図示）で測定し、その測定結果に基づいて検出される指示入力の方法である。ユーザＰは、例えば、体外離脱をイメージして集中することにより、体外離脱視点への切替を指示することができる。

（撮像部）
撮像部３は、撮像レンズ３ａ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。

また、図２に示すようにユーザＰの視認方向を被写体方向として撮影するよう前方に向けて設けられている撮像レンズ３ａを用いて撮像した撮像画像は、ユーザ視点（一人称視点）の第１の撮像画像である。また、このようなユーザ視点の第１の撮像画像を撮像することができる撮像部３は、本開示による第１の撮像部の一例である。

（撮像信号処理部）
撮像信号処理部１５は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ)回路や、ビデオＡ／Ｄ（アナログ／デジタル）コンバータを備える。これにより、撮像信号処理部１５は、デジタルデータとしての撮像信号を得る。また、撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。

（撮像制御部）
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作を制御する。例えば撮像制御部１１は、撮像部３、撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御（モータ制御）を行うものとされる。また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１５のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。

さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整（例えば特定波長帯域をカットするような撮像）なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。

（画像入出力コントロール）
上記撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号（撮像による画像データ）は画像入出力コントロール２７に供給される。画像入出力コントロール２７は、システムコントローラ１０の制御に応じて、画像データの転送を制御する。即ち撮像系（撮像信号処理部１５）、表示系（表示画像処理部１２）、ストレージ部２５、通信部２６の間の画像データの転送を制御する。

例えば画像入出力コントロール２７は、撮像信号処理部１５で処理された撮像信号としての画像データを、表示画像処理部１２に供給したり、ストレージ部２５に供給したり、通信部２６に供給する動作を行う。また画像入出力コントロール２７は、例えばストレージ部２５から再生された画像データを、表示画像処理部１２に供給したり、通信部２６に供給する動作を行う。また画像入出力コントロール２７は例えば通信部２６で受信された画像データ（外部カメラ３２から受信した第２の撮像画像等）を、表示画像処理部１２に供給したり、ストレージ部２５に供給する動作を行う。

（表示画像処理部）
表示画像処理部１２は、例えばいわゆるビデオプロセッサとされ、供給された画像データに対して各種表示処理を実行できる部位とされる。例えば画像データの輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。

（表示駆動部）
表示駆動部１３は、表示画像処理部１２から供給される画像データを、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されている。即ち表示部２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部１３は、表示制御部１４の指示に従って、表示部２の各画素の透過率を制御し、表示部２をスルー状態にすることもできる。

（表示制御部）
表示制御部１４は、システムコントローラ１０の制御に応じて、表示画像処理部１２の処理動作や表示駆動部１３の動作を制御する。具体的には、表示制御部１４は、表示画像処理部１２に対して、上述した画像データの輝度レベル調整等を行うよう制御する。

また、本実施形態による表示制御部１４は、第１の表示制御モードと第２の表示制御モードとを有し、システムコントローラ１０の動作制御部１０ｂ（切替制御部）による制御に従って、表示制御モードを切り替える。第１の表示制御モードとは、表示部２に撮像部３（第１の撮像部）が撮像するユーザ視点の第１の撮像画像を表示する制御、または表示部２を透過する制御を行う表示制御モードである。これにより、表示制御部１４は、ユーザＰに、ユーザ視点（一人称視点）の風景を提供することができる。

また、第２の表示制御モードとは、ユーザＰを画角に含む外部カメラ３２（第２の撮像部）が撮像する第２の撮像画像を表示部２に表示する制御を行う表示制御モードである。これにより、表示制御部１４は、ユーザＰに、体外離脱視点（三人称視点）の風景を提供することができる。また、上記外部カメラ（第２の撮像部）が撮像する第２の撮像画像は、通信部２６を介して外部カメラ３２からリアルタイムで取得される。

（音声入力部）
音声入力部６は、図２に示したマイクロホン６ａ、６ｂと、そのマイクロホン６ａ、６ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを音声入出力コントロール２８に出力する。

（音声入出力コントロール）
音声入出力コントロール２８は、システムコントローラ１０の制御に応じて、音声データの転送を制御する。具体的には、音声入出力コントロール２８は、音声入力部６、音声信号処理部１６、ストレージ部２５、通信部２６の間の音声信号の転送を制御する。例えば、音声入出力コントロール２８は、音声入力部６で得られた音声データを、音声信号処理部１６に供給したり、ストレージ部２５に供給したり、通信部２６に供給する動作を行う。

また音声入出力コントロール２８は例えばストレージ部２５で再生された音声データを、音声信号処理部１６に供給したり、通信部２６に供給する動作を行う。また音声入出力コントロール２８は例えば通信部２６で受信された音声データを、音声信号処理部１６に供給したり、ストレージ部２５に供給する動作を行う。

より具体的には、本実施形態による音声入出力コントロール２８は、動作制御部１０ｂ（切替制御部）により表示制御モードの切り替え制御が行われる際、所定の効果音を出力するよう制御する音声出力制御部として機能する。例えば、音声入出力コントロール２８（音声出力制御部）が体外離脱を想起させるような所定の音を出力することで、ユーザＰは、体外離脱の感覚を視覚の他、聴覚で享受することができる。

（音声信号処理部）
音声信号処理部１６は、例えばデジタルシグナルプロセッサ、Ｄ／Ａ変換器などからなる。この音声信号処理部１６には、音声入力部６で得られた音声データや、ストレージ部２５、あるいは通信部２６からの音声データが、音声入出力コントロール２８を介して供給される。音声信号処理部１６は、供給された音声データに対して、システムコントローラ１０の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声データをアナログ信号に変換して音声出力部５に供給する。なお、音声信号処理部１６は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。

（音声出力部）
音声出力部５は、図２に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。また、音声出力部５は、いわゆる骨伝導スピーカとして構成されてもよい。さらにユーザは、音声出力部５により、外部音声を聞いたり、ストレージ部２５で再生された音声を聞いたり、通信部２６で受信された音声を聞くことができる。

（ストレージ部）
ストレージ部２５は、所定の記録媒体に対してデータの記録再生を行う部位とされる。ストレージ部２５は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２５としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。

ストレージ部２５には、撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、通信部２６で受信した画像データが、画像入出力コントロール２７を介して供給される。また、ストレージ部２５には、音声入力部６で得られた音声データや、通信部２６で受信した音声データが、音声入出力コントロール２８を介して供給される。

ストレージ部２５は、システムコントローラ１０の制御に従って、供給された画像データや音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記録する。またストレージ部２５は、システムコントローラ１０の制御に従って、記録媒体から画像データや音声データを再生する。ストレージ部２５で再生した画像データは画像入出力コントロール２７へ出力され、また、ストレージ部２５で再生した音声データは音声入出力コントロール２８へ出力される。

（通信部）
通信部２６は外部機器との間でのデータの送受信を行う。通信部２６は、外界情報を取得するための構成の一例である。通信部２６は、無線ＬＡＮ、Ｗｉ−Ｆｉ、赤外線通信、ブルートゥース等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。

外部機器としては、上述した外部カメラ３２の他、コンピュータ機器、ＰＤＡ、携帯電話端末、スマートフォン、ビデオ機器、オーディオ機器、チューナ機器など、情報処理及び通信機能を備えたあらゆる機器が想定される。またインターネット等のネットワークに接続された端末装置、サーバ装置なども通信対象の外部機器として想定される。さらには、ＩＣチップを内蔵した非接触通信ＩＣカード、ＱＲコード（登録商標）等の二次元バーコード、ホログラムメモリなどを外部機器とし、通信部２６はこれらの外部機器から情報を読み取る構成とすることも考えられる。さらには他のＨＭＤ１も外部機器として想定される。

通信部２６には、撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、ストレージ部２５で再生した画像データが、画像入出力コントロール２７を介して供給される。また、通信部２６には、音声入力部６で得られた音声データや、ストレージ部２５で再生された音声データが、音声入出力コントロール２８を介して供給される。

通信部２６は、システムコントローラ１０の制御に従って、供給された画像データや音声データに対して、送信のためのエンコード処理、変調処理等を行い、外部機器に送信する。また、本実施形態による通信部２６は、周囲に設置されている外部カメラ３２に対して情報通知依頼や、画角・方向調整指示等を送信する。また通信部２６は、外部機器からのデータ受信動作、例えば外部カメラ３２からの撮像画像の受信動作を行う。受信復調した画像データは画像入出力コントロール２７へ出力し、また受信復調した音声データは音声入出力コントロール２８へ出力する。

（音声合成部）
音声合成部２９は、システムコントローラ１０の制御に応じて音声合成を行い、音声信号を出力する。音声合成部２９から出力された音声信号は、音声入出力コントロール２８を介して音声信号処理部１６に供給されて処理された後、音声出力部５に供給され、ユーザに対して音声出力される。

（照明部、照明制御部）
照明部４は、図２に示した発光部４ａとその発光部４ａ（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１８は、システムコントローラ１０の制御に応じて、照明部４に発光動作を実行させる。照明部４における発光部４ａが図２に示したように前方に対する照明を行うものとして取り付けられていることで、照明部４はユーザの視界方向に対する照明動作を行うことになる。

（ＧＰＳ受信部）
ＧＰＳ受信部２１は、外界情報を取得するための構成の一例である。具体的には、ＧＰＳ受信部２１は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の衛星からの電波を受信し、現在位置としての緯度・経度の情報を出力する。

（画像解析部）
画像解析部１７は、外界情報を取得するための構成の一例である。具体的には、画像解析部１７は、画像データを解析し、画像データに含まれる画像の情報を得る。画像解析部１７には、画像入出力コントロール２７を介して画像データが供給される。画像解析部１７において画像解析の対象となる画像データとは、撮像部３、撮像信号処理部１５により得られた撮像画像としての画像データや、通信部２６で受信された画像データ、あるいはストレージ部２５で記録媒体から再生された画像データである。

以上、本実施形態によるＨＭＤ１の内部構成について詳細に説明した。なお、外界情報を取得するための構成として、ＧＰＳ受信部２１、画像解析部１７、及び通信部２６を示したが、これらは必ずしも全てを備える必要はない。また、周囲の音声を検知・解析する音声解析部など、他のセンサが設けられても良い。

＜２−３．表示制御処理＞
次に、本実施形態のＨＭＤ１による表示制御処理について、図４を参照して具体的に説明する。

図４は、本実施形態による表示制御処理を示すフローチャートである。まず、図４のステップＳ１０３に示すように、ＨＭＤ１の表示制御部１４は、第１の表示制御モードとして、一人称視点の景色をユーザＰに提供する。具体的には、表示部２を透過する制御、またはユーザＰの視認方向を撮影する撮像レンズ３ａ（図２参照）を用いて撮像部３が撮像した撮像画像を表示部２に表示する制御により、図１左に示すように、ユーザ視点（一人称視点）の風景２−１が視認できるようにする。

次に、ステップＳ１０６において、ＨＭＤ１は、ユーザＰによる体外離脱視点への切替指示の有無を判断する。

次いで、体外離脱指示があった場合（Ｓ１０６／Ｙｅｓ）、ステップＳ１０９において、ＨＭＤ１は、ユーザＰを画角に含む体外離脱視点の画像を撮像可能な外部カメラ３２のサーチを行う。具体的には、例えばＨＭＤ１は、近接無線通信により周囲に設置されている１以上の外部カメラ３２に対して情報通知依頼を行い、各カメラの位置情報や画角情報、撮影方向情報等を取得する。そして、ＨＭＤ１は、取得した各情報と、ＨＭＤ１の現在位置（例えばＧＰＳ受信部２１により取得される位置情報）に基づいて、ＨＭＤ１を装着しているユーザＰを画角に含む外部カメラ３２を選択し、当該外部カメラ３２から撮像画像を取得する。

若しくは、ＨＭＤ１は周囲に設置された１以上の外部カメラ３２から撮像画像を取得し、各撮像画像を解析して、ユーザＰが大きく画角に含まれている撮像画像を自動選択してもよい。または、ＨＭＤ１は、周囲の外部カメラ３２から取得した撮像画像を表示部２に提示し、ユーザＰに手動選択させてもよい。

続いて、ステップＳ１１２において、ＨＭＤ１の動作制御部１０ｂ（切替制御部）は、表示制御部１４の表示制御モードを、第２の表示制御モードに切り替えるよう制御する。これにより、表示制御部１４は、第２の表示制御モードとして、ユーザＰを画角に含む体外離脱視点（三人称視点）の景色をユーザＰに提供し、ユーザＰは、実世界で体外離脱しているかのような感覚を享受することができる。

具体的には、表示制御部１４は、体外離脱視点（三人称視点）の景色として、上記Ｓ１０９でサーチされた外部カメラ３２から受信した撮像画像（または自動／手動選択された撮像画像）をリアルタイムで表示部２に表示する。例えば、図１中央に示すように、体外離脱視点（三人称視点）の景色として、外部カメラ３２で撮像された撮像画像２−２を表示部２に表示する。また、表示制御部１４は第２の表示制御モードに切り替える際、切り替え前後の画像（第１の撮像部が撮像するユーザ視点の第１の画像および第２の画像）に基づいて、切り替え途中を表す遷移画像を生成し、当該遷移画像を表示部２に表示してもよい。

また、表示制御部１４は、撮像画像２−２を表示部２に表示した後、外部カメラ３２に対してズーム指示を送り、図１右に示すように、ズームアウトした三人称視点の撮像画像２−３をリアルタイムで表示部２に表示してもよい。これにより、ユーザＰは、自分自身がさらに上空に浮かんでいくような感覚を享受することができる。

以上、本実施形態よる表示制御処理について詳細に説明した。なお、図１に示すように、撮像画像２−２、２−３を順次表示することで、ユーザＰは、自分自身が上空にさらに浮かんでいくような感覚を享受することができるが、画角が広くなるにつれて、ユーザＰ自身の姿は小さくなり視認し難くなる。そこで、本実施形態では、第２の撮像画像にユーザＰの位置を示すインジケータを重畳表示することでユーザＰの位置を明示することができる。以下、図５を参照して具体的に説明する。

図５は、第２の撮像画像にユーザＰの位置を示すインジケータを重畳表示する場合について説明するための図である。図５に示すように、例えばＨＭＤ１の表示制御部１４が、第２の表示制御モードにおいて、撮像画像２−５を表示部２に表示している際、撮像画像２−５にはユーザＰの姿が認識可能に表示されているので、特にインジケータは表示しない。なお、ユーザＰの姿が認識可能に表示されているか否かについては、画像解析部１７による解析結果に基づいて判断されてもよいし、ユーザによるインジケータ表示の指示が無い場合にユーザＰの姿が認識可能であると判断されてもよい。

一方、表示部２に表示される体外離脱視点の撮像画像の画角が徐々に広がると、例えば超高層ビルや飛行船に搭載された外部カメラ３２により撮像された撮像画像２−６が表示され得る。この場合、図５に示すように撮像画像２−６からはユーザＰの姿を認識できないので、表示制御部１４は、ユーザＰの位置を示すインジケータ４０を重畳表示する。ユーザＰの認識可否は、上述したように画像解析部１７による解析結果に基づいて判断されてもよいし、ユーザによるインジケータ表示の指示が有った場合にユーザＰの姿が認識不可能であると判断されてもよい。

なお、撮像画像２−６におけるユーザＰの位置（インジケータ４０の表示位置）は、ＨＭＤ１の位置情報や、撮像画像２−６を撮像した外部カメラ３２の位置情報、高度情報、画角情報、さらに画像解析部１７による解析結果等に基づいて判断され得る。

これによりユーザＰは、表示部２に表示される体外離脱視点（三人称視点）の撮像画像２−６において、自分の姿を認識できなくとも、インジケータ４０により自分の位置を認識することができる。

＜２−４．補足＞
次に、本実施形態による表示制御システムについて補足説明を行う。上述した実施形態では、現実世界において体外離脱をしているかのような感覚をユーザＰに提供しているが、さらに、ＨＭＤ１は、ユーザＰが体外離脱中であることを周囲に明示する制御を行ってもよい。

例えば、ＨＭＤ１は、発光部４ａを点滅させたり、ＨＭＤ１のサイドや後ろ側に外側を向くよう設けられた表示部に所定の画像を表示させたりすることで、ユーザＰが体外離脱中であること（第２の表示制御モード中であること）を周囲に明示する。以下、外側を向くよう設けられた表示部に所定の画像を表示することで周囲に明示する場合について、図６Ａ、図６Ｂを参照して具体的に説明する。

図６Ａおよび図６Ｂは、外側表示部に表示する画像例を示す図である。ここでは、図６Ａに示すように、ＨＭＤ１の表示部２が、装着者側（内側）を向く内側表示部２Ｉと、内側表示部２Ｉの反対側（外側）を向く外側表示部２Ｏを有する両面ディスプレイである場合を想定する。この場合、表示制御部１４は、第２の表示制御モードにおいて、内側表示部２Ｉに体外離脱視点（三人称視点）の撮像画像を表示し、外側表示部２Ｏに体外離脱中であることを表す所定の画像を表示する。

外側表示部２Ｏに表示される所定の画像は、図６Ａに示すような体外離脱の様子を示すアイコン化された遷移画像であってもよい。具体的には、図６Ａに示すように、アイコン化された人物の画像２Ｏ−１、アイコン化された人物が体外離脱し始めた画像２Ｏ―２、そしてアイコン化された人物が体外離脱して浮かんでいる画像２Ｏ―３が、順次外側表示部２Ｏに表示される。または、外側表示部２Ｏに表示される所定の画像は、図６Ｂに示すようなユーザＰの画像を用いて生成された、ユーザＰが浮遊している様子を示す画像２Ｏ―５であってもよい。

このように、表示部２の外側表示部２Ｏに、体外離脱中であることを表す所定の画像を表示することで、周囲に、ユーザＰが体外離脱中であることを明示することができる。

以上、本実施形態による表示制御システムに含まれるＨＭＤ１の構成および表示制御処理について詳細に説明した。しかしながら、上述した内容は本開示による表示制御システムの一実施形態であって、本技術は上記実施形態に限定されない。以下、本開示の他の実施形態による表示制御システムについて説明する。

＜＜３．他の実施形態＞＞
＜３−１．仮想カメラ＞
上記実施形態では、ユーザＰを画角に含む三人称視点画像を外部カメラ３２から取得しているが、本開示による表示制御システムはこれに限定されず、仮想的な外部カメラ（以下、仮想カメラと称す）を想定してもよい。ＨＭＤ１は、仮想カメラの位置や撮像方向を制御し、仮想カメラで撮像されたとする画像を、複数の外部カメラ３２から取得した撮像画像に基づいて生成し、表示部２に表示する。以下、このような仮想カメラを想定した場合の表示制御システムについて図７〜図８を用いて具体的に説明する。

（概要）
図７は、仮想カメラを想定した場合の表示制御システムについて説明するための図である。図７に示すように、ＨＭＤ１は、周囲に配置されている外部カメラ３２Ａ〜３２Ｄと接続可能であって、データの送受信を行うことができる。また、各外部カメラ３２Ａ〜３２Ｄは、各々位置情報および撮影方向情報を有する。

ここで、外部カメラ３２Ａは、図７に示すように、ＨＭＤ１の後方（装着時におけるユーザの後頭部側）に設けられる第２の撮像部である。外部カメラ３２Ａは、図７に示すように、ＨＭＤ１の上方、下方、内側方向を撮像する複数の超広角レンズにより実現され、これらの超広角レンズにより装着者の後頭部や頭頂部、背中（身体）をそれぞれ撮像する。そして、外部カメラ３２Ａは、複数の超広角レンズにより撮像した複数の撮像画像を合成し、装着者（ユーザＰ）の後頭部を画角に含む三人称視点の画像を生成することができる。

また、ＨＭＤ１は、仮想カメラ３４の位置および撮影方向をユーザ操作に応じて制御し、仮想カメラ３４で撮像されたとする画像を生成する。具体的には、ＨＭＤ１の周囲に設けられた外部カメラ３２Ａ〜３２Ｄの位置・撮影方向を参照した上で、必要な撮像画像を外部カメラ３２Ａ〜３２Ｄから取得し、取得した撮像画像を用いて、仮想カメラ３４で撮像されたとする画像を生成する。このように、ＨＭＤ１は、外部カメラ３２Ａ〜３２Ｄから取得した撮像画像を用いて、ユーザ操作に応じた自由視点の体外離脱画像を生成し、表示部２に表示することができる。

（動作処理）
次に、本実施形態による動作処理について図８を参照して説明する。図８は、本実施形態による表示制御処理を示すフローチャートである。

まず、図８のステップＳ２００において、ＨＭＤ１は、ユーザによる仮想カメラ３４の位置および方向の設定を受け付ける。

次いで、ステップＳ２１０において、ＨＭＤ１は、周囲の外部カメラ３２Ａ〜３２Ｄに対して、ＨＭＤ１の通信部２６から情報通知依頼を送信する。この情報通知依頼は、各外部カメラ３２の位置情報（例えば緯度・経度・高度）や方向情報の通知を要求するものである。

次に、ステップＳ２２０において、外部カメラ３２Ａ〜３２Ｄは、ＨＭＤ１からの情報通知依頼に応じて、位置情報や方向情報を含む情報をＨＭＤ１に通知する。

続いて、ステップＳ２３０において、ＨＭＤ１は、上記Ｓ２００で設定した仮想カメラの位置、方向に応じた画像を取得するために、各外部カメラ３２に対して、画角（テレ、ワイド）や撮影方向（パン、チルト）の調整を行う。図８に示す例では、一例として、外部カメラ３２Ｂ〜３２Ｄに対して調整指示を出す。

次いで、ステップＳ２４０において、ＨＭＤ１は、調整指示を出した外部カメラ３２Ｂ〜３２Ｄに対して、画像取得依頼を行う。この画像取得依頼は、外部カメラ３２で撮像された撮像画像の送信を要求するものである。

次に、ステップＳ２５０において、外部カメラ３２Ｂ〜３２Ｄは、ＨＭＤ１からの画像取得依頼に応じて、撮像画像をＨＭＤ１に送信する。

次いで、ステップＳ２６０において、ＨＭＤ１は、外部カメラ３２Ｂ〜３２Ｄから取得した撮像画像に基づいて、上記Ｓ２００で設定した位置、方向に応じた画像（仮想カメラ３４で撮像されたとする画像）を演算により生成する。演算方法は特に限定しないが、例えば特開２００７−３３４５８３に開示されている自由視点画像生成方法を用いてもよい。より具体的には、ＨＭＤ１は、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いて任意の視点の画像を生成することができる。

そして、ステップＳ２７０において、ＨＭＤ１は、生成した画像、すなわちユーザ操作に応じて位置・方向が設定された仮想カメラ３４で撮像されたとする画像であって、ユーザＰを画角に含む三人称視点の画像を、表示部２に表示する。

＜３−２．サーバによる制御処理＞
以上説明した各実施形態による表示制御処理は、ＨＭＤ１で行われているが、本開示による表示制御システムはこれに限定されず、ＨＭＤ１および外部カメラＡ〜Ｄと接続可能なサーバで行ってもよい。以下、図９〜図１０を参照して具体的に説明する。

図９は、サーバを含む表示制御システムにおける表示制御処理を示すフローチャートである。図９に示すように、まず、ステップＳ３００において、各外部カメラ３２Ａ〜３２Ｄは、位置や方向等の状態が変化すると、位置や撮影方向の情報をサーバに通知する。これにより、サーバは、各外部カメラ３２Ａ〜３２Ｄの位置、撮影方向等の状態を常に把握することができる。

次に、ステップＳ３１０において、ＨＭＤ１は、ユーザによる仮想カメラ３４の位置および方向の設定を受け付ける。

次いで、ステップＳ３２０において、ＨＭＤ１は、設定された仮想カメラ３４の位置および方向の情報をサーバに通知する。

次に、ステップＳ３３０において、サーバは、上記Ｓ３２０でＨＭＤ１から通知された仮想カメラ３４の位置、方向に応じた画像を取得するために、所定の外部カメラ３２に対して画像取得依頼を行う。図９に示す例では、外部カメラ３２Ａの位置、方向が、仮想カメラ３４の位置、方向に一致すると想定し、サーバは外部カメラ３２Ａに対して画像取得依頼を行う。

次いで、ステップＳ３４０において、外部カメラ３２Ａは、サーバからの画像取得依頼に応じて、撮像画像をサーバに送信する。

続いて、ステップＳ３５０において、サーバは、外部カメラ３２Ａから送信された撮像画像を未加工の状態でＨＭＤ１に送信する。上述したように、図９に示す例では、外部カメラ３２Ａの位置、方向が、仮想カメラ３４の位置、方向に一致すると想定するので、サーバは外部カメラ３２Ａから取得した撮像画像に対して加工を行う必要がない。

そして、ステップＳ３６０において、ＨＭＤ１は、サーバから送信された撮像画像、すなわちユーザ操作に応じて位置・方向が設定された仮想カメラ３４で撮像されたとする画像であって、ユーザＰを画角に含む三人称視点の画像を、表示部２に表示する。

なお、以上説明した例では、外部カメラ３２Ａの位置、方向が、仮想カメラ３４の位置、方向に一致する場合を想定しているが、一致する外部カメラ３２が無い場合は、サーバは複数の外部カメラ３２から取得した撮像画像に基づいて生成してもよい。以下、サーバが複数の外部カメラ３２から取得した撮像画像に基づいて画像生成（加工）を行う場合について図１０を参照して説明する。

図１０は、サーバを含む表示制御システムにおける他の表示制御処理を示すフローチャートである。図１０に示すステップＳ３００〜Ｓ３２０の処理は、図９に示す同ステップの処理と同様であるので、ここでの説明は省略する。

次に、ステップＳ４００において、サーバは、上記Ｓ３２０でＨＭＤ１から通知された仮想カメラ３４の位置、方向に応じた画像を取得するために、各外部カメラ３２に対して、画角（テレ、ワイド）や撮影方向（パン、チルト）の調整を行う。図１０に示す例では、一例として、外部カメラ３２Ｂ〜３２Ｄに対して調整指示を出す。

次いで、ステップＳ４１０において、サーバは、調整指示を出した外部カメラ３２Ｂ〜３２Ｄに対して、画像取得依頼を行う。この画像取得依頼は、外部カメラ３２で撮像された撮像画像の送信を要求するものである。

次に、ステップＳ４２０において、外部カメラ３２Ｂ〜３２Ｄは、サーバからの画像取得依頼に応じて、撮像画像をサーバに送信する。

次いで、ステップＳ４３０において、ＨＭＤ１は、外部カメラ３２Ｂ〜３２Ｄから取得した撮像画像に基づいて、上記Ｓ３２０で通知された位置、方向に応じた画像（仮想カメラ３４で撮像されたとする画像）を演算により生成する。

次に、ステップＳ４４０において、サーバは、生成した画像をＨＭＤ１に送信する。

そして、ステップＳ４５０において、ＨＭＤ１は、サーバから送信された画像、すなわちユーザ操作に応じて位置・方向が設定された仮想カメラ３４で撮像されたとする画像であって、ユーザＰを画角に含む三人称視点の画像を、表示部２に表示する。

＜３−３．他のデバイス例＞
次に、本開示による情報処理装置が、図１および図２等に示すＨＭＤ１以外のデバイス、例えばスマートフォンの場合における表示制御システムについて、図１１Ａ、図１１Ｂを参照して具体的に説明する。

図１１Ａは、スマートフォンの表示部に体外離脱視点の風景（第２の撮像画像）を表示する第１のシステム構成例について説明するための図である。図１１Ａに示すように、スマートフォン１００は、表示部１２０および撮像部１３０を有する。撮像部１３０は、スマートフォン１００の外側に設けられ、ユーザＰの視線方向を撮影可能な第１の撮像部である。

このような構成において、スマートフォン１００は、第１の表示制御モードにおいて、撮像部１３０（第１の撮像部）で撮影した、ユーザ視点（一人称視点）の撮影画像（第１の撮像画像）を、表示部１２０に表示する。

次いで、ユーザＰにより体外離脱指示があった場合、スマートフォン１００は、第２の表示制御モードに切り替える。具体的には、スマートフォン１００は、第２の表示制御モードにおいて、周辺に配置される外部カメラ３２（第２の撮像部）で撮像された、ユーザＰを画角に含む体外離脱視点（三人称視点）の撮像画像（第２の撮像画像）を表示部１２０に表示する。

このように、ＨＭＤ１の他、例えばスマートフォン１００にも本開示による表示制御システムが適用され得る。なお、図１１Ａに示す例では、第１の撮像部として、スマートフォン１００と一体化している撮像部１３０を用いたが、本開示による第１の撮像部はこれに限定されず、例えばスマートフォン１００とは別個の撮像部であってもよい。以下、図１１Ｂを参照して具体的に説明する。

図１１Ｂは、スマートフォンの表示部に体外離脱視点の風景（第２の撮像画像）を表示する第２のシステム構成例について説明するための図である。図１１Ｂに示すように、ユーザＰは、いわゆるライフログと称される、外界の情報を継続的に撮影して記録すること可能なウェアラブル装置２００を装着している。この場合、ウェアラブル装置２００の撮像部２３０がユーザＰの視線方向を撮影可能であれば、本表示制御システムにおいて、第１の撮像部として利用し得る。

具体的には、スマートフォン１００は、第１の表示制御モードにおいて、ウェアラブル装置２００の撮像部２３０（第１の撮像部）で撮影した、ユーザ視点（一人称視点）の撮影画像（第１の撮像画像）を受信し、スマートフォン１００の表示部１２０に表示する。

そして、第２の表示制御モードでは、図１１Ａに示すシステム構成の場合と同様に、スマートフォン１００は、外部カメラ３２（第２の撮像部）で撮像された、ユーザＰを画角に含む体外離脱視点の撮像画像（第２の撮像画像）を表示部１２０に表示する。

このように、本実施形態によるスマートフォン１００（情報処理装置）は、スマートフォン１００（情報処理装置）とは別個の撮像部を、第１の撮像部として利用し得る。

＜＜４．まとめ＞＞
以上説明したように、本実施形態による表示制御システムでは、ユーザ自身を俯瞰する実世界の三人称視点の画像をリアルタイムで表示部２に表示することで、実際に体外離脱をしているかのような感覚をユーザに提供することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述したＨＭＤ１に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアを、上述したＨＭＤ１の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、ユーザ自身を俯瞰する実世界の三人称視点の画像をリアルタイムで表示部２に表示することで、ユーザは、災害時や深夜、道に迷った場合等に、体外離脱の感覚と共に周囲の状況を容易に把握することができる。

なお、本技術は以下のような構成も取ることができる。
（１）
表示部に第１の撮像部が撮像するユーザ視点の第１の画像を表示する制御、または前記表示部を透過する制御を行う第１の表示制御モードと、ユーザを画角に含む第２の撮像部が撮像する第２の画像を前記表示部に表示する制御を行う第２の表示制御モードとを有する表示制御部と、
前記ユーザからの指示に応じて、前記表示制御部による表示制御モードを、前記第１の表示制御モードから前記第２の表示制御モードに切り替えるよう制御する切替制御部と、
を備える、情報処理装置。
（２）
前記表示部は、透過制御可能な表示部であって、
前記表示制御部は、前記切替制御部による制御に応じて、前記表示部を透過する制御を行う第１の表示制御モードから、前記ユーザを画角に含む第２の撮像部が撮像する第２の画像を前記表示部に表示する制御を行う第２の表示制御モードに切り替える、前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記切替制御部による制御に応じて、前記表示部に第１の撮像部が撮像するユーザ視点の第１の画像を表示する第１の表示制御モードから、前記ユーザを画角に含む第２の撮像部が撮像する第２の画像を前記表示部に表示する制御を行う第２の表示制御モードに切り替える、前記（１）に記載の情報処理装置。
（４）
前記表示制御部は、前記第２の表示制御モードに切り替える際、前記第１の撮像部が撮像するユーザ視点の第１の画像および前記第２の画像に基づいて、切り替え途中を表す遷移画像を生成し、当該遷移画像を前記表示部に表示する、前記（１）または（２）に記載の情報処理装置。
（５）
前記表示部は、前記ユーザの頭部または顔部に装着されるＨＭＤに設けられ、かつ、ユーザの眼前に配置される、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記切替制御部は、前記ユーザからの指示を、操作入力、視線入力、音声入力、ジェスチャ入力、筋電入力、または脳波入力により受け付ける、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記表示制御部は、前記第２の画像に、前記ユーザの位置を示すインジケータを表示する、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記表示制御部は、前記第２の表示制御モードにおいて、前記ユーザからの指示に応じた位置からの前記ユーザを画角に含む仮想的な撮像画像を、前記第２の画像として生成し、前記表示部に表示する、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記情報処理装置は、前記切替制御部により前記表示制御モードの切り替えが行われる際、所定の効果音を出力するよう制御する音声出力制御部をさらに備える、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記第１の撮像部は、前記ユーザの頭部または顔部に装着されるＨＭＤに設けられ、かつ、前記ユーザの視線方向を撮像するよう配置される、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記第２の撮像部は、ユーザの周囲に設置されている定点カメラである、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記第２の撮像部は、飛行物体に搭載されているカメラである、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記第２の撮像部は、前記ユーザの頭部または顔部に装着されるＨＭＤに設けられる複数の超広角カメラであって、
前記表示制御部は、前記第２の表示制御モードにおいて、前記複数の超広角カメラにより撮像された複数の撮像画像に基づいて、前記第２の画像を生成する、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記表示部は、前記第２の画像を表示する内側表示部、および当該内側表示部と反対側を向く外側表示部を有し、
前記表示制御部は、前記第２の表示制御モードにおいて、前記第２の表示制御モードに切り替わっていることを表す画像を前記外側表示部に表示するよう制御する、前記（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
コンピュータに、
表示部に第１の撮像部が撮像するユーザ視点の第１の画像を表示する制御、または前記表示部を透過する制御を行う第１の表示制御モードと、ユーザを画角に含む第２の撮像部が撮像する第２の画像を前記表示部に表示する制御を行う第２の表示制御モードとを有する表示制御部と、
前記ユーザからの指示に応じて、前記表示制御部による表示制御モードを、前記第１の表示制御モードから前記第２の表示制御モードに切り替えるよう制御する切替制御部、
として機能させるためのプログラムが記録された記録媒体。

１ ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）
２ 表示部
２Ｉ 内側表示部
２Ｏ 外側表示部
２−２、２−３、２−５、２−６ 体外離脱視点（三人称視点）の撮像画像
３ 撮像部
３ａ 撮像レンズ
４ 照明部
４ａ 発光部
５ 音声出力部
６ 音声入力部
１０ システムコントローラ
１０ａ 位置特定部
１０ｂ 動作制御部
１１ 撮像制御部
１２ 表示画像処理部
１３ 表示駆動部
１４ 表示制御部
１５ 撮像信号処理部
１６ 音声信号処理部
１７ 画像解析部
１８ 照明制御部
２１ ＧＰＳ受信部
２５ ストレージ部
２６ 通信部
２７ 画像入出力コントロール
２８ 音声入出力コントロール
２９ 音声合成部
３０ サーバ
３２ 外部カメラ
３４ 仮想カメラ
Ｐ ユーザ

Claims (15)

1. 表示部に第１の撮像部が撮像するユーザ視点の第１の画像を表示する制御、または前記表示部を透過する制御を行う第１の表示制御モードと、ユーザを画角に含む第２の撮像部が撮像する第２の画像を前記表示部に表示する制御を行う第２の表示制御モードとを有する表示制御部と、
   前記ユーザからの指示に応じて、前記表示制御部による表示制御モードを、前記第１の表示制御モードから前記第２の表示制御モードに切り替えるよう制御する切替制御部と、
   を備える、情報処理装置。
2. 前記表示部は、透過制御可能な表示部であって、
   前記表示制御部は、前記切替制御部による制御に応じて、前記表示部を透過する制御を行う第１の表示制御モードから、前記ユーザを画角に含む第２の撮像部が撮像する第２の画像を前記表示部に表示する制御を行う第２の表示制御モードに切り替える、請求項１に記載の情報処理装置。
3. 前記表示制御部は、前記切替制御部による制御に応じて、前記表示部に第１の撮像部が撮像するユーザ視点の第１の画像を表示する第１の表示制御モードから、前記ユーザを画角に含む第２の撮像部が撮像する第２の画像を前記表示部に表示する制御を行う第２の表示制御モードに切り替える、請求項１に記載の情報処理装置。
4. 前記表示制御部は、前記第２の表示制御モードに切り替える際、前記第１の撮像部が撮像するユーザ視点の第１の画像および前記第２の画像に基づいて、切り替え途中を表す遷移画像を生成し、当該遷移画像を前記表示部に表示する、請求項１に記載の情報処理装置。
5. 前記表示部は、前記ユーザの頭部または顔部に装着されるＨＭＤに設けられ、かつ、ユーザの眼前に配置される、請求項１に記載の情報処理装置。
6. 前記切替制御部は、前記ユーザからの指示を、操作入力、視線入力、音声入力、ジェスチャ入力、筋電入力、または脳波入力により受け付ける、請求項１に記載の情報処理装置。
7. 前記表示制御部は、前記第２の画像に、前記ユーザの位置を示すインジケータを表示する、請求項１に記載の情報処理装置。
8. 前記表示制御部は、前記第２の表示制御モードにおいて、前記ユーザからの指示に応じた位置からの前記ユーザを画角に含む仮想的な撮像画像を、前記第２の画像として生成し、前記表示部に表示する、請求項１に記載の情報処理装置。
9. 前記情報処理装置は、前記切替制御部により前記表示制御モードの切り替えが行われる際、所定の効果音を出力するよう制御する音声出力制御部をさらに備える、請求項１に記載の情報処理装置。
10. 前記第１の撮像部は、前記ユーザの頭部または顔部に装着されるＨＭＤに設けられ、かつ、前記ユーザの視線方向を撮像するよう配置される、請求項１に記載の情報処理装置。
11. 前記第２の撮像部は、ユーザの周囲に設置されている定点カメラである、請求項１に記載の情報処理装置。
12. 前記第２の撮像部は、飛行物体に搭載されているカメラである、請求項１に記載の情報処理装置。
13. 前記第２の撮像部は、前記ユーザの頭部または顔部に装着されるＨＭＤに設けられる複数の超広角カメラであって、
    前記表示制御部は、前記第２の表示制御モードにおいて、前記複数の超広角カメラにより撮像された複数の撮像画像に基づいて、前記第２の画像を生成する、請求項１に記載の情報処理装置。
14. 前記表示部は、前記第２の画像を表示する内側表示部、および当該内側表示部と反対側を向く外側表示部を有し、
    前記表示制御部は、前記第２の表示制御モードにおいて、前記第２の表示制御モードに切り替わっていることを表す画像を前記外側表示部に表示するよう制御する、請求項１に記載の情報処理装置。
15. コンピュータに、
    表示部に第１の撮像部が撮像するユーザ視点の第１の画像を表示する制御、または前記表示部を透過する制御を行う第１の表示制御モードと、ユーザを画角に含む第２の撮像部が撮像する第２の画像を前記表示部に表示する制御を行う第２の表示制御モードとを有する表示制御部と、
    前記ユーザからの指示に応じて、前記表示制御部による表示制御モードを、前記第１の表示制御モードから前記第２の表示制御モードに切り替えるよう制御する切替制御部、
    として機能させるためのプログラムが記録された記録媒体。
    
    

Images