JP2018041180A - 仮想空間表示システム - Google Patents

Abstract

【課題】 本発明は、ヘッドマウントディスプレイ又はスマートフォン等を使った仮想空間表示システムに関する。特に観察者が水に浮かんだ状態で動画を楽しむ仮想空間表示システムに関する。【解決手段】 水が観察者の眼球側に侵入しないように、観察者の顔を防水する防水部材と、カバー部材の内側に配置され、観察者の視覚に仮想空間の画像を提示する画像表示部と、水に観察者の伏臥位で浮いた状態で、観察者が下方を向いた第１角度を検出する第１角度検出部と、水に観察者の伏臥位で浮いた状態で、観察者が左右に動かす第２角度を検出する第２角度検出部と、を備える。【選択図】図１

Description

本発明は、ヘッドマウントディスプレイ（以下、ＨＭＤという。）又はスマートフォン等を使った仮想空間表示システムに関する。特に観察者が水に浮かんだ状態で動画を楽しむ仮想空間表示システムに関する。

ゲーム機に接続されたＨＭＤを観察者の頭部に装着して、ＨＭＤに表示された画面を見ながら、コントローラなどを操作してゲームすることが行われている。ゲーム機に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にも観察者の視野範囲が広がっているため、ゲームへの没入感に欠けることがある。その点、観察者がＨＭＤを装着すると、ＨＭＤに表示される映像以外を観察者は見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。

例えば、特許文献１に開示される発明は、ＨＭＤを使ったシューティングゲームである。観察者は地上で椅子に座った状態又は立った状態でゲームをしたりする。

特開２０１５−１５００６４号公報

しかしながら、陸上に限られず、水（淡水又は海水）に浮かんだ状態でＨＭＤを装着した観察者が風景等の仮想空間の画像を楽しみたいという要望がある。

そこで本発明は、水に浮かんだ状態で観察者が風景等の仮想空間画像を楽しめるシステムを提供する。

第１の観点の仮想空間表示システムは、水が観察者の眼球側に侵入しないように、観察者の顔を防水する防水部材と、カバー部材の内側に配置され、観察者の視覚に仮想空間の画像を提示する画像表示部と、水に観察者の伏臥位で浮いた状態で、観察者が下方を向いた第１角度を検出する第１角度検出部と、水に観察者の伏臥位で浮いた状態で、観察者が左右に動かす第２角度を検出する第２角度検出部と、を備える。
さらに、システムは、第１角度検出部及び第２角度検出部の検出結果から観察者の姿勢を算出する姿勢算出部と、表示対象物の画像を記憶する記憶部と、第１角度が第１所定範囲内であると姿勢算出部が算出した際に、記憶部に記憶された表示対象物の画像に基づいて、観察者の頭部から脚部方向に第１移動速度で移動する仮想空間の画像を生成し、第２角度検出部で観察者が左右に動かした第２角度を検出した際に、第２角度に応じた仮想空間の画像を生成する仮想空間画像生成部と、を備える。

別の観点において、仮想空間画像生成部は、第１所定範囲よりも大きい角度の第２所定範囲内の状態で、第１移動速度よりも遅い第２移動速度で移動する仮想空間の画像を生成する。
仮想空間画像生成部は、第１所定範囲内及び第２所定範囲内において、角度に応じた斜視の仮想空間の画像を生成する。
また、仮想空間画像生成部は、第２所定範囲内よりも大きい角度の第３所定範囲内において、斜視の静止画の仮想空間の画像を生成する。

さらに、第２の観点の仮想空間表示システムは、水が観察者の眼球側に侵入しないように、観察者の顔を防水する防水部材と、カバー部材の内側に配置され、観察者の視覚に仮想空間の画像を提示する画像表示部と、水に観察者の伏臥位で浮いた状態で、観察者が下方を向いた第１角度を検出する第１角度検出部と、水に観察者の伏臥位で浮いた状態で、観察者が左右に動かす第２角度を検出する第２角度検出部と、を備える。 さらにシステムは、第１角度検出部及び第２角度検出部の検出結果から観察者の姿勢を算出する姿勢算出部と、表示対象物の画像を記憶する記憶部と、第１角度が第２所定範囲内であると姿勢算出部が算出した際に、記憶部に記憶された表示対象物の画像に基づいて、第１角度に応じた観察者の頭部から脚部方向に移動速度が可変になるとともに第１角度に応じた斜視の仮想空間の画像を生成し、第２角度検出部で観察者が左右に動かした第２角度を検出した際に、第２角度に応じた仮想空間の画像を生成する仮想空間画像生成部と、を備える。

さらに、第３の観点の仮想空間表示システムは、淡水もしくは海水に接していることを検出する液体検出部と、観察者の前方の風景を撮影する撮影部と、を備える。そして、画像表示部は、液体検出部が淡水もしくは海水に接することを検出する前は、撮影部が撮影する風景を表示し、液体検出部が淡水もしくは海水に接したことを検出した後は、仮想空間の画像を表示する。
さらに、別の観点の仮想空間表示システムは、表示対象物の画像は方位を含んでおり、観察者の頭部から脚部方向の方位を検出する方位検出部を備える。そして仮想空間画像生成部は、方位に基づいて、仮想空間の画像の方位を変えた仮想空間の画像を生成する。
また、表示対象物の画像は空中撮影又は水中撮影された風景である。

本発明の仮想空間表示システムは、水に浮かんだ状態で観察者が仮想空間の画像を楽しむことができる。

仮想空間表示システム１００の概略の構成を示すブロック図である。 （Ａ）及び（Ｂ）は、仮想空間表示システム１００を観察者が装着した図である。 仮想空間表示システム１００に関する処理の概略のフローチャートである。 第１角度、第２角度及び方位に基づいて生成される仮想空間画像のフローチャートである。 （Ａ）、（Ｂ）及び（Ｃ）は、観察者の第１角度の、第１所定範囲、第２所定範囲及び第３所定範囲を示す図である。 観察者が伏臥位で水に浮かんで横になった状態を水面の法線方向から見た図である。 第２実施形態である仮想空間表示システム１１０の概略の構成を示すブロック図である。 観察者が仮想空間表示システム１１０を装着した例である。

以下、添付図面を参照して、観察者が水に浮かんだ状態で動画を楽しむ好適な実施形態について説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。

［第１実施形態］
＜仮想空間表示システム１００の構成＞
図１は、第１実施形態である仮想空間表示システム１００の概略の構成を示すブロック図である。本システムは、ＨＭＤ１０及び制御部２０を含んで構成される。制御部２０の全体又は一部を本システムの処理を行う専用のハードウェアで構成することも可能であるが、第１実施形態では制御部２０は基本的にコンピュータ、及び当該コンピュータ上で実行されるプログラムを用いて構築される。

ＨＭＤ１０は仮想空間を観察する観察者（ユーザ）の頭部に装着される。ＨＭＤ１０は、液晶又は有機ＥＬなどの画像表示部１２、第１角度を検出する第１角度検出部１３、第１角度と直交する第２角度を検出する第２角度検出部１４、及び方位検出部１５を備える。またＨＭＤ１０は、第１通信部１６、撮影部であるカメラ１７及び液体検出部１８を備える。画像表示部１２、第１角度検出部１３、第２角度検出部１４、方位検出部１５、第１通信部１６、及びカメラ１７は、防水機能を有する防水部材１１の内側に配置されている。すなわち、画像表示部１２等が淡水及び海水に濡れることがなく、ＨＭＤ１０は淡水又は海水などの水中で使用できる。また、液体検出部１８は、防水部材１１の外側に配置され、淡水又は海水などの液体を検出する。

ＨＭＤ１０の画像表示部１２は、後述する制御部２０から入力される仮想空間の画像データに基づいて画像を表示しユーザの視覚に仮想空間画像を提示する。ＨＭＤ１０では画像表示部１２が左眼及び右眼に視差を有した画像を表示することで、ユーザの立体視を実現することができる。

第１角度検出部１３は、観察者が頭部を上下に振る第１角度を検出する。第２角度検出部１４は、観察者が頭部を左右に振る第２角度を検出する。方位検出部１５は観察者が伏臥位で水に浮いた状態であると、頭部から脚部への方向がどちらの東西南北の方位であるかを検出する。第１角度検出部１３、第２角度検出部１４及び方位検出部１５は、例えば、ＧＰＳ／ＩＭＵ（Global Positioning System：全地球測位システム、InertialMeasurement Unit：慣性計測装置)やジャイロスコープ、加速度センサ、磁気センサなどをそれぞれ又は組み合わせて用いている。

第１データ通信部１６は、制御部２０の第２データ通信部２５との間でデータを送受信する。具体的には、第１データ通信部１６は仮想空間の画像データを制御部２０から受信したり、第１角度検出部１３、第２角度検出部１４及び方位検出部１５の検出結果やカメラ１７が撮影した画像を制御部２０へ送信したりする。第１データ通信部１６及び第２データ通信部２５間の通信は、無線通信もしくは有線通信のいずれかである。また、撮影部であるカメラ１７は観察者の正面方向の風景画像を撮影する。

制御部２０はコンピュータのＣＰＵ（Central Processing Unit）及び記憶部などからなり、姿勢算出部２１、仮想空間画像生成部２２、現実画像生成部２３、操作制御部２４、データ通信部２５、記憶部２６及びスピーカ２７を有している。

姿勢算出部２１は、ＨＭＤ１０の第１角度検出部１３、第２角度検出部１４及び方位検出部１５の出力データに基づいて、観察者の現実空間での姿勢、特に視線方向及び体軸方向を算出する。液体検出部１８が液体を検出した後、姿勢検出部２１が姿勢を算出してもよい。本実施形態では、姿勢算出部２１は、観察者が伏臥位で水に浮いた状態で、視線の第１角度（水面に対して法線方向の水底が０度）、視線の第２角度、及び体軸の方位を算出する。

仮想空間画像生成部２２は仮想空間に表示対象物の画像を配置し、それを観察者の仮想空間における仮想視点位置から見た仮想空間画像を生成する。生成された画像は画像表示部１２に表示される。第１実施形態では表示対象物は３次元の空中もしくは水中の風景画（以下、３Ｄ画像と略す。）であり、飛んでいる飛行機等から下方である地上を撮影した３Ｄ画像もしくは移動している船舶等から下方である海底を撮影した３Ｄ画像である。これら３Ｄ画像は、ある速度で移動しながら撮影された動画であり、記憶部２６に格納されている。また、３Ｄ画像は東西南北の方位データを含んでいることが好ましい。

仮想空間画像生成部２２は、３Ｄ画像に基づいて、観察者の目からその視線方向への仮想空間に仮想空間画像を形成する。仮想方向は、姿勢算出部２１が算出した観察者の現実空間での姿勢で観察者が見る視線方向である。例えば、現実空間にて伏臥位で水に浮いた状態の観察者の顔が下を向いているならば、仮想空間画像生成部２２は下を向いた第１移動速度で移動する仮想空間画像を生成する。また現実空間にて、下を向いた状態の観察者の顔が左を向いたり右を向いたりするならば、仮想空間画像生成部２２は左側もしくは右側の第１移動速度で移動する仮想空間画像を生成する。また現実空間にて、伏臥位で水に浮いた状態の観察者の方位が北方向から東方向に変わったならば、第１移動速度で移動する仮想空間画像が所定の方向から９０度右回りの方向に移動する仮想空間画像を生成する。

また、仮想空間画像生成部２２は、姿勢算出部２１が算出した観察者の第１角度方向に基づいて、第１移動速度よりも遅い第２移動速度の仮想空間画像を生成したり、静止した仮想空間画像を生成したりする。これらの仮想空間画像生成部２２の生成処理についてはさらに後述する。

現実画像生成部２３は、仮想空間画像とＨＭＤ１０のカメラ１７が撮影した現実空間の画像を生成する。例えば、観察者がＨＭＤ１０を装着し、仮想空間表示システム１００を動作させると、現実画像生成部２３は、カメラ１７が撮影した現実空間の画像を生成し、観察者の目の前の画像を画像表示部１２に表示させる。これにより観察者は、ＨＭＤ１０を装着したまま、海やプールなどに歩いて向かうことができる。

操作制御部２４は、観察者の操作に応じた動作を仮想空間表示システム１００に実行させる。観察者は操作スイッチ等の操作により仮想空間表示システム１００に対する動作指示を行うことができる。具体的には観察者がＨＭＤ１０にある画像切替スイッチ１９（図２を参照。）を操作することに基づいて、操作制御部２４は、記憶部２６に記憶されている複数の３Ｄ画像のうちから１つの３Ｄ画像を選択する。また、観察者が、ズームスイッチを操作することに基づいて、操作制御部２４は、仮想空間画像をズームイン（大きく）したりもしくは仮想空間画像をズームアウト（小さく）したりする。さらに、観察者が、速度スイッチ等を操作することに基づいて、第１移動速度で移動する仮想空間画像の速度を可変したりする。また、観察者がＨＭＤ１０にある画像切替スイッチ１９を操作すること又は液体検出部１８が液体を検出することに基づいて、操作制御部２４は、現実画像生成部２３が生成する現実空間の画像と仮想空間の画像とを切り替えることができる。

第２データ通信部２５はＨＭＤ１０の第１データ通信部１６との間でデータの送受信を行う。また、第２データ通信部２５は、インターネットなどの通信媒体を介して他の仮想空間表示システムやその他、コンピュータと通信を行うことができる。

記憶部２６は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク装置等の記憶装置である。記憶部２６は制御部２０にて実行される各種のプログラムや、本システムの処理に必要な各種データなどを記憶し、制御部２０との間でこれらの情報を入出力する。例えば、記憶部２６には仮想空間に配置される表示対象物を表す３Ｄ画像が予め格納される。例えば、３Ｄ画像は、移動しながら撮影された少なくとも１つの空中撮影もしくは水中撮影した風景画（動画）である。また記憶部２６は、風景画に関する音もしくは音楽を記憶してもよい。

スピーカ２７は、音声や音楽などの音発生装置である。記憶部２６に記憶された音楽等の音を発生する。また複数人が仮想空間表示システム１００を楽しんでいる際には複数人間で会話をすることもできる。

図２（Ａ）及び（Ｂ）は、第１実施形態の仮想空間表示システム１００を観察者が装着した図である。図２（Ａ）及び（Ｂ）はともに、観察者の脚部から頭部の方向がプラスＺ軸方向であり、観察者の脚部から頭部の方向がマイナスＺ軸方向であり、観察者の正面方向がプラスＹ軸方向であり、観察者の左側から右側の方向がプラスＸ軸方向である。また、説明の便宜上、第１実施形態では、観察者が起立した状態であっても、伏臥位で横になった状態であっても、観察者の頭部方向をプラスＺ軸方向、観察者の顔の正面方向をプラスＹ軸方向、観察者の顔の左右方向をマイナスプラスＸ軸方向という。

ＨＭＤ１０は、観察者の顔の目の周辺を覆うとともに、防水部材１１が観察者の顔とＨＭＤ１０との間を密着させる。防水部材１１は、ラバーなどの非浸透性の弾性部材を使用している。図２（Ａ）及び（Ｂ）において、制御部２０は、ヘッドフォンタイプの形状になっており、観察者の耳を覆う。図２（Ａ）及び（Ｂ）では制御部２０に防水部材が図示されていないが、防水機能を有している。

カメラ１７のレンズは、ＨＭＤ１０の中央上部に配置されており、ＨＭＤ１０の左右には、液体検出部１８及び画像切替スイッチ１９が配置されている。またＨＭＤ１０の内部には、第１角度検出部１３、第２角度検出部１４及び方位検出部１５は配置される。ヘッドフォンタイプの制御部２０にはスピーカ２７が内蔵される。

図２（Ｂ）において、第１角度検出部１３は観察者の頭部から脚部への上下方向、すなわちＸ軸を中心とした回転方向を検出する。第２角度検出部１４は観察者の左右方向、すなわちＺ軸を中心とした回転方向を検出する。

＜仮想空間表示システム１００の動作＞
図３は、第１実施形態の仮想空間表示システム１００に関する処理の概略のフローチャートである。
最初に、観察者は、ＨＭＤ１０及び制御部２０を装着し、電源等のスイッチを入れる（ステップＳ７１）。

すると、カメラ１７が起動し、現実画像生成部２３が現実画像を生成する。そして現実画像が第１データ通信部１６及び第２データ通信部２５を介して画像表示部１２に送られる。観察者は、画像表示部１２に表示された観察者の目の前の現実風景を認識することができる（ステップＳ７２）。

次に、制御部２０は、液体検出部１８が液体を検出するか否かを判断する（ステップＳ７３）。例えば、ＨＭＤ１０及び制御部２０を装着した観察者が、海やプール等に向かい、伏臥位で海水もしくは淡水に浮かんで横になると、液体検出部１８が液体を検出する（ステップＳ７３）。液体検出部１８が液体を検出するまで、画像表示部１２には観察者の目の前の現実風景が表示される。液体検出部１８が液体を検出すると、ステップＳ７４に進み、仮想空間画像生成部２２は、仮想空間画像を生成する。
または制御部２０は、画像切替スイッチ１９が操作されたか否かを判断する（ステップＳ７３）。観察者が水に接することのない室内で起立した状態や伏臥位で横になった状態で仮想空間画像を見たい場合には、観察者は画像切替スイッチ１９を操作する。画像切替スイッチ１９が操作されるまで、画像表示部１２には観察者の目の前の現実風景が表示される。画像切替スイッチ１９が操作されると、ステップＳ７４に進み、仮想空間画像生成部２２は、仮想空間画像を生成する。

ステップＳ７４では、仮想空間画像生成部２２が、記憶部２６に記憶されている３Ｄ画像に基づいて、仮想空間の画像を生成する。そして、仮想空間画像が第１データ通信部１６及び第２データ通信部２５を介して画像表示部１２に送られる。観察者は、画像表示部１２に表示された仮想空間画像を観察することができる。画像表示部に仮想空間の画像を表示させる。記憶部２６に空中の３Ｄ画像又は水中の３Ｄ画像など複数の３Ｄ画像が記憶されている場合には、不図示のスイッチ等で、３Ｄ画像を切り替えることができ、その３Ｄ画像に基づいて仮想空間画像も切り替わる。

観察者が海やプールから出ると、制御部２０は、液体検出部１８が液体を検出していないと判断する（ステップＳ７５）。または制御部２０は、画像切替スイッチ１９が操作されたか否かを判断する（ステップＳ７５）。するとステップＳ７２に戻り、カメラ１７が起動し、観察者は画像表示部１２で現実画像を観察できる。制御部２０が、液体検出部１８が液体を検出しているまで又は画像切替スイッチ１９が操作されるまで、仮想空間画像生成部２２は仮想空間画像を生成し続ける。

観察者は、仮想空間画像を見終わったりしたら、ＨＭＤ１０及び制御部２０を外し、電源等のスイッチを切る。

＜仮想空間画像生成部２２の処理方法＞
次に、図４を使って仮想空間画像生成部２２の処理について詳述する。図４は、第１角度、第２角度及び方位に基づいて生成される仮想空間画像のフローチャートである。

まず、ステップＳ７４０において、 姿勢算出部２１は、観察者の現実空間での姿勢、つまり観察者の視線方向の第１角度、第２角度及び方位を算出する。
ステップＳ７４１において、制御部２０は、観察者の視線方向の第１角度が、第１所定範囲か第２所定範囲か第３所定範囲かを判断する。第１角度が第１所定範囲である場合にはステップＳ７４２に進み、第１角度が第２所定範囲である場合にはステップＳ７４３に進み、第１角度が第３所定範囲である場合にはステップＳ７４４に進む。
ここで、第１所定範囲、第２所定範囲及び第３所定範囲について、図５（Ａ）、（Ｂ）及び（Ｃ）を参酌して説明する。

まず水面に対しての下方の法線方向が０度であり、頭部方向をプラス側、脚部方向をマイナス側とする。姿勢算出部２１は、水面の法線方向に対する観察者の視線方向の第１角度を算出する。図５（Ａ）に示される網掛け範囲が第１所定範囲であり、第１角度ＶＬは０°である。第１所定範囲は、例えば第１角度がプラス４０°からマイナス４０°の範囲であり、観察者が伏臥位で海水もしくは淡水に浮かんで横になって、観察者の顔を上下に動かした範囲である。つまり伏臥位の観察者が、ほぼ海底方向又はプールの底面方向を向いている状態である。

図５（Ｂ）に示される網掛け範囲が第２所定範囲であり、第１角度ＶＬは６５°である。第２所定範囲は、視線方向の第１角度が例えばプラス４０°からプラス８０°の範囲である。観察者が首を上に上げた状態で、且つ脚部が海水もしくは淡水に少し沈んだ状態である。図示しないが、観察者がプールの底面に立った状態で腰を曲げた状態（下方の法線方向を基準として上半身が１５０°で視線方向がプラス６０度）も該当する。

図５（Ｃ）に示される網掛け範囲が第３所定範囲であり、第１角度ＶＬは９０°である。第３所定範囲は、視線方向の第１角度が例えばプラス８０°からプラス１２０°の範囲である。観察者がほぼ正面を向いた状態で、脚部が海底もしくはプールの底面についた状態である。つまり観察者が海又はプールに入るとき又は出るときの状態である。なお、図５（Ｃ）で描かれている観察者の姿勢は、厳密には伏臥位とは言わない。しかし、伏臥位で水に浮く状態になる過程で、観察者が採りうる姿勢であるため、本実施形態では、図５（Ｃ）で描かれている観察者の姿勢も、伏臥位と呼ぶ。
なお、図５（Ａ）、（Ｂ）及び（Ｃ）に示した観察者の姿勢は一例であり、両腕を広げていたり、膝が４５°曲がっていたりなどいろいろな姿勢があってもよい。肝心な点は、観察者の視線方向である。

再び図４に戻り、ステップＳ７４２において、仮想空間画像生成部２２は、３Ｄ画像に基づいて、第１移動速度で移動する仮想空間画像を生成する。例えば第１角度がプラス２０°であってもマイナス２０°であっても、仮想空間画像生成部２２は、第１移動速度で移動する仮想空間画像を生成する。さらに仮想空間画像生成部２２は、第１角度に応じた仮想空間画像を生成する。例えば仮想空間画像生成部２２は、第１角度がプラス２０°であればその角度に応じた仮想空間画像を生成し、第１角度がマイナス２０°であればその角度に応じた仮想空間画像を生成する。仮想空間画像が空中の風景である場合、浮かんでいる観察者は、自身が第１移動速度で空中を飛んでいるような感じを受ける。仮想空間画像が水中の風景である場合、浮かんでいる観察者は、自身が第１移動速度で海中を泳いでいるような感じを受ける。

ステップＳ７４３において、仮想空間画像生成部２２は、３Ｄ画像に基づいて、第１移動速度より遅い第２移動速度で移動する仮想空間画像を生成する。また第２移動速度は、第一角度に応じて速度が可変になることが好ましい。例えば、プラス４０°からプラス８０°になるにつれて速度が漸次的に遅くなることが好ましい。仮想空間画像生成部２２は、第１角度に応じた仮想空間画像を生成する。例えば仮想空間画像生成部２２は、第１角度がプラス５０°であればその角度に応じた仮想空間画像を生成し、第１角度がプラス７０°であればその角度に応じた仮想空間画像を生成する。第１角度が第２所定範囲にある場合には、浮かんでいる観察者は、自身に空中に浮かんでいる又は水中に浮かんでいるような感じを受ける。なお仮想空間画像生成部２２は、第１角度に応じて速度が可変にしなくても、第１移動速度より遅い一定速度の第２移動速度で仮想空間画像を生成してもよい。

ステップＳ７４４において、仮想空間画像生成部２２は、３Ｄ画像に基づいて、静止画の仮想空間画像を生成する。また仮想空間画像生成部２２は、第１角度に応じた仮想空間画像を生成する。例えば仮想空間画像生成部２２は、第１角度がプラス８０°であればその角度に応じた仮想空間画像を生成し、第１角度がプラス１１０°であればその角度に応じた仮想空間画像を生成する。第１角度が第３所定範囲にある場合には、観察者は、静止してどの方角に何があるかなどを検討している。

ステップＳ７４５において、仮想空間画像生成部２２は、第２角度に応じた仮想空間画像を生成する。例えば仮想空間画像生成部２２は、第２角度が右側に１０°であればその角度に応じた仮想空間画像を生成し、第２角度が左側に２０°であればその角度に応じた仮想空間画像を生成する。これは、ステップＳ７４２の第１移動速度の仮想空間画像、ステップＳ７４３の第２移動速度の仮想空間画像、及びステップＳ７４４の静止画の仮想空間画像のいずれでも同様である。

ステップＳ７４６において、仮想空間画像生成部２２は、方位に応じた仮想空間画像を生成する。ここで、方位について、図６を参酌して説明する。
図６は観察者が伏臥位で海水もしくは淡水に浮かんで横になった状態を水面の法線方向から見た図である。姿勢算出部２１は、この状態で例えば観察者の頭部が北方向、東方向、南方向又は西方向に向いているかを算出する。姿勢算出部２１は、図５（Ｂ）のように水面に対して観察者の体軸が斜めであっても、その頭部が北方向、東方向、南方向又は西方向であるかを算出する。なお姿勢算出部２１は、図５（Ｃ）のように、水面に対して観察者の体軸が垂直であると、顔の正面方向が北方向、東方向、南方向又は西方向であるかを算出する。

仮想空間画像生成部２２は、３Ｄ画像に基づいて、方位に応じた仮想空間画像を生成するが、３Ｄ画像の方位と必ずしも一致している仮想空間画像を生成する必要は無い。仮想空間画像生成部２２は、３Ｄ画像の第一方位を例えば北方向として仮想空間画像を生成し、姿勢算出部２１が観察者の頭部が北方向から東方向へ４５度方向（北東方向）に向いたと算出したら、仮想空間画像生成部２２は、仮想空間画像を第一方位から４５度右回りに回転させた仮想空間画像を生成すればよい。
なお、説明の便宜上、ステップＳ７４０からＳ７４６に分けて説明してきたが、実際には、姿勢算出部２１が算出した第１角度、第２角度及び方位に基づいて、仮想空間画像生成部２２は、一度に仮想空間画像を生成する。

ステップＳ７４７において、ステップＳ７４０からＳ７４６を経て生成された仮想空間画像が画像表示部１２に表示される。ステップＳ７４７で表示される仮想空間画像は、図４のフローチャートのステップＳ７４６を割愛してもよい。

さらに、ＨＭＤ１０にズームスイッチ（不図示）がある場合には、仮想空間画像生成部２２は、ズームインした仮想空間画像を生成したり、ズームアウトした仮想空間画像を生成したりしてもよい。ＨＭＤ１０に速度可変スイッチ（不図示）がある場合には、仮想空間画像生成部２２は、第１移動速度より早くした仮想空間画像を生成したり、第１移動速度より遅くした仮想空間画像を生成したりしてもよい。

図４のフローチャート及び図５では、第１角度を３つの所定範囲に分けたが、２つの所定範囲だけにしてもよい。例えば、第１所定範囲は第１角度がプラス４０°からマイナス４０°の範囲であり、第２所定範囲がプラス４０°からプラス１２０°の範囲と分けて、第３所定範囲をなくしてもよい。また第１所定範囲だけ又は第２所定範囲だけの１つの区分だけにしてもよい。なお、第２所定範囲だけである場合は、仮想空間画像生成部２２は、マイナス４０°からプラス１００°の範囲まで第一角度に応じて速度が可変になり且つその第１角度に応じた仮想空間画像を生成する。そしてプラス１００°以上では仮想空間画像生成部２２は、仮想空間画像を作成しないようにしてもよい。

［第２実施形態］
＜仮想空間表示システム１１０の構成＞
図７は、第２実施形態である仮想空間表示システム１１０の概略の構成を示すブロック図である。図８は、観察者が仮想空間表示システム１１０を装着した例である。本システムは、５インチ以上の画像表示部を有するスマートフォン５０で構成される。第２実施形態ではスマートフォン５０及びそのアプリ（プログラム）を用いて構築される。

仮想空間表示システム１１０と第１実施形態仮想空間表示システム１００との違いは、図７に示された仮想空間表示システム１１０は、方位検出部１５及び液体検出部１８を有さない点である。また、一体のスマートフォン５０で処理されるため、第１実施形態の第１通信部１６と第２通信部とが一体になっている。また、仮想空間表示システム１１０は、音を電気信号に変えるマイク６８とマイク６８からの音声を認識する音声認識部６０とを有している。さらに仮想空間表示システム１１０と第１実施形態仮想空間表示システム１００との違いは、図８に示されたように、仮想空間表示システム１１０は防水のヘルメットにスマートフォン５０を取り付けて使用する点で異なる。

第２実施形態において、図８に示されたように、仮想空間表示システム１１０は、スマートフォン５０をヘルメット７０に装着具７１を利用して装着される。ヘルメット７０は、防水機能を有する防水部材５１を備えており、防水部材５１は、不図示のファスナーなどを絞めることにより、観察者の首に密着して水の侵入を防ぐ。このヘルメット７０は、頭部から首までを覆うタイプであるが、顔の目、鼻、耳及び口を覆い、後頭部や首を覆わないマスクであってもよい。マスクの場合には、マスクの周囲に防水部材５１が配置される。観察者が水に浮いて使用し、防水のために頭部を覆うヘルメット７０であるため、強度はさほど必要ない。装着具７１は、正面（Ｙ軸方向）から見て長方形のスマートフォン５０の四隅又は長手方向の２辺を固定する。または図示していないが、装着具７１は、スマートフォン５０の画像表示部５２の反対面を吸盤で吸着するタイプでもよい。

図７に戻り、仮想空間表示システム１１０のスマートフォン５０は、液晶又は有機ＥＬなどの画像表示部５２、第１角度を検出する第１角度検出部５３、及び第１角度と直交する第２角度を検出する第２角度検出部５４を備える。またスマートフォン５０は、撮影部であるカメラ５７、音声認識部６０及び音声を集音するマイク６８を備える。防水機能５１により、スマートフォン５０は淡水又は海水などの水中で使用できる。

スマートフォン５０の画面表示部５２は、入力される仮想空間の画像データに基づいて画像を表示しユーザの視覚に仮想空間を提示する。画像表示部５２は左眼及び右眼に視差を有した画像を表示することで、ユーザの立体視を実現することができる。

第１角度検出部５３及び第２角度検出部５４は、第１実施形態の第１角度検出部１３及び第２角度検出部１４と同じである。また、撮影部であるカメラ５７も第１実施形態の火炎ら１７と同じである。音声認識部６０は、マイク６８を使って観察者が発した音声、特に操作指示に関する音声、を認識する。例えば、観察者が、“カメラ画像を表示”、“仮想空間画像を表示”、“仮想空間画像の変更”、“ズームイン”、“ズームアップ”、“速度変更”などを発すると、それらの操作指示の音声を認識する。

スマートフォン５０は、姿勢算出部６１、仮想空間画像生成部６２、現実画像生成部６３、データ通信部６５、記憶部６６及びスピーカ６７を有している。これらの機能も、第１実施形態の姿勢算出部２１、仮想空間画像生成部２２、現実画像生成部２３、第２データ通信部２５、記憶部２６及びスピーカ２７とほぼ同じである。なお、操作制御部６４は、第１実施形態の操作制御部２４とは異なり、スイッチなどの操作指示ではなく、音声認識部６０が認識した操作指示に基づいて、操作を制御することが可能である。また、仮想空間画像生成部６２は、方位検出部１５からの指示がないため、基本的に一方位に移動する仮想空間画像を生成する。

データ通信部６５は、インターネットなどの通信媒体を介して他の仮想空間表示システムやその他、コンピュータと通信を行うことができる。

＜仮想空間表示システム１１０の動作＞
第２実施形態の仮想空間表示システム１１０の動作は、図３で説明した第１実施形態の仮想空間表示システム１００に関する処理のフローチャートとほぼ同じである。しかしながら、第２実施形態では、液体検出部１８及び画面切替スイッチ１９を有さないため、図３のステップ７３及びステップ７５は、音声認識部６０の認識によって、現実画像から仮想空間画像に切り替わったり仮想空間画像から現実画像に切り替わったりする。

＜仮想空間画像生成部６２の処理方法＞
姿勢算出部６１は、第１角度検出部５３及び第２角度検出部５４に基づいて、観察者の姿勢を算出する。第２実施形態の仮想空間表示システム１１０は、方位検出部を有していないため、姿勢算出部６１は、観察者の第１角度及び第２角度のみを算出する。このため、第２実施形態では、図４で説明したステップＳ７４６を実施しない。別言すれば、第２実施形態では、図４で示した処理方法のステップＳ７４０からＳ７４５及びステップＳ７４７の処理を行う

なお、第２実施形態の主たる構成に対する変更は、第１実施形態にも適用され得る。

１０ … ヘッドマウントディスプレイ
１１、５１ … 防水部材
１２、５２ … 画像表示部
１３、５３ … 第１角度検出部
１４、５４ … 第２角度検出部
１５ … 方位検出部
１６ … 第１通信部
１７、５７ … カメラ
１８ … 液体検出部
１９ … 画像切替スイッチ
２０ … 制御部
２１ … 姿勢算出部
２２、６２ … 仮想空間画像生成部
２３、６３ … 現実画像生成部
２４、６４ … 操作制御部
２５ … 第２データ通信部
２６、６６ … 記憶部
２７、６７ … スピーカ
５０ … スマートフォン
６０ … 音声認識部
６１ … 姿勢算出部
６５ … データ通信部
６８ … マイク
７０ … ヘルメット
７１ … 装着具
１００、１１０ … 仮想空間表示システム

Claims (8)

1. 水が観察者の眼球側に侵入しないように、前記観察者の顔を防水する防水部材と、
   前記カバー部材の内側に配置され、前記観察者の視覚に仮想空間の画像を提示する画像表示部と、
   水に前記観察者の伏臥位で浮いた状態で、前記観察者が下方を向いた第１角度を検出する第１角度検出部と、
   水に前記観察者の伏臥位で浮いた状態で、前記観察者が左右に動かす第２角度を検出する第２角度検出部と、
   前記第１角度検出部及び前記第２角度検出部の検出結果から前記観察者の姿勢を算出する姿勢算出部と、
   表示対象物の画像を記憶する記憶部と、
   前記第１角度が第１所定範囲内であると前記姿勢算出部が算出した際に、前記記憶部に記憶された表示対象物の画像に基づいて、前記観察者の頭部から脚部方向に第１移動速度で移動する前記仮想空間の画像を生成し、前記第２角度検出部で前記観察者が左右に動かした第２角度を検出した際に、前記第２角度に応じた前記仮想空間の画像を生成する仮想空間画像生成部と、
   を備える仮想空間表示システム。
2. 前記仮想空間画像生成部は、前記第１所定範囲よりも大きい角度の第２所定範囲内の状態で、前記第１移動速度よりも遅い第２移動速度で移動する前記仮想空間の画像を生成する請求項１に記載の仮想空間表示システム。
3. 前記仮想空間画像生成部は、前記第１所定範囲内及び前記第２所定範囲内において、角度に応じた斜視の前記仮想空間の画像を生成する請求項２に記載の仮想空間表示システム。
4. 水が観察者の眼球側に侵入しないように、前記観察者の顔を防水する防水部材と、
   前記カバー部材の内側に配置され、前記観察者の視覚に仮想空間の画像を提示する画像表示部と、
   水に前記観察者の伏臥位で浮いた状態で、前記観察者が下方を向いた第１角度を検出する第１角度検出部と、
   水に前記観察者の伏臥位で浮いた状態で、前記観察者が左右に動かす第２角度を検出する第２角度検出部と、
   前記第１角度検出部及び前記第２角度検出部の検出結果から前記観察者の姿勢を算出する姿勢算出部と、
   表示対象物の画像を記憶する記憶部と、
   前記第１角度が第２所定範囲内であると前記姿勢算出部が算出した際に、前記記憶部に記憶された表示対象物の画像に基づいて、第１角度に応じた前記観察者の頭部から脚部方向に移動速度が可変になるとともに第１角度に応じた斜視の仮想空間の画像を生成し、前記第２角度検出部で前記観察者が左右に動かした第２角度を検出した際に、前記第２角度に応じた前記仮想空間の画像を生成する仮想空間画像生成部と、
   を備える仮想空間表示システム。
5. 前記仮想空間画像生成部は、前記第２所定範囲内よりも大きい角度の第３所定範囲内において、斜視の静止画の前記仮想空間の画像を生成する請求項１から請求項４のいずれか一項に記載の仮想空間表示システム。
6. さらに、前記淡水もしくは海水に接していることを検出する液体検出部と、
   前記観察者の前方の風景を撮影する撮影部と、を備え、
   前記画像表示部は、
   前記液体検出部が前記淡水もしくは海水に接することを検出する前は、前記撮影部が撮影する風景を表示し、
   前記液体検出部が前記淡水もしくは海水に接したことを検出した後は、前記仮想空間の画像を表示する請求項１から請求項５のいずれか一項に記載の仮想空間表示システム。
7. 前記表示対象物の画像は方位を含んでおり、
   さらに、前記観察者の頭部から脚部方向の方位を検出する方位検出部を備え、
   前記仮想空間画像生成部は、前記方位に基づいて、前記仮想空間の画像の方位を変えた前記仮想空間の画像を生成する請求項１から請求項６のいずれか一項に記載の仮想空間表示システム。
8. 前記表示対象物の画像は移動しながら空中撮影又は水中撮影された風景である請求項１から請求項７のいずれか一項に記載の仮想空間表示システム。